03 [RAG] 那些”窥探未来”的 KV 缓存淘汰方法速度太慢、难以实用——LookaheadKV 在不损失精度的前提下解决了开销问题
大多数 KV（键值）缓存淘汰方法仅凭模型已处理过的内容来评分 token 的重要性。这种方式在长上下文场景下表现不佳：在预填充（prefill）阶段看似无关紧要的早期 token，往往在生成开始后才显现出其关键作用。近期有一类方法针对这一问题，先生成一个草稿响应，再利用该草稿估计哪些缓存的 KV 条目实际重要。这一思路本身是合理的，但计算开销却难以接受。
LookaheadKV 保留了”窥探未来”所带来的精度优势，同时消除了草稿生成的额外开销。它并不通过完整的自回归草稿生成来产生替代性未来 token，而是使用一个轻量级前瞻探针（lookahead probe）——一种浅层前向传播，能在无需逐 token 生成的情况下近似未来的注意力模式。该探针识别出在预期响应轨迹中积累了较高注意力权重的缓存位置，并将这些位置保留，其余则予以淘汰。无需草稿生成器，无需第二个模型。淘汰决策在预填充阶段一次性完成，开销仅为基于生成的前瞻方法的一小部分。在长上下文基准测试中，LookaheadKV 的精度与基于草稿生成的方法持平甚至更优，同时大幅降低了相关延迟开销。具体的性能差异数值取决于序列长度和淘汰预算，但该方法的设计目标是将延迟控制在标准预填充的范围之内。
局限性也是客观存在的：前瞻探针近似的是未来注意力，而非对其直接观测。在模型实际生成结果与探针预测存在显著偏差的任务上——例如输出熵较高的开放式生成——淘汰决策的噪声将多于使用真实草稿响应的方法。对于响应结构可预期的检索密集型任务（RAG 流水线、文档问答、摘要生成），该近似效果良好。对于长提示的开放式对话或创意生成，建议在部署前充分验证。
对于大规模运行长上下文 RAG 的团队而言，KV 缓存大小往往是批量吞吐量的瓶颈所在。需要草稿生成步骤的淘汰方法实际上使关键路径上的预填充开销翻倍，导致其在生产环境中难以落地。LookaheadKV 弥补了这一差距：精准的重要性评分、零生成开销，且与标准 Transformer 推理完全兼容，可直接替换使用。
核心要点：
- 轻量级前瞻探针在预填充阶段近似未来注意力模式，无需运行完整草稿生成即可识别应淘汰的 KV 缓存条目，以极低的开销保持了精度
- 基于草稿生成的淘汰方法以推理延迟换取淘汰质量；LookaheadKV 表明这一权衡并非不可突破，草稿所提供的信号可以通过结构化方式近似获得
- 使用长上下文窗口运行 RAG 或文档问答的团队应将此方法与现有淘汰策略进行基准对比；在 KV 缓存压力最为突出的高批量场景下，延迟收益将进一步放大
Source: LookaheadKV: Fast and Accurate KV Cache Eviction by Glimpsing into the Future without Generation