长上下文模型推理中的 KV Cache 异构状态与一致性设计

一、问题的起点：前缀缓存不再只是一个哈希匹配问题

在大模型推理部署中，KV Cache 一直是决定吞吐与延迟的核心资源。为了降低重复请求的计算开销，业界普遍采用前缀缓存机制：当两个请求共享相同的前缀时，后续请求可以直接复用前一个请求已经计算好的 KV 状态，而不必重新执行前向计算。这一机制的基本假设是——前缀相同，则缓存内容可直接复用。

在早期的推理框架中，这一假设大体成立。缓存对象的形态相对单一：模型每一层都采用标准的多头自注意力，KV 状态以连续的物理块形式存储在显存中。分配器只需要维护“哪些块已被占用、哪些块可以释放”，前缀匹配逻辑也只需要按块哈希判断是否存在可复用的内容。

然而，当模型架构开始引入混合注意力机制后，情况发生了根本性变化。所谓混合注意力，是指模型的不同层可能采用不同的注意力策略：部分层使用全历史压缩注意力，将较早的上下文压缩为固定长度的表示；部分层使用滑窗注意力，只关注最近若干个 token；还有部分层使用稀疏路由注意力，根据内容动态决定关注范围。这种设计能够显著扩展模型的有效上下文长度，但也让“前缀相同”这个条件变得不足以判断缓存是否真正可用。

本文从这一矛盾出发，系统分析长上下文模型推理中 KV Cache 的异构对象模型，讨论缓存分配与命中判定必须满足的一致性条件。

二、混合注意力如何打破同构缓存假设

在传统模型中，KV Cache 的对象是同构的。每一层都存储完整的 key 和 value 向量，token 数量与缓存块数量之间存在简单的对应关系。当推理框架执行前缀匹配时，它只需要回答一个问题：这个哈希值对应的 KV 块是否已经在显存中？

混合注意力让这个问题变得复杂得多。以典型的混合架构为例，模型可能在浅层使用全历史压缩注意力，将超过一定距离的历史 token 压缩为少量聚合向量；在中间层使用滑窗注意力，只保留最近固定窗口内的原始 KV；在深层使用稀疏路由注意力，根据内容动态选择参与计算的 KV 子集。这样，一个 token 在不同层可能对应完全不同的缓存形态：在压缩层是一个聚合向量的一部分，在滑窗层是一段窗口内的原始 KV，在稀疏层是一组经过路由选择的 KV 片段。

这意味着，即使某个请求的“前缀”在哈希层面与缓存中的记录吻合，也不能直接断定可以直接复用。具体来说，需要确认五类对象是否同时满足恢复条件：

1. 压缩 KV（compressed KV）：全历史压缩层产生的聚合表示是否完整、是否与当前请求的参数状态一致；
2. 未压缩尾段（uncompressed tail）：压缩层通常保留最近一段未压缩的原始 KV，这段内容是否完整覆盖了前缀的尾部；
3. 滑窗状态（SWA window）：滑窗注意力层的窗口内的 KV 是否已经准备好，窗口边界是否与请求的前缀长度对齐；
4. 索引路由状态（indexer state）：稀疏路由层依赖的索引结构是否已同步更新，路由决策所需的路由表是否有效；
5. 磁盘前缀（on-disk prefix）：当上下文长度超出单卡显存能力时，部分前缀可能被交换到主机内存或本地磁盘，这些持久化前缀是否已经恢复到可用位置。

这五类对象各自有不同的生命周期、存储位置和恢复路径。举例来说，一个前缀请求可能在哈希检查时命中，但压缩 KV 已经被部分淘汰，或者滑窗边界与当前批次不匹配，又或者磁盘上的前缀尚未加载回显存。这些情况都会导致“命中”实际上不可用。

三、缓存对象的五态模型与恢复路径

为了让前缀缓存从“哈希命中”提升为“状态可恢复”，推理框架需要显式追踪上述五类对象的生命周期与状态转换。下面逐一分析。

3.1 压缩 KV 的生命周期与校验

压缩 KV 通常由全历史压缩注意力的压缩器产生。它的生命周期取决于两个因素：压缩器的参数版本和存储空间的回收策略。当模型权重更新后，压缩器的参数可能变化，旧的压缩 KV 必须失效。在部署实践中，这要求在缓存记录中绑定模型版本标识，而不仅仅是前缀 token 的哈希值。

此外，压缩 KV 的存储粒度与普通 KV 不同。一个压缩块可能覆盖几千个 token 的聚合信息，因此它的淘汰策略需要与未压缩块分开设计。如果分配器将压缩 KV 和普通 KV 混在同一空闲列表中管理，就可能出现“压缩块被误分配为普通块”的情况，导致数据破坏。

3.2 未压缩尾段的完整性确认

压缩层通常不会对最近 token 做压缩，而是保留一段未压缩的尾段。这部分尾段的存在，是为了保证最近上下文的高精度注意力计算。当跨请求复用前缀时，如果复用的前缀恰好跨越了“压缩段”和“尾段”的边界，那么尾段的起始位置就必须与当前请求的前缀截断位置严格对齐。

这一点在“前缀匹配”逻辑中很容易被忽视。哈希值可能基于整个前缀的 token 序列计算，但实际可复用的压缩段只覆盖前缀的前半部分。如果缓存中缺少尾段，或者尾段与压缩段之间的衔接关系被破坏，复用时就会产生静默的错误生成结果。

3.3 滑窗状态的窗口边界对齐

滑窗注意力的缓存对象有一个特殊的属性：窗口边界是相对于“当前 token 位置”定义的。这与普通 KV 的“绝对 token 位置”形成对照。因此在复用时，需要确认缓存中滑窗内的 KV 是否与当前请求的窗口范围一致。如果一个前缀请求尝试复用一个窗口边界不同的缓存条目，那么即使前缀 token 序列完全相同，窗口内的 KV 范围也可能覆盖了不同的 token 子集。

3.4 索引路由状态的一致性

稀疏路由注意力通常依赖于一个索引结构来决定每个查询 token 关注哪些历史 KV。这个索引可能是训练得到的，也可能是基于内容的动态聚类结果。在缓存复用场景中，索引状态必须与 KV 内容保持同步。如果 KV 内容已经被部分更新或淘汰，而索引结构没有相应更新，路由结果就会指向无效的存储位置。这种不一致在并发场景下尤为危险：一个请求正在更新索引，另一个请求恰好触发了对同一段前缀的复用。

3.5 磁盘前缀的恢复时序

对于超长上下文请求，显存容量可能不足以容纳全部 KV 前缀。此时推理框架会将较老的前缀交换到主机内存或本地磁盘。这类磁盘前缀在复用时必须经历一个“恢复”过程：从持久化介质读回、解压、传输到显存、重建元数据。如果命中判定的时序没有考虑恢复的异步性，请求可能在数据尚未就绪时就开始了计算。

四、分配器面临的四层校验

当缓存对象从同构变为异构后，缓存分配器的职责也随之扩展。传统分配器只回答“哪里有空闲块可以写”，现在它还必须回答“每段 token 当前的缓存形态是什么，是否可恢复”。这一要求可以分解为四个层面的校验。

4.1 整块校验：前缀匹配的粒度问题

异构缓存场景下，哈希匹配的粒度需要重新审视。传统前缀缓存以固定大小的块为单位进行匹配，但在混合注意力模型中，不同层的有效缓存粒度不同。压缩层的有效单位可能是一个聚合段，滑窗层的单位是窗口，稀疏层的单位是路由片段。如果前缀匹配仍然沿用统一的块粒度，就可能出现“块级命中但段级缺失”的情况。因此，分配器需要维护一个“整块校验”层，确认匹配到的缓存条目在逻辑上是完整的，而不是部分可用的碎片。

4.2 内核 ABI 校验：运行时二进制兼容性

在推理框架中，缓存块的最终消费者是 GPU 内核。不同的注意力内核可能使用不同的数据布局和元数据格式。当一个缓存条目由旧版本内核写入、但由新版本内核读取时，即使数据内容正确，也会因为二进制接口不兼容而失败。因此缓存记录中需要携带内核 ABI 版本信息，并在命中时执行校验。

4.3 多缓存组状态交集校验

在混合注意力模型中，单个请求可能同时涉及压缩 KV、滑窗状态、磁盘前缀等多种缓存组。这些缓存组并不共享同一套生命周期规则。因此，一个前缀请求只有在所有涉及的缓存组都处于可用状态时，才能真正复用。分配器需要维护一个“多缓存组状态交集”的校验逻辑，只有当所有对象的恢复条件同时满足时才能返回命中。

4.4 字节级硬件对齐校验

不同缓存对象的存储对齐要求可能不同。压缩聚合向量可能需要按特定字节数对齐以保证内存访问效率，滑窗 KV 可能需要按 token 维度对齐，磁盘前缀则可能采用了不同的序列化格式。这些差异在混合部署中会带来微妙的兼容性问题。分配器需要在复用前执行字节级校验，确保存储布局与当前运行时的硬件要求完全一致，避免因未对齐导致的性能劣化或数值异常。

五、分配器状态机必须遵守的四条约束

在上述分层校验之上，缓存分配器的状态机设计还需要满足四条全局约束。这些约束是保证整个缓存系统正确性的不变量，任何操作都不能违反。

5.1 准入上限约束

当缓存对象异构化后，不同类型的缓存对象会竞争同一块显存资源。如果不对各类对象的准入设定上限，某一类对象（例如压缩聚合向量）可能会无节制地占用空间，挤占其他类型对象的可用容量。准入上限约束要求分配器在执行任何分配操作之前，检查该类缓存对象的当前占用是否已经达到或超过预设阈值。这一检查必须在分配动作的原子操作内完成，以避免并发竞争导致的超限分配。

5.2 五种状态分流约束

来自请求的缓存操作必须首先被分流到正确的状态处理路径。压缩 KV 的分配路径与滑窗状态不同，磁盘前缀的恢复路径与索引路由状态的更新路径也不同。如果分配器在入口处没有正确分流，就可能将一个磁盘前缀的恢复请求当作普通显存块分配请求来处理，导致数据路径错误。分流约束要求：每一个缓存操作在进入状态机时，必须显式声明其目标缓存对象的类型，并由状态机验证该类型与操作类型是否匹配。

5.3 检查-使用间隙约束

前缀命中判定与缓存实际使用之间存在一个“检查-使用”的时间窗口。在这个窗口内，缓存状态可能被其他并发请求改变：一个滑窗可能被淘汰，一段磁盘前缀可能被重新交换出去，一个索引结构可能被更新。如果命中判定返回后、实际读取前没有采取保护措施，就可能发生数据竞争。这一约束要求分配器对命中的缓存条目在执行读取期间保持“稳定状态”，例如通过引用计数或短暂的锁定机制，防止检查-使用间隙内的状态迁移。

5.4 静态图拓扑约束

在追求极致性能的推理部署中，计算过程常用静态计算图来避免动态调度开销。这种静态图在启动时就确定了缓存块的访问拓扑。然而，异构缓存对象的动态恢复可能改变实际的内存访问路径。如果静态图假设所有缓存数据都位于显存中，而磁盘前缀的恢复引入了主机内存到显存的异步传输，那么计算图的执行顺序就可能出错。这要求分配器在构建静态计算图时，将缓存对象的“可达性”作为拓扑约束纳入考虑：任何被静态图引用的缓存块，在图的执行周期内必须保证可被访问，否则不能启用静态化优化。

六、实践启示：缓存一致性应作为推理基础设施的一等公民

上述分析带来的一个关键启示是：在长上下文模型推理中，前缀缓存的一致性设计不应被视为一个可选的优化细节，而应作为推理基础设施的核心组成部分来对待。缓存命中率指标本身也不适合单独作为正确性度量——一个高命中率但存在状态不一致的系统，可能在真实业务负载下产生难以复现的错误结果。

对于推理框架与基础设施开发者，以下几点可以作为设计参照：

• 将缓存对象的分型管理从“性能优化”上升到“正确性要求”，在分配器中显式建模不同对象的生命周期；
• 在缓存命中时执行多层次校验，而不是仅依赖哈希比对；
• 对并发写入和读取路径进行系统性的竞态分析，特别是涉及压缩层、稀疏路由和磁盘交换的混合场景；
• 在日志与监控中区分“哈希命中”和“状态可恢复命中”，避免用前者掩盖后者的问题。

随着模型上下文长度不断增长，注意力机制的混合化将成为常态。那些在设计早期就将缓存状态一致性作为一等公民来对待的推理框架，将更有能力承接超长上下文的规模化部署。反之，如果继续沿用同构缓存时代的假设，就会在真实负载中暴露出一系列难以定位的“前缀命中但计算错误”的问题，而这类问题的影响往往比显式的分配失败更加隐蔽和危险。