KV Cache：推理显存的"巨兽"

大模型推理时，显存里存了什么？模型权重、KV Cache、中间激活。其中，KV Cache是最大的显存消耗者。

以Llama 4 405B为例，在128K上下文下：

  • 模型权重：810GB（FP16）
  • KV Cache：约200GB
  • 中间激活：约50GB
  • 总计：约1060GB

KV Cache占用了约20%的显存，而且随着上下文长度线性增长。 128K上下文需要200GB KV Cache，256K就需要400GB，512K就需要800GB——比模型权重还大。

优化KV Cache，就是优化推理成本。 省下50%的KV Cache，你的GPU就可以少买一半。

优化方法一：GQA/MQA（减少KV Head数量）

标准Multi-Head Attention（MHA）中，每个Query Head对应一个Key Head和一个Value Head。但GQA（Grouped Query Attention）让多个Query Head共享一组Key/Value Head。

以Llama 4 70B为例：

  • MHA：64个Query Head，64个Key Head，64个Value Head
  • GQA：64个Query Head，8个Key Head，8个Value Head
  • KV Cache减少：8倍

GQA的代价： 注意力质量略有下降（约1-2%），但对于大多数任务来说，这个损失可以忽略。

**MQA（Multi-Query Attention）**更极端：所有Query Head共享1组Key/Value Head。KV Cache减少64倍，但注意力质量下降更明显（3-5%）。

2026年，GQA已经成为主流架构的标配。 Llama 4、Qwen 3.0、Mistral Large 3都用了GQA。只有少数模型（如一些学术模型）还坚持MHA。

优化方法二：PagedAttention（vLLM的核心创新）

传统的KV Cache是一块连续的显存，预分配最大长度。问题：大多数请求用不到最大长度，分配的显存白白浪费了。

PagedAttention（vLLM的核心创新）将KV Cache分成"页"（Page），按需分配。就像操作系统的虚拟内存——不是一次性分配所有物理内存，而是按需分配。

效果：

  • 显存利用率从30-50%提升到80-90%
  • 支持更大的并发请求数
  • 支持KV Cache的"共享"（多个请求共享相同的Prompt前缀）

PagedAttention已经是2026年推理框架的标配。 vLLM、SGLang、TensorRT-LLM都实现了类似机制。

优化方法三：KV Cache量化

KV Cache量化 = 将KV Cache从FP16压缩到INT8或INT4。

  • INT8量化：KV Cache减少50%，质量损失<1%
  • INT4量化：KV Cache减少75%，质量损失2-5%

2026年，KV Cache INT8量化已经成为生产环境的标配。 几乎所有推理框架都支持KV Cache INT8量化，而且质量损失几乎可以忽略。

优化方法四：MLA（DeepSeek的秘密武器）

MLA（Multi-head Latent Attention）是DeepSeek V2/V3/V4的核心创新，将KV Cache压缩到极限。

MLA的核心思想： Key和Value不需要存储完整的矩阵，只需要存储一个低维的"潜变量"，然后通过一个上投影矩阵实时重建Key和Value。

在DeepSeek V4中，MLA将KV Cache从传统的200GB（128K上下文）压缩到6GB。 压缩比达到33倍。这是DeepSeek V4能以极低成本推理的根本原因。

MLA的代价： 架构更复杂，需要专门的推理框架支持（SGLang对MLA的支持最好）。

优化方法五：KV Cache卸载（Offloading）

当KV Cache太大，显存放不下时，可以卸载到CPU内存或SSD。

  • 卸载到CPU内存：延迟增加10-20%
  • 卸载到SSD：延迟增加50-100%

KV Cache卸载是"最后的手段"——当所有优化方法都用了，仍然不够时，才用卸载。

六种方法的组合使用

最佳实践：GQA + PagedAttention + KV Cache INT8量化 = 显存降低80%。

以Llama 4 70B为例：

  • 原始KV Cache（128K）：200GB
    • GQA（8组）：25GB（减少8倍）
    • PagedAttention（利用率80%）：20GB（减少20%）
    • INT8量化：10GB（减少50%）
  • 最终：10GB，减少95%

KV Cache优化不是"选一个方法"，而是"组合多个方法"。 每一种方法都贡献一点，组合起来就是质变。

结语：KV Cache是"显存战争"的主战场

在大模型推理中，KV Cache是"显存战争"的主战场。 谁掌握了KV Cache优化，谁就能用更少的GPU服务更多的用户。

2026年，KV Cache优化已经进入"工业化"阶段。 GQA已成为标配，PagedAttention已成为常识，INT8量化已成为默认。下一步，MLA类架构和更激进的KV Cache压缩技术，将是差异化竞争的关键。

数据来源：vLLM PagedAttention论文，DeepSeek V2/V3/V4技术报告，各推理框架KV Cache优化文档。