学术界在做什么？

2026年，工业界的推理优化已经非常成熟——量化、KV Cache优化、投机解码、Continuous Batching。但学术界正在探索更"激进"的推理优化方向。

我们梳理了2026年上半年推理优化领域的5篇重要论文，它们代表了推理优化的未来方向。

论文1：动态稀疏注意力（Dynamic Sparse Attention）

论文： “DSA: Dynamic Sparsity for Attention in Long-Context LLMs”（Stanford, 2026.03）

核心思想： 不是所有token都需要关注所有token。对于大多数token，只需要关注最近的token和"语义相关"的token。DSA在推理时动态决定哪些token之间需要计算注意力，哪些可以跳过。

效果： 在128K上下文下，注意力计算量减少80%，推理速度提升3倍，质量损失<1%。

关键洞察： “注意力稀疏性"不是一个固定的模式，而是动态的——取决于当前的token和上下文。DSA用一个轻量级预测器（MLP）实时预测哪些token之间需要注意力。

启示： 稀疏注意力是减少注意力计算量的终极方案。但挑战在于：如何高效地在GPU上实现动态稀疏模式（GPU更适合密集计算）。

论文2：混合精度推理（Mixed-Precision Inference）

论文： “MPI: Mixed-Precision Inference via Layer-wise Sensitivity Analysis”（MIT, 2026.04）

核心思想： 不同层对量化的敏感度不同。浅层（嵌入层、前几层注意力）对量化更敏感，应该用更高精度；深层对量化更不敏感，可以用更低精度。

效果： 相比于统一INT4量化，混合精度（浅层INT8 + 深层INT4）精度损失降低40%，显存节省相近。

关键洞察： “一刀切"的量化是次优的。不同层需要不同的精度。

启示： 混合精度推理是量化的下一步。但挑战在于：如何自动化地确定每层的最优精度（需要Layer-wise Sensitivity Analysis）。

论文3：自适应投机解码（Adaptive Speculative Decoding）

论文： “ASD: Adaptive Speculative Decoding with Dynamic K”（UC Berkeley, 2026.05）

核心思想： 投机解码的K值（每次投机几个token）不是固定的。当草稿命中率高时，增加K（投机更多token）；当命中率低时，减少K（减少浪费）。

效果： 相比于固定K=3，自适应K的吞吐量提升15-25%。

关键洞察： 投机解码的K值应该根据"上下文"动态调整。在确定性高的场景（如代码生成）中，K可以大到5-7；在随机性高的场景（如对话）中，K应该小到1-2。

启示： 自适应投机解码是"免费午餐”——不需要改模型，只需要改调度策略。

论文4：Learning to Skip（学习跳过）

论文： “LTS: Learning to Skip Layers for Efficient LLM Inference”（DeepMind, 2026.02）

核心思想： 不是所有输入都需要经过所有层。对于简单问题，可以跳过中间的一些层（“早退”），直接输出答案。

效果： 对于简单问题（如"1+1=?"），跳过50%的层，推理速度提升2倍，质量无损。对于复杂问题，不跳过任何层。

关键洞察： LLM的计算量可以根据输入复杂度动态调整。简单问题不需要"大炮打蚊子”。

启示： “早退”（Early Exit）是推理优化的新方向。但挑战在于：如何训练模型学会"跳过"（需要在训练时加入早退机制）。

论文5：推理时训练（Inference-Time Training）

论文： “ITT: Inference-Time Training for Test-Time Adaptation”（Google Research, 2026.06）

核心思想： 在推理时，用输入数据对模型进行"微调"（只更新少量参数），让模型适应输入的分布。

效果： 在新领域（与训练数据分布不同）上，推理时训练可以提升5-10%的准确率。

关键洞察： 推理不只是"前向传播"，也可以是"学习"。推理时训练让模型在推理过程中"自适应"。

启示： 推理时训练是"边缘推理"的利器——让模型在用户设备上"自我适应"。但挑战在于：推理时训练的计算开销很大（需要反向传播），目前只适用于"离线推理"场景。

5篇论文的"共同主题"

1. 从"静态"到"动态"。 所有优化都从"固定策略"走向"动态调整"——动态稀疏、动态K、动态精度。

2. 从"一刀切"到"差异化"。 不同层、不同token、不同输入，需要不同的优化策略。

3. 从"推理"到"推理+学习"。 推理不再是单纯的"前向传播"，而是结合了"学习"和"自适应"。

结语：推理优化的未来

2026年，推理优化已经从"工程优化"（量化、批处理）走向"算法优化"（稀疏注意力、早退、推理时训练）。 未来的推理引擎，将是一个"智能"的系统——它能根据输入动态调整计算量、精度、层数，用最小的计算成本产生最好的输出。

对于从业者来说，2026年推理优化最重要的不是"学最新的技术"，而是"理解你的场景需要什么"。 不是所有优化都适合你的场景，但理解这些优化的原理，能帮助你做出更好的决策。

数据来源：arXiv论文（2026年1-6月），各论文GitHub开源代码。