推理优化

没有监控的推理服务，就像没有仪表盘的飞机 2026年，大多数AI团队部署完推理服务后，就以为"万事大吉"了。但模型不是"部署完就完了"——它会衰退。 模型衰退的三种表现： 性能衰退： 输出质量随时间下降（因为数据分布变化） 延迟衰退： KV Cache碎片化导致推理越来越慢 成本失控： 某个"坏"请求导致GPU利用率异常 没有监控，你不知道模型正在"悄悄变蠢"。 直到用户投诉"AI变差了"，你才意识到问题——但此时已经流失了大量用户。 我们在2026年设计了一套完整的推理监控体系，覆盖了4个层面的监控。 层面1：基础设施监控（Infrastructure） 这是最基础的监控——GPU还活着吗？ 关键指标： GPU利用率（%）：应该在70-85%。低于50%说明GPU在"摸鱼"，高于95%说明GPU过载。 显存使用量（GB）：应该在80%以内。超过90%说明有OOM风险。 GPU温度（°C）：应该在70°C以内。超过80°C会触发降频保护。 功耗（W）：应该在额定功率的80%以内。 工具： nvidia-smi + Prometheus Node Exporter + DCGM Exporter 告警规则： GPU利用率<30%持续10分钟 → 告警；GPU温度>80°C → 告警；显存使用>90% → 告警。 层面2：推理服务监控（Service） 推理服务是否正常运行？ 关键指标： 请求数（QPS）：每秒处理的请求数 延迟（P50/P95/P99）：TTFT和TPOT的分布 错误率（%）：500错误、超时、OOM错误 吞吐量（tokens/s）：每秒生成的token数 工具： vLLM metrics endpoint + Prometheus + Grafana 告警规则： P99延迟 > 1秒 → 告警；错误率 > 1% → 告警；吞吐量下降30% → 告警。 层面3：模型质量监控（Quality） 这是最容易被忽略的监控——模型的输出质量如何？ 关键指标： 输出质量评分：用GPT-5自动评分（每天抽样100条），1-5分 拒绝率（%）：模型拒绝回答的比例。如果拒绝率突然升高，说明安全对齐过强，模型"不敢说话" 输出长度分布：平均输出长度。如果突然变长或变短，说明模型行为异常 幻觉率（%）：用事实核查工具检测幻觉 工具： 自建的质量评分Pipeline + GPT-5 API + LangSmith/LangFuse ...

你的基准测试结果，可能全是错的 2026年，AI推理框架的"性能对比"满天飞。vLLM说自己的吞吐量最高，SGLang说自己延迟最低，TensorRT-LLM说自己的性能最强。 但当你自己测试时，结果可能和官方差了一倍。 为什么？因为基准测试不是"跑一下就行"——输入长度、输出长度、batch size、并发数、GPU型号、CUDA版本、推理框架版本——每一个变量都影响结果。 基准测试需要严格的方法论。 以下是2026年推理性能基准测试的标准方法。 基准测试的"六大变量" 变量1：输入长度分布。 你的测试数据的输入长度分布是什么？全是短prompt（100 tokens）？全是长prompt（10000 tokens）？混合长度？输入长度直接影响TTFT。 变量2：输出长度分布。 你的测试数据的输出长度分布是什么？全是短回答（10 tokens）？全是长回答（1000 tokens）？输出长度直接影响TPOT和总吞吐量。 变量3：并发数。 测试时的并发请求数是多少？1个请求（单用户）？100个请求（高并发）？并发数直接影响吞吐量和延迟的trade-off。 变量4：GPU型号和数量。 H100和A100的性能差1.5倍。1张GPU和8张GPU的性能差得更多（考虑通信开销）。 变量5：推理框架版本。 vLLM 0.8和vLLM 0.9的性能可能差20%。必须记录框架版本。 变量6：精度和优化。 FP16、FP8、INT4？FlashAttention开启了吗？投机解码开启了吗？每一项优化都影响结果。 如果你不控制这6个变量，你的基准测试结果没有意义。 标准的基准测试方法 步骤1：定义测试场景。 你的应用场景是什么？ 实时对话：短输入（200 tokens），短输出（100 tokens），高并发（100+），低延迟要求（P99<500ms） 批量分析：长输入（5000 tokens），长输出（2000 tokens），低并发（10），高吞吐量要求 混合场景：输入/输出长度混合，并发数混合 步骤2：准备测试数据。 使用标准的测试数据集，保证可复现。 ShareGPT：真实的对话数据，包含多轮对话 LMSYS-Chat-1M：100万条对话数据 自建数据集：根据你的场景构建 步骤3：设置测试参数。 预热（Warmup）：先跑100个请求，让GPU进入稳定状态，不作为正式测试结果 持续时间：至少跑5分钟，确保结果稳定 重复次数：至少跑3次，取平均值 步骤4：记录测试条件。 必须记录： 输入/输出长度分布（平均值、P50、P95、P99） 并发数 GPU型号、数量、CUDA版本 推理框架版本、配置参数 精度（FP16/FP8/INT4）、优化（FlashAttention/投机解码） 步骤5：报告测试结果。 必须报告： 吞吐量（tokens/s，请求/s） TTFT（P50、P95、P99） TPOT（P50、P95、P99） 端到端延迟（P50、P95、P99） GPU利用率（%） 显存使用量（GB） 常见的基准测试陷阱 陷阱1：只看平均值，不看分布。 P50延迟很好，但P99延迟可能很差。P99延迟才是用户体验的关键指标。 陷阱2：使用合成数据，而不是真实数据。 合成数据（如"请重复[1000个空格]"）的分布和真实数据完全不同。基准测试必须用真实数据（或接近真实分布的数据）。 陷阱3：忽略预热。 第一次推理的延迟很高（因为GPU冷启动、CUDA kernel编译）。预热后的结果才是真实的推理性能。 陷阱4：使用不同的Prompt。 不同的Prompt可能导致不同的输出长度，从而影响结果。基准测试必须使用相同的Prompt（或相同的Prompt分布）。 ...

2秒：AI应用的"生死线" 2026年，用户对AI的耐心只有2秒。根据Google的研究，网页加载时间超过3秒，53%的用户会离开。AI应用的延迟标准更严格——用户对AI的期望是"即时响应"，就像和人对话一样。 我们有一个客户，AI客服系统的P99延迟超过2000ms，用户投诉率高达15%。我们花了3周时间，将P99延迟降到了200ms——10倍的提升，用户投诉率从15%降到了1%。 以下是完整的优化过程，每一步都是可复现的技术方案。 延迟优化的两个指标 TTFT（Time to First Token）： 从用户发送请求到第一个token生成的时间。TTFT决定了用户感知的"响应速度"。 TPOT（Time per Output Token）： 每个输出token的生成时间。TPOT决定了用户感知的"流畅度"。 TTFT应该<200ms，TPOT应该<50ms（即每秒20+ tokens）。 这是2026年"实时对话"的黄金标准。 优化1：模型量化——TTFT从800ms降到400ms 原始方案： Qwen 3.0 72B，FP16，8xH100 TTFT： 800ms TPOT： 80ms 问题： 模型太大，FP16精度下权重大量占用显存带宽，导致prefill阶段（计算TTFT）非常慢。 优化： 将模型从FP16量化到FP8（H100原生支持FP8）。 TTFT： 400ms（降低50%） TPOT： 50ms（降低37%） 代价： 精度损失<0.5%（MMLU从77.5降到77.1），可以忽略。 第一刀砍在模型量化上，效果立竿见影。 这是性价比最高的延迟优化。 优化2：换用TensorRT-LLM——TTFT从400ms降到250ms 当前方案： vLLM + FP8量化 TTFT： 400ms 问题： vLLM的通用性好，但极致性能不如TensorRT-LLM。我们的场景是"固定模型+固定硬件"，不需要vLLM的灵活性。 优化： 切换到TensorRT-LLM，对Qwen 3.0 72B做深度编译优化（包括kernel fusion、memory planning、graph optimization）。 TTFT： 250ms（降低37%） TPOT： 35ms（降低30%） 代价： 首次部署需要1-2天的编译和调试时间。但一旦部署完成，运行时性能显著提升。 用TensorRT-LLM换vLLM，是"用部署时间换运行时性能"。 适合"固定模型+固定硬件"的生产环境。 优化3：Chunked Prefill——TTFT从250ms降到180ms 问题： 当用户输入比较长时（如1000+ tokens的上下文），prefill阶段需要一次性处理所有输入token，TTFT会飙升到500ms+。 优化： 启用Chunked Prefill。将长prompt的prefill分成多个小块（chunk_size=256），穿插到其他请求的解码阶段中。这样，长prompt不会"阻塞"计算资源，TTFT更稳定。 ...

最贵的GPU，不一定是最好的选择 2026年，推理GPU的选择比以往任何时候都多。H100、B100、A100、L40S、RTX 4090、华为昇腾910C——每一款GPU都有不同的性能、价格和适用场景。 很多团队直接买最贵的H100，但他们的场景根本不需要H100的算力。 一个7B模型在L40S上跑，性价比是H100的1.5倍。用对GPU，比用更好的GPU更重要。 2026年推理GPU全面对比 GPU FP16算力 显存 显存带宽 功耗 价格（云/时） 推理适用 H100 2000 TFLOPS 80GB 3.35 TB/s 700W $2.5 大模型推理首选 B100 3500 TFLOPS 192GB 8 TB/s 1000W $4.5 超大模型推理 A100 624 TFLOPS 80GB 2.0 TB/s 400W $1.5 中小模型推理 L40S 733 TFLOPS 48GB 0.86 TB/s 300W $1.0 性价比之王 RTX 4090 660 TFLOPS 24GB 1.0 TB/s 450W 一次购买 小团队自建 昇腾910C ~500 TFLOPS 64GB 1.2 TB/s 350W ¥10/时 国产替代 实测：4种GPU在7B/70B模型上的推理性能 Qwen 3.0 7B（FP8） GPU 吞吐量 延迟 每百万token成本 H100 5200 tok/s 8ms $0.015 A100 3200 tok/s 14ms $0.012 L40S 2800 tok/s 18ms $0.010 RTX 4090 2500 tok/s 20ms $0.008 L40S和RTX 4090的性价比最高。 7B模型不需要H100的算力，用L40S可以省40%的成本。 ...

学术界在做什么？ 2026年，工业界的推理优化已经非常成熟——量化、KV Cache优化、投机解码、Continuous Batching。但学术界正在探索更"激进"的推理优化方向。 我们梳理了2026年上半年推理优化领域的5篇重要论文，它们代表了推理优化的未来方向。 论文1：动态稀疏注意力（Dynamic Sparse Attention） 论文： “DSA: Dynamic Sparsity for Attention in Long-Context LLMs”（Stanford, 2026.03） 核心思想： 不是所有token都需要关注所有token。对于大多数token，只需要关注最近的token和"语义相关"的token。DSA在推理时动态决定哪些token之间需要计算注意力，哪些可以跳过。 效果： 在128K上下文下，注意力计算量减少80%，推理速度提升3倍，质量损失<1%。 关键洞察： “注意力稀疏性"不是一个固定的模式，而是动态的——取决于当前的token和上下文。DSA用一个轻量级预测器（MLP）实时预测哪些token之间需要注意力。 启示： 稀疏注意力是减少注意力计算量的终极方案。但挑战在于：如何高效地在GPU上实现动态稀疏模式（GPU更适合密集计算）。 论文2：混合精度推理（Mixed-Precision Inference） 论文： “MPI: Mixed-Precision Inference via Layer-wise Sensitivity Analysis”（MIT, 2026.04） 核心思想： 不同层对量化的敏感度不同。浅层（嵌入层、前几层注意力）对量化更敏感，应该用更高精度；深层对量化更不敏感，可以用更低精度。 效果： 相比于统一INT4量化，混合精度（浅层INT8 + 深层INT4）精度损失降低40%，显存节省相近。 关键洞察： “一刀切"的量化是次优的。不同层需要不同的精度。 启示： 混合精度推理是量化的下一步。但挑战在于：如何自动化地确定每层的最优精度（需要Layer-wise Sensitivity Analysis）。 论文3：自适应投机解码（Adaptive Speculative Decoding） 论文： “ASD: Adaptive Speculative Decoding with Dynamic K”（UC Berkeley, 2026.05） 核心思想： 投机解码的K值（每次投机几个token）不是固定的。当草稿命中率高时，增加K（投机更多token）；当命中率低时，减少K（减少浪费）。 效果： 相比于固定K=3，自适应K的吞吐量提升15-25%。 关键洞察： 投机解码的K值应该根据"上下文"动态调整。在确定性高的场景（如代码生成）中，K可以大到5-7；在随机性高的场景（如对话）中，K应该小到1-2。 启示： 自适应投机解码是"免费午餐”——不需要改模型，只需要改调度策略。 ...

手机上的AI，慢得让人绝望 2026年，AI手机是最大的风口。但如果你尝试在手机上跑一个7B模型，你会发现：速度慢得让人绝望。 我们在iPhone 16 Pro Max（A19芯片，8GB RAM）上测试了Qwen 3.0 7B（INT4量化）的原生推理速度： 初始速度：每个token 3.5秒 用户感知：完全不可用 经过6种优化后： 最终速度：每个token 0.15秒（约6.7 tok/s） 用户感知：接近实时对话 以下是完整的6步优化过程。 优化1：INT4量化 → 速度提升2倍 原始方案： FP16，模型大小14GB，完全放不进手机内存（8GB RAM） 优化： INT4量化，模型大小3.5GB，可以放进手机内存 速度： 从"无法运行"到3.5秒/token INT4量化是移动端推理的"入场券"。 不做量化，模型根本放不进手机内存。 优化2：ONNX Runtime → 速度提升1.5倍 原始方案： PyTorch Mobile（开发方便，但性能差） 优化： ONNX Runtime Mobile（微软的跨平台推理引擎，针对移动端优化） 速度： 从3.5秒/token到2.3秒/token ONNX Runtime的关键优化： 算子融合（将多个小算子融合成一个大算子）、内存池（减少内存分配和释放）、预编译（提前编译模型，避免运行时编译）。 优化3：NPU加速 → 速度提升2倍 原始方案： CPU推理（手机CPU的AI算力有限） 优化： 使用NPU（Neural Processing Unit，苹果A19的Neural Engine） 速度： 从2.3秒/token到1.1秒/token NPU是移动端推理的"涡轮增压"。 A19的Neural Engine的AI算力是35 TOPS（INT8），是CPU的10倍。但NPU对模型架构有限制——不是所有层都能跑在NPU上。 混合推理： 将Attention层跑在NPU上（算力密集），FFN层跑在CPU上（内存密集）。这是移动端推理的最优策略。 优化4：KV Cache INT8 → 速度提升1.3倍 优化： KV Cache从FP16量化到INT8 速度： 从1.1秒/token到0.85秒/token ...