最贵的GPU，不一定是最好的选择
2026年，推理GPU的选择比以往任何时候都多。H100、B100、A100、L40S、RTX 4090、华为昇腾910C——每一款GPU都有不同的性能、价格和适用场景。
很多团队直接买最贵的H100，但他们的场景根本不需要H100的算力。 一个7B模型在L40S上跑，性价比是H100的1.5倍。用对GPU，比用更好的GPU更重要。
2026年推理GPU全面对比
| GPU | FP16算力 | 显存 | 显存带宽 | 功耗 | 价格（云/时） | 推理适用 |
|---|---|---|---|---|---|---|
| H100 | 2000 TFLOPS | 80GB | 3.35 TB/s | 700W | $2.5 | 大模型推理首选 |
| B100 | 3500 TFLOPS | 192GB | 8 TB/s | 1000W | $4.5 | 超大模型推理 |
| A100 | 624 TFLOPS | 80GB | 2.0 TB/s | 400W | $1.5 | 中小模型推理 |
| L40S | 733 TFLOPS | 48GB | 0.86 TB/s | 300W | $1.0 | 性价比之王 |
| RTX 4090 | 660 TFLOPS | 24GB | 1.0 TB/s | 450W | 一次购买 | 小团队自建 |
| 昇腾910C | ~500 TFLOPS | 64GB | 1.2 TB/s | 350W | ¥10/时 | 国产替代 |
实测：4种GPU在7B/70B模型上的推理性能
Qwen 3.0 7B（FP8）
| GPU | 吞吐量 | 延迟 | 每百万token成本 |
|---|---|---|---|
| H100 | 5200 tok/s | 8ms | $0.015 |
| A100 | 3200 tok/s | 14ms | $0.012 |
| L40S | 2800 tok/s | 18ms | $0.010 |
| RTX 4090 | 2500 tok/s | 20ms | $0.008 |
L40S和RTX 4090的性价比最高。 7B模型不需要H100的算力，用L40S可以省40%的成本。
Qwen 3.0 72B（FP8，4卡）
| GPU | 吞吐量 | 延迟 | 每百万token成本 |
|---|---|---|---|
| 4xH100 | 4500 tok/s | 15ms | $0.060 |
| 4xA100 | 2800 tok/s | 25ms | $0.048 |
| 4xL40S | 2100 tok/s | 35ms | $0.040 |
72B模型在A100上的性价比最高，但H100延迟最低。 选择取决于你需要的是"成本最优"还是"延迟最优"。
选型决策树
你的模型多大？
├── 7B以下
│ ├── 批量推理（高吞吐）→ L40S（性价比最高）
│ ├── 实时对话（低延迟）→ H100
│ └── 小团队自建 → RTX 4090（一次购买，无月费）
├── 7B-70B
│ ├── 预算有限 → A100（性价比最优）
│ ├── 需要FP8 → H100（A100不支持FP8）
│ └── 国产化要求 → 昇腾910C
└── 70B以上
├── H100（8卡+）
└── B100（超大模型，192GB显存）
专用推理芯片的崛起
2026年，专用推理芯片正在崛起。 它们不适合训练，但推理性能远超通用GPU：
- Groq LPU v2： 800+ tok/s（Llama 4 70B），延迟极低，但显存极小（230MB），只适合特定场景
- Cerebras CS-4： 单机运行Llama 4 405B，2000+ tok/s，但价格昂贵（$300万/台）
- d-Matrix Corsair： 专为推理设计的ASIC，性能功耗比是H100的5倍，但生态不成熟
专用推理芯片的"坑"：生态不成熟，没有CUDA，迁移成本高。 除非你对推理性能有极致要求，否则不推荐。
结语：选GPU，看"性能够用"而不是"性能最强"
推理GPU选型的核心原则：用最便宜的GPU，满足你的性能需求。 不要"杀鸡用牛刀"——7B模型用H100是浪费，70B模型用L40S是折磨。
2026年推理GPU性价比排名：L40S > A100 > RTX 4090 > H100 > B100。 但对于70B+模型，H100是唯一的选择。
数据来源：作者团队推理GPU实测（2026年6月），AWS/GCP GPU实例价格（2026年7月）。