网络正在成为AI算力的新瓶颈
2026年，AI大模型训练集群规模从千卡扩展到万卡甚至十万卡级别。当GPU算力不再是瓶颈时，网络通信成为限制集群效率的关键因素。
在典型的千卡训练集群中，每次迭代需要所有GPU之间同步梯度（AllReduce操作）。如果网络带宽不足，GPU将大量时间花在"等待通信"而非"计算"上。NVIDIA的数据显示，在万卡H100集群中，网络通信时间占总训练时间的30-50%。这意味着，即使你把GPU算力翻倍，如果网络不升级，实际训练速度提升可能只有1.2倍。
InfiniBand：NVIDIA的算力互联"护城河"
为什么InfiniBand是AI训练的标配
InfiniBand（IB）是一种高性能计算网络技术，由Mellanox（2019年被NVIDIA以$69亿收购）主导。2026年，InfiniBand在AI训练集群中的市场份额约为65%，在大规模训练（千卡以上）中的份额超过85%。
InfiniBand的核心优势：
- 超低延迟：端到端延迟<1微秒（以太网通常10-50微秒）
- 超高带宽：Quantum-X800单端口800Gb/s
- RDMA（远程直接内存访问）：数据直接写入远端GPU显存，无需CPU参与
- In-Network Computing：在网络交换机中完成AllReduce操作，大幅降低通信量
- 自适应路由：动态选择最优路径，避免拥塞
- 无损网络：基于信用（Credit-based）的流控，确保零丢包
InfiniBand产品路线图
| 代际 | 产品 | 单端口速率 | 交换机 | 发布年份 |
|---|---|---|---|---|
| NDR | Quantum-2 | 400Gb/s | 64×400G | 2021 |
| NDR 200 | ConnectX-7 | 400Gb/s | - | 2022 |
| XDR | Quantum-X800 | 800Gb/s | 64×800G | 2024 |
| GDR | Quantum-X1600 | 1.6Tb/s | 64×1.6T | 2026 |
2026年，NVIDIA发布了Quantum-X1600（GDR），单端口速率1.6Tb/s，64端口交换机总吞吐量102.4Tb/s。在GB300 NVL72集群中，GDR InfiniBand是GPU互联的标配网络。
NVIDIA的端到端垄断
NVIDIA在AI训练网络中的优势不仅是InfiniBand本身，而是GPU + NVLink + InfiniBand + Spectrum-X的端到端方案：
- NVLink：GPU间短距离互联（单机柜内）
- InfiniBand：节点间长距离互联（跨机柜）
- Spectrum-X：以太网方案（适用于推理和中小规模训练）
这种端到端方案意味着：客户不需要自己设计网络拓扑、调优RDMA参数、处理拥塞控制——NVIDIA提供一体化的"算力网络"。
Ultra Ethernet：以太网阵营的反击
Ultra Ethernet Consortium（UEC）
2023年，AMD、Intel、Meta、Microsoft、Broadcom、Arista、Cisco等公司联合成立了Ultra Ethernet Consortium（UEC），目标是打造一个开放、高性能的以太网标准，替代InfiniBand在AI网络中的地位。
2026年，UEC 1.0规范正式发布，核心特性包括：
- 多路径和数据包喷洒（Packet Spraying）：将数据流分散到多条路径，充分利用带宽
- 灵活的排序和交付：AI流量不需要严格按序到达，放松排序约束以降低延迟
- 改进的拥塞控制：针对AI流量的"突发性"特征优化
- 端到端遥测：实时监控网络拥塞和延迟
- 向后兼容以太网：可以在现有以太网基础设施上部署
UEC vs InfiniBand：2026年对比
| 维度 | InfiniBand (GDR) | Ultra Ethernet 1.0 |
|---|---|---|
| 单端口速率 | 1.6Tb/s | 800Gb/s（2026） |
| 端到端延迟 | <1μs | 3-5μs |
| RDMA | 原生支持 | RoCEv2 |
| 拥塞控制 | 基于信用（无损） | 改进的ECN+ |
| 交换机 | NVIDIA Quantum | Broadcom/Intel/Arista/Cisco |
| 开放性 | 封闭（NVIDIA独占） | 开放（多厂商） |
| 成本 | 高（交换机+网卡） | 中（以太网交换机+智能网卡） |
| 生态 | NVIDIA GPU专用 | 所有GPU和CPU |
| 适用场景 | 大规模训练（千卡以上） | 中小规模训练、推理 |
UEC的进展
2026年，UEC 1.0产品已从Broadcom、Arista、Cisco、Intel等厂商出货。AMD MI400X的参考设计采用UEC网络，Meta的AI训练集群也在测试UEC。但UEC在大规模训练（万卡以上）中的表现仍需验证，InfiniBand在顶级训练集群中的统治地位短期内难以撼动。
网络拓扑：从Fat-Tree到DragonFly
传统Fat-Tree
Fat-Tree（胖树）是最经典的HPC网络拓扑，特点是：
- 越靠近根节点，链路带宽越宽
- 无阻塞（Non-blocking）
- 但成本高（交换机数量随规模指数增长）
DragonFly+（蜻蜓+）
DragonFly+是2026年AI集群的主流拓扑，特点是：
- 将节点分组，组内全互联，组间部分互联
- 成本显著低于Fat-Tree（交换机数量减少40-50%）
- 但需要自适应路由来避免拥塞
NVIDIA的GB300 NVL72集群推荐使用DragonFly+拓扑，InfiniBand的自适应路由可以很好地处理DragonFly+中的拥塞问题。
3D-Torus（3D环面）
Google TPU v6 Pod采用3D-Torus拓扑，每个TPU芯片连接6个邻居（上下左右前后），形成3D环形网络。这种拓扑的成本低（不需要交换机），但扩展到更大规模时效率下降。
中国AI网络
国产替代
受限于NVIDIA InfiniBand的供应限制（一定程度上受出口管制影响），中国AI企业正在加速国产网络替代：
- 华为：自研"星河AI网络"，基于自研芯片和交换机，支持400GbE/800GbE
- 星融（Asterfusion）：国产AI网络交换机，支持RoCEv2和自研拥塞控制算法
- 锐捷网络：AI Fabric解决方案，在互联网公司中逐步替代InfiniBand
国产AI网络的挑战
- 大规模集群（万卡以上）的稳定性不如InfiniBand
- 拥塞控制算法仍需优化
- 与国产GPU（昇腾、寒武纪）的适配工作量大
2026年AI网络五大趋势
- InfiniBand加速至1.6Tb/s：GDR代际在2026年H2量产，进一步拉大与以太网的距离
- UEC 1.0商用落地：AMD和Meta的UEC方案在2026年进入生产环境
- 网络从400G向800G迁移：2026年是800G光模块和交换机的规模商用元年
- In-Network Computing：在交换机中完成AllReduce、All-to-All等集合通信操作
- 光互联进入机柜：CPO（Co-Packaged Optics）和LPO（Linear-drive Pluggable Optics）降低功耗
总结
2026年AI网络的核心逻辑是：InfiniBand在大规模训练中不可替代，但UEC在推理和中小规模训练中正在蚕食份额。对于企业，AI网络的选型建议是：千卡以上训练用InfiniBand（ROI明确），推理和中小规模训练可用UEC/以太网（成本更低），国产替代场景用华为星河AI网络。AI网络的投入不是"成本"，而是"杠杆"——好的网络可以让你的GPU发挥出1.5-2倍的实际算力。