AI 集群的网络，是决定训练效率的隐形瓶颈：RoCE v2 无损以太网是性价比主流，InfiniBand 是性能上限选择。本文对比两种方案并给出决策树。
两种网络横向对比
| 维度 | RoCE v2 | InfiniBand |
|---|---|---|
| 带宽 | 400G/800G | NDR 级高带宽 |
| 无损机制 | PFC+ECN 软件调优 | 原生无损 |
| 生态兼容 | 与以太网统一 | 独立协议栈 |
| 成本 | 相对更低 | 相对更高 |
RoCE 无损调优三件套
第一PFC 流控：按优先级队列分配缓冲，防止拥塞丢包；第二ECN 标记：拥塞时显式标记，主机端降速；第三自适应路由：多路径动态负载均衡。三件套配合网卡卸载（RDMA）才能真正无损，建议找有实测经验的团队调优。
选型决策树
- 单机 8卡以内训练：无需机间无损网络。
- 多机但预算敏感：RoCE v2 400G 起步。
- 千卡级训练：RoCE 800G 核心或 InfiniBand 按预算与确定性要求选。
- 金融高频或强确定性场景：InfiniBand 更稳。
3 条要点回顾
- RoCE v2 是绝大多数企业的性价比选择，成本低约三成。
- 无损网络靠 PFC+ECN+自适应路由三件套，调优质量决定效果。
- 小集群不必上无损，规模与训练吞吐到了再规划。
常见问题（FAQ）
RoCE 和 InfiniBand 谁快？
InfiniBand 单点性能与确定性更强，但 RoCE v2 在 400G/800G 时代带宽逼近且成本低约三成，是绝大多数企业集群的现实选择。
RoCE 为什么需要无损？
训练同步对丢包极敏感，丢包即重传即拖慢：RoCE 靠 PFC 流控加 ECN 标记加自适应路由实现无损转发，配置不当会引发 PFC 死锁，所以无损调优是核心工程。
交换机选 400G 还是 800G？
按单卡互联带宽倒推：训练卡间流量大选 800G 核心交换机，推理集群 400G 足够；关键看网卡端口速率与交换机线速转发能力是否匹配。
小集群需要无损网络吗？
2-4 台机器直接 NVLink 域内互联即可，机间少量流量用常规网络也能跑；上到 8 台以上或训练吞吐受限，再上 RoCE 无损方案。
让专业团队帮你落地
相关阅读：大模型训练集群搭建路径 · AI服务器选型指南 · 查看 RoCE v2 无损以太网方案 RoCE 规范可参考 IBTA 与 IEEE 相关标准：rdmamojo.com
广东深华天成智能工程有限公司
14年IT服务经验 | 2000+企业客户 | 7x24小时技术支持 | 深圳AI算力与数据中心集成服务商