大模型训练集群的演进，成熟路径是三阶段：单机 8卡 → 多机互联 → 千卡调度。本文按阶段给出网络、存储、调度三件套的要点与自检清单。
阶段一：单机 8 卡起步
先在一台 8卡 NVLink 全互联机器上跑通训练链路：数据、模型、框架、监控。这一阶段的目的不是算力，是验证业务可行性与团队技能，为后续扩展打地基。
阶段二：多机互联（4-32 节点）
用 RoCE v2 无损以太网把机器连起来：400G 网卡、PFC/ECN 无损配置、网卡卸载，加上作业调度（Slurm 或 K8s 任务队列）。注意同步训练对带宽敏感，网络是这一阶段最大的工程变量。
阶段三：千卡级集群
规模上来后重点转向三件事：调度与弹性（队列、抢占、容错）、高性能存储（并行文件系统或分布式存储支撑数据流水线）、运维与监控（故障定位、节点健康、功耗管理）。千卡集群 80% 的工作量在工程而非模型。
成本对比与自检清单
自建成本：硬件加机房加运维，长期稳定；上云成本：按需付费弹性好。判断标准：训练利用率、数据保密性、团队工程能力。自检五问：网络带宽够吗、存储吞吐跟得上吗、调度容错有吗、功耗散热规划了吗、数据安全合规吗。
3 条要点回顾
- 先单机 8卡验证，再多机互联，最后千卡调度，不要一上来堆规模。
- RoCE v2 无损网络是集群性价比之选，网络工程决定扩展上限。
- 自建还是上云看利用率与数据敏感性，可混用起步。
常见问题（FAQ）
训练集群最少要多少台？
先用单机 8卡 NVLink 验证模型，多机训练至少 2-4 台起（用 RoCE 或 NVLink 域互联），千卡级是规模化训练的形态，不建议一上来就堆。
多机互联为什么用 RoCE？
RoCE v2 无损以太网在带宽、成本与生态上平衡：单口 400G/800G，配合 PFC/ECN 无损机制与网卡卸载，多机梯度同步效率接近专用互联，成本低得多。
集群存储怎么配？
训练数据并行读要快：用高性能并行存储（NVMe 全闪或分布式存储）配大带宽；检查点要稳：定时快照并备份。存储瓶颈会让 GPU 闲着，配比要按数据吞吐估算。
自己搭还是租算力？
看利用率：长期满载 60% 以上且数据敏感，自建划算；短期项目、弹性需求或资金有限，租算力起步更快。两者也可混用：核心数据自建、弹性扩容上云。
让专业团队帮你落地
相关阅读：AI算力网络 RoCE v2 选型 · AI服务器选型指南 · 查看千卡级算力中心案例 训练系统资料可参考 NVIDIA 集群文档：docs.nvidia.com
广东深华天成智能工程有限公司
14年IT服务经验 | 2000+企业客户 | 7x24小时技术支持 | 深圳AI算力与数据中心集成服务商