- modules/nccl_test.py: 新增 MultiNodeNCCLTest 类,通过 mpirun + hostfile 跑跨节点 NCCL Scaling 测试;支持 scale_levels 逐级测试,AllToAll 自动 用 1G 消息避免大消息 hang,NCCL 环境变量通过 -x 传入各节点 - gpu_tester.py: 菜单加 [m] Multi-node NCCL Scaling,CLI 加 --test multinode-nccl - configs/default.yaml: 新增 multinode_nccl 配置段(hostfile/mpi_home/HCA/网卡等) - scripts/multinode_nccl/: 保留 shell 脚本版(nccl_env.sh/run_scaling.sh/ run_cross_switch_test.sh/hosts_all,含 gpu-51/55 共 34 台) - README: 新增 5m 多机 NCCL 章节,更新 SOP-3 和项目结构说明 Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
29 lines
1.2 KiB
Bash
29 lines
1.2 KiB
Bash
#!/bin/bash
|
|
# ===== 多机 NCCL 测试环境 — H20-3e 集群 (34台, 8xNDR400 per node) =====
|
|
# 主节点: gpu-20 (10.184.0.20), 在此节点 source 后执行 mpirun
|
|
# 验证日期: 2026-06-06
|
|
|
|
# OpenMPI 不在默认 loader 路径,必须显式加
|
|
export PATH=/usr/mpi/gcc/openmpi-4.1.7rc1/bin:$PATH
|
|
export LD_LIBRARY_PATH=/usr/mpi/gcc/openmpi-4.1.7rc1/lib:$LD_LIBRARY_PATH
|
|
|
|
# NCCL: 使用 8 张 GPU 直连 IB 网卡 (PIX 级别直连)
|
|
# 排除 mlx5_6/7: 虽为 IB Active, 但无 GPU PIX 直连, 为存储 NIC
|
|
# 排除 mlx5_bond_0: 25G 以太管理口
|
|
# GPU↔NIC 对应: GPU0↔mlx5_3, GPU1↔mlx5_2, GPU2↔mlx5_1, GPU3↔mlx5_0
|
|
# GPU4↔mlx5_5, GPU5↔mlx5_4, GPU6↔mlx5_9, GPU7↔mlx5_8
|
|
export NCCL_IB_HCA=mlx5_0,mlx5_1,mlx5_2,mlx5_3,mlx5_4,mlx5_5,mlx5_8,mlx5_9
|
|
export NCCL_IB_DISABLE=0
|
|
|
|
# NCCL bootstrap 网卡: 节点上有 k8s 虚拟网卡 (lvscare/kube-ipvs0),
|
|
# 不指定会选错导致 connection refused, 内网 IP 在 bond0 上
|
|
# 注意: 不能用 ^bond (会把 bond0 也排掉), 必须明确写 bond0
|
|
export NCCL_SOCKET_IFNAME=bond0
|
|
|
|
export NCCL_IB_DISABLE=0
|
|
export NCCL_DEBUG=${NCCL_DEBUG:-WARN}
|
|
|
|
# IB 为 InfiniBand link_layer (非 RoCE), GID 一般不用设
|
|
# 如报 GID 问题再放开:
|
|
# export NCCL_IB_GID_INDEX=3
|