# H200 训练服务器测试框架调研

## 一、官方/行业标准级框架

### 1. NVIDIA DGXC Benchmarking
- GitHub: https://github.com/NVIDIA/dgxc-benchmarking
- NVIDIA 官方 AI 负载基准测试套件
- 提供 Exemplar Certification（>95% 基线性能认证）
- 支持 GB300/GB200/B300/B200/H100
- 内置模型: Grok-1、Llama 3.1 70B/405B、Mixtral、Qwen3
- `llmb-run exemplar` 一键跑完整测试套件
- 每 ~2 个月更新 Recipe

### 2. NVIDIA CloudAI Benchmark Framework
- GitHub: https://github.com/NVIDIA/cloudai
- 数据中心级 AI 系统自动化基准测试
- 支持 Slurm / Kubernetes / RunAI 多调度器
- 内置测试: NCCL、MegatronRun、DeepEP、NeMo v2.0、Triton Inference

### 3. Microsoft SuperBench
- GitHub: https://github.com/microsoft/superbenchmark
- 覆盖面最广的一站式 GPU 测试框架
- 微基准测试矩阵:
  - GPU Stress: gpu-burn
  - 内存带宽: nvbandwidth, gpu-stream, mem-bw
  - 计算吞吐: gemm-flops, matmul, cublaslt-gemm, cudnn-function
  - 通信带宽: nccl-bw, ib-traffic, gpcnet
  - 网络连通: tcp-connectivity, ib-loopback
  - CPU: cpu-stream, cpu-hpl
  - 推理: ort-inference, tensorrt-inference

### 4. ornn-bench
- PyPI: `pip install ornn-bench`
- 标准化 GPU 评分框架，30+ 基准测试
- 自动计算 Ornn-I (推理分) 和 Ornn-T (训练分)
- 评分: Ornn-I = 55×(BW/BW_ref) + 45×(FP8/FP8_ref)
- GPU 等级: Premium / Standard / Below
- 调用 nvbandwidth + nccl-tests + mamf-finder

## 二、NVIDIA 官方基础工具

| 工具 | 地址 | 用途 |
|---|---|---|
| nvbandwidth | github.com/NVIDIA/nvbandwidth | GPU 内存/互连带宽精确测量 (CE/SM 模式) |
| nccl-tests | github.com/NVIDIA/nccl-tests | NCCL 集合通信性能+正确性测试 |
| DCGM | 内置 | GPU 健康、温度、功耗、ECC 持续监控 |
| nvbench | github.com/NVIDIA/nvbench (851★) | CUDA kernel 级微基准 |
| AITune | NVIDIA 开源 | PyTorch 推理自动基准调优 |
| ISV-NCP-Validation-Suite | github.com/NVIDIA/ISV-NCP-Validation-Suite | 云平台验证框架 |

## 三、行业参考方法论

### AMD Instinct 客户验收指南
- https://instinct.docs.amd.com/projects/system-acceptance/en/latest/
- 六步流程:
  1. 系统先决条件 — OS/固件/BIOS/GRUB
  2. 健康检查 — PCIe 可见性、互连健康、主机内存
  3. 系统验证和基准 — 计算、内存、I/O、功耗
  4. 网络配置 — NIC 驱动、路由、拓扑映射
  5. RDMA 基准 — 带宽和延迟
  6. 集群验证 — 多节点测试

### Midokura GPU Server Verification
- https://docs.midokura.com/docs/user/GPU_SERVER_VERIFICATION
- 三步: nvidia-smi + CUDA 检查 → RDMA 验证 → NCCL 正确性

## 四、Google GPU Recipes (H200)
- GitHub: https://github.com/ai-hypercomputer/gpu-recipes
- 已有 H200 Recipe: Llama-3.1-70B/405B on A3 Ultra
- 框架: NeMo / MaxText

## 五、核心工具汇总

### 必选工具
- nvbandwidth — 内存带宽 (替代 PyTorch copy)
- nccl-tests — NCCL 通信 (替代 torchrun 封装)
- gpu-burn — GPU 压力/稳定性测试

### 可选工具
- DCGM — 持续健康监控
- ib_write_bw / ib_read_bw — RDMA 带宽
- CUDA Samples (bandwidthTest, p2pBandwidthLatencyTest)

### 参考框架
- SuperBench — 最全面的一站式测试
- DGXC Benchmarking — 官方验收标准
- ornn-bench — 标准化评分