OpenPi_POC_Dev/entry/train_jax.sh
2026-10-09 16:41:13 +08:00

56 lines
2.1 KiB
Bash
Executable File

#!/bin/sh
# Pi05 JAX 训练入口 (design_v2 §5)。契约 CONTRACT_JSON 整体注入 (默认 RoboTwin 四相机)。
set -eu
echo "[$(date -u +%FT%TZ)] node=${NODE_LABEL:-} run=${RUN_ID:-}"
if ! (
set -eu
echo "== container env self-check (log only, failures tolerated) =="
df -h || true
free -h || true
nvidia-smi || echo "[env-check] nvidia-smi unavailable, continue without GPU info"
: "${OUTPUT_DIR:?OUTPUT_DIR not set}"
mkdir -p "$OUTPUT_DIR"
# stdout/stderr 双写: 控制台 + $OUTPUT_DIR/stdout.log (PVC)。
# 平台对失败节点的容器 stdout 不持久化 (Job GC 即失), 落盘才能事后取证。
LOG_PIPE="$OUTPUT_DIR/.stdout.pipe"
rm -f "$LOG_PIPE"
if mkfifo "$LOG_PIPE" 2>/dev/null; then
tee "$OUTPUT_DIR/stdout.log" < "$LOG_PIPE" &
TEE_PID=$!
exec > "$LOG_PIPE" 2>&1
else
exec > "$OUTPUT_DIR/stdout.log" 2>&1
fi
EXP_NAME="${EXP_NAME:-pi05_contract}"
# 幂等清理: 只清本功能产物 (checkpoints/assets/train_report), 不动平台协作文件。
# RESUME=true 语义为断点续训 (checkpoint manager 从既有 step 目录恢复), 与此处
# 清理不冲突: 续训场景由使用方保证不重复触发清理 (同节点重跑 = 全新训练)。
rm -rf "$OUTPUT_DIR/checkpoints" "$OUTPUT_DIR/assets" "$OUTPUT_DIR/train_report.json"
export PYTHONPATH="/app/src/openpi/src:/app/src${PYTHONPATH:+:$PYTHONPATH}"
export OPENPI_DATA_HOME="${OPENPI_DATA_HOME:-/app/src/openpi_cache}"
export HF_HUB_OFFLINE="${HF_HUB_OFFLINE:-1}"
export XLA_PYTHON_CLIENT_PREALLOCATE="${XLA_PYTHON_CLIENT_PREALLOCATE:-false}"
# 多卡: GPU 间跨 PCIe root (SYS 拓扑) 时 PCIe P2P 不可用, NCCL 报 unhandled
# system error; 统一禁 P2P 走 host memory (PHB 拓扑下仅轻微降效)
export NCCL_P2P_DISABLE="${NCCL_P2P_DISABLE:-1}"
export PI_CKPT_LOCAL="${PI_CKPT_LOCAL:-}"
/app/src/venv_train/bin/python /app/src/pi_pipeline/train_runner.py
); then
echo "[entry] train_jax FAILED; env keys: $(env | cut -d= -f1 | sort | tr '\n' ' ')"
echo "[entry] keeping pod alive 900s for diagnosis"
sleep 900
exit 1
fi
sh /app/report.sh