OpenPi_POC_Dev/entry/norm_stats.sh
2026-10-09 16:41:13 +08:00

37 lines
1.2 KiB
Bash
Executable File

#!/bin/sh
# norm_stats 独立统计入口 (design_v2 §6, D11)。输入 dataset 端口或 DATASET_PATH,
# 输出 norm_stats 产物端口 (norm_stats.json, 含 mean/std/q01/q99/min/max)。
set -eu
echo "[$(date -u +%FT%TZ)] node=${NODE_LABEL:-} run=${RUN_ID:-}"
echo "== container env self-check (log only, failures tolerated) =="
df -h || true
free -h || true
nvidia-smi || echo "[env-check] nvidia-smi unavailable, continue without GPU info"
: "${OUTPUT_DIR:?OUTPUT_DIR not set}"
mkdir -p "$OUTPUT_DIR"
# stdout/stderr 双写: 控制台 + $OUTPUT_DIR/stdout.log (PVC)。
# 平台对失败节点的容器 stdout 不持久化 (Job GC 即失), 落盘才能事后取证。
LOG_PIPE="$OUTPUT_DIR/.stdout.pipe"
rm -f "$LOG_PIPE"
if mkfifo "$LOG_PIPE" 2>/dev/null; then
tee "$OUTPUT_DIR/stdout.log" < "$LOG_PIPE" &
TEE_PID=$!
exec > "$LOG_PIPE" 2>&1
else
exec > "$OUTPUT_DIR/stdout.log" 2>&1
fi
# 幂等清理: 只清本功能产物
rm -rf "$OUTPUT_DIR/norm_stats"
export PYTHONPATH="/app/src/openpi/src:/app/src${PYTHONPATH:+:$PYTHONPATH}"
export HF_LEROBOT_HOME="${HF_LEROBOT_HOME:-$OUTPUT_DIR}"
/app/src/venv_train/bin/python /app/src/pi_pipeline/norm_stats_runner.py
sh /app/report.sh