2026-10-09 16:41:13 +08:00

4.4 KiB

OpenPi_Dev 发布记录

每条记录对应一个已通过平台判定层验证的镜像 tag。判定标准与流程见 /home/chao01.wu/DeployAnything/claude_analysis_notes/POC平台算子注册最快实践.md 的"开发迭代闭环"一节。

da7ce8b-20260908-2 (当前有效)

项 值
镜像 ccr-29eug8s3-pub.cnc.bj.baidubce.com/public/openpi_train_inference:da7ce8b-20260908-2
openpi 副本 commit da7ce8b (工作区干净)
构建上下文 manifest_da7ce8b-20260908-2.txt (27 文件 sha256); src-externals/XPolicyLab 由 ../reference/XPolicyLab 构建期拷入; 权重由 scripts/fetch_weights.sh 幂等预取
平台算子 三个算子 version 1.2.0, image 已切本 tag (JAX 训练 operator-9b489829810b7b59db63f30081fa0a07, torch 训练 operator-848270666764d6ce59991129492ed7fa, norm_stats operator-d6ec15d9574813d2c47f3b716ce47dd6)
工作流 workflow-cf61aefd254f0283327e1f9ec45e7dfa @ project-3990926c0623c46d0f5942ff8febde23

本 tag 相对上一有效发布 (v20260902_093240) 的变更:

  1. 图像输入固定 1:1: 非 1:1 比例 (4:3/16:9) 与 pos_emb 行切片移除, siglip.py 与 transformers_replace/modeling_siglip.py 还原为官方代码; 契约不再有 aspect_ratio 字段 (旧契约 "1:1" 兼容, 其余非 0 退出)
  2. 审计修复转正进镜像: USER=pi 固化 Dockerfile ENV (uid 10001 无 passwd 条目时 torch getuser 崩溃的根治); stdout tee 与失败保活在 entry; 平台运行不再需要任何 containerCommand 注入包装
  3. PI_DATA_LOCAL 环境开关移除, 改为平台形态内生行为: $WORKSPACE_ROOT 下的输入根自动暂存到 /tmp/pi-stage// (本地直跑不暂存)
  4. 多数据集聚合: 输入根为父目录时展开全部 LeRobot v3 子数据集 (共父目录约束), DataConfig.extra_repo_ids + ConcatDataset 拼接, 共享混合 norm_stats (资产目录 mix-)

验证证据 (run 详情 operatorImage 均为本 tag):

case 结果 run 备注
T1 jax 4cam 默认契约 LORA 100步 completed run-f36b9f5e6c586d7675c776748ee4eb05 75min
T2 torch 4cam FREEZE_BACKBONE 100步 completed run-4b7dcfe07f1abd8941024e5ff42bdaf9 53min, 零注入直跑
T3 norm_stats 独立算子 completed run-1ee7afb2ab6c48206c0d0ad60e868bb1 47min
T4 jax 1cam completed run-0bf63fb5cb2490fc154a89dc935802ca 26min
T5 jax 多数据集 (dataset_test 父目录 4 库, 1cam 契约) completed run-165fb50708bd7c47613b3e5381fa6091 128min, 需 WF_RUN_TIMEOUT=14400

重建步骤 (从本仓库状态到平台验证通过)

  1. 构建并推送镜像 (默认 docker driver; proxybuilder 容器型 builder 的 registry 请求不走 env 代理且容器创建时固化的代理地址会过期, 不要用):
cd DataPipeline/OpenPi_Dev && bash scripts/fetch_weights.sh   # 幂等
docker buildx build --builder default --push \
  --build-arg http_proxy=http://192.168.16.68:18000 \
  --build-arg https_proxy=http://192.168.16.68:18000 \
  --build-arg no_proxy=localhost \
  -f Dockerfile -t ccr-29eug8s3-pub.cnc.bj.baidubce.com/public/openpi_train_inference:<tag> .
  1. 算子联动: cd .local_dev/platform_test && python3 update_ops.py (读 ~/tmp_daa_reg/cur_tag 为新 tag)
  2. 套件复跑: 同目录 IMG_TRAIN=<新tag> python3 platform_run.py cases_t.json; T5 单独 IMG_TRAIN=<新tag> WF_RUN_TIMEOUT=14400 python3 platform_run.py cases_t5.json
  3. 判定核对: run 详情 nodeExecutions[].operatorImage 为新 tag 且状态 completed

已知事实 (影响复现)

  • 平台对节点 K8s job 默认超时约 2h (超时报错 "timed out waiting for kubernetes job ...", 节点 failed); 多数据集统计等长任务在 PUT 工作流体里带 runTimeoutSeconds (platform_run.py 经 WF_RUN_TIMEOUT 环境变量注入)
  • 训练/统计的帧级瓶颈是 AV1 软解码 (~2.2s/帧), 与存储无关; 4 库混合 1215x4 帧统计约 178min
  • 上游数据集落地用独立小镜像 openpi_bos_fetch:v20260902_192404 (未随本 tag 变更)

da7ce8b-20260908 (前一脚, 已被 -2 取代)

与 -2 差异: 无输入本地暂存 (PVC 直读)。T1 jax 4cam 通过 (run-08874fed99c9419d7c3698a17d1db711, 59min); 其 T2 因节点调度过慢被主动终止 (run-83845aa1829930c60fc535a9950d8519, cancelled), torch 路线的判定以 -2 的 T2 为准。

v20260902_093240 (历史)

详见 2026-09-02 的平台矩阵记录 (12 组用例, 其中 torch case 依赖 containerCommand 注入, 属注入伪验证, 已由 -2 的直跑判定取代)。