From 98aa878d80fcc46c228781de6dae6b2af4b54898 Mon Sep 17 00:00:00 2001 From: "chao.wu" Date: Mon, 7 Sep 2026 16:29:36 +0800 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0=20POC=E5=B9=B3=E5=8F=B0?= =?UTF-8?q?=E7=AE=97=E5=AD=90=E6=B3=A8=E5=86=8C=E6=9C=80=E5=BF=AB=E5=AE=9E?= =?UTF-8?q?=E8=B7=B5.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- POC平台算子注册最快实践.md | 50 +++++++++++++++++++++++++++++++++++++- 1 file changed, 49 insertions(+), 1 deletion(-) diff --git a/POC平台算子注册最快实践.md b/POC平台算子注册最快实践.md index 092462b..1ff8f55 100644 --- a/POC平台算子注册最快实践.md +++ b/POC平台算子注册最快实践.md @@ -1,4 +1,4 @@ -# POC 平台算子注册最快实践(从镜像到算子) +# POC 平台算子注册最快实践(构建→注册→迭代验证→发版验收) 平台地址:http://120.48.164.19/(API 前缀 /api)。 @@ -12,6 +12,27 @@ CSRF=$(grep droboticflow_csrf cookies.txt | awk '{print $NF}') ``` 写操作需带 cookie + 请求头 X-Droboticflow-CSRF-Token;GET /api/runs/* 需 admin cookie。 +## 本机构建与推送 + +1. 代理与 builder(所有拉取走代理,不用镜像源替代): +```bash +export http_proxy=http://192.168.16.68:18000 https_proxy=http://192.168.16.68:18000 +docker buildx use proxybuilder +``` +2. 仓库参数化构建(OpenPi_Dev 示例);手动构建用 setsid + nohup 脱离会话,防 SSH 断开或工具超时杀掉构建: +```bash +cd DataPipeline/OpenPi_Dev && ./build_docker.sh +setsid nohup docker buildx build --builder proxybuilder --push \ + -f Dockerfile -t ccr-29eug8s3-pub.cnc.bj.baidubce.com/public/openpi_train_inference:$(cat /tmp/opencode/cur_tag) . \ + > /tmp/opencode/build.log 2>&1 & +``` +3. 要点: + - tag = git 短hash-日期(对齐平台官方算子 tag 规范,镜像身份自带代码可追溯);后台命令里 $(date ...) 会提前展开丢失,先写 /tmp/opencode/cur_tag 再读。 + - 用 --push 直推 registry,不 --load 落本地(省一半磁盘)。 + - Dockerfile 层序:权重/依赖大层在前、源码层最后,改代码只重建源码层,缓存命中时 10 分钟级;buildkit GC 不保证缓存长存,构建前 df -h 确认 /var/lib/docker 余量 100GB 以上。 + - 监控用 tail 轮询日志,单次等待不超过 2 分钟。 + - 不允许通配符找进程 kill,只停自己本次起的构建。 + ## 注册算子(POST /api/operators) 算子 JSON 核心字段: @@ -33,6 +54,33 @@ CSRF=$(grep droboticflow_csrf cookies.txt | awk '{print $NF}') - bucket 必须与存储连接绑定的桶一致。 3. 可选:保存为模板(POST /api/templates),模板继承存储策略,走 publish 生成 release,项目中实例化使用。 +## 开发迭代闭环(怎么改、怎么算通过) + +循环分三层,"通过"只在判定层产生: + +| 层 | 手段 | 职责与边界 | +|---|---|---| +| 定位层 | 本地 docker 复现(DATASET_PATH 直挂)、K8s 探针 Pod(同镜像同挂载直跑 entry) | 只负责看清问题,结论一律不算通过:本地是 root、探针无平台 env 与协议判定,协议行、uid 10001、PVC 存储语义等平台形态特有问题只有正式 run 能暴露 | +| 修复层 | git 改码,本地冒烟只挡秒崩级低级错误 | 修复提交的 commit message 关联失败 run ID | +| 判定层 | 一键部署 + 平台正式 run | 唯一"通过"来源 | + +"通了"的唯一定义:平台正式 run 节点 succeeded + K8s events 可核对实拉镜像 tag + tag 可追溯 git commit + 产物形状校验。三条铁律: + +1. 经 containerCommand 注入验证过的修复必须转正进镜像源码,否则该 case 视为未通过(注入组合通过不等于交付物通过)。 +2. 结论必须带载体限定,能回答哪个 run、哪个镜像 tag、哪个 commit,答不出即未验证。 +3. 轻量算子(代码挂 PVC)只可作丢弃式诊断,不进交付路径;调试与验收必须同一镜像同一 tag,消灭载体漂移。 + +部署一条龙:build --push → PUT /api/operators/{id} 更新 image → 工作流节点引用新 tag → 平台 run。完成判据三条齐备:push digest 返回、算子 PUT 200、节点引用一致。调试取证依赖已固化在 entry 里的两条能力:stdout tee 到 OUTPUT_DIR/stdout.log(PVC 落盘)、失败保活驻留,失败自动留现场。 + +## 发版与验收 + +调试闭环到平台验收成功还剩四件事,均在调试之外: + +1. release 发布与 production run:debug run 不等于 release 行为,发版前用代表 case 跑一次 production 模式。 +2. 验收标准对表:己方回归套件通过不等于验收方清单通过,差异项补测。 +3. 算子默认值与凭据:注册体默认超参需开箱可跑;数据入口凭据走平台 storage connection 或工作流输入 defaultPayload(BOS ref),不用超参明文 AK/SK。 +4. 随发布补齐文档:端口说明、契约 schema、使用示例。 + ## 注意事项 - 一端口一上游:两个上游连同一输入端口会被校验拒绝,多上游必须开多端口(如 dataset + dataset_extra)。