更新 POC平台算子注册最快实践.md
This commit is contained in:
parent
9cac5c570a
commit
98aa878d80
@ -1,4 +1,4 @@
|
||||
# POC 平台算子注册最快实践(从镜像到算子)
|
||||
# POC 平台算子注册最快实践(构建→注册→迭代验证→发版验收)
|
||||
|
||||
平台地址:http://120.48.164.19/(API 前缀 /api)。
|
||||
|
||||
@ -12,6 +12,27 @@ CSRF=$(grep droboticflow_csrf cookies.txt | awk '{print $NF}')
|
||||
```
|
||||
写操作需带 cookie + 请求头 X-Droboticflow-CSRF-Token;GET /api/runs/* 需 admin cookie。
|
||||
|
||||
## 本机构建与推送
|
||||
|
||||
1. 代理与 builder(所有拉取走代理,不用镜像源替代):
|
||||
```bash
|
||||
export http_proxy=http://192.168.16.68:18000 https_proxy=http://192.168.16.68:18000
|
||||
docker buildx use proxybuilder
|
||||
```
|
||||
2. 仓库参数化构建(OpenPi_Dev 示例);手动构建用 setsid + nohup 脱离会话,防 SSH 断开或工具超时杀掉构建:
|
||||
```bash
|
||||
cd DataPipeline/OpenPi_Dev && ./build_docker.sh
|
||||
setsid nohup docker buildx build --builder proxybuilder --push \
|
||||
-f Dockerfile -t ccr-29eug8s3-pub.cnc.bj.baidubce.com/public/openpi_train_inference:$(cat /tmp/opencode/cur_tag) . \
|
||||
> /tmp/opencode/build.log 2>&1 &
|
||||
```
|
||||
3. 要点:
|
||||
- tag = git 短hash-日期(对齐平台官方算子 tag 规范,镜像身份自带代码可追溯);后台命令里 $(date ...) 会提前展开丢失,先写 /tmp/opencode/cur_tag 再读。
|
||||
- 用 --push 直推 registry,不 --load 落本地(省一半磁盘)。
|
||||
- Dockerfile 层序:权重/依赖大层在前、源码层最后,改代码只重建源码层,缓存命中时 10 分钟级;buildkit GC 不保证缓存长存,构建前 df -h 确认 /var/lib/docker 余量 100GB 以上。
|
||||
- 监控用 tail 轮询日志,单次等待不超过 2 分钟。
|
||||
- 不允许通配符找进程 kill,只停自己本次起的构建。
|
||||
|
||||
## 注册算子(POST /api/operators)
|
||||
|
||||
算子 JSON 核心字段:
|
||||
@ -33,6 +54,33 @@ CSRF=$(grep droboticflow_csrf cookies.txt | awk '{print $NF}')
|
||||
- bucket 必须与存储连接绑定的桶一致。
|
||||
3. 可选:保存为模板(POST /api/templates),模板继承存储策略,走 publish 生成 release,项目中实例化使用。
|
||||
|
||||
## 开发迭代闭环(怎么改、怎么算通过)
|
||||
|
||||
循环分三层,"通过"只在判定层产生:
|
||||
|
||||
| 层 | 手段 | 职责与边界 |
|
||||
|---|---|---|
|
||||
| 定位层 | 本地 docker 复现(DATASET_PATH 直挂)、K8s 探针 Pod(同镜像同挂载直跑 entry) | 只负责看清问题,结论一律不算通过:本地是 root、探针无平台 env 与协议判定,协议行、uid 10001、PVC 存储语义等平台形态特有问题只有正式 run 能暴露 |
|
||||
| 修复层 | git 改码,本地冒烟只挡秒崩级低级错误 | 修复提交的 commit message 关联失败 run ID |
|
||||
| 判定层 | 一键部署 + 平台正式 run | 唯一"通过"来源 |
|
||||
|
||||
"通了"的唯一定义:平台正式 run 节点 succeeded + K8s events 可核对实拉镜像 tag + tag 可追溯 git commit + 产物形状校验。三条铁律:
|
||||
|
||||
1. 经 containerCommand 注入验证过的修复必须转正进镜像源码,否则该 case 视为未通过(注入组合通过不等于交付物通过)。
|
||||
2. 结论必须带载体限定,能回答哪个 run、哪个镜像 tag、哪个 commit,答不出即未验证。
|
||||
3. 轻量算子(代码挂 PVC)只可作丢弃式诊断,不进交付路径;调试与验收必须同一镜像同一 tag,消灭载体漂移。
|
||||
|
||||
部署一条龙:build --push → PUT /api/operators/{id} 更新 image → 工作流节点引用新 tag → 平台 run。完成判据三条齐备:push digest 返回、算子 PUT 200、节点引用一致。调试取证依赖已固化在 entry 里的两条能力:stdout tee 到 OUTPUT_DIR/stdout.log(PVC 落盘)、失败保活驻留,失败自动留现场。
|
||||
|
||||
## 发版与验收
|
||||
|
||||
调试闭环到平台验收成功还剩四件事,均在调试之外:
|
||||
|
||||
1. release 发布与 production run:debug run 不等于 release 行为,发版前用代表 case 跑一次 production 模式。
|
||||
2. 验收标准对表:己方回归套件通过不等于验收方清单通过,差异项补测。
|
||||
3. 算子默认值与凭据:注册体默认超参需开箱可跑;数据入口凭据走平台 storage connection 或工作流输入 defaultPayload(BOS ref),不用超参明文 AK/SK。
|
||||
4. 随发布补齐文档:端口说明、契约 schema、使用示例。
|
||||
|
||||
## 注意事项
|
||||
|
||||
- 一端口一上游:两个上游连同一输入端口会被校验拒绝,多上游必须开多端口(如 dataset + dataset_extra)。
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user