data-gen-ebd/docs/deployment.md
amos c64c79b31d Run the Pi agent in Salty jobs over a one-time SSH tunnel and export SFT rows
rollout.salty_run keeps the gateway, grading and evidence on 36 and moves only the
agent step into a Salty job. The gateway listens on 127.0.0.1 with a per-attempt
bearer token; the job reaches it over port 22 with a restricted one-time key that is
removed after each attempt. rollout.batch gains --backend salty and repeatable
--credential-file, and writes pass/fail SFT exports through rollout.sft at the end.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-28 17:45:28 +08:00

226 lines
16 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 机器部署、镜像与轨迹位置
2026-10-12。本文区分已验收部署与下一步建议部署;只建设 rollout 采集系统,不包含模型训练。任务创建流程见 [任务标准](task-authoring.md),执行边界见 [architecture.md](architecture.md)。两张图同时提供可缩放的 SVG:[当前部署](diagrams/current-deployment.svg)、[Salty 目标部署](diagrams/salty-target-deployment.svg),由本文 Mermaid 源图导出。
## 1 当前部署:36 执行,Salty 保存归档
```mermaid
flowchart TB
subgraph MAC["Mac 开发与操作"]
SRC["embedded-rollout 源码、文档、任务编写与本地回归"]
CLI["SSH / Salty CLI:操作与文件传输"]
LOCAL["artifacts/:已核对的本地归档副本"]
end
subgraph HOST36["36.144.20.182 控制与执行"]
BUILD["Docker 构建 linux/amd64 runtime"]
TASK["可信任务包:题面、template、verifier、gold/负例"]
CTRL["pi_run controller:固定身份、校准、生命周期"]
AGENT["每次新 Docker 工作容器:Pi、编译与工具操作"]
PROXY["本次 bridge 上的模型代理:上游 key 留在主机"]
FINAL["Agent 停止后冻结最终候选"]
GRADE["新无网 Docker 评分容器:受保护 verifier、降权候选"]
EVIDENCE["runs/:native、host stdout、broker、候选与回执"]
SEAL["archive:证据重验、明确文件清单与 SHA-256"]
end
subgraph REGISTRY["CCR 镜像仓库"]
IMAGE["algo/bench-runtime:正式版本按 digest 固定"]
end
subgraph MODEL["智谱模型服务"]
GLM["GLM-5.3 Chat Completions"]
end
subgraph SALTY["Salty 集群与持久存储"]
PROBE["已结束并清理的 CPU 探针:相同镜像可运行"]
STORE["personal:/embedded-rollout:合格轨迹归档"]
end
SRC -->|"同步代码与任务"| BUILD
SRC --> TASK
CLI -->|"SSH 启动与检查"| CTRL
BUILD -->|"公网入口 push"| IMAGE
IMAGE -->|"固定镜像"| AGENT
IMAGE -->|"固定镜像"| GRADE
TASK -->|"校准准入;仅交付公开初态与题面"| CTRL
CTRL --> AGENT
AGENT <-->|"本次专用 bridge"| PROXY
PROXY <-->|"HTTPS"| GLM
AGENT --> FINAL
FINAL --> GRADE
TASK -->|"正式测试仅供评分侧"| GRADE
AGENT --> EVIDENCE
PROXY -->|"请求摘要与 HTTP 结果"| EVIDENCE
GRADE -->|"独立行为评分"| EVIDENCE
CTRL -->|"终态与清理回执"| EVIDENCE
EVIDENCE --> SEAL
SEAL -->|"传回并核对摘要"| LOCAL
LOCAL -->|"Salty CLI 上传;临时下载复核后删除"| STORE
IMAGE -->|"VPC 入口;已完成探针"| PROBE
```
图中探针已结束并清理,不是持续运行服务。当前正式 Pi 与独立评分均在 36;Salty 保存稳定归档。Mac 本轮新增文档未同步到 36,不把本地编辑或提交当成远端同步。
| 位置 | 执行的操作 | 不应混淆的边界 |
| --- | --- | --- |
| Mac | 开发、任务编辑、文档、本地回归、SSH 与已登录的 Salty CLI、查看归档 | 本地测试与远端真实模型执行分别记录 |
| 36 Linux 主机 | 构建镜像、运行 controller/proxy、校准、创建工作/评分容器、证据对账与封存 | 模型 key、正式 verifier 与参考解留在可信侧 |
| 36 工作容器 | Pi 读取、修改、构建、运行及公开自测 | 不挂载隐藏测试、参考解、历史归档或 Docker socket |
| 36 评分容器 | 独立编译与行为判分 | 无网;候选只读,编译器/候选降权,正式 verifier 受保护 |
| CCR | 保存并分发 runtime 镜像 | 仓库不是任务与轨迹存储,镜像不包含隐藏测试或凭据 |
| GLM 服务 | API 模型推理 | 不在本项目机器上训练或更新模型 |
| Salty | 已实测 CPU 镜像/存储探针,保存完整归档 | 正式 Agent 作业后端尚未实现与验收 |
## 2 为什么当前用 36,Salty 能否直接执行
可以直接让 Salty 拉取镜像并运行其中的 Pi/Node 程序。相同固定 runtime 已在 Salty CPU 探针中运行成功;[官方操作说明](https://salty.d-robotics.cc/skills/salty/SKILL.md) 也提供 `salty run IMAGE -- COMMAND`。Salty 使用预先准备的镜像,镜像构建与上传仍需构建环境。
当前使用 36 是 M0 的实现与验收选择:`pi_run` 调用本机 `docker network create`,`core` 调用 `docker run`,依赖本机 bind mount、私有 bridge、无网评分和降权 capabilities。模型代理绑定该 bridge 的 gateway 并限制来源。36 已有这些能力且完成真实校准与闭环。
因此区分两种执行方式:
| 方式 | 当前结论 |
| --- | --- |
| Salty 直接启动 runtime,执行 Pi、编译器与工具 | 镜像与依赖探针通过;正式采集还需启动包装、模型通道、交接和证据适配 |
| 把当前 controller 放到 Salty 容器中,再由它创建 Docker 容器 | 未验证,需要 Docker daemon/socket 或受支持的嵌套运行、网络与权限;当前镜像也不包含 controller 或 Docker CLI/daemon |
优先采用第一种。没有证据表明 Salty 不支持嵌套 Docker,也没有证据可以让本项目直接依赖它。把 CPU 探针成功当作完整采集成功同样不成立。
## 3 建议部署:Salty 执行 Agent,36 暂留可信服务
以下是开发目标,不是已上线能力。实线表示已有机器角色,虚线表示需要实现或验收的跨机器路径。
```mermaid
flowchart TB
subgraph MAC["Mac 开发与操作"]
AUTHOR["按模板编写、审核任务"]
OP["批次操作 / Salty CLI"]
end
subgraph HOST36["36 构建、控制与评分"]
BUILD["构建固定镜像"]
CTL["待开发:Salty 批次 controller"]
PRIVATE["隐藏 verifier / gold / 校准证据"]
GATE["待适配:跨机器受控模型网关,上游 key 留在可信端"]
HANDOFF["待开发:接收候选与原生轨迹,核对 job 终态与身份"]
GRADE["独立无网 Docker 评分"]
SEAL["证据对账、归档与批次报告"]
end
CCR["CCR:固定 digest 的 runtime"]
GLM["GLM-5.3 服务"]
subgraph SALTY["Salty 执行与存储"]
JOB["每个 attempt 一个 CPU job:Pi、工作区、工具链"]
STORE["personal:/embedded-rollout:稳定归档"]
end
AUTHOR --> BUILD
AUTHOR --> PRIVATE
OP -.->|"启动批次"| CTL
BUILD --> CCR
CTL -.->|"提交、查询、超时取消"| JOB
CCR -->|"VPC 地址"| JOB
JOB <-.->|"待验收的认证与网络通道"| GATE
GATE <--> GLM
JOB -.->|"停止后交接:候选、native 与独立作业日志"| HANDOFF
CTL -.-> HANDOFF
HANDOFF --> GRADE
PRIVATE --> GRADE
GRADE --> SEAL
HANDOFF --> SEAL
GATE -->|"broker 证据"| SEAL
SEAL -->|"上传、下载核对摘要"| STORE
```
Salty job 不执行 Docker-in-Docker,直接运行镜像中的 Pi。36 可以暂留构建、可信控制、模型网关与 grader;将来这些角色可迁到平台支持的服务,先以相同合同证明隔离与证据完整。架构角色与某一台物理机器不永久绑定。
迁移验收顺序:
1. **公开任务启动**:包装器准备初态、stdin 题面、工作区和独立 trace 目录;不上传 verifier/gold。固定镜像并记录 job ID、输入与候选身份。
2. **模型安全通道**:确认集群到可信网关的路由、TLS/认证及按 attempt 绑定;上游 key 留在可信端。当前 bridge-only proxy 不能直接暴露公网;Pi adapter 当前也只接受 HTTP 与 IP 地址,跨机器采用 HTTPS/域名时须同步升级并测试 URL/认证合同。平台 Secret、工作负载身份或私有网络能力尚未确认;官方 `--env/--env-file` 明文保存与回显,不能作为密钥通道。
3. **候选与证据交接**:正常结束或取消后确认进程退出,再冻结候选;取得完整且独立于 Agent 可写文件的作业日志,与 native/broker 对账。平台日志限额、保存时间与取消后可读性须实测。
4. **数据可见性**:`--workdir` 只是工作目录,不证明盘的隔离。个人空间在作业内为 `/data/personal`;历史归档含最终候选,若新 job 可读取全部个人盘,会获得旧答案。独立修复采集需按 job 限制历史可见性;若显式允许案例检索,应另记采集条件。隐藏测试与参考解始终不放到 Agent 可读盘。
5. **故障与清理**:验正常、FAIL、超时、取消和模型故障,确认只删除本次 job/临时文件;完整失败轨迹可封存,故障或截断记录另标。先单并发稳定,再依据容量增并发。
两个 jobs 不自动形成隔离,同一个人盘的两个目录也不自动形成隔离。若平台无法满足所需边界,保留 36 执行,或明确改变任务/证据合同后再采集,不能沿用旧验收结论。
## 4 镜像的准确位置
构建来源:[agent/Dockerfile](../agent/Dockerfile),在 36 构建;当前版本 `linux/amd64`,含 Node v22.23.3、Pi 0.73.1、Python 3.10 和 C 工具链,不包含题目、隐藏测试、参考解或凭据。
公网仓库 tag:
```text
ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime:embedded-rollout-20261012-pi0731-trace2
```
正式公网引用:
```text
ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:8fefefc607a28765d87da4f6b14f7dec19a97b35c3fa38e86b6b12590235e227
```
Salty 已实测的 VPC 引用:
```text
ccr-29eug8s3-vpc.cnc.bj.baidubce.com/algo/bench-runtime@sha256:8fefefc607a28765d87da4f6b14f7dec19a97b35c3fa38e86b6b12590235e227
```
36 Docker 本地别名:`embedded-rollout:pi0731-trace2-20261012`。tag 便于识别,正式运行使用 digest 冻结身份。备用 `registry.d-robotics.cc` 未推送成功,不把它列为正式镜像位置。旧试验 tag 尚有删除权限例外,见 [onboarding.md](onboarding.md)。
2026-10-12 续:adapter 修复 host stdout 管道部分写入和 GLM 输出上限后,以 trace2 digest 为基础只替换 `pi.mjs` 构建 `embedded-rollout-20261012-pi0731-trace3`,manifest digest `sha256:7e3f4e3bc12d5c7b439a8bd97b1850322c9d902d324b4de9151777bda74806f1`;镜像内 12 项 Pi SDK 检查全部通过、0 跳过,21 道任务用新镜像重新完整校准。新采集只用 trace3,trace2 仅对应历史轨迹。 本地别名 `embedded-rollout:pi0731-trace3-20261012`;构建命令为 `FROM` 上述 trace2 digest 加 `COPY agent/pi.mjs`,工具链与 trace2 逐层相同。
随后原生轨迹上限从 16 MiB 提高到 64 MiB,同法构建 `embedded-rollout-20261012-pi0731-trace4`,manifest digest `sha256:1e195a49f79fb8c68410f689dd2e627d0df63d62cd4de0000ba57bd1daa78e9a`,镜像内 12/12 通过,21 道任务重新校准;正式采集改用 trace4。
2026-10-13:模型名、每次回复输出上限改由 controller 以 argv 传入,镜像不再内置默认值,以后调整上限无需换镜像或重新校准。同法构建 `embedded-rollout-20261013-pi0731-trace5`,manifest digest `sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc`,镜像内 12/12 通过;21 道任务(含 evdev v2 与新判据包装)用 trace5 完整重新校准 805 次全部符合预期。正式采集改用 trace5。
2026-10-18:原生轨迹改为前缀增量(trace schema `embedded-rollout.pi/2`,见 architecture.md)后,同法以 trace5 digest 为基础只替换 `pi.mjs` 构建 `embedded-rollout-20261018-pi0731-trace6`,镜像 ID 即 manifest digest `sha256:1519f8daa403998e5401eeb70b973e8aac8346e25a937033bc502dc5de1641a1`(36 Docker 为 containerd 镜像存储,trace5 的本地 ID 与仓库 digest 同样一致);镜像内 `pi.mjs` sha256 与仓库一致,适配器测试 13/13 通过、0 跳过。36 上 CCR 登录已失效(push 返回 401),tag 尚未推送,需用户 `docker login` 后补推并核对仓库 digest;36 本地按上述 digest 引用可用。本地别名 `embedded-rollout:pi0731-trace6-20261018`。正式采集改用 trace6,待采集任务须用 trace6 重新完整校准,trace5 只对应历史轨迹。
2026-10-27:用户在 36 重新 `docker login` 后补推 trace6 tag,仓库 digest 与本地 ID 一致为 `sha256:1519f8da…41a1`,现有校准仍有效。Salty 以 VPC 引用 `ccr-29eug8s3-vpc.cnc.bj.baidubce.com/algo/bench-runtime@sha256:1519f8daa403998e5401eeb70b973e8aac8346e25a937033bc502dc5de1641a1` 拉取运行成功(CPU 探针作业,Node v22.23.3、Python 3.10.21,`/opt/embedded-rollout` 存在),作业已删除。Salty 只用 VPC 地址,公网地址供 36 推送。
## 4.1 36 上的两个目录
2026-10-14 起:本地 ext4 `/home/ming01.wang/embedded-rollout` 是从 Gitea clone 的 Git 工作副本,制题(`tasks/`、`factory/`)与正在运行的 `runs/` 都在这里。JuiceFS `/mnt/data/ming01.wang/embedded-rollout` 只放冷数据:`.private/` 私有凭据(controller 以路径读取)、已结束批次的 `factory/` 与 `runs/`(含 M0 与 M1 原件)、`artifacts/` 封存包;10 月 12 日的旧代码副本已删除。JuiceFS 曾出现数分钟级 FUSE 停顿与目录 EIO,不在上面制题或运行。布局与迁移规则见 [task-factory-brief.md](task-factory-brief.md)。
## 5 首条轨迹的准确位置
36 的 controller 目录:
```text
/mnt/data/ming01.wang/embedded-rollout/runs/pi-dae6bc170bc4453aaeb60d9e8f8dae74/
```
其中 `broker.jsonl` 为主机观察的模型请求证据,`receipt.json` 为 controller 回执。底层 attempt:
```text
run-dfcdc774e64e48b694d44ef4273d2809/
├── trace/native.jsonl 模型与工具的原生事件流
├── agent.stdout 主机捕获的对应事件输出
├── agent.stderr
├── candidate/decoder.c 冻结最终候选
├── grade.stdout 独立评分结果
├── grade.stderr
├── events.jsonl 监督事件
└── receipt.json 执行与评分回执
```
封存包有三个副本:
| 位置 | 路径 |
| --- | --- |
| Mac | [`artifacts/rollout-20261012-dae6bc17.tar.gz`](../artifacts/rollout-20261012-dae6bc17.tar.gz) |
| 36 | `/mnt/data/ming01.wang/embedded-rollout/artifacts/rollout-20261012-dae6bc17.tar.gz` |
| Salty | `personal:/embedded-rollout/rollout-20261012-dae6bc17.tar.gz` |
Salty 作业中的同一文件路径为 `/data/personal/embedded-rollout/rollout-20261012-dae6bc17.tar.gz`。三份归档的验收 SHA-256 均为 `0caf199e4afe97001d520269a3a1e06e4c839827dbab9f4df94bb615f18f04e8`,239832 字节。包内为 16 个证据原件及 `manifest.json`,包含 `attempt/trace/native.jsonl`;不需先解压整个工程即可查看。
本地查看示例,不创建额外文件:
```sh
tar -tzf artifacts/rollout-20261012-dae6bc17.tar.gz
tar -xOzf artifacts/rollout-20261012-dae6bc17.tar.gz controller/receipt.json
```
该轨迹 8 轮真实模型请求、10 个工具反馈闭合,独立 87 项检查通过,原生证据 VERIFIED、清理 confirmed。可读摘要见 [rollout-receipt.json](rollout-receipt.json),归档规则见 [artifacts.md](artifacts.md)。
## 6 本次核对与下一步
本次通过 SSH 只读确认 36 的固定镜像别名/RepoDigests、controller 与原生轨迹/候选/归档文件仍存在;native 与本地/36 归档摘要和现场回执一致。本地归档目录清单核对为 17 项,Salty CLI 0.2.3 只读 listing 确认唯一目录仅有 239832 字节的上述归档。两份 SVG 已从 Mermaid 源图导出并完成渲染/目视检查。本轮未重跑模型、未创建镜像、未发新 Salty job,Salty 内容保持唯一目录。
下一步先依 [任务标准](task-authoring.md) 选择 3–5 题、两个任务族,升级必要的多文件合同并完成逐题校准;同时以单题验收 Salty Agent 后端的安全通道、证据交接和清理。哪条路径先通过验收,哪条先承担正式小批次,批次与来源均明确记录。