Also keeps the parallel session's note on locally expanded trace samples. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
14 KiB
机器部署、镜像与轨迹位置
2026-10-12。本文区分已验收部署与下一步建议部署;只建设 rollout 采集系统,不包含模型训练。任务创建流程见 任务标准,执行边界见 architecture.md。两张图同时提供可缩放的 SVG:当前部署、Salty 目标部署,由本文 Mermaid 源图导出。
1 当前部署:36 执行,Salty 保存归档
flowchart TB
subgraph MAC["Mac 开发与操作"]
SRC["embedded-rollout 源码、文档、任务编写与本地回归"]
CLI["SSH / Salty CLI:操作与文件传输"]
LOCAL["artifacts/:已核对的本地归档副本"]
end
subgraph HOST36["36.144.20.182 控制与执行"]
BUILD["Docker 构建 linux/amd64 runtime"]
TASK["可信任务包:题面、template、verifier、gold/负例"]
CTRL["pi_run controller:固定身份、校准、生命周期"]
AGENT["每次新 Docker 工作容器:Pi、编译与工具操作"]
PROXY["本次 bridge 上的模型代理:上游 key 留在主机"]
FINAL["Agent 停止后冻结最终候选"]
GRADE["新无网 Docker 评分容器:受保护 verifier、降权候选"]
EVIDENCE["runs/:native、host stdout、broker、候选与回执"]
SEAL["archive:证据重验、明确文件清单与 SHA-256"]
end
subgraph REGISTRY["CCR 镜像仓库"]
IMAGE["algo/bench-runtime:正式版本按 digest 固定"]
end
subgraph MODEL["智谱模型服务"]
GLM["GLM-5.3 Chat Completions"]
end
subgraph SALTY["Salty 集群与持久存储"]
PROBE["已结束并清理的 CPU 探针:相同镜像可运行"]
STORE["personal:/embedded-rollout:合格轨迹归档"]
end
SRC -->|"同步代码与任务"| BUILD
SRC --> TASK
CLI -->|"SSH 启动与检查"| CTRL
BUILD -->|"公网入口 push"| IMAGE
IMAGE -->|"固定镜像"| AGENT
IMAGE -->|"固定镜像"| GRADE
TASK -->|"校准准入;仅交付公开初态与题面"| CTRL
CTRL --> AGENT
AGENT <-->|"本次专用 bridge"| PROXY
PROXY <-->|"HTTPS"| GLM
AGENT --> FINAL
FINAL --> GRADE
TASK -->|"正式测试仅供评分侧"| GRADE
AGENT --> EVIDENCE
PROXY -->|"请求摘要与 HTTP 结果"| EVIDENCE
GRADE -->|"独立行为评分"| EVIDENCE
CTRL -->|"终态与清理回执"| EVIDENCE
EVIDENCE --> SEAL
SEAL -->|"传回并核对摘要"| LOCAL
LOCAL -->|"Salty CLI 上传;临时下载复核后删除"| STORE
IMAGE -->|"VPC 入口;已完成探针"| PROBE
图中探针已结束并清理,不是持续运行服务。当前正式 Pi 与独立评分均在 36;Salty 保存稳定归档。Mac 本轮新增文档未同步到 36,不把本地编辑或提交当成远端同步。
| 位置 | 执行的操作 | 不应混淆的边界 |
|---|---|---|
| Mac | 开发、任务编辑、文档、本地回归、SSH 与已登录的 Salty CLI、查看归档 | 本地测试与远端真实模型执行分别记录 |
| 36 Linux 主机 | 构建镜像、运行 controller/proxy、校准、创建工作/评分容器、证据对账与封存 | 模型 key、正式 verifier 与参考解留在可信侧 |
| 36 工作容器 | Pi 读取、修改、构建、运行及公开自测 | 不挂载隐藏测试、参考解、历史归档或 Docker socket |
| 36 评分容器 | 独立编译与行为判分 | 无网;候选只读,编译器/候选降权,正式 verifier 受保护 |
| CCR | 保存并分发 runtime 镜像 | 仓库不是任务与轨迹存储,镜像不包含隐藏测试或凭据 |
| GLM 服务 | API 模型推理 | 不在本项目机器上训练或更新模型 |
| Salty | 已实测 CPU 镜像/存储探针,保存完整归档 | 正式 Agent 作业后端尚未实现与验收 |
2 为什么当前用 36,Salty 能否直接执行
可以直接让 Salty 拉取镜像并运行其中的 Pi/Node 程序。相同固定 runtime 已在 Salty CPU 探针中运行成功;官方操作说明 也提供 salty run IMAGE -- COMMAND。Salty 使用预先准备的镜像,镜像构建与上传仍需构建环境。
当前使用 36 是 M0 的实现与验收选择:pi_run 调用本机 docker network create,core 调用 docker run,依赖本机 bind mount、私有 bridge、无网评分和降权 capabilities。模型代理绑定该 bridge 的 gateway 并限制来源。36 已有这些能力且完成真实校准与闭环。
因此区分两种执行方式:
| 方式 | 当前结论 |
|---|---|
| Salty 直接启动 runtime,执行 Pi、编译器与工具 | 镜像与依赖探针通过;正式采集还需启动包装、模型通道、交接和证据适配 |
| 把当前 controller 放到 Salty 容器中,再由它创建 Docker 容器 | 未验证,需要 Docker daemon/socket 或受支持的嵌套运行、网络与权限;当前镜像也不包含 controller 或 Docker CLI/daemon |
优先采用第一种。没有证据表明 Salty 不支持嵌套 Docker,也没有证据可以让本项目直接依赖它。把 CPU 探针成功当作完整采集成功同样不成立。
3 建议部署:Salty 执行 Agent,36 暂留可信服务
以下是开发目标,不是已上线能力。实线表示已有机器角色,虚线表示需要实现或验收的跨机器路径。
flowchart TB
subgraph MAC["Mac 开发与操作"]
AUTHOR["按模板编写、审核任务"]
OP["批次操作 / Salty CLI"]
end
subgraph HOST36["36 构建、控制与评分"]
BUILD["构建固定镜像"]
CTL["待开发:Salty 批次 controller"]
PRIVATE["隐藏 verifier / gold / 校准证据"]
GATE["待适配:跨机器受控模型网关,上游 key 留在可信端"]
HANDOFF["待开发:接收候选与原生轨迹,核对 job 终态与身份"]
GRADE["独立无网 Docker 评分"]
SEAL["证据对账、归档与批次报告"]
end
CCR["CCR:固定 digest 的 runtime"]
GLM["GLM-5.3 服务"]
subgraph SALTY["Salty 执行与存储"]
JOB["每个 attempt 一个 CPU job:Pi、工作区、工具链"]
STORE["personal:/embedded-rollout:稳定归档"]
end
AUTHOR --> BUILD
AUTHOR --> PRIVATE
OP -.->|"启动批次"| CTL
BUILD --> CCR
CTL -.->|"提交、查询、超时取消"| JOB
CCR -->|"VPC 地址"| JOB
JOB <-.->|"待验收的认证与网络通道"| GATE
GATE <--> GLM
JOB -.->|"停止后交接:候选、native 与独立作业日志"| HANDOFF
CTL -.-> HANDOFF
HANDOFF --> GRADE
PRIVATE --> GRADE
GRADE --> SEAL
HANDOFF --> SEAL
GATE -->|"broker 证据"| SEAL
SEAL -->|"上传、下载核对摘要"| STORE
Salty job 不执行 Docker-in-Docker,直接运行镜像中的 Pi。36 可以暂留构建、可信控制、模型网关与 grader;将来这些角色可迁到平台支持的服务,先以相同合同证明隔离与证据完整。架构角色与某一台物理机器不永久绑定。
迁移验收顺序:
- 公开任务启动:包装器准备初态、stdin 题面、工作区和独立 trace 目录;不上传 verifier/gold。固定镜像并记录 job ID、输入与候选身份。
- 模型安全通道:确认集群到可信网关的路由、TLS/认证及按 attempt 绑定;上游 key 留在可信端。当前 bridge-only proxy 不能直接暴露公网;Pi adapter 当前也只接受 HTTP 与 IP 地址,跨机器采用 HTTPS/域名时须同步升级并测试 URL/认证合同。平台 Secret、工作负载身份或私有网络能力尚未确认;官方
--env/--env-file明文保存与回显,不能作为密钥通道。 - 候选与证据交接:正常结束或取消后确认进程退出,再冻结候选;取得完整且独立于 Agent 可写文件的作业日志,与 native/broker 对账。平台日志限额、保存时间与取消后可读性须实测。
- 数据可见性:
--workdir只是工作目录,不证明盘的隔离。个人空间在作业内为/data/personal;历史归档含最终候选,若新 job 可读取全部个人盘,会获得旧答案。独立修复采集需按 job 限制历史可见性;若显式允许案例检索,应另记采集条件。隐藏测试与参考解始终不放到 Agent 可读盘。 - 故障与清理:验正常、FAIL、超时、取消和模型故障,确认只删除本次 job/临时文件;完整失败轨迹可封存,故障或截断记录另标。先单并发稳定,再依据容量增并发。
两个 jobs 不自动形成隔离,同一个人盘的两个目录也不自动形成隔离。若平台无法满足所需边界,保留 36 执行,或明确改变任务/证据合同后再采集,不能沿用旧验收结论。
4 镜像的准确位置
构建来源:agent/Dockerfile,在 36 构建;当前版本 linux/amd64,含 Node v22.23.3、Pi 0.73.1、Python 3.10 和 C 工具链,不包含题目、隐藏测试、参考解或凭据。
公网仓库 tag:
ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime:embedded-rollout-20261012-pi0731-trace2
正式公网引用:
ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:8fefefc607a28765d87da4f6b14f7dec19a97b35c3fa38e86b6b12590235e227
Salty 已实测的 VPC 引用:
ccr-29eug8s3-vpc.cnc.bj.baidubce.com/algo/bench-runtime@sha256:8fefefc607a28765d87da4f6b14f7dec19a97b35c3fa38e86b6b12590235e227
36 Docker 本地别名:embedded-rollout:pi0731-trace2-20261012。tag 便于识别,正式运行使用 digest 冻结身份。备用 registry.d-robotics.cc 未推送成功,不把它列为正式镜像位置。旧试验 tag 尚有删除权限例外,见 onboarding.md。
2026-10-12 续:adapter 修复 host stdout 管道部分写入和 GLM 输出上限后,以 trace2 digest 为基础只替换 pi.mjs 构建 embedded-rollout-20261012-pi0731-trace3,manifest digest sha256:7e3f4e3bc12d5c7b439a8bd97b1850322c9d902d324b4de9151777bda74806f1;镜像内 12 项 Pi SDK 检查全部通过、0 跳过,21 道任务用新镜像重新完整校准。新采集只用 trace3,trace2 仅对应历史轨迹。 本地别名 embedded-rollout:pi0731-trace3-20261012;构建命令为 FROM 上述 trace2 digest 加 COPY agent/pi.mjs,工具链与 trace2 逐层相同。
随后原生轨迹上限从 16 MiB 提高到 64 MiB,同法构建 embedded-rollout-20261012-pi0731-trace4,manifest digest sha256:1e195a49f79fb8c68410f689dd2e627d0df63d62cd4de0000ba57bd1daa78e9a,镜像内 12/12 通过,21 道任务重新校准;正式采集改用 trace4。
2026-10-13:模型名、每次回复输出上限改由 controller 以 argv 传入,镜像不再内置默认值,以后调整上限无需换镜像或重新校准。同法构建 embedded-rollout-20261013-pi0731-trace5,manifest digest sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc,镜像内 12/12 通过;21 道任务(含 evdev v2 与新判据包装)用 trace5 完整重新校准 805 次全部符合预期。正式采集改用 trace5。
4.1 36 上的两个目录
活跃副本在本地 ext4 /home/ming01.wang/embedded-rollout:代码按 Mac 的 Git HEAD 同步(逐文件 SHA-256 核对),新的校准、批次 runs 与 artifacts 都写在这里。JuiceFS /mnt/data/ming01.wang/embedded-rollout 曾出现数分钟级 FUSE 停顿与目录 EIO,只保留 10 月 12 日前的历史证据、旧代码副本和 .private/ 私有凭据;controller 以路径读取凭据,不复制到本地盘。
5 首条轨迹的准确位置
36 的 controller 目录:
/mnt/data/ming01.wang/embedded-rollout/runs/pi-dae6bc170bc4453aaeb60d9e8f8dae74/
其中 broker.jsonl 为主机观察的模型请求证据,receipt.json 为 controller 回执。底层 attempt:
run-dfcdc774e64e48b694d44ef4273d2809/
├── trace/native.jsonl 模型与工具的原生事件流
├── agent.stdout 主机捕获的对应事件输出
├── agent.stderr
├── candidate/decoder.c 冻结最终候选
├── grade.stdout 独立评分结果
├── grade.stderr
├── events.jsonl 监督事件
└── receipt.json 执行与评分回执
封存包有三个副本:
| 位置 | 路径 |
|---|---|
| Mac | artifacts/rollout-20261012-dae6bc17.tar.gz |
| 36 | /mnt/data/ming01.wang/embedded-rollout/artifacts/rollout-20261012-dae6bc17.tar.gz |
| Salty | personal:/embedded-rollout/rollout-20261012-dae6bc17.tar.gz |
Salty 作业中的同一文件路径为 /data/personal/embedded-rollout/rollout-20261012-dae6bc17.tar.gz。三份归档的验收 SHA-256 均为 0caf199e4afe97001d520269a3a1e06e4c839827dbab9f4df94bb615f18f04e8,239832 字节。包内为 16 个证据原件及 manifest.json,包含 attempt/trace/native.jsonl;不需先解压整个工程即可查看。
本地查看示例,不创建额外文件:
tar -tzf artifacts/rollout-20261012-dae6bc17.tar.gz
tar -xOzf artifacts/rollout-20261012-dae6bc17.tar.gz controller/receipt.json
该轨迹 8 轮真实模型请求、10 个工具反馈闭合,独立 87 项检查通过,原生证据 VERIFIED、清理 confirmed。可读摘要见 rollout-receipt.json,归档规则见 artifacts.md。
6 本次核对与下一步
本次通过 SSH 只读确认 36 的固定镜像别名/RepoDigests、controller 与原生轨迹/候选/归档文件仍存在;native 与本地/36 归档摘要和现场回执一致。本地归档目录清单核对为 17 项,Salty CLI 0.2.3 只读 listing 确认唯一目录仅有 239832 字节的上述归档。两份 SVG 已从 Mermaid 源图导出并完成渲染/目视检查。本轮未重跑模型、未创建镜像、未发新 Salty job,Salty 内容保持唯一目录。
下一步先依 任务标准 选择 3–5 题、两个任务族,升级必要的多文件合同并完成逐题校准;同时以单题验收 Salty Agent 后端的安全通道、证据交接和清理。哪条路径先通过验收,哪条先承担正式小批次,批次与来源均明确记录。