trace6 is trace5 plus the prefix-delta pi.mjs; image ID equals the manifest digest under 36's containerd store. The CCR push is pending a fresh login. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
121 lines
12 KiB
Markdown
121 lines
12 KiB
Markdown
# Embedded Rollout
|
||
|
||
在可重置的嵌入式软件任务中运行已有 Agent,由独立验收器检查最终候选,持续保存真实模型调用、工具反馈和执行证据。当前只做 rollout 采集;模型训练、权重更新、SFT 与在线 RL 不在本项目实施范围。
|
||
|
||
先完成一个 C frame-decoder 修复任务,再恢复 Bos-qiao 的成熟任务包,扩大到 20 条任务和少量任务族。完整方案见 [rollout-plan.md](docs/rollout-plan.md),实际完成和未验证项以 [progress.md](docs/progress.md) 与 [acceptance.md](docs/acceptance.md) 为准。
|
||
|
||
## 题库
|
||
|
||
可用题目的权威清单是 [docs/task-catalog.md](docs/task-catalog.md),机器可读版本是 [docs/task-catalog.json](docs/task-catalog.json)。两者都由 [rollout.catalog](rollout/catalog.py) 生成:每道题当前镜像下的 PASS 校准目录、同版本 Qwen/GLM 完整轨迹结果、难度分档,以及暂缓([task-holds.json](docs/task-holds.json))和判据待重写的原因。批量采集时用 `python3 -m rollout.catalog jobs docs/task-catalog.json --status USABLE --difficulty HARD MEDIUM` 筛出“任务 校准目录”列表交给 `xargs`,具体命令见题库文档。
|
||
|
||
## 开发与验证
|
||
|
||
在项目根目录运行:
|
||
|
||
```sh
|
||
python3 -m rollout --help
|
||
python3 -m rollout doctor
|
||
python3 -m rollout calibrate tasks/frame-decoder --trusted-local --output runs
|
||
python3 -m unittest discover -s tests -v
|
||
```
|
||
|
||
`doctor` 显示 Python 版本、检查 Docker 命令和 daemon;缺 Docker 时返回 2。它不验证编译器、镜像或模型。可信本地校准实际编译和运行仓库样例,gold 通过、缺陷初态与 noop/cheat 失败,四类各重复五次;此模式不能执行不可信 Agent。
|
||
|
||
有可用 Docker 和固定镜像后进行正式环境校准。`IMAGE` 替换为含 Python 3、C 编译器及 Agent 的本地镜像引用;程序解析实际 image ID,不自动拉取。
|
||
|
||
```sh
|
||
python3 -m rollout calibrate tasks/frame-decoder --image IMAGE --output runs
|
||
```
|
||
|
||
接入已有 Agent:`CALIBRATION_PATH` 是同任务、verifier 和实际镜像身份的 Docker 校准 attempt 目录;每类样例各五次(默认 20 次)符合预期且整体 PASS 才准入。`--agent` 必须最后,以下占位 argv 替换为镜像内实际命令。
|
||
|
||
```sh
|
||
python3 -m rollout run tasks/frame-decoder --image IMAGE --agent-id AGENT_AND_MODEL_VERSION --calibration CALIBRATION_PATH --output runs --agent AGENT_COMMAND ARG1
|
||
```
|
||
|
||
`run` 从 stdin 提供题面,在工作容器运行 Agent;冻结任务声明的 `candidate_files` 后新建无网评分容器。每个 attempt 保存监督事件、回执、候选和阶段日志,脚本 Agent 不计为真实 LLM rollout。
|
||
|
||
## Pi 与模型接入
|
||
|
||
[Pi adapter](agent/pi.mjs) 固定 Pi 0.73.1,默认 GLM-5.3 Chat Completions,也支持用户指定的 Qwen `qwen3.8-27b-nvfp4` Responses 服务;[Dockerfile](agent/Dockerfile) 提供 Node、Python 与 C 工具链,不包含正式 grader 或参考解。镜像构建使用仓库根目录作为 context。
|
||
|
||
Pi 通过可信 host 代理调用模型,上游 key 留在 host 私有文件与代理内,不进入 Agent、镜像、argv 或轨迹。`--model-base-url` 传非敏感的私有代理地址,`--agent-network` 指向已创建的本次专用 internal Docker 网络(未指定时 Agent 无网络);调用方负责代理和网络的最终清理。具体边界见 [agent.md](agent.md)。
|
||
|
||
正式 Pi 入口使用 [pi_run](rollout/pi_run.py),自动管理专用网络、私有代理、校准、Agent、独立 grade 与证据复核。在 36 的项目根目录运行,镜像须已拉取到本机 Docker;将 `PRIVATE_CREDENTIAL_FILE` 替换为私有、不纳入 Git 的 JSON 文件绝对路径,文件包含非空 `model_api_key` 字段、权限为 0600,不在命令中传密钥值:
|
||
|
||
```sh
|
||
python3 -m rollout.pi_run tasks/frame-decoder --image ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:1519f8daa403998e5401eeb70b973e8aac8346e25a937033bc502dc5de1641a1 --credential-file PRIVATE_CREDENTIAL_FILE --output runs
|
||
```
|
||
|
||
可加 `--calibration CALIBRATION_PATH` 复用同任务/verifier/image 的完整 Docker 校准;省略时自动重新校准。`--agent-timeout` 默认 900 秒。输出 controller 路径、总体 `status`、独立 `task_verdict` 和清理结果,目录内含 `broker.jsonl` 与底层 attempt。总体 PASS 还要求原生证据 VERIFIED、Agent 正常结束及清理确认,不能只看任务判分。
|
||
|
||
Qwen 试跑加 `--model qwen3.8-27b-nvfp4`,使用包含本次 Responses adapter 的新镜像和独立私有凭据文件。旧 GLM 镜像不支持新增的模型参数。代理只连接用户指定的 `http://114.111.18.115:18080/v1/responses`,broker 须确认每轮唯一的 `response.completed`;缺失完整终态不算完整 rollout。首次接入不发可选 reasoning 参数,服务返回的思考内容仍保留在原生轨迹。
|
||
|
||
工作容器为 2 GiB、1 CPU,`--agent-timeout` 默认 900 秒;评分容器为 512 MiB、1 CPU,首题评分期限为 60 秒。用户当前不设费用或模型轮数上限,执行超时只用于防止挂死。Pi 原生事件写到与候选分离的 `/trace/native.jsonl`;有文件和摘要不等于会话完整,仍需核对调用闭合及反馈进入后续模型输入。
|
||
|
||
## 已接通的资源
|
||
|
||
2026-10-12:36 Linux 主机 Docker 29.5.2 可用;Salty 0.2.3 已安装并由本人授权;runtime 已构建并推送 CCR,tag 为 `embedded-rollout-20261012-pi0731-trace2`,正式运行按上方 manifest digest 固定。相同 digest 经 VPC registry 在 Salty CPU 探针中拉取并执行成功,Node v22.23.3、Pi 0.73.1。
|
||
|
||
新镜像 Docker 正负例共 20 次校准 PASS,镜像内 9 项 Pi SDK 检查全部 PASS、0 skip。本地全量回归运行 41 项,整体通过;其中真实 SDK 项因本地缺 node_modules 跳过,镜像内已实测。36 上的真实 GLM/Pi rollout 已通过:8 轮模型请求、10 个工具反馈均进入后续输入,独立 87 项行为检查 PASS,原生证据 VERIFIED,清理 confirmed。合格轨迹已封存到 Salty 唯一个人目录并下载核对摘要,临时探针和下载已删除;首次异常轨迹不计为合格样本。原件与验收边界见 [acceptance.md](docs/acceptance.md)、[现场回执](docs/rollout-receipt.json) 和 [运行审阅](docs/runtime-review.md)。
|
||
|
||
已通过的是 36 Docker 真实闭环与 Salty 归档,Salty 正式 Agent 后端和 20 题扩量尚未完成。Salty 不假定支持嵌套 Docker、Secret 或无网评分,后端正式采集需独立验证。只运行本项目试跑,不动已有作业;旧 CCR 试验版本的清理例外见 [资源接入记录](docs/onboarding.md)。Git remote 为用户 2026-10-13 指定的 `origin`(`https://gitea.d-robotics.cc/ming01.wang/data-gen-ebd.git`),只推送 main,不改写已推送历史。
|
||
|
||
## 封存完整轨迹
|
||
|
||
controller 结束后,复核证据并生成唯一归档文件。`CONTROLLER` 替换为本次输出目录;`artifacts/` 为 Git 忽略的数据目录。
|
||
|
||
```sh
|
||
mkdir -p artifacts
|
||
python3 -m rollout.archive CONTROLLER --task tasks/frame-decoder --output artifacts/rollout-20261012.tar.gz
|
||
salty storage cp artifacts/rollout-20261012.tar.gz personal:/embedded-rollout/
|
||
```
|
||
|
||
入口允许 Agent 正常结束、原生证据 VERIFIED 且清理确认的 PASS/FAIL;归档只包含显式证据与公开题面,不包含 grader、参考解、凭据或工作区。输出文件不能覆盖。上传后需下载到临时文件并核对 SHA-256,再删除临时文件,详见 [归档合同](docs/artifacts.md)。
|
||
|
||
## 五字段题目导出与难度
|
||
|
||
参考 UltraData-RL-2609,任务统一导出 `uuid/query/ground_truth/source/domain` 五字段 JSONL。原生模型与工具轨迹保留在证据归档中;今后每份归档自动带 `dataset.jsonl`。独立导出:
|
||
|
||
```sh
|
||
python3 -m rollout.export tasks/frame-decoder --output artifacts/frame-decoder.jsonl
|
||
```
|
||
|
||
首题采用真实 `argv` 分片与退出码扩展,评分需本项目验收器;完整合同见 [data-format.md](docs/data-format.md)。它归类 `SMOKE_ONLY`,只用于链路回归。主采集池先测明确目标模型的多次成功率与失败根因,再决定扩量,不把一次成功或 87 项断言直接当作数据难度。
|
||
|
||
2026-10-12,Qwen `qwen3.8-27b-nvfp4` 真实试跑通过:7 次模型调用、6 个工具反馈、7 条思考消息,独立 87 项检查 PASS;证据 VERIFIED、清理 confirmed。首轮校准有一次容器超时,随后完整 20 次重新校准通过才启动模型。详见 [试跑回执](docs/qwen-trial-receipt.json)。
|
||
|
||
## 导入 Bos-qiao 任务与批量采集
|
||
|
||
[bos_import](rollout/bos_import.py) 把一个 Bos-qiao `envs/S500_*` 环境转成本项目任务包:template 原样进入工作区,`final_targets` 成为 `candidate_files`,`gold.sh`/`valid_*.sh`/`cheat_*.sh` 只做字面量解析(遇到其他命令即拒绝,不执行),根目录 `*.py` 判据作为私有 `grader_files`,统一的 [verify.py](rollout/bos_verify.py) 以 root 原样运行原 `check.py`,check 启动的候选子进程降为 UID 65534;隐藏测试与候选同进程的判据带 `isolation-blocked.txt`,评分恒为 UNVERIFIED(见 [architecture](docs/architecture.md))。工作区所有 `*.py` 都参与评分的旧判据(rglob 型)暂不导入,因为本合同只冻结声明文件。
|
||
|
||
```sh
|
||
python3 -m rollout.bos_import BOS_ENV_DIR --output tasks/ENV_ID --family FAMILY
|
||
python3 -m rollout calibrate tasks/ENV_ID --image IMAGE --output runs/pilot-calibration
|
||
```
|
||
|
||
批量采集不另建调度器:每个 `pi_run` 自带专用网络与代理,可以直接用 `xargs -P` 并发。`JOBS` 每行为“任务名 校准目录”,按轮次重复即为每题多次采样;输出放在本批唯一目录,再生成批次报告:
|
||
|
||
```sh
|
||
xargs -P 4 -L 1 sh -c 'python3 -m rollout.pi_run "tasks/$0" --image IMAGE --credential-file PRIVATE_CREDENTIAL_FILE --calibration "$1" --output runs/BATCH </dev/null' < JOBS
|
||
python3 -m rollout.report runs/BATCH --tasks tasks --output runs/BATCH-report.json
|
||
```
|
||
|
||
报告只把“PASS/FAIL、原生证据 VERIFIED、Agent 正常退出且清理确认”的尝试计为完整轨迹,其余按 status/证据分类列为排除;token 为原生 usage 字段求和,费用字段不可用时记 unknown。
|
||
|
||
## 阅读顺序
|
||
|
||
- [开发流程](docs/development.md):需求、合同、实现、校准、测试、review 和记录。
|
||
- [架构与证据](docs/architecture.md):候选、评分器、模型代理、原生轨迹和回执边界。
|
||
- [机器部署图与实际位置](docs/deployment.md):Mac、36、CCR、GLM 与 Salty 的当前分工、建议迁移路径,以及镜像/轨迹地址。
|
||
- [任务制作规范](docs/task-authoring.md) 与 [规格模板](docs/templates/task-spec.md):四条来源路线、排除条件、题面/判据/样例规则、四道闸门、难度分池与制作工时。
|
||
- [制题作业说明](docs/task-factory-brief.md):交给 Codex 等制题 Agent 的完整上下文——机器、共享存储目录、数据地图、逐步命令、台账、红线与汇报格式。
|
||
- [Agent 接入合同](agent.md):启动、工具反馈和真实轨迹要求。
|
||
- [基础设施](docs/infrastructure.md) 与 [资源接入](docs/onboarding.md):已有资源及待验条件。
|
||
- [聊天整理](docs/chat-history.md):16 个聊天、46 轮讨论的来源、历史成果和统计口径。
|
||
- [验收记录](docs/acceptance.md) 与 [开发进度](docs/progress.md):实际结果、证据和下一步。
|
||
|
||
2026-10-12 至 13 完成 M1 二十题试点:20 道 Bos-qiao 任务、3 个任务族,40 条完整真实轨迹(33 PASS、7 FAIL),独立重判 40/40 一致,整批归档已在 Salty 核对;见 [验收记录](docs/acceptance.md#m1-二十题试点trace4-批次)。M2/M3 的持续采集与扩量尚未完成。
|
||
|
||
单任务通过不代表 20 条任务或整个项目完成。任务成功、会话完整、来源可信与清理分别验收;失败的真实尝试也可形成有效 rollout。回执中的 `NOT_TRAIN_READY` 是沿用字段,不表示本项目已启动训练流程。
|