trace6 is trace5 plus the prefix-delta pi.mjs; image ID equals the manifest digest under 36's containerd store. The CCR push is pending a fresh login. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
19 KiB
制题作业说明(给 Codex 等制题 Agent)
把“按任务制作规范批量造题”交给 Codex 时,用本文补齐它需要的全部上下文:交付物、环境、目录、数据、命令、台账、红线和汇报格式。规则以 task-authoring.md 为准;与 AGENTS.md 冲突时以 AGENTS.md 为准。本文写于 2026-10-14,数字是当时的实测值。
1. 交付物
每个制题批次交付:
tasks/<id>/:通过闸门 1、2 的任务包,每题附spec.md。导入题(路线 A)的 spec.md 只填模板第 1、4、7 节,其余写“沿用 Bos 原题”。factory/<批次>/(不进 Git,结束后迁到 JuiceFS):inventory.jsonl、import.jsonl、calibration.tsv、review.md,格式见 §8。- 闸门 3 试采的 controller 目录与批次报告。
docs/progress.md新增一节:目标、实际数字、证据路径、拒绝原因、限制、下一步。- 36 工作副本里的一个本地 Git 提交,只含新任务目录与文档;不推送,由用户在 Mac 拉回并推送(§4)。
不改 rollout/、agent/、tests/ 的平台代码,不改已准入任务。遇到合同表达不了的题(候选通配、构建服务、大文件输入、新镜像),记 BLOCKED 并写明需要哪项合同升级,然后继续下一题。
2. 先读
- AGENTS.md:项目约束。
- task-authoring.md:规范正文,四条路线、排除条件、闸门与分池。
- templates/task-spec.md:spec.md 模板。
- architecture.md:Agent、评分、代理三个容器的隔离边界。
- progress.md 最后三节:最近的状态与教训。
- 两个参考任务:S500_n2_155(Bos 导入,Python)与 frame-decoder(手写 C 题)。
3. 机器与访问
| 位置 | 用途 | 说明 |
|---|---|---|
36:ssh ming01.wang@36.144.20.182 |
数据、Docker、校准、采集;已装 codex-cli 0.162.1,推荐 Codex 直接在 36 的工作副本里运行 | Ubuntu、Python 3.10、git 2.34、Docker 29.5.2;host 无 Node(Node 在镜像里)。sshd 偶尔断连,重连即可 |
Mac:/Users/amos/project/embedded-rollout |
审阅与推送 Gitea | 推送由用户在 Mac 完成,36 上没有 Gitea 推送凭据;macOS 没有 timeout 命令,shell 是 zsh |
Gitea:https://gitea.d-robotics.cc/ming01.wang/data-gen-ebd.git |
唯一正本 | 只推送 main,不改写已推送历史;36 可直接 clone/pull |
4. 目录与存储
原则:题目进 Git,热数据放本地盘,冷数据放共享盘。2026-10-14 实测 JuiceFS 读一个小文件要 72 秒;制题和校准要频繁读写小文件,不能在共享盘上做。
36 本地盘:做题和运行
/home/ming01.wang/embedded-rollout/ Git 工作副本(clone 自 Gitea)
├── tasks/<id>/ 题目正本,进 Git
├── factory/<日期>-<路线>-<名称>/ 本批制题台账与过程材料,不进 Git
└── runs/<批次>/ 正在运行的批次,不进 Git
36 JuiceFS:存冷数据
/mnt/data/ming01.wang/embedded-rollout/
├── .private/ 凭据,只以路径传给 pi_run,不读不打印
├── factory/<批次>/ 已结束批次的台账,整批迁入
├── runs/<批次>/ 已结束批次的运行目录,整批迁入后只读
└── artifacts/ 封存包,上传 Salty 前后的本地副本
- 提交流程:在 36 的工作副本里提交;Mac 用
git pull ssh://ming01.wang@36.144.20.182/home/ming01.wang/embedded-rollout main拉回,再推送 Gitea。36 开工前先git pull --ff-only。 - 批次结束:报告、重判和归档完成后,把
factory/<批次>与runs/<批次>复制到 JuiceFS 同名目录,核对文件数与总字节一致后再删除本地副本。 - 容量:
/home是多人共享盘,2026-10-14 剩 150 GB,本项目当时共用 3.6 GB;单条原生轨迹 10–60 MB,一批 100 条约 2–6 GB。Docker 镜像在独立的/var/lib/docker盘。 - 如果
/home/ming01.wang/embedded-rollout下没有.git,说明还没完成一次性迁移:停下来请用户处理,不要自行移动旧的运行目录。 - 磁盘保护(平台已实现):输出盘剩余低于 30 GiB 时不启动任何容器(
termination=disk_low);Agent 运行中单次 attempt 目录超过 2 GiB(attempt_size)或剩余低于 30 GiB 即停止。开批前先df -h /home,剩余低于 30 GiB 就不要开批。用户 2026-10-17 决定:/home被其他使用者占到 57 GiB 时照常开批,降到 30 GiB 再停下汇报(原为开批 60 GiB、停止 50 GiB)。
5. 镜像
- 正式镜像只有一个环境族:
ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:1519f8daa403998e5401eeb70b973e8aac8346e25a937033bc502dc5de1641a1(trace6,2026-10-18 起,原生轨迹前缀增量;此前的 trace5sha256:aa5d00779fe0…只对应历史轨迹与校准;Python 3、gcc、Node、Pi 0.73.1,已在 36 本地)。命令里一律写这个 digest。 - 任务不进镜像。每次运行时 controller 把 template 复制成新工作区挂到
/workspace,评分时把冻结候选只读挂到/candidate、判据只读挂到/grader。Agent 与评分用同一镜像,任务文件一旦打进镜像,Agent 就能读到隐藏测试和 gold。 - 题目需要额外依赖时:纯源码依赖放进 template(≤64 个文件、单文件 ≤1 MiB);需要系统包或大文件的,记 BLOCKED 并提出新环境族,不为单题建镜像。
6. 数据地图(全部只读)
| 数据 | 位置(36) | 用途与状态 |
|---|---|---|
| Bos 正式题 | /mnt/data/ming01.wang/Bos-qiao/envs/S500_*(519 个) |
路线 A。每题有 task.json(env_id、task、image、final_targets、platform_class)、template/、check.py 及附属 *.py、gold.sh、cheat_*.sh、可选 valid_*.sh |
| Bos 分类清单 | /mnt/data/ming01.wang/Bos-qiao/auto_task_codex/task_factory_500_20260914/ |
EMBEDDED_DIRECT_CANDIDATES.txt(182 道直接相关)、EMBEDDED_SUPPORTING_CANDIDATES.txt(318 道支撑)、EMBEDDED_RELEVANCE.jsonl(每题 use_case 与验证边界) |
| Bos 写题契约 | /mnt/data/ming01.wang/Bos-qiao/agent_sft_pipeline/TASK_SPEC.md |
判据准则原文,已并入规范 |
| 种子 | /mnt/data/ming01.wang/Bos-qiao/auto_task_codex/seed_selection_opencode_v2/queries.jsonl |
路线 C。3,078 条:18 条 A 级有初态证据,3,060 条 B 级需新写环境;training_ready 全为 false |
| 初态证据 | …/auto_task_codex/recoverable_queries_v1/ |
18 条 A 级的初始文件全文(recovery_evidence.jsonl.gz) |
| BOS 原始镜像 | /mnt/data/ming01.wang/Bos-qiao/d-brain/(90 GB) |
路线 B。只有 rdk-gateway/v2-spans 能回放:2,408 个会话中 263 个可回放,八成在板端;其余前缀不能回放 |
| LiteLLM 网关日志 | /mnt/data/ming01.wang/data-litellm-1.0/ |
未授权,不读内容 |
| HWE 材料 | 只在 Mac:/Users/amos/project/embed/HWE_harness/benchmark/(36 上没有) |
路线 C。5,544 条材料(2,541 条 mutation);checks/behavior.py 不能用作判据 |
Bos-qiao/*.py 下载脚本里写有明文凭据,不要打开或复制这些脚本。
7. 当前题库
- 已准入 21 道:
frame-decoder(SMOKE_ONLY,链路回归)与 20 道 Bos 题。三个族:linux-device-abi7、firmware-image-boot7、motor-sensor-control6。 - 2026-10-15 判分隔离修复后:tasks 下 74 道 Bos 题中 36 道(35 道 tests.py 型与 S500_a2_426889b9a968)的隐藏测试与候选同进程,带
isolation-blocked.txt记 BLOCKED,评分恒为 UNVERIFIED,不得采样;可采的是其余 38 道与 frame-decoder。同日试点按 task-authoring.md §6 第 8 条重写了其中 3 道(S500_n3_133 v3、S500_n3_102 v4、S500_a2_426889b9a968 v3),36 正式校准 PASS,真实试采前不进采集;其余 33 道仍带标记,等用户确认后再转换。 - M1(GLM-5.3,每题 2 次):14 题 2/2,5 题 1/2,S500_n3_152 v1 为 0/2(题面漏项,v2 已修)。Qwen 基线 18/20。2/2 的题是回归候选。
- Bos direct 182 道(2026-10-12 盘点):91 道可导入(含已导入的 20 道,余 71 道),81 道 rglob 型与 5 道 ROS2 BLOCKED(等候选通配合同和 Jazzy 镜像),另有 5 道未归类;以 §8 第 1 步重新盘点为准。318 道支撑题尚未盘点。
8. 作业 A:导入 Bos 题(当前优先)
以下命令都在 36 的工作副本 /home/ming01.wang/embedded-rollout 下执行。本批台账目录记为 factory/<批次>,例如 factory/20261014-A-bos-direct。
第 0 步:准备。 git pull --ff-only;python3 -m unittest discover -s tests 必须全部通过;创建 factory/<批次>,已存在就换名,不覆盖。
第 1 步:复制与盘点。 先在后台把候选题目录只读复制到本地 factory/<批次>/bos-envs/(rsync -a,JuiceFS 慢时可能要数小时),之后的盘点和导入都读本地副本。对 EMBEDDED_DIRECT_CANDIDATES.txt 每一行写一条 inventory.jsonl:
{"env_id": "S500_n3_102", "relevance": "direct", "use_case": "…", "image": "python", "kind": "importable", "imported": true}
kind 规则:原 task.json 的 image 含 ros2 → ros2;任一根目录 *.py 含 rglob( → rglob;否则 importable。imported 看 tasks/<env_id> 是否已存在。task.json 里 source 由 env_id 生成,从本地副本导入不影响来源记录。
第 2 步:逐题导入。 只对 kind=importable 且未导入的题:
python3 -m rollout.bos_import factory/<批次>/bos-envs/<env_id> --output tasks/<env_id> --family <family>
成功时 stdout 是一行 JSON(task、digest、fixtures),失败时 stderr 是 import rejected: …、退出码 2。每题写一条 import.jsonl:{"env_id", "family", "status": "imported|rejected", "reason", "digest"}。被拒绝的题不要手改后硬导入。
族的命名:优先沿用现有三族;use_case 明显不属于它们时,新建 kebab-case 族名(如 serial-protocol、build-toolchain),并在 review.md 记录归族理由。同一族至少要有 3 道题才单独成族,否则并入最接近的族。
第 3 步:闸门 1。 对每道新题:python3 -m rollout calibrate tasks/<id> --trusted-local --output runs/<批次>-dev,期望 task_verdict 为 PASS;再跑一次全部单元测试(含对全部任务的公开合同检查)。
第 4 步:闸门 2。 逐题 Docker 校准,结果追加到 calibration.tsv(task attempt verdict 三列):
python3 -m rollout calibrate tasks/<id> --image ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:1519f8daa403998e5401eeb70b973e8aac8346e25a937033bc502dc5de1641a1 --output runs/<批次>-calibration
输出一行 JSON,含 attempt 和 task_verdict。不是 PASS 的题记 REJECTED 并写原因,从 tasks/ 移除。
第 5 步:评审并写 spec.md。 逐题对照规范 §3(替身测试、可判性)、§5(每个行为是否有题面、工作区材料或公认标准依据,项目约定是否已公开,不只看接口名)、§6(判据是否独立复算、是否会误拒合法解)。结论写进该题 spec.md 的第 7 节和 review.md;评审不通过的题记 REJECTED。
第 6 步:闸门 3(真实试采)。 每道新题试采 1 次,GLM-5.3,4 路并发。先建好批次目录 runs/<批次>,jobs.txt 每行“任务名 校准目录”(校准目录取第 4 步的 attempt):
xargs -P 4 -L 1 sh -c 'python3 -m rollout.pi_run "tasks/$0" --image <上面的 digest> --credential-file /mnt/data/ming01.wang/embedded-rollout/.private/access.json --calibration "$1" --agent-timeout 3600 --output runs/<批次> </dev/null >>runs/<批次>/jobs.log 2>&1 || true' < factory/<批次>/jobs.txt
python3 -m rollout.report runs/<批次> --tasks tasks --output factory/<批次>/report.json
批次可能运行数小时:用 setsid nohup … & 放到后台,轮询日志与报告,不要依赖单个 ssh 连接。上游 429/500 已由代理重试;仍失败的记 INFRA_ERROR,补跑即可,不算任务失败。试采 Agent 解题失败不否决任务;证据未 VERIFIED、清理未确认的尝试要查明原因。
第 7 步:收尾。
- 确认本批没有残留容器(
rollout-*)和专属网络(rollout-pi-*),只清理本批自己创建的对象。 - 按 §4 把
factory/<批次>与runs/<批次>迁到 JuiceFS。 - 在 progress.md 写一节,然后本地提交
tasks/<新题>与文档。
闸门 4(每题 ≥5 次的难度分池)是单独的采集批次,用户确认后再做。
9. 作业 B:轨迹回放试点(用户批准后再做)
- 从
d-brain/rdk-gateway/v2-spans中“只在本地可回放”的 48 个会话里选 10 个:以会话 ID 区分,取每个会话最长的那条user_request记录;它的training_payload.input_messages含tool_call(name、arguments)与tool_call_response部分。“只在本地可回放”指:至少一个文件先被非device_*的读取工具(read等,无 offset/limit)完整读取,之后才被write/edit/apply_patch修改,且会话没有用device_*工具改文件。同样先把需要的分片复制到本地再处理。 - 按规范 §2.2 还原初态、标注补全、做充分性评审与脱敏。会话原文和中间产物只放
factory/<批次>,不进 Git。 - 产出的任务按 §8 第 3–6 步过闸门。在
review.md记录每个会话从回放到准入的结果与人时。
10. 作业 C:根据种子与素材自己写题(先试点一个族)
选材。 从种子 queries.jsonl 读 query、fill(必须公开的约定)、grader.checks(要验什么)、family;HWE 材料读 prompt.md 与 reference/。先按规范 §3 排除,再只留同时满足下面三条的:
- 行为能在当前目录里用固定输入复现并判定(解析、编码、协议、状态机、数值换算、Linux 用户态接口的软件替身);
- 不需要改系统文件、装软件包、联网或接硬件——Agent 容器根文件系统只读、无外网,只有工作区可写;
- C 或 Python 能在当前 runtime 镜像里完成。
系统配置、命令查询、“解释一下”这类种子不做。
写题。 每题一个目录 tasks/<族>-<短名>/(kebab-case):
| 文件 | 写法 |
|---|---|
task.json |
id 同目录名;version "1";family;source 写 bos-seed/<query_id> 或 hwe/<基础题 ID>;template "template";verifier "verify.py";candidate_files;timeout_seconds 120;grader_files 列出 check.py 及其附属文件;fixtures 含 gold/template/noop/cheat 及额外的 cheat_*、valid_* |
prompt.md |
按规范 §5:现场现象或问题、复现/自测方法与提交文件,不写绝对工作目录;判据行为须有题面、工作区或公认标准依据,项目自己的接口和约定必须在题面或工作区可查,允许不指出缺陷位置与知识点的现象型题面 |
template/ |
未实现或有缺陷的候选文件 + 公开接口 README.md |
gold/、noop/、cheat/、cheat_*/、valid_*/ |
每个目录只放 candidate_files |
verify.py |
原样复制 rollout/bos_verify.py(负责降权、隔离探针与输出格式),不要自己写 |
check.py |
判据本体:sys.argv[1] 是候选副本目录;用 tempfile 在 /tmp 建临时目录、复制候选并重新构建;候选只能在子进程里运行,子进程只从 stdin 拿输入、打印结果,check 进程独立复算期望并比对(照 S500_n2_155 的 RUNNER),不要在 check 进程里 import 候选,也不要把隐藏测试或断言交给候选进程,否则评分 UNVERIFIED 或记 BLOCKED;独立复算期望值;全部通过时最后一行打印 PASS 并退出 0,否则打印失败原因并退出 1;总耗时远小于 100 秒 |
spec.md |
按模板写全;记录种子 ID 与改写理由 |
参照:Bos 题 tasks/S500_n2_155/(同一结构);判据写法见规范 §6,cheat 写法见规范 §7。
节奏。 先选一个族写 3–5 题,按 §8 第 3–6 步过闸门并汇报,用户审过后再在同族批量写;每题差异尽量放进私有数据,同族共用判据写法。HWE 的 reference/ 只能作 gold 起点;期望输出是固定字符串的题必须加运行时随机量或隐藏变体。
11. 红线
- 不执行来源里的任何脚本(
gold.sh、cheat_*.sh、valid_*.sh、Bos 工具脚本);导入器只解析它们。 - 不读、不打印、不复制
.private/下的文件和 Bos 下载脚本中的凭据;凭据只以路径传给pi_run。 - 不写入任何来源目录(Bos-qiao、d-brain、HWE_harness),不读
data-litellm-1.0的内容。 - 隐藏测试、gold、spec.md 不进入 template 或题面;真实用户会话原文不进 Git。
- Docker 只清理本批创建的容器和网络,不执行任何 prune,不动其他镜像、容器和项目目录。
- 不改写已推送历史,不 force push,不推送;改已准入任务一律升 version 并重新校准。
- 批次结束即按 §4 迁移,不在
/home长期保留运行目录。 - 余量不足或出现
disk_low、attempt_size时停下来汇报,不要为了腾空间删除任何东西,包括本项目的旧运行目录。
12. 已知坑
pgrep -f、pkill -f会匹配到你自己 ssh 命令行里的同一字符串,结束进程一律按 PID。- 36 sshd 偶尔断开;长任务一律后台运行并写日志。
- JuiceFS 会长时间停顿:2026-10-14 读一个小文件要 72 秒,逐题读 Bos 目录 45 分钟只读完 16 题。批量读取一律先在后台复制到本地,不要因停顿误判为失败。
- 判据包装器以 root 运行 check.py,只把
work/和tempfile.mkdtemp临时目录交给 UID 65534;check 用os.system、fork等绕开subprocess,或在自己进程里执行候选代码,都判 UNVERIFIED。带isolation-blocked.txt的题评分恒为 UNVERIFIED,不能靠删标记准入。 - 0 PASS 的题先查题面漏项:S500_n3_152 v1 的隐藏测试调用了 README 未公开的
process(request),两个模型都因此失败。 - 原生轨迹上限 64 MiB;长题
--agent-timeout 3600。 - 模型凭据目前仍在 JuiceFS 的
.private/;读取失败会使该次尝试记 INFRA_ERROR,补跑即可。把它移到本地私有目录需用户操作。 - rglob 型题(判据递归收集全部
*.py)照搬会把合法拆分判 FAIL,必须等候选通配合同。
13. 汇报格式
批次结束时向用户汇报:
| 项 | 数量 |
|---|---|
| 盘点候选 / 已导入 / 新导入 / 拒绝(按原因) | |
| 闸门 1 / 闸门 2 通过 | |
| 试采完整轨迹 / PASS / FAIL / 排除(按原因) |
另附:按族列出的新任务 ID、拒绝清单与原因、BLOCKED 清单与所需合同、factory/ 与 runs/ 路径、残留容器和网络数(应为 0)、/home 剩余空间与本批在 /home 的占用(迁移后应接近 0;未迁移不算完成)、disk_low/attempt_size 次数、progress.md 已更新、本地提交哈希(未推送)。