data-gen-ebd/docs/task-factory-brief.md
amos a27fb36b15 Fix task families to a canonical list of 19 root-cause mechanisms
Batch 15 followed the old 'new kebab-case name when nothing fits' rule and
added 120 family names for 212 tasks, so per-family difficulty and diversity
counts stopped meaning anything. Families are now one of 19 mechanisms
(the 17 already on main plus state-machine-timing and numeric-reliability);
a new family needs Claude's agreement.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-27 01:57:19 +08:00

25 KiB
Raw Permalink Blame History

制题作业说明(给 Codex 等制题 Agent)

把“按任务制作规范批量造题”交给 Codex 时,用本文补齐它需要的全部上下文:交付物、环境、目录、数据、命令、台账、红线和汇报格式。规则以 task-authoring.md 为准;与 AGENTS.md 冲突时以 AGENTS.md 为准。本文写于 2026-10-14,数字是当时的实测值。

1. 交付物

每个制题批次交付:

  • tasks/<id>/:通过闸门 1、2 的任务包,每题附 spec.md。导入题(路线 A)的 spec.md 只填模板第 1、4、7 节,其余写“沿用 Bos 原题”。
  • factory/<批次>/(不进 Git,结束后迁到 JuiceFS):inventory.jsonl、import.jsonl、calibration.tsv、review.md,格式见 §8。
  • 闸门 3 试采的 controller 目录与批次报告。
  • docs/progress.md 新增一节:目标、实际数字、证据路径、拒绝原因、限制、下一步。
  • main 上的一个提交:批次在自己的分支上做,过程中可多次提交;结束后用 git merge --squash 并入 main,只含新任务目录与文档;不推送,由用户在 Mac 拉回并推送(§4)。

不改 rollout/、agent/、tests/ 的平台代码,不改已准入任务。遇到合同表达不了的题(候选通配、构建服务、大文件输入、新镜像),记 BLOCKED 并写明需要哪项合同升级,然后继续下一题。

2. 先读

  1. AGENTS.md:项目约束。
  2. task-authoring.md:规范正文,四条路线、排除条件、闸门与分池。
  3. templates/task-spec.md:spec.md 模板。
  4. architecture.md:Agent、评分、代理三个容器的隔离边界。
  5. progress.md 最后三节:最近的状态与教训。
  6. 两个参考任务:S500_n2_155(Bos 导入,Python)与 frame-decoder(手写 C 题)。

3. 机器与访问

位置 用途 说明
36:ssh ming01.wang@36.144.20.182 数据、Docker、校准、采集;已装 codex-cli 0.162.1,推荐 Codex 直接在 36 的工作副本里运行 Ubuntu、Python 3.10、git 2.34、Docker 29.5.2;host 无 Node(Node 在镜像里)。sshd 偶尔断连,重连即可
Mac:/Users/amos/project/embedded-rollout 审阅与推送 Gitea 推送由用户在 Mac 完成,36 上没有 Gitea 推送凭据;macOS 没有 timeout 命令,shell 是 zsh
Gitea:https://gitea.d-robotics.cc/ming01.wang/data-gen-ebd.git 唯一正本 只推送 main,不改写已推送历史;36 可直接 clone/pull
Codex 联网 36 上的 Codex 经 127.0.0.1:17899 访问 OpenAI 由 Mac 的 LaunchAgent ~/Library/LaunchAgents/com.embedded-rollout.codex-tunnel.plist(用户 2026-10-23 同意)维持反向隧道 -R 17899:127.0.0.1:7897,开机和登录后自动拉起、断线自动重连。36 上 curl -x http://127.0.0.1:17899 https://api.openai.com/v1/models 返回 401 即为连通,000 为隧道断开。2026-10-23 起端口从 17898 改为 17899:36 上有一个无法清理的旧会话占着 17898,转发的数据进去后没有回应;~/.local/bin/codex 和 ~/.bashrc 里的代理地址已同步修改(原文件备份为 *.bak-17898-20261023T202939)。Codex 批次由 .tmp/codex-supervise.sh 守护,遇到模型容量已满或断网等临时错误时,等 5 分钟后在 gpt-6.1-sol 和 gpt-6-sol 之间轮换重启。

4. 目录与存储

原则:题目进 Git,热数据放本地盘,冷数据放共享盘。2026-10-14 实测 JuiceFS 读一个小文件要 72 秒;制题和校准要频繁读写小文件,不能在共享盘上做。

36 本地盘:做题和运行
/home/ming01.wang/embedded-rollout/          Git 工作副本(clone 自 Gitea)
├── tasks/<id>/                              题目正本,进 Git
├── factory/<日期>-<路线>-<名称>/             本批制题台账与过程材料,不进 Git
└── runs/<批次>/                              正在运行的批次,不进 Git
36 JuiceFS:存冷数据
/mnt/data/ming01.wang/embedded-rollout/
├── .private/                                凭据,只以路径传给 pi_run,不读不打印
├── factory/<批次>/                          已结束批次的台账,整批迁入
├── runs/<批次>/                              已结束批次的运行目录,整批迁入后只读
└── artifacts/                               封存包,上传 Salty 前后的本地副本
  • 提交流程(用户 2026-10-22 决定):每批开工前 36 工作副本先 git pull --ff-only,从 main 新建批次分支(如 batch11,可用 git worktree add .tmp/wt-batch11 -b batch11),批次过程中的提交(如每 5 题一次)只在这条分支上。批次结束、Claude 复核通过后,在 36 工作副本的 main 上执行 git merge --squash batch11,再 git commit 成一个提交,说明写明批次名、题数和 progress.md 小节;main 上一批只留这一个提交。合并前 main 有新提交时先在批次分支上 git merge main 解决冲突。批次分支只留在 36 本地,不推送、不删除,需要查看过程时在分支上看。Mac 用 git pull ssh://ming01.wang@36.144.20.182/home/ming01.wang/embedded-rollout main 拉回,再推送 Gitea。
  • 批次结束:报告、重判和归档完成后,把 factory/<批次> 与 runs/<批次> 复制到 JuiceFS 同名目录,核对文件数与总字节一致后再删除本地副本。
  • 容量:/home 是多人共享盘,2026-10-14 剩 150 GB,本项目当时共用 3.6 GB;单条原生轨迹 10–60 MB,一批 100 条约 2–6 GB。Docker 镜像在独立的 /var/lib/docker 盘。
  • 如果 /home/ming01.wang/embedded-rollout 下没有 .git,说明还没完成一次性迁移:停下来请用户处理,不要自行移动旧的运行目录。
  • 磁盘保护(平台已实现):输出盘剩余低于 30 GiB 时不启动任何容器(termination=disk_low);Agent 运行中单次 attempt 目录超过 2 GiB(attempt_size)或剩余低于 30 GiB 即停止。开批前先 df -h /home,剩余低于 30 GiB 就不要开批。用户 2026-10-17 决定:/home 被其他使用者占到 57 GiB 时照常开批,降到 30 GiB 再停下汇报(原为开批 60 GiB、停止 50 GiB)。

5. 镜像

  • 正式镜像只有一个环境族:ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:1519f8daa403998e5401eeb70b973e8aac8346e25a937033bc502dc5de1641a1(trace6,2026-10-18 起,原生轨迹前缀增量;此前的 trace5 sha256:aa5d00779fe0… 只对应历史轨迹与校准;Python 3、gcc、Node、Pi 0.73.1,已在 36 本地)。命令里一律写这个 digest。
  • 任务不进镜像。每次运行时 controller 把 template 复制成新工作区挂到 /workspace,评分时把冻结候选只读挂到 /candidate、判据只读挂到 /grader。Agent 与评分用同一镜像,任务文件一旦打进镜像,Agent 就能读到隐藏测试和 gold。
  • 题目需要额外依赖时:纯源码依赖放进 template(≤64 个文件、单文件 ≤1 MiB);需要系统包或大文件的,记 BLOCKED 并提出新环境族,不为单题建镜像。

6. 数据地图(全部只读)

数据 位置(36) 用途与状态
Bos 正式题 /mnt/data/ming01.wang/Bos-qiao/envs/S500_*(519 个) 路线 A。每题有 task.json(env_id、task、image、final_targets、platform_class)、template/、check.py 及附属 *.py、gold.sh、cheat_*.sh、可选 valid_*.sh
Bos 分类清单 /mnt/data/ming01.wang/Bos-qiao/auto_task_codex/task_factory_500_20260914/ EMBEDDED_DIRECT_CANDIDATES.txt(182 道直接相关)、EMBEDDED_SUPPORTING_CANDIDATES.txt(318 道支撑)、EMBEDDED_RELEVANCE.jsonl(每题 use_case 与验证边界)
Bos 写题契约 /mnt/data/ming01.wang/Bos-qiao/agent_sft_pipeline/TASK_SPEC.md 判据准则原文,已并入规范
种子 /mnt/data/ming01.wang/Bos-qiao/auto_task_codex/seed_selection_opencode_v2/queries.jsonl 路线 C。3,078 条:18 条 A 级有初态证据,3,060 条 B 级需新写环境;training_ready 全为 false
初态证据 …/auto_task_codex/recoverable_queries_v1/ 18 条 A 级的初始文件全文(recovery_evidence.jsonl.gz)
BOS 原始镜像 /mnt/data/ming01.wang/Bos-qiao/d-brain/(90 GB) 路线 B。只有 rdk-gateway/v2-spans 能回放:2,408 个会话中 263 个可回放,八成在板端;其余前缀不能回放
LiteLLM 网关日志 /mnt/data/ming01.wang/data-litellm-1.0/ 未授权,不读内容
HWE 材料 只在 Mac:/Users/amos/project/embed/HWE_harness/benchmark/(36 上没有) 路线 C。5,544 条材料(2,541 条 mutation);checks/behavior.py 不能用作判据

Bos-qiao/*.py 下载脚本里写有明文凭据,不要打开或复制这些脚本。

7. 当前题库

  • 已准入 21 道:frame-decoder(SMOKE_ONLY,链路回归)与 20 道 Bos 题。三个族:linux-device-abi 7、firmware-image-boot 7、motor-sensor-control 6。
  • 2026-10-15 判分隔离修复后:tasks 下 74 道 Bos 题中 36 道(35 道 tests.py 型与 S500_a2_426889b9a968)的隐藏测试与候选同进程,带 isolation-blocked.txt 记 BLOCKED,评分恒为 UNVERIFIED,不得采样;可采的是其余 38 道与 frame-decoder。同日试点按 task-authoring.md §6 第 8 条重写了其中 3 道(S500_n3_133 v3、S500_n3_102 v4、S500_a2_426889b9a968 v3),36 正式校准 PASS,真实试采前不进采集;其余 33 道仍带标记,等用户确认后再转换。
  • M1(GLM-5.3,每题 2 次):14 题 2/2,5 题 1/2,S500_n3_152 v1 为 0/2(题面漏项,v2 已修)。Qwen 基线 18/20。2/2 的题是回归候选。
  • Bos direct 182 道(2026-10-12 盘点):91 道可导入(含已导入的 20 道,余 71 道),81 道 rglob 型与 5 道 ROS2 BLOCKED(等候选通配合同和 Jazzy 镜像),另有 5 道未归类;以 §8 第 1 步重新盘点为准。318 道支撑题尚未盘点。

8. 作业 A:导入 Bos 题(当前优先)

以下命令都在 36 的工作副本 /home/ming01.wang/embedded-rollout 下执行。本批台账目录记为 factory/<批次>,例如 factory/20261014-A-bos-direct。

第 0 步:准备。 git pull --ff-only;python3 -m unittest discover -s tests 必须全部通过;创建 factory/<批次>,已存在就换名,不覆盖。

第 1 步:复制与盘点。 先在后台把候选题目录只读复制到本地 factory/<批次>/bos-envs/(rsync -a,JuiceFS 慢时可能要数小时),之后的盘点和导入都读本地副本。对 EMBEDDED_DIRECT_CANDIDATES.txt 每一行写一条 inventory.jsonl:

{"env_id": "S500_n3_102", "relevance": "direct", "use_case": "…", "image": "python", "kind": "importable", "imported": true}

kind 规则:原 task.json 的 image 含 ros2 → ros2;任一根目录 *.py 含 rglob( → rglob;否则 importable。imported 看 tasks/<env_id> 是否已存在。task.json 里 source 由 env_id 生成,从本地副本导入不影响来源记录。

第 2 步:逐题导入。 只对 kind=importable 且未导入的题:

python3 -m rollout.bos_import factory/<批次>/bos-envs/<env_id> --output tasks/<env_id> --family <family>

成功时 stdout 是一行 JSON(task、digest、fixtures),失败时 stderr 是 import rejected: …、退出码 2。每题写一条 import.jsonl:{"env_id", "family", "status": "imported|rejected", "reason", "digest"}。被拒绝的题不要手改后硬导入。

族的命名(用户 2026-10-27 要求题库可按族统计难度与多样性):family 只能取下面 19 个规范族名之一,按缺陷的根因机制归族,不按题材或来源分类。需要新族时先在 STATUS.json 的"需要用户提供"里提出,经 Claude 同意后写进本表。

族 根因机制
build-deploy 构建、编译、链接、打包、安装与部署
linux-concurrency 线程、锁、原子操作、条件变量、并发队列与发布可见性
posix-concurrency 以 POSIX 线程原语本身的语义为核心(属性、取消、robust mutex 等)
concurrency-lifecycle 并发对象的创建、交接、退出与回收顺序
resource-lifecycle 句柄、内存、会话等资源的所有权、错误路径清理与释放
memory-buffers 缓冲区布局、容量、拷贝与零拷贝视图
config-calibration 配置解析、单位换算、标定参数与默认值
device-io 寄存器、DMA、外设 I/O 的软件模型与访问顺序
linux-device-abi ioctl、uapi 结构、设备节点与内核接口约定
linux-userspace-abi 信号、文件描述符、进程、系统调用与 libc 接口语义
serial-protocol 帧与报文编解码、校验、转义与协议状态
length-prefixed-stream 长度前缀与分片流的重组
state-machine-timing 状态机、定时器、超时、重试与调度
numeric-reliability 数值计算、整数域、溢出、舍入与序列统计
peripheral-hal 外设 HAL 接口与驱动抽象
firmware-image-boot 固件镜像、分区、启动与升级
motor-sensor-control 电机、传感器与控制回路
robot-navigation 路径规划、定位与导航
embedded-vision 图像与视觉处理

第 3 步:闸门 1。 对每道新题:python3 -m rollout calibrate tasks/<id> --trusted-local --output runs/<批次>-dev,期望 task_verdict 为 PASS;再跑一次全部单元测试(含对全部任务的公开合同检查)。

第 4 步:闸门 2。 逐题 Docker 校准,结果追加到 calibration.tsv(task attempt verdict 三列):

python3 -m rollout calibrate tasks/<id> --image ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:1519f8daa403998e5401eeb70b973e8aac8346e25a937033bc502dc5de1641a1 --output runs/<批次>-calibration

输出一行 JSON,含 attempt 和 task_verdict。不是 PASS 的题记 REJECTED 并写原因,从 tasks/ 移除。

第 5 步:评审并写 spec.md。 逐题对照规范 §3(替身测试、可判性)、§5(每个行为是否有题面、工作区材料或公认标准依据,项目约定是否已公开,不只看接口名)、§6(判据是否独立复算、是否会误拒合法解)。结论写进该题 spec.md 的第 7 节和 review.md;评审不通过的题记 REJECTED。

第 6 步:闸门 3(真实试采)。 每道新题试采 1 次,GLM-5.3,4 路并发。先建好批次目录 runs/<批次>,jobs.txt 每行“任务名 校准目录”(校准目录取第 4 步的 attempt):

python3 -m rollout.batch factory/<批次>/jobs.txt --image <上面的 digest> --credential-file /mnt/data/ming01.wang/embedded-rollout/.private/access.json --agent-timeout 3600 --parallel 4 --output runs/<批次> >>runs/<批次>.log 2>&1
python3 -m rollout.report runs/<批次> --tasks tasks --output factory/<批次>/report.json

批次可能运行数小时:用 setsid nohup … & 放到后台,看日志与报告,不要依赖单个 ssh 连接。断流、模型 HTTP 错误等基础设施失败由 batch 自动补采,不算任务失败;中断后重跑同一命令即续跑;退出码 3 表示环境连续失败或磁盘不足而暂停,按日志里的原因处理后重跑同一命令。试采 Agent 解题失败不否决任务;证据未 VERIFIED、清理未确认的尝试要查明原因。

第 7 步:收尾。

  • 确认本批没有残留容器(rollout-*)和专属网络(rollout-pi-*),只清理本批自己创建的对象。
  • 按 §4 把 factory/<批次> 与 runs/<批次> 迁到 JuiceFS。
  • 在 progress.md 写一节,然后本地提交 tasks/<新题> 与文档。

闸门 4(每题 ≥5 次的难度分池)是单独的采集批次,用户确认后再做。

9. 作业 B:轨迹回放试点(用户批准后再做)

  1. 从 d-brain/rdk-gateway/v2-spans 中“只在本地可回放”的 48 个会话里选 10 个:以会话 ID 区分,取每个会话最长的那条 user_request 记录;它的 training_payload.input_messages 含 tool_call(name、arguments)与 tool_call_response 部分。“只在本地可回放”指:至少一个文件先被非 device_* 的读取工具(read 等,无 offset/limit)完整读取,之后才被 write/edit/apply_patch 修改,且会话没有用 device_* 工具改文件。同样先把需要的分片复制到本地再处理。
  2. 按规范 §2.2 还原初态、标注补全、做充分性评审与脱敏。会话原文和中间产物只放 factory/<批次>,不进 Git。
  3. 产出的任务按 §8 第 3–6 步过闸门。在 review.md 记录每个会话从回放到准入的结果与人时。

10. 作业 C:根据种子与素材自己写题(先试点一个族)

选材。 从种子 queries.jsonl 读 query、fill(必须公开的约定)、grader.checks(要验什么)、family;HWE 材料读 prompt.md 与 reference/。先按规范 §3 排除,再只留同时满足下面三条的:

  • 行为能在当前目录里用固定输入复现并判定(解析、编码、协议、状态机、数值换算、Linux 用户态接口的软件替身);
  • 不需要改系统文件、装软件包、联网或接硬件——Agent 容器根文件系统只读、无外网,只有工作区可写;
  • C 或 Python 能在当前 runtime 镜像里完成。

系统配置、命令查询、“解释一下”这类种子不做。

写题。 每题一个目录 tasks/<族>-<短名>/(kebab-case):

文件 写法
task.json id 同目录名;version "1";family;source 写 bos-seed/<query_id> 或 hwe/<基础题 ID>;template "template";verifier "verify.py";candidate_files;timeout_seconds 120;grader_files 列出 check.py 及其附属文件;fixtures 含 gold/template/noop/cheat 及额外的 cheat_*、valid_*
prompt.md 按规范 §5:现场现象或问题、复现/自测方法与提交文件,不写绝对工作目录;判据行为须有题面、工作区或公认标准依据,项目自己的接口和约定必须在题面或工作区可查,允许不指出缺陷位置与知识点的现象型题面
template/ 未实现或有缺陷的候选文件 + 公开接口 README.md
gold/、noop/、cheat/、cheat_*/、valid_*/ 每个目录只放 candidate_files
verify.py 原样复制 rollout/bos_verify.py(负责降权、隔离探针与输出格式),不要自己写
check.py 判据本体:sys.argv[1] 是候选副本目录;用 tempfile 在 /tmp 建临时目录、复制候选并重新构建;候选只能在子进程里运行,子进程只从 stdin 拿输入、打印结果,check 进程独立复算期望并比对(照 S500_n2_155 的 RUNNER),不要在 check 进程里 import 候选,也不要把隐藏测试或断言交给候选进程,否则评分 UNVERIFIED 或记 BLOCKED;独立复算期望值;全部通过时最后一行打印 PASS 并退出 0,否则打印失败原因并退出 1;总耗时远小于 100 秒
spec.md 按模板写全;记录种子 ID 与改写理由

参照:Bos 题 tasks/S500_n2_155/(同一结构);判据写法见规范 §6,cheat 写法见规范 §7。

节奏。 先选一个族写 3–5 题,按 §8 第 3–6 步过闸门并汇报,用户审过后再在同族批量写;每题差异尽量放进私有数据,同族共用判据写法。HWE 的 reference/ 只能作 gold 起点;期望输出是固定字符串的题必须加运行时随机量或隐藏变体。

11. 红线

  • 不执行来源里的任何脚本(gold.sh、cheat_*.sh、valid_*.sh、Bos 工具脚本);导入器只解析它们。
  • 不读、不打印、不复制 .private/ 下的文件和 Bos 下载脚本中的凭据;凭据只以路径传给 pi_run。
  • 不写入任何来源目录(Bos-qiao、d-brain、HWE_harness),不读 data-litellm-1.0 的内容。
  • 隐藏测试、gold、spec.md 不进入 template 或题面;真实用户会话原文不进 Git。
  • Docker 只清理本批创建的容器和网络,不执行任何 prune,不动其他镜像、容器和项目目录。
  • 不改写已推送历史,不 force push,不推送;改已准入任务一律升 version 并重新校准。
  • 批次结束即按 §4 迁移,不在 /home 长期保留运行目录。
  • 余量不足或出现 disk_low、attempt_size 时停下来汇报,不要为了腾空间删除任何东西,包括本项目的旧运行目录。

12. 已知坑

  • pgrep -f、pkill -f 会匹配到你自己 ssh 命令行里的同一字符串,结束进程一律按 PID。
  • 36 sshd 偶尔断开;长任务一律后台运行并写日志。
  • JuiceFS 会长时间停顿:2026-10-14 读一个小文件要 72 秒,逐题读 Bos 目录 45 分钟只读完 16 题。批量读取一律先在后台复制到本地,不要因停顿误判为失败。
  • 判据包装器以 root 运行 check.py,只把 work/ 和 tempfile.mkdtemp 临时目录交给 UID 65534;check 用 os.system、fork 等绕开 subprocess,或在自己进程里执行候选代码,都判 UNVERIFIED。带 isolation-blocked.txt 的题评分恒为 UNVERIFIED,不能靠删标记准入。
  • 0 PASS 的题先查题面漏项:S500_n3_152 v1 的隐藏测试调用了 README 未公开的 process(request),两个模型都因此失败。
  • 原生轨迹上限 64 MiB;长题 --agent-timeout 3600。
  • 模型凭据目前仍在 JuiceFS 的 .private/;读取失败会使该次尝试记 INFRA_ERROR,补跑即可。把它移到本地私有目录需用户操作。
  • rglob 型题(判据递归收集全部 *.py)照搬会把合法拆分判 FAIL,按 task-authoring §2.1 改成只读声明文件、README 写明交付范围后导入(用户 2026-10-26 决定扩题量)。
  • Qwen 断流(2026-10-21 查明):被切断的请求都是收到约 7.9 KB 初始事件后,上游 300 秒没有任何数据,随后在约 302 秒时连接关闭;而能完成的长请求可以持续 500 秒以上、返回数 MB 数据。ModelProxy 的空闲上限是 900 秒,所以这是 Qwen 网关一侧的 300 秒读空闲超时:上下文很长时,排队或处理输入的阶段会超过 300 秒。要从根本上解决,需要服务方调大这个超时。

13. 汇报格式

批次结束时向用户汇报:

项 数量
盘点候选 / 已导入 / 新导入 / 拒绝(按原因)
闸门 1 / 闸门 2 通过
试采完整轨迹 / PASS / FAIL / 排除(按原因)

另附:按族列出的新任务 ID、拒绝清单与原因、BLOCKED 清单与所需合同、factory/ 与 runs/ 路径、残留容器和网络数(应为 0)、/home 剩余空间与本批在 /home 的占用(迁移后应接近 0;未迁移不算完成)、disk_low/attempt_size 次数、progress.md 已更新、本地提交哈希(未推送)。

14. 多 Agent 分工(用户 2026-10-21 决定)

从第 10 批起,Codex 以主 Agent 加子 Agent 的方式工作。目的是让每个会话的上下文保持很短:既不会撞上下文上限,单个会话被内容过滤打断时也只丢一道题。

  • 启动方式:codex --no-daemon exec --enable multi_agent …。主 Agent 只负责调度、检验和汇总,不亲自写题或测题。

  • 一个子 Agent 只做一道题:

    • 主 Agent 用 spawn_agent 开子 Agent,fork_turns 取最小值,不把主会话的历史传给它。
    • 只给子 Agent 一份单题说明 factory/<批次>/subagents/<题ID>/BRIEF.md,内容包括:题 ID、来源、要做的事、验收清单,以及本节和 BRIEF 中与该题有关的规则。
    • 子 Agent 只改 tasks/<题ID>/ 和 factory/<批次>/subagents/<题ID>/,结果写入同目录的 report.json:做了什么、闸门回执路径、自检结论、遗留问题。
    • 子 Agent 不提交 git,不改其他题,不碰其他子 Agent 的目录。
  • 并发:

    • 同时运行的子 Agent 不超过 4 个。
    • 要跑 Qwen 的子 Agent,合计仍受全局 2 路并发限制,由主 Agent 排队。
    • Docker 校准可以并行,但每个子 Agent 只清理自己创建的对象。
  • 主 Agent 逐题检验:子 Agent 交回结果后,主 Agent 对照本批 BRIEF 的验收清单独立核对,不能只看子 Agent 的自述。至少核对:

    • 任务包能被 core.load_task 加载。
    • 判据隔离结构正确:候选只在子进程里运行,verify.py 与平台版本一致,没有 isolation-blocked.txt。
    • 固定样例齐全,闸门 1、2 的回执真实存在,结果符合预期,题目指纹与当前任务包一致。
    • 题面没有歧义,依据表完整。
    • 测难度的批次:每次 FAIL 的复核都有依据行。

    不合格的题,用 followup_task 让同一个子 Agent 返工,最多两轮;仍不合格就不入库,写明原因。检验结论写入 factory/<批次>/subagents/<题ID>/review.json。

  • 提交:只有主 Agent 提交,只提交检验通过的题,节奏照本批 BRIEF;这些提交都在批次分支上,结束时按 §4 用 git merge --squash 并入 main。

  • 中断:某个子 Agent 被内容过滤或其他错误打断时,主 Agent 记下这道题,跳过它继续调度其他题,最后在汇报里列出。

  • Claude 复核:批次结束后由 Claude 抽查子 Agent 的产出和主 Agent 的检验记录,核对通过后才按 §4 squash 合并到 main。