From 293c2c7a8eb72201e44dba19382edd00ab8ac758 Mon Sep 17 00:00:00 2001 From: amos Date: Wed, 14 Oct 2026 15:22:36 +0800 Subject: [PATCH] docs: task-making spec, Codex factory brief and storage layout Rewrite task-authoring.md as one spec (four source routes, exclusions, prompt/grader/fixture rules, four gates, difficulty pools), add the brief that gives Codex the machines, storage layout, data map, commands and red lines, and record the Bos-qiao raw-data audit. Co-Authored-By: Claude Opus 5.5 --- .gitignore | 1 + AGENTS.md | 2 +- README.md | 3 +- docs/progress.md | 31 ++++ docs/task-authoring.md | 290 +++++++++++++++++++++--------------- docs/task-factory-brief.md | 179 ++++++++++++++++++++++ docs/templates/task-spec.md | 12 +- 7 files changed, 391 insertions(+), 127 deletions(-) create mode 100644 docs/task-factory-brief.md diff --git a/.gitignore b/.gitignore index 6f260e41..b93eb6eb 100644 --- a/.gitignore +++ b/.gitignore @@ -8,3 +8,4 @@ runs/ .private/ node_modules/ artifacts/ +factory/ diff --git a/AGENTS.md b/AGENTS.md index 16654318..4ae3ac69 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -1,6 +1,6 @@ # 开发约定 -先读 README.md、docs/development.md、docs/architecture.md 和 docs/progress.md。任务来源与范围见 docs/rollout-plan.md、docs/chat-history.md;运行 Agent 的合同见 agent.md。 +先读 README.md、docs/development.md、docs/architecture.md 和 docs/progress.md。任务来源与范围见 docs/rollout-plan.md、docs/chat-history.md;运行 Agent 的合同见 agent.md。制题按 docs/task-authoring.md;批量制题的环境、目录、数据、命令与红线见 docs/task-factory-brief.md。 ## 工作顺序 diff --git a/README.md b/README.md index 0b2a290a..f212c579 100644 --- a/README.md +++ b/README.md @@ -104,7 +104,8 @@ python3 -m rollout.report runs/BATCH --tasks tasks --output runs/BATCH-report.js - [开发流程](docs/development.md):需求、合同、实现、校准、测试、review 和记录。 - [架构与证据](docs/architecture.md):候选、评分器、模型代理、原生轨迹和回执边界。 - [机器部署图与实际位置](docs/deployment.md):Mac、36、CCR、GLM 与 Salty 的当前分工、建议迁移路径,以及镜像/轨迹地址。 -- [任务创建标准](docs/task-authoring.md) 与 [参考模板](docs/templates/task-spec.md):任务交付物、准入流程、制作工时与可复制的设计表。 +- [任务制作规范](docs/task-authoring.md) 与 [规格模板](docs/templates/task-spec.md):四条来源路线、排除条件、题面/判据/样例规则、四道闸门、难度分池与制作工时。 +- [制题作业说明](docs/task-factory-brief.md):交给 Codex 等制题 Agent 的完整上下文——机器、共享存储目录、数据地图、逐步命令、台账、红线与汇报格式。 - [Agent 接入合同](agent.md):启动、工具反馈和真实轨迹要求。 - [基础设施](docs/infrastructure.md) 与 [资源接入](docs/onboarding.md):已有资源及待验条件。 - [聊天整理](docs/chat-history.md):16 个聊天、46 轮讨论的来源、历史成果和统计口径。 diff --git a/docs/progress.md b/docs/progress.md index 836653b1..f89639d8 100644 --- a/docs/progress.md +++ b/docs/progress.md @@ -211,3 +211,34 @@ M1(20 题准入、完整尝试、正负例与重判)已有实际证据;M2/ 3. **评分信号过粗**:`bos_verify` 仍原样运行原 check.py,失败子进程的 stderr 尾部抄到 `grade.stderr`(可信侧,可能引用隐藏测试);批次报告 `fail_detail` 取其最后一行,没有时取评分 reason(如 `case 4 mismatch`)。全部 Bos 任务更新判据包装并升为 version 2。 验收:Mac 72 项 Python 与 Node 7 项通过(SDK 5 项本地跳过、镜像内全部通过),36 上 72 项通过(1 项因 host 无 Node 跳过)。21 道任务用 trace5 完整校准 805 次全部符合预期,说明新包装不改变判定;evdev 初态在 Docker 中的 `grade.stderr` 带出 `NotImplementedError` 原文。真实 GLM 冒烟两条:frame-decoder PASS(11 次请求)、evdev v2 PASS(18 次请求,v1 上 GLM 为 0/2),均 VERIFIED;argv 实为 `--model glm-5.3 --max-tokens 131072`,全部 payload `max_tokens=131072`,清理 0 容器、0 网络。两份归档(3842204 与 375844 字节)上传 Salty 后下载核对一致,临时下载已删除。trace4 本地标签因并行会话可能使用而保留。 + +## 2026-10-13/14 Bos-qiao 原始数据核对与任务制作规范 + +用户要求确认 Bos-qiao 原始数据是否找全,并据此形成任务创建规范。只读核对 36,不写入任何源目录;全量扫描用 36 本地临时目录与低优先级进程,汇总后已删除。 + +- 原始存储为 BOS 桶 `d-brain`,本地副本 `Bos-qiao/d-brain/` 10,795 个文件、90 GB。9 月 1 日下载 10,794 个对象,其中 2 个“失败”是 0 字节目录占位;与 9 月 7 日清单(10,800 个对象)逐项比对,仅缺 3 个 1 KB 内的 rdstudio manifest。9 月 7 日之后的桶变化未实时核对(需凭据,未执行)。 +- 只有 `rdk-gateway/v2-spans`(含 legacy,5/26 与 6/22–7/08)保存完整工具参数与结果:9,224 个文件、341,455 条 span、0 解析失败;2,408 个会话(168 个用户 ID),1,856 个有工具调用,263 个至少有 1 个文件在修改前被完整读取(215 个在板端 `device_*`、48 个只在本地),每会话可回放文件中位 1、最多 8。flat-logs 的工具参数全部为空、内容只有预览;hermes 只有工具结果没有参数;rdstudio 只是对话摘要,均不能回放。此前 `recoverable_queries_v1` 用同一方法全量复核得到 18 条初态充分的 query,与本次结果相符;上一轮依据的派生 `sessions-spans-all` 只有 1,670 个会话,可回放数由 195 修正为 263。 +- 另有不属于 Bos-qiao 的 `/mnt/data/ming01.wang/data-litellm-1.0`(2.2 TB LiteLLM 网关日志,8/18–10/08,自带统计 98.1 万段对话、25.3 万段带工具),抽样可见工具结果全文;未全量扫描,使用前需确认授权与脱敏。 +- 安全:`Bos-qiao/download_bos.py` 明文写有 BOS AK/SK,`list_bos.py`/`peek_bos.py` 以其为默认值,三个文件为 `-rw-rw-r--`。本次未打印或使用该凭据,建议用户轮换并改为私有文件读取。 + +规范:将 [task-authoring.md](task-authoring.md) 改写为任务制作规范,合并 Bos-qiao 写题契约的判据准则、Terminal-Universe 回放规则与 M1 教训:四条来源路线(导入、回放、写题、工程问题)与各自产量,准入预筛(替身测试、不可判、缺材料、隐私、重复),初态/题面/判据/样例规则并标注机检、校准或评审,四道闸门,难度分池(同一配置 ≥5 次:全过进回归集、部分通过进主采集池、0 通过先复核题面)。[规格模板](templates/task-spec.md) 增加来源路线、来源 ID、隐私处理、替身测试、split 分组键、回放与补全清单、环境族和分池结论。未改代码与任务。 + +下一步:按规范导入 Bos direct 剩余 71 道候选(逐题记录拒绝原因),在 36 正式校准;路线 B 先取 48 个仅本地可回放会话中的 10 个试点,实测回放到准入的产出与人时。 + +## 2026-10-14 制题存储布局、镜像方式与 Codex 作业说明 + +用户问三件事:题目存哪(`/home` 不够)、镜像是否每题一个、如何让 Codex 按规范制题。 + +- 存储实测(36):`/home` 为 1.2 TB 多人共享盘,剩 150 GB(88%),本项目共占 3.6 GB(runs 1.9 GB、artifacts 289 MB、tasks 2.2 MB);Docker 在独立的 `/var/lib/docker` 盘(剩 128 GB);JuiceFS `/mnt/data` 1 PB、剩 945 TB,挂载带 `allow_other`。同日 JuiceFS 读一个小文件耗时 72 秒,逐题读取 Bos 目录 45 分钟只完成 16 题(已停止并删除临时目录)。结论:题目进 Git,制题与运行在本地盘工作副本,结束的批次台账、运行目录与归档迁入 JuiceFS `/mnt/data/ming01.wang/embedded-rollout/{factory,runs,artifacts}`。`.gitignore` 增加 `factory/`。 +- 镜像:维持按环境族共用镜像、运行时挂载任务的现有设计(`core._docker` 只读根文件系统,挂载 `/workspace`、`/candidate`、`/grader`);任务不能打进镜像,否则 Agent 可读到隐藏测试与 gold。 +- 新增 [task-factory-brief.md](task-factory-brief.md):给 Codex 的交付物、必读顺序、机器与访问、目录、镜像、数据地图、题库现状、路线 A 逐步命令与台账格式、路线 B/C 的启动条件、红线、已知坑与汇报格式;AGENTS.md 与 README 增加指向。36 已装 codex-cli 0.162.1,可匿名从 Gitea clone/pull——仓库含隐藏测试与 gold,建议用户确认其访问权限。 + +待用户确认的一次性迁移:36 现有 `/home/ming01.wang/embedded-rollout` 是 rsync 副本而非 Git 仓库,需改为 clone 自 Gitea,并把其中 M1 的 `runs/`、`artifacts/` 迁入 JuiceFS;共享根目录下 2026-10-12 的旧代码副本待用户决定是否删除。迁移前需先把本次文档推送到 Gitea。 + +## 2026-10-14 磁盘保护:剩余空间下限与单次尝试上限 + +问题(用户侧聊指出,核对代码属实):Agent 容器的 `/workspace`、`/trace` 是输出盘上的可写挂载,控制端只用 `communicate(timeout)` 等待,写入量没有上限;Agent 还能经容器 1 号进程的 stdout 写进 host 的 `agent.stdout`,绕过 adapter 的 64 MiB 轨迹上限。36 `/home` 为多人共享盘,10-13 剩 51 GB、10-14 剩 150 GB,余量不能当安全边界。 + +实现(先改 architecture.md、agent.md):`core._docker` 启动任何容器前检查输出盘剩余,低于 50 GiB 不启动并记 `termination=disk_low`;`core._process` 改为每 2 秒轮询,Agent 容器运行中剩余低于 50 GiB 记 `disk_low`、本次 attempt 目录(`st_blocks` 统计,含工作区、trace、host stdout/stderr)超过 2 GiB 记 `attempt_size`,随即停止容器,处理同超时(容器清理 unknown、候选不冻结、回执 INFRA_ERROR)。评分容器只做启动前检查。测试新增 1 项(失控写文件被停止、剩余不足即停止、`_docker` 不启动且评分记 INFRA_ERROR),开发机剩余可能低于 50 GiB,测试内把下限置 0;删除大小判断后该测试失败。 + +验证:Mac 73 项通过;同步 `rollout/core.py`、`tests/test_core.py` 到 36(SHA-256 一致),36 73 项通过(1 项因无 Node 跳过)。36 实测(trace5):frame-decoder 完整校准 PASS;真实 Docker 失控写入(`head -c 4MiB /dev/zero` 循环,上限临时设 64 MiB)被停止,`termination=attempt_size`、回执 INFRA_ERROR,容器按名称复核已不存在,但停止前已写 2.09 GB——检查间隔内的写入仍会落盘,实际上限约为上限加 2 秒写入量,已写入 architecture.md;真实 Pi/GLM frame-decoder PASS,证据 VERIFIED(6 次请求)、Agent 正常退出、清理 confirmed。验证目录(2.0 GB,含 root 所有的写入文件)已删除,0 个 `rollout-` 容器、0 个专属网络,`/home` 剩 146 GB。Codex 说明补充阈值、余量不足即停下汇报(不得删除任何东西腾空间)与批次结束的磁盘汇报项。 diff --git a/docs/task-authoring.md b/docs/task-authoring.md index 734a067a..f07b496f 100644 --- a/docs/task-authoring.md +++ b/docs/task-authoring.md @@ -1,159 +1,205 @@ -# 任务创建标准 +# 任务制作规范 -本标准用于把已有工程问题制作成可复现、可独立判分的 rollout 任务。作者填写 [任务规格模板](templates/task-spec.md),以 [frame-decoder](../tasks/frame-decoder/task.json) 为当前可执行参考。工时是规划估算,实际准入依赖证据;本标准不增加任务、不升级执行器,也不涉及模型训练。 +本规范是写题人(人或 Agent)与 rollout 平台之间的契约:一道题按它交付,通过四道闸门,才能进入采集。它合并了三处已验证的经验:Bos-qiao 写题契约(`/mnt/data/ming01.wang/Bos-qiao/agent_sft_pipeline/TASK_SPEC.md`)的判据准则、[Terminal-Universe](https://arxiv.org/abs/2609.04148) 的轨迹回放规则,以及本项目 M0/M1 的实测教训。作者填写 [任务规格模板](templates/task-spec.md);可执行参考是 [frame-decoder](../tasks/frame-decoder/task.json)(手写 C 题)与 [S500_n2_155](../tasks/S500_n2_155/task.json)(Bos 导入题)。本规范只管制题与准入,不涉及模型训练。 -## 1. 先分清规格与运行合同 +每条规则标注检查方式:**[机检]** 由命令自动拒绝;**[校准]** 由正负例重复运行暴露;**[评审]** 只能由未制作该题的人核对。机检通过不代表评审项已满足。 -作者规格回答“为什么做、输入是什么、什么才算正确、来源能否使用”。运行合同回答“控制器现在可以执行哪些文件”。两者一起评审,不能只填一个 JSON 就认为任务完整。 +## 0. 流程与四道闸门 -当前 [load_task](../rollout/core.py) 的合同: +```text +选来源 → 准入预筛(§3) → 造初态(§4) → 写题面(§5) → 写判据(§6) → 写样例(§7) + → 闸门1 合同与本地自测 → 闸门2 正式校准 → 闸门3 真实试采 → 闸门4 难度分池 → 登记(§10) +``` -- `id/version/family/source` 为非空字符串;`version` 是任务版本,不是通用 schema 版本字段。 -- `template` 必须为 `template`,`verifier` 必须为 `verify.py`。 -- `candidate_files` 为 1–16 个不重复的安全相对路径,必须存在于 `template/` 和每个非 template 样例目录;Agent 结束后只冻结并评分这些文件。 -- `template/` 最多 64 个常规文件,全部复制到 Agent 工作区,可放公开 README、头文件和公开自测。 -- `fixtures` 可选,样例名到 `PASS`/`FAIL` 的映射;省略时为 gold/template/noop/cheat。自定义时仍须含这四类及原预期,可增加多个 cheat 或合法替代解,最多 12 类。 -- `grader_files` 可选,任务根目录下与 `verify.py` 一起以 0600 进入 `/grader` 的私有测试或数据,不能与 template/样例目录或保留文件重名。 -- `timeout_seconds` 为 1–300 的整数,约束一次评分;Agent 执行期限另由 controller 设置。 -- 所有文件不得为符号链接,每个捕获文件不超过 1 MiB;task digest 覆盖 template、全部样例、verify.py 与私有附件。 +| 闸门 | 命令(项目根目录) | 拦下什么 | +| --- | --- | --- | +| 1 合同与本地自测 | `python3 -m unittest discover -s tests`;`python3 -m rollout calibrate tasks/ --trusted-local --output runs/dev` | 合同字段、文件数与大小、符号链接、隐藏判据用到却未公开的接口名(仓库测试对 `tasks/` 全部任务执行);样例在本机的预期结果。可信本地模式只跑仓库内可信样例,不能授权正式采样 | +| 2 正式校准 | 在 36:`python3 -m rollout calibrate tasks/ --image IMAGE --output runs/` | 每类样例在固定镜像、新工作区、隔离评分容器里各跑 5 次;任何不一致、UNVERIFIED/INFRA_ERROR 或清理未知都不准入 | +| 3 真实试采 | `python3 -m rollout.pi_run tasks/ --image IMAGE --credential-file PRIVATE_CREDENTIAL_FILE --calibration CALIBRATION_PATH --output runs/` | 工具反馈、独立评分、候选冻结、证据对账与清理在本题能闭环;Agent 解题失败不否决任务 | +| 4 难度分池 | 同一配置每题采样 ≥5 次,`python3 -m rollout.report runs/ --tasks tasks --output …` | 决定进回归集、主采集池还是返工(§9) | -其他字段即使可被 JSON 读取,也没有自动的构建、输入挂载或执行含义。`spec.md` 与外部输入不进入 task digest;Agent 需要的公开材料放进 `template/`,私有测试输入放进 `grader_files`。ROS、交叉编译与仿真任务还需要对应镜像,先按任务族准入。 +`IMAGE` 写固定 digest,`PRIVATE_CREDENTIAL_FILE` 是 host 私有文件路径,不能填密钥值。完整批量命令见 [README](../README.md#导入-bos-qiao-任务与批量采集)。 -## 2. 作者交付物 +## 1. 任务包合同 [机检] ```text tasks// -├── spec.md 从模板填写,供作者与评审人使用 -├── task.json 可执行合同 -├── prompt.md Agent 可见需求与公开自测说明 -├── template/ 有缺陷或未实现的完整初态工作区 -├── gold/ 可信正确实现(只含 candidate_files),供控制端校准 -├── noop/ 未实现需求的负例 -├── cheat/ 绕过/伪造结果的负例;其他样例目录按 fixtures 声明 -├── dataset.json 可选:与 task/verifier 摘要关联的 argv 判分目标快照 -├── verify.py 受保护的正式行为验收器 -└── 可选:私有测试或数据,仅评分侧可读 +├── spec.md 作者规格(模板填写),可含根因与答案,不进入 Agent +├── task.json 可执行合同 +├── prompt.md Agent 可见题面 +├── template/ 完整初态工作区,全部复制给 Agent +├── gold/ noop/ cheat/ [其他样例目录] 只含 candidate_files +├── verify.py 受保护判据入口 +├── 私有测试或数据,仅评分侧可读 +└── dataset.json 可选:argv 参考快照,见 data-format.md ``` -这不是 Agent 容器的目录。Agent 只接收初态、题面与已准入的公开资产;`spec.md` 可包含根因和答案,不能整体注入 Agent,gold 与正式验收器也不得进入 Agent 镜像或其可读存储。 +[load_task](../rollout/core.py) 的规则: -数据导出按 [五字段合同](data-format.md):快照目标来自可信 verifier/gold 的独立行为校验,不从被测模型输出反推;判分向量、退出码和输入方式必须完整。`dataset.json` 与归档中的 `dataset.jsonl` 仅留在可信处理侧。首题为链路回归,主采集题另记录目标模型的重复难度测量,不能把断言数量当难度。 +- `id/version/family/source` 为非空字符串;`template` 必须为 `template`,`verifier` 必须为 `verify.py`。 +- `candidate_files` 为 1–16 个不重复的安全相对路径,必须存在于 template 和每个非 template 样例目录;Agent 结束后只冻结并评分这些文件。 +- template 为 1–64 个常规文件;`fixtures` 可选,最多 12 类且必须保留 gold=PASS、template/noop/cheat=FAIL;`grader_files` 最多 16 个,不能与样例目录或保留文件重名。 +- `timeout_seconds` 为 1–300 的整数,约束一次评分;Agent 期限由 controller 另设。 +- 不得有符号链接,单文件不超过 1 MiB。task digest 覆盖 task.json、prompt.md、verify.py、私有附件、template 和全部样例;改其中任何文件都是新身份,必须重新校准。 -Salty 的 `workdir` 不代表挂载隔离。若 Agent 能读取整个个人盘,也可能读到 `personal:/embedded-rollout` 中历史归档的最终候选;独立修复采集须隔离这些答案。若业务明确允许案例检索,则单独记录检索范围与条件,不能混作独立解题;隐藏 verifier/gold 始终留在可信侧。 +其他字段(如导入题的 `bos`)只作记录,没有执行含义。spec.md 与外部输入不进入 digest。 -完整初态要包含完成需求所必需的文件、接口定义、依赖版本和固定输入。缺少的材料标记 `BLOCKED` 并说明所需合同,不把遗漏材料算作 Agent 解题能力。 +## 2. 四条来源路线 -每个交付包同时需要以下内容: +先选路线再动手,不同路线的初态来源和可信度不同,规格里必须写明。 -| 内容 | 必须说明或提供的证据 | -| --- | --- | -| 来源与授权 | 项目/材料位置、原始版本、许可或内部使用授权、可保留范围;原创题写明原创,不称为现场故障 | -| 独立问题身份 | 来源组、根因族、与已有任务的关系;同一问题的 mutation、题面改写和重采样不计独立任务 | -| 问题与范围 | 可观察错误、预期行为、约束、明确不验证的硬件条件 | -| 环境 | 架构、工具链、依赖与实际镜像 digest;禁止运行时依赖浮动下载 | -| 构建与运行 | 可复制的命令 argv、工作目录、退出码、输入、输出、超时;正式 grader 调用同一公开接口 | -| 验收矩阵 | 每个需求对应行为断言,含正常、边界、错误恢复与回归;数值问题写误差/单位,时序问题写测量条件 | -| 正负例 | gold、缺陷初态、noop、cheat 的预期结果及为何能代表所测问题 | -| 替代正确解 | 满足公开接口和全部行为约束即可通过,不能要求补丁等于 gold、特定变量名或固定实现风格 | -| 重置与清理 | 每次新工作区;进程、临时目录、端口、容器、网络的所有者和回收方式 | -| 准入记录 | 校准回执、评审结论、未验证项、批准的任务/verifier/image 身份与复核日期 | - -## 3. 制作与准入步骤 - -1. **选题与去重。** 优先恢复已有成熟任务。核对完整资产、授权和根因,确定独立问题分母与任务族。缺源码、输入或通过标准的材料先补齐,不进入采样。 -2. **写规格和题面。** 在规格中定义验收矩阵,题面描述可观察需求、接口和公开例子;隐藏测试可以隐藏输入组合,不能隐藏正确行为要求。题面不泄露参考补丁。 -3. **固定环境和初态。** 写可复跑的构建/运行入口,用初态复现目标问题。固定依赖与镜像身份,明确软件抽象边界;构建失败题应由相应行为判定,不能靠文件文本相似度。 -4. **实现受保护验收器。** 实际构建并执行候选,核对输出、退出码或业务行为。候选不可读取正式测试/预期结果;当前 Docker grader 复用 UID 降权及读取隔离探针,不能因换任务省去该边界。命令用 argv,候选和输出路径校验。 -5. **制作校准样例。** gold 全部必需检查 PASS;template 必须复现目标缺陷并 FAIL;noop 未实现功能而 FAIL;cheat 针对可预见捷径且 FAIL。增加不同合法实现或定向负例复核,避免 grader 只认一个补丁。 -6. **正式环境重复校准。** 每类样例各在新工作区运行五次(默认四类共 20 次)。每个预期 PASS 的样例 verdict 为 PASS,每个负例 verdict 为 FAIL,因此校准整体 status 为 PASS。任何 UNVERIFIED/INFRA_ERROR、结果不一致或清理未知都不能准入。可信本地校准只用于开发,不能授权 Docker 正式采样。 -7. **独立评审与试采。** 评审题面与断言一致性、误拒正确解、负例绕过、来源去重、隔离和证据。准入后做一次真实 Pi 尝试,验证工具反馈、独立判分、候选身份、终态和清理;Agent 修复失败不自动否决任务。 -8. **冻结并登记。** 将 task/verifier/template/image 身份及校准路径写入准入记录。更换题面、样例、验收器、任务配置或镜像后重新校准,旧 PASS 不沿用。只上传经过 [归档合同](artifacts.md) 复核的尝试;临时测试内容核对后清理。 - -当前参考命令,在项目根目录执行;`IMAGE` 是已拉取的固定镜像引用,`PRIVATE_CREDENTIAL_FILE` 是 host 私有文件路径,不能填密钥值: - -```sh -python3 -m rollout calibrate tasks/frame-decoder --trusted-local --output runs -python3 -m rollout calibrate tasks/frame-decoder --image IMAGE --output runs -python3 -m rollout.pi_run tasks/frame-decoder --image IMAGE --credential-file PRIVATE_CREDENTIAL_FILE --calibration CALIBRATION_PATH --output runs -``` - -这些命令是使用示例,本次编写标准没有执行校准或外部采样。输出在任务目录外,attempt 名称唯一,不覆盖历史。私有固定数据放在 `grader_files` 或验收器内,公开输入放进 `template/`;需要共享服务的任务先升级合同。 - -### 导入 Bos-qiao 已有任务 - -`python3 -m rollout.bos_import BOS_ENV --output tasks/ENV_ID --family FAMILY` 逐题导入,不批量通配。规则: - -- `final_targets` → `candidate_files`,必须已在 template 中;template 原样进入工作区。 -- 样例脚本只解析不执行:允许 `set -e(u)`、`mkdir -p`、带引号 heredoc 的 `cat >`,以及 `python3 -B -` 中的字面量 `Path(...).write_text(...)` 或工厂固定的 `files` 循环;出现其他命令、写非目标文件或重复写同一文件即拒绝。 -- `gold.sh` → gold;`valid_*.sh` → 同名 PASS 样例;`cheat_exit_zero.sh` → noop;其余 cheat 第一个 → cheat,其他保留原名为 FAIL 样例;映射写入 task.json 的 `bos.fixture_scripts`。 -- 根目录全部 `*.py`(至少 `check.py`)作为私有 `grader_files`;统一的 verify.py 以 UID 65534 原样运行 `check.py`,最后一行 `PASS` 且退出 0 才判 PASS。 -- 原镜像缺失,统一换成本项目固定 runtime 镜像后重新完整校准;Bos 历史准入与教师结果不沿用。 - -公开合同检查:隐藏判据从候选 Python 模块导入或以 `模块.名字`(含 `import … as` 别名)访问的每个名字,必须出现在 prompt 或 template 中;导入器发现缺口即拒绝,仓库测试对 `tasks/` 下全部任务重复该检查。它只覆盖接口名,“不得修改输入”等隐藏行为约束仍需评审。S500_n3_152 v1 的隐藏测试调用未公开的 `process(request)`,v2 已在 README 公开该接口,v1 上的 FAIL 不作为能力结果。 - -已知限制:`check.py` 递归收集工作区全部 `*.py` 的 rglob 型任务(README 允许新增辅助源码)暂不导入,因为本合同只冻结声明文件,照搬会把合法拆分误判为 FAIL;需要时再增加候选通配合同。ROS2 Jazzy 任务等待对应镜像。原 check 与候选共用 UID 65534,代码中以 `shortcut:` 标注升级条件。 - -## 4. 验收器接口与结果 - -控制器调用 `python3 -I /grader/verify.py /candidate`。验收器 stdout 只能输出一行 JSON,至少含 `status` 与非负整数 `checks`;详细诊断使用 stderr,避免正式用例与答案进入 Agent 可读反馈。 - -| 情况 | `status` | 退出码 | 处理 | +| 路线 | 来源 | 初态从哪来 | 当前可用量(2026-10-13 实测) | | --- | --- | --- | --- | -| 全部必需行为通过 | PASS | 0 | `checks` 必须大于 0 | -| 已执行检查,候选行为不满足要求 | FAIL | 1 | `checks` 必须大于 0;可给简洁原因 | -| 缺依赖、隔离不成立或证据不足 | UNVERIFIED | 2 | 补环境或合同后重验 | -| 验收器/执行环境发生故障 | INFRA_ERROR | 2 | 修复基础设施,不归为 Agent 能力失败 | +| A 导入成熟任务 | Bos-qiao `envs/S500_*` | 原 template 原样搬入 | 已导入 20;direct 题另有 71 道候选(尚未逐题导入);81 道 rglob 型、5 道 ROS2 等待合同或镜像;318 道支撑题未盘点 | +| B 轨迹回放 | 有完整工具参数与结果的原始会话 | 回放会话里的文件观察 | BOS `rdk-gateway/v2-spans` 2,408 个会话中 263 个可回放,中位 1 个文件,八成在板端;`data-litellm-1.0` 未全量扫描、未授权 | +| C 种子/素材写题 | Bos B 级种子 3,060 条、HWE 材料 | 新写,标记原创 | 种子与材料只给需求方向,判据和样例全部新写 | +| D 工程问题与开源修复 | 团队工单、修复记录、开源 issue/PR | 冻结修复前版本 | 逐题收集 | -正常 PASS 示例:`{"status":"PASS","checks":87}`。这是首题真实断言数量的格式参考,新任务应报告实际运行检查数,不复制数字。编译失败、程序超时如何裁决由任务需求明确;控制端超时或作业故障不得直接冒充任务 FAIL。 +### 2.1 路线 A:导入 Bos-qiao 任务 -任务评分、轨迹完整和来源可信分别验收。完整、正常结束、证据 VERIFIED 且清理确认的真实 FAIL 也可按当前归档合同封存;被截断、中断或基础设施异常的记录保留故障事实,不能混入合格完整轨迹。 +`python3 -m rollout.bos_import BOS_ENV --output tasks/ENV_ID --family FAMILY`,一次一题;批量时用 shell 循环逐题调用并保存每题的通过或拒绝原因,不做通配导入。 -## 5. 角色、状态与准入清单 +- [机检] `final_targets` → `candidate_files`,必须在 template 中。样例脚本只解析不执行:允许 `set -e(u)`、`mkdir -p`、带引号 heredoc 的 `cat >`,以及 `python3 -B -` 中的字面量 `Path(...).write_text(...)` 或工厂固定的 `files` 循环;其他命令、写非目标文件或重复写同一文件即拒绝。 +- [机检] `gold.sh` → gold;`valid_*.sh` → 同名 PASS 样例;`cheat_exit_zero.sh` → noop;第一个其他 cheat → cheat,其余保留原名为 FAIL 样例;映射写入 `bos.fixture_scripts`。 +- [机检] 根目录全部 `*.py`(至少 `check.py`)作为私有 `grader_files`;统一的 [verify.py](../rollout/bos_verify.py) 以 UID 65534 原样运行 `check.py`,最后一行为 `PASS` 且退出 0 才判 PASS,失败子进程的 stderr 尾部只进私有 `grade.stderr`。 +- [机检] 公开合同检查:隐藏判据从候选 Python 模块导入或以 `模块.名字`(含 `import … as`)访问的名字,必须出现在 prompt 或 template 中,否则拒绝导入。 +- Bos 题声明的 python、rlenv 镜像 digest 在 36 上已不存在,统一换成本项目固定 runtime 后完整重新校准;Bos 历史准入与教师结果不沿用。 +- 暂不导入:`check.py` 递归收集工作区全部 `*.py` 的 rglob 型任务(本合同只冻结声明文件,照搬会把合法拆分判 FAIL),以及 ROS2 Jazzy 任务(等镜像)。 -小团队由任务作者、平台负责人、评审人分工;平台负责人维护运行合同和隔离。业务评审人确认题目是否符合真实需求。多人不足时可以兼任,但至少由未制作该题的人复核判分,记录评审身份;Agent 生成材料也要经过同一校准。 +### 2.2 路线 B:轨迹回放 -作者规格的状态是人工审核记录,当前解析器不会自动执行这些状态: +只用保存了完整工具参数和工具结果的原始数据。flat-logs 只有预览、hermes 只有结果而没有参数,均不能回放;派生的 rebuilt_sessions 只覆盖约七成会话,不作回放来源。 -`DRAFT → READY_FOR_CALIBRATION → CALIBRATED → APPROVED_FOR_PILOT → ADMITTED`。 +- [评审] **初态**=每个路径在第一次被修改之前、最早一次完整读取到的内容。Agent 自己新建的文件不进初态。带 offset/limit 的读取、`head`/`sed -n`、被截断的输出、后来被清空或改写的观察都作废。 +- [评审] 只用同一会话里的工具调用与对应返回作证据;不能用助手的推测、相似会话或常识补写文件内容。 +- [评审] **补全**只允许加让工作区能构建运行的支撑材料(构建文件、依赖桩、固定输入);不得实现需求、不得留下指向答案的注释。spec 里逐文件标注“回放”或“补全”。 +- [评审] **充分性**:评审人只看工作区和题面,判断能否解题;缺关键文件即 BLOCKED,不能靠题面措辞推断完整。 +- [评审] **意图还原**:题面只写用户在会话里明确提出的要求;判据要考的新增约定必须公开(§5)。 +- [评审] **板端会话**(`device_*` 工具)只能还原文件,还原不了设备、驱动和运行时;必须先过 §3 的替身测试。 +- [评审] **隐私**:会话来自真实用户。回放内容进入 template 前去除或参数化密码、口令、Token、SSH/网络端点、内网 IP、个人信息和用户绝对路径;无法脱敏就放弃。spec 记录来源会话 ID 与观察引用,原始会话不随任务交付。 +- 回放产出低是常态:论文中终端类工作区仅靠回放只有 40.2% 判定为充分;BOS 原始数据可回放 263 个会话,此前按同一方法全量复核(`auto_task_codex/recoverable_queries_v1`)只有 18 条 query 初态充分。 -材料或环境缺失标记 `BLOCKED`,无效问题标记 `REJECTED`,被替代版本标记 `RETIRED`。`ADMITTED` 需要正式校准、独立评审及真实采样链路复核;不要求 Agent 必须解题成功。生产运行门仍由 controller 校验校准回执和固定身份,不能仅凭规格里写了 ADMITTED。 +### 2.3 路线 C:种子与素材写题 -- [ ] 来源可查、使用权限明确;原创/历史/mutation 标记准确。 -- [ ] 原项目、来源组和根因族已登记,同源变体没有重复计独立问题。 -- [ ] 初态完整,目标错误可复现,环境和输入固定。 -- [ ] 题面明确全部正确行为,公开接口和正式判分一致。 -- [ ] 验收覆盖正常、边界、恢复与回归;合法替代实现可以通过。 -- [ ] 正式测试/gold/密钥与 Agent 隔离,候选无法读取受保护 grader。 -- [ ] 历史归档答案不可见,或已明确记录允许的案例检索范围;未以 workdir 冒充存储隔离。 -- [ ] 四类各五次,gold PASS、三个负例 FAIL,校准整体 PASS、cleanup confirmed。 -- [ ] 校准 task/verifier/image 与正式采样相同;实际摘要和回执路径已记录。 -- [ ] 真实试采的模型与工具因果、候选、独立判分、终态与清理已复核。 -- [ ] 人工介入、未知费用、未验证硬件条件和其他限制已标记。 -- [ ] 合格证据按允许清单封存,临时资源只清理本项目拥有的对象。 -- [ ] 评审人签署版本与日期,环境/任务变化后取消旧准入并重新校准。 +- 种子和素材只提供需求方向,初态、判据和样例都是新写的;`source` 写清种子 ID,规格标记“原创”,不称为现场故障。 +- Bos 种子字段映射:`query`/`task_prompt` → 题面初稿(按 §5 改写);`fill` → 必须公开的约定;`recipe.initial_state`/`dependencies`/`platform` → 初态与环境族依据;`grader.checks` → 验收矩阵;`family` → 去重与配比。种子的 `training_ready` 全为 false,不代表已有环境。 +- HWE 材料:`reference/` 可作 gold 起点;`checks/behavior.py` 的上板判据(如 `return rc is not None`)和 L0 静态检查不能作为成功门,必须重写为行为判据;mutation 只作同族变体,分组键为基础题 ID。 +- 期望输出是固定字符串的题(如只要求打印 `second_lock=EDEADLK`),直接 printf 就能通过;判据必须加运行时随机量、隐藏输入变体或受控桩(§6)。 +- 同一族共用一个判据实现,每题差异放进私有 `grader_files` 数据;先做一题建族准入,再批量。 -## 6. 工作量与实施顺序 +### 2.4 路线 D:工程问题与开源修复 -1 人日指一位熟悉该领域的工程师约 8 小时有效研发时间,包含构建、验收器、校准与作者修正;模型和作业排队的等待不是人日。下面是建议估算,未做新批次实测,不构成交付日期承诺。假设权限、固定镜像、源码与输入已可用,软件任务无需实板。 +冻结修复前后的版本,在固定环境里复现原问题,用修复补丁作 gold,再验证至少一个不同写法的合法解;记录许可或内部授权与可保留范围。 -| 单题条件 | 作者工作量 | 主要工作 | +## 3. 准入预筛:先排除,再制作 [评审] + +命中任一条就不做:登记原因,标记 BLOCKED 或 REJECTED。 + +1. **平台纯度(替身测试)**:把外设换成软件替身(PTY、合成数据序列、桩回调)后,原问题还会复现吗? + - 会复现 → 软件题,可做。例:串口回显题跑在 Linux PTY 上是纯软件题。 + - 不复现,必须有真硬件才能判 → 板端题,只登记,暂不制作。 + - 说不清,或者软件逻辑和硬件状态要同时在场才成立 → 丢弃。具体包括:判据既要跑 BPU 推理又要查源码;“板上编译、服务器验证”这类跨机器流程;成败取决于真实时序或电气特性;外设状态不可控、不可重置。 +2. **不可判**:没有确定的可观察行为(“分析一下这段代码”“解释原理”),或正确性只能靠主观评价。 +3. **材料缺失**:初态、输入、依赖或通过标准任一缺失,且不能按 §2 的规则补全;不把遗漏材料算作 Agent 能力。 +4. **授权或隐私不明**:来源不能确认可用,或个人信息无法脱敏。 +5. **重复**:同一根因只改问法、参数或语言的变体不计新题;变体必须真的改变解题路径(多文件、多一层间接、换失败模式、要先复现才能定位)。 + +## 4. 初态 `template/` + +- [机检] 包含完成任务所需的全部文件,并含全部 `candidate_files`。 +- [校准] 必须复现目标缺陷:template 样例要判 FAIL。 +- [评审] 不泄露答案:不放 `.git` 历史、`*.bak`/`*.orig`/`*.rej`/`*~` 备份、注释掉的正确实现或 gold 片段;未实现的功能用明确的桩(如 `raise NotImplementedError`)。 +- [评审] 公开接口写在 `template/README.md` 或题面里;隐藏测试和它的输入只能放 `grader_files`。 +- [评审] 依赖要么在镜像里,要么在 template 里,不能在运行时下载。 + +## 5. 题面 `prompt.md` + +- [评审] 不写指代工作目录的绝对路径(`/workspace`、`/root`、`/home` 等),只说“当前目录”。Bos 教训:题面写了绝对路径,模型就去自己留下的残留目录构建,整组作废。 +- [机检+评审] 判据要考的每个约定都必须公开:接口名与签名、字段、默认值、边界、单位、误差、异常类型与退出码,以及“不得修改输入”之类的行为约束。机检只覆盖 Python 模块的属性和导入名,其余由评审对照验收矩阵逐项核对。S500_n3_152 v1 的隐藏测试调用了未公开的 `process(request)`,两个模型都因此 FAIL;v2 公开该接口后通过,v1 结果不作为能力信号。 +- [评审] 判据不能考比题面更严的要求;隐藏测试可以隐藏输入组合,不能隐藏正确行为。 +- [评审] 描述问题而不是解法,并说明如何自测。导入题由导入器自动在末尾追加“最终只提交并评分以下文件”。 + +## 6. 判据 + +接口固定:控制器调用 `python3 -I /grader/verify.py /candidate`,stdout 只输出一行 JSON,含 `status` 和非负整数 `checks`;诊断写 stderr,正式用例和答案不能进入 Agent 可读的反馈。 + +| 情况 | `status` | 退出码 | | --- | --- | --- | -| 已有成熟任务包复用 | 0.5–1.5 人日/题 | 恢复资产、映射合同、重校准、来源核对、准入记录 | -| 从完整问题材料制题 | 2–4 人日/题 | 复现、初态与输入、构建入口、行为 grader、四类样例 | -| 首次建立新任务族 | 4–8 人日/首题 | 明确领域验收方式、最小环境与隔离、首套样例、可重复复跑;后续同族通常按前两类估 | +| 全部必需行为通过(checks > 0) | PASS | 0 | +| 已执行检查,候选不满足要求(checks > 0) | FAIL | 1 | +| 缺依赖、隔离不成立或证据不足 | UNVERIFIED | 2 | +| 判据或执行环境故障 | INFRA_ERROR | 2 | -这些单题数字不包含平台合同升级。ROS、跨架构运行、仿真服务或不完整材料可能超出区间,先做一题恢复实验再估,不能把困难压进固定每题天数。独立评审与返修在作者估算上另预留约 20%–30%。 +Bos 导入题由包装器把 `check.py` 的退出码和最后一行 `PASS` 映射到上表。设计准则: -**20 题示例:** 已有 1 题获准,剩余 19 题若由 15 个成熟复用任务与 4 个材料制题组成,作者工作约 16–39 人日;加独立评审与返修约 20–50 人日。若两位工程师并行且资产齐备,对应约 10–25 个工作日的任务工程量;平台工程、等待和特殊任务族另计。这个例子依赖成熟资产可恢复,尚未确认的历史任务数量不能直接代入承诺。 +1. **[评审] 只看最终候选。** 需要构建或运行时,把候选拷到 `/tmp` 的干净目录重新构建,不复用 `build/`、`install/`、`__pycache__` 等中间产物。Bos 教训:判据在 Agent 留下的 `install/` 上构建,8 次正确修复全判 0。这类错误校准查不出来,只有真实试采会暴露。 +2. **[评审] 不信候选自述。** 独立复算期望值并要求完全相等;或用判据控制的桩记录调用次数、顺序和参数;或要求输出判据运行时才生成的随机 nonce,使硬编码失效。 +3. **[评审] 期望值只来自题面写明的值或随题提供的输入数据**,不能拿未完成或参考实现的运行结果当答案。 +4. **[校准] 确定性。** 随机用例固定种子;不依赖网络、真实时间、外部服务或机器负载;同一候选 5 次结果必须一致。 +5. **[评审] 覆盖。** 正常路径、边界值(阈值相等、空、长度 0/1、最大值)、分片与乱序、非法输入(明确要求的异常或退出码)、大数据量,以及保持原有正确行为的回归项。 +6. **[评审] 不跳过。** 缺能力报 UNVERIFIED,不能 skip 后给 PASS;单项超时留足余量,避免正确解因主机负载判 FAIL。 +7. **[评审] 不因多出文件判错。** Agent 留下额外文件是正常的,只检查关心的目标。 +8. **[校准] 隔离。** 判据以 root 读取 `/grader`,候选和编译器降为 UID 65534;运行前探测候选读不到 `verify.py`,否则 UNVERIFIED。换任务不能省掉这条边界。 -平台另按以下工作包做初步估算,等完成能力探针再更新: +## 7. 样例与校准 -| 平台工作包 | 建议工程量 | 完成标准 | +| 样例 | 预期 | 要求 | | --- | --- | --- | -| 多文件/输入/构建合同及封存升级 | 3–5 人日 | 目录边界、冻结身份、校准、独立 grade、归档回归通过 | -| 串行批次、断点续跑与统计 | 2–4 人日 | 唯一 attempt、停止后续跑、完整/失败/故障分母、用量与清理可复核 | -| Salty 正式 Agent 后端 | 3–6 人日 | 安全模型通道、候选交接、取消与回收实测;先沿用 36 评分 | +| gold | PASS | 满足全部需求;只是正确实现之一,不能成为唯一标准 | +| template | FAIL | 原样初态,复现目标缺陷 | +| noop | FAIL | 未实现核心功能(如直接退出 0) | +| cheat | FAIL | 最省事的糊弄:硬编码公开例子、打印期望字符串、用累计均值冒充滑窗、整数除法抹掉小数等 | +| `cheat_*`(可选) | FAIL | 每个对应判据里的一条拦截机制 | +| `valid_*`(建议) | PASS | 风格或算法不同的合法解,证明判据不只认一个补丁 | -Salty 平台权限、网络或隔离能力缺失可能延长第三项,不能把此范围当作已验证。工作区容量限制必须在并发扩量前落实,也可能增加平台工作量。旧立项方案中“20 题 1–2 周”是资产齐备时的起步建议,本标准按恢复与制题结构拆估,后续以首批实测修正。 +- [评审] 写 cheat 时问自己“最省事的糊弄办法是什么”,并确认判据靠哪一条抓住它。 +- [校准] 正式校准每类样例各跑 5 次(默认四类共 20 次):预期 PASS 的必须 PASS,负例必须 FAIL,整体 PASS 且 cleanup confirmed。 -建议下一步选 **3–5 题、两个任务族**:包含已有首题,优先恢复 2–4 个成熟资产;先补确实需要的多文件合同,再做串行真实试采与逐题复核。记录每题制作人时、环境问题、校准耗时、轨迹完整率及失败原因,再确定 20 题清单。不要同时建设所有语言、模拟器和板卡平台。 +## 8. 环境与镜像 + +- 镜像按**环境族**做,不按题做;同一镜像既跑 Agent 也跑评分。当前正式族是 C/Python runtime(trace5 digest,见 [README](../README.md))。aarch64 交叉编译、ROS2 等新族先用一题建族准入。 +- 镜像按 digest 固定,不含判据、gold、历史归档或凭据;换镜像后全族重新校准,旧 PASS 不沿用。 +- 资源:工作容器 2 GiB/1 CPU,评分容器 512 MiB/1 CPU;评分总时长受 `timeout_seconds` 约束。 + +## 9. 准入、试采与难度分池 + +审核状态是人工记录,loader 不解析: + +`DRAFT → READY_FOR_CALIBRATION → CALIBRATED → APPROVED_FOR_PILOT → ADMITTED`;另有 `BLOCKED`(缺材料或能力)、`REJECTED`(无效题)、`RETIRED`(被新版本替代)。 + +- `ADMITTED` 需要闸门 2 通过、独立评审完成、闸门 3 试采链路闭环;不要求 Agent 解题成功。生产运行门仍由 controller 校验校准回执和固定身份,不能只凭规格里写了 ADMITTED。 +- 闸门 4:用同一 task/verifier/image/模型配置,每题采样至少 5 次。 + - 全部 PASS → **回归集**,不进主采集池; + - 部分 PASS → **主采集池**; + - 0 PASS → 先复核题面与判据(是否有未公开的约定、判据是否误拒合法解),确认题没问题才进主采集池。 +- 失败分诊看 report 的 `fail_detail`(来自私有 `grade.stderr`)。判据或题面改动都会产生新 digest,按新版本重新校准和采样,不改写旧结果。 + +## 10. 登记、去重与版本 + +- 每题一份 spec.md,记录来源路线、来源 ID、授权、来源组与根因族、split 分组键(mutation 用基础题 ID,回放题用来源会话 ID,同源变体必须分在同一组)。 +- 每批保留导入台账(每个来源条目的通过或拒绝原因)和准入记录(task digest、image、校准目录),批量 JOBS 从准入记录生成。 +- 生产统计同时报:候选数、准入数、独立任务族、制作人时和淘汰原因;mutation、改写和重复采样不计独立任务。 + +## 11. 评审清单 + +- [ ] 来源路线、来源 ID、授权与隐私处理已记录;原创、历史、回放、mutation 标记准确。 +- [ ] 替身测试结论为软件题;无混杂硬件依赖。 +- [ ] 初态完整、复现目标缺陷,没有答案泄露;回放与补全文件逐一标注。 +- [ ] 题面公开了判据考到的全部约定,没有工作目录绝对路径。 +- [ ] 判据重新构建、独立复算、确定、覆盖边界与非法输入;合法替代解可以通过。 +- [ ] 每个 cheat 都有对应的拦截机制;判据、gold 与密钥对 Agent 不可见,历史归档答案不可见。 +- [ ] 正式校准整体 PASS、cleanup confirmed,校准身份与采样身份一致。 +- [ ] 真实试采的工具因果、独立评分、终态与清理已复核。 +- [ ] 难度分池结论与依据已记录;评审人、日期与版本已签署。 + +## 12. 工作量 + +1 人日指一位熟悉该领域的工程师约 8 小时有效研发时间,不含模型和作业排队。以下是起步估算,以首批实测修正: + +| 单题条件 | 作者工作量 | +| --- | --- | +| 路线 A 导入成熟任务 | 0.5–1.5 人日/题(导入、校准、来源核对、评审) | +| 路线 B 回放 / 路线 D 工程问题 | 2–4 人日/题(复现、补全、判据、样例、脱敏) | +| 路线 C 写题 | 同族后续题 2–4 人日;首次建立新任务族 4–8 人日 | + +独立评审与返修另加约 20%–30%。新环境族的镜像、rglob 候选通配合同和 Salty 正式后端属于平台工作,不计入单题。 diff --git a/docs/task-factory-brief.md b/docs/task-factory-brief.md new file mode 100644 index 00000000..a89ceda4 --- /dev/null +++ b/docs/task-factory-brief.md @@ -0,0 +1,179 @@ +# 制题作业说明(给 Codex 等制题 Agent) + +把“按[任务制作规范](task-authoring.md)批量造题”交给 Codex 时,用本文补齐它需要的全部上下文:交付物、环境、目录、数据、命令、台账、红线和汇报格式。规则以 task-authoring.md 为准;与 [AGENTS.md](../AGENTS.md) 冲突时以 AGENTS.md 为准。本文写于 2026-10-14,数字是当时的实测值。 + +## 1. 交付物 + +每个制题批次交付: + +- `tasks//`:通过闸门 1、2 的任务包,每题附 `spec.md`。导入题(路线 A)的 spec.md 只填模板第 1、4、7 节,其余写“沿用 Bos 原题”。 +- `factory/<批次>/`(不进 Git,结束后迁到 JuiceFS):`inventory.jsonl`、`import.jsonl`、`calibration.tsv`、`review.md`,格式见 §8。 +- 闸门 3 试采的 controller 目录与批次报告。 +- `docs/progress.md` 新增一节:目标、实际数字、证据路径、拒绝原因、限制、下一步。 +- 36 工作副本里的一个本地 Git 提交,只含新任务目录与文档;不推送,由用户在 Mac 拉回并推送(§4)。 + +不改 `rollout/`、`agent/`、`tests/` 的平台代码,不改已准入任务。遇到合同表达不了的题(候选通配、构建服务、大文件输入、新镜像),记 BLOCKED 并写明需要哪项合同升级,然后继续下一题。 + +## 2. 先读 + +1. [AGENTS.md](../AGENTS.md):项目约束。 +2. [task-authoring.md](task-authoring.md):规范正文,四条路线、排除条件、闸门与分池。 +3. [templates/task-spec.md](templates/task-spec.md):spec.md 模板。 +4. [architecture.md](architecture.md):Agent、评分、代理三个容器的隔离边界。 +5. [progress.md](progress.md) 最后三节:最近的状态与教训。 +6. 两个参考任务:[S500_n2_155](../tasks/S500_n2_155/)(Bos 导入,Python)与 [frame-decoder](../tasks/frame-decoder/)(手写 C 题)。 + +## 3. 机器与访问 + +| 位置 | 用途 | 说明 | +| --- | --- | --- | +| 36:`ssh ming01.wang@36.144.20.182` | 数据、Docker、校准、采集;已装 codex-cli 0.162.1,推荐 Codex 直接在 36 的工作副本里运行 | Ubuntu、Python 3.10、git 2.34、Docker 29.5.2;host 无 Node(Node 在镜像里)。sshd 偶尔断连,重连即可 | +| Mac:`/Users/amos/project/embedded-rollout` | 审阅与推送 Gitea | 推送由用户在 Mac 完成,36 上没有 Gitea 推送凭据;macOS 没有 `timeout` 命令,shell 是 zsh | +| Gitea:`https://gitea.d-robotics.cc/ming01.wang/data-gen-ebd.git` | 唯一正本 | 只推送 main,不改写已推送历史;36 可直接 clone/pull | + +## 4. 目录与存储 + +原则:题目进 Git,热数据放本地盘,冷数据放共享盘。2026-10-14 实测 JuiceFS 读一个小文件要 72 秒;制题和校准要频繁读写小文件,不能在共享盘上做。 + +```text +36 本地盘:做题和运行 +/home/ming01.wang/embedded-rollout/ Git 工作副本(clone 自 Gitea) +├── tasks// 题目正本,进 Git +├── factory/<日期>-<路线>-<名称>/ 本批制题台账与过程材料,不进 Git +└── runs/<批次>/ 正在运行的批次,不进 Git +36 JuiceFS:存冷数据 +/mnt/data/ming01.wang/embedded-rollout/ +├── .private/ 凭据,只以路径传给 pi_run,不读不打印 +├── factory/<批次>/ 已结束批次的台账,整批迁入 +├── runs/<批次>/ 已结束批次的运行目录,整批迁入后只读 +└── artifacts/ 封存包,上传 Salty 前后的本地副本 +``` + +- 提交流程:在 36 的工作副本里提交;Mac 用 `git pull ssh://ming01.wang@36.144.20.182/home/ming01.wang/embedded-rollout main` 拉回,再推送 Gitea。36 开工前先 `git pull --ff-only`。 +- 批次结束:报告、重判和归档完成后,把 `factory/<批次>` 与 `runs/<批次>` 复制到 JuiceFS 同名目录,核对文件数与总字节一致后再删除本地副本。 +- 容量:`/home` 是多人共享盘,2026-10-14 剩 150 GB,本项目当时共用 3.6 GB;单条原生轨迹 10–60 MB,一批 100 条约 2–6 GB。Docker 镜像在独立的 `/var/lib/docker` 盘。 +- 如果 `/home/ming01.wang/embedded-rollout` 下没有 `.git`,说明还没完成一次性迁移:停下来请用户处理,不要自行移动旧的运行目录。 +- 磁盘保护(平台已实现):输出盘剩余低于 50 GiB 时不启动任何容器(`termination=disk_low`);Agent 运行中单次 attempt 目录超过 2 GiB(`attempt_size`)或剩余低于 50 GiB 即停止。开批前先 `df -h /home`,剩余低于 60 GiB 就不要开批。 + +## 5. 镜像 + +- 正式镜像只有一个环境族:`ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc`(trace5,Python 3、gcc、Node、Pi 0.73.1,已在 36 本地)。命令里一律写这个 digest。 +- 任务不进镜像。每次运行时 controller 把 template 复制成新工作区挂到 `/workspace`,评分时把冻结候选只读挂到 `/candidate`、判据只读挂到 `/grader`。Agent 与评分用同一镜像,任务文件一旦打进镜像,Agent 就能读到隐藏测试和 gold。 +- 题目需要额外依赖时:纯源码依赖放进 template(≤64 个文件、单文件 ≤1 MiB);需要系统包或大文件的,记 BLOCKED 并提出新环境族,不为单题建镜像。 + +## 6. 数据地图(全部只读) + +| 数据 | 位置(36) | 用途与状态 | +| --- | --- | --- | +| Bos 正式题 | `/mnt/data/ming01.wang/Bos-qiao/envs/S500_*`(519 个) | 路线 A。每题有 `task.json`(env_id、task、image、final_targets、platform_class)、`template/`、`check.py` 及附属 `*.py`、`gold.sh`、`cheat_*.sh`、可选 `valid_*.sh` | +| Bos 分类清单 | `/mnt/data/ming01.wang/Bos-qiao/auto_task_codex/task_factory_500_20260914/` | `EMBEDDED_DIRECT_CANDIDATES.txt`(182 道直接相关)、`EMBEDDED_SUPPORTING_CANDIDATES.txt`(318 道支撑)、`EMBEDDED_RELEVANCE.jsonl`(每题 `use_case` 与验证边界) | +| Bos 写题契约 | `/mnt/data/ming01.wang/Bos-qiao/agent_sft_pipeline/TASK_SPEC.md` | 判据准则原文,已并入规范 | +| 种子 | `/mnt/data/ming01.wang/Bos-qiao/auto_task_codex/seed_selection_opencode_v2/queries.jsonl` | 路线 C。3,078 条:18 条 A 级有初态证据,3,060 条 B 级需新写环境;`training_ready` 全为 false | +| 初态证据 | `…/auto_task_codex/recoverable_queries_v1/` | 18 条 A 级的初始文件全文(`recovery_evidence.jsonl.gz`) | +| BOS 原始镜像 | `/mnt/data/ming01.wang/Bos-qiao/d-brain/`(90 GB) | 路线 B。只有 `rdk-gateway/v2-spans` 能回放:2,408 个会话中 263 个可回放,八成在板端;其余前缀不能回放 | +| LiteLLM 网关日志 | `/mnt/data/ming01.wang/data-litellm-1.0/` | **未授权,不读内容** | +| HWE 材料 | 只在 Mac:`/Users/amos/project/embed/HWE_harness/benchmark/`(36 上没有) | 路线 C。5,544 条材料(2,541 条 mutation);`checks/behavior.py` 不能用作判据 | + +`Bos-qiao/*.py` 下载脚本里写有明文凭据,不要打开或复制这些脚本。 + +## 7. 当前题库 + +- 已准入 21 道:`frame-decoder`(SMOKE_ONLY,链路回归)与 20 道 Bos 题。三个族:`linux-device-abi` 7、`firmware-image-boot` 7、`motor-sensor-control` 6。 +- M1(GLM-5.3,每题 2 次):14 题 2/2,5 题 1/2,S500_n3_152 v1 为 0/2(题面漏项,v2 已修)。Qwen 基线 18/20。2/2 的题是回归候选。 +- Bos direct 182 道(2026-10-12 盘点):91 道可导入(含已导入的 20 道,余 71 道),81 道 rglob 型与 5 道 ROS2 BLOCKED(等候选通配合同和 Jazzy 镜像),另有 5 道未归类;以 §8 第 1 步重新盘点为准。318 道支撑题尚未盘点。 + +## 8. 作业 A:导入 Bos 题(当前优先) + +以下命令都在 36 的工作副本 `/home/ming01.wang/embedded-rollout` 下执行。本批台账目录记为 `factory/<批次>`,例如 `factory/20261014-A-bos-direct`。 + +**第 0 步:准备。** `git pull --ff-only`;`python3 -m unittest discover -s tests` 必须全部通过;创建 `factory/<批次>`,已存在就换名,不覆盖。 + +**第 1 步:复制与盘点。** 先在后台把候选题目录只读复制到本地 `factory/<批次>/bos-envs/`(`rsync -a`,JuiceFS 慢时可能要数小时),之后的盘点和导入都读本地副本。对 `EMBEDDED_DIRECT_CANDIDATES.txt` 每一行写一条 `inventory.jsonl`: + +```json +{"env_id": "S500_n3_102", "relevance": "direct", "use_case": "…", "image": "python", "kind": "importable", "imported": true} +``` + +`kind` 规则:原 `task.json` 的 image 含 `ros2` → `ros2`;任一根目录 `*.py` 含 `rglob(` → `rglob`;否则 `importable`。`imported` 看 `tasks/` 是否已存在。`task.json` 里 `source` 由 env_id 生成,从本地副本导入不影响来源记录。 + +**第 2 步:逐题导入。** 只对 `kind=importable` 且未导入的题: + +```sh +python3 -m rollout.bos_import factory/<批次>/bos-envs/ --output tasks/ --family +``` + +成功时 stdout 是一行 JSON(task、digest、fixtures),失败时 stderr 是 `import rejected: …`、退出码 2。每题写一条 `import.jsonl`:`{"env_id", "family", "status": "imported|rejected", "reason", "digest"}`。被拒绝的题不要手改后硬导入。 + +族的命名:优先沿用现有三族;`use_case` 明显不属于它们时,新建 kebab-case 族名(如 `serial-protocol`、`build-toolchain`),并在 `review.md` 记录归族理由。同一族至少要有 3 道题才单独成族,否则并入最接近的族。 + +**第 3 步:闸门 1。** 对每道新题:`python3 -m rollout calibrate tasks/ --trusted-local --output runs/<批次>-dev`,期望 `task_verdict` 为 PASS;再跑一次全部单元测试(含对全部任务的公开合同检查)。 + +**第 4 步:闸门 2。** 逐题 Docker 校准,结果追加到 `calibration.tsv`(`task attempt verdict` 三列): + +```sh +python3 -m rollout calibrate tasks/ --image ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime@sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc --output runs/<批次>-calibration +``` + +输出一行 JSON,含 `attempt` 和 `task_verdict`。不是 PASS 的题记 REJECTED 并写原因,从 `tasks/` 移除。 + +**第 5 步:评审并写 spec.md。** 逐题对照规范 §3(替身测试、可判性)、§5(判据用到的行为约束是否都已公开,不只看接口名)、§6(判据是否独立复算、是否会误拒合法解)。结论写进该题 spec.md 的第 7 节和 `review.md`;评审不通过的题记 REJECTED。 + +**第 6 步:闸门 3(真实试采)。** 每道新题试采 1 次,GLM-5.3,4 路并发。先建好批次目录 `runs/<批次>`,`jobs.txt` 每行“任务名 校准目录”(校准目录取第 4 步的 attempt): + +```sh +xargs -P 4 -L 1 sh -c 'python3 -m rollout.pi_run "tasks/$0" --image <上面的 digest> --credential-file /mnt/data/ming01.wang/embedded-rollout/.private/access.json --calibration "$1" --agent-timeout 3600 --output runs/<批次> >runs/<批次>/jobs.log 2>&1 || true' < factory/<批次>/jobs.txt +python3 -m rollout.report runs/<批次> --tasks tasks --output factory/<批次>/report.json +``` + +批次可能运行数小时:用 `setsid nohup … &` 放到后台,轮询日志与报告,不要依赖单个 ssh 连接。上游 429/500 已由代理重试;仍失败的记 INFRA_ERROR,补跑即可,不算任务失败。试采 Agent 解题失败不否决任务;证据未 VERIFIED、清理未确认的尝试要查明原因。 + +**第 7 步:收尾。** +- 确认本批没有残留容器(`rollout-*`)和专属网络(`rollout-pi-*`),只清理本批自己创建的对象。 +- 按 §4 把 `factory/<批次>` 与 `runs/<批次>` 迁到 JuiceFS。 +- 在 progress.md 写一节,然后本地提交 `tasks/<新题>` 与文档。 + +闸门 4(每题 ≥5 次的难度分池)是单独的采集批次,用户确认后再做。 + +## 9. 作业 B:轨迹回放试点(用户批准后再做) + +1. 从 `d-brain/rdk-gateway/v2-spans` 中“只在本地可回放”的 48 个会话里选 10 个:以会话 ID 区分,取每个会话最长的那条 `user_request` 记录;它的 `training_payload.input_messages` 含 `tool_call`(name、arguments)与 `tool_call_response` 部分。“只在本地可回放”指:至少一个文件先被非 `device_*` 的读取工具(`read` 等,无 offset/limit)完整读取,之后才被 `write`/`edit`/`apply_patch` 修改,且会话没有用 `device_*` 工具改文件。同样先把需要的分片复制到本地再处理。 +2. 按规范 §2.2 还原初态、标注补全、做充分性评审与脱敏。会话原文和中间产物只放 `factory/<批次>`,不进 Git。 +3. 产出的任务按 §8 第 3–6 步过闸门。在 `review.md` 记录每个会话从回放到准入的结果与人时。 + +## 10. 作业 C:种子与素材写题(用户指定族后再做) + +先为一个族写一个判据实现和第一道题,全部闸门通过后,再在同族内批量写题,每题差异放进私有 `grader_files`。HWE 的 `reference/` 只能作 gold 起点;期望输出是固定字符串的题必须加运行时随机量或隐藏变体。 + +## 11. 红线 + +- 不执行来源里的任何脚本(`gold.sh`、`cheat_*.sh`、`valid_*.sh`、Bos 工具脚本);导入器只解析它们。 +- 不读、不打印、不复制 `.private/` 下的文件和 Bos 下载脚本中的凭据;凭据只以路径传给 `pi_run`。 +- 不写入任何来源目录(Bos-qiao、d-brain、HWE_harness),不读 `data-litellm-1.0` 的内容。 +- 隐藏测试、gold、spec.md 不进入 template 或题面;真实用户会话原文不进 Git。 +- Docker 只清理本批创建的容器和网络,不执行任何 prune,不动其他镜像、容器和项目目录。 +- 不改写已推送历史,不 force push,不推送;改已准入任务一律升 version 并重新校准。 +- 批次结束即按 §4 迁移,不在 `/home` 长期保留运行目录。 +- 余量不足或出现 `disk_low`、`attempt_size` 时停下来汇报,不要为了腾空间删除任何东西,包括本项目的旧运行目录。 + +## 12. 已知坑 + +- `pgrep -f`、`pkill -f` 会匹配到你自己 ssh 命令行里的同一字符串,结束进程一律按 PID。 +- 36 sshd 偶尔断开;长任务一律后台运行并写日志。 +- JuiceFS 会长时间停顿:2026-10-14 读一个小文件要 72 秒,逐题读 Bos 目录 45 分钟只读完 16 题。批量读取一律先在后台复制到本地,不要因停顿误判为失败。 +- 判据包装器必须先 chmod 再 chown(评分容器的 root 没有 CAP_FOWNER),不要改回。 +- 0 PASS 的题先查题面漏项:S500_n3_152 v1 的隐藏测试调用了 README 未公开的 `process(request)`,两个模型都因此失败。 +- 原生轨迹上限 64 MiB;长题 `--agent-timeout 3600`。 +- 模型凭据目前仍在 JuiceFS 的 `.private/`;读取失败会使该次尝试记 INFRA_ERROR,补跑即可。把它移到本地私有目录需用户操作。 +- rglob 型题(判据递归收集全部 `*.py`)照搬会把合法拆分判 FAIL,必须等候选通配合同。 + +## 13. 汇报格式 + +批次结束时向用户汇报: + +| 项 | 数量 | +| --- | --- | +| 盘点候选 / 已导入 / 新导入 / 拒绝(按原因) | | +| 闸门 1 / 闸门 2 通过 | | +| 试采完整轨迹 / PASS / FAIL / 排除(按原因) | | + +另附:按族列出的新任务 ID、拒绝清单与原因、BLOCKED 清单与所需合同、`factory/` 与 `runs/` 路径、残留容器和网络数(应为 0)、`/home` 剩余空间与本批在 `/home` 的占用(迁移后应接近 0;未迁移不算完成)、`disk_low`/`attempt_size` 次数、progress.md 已更新、本地提交哈希(未推送)。 diff --git a/docs/templates/task-spec.md b/docs/templates/task-spec.md index d49c8362..936ba6ba 100644 --- a/docs/templates/task-spec.md +++ b/docs/templates/task-spec.md @@ -1,6 +1,6 @@ # 任务规格: -复制到 `tasks//spec.md` 后填写。本文是作者与评审人的规格模板,**不是运行配置**;`<…>` 都需要替换,未满足项写明 BLOCKED。规范见 [任务创建标准](../task-authoring.md);复制到任务目录后将此链接改为 `../../docs/task-authoring.md`。本文可含根因、隐藏规则和参考解位置,不能整体提供给 Agent。 +复制到 `tasks//spec.md` 后填写。本文是作者与评审人的规格模板,**不是运行配置**;`<…>` 都需要替换,未满足项写明 BLOCKED。规范见 [任务制作规范](../task-authoring.md);复制到任务目录后将此链接改为 `../../docs/task-authoring.md`。本文可含根因、隐藏规则和参考解位置,不能整体提供给 Agent。 ## 1. 身份与来源 @@ -10,8 +10,12 @@ | 作者 / 业务评审人 / 独立评审人 | <姓名或团队> | | 审核状态 | DRAFT | | 原项目与冻结版本 | <项目、commit/快照及位置> | -| 来源类型 | <历史问题 / 原创软件题 / mutation> | +| 来源路线 | ;<历史问题 / 原创 / mutation> | +| 来源 ID | | | 来源与授权 | <原始问题/资产位置,许可或内部授权依据,允许保留范围> | +| 隐私处理 | <真实用户内容的脱敏项与方法;无用户内容写“无”> | +| 替身测试 | <外设换成 PTY/合成数据/桩后问题是否仍复现;结论 software,混杂或必须真硬件则不制作> | +| split 分组键 | <同源变体共用的键:基础题 ID 或来源会话 ID> | | 来源组 / 根因族 | <去重来源组> / <根因族> | | 与已有任务的关系 | <独立问题;或列出派生/相同根因的任务 ID> | | 验证范围 | <实际软件行为> | @@ -22,10 +26,11 @@ ## 2. 初态与环境 - 初态资产:<全部源码、接口、构建文件、输入的位置与摘要;禁止遗漏目录结构。> +- 回放与补全(路线 B):<逐文件标注“回放”(来源观察引用)或“补全”(补了什么、为什么不泄露答案);充分性评审结论。> - 目标缺陷复现:<使用初态得到的输出、退出码/错误,以及复现日志位置。> - 公开资产: - 受保护资产:<正式 grader、隐藏输入/预期结果、gold;只在可信控制侧。> -- 架构 / OS / 工具链:<精确版本,环境来自固定镜像还是其他后端。> +- 环境族 / 架构 / OS / 工具链:<所属环境族(如 C/Python runtime)与精确版本,环境来自固定镜像还是其他后端。> - 镜像仓库引用 / manifest digest / 实际 image ID:<分别填写,不以浮动 tag 代替身份。> - 依赖冻结: - 资源和时限: @@ -97,6 +102,7 @@ stdout/stderr/产物:<具体格式> - 原生轨迹 / 主机日志 / broker 对账:<文件、摘要、模型工具调用闭合与反馈进入后续模型输入的复核>。 - 终止原因 / 人工介入:<正常退出、超时、中断;干预内容与时间>。 - 轨迹质量:。 +- 难度分池:<同一配置 ≥5 次的 PASS/总数;回归集 / 主采集池 / 返工复核及依据>。 - 清理:<拥有的进程、网络、容器、临时文件等已回收/未知>。 - 归档文件 / SHA-256 / Salty 位置:<仅在完整性通过后填写,使用 personal:/embedded-rollout;下载复核并删临时下载>。 - 正式保留与测试清理:<必须保留的证据、本次临时对象及清理回执;不删除他人的资源>。