chore: preserve existing local target and collection plan changes

This commit is contained in:
Codex 2026-09-23 21:31:43 +08:00
parent 5d46a47296
commit 12ef41c42e
21 changed files with 1383 additions and 43 deletions

View File

@ -2,7 +2,7 @@
本文件是《BPU 量化轨迹工厂 设计方案 v0.4》的可执行摘要。代码与本文件冲突时,以本文件为准并修代码;本文件与设计方案冲突时,先改设计方案再改这里。
2026-09-16 按当前目标收敛:默认运行 CSV 中 ready 模型的 S100P(`nash-m`)量化、编译、上板与精度评测,并为这些模型采集真实 Agent 轨迹。`collect --coverage all` 为本 run 的 oracle 模型补齐 e2e 计划:只去掉 matrix 的 priority 限制,保留任务类型、march、backend、policy 和 k;默认 `matrix` 仍使用原选择范围。已结束的流程和 Agent 轨迹都必须导出为数据,成功、精度未达标、预算耗尽分别标注,导出不能阻塞上板。
2026-09-16 按当前目标收敛:默认运行 CSV 中 ready 模型的 S100P(`nash-m`)量化、编译、上板与精度评测,并为这些模型采集真实 Agent 轨迹。新 run 必须固定一个 target:S100P=`nash-m`,S600=`nash-p`;target 只收窄本 run 的 matrix 展开,不修改旧 run 或全局默认。`collect --coverage all` 为本 run 的 oracle 模型补齐 e2e 计划:只去掉 matrix 的 priority 限制,保留任务类型、run target、backend、policy 和 k。已结束的流程和 Agent 轨迹都必须导出为数据,成功、精度未达标、预算耗尽分别标注,导出不能阻塞上板。
2026-09-16 全 338 项覆盖补充:保持原 CSV 标签和历史 run。新批次可用 `expand --model` 显式选择模型,
前置检查依据实际权重入口、构建/导出代码、评测器、校准、数据与附加门;新增 Ultralytics 任务还必须有真实

View File

@ -41,8 +41,8 @@ python3 scripts/trace.py <rollout_dir> 一条轨迹逐轮回放:a
bench report --run <run> 静态 HTML 报告(reports/<run>.html)
```
启动/续跑:`scripts/start_run.sh --note "..."`(准备与采集)、`bench collect --run <run> [--job …] [--limit N]`(采轨迹)。
换代码/改配置要重启调度器时:`bench drain --run <run>`(跑完手里的不再认领新 job)→ 等它退出 → `scripts/start_run.sh --resume`。不要 kill 正在编译的进程。
启动/续跑:`scripts/start_run.sh --target s100p|s600 --note "..."`(一个 run 只跑一种板型)、`bench collect --run <run> [--job …] [--limit N]`(采轨迹)。
换代码/改配置要重启调度器时:`bench drain --run <run>`(跑完手里的不再认领新 job)→ 等它退出 → `scripts/start_run.sh --resume --run <run>`。不要 kill 正在编译的进程。
注意常驻进程里的代码是启动那一刻的:改了 harness/ 或 config.yaml,正在跑的 `bench run` / `bench collect` 不会变,新起的才会。
两条自检:`node agent/extensions/guard-core.test.js`(边界判定单测)、`scripts/guard_smoke.sh`(起真 pi 进程试图越界,应全部被拒)。

View File

@ -1,5 +1,7 @@
# bench/ — 视觉模型量化与上板评测
本轮SFT采集改造的 [实施计划与验收标准](docs/plans/sft-collection-v1/README.md) 已纳入项目:数据完整性、共享限流恢复、执行生命周期和实时看板同轮交付;当前为待实施/待验收规范。
## 338 模型分批覆盖
`bench coverage --all-runs --csv reports/model-coverage.csv` 维护原 CSV 全部 338 项;
@ -16,7 +18,7 @@ FastSAM 的类别语义仍属阻塞。EfficientViT 构建器文件存在不代
通过前置核查的具名批次沿用现有命令:
```bash
bench new-run --note '338 coverage: validated model batch'
bench new-run --target s100p --note '338 coverage: validated model batch'
bench expand --run RUN --modes oracle,e2e --marches nash-m --model yolov8n.seg
bench run --run RUN --parallel 2
bench collect --run RUN --modes e2e --first-pass --watch --parallel 2
@ -67,14 +69,14 @@ for d in state data cache; do mkdir -p /home/$USER/bench-$d; [ -L $d ] || { rm -
| 5 | `… scripts/make_t1.py --dataset imagenet1k --dataset coco2017` | `data/t1/<ds>/20260914.tar` |
| 6 | `… scripts/make_calib.py --task cls --input-spec 1x3x224x224` / `--task det --input-spec 1x3x640x640` | `data/calib/…` |
| 7 | `bench preflight --modes oracle,e2e` | 0 errors 才往下;包含 Agent 环境检查 |
| 8 | `bench new-run --note "S100P"` → `bench expand --modes oracle,e2e --marches nash-m` | 每个就绪模型的 `runs/r…/<job_id>/job.json`,`state/jobs.sqlite` |
| 8 | `bench new-run --target s100p --note "S100P"` → `bench expand --modes oracle,e2e --marches nash-m` | 每个就绪模型的 `runs/r…/<job_id>/job.json`,`state/jobs.sqlite` |
| 9 | `bench run --dry-run` | 状态机空转一遍,不碰工具链 |
步骤 4–6 用 PTQ venv 的 python(要 pyarrow / pillow / numpy)。ImageNet 首选 HF parquet 14 片;tar 是备用源,入池时会 `tar -tzf | wc -l` 校验。
## 2. P2 切片(真跑)
环境和数据准备好后,`scripts/start_run.sh --note "S100P" --parallel 2` 会检查环境、展开 nash-m 输入准备和 Agent 计划,后台准备 01–03 并按首轮优先采集;`--resume` 续跑已有 run。采样次数、GLM-5.3 身份和精度门槛不变。其他板型需先在 `registry/matrix.yaml` 的 `marches` 中加入对应值,再用 `bench expand --marches ...` 选择。
环境和数据准备好后,`scripts/start_run.sh --target s100p --note "S100P" --parallel 2` 会检查环境、展开 nash-m 输入准备和 Agent 计划,后台准备 01–03 并按首轮优先采集;S600 使用 `--target s600`,run 会固定为 nash-p。续跑必须显式写 `scripts/start_run.sh --resume --run <run>`,避免多板型时恢复错批次。run target 覆盖历史 matrix 的默认 march,但不修改 matrix,因此旧 S100P run 的任务口径保持不变。
```bash
bench run --oracle --job cls--resnet18--nash-m--ptq--int8 --parallel 1 # 仅需要完整对照时

View File

@ -9,6 +9,15 @@
运行入口与配置方式见 [项目 README](../README.md),实现约定见 [CONTRACT.md](../CONTRACT.md)。文档中的实验状态、服务器路径和实测结果对应其编写时间;当前运行状态需要重新核查。
## SFT采集可靠性 V1(待实施)
- [计划与规范入口](plans/sft-collection-v1/README.md)
- [实施计划](plans/sft-collection-v1/PLAN.md):数据、GLM共享配额、生命周期、实时看板一体交付。
- [自动验收标准](plans/sft-collection-v1/ACCEPTANCE.md) 与 [机器用例清单](plans/sft-collection-v1/acceptance-cases.json):全部用例初始为NOT_RUN。
- [确定性数据规则](plans/sft-collection-v1/DATA_RULES.md):默认保留、100%覆盖、身份去重、因果闭合及版本回滚。
配置草案放在该文档目录的 `rules/`,不修改当前运行配置,不表示已实施或已验收。
## Git 收录范围
仓库收录 harness、模型适配器、Agent 配置模板、数据导出代码、脚本、测试、registry、配置和项目文档,保留现有提交历史。

View File

@ -0,0 +1,97 @@
# SFT采集V1:自动验收标准
状态:**NOT_RUN,规范已记录,测试尚未执行。** 计划版本 `collection-v1-integrated`,数据规则 `sft-preserve-v1`。算法以 [DATA_RULES.md](DATA_RULES.md) 和 [PLAN.md](PLAN.md) 为准;本文件集中定义验收入口,不放宽任何规则。
## 1. 数据样本门
独立验收器读取冻结原件建分母,不能直接拿exporter的消息列表校验它自己。每条样本单独判定,再聚合统计;正文相同不作为消息身份。
| 检查 ID | 自动计算 | 每样本 PASS 条件 |
|---|---|---|
| OBSERVATION_ACCOUNTING | 每个 O 对应“保留消息 / 有身份证明的镜像别名 / 明确空错误排除”之一 | 归属数=观测总数,未归属=0,多重归属=0 |
| VALID_MESSAGE_COVERAGE | V 中恰好一次出现在 P 的消息数 / len(V) | 分子=分母且分母>0,即精确100%;同时 extra_source_ids=0 |
| PAYLOAD_COVERAGE | 必保留字段/块经格式映射与固定脱敏后的逐项一致性 | 缺失字段/块=0,额外非来源正文=0,非法改写=0;不只按消息条数 |
| IDENTITY_DEDUP | 每个折叠观测的身份和镜像关系证明;相同正文不同身份的保留情况 | 无证明折叠=0,同 ID 内容冲突=0,错误合并不同 ID=0 |
| ORDER_AND_CAUSALITY | P 与 V 的有序对比;调用 ID 到结果位置映射 | 序列差异=0,结果早于调用=0,移接结果=0,状态改写=0 |
| CALL_TOOL_CLOSURE | 每个调用恰有一个最终结果,且每个结果恰有一个调用 | missing=0、orphan=0、duplicate_final=0、call_id_conflict=0 |
| SOURCE_INTEGRITY | 冻结原件哈希、解析错误、来源/身份歧义 | 哈希全一致;parse_error=0、unknown_context=0、identity_ambiguous=0 |
| ERROR_EXCLUSION | 空错误白名单与保留的异常生命周期 | 每次删除均匹配谓词;成功发布样本内非空错误/不完整生成=0 |
| HARD_GATES | 第 6 节所有必选门及身份约束 | 全部 PASS(允许任务定义的 pass-screen);缺项/UNVERIFIED 即 FAIL |
| PRIVACY | 固定脱敏规则与发布范围检查 | 未处理敏感项=0;原始私有字段不出发布边界 |
所有required检查PASS才允许样本进入成功SFT;正常失败任务与未知完整性样本留档,不删原件。批次须全部输入有处置、全部输出通过、哈希/数量一致且至少1条合格样本;固定成功夹具必须产出预期身份,不能靠全部排除过关。wait与引用风险只打标。
## 2. 必选用例
机器清单:[acceptance-cases.json](acceptance-cases.json)。测试必须自动计算断言,不能以人工看日志或Agent自报代替;故障注入使用假上游、可控时钟和受控进程,真实小批验证正常GLM/编译/上板链路,不故意打满真实账户。
| ID | 场景 | PASS条件 | 当前状态 |
|---|---|---|---|
| DATA-001 | 正常段→429空错误→续跑段→再次重试→完成 | 完整有效序列覆盖100%;空错误仅在排除清单;旧“只取最后段”实现 FAIL | NOT_RUN |
| DATA-002 | 两个身份不同但内容完全相同的真实消息 | 两条都保留;任何按内容去重的实现 FAIL | NOT_RUN |
| DATA-003 | 同一消息在 message_end/agent_end 重复出现 | 一个规范消息、两个可追溯观测;无来源证明的折叠 FAIL | NOT_RUN |
| DATA-004 | agent_end 独有 user/custom;中途新增上下文 | 在真实位置保留;前移/漏掉/补造时 FAIL | NOT_RUN |
| DATA-005 | 空 error、带正文 error、正常文字429、tool isError | 仅空 error 可排;带正文 error 留档且样本不发布;正常文字/工具错误保留 | NOT_RUN |
| DATA-006 | 连续同状态心跳→新证据→状态完成 | 标签与预期相符;SFT 源消息序列、字段内容零变化 | NOT_RUN |
| DATA-007 | TIMEOUT,后一次 wait 才收到 OK | 两次真实结果各归原调用;将 OK 搬到早先调用时 FAIL | NOT_RUN |
| DATA-008 | 删除一对已闭合的早期 call/tool | 即使 closure 通过,coverage 必须 FAIL | NOT_RUN |
| DATA-009 | 孤立 result / 悬空 call / 重复 call ID / 并行反序完成 | 前三者 FAIL;合法并行各自闭合 PASS | NOT_RUN |
| DATA-010 | 旧截断删除了后文显式引用字段/仅语义改述 | 前者 REFERENCED_CONTENT_REMOVED;后者 UNKNOWN;均不自动删消息 | NOT_RUN |
| DATA-011 | 改产物SHA/假source/阈值超限/缺必选门 | 硬门 FAIL,样本保留但不进入 sft.jsonl | NOT_RUN |
| DATA-012 | 全部失败或全部空错误 | 处置清单完整,但发布 FAIL(NO_ACCEPTED_SAMPLES) | NOT_RUN |
| DATA-013 | 发布各落盘步骤中断、双发布、回滚禁用版 | 遵循第8节;无混版、无跳门、无无效 CURRENT | NOT_RUN |
| JOINT-001 | 多Agent、同组持续429 | 冷却提交后普通新请求=0;同组同时探测≤1;每逻辑生成HTTP总发送≤预算;无SDK旁路;暂停期间不新建空rollout | NOT_RUN |
| JOINT-002 | 配额恢复与再次429 | 并发每稳定窗口最多+1,不超过配置;再次429共享退让;恢复不把原有工具再提交 | NOT_RUN |
| JOINT-003 | RPM/TPM并发边界、缺usage、入口重启 | 真实发送不越已配置预算;不提前退款;账本/冷却/重试预算不因重启归零;入口失联不直连 | NOT_RUN |
| JOINT-004 | 首字节/流空闲/总请求超时 | 在相应期限收敛;不形成永久RUNNING;未完成assistant不派发工具;原因可见 | NOT_RUN |
| JOINT-005 | 排队后取消、拿槽与取消竞态 | cancel提交后新spawn/新上游发送=0;已拿槽未启动可撤回;计数归位或显式隔离 | NOT_RUN |
| JOINT-006 | 正常长编译静默、CPU空转、完全挂起 | 正常静默不按日志单信号误杀;超绝对期限进入回收;状态/阈值/依据可在页面核对 | NOT_RUN |
| JOINT-007 | 父进程退出、后代忽略TERM、板端失联 | 整个执行集合确认清空才释放;未确认则隔离,禁止新占用;清理过程有界 | NOT_RUN |
| JOINT-008 | 退出143/仅provider错误退出0 | 不写COMPLETED;原因、硬门、数据资格独立且与证据一致 | NOT_RUN |
| JOINT-009 | 请求/工具提交与回执落盘间崩溃 | 同ID同payload只复用;状态不明不重放副作用;来源与去重计数可审计 | NOT_RUN |
| JOINT-010 | collector/主机重启、DB孤儿RUNNING | 新领取前完成对账;无owner双写/重复上板;无法确认的标UNKNOWN/隔离 | NOT_RUN |
| JOINT-011 | 多浏览器、API断连、PID复用 | 实际Agent数准确;未知/过期不显示0;刷新额外LLM/业务执行次数=0 | NOT_RUN |
| JOINT-012 | 429恢复后多段对话、等待超时后成功 | SFT有效消息覆盖100%、调用闭合、身份去重与顺序检查通过;超时仍归原调用;运维事件不合成消息 | NOT_RUN |
| JOINT-013 | 导出中断、双发布、数据与运行版本回退 | 无混版;COMMIT_UNKNOWN可对账;回滚不重复任务、不恢复已撤销坏数据 | NOT_RUN |
| JOINT-014 | 真实小批次 | 实际LLM→工具→上板/精度→数据发布全程可见,所有必选门通过;不要求训练闭环 | NOT_RUN |
| QUOTA-001 | 两个项目/凭据别名同一quota_group,另一独立group同时运行 | 共享组共用预算和一次冷却;独立组不被错误暂停;所有真实HTTP经过账本 | NOT_RUN |
| QUOTA-002 | Retry-After有效/缺失/非法;HALF_OPEN超时/5xx/非空断流 | 有效期限不提前解除;未知按版本退避;失败退出探测态,未知结果对账前不发第二个探测 | NOT_RUN |
| QUOTA-003 | 1800秒累计等待耗尽后自动恢复;HTTP4次耗尽 | 等待预算不重置;仅可即时准入才恢复;HTTP耗尽不换generation_id绕过;至多3次自动恢复 | NOT_RUN |
| LIFE-001 | 遥测UNKNOWN但绝对deadline到达 | 仍按可确认所有权执行截止/回收;身份未知则隔离,不盲目按PID杀进程或无限续跑 | NOT_RUN |
| LIFE-002 | 完成与取消同时提交;旧owner晚到 | 同一提交顺序决定终态;旧epoch无法发副作用或覆盖新owner;任务硬结果与执行原因分开 | NOT_RUN |
| UI-001 | 2个Agent+1个compiler+1个collector;合法WAITING/VERIFYING数量不等 | Agent=2、compiler=1、collector单列;按phase预期身份核对,不按总数相等误报 | NOT_RUN |
| VERSION-001 | CURRENT替换后崩溃、撤销与回滚竞态 | COMMIT_UNKNOWN通过同event_id对账;锁内复查撤销;只回滚合格版本;运行和配额账本不回退 | NOT_RUN |
## 3. 每次运行的机器回执
实施测试后,在运行产物目录生成独立回执;不把本计划文件中的NOT_RUN机械改成PASS。每个用例必须记录下列字段:
```json
{
"plan_version": "collection-v1-integrated",
"case_id": "DATA-001",
"status": "NOT_RUN",
"implementation_revision": null,
"rules_sha256": null,
"runtime_policy_sha256": null,
"source_manifest_sha256": null,
"fixture_version": null,
"started_at": null,
"finished_at": null,
"checks": [],
"evidence": []
}
```
真实回执的checks逐项包含check_id、expected、actual、status;evidence每项包含相对运行目录的path与sha256。实现版本可用git提交或源码哈希;没有git不能编造提交号。null仅用于这个尚未执行的模板,真实PASS回执的适用版本/证据必须完整。非数据场景的source_manifest可指向其冻结夹具输入清单。
## 4. 整版PASS / FAIL
1. A数据、B限流、C执行、D实时看板四条线全部交付;所有required case有有效且匹配当前实现/规则/配置的PASS回执。
2. 不接受以mock结果冒充真实小批:建议至少3个独立任务,覆盖真实LLM、编译、板端评测、硬门、完整SFT落盘和看板观察;若事先版本化修改测试规模,仍须满足这些覆盖项。
3. 覆盖原始12条前文缺失候选的存量回放;修复前夹具能暴露缺陷,修复后覆盖、payload、身份、闭合和顺序全部通过。不预设最终合格数仍为17。
4. 发布中断、并发和回滚均按相同生产提交协议测试。提交前失败不改CURRENT;提交后不确定必须按event_id对账,不把非零退出当作“未发生”。
5. 一个必选用例为FAIL/UNKNOWN/NOT_RUN、缺证据或版本不匹配,整版就是未通过。文档哈希/JSON解析/链接校验只能证明交付完整,不能代替功能验收。
拟实现的数据发布CLI退出码:0成功;2提交前验证失败/无合格数据;3来源变动/不支持;4提交前版本冲突;5 COMMIT_UNKNOWN,需要查询同event_id。当前这些CLI不因为本目录落盘而变成可用命令。

View File

@ -0,0 +1,201 @@
# SFT 首版:确定性规则与自动验收规范
规范版本:`sft-preserve-v1`;状态:**待实现的接口与算法规范,不是已部署代码或已通过的验收报告**。对应配置:[sft-preserve-v1.json](rules/sft-preserve-v1.json)。以本文件和根报告的首版范围为准。
本文件限定数据子系统的三个目标:修复全程消息丢失;执行已有任务硬门;排除事件明确且内容为空的错误残片。校验、来源映射和版本发布属于数据交付条件。当前整版还须完成共享限流、执行生命周期和实时看板,见 [一体实施规范](PLAN.md);它们不再列为后续。wait 压缩、摘要、截断、相邻消息合并仍不启用。
## 1. 输入冻结与消息身份
**源数据是采样时已保存的消息,不是后来搜集的更完整日志。** 恢复导出器额外截断的 tool 内容,只能恢复到当时真实返回给 Agent 的工具结果;不能把 shell 的 `tail` 之前、Agent 从未看到的 stdout 补进历史上下文。
每个输入批次冻结 `run/job/attempt/runner/session`、原始事件、持久会话(如有)、当时的 prompt/system/tools 快照、job 硬门配置、受保护阶段回执与 verifier 证据。记录文件 SHA256、字节数和读取水位。读取期间变动的输入返回 `SOURCE_CHANGED`,下次重新冻结;首版仅处理已结束、文件稳定的尝试。不得用今天的文件覆盖当时缺失的 system/tools 快照。
为每个观测记录 `observation_id = (source_sha256, byte_offset, json_pointer)`。同一条消息在 message_end、turn_end、agent_end 中的多个观测可以指向同一 `message_id`,但必须有身份关系证明:
1. 优先使用运行器保证唯一的 `(run, job, attempt, session, branch, native_message_id)`。payload 哈希仅校验同一身份内容是否一致,不能用作跨消息去重键。
2. Pi 没有原生 message ID 的记录,以消息生命周期的开始/结束事件序号建立 ID;缺少开始事件时,以独立的完整 message_end 观测 ID 建立 ID。**两次 message_end 即使正文相同,也不能仅凭内容合并。**
3. turn_end/agent_end 是容器镜像。只在同一已识别运行段内,按运行器明确的消息生命周期顺序、角色与工具调用 ID,做一对一映射;payload 必须一致且映射唯一。重复收到同一镜像不产生新消息。映射不唯一则 `IDENTITY_AMBIGUOUS`,保留所有原始观测并停止该样本发布。
4. agent_end 独有的 user/custom 不得跳过:优先取持久会话中的身份和位置,否则按该段内唯一可确定的前后关系插入规范序列。初始 prompt 快照只在运行器记录证明它就是本次初始输入时映射到该位置,不因文本相同与别的 user 消息合并。位置或身份无法确定则 `CONTEXT_ORDER_UNKNOWN`,原件保留,该样本不发布。
5. system 快照是独立的上下文来源;中途新增 system/custom 必须保留原位置。分支只取实际执行路径,不能把兄弟分支拼接。未知运行器版本/事件形状返回 `UNSUPPORTED_SOURCE`,不靠猜测生成消息。
首版先支持本次已核对的 Pi 事件版本;其他 runner 只有通过相同来源和身份测试才能启用。无需同时开发通用会话协议。
独立 inventory 扫描器枚举全部消息观测、段边界和上下文快照;重建器据此产出规范序列。验收器直接读取冻结原件核对 inventory,不能拿导出器自己已经丢过前文的列表当分母。所有未知的可能影响对话的事件保留并报 `SOURCE_EVENT_UNKNOWN`;已知纯运维事件按类型归档。
## 2. 唯一允许的语义删除:明确且全空的错误残片
删除谓词必须同时满足以下条件;不匹配则不删:
```python
drop_empty_error = (
event.type == "message_end"
and message.role == "assistant"
and message.stopReason == "error" # 原始结构化字段,非正文关键词
and adapter.error_origin in {"provider", "transport"} # 已支持运行器的事件映射
and content_is_provably_empty(message) # 检查全部 block,不能只取 text
and no_tool_call_fields_or_blocks(message)
and no_linked_tool_execution(message)
and not had_nonempty_stream_delta(message)
)
```
`content_is_provably_empty` 的固定定义:content 为 `null`、`""`、`[]`,或仅由已支持的 text/output_text 类型且 text 严格等于空串组成;缺少必需字段、未知 block、非空空白串、thinking/reasoning/图片等其他 block,均不自动认定为空。`had_nonempty_stream_delta` 检查对应生命周期中是否曾出现非空文本/思考块或工具参数 delta;残片不补造成完整消息。
`adapter.error_origin` 是版本固定的事件映射结果,不是要求旧日志恰有同名字段;只能根据已核对的运行器事件语义和结构化字段确定。来源无法确定时不套空错误排除规则。
- 删除写入 `excluded_observations.jsonl`:原始身份、事件位置、规则 ID、原始哈希和原因 `EMPTY_ERROR_FRAGMENT`。原文件不删,容器镜像一并指向这条排除记录。
- 非空或形状不明的 error、aborted、仅有流式残片的生命周期:保留并标 `ERROR_CONTENT_RETAINED` / `INCOMPLETE_GENERATION`,首版不裁剪;该轨迹不进入成功 SFT 发布集,原因由字段判定,不交给人工逐条选句。
- `toolResult.isError=true`、编译失败后修正、bash 超时返回,都是 Agent 实际收到的工具观察,必须保留。它们不等同于 provider 的空生成错误。
- `auto_retry_start/end` 等已知运维事件进入 `operations.jsonl`,本来就不是对话消息;不为它们编造 assistant 回答。正文里写了 429/error/timeout 不是删消息的依据。
全量保留的是**原始证据和非白名单内容**;不满足成功发布条件的整条轨迹进入保留区,不能悄悄裁掉问题片段后重新标合格。
## 3. 因果与内容约束
首版关闭现有会改变正文/顺序的 R2 去块、R3 system 合并前移、R5 通用去空、R6 相邻角色合并、R7 tool 截断。仅允许已定义且可逆的格式映射,以及固定版本的必要脱敏;未知字段保留于规范记录,不静默忽略。某消费格式无法表示时,保留规范数据并报格式不支持,不强行输出一个有损成功样本。
脱敏单独记录字段级变换清单与规则版本;验收以独立重算的期望脱敏视图比较输出。未脱敏原件受控保存,不出现在页面或发布文件中;脱敏不允许改 role、顺序、工具调用 ID、执行状态。敏感值一致映射,不能把脱敏当作任意删内容的豁免。
以下为每条样本的强制断言:
```python
expected = source_message_ids - proven_empty_error_message_ids # 保持源序
assert output_source_ids == expected # 序列相等,非集合相等
assert all_source_payloads_accounted_for() # 包括完整 tool 内容/上下文
assert output_view == independently_rendered_expected_view # 含固定脱敏
assert every_alias_has_same_identity_and_payload()
assert every_tool_result_follows_its_own_call()
assert no_call_id_is_reused_for_a_different_call()
assert no_status_or_timeout_fact_is_rewritten()
```
格式拆分以 `(source_message_id, block_index)` 保持块顺序,合并计数时仍算一个源消息;每个块必须恰好覆盖一次。允许并行工具以真实完成顺序返回,不要求不同调用的结果按调用先后排序;禁止跨调用/跨 attempt 移接结果。
默认工具协议是一条调用对应一条最终 toolResult;过程更新不计最终结果。孤立结果、缺结果、同一调用多个终结结果、结果早于对应调用、调用 ID 冲突,任一发生均不发布该样本。即使后续状态文件为 OK,也不能改写早先返回的 TIMEOUT;等待器状态和实际操作状态分别保存。
## 4. 系统自动算哪些数,怎样判 PASS / FAIL
设:`O` 为全部消息观测;`C` 为确认身份后的规范消息序列;`X` 仅为第 2 节白名单排除消息;`V=C-X`;`P` 为输出对应的源消息序列。运维事件另计,不伪装为丢失消息或有效消息。
| 检查 ID | 自动计算 | 每样本 PASS 条件 |
|---|---|---|
| OBSERVATION_ACCOUNTING | 每个 O 对应“保留消息 / 有身份证明的镜像别名 / 明确空错误排除”之一 | 归属数=观测总数,未归属=0,多重归属=0 |
| VALID_MESSAGE_COVERAGE | V 中恰好一次出现在 P 的消息数 / len(V) | 分子=分母且分母>0,即精确100%;同时 extra_source_ids=0 |
| PAYLOAD_COVERAGE | 必保留字段/块经格式映射与固定脱敏后的逐项一致性 | 缺失字段/块=0,额外非来源正文=0,非法改写=0;不只按消息条数 |
| IDENTITY_DEDUP | 每个折叠观测的身份和镜像关系证明;相同正文不同身份的保留情况 | 无证明折叠=0,同 ID 内容冲突=0,错误合并不同 ID=0 |
| ORDER_AND_CAUSALITY | P 与 V 的有序对比;调用 ID 到结果位置映射 | 序列差异=0,结果早于调用=0,移接结果=0,状态改写=0 |
| CALL_TOOL_CLOSURE | 每个调用恰有一个最终结果,且每个结果恰有一个调用 | missing=0、orphan=0、duplicate_final=0、call_id_conflict=0 |
| SOURCE_INTEGRITY | 冻结原件哈希、解析错误、来源/身份歧义 | 哈希全一致;parse_error=0、unknown_context=0、identity_ambiguous=0 |
| ERROR_EXCLUSION | 空错误白名单与保留的异常生命周期 | 每次删除均匹配谓词;成功发布样本内非空错误/不完整生成=0 |
| HARD_GATES | 第 6 节所有必选门及身份约束 | 全部 PASS(允许任务定义的 pass-screen);缺项/UNVERIFIED 即 FAIL |
| PRIVACY | 固定脱敏规则与发布范围检查 | 未处理敏感项=0;原始私有字段不出发布边界 |
覆盖率必须按每条样本校验,再展示全批统计;不能用总体平均掩盖一条丢前文,也不能把失败项动态划入 X 凑100%。没有正常 assistant 行为、只有 system/user/空错误的轨迹返回 `NO_USABLE_ASSISTANT`。
`sample_pass = all(required_check == PASS)`。失败样本保留到 `retained.jsonl` 并记录固定 reason_code、源身份和数值;不删源轨迹,不需要人来决定是否绕过门槛。wait 和引用风险标签属于 advisory,不因有这些标签就删除样本。
批次可以包含正常失败任务:不要求70条全部成功。发布门是:所有输入尝试均有 accepted/retained/no-usable 处置;所有 accepted 样本全部通过;来源与处置数量一致;输出至少1条合格样本。另有**实现验收**门:固定成功回归样例的通过数和身份列表必须精确匹配预期,不能靠“全部放进保留区”伪装修好了 P0。
## 5. wait 与截断:自动判定,首版只标记
### 5.1 wait 的状态机
操作键固定为 `(run, job, attempt, stage_handle, execution_attempt)`,不能仅按模型名或命令正文聚合。只读取当时的结构化状态/工具回执,或用版本固定、严格语法的 stageclient 输出解析器;读取不到就是 UNKNOWN,不能用当前最终状态回填历史。
状态为 `QUEUED / RUNNING / OK / FAIL / CANCELLED / UNKNOWN`。允许观测跳过中间态,例如 QUEUED 后直接读到 OK;不允许终态后倒退。同一 handle 重试执行必须有新的 execution_attempt,否则标 `STATE_CONFLICT`。
同时保留原始 `stage_state`(例如 DONE)、`stage_result`(例如 OK/FAIL)和 `waiter_outcome`。归一状态 OK 只能来自受保护阶段的成功结果,不能来自 bash 管道退出0;SKIPPED 或无法对应的状态归 UNKNOWN,不伪装成功。
| 条件 | 自动标签与旁路行为 | SFT 正文 |
|---|---|---|
| 首次观测或 state 与上次不同 | FIRST_OBSERVATION / STATE_CHANGED,保存转换边 | 原样保留 |
| state 相同且可比较的证据内容发生变化 | SAME_STATE_NEW_EVIDENCE,保存新增证据摘要/哈希 | 原样保留 |
| state 相同,结果字段/证据内容相同,只有声明的心跳字段变化 | HEARTBEAT_REPEAT;旁路聚合 count、first/last、source_ids | 原样保留 |
| 无法解析状态、无法确认操作键或证据完整性 | WAIT_UNKNOWN | 原样保留 |
心跳字段白名单只包含时间戳、elapsed、poll 序号等声明的运维字段。结果比较至少包含 exit_code、error_class、产物/指标、证据内容哈希和新增日志载荷;路径一样但内容变了也算证据变化。未知字段不得忽略,归 UNKNOWN。每次工具返回内若包含多次状态转换,逐项提取,不能只看最后一行。
因此“有没有**状态进展**”由状态机严格判定;“是不是**纯重复心跳**”再要求证据也未变化。两者分开,避免将同状态下新得到的失败摘要删掉。本批 MobileNetV2 第二次 wait 补回失败摘要就是应覆盖的例子。
首版的心跳压缩仅发生于 `annotations.jsonl` / 前端统计:一组重复观测生成一条汇总并保留全部 source_ids。`mutate_sft_messages=false`;不移走消息中的心跳,不删除重复 assistant/tool 回合。bash 等待超时只设置 `waiter_outcome=TIMEOUT`,不推断 stage 失败或成功。
### 5.2 截断字段是否被后文引用
首版不再做新的导出截断。对历史导出与原始 tool 消息比较,自动输出 `removed_fields`:JSON 字段用 JSON Pointer;纯文本用源消息中的字节区间;字段值/区间均带哈希。只看截断消息之后的 assistant 正文和工具参数,排除此前文本。
按固定顺序匹配:
1. 后文有明确 `(source_message_id, JSON Pointer / span)` 引用,且命中被截区间:`REFERENCED_CONTENT_REMOVED`。
2. 后文具有完整字段路径,或同一字段键与完全相等的标量/字符串值配对,能唯一对应被截字段:同上;多个候选来源则 `REFERENCE_AMBIGUOUS`。仅出现常见数值、普通关键词不算精确命中。
3. 文本仅同字串复现但不能确认来源:`LITERAL_MATCH_UNRESOLVED`。已支持结构中未检出显式引用:`NO_EXPLICIT_REFERENCE`;未知格式、缺少原件、自然语言改述无法确定依赖:`REFERENCE_UNKNOWN`。
“被截字段被引用”与“该次决策失去唯一依据”另分两项。后者必须检查引用之前全部保留的 system/user/assistant/tool 上下文及重新读取结果,确认没有其他可用来源,才标 `CONFIRMED_CONTEXT_REFERENCE_LOSS`;否则只保留引用命中标签,不能因常见值碰巧相同断言因果断裂。
**NO_EXPLICIT_REFERENCE 不等于“证明没影响”。** 现有自由文本没有完整的引用关系,代码无法可靠判定所有隐含依赖;确定性做法是输出 UNKNOWN 并保留,而不是用另一个 LLM 猜测或自动删。将来若要按字段依赖安全压缩,应先增加结构化引用,再另外版本验收。
本版从原始工具消息重建完整内容,以上标签只用于回溯旧导出问题。原始消息缺失而无法恢复,PAYLOAD_COVERAGE / SOURCE_INTEGRITY 失败,整条留档不发布。截断命中引用与否均不授权改写历史决策。
## 6. 硬门:机器判断,不改当前任务含义
每条样本绑定冻结 job 的 required_gates、指标方向/容限、评估集身份及受保护证据。不以 assistant 自称成功或退出码0代替验证。
- 任务/产物绑定:run/job/attempt、目标架构、模型、HBM SHA、阶段回执中的身份逐字段一致;执行现有 `validate_hbm_measurements` 等独立核验。历史哈希缺失=UNVERIFIED,今天重算不能补造昨日回执。
- G1:冻结任务要求的产物、架构、输入类型/layout、verifier、日志规则逐项通过;保护边界/禁止修改由既有 guard 或可核验记录验证。缺必需证据=UNVERIFIED,不文本猜测。
- G3:source 严格为 board;FP32/量化指标有限且方向明确;数据集/子集/n 与该 job 一致;按冻结配置重算。当前 rel_pct:lower-better 用 `100*(quant-fp32)/abs(fp32)`,higher-better 用 `100*(fp32-quant)/abs(fp32)`;baseline=0 为 UNVERIFIED;劣化≤5%,使用现有 verifier 固定数值容差,不另放宽 T1。
- 所有任务特有必选门必须通过;多指标全过,pose/depth 等额外限制按原配置。当前默认 G1/G3,G2 诊断身份保持;本批100张T1只发布为 pass-screen,不能升格为全量精度通过。
- claim 使用现有结构化声明与 verifier 的对应字段检查;缺声明或矛盾按既有规则阻断,不能让人从自由文本“感觉成功”。
执行终态独立保留:TIMEOUT 不改 DONE,工具失败不改成功。如果任务已按冻结规则上板/精度通过、声明一致、全程完整且调用闭合,执行超时本身不追加一条新硬门;如果超时留下缺失结果/中断生成,则上述完整性门自然失败。
## 7. 待实现的自动验收用例
测试夹具固定 expected IDs、字段哈希、标签和退出结果;回归不是让人逐条对行号。所有用例通过才算实现验收 PASS。
| 输入/故障 | 必须自动得到的结果 |
|---|---|
| 正常段→429空错误→续跑段→再次重试→完成 | 完整有效序列覆盖100%;空错误仅在排除清单;旧“只取最后段”实现 FAIL |
| 两个身份不同但内容完全相同的真实消息 | 两条都保留;任何按内容去重的实现 FAIL |
| 同一消息在 message_end/agent_end 重复出现 | 一个规范消息、两个可追溯观测;无来源证明的折叠 FAIL |
| agent_end 独有 user/custom;中途新增上下文 | 在真实位置保留;前移/漏掉/补造时 FAIL |
| 空 error、带正文 error、正常文字429、tool isError | 仅空 error 可排;带正文 error 留档且样本不发布;正常文字/工具错误保留 |
| 连续同状态心跳→新证据→状态完成 | 标签与预期相符;SFT 源消息序列、字段内容零变化 |
| TIMEOUT,后一次 wait 才收到 OK | 两次真实结果各归原调用;将 OK 搬到早先调用时 FAIL |
| 删除一对已闭合的早期 call/tool | 即使 closure 通过,coverage 必须 FAIL |
| 孤立 result / 悬空 call / 重复 call ID / 并行反序完成 | 前三者 FAIL;合法并行各自闭合 PASS |
| 旧截断删除了后文显式引用字段/仅语义改述 | 前者 REFERENCED_CONTENT_REMOVED;后者 UNKNOWN;均不自动删消息 |
| 改产物SHA/假source/阈值超限/缺必选门 | 硬门 FAIL,样本保留但不进入 sft.jsonl |
| 全部失败或全部空错误 | 处置清单完整,但发布 FAIL(NO_ACCEPTED_SAMPLES) |
| 发布各落盘步骤中断、双发布、回滚禁用版 | 遵循第8节;无混版、无跳门、无无效 CURRENT |
首轮存量回放:冻结本次70尝试,42条旧导出用于差异对照;对12条前缀缺失候选逐条生成自动 coverage/closure/payload 结果。不能提前承诺恢复后仍恰好17条合格。随后再跑一批有真实业务成功证据的采集,比较标签与实际落盘;本版不以“压缩率”作为通过指标。
## 8. 规则、数据、发布与回滚
每版必须绑定:`dataset_version`、`rules_version`、规则文件 SHA256、源清单 SHA256、exporter/parser/validator 代码哈希、固定脱敏版本、冻结 job/verifier 版本。无 Git 时用文件哈希,不编造 commit。输入、规则或实现任一变化,都生成新的 dataset_version。
```text
datasets/<dataset_version>/
rules.json # 发布所用规则的真实副本
source-manifest.json # 原件身份与哈希;不公开原始敏感载荷
sft.jsonl # 全部硬门与完整性门通过的样本
retained.jsonl # 留档样本的受控记录/引用及明确不发布原因
lineage.jsonl # observation -> message -> output/alias/exclusion
annotations.jsonl # wait/引用风险;不修改 messages
dataset-manifest.json # 上述产物哈希、数量与版本
acceptance.json # 引用 dataset-manifest 哈希,逐项 PASS/FAIL
release.json # 引用 manifest 和 acceptance 的哈希
CURRENT.json # 只指向完整 release,含指针修订号
```
验收文件不放进它自己所引用的 dataset-manifest,以免哈希循环。operations/原始证据保持独立受控存储;所有文件中敏感字段的处理都受 PRIVACY 门约束。
发布状态机:`BUILDING → VALIDATING → READY → PUBLISHED`;提交前失败保留 `FAILED` 诊断,不改 CURRENT;提交阶段中断单列 `COMMIT_UNKNOWN`,由事件 ID 与持久指针恢复确认。发布状态写外部日志,不原地修改冻结版本内的验收文件。
1. 在 staging 完成数据、来源映射和 manifest;冻结文件后独立校验。mandatory 检查全 PASS、accepted>0、所有输入有处置,才签发 acceptance 与 release(“签发”是生成校验回执,不依赖另建签名服务)。
2. 版本目录只读发布,禁止原地覆盖。文件与目录 fsync 后就绪;同版本重试必须内容哈希一致,否则 `VERSION_COLLISION`。
3. 发布器持锁,并核对调用者的 `expected_current_revision`;不一致返回 `PUBLISH_CONFLICT`。锁内最后复查目标未撤销、未命中封禁及完整性底线;撤销/封禁表更新使用同一锁并增加 epoch。在同一支持原子替换的文件系统内写临时 CURRENT、fsync、`os.replace`、fsync 父目录。读者只读取一次指针并固定该版本,校验 release/manifest 哈希;不会逐文件追随变化中的 CURRENT。每次新的读取会话同时检查撤销表,已撤销版本不继续对外供应;已交付的旧文件无法被指针切换收回。
4. 切换事件在切换前持久记录 intent,指针中保存 event_id;`os.replace` 是切换点,父目录 fsync 确认持久提交。成功记录 commit;切换前失败不改变指针;切换后写审计/响应失败或提交阶段崩溃则返回/记录 `COMMIT_UNKNOWN`,不能声称指针未变。按相同 event_id 查询当前指针与持久日志后幂等收敛;提交结果尚不确定时不接受下一次切换,禁止用新 ID 盲目重发。进程中断/主机恢复后只能读完整旧版或完整新版;首版无旧指针时明确“尚未发布”,不读取 staging。
5. 回滚使用同一锁、CAS、哈希校验和原子切换路径,规则与数据一起切回。目标必须是历史已通过验收且未撤销的版本;按它绑定的规则/实现复核,并满足不可降低的完整性底线。不能绕过已知缺前文/错误改写等封禁来“回滚成功”。不用最新版所有业务筛选规则替代旧规则,否则不是规则与数据一起回滚。
6. 记录 from/to、两边规则版本、reason、事件序号;回滚不改原始轨迹、DB任务状态或 verdict。无合格历史版本则返回 `NO_ROLLBACK_TARGET`,保持当前合格版;当前版已撤销则停止对外供应,保留诊断访问,不退回已知有问题的 teacher 数据。
建议实现 CLI 契约(**以下命令名称尚待实现,本轮未运行**):`rebuild --source-manifest ... --rules ... --out ...`;`validate --generation ...`;`publish --generation ... --expected-current ... --event-id ...`;`rollback --to ... --expected-current ... --event-id ...`;`publication-status --event-id ...`。统一输出机器可读 JSON;退出码0表示请求成功且所有必选检查通过,2表示提交前验证失败/无合格数据,3表示源输入不稳定/不支持,4表示提交前版本或指针冲突,5表示 COMMIT_UNKNOWN。2/3/4不改变 CURRENT;5或提交后无响应必须查询同一 event_id,不能据退出码断言未发布。

View File

@ -0,0 +1,36 @@
# 2026-09-21只读核查背景与源码定位
这是历史证据摘要,不是当前运行状态或本次验收结果。本次文档入库没有重新跑模型、重导出或故障注入;真实日志、数据库、轨迹和大型审计文件继续保存在运行/审计环境,不纳入源码文档包。
## 历史快照范围
目标:`/home/ming01.wang/bench-extension-20260920/bench`,批次 `r20260921-01`。北京时间2026-09-21 15:38:19记录70次尝试、32个模型,DB PASS/FAIL/BLOCKED/UNVERIFIED=17/3/1/49,DB RUNNING=0;这不证明整台主机实际进程为0。
同次导出42条混合证据,17条现行SFT候选,28次无可用消息未导出。teacher SHA256:`769d0be566f4ff29e0f7365b6f3e8f23cb5cda04902b1b066ca341a57cbeecfd`。
后续原始事件对照覆盖70份事件和同一版导出:61次尝试出现429;214条429错误assistant终结消息的content为空、无toolCall。本次扫描未发现这些重试事件直接进入候选messages;这不保证未来所有非空错误形态都安全。
导出器把最后一次agent_end当完整历史,造成42条导出中18条缺正常已完成前文;17条候选中12条共缺116条正常assistant/tool消息(43+73)。局部call/tool闭合与partial=false无法发现整对前文丢失。因此全程覆盖与身份验收为P0。
17条候选含132次wait、345行心跳;其中10次是外层bash等待超时。已匹配的132个wait起止区间未见assistant开始/结束事件,但不是对SDK隐藏HTTP的抓包证明。MobileNetV2重复wait补回失败摘要说明同状态不等于无新证据。
## 项目内实现定位
以下是此次审计的主要实现位置;实现后源码会变化,证据绑定须使用对应版本/哈希,不能只依赖旧行号。
| 范围 | 源文件 | 核查与待修点 |
|---|---|---|
| 重建/清理/资格 | [export/to_agentrl.py](../../../export/to_agentrl.py) | load_trajectory末段覆盖、R2/R3/R5/R6/R7有损变换、局部闭合不足 |
| 硬门与身份 | [harness/verify.py](../../../harness/verify.py)、[harness/gates.py](../../../harness/gates.py)、[registry/gates.yaml](../../../registry/gates.yaml) | 独立证据、同HBM哈希、冻结G1/G3/任务特殊门;100张T1只为pass-screen |
| Agent终态 | [harness/rollout.py](../../../harness/rollout.py) | 非零退出可能写DONE,执行/任务/数据资格分开 |
| 调度与阶段 | [harness/scheduler.py](../../../harness/scheduler.py)、[harness/stageworker.py](../../../harness/stageworker.py)、[harness/stagerun.py](../../../harness/stagerun.py) | 可取消排队、spawn竞态、有界join、handle与回执恢复 |
| 活性与恢复 | [harness/watchdog.py](../../../harness/watchdog.py)、`harness/recovery.py`(远端扩展版)、[harness/heartbeat.py](../../../harness/heartbeat.py) | 整个执行集合回收、稳定进程身份、重启对账;不能以日志静默或leader退出作充分证据 |
| stage wait | [bin/stageclient.py](../../../bin/stageclient.py) | 工具内部等待不需要模型循环;CLI路径没有默认max_wait_s,不把外层bash超时说成内部定时返回 |
| 监控来源 | [harness/db.py](../../../harness/db.py)、[harness/watch.py](../../../harness/watch.py)、[harness/report.py](../../../harness/report.py) | readonly聚合与共享采样;旧CLI/report可能写DB/文件,不能直接作为刷新接口 |
| 板端回收 | [板端进程生命周期](../../board-process-lifecycle.md) | 复用guard/租约,但远端清理必须有确认;未确认即隔离 |
当时核对的Pi版本为0.73.1,已有2/4/8秒重试;SDK还有独立重试层,实际请求可能多于Agent轮次。共享broker必须落在真实HTTP边界并关闭叠加重试。GLM账户实际RPM/TPM/并发上限仍待核实,计划中的预算初值只属于本地工程策略。
## 原始审计产物索引
审计产物名称:`live-snapshot.json`、`source-check.json`、`audit_429_summary.json`、`candidate-prefix-loss.json`、`queue_audit.json`、`429_code_evidence.json`,保留在2026-09-21采集审计交付目录。它们不随本源码文档包复制,也不作为当前功能已通过的证据。项目内源码与运行目录仍是实施时重新冻结输入的来源。

View File

@ -0,0 +1,162 @@
# 一体实施版 V1:SFT 完整性、限流恢复、执行生命周期与实时看板
计划版本:`collection-v1-integrated`。状态:**待实施计划;没有部署、故障注入或重新采集的完成声明**。数据规则继续使用 [sft-preserve-v1](DATA_RULES.md),其保留、硬门、自动验收和数据回滚约束不放宽。新增运行配置草案见 [collection-v1-runtime.json](rules/collection-v1-runtime.json)。
本轮一并交付:数据 P0、GLM 429 与账户共享配额、重试风暴抑制、长时间无进展检测、取消与资源回收、真实终态、重启对账,以及实时进程和任务看板。单项可先合入,但**全部联合验收通过,才称为这一版完成**。不加入 RL、奖励、训练器;wait 压缩仍不改数据。
## 1. 实施边界与公共记录
每次执行使用稳定的 `execution_id`,关联 run/job/attempt、session、Agent/worker/工具进程身份、stage_handle、资源租约、模型请求与原始消息序号。以下事实分列,禁止压成一个 PASS:
- `activity`:QUEUED / WAITING_QUOTA / WAITING_LLM / WAITING_RESOURCE / RUNNING_TOOL / COMPILING / RUNNING_BOARD / VERIFYING / RECOVERING。
- `execution_state`:ACTIVE / PAUSED_INFRA / CANCEL_REQUESTED / CLEANING / TERMINAL;另存 stop_reason、退出码、信号、最后完成消息和恢复点。
- `execution_outcome`:COMPLETED / CANCELLED / DEADLINE_EXCEEDED / BUDGET_EXHAUSTED / INFRA_ERROR / AGENT_ERROR / LOST;未结束为空。
- `cleanup_state`:NOT_NEEDED / PENDING / VERIFIED / UNKNOWN / QUARANTINED。
- `task_verdict` 与 `sft_validation`:现有硬门结果、数据完整性与资格分别记录。
执行退出原因、硬门事实不互相覆盖。SIGTERM/143不能写COMPLETED;只有对应的持久取消请求才能归类CANCELLED,没有取消来源则记录异常退出/监督者丢失。退出0但生成全是错误、无正常协议完成也不能写COMPLETED。历史 DONE 的原始值保留,纠错以带原因与证据的派生状态或审计更新记录表达。正常COMPLETED还须满足adapter确认协议正常结束、必要收尾已核实;未清理完成的执行不能显示为已安全完成。
公共持久日志至少包含:事件 ID、execution_id、单调序号、wall time、事件类型、原因码、关联 request/message/tool_operation/receipt、运行配置版本。系统行为由结构化事件驱动;页面与数据导出不分别猜状态。
## 2. GLM 429:统一在真实 HTTP 请求入口调度
### 2.1 配额归属与请求预算
建立一个所有受控 Pi/SDK 请求实际经过的配额入口;不能只在每次 Agent 生成前做一次 hook,就声称覆盖 SDK 内部重试。按供应商实际共享的账户/项目/模型限制配置 `quota_group`,多个 credential alias 可以属于同一组;不同项目或endpoint别名不能擅自拆开账户预算,模型独立额度只能作为额外子预算。日志与看板不包含密钥。存在未接入的账户调用方时标明控制覆盖不完整,不宣称已控制该账户全部请求。
每个上游发送动作必须先原子取得该组的并发、RPM和TPM预算,计入 `http_attempt_id`。并发包括未关闭的流式请求;RPM按真实发送次数计算;TPM先预留输入与最大输出预算,再按真实 usage结算。缺 usage不乐观返还预算;取消连接但无法确认上游结束时保留有界请求租约,不能提前放出重复容量。
token计量需记录tokenizer/估算器版本和是否为保守上界;无法精确核对时标ESTIMATED,展示内部预留而非伪称供应商真实TPM。验收验证该计量策略下的准入预算及可靠usage对账;上游不公开计量口径时仍依赖429共享退让,不能保证绝不被上游限流。
内部RPM/TPM采用明确的60秒滑动窗口(本地保护口径,供应商窗口另行记录)。RPM从真实发送提交点计时;TPM保守预留在请求活动期间保持,确认结束后按可靠usage结算,未获usage则继续保留估算量,至结束后一个窗口到期释放,不永久占额。请求是否结束无法确认则进入对账/隔离,不仅因租约时间到了就宣布并发已释放。
实际账户上限尚未核实,草案不伪造GLM配额数。上线前明确内部并发/RPM/TPM预算和预算来源;未知供应商维度仍记UNKNOWN,不把内部预算称为账户真实上限。未配置内部预算则拒绝启动新采集并显示 `QUOTA_CONFIG_INCOMPLETE`。响应中的Retry-After、limit/reset/request-id等字段仅按允许列表脱敏保存。
只留一个重试负责层:本版显式关闭SDK/Pi自主网络重试并在启动时验证,由broker统一调度,禁止三层各自翻倍。关闭无效或检测到旁路则阻止采集启动。失败时不能绕过入口直连。一个逻辑生成最多4次真实HTTP发送(首发+3次重试,建议初值);达到上限后持久暂停本次采集,不另开新 rollout 来规避上限。每组最多一个有剩余预算的存量请求作恢复探测,不为探测另造模型对话。
### 2.2 配额组状态机
`OPEN → COOLING → HALF_OPEN → RECOVERING → OPEN`;账户硬额度耗尽、认证失效或管理性停用另为组级 `PAUSED`,来源不明保留具体原因。当前RPM/TPM窗口不足只是排队等待;单个generation尝试预算耗尽仅暂停该execution,不能据此暂停整个quota_group。
1. 收到429时,原子记录共享冷却期限并降低目标并发:`max(1, floor(previous_target/2))`。发送许可带组epoch;检查epoch/取消/预算、登记发送记录与transport启动处于同一受保护dispatch提交区间,不得检查后释放锁再异步发送。该提交点是HTTP发送计数的线性化点;崩溃导致是否已发送不明的记录保守占用预算并对账。已经在途的请求可结束,但冷却状态提交后普通请求新发送数必须为0;已在途数与冷却后误发数分别统计。
2. 首次退避建议30秒;连续同类失败指数增长,内部退避上限900秒。`not_before = max(已有冷却期限, 本地退避期限, 合法Retry-After/已知reset期限)`,不得为了900秒上限提前突破供应商等待时间。组级抖动只计算并保存一次,不由每个Agent各自醒来抢发。
3. 冷却到期通过持久租约只释放一个 HALF_OPEN 请求。只有正常完整响应才算成功;429或明确的暂时网络/5xx失败回有界COOLING。非空流中断暂停对应generation并记录INCOMPLETE_GENERATION;发送/结束状态未知则进入RECONCILING,未确认前不放第二个探测;对账超过请求总期限则组级PAUSED并显示REQUEST_OUTCOME_UNKNOWN。探测租约超时回收前确认请求状态,不允许多个worker同时探测。该探测计入真实请求/RPM/TPM和原逻辑请求预算。
4. 探测成功后进入RECOVERING,先保持低并发;建议每个连续60秒无429且至少3次正常完整响应的窗口最多加1并发,始终受配置上限与RPM/TPM约束。没有流量不能凭时间恢复到32路;再次429立即退让。
5. 401/403等明确不可重试错误不走429快速循环;按结构化原因暂停该组。没有可解析配额维度时记录UNKNOWN并共享退让,不从错误正文猜TPM/RPM。
最长配额等待建议30分钟,超过后写 `PAUSED_INFRA/QUOTA_WAIT_BUDGET_EXHAUSTED`,释放不应占用的Agent执行槽;不得无限占着RUNNING。暂停前保存会话与恢复点,已提交工具仍由worker受管执行。恢复由调度器在组级条件满足后领取一次,不通过LLM询问“现在能否继续”;连续环境失败次数与总等待预算不会因重启清零。自动恢复次数也有上限,超过后停在可见的PAUSED_INFRA,等待外部恢复条件或明确运维重试。
自动恢复建议每execution最多3次,并且仅限请求仍有预算、会话恢复点完整、无副作用未知的执行。HTTP预算耗尽或非空流中断后,不自动重置generation_id再请求;进入预算耗尽/完整性原因对应的暂停或结束状态。没有合格存量请求时不发送探测;下一条合法新任务可承担唯一探测。无法保存会话的旧runner不能被当作可透明恢复,需先完成checkpoint接线再启用自动暂停/恢复。
累计配额等待预算不会重新获得1800秒。等待预算已耗尽但HTTP和execution总预算尚有剩余时,仅允许在能原子立即取得发送许可的条件下恢复;需要再次排队则保持PAUSED_INFRA,不重新入等待循环。
### 2.3 持续等待不产生训练噪声
冷却、排队位置、重试倒计时、探测计划和进程采样只写运维流。暂停等待不生成合成assistant句子、不注入“再试一次”user消息。若历史或实际运行确实把某条custom/工具消息交给Agent看过,数据重建必须保留它,不能因为它与基础设施有关就删。
请求超时和网络中断均受连接、首字节、流空闲、总时长四类期限约束。建议初值10/120/120/600秒,配置随版本冻结。完整assistant消息持久提交后才派发工具;只有流式残片时不执行其中未完成调用,也不把重试后的生成冒充原消息续段。
排队预算从入队计时,连接/首字节等传输期限从实际发送计时;runner与broker的等待/取消协议须接通,不能让SDK的旧总超时反复打断共享冷却并重新发起逻辑请求。
取消后迟到的响应只在“确实交付给Agent”时进入消息序列;未交付的响应保留为旁路 `RECEIVED_NOT_DELIVERED`,不能成为SFT上下文或启动工具。
## 3. 暂停、恢复与工具提交去重
持久运行记录连接 `logical_generation_id → http_attempt_id → message_id → tool_operation_id → receipt_id`。在发出有副作用动作前落盘操作身份和请求payload摘要;同operation_id同payload返回已有状态/回执,不重新执行;同ID不同payload返回冲突。
恢复先查询原handle:QUEUED继续等,RUNNING接管观察,已完成则按原调用身份交付一次回执;不可先重跑compile/board再寻找旧结果。并发恢复使用owner lease + fencing epoch,只有当前owner能提交新动作或终态。
不能承诺任意bash都有exactly-once语义。worker启动后、回执落盘前崩溃等不确定窗口:检查已注册进程/远端guard/产物与执行回执;仍无法确认的副作用记 `SIDE_EFFECT_UNKNOWN` 并隔离,禁止自动重放。纯读取命令只有在版本化允许列表内才可安全重试。
自动恢复不能靠重复创建空轨迹补采。同一环境故障归入共享incident,暂停同组受影响任务并保留原因;恢复分批限额领取,重试计数跨进程重启持久化。已经发生的真实模型/工具消息只追加,不重排、补成功或删去不便解释的超时。
## 4. 长时间卡住:状态、阈值与动作分开
监控每5秒共享采样一次,记录采样成功与时间。`host + boot_id + pid + proc_start_ticks`作为进程身份;execution使用独立cgroup或等效受控进程集合。CPU/IO/日志变化只是信号,不能证明任务完成,也不能只因日志静默判卡死。
每类阶段必须配置queue_deadline、execution_deadline、suspect_after、cancel_grace、cleanup_deadline。执行上限沿用并冻结现有任务/阶段预算,经正常长编译样本检查后配置;不再只有一个12小时Agent总上限。缺少阶段策略则启动前报 `LIFECYCLE_CONFIG_INCOMPLETE`,不能临场由LLM决定期限。
期限计时使用单调时钟;重启时根据已持久化的耗时与可核验的时间锚点恢复剩余预算,不能将期限重置为一个新的完整窗口。主机换boot后无法确认剩余预算则进入对账/UNKNOWN,不直接放行。进程D态、旧owner/epoch和有效业务日志与运维心跳分别采样。
自动判定顺序:
1. 数据源读不到或过期→UNKNOWN,不填0,不判死进程;UNKNOWN只影响活性判断,不能短路已有绝对deadline。已知执行所有权下仍按期限取消;身份无法核验时隔离资源并由guard收尾,不能因遥测失败无限续跑或按未经核实的PID发信号。
2. QUEUED/WAITING_QUOTA且没有超出各自预算→WAITING,不占用执行阶段的无进展计时;等待总时长另计,不能无限延后execution总预算。
3. 在有效采样窗口内,CPU/IO/业务日志/受保护阶段序号均无变化,持续超过suspect_after→SUSPECT,只告警;任一变化则记录对应信号并重置该静默窗口,不能因此无限续期execution_deadline。已识别的重复运维心跳不算业务日志进展;无法分类时标进展UNKNOWN,仍受绝对期限约束。
4. 已核实的预期进程身份不存在,且超过启动宽限→STATE_MISMATCH,转恢复核对;PID复用不能算原进程活着。权威退出/不可恢复记录确认后记LOST,不因DB旧RUNNING直接重跑。
5. 达到冻结queue/request/execution deadline→明确DEADLINE_EXCEEDED或PAUSED_INFRA,按对应策略进入取消/回收;deadline是退出原因,不伪称已经证明程序死锁。
建议通用无进展告警初值10分钟、启动宽限30秒;它们是待正常/故障样本验收的运行策略值,不是对当前任务耗时的事实判断。正常编译持续CPU增长但无日志,不触发“所有信号静默”的告警;CPU空转最终仍受阶段绝对预算约束。
## 5. 取消、回收与准确终态
取消先持久写 `cancel_requested + epoch`,然后撤销模型待发请求/资源队列领取。取消与拿槽/启动使用同一execution启动锁:拿到槽后再次检查取消epoch,spawn注册与取消处理串行化,避免“检查时未取消、下一刻仍启动”的竞态。取消请求提交后不得派发新的模型、编译或板端动作。
受控执行集合按顺序 TERM → 等待宽限 → KILL → 核对清空;建议TERM宽限15秒、KILL后确认30秒、一次清理预算60秒。线程join、队列acquire、worker等待均必须有取消事件和有界期限。仅看到leader退出、signal发送成功或flock文件存在,都不算回收完成。
本地进程集合、worker回执、板端guard/远端进程和租约均要核对。确认清空后才释放资源;远端失联、D态杀不掉、所有权不明则 `cleanup_state=QUARANTINED`,资源禁止重新分配,前端明确展示。60秒未清空可以结束本轮清理为隔离并继续低频核对,不能谎报CANCELLED且已释放。
最终记录保留取消意图与已提交完成事实的顺序:受同一状态提交锁保护,完成已先持久提交则取消返回ALREADY_TERMINAL;取消先提交则不再接受后续COMPLETED覆盖,只追加实际晚到回执。晚到板端结果仍可成为证据,但不能把终态重新写成DONE。
collector/主机重启后先reconcile,再开放新任务:核对owner/boot身份、未完成请求、operation/receipt、进程集合和资源租约。确认仍活跃后,必须取得独占owner lease、原子转移epoch并确认旧owner在请求/阶段入口被fence,才能接管监督;只看到负载活着不构成接管许可。已结束则补写带来源的终态;状态不明则隔离。控制服务不可用时新发请求/领取停止,现有工作由本地/远端guard按租约和期限收尾,不无期限失控。
## 6. 实时看板就是本轮交付
首版交付实时Web看板,不再只提供导出结果页。最小页面为总览、任务列表/详情、配额资源区、数据发布区;先只读,取消能力由已验收的后端/CLI提供,页面操作按钮不是本轮必选项。
| 显示项 | 数据口径与自动验收 |
|---|---|
| 实际Agent进程数 | 只计身份确认的Pi/runner主进程;collector、shell、编译器、verifier另列;同身份去重 |
| DB活跃与实际执行 | DB状态、Agent数、stage/编译进程数分别显示;按每条execution的phase核对预期身份,缺预期进程/重复owner/错误epoch才报STATE_MISMATCH,不因总数不同报错 |
| 活动与疑似卡住 | 当前阶段、等待原因、持续时间、最近状态变化和CPU/IO/日志信号、阈值、deadline、判定原因 |
| GLM配额 | quota_group、真实在途请求、RPM/TPM预算占用、429、冷却剩余、下一探测、恢复并发;未知维度显示UNKNOWN |
| 板卡/资源 | 实际受保护租约持有者、等待数量/时长、清理/隔离状态;无公平队列证据不显示准确排队名次 |
| 数据与版本 | 混合记录/硬门候选/最终合格集分列;覆盖率、闭合、空错误排除与wait标签;CURRENT及对应规则版本 |
复用专用只读聚合接口:`GET /api/runs/{run}/snapshot`、分页rollouts、单个rollout详情。快照包含snapshot_id、采样时间、各来源age/status及配置版本。5秒共享采样,建议15秒无新鲜快照则标STALE;读取失败标UNAVAILABLE并保留带时间的最后快照,不能显示成0个进程或绿色健康。
浏览器只读缓存/只读DB;打开或刷新页面不能触发LLM、compile、board测试、reverify/export或全盘find。进程采样每主机一次,多浏览器共用;日志分页/增量读取并脱敏转义,只允许索引内的证据路径。配额/板卡状态来自后台受管遥测,不按浏览器刷新次数请求上游。
页面正确性自动验收用受控进程夹具和API断言:启动2个Agent+1个compiler+1个collector,必须显示Agent=2、compiler=1、collector单列;杀掉/替换PID、冻结遥测、造成DB与进程分歧,页面必须在采样/新鲜度窗口内反映。历史批次DB RUNNING=0不能代替这项验收。
再加入合法“数量不相等”夹具:WAITING_QUOTA、阶段收尾、VERIFYING分别按各自phase的预期角色判断,不产生虚假STATE_MISMATCH。
## 7. 同一轮实施顺序、所有权与上线门
| 工作包 | 独立改动边界 | 交付 |
|---|---|---|
| A 数据P0 | exporter、独立validator、身份/lineage、数据发布器 | 完整重建、硬门、明确空错误排除、自动验收、版本回滚 |
| B 请求调度 | quota入口、Pi/SDK连接、请求事件与冷却持久状态 | 真实HTTP共享预算、统一重试、冷却/探测/逐步恢复 |
| C 执行生命周期 | rollout、scheduler、worker、guard、watchdog/recovery | 有界等待/取消、启动锁、进程回收、真实终态、重启对账 |
| D 看板 | 只读monitor聚合、共享采样、Web页面 | 实时进程数、等待/卡住证据、配额/资源与SFT状态 |
集成人先固定execution/request/operation身份、状态提交协议、reason_code和配置版本。A/B/C随后并行;D接同一事件与状态接口,避免另写一套推测逻辑。公共DB/schema与状态提交点由集成人统一改,避免多个工作包覆盖。
上线顺序:离线回放修P0 → fake-provider/受控进程故障注入 → 集成看板验收 → 隔离的真实小批采集 → 发布/回滚演练 → 合并迁移。运行配置与代码版本绑定;当前执行固定旧配置,新策略只用于新领取任务,必要切换要显式暂停并对账,不能热切后把旧任务再领取一次。数据库迁移采用可回退的增量字段,不删除旧证据。
运行版本回退与数据CURRENT回滚是两种动作:数据回滚不改变正在运行的任务;运行回退先停止新领取(drain,区别于cancel)、完成或清理现有执行并对账,再切兼容代码/配置。不能通过运行回退重新启用已知有缺前文的导出器,或清空已发生请求的配额账本。封存使用明确的终态/事件水位,不能只看文件一段时间没变化;迟到回执或纠正证据生成新数据版本,不改已发布样本。
## 8. 联合自动验收矩阵
所有断言从结构化日志、假上游请求计数、受控进程/租约和输出数据独立计算,不由Agent自报通过。测试中的RPM/TPM/期限可缩小,但状态机和计数逻辑与生产相同。
| 注入/场景 | 必须通过的判定 |
|---|---|
| 多Agent、同组持续429 | 冷却提交后普通新请求=0;同组同时探测≤1;每逻辑生成HTTP总发送≤预算;无SDK旁路;暂停期间不新建空rollout |
| 配额恢复与再次429 | 并发每稳定窗口最多+1,不超过配置;再次429共享退让;恢复不把原有工具再提交 |
| RPM/TPM并发边界、缺usage、入口重启 | 真实发送不越已配置预算;不提前退款;账本/冷却/重试预算不因重启归零;入口失联不直连 |
| 首字节/流空闲/总请求超时 | 在相应期限收敛;不形成永久RUNNING;未完成assistant不派发工具;原因可见 |
| 排队后取消、拿槽与取消竞态 | cancel提交后新spawn/新上游发送=0;已拿槽未启动可撤回;计数归位或显式隔离 |
| 正常长编译静默、CPU空转、完全挂起 | 正常静默不按日志单信号误杀;超绝对期限进入回收;状态/阈值/依据可在页面核对 |
| 父进程退出、后代忽略TERM、板端失联 | 整个执行集合确认清空才释放;未确认则隔离,禁止新占用;清理过程有界 |
| 退出143/仅provider错误退出0 | 不写COMPLETED;原因、硬门、数据资格独立且与证据一致 |
| 请求/工具提交与回执落盘间崩溃 | 同ID同payload只复用;状态不明不重放副作用;来源与去重计数可审计 |
| collector/主机重启、DB孤儿RUNNING | 新领取前完成对账;无owner双写/重复上板;无法确认的标UNKNOWN/隔离 |
| 多浏览器、API断连、PID复用 | 实际Agent数准确;未知/过期不显示0;刷新额外LLM/业务执行次数=0 |
| 429恢复后多段对话、等待超时后成功 | SFT有效消息覆盖100%、调用闭合、身份去重与顺序检查通过;超时仍归原调用;运维事件不合成消息 |
| 导出中断、双发布、数据与运行版本回退 | 无混版;COMMIT_UNKNOWN可对账;回滚不重复任务、不恢复已撤销坏数据 |
| 真实小批次 | 实际LLM→工具→上板/精度→数据发布全程可见,所有必选门通过;不要求训练闭环 |
真实小批规模与并发由已配置共享预算确定,建议至少覆盖3个独立任务、包含编译与真实板端评测;这是建议的验收覆盖,不是要故意在真实账户制造429。持续429、卡死和中断使用假上游与受控进程注入,真实批验证正常链路和证据一致性。没有对应结构化记录或某条必选断言未跑,整版状态仍为未验收。
历史核查背景、时间和项目源码定位见 [证据摘要](EVIDENCE.md)。完整的必选用例与结果格式见 [验收标准](ACCEPTANCE.md);当前全部为待执行,不能将文档入库视为功能验收通过。

View File

@ -0,0 +1,33 @@
# SFT 采集 V1 实施计划与验收入口
计划版本:`collection-v1-integrated`;数据规则:`sft-preserve-v1`。整理日期:2026-09-21。
**状态:计划已纳入项目;功能待实施,验收待执行。** 本目录是设计规范与配置草案,不由运行器自动加载,不表示已经修改采集行为。
同一轮完成四条工作线:SFT全程重建与硬门、GLM共享限流及安全恢复、执行超时/取消回收/终态核对、实时进程与任务看板。四条线与联合验收全部通过,才能宣布V1完成。
## 阅读顺序
1. [实施计划](PLAN.md):状态机、模块分工、并行顺序、运行初值与迁移回退。
2. [数据确定性规则](DATA_RULES.md):消息身份、100%覆盖、闭合/因果、严格空错误排除、数据发布与回滚。
3. [验收标准](ACCEPTANCE.md):必选PASS/FAIL断言、固定测试ID、结果格式与整版完成条件。
4. [机器可读验收清单](acceptance-cases.json):全部用例初始为NOT_RUN,实施后引用真实证据生成独立回执。
5. [数据规则草案](rules/sft-preserve-v1.json) 与 [运行策略草案](rules/collection-v1-runtime.json):不是生产配置;内部配额预算仍待明确配置,null不能当无限额度。
6. [历史证据摘要](EVIDENCE.md):本次改造的来源与证据范围,历史快照不代表当前服务器状态。
## 固定边界
默认保留真实对话;仅按事件明确且全空的错误谓词排除派生片段。wait/轮询/截断引用风险先打标,不压缩或删除消息。不重排,不跨调用移接结果,不把超时改成功,不按正文相同去重。未知完整性留档且不发布,观察性标签不自动拒绝样本。
保留真实上板、精度、身份和任务约束硬门;不新增RL、奖励、训练器或训练闭环要求。运维旁路不能合成训练消息;实际进入Agent上下文的工具/custom消息如实保留。
## 实施与验收记录
- 四条工作线先固定公共execution/request/operation身份和状态协议,再并行实施。
- 配额/阶段预算上线前必须配置并冻结;建议初值不是GLM账户真实限额。
- 先离线重建与假上游/受控进程故障注入,再看板联调、真实小批和发布回滚演练。
- 原始证据、实际回执、测试运行日志放在运行产物目录,引用路径和哈希,不提交模型/轨迹/凭据到本目录。
- 所有必选用例都有匹配本次代码与配置版本的PASS证据才通过;NOT_RUN/UNKNOWN/FAIL均不算整版完成。
- 数据版本回滚不回滚执行现场;运行版本回退须先drain、收尾并对账。
返回 [项目文档](../../README.md) 或 [项目README](../../../README.md)。

View File

@ -0,0 +1,281 @@
{
"schema_version": "sft_collection_acceptance_plan.v1",
"plan_version": "collection-v1-integrated",
"data_rules_version": "sft-preserve-v1",
"status": "NOT_RUN",
"rule": "All required cases must PASS with version-bound evidence; missing, UNKNOWN, NOT_RUN or FAIL means release not accepted.",
"cases": [
{
"id": "DATA-001",
"group": "data_integrity",
"scenario": "正常段→429空错误→续跑段→再次重试→完成",
"pass_criteria": "完整有效序列覆盖100%;空错误仅在排除清单;旧“只取最后段”实现 FAIL",
"required": true,
"status": "NOT_RUN"
},
{
"id": "DATA-002",
"group": "data_integrity",
"scenario": "两个身份不同但内容完全相同的真实消息",
"pass_criteria": "两条都保留;任何按内容去重的实现 FAIL",
"required": true,
"status": "NOT_RUN"
},
{
"id": "DATA-003",
"group": "data_integrity",
"scenario": "同一消息在 message_end/agent_end 重复出现",
"pass_criteria": "一个规范消息、两个可追溯观测;无来源证明的折叠 FAIL",
"required": true,
"status": "NOT_RUN"
},
{
"id": "DATA-004",
"group": "data_integrity",
"scenario": "agent_end 独有 user/custom;中途新增上下文",
"pass_criteria": "在真实位置保留;前移/漏掉/补造时 FAIL",
"required": true,
"status": "NOT_RUN"
},
{
"id": "DATA-005",
"group": "data_integrity",
"scenario": "空 error、带正文 error、正常文字429、tool isError",
"pass_criteria": "仅空 error 可排;带正文 error 留档且样本不发布;正常文字/工具错误保留",
"required": true,
"status": "NOT_RUN"
},
{
"id": "DATA-006",
"group": "data_integrity",
"scenario": "连续同状态心跳→新证据→状态完成",
"pass_criteria": "标签与预期相符;SFT 源消息序列、字段内容零变化",
"required": true,
"status": "NOT_RUN"
},
{
"id": "DATA-007",
"group": "data_integrity",
"scenario": "TIMEOUT,后一次 wait 才收到 OK",
"pass_criteria": "两次真实结果各归原调用;将 OK 搬到早先调用时 FAIL",
"required": true,
"status": "NOT_RUN"
},
{
"id": "DATA-008",
"group": "data_integrity",
"scenario": "删除一对已闭合的早期 call/tool",
"pass_criteria": "即使 closure 通过,coverage 必须 FAIL",
"required": true,
"status": "NOT_RUN"
},
{
"id": "DATA-009",
"group": "data_integrity",
"scenario": "孤立 result / 悬空 call / 重复 call ID / 并行反序完成",
"pass_criteria": "前三者 FAIL;合法并行各自闭合 PASS",
"required": true,
"status": "NOT_RUN"
},
{
"id": "DATA-010",
"group": "data_integrity",
"scenario": "旧截断删除了后文显式引用字段/仅语义改述",
"pass_criteria": "前者 REFERENCED_CONTENT_REMOVED;后者 UNKNOWN;均不自动删消息",
"required": true,
"status": "NOT_RUN"
},
{
"id": "DATA-011",
"group": "data_integrity",
"scenario": "改产物SHA/假source/阈值超限/缺必选门",
"pass_criteria": "硬门 FAIL,样本保留但不进入 sft.jsonl",
"required": true,
"status": "NOT_RUN"
},
{
"id": "DATA-012",
"group": "data_integrity",
"scenario": "全部失败或全部空错误",
"pass_criteria": "处置清单完整,但发布 FAIL(NO_ACCEPTED_SAMPLES)",
"required": true,
"status": "NOT_RUN"
},
{
"id": "DATA-013",
"group": "data_integrity",
"scenario": "发布各落盘步骤中断、双发布、回滚禁用版",
"pass_criteria": "遵循第8节;无混版、无跳门、无无效 CURRENT",
"required": true,
"status": "NOT_RUN"
},
{
"id": "JOINT-001",
"group": "integrated_collection",
"scenario": "多Agent、同组持续429",
"pass_criteria": "冷却提交后普通新请求=0;同组同时探测≤1;每逻辑生成HTTP总发送≤预算;无SDK旁路;暂停期间不新建空rollout",
"required": true,
"status": "NOT_RUN"
},
{
"id": "JOINT-002",
"group": "integrated_collection",
"scenario": "配额恢复与再次429",
"pass_criteria": "并发每稳定窗口最多+1,不超过配置;再次429共享退让;恢复不把原有工具再提交",
"required": true,
"status": "NOT_RUN"
},
{
"id": "JOINT-003",
"group": "integrated_collection",
"scenario": "RPM/TPM并发边界、缺usage、入口重启",
"pass_criteria": "真实发送不越已配置预算;不提前退款;账本/冷却/重试预算不因重启归零;入口失联不直连",
"required": true,
"status": "NOT_RUN"
},
{
"id": "JOINT-004",
"group": "integrated_collection",
"scenario": "首字节/流空闲/总请求超时",
"pass_criteria": "在相应期限收敛;不形成永久RUNNING;未完成assistant不派发工具;原因可见",
"required": true,
"status": "NOT_RUN"
},
{
"id": "JOINT-005",
"group": "integrated_collection",
"scenario": "排队后取消、拿槽与取消竞态",
"pass_criteria": "cancel提交后新spawn/新上游发送=0;已拿槽未启动可撤回;计数归位或显式隔离",
"required": true,
"status": "NOT_RUN"
},
{
"id": "JOINT-006",
"group": "integrated_collection",
"scenario": "正常长编译静默、CPU空转、完全挂起",
"pass_criteria": "正常静默不按日志单信号误杀;超绝对期限进入回收;状态/阈值/依据可在页面核对",
"required": true,
"status": "NOT_RUN"
},
{
"id": "JOINT-007",
"group": "integrated_collection",
"scenario": "父进程退出、后代忽略TERM、板端失联",
"pass_criteria": "整个执行集合确认清空才释放;未确认则隔离,禁止新占用;清理过程有界",
"required": true,
"status": "NOT_RUN"
},
{
"id": "JOINT-008",
"group": "integrated_collection",
"scenario": "退出143/仅provider错误退出0",
"pass_criteria": "不写COMPLETED;原因、硬门、数据资格独立且与证据一致",
"required": true,
"status": "NOT_RUN"
},
{
"id": "JOINT-009",
"group": "integrated_collection",
"scenario": "请求/工具提交与回执落盘间崩溃",
"pass_criteria": "同ID同payload只复用;状态不明不重放副作用;来源与去重计数可审计",
"required": true,
"status": "NOT_RUN"
},
{
"id": "JOINT-010",
"group": "integrated_collection",
"scenario": "collector/主机重启、DB孤儿RUNNING",
"pass_criteria": "新领取前完成对账;无owner双写/重复上板;无法确认的标UNKNOWN/隔离",
"required": true,
"status": "NOT_RUN"
},
{
"id": "JOINT-011",
"group": "integrated_collection",
"scenario": "多浏览器、API断连、PID复用",
"pass_criteria": "实际Agent数准确;未知/过期不显示0;刷新额外LLM/业务执行次数=0",
"required": true,
"status": "NOT_RUN"
},
{
"id": "JOINT-012",
"group": "integrated_collection",
"scenario": "429恢复后多段对话、等待超时后成功",
"pass_criteria": "SFT有效消息覆盖100%、调用闭合、身份去重与顺序检查通过;超时仍归原调用;运维事件不合成消息",
"required": true,
"status": "NOT_RUN"
},
{
"id": "JOINT-013",
"group": "integrated_collection",
"scenario": "导出中断、双发布、数据与运行版本回退",
"pass_criteria": "无混版;COMMIT_UNKNOWN可对账;回滚不重复任务、不恢复已撤销坏数据",
"required": true,
"status": "NOT_RUN"
},
{
"id": "JOINT-014",
"group": "integrated_collection",
"scenario": "真实小批次",
"pass_criteria": "实际LLM→工具→上板/精度→数据发布全程可见,所有必选门通过;不要求训练闭环",
"required": true,
"status": "NOT_RUN"
},
{
"id": "QUOTA-001",
"group": "quota",
"scenario": "两个项目/凭据别名同一quota_group,另一独立group同时运行",
"pass_criteria": "共享组共用预算和一次冷却;独立组不被错误暂停;所有真实HTTP经过账本",
"required": true,
"status": "NOT_RUN"
},
{
"id": "QUOTA-002",
"group": "quota",
"scenario": "Retry-After有效/缺失/非法;HALF_OPEN超时/5xx/非空断流",
"pass_criteria": "有效期限不提前解除;未知按版本退避;失败退出探测态,未知结果对账前不发第二个探测",
"required": true,
"status": "NOT_RUN"
},
{
"id": "QUOTA-003",
"group": "quota",
"scenario": "1800秒累计等待耗尽后自动恢复;HTTP4次耗尽",
"pass_criteria": "等待预算不重置;仅可即时准入才恢复;HTTP耗尽不换generation_id绕过;至多3次自动恢复",
"required": true,
"status": "NOT_RUN"
},
{
"id": "LIFE-001",
"group": "execution",
"scenario": "遥测UNKNOWN但绝对deadline到达",
"pass_criteria": "仍按可确认所有权执行截止/回收;身份未知则隔离,不盲目按PID杀进程或无限续跑",
"required": true,
"status": "NOT_RUN"
},
{
"id": "LIFE-002",
"group": "execution",
"scenario": "完成与取消同时提交;旧owner晚到",
"pass_criteria": "同一提交顺序决定终态;旧epoch无法发副作用或覆盖新owner;任务硬结果与执行原因分开",
"required": true,
"status": "NOT_RUN"
},
{
"id": "UI-001",
"group": "dashboard",
"scenario": "2个Agent+1个compiler+1个collector;合法WAITING/VERIFYING数量不等",
"pass_criteria": "Agent=2、compiler=1、collector单列;按phase预期身份核对,不按总数相等误报",
"required": true,
"status": "NOT_RUN"
},
{
"id": "VERSION-001",
"group": "publication",
"scenario": "CURRENT替换后崩溃、撤销与回滚竞态",
"pass_criteria": "COMMIT_UNKNOWN通过同event_id对账;锁内复查撤销;只回滚合格版本;运行和配额账本不回退",
"required": true,
"status": "NOT_RUN"
}
]
}

View File

@ -0,0 +1,21 @@
{
"schema_version": "project_plan_manifest.v1",
"plan_version": "collection-v1-integrated",
"status": "documentation_only_not_implemented",
"source_artifacts": {
"COLLECTION_V1.md": "d022637c16563360334db7d3d2575295bd4c049c586ac54e778ef2c25a39c00d",
"DETERMINISTIC_RULES.md": "c64b7a8d20764ff0c6b8fcaa14c4a3abfd0cf1829ccfb1e3ad98c416a65a2829",
"sft-preserve-v1.json": "97d9b2ae524fb388fbf3ceb2edc352ff2420f24df484af5e2e5a6769007c81b8",
"collection-v1-runtime.json": "01326aa0b9b23015651ca874e092f218e9fbdc2bd88e77a73a647e48b6854a20"
},
"files": {
"ACCEPTANCE.md": "e4a3fa573b94cb9464a15f29ccb843c2a200269f3ba3b116aa2d770cab537eff",
"DATA_RULES.md": "0c32f53295ccf0850c58cde5f2fda9ae5a5ea44a3652dee7b8819435b56813b4",
"EVIDENCE.md": "a584a4eba31ff92a943b535e6d8873c9dff56f6fb455927d7fe734fa726d4ab0",
"PLAN.md": "3ead0f2806d715a19e7113cff5600bbf52220828c8dc619f1366788fa4490874",
"README.md": "ddb826a0716aaf590fdb2a2a7993c1fb0ce4f175b05ddec55a605d055dd77ae3",
"acceptance-cases.json": "3b4c43834be521054af9958fc513e03559ea781c04421eee3d528358325d8fc3",
"rules/collection-v1-runtime.json": "01326aa0b9b23015651ca874e092f218e9fbdc2bd88e77a73a647e48b6854a20",
"rules/sft-preserve-v1.json": "97d9b2ae524fb388fbf3ceb2edc352ff2420f24df484af5e2e5a6769007c81b8"
}
}

View File

@ -0,0 +1,212 @@
{
"schema_version": "collection_runtime_plan.v1",
"plan_version": "collection-v1-integrated",
"status": "proposed_not_implemented",
"data_rules_version": "sft-preserve-v1",
"same_release_required_workstreams": [
"data_integrity",
"shared_quota_and_recovery",
"execution_lifecycle",
"realtime_dashboard"
],
"quota": {
"scope": "configured_account_group_shared_across_managed_projects_and_credentials",
"unmanaged_callers": "report_control_coverage_incomplete",
"provider_limits_status": "UNKNOWN_until_verified",
"internal_budget": {
"max_concurrency": null,
"rpm": null,
"tpm": null
},
"missing_internal_budget": "QUOTA_CONFIG_INCOMPLETE_block_new_collection",
"retry_owner": "broker_only",
"sdk_retries": 0,
"pi_automatic_network_retries": 0,
"validate_effective_retry_config_at_startup": true,
"max_http_attempts_per_generation": 4,
"states": [
"OPEN",
"COOLING",
"HALF_OPEN",
"RECOVERING",
"PAUSED",
"RECONCILING"
],
"cooling_normal_new_sends_max": 0,
"half_open_inflight_max": 1,
"cooldown_initial_s": 30,
"cooldown_local_max_s": 900,
"honor_longer_retry_after": true,
"cooldown_deadline": "max(existing_deadline, local_backoff, trusted_retry_after_or_reset)",
"jitter": "once_per_group_epoch_persisted",
"dispatch_admission": "epoch/cancel/budget check + send record + transport start in one protected commit interval",
"recovery_initial_concurrency": 1,
"recovery_window_s": 60,
"recovery_min_successes_per_window": 3,
"recovery_max_concurrency_increment": 1,
"quota_wait_budget_s": 1800,
"max_auto_resumes_per_execution": 3,
"auto_resume_requires": [
"remaining_request_budget",
"complete_checkpoint",
"no_unknown_side_effect",
"remaining_wait_budget_or_atomic_immediate_admission"
],
"exhaustion": "PAUSED_INFRA_no_automatic_generation_id_reset",
"persist_cooldown_attempts_queue_and_reservations": true,
"fail_open_direct_requests": false,
"unknown_usage": "retain_conservative_reservation",
"request_timeouts_s": {
"connect": 10,
"first_byte": 120,
"stream_idle": 120,
"total": 600
},
"token_accounting": "versioned_tokenizer_or_conservative_estimator_with_explicit_certainty",
"queue_and_transport_deadlines_have_separate_origins": true,
"local_rpm_tpm_window_s": 60,
"token_reservation_expiry": "hold_while_active_then_one_window_after_confirmed_end; reconcile_unknown_end",
"wait_budget_reset_on_resume": false,
"half_open_failures": {
"transient_confirmed_failure": "COOLING",
"nonempty_stream_interruption": "pause_generation",
"unknown_send_or_end": "RECONCILING_no_second_probe",
"reconcile_deadline": "PAUSED_REQUEST_OUTCOME_UNKNOWN"
},
"budget_scope": {
"rpm_tpm_window_insufficient": "queue",
"generation_attempts_exhausted": "pause_execution_only",
"account_hard_quota_or_auth": "pause_group"
}
},
"execution": {
"identity": [
"execution_id",
"epoch",
"host",
"boot_id",
"pid",
"proc_start_ticks"
],
"outcomes": [
"COMPLETED",
"CANCELLED",
"DEADLINE_EXCEEDED",
"BUDGET_EXHAUSTED",
"INFRA_ERROR",
"AGENT_ERROR",
"LOST"
],
"cleanup_states": [
"NOT_NEEDED",
"PENDING",
"VERIFIED",
"UNKNOWN",
"QUARANTINED"
],
"normal_completion_requires": [
"normal_adapter_completion",
"normal_exit",
"verified_required_cleanup"
],
"nonzero_exit_can_be_completed": false,
"cancelled_requires_persisted_cancel_reason": true,
"phase_deadlines": "required_versioned_per_phase_from_existing_budgets_and_long_job_validation",
"missing_phase_policy": "LIFECYCLE_CONFIG_INCOMPLETE_block_new_collection",
"monotonic_deadlines_with_durable_restart_accounting": true,
"suspect_after_s": 600,
"startup_grace_s": 30,
"term_grace_s": 15,
"kill_confirm_s": 30,
"cleanup_budget_s": 60,
"suspect_requires_all_fresh_signals_idle": [
"cpu",
"io",
"business_log",
"protected_stage_sequence"
],
"operational_heartbeat_is_progress": false,
"cpu_growth_proves_success": false,
"cancel_and_spawn_share_execution_lock": true,
"old_epoch_can_dispatch_side_effects": false,
"release_resources_requires": "verified_entire_owned_execution_set_and_remote_receipts",
"unverified_cleanup": "quarantine_no_reallocation",
"restart": "reconcile_before_new_admission",
"drain_is_distinct_from_cancel": true,
"unknown_telemetry_does_not_disable_absolute_deadline": true,
"takeover_requires": [
"exclusive_owner_lease",
"atomic_epoch_transfer",
"old_owner_fenced_at_admission"
]
},
"resume": {
"persist_identity_chain": [
"logical_generation_id",
"http_attempt_id",
"message_id",
"tool_operation_id",
"receipt_id"
],
"dispatch_tool_only_after_complete_message_commit": true,
"same_operation_same_payload": "reuse_existing_handle_or_receipt",
"same_operation_different_payload": "conflict",
"new_operation_same_command": "new_action_not_content_dedup",
"unknown_nonidempotent_side_effect": "quarantine_no_automatic_replay",
"undelivered_late_response": "operations_only_no_tool_dispatch",
"delivered_custom_and_tool_observations": "preserve_in_messages"
},
"dashboard": {
"required_in_this_release": true,
"realtime": true,
"readonly": true,
"sample_interval_s": 5,
"stale_after_s": 15,
"separate_counts": [
"db_active_rollouts",
"verified_agent_processes",
"stage_processes",
"collector_processes"
],
"unknown_process_count": "UNKNOWN_not_zero",
"source_failure": "UNAVAILABLE_with_last_snapshot_timestamp",
"required_views": [
"overview",
"rollout_list_and_detail",
"quota_resources_cleanup",
"sft_quality_and_versions"
],
"browser_refresh_business_side_effects_max": 0,
"shared_sampling_for_all_browsers": true,
"process_fixture_expected": {
"agent": 2,
"compiler": 1,
"collector": 1
},
"state_mismatch_basis": "per_execution_phase_expected_identity_not_aggregate_count_equality"
},
"data": {
"wait_compaction": false,
"poll_deletion": false,
"new_truncation": false,
"operations_synthetic_messages": false,
"valid_message_coverage_percent": 100,
"raw_actual_context_preserved": true
},
"rollout_and_rollback": {
"order": [
"offline_data_replay",
"fake_provider_and_process_fault_injection",
"dashboard_integration",
"isolated_real_batch",
"publish_and_rollback_drill",
"migration"
],
"all_workstreams_and_joint_acceptance_required": true,
"suggested_real_batch_min_independent_tasks": 3,
"do_not_intentionally_trigger_real_account_429": true,
"data_rollback_changes_execution_or_quota_ledger": false,
"runtime_rollback": "drain_then_finalize_or_cleanup_then_reconcile_then_compatible_switch",
"no_duplicate_ownership_during_migration": true
}
}

View File

@ -0,0 +1,196 @@
{
"schema_version": "sft_rule_spec.v1",
"rules_version": "sft-preserve-v1",
"status": "proposed_not_implemented",
"purpose": "SFT collection integrity and hard-gate release; no RL or trainer integration",
"source": {
"freeze_inputs": true,
"terminal_stable_attempts_only": true,
"independent_inventory": true,
"unknown_context": "retain_and_fail_sample",
"live_snapshot_backfill": false
},
"identity": {
"primary": [
"run",
"job",
"attempt",
"session",
"branch",
"native_message_id"
],
"fallback": "source observation and explicit message lifecycle; unique segment mirror mapping only",
"content_hash_is_identity": false,
"timestamp_is_identity": false,
"same_text_different_identity": "retain_all",
"ambiguous_alias": "retain_and_fail_sample"
},
"transform": {
"default": "preserve",
"wait_compaction": false,
"poll_round_deletion": false,
"new_truncation": false,
"reasoning_block_deletion": false,
"generic_empty_message_deletion": false,
"merge_adjacent_messages": false,
"move_or_merge_system": false,
"reorder": false,
"future_result_backfill": false,
"rewrite_timeout_as_success": false,
"format_mapping": "versioned_reversible",
"redaction": "versioned_field_audited"
},
"empty_error_exclusion": {
"rule_id": "EMPTY_ERROR_FRAGMENT",
"all_of": [
"event.type == message_end",
"message.role == assistant",
"message.stopReason == error",
"supported runner event adapter confirms provider or transport error origin",
"raw content provably empty across every block",
"no tool call fields or blocks, including partial calls",
"no linked tool execution or result",
"no nonempty stream delta in the lifecycle"
],
"use_text_keywords": false,
"unknown": "retain_and_fail_sample",
"nonempty_error": "retain_and_fail_sample",
"tool_result_is_error": "retain",
"aborted": "retain_and_fail_sample",
"audit_exclusion": true
},
"acceptance": {
"per_sample_before_aggregate": true,
"observation_accounting_percent": 100,
"valid_message_coverage_percent": 100,
"empty_denominator": "fail",
"require_usable_assistant": true,
"unaccounted_observations_max": 0,
"multiply_accounted_observations_max": 0,
"extra_source_ids_max": 0,
"missing_payload_fields_max": 0,
"unapproved_payload_changes_max": 0,
"unproven_dedup_max": 0,
"identity_payload_conflicts_max": 0,
"message_sequence_differences_max": 0,
"missing_tool_results_max": 0,
"orphan_tool_results_max": 0,
"duplicate_final_results_max": 0,
"call_id_conflicts_max": 0,
"result_before_call_max": 0,
"reassigned_results_max": 0,
"rewritten_outcomes_max": 0,
"source_hash_mismatches_max": 0,
"parse_errors_max": 0,
"unknown_required_context_max": 0,
"unresolved_generation_errors_max": 0,
"unhandled_sensitive_fields_max": 0,
"required_gates": "all_frozen_job_requirements_pass",
"unknown_required_check": "fail",
"wait_reference_advisories_alone": "do_not_fail",
"batch_input_accounting_percent": 100,
"accepted_samples_min": 1,
"fixed_success_fixture_expected_ids_must_match": true
},
"wait_annotations": {
"enabled": true,
"mutate_sft_messages": false,
"operation_key": [
"run",
"job",
"attempt",
"stage_handle",
"execution_attempt"
],
"keep_stage_and_waiter_outcomes_separate": true,
"compare": [
"state",
"result",
"exit_code",
"error_class",
"artifact_identity",
"measurement_fields",
"evidence_content_digest",
"new_log_payload"
],
"ignore_only_declared_heartbeat_fields": [
"timestamp",
"elapsed",
"poll_sequence"
],
"unknown_fields": "unknown_not_equal",
"heartbeat_summary": "sidecar_only_with_all_source_ids",
"states": [
"FIRST_OBSERVATION",
"STATE_CHANGED",
"SAME_STATE_NEW_EVIDENCE",
"HEARTBEAT_REPEAT",
"WAIT_UNKNOWN",
"STATE_CONFLICT"
]
},
"truncation_annotations": {
"enabled": true,
"mutate_sft_messages": false,
"separate_capture_filter_from_export_truncation": true,
"scan_following_assistant_text_and_tool_arguments": true,
"require_explicit_reference_for_confirmed_hit": true,
"check_alternative_earlier_sources_before_claiming_context_loss": true,
"no_match_is_proof_of_safety": false,
"semantic_inference": "unknown",
"missing_raw_payload": "retain_and_fail_sample"
},
"hard_gates": {
"rule_source": "frozen_job_not_global_override",
"current_batch_default_required": [
"G1",
"G3"
],
"current_batch_g3_source": "board",
"current_batch_g3_kind": "rel_pct",
"current_batch_g3_tolerance_pct": 5,
"current_batch_t1_samples": 100,
"current_batch_t1_label": "pass-screen",
"keep_job_specific_extra_requirements": true,
"g2_default": "diagnostic",
"task_pass_does_not_rewrite_execution_status": true,
"require_structured_claim": true,
"claim_consistent_must_be": true,
"require_task_artifact_identity_consistency": true,
"enforce_frozen_protected_constraints": true
},
"release": {
"bind": [
"dataset_version",
"rules_version",
"rules_sha256",
"source_manifest_sha256",
"exporter_sha256",
"parser_sha256",
"validator_sha256",
"frozen_job_verifier_versions",
"redaction_version"
],
"immutable_generations": true,
"require_independent_validation": true,
"current_switch": "lock + expected_current_revision + same_filesystem_atomic_replace + fsync",
"reader_pins_one_generation": true,
"rollback_data_and_rules_together": true,
"rollback_target": "previous_validated_unrevoked_generation_with_hashes_and_integrity_floor",
"allow_known_bad_legacy_teacher_rollback": false,
"no_valid_rollback_target": "explicit_error_no_downgrade",
"precommit_failure_changes_current": false,
"postcommit_failure": "COMMIT_UNKNOWN_query_same_event_id",
"idempotency_key": "event_id",
"block_next_switch_until_commit_reconciled": true,
"revocation_check": "final_check_under_publication_lock_and_at_reader_entry",
"revocation_updates": "same_lock_with_monotonic_epoch"
},
"implementation_cli_exit_codes": {
"0": "success_and_required_checks_pass",
"2": "validation_failed_or_no_accepted_samples",
"3": "source_changed_or_unsupported",
"4": "version_or_current_pointer_conflict",
"5": "commit_unknown_query_same_event_id"
}
}

View File

@ -41,7 +41,8 @@ class MaterializationTests(unittest.TestCase):
jd = self.root / "runs/r/j"
rd = jd / "rollouts" / f"{kk:02d}"
(rd / "agent").mkdir(parents=True)
job = {"run_id": "r", "job_id": "j", "task": "cls", "model": "resnet18", "march": "nash-m", "backend": "ptq",
job = {"run_id": "r", "job_id": "j", "task": "cls", "model": "resnet18", "march": "nash-m",
"target": {"board_type": "s100p", "march": "nash-m"}, "backend": "ptq",
"gates": {"required": ["G1", "G3"], "G1": {}, "G2": {},
"G3": {"kind": "rel_pct", "tol": 5, "require_source": "board"}, "G4": {}}}
(jd / "job.json").write_text(json.dumps(job))
@ -83,7 +84,10 @@ class MaterializationTests(unittest.TestCase):
self.assertEqual(reward["terms"]["timeout"], -1.0)
manifest = ex.materialize(["r"], "data")
self.assertEqual(manifest["stats"]["sft_eligible"], 1)
self.assertEqual(manifest["stats"]["by_march"], {"nash-m": 1})
self.assertEqual(manifest["stats"]["sft_eligible_by_march"], {"nash-m": 1})
rec = json.loads((self.root / "datasets/data/teacher.jsonl").read_text())
self.assertEqual(rec["board_type"], "s100p")
self.assertEqual(rec["verdict"]["terminal"], "PASS")
self.assertEqual(rec["execution"]["terminal"], "TIMEOUT")

View File

@ -431,7 +431,7 @@ def _write_dataset(a, work: Path, ds_id: str) -> dict:
stats = {"scanned": 0, "written": 0, "agent_written": 0, "teacher_written": 0, "student_written": 0,
"pipeline_written": 0, "excluded": 0, "dropped": {}, "review": 0, "partial": 0,
"by_terminal": {}, "by_execution_terminal": {}, "pipeline_by_terminal": {}, "sft_eligible": 0,
"reverified": 0}
"by_march": {}, "sft_eligible_by_march": {}, "reverified": 0}
with contextlib.ExitStack() as stack:
files = {name: stack.enter_context((work / f"{name}.jsonl").open("w"))
for name in ("teacher", "student", "pipeline", "exclusions")}
@ -551,7 +551,8 @@ def _write_agent(rd, a, stats, annotations, write, exclude):
"continuation": {**job["continuation"], "source_rollout": verdict["rollout"]} if job.get("continuation") else None,
"mode": mode, "policy": policy, "model": rj.get("model"),
"agent_config_version": str(rj.get("agent_config_version", "1")),
"task": job["task"], "march": job["march"], "backend": job["backend"],
"task": job["task"], "march": job["march"],
"board_type": (job.get("target") or {}).get("board_type"), "backend": job["backend"],
"messages": msgs,
"verdict": {k: verdict[k] for k in ("schema", "verification_rule", "terminal", "measured_terminal", "execution_terminal", "timeout_reason", "completion", "failed_gate", "claim_consistent", "blocked_correct", "review") if k in verdict},
"gates": {g: (verdict["gates"].get(g) or {}).get("verdict") for g in ("G1", "G2", "G3", "G4")},
@ -586,7 +587,10 @@ def _write_agent(rd, a, stats, annotations, write, exclude):
stats["partial"] += int(trajectory["partial"])
_inc(stats["by_terminal"], verdict["terminal"])
_inc(stats["by_execution_terminal"], rec["execution"]["terminal"])
_inc(stats["by_march"], job["march"])
stats["sft_eligible"] += int(sft_ok)
if sft_ok:
_inc(stats["sft_eligible_by_march"], job["march"])
def materialize(run_ids: list[str], dataset_id: str, *, refresh=False, purpose="all", policy=None,
min_agent_version=None, agent_version=None, min_reward=None,

View File

@ -1,7 +1,7 @@
"""`bench` 命令。
bench preflight [--modes oracle,e2e]
bench new-run [--note ...]
bench preflight [--modes oracle,e2e] [--target s100p]
bench new-run [--note ...] [--target s100p]
bench expand [--run r…] [--modes …]
bench run [--run r…] [--job id …] [--dry-run] [--parallel N]
bench status [--run r…] [--fail]
@ -32,7 +32,8 @@ def _run_id(con, given: str | None) -> str:
def cmd_preflight(a) -> int:
from .pipeline import preflight
errs, warns = preflight(a.modes.split(",") if a.modes else None, oracle_only=a.oracle_only)
errs, warns = preflight(a.modes.split(",") if a.modes else None,
oracle_only=a.oracle_only, target=a.target)
for w in warns:
print(f"WARN {w}")
for e in errs:
@ -43,7 +44,7 @@ def cmd_preflight(a) -> int:
def cmd_new_run(a) -> int:
from .pipeline import new_run
print(new_run(a.note or ""))
print(new_run(a.note or "", target=a.target))
return 0
@ -68,8 +69,11 @@ def cmd_run(a) -> int:
def cmd_status(a) -> int:
with db.connect() as con:
rid = _run_id(con, a.run)
run = db.get_run(con, rid)
target = json.loads(run["manifest"]).get("target") if run else None
rows = db.status_counts(con, rid)
print(f"run {rid}")
target_text = f" target={target['board_type']}/{target['march']}" if target else " target=legacy/mixed"
print(f"run {rid}{target_text}")
if a.fail:
for r in db.error_class_counts(con, rid):
print(f" {r['n']:4d} {r['error_class']:<20} {r['stage_failed'] or ''}")
@ -84,9 +88,16 @@ def cmd_status(a) -> int:
print(f" {st:<15} {total:5d}")
for t, m in tasks.items():
print(f" {t:<8} " + " ".join(f"{k}={v}" for k, v in m.items()))
ro = con.execute("SELECT state, COUNT(*) n FROM rollouts WHERE run_id=? GROUP BY state", (rid,)).fetchall()
ro = con.execute(
"SELECT j.march, r.state, COUNT(*) n FROM rollouts r"
" JOIN jobs j ON j.run_id=r.run_id AND j.job_id=r.job_id AND j.mode='oracle'"
" WHERE r.run_id=? GROUP BY j.march,r.state ORDER BY j.march,r.state", (rid,)).fetchall()
if ro:
print(" rollouts: " + " ".join(f"{r['state']}={r['n']}" for r in ro))
by_march = {}
for r in ro:
by_march.setdefault(r["march"], []).append(f"{r['state']}={r['n']}")
for march, counts in by_march.items():
print(f" rollouts {march}: " + " ".join(counts))
from .verify import summarize_results
for label, records in (("pipeline", con.execute("SELECT result FROM jobs WHERE run_id=? AND mode='oracle'", (rid,))),
("agent", con.execute("SELECT verdict FROM rollouts WHERE run_id=?", (rid,)))):
@ -357,8 +368,11 @@ def main(argv=None) -> int:
p = argparse.ArgumentParser(prog="bench")
sp = p.add_subparsers(dest="cmd", required=True)
x = sp.add_parser("preflight"); x.add_argument("--modes"); x.add_argument("--oracle-only", action="store_true", help="只跑 benchmark 那一半时放行 agent 运行时缺失"); x.set_defaults(f=cmd_preflight)
x = sp.add_parser("new-run"); x.add_argument("--note"); x.set_defaults(f=cmd_new_run)
x = sp.add_parser("preflight"); x.add_argument("--modes"); x.add_argument("--target", help="板型目标,如 s100p / s600")
x.add_argument("--oracle-only", action="store_true", help="只跑 benchmark 那一半时放行 agent 运行时缺失"); x.set_defaults(f=cmd_preflight)
x = sp.add_parser("new-run"); x.add_argument("--note")
x.add_argument("--target", required=True, help="固定本 run 的唯一板型目标")
x.set_defaults(f=cmd_new_run)
x = sp.add_parser("expand"); x.add_argument("--run"); x.add_argument("--modes"); x.add_argument("--marches", help="只展开这些 march,逗号分隔")
x.add_argument("--model", action="append", help="显式分批接入;核查真实前置,保留原 march/backend/policy/k,不改 CSV 标签")
x.add_argument("--t1", action="append", help="新批次直接使用已验证的 T1 manifest;每个数据集一份,不改旧任务")

View File

@ -21,7 +21,7 @@ from . import paths, db, gates, scheduler
from .errors import is_transient
from .eval import EVALUATOR_VERSION
from .registry import (JobSpec, expand_matrix, build_job_json, datasets, models, model_row,
registry_fingerprint, matrix, _select)
registry_fingerprint, matrix, target_spec, _select)
from .stages import ORDER, StageContext
@ -51,7 +51,8 @@ def refresh_run_dataset(run_id: str, *, strict: bool = False) -> dict | None:
# ---------------------------------------------------------------- preflight
def preflight(modes: list[str] | None = None, oracle_only: bool = False) -> tuple[list[str], list[str]]:
def preflight(modes: list[str] | None = None, oracle_only: bool = False,
target: str | None = None) -> tuple[list[str], list[str]]:
"""返回 (errors, warnings)。errors 非空 → 不允许 run。
oracle 主流程不依赖 agent 运行时或 LLM 凭证;采集轨迹时才检查这些依赖。"""
errs, warns = [], []
@ -60,7 +61,9 @@ def preflight(modes: list[str] | None = None, oracle_only: bool = False) -> tupl
# 1. registry 自洽
try:
rows = models()
specs = expand_matrix(["oracle"] if oracle_only else modes)
selected = target_spec(target) if target else None
specs = expand_matrix(["oracle"] if oracle_only else modes,
target_marches=[selected["march"]] if selected else None)
except Exception as e:
return [f"registry: {e}"], warns
if not specs:
@ -160,9 +163,9 @@ def harness_code_sha() -> str:
return h.hexdigest()
def build_manifest() -> dict:
def build_manifest(target: str | None = None) -> dict:
cfg = paths.config()
return {
manifest = {
"created_at": time.time(),
"evaluator_version": EVALUATOR_VERSION,
"harness_code_sha256": harness_code_sha(),
@ -173,13 +176,16 @@ def build_manifest() -> dict:
"board": {"host": paths.secret("BOARD_HOST"), "ucp": None, "board_type": None},
"host": os.uname().nodename,
}
if target:
manifest["target"] = target_spec(target)
return manifest
def new_run(note: str = "") -> str:
def new_run(note: str = "", target: str | None = None) -> str:
paths.ensure_dirs()
with db.connect() as con:
run_id = db.next_run_id(con, time.strftime("%Y%m%d"))
man = build_manifest()
man = build_manifest(target)
db.create_run(con, run_id, man, note)
rd = paths.RUNS / run_id
rd.mkdir(parents=True, exist_ok=True)
@ -224,6 +230,11 @@ def expand(run_id: str, modes: list[str] | None = None, marches: list[str] | Non
raise ValueError("one T1 manifest per dataset is required")
with db.connect() as con:
db.assert_run_open(con, run_id)
run = db.get_run(con, run_id)
run_target = json.loads(run["manifest"]).get("target") if run else None
target_marches = [run_target["march"]] if run_target else None
if target_marches and marches and set(marches) != set(target_marches):
raise ValueError(f"run {run_id} target 固定为 {run_target['board_type']}/{run_target['march']},不能展开 {marches}")
if receipt(run_id):
raise ValueError("continuation run has an exact task list; expand is not allowed")
if model_ids and modes == ["oracle"]:
@ -232,7 +243,8 @@ def expand(run_id: str, modes: list[str] | None = None, marches: list[str] | Non
model_row(m), evaluation=replacements.get(model_row(m).get("dataset"))))}
if blockers:
raise ValueError(f"explicit model batch has unresolved prerequisites: {blockers}")
specs = expand_matrix(modes, model_ids) if model_ids else expand_matrix(modes)
specs = expand_matrix(modes, model_ids, target_marches=target_marches) if model_ids \
else expand_matrix(modes, target_marches=target_marches)
if marches:
specs = [s for s in specs if s.march in marches] # 只展开部分 march(如补跑 nash-p),不改 registry
# 按 job_id 聚合 rollout 计划
@ -306,6 +318,7 @@ def enqueue_e2e_coverage(run_id: str, job_ids: list[str] | None = None) -> int:
from .continuation import receipt
with db.connect() as con:
db.assert_run_open(con, run_id)
run = db.get_run(con, run_id)
if receipt(run_id):
raise ValueError("continuation run must not replenish completed samples")
mx = matrix()
@ -313,7 +326,9 @@ def enqueue_e2e_coverage(run_id: str, job_ids: list[str] | None = None) -> int:
if not cfg or not cfg.get("enabled", True):
return 0
select = {k: v for k, v in (cfg.get("select") or {}).items() if k != "priority"}
marches = mx.get("marches", paths.MARCHES) if cfg.get("marches", "all") == "all" else cfg["marches"]
run_target = json.loads(run["manifest"]).get("target") if run else None
marches = ([run_target["march"]] if run_target else
(mx.get("marches", paths.MARCHES) if cfg.get("marches", "all") == "all" else cfg["marches"]))
backends = mx.get("backends", ["ptq"]) if cfg.get("backends", "all") == "all" else cfg["backends"]
model_rows = {r["model_id"]: r for r in models()}
selected = set(job_ids) if job_ids else None

View File

@ -82,6 +82,22 @@ def boards() -> dict:
return _yaml("boards.yaml")
def target_spec(board_type: str) -> dict[str, str]:
"""把用户可读板型解析成唯一编译目标;映射只认 boards.yaml。"""
mapping = boards().get("march_by_board") or {}
march = mapping.get(board_type)
if march not in MARCHES:
choices = ", ".join(sorted(mapping)) or "<none>"
raise ValueError(f"未知 target {board_type!r};可选: {choices}")
return {"board_type": board_type, "march": march}
def board_type_for_march(march: str) -> str | None:
"""返回 march 对应的板型;一对多时拒绝猜测。"""
matches = [name for name, value in (boards().get("march_by_board") or {}).items() if value == march]
return matches[0] if len(matches) == 1 else None
def board_slots(march: str | None = None) -> dict[int, dict]:
"""返回可用板卡及稳定锁编号;禁用条目仍占用其 slot,避免把一板当成两板。"""
if march is not None and march not in MARCHES:
@ -203,7 +219,8 @@ def _apply_overrides(row: dict, mx: dict) -> dict:
return out
def expand_matrix(modes: list[str] | None = None, model_ids: list[str] | None = None) -> list[JobSpec]:
def expand_matrix(modes: list[str] | None = None, model_ids: list[str] | None = None,
target_marches: list[str] | None = None) -> list[JobSpec]:
"""把 registry 展开成 JobSpec 列表;历史 Oracle repair 模式不再生成。"""
mx = matrix()
rows = models()
@ -212,7 +229,13 @@ def expand_matrix(modes: list[str] | None = None, model_ids: list[str] | None =
if unknown:
raise ValueError(f"unknown models: {sorted(unknown)}")
rows = [r for r in rows if r["model_id"] in model_ids]
marches_all = mx.get("marches", MARCHES)
if target_marches is not None:
invalid = sorted(set(target_marches) - set(MARCHES))
if invalid:
raise ValueError(f"target marches 非法: {invalid}")
marches_all = list(dict.fromkeys(target_marches))
else:
marches_all = mx.get("marches", MARCHES)
backends_all = mx.get("backends", ["ptq"])
qcfg_by_march = mx.get("qcfg_by_march", {})
tier = mx.get("data_tier", "t1")
@ -224,7 +247,9 @@ def expand_matrix(modes: list[str] | None = None, model_ids: list[str] | None =
continue
if not mcfg.get("enabled", True) or mcfg.get("when") == "oracle_fail":
continue
marches = marches_all if mcfg.get("marches", "all") == "all" else mcfg["marches"]
# run target 是更高层的不变量:显式目标时所有 mode 都只生成该 march。
# 未指定目标的旧 run 完全保留 matrix 的历史选择规则。
marches = marches_all if target_marches is not None or mcfg.get("marches", "all") == "all" else mcfg["marches"]
backends = backends_all if mcfg.get("backends", "all") == "all" else mcfg["backends"]
policies = mcfg.get("policies") or [None]
k = int(mcfg.get("k", 1))
@ -340,6 +365,7 @@ def build_job_json(spec: JobSpec, run_id: str, evaluator_version: str, plans: li
"run_id": run_id,
"job_id": spec.job_id,
"task": spec.task, "model": spec.model, "march": spec.march,
"target": {"board_type": board_type_for_march(spec.march), "march": spec.march},
"backend": spec.backend, "qcfg": spec.qcfg, "priority": spec.priority,
"rollout_plans": plans or [], # [{mode, policy, k}]
"model_spec": row,

View File

@ -50,7 +50,7 @@ boards:
rdk-sandbox-40011:
slot: 3
enabled: true # 2026-09-16 真实 ResNet18 HBM 推理通过
enabled: false # 2026-09-16 真实 ResNet18 HBM 推理通过
host_env: BOARD_4_HOST
port_env: BOARD_4_PORT
user_env: BOARD_4_USER

View File

@ -1,27 +1,45 @@
#!/usr/bin/env bash
# 一键启动 S100P(nash-m)输入准备 + Agent 首轮采集:
# scripts/start_run.sh --note "P4 batch 1" [--parallel 8] 新 run:preflight → new-run → expand → 后台 run
# scripts/start_run.sh --resume [--parallel 8] 续跑最新 run 的 PENDING(调度进程崩了先 reset-stale)
# 一键启动单一板型目标的输入准备 + Agent 首轮采集:
# scripts/start_run.sh --target s100p --note "P4 batch 1" [--parallel 8]
# scripts/start_run.sh --target s600 --note "S600 batch 1" [--parallel 8]
# scripts/start_run.sh --resume --run r… [--parallel 8] 显式续跑,避免多板型时恢复错 run
# 之后:bench watch(实时看板)· bench status · bench status --fail · bench show <job_id> · bench report
set -euo pipefail
HERE="$(cd "$(dirname "$0")/.." && pwd)"; cd "$HERE"; export PATH="$HERE/bin:$PATH"
NOTE=""; PAR=""; RESUME=0
NOTE=""; PAR=""; RESUME=0; TARGET="s100p"; RID=""
while [ $# -gt 0 ]; do case "$1" in
--note) NOTE="$2"; shift 2;; --parallel) PAR="--parallel $2"; shift 2;; --resume) RESUME=1; shift;;
--note) NOTE="$2"; shift 2;; --parallel) PAR="--parallel $2"; shift 2;;
--target) TARGET="$2"; shift 2;; --run) RID="$2"; shift 2;; --resume) RESUME=1; shift;;
*) echo "unknown arg $1"; exit 2;; esac; done
if [ "$RESUME" = 1 ]; then
RID=$(python3 -c "import sys; sys.path.insert(0,'.'); from harness import db
with db.connect() as c: print(db.latest_run_id(c) or '')")
[ -n "$RID" ] || { echo "没有 run 可续跑"; exit 1; }
[ -n "$RID" ] || { echo "--resume 必须同时指定 --run,避免恢复错板型"; exit 2; }
TARGET=$(python3 - "$RID" <<'PY'
import json
import sys
from harness import db
with db.readonly() as con:
run = db.get_run(con, sys.argv[1])
if not run:
raise SystemExit(f"run 不存在: {sys.argv[1]}")
print((json.loads(run["manifest"]).get("target") or {}).get("board_type") or "legacy")
PY
)
bench reset-stale --run "$RID" || true
else
bench preflight --modes oracle,e2e || { echo "preflight 有 ERROR,先修"; exit 1; }
RID=$(bench new-run --note "${NOTE:-start_run $(date +%F)}")
bench expand --run "$RID" --modes oracle,e2e --marches nash-m
[ -z "$RID" ] || { echo "--run 只和 --resume 一起使用"; exit 2; }
MARCH=$(python3 - "$TARGET" <<'PY'
import sys
from harness.registry import target_spec
print(target_spec(sys.argv[1])["march"])
PY
)
bench preflight --modes oracle,e2e --target "$TARGET" || { echo "preflight 有 ERROR,先修"; exit 1; }
RID=$(bench new-run --target "$TARGET" --note "${NOTE:-start_run $TARGET $(date +%F)}")
bench expand --run "$RID" --modes oracle,e2e --marches "$MARCH"
fi
LOG="state/run-$RID.log"
setsid nohup bench run --run "$RID" $PAR >> "$LOG" 2>&1 < /dev/null & disown
echo "run $RID 已在后台启动(pid $!)"
echo "run $RID 已在后台启动(pid $!;target=$TARGET)"
setsid nohup bench collect --run "$RID" --modes e2e --coverage all --first-pass --watch >> "state/collect-$RID.log" 2>&1 < /dev/null & disown
echo "Agent 首轮采集已启动(pid $!):state/collect-$RID.log"
echo " 实时看板: bench watch --run $RID"

View File

@ -18,6 +18,15 @@ class ExplicitBatch(unittest.TestCase):
with self.assertRaises(ValueError):
registry.expand_matrix(["oracle"], ["nonexistent"])
def test_run_target_replaces_legacy_mode_march_without_changing_matrix(self):
specs = registry.expand_matrix(["oracle", "e2e"], ["yolov8n.seg"], target_marches=["nash-p"])
self.assertEqual([(s.mode, s.march, s.qcfg) for s in specs],
[("oracle", "nash-p", "fp16int8"), ("e2e", "nash-p", "fp16int8")])
self.assertEqual(registry.target_spec("s100p"), {"board_type": "s100p", "march": "nash-m"})
self.assertEqual(registry.target_spec("s600"), {"board_type": "s600", "march": "nash-p"})
with self.assertRaisesRegex(ValueError, "未知 target"):
registry.target_spec("unknown")
class ExplicitRepair(Collection):
def test_admitted_model_does_not_generate_oracle_repairs(self):