diff --git a/CONTRACT.md b/CONTRACT.md index 89fa0b0..67a26df 100644 --- a/CONTRACT.md +++ b/CONTRACT.md @@ -2,7 +2,7 @@ 本文件是《BPU 量化轨迹工厂 设计方案 v0.4》的可执行摘要。代码与本文件冲突时,以本文件为准并修代码;本文件与设计方案冲突时,先改设计方案再改这里。 -2026-09-16 按当前目标收敛:默认运行 CSV 中 ready 模型的 S100P(`nash-m`)量化、编译、上板与精度评测,并为这些模型采集真实 Agent 轨迹。`collect --coverage all` 为本 run 的 oracle 模型补齐 e2e 计划:只去掉 matrix 的 priority 限制,保留任务类型、march、backend、policy 和 k;默认 `matrix` 仍使用原选择范围。已结束的流程和 Agent 轨迹都必须导出为数据,成功、精度未达标、预算耗尽分别标注,导出不能阻塞上板。 +2026-09-16 按当前目标收敛:默认运行 CSV 中 ready 模型的 S100P(`nash-m`)量化、编译、上板与精度评测,并为这些模型采集真实 Agent 轨迹。新 run 必须固定一个 target:S100P=`nash-m`,S600=`nash-p`;target 只收窄本 run 的 matrix 展开,不修改旧 run 或全局默认。`collect --coverage all` 为本 run 的 oracle 模型补齐 e2e 计划:只去掉 matrix 的 priority 限制,保留任务类型、run target、backend、policy 和 k。已结束的流程和 Agent 轨迹都必须导出为数据,成功、精度未达标、预算耗尽分别标注,导出不能阻塞上板。 2026-09-16 全 338 项覆盖补充:保持原 CSV 标签和历史 run。新批次可用 `expand --model` 显式选择模型, 前置检查依据实际权重入口、构建/导出代码、评测器、校准、数据与附加门;新增 Ultralytics 任务还必须有真实 diff --git a/HANDBOOK.md b/HANDBOOK.md index 4f2568a..349190b 100644 --- a/HANDBOOK.md +++ b/HANDBOOK.md @@ -41,8 +41,8 @@ python3 scripts/trace.py 一条轨迹逐轮回放:a bench report --run 静态 HTML 报告(reports/.html) ``` -启动/续跑:`scripts/start_run.sh --note "..."`(准备与采集)、`bench collect --run [--job …] [--limit N]`(采轨迹)。 -换代码/改配置要重启调度器时:`bench drain --run `(跑完手里的不再认领新 job)→ 等它退出 → `scripts/start_run.sh --resume`。不要 kill 正在编译的进程。 +启动/续跑:`scripts/start_run.sh --target s100p|s600 --note "..."`(一个 run 只跑一种板型)、`bench collect --run [--job …] [--limit N]`(采轨迹)。 +换代码/改配置要重启调度器时:`bench drain --run `(跑完手里的不再认领新 job)→ 等它退出 → `scripts/start_run.sh --resume --run `。不要 kill 正在编译的进程。 注意常驻进程里的代码是启动那一刻的:改了 harness/ 或 config.yaml,正在跑的 `bench run` / `bench collect` 不会变,新起的才会。 两条自检:`node agent/extensions/guard-core.test.js`(边界判定单测)、`scripts/guard_smoke.sh`(起真 pi 进程试图越界,应全部被拒)。 diff --git a/README.md b/README.md index 4456cff..43908a7 100644 --- a/README.md +++ b/README.md @@ -1,5 +1,7 @@ # bench/ — 视觉模型量化与上板评测 +本轮SFT采集改造的 [实施计划与验收标准](docs/plans/sft-collection-v1/README.md) 已纳入项目:数据完整性、共享限流恢复、执行生命周期和实时看板同轮交付;当前为待实施/待验收规范。 + ## 338 模型分批覆盖 `bench coverage --all-runs --csv reports/model-coverage.csv` 维护原 CSV 全部 338 项; @@ -16,7 +18,7 @@ FastSAM 的类别语义仍属阻塞。EfficientViT 构建器文件存在不代 通过前置核查的具名批次沿用现有命令: ```bash -bench new-run --note '338 coverage: validated model batch' +bench new-run --target s100p --note '338 coverage: validated model batch' bench expand --run RUN --modes oracle,e2e --marches nash-m --model yolov8n.seg bench run --run RUN --parallel 2 bench collect --run RUN --modes e2e --first-pass --watch --parallel 2 @@ -67,14 +69,14 @@ for d in state data cache; do mkdir -p /home/$USER/bench-$d; [ -L $d ] || { rm - | 5 | `… scripts/make_t1.py --dataset imagenet1k --dataset coco2017` | `data/t1//20260914.tar` | | 6 | `… scripts/make_calib.py --task cls --input-spec 1x3x224x224` / `--task det --input-spec 1x3x640x640` | `data/calib/…` | | 7 | `bench preflight --modes oracle,e2e` | 0 errors 才往下;包含 Agent 环境检查 | -| 8 | `bench new-run --note "S100P"` → `bench expand --modes oracle,e2e --marches nash-m` | 每个就绪模型的 `runs/r…//job.json`,`state/jobs.sqlite` | +| 8 | `bench new-run --target s100p --note "S100P"` → `bench expand --modes oracle,e2e --marches nash-m` | 每个就绪模型的 `runs/r…//job.json`,`state/jobs.sqlite` | | 9 | `bench run --dry-run` | 状态机空转一遍,不碰工具链 | 步骤 4–6 用 PTQ venv 的 python(要 pyarrow / pillow / numpy)。ImageNet 首选 HF parquet 14 片;tar 是备用源,入池时会 `tar -tzf | wc -l` 校验。 ## 2. P2 切片(真跑) -环境和数据准备好后,`scripts/start_run.sh --note "S100P" --parallel 2` 会检查环境、展开 nash-m 输入准备和 Agent 计划,后台准备 01–03 并按首轮优先采集;`--resume` 续跑已有 run。采样次数、GLM-5.3 身份和精度门槛不变。其他板型需先在 `registry/matrix.yaml` 的 `marches` 中加入对应值,再用 `bench expand --marches ...` 选择。 +环境和数据准备好后,`scripts/start_run.sh --target s100p --note "S100P" --parallel 2` 会检查环境、展开 nash-m 输入准备和 Agent 计划,后台准备 01–03 并按首轮优先采集;S600 使用 `--target s600`,run 会固定为 nash-p。续跑必须显式写 `scripts/start_run.sh --resume --run `,避免多板型时恢复错批次。run target 覆盖历史 matrix 的默认 march,但不修改 matrix,因此旧 S100P run 的任务口径保持不变。 ```bash bench run --oracle --job cls--resnet18--nash-m--ptq--int8 --parallel 1 # 仅需要完整对照时 diff --git a/docs/README.md b/docs/README.md index 3330f51..4592a6a 100644 --- a/docs/README.md +++ b/docs/README.md @@ -9,6 +9,15 @@ 运行入口与配置方式见 [项目 README](../README.md),实现约定见 [CONTRACT.md](../CONTRACT.md)。文档中的实验状态、服务器路径和实测结果对应其编写时间;当前运行状态需要重新核查。 +## SFT采集可靠性 V1(待实施) + +- [计划与规范入口](plans/sft-collection-v1/README.md) +- [实施计划](plans/sft-collection-v1/PLAN.md):数据、GLM共享配额、生命周期、实时看板一体交付。 +- [自动验收标准](plans/sft-collection-v1/ACCEPTANCE.md) 与 [机器用例清单](plans/sft-collection-v1/acceptance-cases.json):全部用例初始为NOT_RUN。 +- [确定性数据规则](plans/sft-collection-v1/DATA_RULES.md):默认保留、100%覆盖、身份去重、因果闭合及版本回滚。 + +配置草案放在该文档目录的 `rules/`,不修改当前运行配置,不表示已实施或已验收。 + ## Git 收录范围 仓库收录 harness、模型适配器、Agent 配置模板、数据导出代码、脚本、测试、registry、配置和项目文档,保留现有提交历史。 diff --git a/docs/plans/sft-collection-v1/ACCEPTANCE.md b/docs/plans/sft-collection-v1/ACCEPTANCE.md new file mode 100644 index 0000000..ad91672 --- /dev/null +++ b/docs/plans/sft-collection-v1/ACCEPTANCE.md @@ -0,0 +1,97 @@ +# SFT采集V1:自动验收标准 + +状态:**NOT_RUN,规范已记录,测试尚未执行。** 计划版本 `collection-v1-integrated`,数据规则 `sft-preserve-v1`。算法以 [DATA_RULES.md](DATA_RULES.md) 和 [PLAN.md](PLAN.md) 为准;本文件集中定义验收入口,不放宽任何规则。 + +## 1. 数据样本门 + +独立验收器读取冻结原件建分母,不能直接拿exporter的消息列表校验它自己。每条样本单独判定,再聚合统计;正文相同不作为消息身份。 + +| 检查 ID | 自动计算 | 每样本 PASS 条件 | +|---|---|---| +| OBSERVATION_ACCOUNTING | 每个 O 对应“保留消息 / 有身份证明的镜像别名 / 明确空错误排除”之一 | 归属数=观测总数,未归属=0,多重归属=0 | +| VALID_MESSAGE_COVERAGE | V 中恰好一次出现在 P 的消息数 / len(V) | 分子=分母且分母>0,即精确100%;同时 extra_source_ids=0 | +| PAYLOAD_COVERAGE | 必保留字段/块经格式映射与固定脱敏后的逐项一致性 | 缺失字段/块=0,额外非来源正文=0,非法改写=0;不只按消息条数 | +| IDENTITY_DEDUP | 每个折叠观测的身份和镜像关系证明;相同正文不同身份的保留情况 | 无证明折叠=0,同 ID 内容冲突=0,错误合并不同 ID=0 | +| ORDER_AND_CAUSALITY | P 与 V 的有序对比;调用 ID 到结果位置映射 | 序列差异=0,结果早于调用=0,移接结果=0,状态改写=0 | +| CALL_TOOL_CLOSURE | 每个调用恰有一个最终结果,且每个结果恰有一个调用 | missing=0、orphan=0、duplicate_final=0、call_id_conflict=0 | +| SOURCE_INTEGRITY | 冻结原件哈希、解析错误、来源/身份歧义 | 哈希全一致;parse_error=0、unknown_context=0、identity_ambiguous=0 | +| ERROR_EXCLUSION | 空错误白名单与保留的异常生命周期 | 每次删除均匹配谓词;成功发布样本内非空错误/不完整生成=0 | +| HARD_GATES | 第 6 节所有必选门及身份约束 | 全部 PASS(允许任务定义的 pass-screen);缺项/UNVERIFIED 即 FAIL | +| PRIVACY | 固定脱敏规则与发布范围检查 | 未处理敏感项=0;原始私有字段不出发布边界 | + + +所有required检查PASS才允许样本进入成功SFT;正常失败任务与未知完整性样本留档,不删原件。批次须全部输入有处置、全部输出通过、哈希/数量一致且至少1条合格样本;固定成功夹具必须产出预期身份,不能靠全部排除过关。wait与引用风险只打标。 + +## 2. 必选用例 + +机器清单:[acceptance-cases.json](acceptance-cases.json)。测试必须自动计算断言,不能以人工看日志或Agent自报代替;故障注入使用假上游、可控时钟和受控进程,真实小批验证正常GLM/编译/上板链路,不故意打满真实账户。 + +| ID | 场景 | PASS条件 | 当前状态 | +|---|---|---|---| +| DATA-001 | 正常段→429空错误→续跑段→再次重试→完成 | 完整有效序列覆盖100%;空错误仅在排除清单;旧“只取最后段”实现 FAIL | NOT_RUN | +| DATA-002 | 两个身份不同但内容完全相同的真实消息 | 两条都保留;任何按内容去重的实现 FAIL | NOT_RUN | +| DATA-003 | 同一消息在 message_end/agent_end 重复出现 | 一个规范消息、两个可追溯观测;无来源证明的折叠 FAIL | NOT_RUN | +| DATA-004 | agent_end 独有 user/custom;中途新增上下文 | 在真实位置保留;前移/漏掉/补造时 FAIL | NOT_RUN | +| DATA-005 | 空 error、带正文 error、正常文字429、tool isError | 仅空 error 可排;带正文 error 留档且样本不发布;正常文字/工具错误保留 | NOT_RUN | +| DATA-006 | 连续同状态心跳→新证据→状态完成 | 标签与预期相符;SFT 源消息序列、字段内容零变化 | NOT_RUN | +| DATA-007 | TIMEOUT,后一次 wait 才收到 OK | 两次真实结果各归原调用;将 OK 搬到早先调用时 FAIL | NOT_RUN | +| DATA-008 | 删除一对已闭合的早期 call/tool | 即使 closure 通过,coverage 必须 FAIL | NOT_RUN | +| DATA-009 | 孤立 result / 悬空 call / 重复 call ID / 并行反序完成 | 前三者 FAIL;合法并行各自闭合 PASS | NOT_RUN | +| DATA-010 | 旧截断删除了后文显式引用字段/仅语义改述 | 前者 REFERENCED_CONTENT_REMOVED;后者 UNKNOWN;均不自动删消息 | NOT_RUN | +| DATA-011 | 改产物SHA/假source/阈值超限/缺必选门 | 硬门 FAIL,样本保留但不进入 sft.jsonl | NOT_RUN | +| DATA-012 | 全部失败或全部空错误 | 处置清单完整,但发布 FAIL(NO_ACCEPTED_SAMPLES) | NOT_RUN | +| DATA-013 | 发布各落盘步骤中断、双发布、回滚禁用版 | 遵循第8节;无混版、无跳门、无无效 CURRENT | NOT_RUN | +| JOINT-001 | 多Agent、同组持续429 | 冷却提交后普通新请求=0;同组同时探测≤1;每逻辑生成HTTP总发送≤预算;无SDK旁路;暂停期间不新建空rollout | NOT_RUN | +| JOINT-002 | 配额恢复与再次429 | 并发每稳定窗口最多+1,不超过配置;再次429共享退让;恢复不把原有工具再提交 | NOT_RUN | +| JOINT-003 | RPM/TPM并发边界、缺usage、入口重启 | 真实发送不越已配置预算;不提前退款;账本/冷却/重试预算不因重启归零;入口失联不直连 | NOT_RUN | +| JOINT-004 | 首字节/流空闲/总请求超时 | 在相应期限收敛;不形成永久RUNNING;未完成assistant不派发工具;原因可见 | NOT_RUN | +| JOINT-005 | 排队后取消、拿槽与取消竞态 | cancel提交后新spawn/新上游发送=0;已拿槽未启动可撤回;计数归位或显式隔离 | NOT_RUN | +| JOINT-006 | 正常长编译静默、CPU空转、完全挂起 | 正常静默不按日志单信号误杀;超绝对期限进入回收;状态/阈值/依据可在页面核对 | NOT_RUN | +| JOINT-007 | 父进程退出、后代忽略TERM、板端失联 | 整个执行集合确认清空才释放;未确认则隔离,禁止新占用;清理过程有界 | NOT_RUN | +| JOINT-008 | 退出143/仅provider错误退出0 | 不写COMPLETED;原因、硬门、数据资格独立且与证据一致 | NOT_RUN | +| JOINT-009 | 请求/工具提交与回执落盘间崩溃 | 同ID同payload只复用;状态不明不重放副作用;来源与去重计数可审计 | NOT_RUN | +| JOINT-010 | collector/主机重启、DB孤儿RUNNING | 新领取前完成对账;无owner双写/重复上板;无法确认的标UNKNOWN/隔离 | NOT_RUN | +| JOINT-011 | 多浏览器、API断连、PID复用 | 实际Agent数准确;未知/过期不显示0;刷新额外LLM/业务执行次数=0 | NOT_RUN | +| JOINT-012 | 429恢复后多段对话、等待超时后成功 | SFT有效消息覆盖100%、调用闭合、身份去重与顺序检查通过;超时仍归原调用;运维事件不合成消息 | NOT_RUN | +| JOINT-013 | 导出中断、双发布、数据与运行版本回退 | 无混版;COMMIT_UNKNOWN可对账;回滚不重复任务、不恢复已撤销坏数据 | NOT_RUN | +| JOINT-014 | 真实小批次 | 实际LLM→工具→上板/精度→数据发布全程可见,所有必选门通过;不要求训练闭环 | NOT_RUN | +| QUOTA-001 | 两个项目/凭据别名同一quota_group,另一独立group同时运行 | 共享组共用预算和一次冷却;独立组不被错误暂停;所有真实HTTP经过账本 | NOT_RUN | +| QUOTA-002 | Retry-After有效/缺失/非法;HALF_OPEN超时/5xx/非空断流 | 有效期限不提前解除;未知按版本退避;失败退出探测态,未知结果对账前不发第二个探测 | NOT_RUN | +| QUOTA-003 | 1800秒累计等待耗尽后自动恢复;HTTP4次耗尽 | 等待预算不重置;仅可即时准入才恢复;HTTP耗尽不换generation_id绕过;至多3次自动恢复 | NOT_RUN | +| LIFE-001 | 遥测UNKNOWN但绝对deadline到达 | 仍按可确认所有权执行截止/回收;身份未知则隔离,不盲目按PID杀进程或无限续跑 | NOT_RUN | +| LIFE-002 | 完成与取消同时提交;旧owner晚到 | 同一提交顺序决定终态;旧epoch无法发副作用或覆盖新owner;任务硬结果与执行原因分开 | NOT_RUN | +| UI-001 | 2个Agent+1个compiler+1个collector;合法WAITING/VERIFYING数量不等 | Agent=2、compiler=1、collector单列;按phase预期身份核对,不按总数相等误报 | NOT_RUN | +| VERSION-001 | CURRENT替换后崩溃、撤销与回滚竞态 | COMMIT_UNKNOWN通过同event_id对账;锁内复查撤销;只回滚合格版本;运行和配额账本不回退 | NOT_RUN | + +## 3. 每次运行的机器回执 + +实施测试后,在运行产物目录生成独立回执;不把本计划文件中的NOT_RUN机械改成PASS。每个用例必须记录下列字段: + +```json +{ + "plan_version": "collection-v1-integrated", + "case_id": "DATA-001", + "status": "NOT_RUN", + "implementation_revision": null, + "rules_sha256": null, + "runtime_policy_sha256": null, + "source_manifest_sha256": null, + "fixture_version": null, + "started_at": null, + "finished_at": null, + "checks": [], + "evidence": [] +} +``` + +真实回执的checks逐项包含check_id、expected、actual、status;evidence每项包含相对运行目录的path与sha256。实现版本可用git提交或源码哈希;没有git不能编造提交号。null仅用于这个尚未执行的模板,真实PASS回执的适用版本/证据必须完整。非数据场景的source_manifest可指向其冻结夹具输入清单。 + +## 4. 整版PASS / FAIL + +1. A数据、B限流、C执行、D实时看板四条线全部交付;所有required case有有效且匹配当前实现/规则/配置的PASS回执。 +2. 不接受以mock结果冒充真实小批:建议至少3个独立任务,覆盖真实LLM、编译、板端评测、硬门、完整SFT落盘和看板观察;若事先版本化修改测试规模,仍须满足这些覆盖项。 +3. 覆盖原始12条前文缺失候选的存量回放;修复前夹具能暴露缺陷,修复后覆盖、payload、身份、闭合和顺序全部通过。不预设最终合格数仍为17。 +4. 发布中断、并发和回滚均按相同生产提交协议测试。提交前失败不改CURRENT;提交后不确定必须按event_id对账,不把非零退出当作“未发生”。 +5. 一个必选用例为FAIL/UNKNOWN/NOT_RUN、缺证据或版本不匹配,整版就是未通过。文档哈希/JSON解析/链接校验只能证明交付完整,不能代替功能验收。 + +拟实现的数据发布CLI退出码:0成功;2提交前验证失败/无合格数据;3来源变动/不支持;4提交前版本冲突;5 COMMIT_UNKNOWN,需要查询同event_id。当前这些CLI不因为本目录落盘而变成可用命令。 diff --git a/docs/plans/sft-collection-v1/DATA_RULES.md b/docs/plans/sft-collection-v1/DATA_RULES.md new file mode 100644 index 0000000..aceb7bf --- /dev/null +++ b/docs/plans/sft-collection-v1/DATA_RULES.md @@ -0,0 +1,201 @@ +# SFT 首版:确定性规则与自动验收规范 + +规范版本:`sft-preserve-v1`;状态:**待实现的接口与算法规范,不是已部署代码或已通过的验收报告**。对应配置:[sft-preserve-v1.json](rules/sft-preserve-v1.json)。以本文件和根报告的首版范围为准。 + +本文件限定数据子系统的三个目标:修复全程消息丢失;执行已有任务硬门;排除事件明确且内容为空的错误残片。校验、来源映射和版本发布属于数据交付条件。当前整版还须完成共享限流、执行生命周期和实时看板,见 [一体实施规范](PLAN.md);它们不再列为后续。wait 压缩、摘要、截断、相邻消息合并仍不启用。 + +## 1. 输入冻结与消息身份 + +**源数据是采样时已保存的消息,不是后来搜集的更完整日志。** 恢复导出器额外截断的 tool 内容,只能恢复到当时真实返回给 Agent 的工具结果;不能把 shell 的 `tail` 之前、Agent 从未看到的 stdout 补进历史上下文。 + +每个输入批次冻结 `run/job/attempt/runner/session`、原始事件、持久会话(如有)、当时的 prompt/system/tools 快照、job 硬门配置、受保护阶段回执与 verifier 证据。记录文件 SHA256、字节数和读取水位。读取期间变动的输入返回 `SOURCE_CHANGED`,下次重新冻结;首版仅处理已结束、文件稳定的尝试。不得用今天的文件覆盖当时缺失的 system/tools 快照。 + +为每个观测记录 `observation_id = (source_sha256, byte_offset, json_pointer)`。同一条消息在 message_end、turn_end、agent_end 中的多个观测可以指向同一 `message_id`,但必须有身份关系证明: + +1. 优先使用运行器保证唯一的 `(run, job, attempt, session, branch, native_message_id)`。payload 哈希仅校验同一身份内容是否一致,不能用作跨消息去重键。 +2. Pi 没有原生 message ID 的记录,以消息生命周期的开始/结束事件序号建立 ID;缺少开始事件时,以独立的完整 message_end 观测 ID 建立 ID。**两次 message_end 即使正文相同,也不能仅凭内容合并。** +3. turn_end/agent_end 是容器镜像。只在同一已识别运行段内,按运行器明确的消息生命周期顺序、角色与工具调用 ID,做一对一映射;payload 必须一致且映射唯一。重复收到同一镜像不产生新消息。映射不唯一则 `IDENTITY_AMBIGUOUS`,保留所有原始观测并停止该样本发布。 +4. agent_end 独有的 user/custom 不得跳过:优先取持久会话中的身份和位置,否则按该段内唯一可确定的前后关系插入规范序列。初始 prompt 快照只在运行器记录证明它就是本次初始输入时映射到该位置,不因文本相同与别的 user 消息合并。位置或身份无法确定则 `CONTEXT_ORDER_UNKNOWN`,原件保留,该样本不发布。 +5. system 快照是独立的上下文来源;中途新增 system/custom 必须保留原位置。分支只取实际执行路径,不能把兄弟分支拼接。未知运行器版本/事件形状返回 `UNSUPPORTED_SOURCE`,不靠猜测生成消息。 + +首版先支持本次已核对的 Pi 事件版本;其他 runner 只有通过相同来源和身份测试才能启用。无需同时开发通用会话协议。 + +独立 inventory 扫描器枚举全部消息观测、段边界和上下文快照;重建器据此产出规范序列。验收器直接读取冻结原件核对 inventory,不能拿导出器自己已经丢过前文的列表当分母。所有未知的可能影响对话的事件保留并报 `SOURCE_EVENT_UNKNOWN`;已知纯运维事件按类型归档。 + +## 2. 唯一允许的语义删除:明确且全空的错误残片 + +删除谓词必须同时满足以下条件;不匹配则不删: + +```python +drop_empty_error = ( + event.type == "message_end" + and message.role == "assistant" + and message.stopReason == "error" # 原始结构化字段,非正文关键词 + and adapter.error_origin in {"provider", "transport"} # 已支持运行器的事件映射 + and content_is_provably_empty(message) # 检查全部 block,不能只取 text + and no_tool_call_fields_or_blocks(message) + and no_linked_tool_execution(message) + and not had_nonempty_stream_delta(message) +) +``` + +`content_is_provably_empty` 的固定定义:content 为 `null`、`""`、`[]`,或仅由已支持的 text/output_text 类型且 text 严格等于空串组成;缺少必需字段、未知 block、非空空白串、thinking/reasoning/图片等其他 block,均不自动认定为空。`had_nonempty_stream_delta` 检查对应生命周期中是否曾出现非空文本/思考块或工具参数 delta;残片不补造成完整消息。 + +`adapter.error_origin` 是版本固定的事件映射结果,不是要求旧日志恰有同名字段;只能根据已核对的运行器事件语义和结构化字段确定。来源无法确定时不套空错误排除规则。 + +- 删除写入 `excluded_observations.jsonl`:原始身份、事件位置、规则 ID、原始哈希和原因 `EMPTY_ERROR_FRAGMENT`。原文件不删,容器镜像一并指向这条排除记录。 +- 非空或形状不明的 error、aborted、仅有流式残片的生命周期:保留并标 `ERROR_CONTENT_RETAINED` / `INCOMPLETE_GENERATION`,首版不裁剪;该轨迹不进入成功 SFT 发布集,原因由字段判定,不交给人工逐条选句。 +- `toolResult.isError=true`、编译失败后修正、bash 超时返回,都是 Agent 实际收到的工具观察,必须保留。它们不等同于 provider 的空生成错误。 +- `auto_retry_start/end` 等已知运维事件进入 `operations.jsonl`,本来就不是对话消息;不为它们编造 assistant 回答。正文里写了 429/error/timeout 不是删消息的依据。 + +全量保留的是**原始证据和非白名单内容**;不满足成功发布条件的整条轨迹进入保留区,不能悄悄裁掉问题片段后重新标合格。 + +## 3. 因果与内容约束 + +首版关闭现有会改变正文/顺序的 R2 去块、R3 system 合并前移、R5 通用去空、R6 相邻角色合并、R7 tool 截断。仅允许已定义且可逆的格式映射,以及固定版本的必要脱敏;未知字段保留于规范记录,不静默忽略。某消费格式无法表示时,保留规范数据并报格式不支持,不强行输出一个有损成功样本。 + +脱敏单独记录字段级变换清单与规则版本;验收以独立重算的期望脱敏视图比较输出。未脱敏原件受控保存,不出现在页面或发布文件中;脱敏不允许改 role、顺序、工具调用 ID、执行状态。敏感值一致映射,不能把脱敏当作任意删内容的豁免。 + +以下为每条样本的强制断言: + +```python +expected = source_message_ids - proven_empty_error_message_ids # 保持源序 +assert output_source_ids == expected # 序列相等,非集合相等 +assert all_source_payloads_accounted_for() # 包括完整 tool 内容/上下文 +assert output_view == independently_rendered_expected_view # 含固定脱敏 +assert every_alias_has_same_identity_and_payload() +assert every_tool_result_follows_its_own_call() +assert no_call_id_is_reused_for_a_different_call() +assert no_status_or_timeout_fact_is_rewritten() +``` + +格式拆分以 `(source_message_id, block_index)` 保持块顺序,合并计数时仍算一个源消息;每个块必须恰好覆盖一次。允许并行工具以真实完成顺序返回,不要求不同调用的结果按调用先后排序;禁止跨调用/跨 attempt 移接结果。 + +默认工具协议是一条调用对应一条最终 toolResult;过程更新不计最终结果。孤立结果、缺结果、同一调用多个终结结果、结果早于对应调用、调用 ID 冲突,任一发生均不发布该样本。即使后续状态文件为 OK,也不能改写早先返回的 TIMEOUT;等待器状态和实际操作状态分别保存。 + +## 4. 系统自动算哪些数,怎样判 PASS / FAIL + +设:`O` 为全部消息观测;`C` 为确认身份后的规范消息序列;`X` 仅为第 2 节白名单排除消息;`V=C-X`;`P` 为输出对应的源消息序列。运维事件另计,不伪装为丢失消息或有效消息。 + +| 检查 ID | 自动计算 | 每样本 PASS 条件 | +|---|---|---| +| OBSERVATION_ACCOUNTING | 每个 O 对应“保留消息 / 有身份证明的镜像别名 / 明确空错误排除”之一 | 归属数=观测总数,未归属=0,多重归属=0 | +| VALID_MESSAGE_COVERAGE | V 中恰好一次出现在 P 的消息数 / len(V) | 分子=分母且分母>0,即精确100%;同时 extra_source_ids=0 | +| PAYLOAD_COVERAGE | 必保留字段/块经格式映射与固定脱敏后的逐项一致性 | 缺失字段/块=0,额外非来源正文=0,非法改写=0;不只按消息条数 | +| IDENTITY_DEDUP | 每个折叠观测的身份和镜像关系证明;相同正文不同身份的保留情况 | 无证明折叠=0,同 ID 内容冲突=0,错误合并不同 ID=0 | +| ORDER_AND_CAUSALITY | P 与 V 的有序对比;调用 ID 到结果位置映射 | 序列差异=0,结果早于调用=0,移接结果=0,状态改写=0 | +| CALL_TOOL_CLOSURE | 每个调用恰有一个最终结果,且每个结果恰有一个调用 | missing=0、orphan=0、duplicate_final=0、call_id_conflict=0 | +| SOURCE_INTEGRITY | 冻结原件哈希、解析错误、来源/身份歧义 | 哈希全一致;parse_error=0、unknown_context=0、identity_ambiguous=0 | +| ERROR_EXCLUSION | 空错误白名单与保留的异常生命周期 | 每次删除均匹配谓词;成功发布样本内非空错误/不完整生成=0 | +| HARD_GATES | 第 6 节所有必选门及身份约束 | 全部 PASS(允许任务定义的 pass-screen);缺项/UNVERIFIED 即 FAIL | +| PRIVACY | 固定脱敏规则与发布范围检查 | 未处理敏感项=0;原始私有字段不出发布边界 | + +覆盖率必须按每条样本校验,再展示全批统计;不能用总体平均掩盖一条丢前文,也不能把失败项动态划入 X 凑100%。没有正常 assistant 行为、只有 system/user/空错误的轨迹返回 `NO_USABLE_ASSISTANT`。 + +`sample_pass = all(required_check == PASS)`。失败样本保留到 `retained.jsonl` 并记录固定 reason_code、源身份和数值;不删源轨迹,不需要人来决定是否绕过门槛。wait 和引用风险标签属于 advisory,不因有这些标签就删除样本。 + +批次可以包含正常失败任务:不要求70条全部成功。发布门是:所有输入尝试均有 accepted/retained/no-usable 处置;所有 accepted 样本全部通过;来源与处置数量一致;输出至少1条合格样本。另有**实现验收**门:固定成功回归样例的通过数和身份列表必须精确匹配预期,不能靠“全部放进保留区”伪装修好了 P0。 + +## 5. wait 与截断:自动判定,首版只标记 + +### 5.1 wait 的状态机 + +操作键固定为 `(run, job, attempt, stage_handle, execution_attempt)`,不能仅按模型名或命令正文聚合。只读取当时的结构化状态/工具回执,或用版本固定、严格语法的 stageclient 输出解析器;读取不到就是 UNKNOWN,不能用当前最终状态回填历史。 + +状态为 `QUEUED / RUNNING / OK / FAIL / CANCELLED / UNKNOWN`。允许观测跳过中间态,例如 QUEUED 后直接读到 OK;不允许终态后倒退。同一 handle 重试执行必须有新的 execution_attempt,否则标 `STATE_CONFLICT`。 + +同时保留原始 `stage_state`(例如 DONE)、`stage_result`(例如 OK/FAIL)和 `waiter_outcome`。归一状态 OK 只能来自受保护阶段的成功结果,不能来自 bash 管道退出0;SKIPPED 或无法对应的状态归 UNKNOWN,不伪装成功。 + +| 条件 | 自动标签与旁路行为 | SFT 正文 | +|---|---|---| +| 首次观测或 state 与上次不同 | FIRST_OBSERVATION / STATE_CHANGED,保存转换边 | 原样保留 | +| state 相同且可比较的证据内容发生变化 | SAME_STATE_NEW_EVIDENCE,保存新增证据摘要/哈希 | 原样保留 | +| state 相同,结果字段/证据内容相同,只有声明的心跳字段变化 | HEARTBEAT_REPEAT;旁路聚合 count、first/last、source_ids | 原样保留 | +| 无法解析状态、无法确认操作键或证据完整性 | WAIT_UNKNOWN | 原样保留 | + +心跳字段白名单只包含时间戳、elapsed、poll 序号等声明的运维字段。结果比较至少包含 exit_code、error_class、产物/指标、证据内容哈希和新增日志载荷;路径一样但内容变了也算证据变化。未知字段不得忽略,归 UNKNOWN。每次工具返回内若包含多次状态转换,逐项提取,不能只看最后一行。 + +因此“有没有**状态进展**”由状态机严格判定;“是不是**纯重复心跳**”再要求证据也未变化。两者分开,避免将同状态下新得到的失败摘要删掉。本批 MobileNetV2 第二次 wait 补回失败摘要就是应覆盖的例子。 + +首版的心跳压缩仅发生于 `annotations.jsonl` / 前端统计:一组重复观测生成一条汇总并保留全部 source_ids。`mutate_sft_messages=false`;不移走消息中的心跳,不删除重复 assistant/tool 回合。bash 等待超时只设置 `waiter_outcome=TIMEOUT`,不推断 stage 失败或成功。 + +### 5.2 截断字段是否被后文引用 + +首版不再做新的导出截断。对历史导出与原始 tool 消息比较,自动输出 `removed_fields`:JSON 字段用 JSON Pointer;纯文本用源消息中的字节区间;字段值/区间均带哈希。只看截断消息之后的 assistant 正文和工具参数,排除此前文本。 + +按固定顺序匹配: + +1. 后文有明确 `(source_message_id, JSON Pointer / span)` 引用,且命中被截区间:`REFERENCED_CONTENT_REMOVED`。 +2. 后文具有完整字段路径,或同一字段键与完全相等的标量/字符串值配对,能唯一对应被截字段:同上;多个候选来源则 `REFERENCE_AMBIGUOUS`。仅出现常见数值、普通关键词不算精确命中。 +3. 文本仅同字串复现但不能确认来源:`LITERAL_MATCH_UNRESOLVED`。已支持结构中未检出显式引用:`NO_EXPLICIT_REFERENCE`;未知格式、缺少原件、自然语言改述无法确定依赖:`REFERENCE_UNKNOWN`。 + +“被截字段被引用”与“该次决策失去唯一依据”另分两项。后者必须检查引用之前全部保留的 system/user/assistant/tool 上下文及重新读取结果,确认没有其他可用来源,才标 `CONFIRMED_CONTEXT_REFERENCE_LOSS`;否则只保留引用命中标签,不能因常见值碰巧相同断言因果断裂。 + +**NO_EXPLICIT_REFERENCE 不等于“证明没影响”。** 现有自由文本没有完整的引用关系,代码无法可靠判定所有隐含依赖;确定性做法是输出 UNKNOWN 并保留,而不是用另一个 LLM 猜测或自动删。将来若要按字段依赖安全压缩,应先增加结构化引用,再另外版本验收。 + +本版从原始工具消息重建完整内容,以上标签只用于回溯旧导出问题。原始消息缺失而无法恢复,PAYLOAD_COVERAGE / SOURCE_INTEGRITY 失败,整条留档不发布。截断命中引用与否均不授权改写历史决策。 + +## 6. 硬门:机器判断,不改当前任务含义 + +每条样本绑定冻结 job 的 required_gates、指标方向/容限、评估集身份及受保护证据。不以 assistant 自称成功或退出码0代替验证。 + +- 任务/产物绑定:run/job/attempt、目标架构、模型、HBM SHA、阶段回执中的身份逐字段一致;执行现有 `validate_hbm_measurements` 等独立核验。历史哈希缺失=UNVERIFIED,今天重算不能补造昨日回执。 +- G1:冻结任务要求的产物、架构、输入类型/layout、verifier、日志规则逐项通过;保护边界/禁止修改由既有 guard 或可核验记录验证。缺必需证据=UNVERIFIED,不文本猜测。 +- G3:source 严格为 board;FP32/量化指标有限且方向明确;数据集/子集/n 与该 job 一致;按冻结配置重算。当前 rel_pct:lower-better 用 `100*(quant-fp32)/abs(fp32)`,higher-better 用 `100*(fp32-quant)/abs(fp32)`;baseline=0 为 UNVERIFIED;劣化≤5%,使用现有 verifier 固定数值容差,不另放宽 T1。 +- 所有任务特有必选门必须通过;多指标全过,pose/depth 等额外限制按原配置。当前默认 G1/G3,G2 诊断身份保持;本批100张T1只发布为 pass-screen,不能升格为全量精度通过。 +- claim 使用现有结构化声明与 verifier 的对应字段检查;缺声明或矛盾按既有规则阻断,不能让人从自由文本“感觉成功”。 + +执行终态独立保留:TIMEOUT 不改 DONE,工具失败不改成功。如果任务已按冻结规则上板/精度通过、声明一致、全程完整且调用闭合,执行超时本身不追加一条新硬门;如果超时留下缺失结果/中断生成,则上述完整性门自然失败。 + +## 7. 待实现的自动验收用例 + +测试夹具固定 expected IDs、字段哈希、标签和退出结果;回归不是让人逐条对行号。所有用例通过才算实现验收 PASS。 + +| 输入/故障 | 必须自动得到的结果 | +|---|---| +| 正常段→429空错误→续跑段→再次重试→完成 | 完整有效序列覆盖100%;空错误仅在排除清单;旧“只取最后段”实现 FAIL | +| 两个身份不同但内容完全相同的真实消息 | 两条都保留;任何按内容去重的实现 FAIL | +| 同一消息在 message_end/agent_end 重复出现 | 一个规范消息、两个可追溯观测;无来源证明的折叠 FAIL | +| agent_end 独有 user/custom;中途新增上下文 | 在真实位置保留;前移/漏掉/补造时 FAIL | +| 空 error、带正文 error、正常文字429、tool isError | 仅空 error 可排;带正文 error 留档且样本不发布;正常文字/工具错误保留 | +| 连续同状态心跳→新证据→状态完成 | 标签与预期相符;SFT 源消息序列、字段内容零变化 | +| TIMEOUT,后一次 wait 才收到 OK | 两次真实结果各归原调用;将 OK 搬到早先调用时 FAIL | +| 删除一对已闭合的早期 call/tool | 即使 closure 通过,coverage 必须 FAIL | +| 孤立 result / 悬空 call / 重复 call ID / 并行反序完成 | 前三者 FAIL;合法并行各自闭合 PASS | +| 旧截断删除了后文显式引用字段/仅语义改述 | 前者 REFERENCED_CONTENT_REMOVED;后者 UNKNOWN;均不自动删消息 | +| 改产物SHA/假source/阈值超限/缺必选门 | 硬门 FAIL,样本保留但不进入 sft.jsonl | +| 全部失败或全部空错误 | 处置清单完整,但发布 FAIL(NO_ACCEPTED_SAMPLES) | +| 发布各落盘步骤中断、双发布、回滚禁用版 | 遵循第8节;无混版、无跳门、无无效 CURRENT | + +首轮存量回放:冻结本次70尝试,42条旧导出用于差异对照;对12条前缀缺失候选逐条生成自动 coverage/closure/payload 结果。不能提前承诺恢复后仍恰好17条合格。随后再跑一批有真实业务成功证据的采集,比较标签与实际落盘;本版不以“压缩率”作为通过指标。 + +## 8. 规则、数据、发布与回滚 + +每版必须绑定:`dataset_version`、`rules_version`、规则文件 SHA256、源清单 SHA256、exporter/parser/validator 代码哈希、固定脱敏版本、冻结 job/verifier 版本。无 Git 时用文件哈希,不编造 commit。输入、规则或实现任一变化,都生成新的 dataset_version。 + +```text +datasets// + rules.json # 发布所用规则的真实副本 + source-manifest.json # 原件身份与哈希;不公开原始敏感载荷 + sft.jsonl # 全部硬门与完整性门通过的样本 + retained.jsonl # 留档样本的受控记录/引用及明确不发布原因 + lineage.jsonl # observation -> message -> output/alias/exclusion + annotations.jsonl # wait/引用风险;不修改 messages + dataset-manifest.json # 上述产物哈希、数量与版本 + acceptance.json # 引用 dataset-manifest 哈希,逐项 PASS/FAIL + release.json # 引用 manifest 和 acceptance 的哈希 +CURRENT.json # 只指向完整 release,含指针修订号 +``` + +验收文件不放进它自己所引用的 dataset-manifest,以免哈希循环。operations/原始证据保持独立受控存储;所有文件中敏感字段的处理都受 PRIVACY 门约束。 + +发布状态机:`BUILDING → VALIDATING → READY → PUBLISHED`;提交前失败保留 `FAILED` 诊断,不改 CURRENT;提交阶段中断单列 `COMMIT_UNKNOWN`,由事件 ID 与持久指针恢复确认。发布状态写外部日志,不原地修改冻结版本内的验收文件。 + +1. 在 staging 完成数据、来源映射和 manifest;冻结文件后独立校验。mandatory 检查全 PASS、accepted>0、所有输入有处置,才签发 acceptance 与 release(“签发”是生成校验回执,不依赖另建签名服务)。 +2. 版本目录只读发布,禁止原地覆盖。文件与目录 fsync 后就绪;同版本重试必须内容哈希一致,否则 `VERSION_COLLISION`。 +3. 发布器持锁,并核对调用者的 `expected_current_revision`;不一致返回 `PUBLISH_CONFLICT`。锁内最后复查目标未撤销、未命中封禁及完整性底线;撤销/封禁表更新使用同一锁并增加 epoch。在同一支持原子替换的文件系统内写临时 CURRENT、fsync、`os.replace`、fsync 父目录。读者只读取一次指针并固定该版本,校验 release/manifest 哈希;不会逐文件追随变化中的 CURRENT。每次新的读取会话同时检查撤销表,已撤销版本不继续对外供应;已交付的旧文件无法被指针切换收回。 +4. 切换事件在切换前持久记录 intent,指针中保存 event_id;`os.replace` 是切换点,父目录 fsync 确认持久提交。成功记录 commit;切换前失败不改变指针;切换后写审计/响应失败或提交阶段崩溃则返回/记录 `COMMIT_UNKNOWN`,不能声称指针未变。按相同 event_id 查询当前指针与持久日志后幂等收敛;提交结果尚不确定时不接受下一次切换,禁止用新 ID 盲目重发。进程中断/主机恢复后只能读完整旧版或完整新版;首版无旧指针时明确“尚未发布”,不读取 staging。 +5. 回滚使用同一锁、CAS、哈希校验和原子切换路径,规则与数据一起切回。目标必须是历史已通过验收且未撤销的版本;按它绑定的规则/实现复核,并满足不可降低的完整性底线。不能绕过已知缺前文/错误改写等封禁来“回滚成功”。不用最新版所有业务筛选规则替代旧规则,否则不是规则与数据一起回滚。 +6. 记录 from/to、两边规则版本、reason、事件序号;回滚不改原始轨迹、DB任务状态或 verdict。无合格历史版本则返回 `NO_ROLLBACK_TARGET`,保持当前合格版;当前版已撤销则停止对外供应,保留诊断访问,不退回已知有问题的 teacher 数据。 + +建议实现 CLI 契约(**以下命令名称尚待实现,本轮未运行**):`rebuild --source-manifest ... --rules ... --out ...`;`validate --generation ...`;`publish --generation ... --expected-current ... --event-id ...`;`rollback --to ... --expected-current ... --event-id ...`;`publication-status --event-id ...`。统一输出机器可读 JSON;退出码0表示请求成功且所有必选检查通过,2表示提交前验证失败/无合格数据,3表示源输入不稳定/不支持,4表示提交前版本或指针冲突,5表示 COMMIT_UNKNOWN。2/3/4不改变 CURRENT;5或提交后无响应必须查询同一 event_id,不能据退出码断言未发布。 diff --git a/docs/plans/sft-collection-v1/EVIDENCE.md b/docs/plans/sft-collection-v1/EVIDENCE.md new file mode 100644 index 0000000..a0c709b --- /dev/null +++ b/docs/plans/sft-collection-v1/EVIDENCE.md @@ -0,0 +1,36 @@ +# 2026-09-21只读核查背景与源码定位 + +这是历史证据摘要,不是当前运行状态或本次验收结果。本次文档入库没有重新跑模型、重导出或故障注入;真实日志、数据库、轨迹和大型审计文件继续保存在运行/审计环境,不纳入源码文档包。 + +## 历史快照范围 + +目标:`/home/ming01.wang/bench-extension-20260920/bench`,批次 `r20260921-01`。北京时间2026-09-21 15:38:19记录70次尝试、32个模型,DB PASS/FAIL/BLOCKED/UNVERIFIED=17/3/1/49,DB RUNNING=0;这不证明整台主机实际进程为0。 + +同次导出42条混合证据,17条现行SFT候选,28次无可用消息未导出。teacher SHA256:`769d0be566f4ff29e0f7365b6f3e8f23cb5cda04902b1b066ca341a57cbeecfd`。 + +后续原始事件对照覆盖70份事件和同一版导出:61次尝试出现429;214条429错误assistant终结消息的content为空、无toolCall。本次扫描未发现这些重试事件直接进入候选messages;这不保证未来所有非空错误形态都安全。 + +导出器把最后一次agent_end当完整历史,造成42条导出中18条缺正常已完成前文;17条候选中12条共缺116条正常assistant/tool消息(43+73)。局部call/tool闭合与partial=false无法发现整对前文丢失。因此全程覆盖与身份验收为P0。 + +17条候选含132次wait、345行心跳;其中10次是外层bash等待超时。已匹配的132个wait起止区间未见assistant开始/结束事件,但不是对SDK隐藏HTTP的抓包证明。MobileNetV2重复wait补回失败摘要说明同状态不等于无新证据。 + +## 项目内实现定位 + +以下是此次审计的主要实现位置;实现后源码会变化,证据绑定须使用对应版本/哈希,不能只依赖旧行号。 + +| 范围 | 源文件 | 核查与待修点 | +|---|---|---| +| 重建/清理/资格 | [export/to_agentrl.py](../../../export/to_agentrl.py) | load_trajectory末段覆盖、R2/R3/R5/R6/R7有损变换、局部闭合不足 | +| 硬门与身份 | [harness/verify.py](../../../harness/verify.py)、[harness/gates.py](../../../harness/gates.py)、[registry/gates.yaml](../../../registry/gates.yaml) | 独立证据、同HBM哈希、冻结G1/G3/任务特殊门;100张T1只为pass-screen | +| Agent终态 | [harness/rollout.py](../../../harness/rollout.py) | 非零退出可能写DONE,执行/任务/数据资格分开 | +| 调度与阶段 | [harness/scheduler.py](../../../harness/scheduler.py)、[harness/stageworker.py](../../../harness/stageworker.py)、[harness/stagerun.py](../../../harness/stagerun.py) | 可取消排队、spawn竞态、有界join、handle与回执恢复 | +| 活性与恢复 | [harness/watchdog.py](../../../harness/watchdog.py)、`harness/recovery.py`(远端扩展版)、[harness/heartbeat.py](../../../harness/heartbeat.py) | 整个执行集合回收、稳定进程身份、重启对账;不能以日志静默或leader退出作充分证据 | +| stage wait | [bin/stageclient.py](../../../bin/stageclient.py) | 工具内部等待不需要模型循环;CLI路径没有默认max_wait_s,不把外层bash超时说成内部定时返回 | +| 监控来源 | [harness/db.py](../../../harness/db.py)、[harness/watch.py](../../../harness/watch.py)、[harness/report.py](../../../harness/report.py) | readonly聚合与共享采样;旧CLI/report可能写DB/文件,不能直接作为刷新接口 | +| 板端回收 | [板端进程生命周期](../../board-process-lifecycle.md) | 复用guard/租约,但远端清理必须有确认;未确认即隔离 | + +当时核对的Pi版本为0.73.1,已有2/4/8秒重试;SDK还有独立重试层,实际请求可能多于Agent轮次。共享broker必须落在真实HTTP边界并关闭叠加重试。GLM账户实际RPM/TPM/并发上限仍待核实,计划中的预算初值只属于本地工程策略。 + +## 原始审计产物索引 + +审计产物名称:`live-snapshot.json`、`source-check.json`、`audit_429_summary.json`、`candidate-prefix-loss.json`、`queue_audit.json`、`429_code_evidence.json`,保留在2026-09-21采集审计交付目录。它们不随本源码文档包复制,也不作为当前功能已通过的证据。项目内源码与运行目录仍是实施时重新冻结输入的来源。 diff --git a/docs/plans/sft-collection-v1/PLAN.md b/docs/plans/sft-collection-v1/PLAN.md new file mode 100644 index 0000000..441f089 --- /dev/null +++ b/docs/plans/sft-collection-v1/PLAN.md @@ -0,0 +1,162 @@ +# 一体实施版 V1:SFT 完整性、限流恢复、执行生命周期与实时看板 + +计划版本:`collection-v1-integrated`。状态:**待实施计划;没有部署、故障注入或重新采集的完成声明**。数据规则继续使用 [sft-preserve-v1](DATA_RULES.md),其保留、硬门、自动验收和数据回滚约束不放宽。新增运行配置草案见 [collection-v1-runtime.json](rules/collection-v1-runtime.json)。 + +本轮一并交付:数据 P0、GLM 429 与账户共享配额、重试风暴抑制、长时间无进展检测、取消与资源回收、真实终态、重启对账,以及实时进程和任务看板。单项可先合入,但**全部联合验收通过,才称为这一版完成**。不加入 RL、奖励、训练器;wait 压缩仍不改数据。 + +## 1. 实施边界与公共记录 + +每次执行使用稳定的 `execution_id`,关联 run/job/attempt、session、Agent/worker/工具进程身份、stage_handle、资源租约、模型请求与原始消息序号。以下事实分列,禁止压成一个 PASS: + +- `activity`:QUEUED / WAITING_QUOTA / WAITING_LLM / WAITING_RESOURCE / RUNNING_TOOL / COMPILING / RUNNING_BOARD / VERIFYING / RECOVERING。 +- `execution_state`:ACTIVE / PAUSED_INFRA / CANCEL_REQUESTED / CLEANING / TERMINAL;另存 stop_reason、退出码、信号、最后完成消息和恢复点。 +- `execution_outcome`:COMPLETED / CANCELLED / DEADLINE_EXCEEDED / BUDGET_EXHAUSTED / INFRA_ERROR / AGENT_ERROR / LOST;未结束为空。 +- `cleanup_state`:NOT_NEEDED / PENDING / VERIFIED / UNKNOWN / QUARANTINED。 +- `task_verdict` 与 `sft_validation`:现有硬门结果、数据完整性与资格分别记录。 + +执行退出原因、硬门事实不互相覆盖。SIGTERM/143不能写COMPLETED;只有对应的持久取消请求才能归类CANCELLED,没有取消来源则记录异常退出/监督者丢失。退出0但生成全是错误、无正常协议完成也不能写COMPLETED。历史 DONE 的原始值保留,纠错以带原因与证据的派生状态或审计更新记录表达。正常COMPLETED还须满足adapter确认协议正常结束、必要收尾已核实;未清理完成的执行不能显示为已安全完成。 + +公共持久日志至少包含:事件 ID、execution_id、单调序号、wall time、事件类型、原因码、关联 request/message/tool_operation/receipt、运行配置版本。系统行为由结构化事件驱动;页面与数据导出不分别猜状态。 + +## 2. GLM 429:统一在真实 HTTP 请求入口调度 + +### 2.1 配额归属与请求预算 + +建立一个所有受控 Pi/SDK 请求实际经过的配额入口;不能只在每次 Agent 生成前做一次 hook,就声称覆盖 SDK 内部重试。按供应商实际共享的账户/项目/模型限制配置 `quota_group`,多个 credential alias 可以属于同一组;不同项目或endpoint别名不能擅自拆开账户预算,模型独立额度只能作为额外子预算。日志与看板不包含密钥。存在未接入的账户调用方时标明控制覆盖不完整,不宣称已控制该账户全部请求。 + +每个上游发送动作必须先原子取得该组的并发、RPM和TPM预算,计入 `http_attempt_id`。并发包括未关闭的流式请求;RPM按真实发送次数计算;TPM先预留输入与最大输出预算,再按真实 usage结算。缺 usage不乐观返还预算;取消连接但无法确认上游结束时保留有界请求租约,不能提前放出重复容量。 + +token计量需记录tokenizer/估算器版本和是否为保守上界;无法精确核对时标ESTIMATED,展示内部预留而非伪称供应商真实TPM。验收验证该计量策略下的准入预算及可靠usage对账;上游不公开计量口径时仍依赖429共享退让,不能保证绝不被上游限流。 + +内部RPM/TPM采用明确的60秒滑动窗口(本地保护口径,供应商窗口另行记录)。RPM从真实发送提交点计时;TPM保守预留在请求活动期间保持,确认结束后按可靠usage结算,未获usage则继续保留估算量,至结束后一个窗口到期释放,不永久占额。请求是否结束无法确认则进入对账/隔离,不仅因租约时间到了就宣布并发已释放。 + +实际账户上限尚未核实,草案不伪造GLM配额数。上线前明确内部并发/RPM/TPM预算和预算来源;未知供应商维度仍记UNKNOWN,不把内部预算称为账户真实上限。未配置内部预算则拒绝启动新采集并显示 `QUOTA_CONFIG_INCOMPLETE`。响应中的Retry-After、limit/reset/request-id等字段仅按允许列表脱敏保存。 + +只留一个重试负责层:本版显式关闭SDK/Pi自主网络重试并在启动时验证,由broker统一调度,禁止三层各自翻倍。关闭无效或检测到旁路则阻止采集启动。失败时不能绕过入口直连。一个逻辑生成最多4次真实HTTP发送(首发+3次重试,建议初值);达到上限后持久暂停本次采集,不另开新 rollout 来规避上限。每组最多一个有剩余预算的存量请求作恢复探测,不为探测另造模型对话。 + +### 2.2 配额组状态机 + +`OPEN → COOLING → HALF_OPEN → RECOVERING → OPEN`;账户硬额度耗尽、认证失效或管理性停用另为组级 `PAUSED`,来源不明保留具体原因。当前RPM/TPM窗口不足只是排队等待;单个generation尝试预算耗尽仅暂停该execution,不能据此暂停整个quota_group。 + +1. 收到429时,原子记录共享冷却期限并降低目标并发:`max(1, floor(previous_target/2))`。发送许可带组epoch;检查epoch/取消/预算、登记发送记录与transport启动处于同一受保护dispatch提交区间,不得检查后释放锁再异步发送。该提交点是HTTP发送计数的线性化点;崩溃导致是否已发送不明的记录保守占用预算并对账。已经在途的请求可结束,但冷却状态提交后普通请求新发送数必须为0;已在途数与冷却后误发数分别统计。 +2. 首次退避建议30秒;连续同类失败指数增长,内部退避上限900秒。`not_before = max(已有冷却期限, 本地退避期限, 合法Retry-After/已知reset期限)`,不得为了900秒上限提前突破供应商等待时间。组级抖动只计算并保存一次,不由每个Agent各自醒来抢发。 +3. 冷却到期通过持久租约只释放一个 HALF_OPEN 请求。只有正常完整响应才算成功;429或明确的暂时网络/5xx失败回有界COOLING。非空流中断暂停对应generation并记录INCOMPLETE_GENERATION;发送/结束状态未知则进入RECONCILING,未确认前不放第二个探测;对账超过请求总期限则组级PAUSED并显示REQUEST_OUTCOME_UNKNOWN。探测租约超时回收前确认请求状态,不允许多个worker同时探测。该探测计入真实请求/RPM/TPM和原逻辑请求预算。 +4. 探测成功后进入RECOVERING,先保持低并发;建议每个连续60秒无429且至少3次正常完整响应的窗口最多加1并发,始终受配置上限与RPM/TPM约束。没有流量不能凭时间恢复到32路;再次429立即退让。 +5. 401/403等明确不可重试错误不走429快速循环;按结构化原因暂停该组。没有可解析配额维度时记录UNKNOWN并共享退让,不从错误正文猜TPM/RPM。 + +最长配额等待建议30分钟,超过后写 `PAUSED_INFRA/QUOTA_WAIT_BUDGET_EXHAUSTED`,释放不应占用的Agent执行槽;不得无限占着RUNNING。暂停前保存会话与恢复点,已提交工具仍由worker受管执行。恢复由调度器在组级条件满足后领取一次,不通过LLM询问“现在能否继续”;连续环境失败次数与总等待预算不会因重启清零。自动恢复次数也有上限,超过后停在可见的PAUSED_INFRA,等待外部恢复条件或明确运维重试。 + +自动恢复建议每execution最多3次,并且仅限请求仍有预算、会话恢复点完整、无副作用未知的执行。HTTP预算耗尽或非空流中断后,不自动重置generation_id再请求;进入预算耗尽/完整性原因对应的暂停或结束状态。没有合格存量请求时不发送探测;下一条合法新任务可承担唯一探测。无法保存会话的旧runner不能被当作可透明恢复,需先完成checkpoint接线再启用自动暂停/恢复。 + +累计配额等待预算不会重新获得1800秒。等待预算已耗尽但HTTP和execution总预算尚有剩余时,仅允许在能原子立即取得发送许可的条件下恢复;需要再次排队则保持PAUSED_INFRA,不重新入等待循环。 + +### 2.3 持续等待不产生训练噪声 + +冷却、排队位置、重试倒计时、探测计划和进程采样只写运维流。暂停等待不生成合成assistant句子、不注入“再试一次”user消息。若历史或实际运行确实把某条custom/工具消息交给Agent看过,数据重建必须保留它,不能因为它与基础设施有关就删。 + +请求超时和网络中断均受连接、首字节、流空闲、总时长四类期限约束。建议初值10/120/120/600秒,配置随版本冻结。完整assistant消息持久提交后才派发工具;只有流式残片时不执行其中未完成调用,也不把重试后的生成冒充原消息续段。 + +排队预算从入队计时,连接/首字节等传输期限从实际发送计时;runner与broker的等待/取消协议须接通,不能让SDK的旧总超时反复打断共享冷却并重新发起逻辑请求。 + +取消后迟到的响应只在“确实交付给Agent”时进入消息序列;未交付的响应保留为旁路 `RECEIVED_NOT_DELIVERED`,不能成为SFT上下文或启动工具。 + +## 3. 暂停、恢复与工具提交去重 + +持久运行记录连接 `logical_generation_id → http_attempt_id → message_id → tool_operation_id → receipt_id`。在发出有副作用动作前落盘操作身份和请求payload摘要;同operation_id同payload返回已有状态/回执,不重新执行;同ID不同payload返回冲突。 + +恢复先查询原handle:QUEUED继续等,RUNNING接管观察,已完成则按原调用身份交付一次回执;不可先重跑compile/board再寻找旧结果。并发恢复使用owner lease + fencing epoch,只有当前owner能提交新动作或终态。 + +不能承诺任意bash都有exactly-once语义。worker启动后、回执落盘前崩溃等不确定窗口:检查已注册进程/远端guard/产物与执行回执;仍无法确认的副作用记 `SIDE_EFFECT_UNKNOWN` 并隔离,禁止自动重放。纯读取命令只有在版本化允许列表内才可安全重试。 + +自动恢复不能靠重复创建空轨迹补采。同一环境故障归入共享incident,暂停同组受影响任务并保留原因;恢复分批限额领取,重试计数跨进程重启持久化。已经发生的真实模型/工具消息只追加,不重排、补成功或删去不便解释的超时。 + +## 4. 长时间卡住:状态、阈值与动作分开 + +监控每5秒共享采样一次,记录采样成功与时间。`host + boot_id + pid + proc_start_ticks`作为进程身份;execution使用独立cgroup或等效受控进程集合。CPU/IO/日志变化只是信号,不能证明任务完成,也不能只因日志静默判卡死。 + +每类阶段必须配置queue_deadline、execution_deadline、suspect_after、cancel_grace、cleanup_deadline。执行上限沿用并冻结现有任务/阶段预算,经正常长编译样本检查后配置;不再只有一个12小时Agent总上限。缺少阶段策略则启动前报 `LIFECYCLE_CONFIG_INCOMPLETE`,不能临场由LLM决定期限。 + +期限计时使用单调时钟;重启时根据已持久化的耗时与可核验的时间锚点恢复剩余预算,不能将期限重置为一个新的完整窗口。主机换boot后无法确认剩余预算则进入对账/UNKNOWN,不直接放行。进程D态、旧owner/epoch和有效业务日志与运维心跳分别采样。 + +自动判定顺序: + +1. 数据源读不到或过期→UNKNOWN,不填0,不判死进程;UNKNOWN只影响活性判断,不能短路已有绝对deadline。已知执行所有权下仍按期限取消;身份无法核验时隔离资源并由guard收尾,不能因遥测失败无限续跑或按未经核实的PID发信号。 +2. QUEUED/WAITING_QUOTA且没有超出各自预算→WAITING,不占用执行阶段的无进展计时;等待总时长另计,不能无限延后execution总预算。 +3. 在有效采样窗口内,CPU/IO/业务日志/受保护阶段序号均无变化,持续超过suspect_after→SUSPECT,只告警;任一变化则记录对应信号并重置该静默窗口,不能因此无限续期execution_deadline。已识别的重复运维心跳不算业务日志进展;无法分类时标进展UNKNOWN,仍受绝对期限约束。 +4. 已核实的预期进程身份不存在,且超过启动宽限→STATE_MISMATCH,转恢复核对;PID复用不能算原进程活着。权威退出/不可恢复记录确认后记LOST,不因DB旧RUNNING直接重跑。 +5. 达到冻结queue/request/execution deadline→明确DEADLINE_EXCEEDED或PAUSED_INFRA,按对应策略进入取消/回收;deadline是退出原因,不伪称已经证明程序死锁。 + +建议通用无进展告警初值10分钟、启动宽限30秒;它们是待正常/故障样本验收的运行策略值,不是对当前任务耗时的事实判断。正常编译持续CPU增长但无日志,不触发“所有信号静默”的告警;CPU空转最终仍受阶段绝对预算约束。 + +## 5. 取消、回收与准确终态 + +取消先持久写 `cancel_requested + epoch`,然后撤销模型待发请求/资源队列领取。取消与拿槽/启动使用同一execution启动锁:拿到槽后再次检查取消epoch,spawn注册与取消处理串行化,避免“检查时未取消、下一刻仍启动”的竞态。取消请求提交后不得派发新的模型、编译或板端动作。 + +受控执行集合按顺序 TERM → 等待宽限 → KILL → 核对清空;建议TERM宽限15秒、KILL后确认30秒、一次清理预算60秒。线程join、队列acquire、worker等待均必须有取消事件和有界期限。仅看到leader退出、signal发送成功或flock文件存在,都不算回收完成。 + +本地进程集合、worker回执、板端guard/远端进程和租约均要核对。确认清空后才释放资源;远端失联、D态杀不掉、所有权不明则 `cleanup_state=QUARANTINED`,资源禁止重新分配,前端明确展示。60秒未清空可以结束本轮清理为隔离并继续低频核对,不能谎报CANCELLED且已释放。 + +最终记录保留取消意图与已提交完成事实的顺序:受同一状态提交锁保护,完成已先持久提交则取消返回ALREADY_TERMINAL;取消先提交则不再接受后续COMPLETED覆盖,只追加实际晚到回执。晚到板端结果仍可成为证据,但不能把终态重新写成DONE。 + +collector/主机重启后先reconcile,再开放新任务:核对owner/boot身份、未完成请求、operation/receipt、进程集合和资源租约。确认仍活跃后,必须取得独占owner lease、原子转移epoch并确认旧owner在请求/阶段入口被fence,才能接管监督;只看到负载活着不构成接管许可。已结束则补写带来源的终态;状态不明则隔离。控制服务不可用时新发请求/领取停止,现有工作由本地/远端guard按租约和期限收尾,不无期限失控。 + +## 6. 实时看板就是本轮交付 + +首版交付实时Web看板,不再只提供导出结果页。最小页面为总览、任务列表/详情、配额资源区、数据发布区;先只读,取消能力由已验收的后端/CLI提供,页面操作按钮不是本轮必选项。 + +| 显示项 | 数据口径与自动验收 | +|---|---| +| 实际Agent进程数 | 只计身份确认的Pi/runner主进程;collector、shell、编译器、verifier另列;同身份去重 | +| DB活跃与实际执行 | DB状态、Agent数、stage/编译进程数分别显示;按每条execution的phase核对预期身份,缺预期进程/重复owner/错误epoch才报STATE_MISMATCH,不因总数不同报错 | +| 活动与疑似卡住 | 当前阶段、等待原因、持续时间、最近状态变化和CPU/IO/日志信号、阈值、deadline、判定原因 | +| GLM配额 | quota_group、真实在途请求、RPM/TPM预算占用、429、冷却剩余、下一探测、恢复并发;未知维度显示UNKNOWN | +| 板卡/资源 | 实际受保护租约持有者、等待数量/时长、清理/隔离状态;无公平队列证据不显示准确排队名次 | +| 数据与版本 | 混合记录/硬门候选/最终合格集分列;覆盖率、闭合、空错误排除与wait标签;CURRENT及对应规则版本 | + +复用专用只读聚合接口:`GET /api/runs/{run}/snapshot`、分页rollouts、单个rollout详情。快照包含snapshot_id、采样时间、各来源age/status及配置版本。5秒共享采样,建议15秒无新鲜快照则标STALE;读取失败标UNAVAILABLE并保留带时间的最后快照,不能显示成0个进程或绿色健康。 + +浏览器只读缓存/只读DB;打开或刷新页面不能触发LLM、compile、board测试、reverify/export或全盘find。进程采样每主机一次,多浏览器共用;日志分页/增量读取并脱敏转义,只允许索引内的证据路径。配额/板卡状态来自后台受管遥测,不按浏览器刷新次数请求上游。 + +页面正确性自动验收用受控进程夹具和API断言:启动2个Agent+1个compiler+1个collector,必须显示Agent=2、compiler=1、collector单列;杀掉/替换PID、冻结遥测、造成DB与进程分歧,页面必须在采样/新鲜度窗口内反映。历史批次DB RUNNING=0不能代替这项验收。 + +再加入合法“数量不相等”夹具:WAITING_QUOTA、阶段收尾、VERIFYING分别按各自phase的预期角色判断,不产生虚假STATE_MISMATCH。 + +## 7. 同一轮实施顺序、所有权与上线门 + +| 工作包 | 独立改动边界 | 交付 | +|---|---|---| +| A 数据P0 | exporter、独立validator、身份/lineage、数据发布器 | 完整重建、硬门、明确空错误排除、自动验收、版本回滚 | +| B 请求调度 | quota入口、Pi/SDK连接、请求事件与冷却持久状态 | 真实HTTP共享预算、统一重试、冷却/探测/逐步恢复 | +| C 执行生命周期 | rollout、scheduler、worker、guard、watchdog/recovery | 有界等待/取消、启动锁、进程回收、真实终态、重启对账 | +| D 看板 | 只读monitor聚合、共享采样、Web页面 | 实时进程数、等待/卡住证据、配额/资源与SFT状态 | + +集成人先固定execution/request/operation身份、状态提交协议、reason_code和配置版本。A/B/C随后并行;D接同一事件与状态接口,避免另写一套推测逻辑。公共DB/schema与状态提交点由集成人统一改,避免多个工作包覆盖。 + +上线顺序:离线回放修P0 → fake-provider/受控进程故障注入 → 集成看板验收 → 隔离的真实小批采集 → 发布/回滚演练 → 合并迁移。运行配置与代码版本绑定;当前执行固定旧配置,新策略只用于新领取任务,必要切换要显式暂停并对账,不能热切后把旧任务再领取一次。数据库迁移采用可回退的增量字段,不删除旧证据。 + +运行版本回退与数据CURRENT回滚是两种动作:数据回滚不改变正在运行的任务;运行回退先停止新领取(drain,区别于cancel)、完成或清理现有执行并对账,再切兼容代码/配置。不能通过运行回退重新启用已知有缺前文的导出器,或清空已发生请求的配额账本。封存使用明确的终态/事件水位,不能只看文件一段时间没变化;迟到回执或纠正证据生成新数据版本,不改已发布样本。 + +## 8. 联合自动验收矩阵 + +所有断言从结构化日志、假上游请求计数、受控进程/租约和输出数据独立计算,不由Agent自报通过。测试中的RPM/TPM/期限可缩小,但状态机和计数逻辑与生产相同。 + +| 注入/场景 | 必须通过的判定 | +|---|---| +| 多Agent、同组持续429 | 冷却提交后普通新请求=0;同组同时探测≤1;每逻辑生成HTTP总发送≤预算;无SDK旁路;暂停期间不新建空rollout | +| 配额恢复与再次429 | 并发每稳定窗口最多+1,不超过配置;再次429共享退让;恢复不把原有工具再提交 | +| RPM/TPM并发边界、缺usage、入口重启 | 真实发送不越已配置预算;不提前退款;账本/冷却/重试预算不因重启归零;入口失联不直连 | +| 首字节/流空闲/总请求超时 | 在相应期限收敛;不形成永久RUNNING;未完成assistant不派发工具;原因可见 | +| 排队后取消、拿槽与取消竞态 | cancel提交后新spawn/新上游发送=0;已拿槽未启动可撤回;计数归位或显式隔离 | +| 正常长编译静默、CPU空转、完全挂起 | 正常静默不按日志单信号误杀;超绝对期限进入回收;状态/阈值/依据可在页面核对 | +| 父进程退出、后代忽略TERM、板端失联 | 整个执行集合确认清空才释放;未确认则隔离,禁止新占用;清理过程有界 | +| 退出143/仅provider错误退出0 | 不写COMPLETED;原因、硬门、数据资格独立且与证据一致 | +| 请求/工具提交与回执落盘间崩溃 | 同ID同payload只复用;状态不明不重放副作用;来源与去重计数可审计 | +| collector/主机重启、DB孤儿RUNNING | 新领取前完成对账;无owner双写/重复上板;无法确认的标UNKNOWN/隔离 | +| 多浏览器、API断连、PID复用 | 实际Agent数准确;未知/过期不显示0;刷新额外LLM/业务执行次数=0 | +| 429恢复后多段对话、等待超时后成功 | SFT有效消息覆盖100%、调用闭合、身份去重与顺序检查通过;超时仍归原调用;运维事件不合成消息 | +| 导出中断、双发布、数据与运行版本回退 | 无混版;COMMIT_UNKNOWN可对账;回滚不重复任务、不恢复已撤销坏数据 | +| 真实小批次 | 实际LLM→工具→上板/精度→数据发布全程可见,所有必选门通过;不要求训练闭环 | + +真实小批规模与并发由已配置共享预算确定,建议至少覆盖3个独立任务、包含编译与真实板端评测;这是建议的验收覆盖,不是要故意在真实账户制造429。持续429、卡死和中断使用假上游与受控进程注入,真实批验证正常链路和证据一致性。没有对应结构化记录或某条必选断言未跑,整版状态仍为未验收。 + +历史核查背景、时间和项目源码定位见 [证据摘要](EVIDENCE.md)。完整的必选用例与结果格式见 [验收标准](ACCEPTANCE.md);当前全部为待执行,不能将文档入库视为功能验收通过。 diff --git a/docs/plans/sft-collection-v1/README.md b/docs/plans/sft-collection-v1/README.md new file mode 100644 index 0000000..d6fd574 --- /dev/null +++ b/docs/plans/sft-collection-v1/README.md @@ -0,0 +1,33 @@ +# SFT 采集 V1 实施计划与验收入口 + +计划版本:`collection-v1-integrated`;数据规则:`sft-preserve-v1`。整理日期:2026-09-21。 + +**状态:计划已纳入项目;功能待实施,验收待执行。** 本目录是设计规范与配置草案,不由运行器自动加载,不表示已经修改采集行为。 + +同一轮完成四条工作线:SFT全程重建与硬门、GLM共享限流及安全恢复、执行超时/取消回收/终态核对、实时进程与任务看板。四条线与联合验收全部通过,才能宣布V1完成。 + +## 阅读顺序 + +1. [实施计划](PLAN.md):状态机、模块分工、并行顺序、运行初值与迁移回退。 +2. [数据确定性规则](DATA_RULES.md):消息身份、100%覆盖、闭合/因果、严格空错误排除、数据发布与回滚。 +3. [验收标准](ACCEPTANCE.md):必选PASS/FAIL断言、固定测试ID、结果格式与整版完成条件。 +4. [机器可读验收清单](acceptance-cases.json):全部用例初始为NOT_RUN,实施后引用真实证据生成独立回执。 +5. [数据规则草案](rules/sft-preserve-v1.json) 与 [运行策略草案](rules/collection-v1-runtime.json):不是生产配置;内部配额预算仍待明确配置,null不能当无限额度。 +6. [历史证据摘要](EVIDENCE.md):本次改造的来源与证据范围,历史快照不代表当前服务器状态。 + +## 固定边界 + +默认保留真实对话;仅按事件明确且全空的错误谓词排除派生片段。wait/轮询/截断引用风险先打标,不压缩或删除消息。不重排,不跨调用移接结果,不把超时改成功,不按正文相同去重。未知完整性留档且不发布,观察性标签不自动拒绝样本。 + +保留真实上板、精度、身份和任务约束硬门;不新增RL、奖励、训练器或训练闭环要求。运维旁路不能合成训练消息;实际进入Agent上下文的工具/custom消息如实保留。 + +## 实施与验收记录 + +- 四条工作线先固定公共execution/request/operation身份和状态协议,再并行实施。 +- 配额/阶段预算上线前必须配置并冻结;建议初值不是GLM账户真实限额。 +- 先离线重建与假上游/受控进程故障注入,再看板联调、真实小批和发布回滚演练。 +- 原始证据、实际回执、测试运行日志放在运行产物目录,引用路径和哈希,不提交模型/轨迹/凭据到本目录。 +- 所有必选用例都有匹配本次代码与配置版本的PASS证据才通过;NOT_RUN/UNKNOWN/FAIL均不算整版完成。 +- 数据版本回滚不回滚执行现场;运行版本回退须先drain、收尾并对账。 + +返回 [项目文档](../../README.md) 或 [项目README](../../../README.md)。 diff --git a/docs/plans/sft-collection-v1/acceptance-cases.json b/docs/plans/sft-collection-v1/acceptance-cases.json new file mode 100644 index 0000000..cedd16d --- /dev/null +++ b/docs/plans/sft-collection-v1/acceptance-cases.json @@ -0,0 +1,281 @@ +{ + "schema_version": "sft_collection_acceptance_plan.v1", + "plan_version": "collection-v1-integrated", + "data_rules_version": "sft-preserve-v1", + "status": "NOT_RUN", + "rule": "All required cases must PASS with version-bound evidence; missing, UNKNOWN, NOT_RUN or FAIL means release not accepted.", + "cases": [ + { + "id": "DATA-001", + "group": "data_integrity", + "scenario": "正常段→429空错误→续跑段→再次重试→完成", + "pass_criteria": "完整有效序列覆盖100%;空错误仅在排除清单;旧“只取最后段”实现 FAIL", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "DATA-002", + "group": "data_integrity", + "scenario": "两个身份不同但内容完全相同的真实消息", + "pass_criteria": "两条都保留;任何按内容去重的实现 FAIL", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "DATA-003", + "group": "data_integrity", + "scenario": "同一消息在 message_end/agent_end 重复出现", + "pass_criteria": "一个规范消息、两个可追溯观测;无来源证明的折叠 FAIL", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "DATA-004", + "group": "data_integrity", + "scenario": "agent_end 独有 user/custom;中途新增上下文", + "pass_criteria": "在真实位置保留;前移/漏掉/补造时 FAIL", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "DATA-005", + "group": "data_integrity", + "scenario": "空 error、带正文 error、正常文字429、tool isError", + "pass_criteria": "仅空 error 可排;带正文 error 留档且样本不发布;正常文字/工具错误保留", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "DATA-006", + "group": "data_integrity", + "scenario": "连续同状态心跳→新证据→状态完成", + "pass_criteria": "标签与预期相符;SFT 源消息序列、字段内容零变化", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "DATA-007", + "group": "data_integrity", + "scenario": "TIMEOUT,后一次 wait 才收到 OK", + "pass_criteria": "两次真实结果各归原调用;将 OK 搬到早先调用时 FAIL", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "DATA-008", + "group": "data_integrity", + "scenario": "删除一对已闭合的早期 call/tool", + "pass_criteria": "即使 closure 通过,coverage 必须 FAIL", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "DATA-009", + "group": "data_integrity", + "scenario": "孤立 result / 悬空 call / 重复 call ID / 并行反序完成", + "pass_criteria": "前三者 FAIL;合法并行各自闭合 PASS", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "DATA-010", + "group": "data_integrity", + "scenario": "旧截断删除了后文显式引用字段/仅语义改述", + "pass_criteria": "前者 REFERENCED_CONTENT_REMOVED;后者 UNKNOWN;均不自动删消息", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "DATA-011", + "group": "data_integrity", + "scenario": "改产物SHA/假source/阈值超限/缺必选门", + "pass_criteria": "硬门 FAIL,样本保留但不进入 sft.jsonl", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "DATA-012", + "group": "data_integrity", + "scenario": "全部失败或全部空错误", + "pass_criteria": "处置清单完整,但发布 FAIL(NO_ACCEPTED_SAMPLES)", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "DATA-013", + "group": "data_integrity", + "scenario": "发布各落盘步骤中断、双发布、回滚禁用版", + "pass_criteria": "遵循第8节;无混版、无跳门、无无效 CURRENT", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "JOINT-001", + "group": "integrated_collection", + "scenario": "多Agent、同组持续429", + "pass_criteria": "冷却提交后普通新请求=0;同组同时探测≤1;每逻辑生成HTTP总发送≤预算;无SDK旁路;暂停期间不新建空rollout", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "JOINT-002", + "group": "integrated_collection", + "scenario": "配额恢复与再次429", + "pass_criteria": "并发每稳定窗口最多+1,不超过配置;再次429共享退让;恢复不把原有工具再提交", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "JOINT-003", + "group": "integrated_collection", + "scenario": "RPM/TPM并发边界、缺usage、入口重启", + "pass_criteria": "真实发送不越已配置预算;不提前退款;账本/冷却/重试预算不因重启归零;入口失联不直连", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "JOINT-004", + "group": "integrated_collection", + "scenario": "首字节/流空闲/总请求超时", + "pass_criteria": "在相应期限收敛;不形成永久RUNNING;未完成assistant不派发工具;原因可见", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "JOINT-005", + "group": "integrated_collection", + "scenario": "排队后取消、拿槽与取消竞态", + "pass_criteria": "cancel提交后新spawn/新上游发送=0;已拿槽未启动可撤回;计数归位或显式隔离", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "JOINT-006", + "group": "integrated_collection", + "scenario": "正常长编译静默、CPU空转、完全挂起", + "pass_criteria": "正常静默不按日志单信号误杀;超绝对期限进入回收;状态/阈值/依据可在页面核对", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "JOINT-007", + "group": "integrated_collection", + "scenario": "父进程退出、后代忽略TERM、板端失联", + "pass_criteria": "整个执行集合确认清空才释放;未确认则隔离,禁止新占用;清理过程有界", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "JOINT-008", + "group": "integrated_collection", + "scenario": "退出143/仅provider错误退出0", + "pass_criteria": "不写COMPLETED;原因、硬门、数据资格独立且与证据一致", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "JOINT-009", + "group": "integrated_collection", + "scenario": "请求/工具提交与回执落盘间崩溃", + "pass_criteria": "同ID同payload只复用;状态不明不重放副作用;来源与去重计数可审计", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "JOINT-010", + "group": "integrated_collection", + "scenario": "collector/主机重启、DB孤儿RUNNING", + "pass_criteria": "新领取前完成对账;无owner双写/重复上板;无法确认的标UNKNOWN/隔离", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "JOINT-011", + "group": "integrated_collection", + "scenario": "多浏览器、API断连、PID复用", + "pass_criteria": "实际Agent数准确;未知/过期不显示0;刷新额外LLM/业务执行次数=0", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "JOINT-012", + "group": "integrated_collection", + "scenario": "429恢复后多段对话、等待超时后成功", + "pass_criteria": "SFT有效消息覆盖100%、调用闭合、身份去重与顺序检查通过;超时仍归原调用;运维事件不合成消息", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "JOINT-013", + "group": "integrated_collection", + "scenario": "导出中断、双发布、数据与运行版本回退", + "pass_criteria": "无混版;COMMIT_UNKNOWN可对账;回滚不重复任务、不恢复已撤销坏数据", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "JOINT-014", + "group": "integrated_collection", + "scenario": "真实小批次", + "pass_criteria": "实际LLM→工具→上板/精度→数据发布全程可见,所有必选门通过;不要求训练闭环", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "QUOTA-001", + "group": "quota", + "scenario": "两个项目/凭据别名同一quota_group,另一独立group同时运行", + "pass_criteria": "共享组共用预算和一次冷却;独立组不被错误暂停;所有真实HTTP经过账本", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "QUOTA-002", + "group": "quota", + "scenario": "Retry-After有效/缺失/非法;HALF_OPEN超时/5xx/非空断流", + "pass_criteria": "有效期限不提前解除;未知按版本退避;失败退出探测态,未知结果对账前不发第二个探测", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "QUOTA-003", + "group": "quota", + "scenario": "1800秒累计等待耗尽后自动恢复;HTTP4次耗尽", + "pass_criteria": "等待预算不重置;仅可即时准入才恢复;HTTP耗尽不换generation_id绕过;至多3次自动恢复", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "LIFE-001", + "group": "execution", + "scenario": "遥测UNKNOWN但绝对deadline到达", + "pass_criteria": "仍按可确认所有权执行截止/回收;身份未知则隔离,不盲目按PID杀进程或无限续跑", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "LIFE-002", + "group": "execution", + "scenario": "完成与取消同时提交;旧owner晚到", + "pass_criteria": "同一提交顺序决定终态;旧epoch无法发副作用或覆盖新owner;任务硬结果与执行原因分开", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "UI-001", + "group": "dashboard", + "scenario": "2个Agent+1个compiler+1个collector;合法WAITING/VERIFYING数量不等", + "pass_criteria": "Agent=2、compiler=1、collector单列;按phase预期身份核对,不按总数相等误报", + "required": true, + "status": "NOT_RUN" + }, + { + "id": "VERSION-001", + "group": "publication", + "scenario": "CURRENT替换后崩溃、撤销与回滚竞态", + "pass_criteria": "COMMIT_UNKNOWN通过同event_id对账;锁内复查撤销;只回滚合格版本;运行和配额账本不回退", + "required": true, + "status": "NOT_RUN" + } + ] +} diff --git a/docs/plans/sft-collection-v1/plan-manifest.json b/docs/plans/sft-collection-v1/plan-manifest.json new file mode 100644 index 0000000..54f69d5 --- /dev/null +++ b/docs/plans/sft-collection-v1/plan-manifest.json @@ -0,0 +1,21 @@ +{ + "schema_version": "project_plan_manifest.v1", + "plan_version": "collection-v1-integrated", + "status": "documentation_only_not_implemented", + "source_artifacts": { + "COLLECTION_V1.md": "d022637c16563360334db7d3d2575295bd4c049c586ac54e778ef2c25a39c00d", + "DETERMINISTIC_RULES.md": "c64b7a8d20764ff0c6b8fcaa14c4a3abfd0cf1829ccfb1e3ad98c416a65a2829", + "sft-preserve-v1.json": "97d9b2ae524fb388fbf3ceb2edc352ff2420f24df484af5e2e5a6769007c81b8", + "collection-v1-runtime.json": "01326aa0b9b23015651ca874e092f218e9fbdc2bd88e77a73a647e48b6854a20" + }, + "files": { + "ACCEPTANCE.md": "e4a3fa573b94cb9464a15f29ccb843c2a200269f3ba3b116aa2d770cab537eff", + "DATA_RULES.md": "0c32f53295ccf0850c58cde5f2fda9ae5a5ea44a3652dee7b8819435b56813b4", + "EVIDENCE.md": "a584a4eba31ff92a943b535e6d8873c9dff56f6fb455927d7fe734fa726d4ab0", + "PLAN.md": "3ead0f2806d715a19e7113cff5600bbf52220828c8dc619f1366788fa4490874", + "README.md": "ddb826a0716aaf590fdb2a2a7993c1fb0ce4f175b05ddec55a605d055dd77ae3", + "acceptance-cases.json": "3b4c43834be521054af9958fc513e03559ea781c04421eee3d528358325d8fc3", + "rules/collection-v1-runtime.json": "01326aa0b9b23015651ca874e092f218e9fbdc2bd88e77a73a647e48b6854a20", + "rules/sft-preserve-v1.json": "97d9b2ae524fb388fbf3ceb2edc352ff2420f24df484af5e2e5a6769007c81b8" + } +} diff --git a/docs/plans/sft-collection-v1/rules/collection-v1-runtime.json b/docs/plans/sft-collection-v1/rules/collection-v1-runtime.json new file mode 100644 index 0000000..0d326a9 --- /dev/null +++ b/docs/plans/sft-collection-v1/rules/collection-v1-runtime.json @@ -0,0 +1,212 @@ +{ + "schema_version": "collection_runtime_plan.v1", + "plan_version": "collection-v1-integrated", + "status": "proposed_not_implemented", + "data_rules_version": "sft-preserve-v1", + "same_release_required_workstreams": [ + "data_integrity", + "shared_quota_and_recovery", + "execution_lifecycle", + "realtime_dashboard" + ], + "quota": { + "scope": "configured_account_group_shared_across_managed_projects_and_credentials", + "unmanaged_callers": "report_control_coverage_incomplete", + "provider_limits_status": "UNKNOWN_until_verified", + "internal_budget": { + "max_concurrency": null, + "rpm": null, + "tpm": null + }, + "missing_internal_budget": "QUOTA_CONFIG_INCOMPLETE_block_new_collection", + "retry_owner": "broker_only", + "sdk_retries": 0, + "pi_automatic_network_retries": 0, + "validate_effective_retry_config_at_startup": true, + "max_http_attempts_per_generation": 4, + "states": [ + "OPEN", + "COOLING", + "HALF_OPEN", + "RECOVERING", + "PAUSED", + "RECONCILING" + ], + "cooling_normal_new_sends_max": 0, + "half_open_inflight_max": 1, + "cooldown_initial_s": 30, + "cooldown_local_max_s": 900, + "honor_longer_retry_after": true, + "cooldown_deadline": "max(existing_deadline, local_backoff, trusted_retry_after_or_reset)", + "jitter": "once_per_group_epoch_persisted", + "dispatch_admission": "epoch/cancel/budget check + send record + transport start in one protected commit interval", + "recovery_initial_concurrency": 1, + "recovery_window_s": 60, + "recovery_min_successes_per_window": 3, + "recovery_max_concurrency_increment": 1, + "quota_wait_budget_s": 1800, + "max_auto_resumes_per_execution": 3, + "auto_resume_requires": [ + "remaining_request_budget", + "complete_checkpoint", + "no_unknown_side_effect", + "remaining_wait_budget_or_atomic_immediate_admission" + ], + "exhaustion": "PAUSED_INFRA_no_automatic_generation_id_reset", + "persist_cooldown_attempts_queue_and_reservations": true, + "fail_open_direct_requests": false, + "unknown_usage": "retain_conservative_reservation", + "request_timeouts_s": { + "connect": 10, + "first_byte": 120, + "stream_idle": 120, + "total": 600 + }, + "token_accounting": "versioned_tokenizer_or_conservative_estimator_with_explicit_certainty", + "queue_and_transport_deadlines_have_separate_origins": true, + "local_rpm_tpm_window_s": 60, + "token_reservation_expiry": "hold_while_active_then_one_window_after_confirmed_end; reconcile_unknown_end", + "wait_budget_reset_on_resume": false, + "half_open_failures": { + "transient_confirmed_failure": "COOLING", + "nonempty_stream_interruption": "pause_generation", + "unknown_send_or_end": "RECONCILING_no_second_probe", + "reconcile_deadline": "PAUSED_REQUEST_OUTCOME_UNKNOWN" + }, + "budget_scope": { + "rpm_tpm_window_insufficient": "queue", + "generation_attempts_exhausted": "pause_execution_only", + "account_hard_quota_or_auth": "pause_group" + } + }, + "execution": { + "identity": [ + "execution_id", + "epoch", + "host", + "boot_id", + "pid", + "proc_start_ticks" + ], + "outcomes": [ + "COMPLETED", + "CANCELLED", + "DEADLINE_EXCEEDED", + "BUDGET_EXHAUSTED", + "INFRA_ERROR", + "AGENT_ERROR", + "LOST" + ], + "cleanup_states": [ + "NOT_NEEDED", + "PENDING", + "VERIFIED", + "UNKNOWN", + "QUARANTINED" + ], + "normal_completion_requires": [ + "normal_adapter_completion", + "normal_exit", + "verified_required_cleanup" + ], + "nonzero_exit_can_be_completed": false, + "cancelled_requires_persisted_cancel_reason": true, + "phase_deadlines": "required_versioned_per_phase_from_existing_budgets_and_long_job_validation", + "missing_phase_policy": "LIFECYCLE_CONFIG_INCOMPLETE_block_new_collection", + "monotonic_deadlines_with_durable_restart_accounting": true, + "suspect_after_s": 600, + "startup_grace_s": 30, + "term_grace_s": 15, + "kill_confirm_s": 30, + "cleanup_budget_s": 60, + "suspect_requires_all_fresh_signals_idle": [ + "cpu", + "io", + "business_log", + "protected_stage_sequence" + ], + "operational_heartbeat_is_progress": false, + "cpu_growth_proves_success": false, + "cancel_and_spawn_share_execution_lock": true, + "old_epoch_can_dispatch_side_effects": false, + "release_resources_requires": "verified_entire_owned_execution_set_and_remote_receipts", + "unverified_cleanup": "quarantine_no_reallocation", + "restart": "reconcile_before_new_admission", + "drain_is_distinct_from_cancel": true, + "unknown_telemetry_does_not_disable_absolute_deadline": true, + "takeover_requires": [ + "exclusive_owner_lease", + "atomic_epoch_transfer", + "old_owner_fenced_at_admission" + ] + }, + "resume": { + "persist_identity_chain": [ + "logical_generation_id", + "http_attempt_id", + "message_id", + "tool_operation_id", + "receipt_id" + ], + "dispatch_tool_only_after_complete_message_commit": true, + "same_operation_same_payload": "reuse_existing_handle_or_receipt", + "same_operation_different_payload": "conflict", + "new_operation_same_command": "new_action_not_content_dedup", + "unknown_nonidempotent_side_effect": "quarantine_no_automatic_replay", + "undelivered_late_response": "operations_only_no_tool_dispatch", + "delivered_custom_and_tool_observations": "preserve_in_messages" + }, + "dashboard": { + "required_in_this_release": true, + "realtime": true, + "readonly": true, + "sample_interval_s": 5, + "stale_after_s": 15, + "separate_counts": [ + "db_active_rollouts", + "verified_agent_processes", + "stage_processes", + "collector_processes" + ], + "unknown_process_count": "UNKNOWN_not_zero", + "source_failure": "UNAVAILABLE_with_last_snapshot_timestamp", + "required_views": [ + "overview", + "rollout_list_and_detail", + "quota_resources_cleanup", + "sft_quality_and_versions" + ], + "browser_refresh_business_side_effects_max": 0, + "shared_sampling_for_all_browsers": true, + "process_fixture_expected": { + "agent": 2, + "compiler": 1, + "collector": 1 + }, + "state_mismatch_basis": "per_execution_phase_expected_identity_not_aggregate_count_equality" + }, + "data": { + "wait_compaction": false, + "poll_deletion": false, + "new_truncation": false, + "operations_synthetic_messages": false, + "valid_message_coverage_percent": 100, + "raw_actual_context_preserved": true + }, + "rollout_and_rollback": { + "order": [ + "offline_data_replay", + "fake_provider_and_process_fault_injection", + "dashboard_integration", + "isolated_real_batch", + "publish_and_rollback_drill", + "migration" + ], + "all_workstreams_and_joint_acceptance_required": true, + "suggested_real_batch_min_independent_tasks": 3, + "do_not_intentionally_trigger_real_account_429": true, + "data_rollback_changes_execution_or_quota_ledger": false, + "runtime_rollback": "drain_then_finalize_or_cleanup_then_reconcile_then_compatible_switch", + "no_duplicate_ownership_during_migration": true + } +} diff --git a/docs/plans/sft-collection-v1/rules/sft-preserve-v1.json b/docs/plans/sft-collection-v1/rules/sft-preserve-v1.json new file mode 100644 index 0000000..d82fd22 --- /dev/null +++ b/docs/plans/sft-collection-v1/rules/sft-preserve-v1.json @@ -0,0 +1,196 @@ +{ + "schema_version": "sft_rule_spec.v1", + "rules_version": "sft-preserve-v1", + "status": "proposed_not_implemented", + "purpose": "SFT collection integrity and hard-gate release; no RL or trainer integration", + "source": { + "freeze_inputs": true, + "terminal_stable_attempts_only": true, + "independent_inventory": true, + "unknown_context": "retain_and_fail_sample", + "live_snapshot_backfill": false + }, + "identity": { + "primary": [ + "run", + "job", + "attempt", + "session", + "branch", + "native_message_id" + ], + "fallback": "source observation and explicit message lifecycle; unique segment mirror mapping only", + "content_hash_is_identity": false, + "timestamp_is_identity": false, + "same_text_different_identity": "retain_all", + "ambiguous_alias": "retain_and_fail_sample" + }, + "transform": { + "default": "preserve", + "wait_compaction": false, + "poll_round_deletion": false, + "new_truncation": false, + "reasoning_block_deletion": false, + "generic_empty_message_deletion": false, + "merge_adjacent_messages": false, + "move_or_merge_system": false, + "reorder": false, + "future_result_backfill": false, + "rewrite_timeout_as_success": false, + "format_mapping": "versioned_reversible", + "redaction": "versioned_field_audited" + }, + "empty_error_exclusion": { + "rule_id": "EMPTY_ERROR_FRAGMENT", + "all_of": [ + "event.type == message_end", + "message.role == assistant", + "message.stopReason == error", + "supported runner event adapter confirms provider or transport error origin", + "raw content provably empty across every block", + "no tool call fields or blocks, including partial calls", + "no linked tool execution or result", + "no nonempty stream delta in the lifecycle" + ], + "use_text_keywords": false, + "unknown": "retain_and_fail_sample", + "nonempty_error": "retain_and_fail_sample", + "tool_result_is_error": "retain", + "aborted": "retain_and_fail_sample", + "audit_exclusion": true + }, + "acceptance": { + "per_sample_before_aggregate": true, + "observation_accounting_percent": 100, + "valid_message_coverage_percent": 100, + "empty_denominator": "fail", + "require_usable_assistant": true, + "unaccounted_observations_max": 0, + "multiply_accounted_observations_max": 0, + "extra_source_ids_max": 0, + "missing_payload_fields_max": 0, + "unapproved_payload_changes_max": 0, + "unproven_dedup_max": 0, + "identity_payload_conflicts_max": 0, + "message_sequence_differences_max": 0, + "missing_tool_results_max": 0, + "orphan_tool_results_max": 0, + "duplicate_final_results_max": 0, + "call_id_conflicts_max": 0, + "result_before_call_max": 0, + "reassigned_results_max": 0, + "rewritten_outcomes_max": 0, + "source_hash_mismatches_max": 0, + "parse_errors_max": 0, + "unknown_required_context_max": 0, + "unresolved_generation_errors_max": 0, + "unhandled_sensitive_fields_max": 0, + "required_gates": "all_frozen_job_requirements_pass", + "unknown_required_check": "fail", + "wait_reference_advisories_alone": "do_not_fail", + "batch_input_accounting_percent": 100, + "accepted_samples_min": 1, + "fixed_success_fixture_expected_ids_must_match": true + }, + "wait_annotations": { + "enabled": true, + "mutate_sft_messages": false, + "operation_key": [ + "run", + "job", + "attempt", + "stage_handle", + "execution_attempt" + ], + "keep_stage_and_waiter_outcomes_separate": true, + "compare": [ + "state", + "result", + "exit_code", + "error_class", + "artifact_identity", + "measurement_fields", + "evidence_content_digest", + "new_log_payload" + ], + "ignore_only_declared_heartbeat_fields": [ + "timestamp", + "elapsed", + "poll_sequence" + ], + "unknown_fields": "unknown_not_equal", + "heartbeat_summary": "sidecar_only_with_all_source_ids", + "states": [ + "FIRST_OBSERVATION", + "STATE_CHANGED", + "SAME_STATE_NEW_EVIDENCE", + "HEARTBEAT_REPEAT", + "WAIT_UNKNOWN", + "STATE_CONFLICT" + ] + }, + "truncation_annotations": { + "enabled": true, + "mutate_sft_messages": false, + "separate_capture_filter_from_export_truncation": true, + "scan_following_assistant_text_and_tool_arguments": true, + "require_explicit_reference_for_confirmed_hit": true, + "check_alternative_earlier_sources_before_claiming_context_loss": true, + "no_match_is_proof_of_safety": false, + "semantic_inference": "unknown", + "missing_raw_payload": "retain_and_fail_sample" + }, + "hard_gates": { + "rule_source": "frozen_job_not_global_override", + "current_batch_default_required": [ + "G1", + "G3" + ], + "current_batch_g3_source": "board", + "current_batch_g3_kind": "rel_pct", + "current_batch_g3_tolerance_pct": 5, + "current_batch_t1_samples": 100, + "current_batch_t1_label": "pass-screen", + "keep_job_specific_extra_requirements": true, + "g2_default": "diagnostic", + "task_pass_does_not_rewrite_execution_status": true, + "require_structured_claim": true, + "claim_consistent_must_be": true, + "require_task_artifact_identity_consistency": true, + "enforce_frozen_protected_constraints": true + }, + "release": { + "bind": [ + "dataset_version", + "rules_version", + "rules_sha256", + "source_manifest_sha256", + "exporter_sha256", + "parser_sha256", + "validator_sha256", + "frozen_job_verifier_versions", + "redaction_version" + ], + "immutable_generations": true, + "require_independent_validation": true, + "current_switch": "lock + expected_current_revision + same_filesystem_atomic_replace + fsync", + "reader_pins_one_generation": true, + "rollback_data_and_rules_together": true, + "rollback_target": "previous_validated_unrevoked_generation_with_hashes_and_integrity_floor", + "allow_known_bad_legacy_teacher_rollback": false, + "no_valid_rollback_target": "explicit_error_no_downgrade", + "precommit_failure_changes_current": false, + "postcommit_failure": "COMMIT_UNKNOWN_query_same_event_id", + "idempotency_key": "event_id", + "block_next_switch_until_commit_reconciled": true, + "revocation_check": "final_check_under_publication_lock_and_at_reader_entry", + "revocation_updates": "same_lock_with_monotonic_epoch" + }, + "implementation_cli_exit_codes": { + "0": "success_and_required_checks_pass", + "2": "validation_failed_or_no_accepted_samples", + "3": "source_changed_or_unsupported", + "4": "version_or_current_pointer_conflict", + "5": "commit_unknown_query_same_event_id" + } +} diff --git a/export/test_materialization.py b/export/test_materialization.py index 372ea48..66fdc46 100644 --- a/export/test_materialization.py +++ b/export/test_materialization.py @@ -41,7 +41,8 @@ class MaterializationTests(unittest.TestCase): jd = self.root / "runs/r/j" rd = jd / "rollouts" / f"{kk:02d}" (rd / "agent").mkdir(parents=True) - job = {"run_id": "r", "job_id": "j", "task": "cls", "model": "resnet18", "march": "nash-m", "backend": "ptq", + job = {"run_id": "r", "job_id": "j", "task": "cls", "model": "resnet18", "march": "nash-m", + "target": {"board_type": "s100p", "march": "nash-m"}, "backend": "ptq", "gates": {"required": ["G1", "G3"], "G1": {}, "G2": {}, "G3": {"kind": "rel_pct", "tol": 5, "require_source": "board"}, "G4": {}}} (jd / "job.json").write_text(json.dumps(job)) @@ -83,7 +84,10 @@ class MaterializationTests(unittest.TestCase): self.assertEqual(reward["terms"]["timeout"], -1.0) manifest = ex.materialize(["r"], "data") self.assertEqual(manifest["stats"]["sft_eligible"], 1) + self.assertEqual(manifest["stats"]["by_march"], {"nash-m": 1}) + self.assertEqual(manifest["stats"]["sft_eligible_by_march"], {"nash-m": 1}) rec = json.loads((self.root / "datasets/data/teacher.jsonl").read_text()) + self.assertEqual(rec["board_type"], "s100p") self.assertEqual(rec["verdict"]["terminal"], "PASS") self.assertEqual(rec["execution"]["terminal"], "TIMEOUT") diff --git a/export/to_agentrl.py b/export/to_agentrl.py index 6e42e1d..236d9ad 100644 --- a/export/to_agentrl.py +++ b/export/to_agentrl.py @@ -431,7 +431,7 @@ def _write_dataset(a, work: Path, ds_id: str) -> dict: stats = {"scanned": 0, "written": 0, "agent_written": 0, "teacher_written": 0, "student_written": 0, "pipeline_written": 0, "excluded": 0, "dropped": {}, "review": 0, "partial": 0, "by_terminal": {}, "by_execution_terminal": {}, "pipeline_by_terminal": {}, "sft_eligible": 0, - "reverified": 0} + "by_march": {}, "sft_eligible_by_march": {}, "reverified": 0} with contextlib.ExitStack() as stack: files = {name: stack.enter_context((work / f"{name}.jsonl").open("w")) for name in ("teacher", "student", "pipeline", "exclusions")} @@ -551,7 +551,8 @@ def _write_agent(rd, a, stats, annotations, write, exclude): "continuation": {**job["continuation"], "source_rollout": verdict["rollout"]} if job.get("continuation") else None, "mode": mode, "policy": policy, "model": rj.get("model"), "agent_config_version": str(rj.get("agent_config_version", "1")), - "task": job["task"], "march": job["march"], "backend": job["backend"], + "task": job["task"], "march": job["march"], + "board_type": (job.get("target") or {}).get("board_type"), "backend": job["backend"], "messages": msgs, "verdict": {k: verdict[k] for k in ("schema", "verification_rule", "terminal", "measured_terminal", "execution_terminal", "timeout_reason", "completion", "failed_gate", "claim_consistent", "blocked_correct", "review") if k in verdict}, "gates": {g: (verdict["gates"].get(g) or {}).get("verdict") for g in ("G1", "G2", "G3", "G4")}, @@ -586,7 +587,10 @@ def _write_agent(rd, a, stats, annotations, write, exclude): stats["partial"] += int(trajectory["partial"]) _inc(stats["by_terminal"], verdict["terminal"]) _inc(stats["by_execution_terminal"], rec["execution"]["terminal"]) + _inc(stats["by_march"], job["march"]) stats["sft_eligible"] += int(sft_ok) + if sft_ok: + _inc(stats["sft_eligible_by_march"], job["march"]) def materialize(run_ids: list[str], dataset_id: str, *, refresh=False, purpose="all", policy=None, min_agent_version=None, agent_version=None, min_reward=None, diff --git a/harness/cli.py b/harness/cli.py index 4bbe7c9..e6fe45b 100644 --- a/harness/cli.py +++ b/harness/cli.py @@ -1,7 +1,7 @@ """`bench` 命令。 - bench preflight [--modes oracle,e2e] - bench new-run [--note ...] + bench preflight [--modes oracle,e2e] [--target s100p] + bench new-run [--note ...] [--target s100p] bench expand [--run r…] [--modes …] bench run [--run r…] [--job id …] [--dry-run] [--parallel N] bench status [--run r…] [--fail] @@ -32,7 +32,8 @@ def _run_id(con, given: str | None) -> str: def cmd_preflight(a) -> int: from .pipeline import preflight - errs, warns = preflight(a.modes.split(",") if a.modes else None, oracle_only=a.oracle_only) + errs, warns = preflight(a.modes.split(",") if a.modes else None, + oracle_only=a.oracle_only, target=a.target) for w in warns: print(f"WARN {w}") for e in errs: @@ -43,7 +44,7 @@ def cmd_preflight(a) -> int: def cmd_new_run(a) -> int: from .pipeline import new_run - print(new_run(a.note or "")) + print(new_run(a.note or "", target=a.target)) return 0 @@ -68,8 +69,11 @@ def cmd_run(a) -> int: def cmd_status(a) -> int: with db.connect() as con: rid = _run_id(con, a.run) + run = db.get_run(con, rid) + target = json.loads(run["manifest"]).get("target") if run else None rows = db.status_counts(con, rid) - print(f"run {rid}") + target_text = f" target={target['board_type']}/{target['march']}" if target else " target=legacy/mixed" + print(f"run {rid}{target_text}") if a.fail: for r in db.error_class_counts(con, rid): print(f" {r['n']:4d} {r['error_class']:<20} {r['stage_failed'] or ''}") @@ -84,9 +88,16 @@ def cmd_status(a) -> int: print(f" {st:<15} {total:5d}") for t, m in tasks.items(): print(f" {t:<8} " + " ".join(f"{k}={v}" for k, v in m.items())) - ro = con.execute("SELECT state, COUNT(*) n FROM rollouts WHERE run_id=? GROUP BY state", (rid,)).fetchall() + ro = con.execute( + "SELECT j.march, r.state, COUNT(*) n FROM rollouts r" + " JOIN jobs j ON j.run_id=r.run_id AND j.job_id=r.job_id AND j.mode='oracle'" + " WHERE r.run_id=? GROUP BY j.march,r.state ORDER BY j.march,r.state", (rid,)).fetchall() if ro: - print(" rollouts: " + " ".join(f"{r['state']}={r['n']}" for r in ro)) + by_march = {} + for r in ro: + by_march.setdefault(r["march"], []).append(f"{r['state']}={r['n']}") + for march, counts in by_march.items(): + print(f" rollouts {march}: " + " ".join(counts)) from .verify import summarize_results for label, records in (("pipeline", con.execute("SELECT result FROM jobs WHERE run_id=? AND mode='oracle'", (rid,))), ("agent", con.execute("SELECT verdict FROM rollouts WHERE run_id=?", (rid,)))): @@ -357,8 +368,11 @@ def main(argv=None) -> int: p = argparse.ArgumentParser(prog="bench") sp = p.add_subparsers(dest="cmd", required=True) - x = sp.add_parser("preflight"); x.add_argument("--modes"); x.add_argument("--oracle-only", action="store_true", help="只跑 benchmark 那一半时放行 agent 运行时缺失"); x.set_defaults(f=cmd_preflight) - x = sp.add_parser("new-run"); x.add_argument("--note"); x.set_defaults(f=cmd_new_run) + x = sp.add_parser("preflight"); x.add_argument("--modes"); x.add_argument("--target", help="板型目标,如 s100p / s600") + x.add_argument("--oracle-only", action="store_true", help="只跑 benchmark 那一半时放行 agent 运行时缺失"); x.set_defaults(f=cmd_preflight) + x = sp.add_parser("new-run"); x.add_argument("--note") + x.add_argument("--target", required=True, help="固定本 run 的唯一板型目标") + x.set_defaults(f=cmd_new_run) x = sp.add_parser("expand"); x.add_argument("--run"); x.add_argument("--modes"); x.add_argument("--marches", help="只展开这些 march,逗号分隔") x.add_argument("--model", action="append", help="显式分批接入;核查真实前置,保留原 march/backend/policy/k,不改 CSV 标签") x.add_argument("--t1", action="append", help="新批次直接使用已验证的 T1 manifest;每个数据集一份,不改旧任务") diff --git a/harness/pipeline.py b/harness/pipeline.py index c92c2ea..36b4946 100644 --- a/harness/pipeline.py +++ b/harness/pipeline.py @@ -21,7 +21,7 @@ from . import paths, db, gates, scheduler from .errors import is_transient from .eval import EVALUATOR_VERSION from .registry import (JobSpec, expand_matrix, build_job_json, datasets, models, model_row, - registry_fingerprint, matrix, _select) + registry_fingerprint, matrix, target_spec, _select) from .stages import ORDER, StageContext @@ -51,7 +51,8 @@ def refresh_run_dataset(run_id: str, *, strict: bool = False) -> dict | None: # ---------------------------------------------------------------- preflight -def preflight(modes: list[str] | None = None, oracle_only: bool = False) -> tuple[list[str], list[str]]: +def preflight(modes: list[str] | None = None, oracle_only: bool = False, + target: str | None = None) -> tuple[list[str], list[str]]: """返回 (errors, warnings)。errors 非空 → 不允许 run。 oracle 主流程不依赖 agent 运行时或 LLM 凭证;采集轨迹时才检查这些依赖。""" errs, warns = [], [] @@ -60,7 +61,9 @@ def preflight(modes: list[str] | None = None, oracle_only: bool = False) -> tupl # 1. registry 自洽 try: rows = models() - specs = expand_matrix(["oracle"] if oracle_only else modes) + selected = target_spec(target) if target else None + specs = expand_matrix(["oracle"] if oracle_only else modes, + target_marches=[selected["march"]] if selected else None) except Exception as e: return [f"registry: {e}"], warns if not specs: @@ -160,9 +163,9 @@ def harness_code_sha() -> str: return h.hexdigest() -def build_manifest() -> dict: +def build_manifest(target: str | None = None) -> dict: cfg = paths.config() - return { + manifest = { "created_at": time.time(), "evaluator_version": EVALUATOR_VERSION, "harness_code_sha256": harness_code_sha(), @@ -173,13 +176,16 @@ def build_manifest() -> dict: "board": {"host": paths.secret("BOARD_HOST"), "ucp": None, "board_type": None}, "host": os.uname().nodename, } + if target: + manifest["target"] = target_spec(target) + return manifest -def new_run(note: str = "") -> str: +def new_run(note: str = "", target: str | None = None) -> str: paths.ensure_dirs() with db.connect() as con: run_id = db.next_run_id(con, time.strftime("%Y%m%d")) - man = build_manifest() + man = build_manifest(target) db.create_run(con, run_id, man, note) rd = paths.RUNS / run_id rd.mkdir(parents=True, exist_ok=True) @@ -224,6 +230,11 @@ def expand(run_id: str, modes: list[str] | None = None, marches: list[str] | Non raise ValueError("one T1 manifest per dataset is required") with db.connect() as con: db.assert_run_open(con, run_id) + run = db.get_run(con, run_id) + run_target = json.loads(run["manifest"]).get("target") if run else None + target_marches = [run_target["march"]] if run_target else None + if target_marches and marches and set(marches) != set(target_marches): + raise ValueError(f"run {run_id} target 固定为 {run_target['board_type']}/{run_target['march']},不能展开 {marches}") if receipt(run_id): raise ValueError("continuation run has an exact task list; expand is not allowed") if model_ids and modes == ["oracle"]: @@ -232,7 +243,8 @@ def expand(run_id: str, modes: list[str] | None = None, marches: list[str] | Non model_row(m), evaluation=replacements.get(model_row(m).get("dataset"))))} if blockers: raise ValueError(f"explicit model batch has unresolved prerequisites: {blockers}") - specs = expand_matrix(modes, model_ids) if model_ids else expand_matrix(modes) + specs = expand_matrix(modes, model_ids, target_marches=target_marches) if model_ids \ + else expand_matrix(modes, target_marches=target_marches) if marches: specs = [s for s in specs if s.march in marches] # 只展开部分 march(如补跑 nash-p),不改 registry # 按 job_id 聚合 rollout 计划 @@ -306,6 +318,7 @@ def enqueue_e2e_coverage(run_id: str, job_ids: list[str] | None = None) -> int: from .continuation import receipt with db.connect() as con: db.assert_run_open(con, run_id) + run = db.get_run(con, run_id) if receipt(run_id): raise ValueError("continuation run must not replenish completed samples") mx = matrix() @@ -313,7 +326,9 @@ def enqueue_e2e_coverage(run_id: str, job_ids: list[str] | None = None) -> int: if not cfg or not cfg.get("enabled", True): return 0 select = {k: v for k, v in (cfg.get("select") or {}).items() if k != "priority"} - marches = mx.get("marches", paths.MARCHES) if cfg.get("marches", "all") == "all" else cfg["marches"] + run_target = json.loads(run["manifest"]).get("target") if run else None + marches = ([run_target["march"]] if run_target else + (mx.get("marches", paths.MARCHES) if cfg.get("marches", "all") == "all" else cfg["marches"])) backends = mx.get("backends", ["ptq"]) if cfg.get("backends", "all") == "all" else cfg["backends"] model_rows = {r["model_id"]: r for r in models()} selected = set(job_ids) if job_ids else None diff --git a/harness/registry.py b/harness/registry.py index 2319922..6e54141 100644 --- a/harness/registry.py +++ b/harness/registry.py @@ -82,6 +82,22 @@ def boards() -> dict: return _yaml("boards.yaml") +def target_spec(board_type: str) -> dict[str, str]: + """把用户可读板型解析成唯一编译目标;映射只认 boards.yaml。""" + mapping = boards().get("march_by_board") or {} + march = mapping.get(board_type) + if march not in MARCHES: + choices = ", ".join(sorted(mapping)) or "" + raise ValueError(f"未知 target {board_type!r};可选: {choices}") + return {"board_type": board_type, "march": march} + + +def board_type_for_march(march: str) -> str | None: + """返回 march 对应的板型;一对多时拒绝猜测。""" + matches = [name for name, value in (boards().get("march_by_board") or {}).items() if value == march] + return matches[0] if len(matches) == 1 else None + + def board_slots(march: str | None = None) -> dict[int, dict]: """返回可用板卡及稳定锁编号;禁用条目仍占用其 slot,避免把一板当成两板。""" if march is not None and march not in MARCHES: @@ -203,7 +219,8 @@ def _apply_overrides(row: dict, mx: dict) -> dict: return out -def expand_matrix(modes: list[str] | None = None, model_ids: list[str] | None = None) -> list[JobSpec]: +def expand_matrix(modes: list[str] | None = None, model_ids: list[str] | None = None, + target_marches: list[str] | None = None) -> list[JobSpec]: """把 registry 展开成 JobSpec 列表;历史 Oracle repair 模式不再生成。""" mx = matrix() rows = models() @@ -212,7 +229,13 @@ def expand_matrix(modes: list[str] | None = None, model_ids: list[str] | None = if unknown: raise ValueError(f"unknown models: {sorted(unknown)}") rows = [r for r in rows if r["model_id"] in model_ids] - marches_all = mx.get("marches", MARCHES) + if target_marches is not None: + invalid = sorted(set(target_marches) - set(MARCHES)) + if invalid: + raise ValueError(f"target marches 非法: {invalid}") + marches_all = list(dict.fromkeys(target_marches)) + else: + marches_all = mx.get("marches", MARCHES) backends_all = mx.get("backends", ["ptq"]) qcfg_by_march = mx.get("qcfg_by_march", {}) tier = mx.get("data_tier", "t1") @@ -224,7 +247,9 @@ def expand_matrix(modes: list[str] | None = None, model_ids: list[str] | None = continue if not mcfg.get("enabled", True) or mcfg.get("when") == "oracle_fail": continue - marches = marches_all if mcfg.get("marches", "all") == "all" else mcfg["marches"] + # run target 是更高层的不变量:显式目标时所有 mode 都只生成该 march。 + # 未指定目标的旧 run 完全保留 matrix 的历史选择规则。 + marches = marches_all if target_marches is not None or mcfg.get("marches", "all") == "all" else mcfg["marches"] backends = backends_all if mcfg.get("backends", "all") == "all" else mcfg["backends"] policies = mcfg.get("policies") or [None] k = int(mcfg.get("k", 1)) @@ -340,6 +365,7 @@ def build_job_json(spec: JobSpec, run_id: str, evaluator_version: str, plans: li "run_id": run_id, "job_id": spec.job_id, "task": spec.task, "model": spec.model, "march": spec.march, + "target": {"board_type": board_type_for_march(spec.march), "march": spec.march}, "backend": spec.backend, "qcfg": spec.qcfg, "priority": spec.priority, "rollout_plans": plans or [], # [{mode, policy, k}] "model_spec": row, diff --git a/registry/boards.yaml b/registry/boards.yaml index 1562e67..95f5300 100644 --- a/registry/boards.yaml +++ b/registry/boards.yaml @@ -50,7 +50,7 @@ boards: rdk-sandbox-40011: slot: 3 - enabled: true # 2026-09-16 真实 ResNet18 HBM 推理通过 + enabled: false # 2026-09-16 真实 ResNet18 HBM 推理通过 host_env: BOARD_4_HOST port_env: BOARD_4_PORT user_env: BOARD_4_USER diff --git a/scripts/start_run.sh b/scripts/start_run.sh index eb41318..49179bf 100755 --- a/scripts/start_run.sh +++ b/scripts/start_run.sh @@ -1,27 +1,45 @@ #!/usr/bin/env bash -# 一键启动 S100P(nash-m)输入准备 + Agent 首轮采集: -# scripts/start_run.sh --note "P4 batch 1" [--parallel 8] 新 run:preflight → new-run → expand → 后台 run -# scripts/start_run.sh --resume [--parallel 8] 续跑最新 run 的 PENDING(调度进程崩了先 reset-stale) +# 一键启动单一板型目标的输入准备 + Agent 首轮采集: +# scripts/start_run.sh --target s100p --note "P4 batch 1" [--parallel 8] +# scripts/start_run.sh --target s600 --note "S600 batch 1" [--parallel 8] +# scripts/start_run.sh --resume --run r… [--parallel 8] 显式续跑,避免多板型时恢复错 run # 之后:bench watch(实时看板)· bench status · bench status --fail · bench show · bench report set -euo pipefail HERE="$(cd "$(dirname "$0")/.." && pwd)"; cd "$HERE"; export PATH="$HERE/bin:$PATH" -NOTE=""; PAR=""; RESUME=0 +NOTE=""; PAR=""; RESUME=0; TARGET="s100p"; RID="" while [ $# -gt 0 ]; do case "$1" in - --note) NOTE="$2"; shift 2;; --parallel) PAR="--parallel $2"; shift 2;; --resume) RESUME=1; shift;; + --note) NOTE="$2"; shift 2;; --parallel) PAR="--parallel $2"; shift 2;; + --target) TARGET="$2"; shift 2;; --run) RID="$2"; shift 2;; --resume) RESUME=1; shift;; *) echo "unknown arg $1"; exit 2;; esac; done if [ "$RESUME" = 1 ]; then - RID=$(python3 -c "import sys; sys.path.insert(0,'.'); from harness import db -with db.connect() as c: print(db.latest_run_id(c) or '')") - [ -n "$RID" ] || { echo "没有 run 可续跑"; exit 1; } + [ -n "$RID" ] || { echo "--resume 必须同时指定 --run,避免恢复错板型"; exit 2; } + TARGET=$(python3 - "$RID" <<'PY' +import json +import sys +from harness import db +with db.readonly() as con: + run = db.get_run(con, sys.argv[1]) + if not run: + raise SystemExit(f"run 不存在: {sys.argv[1]}") + print((json.loads(run["manifest"]).get("target") or {}).get("board_type") or "legacy") +PY + ) bench reset-stale --run "$RID" || true else - bench preflight --modes oracle,e2e || { echo "preflight 有 ERROR,先修"; exit 1; } - RID=$(bench new-run --note "${NOTE:-start_run $(date +%F)}") - bench expand --run "$RID" --modes oracle,e2e --marches nash-m + [ -z "$RID" ] || { echo "--run 只和 --resume 一起使用"; exit 2; } + MARCH=$(python3 - "$TARGET" <<'PY' +import sys +from harness.registry import target_spec +print(target_spec(sys.argv[1])["march"]) +PY + ) + bench preflight --modes oracle,e2e --target "$TARGET" || { echo "preflight 有 ERROR,先修"; exit 1; } + RID=$(bench new-run --target "$TARGET" --note "${NOTE:-start_run $TARGET $(date +%F)}") + bench expand --run "$RID" --modes oracle,e2e --marches "$MARCH" fi LOG="state/run-$RID.log" setsid nohup bench run --run "$RID" $PAR >> "$LOG" 2>&1 < /dev/null & disown -echo "run $RID 已在后台启动(pid $!)" +echo "run $RID 已在后台启动(pid $!;target=$TARGET)" setsid nohup bench collect --run "$RID" --modes e2e --coverage all --first-pass --watch >> "state/collect-$RID.log" 2>&1 < /dev/null & disown echo "Agent 首轮采集已启动(pid $!):state/collect-$RID.log" echo " 实时看板: bench watch --run $RID" diff --git a/scripts/test_explicit_batch.py b/scripts/test_explicit_batch.py index cf8d739..b5b61fa 100644 --- a/scripts/test_explicit_batch.py +++ b/scripts/test_explicit_batch.py @@ -18,6 +18,15 @@ class ExplicitBatch(unittest.TestCase): with self.assertRaises(ValueError): registry.expand_matrix(["oracle"], ["nonexistent"]) + def test_run_target_replaces_legacy_mode_march_without_changing_matrix(self): + specs = registry.expand_matrix(["oracle", "e2e"], ["yolov8n.seg"], target_marches=["nash-p"]) + self.assertEqual([(s.mode, s.march, s.qcfg) for s in specs], + [("oracle", "nash-p", "fp16int8"), ("e2e", "nash-p", "fp16int8")]) + self.assertEqual(registry.target_spec("s100p"), {"board_type": "s100p", "march": "nash-m"}) + self.assertEqual(registry.target_spec("s600"), {"board_type": "s600", "march": "nash-p"}) + with self.assertRaisesRegex(ValueError, "未知 target"): + registry.target_spec("unknown") + class ExplicitRepair(Collection): def test_admitted_model_does_not_generate_oracle_repairs(self):