chore: preserve existing local target and collection plan changes
This commit is contained in:
parent
5d46a47296
commit
12ef41c42e
@ -2,7 +2,7 @@
|
||||
|
||||
本文件是《BPU 量化轨迹工厂 设计方案 v0.4》的可执行摘要。代码与本文件冲突时,以本文件为准并修代码;本文件与设计方案冲突时,先改设计方案再改这里。
|
||||
|
||||
2026-09-16 按当前目标收敛:默认运行 CSV 中 ready 模型的 S100P(`nash-m`)量化、编译、上板与精度评测,并为这些模型采集真实 Agent 轨迹。`collect --coverage all` 为本 run 的 oracle 模型补齐 e2e 计划:只去掉 matrix 的 priority 限制,保留任务类型、march、backend、policy 和 k;默认 `matrix` 仍使用原选择范围。已结束的流程和 Agent 轨迹都必须导出为数据,成功、精度未达标、预算耗尽分别标注,导出不能阻塞上板。
|
||||
2026-09-16 按当前目标收敛:默认运行 CSV 中 ready 模型的 S100P(`nash-m`)量化、编译、上板与精度评测,并为这些模型采集真实 Agent 轨迹。新 run 必须固定一个 target:S100P=`nash-m`,S600=`nash-p`;target 只收窄本 run 的 matrix 展开,不修改旧 run 或全局默认。`collect --coverage all` 为本 run 的 oracle 模型补齐 e2e 计划:只去掉 matrix 的 priority 限制,保留任务类型、run target、backend、policy 和 k。已结束的流程和 Agent 轨迹都必须导出为数据,成功、精度未达标、预算耗尽分别标注,导出不能阻塞上板。
|
||||
|
||||
2026-09-16 全 338 项覆盖补充:保持原 CSV 标签和历史 run。新批次可用 `expand --model` 显式选择模型,
|
||||
前置检查依据实际权重入口、构建/导出代码、评测器、校准、数据与附加门;新增 Ultralytics 任务还必须有真实
|
||||
|
||||
@ -41,8 +41,8 @@ python3 scripts/trace.py <rollout_dir> 一条轨迹逐轮回放:a
|
||||
bench report --run <run> 静态 HTML 报告(reports/<run>.html)
|
||||
```
|
||||
|
||||
启动/续跑:`scripts/start_run.sh --note "..."`(准备与采集)、`bench collect --run <run> [--job …] [--limit N]`(采轨迹)。
|
||||
换代码/改配置要重启调度器时:`bench drain --run <run>`(跑完手里的不再认领新 job)→ 等它退出 → `scripts/start_run.sh --resume`。不要 kill 正在编译的进程。
|
||||
启动/续跑:`scripts/start_run.sh --target s100p|s600 --note "..."`(一个 run 只跑一种板型)、`bench collect --run <run> [--job …] [--limit N]`(采轨迹)。
|
||||
换代码/改配置要重启调度器时:`bench drain --run <run>`(跑完手里的不再认领新 job)→ 等它退出 → `scripts/start_run.sh --resume --run <run>`。不要 kill 正在编译的进程。
|
||||
注意常驻进程里的代码是启动那一刻的:改了 harness/ 或 config.yaml,正在跑的 `bench run` / `bench collect` 不会变,新起的才会。
|
||||
两条自检:`node agent/extensions/guard-core.test.js`(边界判定单测)、`scripts/guard_smoke.sh`(起真 pi 进程试图越界,应全部被拒)。
|
||||
|
||||
|
||||
@ -1,5 +1,7 @@
|
||||
# bench/ — 视觉模型量化与上板评测
|
||||
|
||||
本轮SFT采集改造的 [实施计划与验收标准](docs/plans/sft-collection-v1/README.md) 已纳入项目:数据完整性、共享限流恢复、执行生命周期和实时看板同轮交付;当前为待实施/待验收规范。
|
||||
|
||||
## 338 模型分批覆盖
|
||||
|
||||
`bench coverage --all-runs --csv reports/model-coverage.csv` 维护原 CSV 全部 338 项;
|
||||
@ -16,7 +18,7 @@ FastSAM 的类别语义仍属阻塞。EfficientViT 构建器文件存在不代
|
||||
通过前置核查的具名批次沿用现有命令:
|
||||
|
||||
```bash
|
||||
bench new-run --note '338 coverage: validated model batch'
|
||||
bench new-run --target s100p --note '338 coverage: validated model batch'
|
||||
bench expand --run RUN --modes oracle,e2e --marches nash-m --model yolov8n.seg
|
||||
bench run --run RUN --parallel 2
|
||||
bench collect --run RUN --modes e2e --first-pass --watch --parallel 2
|
||||
@ -67,14 +69,14 @@ for d in state data cache; do mkdir -p /home/$USER/bench-$d; [ -L $d ] || { rm -
|
||||
| 5 | `… scripts/make_t1.py --dataset imagenet1k --dataset coco2017` | `data/t1/<ds>/20260914.tar` |
|
||||
| 6 | `… scripts/make_calib.py --task cls --input-spec 1x3x224x224` / `--task det --input-spec 1x3x640x640` | `data/calib/…` |
|
||||
| 7 | `bench preflight --modes oracle,e2e` | 0 errors 才往下;包含 Agent 环境检查 |
|
||||
| 8 | `bench new-run --note "S100P"` → `bench expand --modes oracle,e2e --marches nash-m` | 每个就绪模型的 `runs/r…/<job_id>/job.json`,`state/jobs.sqlite` |
|
||||
| 8 | `bench new-run --target s100p --note "S100P"` → `bench expand --modes oracle,e2e --marches nash-m` | 每个就绪模型的 `runs/r…/<job_id>/job.json`,`state/jobs.sqlite` |
|
||||
| 9 | `bench run --dry-run` | 状态机空转一遍,不碰工具链 |
|
||||
|
||||
步骤 4–6 用 PTQ venv 的 python(要 pyarrow / pillow / numpy)。ImageNet 首选 HF parquet 14 片;tar 是备用源,入池时会 `tar -tzf | wc -l` 校验。
|
||||
|
||||
## 2. P2 切片(真跑)
|
||||
|
||||
环境和数据准备好后,`scripts/start_run.sh --note "S100P" --parallel 2` 会检查环境、展开 nash-m 输入准备和 Agent 计划,后台准备 01–03 并按首轮优先采集;`--resume` 续跑已有 run。采样次数、GLM-5.3 身份和精度门槛不变。其他板型需先在 `registry/matrix.yaml` 的 `marches` 中加入对应值,再用 `bench expand --marches ...` 选择。
|
||||
环境和数据准备好后,`scripts/start_run.sh --target s100p --note "S100P" --parallel 2` 会检查环境、展开 nash-m 输入准备和 Agent 计划,后台准备 01–03 并按首轮优先采集;S600 使用 `--target s600`,run 会固定为 nash-p。续跑必须显式写 `scripts/start_run.sh --resume --run <run>`,避免多板型时恢复错批次。run target 覆盖历史 matrix 的默认 march,但不修改 matrix,因此旧 S100P run 的任务口径保持不变。
|
||||
|
||||
```bash
|
||||
bench run --oracle --job cls--resnet18--nash-m--ptq--int8 --parallel 1 # 仅需要完整对照时
|
||||
|
||||
@ -9,6 +9,15 @@
|
||||
|
||||
运行入口与配置方式见 [项目 README](../README.md),实现约定见 [CONTRACT.md](../CONTRACT.md)。文档中的实验状态、服务器路径和实测结果对应其编写时间;当前运行状态需要重新核查。
|
||||
|
||||
## SFT采集可靠性 V1(待实施)
|
||||
|
||||
- [计划与规范入口](plans/sft-collection-v1/README.md)
|
||||
- [实施计划](plans/sft-collection-v1/PLAN.md):数据、GLM共享配额、生命周期、实时看板一体交付。
|
||||
- [自动验收标准](plans/sft-collection-v1/ACCEPTANCE.md) 与 [机器用例清单](plans/sft-collection-v1/acceptance-cases.json):全部用例初始为NOT_RUN。
|
||||
- [确定性数据规则](plans/sft-collection-v1/DATA_RULES.md):默认保留、100%覆盖、身份去重、因果闭合及版本回滚。
|
||||
|
||||
配置草案放在该文档目录的 `rules/`,不修改当前运行配置,不表示已实施或已验收。
|
||||
|
||||
## Git 收录范围
|
||||
|
||||
仓库收录 harness、模型适配器、Agent 配置模板、数据导出代码、脚本、测试、registry、配置和项目文档,保留现有提交历史。
|
||||
|
||||
97
docs/plans/sft-collection-v1/ACCEPTANCE.md
Normal file
97
docs/plans/sft-collection-v1/ACCEPTANCE.md
Normal file
@ -0,0 +1,97 @@
|
||||
# SFT采集V1:自动验收标准
|
||||
|
||||
状态:**NOT_RUN,规范已记录,测试尚未执行。** 计划版本 `collection-v1-integrated`,数据规则 `sft-preserve-v1`。算法以 [DATA_RULES.md](DATA_RULES.md) 和 [PLAN.md](PLAN.md) 为准;本文件集中定义验收入口,不放宽任何规则。
|
||||
|
||||
## 1. 数据样本门
|
||||
|
||||
独立验收器读取冻结原件建分母,不能直接拿exporter的消息列表校验它自己。每条样本单独判定,再聚合统计;正文相同不作为消息身份。
|
||||
|
||||
| 检查 ID | 自动计算 | 每样本 PASS 条件 |
|
||||
|---|---|---|
|
||||
| OBSERVATION_ACCOUNTING | 每个 O 对应“保留消息 / 有身份证明的镜像别名 / 明确空错误排除”之一 | 归属数=观测总数,未归属=0,多重归属=0 |
|
||||
| VALID_MESSAGE_COVERAGE | V 中恰好一次出现在 P 的消息数 / len(V) | 分子=分母且分母>0,即精确100%;同时 extra_source_ids=0 |
|
||||
| PAYLOAD_COVERAGE | 必保留字段/块经格式映射与固定脱敏后的逐项一致性 | 缺失字段/块=0,额外非来源正文=0,非法改写=0;不只按消息条数 |
|
||||
| IDENTITY_DEDUP | 每个折叠观测的身份和镜像关系证明;相同正文不同身份的保留情况 | 无证明折叠=0,同 ID 内容冲突=0,错误合并不同 ID=0 |
|
||||
| ORDER_AND_CAUSALITY | P 与 V 的有序对比;调用 ID 到结果位置映射 | 序列差异=0,结果早于调用=0,移接结果=0,状态改写=0 |
|
||||
| CALL_TOOL_CLOSURE | 每个调用恰有一个最终结果,且每个结果恰有一个调用 | missing=0、orphan=0、duplicate_final=0、call_id_conflict=0 |
|
||||
| SOURCE_INTEGRITY | 冻结原件哈希、解析错误、来源/身份歧义 | 哈希全一致;parse_error=0、unknown_context=0、identity_ambiguous=0 |
|
||||
| ERROR_EXCLUSION | 空错误白名单与保留的异常生命周期 | 每次删除均匹配谓词;成功发布样本内非空错误/不完整生成=0 |
|
||||
| HARD_GATES | 第 6 节所有必选门及身份约束 | 全部 PASS(允许任务定义的 pass-screen);缺项/UNVERIFIED 即 FAIL |
|
||||
| PRIVACY | 固定脱敏规则与发布范围检查 | 未处理敏感项=0;原始私有字段不出发布边界 |
|
||||
|
||||
|
||||
所有required检查PASS才允许样本进入成功SFT;正常失败任务与未知完整性样本留档,不删原件。批次须全部输入有处置、全部输出通过、哈希/数量一致且至少1条合格样本;固定成功夹具必须产出预期身份,不能靠全部排除过关。wait与引用风险只打标。
|
||||
|
||||
## 2. 必选用例
|
||||
|
||||
机器清单:[acceptance-cases.json](acceptance-cases.json)。测试必须自动计算断言,不能以人工看日志或Agent自报代替;故障注入使用假上游、可控时钟和受控进程,真实小批验证正常GLM/编译/上板链路,不故意打满真实账户。
|
||||
|
||||
| ID | 场景 | PASS条件 | 当前状态 |
|
||||
|---|---|---|---|
|
||||
| DATA-001 | 正常段→429空错误→续跑段→再次重试→完成 | 完整有效序列覆盖100%;空错误仅在排除清单;旧“只取最后段”实现 FAIL | NOT_RUN |
|
||||
| DATA-002 | 两个身份不同但内容完全相同的真实消息 | 两条都保留;任何按内容去重的实现 FAIL | NOT_RUN |
|
||||
| DATA-003 | 同一消息在 message_end/agent_end 重复出现 | 一个规范消息、两个可追溯观测;无来源证明的折叠 FAIL | NOT_RUN |
|
||||
| DATA-004 | agent_end 独有 user/custom;中途新增上下文 | 在真实位置保留;前移/漏掉/补造时 FAIL | NOT_RUN |
|
||||
| DATA-005 | 空 error、带正文 error、正常文字429、tool isError | 仅空 error 可排;带正文 error 留档且样本不发布;正常文字/工具错误保留 | NOT_RUN |
|
||||
| DATA-006 | 连续同状态心跳→新证据→状态完成 | 标签与预期相符;SFT 源消息序列、字段内容零变化 | NOT_RUN |
|
||||
| DATA-007 | TIMEOUT,后一次 wait 才收到 OK | 两次真实结果各归原调用;将 OK 搬到早先调用时 FAIL | NOT_RUN |
|
||||
| DATA-008 | 删除一对已闭合的早期 call/tool | 即使 closure 通过,coverage 必须 FAIL | NOT_RUN |
|
||||
| DATA-009 | 孤立 result / 悬空 call / 重复 call ID / 并行反序完成 | 前三者 FAIL;合法并行各自闭合 PASS | NOT_RUN |
|
||||
| DATA-010 | 旧截断删除了后文显式引用字段/仅语义改述 | 前者 REFERENCED_CONTENT_REMOVED;后者 UNKNOWN;均不自动删消息 | NOT_RUN |
|
||||
| DATA-011 | 改产物SHA/假source/阈值超限/缺必选门 | 硬门 FAIL,样本保留但不进入 sft.jsonl | NOT_RUN |
|
||||
| DATA-012 | 全部失败或全部空错误 | 处置清单完整,但发布 FAIL(NO_ACCEPTED_SAMPLES) | NOT_RUN |
|
||||
| DATA-013 | 发布各落盘步骤中断、双发布、回滚禁用版 | 遵循第8节;无混版、无跳门、无无效 CURRENT | NOT_RUN |
|
||||
| JOINT-001 | 多Agent、同组持续429 | 冷却提交后普通新请求=0;同组同时探测≤1;每逻辑生成HTTP总发送≤预算;无SDK旁路;暂停期间不新建空rollout | NOT_RUN |
|
||||
| JOINT-002 | 配额恢复与再次429 | 并发每稳定窗口最多+1,不超过配置;再次429共享退让;恢复不把原有工具再提交 | NOT_RUN |
|
||||
| JOINT-003 | RPM/TPM并发边界、缺usage、入口重启 | 真实发送不越已配置预算;不提前退款;账本/冷却/重试预算不因重启归零;入口失联不直连 | NOT_RUN |
|
||||
| JOINT-004 | 首字节/流空闲/总请求超时 | 在相应期限收敛;不形成永久RUNNING;未完成assistant不派发工具;原因可见 | NOT_RUN |
|
||||
| JOINT-005 | 排队后取消、拿槽与取消竞态 | cancel提交后新spawn/新上游发送=0;已拿槽未启动可撤回;计数归位或显式隔离 | NOT_RUN |
|
||||
| JOINT-006 | 正常长编译静默、CPU空转、完全挂起 | 正常静默不按日志单信号误杀;超绝对期限进入回收;状态/阈值/依据可在页面核对 | NOT_RUN |
|
||||
| JOINT-007 | 父进程退出、后代忽略TERM、板端失联 | 整个执行集合确认清空才释放;未确认则隔离,禁止新占用;清理过程有界 | NOT_RUN |
|
||||
| JOINT-008 | 退出143/仅provider错误退出0 | 不写COMPLETED;原因、硬门、数据资格独立且与证据一致 | NOT_RUN |
|
||||
| JOINT-009 | 请求/工具提交与回执落盘间崩溃 | 同ID同payload只复用;状态不明不重放副作用;来源与去重计数可审计 | NOT_RUN |
|
||||
| JOINT-010 | collector/主机重启、DB孤儿RUNNING | 新领取前完成对账;无owner双写/重复上板;无法确认的标UNKNOWN/隔离 | NOT_RUN |
|
||||
| JOINT-011 | 多浏览器、API断连、PID复用 | 实际Agent数准确;未知/过期不显示0;刷新额外LLM/业务执行次数=0 | NOT_RUN |
|
||||
| JOINT-012 | 429恢复后多段对话、等待超时后成功 | SFT有效消息覆盖100%、调用闭合、身份去重与顺序检查通过;超时仍归原调用;运维事件不合成消息 | NOT_RUN |
|
||||
| JOINT-013 | 导出中断、双发布、数据与运行版本回退 | 无混版;COMMIT_UNKNOWN可对账;回滚不重复任务、不恢复已撤销坏数据 | NOT_RUN |
|
||||
| JOINT-014 | 真实小批次 | 实际LLM→工具→上板/精度→数据发布全程可见,所有必选门通过;不要求训练闭环 | NOT_RUN |
|
||||
| QUOTA-001 | 两个项目/凭据别名同一quota_group,另一独立group同时运行 | 共享组共用预算和一次冷却;独立组不被错误暂停;所有真实HTTP经过账本 | NOT_RUN |
|
||||
| QUOTA-002 | Retry-After有效/缺失/非法;HALF_OPEN超时/5xx/非空断流 | 有效期限不提前解除;未知按版本退避;失败退出探测态,未知结果对账前不发第二个探测 | NOT_RUN |
|
||||
| QUOTA-003 | 1800秒累计等待耗尽后自动恢复;HTTP4次耗尽 | 等待预算不重置;仅可即时准入才恢复;HTTP耗尽不换generation_id绕过;至多3次自动恢复 | NOT_RUN |
|
||||
| LIFE-001 | 遥测UNKNOWN但绝对deadline到达 | 仍按可确认所有权执行截止/回收;身份未知则隔离,不盲目按PID杀进程或无限续跑 | NOT_RUN |
|
||||
| LIFE-002 | 完成与取消同时提交;旧owner晚到 | 同一提交顺序决定终态;旧epoch无法发副作用或覆盖新owner;任务硬结果与执行原因分开 | NOT_RUN |
|
||||
| UI-001 | 2个Agent+1个compiler+1个collector;合法WAITING/VERIFYING数量不等 | Agent=2、compiler=1、collector单列;按phase预期身份核对,不按总数相等误报 | NOT_RUN |
|
||||
| VERSION-001 | CURRENT替换后崩溃、撤销与回滚竞态 | COMMIT_UNKNOWN通过同event_id对账;锁内复查撤销;只回滚合格版本;运行和配额账本不回退 | NOT_RUN |
|
||||
|
||||
## 3. 每次运行的机器回执
|
||||
|
||||
实施测试后,在运行产物目录生成独立回执;不把本计划文件中的NOT_RUN机械改成PASS。每个用例必须记录下列字段:
|
||||
|
||||
```json
|
||||
{
|
||||
"plan_version": "collection-v1-integrated",
|
||||
"case_id": "DATA-001",
|
||||
"status": "NOT_RUN",
|
||||
"implementation_revision": null,
|
||||
"rules_sha256": null,
|
||||
"runtime_policy_sha256": null,
|
||||
"source_manifest_sha256": null,
|
||||
"fixture_version": null,
|
||||
"started_at": null,
|
||||
"finished_at": null,
|
||||
"checks": [],
|
||||
"evidence": []
|
||||
}
|
||||
```
|
||||
|
||||
真实回执的checks逐项包含check_id、expected、actual、status;evidence每项包含相对运行目录的path与sha256。实现版本可用git提交或源码哈希;没有git不能编造提交号。null仅用于这个尚未执行的模板,真实PASS回执的适用版本/证据必须完整。非数据场景的source_manifest可指向其冻结夹具输入清单。
|
||||
|
||||
## 4. 整版PASS / FAIL
|
||||
|
||||
1. A数据、B限流、C执行、D实时看板四条线全部交付;所有required case有有效且匹配当前实现/规则/配置的PASS回执。
|
||||
2. 不接受以mock结果冒充真实小批:建议至少3个独立任务,覆盖真实LLM、编译、板端评测、硬门、完整SFT落盘和看板观察;若事先版本化修改测试规模,仍须满足这些覆盖项。
|
||||
3. 覆盖原始12条前文缺失候选的存量回放;修复前夹具能暴露缺陷,修复后覆盖、payload、身份、闭合和顺序全部通过。不预设最终合格数仍为17。
|
||||
4. 发布中断、并发和回滚均按相同生产提交协议测试。提交前失败不改CURRENT;提交后不确定必须按event_id对账,不把非零退出当作“未发生”。
|
||||
5. 一个必选用例为FAIL/UNKNOWN/NOT_RUN、缺证据或版本不匹配,整版就是未通过。文档哈希/JSON解析/链接校验只能证明交付完整,不能代替功能验收。
|
||||
|
||||
拟实现的数据发布CLI退出码:0成功;2提交前验证失败/无合格数据;3来源变动/不支持;4提交前版本冲突;5 COMMIT_UNKNOWN,需要查询同event_id。当前这些CLI不因为本目录落盘而变成可用命令。
|
||||
201
docs/plans/sft-collection-v1/DATA_RULES.md
Normal file
201
docs/plans/sft-collection-v1/DATA_RULES.md
Normal file
@ -0,0 +1,201 @@
|
||||
# SFT 首版:确定性规则与自动验收规范
|
||||
|
||||
规范版本:`sft-preserve-v1`;状态:**待实现的接口与算法规范,不是已部署代码或已通过的验收报告**。对应配置:[sft-preserve-v1.json](rules/sft-preserve-v1.json)。以本文件和根报告的首版范围为准。
|
||||
|
||||
本文件限定数据子系统的三个目标:修复全程消息丢失;执行已有任务硬门;排除事件明确且内容为空的错误残片。校验、来源映射和版本发布属于数据交付条件。当前整版还须完成共享限流、执行生命周期和实时看板,见 [一体实施规范](PLAN.md);它们不再列为后续。wait 压缩、摘要、截断、相邻消息合并仍不启用。
|
||||
|
||||
## 1. 输入冻结与消息身份
|
||||
|
||||
**源数据是采样时已保存的消息,不是后来搜集的更完整日志。** 恢复导出器额外截断的 tool 内容,只能恢复到当时真实返回给 Agent 的工具结果;不能把 shell 的 `tail` 之前、Agent 从未看到的 stdout 补进历史上下文。
|
||||
|
||||
每个输入批次冻结 `run/job/attempt/runner/session`、原始事件、持久会话(如有)、当时的 prompt/system/tools 快照、job 硬门配置、受保护阶段回执与 verifier 证据。记录文件 SHA256、字节数和读取水位。读取期间变动的输入返回 `SOURCE_CHANGED`,下次重新冻结;首版仅处理已结束、文件稳定的尝试。不得用今天的文件覆盖当时缺失的 system/tools 快照。
|
||||
|
||||
为每个观测记录 `observation_id = (source_sha256, byte_offset, json_pointer)`。同一条消息在 message_end、turn_end、agent_end 中的多个观测可以指向同一 `message_id`,但必须有身份关系证明:
|
||||
|
||||
1. 优先使用运行器保证唯一的 `(run, job, attempt, session, branch, native_message_id)`。payload 哈希仅校验同一身份内容是否一致,不能用作跨消息去重键。
|
||||
2. Pi 没有原生 message ID 的记录,以消息生命周期的开始/结束事件序号建立 ID;缺少开始事件时,以独立的完整 message_end 观测 ID 建立 ID。**两次 message_end 即使正文相同,也不能仅凭内容合并。**
|
||||
3. turn_end/agent_end 是容器镜像。只在同一已识别运行段内,按运行器明确的消息生命周期顺序、角色与工具调用 ID,做一对一映射;payload 必须一致且映射唯一。重复收到同一镜像不产生新消息。映射不唯一则 `IDENTITY_AMBIGUOUS`,保留所有原始观测并停止该样本发布。
|
||||
4. agent_end 独有的 user/custom 不得跳过:优先取持久会话中的身份和位置,否则按该段内唯一可确定的前后关系插入规范序列。初始 prompt 快照只在运行器记录证明它就是本次初始输入时映射到该位置,不因文本相同与别的 user 消息合并。位置或身份无法确定则 `CONTEXT_ORDER_UNKNOWN`,原件保留,该样本不发布。
|
||||
5. system 快照是独立的上下文来源;中途新增 system/custom 必须保留原位置。分支只取实际执行路径,不能把兄弟分支拼接。未知运行器版本/事件形状返回 `UNSUPPORTED_SOURCE`,不靠猜测生成消息。
|
||||
|
||||
首版先支持本次已核对的 Pi 事件版本;其他 runner 只有通过相同来源和身份测试才能启用。无需同时开发通用会话协议。
|
||||
|
||||
独立 inventory 扫描器枚举全部消息观测、段边界和上下文快照;重建器据此产出规范序列。验收器直接读取冻结原件核对 inventory,不能拿导出器自己已经丢过前文的列表当分母。所有未知的可能影响对话的事件保留并报 `SOURCE_EVENT_UNKNOWN`;已知纯运维事件按类型归档。
|
||||
|
||||
## 2. 唯一允许的语义删除:明确且全空的错误残片
|
||||
|
||||
删除谓词必须同时满足以下条件;不匹配则不删:
|
||||
|
||||
```python
|
||||
drop_empty_error = (
|
||||
event.type == "message_end"
|
||||
and message.role == "assistant"
|
||||
and message.stopReason == "error" # 原始结构化字段,非正文关键词
|
||||
and adapter.error_origin in {"provider", "transport"} # 已支持运行器的事件映射
|
||||
and content_is_provably_empty(message) # 检查全部 block,不能只取 text
|
||||
and no_tool_call_fields_or_blocks(message)
|
||||
and no_linked_tool_execution(message)
|
||||
and not had_nonempty_stream_delta(message)
|
||||
)
|
||||
```
|
||||
|
||||
`content_is_provably_empty` 的固定定义:content 为 `null`、`""`、`[]`,或仅由已支持的 text/output_text 类型且 text 严格等于空串组成;缺少必需字段、未知 block、非空空白串、thinking/reasoning/图片等其他 block,均不自动认定为空。`had_nonempty_stream_delta` 检查对应生命周期中是否曾出现非空文本/思考块或工具参数 delta;残片不补造成完整消息。
|
||||
|
||||
`adapter.error_origin` 是版本固定的事件映射结果,不是要求旧日志恰有同名字段;只能根据已核对的运行器事件语义和结构化字段确定。来源无法确定时不套空错误排除规则。
|
||||
|
||||
- 删除写入 `excluded_observations.jsonl`:原始身份、事件位置、规则 ID、原始哈希和原因 `EMPTY_ERROR_FRAGMENT`。原文件不删,容器镜像一并指向这条排除记录。
|
||||
- 非空或形状不明的 error、aborted、仅有流式残片的生命周期:保留并标 `ERROR_CONTENT_RETAINED` / `INCOMPLETE_GENERATION`,首版不裁剪;该轨迹不进入成功 SFT 发布集,原因由字段判定,不交给人工逐条选句。
|
||||
- `toolResult.isError=true`、编译失败后修正、bash 超时返回,都是 Agent 实际收到的工具观察,必须保留。它们不等同于 provider 的空生成错误。
|
||||
- `auto_retry_start/end` 等已知运维事件进入 `operations.jsonl`,本来就不是对话消息;不为它们编造 assistant 回答。正文里写了 429/error/timeout 不是删消息的依据。
|
||||
|
||||
全量保留的是**原始证据和非白名单内容**;不满足成功发布条件的整条轨迹进入保留区,不能悄悄裁掉问题片段后重新标合格。
|
||||
|
||||
## 3. 因果与内容约束
|
||||
|
||||
首版关闭现有会改变正文/顺序的 R2 去块、R3 system 合并前移、R5 通用去空、R6 相邻角色合并、R7 tool 截断。仅允许已定义且可逆的格式映射,以及固定版本的必要脱敏;未知字段保留于规范记录,不静默忽略。某消费格式无法表示时,保留规范数据并报格式不支持,不强行输出一个有损成功样本。
|
||||
|
||||
脱敏单独记录字段级变换清单与规则版本;验收以独立重算的期望脱敏视图比较输出。未脱敏原件受控保存,不出现在页面或发布文件中;脱敏不允许改 role、顺序、工具调用 ID、执行状态。敏感值一致映射,不能把脱敏当作任意删内容的豁免。
|
||||
|
||||
以下为每条样本的强制断言:
|
||||
|
||||
```python
|
||||
expected = source_message_ids - proven_empty_error_message_ids # 保持源序
|
||||
assert output_source_ids == expected # 序列相等,非集合相等
|
||||
assert all_source_payloads_accounted_for() # 包括完整 tool 内容/上下文
|
||||
assert output_view == independently_rendered_expected_view # 含固定脱敏
|
||||
assert every_alias_has_same_identity_and_payload()
|
||||
assert every_tool_result_follows_its_own_call()
|
||||
assert no_call_id_is_reused_for_a_different_call()
|
||||
assert no_status_or_timeout_fact_is_rewritten()
|
||||
```
|
||||
|
||||
格式拆分以 `(source_message_id, block_index)` 保持块顺序,合并计数时仍算一个源消息;每个块必须恰好覆盖一次。允许并行工具以真实完成顺序返回,不要求不同调用的结果按调用先后排序;禁止跨调用/跨 attempt 移接结果。
|
||||
|
||||
默认工具协议是一条调用对应一条最终 toolResult;过程更新不计最终结果。孤立结果、缺结果、同一调用多个终结结果、结果早于对应调用、调用 ID 冲突,任一发生均不发布该样本。即使后续状态文件为 OK,也不能改写早先返回的 TIMEOUT;等待器状态和实际操作状态分别保存。
|
||||
|
||||
## 4. 系统自动算哪些数,怎样判 PASS / FAIL
|
||||
|
||||
设:`O` 为全部消息观测;`C` 为确认身份后的规范消息序列;`X` 仅为第 2 节白名单排除消息;`V=C-X`;`P` 为输出对应的源消息序列。运维事件另计,不伪装为丢失消息或有效消息。
|
||||
|
||||
| 检查 ID | 自动计算 | 每样本 PASS 条件 |
|
||||
|---|---|---|
|
||||
| OBSERVATION_ACCOUNTING | 每个 O 对应“保留消息 / 有身份证明的镜像别名 / 明确空错误排除”之一 | 归属数=观测总数,未归属=0,多重归属=0 |
|
||||
| VALID_MESSAGE_COVERAGE | V 中恰好一次出现在 P 的消息数 / len(V) | 分子=分母且分母>0,即精确100%;同时 extra_source_ids=0 |
|
||||
| PAYLOAD_COVERAGE | 必保留字段/块经格式映射与固定脱敏后的逐项一致性 | 缺失字段/块=0,额外非来源正文=0,非法改写=0;不只按消息条数 |
|
||||
| IDENTITY_DEDUP | 每个折叠观测的身份和镜像关系证明;相同正文不同身份的保留情况 | 无证明折叠=0,同 ID 内容冲突=0,错误合并不同 ID=0 |
|
||||
| ORDER_AND_CAUSALITY | P 与 V 的有序对比;调用 ID 到结果位置映射 | 序列差异=0,结果早于调用=0,移接结果=0,状态改写=0 |
|
||||
| CALL_TOOL_CLOSURE | 每个调用恰有一个最终结果,且每个结果恰有一个调用 | missing=0、orphan=0、duplicate_final=0、call_id_conflict=0 |
|
||||
| SOURCE_INTEGRITY | 冻结原件哈希、解析错误、来源/身份歧义 | 哈希全一致;parse_error=0、unknown_context=0、identity_ambiguous=0 |
|
||||
| ERROR_EXCLUSION | 空错误白名单与保留的异常生命周期 | 每次删除均匹配谓词;成功发布样本内非空错误/不完整生成=0 |
|
||||
| HARD_GATES | 第 6 节所有必选门及身份约束 | 全部 PASS(允许任务定义的 pass-screen);缺项/UNVERIFIED 即 FAIL |
|
||||
| PRIVACY | 固定脱敏规则与发布范围检查 | 未处理敏感项=0;原始私有字段不出发布边界 |
|
||||
|
||||
覆盖率必须按每条样本校验,再展示全批统计;不能用总体平均掩盖一条丢前文,也不能把失败项动态划入 X 凑100%。没有正常 assistant 行为、只有 system/user/空错误的轨迹返回 `NO_USABLE_ASSISTANT`。
|
||||
|
||||
`sample_pass = all(required_check == PASS)`。失败样本保留到 `retained.jsonl` 并记录固定 reason_code、源身份和数值;不删源轨迹,不需要人来决定是否绕过门槛。wait 和引用风险标签属于 advisory,不因有这些标签就删除样本。
|
||||
|
||||
批次可以包含正常失败任务:不要求70条全部成功。发布门是:所有输入尝试均有 accepted/retained/no-usable 处置;所有 accepted 样本全部通过;来源与处置数量一致;输出至少1条合格样本。另有**实现验收**门:固定成功回归样例的通过数和身份列表必须精确匹配预期,不能靠“全部放进保留区”伪装修好了 P0。
|
||||
|
||||
## 5. wait 与截断:自动判定,首版只标记
|
||||
|
||||
### 5.1 wait 的状态机
|
||||
|
||||
操作键固定为 `(run, job, attempt, stage_handle, execution_attempt)`,不能仅按模型名或命令正文聚合。只读取当时的结构化状态/工具回执,或用版本固定、严格语法的 stageclient 输出解析器;读取不到就是 UNKNOWN,不能用当前最终状态回填历史。
|
||||
|
||||
状态为 `QUEUED / RUNNING / OK / FAIL / CANCELLED / UNKNOWN`。允许观测跳过中间态,例如 QUEUED 后直接读到 OK;不允许终态后倒退。同一 handle 重试执行必须有新的 execution_attempt,否则标 `STATE_CONFLICT`。
|
||||
|
||||
同时保留原始 `stage_state`(例如 DONE)、`stage_result`(例如 OK/FAIL)和 `waiter_outcome`。归一状态 OK 只能来自受保护阶段的成功结果,不能来自 bash 管道退出0;SKIPPED 或无法对应的状态归 UNKNOWN,不伪装成功。
|
||||
|
||||
| 条件 | 自动标签与旁路行为 | SFT 正文 |
|
||||
|---|---|---|
|
||||
| 首次观测或 state 与上次不同 | FIRST_OBSERVATION / STATE_CHANGED,保存转换边 | 原样保留 |
|
||||
| state 相同且可比较的证据内容发生变化 | SAME_STATE_NEW_EVIDENCE,保存新增证据摘要/哈希 | 原样保留 |
|
||||
| state 相同,结果字段/证据内容相同,只有声明的心跳字段变化 | HEARTBEAT_REPEAT;旁路聚合 count、first/last、source_ids | 原样保留 |
|
||||
| 无法解析状态、无法确认操作键或证据完整性 | WAIT_UNKNOWN | 原样保留 |
|
||||
|
||||
心跳字段白名单只包含时间戳、elapsed、poll 序号等声明的运维字段。结果比较至少包含 exit_code、error_class、产物/指标、证据内容哈希和新增日志载荷;路径一样但内容变了也算证据变化。未知字段不得忽略,归 UNKNOWN。每次工具返回内若包含多次状态转换,逐项提取,不能只看最后一行。
|
||||
|
||||
因此“有没有**状态进展**”由状态机严格判定;“是不是**纯重复心跳**”再要求证据也未变化。两者分开,避免将同状态下新得到的失败摘要删掉。本批 MobileNetV2 第二次 wait 补回失败摘要就是应覆盖的例子。
|
||||
|
||||
首版的心跳压缩仅发生于 `annotations.jsonl` / 前端统计:一组重复观测生成一条汇总并保留全部 source_ids。`mutate_sft_messages=false`;不移走消息中的心跳,不删除重复 assistant/tool 回合。bash 等待超时只设置 `waiter_outcome=TIMEOUT`,不推断 stage 失败或成功。
|
||||
|
||||
### 5.2 截断字段是否被后文引用
|
||||
|
||||
首版不再做新的导出截断。对历史导出与原始 tool 消息比较,自动输出 `removed_fields`:JSON 字段用 JSON Pointer;纯文本用源消息中的字节区间;字段值/区间均带哈希。只看截断消息之后的 assistant 正文和工具参数,排除此前文本。
|
||||
|
||||
按固定顺序匹配:
|
||||
|
||||
1. 后文有明确 `(source_message_id, JSON Pointer / span)` 引用,且命中被截区间:`REFERENCED_CONTENT_REMOVED`。
|
||||
2. 后文具有完整字段路径,或同一字段键与完全相等的标量/字符串值配对,能唯一对应被截字段:同上;多个候选来源则 `REFERENCE_AMBIGUOUS`。仅出现常见数值、普通关键词不算精确命中。
|
||||
3. 文本仅同字串复现但不能确认来源:`LITERAL_MATCH_UNRESOLVED`。已支持结构中未检出显式引用:`NO_EXPLICIT_REFERENCE`;未知格式、缺少原件、自然语言改述无法确定依赖:`REFERENCE_UNKNOWN`。
|
||||
|
||||
“被截字段被引用”与“该次决策失去唯一依据”另分两项。后者必须检查引用之前全部保留的 system/user/assistant/tool 上下文及重新读取结果,确认没有其他可用来源,才标 `CONFIRMED_CONTEXT_REFERENCE_LOSS`;否则只保留引用命中标签,不能因常见值碰巧相同断言因果断裂。
|
||||
|
||||
**NO_EXPLICIT_REFERENCE 不等于“证明没影响”。** 现有自由文本没有完整的引用关系,代码无法可靠判定所有隐含依赖;确定性做法是输出 UNKNOWN 并保留,而不是用另一个 LLM 猜测或自动删。将来若要按字段依赖安全压缩,应先增加结构化引用,再另外版本验收。
|
||||
|
||||
本版从原始工具消息重建完整内容,以上标签只用于回溯旧导出问题。原始消息缺失而无法恢复,PAYLOAD_COVERAGE / SOURCE_INTEGRITY 失败,整条留档不发布。截断命中引用与否均不授权改写历史决策。
|
||||
|
||||
## 6. 硬门:机器判断,不改当前任务含义
|
||||
|
||||
每条样本绑定冻结 job 的 required_gates、指标方向/容限、评估集身份及受保护证据。不以 assistant 自称成功或退出码0代替验证。
|
||||
|
||||
- 任务/产物绑定:run/job/attempt、目标架构、模型、HBM SHA、阶段回执中的身份逐字段一致;执行现有 `validate_hbm_measurements` 等独立核验。历史哈希缺失=UNVERIFIED,今天重算不能补造昨日回执。
|
||||
- G1:冻结任务要求的产物、架构、输入类型/layout、verifier、日志规则逐项通过;保护边界/禁止修改由既有 guard 或可核验记录验证。缺必需证据=UNVERIFIED,不文本猜测。
|
||||
- G3:source 严格为 board;FP32/量化指标有限且方向明确;数据集/子集/n 与该 job 一致;按冻结配置重算。当前 rel_pct:lower-better 用 `100*(quant-fp32)/abs(fp32)`,higher-better 用 `100*(fp32-quant)/abs(fp32)`;baseline=0 为 UNVERIFIED;劣化≤5%,使用现有 verifier 固定数值容差,不另放宽 T1。
|
||||
- 所有任务特有必选门必须通过;多指标全过,pose/depth 等额外限制按原配置。当前默认 G1/G3,G2 诊断身份保持;本批100张T1只发布为 pass-screen,不能升格为全量精度通过。
|
||||
- claim 使用现有结构化声明与 verifier 的对应字段检查;缺声明或矛盾按既有规则阻断,不能让人从自由文本“感觉成功”。
|
||||
|
||||
执行终态独立保留:TIMEOUT 不改 DONE,工具失败不改成功。如果任务已按冻结规则上板/精度通过、声明一致、全程完整且调用闭合,执行超时本身不追加一条新硬门;如果超时留下缺失结果/中断生成,则上述完整性门自然失败。
|
||||
|
||||
## 7. 待实现的自动验收用例
|
||||
|
||||
测试夹具固定 expected IDs、字段哈希、标签和退出结果;回归不是让人逐条对行号。所有用例通过才算实现验收 PASS。
|
||||
|
||||
| 输入/故障 | 必须自动得到的结果 |
|
||||
|---|---|
|
||||
| 正常段→429空错误→续跑段→再次重试→完成 | 完整有效序列覆盖100%;空错误仅在排除清单;旧“只取最后段”实现 FAIL |
|
||||
| 两个身份不同但内容完全相同的真实消息 | 两条都保留;任何按内容去重的实现 FAIL |
|
||||
| 同一消息在 message_end/agent_end 重复出现 | 一个规范消息、两个可追溯观测;无来源证明的折叠 FAIL |
|
||||
| agent_end 独有 user/custom;中途新增上下文 | 在真实位置保留;前移/漏掉/补造时 FAIL |
|
||||
| 空 error、带正文 error、正常文字429、tool isError | 仅空 error 可排;带正文 error 留档且样本不发布;正常文字/工具错误保留 |
|
||||
| 连续同状态心跳→新证据→状态完成 | 标签与预期相符;SFT 源消息序列、字段内容零变化 |
|
||||
| TIMEOUT,后一次 wait 才收到 OK | 两次真实结果各归原调用;将 OK 搬到早先调用时 FAIL |
|
||||
| 删除一对已闭合的早期 call/tool | 即使 closure 通过,coverage 必须 FAIL |
|
||||
| 孤立 result / 悬空 call / 重复 call ID / 并行反序完成 | 前三者 FAIL;合法并行各自闭合 PASS |
|
||||
| 旧截断删除了后文显式引用字段/仅语义改述 | 前者 REFERENCED_CONTENT_REMOVED;后者 UNKNOWN;均不自动删消息 |
|
||||
| 改产物SHA/假source/阈值超限/缺必选门 | 硬门 FAIL,样本保留但不进入 sft.jsonl |
|
||||
| 全部失败或全部空错误 | 处置清单完整,但发布 FAIL(NO_ACCEPTED_SAMPLES) |
|
||||
| 发布各落盘步骤中断、双发布、回滚禁用版 | 遵循第8节;无混版、无跳门、无无效 CURRENT |
|
||||
|
||||
首轮存量回放:冻结本次70尝试,42条旧导出用于差异对照;对12条前缀缺失候选逐条生成自动 coverage/closure/payload 结果。不能提前承诺恢复后仍恰好17条合格。随后再跑一批有真实业务成功证据的采集,比较标签与实际落盘;本版不以“压缩率”作为通过指标。
|
||||
|
||||
## 8. 规则、数据、发布与回滚
|
||||
|
||||
每版必须绑定:`dataset_version`、`rules_version`、规则文件 SHA256、源清单 SHA256、exporter/parser/validator 代码哈希、固定脱敏版本、冻结 job/verifier 版本。无 Git 时用文件哈希,不编造 commit。输入、规则或实现任一变化,都生成新的 dataset_version。
|
||||
|
||||
```text
|
||||
datasets/<dataset_version>/
|
||||
rules.json # 发布所用规则的真实副本
|
||||
source-manifest.json # 原件身份与哈希;不公开原始敏感载荷
|
||||
sft.jsonl # 全部硬门与完整性门通过的样本
|
||||
retained.jsonl # 留档样本的受控记录/引用及明确不发布原因
|
||||
lineage.jsonl # observation -> message -> output/alias/exclusion
|
||||
annotations.jsonl # wait/引用风险;不修改 messages
|
||||
dataset-manifest.json # 上述产物哈希、数量与版本
|
||||
acceptance.json # 引用 dataset-manifest 哈希,逐项 PASS/FAIL
|
||||
release.json # 引用 manifest 和 acceptance 的哈希
|
||||
CURRENT.json # 只指向完整 release,含指针修订号
|
||||
```
|
||||
|
||||
验收文件不放进它自己所引用的 dataset-manifest,以免哈希循环。operations/原始证据保持独立受控存储;所有文件中敏感字段的处理都受 PRIVACY 门约束。
|
||||
|
||||
发布状态机:`BUILDING → VALIDATING → READY → PUBLISHED`;提交前失败保留 `FAILED` 诊断,不改 CURRENT;提交阶段中断单列 `COMMIT_UNKNOWN`,由事件 ID 与持久指针恢复确认。发布状态写外部日志,不原地修改冻结版本内的验收文件。
|
||||
|
||||
1. 在 staging 完成数据、来源映射和 manifest;冻结文件后独立校验。mandatory 检查全 PASS、accepted>0、所有输入有处置,才签发 acceptance 与 release(“签发”是生成校验回执,不依赖另建签名服务)。
|
||||
2. 版本目录只读发布,禁止原地覆盖。文件与目录 fsync 后就绪;同版本重试必须内容哈希一致,否则 `VERSION_COLLISION`。
|
||||
3. 发布器持锁,并核对调用者的 `expected_current_revision`;不一致返回 `PUBLISH_CONFLICT`。锁内最后复查目标未撤销、未命中封禁及完整性底线;撤销/封禁表更新使用同一锁并增加 epoch。在同一支持原子替换的文件系统内写临时 CURRENT、fsync、`os.replace`、fsync 父目录。读者只读取一次指针并固定该版本,校验 release/manifest 哈希;不会逐文件追随变化中的 CURRENT。每次新的读取会话同时检查撤销表,已撤销版本不继续对外供应;已交付的旧文件无法被指针切换收回。
|
||||
4. 切换事件在切换前持久记录 intent,指针中保存 event_id;`os.replace` 是切换点,父目录 fsync 确认持久提交。成功记录 commit;切换前失败不改变指针;切换后写审计/响应失败或提交阶段崩溃则返回/记录 `COMMIT_UNKNOWN`,不能声称指针未变。按相同 event_id 查询当前指针与持久日志后幂等收敛;提交结果尚不确定时不接受下一次切换,禁止用新 ID 盲目重发。进程中断/主机恢复后只能读完整旧版或完整新版;首版无旧指针时明确“尚未发布”,不读取 staging。
|
||||
5. 回滚使用同一锁、CAS、哈希校验和原子切换路径,规则与数据一起切回。目标必须是历史已通过验收且未撤销的版本;按它绑定的规则/实现复核,并满足不可降低的完整性底线。不能绕过已知缺前文/错误改写等封禁来“回滚成功”。不用最新版所有业务筛选规则替代旧规则,否则不是规则与数据一起回滚。
|
||||
6. 记录 from/to、两边规则版本、reason、事件序号;回滚不改原始轨迹、DB任务状态或 verdict。无合格历史版本则返回 `NO_ROLLBACK_TARGET`,保持当前合格版;当前版已撤销则停止对外供应,保留诊断访问,不退回已知有问题的 teacher 数据。
|
||||
|
||||
建议实现 CLI 契约(**以下命令名称尚待实现,本轮未运行**):`rebuild --source-manifest ... --rules ... --out ...`;`validate --generation ...`;`publish --generation ... --expected-current ... --event-id ...`;`rollback --to ... --expected-current ... --event-id ...`;`publication-status --event-id ...`。统一输出机器可读 JSON;退出码0表示请求成功且所有必选检查通过,2表示提交前验证失败/无合格数据,3表示源输入不稳定/不支持,4表示提交前版本或指针冲突,5表示 COMMIT_UNKNOWN。2/3/4不改变 CURRENT;5或提交后无响应必须查询同一 event_id,不能据退出码断言未发布。
|
||||
36
docs/plans/sft-collection-v1/EVIDENCE.md
Normal file
36
docs/plans/sft-collection-v1/EVIDENCE.md
Normal file
@ -0,0 +1,36 @@
|
||||
# 2026-09-21只读核查背景与源码定位
|
||||
|
||||
这是历史证据摘要,不是当前运行状态或本次验收结果。本次文档入库没有重新跑模型、重导出或故障注入;真实日志、数据库、轨迹和大型审计文件继续保存在运行/审计环境,不纳入源码文档包。
|
||||
|
||||
## 历史快照范围
|
||||
|
||||
目标:`/home/ming01.wang/bench-extension-20260920/bench`,批次 `r20260921-01`。北京时间2026-09-21 15:38:19记录70次尝试、32个模型,DB PASS/FAIL/BLOCKED/UNVERIFIED=17/3/1/49,DB RUNNING=0;这不证明整台主机实际进程为0。
|
||||
|
||||
同次导出42条混合证据,17条现行SFT候选,28次无可用消息未导出。teacher SHA256:`769d0be566f4ff29e0f7365b6f3e8f23cb5cda04902b1b066ca341a57cbeecfd`。
|
||||
|
||||
后续原始事件对照覆盖70份事件和同一版导出:61次尝试出现429;214条429错误assistant终结消息的content为空、无toolCall。本次扫描未发现这些重试事件直接进入候选messages;这不保证未来所有非空错误形态都安全。
|
||||
|
||||
导出器把最后一次agent_end当完整历史,造成42条导出中18条缺正常已完成前文;17条候选中12条共缺116条正常assistant/tool消息(43+73)。局部call/tool闭合与partial=false无法发现整对前文丢失。因此全程覆盖与身份验收为P0。
|
||||
|
||||
17条候选含132次wait、345行心跳;其中10次是外层bash等待超时。已匹配的132个wait起止区间未见assistant开始/结束事件,但不是对SDK隐藏HTTP的抓包证明。MobileNetV2重复wait补回失败摘要说明同状态不等于无新证据。
|
||||
|
||||
## 项目内实现定位
|
||||
|
||||
以下是此次审计的主要实现位置;实现后源码会变化,证据绑定须使用对应版本/哈希,不能只依赖旧行号。
|
||||
|
||||
| 范围 | 源文件 | 核查与待修点 |
|
||||
|---|---|---|
|
||||
| 重建/清理/资格 | [export/to_agentrl.py](../../../export/to_agentrl.py) | load_trajectory末段覆盖、R2/R3/R5/R6/R7有损变换、局部闭合不足 |
|
||||
| 硬门与身份 | [harness/verify.py](../../../harness/verify.py)、[harness/gates.py](../../../harness/gates.py)、[registry/gates.yaml](../../../registry/gates.yaml) | 独立证据、同HBM哈希、冻结G1/G3/任务特殊门;100张T1只为pass-screen |
|
||||
| Agent终态 | [harness/rollout.py](../../../harness/rollout.py) | 非零退出可能写DONE,执行/任务/数据资格分开 |
|
||||
| 调度与阶段 | [harness/scheduler.py](../../../harness/scheduler.py)、[harness/stageworker.py](../../../harness/stageworker.py)、[harness/stagerun.py](../../../harness/stagerun.py) | 可取消排队、spawn竞态、有界join、handle与回执恢复 |
|
||||
| 活性与恢复 | [harness/watchdog.py](../../../harness/watchdog.py)、`harness/recovery.py`(远端扩展版)、[harness/heartbeat.py](../../../harness/heartbeat.py) | 整个执行集合回收、稳定进程身份、重启对账;不能以日志静默或leader退出作充分证据 |
|
||||
| stage wait | [bin/stageclient.py](../../../bin/stageclient.py) | 工具内部等待不需要模型循环;CLI路径没有默认max_wait_s,不把外层bash超时说成内部定时返回 |
|
||||
| 监控来源 | [harness/db.py](../../../harness/db.py)、[harness/watch.py](../../../harness/watch.py)、[harness/report.py](../../../harness/report.py) | readonly聚合与共享采样;旧CLI/report可能写DB/文件,不能直接作为刷新接口 |
|
||||
| 板端回收 | [板端进程生命周期](../../board-process-lifecycle.md) | 复用guard/租约,但远端清理必须有确认;未确认即隔离 |
|
||||
|
||||
当时核对的Pi版本为0.73.1,已有2/4/8秒重试;SDK还有独立重试层,实际请求可能多于Agent轮次。共享broker必须落在真实HTTP边界并关闭叠加重试。GLM账户实际RPM/TPM/并发上限仍待核实,计划中的预算初值只属于本地工程策略。
|
||||
|
||||
## 原始审计产物索引
|
||||
|
||||
审计产物名称:`live-snapshot.json`、`source-check.json`、`audit_429_summary.json`、`candidate-prefix-loss.json`、`queue_audit.json`、`429_code_evidence.json`,保留在2026-09-21采集审计交付目录。它们不随本源码文档包复制,也不作为当前功能已通过的证据。项目内源码与运行目录仍是实施时重新冻结输入的来源。
|
||||
162
docs/plans/sft-collection-v1/PLAN.md
Normal file
162
docs/plans/sft-collection-v1/PLAN.md
Normal file
@ -0,0 +1,162 @@
|
||||
# 一体实施版 V1:SFT 完整性、限流恢复、执行生命周期与实时看板
|
||||
|
||||
计划版本:`collection-v1-integrated`。状态:**待实施计划;没有部署、故障注入或重新采集的完成声明**。数据规则继续使用 [sft-preserve-v1](DATA_RULES.md),其保留、硬门、自动验收和数据回滚约束不放宽。新增运行配置草案见 [collection-v1-runtime.json](rules/collection-v1-runtime.json)。
|
||||
|
||||
本轮一并交付:数据 P0、GLM 429 与账户共享配额、重试风暴抑制、长时间无进展检测、取消与资源回收、真实终态、重启对账,以及实时进程和任务看板。单项可先合入,但**全部联合验收通过,才称为这一版完成**。不加入 RL、奖励、训练器;wait 压缩仍不改数据。
|
||||
|
||||
## 1. 实施边界与公共记录
|
||||
|
||||
每次执行使用稳定的 `execution_id`,关联 run/job/attempt、session、Agent/worker/工具进程身份、stage_handle、资源租约、模型请求与原始消息序号。以下事实分列,禁止压成一个 PASS:
|
||||
|
||||
- `activity`:QUEUED / WAITING_QUOTA / WAITING_LLM / WAITING_RESOURCE / RUNNING_TOOL / COMPILING / RUNNING_BOARD / VERIFYING / RECOVERING。
|
||||
- `execution_state`:ACTIVE / PAUSED_INFRA / CANCEL_REQUESTED / CLEANING / TERMINAL;另存 stop_reason、退出码、信号、最后完成消息和恢复点。
|
||||
- `execution_outcome`:COMPLETED / CANCELLED / DEADLINE_EXCEEDED / BUDGET_EXHAUSTED / INFRA_ERROR / AGENT_ERROR / LOST;未结束为空。
|
||||
- `cleanup_state`:NOT_NEEDED / PENDING / VERIFIED / UNKNOWN / QUARANTINED。
|
||||
- `task_verdict` 与 `sft_validation`:现有硬门结果、数据完整性与资格分别记录。
|
||||
|
||||
执行退出原因、硬门事实不互相覆盖。SIGTERM/143不能写COMPLETED;只有对应的持久取消请求才能归类CANCELLED,没有取消来源则记录异常退出/监督者丢失。退出0但生成全是错误、无正常协议完成也不能写COMPLETED。历史 DONE 的原始值保留,纠错以带原因与证据的派生状态或审计更新记录表达。正常COMPLETED还须满足adapter确认协议正常结束、必要收尾已核实;未清理完成的执行不能显示为已安全完成。
|
||||
|
||||
公共持久日志至少包含:事件 ID、execution_id、单调序号、wall time、事件类型、原因码、关联 request/message/tool_operation/receipt、运行配置版本。系统行为由结构化事件驱动;页面与数据导出不分别猜状态。
|
||||
|
||||
## 2. GLM 429:统一在真实 HTTP 请求入口调度
|
||||
|
||||
### 2.1 配额归属与请求预算
|
||||
|
||||
建立一个所有受控 Pi/SDK 请求实际经过的配额入口;不能只在每次 Agent 生成前做一次 hook,就声称覆盖 SDK 内部重试。按供应商实际共享的账户/项目/模型限制配置 `quota_group`,多个 credential alias 可以属于同一组;不同项目或endpoint别名不能擅自拆开账户预算,模型独立额度只能作为额外子预算。日志与看板不包含密钥。存在未接入的账户调用方时标明控制覆盖不完整,不宣称已控制该账户全部请求。
|
||||
|
||||
每个上游发送动作必须先原子取得该组的并发、RPM和TPM预算,计入 `http_attempt_id`。并发包括未关闭的流式请求;RPM按真实发送次数计算;TPM先预留输入与最大输出预算,再按真实 usage结算。缺 usage不乐观返还预算;取消连接但无法确认上游结束时保留有界请求租约,不能提前放出重复容量。
|
||||
|
||||
token计量需记录tokenizer/估算器版本和是否为保守上界;无法精确核对时标ESTIMATED,展示内部预留而非伪称供应商真实TPM。验收验证该计量策略下的准入预算及可靠usage对账;上游不公开计量口径时仍依赖429共享退让,不能保证绝不被上游限流。
|
||||
|
||||
内部RPM/TPM采用明确的60秒滑动窗口(本地保护口径,供应商窗口另行记录)。RPM从真实发送提交点计时;TPM保守预留在请求活动期间保持,确认结束后按可靠usage结算,未获usage则继续保留估算量,至结束后一个窗口到期释放,不永久占额。请求是否结束无法确认则进入对账/隔离,不仅因租约时间到了就宣布并发已释放。
|
||||
|
||||
实际账户上限尚未核实,草案不伪造GLM配额数。上线前明确内部并发/RPM/TPM预算和预算来源;未知供应商维度仍记UNKNOWN,不把内部预算称为账户真实上限。未配置内部预算则拒绝启动新采集并显示 `QUOTA_CONFIG_INCOMPLETE`。响应中的Retry-After、limit/reset/request-id等字段仅按允许列表脱敏保存。
|
||||
|
||||
只留一个重试负责层:本版显式关闭SDK/Pi自主网络重试并在启动时验证,由broker统一调度,禁止三层各自翻倍。关闭无效或检测到旁路则阻止采集启动。失败时不能绕过入口直连。一个逻辑生成最多4次真实HTTP发送(首发+3次重试,建议初值);达到上限后持久暂停本次采集,不另开新 rollout 来规避上限。每组最多一个有剩余预算的存量请求作恢复探测,不为探测另造模型对话。
|
||||
|
||||
### 2.2 配额组状态机
|
||||
|
||||
`OPEN → COOLING → HALF_OPEN → RECOVERING → OPEN`;账户硬额度耗尽、认证失效或管理性停用另为组级 `PAUSED`,来源不明保留具体原因。当前RPM/TPM窗口不足只是排队等待;单个generation尝试预算耗尽仅暂停该execution,不能据此暂停整个quota_group。
|
||||
|
||||
1. 收到429时,原子记录共享冷却期限并降低目标并发:`max(1, floor(previous_target/2))`。发送许可带组epoch;检查epoch/取消/预算、登记发送记录与transport启动处于同一受保护dispatch提交区间,不得检查后释放锁再异步发送。该提交点是HTTP发送计数的线性化点;崩溃导致是否已发送不明的记录保守占用预算并对账。已经在途的请求可结束,但冷却状态提交后普通请求新发送数必须为0;已在途数与冷却后误发数分别统计。
|
||||
2. 首次退避建议30秒;连续同类失败指数增长,内部退避上限900秒。`not_before = max(已有冷却期限, 本地退避期限, 合法Retry-After/已知reset期限)`,不得为了900秒上限提前突破供应商等待时间。组级抖动只计算并保存一次,不由每个Agent各自醒来抢发。
|
||||
3. 冷却到期通过持久租约只释放一个 HALF_OPEN 请求。只有正常完整响应才算成功;429或明确的暂时网络/5xx失败回有界COOLING。非空流中断暂停对应generation并记录INCOMPLETE_GENERATION;发送/结束状态未知则进入RECONCILING,未确认前不放第二个探测;对账超过请求总期限则组级PAUSED并显示REQUEST_OUTCOME_UNKNOWN。探测租约超时回收前确认请求状态,不允许多个worker同时探测。该探测计入真实请求/RPM/TPM和原逻辑请求预算。
|
||||
4. 探测成功后进入RECOVERING,先保持低并发;建议每个连续60秒无429且至少3次正常完整响应的窗口最多加1并发,始终受配置上限与RPM/TPM约束。没有流量不能凭时间恢复到32路;再次429立即退让。
|
||||
5. 401/403等明确不可重试错误不走429快速循环;按结构化原因暂停该组。没有可解析配额维度时记录UNKNOWN并共享退让,不从错误正文猜TPM/RPM。
|
||||
|
||||
最长配额等待建议30分钟,超过后写 `PAUSED_INFRA/QUOTA_WAIT_BUDGET_EXHAUSTED`,释放不应占用的Agent执行槽;不得无限占着RUNNING。暂停前保存会话与恢复点,已提交工具仍由worker受管执行。恢复由调度器在组级条件满足后领取一次,不通过LLM询问“现在能否继续”;连续环境失败次数与总等待预算不会因重启清零。自动恢复次数也有上限,超过后停在可见的PAUSED_INFRA,等待外部恢复条件或明确运维重试。
|
||||
|
||||
自动恢复建议每execution最多3次,并且仅限请求仍有预算、会话恢复点完整、无副作用未知的执行。HTTP预算耗尽或非空流中断后,不自动重置generation_id再请求;进入预算耗尽/完整性原因对应的暂停或结束状态。没有合格存量请求时不发送探测;下一条合法新任务可承担唯一探测。无法保存会话的旧runner不能被当作可透明恢复,需先完成checkpoint接线再启用自动暂停/恢复。
|
||||
|
||||
累计配额等待预算不会重新获得1800秒。等待预算已耗尽但HTTP和execution总预算尚有剩余时,仅允许在能原子立即取得发送许可的条件下恢复;需要再次排队则保持PAUSED_INFRA,不重新入等待循环。
|
||||
|
||||
### 2.3 持续等待不产生训练噪声
|
||||
|
||||
冷却、排队位置、重试倒计时、探测计划和进程采样只写运维流。暂停等待不生成合成assistant句子、不注入“再试一次”user消息。若历史或实际运行确实把某条custom/工具消息交给Agent看过,数据重建必须保留它,不能因为它与基础设施有关就删。
|
||||
|
||||
请求超时和网络中断均受连接、首字节、流空闲、总时长四类期限约束。建议初值10/120/120/600秒,配置随版本冻结。完整assistant消息持久提交后才派发工具;只有流式残片时不执行其中未完成调用,也不把重试后的生成冒充原消息续段。
|
||||
|
||||
排队预算从入队计时,连接/首字节等传输期限从实际发送计时;runner与broker的等待/取消协议须接通,不能让SDK的旧总超时反复打断共享冷却并重新发起逻辑请求。
|
||||
|
||||
取消后迟到的响应只在“确实交付给Agent”时进入消息序列;未交付的响应保留为旁路 `RECEIVED_NOT_DELIVERED`,不能成为SFT上下文或启动工具。
|
||||
|
||||
## 3. 暂停、恢复与工具提交去重
|
||||
|
||||
持久运行记录连接 `logical_generation_id → http_attempt_id → message_id → tool_operation_id → receipt_id`。在发出有副作用动作前落盘操作身份和请求payload摘要;同operation_id同payload返回已有状态/回执,不重新执行;同ID不同payload返回冲突。
|
||||
|
||||
恢复先查询原handle:QUEUED继续等,RUNNING接管观察,已完成则按原调用身份交付一次回执;不可先重跑compile/board再寻找旧结果。并发恢复使用owner lease + fencing epoch,只有当前owner能提交新动作或终态。
|
||||
|
||||
不能承诺任意bash都有exactly-once语义。worker启动后、回执落盘前崩溃等不确定窗口:检查已注册进程/远端guard/产物与执行回执;仍无法确认的副作用记 `SIDE_EFFECT_UNKNOWN` 并隔离,禁止自动重放。纯读取命令只有在版本化允许列表内才可安全重试。
|
||||
|
||||
自动恢复不能靠重复创建空轨迹补采。同一环境故障归入共享incident,暂停同组受影响任务并保留原因;恢复分批限额领取,重试计数跨进程重启持久化。已经发生的真实模型/工具消息只追加,不重排、补成功或删去不便解释的超时。
|
||||
|
||||
## 4. 长时间卡住:状态、阈值与动作分开
|
||||
|
||||
监控每5秒共享采样一次,记录采样成功与时间。`host + boot_id + pid + proc_start_ticks`作为进程身份;execution使用独立cgroup或等效受控进程集合。CPU/IO/日志变化只是信号,不能证明任务完成,也不能只因日志静默判卡死。
|
||||
|
||||
每类阶段必须配置queue_deadline、execution_deadline、suspect_after、cancel_grace、cleanup_deadline。执行上限沿用并冻结现有任务/阶段预算,经正常长编译样本检查后配置;不再只有一个12小时Agent总上限。缺少阶段策略则启动前报 `LIFECYCLE_CONFIG_INCOMPLETE`,不能临场由LLM决定期限。
|
||||
|
||||
期限计时使用单调时钟;重启时根据已持久化的耗时与可核验的时间锚点恢复剩余预算,不能将期限重置为一个新的完整窗口。主机换boot后无法确认剩余预算则进入对账/UNKNOWN,不直接放行。进程D态、旧owner/epoch和有效业务日志与运维心跳分别采样。
|
||||
|
||||
自动判定顺序:
|
||||
|
||||
1. 数据源读不到或过期→UNKNOWN,不填0,不判死进程;UNKNOWN只影响活性判断,不能短路已有绝对deadline。已知执行所有权下仍按期限取消;身份无法核验时隔离资源并由guard收尾,不能因遥测失败无限续跑或按未经核实的PID发信号。
|
||||
2. QUEUED/WAITING_QUOTA且没有超出各自预算→WAITING,不占用执行阶段的无进展计时;等待总时长另计,不能无限延后execution总预算。
|
||||
3. 在有效采样窗口内,CPU/IO/业务日志/受保护阶段序号均无变化,持续超过suspect_after→SUSPECT,只告警;任一变化则记录对应信号并重置该静默窗口,不能因此无限续期execution_deadline。已识别的重复运维心跳不算业务日志进展;无法分类时标进展UNKNOWN,仍受绝对期限约束。
|
||||
4. 已核实的预期进程身份不存在,且超过启动宽限→STATE_MISMATCH,转恢复核对;PID复用不能算原进程活着。权威退出/不可恢复记录确认后记LOST,不因DB旧RUNNING直接重跑。
|
||||
5. 达到冻结queue/request/execution deadline→明确DEADLINE_EXCEEDED或PAUSED_INFRA,按对应策略进入取消/回收;deadline是退出原因,不伪称已经证明程序死锁。
|
||||
|
||||
建议通用无进展告警初值10分钟、启动宽限30秒;它们是待正常/故障样本验收的运行策略值,不是对当前任务耗时的事实判断。正常编译持续CPU增长但无日志,不触发“所有信号静默”的告警;CPU空转最终仍受阶段绝对预算约束。
|
||||
|
||||
## 5. 取消、回收与准确终态
|
||||
|
||||
取消先持久写 `cancel_requested + epoch`,然后撤销模型待发请求/资源队列领取。取消与拿槽/启动使用同一execution启动锁:拿到槽后再次检查取消epoch,spawn注册与取消处理串行化,避免“检查时未取消、下一刻仍启动”的竞态。取消请求提交后不得派发新的模型、编译或板端动作。
|
||||
|
||||
受控执行集合按顺序 TERM → 等待宽限 → KILL → 核对清空;建议TERM宽限15秒、KILL后确认30秒、一次清理预算60秒。线程join、队列acquire、worker等待均必须有取消事件和有界期限。仅看到leader退出、signal发送成功或flock文件存在,都不算回收完成。
|
||||
|
||||
本地进程集合、worker回执、板端guard/远端进程和租约均要核对。确认清空后才释放资源;远端失联、D态杀不掉、所有权不明则 `cleanup_state=QUARANTINED`,资源禁止重新分配,前端明确展示。60秒未清空可以结束本轮清理为隔离并继续低频核对,不能谎报CANCELLED且已释放。
|
||||
|
||||
最终记录保留取消意图与已提交完成事实的顺序:受同一状态提交锁保护,完成已先持久提交则取消返回ALREADY_TERMINAL;取消先提交则不再接受后续COMPLETED覆盖,只追加实际晚到回执。晚到板端结果仍可成为证据,但不能把终态重新写成DONE。
|
||||
|
||||
collector/主机重启后先reconcile,再开放新任务:核对owner/boot身份、未完成请求、operation/receipt、进程集合和资源租约。确认仍活跃后,必须取得独占owner lease、原子转移epoch并确认旧owner在请求/阶段入口被fence,才能接管监督;只看到负载活着不构成接管许可。已结束则补写带来源的终态;状态不明则隔离。控制服务不可用时新发请求/领取停止,现有工作由本地/远端guard按租约和期限收尾,不无期限失控。
|
||||
|
||||
## 6. 实时看板就是本轮交付
|
||||
|
||||
首版交付实时Web看板,不再只提供导出结果页。最小页面为总览、任务列表/详情、配额资源区、数据发布区;先只读,取消能力由已验收的后端/CLI提供,页面操作按钮不是本轮必选项。
|
||||
|
||||
| 显示项 | 数据口径与自动验收 |
|
||||
|---|---|
|
||||
| 实际Agent进程数 | 只计身份确认的Pi/runner主进程;collector、shell、编译器、verifier另列;同身份去重 |
|
||||
| DB活跃与实际执行 | DB状态、Agent数、stage/编译进程数分别显示;按每条execution的phase核对预期身份,缺预期进程/重复owner/错误epoch才报STATE_MISMATCH,不因总数不同报错 |
|
||||
| 活动与疑似卡住 | 当前阶段、等待原因、持续时间、最近状态变化和CPU/IO/日志信号、阈值、deadline、判定原因 |
|
||||
| GLM配额 | quota_group、真实在途请求、RPM/TPM预算占用、429、冷却剩余、下一探测、恢复并发;未知维度显示UNKNOWN |
|
||||
| 板卡/资源 | 实际受保护租约持有者、等待数量/时长、清理/隔离状态;无公平队列证据不显示准确排队名次 |
|
||||
| 数据与版本 | 混合记录/硬门候选/最终合格集分列;覆盖率、闭合、空错误排除与wait标签;CURRENT及对应规则版本 |
|
||||
|
||||
复用专用只读聚合接口:`GET /api/runs/{run}/snapshot`、分页rollouts、单个rollout详情。快照包含snapshot_id、采样时间、各来源age/status及配置版本。5秒共享采样,建议15秒无新鲜快照则标STALE;读取失败标UNAVAILABLE并保留带时间的最后快照,不能显示成0个进程或绿色健康。
|
||||
|
||||
浏览器只读缓存/只读DB;打开或刷新页面不能触发LLM、compile、board测试、reverify/export或全盘find。进程采样每主机一次,多浏览器共用;日志分页/增量读取并脱敏转义,只允许索引内的证据路径。配额/板卡状态来自后台受管遥测,不按浏览器刷新次数请求上游。
|
||||
|
||||
页面正确性自动验收用受控进程夹具和API断言:启动2个Agent+1个compiler+1个collector,必须显示Agent=2、compiler=1、collector单列;杀掉/替换PID、冻结遥测、造成DB与进程分歧,页面必须在采样/新鲜度窗口内反映。历史批次DB RUNNING=0不能代替这项验收。
|
||||
|
||||
再加入合法“数量不相等”夹具:WAITING_QUOTA、阶段收尾、VERIFYING分别按各自phase的预期角色判断,不产生虚假STATE_MISMATCH。
|
||||
|
||||
## 7. 同一轮实施顺序、所有权与上线门
|
||||
|
||||
| 工作包 | 独立改动边界 | 交付 |
|
||||
|---|---|---|
|
||||
| A 数据P0 | exporter、独立validator、身份/lineage、数据发布器 | 完整重建、硬门、明确空错误排除、自动验收、版本回滚 |
|
||||
| B 请求调度 | quota入口、Pi/SDK连接、请求事件与冷却持久状态 | 真实HTTP共享预算、统一重试、冷却/探测/逐步恢复 |
|
||||
| C 执行生命周期 | rollout、scheduler、worker、guard、watchdog/recovery | 有界等待/取消、启动锁、进程回收、真实终态、重启对账 |
|
||||
| D 看板 | 只读monitor聚合、共享采样、Web页面 | 实时进程数、等待/卡住证据、配额/资源与SFT状态 |
|
||||
|
||||
集成人先固定execution/request/operation身份、状态提交协议、reason_code和配置版本。A/B/C随后并行;D接同一事件与状态接口,避免另写一套推测逻辑。公共DB/schema与状态提交点由集成人统一改,避免多个工作包覆盖。
|
||||
|
||||
上线顺序:离线回放修P0 → fake-provider/受控进程故障注入 → 集成看板验收 → 隔离的真实小批采集 → 发布/回滚演练 → 合并迁移。运行配置与代码版本绑定;当前执行固定旧配置,新策略只用于新领取任务,必要切换要显式暂停并对账,不能热切后把旧任务再领取一次。数据库迁移采用可回退的增量字段,不删除旧证据。
|
||||
|
||||
运行版本回退与数据CURRENT回滚是两种动作:数据回滚不改变正在运行的任务;运行回退先停止新领取(drain,区别于cancel)、完成或清理现有执行并对账,再切兼容代码/配置。不能通过运行回退重新启用已知有缺前文的导出器,或清空已发生请求的配额账本。封存使用明确的终态/事件水位,不能只看文件一段时间没变化;迟到回执或纠正证据生成新数据版本,不改已发布样本。
|
||||
|
||||
## 8. 联合自动验收矩阵
|
||||
|
||||
所有断言从结构化日志、假上游请求计数、受控进程/租约和输出数据独立计算,不由Agent自报通过。测试中的RPM/TPM/期限可缩小,但状态机和计数逻辑与生产相同。
|
||||
|
||||
| 注入/场景 | 必须通过的判定 |
|
||||
|---|---|
|
||||
| 多Agent、同组持续429 | 冷却提交后普通新请求=0;同组同时探测≤1;每逻辑生成HTTP总发送≤预算;无SDK旁路;暂停期间不新建空rollout |
|
||||
| 配额恢复与再次429 | 并发每稳定窗口最多+1,不超过配置;再次429共享退让;恢复不把原有工具再提交 |
|
||||
| RPM/TPM并发边界、缺usage、入口重启 | 真实发送不越已配置预算;不提前退款;账本/冷却/重试预算不因重启归零;入口失联不直连 |
|
||||
| 首字节/流空闲/总请求超时 | 在相应期限收敛;不形成永久RUNNING;未完成assistant不派发工具;原因可见 |
|
||||
| 排队后取消、拿槽与取消竞态 | cancel提交后新spawn/新上游发送=0;已拿槽未启动可撤回;计数归位或显式隔离 |
|
||||
| 正常长编译静默、CPU空转、完全挂起 | 正常静默不按日志单信号误杀;超绝对期限进入回收;状态/阈值/依据可在页面核对 |
|
||||
| 父进程退出、后代忽略TERM、板端失联 | 整个执行集合确认清空才释放;未确认则隔离,禁止新占用;清理过程有界 |
|
||||
| 退出143/仅provider错误退出0 | 不写COMPLETED;原因、硬门、数据资格独立且与证据一致 |
|
||||
| 请求/工具提交与回执落盘间崩溃 | 同ID同payload只复用;状态不明不重放副作用;来源与去重计数可审计 |
|
||||
| collector/主机重启、DB孤儿RUNNING | 新领取前完成对账;无owner双写/重复上板;无法确认的标UNKNOWN/隔离 |
|
||||
| 多浏览器、API断连、PID复用 | 实际Agent数准确;未知/过期不显示0;刷新额外LLM/业务执行次数=0 |
|
||||
| 429恢复后多段对话、等待超时后成功 | SFT有效消息覆盖100%、调用闭合、身份去重与顺序检查通过;超时仍归原调用;运维事件不合成消息 |
|
||||
| 导出中断、双发布、数据与运行版本回退 | 无混版;COMMIT_UNKNOWN可对账;回滚不重复任务、不恢复已撤销坏数据 |
|
||||
| 真实小批次 | 实际LLM→工具→上板/精度→数据发布全程可见,所有必选门通过;不要求训练闭环 |
|
||||
|
||||
真实小批规模与并发由已配置共享预算确定,建议至少覆盖3个独立任务、包含编译与真实板端评测;这是建议的验收覆盖,不是要故意在真实账户制造429。持续429、卡死和中断使用假上游与受控进程注入,真实批验证正常链路和证据一致性。没有对应结构化记录或某条必选断言未跑,整版状态仍为未验收。
|
||||
|
||||
历史核查背景、时间和项目源码定位见 [证据摘要](EVIDENCE.md)。完整的必选用例与结果格式见 [验收标准](ACCEPTANCE.md);当前全部为待执行,不能将文档入库视为功能验收通过。
|
||||
33
docs/plans/sft-collection-v1/README.md
Normal file
33
docs/plans/sft-collection-v1/README.md
Normal file
@ -0,0 +1,33 @@
|
||||
# SFT 采集 V1 实施计划与验收入口
|
||||
|
||||
计划版本:`collection-v1-integrated`;数据规则:`sft-preserve-v1`。整理日期:2026-09-21。
|
||||
|
||||
**状态:计划已纳入项目;功能待实施,验收待执行。** 本目录是设计规范与配置草案,不由运行器自动加载,不表示已经修改采集行为。
|
||||
|
||||
同一轮完成四条工作线:SFT全程重建与硬门、GLM共享限流及安全恢复、执行超时/取消回收/终态核对、实时进程与任务看板。四条线与联合验收全部通过,才能宣布V1完成。
|
||||
|
||||
## 阅读顺序
|
||||
|
||||
1. [实施计划](PLAN.md):状态机、模块分工、并行顺序、运行初值与迁移回退。
|
||||
2. [数据确定性规则](DATA_RULES.md):消息身份、100%覆盖、闭合/因果、严格空错误排除、数据发布与回滚。
|
||||
3. [验收标准](ACCEPTANCE.md):必选PASS/FAIL断言、固定测试ID、结果格式与整版完成条件。
|
||||
4. [机器可读验收清单](acceptance-cases.json):全部用例初始为NOT_RUN,实施后引用真实证据生成独立回执。
|
||||
5. [数据规则草案](rules/sft-preserve-v1.json) 与 [运行策略草案](rules/collection-v1-runtime.json):不是生产配置;内部配额预算仍待明确配置,null不能当无限额度。
|
||||
6. [历史证据摘要](EVIDENCE.md):本次改造的来源与证据范围,历史快照不代表当前服务器状态。
|
||||
|
||||
## 固定边界
|
||||
|
||||
默认保留真实对话;仅按事件明确且全空的错误谓词排除派生片段。wait/轮询/截断引用风险先打标,不压缩或删除消息。不重排,不跨调用移接结果,不把超时改成功,不按正文相同去重。未知完整性留档且不发布,观察性标签不自动拒绝样本。
|
||||
|
||||
保留真实上板、精度、身份和任务约束硬门;不新增RL、奖励、训练器或训练闭环要求。运维旁路不能合成训练消息;实际进入Agent上下文的工具/custom消息如实保留。
|
||||
|
||||
## 实施与验收记录
|
||||
|
||||
- 四条工作线先固定公共execution/request/operation身份和状态协议,再并行实施。
|
||||
- 配额/阶段预算上线前必须配置并冻结;建议初值不是GLM账户真实限额。
|
||||
- 先离线重建与假上游/受控进程故障注入,再看板联调、真实小批和发布回滚演练。
|
||||
- 原始证据、实际回执、测试运行日志放在运行产物目录,引用路径和哈希,不提交模型/轨迹/凭据到本目录。
|
||||
- 所有必选用例都有匹配本次代码与配置版本的PASS证据才通过;NOT_RUN/UNKNOWN/FAIL均不算整版完成。
|
||||
- 数据版本回滚不回滚执行现场;运行版本回退须先drain、收尾并对账。
|
||||
|
||||
返回 [项目文档](../../README.md) 或 [项目README](../../../README.md)。
|
||||
281
docs/plans/sft-collection-v1/acceptance-cases.json
Normal file
281
docs/plans/sft-collection-v1/acceptance-cases.json
Normal file
@ -0,0 +1,281 @@
|
||||
{
|
||||
"schema_version": "sft_collection_acceptance_plan.v1",
|
||||
"plan_version": "collection-v1-integrated",
|
||||
"data_rules_version": "sft-preserve-v1",
|
||||
"status": "NOT_RUN",
|
||||
"rule": "All required cases must PASS with version-bound evidence; missing, UNKNOWN, NOT_RUN or FAIL means release not accepted.",
|
||||
"cases": [
|
||||
{
|
||||
"id": "DATA-001",
|
||||
"group": "data_integrity",
|
||||
"scenario": "正常段→429空错误→续跑段→再次重试→完成",
|
||||
"pass_criteria": "完整有效序列覆盖100%;空错误仅在排除清单;旧“只取最后段”实现 FAIL",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "DATA-002",
|
||||
"group": "data_integrity",
|
||||
"scenario": "两个身份不同但内容完全相同的真实消息",
|
||||
"pass_criteria": "两条都保留;任何按内容去重的实现 FAIL",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "DATA-003",
|
||||
"group": "data_integrity",
|
||||
"scenario": "同一消息在 message_end/agent_end 重复出现",
|
||||
"pass_criteria": "一个规范消息、两个可追溯观测;无来源证明的折叠 FAIL",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "DATA-004",
|
||||
"group": "data_integrity",
|
||||
"scenario": "agent_end 独有 user/custom;中途新增上下文",
|
||||
"pass_criteria": "在真实位置保留;前移/漏掉/补造时 FAIL",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "DATA-005",
|
||||
"group": "data_integrity",
|
||||
"scenario": "空 error、带正文 error、正常文字429、tool isError",
|
||||
"pass_criteria": "仅空 error 可排;带正文 error 留档且样本不发布;正常文字/工具错误保留",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "DATA-006",
|
||||
"group": "data_integrity",
|
||||
"scenario": "连续同状态心跳→新证据→状态完成",
|
||||
"pass_criteria": "标签与预期相符;SFT 源消息序列、字段内容零变化",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "DATA-007",
|
||||
"group": "data_integrity",
|
||||
"scenario": "TIMEOUT,后一次 wait 才收到 OK",
|
||||
"pass_criteria": "两次真实结果各归原调用;将 OK 搬到早先调用时 FAIL",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "DATA-008",
|
||||
"group": "data_integrity",
|
||||
"scenario": "删除一对已闭合的早期 call/tool",
|
||||
"pass_criteria": "即使 closure 通过,coverage 必须 FAIL",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "DATA-009",
|
||||
"group": "data_integrity",
|
||||
"scenario": "孤立 result / 悬空 call / 重复 call ID / 并行反序完成",
|
||||
"pass_criteria": "前三者 FAIL;合法并行各自闭合 PASS",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "DATA-010",
|
||||
"group": "data_integrity",
|
||||
"scenario": "旧截断删除了后文显式引用字段/仅语义改述",
|
||||
"pass_criteria": "前者 REFERENCED_CONTENT_REMOVED;后者 UNKNOWN;均不自动删消息",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "DATA-011",
|
||||
"group": "data_integrity",
|
||||
"scenario": "改产物SHA/假source/阈值超限/缺必选门",
|
||||
"pass_criteria": "硬门 FAIL,样本保留但不进入 sft.jsonl",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "DATA-012",
|
||||
"group": "data_integrity",
|
||||
"scenario": "全部失败或全部空错误",
|
||||
"pass_criteria": "处置清单完整,但发布 FAIL(NO_ACCEPTED_SAMPLES)",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "DATA-013",
|
||||
"group": "data_integrity",
|
||||
"scenario": "发布各落盘步骤中断、双发布、回滚禁用版",
|
||||
"pass_criteria": "遵循第8节;无混版、无跳门、无无效 CURRENT",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "JOINT-001",
|
||||
"group": "integrated_collection",
|
||||
"scenario": "多Agent、同组持续429",
|
||||
"pass_criteria": "冷却提交后普通新请求=0;同组同时探测≤1;每逻辑生成HTTP总发送≤预算;无SDK旁路;暂停期间不新建空rollout",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "JOINT-002",
|
||||
"group": "integrated_collection",
|
||||
"scenario": "配额恢复与再次429",
|
||||
"pass_criteria": "并发每稳定窗口最多+1,不超过配置;再次429共享退让;恢复不把原有工具再提交",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "JOINT-003",
|
||||
"group": "integrated_collection",
|
||||
"scenario": "RPM/TPM并发边界、缺usage、入口重启",
|
||||
"pass_criteria": "真实发送不越已配置预算;不提前退款;账本/冷却/重试预算不因重启归零;入口失联不直连",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "JOINT-004",
|
||||
"group": "integrated_collection",
|
||||
"scenario": "首字节/流空闲/总请求超时",
|
||||
"pass_criteria": "在相应期限收敛;不形成永久RUNNING;未完成assistant不派发工具;原因可见",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "JOINT-005",
|
||||
"group": "integrated_collection",
|
||||
"scenario": "排队后取消、拿槽与取消竞态",
|
||||
"pass_criteria": "cancel提交后新spawn/新上游发送=0;已拿槽未启动可撤回;计数归位或显式隔离",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "JOINT-006",
|
||||
"group": "integrated_collection",
|
||||
"scenario": "正常长编译静默、CPU空转、完全挂起",
|
||||
"pass_criteria": "正常静默不按日志单信号误杀;超绝对期限进入回收;状态/阈值/依据可在页面核对",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "JOINT-007",
|
||||
"group": "integrated_collection",
|
||||
"scenario": "父进程退出、后代忽略TERM、板端失联",
|
||||
"pass_criteria": "整个执行集合确认清空才释放;未确认则隔离,禁止新占用;清理过程有界",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "JOINT-008",
|
||||
"group": "integrated_collection",
|
||||
"scenario": "退出143/仅provider错误退出0",
|
||||
"pass_criteria": "不写COMPLETED;原因、硬门、数据资格独立且与证据一致",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "JOINT-009",
|
||||
"group": "integrated_collection",
|
||||
"scenario": "请求/工具提交与回执落盘间崩溃",
|
||||
"pass_criteria": "同ID同payload只复用;状态不明不重放副作用;来源与去重计数可审计",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "JOINT-010",
|
||||
"group": "integrated_collection",
|
||||
"scenario": "collector/主机重启、DB孤儿RUNNING",
|
||||
"pass_criteria": "新领取前完成对账;无owner双写/重复上板;无法确认的标UNKNOWN/隔离",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "JOINT-011",
|
||||
"group": "integrated_collection",
|
||||
"scenario": "多浏览器、API断连、PID复用",
|
||||
"pass_criteria": "实际Agent数准确;未知/过期不显示0;刷新额外LLM/业务执行次数=0",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "JOINT-012",
|
||||
"group": "integrated_collection",
|
||||
"scenario": "429恢复后多段对话、等待超时后成功",
|
||||
"pass_criteria": "SFT有效消息覆盖100%、调用闭合、身份去重与顺序检查通过;超时仍归原调用;运维事件不合成消息",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "JOINT-013",
|
||||
"group": "integrated_collection",
|
||||
"scenario": "导出中断、双发布、数据与运行版本回退",
|
||||
"pass_criteria": "无混版;COMMIT_UNKNOWN可对账;回滚不重复任务、不恢复已撤销坏数据",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "JOINT-014",
|
||||
"group": "integrated_collection",
|
||||
"scenario": "真实小批次",
|
||||
"pass_criteria": "实际LLM→工具→上板/精度→数据发布全程可见,所有必选门通过;不要求训练闭环",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "QUOTA-001",
|
||||
"group": "quota",
|
||||
"scenario": "两个项目/凭据别名同一quota_group,另一独立group同时运行",
|
||||
"pass_criteria": "共享组共用预算和一次冷却;独立组不被错误暂停;所有真实HTTP经过账本",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "QUOTA-002",
|
||||
"group": "quota",
|
||||
"scenario": "Retry-After有效/缺失/非法;HALF_OPEN超时/5xx/非空断流",
|
||||
"pass_criteria": "有效期限不提前解除;未知按版本退避;失败退出探测态,未知结果对账前不发第二个探测",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "QUOTA-003",
|
||||
"group": "quota",
|
||||
"scenario": "1800秒累计等待耗尽后自动恢复;HTTP4次耗尽",
|
||||
"pass_criteria": "等待预算不重置;仅可即时准入才恢复;HTTP耗尽不换generation_id绕过;至多3次自动恢复",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "LIFE-001",
|
||||
"group": "execution",
|
||||
"scenario": "遥测UNKNOWN但绝对deadline到达",
|
||||
"pass_criteria": "仍按可确认所有权执行截止/回收;身份未知则隔离,不盲目按PID杀进程或无限续跑",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "LIFE-002",
|
||||
"group": "execution",
|
||||
"scenario": "完成与取消同时提交;旧owner晚到",
|
||||
"pass_criteria": "同一提交顺序决定终态;旧epoch无法发副作用或覆盖新owner;任务硬结果与执行原因分开",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "UI-001",
|
||||
"group": "dashboard",
|
||||
"scenario": "2个Agent+1个compiler+1个collector;合法WAITING/VERIFYING数量不等",
|
||||
"pass_criteria": "Agent=2、compiler=1、collector单列;按phase预期身份核对,不按总数相等误报",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
},
|
||||
{
|
||||
"id": "VERSION-001",
|
||||
"group": "publication",
|
||||
"scenario": "CURRENT替换后崩溃、撤销与回滚竞态",
|
||||
"pass_criteria": "COMMIT_UNKNOWN通过同event_id对账;锁内复查撤销;只回滚合格版本;运行和配额账本不回退",
|
||||
"required": true,
|
||||
"status": "NOT_RUN"
|
||||
}
|
||||
]
|
||||
}
|
||||
21
docs/plans/sft-collection-v1/plan-manifest.json
Normal file
21
docs/plans/sft-collection-v1/plan-manifest.json
Normal file
@ -0,0 +1,21 @@
|
||||
{
|
||||
"schema_version": "project_plan_manifest.v1",
|
||||
"plan_version": "collection-v1-integrated",
|
||||
"status": "documentation_only_not_implemented",
|
||||
"source_artifacts": {
|
||||
"COLLECTION_V1.md": "d022637c16563360334db7d3d2575295bd4c049c586ac54e778ef2c25a39c00d",
|
||||
"DETERMINISTIC_RULES.md": "c64b7a8d20764ff0c6b8fcaa14c4a3abfd0cf1829ccfb1e3ad98c416a65a2829",
|
||||
"sft-preserve-v1.json": "97d9b2ae524fb388fbf3ceb2edc352ff2420f24df484af5e2e5a6769007c81b8",
|
||||
"collection-v1-runtime.json": "01326aa0b9b23015651ca874e092f218e9fbdc2bd88e77a73a647e48b6854a20"
|
||||
},
|
||||
"files": {
|
||||
"ACCEPTANCE.md": "e4a3fa573b94cb9464a15f29ccb843c2a200269f3ba3b116aa2d770cab537eff",
|
||||
"DATA_RULES.md": "0c32f53295ccf0850c58cde5f2fda9ae5a5ea44a3652dee7b8819435b56813b4",
|
||||
"EVIDENCE.md": "a584a4eba31ff92a943b535e6d8873c9dff56f6fb455927d7fe734fa726d4ab0",
|
||||
"PLAN.md": "3ead0f2806d715a19e7113cff5600bbf52220828c8dc619f1366788fa4490874",
|
||||
"README.md": "ddb826a0716aaf590fdb2a2a7993c1fb0ce4f175b05ddec55a605d055dd77ae3",
|
||||
"acceptance-cases.json": "3b4c43834be521054af9958fc513e03559ea781c04421eee3d528358325d8fc3",
|
||||
"rules/collection-v1-runtime.json": "01326aa0b9b23015651ca874e092f218e9fbdc2bd88e77a73a647e48b6854a20",
|
||||
"rules/sft-preserve-v1.json": "97d9b2ae524fb388fbf3ceb2edc352ff2420f24df484af5e2e5a6769007c81b8"
|
||||
}
|
||||
}
|
||||
212
docs/plans/sft-collection-v1/rules/collection-v1-runtime.json
Normal file
212
docs/plans/sft-collection-v1/rules/collection-v1-runtime.json
Normal file
@ -0,0 +1,212 @@
|
||||
{
|
||||
"schema_version": "collection_runtime_plan.v1",
|
||||
"plan_version": "collection-v1-integrated",
|
||||
"status": "proposed_not_implemented",
|
||||
"data_rules_version": "sft-preserve-v1",
|
||||
"same_release_required_workstreams": [
|
||||
"data_integrity",
|
||||
"shared_quota_and_recovery",
|
||||
"execution_lifecycle",
|
||||
"realtime_dashboard"
|
||||
],
|
||||
"quota": {
|
||||
"scope": "configured_account_group_shared_across_managed_projects_and_credentials",
|
||||
"unmanaged_callers": "report_control_coverage_incomplete",
|
||||
"provider_limits_status": "UNKNOWN_until_verified",
|
||||
"internal_budget": {
|
||||
"max_concurrency": null,
|
||||
"rpm": null,
|
||||
"tpm": null
|
||||
},
|
||||
"missing_internal_budget": "QUOTA_CONFIG_INCOMPLETE_block_new_collection",
|
||||
"retry_owner": "broker_only",
|
||||
"sdk_retries": 0,
|
||||
"pi_automatic_network_retries": 0,
|
||||
"validate_effective_retry_config_at_startup": true,
|
||||
"max_http_attempts_per_generation": 4,
|
||||
"states": [
|
||||
"OPEN",
|
||||
"COOLING",
|
||||
"HALF_OPEN",
|
||||
"RECOVERING",
|
||||
"PAUSED",
|
||||
"RECONCILING"
|
||||
],
|
||||
"cooling_normal_new_sends_max": 0,
|
||||
"half_open_inflight_max": 1,
|
||||
"cooldown_initial_s": 30,
|
||||
"cooldown_local_max_s": 900,
|
||||
"honor_longer_retry_after": true,
|
||||
"cooldown_deadline": "max(existing_deadline, local_backoff, trusted_retry_after_or_reset)",
|
||||
"jitter": "once_per_group_epoch_persisted",
|
||||
"dispatch_admission": "epoch/cancel/budget check + send record + transport start in one protected commit interval",
|
||||
"recovery_initial_concurrency": 1,
|
||||
"recovery_window_s": 60,
|
||||
"recovery_min_successes_per_window": 3,
|
||||
"recovery_max_concurrency_increment": 1,
|
||||
"quota_wait_budget_s": 1800,
|
||||
"max_auto_resumes_per_execution": 3,
|
||||
"auto_resume_requires": [
|
||||
"remaining_request_budget",
|
||||
"complete_checkpoint",
|
||||
"no_unknown_side_effect",
|
||||
"remaining_wait_budget_or_atomic_immediate_admission"
|
||||
],
|
||||
"exhaustion": "PAUSED_INFRA_no_automatic_generation_id_reset",
|
||||
"persist_cooldown_attempts_queue_and_reservations": true,
|
||||
"fail_open_direct_requests": false,
|
||||
"unknown_usage": "retain_conservative_reservation",
|
||||
"request_timeouts_s": {
|
||||
"connect": 10,
|
||||
"first_byte": 120,
|
||||
"stream_idle": 120,
|
||||
"total": 600
|
||||
},
|
||||
"token_accounting": "versioned_tokenizer_or_conservative_estimator_with_explicit_certainty",
|
||||
"queue_and_transport_deadlines_have_separate_origins": true,
|
||||
"local_rpm_tpm_window_s": 60,
|
||||
"token_reservation_expiry": "hold_while_active_then_one_window_after_confirmed_end; reconcile_unknown_end",
|
||||
"wait_budget_reset_on_resume": false,
|
||||
"half_open_failures": {
|
||||
"transient_confirmed_failure": "COOLING",
|
||||
"nonempty_stream_interruption": "pause_generation",
|
||||
"unknown_send_or_end": "RECONCILING_no_second_probe",
|
||||
"reconcile_deadline": "PAUSED_REQUEST_OUTCOME_UNKNOWN"
|
||||
},
|
||||
"budget_scope": {
|
||||
"rpm_tpm_window_insufficient": "queue",
|
||||
"generation_attempts_exhausted": "pause_execution_only",
|
||||
"account_hard_quota_or_auth": "pause_group"
|
||||
}
|
||||
},
|
||||
"execution": {
|
||||
"identity": [
|
||||
"execution_id",
|
||||
"epoch",
|
||||
"host",
|
||||
"boot_id",
|
||||
"pid",
|
||||
"proc_start_ticks"
|
||||
],
|
||||
"outcomes": [
|
||||
"COMPLETED",
|
||||
"CANCELLED",
|
||||
"DEADLINE_EXCEEDED",
|
||||
"BUDGET_EXHAUSTED",
|
||||
"INFRA_ERROR",
|
||||
"AGENT_ERROR",
|
||||
"LOST"
|
||||
],
|
||||
"cleanup_states": [
|
||||
"NOT_NEEDED",
|
||||
"PENDING",
|
||||
"VERIFIED",
|
||||
"UNKNOWN",
|
||||
"QUARANTINED"
|
||||
],
|
||||
"normal_completion_requires": [
|
||||
"normal_adapter_completion",
|
||||
"normal_exit",
|
||||
"verified_required_cleanup"
|
||||
],
|
||||
"nonzero_exit_can_be_completed": false,
|
||||
"cancelled_requires_persisted_cancel_reason": true,
|
||||
"phase_deadlines": "required_versioned_per_phase_from_existing_budgets_and_long_job_validation",
|
||||
"missing_phase_policy": "LIFECYCLE_CONFIG_INCOMPLETE_block_new_collection",
|
||||
"monotonic_deadlines_with_durable_restart_accounting": true,
|
||||
"suspect_after_s": 600,
|
||||
"startup_grace_s": 30,
|
||||
"term_grace_s": 15,
|
||||
"kill_confirm_s": 30,
|
||||
"cleanup_budget_s": 60,
|
||||
"suspect_requires_all_fresh_signals_idle": [
|
||||
"cpu",
|
||||
"io",
|
||||
"business_log",
|
||||
"protected_stage_sequence"
|
||||
],
|
||||
"operational_heartbeat_is_progress": false,
|
||||
"cpu_growth_proves_success": false,
|
||||
"cancel_and_spawn_share_execution_lock": true,
|
||||
"old_epoch_can_dispatch_side_effects": false,
|
||||
"release_resources_requires": "verified_entire_owned_execution_set_and_remote_receipts",
|
||||
"unverified_cleanup": "quarantine_no_reallocation",
|
||||
"restart": "reconcile_before_new_admission",
|
||||
"drain_is_distinct_from_cancel": true,
|
||||
"unknown_telemetry_does_not_disable_absolute_deadline": true,
|
||||
"takeover_requires": [
|
||||
"exclusive_owner_lease",
|
||||
"atomic_epoch_transfer",
|
||||
"old_owner_fenced_at_admission"
|
||||
]
|
||||
},
|
||||
"resume": {
|
||||
"persist_identity_chain": [
|
||||
"logical_generation_id",
|
||||
"http_attempt_id",
|
||||
"message_id",
|
||||
"tool_operation_id",
|
||||
"receipt_id"
|
||||
],
|
||||
"dispatch_tool_only_after_complete_message_commit": true,
|
||||
"same_operation_same_payload": "reuse_existing_handle_or_receipt",
|
||||
"same_operation_different_payload": "conflict",
|
||||
"new_operation_same_command": "new_action_not_content_dedup",
|
||||
"unknown_nonidempotent_side_effect": "quarantine_no_automatic_replay",
|
||||
"undelivered_late_response": "operations_only_no_tool_dispatch",
|
||||
"delivered_custom_and_tool_observations": "preserve_in_messages"
|
||||
},
|
||||
"dashboard": {
|
||||
"required_in_this_release": true,
|
||||
"realtime": true,
|
||||
"readonly": true,
|
||||
"sample_interval_s": 5,
|
||||
"stale_after_s": 15,
|
||||
"separate_counts": [
|
||||
"db_active_rollouts",
|
||||
"verified_agent_processes",
|
||||
"stage_processes",
|
||||
"collector_processes"
|
||||
],
|
||||
"unknown_process_count": "UNKNOWN_not_zero",
|
||||
"source_failure": "UNAVAILABLE_with_last_snapshot_timestamp",
|
||||
"required_views": [
|
||||
"overview",
|
||||
"rollout_list_and_detail",
|
||||
"quota_resources_cleanup",
|
||||
"sft_quality_and_versions"
|
||||
],
|
||||
"browser_refresh_business_side_effects_max": 0,
|
||||
"shared_sampling_for_all_browsers": true,
|
||||
"process_fixture_expected": {
|
||||
"agent": 2,
|
||||
"compiler": 1,
|
||||
"collector": 1
|
||||
},
|
||||
"state_mismatch_basis": "per_execution_phase_expected_identity_not_aggregate_count_equality"
|
||||
},
|
||||
"data": {
|
||||
"wait_compaction": false,
|
||||
"poll_deletion": false,
|
||||
"new_truncation": false,
|
||||
"operations_synthetic_messages": false,
|
||||
"valid_message_coverage_percent": 100,
|
||||
"raw_actual_context_preserved": true
|
||||
},
|
||||
"rollout_and_rollback": {
|
||||
"order": [
|
||||
"offline_data_replay",
|
||||
"fake_provider_and_process_fault_injection",
|
||||
"dashboard_integration",
|
||||
"isolated_real_batch",
|
||||
"publish_and_rollback_drill",
|
||||
"migration"
|
||||
],
|
||||
"all_workstreams_and_joint_acceptance_required": true,
|
||||
"suggested_real_batch_min_independent_tasks": 3,
|
||||
"do_not_intentionally_trigger_real_account_429": true,
|
||||
"data_rollback_changes_execution_or_quota_ledger": false,
|
||||
"runtime_rollback": "drain_then_finalize_or_cleanup_then_reconcile_then_compatible_switch",
|
||||
"no_duplicate_ownership_during_migration": true
|
||||
}
|
||||
}
|
||||
196
docs/plans/sft-collection-v1/rules/sft-preserve-v1.json
Normal file
196
docs/plans/sft-collection-v1/rules/sft-preserve-v1.json
Normal file
@ -0,0 +1,196 @@
|
||||
{
|
||||
"schema_version": "sft_rule_spec.v1",
|
||||
"rules_version": "sft-preserve-v1",
|
||||
"status": "proposed_not_implemented",
|
||||
"purpose": "SFT collection integrity and hard-gate release; no RL or trainer integration",
|
||||
"source": {
|
||||
"freeze_inputs": true,
|
||||
"terminal_stable_attempts_only": true,
|
||||
"independent_inventory": true,
|
||||
"unknown_context": "retain_and_fail_sample",
|
||||
"live_snapshot_backfill": false
|
||||
},
|
||||
"identity": {
|
||||
"primary": [
|
||||
"run",
|
||||
"job",
|
||||
"attempt",
|
||||
"session",
|
||||
"branch",
|
||||
"native_message_id"
|
||||
],
|
||||
"fallback": "source observation and explicit message lifecycle; unique segment mirror mapping only",
|
||||
"content_hash_is_identity": false,
|
||||
"timestamp_is_identity": false,
|
||||
"same_text_different_identity": "retain_all",
|
||||
"ambiguous_alias": "retain_and_fail_sample"
|
||||
},
|
||||
"transform": {
|
||||
"default": "preserve",
|
||||
"wait_compaction": false,
|
||||
"poll_round_deletion": false,
|
||||
"new_truncation": false,
|
||||
"reasoning_block_deletion": false,
|
||||
"generic_empty_message_deletion": false,
|
||||
"merge_adjacent_messages": false,
|
||||
"move_or_merge_system": false,
|
||||
"reorder": false,
|
||||
"future_result_backfill": false,
|
||||
"rewrite_timeout_as_success": false,
|
||||
"format_mapping": "versioned_reversible",
|
||||
"redaction": "versioned_field_audited"
|
||||
},
|
||||
"empty_error_exclusion": {
|
||||
"rule_id": "EMPTY_ERROR_FRAGMENT",
|
||||
"all_of": [
|
||||
"event.type == message_end",
|
||||
"message.role == assistant",
|
||||
"message.stopReason == error",
|
||||
"supported runner event adapter confirms provider or transport error origin",
|
||||
"raw content provably empty across every block",
|
||||
"no tool call fields or blocks, including partial calls",
|
||||
"no linked tool execution or result",
|
||||
"no nonempty stream delta in the lifecycle"
|
||||
],
|
||||
"use_text_keywords": false,
|
||||
"unknown": "retain_and_fail_sample",
|
||||
"nonempty_error": "retain_and_fail_sample",
|
||||
"tool_result_is_error": "retain",
|
||||
"aborted": "retain_and_fail_sample",
|
||||
"audit_exclusion": true
|
||||
},
|
||||
"acceptance": {
|
||||
"per_sample_before_aggregate": true,
|
||||
"observation_accounting_percent": 100,
|
||||
"valid_message_coverage_percent": 100,
|
||||
"empty_denominator": "fail",
|
||||
"require_usable_assistant": true,
|
||||
"unaccounted_observations_max": 0,
|
||||
"multiply_accounted_observations_max": 0,
|
||||
"extra_source_ids_max": 0,
|
||||
"missing_payload_fields_max": 0,
|
||||
"unapproved_payload_changes_max": 0,
|
||||
"unproven_dedup_max": 0,
|
||||
"identity_payload_conflicts_max": 0,
|
||||
"message_sequence_differences_max": 0,
|
||||
"missing_tool_results_max": 0,
|
||||
"orphan_tool_results_max": 0,
|
||||
"duplicate_final_results_max": 0,
|
||||
"call_id_conflicts_max": 0,
|
||||
"result_before_call_max": 0,
|
||||
"reassigned_results_max": 0,
|
||||
"rewritten_outcomes_max": 0,
|
||||
"source_hash_mismatches_max": 0,
|
||||
"parse_errors_max": 0,
|
||||
"unknown_required_context_max": 0,
|
||||
"unresolved_generation_errors_max": 0,
|
||||
"unhandled_sensitive_fields_max": 0,
|
||||
"required_gates": "all_frozen_job_requirements_pass",
|
||||
"unknown_required_check": "fail",
|
||||
"wait_reference_advisories_alone": "do_not_fail",
|
||||
"batch_input_accounting_percent": 100,
|
||||
"accepted_samples_min": 1,
|
||||
"fixed_success_fixture_expected_ids_must_match": true
|
||||
},
|
||||
"wait_annotations": {
|
||||
"enabled": true,
|
||||
"mutate_sft_messages": false,
|
||||
"operation_key": [
|
||||
"run",
|
||||
"job",
|
||||
"attempt",
|
||||
"stage_handle",
|
||||
"execution_attempt"
|
||||
],
|
||||
"keep_stage_and_waiter_outcomes_separate": true,
|
||||
"compare": [
|
||||
"state",
|
||||
"result",
|
||||
"exit_code",
|
||||
"error_class",
|
||||
"artifact_identity",
|
||||
"measurement_fields",
|
||||
"evidence_content_digest",
|
||||
"new_log_payload"
|
||||
],
|
||||
"ignore_only_declared_heartbeat_fields": [
|
||||
"timestamp",
|
||||
"elapsed",
|
||||
"poll_sequence"
|
||||
],
|
||||
"unknown_fields": "unknown_not_equal",
|
||||
"heartbeat_summary": "sidecar_only_with_all_source_ids",
|
||||
"states": [
|
||||
"FIRST_OBSERVATION",
|
||||
"STATE_CHANGED",
|
||||
"SAME_STATE_NEW_EVIDENCE",
|
||||
"HEARTBEAT_REPEAT",
|
||||
"WAIT_UNKNOWN",
|
||||
"STATE_CONFLICT"
|
||||
]
|
||||
},
|
||||
"truncation_annotations": {
|
||||
"enabled": true,
|
||||
"mutate_sft_messages": false,
|
||||
"separate_capture_filter_from_export_truncation": true,
|
||||
"scan_following_assistant_text_and_tool_arguments": true,
|
||||
"require_explicit_reference_for_confirmed_hit": true,
|
||||
"check_alternative_earlier_sources_before_claiming_context_loss": true,
|
||||
"no_match_is_proof_of_safety": false,
|
||||
"semantic_inference": "unknown",
|
||||
"missing_raw_payload": "retain_and_fail_sample"
|
||||
},
|
||||
"hard_gates": {
|
||||
"rule_source": "frozen_job_not_global_override",
|
||||
"current_batch_default_required": [
|
||||
"G1",
|
||||
"G3"
|
||||
],
|
||||
"current_batch_g3_source": "board",
|
||||
"current_batch_g3_kind": "rel_pct",
|
||||
"current_batch_g3_tolerance_pct": 5,
|
||||
"current_batch_t1_samples": 100,
|
||||
"current_batch_t1_label": "pass-screen",
|
||||
"keep_job_specific_extra_requirements": true,
|
||||
"g2_default": "diagnostic",
|
||||
"task_pass_does_not_rewrite_execution_status": true,
|
||||
"require_structured_claim": true,
|
||||
"claim_consistent_must_be": true,
|
||||
"require_task_artifact_identity_consistency": true,
|
||||
"enforce_frozen_protected_constraints": true
|
||||
},
|
||||
"release": {
|
||||
"bind": [
|
||||
"dataset_version",
|
||||
"rules_version",
|
||||
"rules_sha256",
|
||||
"source_manifest_sha256",
|
||||
"exporter_sha256",
|
||||
"parser_sha256",
|
||||
"validator_sha256",
|
||||
"frozen_job_verifier_versions",
|
||||
"redaction_version"
|
||||
],
|
||||
"immutable_generations": true,
|
||||
"require_independent_validation": true,
|
||||
"current_switch": "lock + expected_current_revision + same_filesystem_atomic_replace + fsync",
|
||||
"reader_pins_one_generation": true,
|
||||
"rollback_data_and_rules_together": true,
|
||||
"rollback_target": "previous_validated_unrevoked_generation_with_hashes_and_integrity_floor",
|
||||
"allow_known_bad_legacy_teacher_rollback": false,
|
||||
"no_valid_rollback_target": "explicit_error_no_downgrade",
|
||||
"precommit_failure_changes_current": false,
|
||||
"postcommit_failure": "COMMIT_UNKNOWN_query_same_event_id",
|
||||
"idempotency_key": "event_id",
|
||||
"block_next_switch_until_commit_reconciled": true,
|
||||
"revocation_check": "final_check_under_publication_lock_and_at_reader_entry",
|
||||
"revocation_updates": "same_lock_with_monotonic_epoch"
|
||||
},
|
||||
"implementation_cli_exit_codes": {
|
||||
"0": "success_and_required_checks_pass",
|
||||
"2": "validation_failed_or_no_accepted_samples",
|
||||
"3": "source_changed_or_unsupported",
|
||||
"4": "version_or_current_pointer_conflict",
|
||||
"5": "commit_unknown_query_same_event_id"
|
||||
}
|
||||
}
|
||||
@ -41,7 +41,8 @@ class MaterializationTests(unittest.TestCase):
|
||||
jd = self.root / "runs/r/j"
|
||||
rd = jd / "rollouts" / f"{kk:02d}"
|
||||
(rd / "agent").mkdir(parents=True)
|
||||
job = {"run_id": "r", "job_id": "j", "task": "cls", "model": "resnet18", "march": "nash-m", "backend": "ptq",
|
||||
job = {"run_id": "r", "job_id": "j", "task": "cls", "model": "resnet18", "march": "nash-m",
|
||||
"target": {"board_type": "s100p", "march": "nash-m"}, "backend": "ptq",
|
||||
"gates": {"required": ["G1", "G3"], "G1": {}, "G2": {},
|
||||
"G3": {"kind": "rel_pct", "tol": 5, "require_source": "board"}, "G4": {}}}
|
||||
(jd / "job.json").write_text(json.dumps(job))
|
||||
@ -83,7 +84,10 @@ class MaterializationTests(unittest.TestCase):
|
||||
self.assertEqual(reward["terms"]["timeout"], -1.0)
|
||||
manifest = ex.materialize(["r"], "data")
|
||||
self.assertEqual(manifest["stats"]["sft_eligible"], 1)
|
||||
self.assertEqual(manifest["stats"]["by_march"], {"nash-m": 1})
|
||||
self.assertEqual(manifest["stats"]["sft_eligible_by_march"], {"nash-m": 1})
|
||||
rec = json.loads((self.root / "datasets/data/teacher.jsonl").read_text())
|
||||
self.assertEqual(rec["board_type"], "s100p")
|
||||
self.assertEqual(rec["verdict"]["terminal"], "PASS")
|
||||
self.assertEqual(rec["execution"]["terminal"], "TIMEOUT")
|
||||
|
||||
|
||||
@ -431,7 +431,7 @@ def _write_dataset(a, work: Path, ds_id: str) -> dict:
|
||||
stats = {"scanned": 0, "written": 0, "agent_written": 0, "teacher_written": 0, "student_written": 0,
|
||||
"pipeline_written": 0, "excluded": 0, "dropped": {}, "review": 0, "partial": 0,
|
||||
"by_terminal": {}, "by_execution_terminal": {}, "pipeline_by_terminal": {}, "sft_eligible": 0,
|
||||
"reverified": 0}
|
||||
"by_march": {}, "sft_eligible_by_march": {}, "reverified": 0}
|
||||
with contextlib.ExitStack() as stack:
|
||||
files = {name: stack.enter_context((work / f"{name}.jsonl").open("w"))
|
||||
for name in ("teacher", "student", "pipeline", "exclusions")}
|
||||
@ -551,7 +551,8 @@ def _write_agent(rd, a, stats, annotations, write, exclude):
|
||||
"continuation": {**job["continuation"], "source_rollout": verdict["rollout"]} if job.get("continuation") else None,
|
||||
"mode": mode, "policy": policy, "model": rj.get("model"),
|
||||
"agent_config_version": str(rj.get("agent_config_version", "1")),
|
||||
"task": job["task"], "march": job["march"], "backend": job["backend"],
|
||||
"task": job["task"], "march": job["march"],
|
||||
"board_type": (job.get("target") or {}).get("board_type"), "backend": job["backend"],
|
||||
"messages": msgs,
|
||||
"verdict": {k: verdict[k] for k in ("schema", "verification_rule", "terminal", "measured_terminal", "execution_terminal", "timeout_reason", "completion", "failed_gate", "claim_consistent", "blocked_correct", "review") if k in verdict},
|
||||
"gates": {g: (verdict["gates"].get(g) or {}).get("verdict") for g in ("G1", "G2", "G3", "G4")},
|
||||
@ -586,7 +587,10 @@ def _write_agent(rd, a, stats, annotations, write, exclude):
|
||||
stats["partial"] += int(trajectory["partial"])
|
||||
_inc(stats["by_terminal"], verdict["terminal"])
|
||||
_inc(stats["by_execution_terminal"], rec["execution"]["terminal"])
|
||||
_inc(stats["by_march"], job["march"])
|
||||
stats["sft_eligible"] += int(sft_ok)
|
||||
if sft_ok:
|
||||
_inc(stats["sft_eligible_by_march"], job["march"])
|
||||
|
||||
def materialize(run_ids: list[str], dataset_id: str, *, refresh=False, purpose="all", policy=None,
|
||||
min_agent_version=None, agent_version=None, min_reward=None,
|
||||
|
||||
@ -1,7 +1,7 @@
|
||||
"""`bench` 命令。
|
||||
|
||||
bench preflight [--modes oracle,e2e]
|
||||
bench new-run [--note ...]
|
||||
bench preflight [--modes oracle,e2e] [--target s100p]
|
||||
bench new-run [--note ...] [--target s100p]
|
||||
bench expand [--run r…] [--modes …]
|
||||
bench run [--run r…] [--job id …] [--dry-run] [--parallel N]
|
||||
bench status [--run r…] [--fail]
|
||||
@ -32,7 +32,8 @@ def _run_id(con, given: str | None) -> str:
|
||||
|
||||
def cmd_preflight(a) -> int:
|
||||
from .pipeline import preflight
|
||||
errs, warns = preflight(a.modes.split(",") if a.modes else None, oracle_only=a.oracle_only)
|
||||
errs, warns = preflight(a.modes.split(",") if a.modes else None,
|
||||
oracle_only=a.oracle_only, target=a.target)
|
||||
for w in warns:
|
||||
print(f"WARN {w}")
|
||||
for e in errs:
|
||||
@ -43,7 +44,7 @@ def cmd_preflight(a) -> int:
|
||||
|
||||
def cmd_new_run(a) -> int:
|
||||
from .pipeline import new_run
|
||||
print(new_run(a.note or ""))
|
||||
print(new_run(a.note or "", target=a.target))
|
||||
return 0
|
||||
|
||||
|
||||
@ -68,8 +69,11 @@ def cmd_run(a) -> int:
|
||||
def cmd_status(a) -> int:
|
||||
with db.connect() as con:
|
||||
rid = _run_id(con, a.run)
|
||||
run = db.get_run(con, rid)
|
||||
target = json.loads(run["manifest"]).get("target") if run else None
|
||||
rows = db.status_counts(con, rid)
|
||||
print(f"run {rid}")
|
||||
target_text = f" target={target['board_type']}/{target['march']}" if target else " target=legacy/mixed"
|
||||
print(f"run {rid}{target_text}")
|
||||
if a.fail:
|
||||
for r in db.error_class_counts(con, rid):
|
||||
print(f" {r['n']:4d} {r['error_class']:<20} {r['stage_failed'] or ''}")
|
||||
@ -84,9 +88,16 @@ def cmd_status(a) -> int:
|
||||
print(f" {st:<15} {total:5d}")
|
||||
for t, m in tasks.items():
|
||||
print(f" {t:<8} " + " ".join(f"{k}={v}" for k, v in m.items()))
|
||||
ro = con.execute("SELECT state, COUNT(*) n FROM rollouts WHERE run_id=? GROUP BY state", (rid,)).fetchall()
|
||||
ro = con.execute(
|
||||
"SELECT j.march, r.state, COUNT(*) n FROM rollouts r"
|
||||
" JOIN jobs j ON j.run_id=r.run_id AND j.job_id=r.job_id AND j.mode='oracle'"
|
||||
" WHERE r.run_id=? GROUP BY j.march,r.state ORDER BY j.march,r.state", (rid,)).fetchall()
|
||||
if ro:
|
||||
print(" rollouts: " + " ".join(f"{r['state']}={r['n']}" for r in ro))
|
||||
by_march = {}
|
||||
for r in ro:
|
||||
by_march.setdefault(r["march"], []).append(f"{r['state']}={r['n']}")
|
||||
for march, counts in by_march.items():
|
||||
print(f" rollouts {march}: " + " ".join(counts))
|
||||
from .verify import summarize_results
|
||||
for label, records in (("pipeline", con.execute("SELECT result FROM jobs WHERE run_id=? AND mode='oracle'", (rid,))),
|
||||
("agent", con.execute("SELECT verdict FROM rollouts WHERE run_id=?", (rid,)))):
|
||||
@ -357,8 +368,11 @@ def main(argv=None) -> int:
|
||||
p = argparse.ArgumentParser(prog="bench")
|
||||
sp = p.add_subparsers(dest="cmd", required=True)
|
||||
|
||||
x = sp.add_parser("preflight"); x.add_argument("--modes"); x.add_argument("--oracle-only", action="store_true", help="只跑 benchmark 那一半时放行 agent 运行时缺失"); x.set_defaults(f=cmd_preflight)
|
||||
x = sp.add_parser("new-run"); x.add_argument("--note"); x.set_defaults(f=cmd_new_run)
|
||||
x = sp.add_parser("preflight"); x.add_argument("--modes"); x.add_argument("--target", help="板型目标,如 s100p / s600")
|
||||
x.add_argument("--oracle-only", action="store_true", help="只跑 benchmark 那一半时放行 agent 运行时缺失"); x.set_defaults(f=cmd_preflight)
|
||||
x = sp.add_parser("new-run"); x.add_argument("--note")
|
||||
x.add_argument("--target", required=True, help="固定本 run 的唯一板型目标")
|
||||
x.set_defaults(f=cmd_new_run)
|
||||
x = sp.add_parser("expand"); x.add_argument("--run"); x.add_argument("--modes"); x.add_argument("--marches", help="只展开这些 march,逗号分隔")
|
||||
x.add_argument("--model", action="append", help="显式分批接入;核查真实前置,保留原 march/backend/policy/k,不改 CSV 标签")
|
||||
x.add_argument("--t1", action="append", help="新批次直接使用已验证的 T1 manifest;每个数据集一份,不改旧任务")
|
||||
|
||||
@ -21,7 +21,7 @@ from . import paths, db, gates, scheduler
|
||||
from .errors import is_transient
|
||||
from .eval import EVALUATOR_VERSION
|
||||
from .registry import (JobSpec, expand_matrix, build_job_json, datasets, models, model_row,
|
||||
registry_fingerprint, matrix, _select)
|
||||
registry_fingerprint, matrix, target_spec, _select)
|
||||
from .stages import ORDER, StageContext
|
||||
|
||||
|
||||
@ -51,7 +51,8 @@ def refresh_run_dataset(run_id: str, *, strict: bool = False) -> dict | None:
|
||||
|
||||
# ---------------------------------------------------------------- preflight
|
||||
|
||||
def preflight(modes: list[str] | None = None, oracle_only: bool = False) -> tuple[list[str], list[str]]:
|
||||
def preflight(modes: list[str] | None = None, oracle_only: bool = False,
|
||||
target: str | None = None) -> tuple[list[str], list[str]]:
|
||||
"""返回 (errors, warnings)。errors 非空 → 不允许 run。
|
||||
oracle 主流程不依赖 agent 运行时或 LLM 凭证;采集轨迹时才检查这些依赖。"""
|
||||
errs, warns = [], []
|
||||
@ -60,7 +61,9 @@ def preflight(modes: list[str] | None = None, oracle_only: bool = False) -> tupl
|
||||
# 1. registry 自洽
|
||||
try:
|
||||
rows = models()
|
||||
specs = expand_matrix(["oracle"] if oracle_only else modes)
|
||||
selected = target_spec(target) if target else None
|
||||
specs = expand_matrix(["oracle"] if oracle_only else modes,
|
||||
target_marches=[selected["march"]] if selected else None)
|
||||
except Exception as e:
|
||||
return [f"registry: {e}"], warns
|
||||
if not specs:
|
||||
@ -160,9 +163,9 @@ def harness_code_sha() -> str:
|
||||
return h.hexdigest()
|
||||
|
||||
|
||||
def build_manifest() -> dict:
|
||||
def build_manifest(target: str | None = None) -> dict:
|
||||
cfg = paths.config()
|
||||
return {
|
||||
manifest = {
|
||||
"created_at": time.time(),
|
||||
"evaluator_version": EVALUATOR_VERSION,
|
||||
"harness_code_sha256": harness_code_sha(),
|
||||
@ -173,13 +176,16 @@ def build_manifest() -> dict:
|
||||
"board": {"host": paths.secret("BOARD_HOST"), "ucp": None, "board_type": None},
|
||||
"host": os.uname().nodename,
|
||||
}
|
||||
if target:
|
||||
manifest["target"] = target_spec(target)
|
||||
return manifest
|
||||
|
||||
|
||||
def new_run(note: str = "") -> str:
|
||||
def new_run(note: str = "", target: str | None = None) -> str:
|
||||
paths.ensure_dirs()
|
||||
with db.connect() as con:
|
||||
run_id = db.next_run_id(con, time.strftime("%Y%m%d"))
|
||||
man = build_manifest()
|
||||
man = build_manifest(target)
|
||||
db.create_run(con, run_id, man, note)
|
||||
rd = paths.RUNS / run_id
|
||||
rd.mkdir(parents=True, exist_ok=True)
|
||||
@ -224,6 +230,11 @@ def expand(run_id: str, modes: list[str] | None = None, marches: list[str] | Non
|
||||
raise ValueError("one T1 manifest per dataset is required")
|
||||
with db.connect() as con:
|
||||
db.assert_run_open(con, run_id)
|
||||
run = db.get_run(con, run_id)
|
||||
run_target = json.loads(run["manifest"]).get("target") if run else None
|
||||
target_marches = [run_target["march"]] if run_target else None
|
||||
if target_marches and marches and set(marches) != set(target_marches):
|
||||
raise ValueError(f"run {run_id} target 固定为 {run_target['board_type']}/{run_target['march']},不能展开 {marches}")
|
||||
if receipt(run_id):
|
||||
raise ValueError("continuation run has an exact task list; expand is not allowed")
|
||||
if model_ids and modes == ["oracle"]:
|
||||
@ -232,7 +243,8 @@ def expand(run_id: str, modes: list[str] | None = None, marches: list[str] | Non
|
||||
model_row(m), evaluation=replacements.get(model_row(m).get("dataset"))))}
|
||||
if blockers:
|
||||
raise ValueError(f"explicit model batch has unresolved prerequisites: {blockers}")
|
||||
specs = expand_matrix(modes, model_ids) if model_ids else expand_matrix(modes)
|
||||
specs = expand_matrix(modes, model_ids, target_marches=target_marches) if model_ids \
|
||||
else expand_matrix(modes, target_marches=target_marches)
|
||||
if marches:
|
||||
specs = [s for s in specs if s.march in marches] # 只展开部分 march(如补跑 nash-p),不改 registry
|
||||
# 按 job_id 聚合 rollout 计划
|
||||
@ -306,6 +318,7 @@ def enqueue_e2e_coverage(run_id: str, job_ids: list[str] | None = None) -> int:
|
||||
from .continuation import receipt
|
||||
with db.connect() as con:
|
||||
db.assert_run_open(con, run_id)
|
||||
run = db.get_run(con, run_id)
|
||||
if receipt(run_id):
|
||||
raise ValueError("continuation run must not replenish completed samples")
|
||||
mx = matrix()
|
||||
@ -313,7 +326,9 @@ def enqueue_e2e_coverage(run_id: str, job_ids: list[str] | None = None) -> int:
|
||||
if not cfg or not cfg.get("enabled", True):
|
||||
return 0
|
||||
select = {k: v for k, v in (cfg.get("select") or {}).items() if k != "priority"}
|
||||
marches = mx.get("marches", paths.MARCHES) if cfg.get("marches", "all") == "all" else cfg["marches"]
|
||||
run_target = json.loads(run["manifest"]).get("target") if run else None
|
||||
marches = ([run_target["march"]] if run_target else
|
||||
(mx.get("marches", paths.MARCHES) if cfg.get("marches", "all") == "all" else cfg["marches"]))
|
||||
backends = mx.get("backends", ["ptq"]) if cfg.get("backends", "all") == "all" else cfg["backends"]
|
||||
model_rows = {r["model_id"]: r for r in models()}
|
||||
selected = set(job_ids) if job_ids else None
|
||||
|
||||
@ -82,6 +82,22 @@ def boards() -> dict:
|
||||
return _yaml("boards.yaml")
|
||||
|
||||
|
||||
def target_spec(board_type: str) -> dict[str, str]:
|
||||
"""把用户可读板型解析成唯一编译目标;映射只认 boards.yaml。"""
|
||||
mapping = boards().get("march_by_board") or {}
|
||||
march = mapping.get(board_type)
|
||||
if march not in MARCHES:
|
||||
choices = ", ".join(sorted(mapping)) or "<none>"
|
||||
raise ValueError(f"未知 target {board_type!r};可选: {choices}")
|
||||
return {"board_type": board_type, "march": march}
|
||||
|
||||
|
||||
def board_type_for_march(march: str) -> str | None:
|
||||
"""返回 march 对应的板型;一对多时拒绝猜测。"""
|
||||
matches = [name for name, value in (boards().get("march_by_board") or {}).items() if value == march]
|
||||
return matches[0] if len(matches) == 1 else None
|
||||
|
||||
|
||||
def board_slots(march: str | None = None) -> dict[int, dict]:
|
||||
"""返回可用板卡及稳定锁编号;禁用条目仍占用其 slot,避免把一板当成两板。"""
|
||||
if march is not None and march not in MARCHES:
|
||||
@ -203,7 +219,8 @@ def _apply_overrides(row: dict, mx: dict) -> dict:
|
||||
return out
|
||||
|
||||
|
||||
def expand_matrix(modes: list[str] | None = None, model_ids: list[str] | None = None) -> list[JobSpec]:
|
||||
def expand_matrix(modes: list[str] | None = None, model_ids: list[str] | None = None,
|
||||
target_marches: list[str] | None = None) -> list[JobSpec]:
|
||||
"""把 registry 展开成 JobSpec 列表;历史 Oracle repair 模式不再生成。"""
|
||||
mx = matrix()
|
||||
rows = models()
|
||||
@ -212,7 +229,13 @@ def expand_matrix(modes: list[str] | None = None, model_ids: list[str] | None =
|
||||
if unknown:
|
||||
raise ValueError(f"unknown models: {sorted(unknown)}")
|
||||
rows = [r for r in rows if r["model_id"] in model_ids]
|
||||
marches_all = mx.get("marches", MARCHES)
|
||||
if target_marches is not None:
|
||||
invalid = sorted(set(target_marches) - set(MARCHES))
|
||||
if invalid:
|
||||
raise ValueError(f"target marches 非法: {invalid}")
|
||||
marches_all = list(dict.fromkeys(target_marches))
|
||||
else:
|
||||
marches_all = mx.get("marches", MARCHES)
|
||||
backends_all = mx.get("backends", ["ptq"])
|
||||
qcfg_by_march = mx.get("qcfg_by_march", {})
|
||||
tier = mx.get("data_tier", "t1")
|
||||
@ -224,7 +247,9 @@ def expand_matrix(modes: list[str] | None = None, model_ids: list[str] | None =
|
||||
continue
|
||||
if not mcfg.get("enabled", True) or mcfg.get("when") == "oracle_fail":
|
||||
continue
|
||||
marches = marches_all if mcfg.get("marches", "all") == "all" else mcfg["marches"]
|
||||
# run target 是更高层的不变量:显式目标时所有 mode 都只生成该 march。
|
||||
# 未指定目标的旧 run 完全保留 matrix 的历史选择规则。
|
||||
marches = marches_all if target_marches is not None or mcfg.get("marches", "all") == "all" else mcfg["marches"]
|
||||
backends = backends_all if mcfg.get("backends", "all") == "all" else mcfg["backends"]
|
||||
policies = mcfg.get("policies") or [None]
|
||||
k = int(mcfg.get("k", 1))
|
||||
@ -340,6 +365,7 @@ def build_job_json(spec: JobSpec, run_id: str, evaluator_version: str, plans: li
|
||||
"run_id": run_id,
|
||||
"job_id": spec.job_id,
|
||||
"task": spec.task, "model": spec.model, "march": spec.march,
|
||||
"target": {"board_type": board_type_for_march(spec.march), "march": spec.march},
|
||||
"backend": spec.backend, "qcfg": spec.qcfg, "priority": spec.priority,
|
||||
"rollout_plans": plans or [], # [{mode, policy, k}]
|
||||
"model_spec": row,
|
||||
|
||||
@ -50,7 +50,7 @@ boards:
|
||||
|
||||
rdk-sandbox-40011:
|
||||
slot: 3
|
||||
enabled: true # 2026-09-16 真实 ResNet18 HBM 推理通过
|
||||
enabled: false # 2026-09-16 真实 ResNet18 HBM 推理通过
|
||||
host_env: BOARD_4_HOST
|
||||
port_env: BOARD_4_PORT
|
||||
user_env: BOARD_4_USER
|
||||
|
||||
@ -1,27 +1,45 @@
|
||||
#!/usr/bin/env bash
|
||||
# 一键启动 S100P(nash-m)输入准备 + Agent 首轮采集:
|
||||
# scripts/start_run.sh --note "P4 batch 1" [--parallel 8] 新 run:preflight → new-run → expand → 后台 run
|
||||
# scripts/start_run.sh --resume [--parallel 8] 续跑最新 run 的 PENDING(调度进程崩了先 reset-stale)
|
||||
# 一键启动单一板型目标的输入准备 + Agent 首轮采集:
|
||||
# scripts/start_run.sh --target s100p --note "P4 batch 1" [--parallel 8]
|
||||
# scripts/start_run.sh --target s600 --note "S600 batch 1" [--parallel 8]
|
||||
# scripts/start_run.sh --resume --run r… [--parallel 8] 显式续跑,避免多板型时恢复错 run
|
||||
# 之后:bench watch(实时看板)· bench status · bench status --fail · bench show <job_id> · bench report
|
||||
set -euo pipefail
|
||||
HERE="$(cd "$(dirname "$0")/.." && pwd)"; cd "$HERE"; export PATH="$HERE/bin:$PATH"
|
||||
NOTE=""; PAR=""; RESUME=0
|
||||
NOTE=""; PAR=""; RESUME=0; TARGET="s100p"; RID=""
|
||||
while [ $# -gt 0 ]; do case "$1" in
|
||||
--note) NOTE="$2"; shift 2;; --parallel) PAR="--parallel $2"; shift 2;; --resume) RESUME=1; shift;;
|
||||
--note) NOTE="$2"; shift 2;; --parallel) PAR="--parallel $2"; shift 2;;
|
||||
--target) TARGET="$2"; shift 2;; --run) RID="$2"; shift 2;; --resume) RESUME=1; shift;;
|
||||
*) echo "unknown arg $1"; exit 2;; esac; done
|
||||
if [ "$RESUME" = 1 ]; then
|
||||
RID=$(python3 -c "import sys; sys.path.insert(0,'.'); from harness import db
|
||||
with db.connect() as c: print(db.latest_run_id(c) or '')")
|
||||
[ -n "$RID" ] || { echo "没有 run 可续跑"; exit 1; }
|
||||
[ -n "$RID" ] || { echo "--resume 必须同时指定 --run,避免恢复错板型"; exit 2; }
|
||||
TARGET=$(python3 - "$RID" <<'PY'
|
||||
import json
|
||||
import sys
|
||||
from harness import db
|
||||
with db.readonly() as con:
|
||||
run = db.get_run(con, sys.argv[1])
|
||||
if not run:
|
||||
raise SystemExit(f"run 不存在: {sys.argv[1]}")
|
||||
print((json.loads(run["manifest"]).get("target") or {}).get("board_type") or "legacy")
|
||||
PY
|
||||
)
|
||||
bench reset-stale --run "$RID" || true
|
||||
else
|
||||
bench preflight --modes oracle,e2e || { echo "preflight 有 ERROR,先修"; exit 1; }
|
||||
RID=$(bench new-run --note "${NOTE:-start_run $(date +%F)}")
|
||||
bench expand --run "$RID" --modes oracle,e2e --marches nash-m
|
||||
[ -z "$RID" ] || { echo "--run 只和 --resume 一起使用"; exit 2; }
|
||||
MARCH=$(python3 - "$TARGET" <<'PY'
|
||||
import sys
|
||||
from harness.registry import target_spec
|
||||
print(target_spec(sys.argv[1])["march"])
|
||||
PY
|
||||
)
|
||||
bench preflight --modes oracle,e2e --target "$TARGET" || { echo "preflight 有 ERROR,先修"; exit 1; }
|
||||
RID=$(bench new-run --target "$TARGET" --note "${NOTE:-start_run $TARGET $(date +%F)}")
|
||||
bench expand --run "$RID" --modes oracle,e2e --marches "$MARCH"
|
||||
fi
|
||||
LOG="state/run-$RID.log"
|
||||
setsid nohup bench run --run "$RID" $PAR >> "$LOG" 2>&1 < /dev/null & disown
|
||||
echo "run $RID 已在后台启动(pid $!)"
|
||||
echo "run $RID 已在后台启动(pid $!;target=$TARGET)"
|
||||
setsid nohup bench collect --run "$RID" --modes e2e --coverage all --first-pass --watch >> "state/collect-$RID.log" 2>&1 < /dev/null & disown
|
||||
echo "Agent 首轮采集已启动(pid $!):state/collect-$RID.log"
|
||||
echo " 实时看板: bench watch --run $RID"
|
||||
|
||||
@ -18,6 +18,15 @@ class ExplicitBatch(unittest.TestCase):
|
||||
with self.assertRaises(ValueError):
|
||||
registry.expand_matrix(["oracle"], ["nonexistent"])
|
||||
|
||||
def test_run_target_replaces_legacy_mode_march_without_changing_matrix(self):
|
||||
specs = registry.expand_matrix(["oracle", "e2e"], ["yolov8n.seg"], target_marches=["nash-p"])
|
||||
self.assertEqual([(s.mode, s.march, s.qcfg) for s in specs],
|
||||
[("oracle", "nash-p", "fp16int8"), ("e2e", "nash-p", "fp16int8")])
|
||||
self.assertEqual(registry.target_spec("s100p"), {"board_type": "s100p", "march": "nash-m"})
|
||||
self.assertEqual(registry.target_spec("s600"), {"board_type": "s600", "march": "nash-p"})
|
||||
with self.assertRaisesRegex(ValueError, "未知 target"):
|
||||
registry.target_spec("unknown")
|
||||
|
||||
|
||||
class ExplicitRepair(Collection):
|
||||
def test_admitted_model_does_not_generate_oracle_repairs(self):
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user