data-gen-bpu/CONTINUE.md

5.7 KiB
Raw Blame History

剩余任务切到 100 张

旧批次保存已经发生的执行,新批次只接剩下的任务。流程是:生成独立评测包 → 预览清单 → 停止领取并收尾 → 更新清单并应用 → 单条试跑 → 恢复并发。

普通流水线和 Agent 仍使用原来的 bench run、bench collect。不全量 expand,不使用 collect --coverage all。注册表默认值和校准集不改;500 张复核按需另做,这里不加入自动升级机制。

1. 先准备,旧批次继续运行

在有原始数据池的机器上生成固定子集。ImageNet 随机选类,每类取一张;COCO 固定随机抽图。

python scripts/make_t1.py --dataset imagenet1k --dataset coco2017 --n 100 --seed 20260914

新包在 data/t1/<dataset>/n100-s20260914/,原包保留。同一份清单用于 FP32 和板端 INT8;新缓存按内容哈希和评测器版本分开存放。

下例的 OLD_RUN、NEW_RUN 和 JOB_ID 都替换成清单里的实际值。下面的 plan 只读数据库和文件,不领取任务、不创建 run、不停止进程:

bench continue plan --run OLD_RUN \
  --t1 data/t1/imagenet1k/n100-s20260914/manifest.json \
  --t1 data/t1/coco2017/n100-s20260914/manifest.json > preview.json

只提供剩余任务涉及的数据集;缺少某个数据集的替换包会报错。默认生成新的 run ID,也可用 --to NEW_RUN 指定。清单含新旧任务、原采样序号、模式、策略、评测包身份及阻塞原因。服务器仍在执行时出现 blockers 是正常的,最终清单在收尾后重新生成。

bench reset-stale 必须跑在 plan 之前,不能夹在 plan 和 apply 中间:plan 把源 run 的 stages 全行打进 source_sha256,reset-stale 改任何一行 stage 状态都会让已生成的清单在 apply 时被拒(fail-closed,报 source changed),只能重新 plan。

counts 分四项:

项目 含义
oracle 从未开始的普通任务
agent_queued 已经排队、从未开始的 Agent 采样
agent_due_repairs 新清单固定为 0,不再按 Oracle 失败补任务
conditional_repairs 新清单固定为 0;旧清单保留,但不再激活

成功和失败都消耗原采样次数。计划 4 条、完成 1 条就只接余下 3 条,并保留它们的原 kk,不从零重新编号。首轮优先顺序及 collect --first-pass 也计入旧批次的已启动、已完成记录。

2. 工具验证完成后,停止领取并完成交接

bench drain --run OLD_RUN --all
bench status --run OLD_RUN

--all 同时设置普通流水线和 Agent 的停止领取标记。等已经领取的整个任务及核验结束、两个调度进程退出;不等全部待办跑完。运行中的旧进程必须已支持 drain,不能靠同步新代码改变它的内存逻辑。

收尾后,用第 1 步的 plan 命令重新输出 handoff.json,核对清单,然后:

bench continue apply handoff.json
bench continue check --run NEW_RUN

应用时再次校验评测包、源任务状态及源注册表指纹。过期清单、还在运行、曾执行过又重置成待办的记录都会阻止交接。成功后源待办记为 TRANSFERRED,源 run 不再允许启动或重新铺队列;完成的结果、日志和轨迹保留原处。重复应用同一清单只核对结果,不重复创建任务。

工具只处理一次从原始批次到接续批次的交接;不提供连续多级迁移框架。数据库事务提交前的文件准备失败,可用同一清单重试。目标目录保存 continuation.json 作为交接回执。

3. 先试一条,再恢复并发

如果选中的任务还没跑普通流水线,先执行它;如果只剩 Agent,跳过这一条命令:

bench run --run NEW_RUN --job JOB_ID --parallel 1
bench collect --run NEW_RUN --job JOB_ID --parallel 1 --limit 1
bench export --run NEW_RUN
bench continue check --run NEW_RUN

确认 FP32 和 INT8 的包哈希一致、实际评测 n=100、结果及 Agent 训练记录包含 eval_set,再按原资源配置恢复:

bench run --run NEW_RUN
bench collect --run NEW_RUN --watch

两条恢复命令分别在现有终端/进程管理方式下启动;不新增守护服务。check 比较具体任务及采样序号,不只比较总数。试跑后待办数会减少,但“待办 + 执行中 + 已结束”仍与交接数量对应。历史 QUEUED repair 保留编号但不再领取,须与可执行的 e2e 待办分开统计。

已有任务快照中的 oracle_ref 保留历史身份;新执行与判定不读取旧 Oracle。Agent 按需调用已有输入准备阶段,缓存按评测集区分,不重跑整条普通流水线。新交接只保留实际存在的采样行,不补 Oracle 失败驱动的 repair。

100 张保留现有 pass-screen 筛查口径和原精度门槛。奖励 v0.6 只使用本次实测,不再与 Oracle 比较。训练记录保留原 run、job、采样序号和评测集身份,训练端按 eval_set 区分可比较的组。

本地验证范围

单元与集成测试使用临时 SQLite、合成评测包和模拟执行器,验证抽样、任务守恒、交接恢复、调度、缓存命令及导出。它们不能替代真实 100 张图片上的 FP32/INT8 试跑,也不能替代 Linux 板端和 Agent 沙箱验证。

已知未修问题(从 PLAN.md §7 迁入)

  • events.jsonl 在爆:convnext.small #0 才 7 轮就 6.0 MB,其中 5.53 MB 是 1548 条 message_update(流式 token 增量)。落盘时过滤掉,或跑完压成 .raw.zst 只留结构事件。124 条 rollout 就是几个 GB,而 audit / 导出每次都要全文扫。
  • heartbeat 健康时零输出,无法区分"都健康"和"它什么都没看到"。健康时也打一行。