190 lines
18 KiB
Markdown
190 lines
18 KiB
Markdown
# bench/ — 视觉模型量化与上板评测
|
||
|
||
本轮SFT采集改造的 [实施计划与验收标准](docs/plans/sft-collection-v1/README.md) 已纳入项目:数据完整性、共享限流恢复、执行生命周期和实时看板同轮交付;当前为待实施/待验收规范。
|
||
|
||
本候选版的四类扩展入口和兼容规则见 [扩展说明](docs/extensions.md),独立镜像与迁移步骤见 [迁移说明](docs/portability.md)。先在新目录验证;下文保留原部署操作记录,不能对正在运行的原目录执行同步或切换。
|
||
|
||
## 338 模型分批覆盖
|
||
|
||
`bench coverage --all-runs --csv reports/model-coverage.csv` 维护原 CSV 全部 338 项;
|
||
相邻 JSON 保存所有 run/job/kk、逐阶段记录、真实轨迹路径、teacher 身份和训练导出关联。
|
||
静态前置齐备、FP32/ONNX 对照通过、量化编译、真实上板、任务精度通过分别记录,不能互相替代。
|
||
SIFT/ORB/AKAZE 仍占总表三行,按传统算法记不适用 PTQ,不虚构 HBM 或 Agent 轨迹。
|
||
|
||
新接入模型先核查具体权重、构建/导出、输入、校准、标注和评测门;不修改原 CSV 标签或旧 run。
|
||
Ultralytics COCO 分割可用 `scripts/probe_coco_adapters.py --model yolov8n.seg` 做真实权重、
|
||
ONNX 数值与 COCO 指标对照。Pose 另存原图坐标关键点对应及偏移,必须通过真实导出对照才能入队;
|
||
板端 G3 同时要求 OKS AP 和平均偏移 ≤2px,缺几何证据则 UNVERIFIED。probe 不是板端验收。
|
||
FastSAM 的类别语义仍属阻塞。EfficientViT 构建器文件存在不代表依赖、预处理和导出已验证。
|
||
|
||
通过前置核查的具名批次沿用现有命令:
|
||
|
||
```bash
|
||
bench new-run --target s100p --note '338 coverage: validated model batch'
|
||
bench expand --run RUN --modes oracle,e2e --marches nash-m --model yolov8n.seg
|
||
bench run --run RUN --parallel 2
|
||
bench collect --run RUN --modes e2e --first-pass --watch --parallel 2
|
||
```
|
||
|
||
显式 `--model` 放宽该批的 priority/task/status 选择,但保留 march/backend/qcfg、teacher、e2e k=4、
|
||
冻结精度门槛及原采样编号;不再生成 Oracle repair,缺真实 probe 或其他前置时整批拒绝。
|
||
`--first-pass` 只消费每个 job 的首条,原重复采样仍保持 QUEUED;等可执行模型完成首轮再用普通 collect 接续。
|
||
当前旧 collector 若需切换,只设置其 `state/drain-collect-RUN`,等在途任务与导出自然完成再启新进程。
|
||
不能直接 kill 或用新代码同步冒充旧进程已加载首轮策略。
|
||
|
||
创建 `state/coverage-master.enabled` 后,新进程每次训练导出会刷新总表;旧进程可沿用
|
||
`bench export --run RUN --follow` 接入相同刷新。总表失败会显式报错,不回滚已完成任务和训练数据。
|
||
|
||
设计:[BPU 量化轨迹工厂设计方案](docs/BPU量化轨迹工厂-设计方案.html)(v0.4)。契约:`CONTRACT.md`。方法论、闭环说明和技术分享讲稿见 [项目文档](docs/README.md)。本 README 只讲怎么把它放到机器上跑起来。
|
||
|
||
主流程:GLM-5.3 领取任务,按需准备输入、校准、编译、上板和评测 → harness 按本次实测独立判定 → 导出原始轨迹并筛选 SFT 候选。`bench run` 可选地预热权重、FP32 和 ONNX 缓存;`--oracle` 只作显式对照。Oracle 不参与 Agent 判定、奖励或 SFT 筛选,也不再生成 repair。历史文件和排队编号保留,旧 repair 不再领取。新任务仍要求相对 FP32 劣化不超过 5%,改善也通过;历史任务沿用冻结门槛。
|
||
|
||
已有批次只把剩余任务切到 100 张测试集,见 [剩余任务交接](CONTINUE.md)。使用交接清单保留原采样序号,不全量展开或重新补采。
|
||
|
||
## 0. 上机
|
||
|
||
```bash
|
||
# 未设置 BENCH_REMOTE / BENCH_REMOTE_DIR 时只看本地;始终默认预览、不自动 commit。
|
||
scripts/sync.sh
|
||
# 对已存在的新版本目录或已停机且完成归并的目录做只读预览,生成新的本地基线文件。
|
||
scripts/sync.sh --remote USER@HOST --remote-dir /ABS/NEW/bench --baseline ../sync-plan.json
|
||
# 阅读差异并确认目标内容后,显式应用同一份基线。
|
||
scripts/sync.sh --remote USER@HOST --remote-dir /ABS/NEW/bench --baseline ../sync-plan.json --apply
|
||
```
|
||
|
||
两步之间本地源码或远端前像变化都会拒绝应用;选择 `--files` 时两步使用相同列表。
|
||
目标目录须先建立;设置 `BENCH_REMOTE` / `BENCH_REMOTE_DIR` 也可提供显式目标,仍不会自动 apply。
|
||
旧 `--force` / `--pull` 不再支持;远端生成的 `registry/models.csv` 不上传覆盖,也不自动回写本地,
|
||
需要时显式下载到单独文件审查合并。源码删除会拒绝自动应用,由操作者单独审查。
|
||
同步不复制 state、runs、缓存或密钥。完整迁移与回退见 [迁移说明](docs/portability.md)。
|
||
|
||
机器上:
|
||
|
||
```bash
|
||
cd /mnt/data/ming01.wang/model-compile-hbdk/bench
|
||
export PATH=$PWD/bin:$PATH
|
||
# harness 只要 pyyaml;系统 python3 没有就用 PTQ venv 的解释器
|
||
python3 -c 'import yaml' || export BENCH_PYTHON=~/toolchains/oe-3.7.0/venv/bin/python
|
||
# JuiceFS 是 FUSE:小文件写入实测 ~0.5 s/个。state/(sqlite+锁)、data/(5 万张图)、cache/ 都放本地盘,软链过去
|
||
for d in state data cache; do mkdir -p /home/$USER/bench-$d; [ -L $d ] || { rm -rf $d; ln -s /home/$USER/bench-$d $d; }; done
|
||
# runs/(每 job 几十个文件)留在 JuiceFS 没问题
|
||
```
|
||
|
||
## 1. P1 顺序(每步都能单独重跑)
|
||
|
||
| # | 命令 | 产出 |
|
||
|---|---|---|
|
||
| 1 | `scripts/fix_env.sh` | `.env.oe-package` 的 `PYTHON_BIN` 指向真实 QAT venv(备份 `.bak-日期`) |
|
||
| 2 | `python scripts/excel_to_models.py <清单.xlsx> --dry-run` → 改 `COLMAP` → 去掉 `--dry-run` | `registry/models.csv`(338 行) |
|
||
| 3 | `source .env.local && scripts/board_probe.sh` | 沙箱板型 → 填 `registry/boards.yaml` 的 `board_type` / `march` |
|
||
| 4 | `~/toolchains/oe-3.7.0/venv/bin/python scripts/ingest_pool.py --dataset imagenet1k --dataset coco2017` | `data/pool/…/manifest.json`,只读 |
|
||
| 5 | `… scripts/make_t1.py --dataset imagenet1k --dataset coco2017` | `data/t1/<ds>/20260914.tar` |
|
||
| 6 | `… scripts/make_calib.py --task cls --input-spec 1x3x224x224` / `--task det --input-spec 1x3x640x640` | `data/calib/…` |
|
||
| 7 | `bench preflight --modes oracle,e2e` | 0 errors 才往下;包含 Agent 环境检查 |
|
||
| 8 | `bench new-run --target s100p --note "S100P"` → `bench expand --modes oracle,e2e --marches nash-m` | 每个就绪模型的 `runs/r…/<job_id>/job.json`,`state/jobs.sqlite` |
|
||
| 9 | `bench run --dry-run` | 状态机空转一遍,不碰工具链 |
|
||
|
||
步骤 4–6 用 PTQ venv 的 python(要 pyarrow / pillow / numpy)。ImageNet 首选 HF parquet 14 片;tar 是备用源,入池时会 `tar -tzf | wc -l` 校验。
|
||
|
||
## 2. P2 切片(真跑)
|
||
|
||
环境和数据准备好后,`scripts/start_run.sh --target s100p --note "S100P" --parallel 2` 会检查环境、展开 nash-m 输入准备和 Agent 计划,后台准备 01–03 并按首轮优先采集;S600 使用 `--target s600`,run 会固定为 nash-p。续跑必须显式写 `scripts/start_run.sh --resume --run <run>`,避免多板型时恢复错批次。run target 覆盖历史 matrix 的默认 march,但不修改 matrix,因此旧 S100P run 的任务口径保持不变。
|
||
|
||
```bash
|
||
bench run --oracle --job cls--resnet18--nash-m--ptq--int8 --parallel 1 # 仅需要完整对照时
|
||
bench show cls--resnet18--nash-m--ptq--int8 # 阶段时间线、stderr 尾巴
|
||
bench run --oracle --job det--yolov8n--nash-m--ptq--int8 --parallel 1
|
||
bench status; bench status --fail; bench report # reports/<run_id>.html
|
||
```
|
||
|
||
已有 HBM 的已结束任务用 `bench board-backfill --run <run> --job <job_id>` 补缺失的板端性能和精度;沿用该 job 冻结的阈值。需要新默认 5% 规则时创建新 run。
|
||
已结束的 rollout 同样可以补:`bench board-backfill --run <run> --rollout <job_id>:<kk>`,用 agent 自己编出的 HBM 重跑 07/08 再 verify(板卡故障导致 UNVERIFIED 的轨迹靠这个回收;agent 对话与 claim 不动,新 attempt 记 lane=backfill)。
|
||
|
||
P2 实测已核对(2026-09-15,resnet18 / nash-e / PTQ):
|
||
- `hb_compile 3.5.3` 接受我们的 yaml;`norm_type`、`cal_data_type` 已弃用(去掉了);**cal_data_dir 下只能有 .npy**(它把目录里所有文件当样本读,manifest.json 会炸)→ 校准集放 `<calib>/npy_f32/`,manifest 在上一级。
|
||
- `hb_model_info`:I/O 表与 march 打在 stderr,静态 perf 估算(FPS / latency / DDR)打在 stdout;两者都解析,静态估算记进 `G1.static_perf`(不是板端实测)。
|
||
- `hb_verifier`:`-m ptq_model.onnx,quantized_model.bc -i <npy>`,逐层余弦表,rc=0;取最后一行(模型输出)余弦对照 G2 阈值。
|
||
- 当时的 x86 模拟评测:`HB_HBIRRuntime(quantized_model.bc).run()` **0.04 s/张,与 `HB_HBMRuntime(hbm).run_sim()` 逐位一致**(后者 ~20 s/张)。当前 08-eval 使用真实板端 HBM 推理;06-hbm 保留模拟一致性抽查。`ptq_model.onnx` 走 HB_ONNXRuntime 是伪量化(cos≈0.9995),不作为板端精度。oellm2 里的 `hbm_infer` 是板端 RPC,不是模拟器。
|
||
- **HB_HBIRRuntime.run 返回的数组引用内部缓冲区**,下一次 run 原地覆盖——必须 `np.array(v, copy=True)`。踩过:一版 08-eval 的 top-1 算成 2.6%。
|
||
- resnet18 FP32 在 T1(2000 张分层)top-1 = 68.15(官方全量 69.76,2k 子集 SE≈1 pp,合理);hb_compile 校准余弦 0.999。
|
||
|
||
板端通过 Python `hbm_runtime.HB_HBMRuntime` 执行;08-eval 复用 FP32 基线的预处理和任务评测器,比较同一 T1 子集。
|
||
|
||
### 多板并行
|
||
|
||
在 `registry/boards.yaml` 为每块独立物理板登记唯一 `slot`、`march`、`board_type`、`runtime_dir` 和各自的 `host_env/port_env/user_env/ssh_key_env`。连接值放在服务器现有 `.env.local`,使用 SSH 密钥,不把密码写入登记文件。现有板固定 `slot: 0`;新增板依次用新编号,停用时设 `enabled: false`,不复用旧编号。
|
||
|
||
board 容量自动等于启用板数;增加 `pools.board.workers` 不会凭空增加板卡。07 性能测试、08 精度评测各自领取同 march 的空闲板,跨 oracle/Agent/补测共用 `board-<slot>.lock`,阶段记录实际板名。模型、采样次数和精度门槛沿用原规则。新进程排队时会重读板卡登记;旧进程仍使用启动时的代码,应自然收尾后切换。`reserve_for_agent: 1` 可在至少两块兼容板时为 Agent 保留一块;默认 0 共同排队。
|
||
|
||
接入前核对板卡的独立物理身份、芯片与运行库,并从编译服务器验证 SSH。相同地址、同一物理板的多个容器不能重复登记成额外容量。
|
||
旧 run 若只有整体 registry 指纹,在首次扩板前保留原 `boards.yaml` 为 `runs/<run>/board_registry.initial.yaml`;续跑仍核对模型清单、数据、门槛与 march 映射,扩板不要求重建模型任务。
|
||
|
||
## 3. P3 闭环(agent)
|
||
|
||
真实训练轨迹由 Agent 采集产生。先配置 teacher,再启动采集;oracle 的启动不依赖它。默认 matrix 只为 A 类 cls/det 模型生成 e2e 计划;需要覆盖本轮所有模型时使用 `--coverage all`。
|
||
|
||
```bash
|
||
bench agent setup # ~/.pi/agent/models.json(600),key 来自 .env.local
|
||
bench expand --run <run> --modes e2e --marches nash-m
|
||
bench collect --run <run> --modes e2e,repair --parallel 1
|
||
# 覆盖本 run 的全部 oracle 模型,持续接入新完成模型(仍保留 matrix 的任务类型与每模型 k):
|
||
bench collect --run <run> --coverage all --watch --modes e2e,repair --parallel 3
|
||
bench rollout cls--resnet18--nash-m--ptq--int8 --kk 0 --mode e2e --policy teacher --dry-run # 单条:只准备目录、渲染 prompt/settings
|
||
bench rollout cls--resnet18--nash-m--ptq--int8 --kk 0 --mode e2e --policy teacher # 单条:真起 pi
|
||
python export/to_agentrl.py --runs r20260914-01 # datasets/ds…/teacher.jsonl
|
||
```
|
||
|
||
每个流程/轨迹完成后会更新 `datasets/<run>-training/`。当前已启动的旧调度器可用
|
||
`bench export --run <run> --follow` 补上持续导出;不加 `--follow` 只导出一次。
|
||
`pipeline.jsonl` 是确定性流程的真实执行记录,`teacher.jsonl` / `student.jsonl` 是真实 Agent 轨迹,
|
||
`manifest.json` 分别统计两者。默认保留成功、失败和部分轨迹;SFT 可用只是其中的标签。
|
||
`terminal` 记录独立核验结果,`execution_terminal` / `timeout_reason` 记录 Agent 的终止原因;
|
||
`completion` 记录已完成的编译、上板和评测,超预算不再抹掉这些成果。
|
||
|
||
采集先覆盖不同模型,同等覆盖下优先已通过且预计较快的模型,再做重复采样。同一模型同时只跑一条;同一 run 的重复 collector 会直接退出。`--coverage all` 只追加缺失计划并记录 annotation,不重写 job 或历史数据。需要换采集进程时,向新 collector 发送一次 SIGTERM,或创建 `state/drain-collect-<run>`,它会完成当前任务后退出;重新启动前移除该 drain 文件。
|
||
|
||
P3 要核对(代码里标了 `P3`):pi 的 `--append-system-prompt` / `--tools` 参数;`agent/extensions/*.ts` 用到的 ExtensionAPI 形状(`pi.on("tool_call")` 返回 `{block, reason}`、`registerTool`、`turn_end`、`ctx.abort`);`models.json` 的 provider 字段名;`bench stage wait` 会不会被 pi 的 bash 超时掐断(不行就 `--poll 60` 改成 agent 反复调 `stage status`)。
|
||
|
||
## 4. agent 在 rollout 里能用什么
|
||
|
||
```
|
||
bench stage run calibrate|compile|hbm|board|eval [--config workspace/x.yaml] → handle
|
||
bench stage wait <handle> [--poll 60]
|
||
bench stage status <handle>
|
||
```
|
||
march / 输出前缀 / 工作目录被 harness 钉死;`--config` 必须在 `workspace/` 内;`fetch/baseline/export` 不允许 agent 提交。写文件只能在 `workspace/`,读按白名单(详见 CONTRACT §7;`cd` 被禁、别的 rollout 与 e2e 的 oracle 不可见)。旋钮取值以源码核实为准:`calibration_type ∈ {default,max,kl,mix}`(`skip` = 不校准,别用)、`compile_mode ∈ {latency,bandwidth,balance}`、`optimize_level ∈ {O0,O1,O2}`(hbdk4 没有 O3)。凭证:LLM key 在 `~/.pi/agent/models.json`,板卡凭证只进受信任的 `07-board` / `08-eval` 子进程。
|
||
|
||
## 5. 实现相对 v0.4 的补充(下次改文档时并入)
|
||
|
||
- **机器是共享的**(2026-09-14 实测):244 核 / 1.4 TB / **8 张 32 GB 卡**(不是 4 张),4/5/7 被别人跑满、6 占 29 GB;12 个登录用户。`config.yaml pools.gpu.devices: [0,1,2,3]` 钉死只用空闲卡,槽位 → `CUDA_VISIBLE_DEVICES`。
|
||
- 资源池是跨进程的(`state/locks/<pool>-<i>.lock` flock):oracle 调度进程、agent 的 `bench stage run`、多个 `bench run` 共用同一组槽位;board 池 1 槽 = 严格串行。model-level 阶段按模型加锁,三个 march 并行时只有一个真跑 01–03。job 认领是原子的(UPDATE … WHERE state='PENDING'),两个调度进程不会重跑同一个 job。
|
||
- 新 run 的 manifest 记 `harness_code_sha256`;harness 代码变了只告警,venv / registry / EVALUATOR_VERSION 变了拒跑(实测拦下过一次:改 config.yaml 的 venv 列表后 `bench run` 拒绝,开了新 run)。
|
||
- 沙箱板是 S100P(`nash-m`);历史 job 未记录 board 时,阶段按 march 查询当前板卡配置。没有匹配板卡时无法完成板端 G3,结果保持 UNVERIFIED。`board_perf.py` 开测前探测板上推理进程 / BPU ratio,最多等 10 分钟,仍忙则以 `board_busy` 拒绝测量。07/08 使用独立板端守护进程,持有板端互斥锁,并在 SSH 断连、30 秒未收到租约或原有单次 RPC 3600 秒上限到达时回收推理进程组。详见 [板端进程生命周期](docs/board-process-lifecycle.md)。
|
||
|
||
- `job.json` 与 mode 无关:一个 job_id 一份,`rollout_plans` 列出 e2e/repair 计划;oracle 与所有 rollout 共用。
|
||
- sqlite 默认 TRUNCATE 日志(WAL 在 FUSE 上会 disk I/O error);`BENCH_STATE_DIR` 可把 state 放本地盘。
|
||
- 校准集来源:本机 ImageNet / COCO 只有 val,`make_calib.py` 退到 val-holdout(排除 T1)并在 manifest 记 `source`;出 T2 交付数前必须换 train。
|
||
- 07-board 失败重试后仍失败 → G4 unverified、继续 08-eval;08-eval 失败 → job UNVERIFIED 带 error_class;01–06 失败 → FAIL。
|
||
- claim 是可选结构化自报。缺席不补写 ABSENT、不扣奖励;无可核验证据时,即使自报 PASS,测量仍为 UNVERIFIED,内容问题由单次审核另判。
|
||
- BLOCKED 仅保留在自报字段,不改变实测 PASS/FAIL/UNVERIFIED,不根据 Oracle 推断阻塞正确性。
|
||
- reward v0.7 只看本次实测门、成本和既有超时项,不与 Oracle 比较。任务与 SFT 共用版本化固定容差,SE 不放宽门槛。通过来源、完整性和实测硬门的候选再做一次内容审核;未审、未知、超时和虚报不进入成功 SFT,发布再次核对绑定与排除注记。导出只读重核旧判定、保留源结果;历史 repair 单列分析。见 [审核入口](export/CONTENT_REVIEW.md)。
|
||
|
||
## 6. 目录里什么进 git
|
||
|
||
`registry/ harness/ agent/ export/ scripts/ bin/ config.yaml CONTRACT.md README.md`。`runs/ datasets/ state/ data/{pool,t1,calib} cache/ .env.local reports/*.html` 不进(见 `.gitignore`)。
|
||
|
||
## v5 隔离与巡检
|
||
|
||
`bench heartbeat --run <run>` 只查 DB 候选、日志 mtime 和进程,正常无输出退出 0,异常退出 1;不杀进程。
|
||
`bench watch` 在非 TTY 输出一次纯文本快照。
|
||
|
||
v5 jail 通过 stdlib `bin/stageclient.py` 提交票据,外部 `harness.stageworker.Worker` 执行阶段;
|
||
只轮询本 rollout 的 handles。workspace、handles 和私有 /tmp 可写,其余挂载只读;state/harness/registry、其他 job/run 均隐藏。
|
||
pi session、guard、claim、预算临时记录写 workspace;外部驱动保存 claim/guard,预算从外部 events 核对。
|
||
编译产物保存在只读的本 rollout artifacts 和 work_root;worker 会排空已接收的阶段再核验,不杀阶段。
|
||
旧的常驻 collect 进程不会加载新的 Python 驱动:下一次采集须使用新进程;不要据此重启在跑任务。
|
||
|
||
新数据集的隐式版本下限读取 agent/VERSION,仅作用于 Pi;刷新已有数据集沿用其冻结筛选,显式变更留历史。导出继续读取 annotations,拒绝污染/误杀/不合格版本。
|
||
`--agent-version` 仍为精确匹配并提示弃用。每条样本按自身预算归一化;VOID 数据集不覆盖。
|
||
自检:`PYTHONPATH=. python3 scripts/test_codex.py`、`scripts/guard_smoke.sh`、`PYTHONPATH=. python3 scripts/queue_smoke.py`。
|