bench/ — BPU 量化轨迹工厂 · P1 骨架

设计:../BPU量化轨迹工厂-设计方案.html(v0.4)。契约:CONTRACT.md。本 README 只讲怎么把它放到机器上跑起来。

0. 上机

# 本地 → 机器(不带 runs/ state/ data/ cache/,它们在机器上生成)
rsync -av --exclude runs --exclude state --exclude 'data/pool' --exclude 'data/t1' --exclude 'data/calib' \
      --exclude cache --exclude datasets --exclude .env.local \
      bench/ ming01.wang@120.48.151.164:/mnt/data/ming01.wang/model-compile-hbdk/bench/
# .env.local 单独传(600),不要进 git
scp bench/.env.local ming01.wang@120.48.151.164:/mnt/data/ming01.wang/model-compile-hbdk/bench/.env.local

机器上:

cd /mnt/data/ming01.wang/model-compile-hbdk/bench
export PATH=$PWD/bin:$PATH
# harness 只要 pyyaml;系统 python3 没有就用 PTQ venv 的解释器
python3 -c 'import yaml' || export BENCH_PYTHON=~/toolchains/oe-3.7.0/venv/bin/python
# JuiceFS 是 FUSE:小文件写入实测 ~0.5 s/个。state/(sqlite+锁)、data/(5 万张图)、cache/ 都放本地盘,软链过去
for d in state data cache; do mkdir -p /home/$USER/bench-$d; [ -L $d ] || { rm -rf $d; ln -s /home/$USER/bench-$d $d; }; done
# runs/(每 job 几十个文件)留在 JuiceFS 没问题

1. P1 顺序(每步都能单独重跑)

# 命令 产出
1 scripts/fix_env.sh .env.oe-package 的 PYTHON_BIN 指向真实 QAT venv(备份 .bak-日期)
2 python scripts/excel_to_models.py <清单.xlsx> --dry-run → 改 COLMAP → 去掉 --dry-run registry/models.csv(338 行)
3 source .env.local && scripts/board_probe.sh 沙箱板型 → 填 registry/boards.yaml 的 board_type / march
4 ~/toolchains/oe-3.7.0/venv/bin/python scripts/ingest_pool.py --dataset imagenet1k --dataset coco2017 data/pool/…/manifest.json,只读
5 … scripts/make_t1.py --dataset imagenet1k --dataset coco2017 data/t1/<ds>/20260914.tar
6 … scripts/make_calib.py --task cls --input-spec 1x3x224x224 / --task det --input-spec 1x3x640x640 data/calib/…
7 bench preflight 0 errors 才往下
8 bench new-run --note "P2 slice" → bench expand runs/r…/<job_id>/job.json × 6,state/jobs.sqlite
9 bench run --dry-run 状态机空转一遍,不碰工具链

步骤 4–6 用 PTQ venv 的 python(要 pyarrow / pillow / numpy)。ImageNet 首选 HF parquet 14 片;tar 是备用源,入池时会 tar -tzf | wc -l 校验。

2. P2 切片(真跑)

bench run --job cls--resnet18--nash-e--ptq--int8 --parallel 1
bench show cls--resnet18--nash-e--ptq--int8          # 阶段时间线、stderr 尾巴
bench run --job det--yolov8n--nash-e--ptq--int8 --parallel 1
bench status; bench status --fail; bench report      # reports/<run_id>.html

P2 实测已核对(2026-09-15,resnet18 / nash-e / PTQ):

  • hb_compile 3.5.3 接受我们的 yaml;norm_type、cal_data_type 已弃用(去掉了);cal_data_dir 下只能有 .npy(它把目录里所有文件当样本读,manifest.json 会炸)→ 校准集放 <calib>/npy_f32/,manifest 在上一级。
  • hb_model_info:I/O 表与 march 打在 stderr,静态 perf 估算(FPS / latency / DDR)打在 stdout;两者都解析,静态估算记进 G1.static_perf(不是板端实测)。
  • hb_verifier:-m ptq_model.onnx,quantized_model.bc -i <npy>,逐层余弦表,rc=0;取最后一行(模型输出)余弦对照 G2 阈值。
  • x86 跑量化模型:HB_HBIRRuntime(quantized_model.bc).run() 0.04 s/张,与 HB_HBMRuntime(hbm).run_sim() 逐位一致(后者 ~20 s/张)。08-eval 全量走 .bc,06-hbm 用 2 张抽查 hbm ≡ bc。ptq_model.onnx 走 HB_ONNXRuntime 只是伪量化(cos≈0.9995),不用它出数。oellm2 里的 hbm_infer 是板端 RPC,不是模拟器。
  • HB_HBIRRuntime.run 返回的数组引用内部缓冲区,下一次 run 原地覆盖——必须 np.array(v, copy=True)。踩过:一版 08-eval 的 top-1 算成 2.6%。
  • resnet18 FP32 在 T1(2000 张分层)top-1 = 68.15(官方全量 69.76,2k 子集 SE≈1 pp,合理);hb_compile 校准余弦 0.999。

仍待核对:tools/board_perf.py 解析 hrt_model_exec perf(要板);eval/det.py 的 YOLOv8 后处理口径(P2 第二个切片)。核对完把 VERIFIED = True。

3. P3 闭环(agent)

bench agent setup                    # ~/.pi/agent/models.json(600),key 来自 .env.local
bench rollout cls--resnet18--nash-e--ptq--int8 --kk 0 --mode e2e --policy teacher --dry-run   # 只准备目录、渲染 prompt/settings
bench rollout cls--resnet18--nash-e--ptq--int8 --kk 0 --mode e2e --policy teacher             # 真起 pi
python export/to_agentrl.py --runs r20260914-01           # datasets/ds…/teacher.jsonl

P3 要核对(代码里标了 P3):pi 的 --append-system-prompt / --tools 参数;agent/extensions/*.ts 用到的 ExtensionAPI 形状(pi.on("tool_call") 返回 {block, reason}、registerTool、turn_end、ctx.abort);models.json 的 provider 字段名;bench stage wait 会不会被 pi 的 bash 超时掐断(不行就 --poll 60 改成 agent 反复调 stage status)。

4. agent 在 rollout 里能用什么

bench stage run calibrate|compile|hbm|board|eval [--config workspace/x.yaml]   → handle
bench stage wait <handle> [--poll 60]
bench stage status <handle>

march / 输出前缀 / 工作目录被 harness 钉死;--config 必须在 workspace/ 内;fetch/baseline/export 不允许 agent 提交。写文件只能在 workspace/,读按白名单(详见 CONTRACT §7;cd 被禁、别的 rollout 与 e2e 的 oracle 不可见)。旋钮取值以源码核实为准:calibration_type ∈ {default,max,kl,mix}(skip = 不校准,别用)、compile_mode ∈ {latency,bandwidth,balance}、optimize_level ∈ {O0,O1,O2}(hbdk4 没有 O3)。凭证:LLM key 在 ~/.pi/agent/models.json,板卡凭证只进 07-board 子进程。

5. 实现相对 v0.4 的补充(下次改文档时并入)

  • 机器是共享的(2026-09-14 实测):244 核 / 1.4 TB / 8 张 32 GB 卡(不是 4 张),4/5/7 被别人跑满、6 占 29 GB;12 个登录用户。config.yaml pools.gpu.devices: [0,1,2,3] 钉死只用空闲卡,槽位 → CUDA_VISIBLE_DEVICES。

  • 资源池是跨进程的(state/locks/<pool>-<i>.lock flock):oracle 调度进程、agent 的 bench stage run、多个 bench run 共用同一组槽位;board 池 1 槽 = 严格串行。model-level 阶段按模型加锁,三个 march 并行时只有一个真跑 01–03。job 认领是原子的(UPDATE … WHERE state='PENDING'),两个调度进程不会重跑同一个 job。

  • 新 run 的 manifest 记 harness_code_sha256;harness 代码变了只告警,venv / registry / EVALUATOR_VERSION 变了拒跑(实测拦下过一次:改 config.yaml 的 venv 列表后 bench run 拒绝,开了新 run)。

  • 沙箱板只有一块、一种 march:其他 march 的 job 07-board 直接 SKIPPED → G4 unverified,不阻塞。board_perf.py 开测前探测板上有无别人的推理进程 / BPU ratio,最多等 10 分钟,仍忙则照测但标 contended: true,reward 的延时相对项忽略这类样本。

  • job.json 与 mode 无关:一个 job_id 一份,rollout_plans 列出 e2e/repair 计划;oracle 与所有 rollout 共用。

  • sqlite 默认 TRUNCATE 日志(WAL 在 FUSE 上会 disk I/O error);BENCH_STATE_DIR 可把 state 放本地盘。

  • 校准集来源:本机 ImageNet / COCO 只有 val,make_calib.py 退到 val-holdout(排除 T1)并在 manifest 记 source;出 T2 交付数前必须换 train。

  • 07-board 失败重试后仍失败 → G4 unverified、继续 08-eval;08-eval 失败 → job UNVERIFIED 带 error_class;01–06 失败 → FAIL。

  • claim 缺席(agent 没调 claim 工具)→ claim.json 记 ABSENT,reward −0.25;claim=PASS 但没有可核验产物 → verdict FAIL 并计 claim≠verdict。

  • BLOCKED 正确性:claim.error_class 与 oracle 同类(unknown 不算同类)且阶段一致(claim 未填阶段则不比阶段)。

  • reward 里相对精度项对 lower-is-better 指标已在 gates 层翻转成"越大越好",配方不用区分。

6. 目录里什么进 git

registry/ harness/ agent/ export/ scripts/ bin/ config.yaml CONTRACT.md README.md。runs/ datasets/ state/ data/{pool,t1,calib} cache/ .env.local reports/*.html 不进(见 .gitignore)。

Description
No description provided
Readme 8.3 MiB
Languages
Python 96.7%
JavaScript 1.7%
TypeScript 0.8%
Shell 0.6%
HTML 0.2%