bench/ — 视觉模型量化与上板评测
设计:../BPU量化轨迹工厂-设计方案.html(v0.4)。契约:CONTRACT.md。本 README 只讲怎么把它放到机器上跑起来。
主流程按 CSV 中已就绪的模型运行:FP32 基线 → 导出 → 校准、编译 → S100P(nash-m)上板 → T1 精度评测。新任务默认要求任务指标相对 FP32 劣化不超过 5%,改善也通过;G2 余弦用于诊断,性能只记录。Agent / RLVR 采集按需单独启动。
0. 上机
# 本地 → 机器唯一入口(先 commit、检查远端变化,再同步)
scripts/sync.sh
机器上:
cd /mnt/data/ming01.wang/model-compile-hbdk/bench
export PATH=$PWD/bin:$PATH
# harness 只要 pyyaml;系统 python3 没有就用 PTQ venv 的解释器
python3 -c 'import yaml' || export BENCH_PYTHON=~/toolchains/oe-3.7.0/venv/bin/python
# JuiceFS 是 FUSE:小文件写入实测 ~0.5 s/个。state/(sqlite+锁)、data/(5 万张图)、cache/ 都放本地盘,软链过去
for d in state data cache; do mkdir -p /home/$USER/bench-$d; [ -L $d ] || { rm -rf $d; ln -s /home/$USER/bench-$d $d; }; done
# runs/(每 job 几十个文件)留在 JuiceFS 没问题
1. P1 顺序(每步都能单独重跑)
| # | 命令 | 产出 |
|---|---|---|
| 1 | scripts/fix_env.sh |
.env.oe-package 的 PYTHON_BIN 指向真实 QAT venv(备份 .bak-日期) |
| 2 | python scripts/excel_to_models.py <清单.xlsx> --dry-run → 改 COLMAP → 去掉 --dry-run |
registry/models.csv(338 行) |
| 3 | source .env.local && scripts/board_probe.sh |
沙箱板型 → 填 registry/boards.yaml 的 board_type / march |
| 4 | ~/toolchains/oe-3.7.0/venv/bin/python scripts/ingest_pool.py --dataset imagenet1k --dataset coco2017 |
data/pool/…/manifest.json,只读 |
| 5 | … scripts/make_t1.py --dataset imagenet1k --dataset coco2017 |
data/t1/<ds>/20260914.tar |
| 6 | … scripts/make_calib.py --task cls --input-spec 1x3x224x224 / --task det --input-spec 1x3x640x640 |
data/calib/… |
| 7 | bench preflight --modes oracle --oracle-only |
0 errors 才往下;不要求 agent 环境 |
| 8 | bench new-run --note "S100P" → bench expand --modes oracle --marches nash-m |
每个就绪模型的 runs/r…/<job_id>/job.json,state/jobs.sqlite |
| 9 | bench run --dry-run |
状态机空转一遍,不碰工具链 |
步骤 4–6 用 PTQ venv 的 python(要 pyarrow / pillow / numpy)。ImageNet 首选 HF parquet 14 片;tar 是备用源,入池时会 tar -tzf | wc -l 校验。
2. P2 切片(真跑)
环境和数据准备好后,scripts/start_run.sh --note "S100P" --parallel 2 会检查环境、展开 nash-m oracle 并后台运行;--resume 续跑已有 run。其他板型需先在 registry/matrix.yaml 的 marches 中加入对应值,再用 bench expand --marches ... 选择。
bench run --job cls--resnet18--nash-m--ptq--int8 --parallel 1
bench show cls--resnet18--nash-m--ptq--int8 # 阶段时间线、stderr 尾巴
bench run --job det--yolov8n--nash-m--ptq--int8 --parallel 1
bench status; bench status --fail; bench report # reports/<run_id>.html
已有 HBM 的已结束任务用 bench board-backfill --run <run> --job <job_id> 补缺失的板端性能和精度;沿用该 job 冻结的阈值。需要新默认 5% 规则时创建新 run。
已结束的 rollout 同样可以补:bench board-backfill --run <run> --rollout <job_id>:<kk>,用 agent 自己编出的 HBM 重跑 07/08 再 verify(板卡故障导致 UNVERIFIED 的轨迹靠这个回收;agent 对话与 claim 不动,新 attempt 记 lane=backfill)。
P2 实测已核对(2026-09-15,resnet18 / nash-e / PTQ):
hb_compile 3.5.3接受我们的 yaml;norm_type、cal_data_type已弃用(去掉了);cal_data_dir 下只能有 .npy(它把目录里所有文件当样本读,manifest.json 会炸)→ 校准集放<calib>/npy_f32/,manifest 在上一级。hb_model_info:I/O 表与 march 打在 stderr,静态 perf 估算(FPS / latency / DDR)打在 stdout;两者都解析,静态估算记进G1.static_perf(不是板端实测)。hb_verifier:-m ptq_model.onnx,quantized_model.bc -i <npy>,逐层余弦表,rc=0;取最后一行(模型输出)余弦对照 G2 阈值。- 当时的 x86 模拟评测:
HB_HBIRRuntime(quantized_model.bc).run()0.04 s/张,与HB_HBMRuntime(hbm).run_sim()逐位一致(后者 ~20 s/张)。当前 08-eval 使用真实板端 HBM 推理;06-hbm 保留模拟一致性抽查。ptq_model.onnx走 HB_ONNXRuntime 是伪量化(cos≈0.9995),不作为板端精度。oellm2 里的hbm_infer是板端 RPC,不是模拟器。 - HB_HBIRRuntime.run 返回的数组引用内部缓冲区,下一次 run 原地覆盖——必须
np.array(v, copy=True)。踩过:一版 08-eval 的 top-1 算成 2.6%。 - resnet18 FP32 在 T1(2000 张分层)top-1 = 68.15(官方全量 69.76,2k 子集 SE≈1 pp,合理);hb_compile 校准余弦 0.999。
板端通过 Python hbm_runtime.HB_HBMRuntime 执行;08-eval 复用 FP32 基线的预处理和任务评测器,比较同一 T1 子集。
多板并行
在 registry/boards.yaml 为每块独立物理板登记唯一 slot、march、board_type、runtime_dir 和各自的 host_env/port_env/user_env/ssh_key_env。连接值放在服务器现有 .env.local,使用 SSH 密钥,不把密码写入登记文件。现有板固定 slot: 0;新增板依次用新编号,停用时设 enabled: false,不复用旧编号。
board 容量自动等于启用板数;增加 pools.board.workers 不会凭空增加板卡。07 性能测试、08 精度评测各自领取同 march 的空闲板,跨 oracle/Agent/补测共用 board-<slot>.lock,阶段记录实际板名。模型、采样次数和精度门槛沿用原规则。新进程排队时会重读板卡登记;旧进程仍使用启动时的代码,应自然收尾后切换。reserve_for_agent: 1 可在至少两块兼容板时为 Agent 保留一块;默认 0 共同排队。
接入前核对板卡的独立物理身份、芯片与运行库,并从编译服务器验证 SSH。相同地址、同一物理板的多个容器不能重复登记成额外容量。
旧 run 若只有整体 registry 指纹,在首次扩板前保留原 boards.yaml 为 runs/<run>/board_registry.initial.yaml;续跑仍核对模型清单、数据、门槛与 march 映射,扩板不要求重建模型任务。
3. P3 闭环(agent)
真实训练轨迹由 Agent 采集产生。先配置 teacher,再启动采集;oracle 的启动不依赖它。默认 matrix 只为 A 类 cls/det 模型生成 e2e 计划;需要覆盖本轮所有模型时使用 --coverage all。
bench agent setup # ~/.pi/agent/models.json(600),key 来自 .env.local
bench expand --run <run> --modes e2e --marches nash-m
bench collect --run <run> --modes e2e,repair --parallel 1
# 覆盖本 run 的全部 oracle 模型,持续接入新完成模型(仍保留 matrix 的任务类型与每模型 k):
bench collect --run <run> --coverage all --watch --modes e2e,repair --parallel 3
bench rollout cls--resnet18--nash-m--ptq--int8 --kk 0 --mode e2e --policy teacher --dry-run # 单条:只准备目录、渲染 prompt/settings
bench rollout cls--resnet18--nash-m--ptq--int8 --kk 0 --mode e2e --policy teacher # 单条:真起 pi
python export/to_agentrl.py --runs r20260914-01 # datasets/ds…/teacher.jsonl
每个流程/轨迹完成后会更新 datasets/<run>-training/。当前已启动的旧调度器可用
bench export --run <run> --follow 补上持续导出;不加 --follow 只导出一次。
pipeline.jsonl 是确定性流程的真实执行记录,teacher.jsonl / student.jsonl 是真实 Agent 轨迹,
manifest.json 分别统计两者。默认保留成功、失败和部分轨迹;SFT 可用只是其中的标签。
terminal 记录独立核验结果,execution_terminal / timeout_reason 记录 Agent 的终止原因;
completion 记录已完成的编译、上板和评测,超预算不再抹掉这些成果。
采集先覆盖不同模型,同等覆盖下优先已通过且预计较快的模型,再做重复采样。同一模型同时只跑一条;同一 run 的重复 collector 会直接退出。--coverage all 只追加缺失计划并记录 annotation,不重写 job 或历史数据。需要换采集进程时,向新 collector 发送一次 SIGTERM,或创建 state/drain-collect-<run>,它会完成当前任务后退出;重新启动前移除该 drain 文件。
P3 要核对(代码里标了 P3):pi 的 --append-system-prompt / --tools 参数;agent/extensions/*.ts 用到的 ExtensionAPI 形状(pi.on("tool_call") 返回 {block, reason}、registerTool、turn_end、ctx.abort);models.json 的 provider 字段名;bench stage wait 会不会被 pi 的 bash 超时掐断(不行就 --poll 60 改成 agent 反复调 stage status)。
4. agent 在 rollout 里能用什么
bench stage run calibrate|compile|hbm|board|eval [--config workspace/x.yaml] → handle
bench stage wait <handle> [--poll 60]
bench stage status <handle>
march / 输出前缀 / 工作目录被 harness 钉死;--config 必须在 workspace/ 内;fetch/baseline/export 不允许 agent 提交。写文件只能在 workspace/,读按白名单(详见 CONTRACT §7;cd 被禁、别的 rollout 与 e2e 的 oracle 不可见)。旋钮取值以源码核实为准:calibration_type ∈ {default,max,kl,mix}(skip = 不校准,别用)、compile_mode ∈ {latency,bandwidth,balance}、optimize_level ∈ {O0,O1,O2}(hbdk4 没有 O3)。凭证:LLM key 在 ~/.pi/agent/models.json,板卡凭证只进受信任的 07-board / 08-eval 子进程。
5. 实现相对 v0.4 的补充(下次改文档时并入)
-
机器是共享的(2026-09-14 实测):244 核 / 1.4 TB / 8 张 32 GB 卡(不是 4 张),4/5/7 被别人跑满、6 占 29 GB;12 个登录用户。
config.yaml pools.gpu.devices: [0,1,2,3]钉死只用空闲卡,槽位 →CUDA_VISIBLE_DEVICES。 -
资源池是跨进程的(
state/locks/<pool>-<i>.lockflock):oracle 调度进程、agent 的bench stage run、多个bench run共用同一组槽位;board 池 1 槽 = 严格串行。model-level 阶段按模型加锁,三个 march 并行时只有一个真跑 01–03。job 认领是原子的(UPDATE … WHERE state='PENDING'),两个调度进程不会重跑同一个 job。 -
新 run 的 manifest 记
harness_code_sha256;harness 代码变了只告警,venv / registry / EVALUATOR_VERSION 变了拒跑(实测拦下过一次:改 config.yaml 的 venv 列表后bench run拒绝,开了新 run)。 -
沙箱板是 S100P(
nash-m);历史 job 未记录 board 时,阶段按 march 查询当前板卡配置。没有匹配板卡时无法完成板端 G3,结果保持 UNVERIFIED。board_perf.py开测前探测板上有无别人的推理进程 / BPU ratio,最多等 10 分钟,仍忙则照测但标contended: true,reward 的延时相对项忽略这类样本。 -
job.json与 mode 无关:一个 job_id 一份,rollout_plans列出 e2e/repair 计划;oracle 与所有 rollout 共用。 -
sqlite 默认 TRUNCATE 日志(WAL 在 FUSE 上会 disk I/O error);
BENCH_STATE_DIR可把 state 放本地盘。 -
校准集来源:本机 ImageNet / COCO 只有 val,
make_calib.py退到 val-holdout(排除 T1)并在 manifest 记source;出 T2 交付数前必须换 train。 -
07-board 失败重试后仍失败 → G4 unverified、继续 08-eval;08-eval 失败 → job UNVERIFIED 带 error_class;01–06 失败 → FAIL。
-
claim 缺席(agent 没调
claim工具)→ claim.json 记ABSENT,reward −0.25;claim=PASS 但没有可核验产物 → verdict FAIL 并计 claim≠verdict。 -
BLOCKED 正确性:claim.error_class 与 oracle 同类(
unknown不算同类)且阶段一致(claim 未填阶段则不比阶段)。 -
reward 的精度相对项按 G3 的
kind解释方向:rel_pct是劣化百分比,越小越好;abs_pp是改善百分点,越大越好。
6. 目录里什么进 git
registry/ harness/ agent/ export/ scripts/ bin/ config.yaml CONTRACT.md README.md。runs/ datasets/ state/ data/{pool,t1,calib} cache/ .env.local reports/*.html 不进(见 .gitignore)。
v5 隔离与巡检
bench heartbeat --run <run> 只查 DB 候选、日志 mtime 和进程,正常无输出退出 0,异常退出 1;不杀进程。
bench watch 在非 TTY 输出一次纯文本快照。
v5 jail 通过 stdlib bin/stageclient.py 提交票据,外部 harness.stageworker.Worker 执行阶段;
只轮询本 rollout 的 handles。workspace、handles 和私有 /tmp 可写,其余挂载只读;state/harness/registry、其他 job/run 均隐藏。
pi session、guard、claim、预算临时记录写 workspace;外部驱动保存 claim/guard,预算从外部 events 核对。
编译产物保存在只读的本 rollout artifacts 和 work_root;worker 会排空已接收的阶段再核验,不杀阶段。
旧的常驻 collect 进程不会加载新的 Python 驱动:下一次采集须使用新进程;不要据此重启在跑任务。
导出默认 --min-agent-version 读取 agent/VERSION,读取 annotations,拒绝污染/误杀/旧版本。
--agent-version 仍为精确匹配并提示弃用。每条样本按自身预算归一化;VOID 数据集不覆盖。
自检:PYTHONPATH=. python3 scripts/test_codex.py、scripts/guard_smoke.sh、PYTHONPATH=. python3 scripts/queue_smoke.py。