139 adapter models, 16 contract files. Each output is defined as an official module's own output (verifiable against the official source and the bench stage run export signature), plus what the platform decodes on the host. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
bench/ — 视觉模型量化与上板评测
本轮SFT采集改造的 实施计划与验收标准 已纳入项目:数据完整性、共享限流恢复、执行生命周期和实时看板同轮交付;当前为待实施/待验收规范。
本候选版的四类扩展入口和兼容规则见 扩展说明,独立镜像与迁移步骤见 迁移说明。先在新目录验证;下文保留原部署操作记录,不能对正在运行的原目录执行同步或切换。
338 模型分批覆盖
bench coverage --all-runs --csv reports/model-coverage.csv 维护原 CSV 全部 338 项;
相邻 JSON 保存所有 run/job/kk、逐阶段记录、真实轨迹路径、teacher 身份和训练导出关联。
静态前置齐备、FP32/ONNX 对照通过、量化编译、真实上板、任务精度通过分别记录,不能互相替代。
SIFT/ORB/AKAZE 仍占总表三行,按传统算法记不适用 PTQ,不虚构 HBM 或 Agent 轨迹。
新接入模型先核查具体权重、构建/导出、输入、校准、标注和评测门;不修改原 CSV 标签或旧 run。
Ultralytics COCO 分割可用 scripts/probe_coco_adapters.py --model yolov8n.seg 做真实权重、
ONNX 数值与 COCO 指标对照。Pose 另存原图坐标关键点对应及偏移,必须通过真实导出对照才能入队;
板端 G3 同时要求 OKS AP 和平均偏移 ≤2px,缺几何证据则 UNVERIFIED。probe 不是板端验收。
FastSAM 的类别语义仍属阻塞。EfficientViT 构建器文件存在不代表依赖、预处理和导出已验证。
通过前置核查的具名批次沿用现有命令:
bench new-run --target s100p --note '338 coverage: validated model batch'
bench expand --run RUN --modes oracle,e2e --marches nash-m --model yolov8n.seg
bench run --run RUN --parallel 2
bench collect --run RUN --modes e2e --first-pass --watch --parallel 2
显式 --model 放宽该批的 priority/task/status 选择,但保留 march/backend/qcfg、teacher、e2e k=4、
冻结精度门槛及原采样编号;不再生成 Oracle repair,缺真实 probe 或其他前置时整批拒绝。
--first-pass 只消费每个 job 的首条,原重复采样仍保持 QUEUED;等可执行模型完成首轮再用普通 collect 接续。
当前旧 collector 若需切换,只设置其 state/drain-collect-RUN,等在途任务与导出自然完成再启新进程。
不能直接 kill 或用新代码同步冒充旧进程已加载首轮策略。
创建 state/coverage-master.enabled 后,新进程每次训练导出会刷新总表;旧进程可沿用
bench export --run RUN --follow 接入相同刷新。总表失败会显式报错,不回滚已完成任务和训练数据。
设计:BPU 量化轨迹工厂设计方案(v0.4)。契约:CONTRACT.md。方法论、闭环说明和技术分享讲稿见 项目文档。本 README 只讲怎么把它放到机器上跑起来。
主流程:GLM-5.3 领取任务,按需准备输入、校准、编译、上板和评测 → harness 按本次实测独立判定 → 导出原始轨迹并筛选 SFT 候选。bench run 可选地预热权重、FP32 和 ONNX 缓存;--oracle 只作显式对照。Oracle 不参与 Agent 判定、奖励或 SFT 筛选,也不再生成 repair。历史文件和排队编号保留,旧 repair 不再领取。新任务仍要求相对 FP32 劣化不超过 5%,改善也通过;历史任务沿用冻结门槛。
已有批次只把剩余任务切到 100 张测试集,见 剩余任务交接。使用交接清单保留原采样序号,不全量展开或重新补采。
0. 上机
# 未设置 BENCH_REMOTE / BENCH_REMOTE_DIR 时只看本地;始终默认预览、不自动 commit。
scripts/sync.sh
# 对已存在的新版本目录或已停机且完成归并的目录做只读预览,生成新的本地基线文件。
scripts/sync.sh --remote USER@HOST --remote-dir /ABS/NEW/bench --baseline ../sync-plan.json
# 阅读差异并确认目标内容后,显式应用同一份基线。
scripts/sync.sh --remote USER@HOST --remote-dir /ABS/NEW/bench --baseline ../sync-plan.json --apply
两步之间本地源码或远端前像变化都会拒绝应用;选择 --files 时两步使用相同列表。
目标目录须先建立;设置 BENCH_REMOTE / BENCH_REMOTE_DIR 也可提供显式目标,仍不会自动 apply。
旧 --force / --pull 不再支持;远端生成的 registry/models.csv 不上传覆盖,也不自动回写本地,
需要时显式下载到单独文件审查合并。源码删除会拒绝自动应用,由操作者单独审查。
同步不复制 state、runs、缓存或密钥。完整迁移与回退见 迁移说明。
机器上:
cd /mnt/data/ming01.wang/model-compile-hbdk/bench
export PATH=$PWD/bin:$PATH
# harness 只要 pyyaml;系统 python3 没有就用 PTQ venv 的解释器
python3 -c 'import yaml' || export BENCH_PYTHON=~/toolchains/oe-3.7.0/venv/bin/python
# JuiceFS 是 FUSE:小文件写入实测 ~0.5 s/个。state/(sqlite+锁)、data/(5 万张图)、cache/ 都放本地盘,软链过去
for d in state data cache; do mkdir -p /home/$USER/bench-$d; [ -L $d ] || { rm -rf $d; ln -s /home/$USER/bench-$d $d; }; done
# runs/(每 job 几十个文件)留在 JuiceFS 没问题
1. P1 顺序(每步都能单独重跑)
| # | 命令 | 产出 |
|---|---|---|
| 1 | scripts/fix_env.sh |
.env.oe-package 的 PYTHON_BIN 指向真实 QAT venv(备份 .bak-日期) |
| 2 | python scripts/excel_to_models.py <清单.xlsx> --dry-run → 改 COLMAP → 去掉 --dry-run |
registry/models.csv(338 行) |
| 3 | source .env.local && scripts/board_probe.sh |
沙箱板型 → 填 registry/boards.yaml 的 board_type / march |
| 4 | ~/toolchains/oe-3.7.0/venv/bin/python scripts/ingest_pool.py --dataset imagenet1k --dataset coco2017 |
data/pool/…/manifest.json,只读 |
| 5 | … scripts/make_t1.py --dataset imagenet1k --dataset coco2017 |
data/t1/<ds>/20260914.tar |
| 6 | … scripts/make_calib.py --task cls --input-spec 1x3x224x224 / --task det --input-spec 1x3x640x640 |
data/calib/… |
| 7 | bench preflight --modes oracle,e2e |
0 errors 才往下;包含 Agent 环境检查 |
| 8 | bench new-run --target s100p --note "S100P" → bench expand --modes oracle,e2e --marches nash-m |
每个就绪模型的 runs/r…/<job_id>/job.json,state/jobs.sqlite |
| 9 | bench run --dry-run |
状态机空转一遍,不碰工具链 |
步骤 4–6 用 PTQ venv 的 python(要 pyarrow / pillow / numpy)。ImageNet 首选 HF parquet 14 片;tar 是备用源,入池时会 tar -tzf | wc -l 校验。
2. P2 切片(真跑)
环境和数据准备好后,scripts/start_run.sh --target s100p --note "S100P" --parallel 2 会检查环境、展开 nash-m 输入准备和 Agent 计划,后台准备 01–03 并按首轮优先采集;S600 使用 --target s600,run 会固定为 nash-p。续跑必须显式写 scripts/start_run.sh --resume --run <run>,避免多板型时恢复错批次。run target 覆盖历史 matrix 的默认 march,但不修改 matrix,因此旧 S100P run 的任务口径保持不变。
bench run --oracle --job cls--resnet18--nash-m--ptq--int8 --parallel 1 # 仅需要完整对照时
bench show cls--resnet18--nash-m--ptq--int8 # 阶段时间线、stderr 尾巴
bench run --oracle --job det--yolov8n--nash-m--ptq--int8 --parallel 1
bench status; bench status --fail; bench report # reports/<run_id>.html
已有 HBM 的已结束任务用 bench board-backfill --run <run> --job <job_id> 补缺失的板端性能和精度;沿用该 job 冻结的阈值。需要新默认 5% 规则时创建新 run。
已结束的 rollout 同样可以补:bench board-backfill --run <run> --rollout <job_id>:<kk>,用 agent 自己编出的 HBM 重跑 07/08 再 verify(板卡故障导致 UNVERIFIED 的轨迹靠这个回收;agent 对话与 claim 不动,新 attempt 记 lane=backfill)。
P2 实测已核对(2026-09-15,resnet18 / nash-e / PTQ):
hb_compile 3.5.3接受我们的 yaml;norm_type、cal_data_type已弃用(去掉了);cal_data_dir 下只能有 .npy(它把目录里所有文件当样本读,manifest.json 会炸)→ 校准集放<calib>/npy_f32/,manifest 在上一级。hb_model_info:I/O 表与 march 打在 stderr,静态 perf 估算(FPS / latency / DDR)打在 stdout;两者都解析,静态估算记进G1.static_perf(不是板端实测)。hb_verifier:-m ptq_model.onnx,quantized_model.bc -i <npy>,逐层余弦表,rc=0;取最后一行(模型输出)余弦对照 G2 阈值。- 当时的 x86 模拟评测:
HB_HBIRRuntime(quantized_model.bc).run()0.04 s/张,与HB_HBMRuntime(hbm).run_sim()逐位一致(后者 ~20 s/张)。当前 08-eval 使用真实板端 HBM 推理;06-hbm 保留模拟一致性抽查。ptq_model.onnx走 HB_ONNXRuntime 是伪量化(cos≈0.9995),不作为板端精度。oellm2 里的hbm_infer是板端 RPC,不是模拟器。 - HB_HBIRRuntime.run 返回的数组引用内部缓冲区,下一次 run 原地覆盖——必须
np.array(v, copy=True)。踩过:一版 08-eval 的 top-1 算成 2.6%。 - resnet18 FP32 在 T1(2000 张分层)top-1 = 68.15(官方全量 69.76,2k 子集 SE≈1 pp,合理);hb_compile 校准余弦 0.999。
板端通过 Python hbm_runtime.HB_HBMRuntime 执行;08-eval 复用 FP32 基线的预处理和任务评测器,比较同一 T1 子集。
多板并行
在 registry/boards.yaml 为每块独立物理板登记唯一 slot、march、board_type、runtime_dir 和各自的 host_env/port_env/user_env/ssh_key_env。连接值放在服务器现有 .env.local,使用 SSH 密钥,不把密码写入登记文件。现有板固定 slot: 0;新增板依次用新编号,停用时设 enabled: false,不复用旧编号。
board 容量自动等于启用板数;增加 pools.board.workers 不会凭空增加板卡。07 性能测试、08 精度评测各自领取同 march 的空闲板,跨 oracle/Agent/补测共用 board-<slot>.lock,阶段记录实际板名。模型、采样次数和精度门槛沿用原规则。新进程排队时会重读板卡登记;旧进程仍使用启动时的代码,应自然收尾后切换。reserve_for_agent: 1 可在至少两块兼容板时为 Agent 保留一块;默认 0 共同排队。
接入前核对板卡的独立物理身份、芯片与运行库,并从编译服务器验证 SSH。相同地址、同一物理板的多个容器不能重复登记成额外容量。
旧 run 若只有整体 registry 指纹,在首次扩板前保留原 boards.yaml 为 runs/<run>/board_registry.initial.yaml;续跑仍核对模型清单、数据、门槛与 march 映射,扩板不要求重建模型任务。
3. P3 闭环(agent)
真实训练轨迹由 Agent 采集产生。先配置 teacher,再启动采集;oracle 的启动不依赖它。默认 matrix 只为 A 类 cls/det 模型生成 e2e 计划;需要覆盖本轮所有模型时使用 --coverage all。
bench agent setup # ~/.pi/agent/models.json(600),key 来自 .env.local
bench expand --run <run> --modes e2e --marches nash-m
bench collect --run <run> --modes e2e,repair --parallel 1
# 覆盖本 run 的全部 oracle 模型,持续接入新完成模型(仍保留 matrix 的任务类型与每模型 k):
bench collect --run <run> --coverage all --watch --modes e2e,repair --parallel 3
bench rollout cls--resnet18--nash-m--ptq--int8 --kk 0 --mode e2e --policy teacher --dry-run # 单条:只准备目录、渲染 prompt/settings
bench rollout cls--resnet18--nash-m--ptq--int8 --kk 0 --mode e2e --policy teacher # 单条:真起 pi
python export/to_agentrl.py --runs r20260914-01 # datasets/ds…/teacher.jsonl
每个流程/轨迹完成后会更新 datasets/<run>-training/。当前已启动的旧调度器可用
bench export --run <run> --follow 补上持续导出;不加 --follow 只导出一次。
pipeline.jsonl 是确定性流程的真实执行记录,teacher.jsonl / student.jsonl 是真实 Agent 轨迹,
manifest.json 分别统计两者。默认保留成功、失败和部分轨迹;SFT 可用只是其中的标签。
terminal 记录独立核验结果,execution_terminal / timeout_reason 记录 Agent 的终止原因;
completion 记录已完成的编译、上板和评测,超预算不再抹掉这些成果。
采集先覆盖不同模型,同等覆盖下优先已通过且预计较快的模型,再做重复采样。同一模型同时只跑一条;同一 run 的重复 collector 会直接退出。--coverage all 只追加缺失计划并记录 annotation,不重写 job 或历史数据。需要换采集进程时,向新 collector 发送一次 SIGTERM,或创建 state/drain-collect-<run>,它会完成当前任务后退出;重新启动前移除该 drain 文件。
P3 要核对(代码里标了 P3):pi 的 --append-system-prompt / --tools 参数;agent/extensions/*.ts 用到的 ExtensionAPI 形状(pi.on("tool_call") 返回 {block, reason}、registerTool、turn_end、ctx.abort);models.json 的 provider 字段名;bench stage wait 会不会被 pi 的 bash 超时掐断(不行就 --poll 60 改成 agent 反复调 stage status)。
4. agent 在 rollout 里能用什么
bench stage run calibrate|compile|hbm|board|eval [--config workspace/x.yaml] → handle
bench stage wait <handle> [--poll 60]
bench stage status <handle>
march / 输出前缀 / 工作目录被 harness 钉死;--config 必须在 workspace/ 内;fetch/baseline/export 不允许 agent 提交。写文件只能在 workspace/,读按白名单(详见 CONTRACT §7;cd 被禁、别的 rollout 与 e2e 的 oracle 不可见)。旋钮取值以源码核实为准:calibration_type ∈ {default,max,kl,mix}(skip = 不校准,别用)、compile_mode ∈ {latency,bandwidth,balance}、optimize_level ∈ {O0,O1,O2}(hbdk4 没有 O3)。凭证:LLM key 在 ~/.pi/agent/models.json,板卡凭证只进受信任的 07-board / 08-eval 子进程。
5. 实现相对 v0.4 的补充(下次改文档时并入)
-
机器是共享的(2026-09-14 实测):244 核 / 1.4 TB / 8 张 32 GB 卡(不是 4 张),4/5/7 被别人跑满、6 占 29 GB;12 个登录用户。
config.yaml pools.gpu.devices: [0,1,2,3]钉死只用空闲卡,槽位 →CUDA_VISIBLE_DEVICES。 -
资源池是跨进程的(
state/locks/<pool>-<i>.lockflock):oracle 调度进程、agent 的bench stage run、多个bench run共用同一组槽位;board 池 1 槽 = 严格串行。model-level 阶段按模型加锁,三个 march 并行时只有一个真跑 01–03。job 认领是原子的(UPDATE … WHERE state='PENDING'),两个调度进程不会重跑同一个 job。 -
新 run 的 manifest 记
harness_code_sha256;harness 代码变了只告警,venv / registry / EVALUATOR_VERSION 变了拒跑(实测拦下过一次:改 config.yaml 的 venv 列表后bench run拒绝,开了新 run)。 -
沙箱板是 S100P(
nash-m);历史 job 未记录 board 时,阶段按 march 查询当前板卡配置。没有匹配板卡时无法完成板端 G3,结果保持 UNVERIFIED。board_perf.py开测前探测板上推理进程 / BPU ratio,最多等 10 分钟,仍忙则以board_busy拒绝测量。07/08 使用独立板端守护进程,持有板端互斥锁,并在 SSH 断连、30 秒未收到租约或原有单次 RPC 3600 秒上限到达时回收推理进程组。详见 板端进程生命周期。 -
job.json与 mode 无关:一个 job_id 一份,rollout_plans列出 e2e/repair 计划;oracle 与所有 rollout 共用。 -
sqlite 默认 TRUNCATE 日志(WAL 在 FUSE 上会 disk I/O error);
BENCH_STATE_DIR可把 state 放本地盘。 -
校准集来源:本机 ImageNet / COCO 只有 val,
make_calib.py退到 val-holdout(排除 T1)并在 manifest 记source;出 T2 交付数前必须换 train。 -
07-board 失败重试后仍失败 → G4 unverified、继续 08-eval;08-eval 失败 → job UNVERIFIED 带 error_class;01–06 失败 → FAIL。
-
claim 是可选结构化自报。缺席不补写 ABSENT、不扣奖励;无可核验证据时,即使自报 PASS,测量仍为 UNVERIFIED,内容问题由单次审核另判。
-
BLOCKED 仅保留在自报字段,不改变实测 PASS/FAIL/UNVERIFIED,不根据 Oracle 推断阻塞正确性。
-
reward v0.7 只看本次实测门、成本和既有超时项,不与 Oracle 比较。任务与 SFT 共用版本化固定容差,SE 不放宽门槛。通过来源、完整性和实测硬门的候选再做一次内容审核;未审、未知、超时和虚报不进入成功 SFT,发布再次核对绑定与排除注记。导出只读重核旧判定、保留源结果;历史 repair 单列分析。见 审核入口。
6. 目录里什么进 git
registry/ harness/ agent/ export/ scripts/ bin/ config.yaml CONTRACT.md README.md。runs/ datasets/ state/ data/{pool,t1,calib} cache/ .env.local reports/*.html 不进(见 .gitignore)。
v5 隔离与巡检
bench heartbeat --run <run> 只查 DB 候选、日志 mtime 和进程,正常无输出退出 0,异常退出 1;不杀进程。
bench watch 在非 TTY 输出一次纯文本快照。
v5 jail 通过 stdlib bin/stageclient.py 提交票据,外部 harness.stageworker.Worker 执行阶段;
只轮询本 rollout 的 handles。workspace、handles 和私有 /tmp 可写,其余挂载只读;state/harness/registry、其他 job/run 均隐藏。
pi session、guard、claim、预算临时记录写 workspace;外部驱动保存 claim/guard,预算从外部 events 核对。
编译产物保存在只读的本 rollout artifacts 和 work_root;worker 会排空已接收的阶段再核验,不杀阶段。
旧的常驻 collect 进程不会加载新的 Python 驱动:下一次采集须使用新进程;不要据此重启在跑任务。
新数据集的隐式版本下限读取 agent/VERSION,仅作用于 Pi;刷新已有数据集沿用其冻结筛选,显式变更留历史。导出继续读取 annotations,拒绝污染/误杀/不合格版本。
--agent-version 仍为精确匹配并提示弃用。每条样本按自身预算归一化;VOID 数据集不覆盖。
自检:PYTHONPATH=. python3 scripts/test_codex.py、scripts/guard_smoke.sh、PYTHONPATH=. python3 scripts/queue_smoke.py。