- results/results16.csv: 18行=16首跑+2补跑, atss/ocrnet.w18超时FAIL经fix队列28800s死线补跑翻盘PASS - results/results.csv: cls@224一代28题终态账本(28/28 PASS) - docs/results-schema.md: 两账本逐列字段字典 - README §6: 16题收官战果+延迟异常值记录(stdc2 19966ms/ocrnet.w48 5167ms) Co-Authored-By: Claude <noreply@anthropic.com>
OE-Bench:模型量化 Agent 评测基准(44 题)
OE-Bench 是一套物理板卡背书的 Agent 量化能力评测基准:被测 Agent(opencode + 任意 LLM)在云端沙箱内,从原始 FP32 模型出发,自主完成「读题 → 写 compile.yaml → PTQ int8 量化编译 → 板端自测迭代 → 交卷」,由独立判分侧在 S100P 真板(BPU nash-m) 上实测评分。
红线:沙箱内只给待量化的原始模型——金标产物/评测证据/轨迹永不进考场(四道防线见 docs/judging.md)。
1. 题库(44 题 = 44 模型 × march=nash-m × PTQ int8)
| 任务类 | 题数 | 模型 | 指标 |
|---|---|---|---|
| cls@224 | 28 | resnet×5、densenet×4、regnet×4、shufflenet×4、resnext×2、mobilenet×2、efficientnet.b0、convnext.tiny、swin.s、vit.b.32、vit.l.16、wide.resnet×2 | top1 |
| cls 非224 | 5 | efficientnet.b2(288)/b3(300)/b4(380)/b6(528)/v2.s(384) | 参考对账 |
| det | 6 | atss/fcos/retinanet/rtmdet/yolox/ssdlite320 | 参考对账 |
| iseg | 1 | yolo11l.seg | 参考对账 |
| seg | 4 | hrnet.w48、ocrnet.hrnet.w18/w48、stdc2.seg | 参考对账 |
题库参数化可扩:同模型换 march/qcfg/输入尺寸即新题(底池可扩至 338 模型 registry)。
2. 目录结构
scripts/ 编排:run_one16.sh(单题流水) prep16.sh(任务卡装配) queue16_*.sh(双道队列+补跑)
run_one.sh/prep_task.sh(cls@224 一代版) board.sh(板端flock互斥访问器)
judge/224/ cls@224 判分:fp32_shards.py(同源FP32基线) g3_cls.py(板端top1/rel%) board_runner.py + 28个fp32基线缓存
judge/judge16/ 16题通用判分引擎 judge.py(参考对账:cos/argmax/延迟/G1) + sanity_report.md
runners/ 16模型双端推理代码(每模型 fp32_runner/board_runner/metrics/README)
task-template/ 任务卡模板(README/job/knobs/spot/opencode/Dockerfile) + 装配示例(task16-b2)
manifests/ 44模型 meta.json(ONNX sha256/input_spec——大文件的指纹清单)
results/ 账本:results.csv(cls@224终态) results16.csv(16题终态,含fix补跑行) 字段字典见docs/results-schema.md
configs/ 凭据占位样例(真实凭据走 .board 文件/环境变量,不入库)
docs/ 判分口径 / 运行手册
3. 快速开始
# 0) 凭据:cp configs/board.example configs/board.real(填板地址/密码;或 export OE_BOARD_PW=...)
# 1) 大文件物料就位:curl 一键安装(见 §4 dist 分发,凭据向维护者索取)
# 2) 装配一题的任务卡(含准入扫描,零 hbm/bc 才放行)
bash scripts/prep16.sh efficientnet.b2
# 3) 跑一题全链(考试→交卷→判分→落CSV)
bash scripts/run_one16.sh efficientnet.b2
# 4) 批量:双道队列(cls轻量道 + det/seg重量道)
bash scripts/queue16_cls.sh & bash scripts/queue16_heavy.sh &
运行环境:eval 服务器(12核/23G)+ S100P 沙箱板(FRP 端口 40011);沙箱镜像 oebench-sandbox:x86-v1 + venv-tc(OE 工具链 hbdk 4.7.5 / hmct 2.6.5 / horizon_tc_ui 3.5.3 钉版)。
4. 大文件获取(dist 分发已上线)
模型权重/校准/评测张量一律不入库(manifests/ 只存 sha256 指纹)。获取走 dist 分发站点(basic auth,访问凭据向维护者索取,不入库):
# 一键安装(下载→sha校验→落位 /data→docker load→wheels检查→下一步指引)
curl -fsSL -u <user>:<pass> http://114.111.19.128:8088/oebench/install.sh | \
bash -s -- --auth <user>:<pass> # 全量(~11G)
# 按需分卷: --subset data|cls224|v2|judge16|images
- dist 提供:t1/校准基座、224 判分分片、28+16 模型物料、judge16 判分数据、沙箱镜像(refs.json+SHA256SUMS 版本化,v1.0.0);
- 不随 dist 分发:OE 工具链 wheels(公司私有包,内部获取;版本以
docker/freeze-venv-tc.txt与docker/BUILD.md钉版为准)与金标 hbm(防泄题); - 原始 FP32 ONNX 备选来源:模型 zoo 或内部交付包
07-原始模型/,以manifests/<model>.meta.json的onnx_sha256对账; - 安装完成后跑
tools/doctor.sh五项体检(板/工具链/物料/磁盘/凭据)。
5. 判分口径(两代并存,见 docs/judging.md)
| 批次 | 判分 | verdict |
|---|---|---|
| cls@224(28题) | G1 结构核验 + 板端 top1 vs FP32 基线 rel≤5% | PASS/FAIL |
| 16 题 | G1 + 参考对账(同源冻结输入上:逐输出 cos、cls argmax 一致率≥0.95、板端延迟) | PASS/CHECK/FAIL |
已知口径债:两批未统一(升级 16 题为 GT 评测、或 28 题重判为参考口径,均只需判分层改造)。
6. 当前战果
- cls@224:28/28 全 PASS(含 transformer 三件套;vs 同事金标同口径 18 题=胜10/平4/落后4,最大落后 +1.56pp)
- 16 题:12 PASS / 4 CHECK / 0 FAIL 终态(2026-10-10 收官;atss、ocrnet.hrnet.w18 两题首跑超时 FAIL,fix 队列补跑翻盘 PASS;4 个 CHECK 均卡 cls argmax 一致率、cos 全达标);账本含 18 行=16 首跑+2 补跑,以每模型最后一行为终态
- 已知延迟异常值(判分仅记录):stdc2.seg 19966ms / ocrnet.hrnet.w48 5167ms(同族 hrnet.w48 仅 15.5ms)
- 双考生实证:GLM-5.3 与 Qwen3.8-27B 换脑均可作考生;rejudge 逐位一致;判分 runner 判分时现推(防篡改)
7. 防作弊(U1:判分证据采自 Agent 不可控处)
交卷只收产物三件套(model.hbm / compile.yaml / calib-manifest);四道防线:物料白名单 → 挂载前准入扫描 → 黑名单目录(金标/评测证据不可达)→ 产物 sha 对账(与金标相等即泄题告警)。任务卡零期望指标。
Description
Languages
Python
89.3%
Shell
10.7%