d-robotics 371bfdaf86 results: 16题终态账本入仓(12P/4C/0F,fix翻盘2题) + 28题账本 + 字段字典 + README战果更新
- results/results16.csv: 18行=16首跑+2补跑, atss/ocrnet.w18超时FAIL经fix队列28800s死线补跑翻盘PASS
- results/results.csv: cls@224一代28题终态账本(28/28 PASS)
- docs/results-schema.md: 两账本逐列字段字典
- README §6: 16题收官战果+延迟异常值记录(stdc2 19966ms/ocrnet.w48 5167ms)

Co-Authored-By: Claude <noreply@anthropic.com>
2026-10-10 20:55:40 +08:00
2026-10-09 12:21:51 +08:00

OE-Bench:模型量化 Agent 评测基准(44 题)

OE-Bench 是一套物理板卡背书的 Agent 量化能力评测基准:被测 Agent(opencode + 任意 LLM)在云端沙箱内,从原始 FP32 模型出发,自主完成「读题 → 写 compile.yaml → PTQ int8 量化编译 → 板端自测迭代 → 交卷」,由独立判分侧在 S100P 真板(BPU nash-m) 上实测评分。

红线:沙箱内只给待量化的原始模型——金标产物/评测证据/轨迹永不进考场(四道防线见 docs/judging.md)。

1. 题库(44 题 = 44 模型 × march=nash-m × PTQ int8)

任务类 题数 模型 指标
cls@224 28 resnet×5、densenet×4、regnet×4、shufflenet×4、resnext×2、mobilenet×2、efficientnet.b0、convnext.tiny、swin.s、vit.b.32、vit.l.16、wide.resnet×2 top1
cls 非224 5 efficientnet.b2(288)/b3(300)/b4(380)/b6(528)/v2.s(384) 参考对账
det 6 atss/fcos/retinanet/rtmdet/yolox/ssdlite320 参考对账
iseg 1 yolo11l.seg 参考对账
seg 4 hrnet.w48、ocrnet.hrnet.w18/w48、stdc2.seg 参考对账

题库参数化可扩:同模型换 march/qcfg/输入尺寸即新题(底池可扩至 338 模型 registry)。

2. 目录结构

scripts/        编排:run_one16.sh(单题流水) prep16.sh(任务卡装配) queue16_*.sh(双道队列+补跑)
                run_one.sh/prep_task.sh(cls@224 一代版) board.sh(板端flock互斥访问器)
judge/224/      cls@224 判分:fp32_shards.py(同源FP32基线) g3_cls.py(板端top1/rel%) board_runner.py + 28个fp32基线缓存
judge/judge16/  16题通用判分引擎 judge.py(参考对账:cos/argmax/延迟/G1) + sanity_report.md
runners/        16模型双端推理代码(每模型 fp32_runner/board_runner/metrics/README)
task-template/  任务卡模板(README/job/knobs/spot/opencode/Dockerfile) + 装配示例(task16-b2)
manifests/      44模型 meta.json(ONNX sha256/input_spec——大文件的指纹清单)
results/        账本:results.csv(cls@224终态) results16.csv(16题终态,含fix补跑行) 字段字典见docs/results-schema.md
configs/        凭据占位样例(真实凭据走 .board 文件/环境变量,不入库)
docs/           判分口径 / 运行手册

3. 快速开始

# 0) 凭据:cp configs/board.example configs/board.real(填板地址/密码;或 export OE_BOARD_PW=...)
# 1) 大文件物料就位:curl 一键安装(见 §4 dist 分发,凭据向维护者索取)
# 2) 装配一题的任务卡(含准入扫描,零 hbm/bc 才放行)
bash scripts/prep16.sh efficientnet.b2
# 3) 跑一题全链(考试→交卷→判分→落CSV)
bash scripts/run_one16.sh efficientnet.b2
# 4) 批量:双道队列(cls轻量道 + det/seg重量道)
bash scripts/queue16_cls.sh & bash scripts/queue16_heavy.sh &

运行环境:eval 服务器(12核/23G)+ S100P 沙箱板(FRP 端口 40011);沙箱镜像 oebench-sandbox:x86-v1 + venv-tc(OE 工具链 hbdk 4.7.5 / hmct 2.6.5 / horizon_tc_ui 3.5.3 钉版)。

4. 大文件获取(dist 分发已上线)

模型权重/校准/评测张量一律不入库(manifests/ 只存 sha256 指纹)。获取走 dist 分发站点(basic auth,访问凭据向维护者索取,不入库):

# 一键安装(下载→sha校验→落位 /data→docker load→wheels检查→下一步指引)
curl -fsSL -u <user>:<pass> http://114.111.19.128:8088/oebench/install.sh | \
  bash -s -- --auth <user>:<pass>            # 全量(~11G)
# 按需分卷: --subset data|cls224|v2|judge16|images
  • dist 提供:t1/校准基座、224 判分分片、28+16 模型物料、judge16 判分数据、沙箱镜像(refs.json+SHA256SUMS 版本化,v1.0.0);
  • 不随 dist 分发:OE 工具链 wheels(公司私有包,内部获取;版本以 docker/freeze-venv-tc.txt 与 docker/BUILD.md 钉版为准)与金标 hbm(防泄题);
  • 原始 FP32 ONNX 备选来源:模型 zoo 或内部交付包 07-原始模型/,以 manifests/<model>.meta.json 的 onnx_sha256 对账;
  • 安装完成后跑 tools/doctor.sh 五项体检(板/工具链/物料/磁盘/凭据)。

5. 判分口径(两代并存,见 docs/judging.md)

批次 判分 verdict
cls@224(28题) G1 结构核验 + 板端 top1 vs FP32 基线 rel≤5% PASS/FAIL
16 题 G1 + 参考对账(同源冻结输入上:逐输出 cos、cls argmax 一致率≥0.95、板端延迟) PASS/CHECK/FAIL

已知口径债:两批未统一(升级 16 题为 GT 评测、或 28 题重判为参考口径,均只需判分层改造)。

6. 当前战果

  • cls@224:28/28 全 PASS(含 transformer 三件套;vs 同事金标同口径 18 题=胜10/平4/落后4,最大落后 +1.56pp)
  • 16 题:12 PASS / 4 CHECK / 0 FAIL 终态(2026-10-10 收官;atss、ocrnet.hrnet.w18 两题首跑超时 FAIL,fix 队列补跑翻盘 PASS;4 个 CHECK 均卡 cls argmax 一致率、cos 全达标);账本含 18 行=16 首跑+2 补跑,以每模型最后一行为终态
  • 已知延迟异常值(判分仅记录):stdc2.seg 19966ms / ocrnet.hrnet.w48 5167ms(同族 hrnet.w48 仅 15.5ms)
  • 双考生实证:GLM-5.3 与 Qwen3.8-27B 换脑均可作考生;rejudge 逐位一致;判分 runner 判分时现推(防篡改)

7. 防作弊(U1:判分证据采自 Agent 不可控处)

交卷只收产物三件套(model.hbm / compile.yaml / calib-manifest);四道防线:物料白名单 → 挂载前准入扫描 → 黑名单目录(金标/评测证据不可达)→ 产物 sha 对账(与金标相等即泄题告警)。任务卡零期望指标。

Description
No description provided
Readme 315 KiB
Languages
Python 89.3%
Shell 10.7%