OE-HWE-Bench/task-template/example-task16-efficientnet.b2
d-robotics 663748581d feat: OE-Bench v1 — 44题模型量化Agent评测基准
- 编排:单题流水/双道队列/补跑队列/板端flock互斥器(死线28800s+编译感知看门狗)
- 判分:224真任务指标(top1 rel≤5%)+16题参考对账引擎(cos/argmax/延迟)
- 16模型双端推理代码(runners/)+任务卡模板+装配示例
- manifests:44模型ONNX sha256指纹(大文件不入库,获取方式见README §4)
- 战果:cls@224 28/28全PASS;16题进行中(results16.csv)
- 凭据零入库(board.sh已脱敏为环境变量模式)

Co-Authored-By: Claude <noreply@anthropic.com>
2026-10-09 12:16:54 +08:00
..

任务:把 efficientnet.b2(图像分类)量化编译到 S100P BPU,产出 .hbm 并交卷

任务:图像分类模型量化部署到nash-m(BPU),通过板端自测 job:cls--efficientnet.b2--nash-m--ptq--int8 run:mvp16-efficientnet.b2 job.json:/task/job.json(只读) 你的可写区:/workspace(当前目录)

目标(交卷即判分;分数来自平台侧真实板端推理与 FP32 参考对账,与你的自述无关)

  1. 产出 model.hbm:march = nash-m,输入 1x3x288x288(featuremap / NCHW / f32)
  2. 量化效果由平台参考对账引擎在交卷后独立复测(板端输出 vs FP32 参考逐输出比对);判分细节在平台侧,与你的自述无关
  3. 提交 = 交卷:把 model.hbm、compile.yaml、calib-manifest.json 三个文件放进 /workspace/submit/,三者齐全即视为交卷,之后平台独立复测

你拥有的输入(/task 下全部只读)

  • ONNX 模型:/task/onnx/efficientnet.b2.onnx(原始 FP32 导出,输入 1x3x288x288 f32 NCHW)
  • 校准数据:/task/calib/npy_f32/*.npy(4 个 1x3x288x288 f32 特征图,与评测集零交集)
  • 自测参考:/task/selftest/selftest.npz(FP32 参考输出,键 <样本名>/out<i>;对应输入即 /task/calib/npy_f32 前 4 张)
  • 工具链:/data/oebench/venv-tc/bin/hb_compile(hmct 2.6.5 / horizon_tc_ui 3.5.3 / hbdk4 4.7.5)
  • 旋钮说明:/task/knobs.md(compile.yaml 可改参数与含义、模板)
  • 测试开发板:/task/.board(S100P 真板 SSH 连接信息,用于自测;板为多任务共用,平台判分走互斥器串行;判分由平台在交卷后独立复测,不信你的自测数字)

流程建议

  1. 读 /task/job.json 和 /task/knobs.md
  2. 写 compile.yaml(模板在 knobs.md;model_parameters 四项平台口径已给出)
  3. 运行 /data/oebench/venv-tc/bin/hb_compile -c compile.yaml(BPU 编译约 10–120 分钟,模型越大越久,耐心等待;等待不消耗你的轮次预算)
  4. 用 python3 /task/spot.py <你的.hbm> 做板端抽查(把 .hbm 送真板跑 4 个自测样本,报告与 FP32 参考的 argmax 一致率与余弦——这是你唯一的精度反馈信号)
  5. 若一致率差(<80%)或余弦明显偏低,回 2 调整校准旋钮(calibration_type: max / kl / mix,per_channel 等)重编
  6. 交卷:mkdir -p /workspace/submit && cp model.hbm compile.yaml calib-manifest.json /workspace/submit/
    • calib-manifest.json 写明你实际用的校准数据目录与文件数(如 {"cal_data_dir": "/task/calib/npy_f32", "n": 4})
  7. 长命令用 setsid nohup 后台化,防 shell 超时杀进程

预算与纪律

  • 预算:60 轮 / 200000 tokens;编译等待不消耗预算
  • 不要修改 /task 下任何文件(只读挂载,写了也会失败)
  • 板端只跑你自己的 spot 自测(只用板上 /root/spot,勿动其它目录);板为多路共用,不要长时间占用
  • 遇到 SSH 连接被拒("Connection closed" / "Exceeded MaxStartups" / 排队等待)是板端 sshd 正被公网扫描或多路共用的暂态,spot.py 已内置重试,稍候即可,不要据此判断板子坏了

全程自主,不要向任何人提问。遇到失败自行排查重试。