data-gen-bpu/docs/memory/delivery-package-v1.md
bench e030719b4d docs: 经验记忆入库(docs/memory/),根 AGENTS.md 指向它
docs/memory/AGENTS.md 写了怎么读、怎么新建、不能写什么、怎么和本机副本同步,以及索引。
推送前已核对:只有变量名,没有密钥或密钥片段。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-11 13:24:24 +08:00

2.3 KiB
Raw Blame History

name description metadata
delivery-package-v1 给内部评测同事的第一版交付包:位置、冻结点、口径、已知缺口
node_type type originSessionId modified
memory project cf15f913-cbc4-4a5a-9046-1031104e17bb 2026-09-19T07:48:01.108Z

第一版评测交付包在服务器 /mnt/data/ming01.wang/val-model-compile,13 GB / 3932 个文件。 本地构建副本在 /home/ming01.wang/delivery-20260918(未删,待用户决定)。

冻结点:2026-09-18 17:18:27,62 条 rollouts.verdict_terminal='PASS',40 个模型。 冻结当天池子还在跑,次日已涨到 87 条——出第二版时这个数还会变,必须重新冻结快照。

关键口径(出第二版仍适用):

  • 唯一正确的"完成"口径是 rollouts.verdict_terminal='PASS'。 state='TRANSFERRED' 那 597 条一次都没跑过,是任务槽位转交的墓碑标记, 按它打包会打出几百个空目录。
  • completion.workflow_completed=true 比 PASS 多出来的那些是"跑通但掉点超容差"。
  • jobs.state='PASS' 是 oracle 标准答案流水线,不是 agent 轨迹。
  • jobs 表按基准批次记账,n100 派生批次没有独立行——62 条里 26 条查不到, 查询一律走 rollouts 表。

打包时踩过、第二版要直接避开的坑:

  • bin/bench(711) 和 harness/cli.py(600) 权限不对外,拷完必须 chmod a+r,否则同事用不了。
  • stages/*/meta.json 必须带(62 条共 443 个,543 KB)。有它同事没板卡也能离线重算出 PASS;没有它 62 条全变 UNVERIFIED。
  • 必须按工作区拷,不能 git archive——大量适配器没提交。
  • 缓存目录要按需挑:baseline 全量 59 GB(大头是 G2 参考张量,G2 不参与判定,不带)、 onnx 27 GB、calib 16 GB,实际只用到其中 12.4 GB。
  • 排除 .env.local、.sync/、.git/、__pycache__、docs/archive/。 .env.local.example 和 .gitignore 可以带(模板是空的)。

已知缺口(已写进包内说明):分割/姿态/光流/深度/特征/占据/双目 7 类零样本; 实例分割仅 1 条且其轨迹因版本过滤未导出;4 条合格轨迹不在数据集里(轨迹只覆盖 58/62)。

相关:prefer-subtraction-over-addition bench-restart-hazards