20 KiB
复盘与行动计划(2026-09-15)
本文件是一次完整复盘后的结论与待办。与 CONTRACT.md 冲突时,先改 CONTRACT 再改这里。
每一条都带「证据 → 改哪里 → 验收标准」,可以直接照着做。
0. 一句话结论
AI 会量化,harness 的执行与核验也是好的。卡住项目的是三类外围问题: 判定口径陈旧、预算会计把成功算成失败、每次实验要等一个多小时。
具体证据见 §1。
1. 复盘:我们到底错在哪
1.1 最重要的一条:agent 的能力不是瓶颈
cls--efficientnet.b0--nash-e--ptq--int8 rollout #03(v2):
| G2 余弦 | top1 | Δ | |
|---|---|---|---|
| oracle(默认 int8) | 0.4311 | 68.05 | −8.9 pp ❌ |
| agent | 0.9843 | 76.85 | −0.1 pp ✅ |
它的诊断链条(claim 原文):默认 int8 输出余弦 0.743 →(定位到 SiLU 误差复利累积)→ mix 混合精度 19 节点 si16 无改善 → 全网络 int16 + max_percentile: 1.0 + O1,校准集余弦 0.9960 → G3 通过 → 定位残余误差在 Gemm 之前累积(外样本 logits 32/32 超阈值 4.47,把 Gemm 移 CPU 后余弦不变,做了对照实验)→ 从 quant_info.json 提出 features.6/7/8 尾部 74 个节点名单 → 预算耗尽。
它还自己发现并绕开了我们的看门狗 bug("O2 时曾因 CPU 争用被 watchdog 杀掉",改用 O1)。
这条轨迹的下场: terminal: TIMEOUT, failed_gate: G2, G2.threshold: 0.99。
而 cls 的阈值早就是 0.95,0.98428 > 0.95,三道门本该全过 → 应该是 PASS。
全数据集最好的一条工作,被陈旧阈值 + 预算规则连罚两次然后丢弃。
同组 #02 做出来是 0.4211(比 oracle 还差)。一好一坏正是 GRPO 要的对比信号,两条都被丢了。
1.2 判定口径:G2 两个方向都错过
| 模型 | G2 余弦 | G3 实际 | G2 的判断 |
|---|---|---|---|
| yolov8n | 0.9993 | mAP 掉 15 | 说好,实际崩 |
| convnext.tiny | 0.9459 | pass-screen | 说坏,实际好 |
| mobilenet.v2 | 0.9804 | 只掉 0.85% | 说坏,实际好 |
余弦算在 1000 维 logits 上,softmax 之后 top-1 对它不敏感;检测头的输出余弦对 NMS 之后的框更不敏感。它和「模型还能不能用」没有稳定的单调关系,不该当必选门。
1.3 143 个已完成 job,83 个结论不作数
| 原因 | 个数 | 性质 |
|---|---|---|
nash-p yaml 键错(旧进程把 quant_config 写进 model_parameters) |
41 | 从没真编译过 |
看门狗误杀(05-compile 判 stalled) |
23 | 判据错,不是时长问题 |
| det 评测器 bug(余弦 0.998 而 mAP 腰斩,物理上不可能) | 9 | 口径错 |
| 早期 run 的 eval buffer 别名 bug | 8 | 已修,数据作废 |
| FP32 基线自己就坏(efficientnet.v2.l fp32=10.6) | 1 | |
| 无数据 | 1 |
真正有结论的只有 60 个:14 通过(含 9 个按现行阈值该翻盘的)、46 失败。 有效样本通过率 23%,不是表面的 3.5%。
1.4 根因:一个跑了 13 小时的旧调度进程
PID 3776582 01:41:58 python3 -m harness.cli run --run r20260915-03 --parallel 8
铁证:它 13:48 写出的 compile.yaml 里有 sensitive_layers_to_fp16: auto,
而这个字符串在磁盘上的 registry/ 和 harness/ 里一处都搜不到——只存在于它内存里的旧代码。
它同时造成:nash-p 全灭、G2 用 0.99 判、占死 8 个 CPU 槽。
对照组 r20260915-04 是后来用新代码起的 nash-p 专场,同样的 march 一个这种错都没有。
1.5 迭代太慢:量化 107 秒,BPU 编译 78 分钟
resnet50 一次 hb_compile 的时间线:
13:10:37 启动
13:12:25 quantized_model.bc 已存盘 ← 量化结束:107 秒
13:12:43 逐节点余弦表打印完毕
13:12:44 "Start to compile model." ← BPU 编译开始
14:30:42 .hbm 产出 ← 78 分钟
而 quantized_model.bc 正是 08-eval 用来算 G2/G3 的东西(HB_HBIRRuntime,0.04 秒/张,
与 .hbm 的 run_sim 逐位一致)。G2/G3 在 107 秒后就能测,不必等那 78 分钟。
agent 的迭代循环是「改 quant_config → 看精度」,BPU 编译对这个循环毫无价值。 b0#03 那 7 次编译烧了 6866 秒(1.9 小时)才耗尽预算;拆分后约 20 分钟。
单次编译耗时(实测):convnext.small 118 分钟 · efficientnet.b4 74 分钟 · resnet50 61 分钟。
1.6 规模缺口
| 数量 | |
|---|---|
| models.csv 总数 | 338 |
ready(能跑) |
63(cls 48 + det 15) |
needs_adapter |
257 |
| 已实现的评测器 | 2(cls.py / det.py,且 det 是坏的) |
| 已入池的数据集 | 2(imagenet1k / coco2017) |
8 个任务类(235 个模型,70%)完全是空的:没评测器、没数据集、没校准集。
1.7 上板基本没发生
- 143 个 job 里只有 9 个真上过板,全是 nash-m,且只测延时
- 精度(G2/G3)100% 在 x86 用
.bc算;hbm ≡ bc只抽查过 2 张图 - G4 从未生效:143 个 job 全是
na,因为没有 job 声明latency_budget_ms board-backfill补了 G4 数字却没更新 stages 记录 → 同一份 result.json 里 "上过板"和"没上板"同时成立
1.8 隔离这一层是好的(不用再动)
v5 的 mount namespace 隔离我红队打过,没找到穿透路径:
harness/export/registry/config.yamlstate/.env.local→ 不可见runs/只剩本 run / 本 job / 本 rollout;work_root 只剩自己的目录$HOME、stages/只读;只有workspace/handles//tmp可写- CapEff = 0;mount 被拒;嵌套 unshare 被挡(
uid_map: Operation not permitted)—— 这是关键的一条,否则unshare -Urm && umount能掀开所有 tmpfs 遮盖 - 外部 worker 的授权边界:手写
request.json打了 11 种逃逸(绝对路径、../、 workspace 内软链、软链目录中转、直接指 oracle 的 compile.yaml、非白名单 yaml 键、quant_config指向外部),11/11 挡住
残留(已知,优先级低):~/.pi/agent/models.json 里的 LLM key 可读(pi 自己要读,结构性限制);
~/toolchains 可读(历史上最大的预算黑洞,但现在阶段执行搬到 jail 外了,可以一并遮掉,只留 node/)。
2. 已定的决策
- 只有 S100P(nash-m)能上板,nash-e / nash-p 暂时无板。
- 精度必须板端 BPU 实测,不能只靠 x86 模拟。
- G3 容差放宽到相对劣化 5%。
- 帧数/延时暂不设硬门禁,但必须记录。
- 必须用 BPU 推理(不允许靠
run_on_cpu把算子挪下 BPU 换精度)。
2.1 决策 3 的量化影响(已全量重算)
现规则(G2 余弦 0.99/0.95 + G3 abs −1.0pp): PASS 4
新规则(G1 必选 + G3 相对 ≤5% + G2 只诊断): PASS 38
34 个从 FAIL 翻成 PASS,全是 −0.67% ~ −3.88% 的正常 int8 结果:
-0.85% mobilenet.v2 70.60 → 70.00
-1.00% resnet50 80.00 → 79.20
-1.06% resnext50.32x4d 80.45 → 79.60
-1.34% densenet121 74.45 → 73.45
-2.87% efficientnet.b3 81.85 → 79.50
-3.32% efficientnet.b2 79.85 → 77.20
真正崩掉的依然 FAIL(efficientnet.b0 −11.6%、b1 −100%、mobilenet.v3.small −96%)。 放宽门禁没有放过坏模型。
2.2 决策 4+5 的陷阱:不限延时 = 任务失去难度
b0#03 的"高精度方案"实测构成:
oracle:190 节点 100% BPU 188 个 si8
agent :123 节点 100% BPU 122 个 si16 ← 全网络 int16
它没偷跑 CPU(符合决策 5),但解法是整网提到 int16。int16 在 BPU 上约为 int8 一半吞吐。
如果延时完全不设限,all_node_type: int16 就是一行代码的通用解,agent 学会这一行就能通关
——任务失去难度,轨迹失去训练价值。
而且 b0#03 的 claim 里已经计划「把 74 个尾部节点加 run_on_cpu」,正要往挪下 BPU 那条路走。
所以决策 4、5 要配一套配套措施,见 P1-3 和 P1-4。
3. 行动清单
P0 · 止血(今天,半天)
| # | 做什么 | 证据 | 验收 |
|---|---|---|---|
| P0-1 | bench drain --run r20260915-03,不要 kill(手里有 8 个在编译)。退出后用当前代码重起 |
§1.4 | ps 里不再有 01:41 那个进程;新 job 不再出现 quant_config yaml 错 |
| P0-2 | 修看门狗 CPU 判据:进程树采样要覆盖 hbdk-lld 这层孙子进程 |
resnet101 / regnet 在 lane=long、4078s 仍被判 STALLED,而 hbdk-lld 当时正满负荷 |
跑一次 convnext.small(118 分钟编译)不被杀 |
| P0-3 | bench rejudge(含 rejudge all) |
§1.1、§2.1 | PASS 从 4/5 涨到 ≥14 |
P1 · 判定口径重做(1–2 天)
| # | 做什么 | 改哪里 | 验收 |
|---|---|---|---|
| P1-1 | G3 换成 kind: rel_pct, tol: -5,10 类统一 |
registry/gates.yaml |
重判后 PASS ≈ 38 |
| P1-2 | G2 降级为诊断,不再是必选门;G1 的 verifier_ok 同样降级(它也在用 G2 阈值) |
registry/gates.yaml、harness/gates.py |
required: [G1, G3];G2 只记录 |
| P1-3 | G1 加 BPU 硬约束:解析 hb_compile 日志的 ON 列,要求 bpu_node_ratio ≥ 95% |
harness/stages/s06_hbm.py、gates.py |
故意写一份 run_on_cpu 半个网络的配置 → G1 FAIL |
| P1-4 | 位宽构成进 reward:记 si8 / si16 / float 节点占比与板端延时,reward 对 int16 占比扣分 r -= 0.5 × si16_ratio |
harness/stages/s06_hbm.py、export/reward.py |
b0#03 的 reward 低于一个同样通过但全 int8 的方案 |
| P1-5 | 修 eval/det.py 后处理,同时升 EVALUATOR_VERSION |
harness/eval/det.py |
yolov5n 的 mAP 掉幅从 −14 降到 ≤ −2;余弦与 mAP 不再矛盾 |
| P1-6 | 给 job.json 填 latency_budget_ms(可以先填一个宽松值),否则 G4 永远是摆设 |
registry/budgets.yaml、harness/pipeline.py |
至少 nash-m 的 job G4 不再是 na |
| P1-7 | 修 board-backfill:补 G4 时同步更新 stages["07-board"] |
harness/cli.py |
result.json 里不再自相矛盾 |
| P1-8 | 建黄金回归用例:3 个模型(resnet18 / convnext.tiny / yolov5n)全流程手工验一遍,含真上板跑完整 T1,数字钉进 tests/golden/ |
新增 | harness 任何改动跑一遍就知道有没有破坏口径 |
P1-8 是硬前置。 在黄金用例立起来之前不要扩大采集规模——现在多采 100 条, 将来发现口径错了就是多作废 100 条。
P2 · 提速与重跑(1–2 天,机器自己跑)
| # | 做什么 | 收益 | 验收 |
|---|---|---|---|
| P2-1 | 拆分 05-compile:新增 bench stage run quantize,只出 .bc + 逐节点余弦表(107 秒),BPU 编译单独一步 |
agent 单次实验 35–118 分钟 → ~3 分钟 | agent 在 60 轮内能做 10+ 次实验 |
| P2-2 | bench stage wait 结束时直接打印余弦最低的 10 个节点 + 它们的 qtype,不让 agent 去 cat 整个日志 |
b0#03 烧了 201k token,大头在读日志 | 同类任务 token 消耗降一半 |
| P2-3 | 预算会计与成果解耦:预算耗尽时,已产出并核验过的 gate 结果照常记账,不整条作废 | §1.1 | b0#03 这类轨迹记为 PASS 而非 TIMEOUT |
| P2-4 | 重跑 41 个 nash-p + 23 个看门狗误杀 + 15 个 det | — | 143 个 job 的结论 100% 可信 |
| P2-5 | 重跑 efficientnet.v2.l 的 FP32 基线 | fp32=10.6 明显是坏的 | 基线回到合理区间 |
| P2-6 | 提示词纠正:agent 自己摸索出"O2 会被 watchdog 杀,用 O1"——这是我们的 bug 教出来的错误经验,P0-2 修好后必须在 SYSTEM.md 里纠正 | 避免错误经验被学进模型 | — |
| P2-7 | 把 ~/toolchains 也加进 jail 的 hidden,只 bind 回 node/(阶段执行已搬到 jail 外,venv 在 jail 内不再需要) |
掐掉最大的预算黑洞 | jail 内 ls ~/toolchains/oe-3.7.0 为空 |
P3 · 板端链路(3–5 天)
见 §4 的分层设计。
| # | 做什么 | 验收 |
|---|---|---|
| P3-1 | march 矩阵分层:nash-m = 完整门(G1 + 板端 G3 + G4 记录);nash-e / nash-p 只判 G1,精度记 x86 参考值但标 unverified |
job 数从 212 降到 63 完整 + 编译检查,算力省 2/3 |
| P3-2 | featuremap 缓存上板(fp16,按 input_spec 组织,带 sha256 manifest)。第一步只传 1x3x224x224(0.6 GB),打通 48 个 cls 模型 |
板上有缓存且校验一致;run manifest 记 board_cache_sha256,不一致拒跑 |
| P3-3 | 08-eval 增加板端路径:主机传 featuremap → 板上 HB_HBMRuntime.run() → 回传输出张量 → 主机后处理算指标 |
nash-m 的 G3 数字来自板端;与 x86 .bc 的差异记录下来 |
| P3-4 | P1-5 修完之后,再传 1x3x640x640(2.3 GB),打通 15 个 det 模型 |
— |
| P3-5 | 板上加 LRU 淘汰(按 input_spec),保证至少留 8 GB 空闲 | — |
P4 · 采数据(P1-8 通过之后才开始)
| # | 做什么 | 理由 |
|---|---|---|
| P4-1 | 导出改掉:--purpose rl 强制 include_timeout=true,并把 stalled_killed(仪器故障,该丢)与 agent 真失败(合法负样本,该留)分开 |
现在默认丢 TIMEOUT,RL 集只剩正样本,GRPO 没有对比就学不出东西 |
| P4-2 | 新开一个 run,只装**"有解但要推理"**的 job——oracle 失败、但存在已知解法路径的那批 | 见 §5 |
| P4-3 | 跑通一次 repair 模式(125 个 FAIL 的 job 本该是它的输入,一条都没试过) | — |
| P4-4 | 接入 student vLLM endpoint(至今所有 rollout 都是 policy=teacher) |
RL 闭环从未跑过 |
| P4-5 | 把 b0#03 单独捞出来当黄金样例 | 目前唯一一条"agent 确实有用"的证明材料 |
P5 · 规模化(P4 证明有效之后)
补其余 8 个任务类,建议顺序(按"模型数 ÷ 边际成本"):
- iseg + pose(78 个模型)——复用已有的 640×640 缓存和 coco 图像,只是标注和后处理不同,边际成本最低
- seg(45 个)——ade20k / cityscapes 入池,mIoU 评测最简单
- mde(29 个)——kitti_eigen / nyuv2,注意
scale_alignment: required这个口径坑 - feat(28 个)——hpatches,单通道 480×640,数据最小
- stereo / flow(32 个)——kitti2015 两类共用
- occ(23 个)——放最后,nuScenes 数据量和 GT 格式都最麻烦
以及 257 个 needs_adapter 模型的导出适配、S100 / S600 板卡。
4. 板端数据分层
4.1 原则:板上不放数据集,也不放评测代码
input_type_rt: featuremap,预处理留主机侧。所以板子需要的输入不是 JPEG,是预处理完的张量。
主机:读图 → 预处理 → featuremap 张量
↓ 传张量
板子:HB_HBMRuntime.run() ← 板上只做这一件事
↑ 回传输出张量
主机:后处理 → 算指标 → 判门
标注(GT)、评测器、后处理、指标计算永远不上板。 好处:
- 加新任务类板端零改动——不管 occ 还是 flow,板子看到的都只是张量
- 评测口径只有一份,不会出现"板上一套、主机一套"
- 板上不用装 pycocotools、nuScenes devkit
- FP32 基线和量化模型吃同一份张量,比较才有意义
4.2 按 input_spec 缓存,不按任务
338 个模型只有 8 种主力规格:
| input_spec | 模型数 | 任务 | T1 张数 | fp16 |
|---|---|---|---|---|
1x3x640x640 |
129 | det / iseg / pose | 1000 | 2.3 GB |
1x3x512x1024 |
45 | seg | 500 | 1.5 GB |
1x3x224x224 |
41 | cls | 2000 | 0.6 GB |
1x3x518x518 |
30 | mde | 652 | 1.0 GB |
1x1x480x640 |
28 | feat | ~700 | 0.1 GB |
1x3x256x704 |
23 | occ | 需抽样 | — |
1x3x384x1248 |
18 | stereo | 200×2 | 1.1 GB |
1x3x384x1024 |
14 | flow | ~1000 | 2.3 GB |
| 长尾 9 种 | 各 1–2 | cls | — | 不缓存 |
129 个模型共用一份 640×640 ——det / iseg / pose 三类合起来只需要缓存一份。 8 种主力规格 fp16 合计约 8.9 GB,板上空闲 24 GB,放得下。
fp16 是免费的 2 倍:featuremap 是归一化后的图像,值域约 [−3, 3],且第一层马上要量化成 int8。 前提是主机侧 FP32 基线也用同一份 fp16 张量(建表时 cast 一次,两边逐位一致)。
4.3 三层
- 常驻缓存:按 input_spec、fp16、带 sha256 manifest。现在这批只需
224(0.6 GB)+640(2.3 GB) - 流式兜底:长尾 spec(9 种各 1–2 个模型)、超大数据集(
occ3d_nuscenes)。主机分批送,板上不落盘 - 永不上板:GT、评测器、后处理、指标计算
4.4 板端比 x86 更快(意外收获)
| 单张 | 2000 张 | |
|---|---|---|
x86 .bc 模拟 |
40 ms | 80 秒 |
| 板端 BPU | 0.889 ms | ~1.8 秒(计算) |
"必须上板"不是成本,是提速 40 倍。 board 池 1 槽严格串行,63 个 nash-m job 几小时跑完。
分工:x86 .bc = 快速筛(agent 迭代用,已验证与 .hbm run_sim 逐位一致);
板端 = 终判(G3 的权威数字只认板端,reward 只认它)。
4.5 T1 / T2
板端跑 T1 时 G3 依然只能记 pass-screen。T2 全量 imagenet 5 万张 fp16 = 15 GB,
那时必须走流式。日常 T1 用缓存,交付 T2 用流式。
5. Track A / Track B:两条线分开
现在一条线同时追两个目标,互相干扰:A 吃掉全部算力并产出不可信的 verdict, 而 verdict 正是 B 的 reward 来源——A 的噪声在直接污染 B 的训练信号。
| Track A · 覆盖交付 | Track B · 训练数据 | |
|---|---|---|
| 内容 | oracle-only,不起 rollout | 精选 job,每个 4–8 条 rollout |
| 规模 | 全部 ready 模型 × nash-m | 30–50 个 job |
| 优先级 | 低,夜里跑 | 优先占资源 |
| 成功指标 | 覆盖率 | audit 里 RL ✓ 的条数 |
Track B 的 job 怎么选
目前跑通的 PASS 全是 resnet18(18 层直筒 CNN,默认配置就过,agent 什么也没学到); convnext / efficientnet 一律烧满 62 轮。两头都没有训练价值。
有价值的是中间那段:oracle 用默认配置失败、但改旋钮能救回来的模型:
- 余弦 0.93–0.95 的 24 个(convnext、densenet、regnet、resnext、shufflenet.x0.5)
- G3 掉点 2–5 pp 的 10 个(efficientnet.b2 / b3 / b5)
- 量化崩溃但原因明确的 6 个(efficientnet.b1、mobilenet.v3.small 的 SE + h-swish, 提 int16 是标准解法)
共同特点:oracle 失败,但存在已知的解法路径。 这正是 RLVR 要的形状—— 不是随机难,是"有解但要推理"。b0#03 已经证明这个区间 agent 能救。
顺带:这批 job 的 oracle 是 FAIL,所以 repair 模式天然适用(至今一次没跑过)。
6. 验收指标
| 时间 | 信号 | 现在 | 目标 |
|---|---|---|---|
| P0+P1 完成 | 63 个模型里结论可信的比例 | 60/143(42%) | 100% |
| P2 完成 | agent 单次实验耗时 | 35–118 分钟 | ≤ 5 分钟 |
| P3 完成 | 精度数字来自板端 BPU 的 job | 0 | 全部 nash-m |
| P4 完成 | audit 里 RL ✓ 的 rollout |
1 | ≥ 30 |
| P4 完成 | 非 resnet18 的 PASS rollout | 0 | ≥ 5 |
最后一行是真正的分水岭。现在三条 PASS 全是同一个最简单的模型,说明系统只证明了 "流程能走通",还没证明"agent 能解决问题"。一旦有 agent 把 convnext 或 efficientnet.b1 从 FAIL 调成 PASS,这个项目的核心假设才算验证了。
7. 运维教训(写进规矩)
- 长驻调度进程持有启动时的代码。 改了 harness 必须
bench drain换代, 不能只 sync 文件。§1.4 那个进程跑了 13 小时的旧代码。 - 改判定口径必须同时升版本号并重判。 G2 阈值 0.99→0.95 改了却没 rejudge, 9 个 job 白白判错。
registry/models.csv丢过两次。sync.sh的--delete-excluded已改成--delete, 机器上已建 git 快照。任何 registry 文件都要在 git 里。- events.jsonl 在爆:convnext.small #0 才 7 轮就 6.0 MB,其中 5.53 MB 是
1548 条
message_update(流式 token 增量)。落盘时过滤掉,或跑完压成.raw.zst只留结构事件。124 条 rollout 就是几个 GB,而 audit / 导出每次都要全文扫。 - heartbeat 健康时零输出,无法区分"都健康"和"它什么都没看到"。健康时也打一行。