11 KiB
bench v5 隔离 / 导出 / 审计修复报告
日期:2026-09-15。代码只在本地修改,经 scripts/sync.sh commit + 同步到 ming01.wang@120.48.151.164:/mnt/data/ming01.wang/model-compile-hbdk/bench。
结论与边界
B/A、D、E、G 均已实现;agent/VERSION=5。已通过真实 jail + pi smoke、外部 worker 的真实 calibrate 闭环、guard-core 单测、预算边界测试和 Python 回归。最终探针复测的原始输出见 验证记录。
没有启动 bench collect / bench rollout,没有 kill 生产编译、pi、stagerun 或调度进程,没有改 config.yaml / registry 数值,没有手工 UPDATE/DELETE 生产 DB。canary #02 仅供只读审计,未重新核验或改写其文件。旧数据集只新增作废文件。
B / A:真实隔离与外部 worker
bin/bench在BENCH_JAILED=1下执行独立 stdlibbin/stageclient.py。支持 run/wait/status,保留 QUEUED 等池心跳、DONE 输出格式,未知 handle 给正常客户端错误。harness/stageworker.py由新run_rollout()在 pi 之前启动、之后排空收尾。只枚举本 rollout 的 handles,不扫描 runs。串行处理票据以避免同一 rollout 的 attempt/产物竞态;已运行的阶段会自然结束,不 kill。- 外部 worker 校验阶段白名单、路径穿越、软链和文件类型/大小,使用目录 fd 安全读取票据;配置和请求快照写只读 stages/_queue,status 原子发布。拒绝外部配置路径;quant_config 的 workspace JSON 内联快照。配置仅接受 SYSTEM.md 的参数,禁止 cal_data_dir 等路径覆盖。
- 阶段 stdout/stderr 仍写标准 stages 日志;外部执行身份记 stages/_queue//runner.log。权威产物写 rollout/artifacts,不能通过 workspace 软链改写外部路径。non-jail 保留原 Popen 路径。
agent_jail.sh+jail_setup.py:user/mount/PID namespace,隐藏整个 bench 后重建最小树,保留自己的 job 输入、rollout、bin/agent/data/cache、.horizon 和 work_root 子树;state 真实路径、harness/export/registry/config/.env.local、其他 job/run/rollout/work 被隐藏。repair 仅额外保留本 job oracle 只读。- 任务文件与普通数据挂载设只读,仅 workspace、handles 与私有 /tmp 可写;保留 JuiceFS 的 nosuid/nodev 标志。撤销所有 capability,设置 no-new-privs,宿主 PID 不可见,临时 bind 别名由私有 /tmp 遮掉。无法建立 jail 时拒绝降级。
- pi session、claim、guard、预算临时记录写 workspace;外部驱动收存 claim/guard,预算从外部 events 核对,不信任 workspace 的预算记录。stdout/events 由驱动预先打开并采集。
- 旧常驻 collect 没有新 worker,不能热更新成 v5 驱动;新 jail 检查新驱动标志,拒绝旧驱动直接启动生产 pi。未重启这些进程,后续采集必须用新驱动进程。
A 由 B 覆盖:jail_probe 的 state sqlite hidden、real state sqlite hidden、other job oracle hidden 证明虚拟路径与真实 state 路径均不可读,其他 job 的 oracle 也不可见;写入探针及 remount 探针均 PASS。
B/A 远端验证
cd /mnt/data/ming01.wang/model-compile-hbdk/bench
PYTHONPATH=. python3 scripts/queue_smoke.py
scripts/guard_smoke.sh
queue_smoke 每次创建全新的 state/guard-smoke 仿真树,独立 fixture DB,复制只读 job 输入,真实执行纯 Python 04-calibrate;未启动编译或生产 rollout。覆盖提交配置快照 → 外部 _exec → DONE/OK → jail 内 wait。另已通过受限 noop 队列;noop 不在 AGENT_RUNNABLE,只有显式 test_noop 且 guard-smoke 路径才允许。
真实 pi smoke:tool calls=16、blocked by path-guard=11,oracle/兄弟两个诱饵泄漏计数均为 0,RESULT: OK,note.txt/done.txt 正常创建,越界 escape.txt 不存在。已为 smoke 加失败退出码及实际文件检查。
D:导出与旧数据集
- 默认
--min-agent-version读取 agent/VERSION,数值比较 >=;--agent-version保留精确匹配并提示 deprecation。 - reward 使用每条 rollout.json 的 max_turns / max_tokens;仅缺失时退回 CLI 默认。测试 v6 样本通过默认 v5 门槛,30/60 轮、50/100 tokens 得到 cost=-0.5。
- manifest.filters 记录最低版本、版本模式、精确版本、annotations_read。dropped 按原因计数可重叠,manifest 明确标记 dropped_counts_overlap。
- 只读 annotations;按 run/job/rollout#NN 匹配 contaminated: 与 stalled_killed,没有 rollout 编号的 job/run 级标记覆盖相应范围。候选 rollout 从 DB 获取,不 glob runs。
- 目标已有 VOID 时跳过;其他已有目标也不覆盖(mkdir exist_ok=False)。
- ds20260915-01 至 -09 共 9 份:各新增 VOID + manifest.void.json。作废记录含原 manifest SHA256;复核原 manifest 与记录哈希一致,不改原 manifest、不删数据。
PYTHONPATH=. python3 export/to_agentrl.py --runs r20260915-03 --dataset-id test-codex-20260915-1232
PYTHONPATH=. python3 export/to_agentrl.py --runs r20260915-03 --dataset-id ds20260915-01
第一次退出 0,scanned=11、written=0、old_version=11、contaminated=7、stalled_killed=3;另 1 条 DB 仍 RUNNING,因此不纳入已结束候选。第二次退出 0,输出 skipped VOID dataset: ds20260915-01。
E:内容指纹与审计
- 从 oracle/result.json 提取至少四位小数,以及 compile.yaml 中非默认、有区分度的参数行。排除 job.json / job data 文本元数据已有内容;普通枚举参数和短默认行不作为强指纹。
- 在工具结果的完整 JSON 中搜索,记录 oracle_content_match×N(N 为命中工具结果次数),不只搜命令字符串。
- 新增 state_access×N(jobs.sqlite、bench-state、state/、sqlite3)及 other_job_read×N(同 run 其他 job)。两者有合成恶意工具事件回归证据。
- 排除 path-guard 拒绝。真实 worker 的本 rollout wait/status 结果可能与 oracle 完全相同;这类已独立观察到的值以及 claim 回显不作为新泄漏证据,否则正常 canary 会误报。直接 oracle/state/其他 job 命令仍独立计数。
- 默认只读审计,未对 canary 追加污染标记。现有 annotations 已由 D 读取。
PYTHONPATH=. python3 scripts/audit_rollouts.py --run r20260915-03 --json
前后均 12 条,污染 7、误杀 3。新增指纹补强既有污染证据;canary resnet18 #02 contaminated=false,没有新增污染原因,只因 v4<5 被默认导出过滤。中间版本的朴素数字匹配曾误报正常 stage 输出,已修正,不作为最终结论。
| 模型 / rollout | 修复前原因(v4 门槛) | 修复后原因(v5 门槛) |
|---|---|---|
| convnext.tiny #0 | oracle_read×6, harness/toolchain_read×8, stalled_killed, old_version(v1<4) | oracle_read×6, oracle_content_match×3, harness/toolchain_read×8, stalled_killed, old_version(v1<5) |
| convnext.tiny #1 | oracle_read×1, harness/toolchain_read×50, stalled_killed, old_version(v1<4) | oracle_read×1, oracle_content_match×1, harness/toolchain_read×50, stalled_killed, old_version(v1<5) |
| convnext.tiny #2 | oracle_read×10, harness/toolchain_read×9, old_version(v1<4) | oracle_read×10, oracle_content_match×2, harness/toolchain_read×9, old_version(v1<5) |
| convnext.tiny #3 | oracle_read×3, harness/toolchain_read×7, old_version(v1<4) | oracle_read×3, oracle_content_match×1, harness/toolchain_read×7, old_version(v1<5) |
| efficientnet.b0 #0 | oracle_read×1, harness/toolchain_read×5, old_version(v1<4) | oracle_read×1, harness/toolchain_read×5, old_version(v1<5) |
| efficientnet.b0 #1 | oracle_read×4, harness/toolchain_read×5, old_version(v1<4) | oracle_read×4, oracle_content_match×1, harness/toolchain_read×5, old_version(v1<5) |
| efficientnet.b0 #2 | old_version(v3<4) | old_version(v3<5) |
| efficientnet.b0 #3 | old_version(v2<4), claim_absent | old_version(v2<5), claim_absent |
| efficientnet.b1 #0 | old_version(v3<4) | old_version(v3<5) |
| resnet18 #0 | stalled_killed, old_version(v1<4), claim_absent | stalled_killed, old_version(v1<5), claim_absent |
| resnet18 #1 | oracle_read×3, harness/toolchain_read×9, old_version(v1<4) | oracle_read×3, oracle_content_match×1, harness/toolchain_read×9, old_version(v1<5) |
| resnet18 #2 | 无 | old_version(v4<5) |
G:巡检、车道和预算
bench heartbeat --run r20260915-03:只读 DB rollouts/stages 候选,固定 events/stdout 路径 mtime + pgrep/进程 fd 与 CPU 增量,不遍历 runs,不发信号。正常零输出/0;告警输出/1。long/agent-long 使用至少 3600 秒;D-state 不作为 CPU 空闲证据,queued 不当作阶段僵尸。- 远端输出
cls--efficientnet.b0--nash-e--ptq--int8 rollout#03: ZOMBIE RUNNING without pi process,exit=1。未改该记录或处理进程。 - fixture 回归覆盖正常零输出、events 超 20 分钟、僵尸、日志超过 stall_s 且 CPU 空闲。
- 远端输出
bench watch:非 TTY 强制一次快照,远端 exit=0,2587 字节、escape_count=0。日志改固定 stdout/stderr stat;DB 只读、锁文件只读打开。首次旧 glob 版本在 JuiceFS 上很慢,因此去掉了该枚举。- stagerun 05-compile 的 ctx.lane=long 时,DB 保存 agent-long,普通阶段保存 agent。回归捕获实际 SQL 参数验证,不改历史 DB 行。
- budget-kill 选择硬上限=max_turns。原实现允许 MAX+GRACE_TURNS(默认+3),还延迟 2 秒退出;足以解释 60 后额外计入 2 轮。现在第 60 次 turn_end 立即退出75,无 grace/延迟。
- 远端 node 执行扩展钩子:第59轮不退出,第60轮exit75,hard_killed_at_turn=60,PASS。
- 可能缺 agent_end;导出仍按已有清洗规则保守拒绝不完整轨迹,不伪造结束事件。没有额外启动60轮生产采集来验证此边界。
验证清单与限制
PYTHONPATH=. python3 scripts/test_codex.py
~/toolchains/node/bin/node agent/extensions/guard-core.test.js
~/toolchains/node/bin/node --experimental-strip-types agent/extensions/budget-kill.test.mjs
python3 -m compileall -q harness export scripts bin
Python 10 项回归通过;guard-core all passed;预算边界 PASS;语法检查通过。真实 pi 和 calibrate 闭环记录见验证附件。
未跑真实 compile/hbm/board/eval 新 rollout:遵守生产任务保护要求。外部阶段复用原 _exec,真实验证到 calibrate;更重阶段由代码回归及原实现复用覆盖,不声称做过新生产验收。repair 的保留分支已实现,未额外启动 repair pi。
~/.pi LLM 凭证仍须被 pi 读取,沿用 HANDBOOK 的结构性限制;不声称 mount jail 隐藏了同进程凭证。审计是内容/来源启发式,不等同于证明所有历史轨迹绝无泄漏;因此全部 v1–v4 默认拒绝导出、历史数据集作废。
同步守卫的两次 force 都先确认差异:第一次仅为用户已恢复且与本地逐字节相同的 models.csv;第二次是我自己同步过的 budget-kill.test.mjs,新增 mjs 追踪规则后进入守卫清单,已逐字节核对。未引入 --delete-excluded。同步脚本另补齐 HANDBOOK.md / REPORT-codex.md 和 mjs 的跟踪。