12 Commits

Author SHA1 Message Date
bench
b3be5cb102 板上每次调用按实测字节分批、G2 余弦按组算:大输出模型不再一次 12 GB(只取 f56ac2f 中不在冻结指纹里的部分)
task_contract 只哈希 harness/eval/<任务>.py;board.py、common.py、run.py 不在指纹里,在跑的 run 可以上。
各任务文件里的分组调用(分割/深度/光流/特征一次多张)仍等新建 run。
10-15 05 solo.r50 的 G2 一批 32 张 12 GB,容器内存撑爆,回执带不回来,整条轨迹作废。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 13:43:16 +08:00
bench
383710c917 板卡阶段在派发前结束时补一张 not_started 回执,不再被当成清理未确认
板卡会话在第一条板上命令之前就写 UNKNOWN 回执(board_perf.bench),阶段结束时进程也都收完了,
所以本地执行完、目录里还没有回执,就证明板子没被碰过。原来这种情况(比如阶段开头的 harness 检查失败)
会被 stagerun/stageworker 判 BOARD_CLEANUP_UNCONFIRMED,执行被隔离、整条轨迹作废
(10-15 04 solov2.r50、05 deeplabv3plus.resnet50)。
只在真正执行阶段的一侧补(Salty 容器内或本地),控制端包装 Salty 的那一层拿不到这个证明,不补。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 12:20:15 +08:00
bench
2b024178a9 回退 f56ac2f(板上评测分批):任务评测文件被 task_contract 冻结,在跑的 run 不能热改
harness/eval/<任务>.py 的 sha256 在建 run 时写进 job.task_contract,每个阶段开头都核对。
10-15 11:08 热部署改了 seg/mde/flow/feat/coco_extra.py,之后这些任务的阶段全报
frozen task implementation changed:板卡阶段因此被判清理未确认,整条轨迹作废
(04 solov2.r50、05 deeplabv3plus.resnet50;06 yolov8m.seg 各阶段全失败后判 FAIL)。
11:45:38 已在主控上恢复旧文件。分批改动等建新 run 时再 cherry-pick f56ac2f。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 11:47:23 +08:00
bench
f56ac2f3de 板上评测按实测字节分批:分割/深度/光流/特征不再逐张上板,大输出模型不再一批 12 GB
- BoardRunner:第一次只送 1 张,量出每张输入+输出字节,之后每批送到 1 GiB 为止(最多 32 张)。
  10-15 solo.r50 一批 32 张 12 GB,写满了一块 S600。
- common.groups:评测器按同一尺寸分组调 run_batched,一组的输出也放得进内存。
  分割、深度、光流、特征原来逐张上板,每张约 10 秒连接开销,100 张约 20 分钟。
  实例分割/姿态、G2 余弦也按它分组;非板卡 runner 保持原来的组大小。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 11:08:04 +08:00
bench
a263374839 板上会话目录:失败也删,只在守护进程可能还活着时留空目录;进入时清 6 小时没人动的旧目录;磁盘满归瞬态
10-15 S600 的 /userdata 两次写满(01:31–03:25、06:50–06:56),05 的 07-board/08-eval
报 No space left on device,却记成 unknown。
- 原来任何失败都把 eval-* 目录整个留在板上,没人回头看。现在只有清理没确认时才保留目录和回执,
  因为守护进程可能还在写回执和板级隔离标记;其余内容照删(solo.r50 一块输出 12 GB)。
- 容器被杀时 close() 不会运行:每个新会话先删 6 小时没人动过的 eval-* 目录,并把删了什么写进日志。
- No space left on device → disk_full(瞬态)。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 09:41:29 +08:00
bench
8a14b41abf Salty 容器里的板上操作按阶段截止时间收紧时限
本地执行时 board_perf 按执行状态把板上操作的时限收进阶段截止时间之内;Salty 容器里
没有执行状态,固定按 3600 秒,比 07-board 的 1 小时阶段时限还长。板上一卡住,容器就先被
阶段时限结束,清理回执带不回来,stageworker 只能判 BOARD_CLEANUP_UNCONFIRMED 并作废整条轨迹
(10-12 到 10-14 有 12 次,同一模型平时 0.2–2.6 分钟就完成)。现在 salty_remote 把阶段的
截止时刻(墙钟)放进打包的环境变量,board_perf 预留 600 秒把结果和回执交回去,超时就作为普通的 FAIL 结束,agent 可以重试。
VM 与 Salty 时钟偏差约 1 秒。两处都随阶段打包,部署即生效。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-14 15:49:54 +08:00
80a8e246c0 fix: release board slots whose holder died without a cleanup receipt
When board ssh drops during cleanup, no receipt is written and the board
lease stayed quarantined forever; all 8 boards ended up locked and every
rollout timed out in the board queue (QUEUE_DEADLINE_EXCEEDED).

reconcile_leases now probes the board when the holder is dead, the
execution is terminal and no local process remains. If the board runs
nothing but sshd/ps the slot is released and board-release-<slot>.json
records the evidence; busy or unreachable boards stay quarantined.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-04 08:07:22 +08:00
3a30aac297 fix: persist board dispatch evidence before remote execution 2026-09-29 16:33:16 +08:00
e1e73816af fix: recover stage registration and reclaim completed local leases 2026-09-29 12:55:35 +08:00
Codex
068c56043f Merge managed natural-agent runtime into retained benchmark mainline 2026-09-22 15:35:28 +08:00
bench
d309109f2b pre-grind snapshot 2026-09-19: batches 1-7 adapters/probes/recipes + eval additive changes 2026-09-19 17:52:03 +08:00
bench
4a0e7d521f fix: run S100P board accuracy through the existing pipeline 2026-09-16 02:17:36 +08:00