bench
c575ea0baf
Restart recovery: resume turns queued for admission, wait for exiting stage reapers
...
Staging kill -9 with an immediate restart (10-19 11:17): a turn waiting behind the group's concurrency
read as not resumable and lost its slot, and a calibrate step whose executor was still exiting got
quarantined as SIDE_EFFECT_UNKNOWN.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-19 11:25:40 +08:00
bench
72912a6b17
Restart recovery: keep slots for cut-off replies, wait for exiting reapers
...
Found on the staging collector (10-19): after kill -9 two rollouts whose reply was cut off were read as
not resumable for request_total_s while new rollouts took their slots, and a rollout handed over with a
bash command running was quarantined because the next collector looked before the reaper finished.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-19 11:02:59 +08:00
bench
0da66edde0
Resume rollouts after the collector dies (crash, kill, reboot, planned handover)
...
Processes are disposable; rollout state is resumable. When the collector dies,
the next one reconciles each running rollout from durable state instead of
quarantining or losing it:
- execution: a process of an earlier boot on this host is DEAD; a top-level
reaper whose owner (the collector) died still proves its subtree empty
(scopes record the owner that started them); reconcile() pauses a rollout
with a proven-clean crash checkpoint as CONTROLLER_RESTARTED and marks its
running tool calls INTERRUPTED; resume() across a reboot rebases monotonic
clocks by wall time and credits the downtime as a pause
- stageworker.settle_interrupted: an admitted step whose executor is gone ends
as STAGE_EXECUTOR_EXIT (free compile) and its handle is told directly; a
board step without a clean board receipt still quarantines; nothing replays
- collection_runtime.crash_checkpoint: capture the real system prompt, freeze
the session at the last saved message (mid-work phases only); configure_pi
skips a generation ID the ledger already completed
- pi_session.js: checkpoint after every saved message (and compaction); on a
recovered resume drop an unfinished trailing reply and answer open tool
calls with an honest "interrupted by a platform restart" result
- scheduler: a paused rollout's local slot held by a dead holder is released
once every process is proven gone
- pipeline: SIGUSR1 = planned handover (stop claiming, let board steps
finish, shorten in-flight request holds, exit); SIGTERM still drains
- export: bench_recovery closes the cut segment; the dropped unfinished reply
is excluded (UNFINISHED_BEFORE_RESTART)
- tests: test_controller_restart (real Pi on Linux: kill -9 mid-command,
kill -9 mid-reply, SIGUSR1 handover, power loss + reboot), test_settle_
interrupted; three tests of the old quarantine-everything rule now assert
the new outcome while keeping their guarantees (no replay, unrelated PID
untouched, board lease kept)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-19 09:29:26 +08:00
bench
6c7b19f616
offload: delete a rollout's compile scratch once it is archived
...
hb_compile's working_dir lives on the VM's own disk (work_root) and only
05-compile/06-hbm read it. Nothing removed it: on 10-18 742 finished rollouts
held 36 GB there, the Mac mini disk (which backs the VM disk) neared full,
and the VM's disk went read-only at 18:46.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-18 23:55:11 +08:00
bench
6437b572a2
fix: freeze long Pi sessions at rollout end (no 1 MiB cap)
...
freeze_checkpoint read the session through config_bytes, which caps files at
1 MiB for tickets/configs. Long rollouts pass that, so finalization failed:
10-15..10-17, 17 rollouts, 4 recorded INFRA_ERROR instead of their real
outcome. The session read keeps the symlink/regular-file checks, no cap.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-18 10:33:37 +08:00
bench
18379401e4
v23: hand context compaction back to Pi, cut process rules from the prompt
...
- broker: a context-window 400 fails its generation (fences nothing) and goes
back to Pi as context_length_exceeded, so Pi compacts and resends
- runner: new generation ID after compaction, wait for Pi's resumed run,
record kept_messages; drop agent/context-mask.js and context_mask_chars
- models.json: contextWindow large so Pi compacts only on a real overflow,
never on an estimate right before a pause (resume would not match)
- export: compactions[] gives what the model actually saw after each one
- prompt: keep facts and acceptance, drop how-to rules and coaching
(SYSTEM.md 89->64 lines, e2e.md 27->20); stage status == stage wait
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-17 17:04:58 +08:00
bench
f2322ac926
test_pi_session:真 Pi 0.73.1 下 context_mask_chars 让请求里出现占位、最近输出完整、会话文件不变
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-16 15:49:58 +08:00
bench
b248a28fd7
上下文满记为预算用完;broker 内部错误可续跑并记日志;断线只占账号 2 分钟;04 Qwen 只发出时省去最早的工具输出
...
- quota:400 且正文说上下文超长(vLLM maximum context length、GLM exceeds max length)记 CONTEXT_TOO_LONG,不续跑;
rollout 结束记 CONTEXT_BUDGET_EXHAUSTED(结局 BUDGET_EXHAUSTED,rollout.json TIMEOUT),不再是 INFRA。10-16 当天 7 条 Qwen。
- quota:do_POST 吞掉的异常打出类型、消息、位置(不含请求);一次都没发出去的 generation 记 BROKER_ERROR 暂停,
能像连不上一样续跑。10-16 05 hrnet.w32 白跑 2.9h。
- quota:连接被断(REQUEST_CONNECTION_INTERRUPTED)的请求只占账号 UNKNOWN_HOLD_S=120 秒,不再等到请求自己的期限
(20–27 分钟、整个账号的轨迹全停)。
- agent/context-mask.js:配置 rollouts.context_mask_chars 时(只给 04 Qwen),发出的上下文超过这个字数就把最早的工具输出
换成占位,降到 60% 以下;会话文件保留原文;切点只在再次超限时移动。Pi 自带压缩只在两次 prompt 之间触发,用不上。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-16 15:37:55 +08:00
bench
21fce5e2e0
v22:bench stage wait 只看一眼不轮询;板上自测先查大小、拒绝有原因、失败也删副本;速度参考编不出来写 unavailable
...
- bench stage wait(stageclient 与 stagerun 两个入口)不再睡,没结束就返回 2 并指向 terminal_exec wait_handle。
10-16 efficientvit.b0 400 轮里 307 轮是轮询。
- bench dev --board:先用 salty storage ls 量开发环境里的目录(>512 MiB 或 >40 个子目录直接拒绝),
取回后已到时限也明确拒绝;拒绝原因作为命令结果回给 agent;snapshot/dev-files/tar 在任何路径都删。
10-16 四次自测三次从 1.2 GB 的目录提交,取回 40 分钟、超时、exit 2 无原因、VM 留下 2.5 GB。
- speed_ref:默认配置编不出来时写 latency_ms_est=null、status=unavailable,并补齐以前的 FAILED。
- SYSTEM.md 对应三处;agent/VERSION 22。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-16 15:24:22 +08:00
bench
e543d7bd5f
bench stage wait 一次最多等 10 分钟(原 60 秒),结束就返回
...
10-16:轮询的 agent 每分钟烧一轮,efficientvit.b0(v18)400 轮里 302 轮是 bench stage wait,没编译就用完预算;
vkitti.base 73 轮、zoedepth.nk 55 轮。bash 一条命令上限约 14 分钟,10 分钟在内。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-16 06:39:50 +08:00
bench
b3293851b9
bench dev:排队(dev 名额、Salty 容器)不算命令自己的时间
...
prepare 给走 Salty 的 dev 请求多 3 小时排队余量(仍不超过整条轨迹的时限),命令自己的 timeout 在容器启动后才开始算
(worker 用 spec timeout)。10-15:64Gi 的 dev 容器在 Salty 排队超过 agent 给的 300 秒,连 ls 都超时。
prepare 在 collector 里,下次重启后生效。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-16 04:59:46 +08:00
bench
22bf19d04e
v20:板上自测直接在板卡容器里跑,S600 也开放;跑完删板上目录
...
用户定:板卡本身是测试环境、容器就是隔离,不再套命名空间(S600 的容器 seccomp 本来就禁)。命令在会话目录里跑,
$BENCH_OUT 拉回,会话目录照旧由 RemoteSession.close 删掉。S100P/S600 实测 0.75/0.97 ms,板上目录已删。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-16 04:52:13 +08:00
bench
16a9c50c8b
v19:bench dev --board 板上自测(S100P),隔离环境在真板上验证过
...
- terminal_jail:系统目录改递归绑定(S100P 沙箱容器在 /usr 下有只读的主机挂载,用户命名空间里非递归绑定被拒)、
加 /host_lib 和只读 /sys(BPU 运行库读核心类型)、透传板上 LD_LIBRARY_PATH(libdnn/libhbucp 在 /usr/hobot/lib)
- collector 的请求检查只认 development 目标且不能热换,所以 --board 在命令前加标记,由新进程里的 terminal.run 转成板上请求;
只对 v18+、nash-m 开放;上传当前目录(本地文件 + 只在开发环境里的大文件,如 hbm),一次最多 30 分钟、4 GiB;跑完删副本
- S600 板卡容器的 seccomp 禁止所有命名空间,暂不开放
- 实测:rdk-sandbox 上隔离环境里 /etc/shadow、/userdata、/root 不可见、无网络,mobilenet.v2 0.79 ms,回执确认清理
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-16 01:18:03 +08:00
bench
80aa571a0c
v18 开发环境给出本题校准图片目录 $BENCH_CALIB_IMAGES;speed_ref 加 --follow 滚动补算
...
10-15 夜:提示词只说把 /data/calib/ 换成 /data/calib-raw/,agent 去 /data/calib-raw 找,每条花 5-8 次 dev 命令。
speed_ref 按轮跑时一轮要等最慢的那道编完,新题排不上。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-16 00:57:42 +08:00
bench
2ed2f5fec0
speed_ref:只给有 v18 轨迹的题按需编(--active,默认 3 路),失败的记 FAILED 不重试
...
Salty 和在跑的轨迹共用:一次加 8 路时 agent 自己的 dev 作业开始排队。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 21:42:43 +08:00
bench
1f8a7e20d1
v18:图和校准由 agent 自己做(平台不兜底),速度参考由平台预算
...
- 04 对 v18 起的轨迹(rollout.json 版本 >= 18,stagerun 放进 ctx.extra)要求 compile.yaml 写自己的
onnx_model 和 cal_data_dir,缺了编译前拒绝、不占编译次数;更早的轨迹规则不变
- bench dev 对 v18 轨迹不挂平台 ONNX 和校准 npy,改挂 data/calib-raw(平台 128 张训练图,
反归一化成模型输入尺寸的 8 位图,归一化由 agent 自己做)
- scripts/speed_ref.py:每题用默认配置在 dev 容器里编一次,hb_model_info 估计延迟写到
agent/speed_ref/<job_id>.json(jail 里只读可见、实时更新),path-guard 放行这个目录
- 提示词:删掉自己编默认配置做参考、平台图和校准集位置;VERSION 18
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 20:46:51 +08:00
bench
5bd0f1a40c
Salty 失败作业不再留着:阶段失败拷完日志就删作业和目录,孤儿清理也收已结束的失败作业
...
失败作业的 logs、describe(OOM/驱逐原因)和内存记录早已写进本地 stderr.log,远端留着没人看,
10-15 攒了 327 个失败、95 个成功未删的作业和 485 个 personal 目录(用户同意清理,不是 SFT 数据)。
主控端被打断的那次尝试,其作业跑完后由 salty_offload.reap_orphans 删除,不再标 ponytail 遗留。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 15:32:57 +08:00
bench
85ae1750f1
Salty 容器里 onnxruntime 线程数限到分给容器的核数(阶段和 bench dev 都生效)
...
容器看得到宿主 244 个核,配额只有 4–6 个;onnxruntime 默认按核数开 125 个线程。
10-15 容器实测 resnet50(4 核):默认 320–500 ms/次,限到 4 线程 22 ms;hmct 校准写死的 10 线程约 35–48 ms。
做法:worker 把 harness/container_site 放到 PYTHONPATH 最前,其中 sitecustomize 在 onnxruntime 第一次 import 时
给 InferenceSession 加上限(OMP_NUM_THREADS),不用 onnxruntime 的进程什么都不做。它盖掉的镜像自带
sitecustomize 只装 Ubuntu 的 apport 崩溃钩子。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 15:28:35 +08:00
bench
b7577de0e7
板上加载模型卡住 10 分钟就按可重试的卡住结束,不再等满约 49 分钟
...
10-15 S600 40015、40017 两次在 load_start 之后再无进展,一直等到 guard 的期限。正常加载几秒(S600 约 4 秒)。
只限加载阶段:慢模型推理本身可能很久。主机关掉连接后,板上 guard 按断连回收并写清理回执。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 15:12:04 +08:00
bench
6ab088d7ee
评测分批不建新批次也能上:冻结规则增加逐对批准的等价改写,任务文件换成分批版本
...
- harness/eval/__init__.py:EQUIVALENT_SOURCES 列出精确的「冻结指纹 → 现指纹」对,contract_holds 判断现文件
仍实现冻结合同(完全相同,或同一模块的已批准改写)。阶段检查、基线检查、expand 比对三处都走它。
- 批准的只有 f56ac2f 的 5 个任务文件:上板由逐张改为按实测字节分批,板上仍逐个样本推理
(board_bench.infer_inputs),每张的预处理、后处理和指标一字未改。
- 批次的冻结记录不动,基线缓存按冻结指纹寻址,照常命中,不用重算。
- 用户 10-15:不建新批次。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 15:10:04 +08:00
bench
96d72b2f8c
判分版本固定处跟到 v0.8;导出清单说明改读 RECIPE_VERSION
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 14:16:48 +08:00
bench
41eb1d2193
agent v17:提示词删掉「评测数据只读可见」;判分 v0.8:板上磁盘满和板子连不上一样免罚
...
- dev 环境 10-14 起只挂校准集,VM 上 bench/data 为空,agent 已看不到评测数据,提示词与实际不符。
- 用户 10-15 定:板上磁盘满(disk_full)与 board_offline 同等处理,不扣 G2/G3、不扣超时分。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 13:53:34 +08:00
bench
b3be5cb102
板上每次调用按实测字节分批、G2 余弦按组算:大输出模型不再一次 12 GB(只取 f56ac2f 中不在冻结指纹里的部分)
...
task_contract 只哈希 harness/eval/<任务>.py;board.py、common.py、run.py 不在指纹里,在跑的 run 可以上。
各任务文件里的分组调用(分割/深度/光流/特征一次多张)仍等新建 run。
10-15 05 solo.r50 的 G2 一批 32 张 12 GB,容器内存撑爆,回执带不回来,整条轨迹作废。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 13:43:16 +08:00
bench
bf88f78f45
暂停等基础设施的时间不算 agent 的 24 小时:续跑时补回,暂停期间判超时也扣除,累计最多补一个预算
...
10-14 三条轨迹被 GLM 断线停了 7–16 小时,续上时只剩不到 1 小时,编译或评测做到一半被截断
(06 fcn.resnet101、depth.anything.v1.large、dpt.hybrid)。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 13:43:16 +08:00
bench
4c98f9fd4e
板上清理回执读取:超时 15→60 秒并重试 3 次,慢握手不再把已清理的轨迹判成清理未确认
...
10-12 至 10-15 共 9 次(8 次 TimeoutExpired、1 次 ssh 退出),每次整条轨迹作废;
最近一次 05 fcn.resnet50 r02:板上已跑完并 waitpid 确认回收,回执读取超时。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 12:48:46 +08:00
bench
383710c917
板卡阶段在派发前结束时补一张 not_started 回执,不再被当成清理未确认
...
板卡会话在第一条板上命令之前就写 UNKNOWN 回执(board_perf.bench),阶段结束时进程也都收完了,
所以本地执行完、目录里还没有回执,就证明板子没被碰过。原来这种情况(比如阶段开头的 harness 检查失败)
会被 stagerun/stageworker 判 BOARD_CLEANUP_UNCONFIRMED,执行被隔离、整条轨迹作废
(10-15 04 solov2.r50、05 deeplabv3plus.resnet50)。
只在真正执行阶段的一侧补(Salty 容器内或本地),控制端包装 Salty 的那一层拿不到这个证明,不补。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 12:20:15 +08:00
bench
2b024178a9
回退 f56ac2f(板上评测分批):任务评测文件被 task_contract 冻结,在跑的 run 不能热改
...
harness/eval/<任务>.py 的 sha256 在建 run 时写进 job.task_contract,每个阶段开头都核对。
10-15 11:08 热部署改了 seg/mde/flow/feat/coco_extra.py,之后这些任务的阶段全报
frozen task implementation changed:板卡阶段因此被判清理未确认,整条轨迹作废
(04 solov2.r50、05 deeplabv3plus.resnet50;06 yolov8m.seg 各阶段全失败后判 FAIL)。
11:45:38 已在主控上恢复旧文件。分批改动等建新 run 时再 cherry-pick f56ac2f。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 11:47:23 +08:00
bench
f191baf520
暂停轨迹在等时这一轮只续跑不领新题;额度组暂停或对账中一律算在等
...
10-15 11:21、11:33:一条暂停轨迹续上的同一轮里,新题跟着进来,把还在等额度的几条的名额占了。
它们只能等别的轨迹结束才能排上,期间 24 小时时钟照走(两条自带图的只剩 7.5 小时)。
- _claimable:有暂停轨迹已就绪或在等额度时,这一轮只续跑;都续上了下一轮再领新题。
- _resume_snapshot:额度组 PAUSED/RECONCILING 不论原因都算在等(00:56 是连接被切,原来不算)。
collector 重启后生效。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 11:43:53 +08:00
bench
f56ac2f3de
板上评测按实测字节分批:分割/深度/光流/特征不再逐张上板,大输出模型不再一批 12 GB
...
- BoardRunner:第一次只送 1 张,量出每张输入+输出字节,之后每批送到 1 GiB 为止(最多 32 张)。
10-15 solo.r50 一批 32 张 12 GB,写满了一块 S600。
- common.groups:评测器按同一尺寸分组调 run_batched,一组的输出也放得进内存。
分割、深度、光流、特征原来逐张上板,每张约 10 秒连接开销,100 张约 20 分钟。
实例分割/姿态、G2 余弦也按它分组;非板卡 runner 保持原来的组大小。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 11:08:04 +08:00
bench
a263374839
板上会话目录:失败也删,只在守护进程可能还活着时留空目录;进入时清 6 小时没人动的旧目录;磁盘满归瞬态
...
10-15 S600 的 /userdata 两次写满(01:31–03:25、06:50–06:56),05 的 07-board/08-eval
报 No space left on device,却记成 unknown。
- 原来任何失败都把 eval-* 目录整个留在板上,没人回头看。现在只有清理没确认时才保留目录和回执,
因为守护进程可能还在写回执和板级隔离标记;其余内容照删(solo.r50 一块输出 12 GB)。
- 容器被杀时 close() 不会运行:每个新会话先删 6 小时没人动过的 eval-* 目录,并把删了什么写进日志。
- No space left on device → disk_full(瞬态)。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 09:41:29 +08:00
bench
67d306de0f
salty_offload 孤儿清理:跳过已自行清理的作业,停止时 404 视为已不在
...
10-14 重启后续跑的轨迹自己删掉了作业,ps 仍短暂列出,清理去 stop 得到 404,按网络故障重试 30 分钟,期间归档和导出都停着。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-14 19:16:43 +08:00
bench
9b7544a6bb
上线前加固 bench dev,写入速度要求
...
- 命令按墙钟截止(请求截止前 2 分钟),容器启动和排队不再挤掉结果回传的时间;实测超时命令在时限内返回 124。
- 状态轮询前 2 分钟 5 秒一次,之后 30 秒一次;上传上限 256 MiB,拷回单个 16 MiB、一次 64 MiB(Mac mini 链路约 1 MB/s)。
- salty_offload 的孤儿清理覆盖 bench dev:票已结束(例如轨迹被取消)还在跑的停掉,已结束的删作业和目录。
- 提示词:板上单帧延迟不超过平台默认量化配置模型的 1.5 倍,附自查办法;e2e.md 的 G4 同步。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-14 18:21:55 +08:00
bench
a92510dab8
智能体开发环境与自带图:bench dev 在 Salty 沙箱里跑命令,compile.yaml 可用 workspace 里自己的图和校准集
...
- bench dev:受管终端的 development 目标改走 Salty 容器(有完整工具链)。
容器里用 user+mount 命名空间、uid nobody、去掉全部能力,只露工具链/缓存/数据(只读)和本轨迹 workspace;
板卡密钥、其他轨迹、个人空间其余内容不可见(10-14 在 Salty 上实测,含 umount 逃逸被挡)。
本地改动下次 bench dev 时上传,小文件拷回,大文件留在开发环境并列出。
- compile.yaml:model_parameters.onnx_model / calibration_parameters.cal_data_dir 可指向 workspace;
04 在容器里核对输入输出与平台图一致(不一致直接拒、不占编译次数),记录图的 sha256 和校准来源。
- 配置白名单报错列出具体字段;SYSTEM.md 写明开发环境和自带图;agent/VERSION 15→16。
- 生效:stageworker/terminal/stageclient/SYSTEM.md 要重启;新配置要加 salty_remote.stages: terminal、
terminal.enabled: true、pools.dev。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-14 17:49:14 +08:00
bench
8a14b41abf
Salty 容器里的板上操作按阶段截止时间收紧时限
...
本地执行时 board_perf 按执行状态把板上操作的时限收进阶段截止时间之内;Salty 容器里
没有执行状态,固定按 3600 秒,比 07-board 的 1 小时阶段时限还长。板上一卡住,容器就先被
阶段时限结束,清理回执带不回来,stageworker 只能判 BOARD_CLEANUP_UNCONFIRMED 并作废整条轨迹
(10-12 到 10-14 有 12 次,同一模型平时 0.2–2.6 分钟就完成)。现在 salty_remote 把阶段的
截止时刻(墙钟)放进打包的环境变量,board_perf 预留 600 秒把结果和回执交回去,超时就作为普通的 FAIL 结束,agent 可以重试。
VM 与 Salty 时钟偏差约 1 秒。两处都随阶段打包,部署即生效。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-14 15:49:54 +08:00
bench
f83fa3948c
网络小故障不再拖垮整条轨迹:原地重发、没发出去的暂停不扣续跑次数、结果不明的请求可以续跑
...
GLM 请求失败率约 0.3%,但一次失败就让整条轨迹暂停;3 次续跑次数被网络故障用完后,
轨迹只能挂到 24 小时上限(10-14 有 4 条);回复中途断开的请求过了等待期会被自动放弃,
同时整条执行被取消(10-13/14 共 16 条)。
A. 连接失败、域名解析失败(RETRY_UNSENT,确定什么都没发出去)在 broker 里等一会儿原地重发。
每次重试把等待时间加上一次连接时限计入排队预算 wait_spent,保持
客户端超时 = 排队预算 + 次数×单次时限 的上界;预算用完才照旧暂停。
B. 续跑次数只在最近一次请求可能已经送达时才扣(看账本最近一次 attempt 是否 sent)。
连接/解析失败、因为别的请求结果不明而在准入时被挡下的暂停,续跑不扣次数。
执行记录和账本两处计数同步,调度程序不再按原始次数预先过滤。
C. reconcile 自动放弃时(截止时间再过一个 token 窗口)不再取消执行,而是把这一轮
标成 REQUEST_OUTCOME_UNKNOWN、可以续跑:重发一轮只花一次请求的 token,并计入续跑次数。
人工放弃(operator)仍然永久隔离。续跑资格检查不再被已放弃的 attempt 挡住。
都在调度程序进程里运行,下次重启生效。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-14 15:41:49 +08:00
bench
f74fe00aaf
hbm/bc 模拟器对比改为 agent 按需开启,只作诊断
...
阶段配置新增 verification_parameters.hbm_bc_samples(0–16,默认 0)。agent 用
bench stage run hbm --config <yaml> 指定 N 张校准样本,用 x86 模拟器对比 HBM 与 BC,
结果写在 G1.hbm_bc_cos_min,不改 verifier_ok:开了不会被扣分,真正把关的仍是 08-eval 板端实测。
编译配置只取三段,所以同一个 yaml 拿去编译也不受影响。适用任何有 .bc 的后端;跑失败记 None。
s06_hbm 随阶段打包,部署后马上生效(默认不跑);配置校验在 stageworker、说明在 SYSTEM.md,
都要下次重启时一起上线,否则按说明提交会被旧校验拒绝。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-14 12:48:17 +08:00
bench
ba143faaae
06-hbm 去掉 hbm/bc 模拟器抽查
...
x86 模拟器跑 2 张图占这一步 95% 的时间(本地中位 7 分钟,Salty 上 1–2 小时);
10-12 17:16 起 Salty 上撞 2 小时上限 103 次、约 206 小时。历史 388 次抽查报出 13 次
不一致,hb_verifier 都已先判掉,从没单独发现过问题;08-eval 在板上跑真 HBM。
与 salty_stage.py 一样记 hbm_bc_cos_min=None 并注明。阶段代码随每次提交打包,
部署后新起的步骤马上生效。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-14 12:24:02 +08:00
bench
ad51e86f5f
导出进程每轮停掉本地已结束的 Salty 作业,停好后清理
...
阶段时限只管超时;轨迹被取消、进程崩溃时,远端容器照样跑完,没人取结果。
10-13 晚有 12 个这样的作业占着约 64 核,同时我们自己的作业在排队。
现在每轮先查 salty ps:本地这一步已经写了 meta.json、远端还在 running/pending 的,
就停掉;已经 stopped 的,按 salty_remote 处理自己停掉的作业那样删除作业和临时目录。
failed 的照旧保留,供排查。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-13 22:24:47 +08:00
bench
ec1a58edf8
续跑不再重新核对已结算的步骤;领题后不再重复查额度
...
续跑时 stageworker 会重新核对旧步骤回执。同一轨迹每次编译写同一个 .hbm,
旧回执核对失败后被当成状态不明,整条轨迹隔离;10-12/13 共 19 条编译过多次的轨迹,
续跑几秒内就判 INFRA_ERROR。现在已结算的操作直接沿用旧结果,判断条件与
reconcile_completed 相同。
collector 领题前已经查过额度,run_rollout 领到后又查一次(只等 0.5 秒);
机器忙时读超时,题被判 UNVERIFIED,一步都没跑(59 条)。领到后不再重复查。
这两处代码都在调度程序进程里运行,重启后才生效。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-13 11:15:05 +08:00
bench
7093c321f0
超时被杀的步骤归还名额、远端容器随阶段时限停止
...
步骤到了阶段时限被看门狗结束时来不及删 cpu 名额的占用记录,_try_slots 见记录就跳过,
只有调度程序重启才清;10-12 晚到 10-13 上午累计锁死 26/32 个名额。现在占用者已死、
且该步骤已记 DONE、进程清理已确认的名额可以直接接手(板卡名额不变)。
同时远端容器不随本地步骤停,7 个容器空跑最久 7.5 小时;提交时用 timeout 把容器
运行时长限制在该阶段的执行时限内(镜像自带 /usr/bin/timeout,已实测)。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-13 11:15:05 +08:00
bench
a7c454c0ae
salty_remote: 容器里线程数按分到的核数设
...
容器看到整机 244 核,实际只给 4–6 核;torch/numpy 按 244 开线程,大部分时间在被限流。
10-12 实测(4 核容器):torch 默认 122 线程 2.6 次/秒,4 线程 42 次/秒;numpy 31 → 146–158 次/秒。
提交时设 OMP/MKL/OPENBLAS_NUM_THREADS=分到的核数。onnxruntime 不认这些变量,另行处理。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-13 10:43:02 +08:00
bench
375ce4d1f5
stagerun: 编译超时、看门狗判卡死也不扣编译次数
...
和容器被杀、执行器退出一样算系统的错,每条轨迹合计最多免 3 次。
10-12 17:16 后 DETR 两次编译一小时没日志没 CPU 被看门狗杀掉、
segformer.b5 编译逼近 4 小时上限,原来都会白扣模型一次机会。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-12 21:44:24 +08:00
bench
51d6cda544
alert: 启用小金飞书私聊报警,发送失败记日志
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-12 17:05:59 +08:00
bench
da7b77b62f
alert: 可选用小金(飞书群答疑助手)私聊报警;记忆补充排空与 06 断流
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-12 17:03:38 +08:00
bench
8d39d2b69b
fix(drain_restart): 修空数组在 set -u 下报错;加 NO_TERM 防重复发信号;删掉排空期间手动续跑(旧进程在世时按设计不可接手)
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-12 16:50:51 +08:00
bench
12787a289d
fix: 系统失败不占编译次数、连不上可自动续跑、暂停轨迹不被新题抢名额;加健康检查与排空重启脚本
...
- stagerun: 容器被杀/执行器退出不计入 5 次编译(每条最多免 3 次)
- quota: CONNECT_FAILED / REQUEST_DEADLINE_BEFORE_SEND 证明未发送,允许自动续跑
- pipeline: 有暂停轨迹只差额度时,空出的名额留给它
- scripts/health_check.py + bench_health_alert.sh: 每 10 分钟检查,异常弹本机通知
- scripts/drain_restart.sh: 排空旧调度程序后重启,排空期间用新代码续跑卡住的轨迹
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-12 16:38:07 +08:00
bench
df51a7c13f
fix: Salty 导出只用存档里的文件,不混进容器替已放弃尝试写的东西
...
xfeat(05,10-11)的 06-hbm a00 主控已判超时放弃,容器却继续跑完,把 stdout.log 等写进了
个人空间的 runs。导出照搬个人空间的阶段目录,门证据多出 06-hbm/a00/stdout.log,
审核绑定和主控算的对不上,通过了审核仍显示"未审"。
现在解包时记下每个包的成员,本地目录只按成员清单搭(阶段文件和小文件拷贝、大文件链接),
存档没带的 HBM 从个人空间链接;旧的空标记会触发重新解包补清单。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-12 02:04:11 +08:00
bench
b4e4f6ee09
feat: scripts/salty_review_again.py 补审已搬走的 PASS 轨迹
...
最终数据集里"没审过/审核未知"、文件已被 salty_offload 删掉的轨迹,逐条从个人空间存档取回、
用配置的审核模型审、回执作补丁包传回、再删本地;一次只留一条(旧格式对话最大 650MB,
调度程序每次本地导出都会重读留在本地的文件)。已有 COMPLETE UNKNOWN 就走重试。
--release-started:崩溃留下的 STARTED 回执按设计不授权新请求。06 shufflenet.v2.x1.5 那条
其实请求已完成(账本 generation COMPLETE),按原执行号重审会被当作已完成而不发。放行时
原件进 history/,回执记成 COMPLETE UNKNOWN(OPERATOR_RELEASED_STARTED_RECEIPT),
由正常重试换新执行号发一次新请求。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-12 01:51:49 +08:00
bench
6735b703a7
feat: 轨迹搬到 Salty 个人空间,数据集在 Salty 上导出(scripts/salty_offload.py)
...
Mac mini 只留小文件和最终数据集。常驻进程每 10 分钟:
- 结束满 30 分钟(UNVERIFIED 24 小时)、执行 TERMINAL、PASS 已审完的轨迹打包到
personal:/bench-root/archive/<run>/<job>/<kk>.tgz,个人空间已有同大小副本的产物不进包;
之后的改动(如审核回执)另传 <kk>.u<时间>.tgz,旧包从不覆盖;传完核对大小再删本地 >1MB 文件。
- 有新包时最多每小时起一个 Salty 作业(salty_remote_worker.export):把包解到 personal 的 runs
(不解 workspace),用账本快照跑 export/to_agentrl.py,数据集留在 personal:/bench-root/datasets/,
拷回 bench/datasets-final/。
调度程序每条结束后的本地导出保留:它在文件还在本地时发现并审核新 PASS,搬运等它审完。
导出作业里 runs 不能是指向个人空间的软链接:verify.py 会 resolve 轨迹目录、拒绝软链接的预测文件,
路径对不上时 G3 变未验证、审核绑定也变(实测 SFT 0 条)。所以容器里重建真实的轨迹和阶段目录,
agent/、artifacts/ 等大目录用软链接。实测和 Mac mini 本地导出逐条一致(3/3/2)。
半截上传的包解包失败就跳过,下次再解。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-11 15:10:30 +08:00
bench
0855486585
test: usage_log 检查只跑一拍,不在临时目录删掉后报错
...
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-11 11:22:50 +08:00