Drop the unpacked copy of each Salty result once its files are copied into the attempt
Every attempt kept result.tar, its unpacked tree and the copies in the attempt, so a third of the hot disk went to a tree nothing reads again. result.tar and its manifest still record exactly what the job returned. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
parent
ef3c173fa6
commit
b288c37def
@ -1884,3 +1884,29 @@ Salty CLI及可调用连接工具缺失,BLOCKED_NO_INSTALLED_CLI;未上传
|
||||
- 首个尝试 INFRA_ERROR:作业里 apt 经平台代理静默失败,随后找不到 ssh 而崩溃,没有带回 setup 日志。`2fca3411` 改为最多装 3 次,仍无 ssh 时按 `tunnel_failed` 正常收尾并带回日志;09:53Z 同步到 36,此后新开的尝试使用新代码(目录内 `COMMIT` 记录了两个版本)。
|
||||
- 另见:`test_model_proxy` 的 `test_context_exit_interrupts_active_transfer_and_closes_listener` 在 Mac 上约 1/3 概率失败,未改动该文件时同样出现,属既有的时序不稳定,未处理。
|
||||
- 10:0xZ 第一次污染命中是误报:S500_a1_16f7e429af93(下载器题)的 Agent 在作业内起 `python3 -m http.server --bind 127.0.0.1` 测试自己的下载器,`http://127.0.0.1:8099` 被当作外网。用户规则针对外网,因此污染检查放过回环地址(127.x.x.x、localhost、[::1],主机名后必须紧跟端口、路径、空白、引号或结尾),`127.0.0.1.evil.io`、`localhost@evil.io` 仍算命中;测试补了两组例子。该次回执保持 UNVERIFIED 不改写。
|
||||
- 10:4xZ 冷盘扫描完成:热盘与冷盘合计 3596 个校准目录,重建的 `catalog-all.json` 中 1036 题全部 USABLE(5 分半,`--runs` 仍只扫热盘)。第 2 部分 `runs/20261028-salty-full-2`:第 1 部分之外的 464 题,加上回环误报的 S500_a1_16f7e429af93,共 465 题,`--parallel 4`,合计并发 12(每 Key 约 6 路)。此时第 1 部分已结束 39 次:PASS 32、FAIL 4、INFRA_ERROR 2(apt 一次、Salty 作业空日志 failed 一次,均自动补采)、污染误报 1。
|
||||
- 约 11:4xZ 第 101 次结束(两部分合计):完整轨迹 97(PASS 90、FAIL 7),INFRA_ERROR 2,污染误报 1,另 1 次 S500_n1_007 Agent 3600 秒超时、原生会话没有终止事件而记 UNVERIFIED(评分为 PASS,不计入)。12 路在跑,没有 429 导致的 model_http。两部分共占 2.5 GiB,每次尝试中位 21 MB;`/home` 从 49 降到 40 GiB,主要是其他用户的 Docker 数据增长。按 1036 题估算本批还需约 20 GiB,结束前可能触到 30 GiB 下限而自动暂停;批次依赖目录里的尝试判断续跑,不能中途把尝试迁到冷盘。
|
||||
- 13:05Z 会话中断后复查:两个 batch 进程仍在跑(setsid),已结束 185 次:完整轨迹 179(PASS 165、FAIL 14),INFRA_ERROR 3,污染 2,超时 UNVERIFIED 1。第 3 次 INFRA_ERROR 是 S500_n3_012 首个请求 319 秒后上游 502、0 字节,Agent 退出,属模型通道故障,自动补采。第 2 次污染 S500_n3_010 也是误报:挂载顺序题的测试 JSON 里有 `"target":"/data"`,并未访问挂载盘;文本规则无法可靠区分字符串与 `cd /data`,保持严格,误报只损失该条轨迹。
|
||||
- 磁盘:Docker 在独立的 `/var/lib/docker`(剩 29 GiB)。`/home` 剩 35.9 GiB;本项目在 `/home` 共约 31 GiB,其中 `.tmp/wt-batch15`、`wt-batch17` 合计 23 GiB,第 1 部分的校准就在其中,采样期间不能清理。批次在 30 GiB 下限会自动暂停,监控在 32 GiB 时提醒一次。
|
||||
- 13:3xZ INFRA_ERROR 从 3 升到 6。4 次模型通道故障形态相同:GLM 先回 500,网关 2 秒后重试,重试请求约 300 秒没有任何字节;Pi 客户端 300 秒无响应即退出(exit 1),controller 关网关时打断上游,broker 记 502、`upstream_statuses=[500, connection_error]`,历时约 320 秒。属 GLM 服务端过载或故障,不是隧道问题(4 次均为内网隧道且未断开)。约 2%,均自动补采;S500_n3_012 两次都遇到,`--retries 1` 用完,本批不再补采。暂不升到 16 路;若持续增多,先把第 2 部分降回 4 路以下。
|
||||
- 制题会话(local_7e2a93a4)告知:它停下了一条会在复制后删除 `.tmp/wt-batch15/runs` 的冷迁链,未删除任何东西。复查 JOBS-1/2 的 1037 个校准目录全部存在:热盘 wt-batch15/17/18/22 与 `runs/catalog-20261019-trace6-calibration` 共 548 个,冷盘 7 个批次目录共 489 个。已回复该会话,采样结束前这些目录及本批 runs、`.tmp/salty-full-20261028` 只可复制、不可移动或删除。
|
||||
- 10-28 16:26Z/16:34Z 两部分先后因 `/home` 剩余不足 30 GiB 自动暂停(exit 3),在跑的 12 次记 `disk_limit`,重跑时补采。至暂停共结束 366 次,完整轨迹 344(PASS 317、FAIL 27),已自动导出:`runs/20261028-salty-full-1/export-20261028T162622434072Z/`(236 PASS、22 FAIL)与 `runs/20261028-salty-full-2/export-20261028T163358480838Z/`(81 PASS、5 FAIL)。其余排除:model_http 4、infra 2、evidence 2、timeout 2、disk_limit 12、污染误报 2。
|
||||
- 10-29 02:56Z `/home` 剩 27.6 GiB(其他用户继续增长)。剩余约 690 题,按每次约 29 MB 需约 20 GiB。可腾出的本项目空间:wt-batch15/17 共 22 GiB(含 265 个在用校准,需先冷盘核对复制,再把剩余题的 JOBS 指向冷盘副本、另开新批次目录);两部分已完成输出 10.6 GiB(同样另开新批次后才能冷迁)。待用户决定。
|
||||
- 10-29 03:07Z 用户同意冷迁("可以搬到冷盘,但是要告诉我在哪里")。四个目录各自 rsync 到 `/mnt/data/ming01.wang/embedded-rollout/runs/` 下同名目录,`rsync -n -c` 逐文件核对一致后才删热盘副本,日志在 `.tmp/salty-full-20261028/migrate/`:`.tmp/wt-batch15/runs/20261023-C-hwe-scale-15`(4.6 GB,51 万文件,并入已有冷盘目录)、`.tmp/wt-batch17/runs/20261026-C-qwen-screen-17`(6.9 GB)、`runs/20261028-salty-full-1`(8.0 GB)、`runs/20261028-salty-full-2`(3.3 GB)。只动这两个 worktree 的 `runs/`,`factory/`、`tasks/` 留给制题会话(其 batch 15 factory rsync 仍在进行)。
|
||||
- 冷迁前发现续跑缺陷:暂停时在跑的尝试记 `disk_limit`,它会抵扣 JOBS 行,重跑同一命令不会补跑这 12 题。`ef3c173f` 把主机空间不足单列为 `disk_low`,与中断一样不抵扣、不占补采次数;尝试体积超限仍是 `disk_limit` 并抵扣,否则会无限重启。按新逻辑两部分仍欠 309 + 379 = 688 题(`owed.txt`),冷迁完成后改写校准路径为冷盘副本,作为第 3 部分 `runs/20261028-salty-full-3` 运行。
|
||||
- 04:2xZ 采样并发为 0:`/home` 28 GiB 低于下限。688 题中 583 题的校准不在迁移中的 wt-batch15/17,作为第 3 部分(`JOBS-3`,`runs/20261028-salty-full-3`,`--parallel 12`),由 `wait-start-3.sh` 在 `/home` 剩余 ≥34 GiB 时自动启动;其余 105 题(`owed-b15-b17.txt`)待两处冷迁核对完成后改写为冷盘路径,作为第 4 部分。
|
||||
- 04:55Z 第 2 部分冷迁完成:`/mnt/data/ming01.wang/embedded-rollout/runs/20261028-salty-full-2`,2720 个文件 checksum 一致,热盘副本已删,`/home` 回到 29 GiB。05:2xZ 第 1 部分核对的冷盘读取进程卡在 JuiceFS 页读取(D 状态,读到 0.7/8.0 GB 后停住),属已知的 FUSE 停顿;热盘副本只在核对通过后删除,不受影响。
|
||||
- 05:5xZ 冷盘回读太慢:第 1 部分 `rsync -n -c` 的冷盘侧约 8 MB/分钟,8 GB 需十几小时。改用 `migrate-quick.sh` 核对:rsync 传输时本身逐文件校验;之后每个热盘文件的大小与 mtime 必须一致、冷盘无缺失文件,且所有 `receipt.json` 与 `export-*` 下文件两侧 sha256 一致,才删热盘副本。第 2 部分已按完整 checksum 核对,不重做。b15、b17、第 1 部分以新脚本重启(已复制的文件跳过);一个旧的第 1 部分核对进程卡在 JuiceFS D 状态读取,只读、会在读取返回后退出。另:在远程命令里用 `pkill -f "migrate.sh /home"` 会匹配到 ssh 自身的 bash 命令行,把本次远程命令杀掉,之后改按 PID 结束。
|
||||
- 07:5xZ JuiceFS 读得很慢:第 1 部分冷盘侧 sha256 40 分钟只读 37 MB;暂停 b15 rsync(SIGSTOP)4 分钟没有改善,已恢复。别处小文件读取 0.1–0.5 秒正常,但第 2 部分冷盘的一个 receipt.json 30 秒内读不出。挂载为 `writeback`(`upload-limit=200`、`cache-dir=/cache`),写入先落本机 `/cache`(独立盘,剩 107 GiB)再后台上传,ming01.wang 无权查看上传积压;该方式与之前各批冷迁相同。第 1 部分与 b15/b17 的热盘副本仍只在冷盘侧 sha256 读出一致后删除。
|
||||
- 08:32Z 用户要求以最小改动尽快恢复采样("我现在肯定想要在目前改动最小的情况下,快速恢复采样")。36 上没有其他有空间的盘(`/` 剩 7 GiB,Docker 盘 19 GiB),降低 30 GiB 下限需改代码(controller 子进程同样检查),因此改为跳过第 1 部分冷盘侧 sha256 回读:大小+mtime、缺失文件检查已通过,两侧文件数均为 9517,删除热盘副本,日志记在 `migrate/p1.log`。冷盘副本未经回读确认;JuiceFS 恢复后再回读第 1、2 部分的 receipt 与导出文件核对。`/home` 回到 35 GiB。
|
||||
- 08:34Z 第 3 部分自动启动:`runs/20261028-salty-full-3`,583 题,12 路,代码与第 1、2 部分相同(`COMMIT` 记录)。
|
||||
- 09:27–09:31Z 第 3 部分 4 次尝试(dev-attribute-notify-epoch、dev-banked-register-window、dev-deferred-callback-gates、dev-gpio-lease)最后一个模型请求在 Pi 侧报 "Connection error.",没有到达网关,broker 比轨迹少一条,记 UNVERIFIED(`evidence`,"model request counts disagree")。隧道未重连(ssh 未退出),setup 日志无 ssh 报错,前后其他尝试正常,判断为通往 36 的短暂网络故障。`evidence` 不属于自动补采,这 4 题记入 `redo-in-part4.txt` 随第 4 部分重跑;若再次出现,再考虑把"Pi 连接错误且 broker 少一条"归为可补采的基础设施失败。36 当时负载 56/112 核,不是瓶颈。
|
||||
- 同一次网络故障另有 2 次(config-overlay-relocation 09:30:48Z、dev-input-frame-commit 09:33:50Z),一并记入 `redo-in-part4.txt`(共 6 题)。concur-attribute-stack-domain 为 Agent 3600 秒超时(不补采),另 1 次 GLM 502 自动补采。
|
||||
- 09:50Z glm-1 返回 429 code 1308:"已达到 5 小时使用上限,2026-10-29 20:22:44 后可继续使用"(即 12:22:44Z),glm-2 正常。分到 glm-1 的尝试立即失败并耗掉每题唯一一次补采。09:52Z 向第 3 部分 batch 发 SIGTERM(7 次在跑尝试记 interrupted、不抵扣;authorized_keys 无残留一次性钥匙,91 份回执清理均 confirmed),改用 `run-3-glm2.sh` 只用 glm-2、`--parallel 6 --retries 2` 在同一目录续跑(只改命令行参数,代码不变);`--retries 2` 还给因 glm-1 限额失败的题一次机会。glm-1 12:22Z 恢复后再加回。另更正:config-overlay-relocation 首次是 502(model_http,自动补采),补采又遇 429。
|
||||
- 至此第 3 部分完整轨迹 67(全部 PASS);`export-20261029T095230410610Z/` 已随中断写出。
|
||||
- 11:11Z 第 3 部分在 `/home` 30.0 GiB 处自动暂停(exit 3)。此时第 3 部分完整轨迹 125(全 PASS);glm-2 单 Key 6 路一小时约 50 题。b15、b17 冷迁仍在 rsync 第二遍(JuiceFS 元数据很慢,b17 有一次 rename 输入输出错误,脚本会重试)。新增 `wait-resume-3.sh`:`/home` ≥34 GiB 时逐个 Key 发一个小请求,只用返回 200 的 Key、每 Key 4 路、`--retries 2` 在同一目录续跑;选 Key 一步已单独试过(当时 glm-1 仍 1308,只选出 glm-2)。
|
||||
- 12:2xZ 起暂停 b15 rsync(SIGSTOP),b17 第二遍从每目录约 7 分钟加快到约 2 分钟。13:49Z b17 rsync 结束,exit 23 只因 `calibration/S500_n3_002` 一次 rename 输入输出错误;单独重拷该目录(rc 0,大小+mtime 一致,139/139 文件),跳过再一整遍与 sha256 回读,删除热盘副本:`/mnt/data/ming01.wang/embedded-rollout/runs/20261026-C-qwen-screen-17`。留下 207 个 root 所有的 Docker 容器写入文件(80 MB),ming01.wang 无权删除。
|
||||
- 13:51Z `/home` 37 GiB,`wait-resume-3.sh` 自动续跑第 3 部分:两个 Key 均返回 200,每 Key 4 路、合计 8 路、`--retries 2`。b15 rsync 恢复。剩余约 530 次尝试按每次 29 MB 约需 15 GiB,现有余量 7 GiB 加 b15 的 4.6 GiB 仍不够;第 3 部分再次暂停时,把剩余题另开新批次,并把第 3 部分已完成输出冷迁。
|
||||
- 15:01Z glm-1 返回 429 code 1310:"已达到 7 天使用上限,2026-11-02 13:29:59 后可继续使用"(即 11-02 05:29:59Z),glm-2 正常。15:02Z 停第 3 部分(authorized_keys 无残留,无遗留作业),经 `wait-resume-3.sh` 只用 glm-2、4 路续跑。glm-2 在 09:52–13:51Z 单独跑过,累计用量不低于 glm-1,可能很快也触到 7 天上限;之后需管理员开启超额按量付费或提供新 Key。此时第 3 部分完整轨迹 167(PASS 166、FAIL 1),全量合计 511(PASS 483、FAIL 28)。
|
||||
- 21:13–21:37Z 第 3 部分连续出现 5 次 Salty 作业 `failed`、日志为空(作业在启动脚本运行前就失败)、取不回输出,归 `infra` 自动补采;S500_n2_142 连续 3 次用完补采,记入 `redo-in-part4.txt`(共 7 题)。同期其他用户作业正常运行,glm-2 正常。至 21:38Z 第 3 部分完整轨迹 309(PASS 296、FAIL 13),全量 653。
|
||||
- 第 3 部分第 1 次污染命中 S500_n3_056(HTTP 断点续传题)为误报:Agent 构造 `urllib.error.HTTPError("http://x/", ...)` 与 `Request("http://x/f")` 对象做单元探测,并把 `http://` 替换为 `HTTP://` 测试大小写,没有外网请求(只连 127.0.0.1)。规则保持严格,该轨迹排除。
|
||||
|
||||
@ -384,6 +384,8 @@ def salty_runner(job, stage, token, tunnel_key, gateway_port):
|
||||
if (produced / name).exists():
|
||||
shutil.copyfile(produced / name, attempt / name)
|
||||
shutil.copyfile(produced / "setup.log", attempt / "salty-setup.log")
|
||||
# result.tar and its manifest keep what the job returned; the unpacked copy only doubled the attempt.
|
||||
shutil.rmtree(produced)
|
||||
facts.update(returncode=result["returncode"], termination=result["termination"],
|
||||
agent_seconds=result.get("seconds"), tunnels=result.get("tunnels"))
|
||||
except KeyboardInterrupt:
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user