Keep retrying the job's SSH tunnel for about five minutes
36's sshd reset new connections during key exchange for a few minutes; three jobs in a row gave up after one try per host and paused the batch. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
parent
b288c37def
commit
078efb55e2
@ -1910,3 +1910,8 @@ Salty CLI及可调用连接工具缺失,BLOCKED_NO_INSTALLED_CLI;未上传
|
||||
- 15:01Z glm-1 返回 429 code 1310:"已达到 7 天使用上限,2026-11-02 13:29:59 后可继续使用"(即 11-02 05:29:59Z),glm-2 正常。15:02Z 停第 3 部分(authorized_keys 无残留,无遗留作业),经 `wait-resume-3.sh` 只用 glm-2、4 路续跑。glm-2 在 09:52–13:51Z 单独跑过,累计用量不低于 glm-1,可能很快也触到 7 天上限;之后需管理员开启超额按量付费或提供新 Key。此时第 3 部分完整轨迹 167(PASS 166、FAIL 1),全量合计 511(PASS 483、FAIL 28)。
|
||||
- 21:13–21:37Z 第 3 部分连续出现 5 次 Salty 作业 `failed`、日志为空(作业在启动脚本运行前就失败)、取不回输出,归 `infra` 自动补采;S500_n2_142 连续 3 次用完补采,记入 `redo-in-part4.txt`(共 7 题)。同期其他用户作业正常运行,glm-2 正常。至 21:38Z 第 3 部分完整轨迹 309(PASS 296、FAIL 13),全量 653。
|
||||
- 第 3 部分第 1 次污染命中 S500_n3_056(HTTP 断点续传题)为误报:Agent 构造 `urllib.error.HTTPError("http://x/", ...)` 与 `Request("http://x/f")` 对象做单元探测,并把 `http://` 替换为 `HTTP://` 测试大小写,没有外网请求(只连 127.0.0.1)。规则保持严格,该轨迹排除。
|
||||
- 22:37Z 第 3 部分在 `/home` 29.9 GiB 处暂停:完整轨迹 330(PASS 316、FAIL 14),全量 674(PASS 632、FAIL 42)。
|
||||
- 每次尝试在热盘保存三份 Agent 产物:`salty/out/result.tar`、其解包目录 `salty/out/result/`、以及复制进 attempt 的工作区与轨迹;解包目录复制完即不再读取。`b288c37d` 在复制后删除解包目录(tar 与 manifest 仍原样保留)。对第 3 部分 360 个已结束尝试逐一核对 result.tar 与 manifest 的 sha256 一致后删除解包目录(0 个不一致),第 3 部分由 11 GB 降到 6.8 GB,`/home` 回到 34 GiB。
|
||||
- 22:42Z 第 5 部分 `runs/20261028-salty-full-5` 启动(`run-5.sh`,选 Key 后只用 glm-2、4 路、`--retries 2`):`JOBS-5` 249 题 = 第 3 部分仍欠的 242 题 + `redo-in-part4.txt` 7 题,校准全部存在。剩余 105 题的校准都在 wt-batch15(`JOBS-6-b15`),等 b15 冷迁完成后改写为冷盘路径再跑;原以为属于 b17 的题实际都已在第 1 部分完成。
|
||||
- 22:44Z 第 3 部分输出冷迁到 `/mnt/data/ming01.wang/embedded-rollout/runs/20261028-salty-full-3`(`migrate-fast.sh`:rsync、大小+mtime、文件数与缺失检查,按用户"尽快恢复"的要求不做冷盘 sha256 回读)。
|
||||
- 23:33Z 第 3 部分冷迁完成:`/mnt/data/ming01.wang/embedded-rollout/runs/20261028-salty-full-3`,10410/10410 文件大小+mtime 一致,热盘副本已删(历时 49 分钟)。
|
||||
|
||||
@ -113,6 +113,15 @@ def connect():
|
||||
if not shutil.which("ssh"):
|
||||
setup.write(b"openssh-client is not installed\n")
|
||||
return None, None
|
||||
# 36's sshd resets new connections for minutes at a time when many arrive at once, so keep trying.
|
||||
for wait in (0, 20, 40, 60, 60, 60):
|
||||
time.sleep(wait)
|
||||
tunnel, host = connect_once()
|
||||
if tunnel is not None:
|
||||
return tunnel, host
|
||||
return None, None
|
||||
|
||||
def connect_once():
|
||||
for host in ssh_hosts:
|
||||
ssh = subprocess.Popen(["ssh", "-n", "-N", "-i", key_path, "-o", "BatchMode=yes",
|
||||
"-o", "ExitOnForwardFailure=yes", "-o", "ServerAliveInterval=15", "-o", "ServerAliveCountMax=4",
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user