2.5 KiB
2.5 KiB
| name | description | metadata | ||
|---|---|---|---|---|
| dev-oom-memory-doubling-20261020 | 10-20 监控子 agent 发现 bench dev 容器 OOM 后重试用同样内存、必然再爆,另有 .bench-session.json.tmp 导致 STAGE_EXECUTOR_EXIT;修复 50f163e(失败后翻倍、上限 128Gi,并排除该临时文件),21:41 热替换生产,salty-prod 已快进 |
|
来源:这是 10-20 20:52 派出的后台监控子 agent 第一轮巡检的结果。它的记录在 scratchpad/monitor/findings.md,体检脚本在 VM 的 /mnt/data/ming01.wang/configs/monitor/infra_check.py(只读,带 --since 参数)。
问题 1:dev 容器内存不够时永远重试失败
- 现象:05 的 efficientnet.b6 在 16Gi 爆了 3 次,06 的 unidepth.v2.vit.l 在 32Gi 爆了 4 次。
- 根因:salty_dev 选内存时只看配置和 05-compile 的 OOM 记录,dev 作业自己失败不算。agent 也调不了内存。
问题 2:上传工作区时临时文件消失导致 STAGE_EXECUTOR_EXIT
- 根因:上传前会列出工作区文件,pi 写会话存档用的临时文件
.bench-session.json.tmp列出后立刻被改名,打包时找不到,命令就报 STAGE_EXECUTOR_EXIT。10-16 以来出现过 3 次。
修复 50f163e:
- remote.json 记下 memory 和 job_state;本轨迹有过 failed 的 dev 作业,下一次内存翻倍,上限 128Gi,stderr 里会告诉 agent 下一次给多少。agent 自己命令出错不算,那种情况容器作业是 succeeded。
- 上传排除名单里加上该临时文件(salty_dev.py 和 terminal.py 两处)。
部署:
- 21:02 先换进测试环境。
- 21:41:37 经用户批准热替换生产,备份在 hotfix-20261020/*.prod.before-devmem:
- salty_dev.py:71bb9256 → b598156d;
- terminal.py:a75f6724 → 8053d63e。
- salty-prod 快进到 50f163e。
- 换完 1 分钟内,新的 dev 回执里已经记了 memory(16Gi / 32Gi),结束的都已删除作业。
- 翻倍这条路径目前只有单元测试覆盖。
子 agent 提出、还没处理的:04 Qwen 每隔几小时会整组暂停约 26 分钟(流中断 300 秒后判为结果不明,然后要等满 request_total_s 1800 秒再加 60 秒)。它建议把 Qwen 组的 request_total_s 调小,因为这是我们自己的服务、不会重复计费。这属于生产配置,要用户来定。流为什么会中断还没查清。
How to apply: 再看到 dev 命令 REMOTE_WORKER_FAILED,先看 usage.log 峰值和回执里的 memory,确认下一次是否翻倍了。相关 salty-06hbm-not-returned-20261020 branch-workflow-20261020