bench cea5cb5415 watchdog: 按线程而非线程组长判定 D 状态,修复链接期误杀
_proc_tree_stat 只读 /proc/<pid>/stat,拿到的是线程组长的状态。实测 ld.lld 组长是
S(futex_wait),但 17 个线程里有 6~16 个 D 在 FUSE 回写(wait_on_page_bit_common /
balance_dirty_pages / fuse_wait_on_page_writeback)。1001 次观测中 59.7% 属于
"组长口径 0、线程口径 >0",于是正在往 JuiceFS 写盘的链接期被判成挂死:日志不涨 +
CPU 空闲 + d_count=0 三条同时成立,long 车道跑满 3600s 被 SIGTERM。

活体证据:efficientnet.v2.l 日志 511 字节连续 11 次轮询不变、CPU 0.0~0.3%,
旧口径 d_count 恒 0(正在累加 stalled_for),新口径 10~11。对照组 raft.large 在
103% CPU 下新口径恒 0,正常编译不受影响;非链接期 hb_compile 897 次采样 0 次命中,
豁免不会泛化。近期 36 次 05-compile 尝试中 24 次 STALLED、约 49.7 机时。

改动:
- 新增 _d_threads(),遍历 /proc/<pid>/task/*/stat 数 D 线程。task/ 含组长自身,
  是原进程级判定的严格超集。只数 D,不把 futex 等待算豁免——每个 hb_compile 常驻
  40+ 个 futex_wait 线程,算进来会让 stall 判定永久失效。
- 接上一直没接线的 io_stall_s(config 里补键并由 base.py 传入)。它此前是死代码,
  因为 d_count 恒 0;这次保持 21600 不下调,避免把误杀换个理由重演。
- 新增 no_progress_ceiling_s(默认 None,仅 base.py 显式开启):stalled_for 与
  io_blocked_for 会互相清零,d_count 抖动时两个阈值都到不了,仿真显示会塌到 24h
  hard_ceiling。它只看"距上次日志增长或 CPU 活动",免疫 D 抖动。默认关闭是因为
  run() 另有 rollout.py / s06_hbm.py 四个调用点,rollout.py 刻意把 stall_s 设成
  hard_ceiling_s(不 stall-kill agent),改默认值会静默腰斩它。
- _proc_tree_stat 与 _d_threads 的 stat 解析一并移入 try:进程/线程随时消失会给出
  空串或截断串,异常冲出轮询循环会跳过 _kill_tree,把子进程留成孤儿。

heartbeat.py:89/93 复用 _proc_tree_stat 的 d_count,其假 STALLED 告警一并修复。
性能:整树多读约 2.2ms/次,24 路并发折合 0.18% 单核。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-09-17 19:51:59 +08:00
..