data-gen-bpu/docs/board-process-lifecycle.md

2.5 KiB
Raw Blame History

板端进程生命周期

主机的 board-<slot>.lock 只覆盖主机阶段,SSH 退出不保证板上 Python 退出。 2026-09-19 的实测故障是:板端 CPU 算子执行较长,主机 capture_output=True 没有实时日志, 看门狗按主机空闲 900 秒终止本地进程组并释放锁;板端留成 PPID=1,重试又在同一板上启动推理。 旧退出函数仅删除临时目录,也无法回收运行中的模型。不能用 CPU 忙证明模型正常推进。

RemoteSession.bench 现在上传并调用独立的 board_guard.py,用于 07 性能和 08 精度两条入口:

  • 守护进程持有 runtime_dir 下 .board-inference.lock;子进程继承锁,在未退出时不能再次开测。
  • 开始前检查已有 board_bench.py / hrt_model_exec,发现未经守护的推理返回 board_busy。
  • 主机每 5 秒续租;EOF、30 秒无租约、单次 RPC 3600 秒上限或终止信号,都回收本次进程组。
  • 先 TERM,5 秒后 KILL;不因组长先退出而跳过组内其他进程。Linux parent-death signal 在守护进程被 KILL 时终止直接模型子进程。
  • 原生运行库在子进程内,不能阻塞守护进程。无法立即清除的内核不可中断进程仍持有板端锁,后续测量失败退出。
  • 板端 stderr 实时回传。board_progress 是加载、样本、warmup、计时迭代的实际边界;alive 只是传输存活,单次 RPC 上限独立计时。
  • 成功后清理本次临时目录;失败目录保留 guard-result.json 和 HBM 供定位。日志记录 session 路径,结果记录 board_guard_version。
  • 性能阶段等 10 分钟仍繁忙,拒绝生成新的性能数值。历史 contended 数据保留原始证据,不能静默改成正常测量。

验证:PYTHONPATH=. python3 -m unittest scripts.test_board_runtime scripts.test_board_guard。 Linux 上的 guard 测试会真实注入断连、停止续租、超时、TERM/KILL 和锁争用;不访问 SSH/BPU。 本地 macOS 会跳过 Linux 进程测试,应额外在 Linux 隔离临时目录执行。

部署走 scripts/sync.sh。若远端已有其他任务的未合并改动,可以提交本次文件后使用 scripts/sync.sh --files <files...>,仅比较所选文件与上次同步的前像,保存远端备份并校验落盘哈希。 新文件先于引用方安装;不会推进其他文件的同步基线。旧的已启动评测不会重新 import, 新启动的工具子进程会加载修复,无需重启 collector。现役任务的结果须分别检查,不得宣称所有旧进程已经换代。