data-gen-bpu/docs/board-process-lifecycle.md

3.1 KiB
Raw Blame History

板端进程生命周期

主机的 board-<slot>.lock 只覆盖主机阶段,SSH 退出不保证板上 Python 退出。 2026-09-19 的实测故障是:板端 CPU 算子执行较长,主机 capture_output=True 没有实时日志, 看门狗按主机空闲 900 秒终止本地进程组并释放锁;板端留成 PPID=1,重试又在同一板上启动推理。 旧退出函数仅删除临时目录,也无法回收运行中的模型。不能用 CPU 忙证明模型正常推进。

RemoteSession.bench 现在上传并调用独立的 board_guard.py,用于 07 性能和 08 精度两条入口:

  • 守护进程持有 runtime_dir 下 .board-inference.lock;子进程继承锁,在未退出时不能再次开测。
  • guard 持锁后、启动负载前调用共享 board_probe.py,读取逐核 BPU ratio 与已知推理入口。 支持旧 sysfs 布局及 S600 /sys/devices/system/bpu/bpu0..3/ratio;发现繁忙返回 board_busy, 缺失或坏读数返回 unknown 并拒绝启动。08 每个分块重新准入。 进程识别限于已知执行入口,不把普通日志文件参数当推理,也不声称识别任意第三方进程。
  • 主机每 5 秒续租;EOF、30 秒无租约、单次 RPC 3600 秒上限或终止信号,都回收本次进程组。
  • 先 TERM,5 秒后 KILL;不因组长先退出而跳过组内其他进程。Linux parent-death signal 在守护进程被 KILL 时终止直接模型子进程。
  • 原生运行库在子进程内,不能阻塞守护进程。无法立即清除的内核不可中断进程仍持有板端锁,后续测量失败退出。
  • 板端 stderr 实时回传。board_progress 是加载、样本、warmup、计时迭代的实际边界;alive 只是传输存活,单次 RPC 上限独立计时。
  • 成功后清理本次临时目录;失败目录保留 HBM 供定位。已经启动过负载时另有 guard-result.json; busy/unknown 准入拒绝未启动负载,其原因记录在 stderr。日志记录 session 路径,结果记录 board_guard_version。
  • 性能阶段等 10 分钟仍繁忙,拒绝生成新的性能数值。历史 contended 数据保留原始证据,不能静默改成正常测量。
  • 性能采样也使用相同逐核读取函数;bpu_util 为每次逐核平均后再按时间采样平均,并除以100。 任一样本未知时该值为 null;原始逐核值和路径保留最近100次,另记全程采样数。

验证:PYTHONPATH=. python3 -m unittest scripts.test_board_runtime scripts.test_board_guard。 Linux 上的 guard 测试会真实注入断连、停止续租、超时、TERM/KILL 和锁争用;不访问 SSH/BPU。 本地 macOS 会跳过 Linux 进程测试,应额外在 Linux 隔离临时目录执行。

部署走 scripts/sync.sh,默认只预览;显式目标和新生成的 baseline 必须经审查后才能 --apply。 --files 同样核对本地版本、目标及远端受管前像,漂移就拒绝,不绕过未合并差异。 此次不向运行中的原目录同步,部署窗口及归并步骤见 迁移说明。旧进程不会自动 加载新 Python 源码;现役任务的结果须分别检查,不得宣称旧进程已换代。