3.1 KiB
3.1 KiB
板端进程生命周期
主机的 board-<slot>.lock 只覆盖主机阶段,SSH 退出不保证板上 Python 退出。
2026-09-19 的实测故障是:板端 CPU 算子执行较长,主机 capture_output=True 没有实时日志,
看门狗按主机空闲 900 秒终止本地进程组并释放锁;板端留成 PPID=1,重试又在同一板上启动推理。
旧退出函数仅删除临时目录,也无法回收运行中的模型。不能用 CPU 忙证明模型正常推进。
RemoteSession.bench 现在上传并调用独立的 board_guard.py,用于 07 性能和 08 精度两条入口:
- 守护进程持有 runtime_dir 下
.board-inference.lock;子进程继承锁,在未退出时不能再次开测。 - guard 持锁后、启动负载前调用共享
board_probe.py,读取逐核 BPU ratio 与已知推理入口。 支持旧 sysfs 布局及 S600/sys/devices/system/bpu/bpu0..3/ratio;发现繁忙返回board_busy, 缺失或坏读数返回 unknown 并拒绝启动。08 每个分块重新准入。 进程识别限于已知执行入口,不把普通日志文件参数当推理,也不声称识别任意第三方进程。 - 主机每 5 秒续租;EOF、30 秒无租约、单次 RPC 3600 秒上限或终止信号,都回收本次进程组。
- 先 TERM,5 秒后 KILL;不因组长先退出而跳过组内其他进程。Linux parent-death signal 在守护进程被 KILL 时终止直接模型子进程。
- 原生运行库在子进程内,不能阻塞守护进程。无法立即清除的内核不可中断进程仍持有板端锁,后续测量失败退出。
- 板端 stderr 实时回传。
board_progress是加载、样本、warmup、计时迭代的实际边界;alive只是传输存活,单次 RPC 上限独立计时。 - 成功后清理本次临时目录;失败目录保留 HBM 供定位。已经启动过负载时另有
guard-result.json; busy/unknown 准入拒绝未启动负载,其原因记录在 stderr。日志记录 session 路径,结果记录board_guard_version。 - 性能阶段等 10 分钟仍繁忙,拒绝生成新的性能数值。历史
contended数据保留原始证据,不能静默改成正常测量。 - 性能采样也使用相同逐核读取函数;
bpu_util为每次逐核平均后再按时间采样平均,并除以100。 任一样本未知时该值为 null;原始逐核值和路径保留最近100次,另记全程采样数。
验证:PYTHONPATH=. python3 -m unittest scripts.test_board_runtime scripts.test_board_guard。
Linux 上的 guard 测试会真实注入断连、停止续租、超时、TERM/KILL 和锁争用;不访问 SSH/BPU。
本地 macOS 会跳过 Linux 进程测试,应额外在 Linux 隔离临时目录执行。
部署走 scripts/sync.sh,默认只预览;显式目标和新生成的 baseline 必须经审查后才能 --apply。
--files 同样核对本地版本、目标及远端受管前像,漂移就拒绝,不绕过未合并差异。
此次不向运行中的原目录同步,部署窗口及归并步骤见 迁移说明。旧进程不会自动
加载新 Python 源码;现役任务的结果须分别检查,不得宣称旧进程已换代。