33 lines
3.1 KiB
Markdown
33 lines
3.1 KiB
Markdown
# 板端进程生命周期
|
||
|
||
主机的 `board-<slot>.lock` 只覆盖主机阶段,SSH 退出不保证板上 Python 退出。
|
||
2026-09-19 的实测故障是:板端 CPU 算子执行较长,主机 `capture_output=True` 没有实时日志,
|
||
看门狗按主机空闲 900 秒终止本地进程组并释放锁;板端留成 PPID=1,重试又在同一板上启动推理。
|
||
旧退出函数仅删除临时目录,也无法回收运行中的模型。不能用 CPU 忙证明模型正常推进。
|
||
|
||
`RemoteSession.bench` 现在上传并调用独立的 `board_guard.py`,用于 07 性能和 08 精度两条入口:
|
||
|
||
- 守护进程持有 runtime_dir 下 `.board-inference.lock`;子进程继承锁,在未退出时不能再次开测。
|
||
- guard 持锁后、启动负载前调用共享 `board_probe.py`,读取逐核 BPU ratio 与已知推理入口。
|
||
支持旧 sysfs 布局及 S600 `/sys/devices/system/bpu/bpu0..3/ratio`;发现繁忙返回 `board_busy`,
|
||
缺失或坏读数返回 unknown 并拒绝启动。08 每个分块重新准入。
|
||
进程识别限于已知执行入口,不把普通日志文件参数当推理,也不声称识别任意第三方进程。
|
||
- 主机每 5 秒续租;EOF、30 秒无租约、单次 RPC 3600 秒上限或终止信号,都回收本次进程组。
|
||
- 先 TERM,5 秒后 KILL;不因组长先退出而跳过组内其他进程。Linux parent-death signal 在守护进程被 KILL 时终止直接模型子进程。
|
||
- 原生运行库在子进程内,不能阻塞守护进程。无法立即清除的内核不可中断进程仍持有板端锁,后续测量失败退出。
|
||
- 板端 stderr 实时回传。`board_progress` 是加载、样本、warmup、计时迭代的实际边界;`alive` 只是传输存活,单次 RPC 上限独立计时。
|
||
- 成功后清理本次临时目录;失败目录保留 HBM 供定位。已经启动过负载时另有 `guard-result.json`;
|
||
busy/unknown 准入拒绝未启动负载,其原因记录在 stderr。日志记录 session 路径,结果记录 `board_guard_version`。
|
||
- 性能阶段等 10 分钟仍繁忙,拒绝生成新的性能数值。历史 `contended` 数据保留原始证据,不能静默改成正常测量。
|
||
- 性能采样也使用相同逐核读取函数;`bpu_util` 为每次逐核平均后再按时间采样平均,并除以100。
|
||
任一样本未知时该值为 null;原始逐核值和路径保留最近100次,另记全程采样数。
|
||
|
||
验证:`PYTHONPATH=. python3 -m unittest scripts.test_board_runtime scripts.test_board_guard`。
|
||
Linux 上的 guard 测试会真实注入断连、停止续租、超时、TERM/KILL 和锁争用;不访问 SSH/BPU。
|
||
本地 macOS 会跳过 Linux 进程测试,应额外在 Linux 隔离临时目录执行。
|
||
|
||
部署走 `scripts/sync.sh`,默认只预览;显式目标和新生成的 baseline 必须经审查后才能 `--apply`。
|
||
`--files` 同样核对本地版本、目标及远端受管前像,漂移就拒绝,不绕过未合并差异。
|
||
此次不向运行中的原目录同步,部署窗口及归并步骤见 [迁移说明](portability.md)。旧进程不会自动
|
||
加载新 Python 源码;现役任务的结果须分别检查,不得宣称旧进程已换代。
|