data-gen-bpu/docs/board-process-lifecycle.md

33 lines
3.1 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 板端进程生命周期
主机的 `board-<slot>.lock` 只覆盖主机阶段,SSH 退出不保证板上 Python 退出。
2026-09-19 的实测故障是:板端 CPU 算子执行较长,主机 `capture_output=True` 没有实时日志,
看门狗按主机空闲 900 秒终止本地进程组并释放锁;板端留成 PPID=1,重试又在同一板上启动推理。
旧退出函数仅删除临时目录,也无法回收运行中的模型。不能用 CPU 忙证明模型正常推进。
`RemoteSession.bench` 现在上传并调用独立的 `board_guard.py`,用于 07 性能和 08 精度两条入口:
- 守护进程持有 runtime_dir 下 `.board-inference.lock`;子进程继承锁,在未退出时不能再次开测。
- guard 持锁后、启动负载前调用共享 `board_probe.py`,读取逐核 BPU ratio 与已知推理入口。
支持旧 sysfs 布局及 S600 `/sys/devices/system/bpu/bpu0..3/ratio`;发现繁忙返回 `board_busy`,
缺失或坏读数返回 unknown 并拒绝启动。08 每个分块重新准入。
进程识别限于已知执行入口,不把普通日志文件参数当推理,也不声称识别任意第三方进程。
- 主机每 5 秒续租;EOF、30 秒无租约、单次 RPC 3600 秒上限或终止信号,都回收本次进程组。
- 先 TERM,5 秒后 KILL;不因组长先退出而跳过组内其他进程。Linux parent-death signal 在守护进程被 KILL 时终止直接模型子进程。
- 原生运行库在子进程内,不能阻塞守护进程。无法立即清除的内核不可中断进程仍持有板端锁,后续测量失败退出。
- 板端 stderr 实时回传。`board_progress` 是加载、样本、warmup、计时迭代的实际边界;`alive` 只是传输存活,单次 RPC 上限独立计时。
- 成功后清理本次临时目录;失败目录保留 HBM 供定位。已经启动过负载时另有 `guard-result.json`;
busy/unknown 准入拒绝未启动负载,其原因记录在 stderr。日志记录 session 路径,结果记录 `board_guard_version`。
- 性能阶段等 10 分钟仍繁忙,拒绝生成新的性能数值。历史 `contended` 数据保留原始证据,不能静默改成正常测量。
- 性能采样也使用相同逐核读取函数;`bpu_util` 为每次逐核平均后再按时间采样平均,并除以100。
任一样本未知时该值为 null;原始逐核值和路径保留最近100次,另记全程采样数。
验证:`PYTHONPATH=. python3 -m unittest scripts.test_board_runtime scripts.test_board_guard`。
Linux 上的 guard 测试会真实注入断连、停止续租、超时、TERM/KILL 和锁争用;不访问 SSH/BPU。
本地 macOS 会跳过 Linux 进程测试,应额外在 Linux 隔离临时目录执行。
部署走 `scripts/sync.sh`,默认只预览;显式目标和新生成的 baseline 必须经审查后才能 `--apply`。
`--files` 同样核对本地版本、目标及远端受管前像,漂移就拒绝,不绕过未合并差异。
此次不向运行中的原目录同步,部署窗口及归并步骤见 [迁移说明](portability.md)。旧进程不会自动
加载新 Python 源码;现役任务的结果须分别检查,不得宣称旧进程已换代。