data-gen-ebd/docs/runtime-review.md

97 lines
8.0 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 运行验收审阅
2026-10-12。本次只审阅和运行受影响的本地回归,不修改源码,不接触凭据、远端机器或已有作业。范围是 rollout 采集,不包含模型训练。
## 当前结论
本轮 **36 Docker 上的单任务真实 Pi/GLM-5.3 rollout 验收通过**。只读核对本机封存归档后,确认同任务与镜像的 20 次校准符合预期、8 次真实模型请求摘要匹配 host broker、10 个工具反馈进入后续模型输入、Agent 正常退出且独立 87 项行为检查 PASS。sealed 回执记录 container/proxy/network cleanup confirmed。Salty 上传后下载摘要由 root 现场复核相同。
首轮真实采集暴露的事件体积问题已修复并使用新镜像重新校准;该中断轨迹仍为 UNVERIFIED,不计入通过样本。这次完成的是一条真实采集、验收、归档链路,不代表 Salty 正式采样后端或二十任务扩量已完成。
## 本轮修复
| 故障 | 最小修复与检查 | 结论口径 |
| --- | --- | --- |
| 临时构建目录交给 UID 65534 后,root 缺少 CAP_FOWNER,随后 chmod 失败 | [verify.py](../tasks/frame-decoder/verify.py) 先 chmod,再 chown;回归模拟失去所有权后 chmod 被拒绝 | 本地回归通过,未增加 capability;最终 sealed 归档中 20 次 Docker 校准符合预期 |
| Docker 的 /tmp tmpfs 默认 noexec,编译成功的二进制不能执行 | [core.py](../rollout/core.py) 的 tmpfs 显式 exec,并保留 nosuid/nodev、128 MiB 容量限制 | 最终 sealed 归档中 gold 五次各 87 项真实编译运行检查 PASS,三个负例各五次 FAIL |
| Pi `message_update` 每个 token 重复保存累计 partial,首轮 stdout 达 240944292 字节,超过 16 MiB 轨迹准入限额 | adapter 改为仅保留 update 的 delta,并保留完整 message_end;按 UTF-8 字节写前限制轨迹总量,预留唯一失败 session_end 并显式 abort | 中断尝试清理已确认;新镜像真实完成轨迹 1214876 字节、VERIFIED,正式任务 PASS |
三项故障签名不同,不能计作同一错误反复修复。前两项分别处理所有权权限和文件系统执行挂载选项;第三项处理累计流式事件导致的体积增长。
失败摘要见 [runtime-failures.json](runtime-failures.json)。root 核对摘要后清理了对应临时目录;此摘要不冒充原始失败轨迹。最终镜像增加的第九项 SDK 测试曾因误认队列末个事件而失败,修正测试改为验证不发送 HTTP、没有 model_payload、仅一个失败终态后通过;这不计作同一生产错误复发。
## 生命周期与凭据边界
- [pi_run.py](../rollout/pi_run.py) 先冻结 image ID,再校验相同任务、verifier 与镜像的 20 次 Docker 校准;不沿用 host 校准。
- Pi 使用本次专属 bridge、proxy、controller 和 attempt。无论正常结束、异常或中断,finally 均关闭 proxy 并尝试删除网络;删除前检查本控制目录的 ownership label,清理不明则回执不能 PASS。
- [model_proxy.py](../rollout/model_proxy.py) 从私有常规文件读取上游 key,固定 HTTPS 上游与模型;Agent 收到非敏感代理地址。代理不转发上游错误正文、鉴权响应头或重定向,只写摘要、状态和大小。停止时关闭已注册的 client/upstream socket 和 listener。
- 正式评分独立无网,grader 文件受保护;编译器与候选均降为 UID/GID 65534,清除补充组,并主动验证该身份不能读取 grader。Agent 容器没有 grader、参考解或 Docker socket。
- 原生 trace 必须与控制端保存的 stdout 一致;payload 摘要须与 host broker 请求一致,每个已结束工具的反馈须出现在后续模型输入。文件存在、HTTP 200 或任务 PASS 单独不能证明真实完整轨迹。
## 实际本地检查
在项目根目录运行:
```text
python3 -m unittest tests.test_pi_run tests.test_frame_decoder -v
Ran 11 tests in 2.591s
OK
exit code: 0
```
覆盖正常、异常及中断时资源回收,坏证据或未知清理降级,固定镜像先于自动校准,payload/反馈比对,FOWNER 修复回归与真实 C 正负例行为。未重复执行 root 已跑的全量回归。
采集限额修复落地后,运行受影响 adapter 检查:
```text
node --test tests/test_pi_adapter.mjs
tests 8
pass 8
fail 0
skipped 0
duration_ms 1232.981375
exit code: 0
```
实际 pinned SDK 与本地模拟 SSE 服务证明:工具执行并进入后续模型输入;完整 message_end 保留;超大流只发一次请求便主动 abort、关闭响应流、留下唯一不完整终态,trace 不超过 16 MiB。这是真实 SDK 行为验证,模型服务仍是本地测试服务,不能算真实 GLM 会话。
## 归档审阅
[archive.py](../rollout/archive.py) 与 [artifacts.md](artifacts.md) 已只读核对。它重新验证任务、实际镜像、校准摘要、最终候选、正式 grade 与 host/native/broker;Agent 正常结束且证据 VERIFIED 的 PASS 和 FAIL 都可归档,中断、基础设施故障与清理未知拒绝。任务失败和轨迹不完整不会混为一类。
归档只包含明确列出的 16 个文件及 manifest,不递归导出 workspace、grader、gold、凭据或项目目录;每项 hash 针对已捕获的字节计算。输出使用 O_EXCL 和 O_NOFOLLOW,不覆盖既有文件;写失败只删除本次创建且 inode 身份仍匹配的未完成输出。本阶段没有发现阻断本轮受控 Pi 归档的问题。六项归档回归由实现 worker 报告通过,本审阅未重复执行;最终实际归档与 Salty 摘要见下。
## 正式封存证据
本审阅从 [封存归档](../artifacts/rollout-20261012-dae6bc17.tar.gz) 内存读取,没有解压、创建临时目录或接触远端。实际 integrity/因果检查退出码 0:
```text
entries: 17 (16 originals + manifest)
manifest_hashes: all 16 matched
calibration: 20/20 expected; same current task
calibration/candidate digests: matched
model_requests: 8; all payload hashes matched broker HTTP 200
tool_results: 10; all feedback consumed by later model requests
native: 1214876 bytes; host stdout identical
grade: {"checks": 87, "status": "PASS"}
controller_status: PASS
cleanup: confirmed
```
- image ID:`sha256:8fefefc607a28765d87da4f6b14f7dec19a97b35c3fa38e86b6b12590235e227`。
- archive:239832 字节,SHA-256 `0caf199e4afe97001d520269a3a1e06e4c839827dbab9f4df94bb615f18f04e8`。
- native:SHA-256 `15b4ce67e0a0bc7ce950958fa01b146523aee4ae79820240b17744b1e6515728`。
- Salty:`personal:/embedded-rollout/rollout-20261012-dae6bc17.tar.gz`;[现场回执](rollout-receipt.json) 记录上传后下载摘要与本机相同,临时下载已删除。密钥值扫描由 root 执行,本审阅不读取密钥。
root 最终全量回归为 41 项 PASS,最终镜像内 SDK 为 9 项 PASS、0 skip;本审阅自身执行的局部检查与输出已单列,不将 root 的远端操作表述为本审阅重复执行。
## 验收边界
当前设计用于受控镜像和固定 Pi adapter 的首轮采集,不能把它当作面向任意恶意 Agent 的取证系统。原生事件由工作容器中的可信 adapter 产生,host broker 独立证明请求摘要;后者不独立证明模型响应正文和所有工具执行事实。工作目录与 stdout/stderr 尚无独立磁盘配额,正式扩量前需给 worker 存储设容量边界。
真实 Docker/Pi/模型采集和本轮归档已通过。Salty 目前证明 CPU 镜像/目录探针与稳定归档保存;Salty 正式 Agent 通道、候选交接、无网独立评分和扩量仍须单独验收。模型训练不在本阶段范围,费用字段缺失仍记 unknown。
## 仓库清理例外
root 在确认旧试验 manifest 与新稳定 manifest 的 HEAD 为 HTTP 200、digest 各自匹配后,精确删除旧 digest 被 registry 拒绝(HTTP 401)。当前接入凭据可 push/pull,尚不能完成这项删除;旧远端试验版本仍保留,本地三个旧别名已清。此权限例外不计作“所有资源已清”,记录见 [infra-receipt.json](infra-receipt.json);新稳定版本未受影响。