97 lines
8.0 KiB
Markdown
97 lines
8.0 KiB
Markdown
# 运行验收审阅
|
||
|
||
2026-10-12。本次只审阅和运行受影响的本地回归,不修改源码,不接触凭据、远端机器或已有作业。范围是 rollout 采集,不包含模型训练。
|
||
|
||
## 当前结论
|
||
|
||
本轮 **36 Docker 上的单任务真实 Pi/GLM-5.3 rollout 验收通过**。只读核对本机封存归档后,确认同任务与镜像的 20 次校准符合预期、8 次真实模型请求摘要匹配 host broker、10 个工具反馈进入后续模型输入、Agent 正常退出且独立 87 项行为检查 PASS。sealed 回执记录 container/proxy/network cleanup confirmed。Salty 上传后下载摘要由 root 现场复核相同。
|
||
|
||
首轮真实采集暴露的事件体积问题已修复并使用新镜像重新校准;该中断轨迹仍为 UNVERIFIED,不计入通过样本。这次完成的是一条真实采集、验收、归档链路,不代表 Salty 正式采样后端或二十任务扩量已完成。
|
||
|
||
## 本轮修复
|
||
|
||
| 故障 | 最小修复与检查 | 结论口径 |
|
||
| --- | --- | --- |
|
||
| 临时构建目录交给 UID 65534 后,root 缺少 CAP_FOWNER,随后 chmod 失败 | [verify.py](../tasks/frame-decoder/verify.py) 先 chmod,再 chown;回归模拟失去所有权后 chmod 被拒绝 | 本地回归通过,未增加 capability;最终 sealed 归档中 20 次 Docker 校准符合预期 |
|
||
| Docker 的 /tmp tmpfs 默认 noexec,编译成功的二进制不能执行 | [core.py](../rollout/core.py) 的 tmpfs 显式 exec,并保留 nosuid/nodev、128 MiB 容量限制 | 最终 sealed 归档中 gold 五次各 87 项真实编译运行检查 PASS,三个负例各五次 FAIL |
|
||
| Pi `message_update` 每个 token 重复保存累计 partial,首轮 stdout 达 240944292 字节,超过 16 MiB 轨迹准入限额 | adapter 改为仅保留 update 的 delta,并保留完整 message_end;按 UTF-8 字节写前限制轨迹总量,预留唯一失败 session_end 并显式 abort | 中断尝试清理已确认;新镜像真实完成轨迹 1214876 字节、VERIFIED,正式任务 PASS |
|
||
|
||
三项故障签名不同,不能计作同一错误反复修复。前两项分别处理所有权权限和文件系统执行挂载选项;第三项处理累计流式事件导致的体积增长。
|
||
|
||
失败摘要见 [runtime-failures.json](runtime-failures.json)。root 核对摘要后清理了对应临时目录;此摘要不冒充原始失败轨迹。最终镜像增加的第九项 SDK 测试曾因误认队列末个事件而失败,修正测试改为验证不发送 HTTP、没有 model_payload、仅一个失败终态后通过;这不计作同一生产错误复发。
|
||
|
||
## 生命周期与凭据边界
|
||
|
||
- [pi_run.py](../rollout/pi_run.py) 先冻结 image ID,再校验相同任务、verifier 与镜像的 20 次 Docker 校准;不沿用 host 校准。
|
||
- Pi 使用本次专属 bridge、proxy、controller 和 attempt。无论正常结束、异常或中断,finally 均关闭 proxy 并尝试删除网络;删除前检查本控制目录的 ownership label,清理不明则回执不能 PASS。
|
||
- [model_proxy.py](../rollout/model_proxy.py) 从私有常规文件读取上游 key,固定 HTTPS 上游与模型;Agent 收到非敏感代理地址。代理不转发上游错误正文、鉴权响应头或重定向,只写摘要、状态和大小。停止时关闭已注册的 client/upstream socket 和 listener。
|
||
- 正式评分独立无网,grader 文件受保护;编译器与候选均降为 UID/GID 65534,清除补充组,并主动验证该身份不能读取 grader。Agent 容器没有 grader、参考解或 Docker socket。
|
||
- 原生 trace 必须与控制端保存的 stdout 一致;payload 摘要须与 host broker 请求一致,每个已结束工具的反馈须出现在后续模型输入。文件存在、HTTP 200 或任务 PASS 单独不能证明真实完整轨迹。
|
||
|
||
## 实际本地检查
|
||
|
||
在项目根目录运行:
|
||
|
||
```text
|
||
python3 -m unittest tests.test_pi_run tests.test_frame_decoder -v
|
||
Ran 11 tests in 2.591s
|
||
OK
|
||
exit code: 0
|
||
```
|
||
|
||
覆盖正常、异常及中断时资源回收,坏证据或未知清理降级,固定镜像先于自动校准,payload/反馈比对,FOWNER 修复回归与真实 C 正负例行为。未重复执行 root 已跑的全量回归。
|
||
|
||
采集限额修复落地后,运行受影响 adapter 检查:
|
||
|
||
```text
|
||
node --test tests/test_pi_adapter.mjs
|
||
tests 8
|
||
pass 8
|
||
fail 0
|
||
skipped 0
|
||
duration_ms 1232.981375
|
||
exit code: 0
|
||
```
|
||
|
||
实际 pinned SDK 与本地模拟 SSE 服务证明:工具执行并进入后续模型输入;完整 message_end 保留;超大流只发一次请求便主动 abort、关闭响应流、留下唯一不完整终态,trace 不超过 16 MiB。这是真实 SDK 行为验证,模型服务仍是本地测试服务,不能算真实 GLM 会话。
|
||
|
||
## 归档审阅
|
||
|
||
[archive.py](../rollout/archive.py) 与 [artifacts.md](artifacts.md) 已只读核对。它重新验证任务、实际镜像、校准摘要、最终候选、正式 grade 与 host/native/broker;Agent 正常结束且证据 VERIFIED 的 PASS 和 FAIL 都可归档,中断、基础设施故障与清理未知拒绝。任务失败和轨迹不完整不会混为一类。
|
||
|
||
归档只包含明确列出的 16 个文件及 manifest,不递归导出 workspace、grader、gold、凭据或项目目录;每项 hash 针对已捕获的字节计算。输出使用 O_EXCL 和 O_NOFOLLOW,不覆盖既有文件;写失败只删除本次创建且 inode 身份仍匹配的未完成输出。本阶段没有发现阻断本轮受控 Pi 归档的问题。六项归档回归由实现 worker 报告通过,本审阅未重复执行;最终实际归档与 Salty 摘要见下。
|
||
|
||
## 正式封存证据
|
||
|
||
本审阅从 [封存归档](../artifacts/rollout-20261012-dae6bc17.tar.gz) 内存读取,没有解压、创建临时目录或接触远端。实际 integrity/因果检查退出码 0:
|
||
|
||
```text
|
||
entries: 17 (16 originals + manifest)
|
||
manifest_hashes: all 16 matched
|
||
calibration: 20/20 expected; same current task
|
||
calibration/candidate digests: matched
|
||
model_requests: 8; all payload hashes matched broker HTTP 200
|
||
tool_results: 10; all feedback consumed by later model requests
|
||
native: 1214876 bytes; host stdout identical
|
||
grade: {"checks": 87, "status": "PASS"}
|
||
controller_status: PASS
|
||
cleanup: confirmed
|
||
```
|
||
|
||
- image ID:`sha256:8fefefc607a28765d87da4f6b14f7dec19a97b35c3fa38e86b6b12590235e227`。
|
||
- archive:239832 字节,SHA-256 `0caf199e4afe97001d520269a3a1e06e4c839827dbab9f4df94bb615f18f04e8`。
|
||
- native:SHA-256 `15b4ce67e0a0bc7ce950958fa01b146523aee4ae79820240b17744b1e6515728`。
|
||
- Salty:`personal:/embedded-rollout/rollout-20261012-dae6bc17.tar.gz`;[现场回执](rollout-receipt.json) 记录上传后下载摘要与本机相同,临时下载已删除。密钥值扫描由 root 执行,本审阅不读取密钥。
|
||
|
||
root 最终全量回归为 41 项 PASS,最终镜像内 SDK 为 9 项 PASS、0 skip;本审阅自身执行的局部检查与输出已单列,不将 root 的远端操作表述为本审阅重复执行。
|
||
|
||
## 验收边界
|
||
|
||
当前设计用于受控镜像和固定 Pi adapter 的首轮采集,不能把它当作面向任意恶意 Agent 的取证系统。原生事件由工作容器中的可信 adapter 产生,host broker 独立证明请求摘要;后者不独立证明模型响应正文和所有工具执行事实。工作目录与 stdout/stderr 尚无独立磁盘配额,正式扩量前需给 worker 存储设容量边界。
|
||
|
||
真实 Docker/Pi/模型采集和本轮归档已通过。Salty 目前证明 CPU 镜像/目录探针与稳定归档保存;Salty 正式 Agent 通道、候选交接、无网独立评分和扩量仍须单独验收。模型训练不在本阶段范围,费用字段缺失仍记 unknown。
|
||
|
||
## 仓库清理例外
|
||
|
||
root 在确认旧试验 manifest 与新稳定 manifest 的 HEAD 为 HTTP 200、digest 各自匹配后,精确删除旧 digest 被 registry 拒绝(HTTP 401)。当前接入凭据可 push/pull,尚不能完成这项删除;旧远端试验版本仍保留,本地三个旧别名已清。此权限例外不计作“所有资源已清”,记录见 [infra-receipt.json](infra-receipt.json);新稳定版本未受影响。
|