7.5 KiB
Rollout 架构与验收
本阶段提供一个任务、doctor / calibrate / run 三个 Python 3.9+ 标准库入口、管理 Pi 闭环的 rollout.pi_run controller,以及已有 Pi SDK 的原生 adapter。当前只做真实 rollout 采集,不实现模型训练。完整扩量设计见 rollout-plan.md。
任务包
task.json 身份、环境与执行期限
prompt.md Agent 可见的需求
template/ 缺陷初态
gold/ 可信正确样例
noop/ 无功能样例
cheat/ 伪造或绕过需求的样例
verify.py 正式行为验收器
首题是 C frame-decoder 修复。实际协议与断言以题面和 verifier 为准;它验证软件解析与错误恢复,不证明串口电气或实板通信。样例用于校准验收器,不能作为唯一正确补丁标准。
执行边界
flowchart LR
T[冻结任务] --> W[新候选工作区]
W --> A[Docker Pi Agent 容器]
A <--> P[host 私有模型代理]
P <--> M[GLM-5.3 Chat Completions]
A --> S[冻结最终候选]
S --> V[新无网评分容器]
V --> R[receipt 与证据]
A --> E[原生模型/工具事件与监督日志]
E --> R
控制端持有任务包、正式测试和参考样例;Agent 容器只有候选工作区与只读题面。正式 Agent 镜像不能包含 grader/gold。评分容器挂载只读候选;正式 verifier 另受保护,候选进程不能读取它的测试和预期结果。候选代码也属于不可信执行内容,单纯把 grader 与候选放进同容器、同 UID 并不足以隔离。
Docker grade 使用 --user 0:0,私有 grader 目录0700、verify 文件0600;全部 capabilities 默认移除,仅 grader 容器增加 SETUID/SETGID/DAC_OVERRIDE/CHOWN。grader 使用 python3 -I,编译器与候选降 UID/GID 65534 并清除补充组。运行前主动验证该身份读取 /grader/verify.py 触发 PermissionError,否则 UNVERIFIED。可信 host 样例不降权。36 Docker 29.5.2 上已完成正式镜像 20 次正负例校准并 PASS;原件与清理详情见 acceptance.md。
doctor 显示 Python 版本并检查 Docker 命令/daemon,不验证镜像或 C 编译器。calibrate 分别验 gold/template/noop/cheat,各在新工作区重复五次;可信 host 后端只供维护本仓库样例,实际调用编译器和候选程序。run 将已有 Agent 的 argv 放进 Docker,再对最终 decoder.c 独立评分。缺 Docker 时不能退回 host 执行 Agent。
run --calibration 接收校准 attempt 目录,必须校验同 task/verifier/image 身份、Docker 后端、20次完整试验及整体 PASS。缺 C 编译器的可信校准记 UNVERIFIED,不能把环境缺失当任务失败。
Pi 工作容器固定 2 GiB、1 CPU,--agent-timeout 默认 900 秒,独立于评分期限;评分容器固定 512 MiB、1 CPU,首题 timeout_seconds=15 用于每次 grade。用户当前不设费用或模型轮数上限,执行超时防止挂死,不能记作费用预算。扩量前按真实耗时、峰值与轨迹体积测容量。
模型通道与 Salty
Pi 0.73.1 使用固定 GLM-5.3 Chat Completions,模型能力与请求设置由 adapter 明确记录;不新增 Responses 后端。可信 host 从私有文件读上游 key,本次专用 Docker bridge 上的代理只接受该网络来源,不监听公网。Agent 不持有上游 key,只接收 --model-base-url 的非敏感地址;当前 Pi adapter 要求 IP 形式 HTTP URL。--agent-network 引用已创建网络,控制端核对证据后回收 proxy 和网络。
Pi controller 用私有凭据文件路径启动 ModelProxy,固定 provider、请求路由和 GLM-5.3。controller 创建带所有权标签的新网络、自动校准或验证已有回执,运行固定 Pi argv;结束时停止 proxy、核对仅属本次的 network 与容器清理,保存 controller receipt。普通调用不手工传代理地址或网络。
Pi 原生轨迹输出 /trace/native.jsonl:header 中记录模型、system prompt 和工具 schema;每轮记录 context、wire payload、HTTP 状态、原生事件及 session entries/end。自动压缩、重试与外部扩展关闭,工具固定 read/edit/write/bash。控制端在容器退出并确认清理后检查轨迹常规文件及大小、计算摘要;AVAILABLE 只表示文件可读,不能代替语义与因果验收。真实采集需要核对调用 ID、结果和后续输入,缺费用字段记未知。
controller 另对原生文件与 host 保存的 stdout 逐字节核对,将 model payload 摘要和顺序与 host broker 观察记录对账,并检查每个工具结果进入后续 model request。pi_evidence=VERIFIED 与任务 PASS 分开;总体 PASS 还要求 Agent 正常结束和 cleanup confirmed。Agent 内文件可以被其工具修改,因此保留 host 与 broker 侧证据,不只相信容器内终态字段。
36 Docker 的真实 Pi/GLM-5.3 单任务闭环已通过,Salty 已通过 CPU 镜像/存储探针及合格轨迹归档复核;探针临时资源已清理。实际模型/工具因果证据、独立评分和清理结论见 acceptance.md、现场回执 与 运行审阅,不以本地跳过的 SDK 检查代替镜像内实测。首次异常轨迹不计合格。
当前已验收的正式判分使用 36 Docker。Salty 正式 Agent 后端尚未完成,不假定支持 Secret、嵌套 Docker、无网 grader 或所需 capabilities,不能将 host bridge 代理直接当作可跨平台使用。其 Agent 模型通道、候选交接和清理单独验收,正式测试留在可信评分侧,不上传 Agent 也可读的个人盘。固定镜像身份与清理例外见 onboarding.md。
身份、证据与终态
每个 attempt 创建新目录,保存任务/评分器/初始与最终候选摘要、解析后的实际 image ID、执行 argv、events.jsonl、阶段日志、原生轨迹和 receipt.json。--agent-id 是自报版本标签,需结合 Pi 原生身份与调用证据,不用监督日志替代真实多轮轨迹。回执沿用 NOT_TRAIN_READY 字段,本项目不执行训练转换或权重更新。
| 结果 | 含义 |
|---|---|
| PASS | 有效环境下,所有必需行为断言通过 |
| FAIL | 有效环境下,候选未满足需求 |
| UNVERIFIED | 缺依赖、必需能力或证据,无法裁决 |
| INFRA_ERROR | worker、容器、模型通道等执行故障 |
任务评分与 Agent 终止、清理结果分开保存。超时、异常与中断不删除已有证据;独立命名的工作容器和评分容器在结束时回收。任务或镜像变更要重新校准,不能沿用旧 PASS。
rollout.archive 重新核对 controller、attempt、校准、候选、grade 及 host/native/broker 证据,仅封存显式文件清单,不递归导出工作区或隐藏测试。正常结束、证据 VERIFIED 且清理确认的 PASS/FAIL 均可封存;归档摘要上传后重读核对,合同见 artifacts.md。
不先建设任务队列、共享数据库或硬件调度,不实现训练代码。下一步复用 Bos-qiao trial_runtime_v3 的任务与执行合同,扩大可信采集,并以 M3 的质量与扩量阶段门完成系统验收。
Git 不配置 remote、不 push;用户已授权本项目资源接入和试跑。host 与 Salty 测试产物在核对必要证据后清理,Salty 持久文件集中于唯一个人目录,不动已有作业或其他项目资源。