Also keeps the parallel session's note on locally expanded trace samples. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
9.8 KiB
验收记录
2026-10-12。前半为单任务闭环(frame-decoder、固定 Pi 0.73.1/GLM-5.3、Docker 独立评分、真实原生轨迹与 Salty 持久归档),后半为 M1 二十题试点。项目只做 rollout,不进行模型训练。
已通过的实际检查
| 检查 | 实际结果 | 证据边界 |
|---|---|---|
| 本地回归 | 41 tests PASS / 7.997 秒 | Docker 控制分支部分使用 mock,本地 SDK 因缺依赖跳过 |
| 新镜像内 Pi SDK | 9 tests PASS、0 skip / 2.131 秒 | 真实 pinned SDK 与本地 HTTP/SSE 服务;包含工具反馈和超限关闭连接 |
| 新镜像 Docker 校准 | 四类样例各五次,20 trials PASS;清理 confirmed | 真实 Docker 评分容器、编译器与降权候选,不使用 host 回执授权 |
| Salty CPU readiness | 三个探针 succeeded、0 GPU | 固定 VPC 镜像拉取、Node/Pi 版本、adapter 摘要、个人盘和模型 TLS |
正式镜像 manifest digest:sha256:8fefefc607a28765d87da4f6b14f7dec19a97b35c3fa38e86b6b12590235e227。adapter SHA-256:8e023f161cb6776ffefb1e0924b26d7cfccff8c1aab38d623738d41a31736ccb。Salty 最终探针打印相同摘要;三个精确作业与文件已删除,目录 listing 为空。
| 校准样例 | 重复数 | 结果 | 每次行为检查 |
|---|---|---|---|
| gold | 5 | 5 PASS | 87 |
| template | 5 | 5 FAIL | 第 3 项拒绝跨分片缺陷 |
| noop | 5 | 5 FAIL | 第 2 项拒绝无功能实现 |
| cheat | 5 | 5 FAIL | 第 1 项拒绝伪造输出 |
87 项覆盖合法长度 0–16、完整及逐字节分片、不完整输入、CRC 失败后恢复、非法长度和十六进制输入。负例在首个失败行为停止,不将其检查数写成 87。
36 校准目录:runs/calibration-c9df286ffd4149038b6b8e003518850e。task digest:9ed02c0a509375f2b6a6a4a35a1c05d954ac16789c573b0b066f5d3da50e6375;verifier digest:8dbe11cc0ff254e6a7bcbbec94b6b452d6382c028e2dfeff7a9b830e7d0106ef。正式归档保留原始校准回执和文件摘要。
现场发现和修复
先 chmod 再 chown,修复移交构建目录所有权后无 CAP_FOWNER 的权限故障;tmpfs 显式 exec/nosuid/nodev,修复 Docker 默认 noexec 阻止候选执行。两项修复由新镜像完整校准证明,没有扩大评分 capability。
第一次真实模型会话多轮 HTTP 200 和工具已运行,但累计 message_update 快照把 stdout 增长到 240944292 字节。精确中断自身 controller 后 UNVERIFIED、cleanup confirmed,不计完整轨迹。adapter 保留原始增量和完整 message_end/request/session entries,写前限制 16 MiB并主动 abort;真实 SDK 超限测试证明连接关闭、仅一次请求、唯一失败终态。
第 9 项 SDK 用例最初错误假定 model_request 后不会排队写 user message_end,只修正测试,确认 payload 超限未发 HTTP 后重新 9/9 PASS。临时失败产物在保留 故障摘要 后删除。
真实会话与归档
修复后的真实 Pi/GLM-5.3 会话已 PASS:8 轮模型调用、10 个工具反馈都进入后续输入,原生证据 VERIFIED,候选独立 87 项检查 PASS。Agent exit 0,container/proxy/network cleanup confirmed。归档入口按 合同 重验身份、候选、独立 grade 和 host/native/broker 因果证据;其 6 个边界测试包含完整 PASS/FAIL、篡改拒绝、显式 allowlist、秘密排除、不覆盖和失败部分输出清理。
事实回执见 rollout-receipt.json;原件为 封存包:239832 字节、16 个原件与 manifest,每个摘要复核通过。native 1214876 字节,SHA-256 15b4ce67e0a0bc7ce950958fa01b146523aee4ae79820240b17744b1e6515728。归档 SHA-256 0caf199e4afe97001d520269a3a1e06e4c839827dbab9f4df94bb615f18f04e8。
Salty personal:/embedded-rollout/rollout-20261012-dae6bc17.tar.gz 已上传并下载复核同一 SHA;目录只保留这一稳定文件,临时下载已删除。新校准回执 SHA-256 3c890e8aabcd75ce10bd94fc71a619b795fd2374bcaed2a9362fb1ac4b45217a,最终候选摘要 a17f2fd266db126ff9e693d0aab91e74d9e07ab76e616dc88e5142de0c936988。
24 个本次容器现场复核 0 残留,专属网络不存在;旧本地镜像、失败尝试、旧校准、workspace/grader 副本已清。CCR旧试验版本精确 digest 删除被拒绝,HTTP 401,仍保留远端版本;官方删除流程 需要控制台/API管理能力,未改共享仓库。实际 rollout 与无网 grade 使用 36 Docker;Salty 正式 Agent 后端和扩量尚未验收。
Qwen 接入与五字段导出补验
2026-10-12,新 adapter 镜像完整 20 次 Docker 校准 PASS;Qwen qwen3.8-27b-nvfp4 的真实 Responses 会话正常完成,7 次模型请求、6 个工具反馈进入后续输入,原生证据 VERIFIED,独立 87 项行为检查 PASS。原任务与 verifier 摘要保持上述 v1 身份。首次校准有一次 gold 超时,未启动模型,重新完整校准通过才准入。
36 最终全量 Python 回归 exit 0:57 项运行,56 项通过、1 项因 host 未安装 Node 跳过,耗时 19.838 秒。新镜像内实际 pinned Pi SDK 的 11 项检查全部通过、0 跳过;本地受影响的 30 项检查通过。原始可信 verifier/gold 的全部 87 组 argv、stdout、退出码与冻结数据快照逐项复核一致。
新增 任务 JSONL 只有一条五字段任务记录,87 个用例不是 87 道题。新的 Qwen 封存包 为 194636 字节,17 个证据文件和 manifest;全部摘要匹配,Salty 上传后下载摘要一致。SHA-256 为 7b78a8a88856976fd0beb134564aec66328dea35453b207734f6fcef4539cd5b。原 GLM 封存文件不改写。
接口布局与 UltraData 五字段一致,首题保留明确的 call_type=argv/退出码扩展,不能直接交给其标准 stdin 评测器。首题归类 SMOKE_ONLY,仅证明链路回归通过;主采集池难度和数据价值仍需面向明确目标模型的重复测量。完整事实与临时验收异常见 qwen-trial-receipt.json,数据合同见 data-format.md。
M1 二十题试点(trace4 批次)
2026-10-12 至 13。20 道 Bos-qiao 导入任务、3 个任务族,固定 Pi 0.73.1/GLM-5.3、runtime trace4(bench-runtime@sha256:1e195a49f79fb8c68410f689dd2e627d0df63d62cd4de0000ba57bd1daa78e9a),每题 2 次、4 路并发,--agent-timeout 3600 仅防挂死。批次目录 36 /home/ming01.wang/embedded-rollout/runs/batch-20261012-trace4,15:05–18:39 UTC 主批次 40 条,18:41–19:21 UTC 对 5 条通道/I/O 故障补采。
| 检查 | 实际结果 |
|---|---|
| 任务准入 | 21 道(20 Bos + frame-decoder)用 trace4 重新完整 Docker 校准全部 PASS;Bos 每题 6–10 类样例含多 cheat 与合法替代解 |
| 尝试与完整轨迹 | 45 次尝试,40 条完整(PASS/FAIL、原生证据 VERIFIED、Agent exit 0、cleanup confirmed),每题恰 2 条 |
| 任务结果 | 33 PASS、7 FAIL;firmware-image-boot 13/14、linux-device-abi 10/14、motor-sensor-control 10/12 |
| 每题分布 | 14 题 2/2 PASS,5 题 1/2,S500_n3_152(evdev)0/2;evdev 的 0/2 事后核实为题面漏项(隐藏测试调用 README 未公开的 process(request)),不计能力信号,v2 已公开该接口 |
| 独立重判 | 40 条冻结候选在新无网评分容器重判,40/40 与原判一致 |
| 排除 | 5 条:上游 HTTP 500 ×2(首请求)、429 ×2(会话中)、JuiceFS 读凭据 OSError ×1;均未计入,补采后各得完整轨迹 |
| 代理重试 | 补采中 2 条触发上游 [429, 429, 200],Pi 只看到最终响应,证据 VERIFIED |
| 用量与耗时 | 每条平均 1266 秒(p90 1876、max 2397);平均 19.5 次模型请求、18.9 次工具调用;token 合计 55.57M(cacheRead 49.12M、input 3.31M、output 3.14M);费用字段不可用,记 unknown |
| 清理 | 批次与补采结束现场 0 容器、0 网络;中断/停止批次按合同记 unknown 的资源均按名称复核为 0 |
归档:40 份逐条复核封存(每份含全部 candidate_files、template 初态、native/broker/grade 证据与 call_type=verifier 五字段行),连同 report.json 与 SHA256SUMS 打包为 batch-20261012-trace4.tar(292280320 字节,SHA-256 3ed91cea1c35b208dbc0bda1c5b2594a65ab319e2b6778564c60a6317200d62f)。36 与 Mac 摘要一致、包内 41 项逐个核对通过,上传 Salty personal:/embedded-rollout/ 后下载复核一致,临时下载已删除。
此前两次批次不计入:trace2 首批(adapter 32000 token 截断与 stdout 部分写入)与 trace3 批次(16 MiB 原生轨迹上限),事实与排除原因见 progress.md,对应回执原样保留。
边界:每题仅 2 个样本,只能给出初步难度信号,不是稳定成功率;稳定 2/2 的题宜作回归,1/2 与 0/2 的题需更多采样并复核失败根因后再定主采集池。批次中代码版本有一次更新(补采部署了代理重试与新的状态归类,主批次 40 条用的是此前版本),原回执未改写。ROS2、rglob 型 Bos 任务与 Salty 正式 Agent 后端仍未准入。36 /home 为共享盘,结束时剩余 51 GB(96%),扩量前须确认容量。
通用验收边界
只验证受控镜像与固定 Pi adapter 的首轮采集。host broker 独立核对请求摘要,不能替代模型响应和工具实际执行的全部独立取证;工作区仍无磁盘容量配额,扩量前需提供受限 volume。费用未知时保留未知,NOT_TRAIN_READY 为兼容字段,无训练转换或权重更新。
Git 已按用户要求完成五批本地提交,无 remote、无代码 push;仅构建/push 用户授权的容器镜像。执行隔离、原生证据、资源清理和整个项目完成分别验收。详见 运行审阅 与 进度。