data-gen-ebd/docs/acceptance.md
amos 94065e75e0 docs: record the architecture fixes, trace5 and the evdev correction
Also keeps the parallel session's note on locally expanded trace samples.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-13 20:41:18 +08:00

82 lines
9.8 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 验收记录
2026-10-12。前半为单任务闭环(frame-decoder、固定 Pi 0.73.1/GLM-5.3、Docker 独立评分、真实原生轨迹与 Salty 持久归档),后半为 [M1 二十题试点](#m1-二十题试点trace4-批次)。项目只做 rollout,不进行模型训练。
## 已通过的实际检查
| 检查 | 实际结果 | 证据边界 |
| --- | --- | --- |
| 本地回归 | 41 tests PASS / 7.997 秒 | Docker 控制分支部分使用 mock,本地 SDK 因缺依赖跳过 |
| 新镜像内 Pi SDK | 9 tests PASS、0 skip / 2.131 秒 | 真实 pinned SDK 与本地 HTTP/SSE 服务;包含工具反馈和超限关闭连接 |
| 新镜像 Docker 校准 | 四类样例各五次,20 trials PASS;清理 confirmed | 真实 Docker 评分容器、编译器与降权候选,不使用 host 回执授权 |
| Salty CPU readiness | 三个探针 succeeded、0 GPU | 固定 VPC 镜像拉取、Node/Pi 版本、adapter 摘要、个人盘和模型 TLS |
正式镜像 manifest digest:`sha256:8fefefc607a28765d87da4f6b14f7dec19a97b35c3fa38e86b6b12590235e227`。adapter SHA-256:`8e023f161cb6776ffefb1e0924b26d7cfccff8c1aab38d623738d41a31736ccb`。Salty 最终探针打印相同摘要;三个精确作业与文件已删除,目录 listing 为空。
| 校准样例 | 重复数 | 结果 | 每次行为检查 |
| --- | --- | --- | --- |
| gold | 5 | 5 PASS | 87 |
| template | 5 | 5 FAIL | 第 3 项拒绝跨分片缺陷 |
| noop | 5 | 5 FAIL | 第 2 项拒绝无功能实现 |
| cheat | 5 | 5 FAIL | 第 1 项拒绝伪造输出 |
87 项覆盖合法长度 0–16、完整及逐字节分片、不完整输入、CRC 失败后恢复、非法长度和十六进制输入。负例在首个失败行为停止,不将其检查数写成 87。
36 校准目录:`runs/calibration-c9df286ffd4149038b6b8e003518850e`。task digest:`9ed02c0a509375f2b6a6a4a35a1c05d954ac16789c573b0b066f5d3da50e6375`;verifier digest:`8dbe11cc0ff254e6a7bcbbec94b6b452d6382c028e2dfeff7a9b830e7d0106ef`。正式归档保留原始校准回执和文件摘要。
## 现场发现和修复
先 chmod 再 chown,修复移交构建目录所有权后无 CAP_FOWNER 的权限故障;tmpfs 显式 exec/nosuid/nodev,修复 Docker 默认 noexec 阻止候选执行。两项修复由新镜像完整校准证明,没有扩大评分 capability。
第一次真实模型会话多轮 HTTP 200 和工具已运行,但累计 message_update 快照把 stdout 增长到 240944292 字节。精确中断自身 controller 后 UNVERIFIED、cleanup confirmed,不计完整轨迹。adapter 保留原始增量和完整 message_end/request/session entries,写前限制 16 MiB并主动 abort;真实 SDK 超限测试证明连接关闭、仅一次请求、唯一失败终态。
第 9 项 SDK 用例最初错误假定 model_request 后不会排队写 user message_end,只修正测试,确认 payload 超限未发 HTTP 后重新 9/9 PASS。临时失败产物在保留 [故障摘要](runtime-failures.json) 后删除。
## 真实会话与归档
修复后的真实 Pi/GLM-5.3 会话已 PASS:8 轮模型调用、10 个工具反馈都进入后续输入,原生证据 VERIFIED,候选独立 87 项检查 PASS。Agent exit 0,container/proxy/network cleanup confirmed。归档入口按 [合同](artifacts.md) 重验身份、候选、独立 grade 和 host/native/broker 因果证据;其 6 个边界测试包含完整 PASS/FAIL、篡改拒绝、显式 allowlist、秘密排除、不覆盖和失败部分输出清理。
事实回执见 [rollout-receipt.json](rollout-receipt.json);原件为 [封存包](../artifacts/rollout-20261012-dae6bc17.tar.gz):239832 字节、16 个原件与 manifest,每个摘要复核通过。native 1214876 字节,SHA-256 `15b4ce67e0a0bc7ce950958fa01b146523aee4ae79820240b17744b1e6515728`。归档 SHA-256 `0caf199e4afe97001d520269a3a1e06e4c839827dbab9f4df94bb615f18f04e8`。
Salty `personal:/embedded-rollout/rollout-20261012-dae6bc17.tar.gz` 已上传并下载复核同一 SHA;目录只保留这一稳定文件,临时下载已删除。新校准回执 SHA-256 `3c890e8aabcd75ce10bd94fc71a619b795fd2374bcaed2a9362fb1ac4b45217a`,最终候选摘要 `a17f2fd266db126ff9e693d0aab91e74d9e07ab76e616dc88e5142de0c936988`。
24 个本次容器现场复核 0 残留,专属网络不存在;旧本地镜像、失败尝试、旧校准、workspace/grader 副本已清。CCR旧试验版本精确 digest 删除被拒绝,HTTP 401,仍保留远端版本;[官方删除流程](https://cloud.baidu.com/doc/CCR/s/qlx02rpmr) 需要控制台/API管理能力,未改共享仓库。实际 rollout 与无网 grade 使用 36 Docker;Salty 正式 Agent 后端和扩量尚未验收。
## Qwen 接入与五字段导出补验
2026-10-12,新 adapter 镜像完整 20 次 Docker 校准 PASS;Qwen `qwen3.8-27b-nvfp4` 的真实 Responses 会话正常完成,7 次模型请求、6 个工具反馈进入后续输入,原生证据 VERIFIED,独立 87 项行为检查 PASS。原任务与 verifier 摘要保持上述 v1 身份。首次校准有一次 gold 超时,未启动模型,重新完整校准通过才准入。
36 最终全量 Python 回归 exit 0:57 项运行,56 项通过、1 项因 host 未安装 Node 跳过,耗时 19.838 秒。新镜像内实际 pinned Pi SDK 的 11 项检查全部通过、0 跳过;本地受影响的 30 项检查通过。原始可信 verifier/gold 的全部 87 组 argv、stdout、退出码与冻结数据快照逐项复核一致。
新增 [任务 JSONL](../artifacts/frame-decoder.jsonl) 只有一条五字段任务记录,87 个用例不是 87 道题。新的 [Qwen 封存包](../artifacts/rollout-20261012-qwen-655f8f99.tar.gz) 为 194636 字节,17 个证据文件和 manifest;全部摘要匹配,Salty 上传后下载摘要一致。SHA-256 为 `7b78a8a88856976fd0beb134564aec66328dea35453b207734f6fcef4539cd5b`。原 GLM 封存文件不改写。
接口布局与 UltraData 五字段一致,首题保留明确的 `call_type=argv`/退出码扩展,不能直接交给其标准 stdin 评测器。首题归类 SMOKE_ONLY,仅证明链路回归通过;主采集池难度和数据价值仍需面向明确目标模型的重复测量。完整事实与临时验收异常见 [qwen-trial-receipt.json](qwen-trial-receipt.json),数据合同见 [data-format.md](data-format.md)。
## M1 二十题试点(trace4 批次)
2026-10-12 至 13。20 道 Bos-qiao 导入任务、3 个任务族,固定 Pi 0.73.1/GLM-5.3、runtime trace4(`bench-runtime@sha256:1e195a49f79fb8c68410f689dd2e627d0df63d62cd4de0000ba57bd1daa78e9a`),每题 2 次、4 路并发,`--agent-timeout 3600` 仅防挂死。批次目录 36 `/home/ming01.wang/embedded-rollout/runs/batch-20261012-trace4`,15:05–18:39 UTC 主批次 40 条,18:41–19:21 UTC 对 5 条通道/I/O 故障补采。
| 检查 | 实际结果 |
| --- | --- |
| 任务准入 | 21 道(20 Bos + frame-decoder)用 trace4 重新完整 Docker 校准全部 PASS;Bos 每题 6–10 类样例含多 cheat 与合法替代解 |
| 尝试与完整轨迹 | 45 次尝试,40 条完整(PASS/FAIL、原生证据 VERIFIED、Agent exit 0、cleanup confirmed),每题恰 2 条 |
| 任务结果 | 33 PASS、7 FAIL;firmware-image-boot 13/14、linux-device-abi 10/14、motor-sensor-control 10/12 |
| 每题分布 | 14 题 2/2 PASS,5 题 1/2,S500_n3_152(evdev)0/2;evdev 的 0/2 事后核实为题面漏项(隐藏测试调用 README 未公开的 `process(request)`),不计能力信号,v2 已公开该接口 |
| 独立重判 | 40 条冻结候选在新无网评分容器重判,40/40 与原判一致 |
| 排除 | 5 条:上游 HTTP 500 ×2(首请求)、429 ×2(会话中)、JuiceFS 读凭据 OSError ×1;均未计入,补采后各得完整轨迹 |
| 代理重试 | 补采中 2 条触发上游 `[429, 429, 200]`,Pi 只看到最终响应,证据 VERIFIED |
| 用量与耗时 | 每条平均 1266 秒(p90 1876、max 2397);平均 19.5 次模型请求、18.9 次工具调用;token 合计 55.57M(cacheRead 49.12M、input 3.31M、output 3.14M);费用字段不可用,记 unknown |
| 清理 | 批次与补采结束现场 0 容器、0 网络;中断/停止批次按合同记 unknown 的资源均按名称复核为 0 |
归档:40 份逐条复核封存(每份含全部 candidate_files、template 初态、native/broker/grade 证据与 `call_type=verifier` 五字段行),连同 `report.json` 与 `SHA256SUMS` 打包为 `batch-20261012-trace4.tar`(292280320 字节,SHA-256 `3ed91cea1c35b208dbc0bda1c5b2594a65ab319e2b6778564c60a6317200d62f`)。36 与 Mac 摘要一致、包内 41 项逐个核对通过,上传 Salty `personal:/embedded-rollout/` 后下载复核一致,临时下载已删除。
此前两次批次不计入:trace2 首批(adapter 32000 token 截断与 stdout 部分写入)与 trace3 批次(16 MiB 原生轨迹上限),事实与排除原因见 [progress.md](progress.md),对应回执原样保留。
边界:每题仅 2 个样本,只能给出初步难度信号,不是稳定成功率;稳定 2/2 的题宜作回归,1/2 与 0/2 的题需更多采样并复核失败根因后再定主采集池。批次中代码版本有一次更新(补采部署了代理重试与新的状态归类,主批次 40 条用的是此前版本),原回执未改写。ROS2、rglob 型 Bos 任务与 Salty 正式 Agent 后端仍未准入。36 `/home` 为共享盘,结束时剩余 51 GB(96%),扩量前须确认容量。
## 通用验收边界
只验证受控镜像与固定 Pi adapter 的首轮采集。host broker 独立核对请求摘要,不能替代模型响应和工具实际执行的全部独立取证;工作区仍无磁盘容量配额,扩量前需提供受限 volume。费用未知时保留未知,NOT_TRAIN_READY 为兼容字段,无训练转换或权重更新。
Git 已按用户要求完成五批本地提交,无 remote、无代码 push;仅构建/push 用户授权的容器镜像。执行隔离、原生证据、资源清理和整个项目完成分别验收。详见 [运行审阅](runtime-review.md) 与 [进度](progress.md)。