data-gen-ebd/docs/rollout-plan.md
amos c6435255f9 docs: record the user-specified Git remote
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-13 20:49:41 +08:00

281 lines
30 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 嵌入式软件 Rollout 项目立项方案
日期:2026 年 10 月 12 日,Asia/Shanghai。项目名:`embedded-rollout`。本方案确定研发范围、已有资产、基础设施、实施顺序和验收条件。任务配比、扩量容量和工期是起步建议;实际接入与验收分别见 [onboarding.md](onboarding.md) 和 [acceptance.md](acceptance.md)。
**项目目标是把嵌入式工程问题制作成可复现的软件任务,让已有 Agent 在真实工作区内修改、构建和运行,再由独立验收器判定结果,持续获取更多可追溯的真实 rollout 轨迹和有证据的工程知识。当前不进行模型训练、权重更新、SFT 或在线 RL。**
当前按用户最新范围先做无板卡的软件 rollout。优先恢复并复用 Bos-qiao 任务工厂,以 HWE 补充来源,以 data-gen-bpu 的轨迹质检、资源回收和封存机制作为参考。首批建议 20 条任务。真板、MCU 与真实 BPU 性能需以后单独立项;历史训练讨论不构成本项目实施要求。
首题 frame-decoder 归类 `SMOKE_ONLY`,用于验证采集链路。扩量先对明确目标模型重复测量任务难度,稳定掌握的题留作回归,有能力缺口且可独立验证的工程任务进入主采集池;一次成功不等于稳定掌握或有训练收益。题目统一五字段 JSONL,原生轨迹另留完整证据,合同见 [data-format.md](data-format.md)。
## 1 范围和交付边界
项目交付一条完整链路:**任务准入 → 固定环境 → Agent 多轮操作 → 独立行为验收 → 环境清理 → 原始证据 → 轨迹质检与批次归档 → 采集质量和成本报告**。知识卡只从已核对证据提取,不新增训练流程。
| 首期范围 | 可验收的结果 |
| --- | --- |
| Linux 用户态的协议、文件、线程、资源和错误恢复 | 实际程序在固定输入下输出正确,正常路径和边界路径通过 |
| 构建、链接、依赖和 ARM 交叉编译 | 完整工程构建与链接通过,ELF 架构符合要求;若任务要求运行,另验运行结果 |
| ROS2 节点、topic、service、参数和生命周期 | 用测试节点、PTY 或固定数据产生真实软件通信并断言结果 |
| 图像预后处理、数值转换和 CPU 算法 | 固定输入、数值参考和误差阈值下行为正确 |
| 受支持的 QEMU 或 Zephyr 仿真任务 | 在明确设备模型和软件范围内执行、复位和验收 |
ROS2 数据回放验证的是固定输入下的软件行为;控制策略改变后输入仍固定的回放,不能证明机器人运动闭环。QEMU `virt` 是通用虚拟平台,不能替代 S100P/S600 的完整板级模型。[QEMU 官方说明](https://www.qemu.org/docs/master/system/arm/virt.html)
首期验收范围之外的任务包括物理按键刷机、电气特性、真实 DMA/cache 和中断时序、摄像头硬件通路、功耗、BPU 吞吐与机器人实际运动。这些任务保留来源和缺失条件,待对应实验环境具备后准入。
系统完成按可重复采集、独立验收、轨迹完整和清理判断。Agent 最终修复失败,也可以形成完整有效的 rollout;只有任务成功、会话完整且质检通过的记录才进入成功示范集。失败、环境故障和不完整记录另标原因,不强行筛成成功。
## 2 已有资产和真实成熟度
| 资产 | 已有证据 | 对新项目的用途 | 开工前缺口 |
| --- | --- | --- | --- |
| Bos-qiao 500 任务工厂 | 9 月 14 日批次历史记录,10 月 10 日只读审查:500 条有动态校准和重复检查;304 条有真实教师尝试及独立重判 | 优先复用任务包、`trial_runtime_v3`、工作区重置、模型调用记录和干净验收 | 重验镜像、Agent、服务与预算;建立新批次身份 |
| HWE_harness main | `52e629d64`,5544 条材料,3003 个非 mutation 基础 ID | 新任务来源、领域分类、题面与素材导入 | 补任务环境、输入、构建与逐题行为测试 |
| HWE evaluator 分支 | `b52d3b5c3`,1081 条材料;已有多轮文本生成、L0/L1、报告 | 参考任务加载和报告接口 | 持续工作区工具循环未接通;判分需按必需层执行 |
| 下游 HWE-Bench | 历史清单 4847 runnable,包含静态判分 | 参考已有镜像配方和部分判分实现 | 历史 runnable 不等于完整多轮工程任务;模型路由和行为判定需核验 |
| data-gen-bpu | `c2c52edce`;BPU 的执行、板测、轨迹质检和发布实现;9 月历史记录有少量审核后进入 SFT 数据集的轨迹,并非模型训练证明 | 复用或薄适配原生事件、身份绑定、清理回执、数据筛选和封存 | 任务与 verifier 仍绑定 BPU;通用任务与轨迹合同需适配,训练端不在本项目范围 |
| QEMU probe | S100 V4.0.5、S600 V5.1.0 在 `virt` 中进入 root shell 与 systemd;均 degraded | ARM Linux 软件环境与 disposable overlay 的实验底座 | 尚未接任务注入、执行、验收和恢复;现有 probe 关闭网络 |
| 当前 Mac | 初始清点为 arm64、16 GiB、12 个逻辑 CPU,约 52 GiB 可用;QEMU/Colima 已有;本轮安装 Salty 0.2.3 并本人授权 | 本地开发、审阅和轻量验证,控制 Salty | 本地仍未有 Docker;ROS2/west/ARM 工具链按任务增加 |
| 当前接入资源 | 36 Docker 29.5.2 的校准及真实 Pi/GLM-5.3 单任务闭环通过;Salty VPC 镜像/存储探针和合格轨迹归档复核通过,临时探针已清理 | 沿用已验收的固定镜像、controller 与独立 grade,逐题扩量 | Salty 正式 Agent 后端与 20 题扩量未完成;原件、清理和限制见 [验收](acceptance.md) 与 [资源记录](onboarding.md) |
关键口径必须保持一致:
- HWE 的 5544 是材料数量;其中 2541 是变异材料。基础 ID、来源 URL 和独立根因不是同一计数。731 个优先软件基础 ID、1956 条含变体材料,是筛选池。
- 10 月 12 日 HWE 本地清点中,完整校准任务包和真实多轮行为验收均可证实为 0。这个范围不包括 Bos-qiao 的远端历史成果。
- Bos-qiao 的 500 条全部是软件任务,其中 182 条直接涉及嵌入式机制,318 条为软件支撑;33 条历史来源,467 条原创。不能把这些都称为真实历史故障。
- 304 条真实试跑中成功 62、失败 242;其中 233 条失败被记录为修改前输出预算耗尽。该比例不能直接作为模型能力基线。其余 196 条中,12 条只有 transport 429,184 条尚未试跑。
- 10 月 10 日 17:13 的远端检查发现固定镜像引用缺失,OpenCode 路径和配置不存在,额度暂停标记仍在。后续聊天没有恢复或新跑证据,10 月 12 日远端可运行性需要开工复核。
- 10 月 11 日 HWE mock 的 1/1 通过,仅证明两轮静态反馈与报告落盘。
资产依据:[Bos-qiao 审查索引](/Users/amos/project/embed/data-gen-bpu/reports/bos-qiao-review-20261010/audit-index.json)、[工厂流水线对账](/Users/amos/project/embed/data-gen-bpu/reports/bos-qiao-review-20261010/pipeline-audit.json)、[HWE 清点](/Users/amos/Documents/Codex/2026-10-11/zhe/work/task-readiness-20261012.json)、[QEMU 结果](/Users/amos/project/embed/qemu-probe-20261010/feasibility.json)、[BPU 历史验收](/Users/amos/project/embed/data-gen-bpu/docs/plans/sft-collection-v1/PROGRESS.md)。
## 3 系统结构和一次 Rollout
```mermaid
flowchart TB
S["团队工程问题 / Bos-qiao / HWE / 开源修复"] --> P["任务制作与验收校准"]
P --> R["版本化任务登记"]
R --> C["可信控制端:派发、预算、身份与状态"]
C --> A["独立 Agent 容器:起始工作区与工具链"]
A <--> M["模型服务 / 受控调用代理"]
A --> T["读文件、修改、构建、运行与公开测试"]
T --> A
A --> F["冻结候选源码与产物摘要"]
F --> V["新建独立验收容器:受保护行为测试"]
V --> E["结果、运行日志与清理回执"]
C --> E
A --> E
E --> D["不可变证据与批次索引"]
D --> Q["轨迹质检与内容审核"]
Q --> K["版本化工程知识卡"]
Q --> U["成功示范 / 失败分析 / 未验证记录"]
U --> B["批次质量、成本与覆盖报告"]
B --> C
K --> A
```
Agent 在工作容器里持续行动;LLM 在容器外通过 API 提供推理。控制端掌握正式验收规则、任务状态、运行时限和资源身份。Agent 可运行公开自测,最终交卷后由新建干净环境裁决。采集迭代只改变显式记录的任务、环境或模型配置,不进行模型更新。
一次尝试按以下顺序执行:
1. 领取具备准入证据的任务,冻结模型、Agent、工具、环境、输入、测试和运行配置。
2. 从固定模板创建独立工作区,检查依赖与资源就绪。每个 attempt 使用独立名称、路径和端口。
3. Agent 根据真实反馈反复读取、修改、构建、运行。每个工具调用及对应结果写入原始事件流。
4. 交卷、超时或中断时冻结最终候选,同时保留修改前后源码、产物摘要和终止原因。
5. 独立 verifier 在干净环境中重建或检查候选,执行该任务所有必需验收项。
6. 超时或正常结束后回收进程与临时资源,记录清理回执;清理状态未知的执行资源先隔离。
7. 原始证据封存后生成轨迹候选和知识卡。失败、未验证和不完整记录保留原有事实与排除原因。
不把正式评分测试、参考解、模型凭证或控制端 Docker socket 暴露给 Agent。保留目录结构和完整工程文件,避免只提取单个代码块或文件 basename。
## 4 部署选择和 Salty 接入
**已完成 36 Linux Docker 的 Pi/GLM-5.3 单任务真实闭环,以及 Salty CPU 镜像/存储探针和合格轨迹归档复核;Salty 正式 Agent 后端再按能力准入。** 两类部署沿用同一任务和证据合同,报告分别标记后端与环境版本。
| 部署阶段 | 运行方式 | 准入条件 |
| --- | --- | --- |
| 单任务真实接入 | 36 Docker 中运行 Pi 0.73.1、GLM-5.3 与新的无网 grade 容器 | 固定镜像、完整 20 次校准回执、私有模型代理、原生工具反馈和清理 |
| 恢复现成工厂 | 沿用 v3 的任务与执行合同,逐题导入 | 快照、固定镜像与任务行为重校准;不直接复制整个旧平台 |
| Salty 正式采集 | Salty Agent 作业与可信独立 grade 环境交接候选 | CPU 探针、模型安全通道、原生轨迹、候选身份、取消与清理;无网 grade 能力未确认时留在 36 |
| 特殊 VM 任务 | 通过受管 QEMU worker 提供执行通道 | 平台支持所需启动方式与资源;具备文件注入、health/reset 和日志采集 |
Salty 使用预先构建并上传的镜像。不要默认 Salty 容器内部能启动第二层 Docker、拥有宿主机 socket、支持 privileged 或 KVM。若平台没有受控嵌套执行能力,采用分开的普通作业或外部 Linux worker;保持 Agent 与正式评分器隔离。[Salty 操作规范](/Users/amos/.codex/skills/salty/SKILL.md)
本步 Pi 使用 Chat Completions;上游 key 只保存在 host 私有文件与可信代理内,代理绑定本次专用 Docker bridge、限制来源且不开放公网。工作容器 2 GiB/1 CPU,默认 900 秒防挂死;grade 512 MiB/1 CPU、首题 60 秒。用户当前不设费用或模型轮数上限,用量和费用按实际记录。
单任务入口为 `python3 -m rollout.pi_run`,自动管理校准、专用网络/代理、固定 Pi argv、独立 grade 与 host 原生证据对账。私有 key 仅通过 `--credential-file` 路径供给可信控制端,不进 Agent;准确命令见 [README](../README.md)。新 runtime tag 为 `embedded-rollout-20261012-pi0731-trace2`,正式按 [onboarding](onboarding.md) 记录的 manifest digest 冻结,不以标签代替身份。
Salty CPU 探针已拉取同 digest 并执行 Node v22.23.3/Pi 0.73.1,探针作业和文件已清理;合格归档上传后下载 SHA-256 核对一致,事实链见 [现场回执](rollout-receipt.json)。公开文档未确认 Secret、workload identity、network-none 或 capability 配置,明文 `-e/--env-file` 不供给 key。两个独立 jobs 若能读取同个人盘,也不能保护隐藏测试;verifier/gold 留在可信控制端。持久内容只用 `personal:/embedded-rollout`,不动已有作业或其他目录。
## 5 最小任务合同
每条正式任务应至少具备以下材料,不能只交付 prompt:
| 材料 | 必填内容 |
| --- | --- |
| 任务身份 | task_id、version、领域、根因或任务族、来源与授权范围 |
| 需求与边界 | 目标行为、允许修改范围、接口约束、目标平台、明确不覆盖的硬件行为 |
| 起始状态 | 完整工程模板、源码版本和摘要;修复题有已知故障版本,开发题可从空工程起步 |
| 环境身份 | 镜像 digest、CPU 架构、工具链、ROS/SDK 版本、内核要求和资源估计 |
| 输入 | fixture、模型或数据文件、测试消息、种子和摘要 |
| 执行合同 | setup、build、run、公开 test、submit、reset、cleanup 的入口与期限 |
| 正式验收 | 独立 protected tests、必须完成的层、数值容差或行为断言、测试版本摘要 |
| 校准证据 | 正确解、原缺陷或缺失功能、空实现、作弊和合法替代实现的预期结果 |
| 数据归属 | 原工程与根因族、公开或私有范围、split 分组键、证据与产物保存规则 |
新建薄的任务适配层,统一 `prepare / execute / submit / evaluate / reset / cleanup / collect`。保持 BPU 专用 job 与门槛原有语义;按领域调用对应 verifier,不用一个通用退出码代替所有验收。
## 6 任务从哪里来以及如何扩量
首批建议由 20 条组成:协议和资源管理 6 条、构建 4 条、ROS2 软件通信 6 条、数值或预后处理 4 条。配比在恢复盘点后按可用任务调整;优先保证少数任务族的完整性。
| 优先级 | 来源 | 制作方式 |
| --- | --- | --- |
| 1 | Bos-qiao 已有正式任务包 | 恢复原快照与环境,重新校准代表任务;优先直接涉及嵌入式机制的部分 |
| 2 | 团队源码、工单和修复记录,包括合作团队提供的工程题 | 固定修复前后状态,替换无法接入的输入源,保留接口、约束和工程难点 |
| 3 | HWE 的优先软件材料 | 以完整工程和行为测试补齐合同,同一模板与变异按族归并 |
| 4 | 开源项目 issue、修复 PR 和现有测试 | 冻结提交、复现原问题、验证补丁与替代实现、明确依赖 |
| 5 | 社媒和论坛线索 | 先进入调查队列,取得源码、版本、输入和验收材料后再转任务 |
首轮 ROS2 优先复用工厂原有 Jazzy 环境;HWE 中其他 ROS 版本的材料按原约束另建镜像,不混用依赖。协议类保留 PTY、字节流、错误恢复和资源释放等软件难点。数值类标注只能证明算法结果,不能证明 BPU 性能。
每个任务族的首题制作环境与 grader,后续共享环境,但应增加不同根因或需求。任务生产报告同时记录候选数、校准准入数、独立任务族、准备工时和淘汰原因。先积累两个成熟任务族,再按测得成本扩大范围。
## 7 验收和判分
校准要先于 Agent 采集。首批每题至少验证:正确实现通过,原缺陷或缺功能实现失败,空实现失败,删除工作负载或伪造输出失败;约束允许时合法替代解通过。恢复初态后重复执行,建议沿用工厂已有五次校准规则。
| 任务 | 需要验收的行为 |
| --- | --- |
| 构建修复 | 真正编译和链接,依赖完整,目标 ELF 架构正确;不能只有 syntax-only |
| 协议和资源 | 分包粘包、长度边界、错误输入后恢复、资源回收、正常回归 |
| ROS2 | 实际节点启动、发送与接收消息、topic/service/参数行为、退出清理 |
| 数值处理 | 精确输入和可信参考、容差、溢出/空输入/异常值等适用边界 |
| QEMU 软件任务 | 指定 guest 执行、输入注入、输出断言、overlay 重置和重复 |
| 后续真板 | 候选产物和板端实际运行绑定、相应硬件测量及基线恢复 |
正式结果分开记录:
- `PASS`:具备有效环境,所有必需行为验收通过。
- `FAIL`:有效环境中候选行为不满足需求。
- `UNVERIFIED`:缺依赖、测试跳过、执行环境不支持任务必需能力或证据不完整,无法裁决。有效环境中 Agent 未能完成任务计为 `FAIL`。
- `INFRA_ERROR`:镜像、API、worker 或运行环境故障。另记录执行终止、数据完整性和 cleanup 状态。
任务状态使用 `candidate → assets_ready → calibrated → rollout_ready → sampled → curated → published`。通过记录应绑定 task、candidate、environment 和 verifier 四种摘要。必需测试未执行时关闭成功门。
当前 HWE 的 `return rc is not None`、空检查 exit 0、L1 skip 后仍 pass 等逻辑必须由新任务准入和行为 verifier 挡住。原有 L0 可用于辅助诊断,不能作为统一最终成功门。[当前行为检查模板](/Users/amos/project/embed/HWE_harness/tools/case_generator/transform/check_generator.py:266)
## 8 基础设施清单
### 8.1 第一阶段必须具备
已有主机和平台配额优先复用,正式吞吐由首批测量决定。本项目使用外部模型 API,不要求训练 GPU、基座权重或 checkpoint 存储。
| 基础设施 | 最小配置或交付物 | 当前状态 | 就绪验收 |
| --- | --- | --- | --- |
| Linux 执行或构建主机 | 复用 36 Docker;工作 2 GiB/1 CPU,grade 512 MiB/1 CPU,磁盘按峰值测量 | Docker 29.5.2,首题校准、真实模型、无网 grade 与清理已通过 | 新任务或环境重新校准;不把单任务闭环外推为 20 题完成 |
| Salty 账户与 CPU 作业 | 探针用 CPU、0 GPU,资源按作业实测 | 0.2.3 本人授权成功,VPC 镜像/存储探针和归档复核通过,探针已清理 | 正式 Agent 再验模型通道、候选交接及独立评分 |
| 镜像构建与仓库 | CCR namespace `algo`,公网构建端和 VPC 作业入口;固定 digest | 新 runtime 构建与公网 push 成功,同 digest Salty VPC pull 执行成功 | 按固定身份复跑;后续环境变化重新校准 |
| 环境镜像 | Linux 工具链镜像、工厂匹配的 ROS2 镜像;数值依赖按任务包固定 | 有历史镜像引用和部分配方 | gold 与负例在正式镜像中校准通过 |
| 已有 Agent | Pi 0.73.1、固定工具 schema、工作区、原生 adapter 与 controller | 镜像内 SDK 检查与真实 GLM/Pi 因果证据通过;HWE 文本后端不替代工具 Agent | 每次采集核对调用、结果、后续输入与正常终态 |
| 模型服务与用量 | GLM-5.3 Chat Completions;实际模型、请求、token 和耗时 | 用户已提供服务并授权本项目调用,费用与轮数暂不设上限 | 真实工具请求、终止与用量记录有效;缺费用字段记未知 |
| 网络与凭证供给 | host 私有 key、专用 Docker bridge 代理,不开放公网 | Docker 路线按本次试跑验收;Salty 安全模型通道未确认 | 上游 key 不进 Agent/候选/轨迹/作业参数;代理与网络可回收 |
| 独立 verifier | protected tests、干净 build/run、无网终态评分、结构化结果 | Bos v3 有历史实现;每题规则需重验 | gold/noop/buggy/cheat/替代解校准,缺必需层不 pass |
| 控制状态与资源管理 | 单可信控制端、本地盘 SQLite 或原有账本、attempt ID、限时、续跑和清理 | v3 与 data-gen-bpu 有可复用机制 | 强制超时与重启不会重复归账或串用工作区 |
| 原始证据存储 | host 独立 controller/attempt;Salty 唯一 `personal:/embedded-rollout` | 合格原件保留 36;Salty 仅一份归档,上传后下载摘要一致,临时内容已清理 | 扩量测容量和留存;每份归档重新核对摘要与去敏范围 |
| 任务和来源登记 | JSON/JSONL manifest 加简单索引,含 family、版本、准入和 split | 原有任务登记可适配 | 查询某条结果能定位任务、输入、验收和候选版本 |
本项目按外部模型 API 采集,worker 使用 CPU;自托管模型与训练算力不在当前资源要求。
Docker 共享宿主内核;CPU 架构、内核能力和用户空间镜像要分别固定。需要 ARM 运行时可用原生 ARM worker 或经校准的用户态仿真;需要客体内核才进入 QEMU 系统任务。[Docker 官方说明](https://docs.docker.com/build/building/multi-platform/)
### 8.2 按软件任务需要增加
| 阶段 | 新增基础设施 | 开始使用的条件 |
| --- | --- | --- |
| ARM 系统任务 | QEMU worker、kernel/rootfs/overlay 缓存、串口或 SSH 通道、版本化 machine 配置 | 一条 guest 内完整构建/运行/验收/重置任务通过 |
| RTOS 软件任务 | 固定 Zephyr/SDK/west、native_sim 或支持的 target、对应测试 | 应用任务校准;声明模拟时间和 MCU 硬件边界 |
| BPU 转换仿真 | 授权 SDK、编译环境、模型、校准与评测数据、参考数值 | 明确目标芯片/SDK,单模型转换与仿真通过 |
| 扩量存储与备份 | 证据容量、去重索引、摘要和恢复材料 | 单任务与批次清理稳定后按实际体积规划 |
Zephyr native_sim 运行的是宿主软件模型,不提供具体 MCU 的完整硬件和真实时序。[Zephyr 官方说明](https://docs.zephyrproject.org/latest/boards/native/native_sim/doc/index.html) 历史讨论中的 labgrid、烧录器、真板夹具和训练算力属于未来另立项目,当前不要求提供或实现。
SQLite、flock 和正在写入的执行账本放在受支持的本地盘;大产物可使用平台共享存储。不要把同一物理板拆成两个独立 state 域同时调度,也不要用数据发布回滚撤销资源和额度账本。
## 9 轨迹和知识产品
每次尝试保存以下信息:
- task/source/family、环境与输入摘要、Agent/模型/工具版本、预算和 attempt 身份。
- 模型实际请求与返回消息、工具 schema、调用 ID、参数、真实 stdout/stderr/退出码、时间戳和公开反馈。
- 文件改动、最终完整工程、构建和部署产物摘要、正式验收原件、终止与清理回执。
- token、请求次数、耗时和费用;缺字段记未知,不能用估算冒充已核算。
原生记录保留真实失败后再修复的过程,归档遵循原生顺序和因果关系,不补写 Agent 没见过的日志。成功示范、失败分析、环境故障、不完整和未验证各有 disposition。
完整轨迹的准入要求来源身份一致、原生模型/工具事件可复核、调用与结果闭合、反馈进入后续输入、会话终止有事实、正式评分和清理绑定、去敏检查通过。成功示范另要求行为 PASS,失败示范保留真实 FAIL;不把环境故障或截断记录充作完整样本。历史 Bos curate 或 `reward_candidate` 标签不自动证明这些条件。
知识卡保存“问题与症状、适用版本、复现步骤、已验证原因或待验证假设、修复、测试证据、未覆盖范围、原始轨迹链接”。起步用 JSONL 和关键词索引;先确认工程师或 Agent 能检索、复现和使用,再按需要增加语义检索。
## 10 采集质量、覆盖和独立复核
20 条试点用于验证采集链路、任务覆盖和制作成本。固定 Agent、实际模型、工具、环境、grader 与运行配置,分别报告任务表现、会话完整性、环境故障和清理;不以小样本成功率推断模型泛化收益。
扩量按**原项目、来源和根因族**归并。gold、mutation、隐式/显式 prompt、相同模板和同一修复的近似版本不得算作多个独立问题。用于独立复核的保留任务不进入 Agent 检索案例或提示示例;当前不创建训练集转换流程。
每个采集批次给出总 attempt、完整轨迹、任务 PASS/FAIL、环境故障、截断、重复、人工介入、token、耗时和可获得的费用。缺失字段明确记未知。抽查原始事件重建工具结果进入后续模型输入的顺序,并从固定候选重新运行独立 grader;任何必需证据缺失先修链路再放量。
报告同时列任务族和独立问题分母、有效完整轨迹比例、误宣称成功率、复跑一致性、失败原因和单位产出成本。成功率不要求 100%,但成功门不能跳过必需行为检查,完整门不能跳过原生因果证据。至少两个成熟任务族可按相同合同持续采集后再增加并发。
历史聊天提出过私有知识、SFT、checkpoint 重载和在线 RL;这些是过去的远期设想,当前用户范围只做 rollout。今后如需训练,应另立范围、资源和验收合同,不加入本项目代码、里程碑或基础设施要求。
## 11 实施里程碑和阶段门
建议投入一名平台/Agent 工程师和一名任务/验收工程师;业务工程师按任务族参与评审。人员不足时先做两个任务族。时间是研发估算,始终以阶段门决定进度。
下表的试点时段是成熟任务资产与环境齐备时的起步建议,不是已确认的整体工期。按任务恢复与新制题比例拆分的人日估算,以及另计的平台工作,见 [任务创建标准的工作量](task-authoring.md#6-工作量与实施顺序);先完成 3–5 题恢复试点,再用实测修正。
| 里程碑 | 建议工作量 | 主要工作 | 完成标准 |
| --- | --- | --- | --- |
| M0 恢复和单任务闭环 | 3–5 个工作日 | 快照盘点、恢复或升级镜像、接已有 Agent、独立 grade、预算和证据 | 1 条 gold/负例校准、真实 Agent 工具尝试、终态验收、清理与恢复重跑完整 |
| M1 二十条可信试点 | 1–2 周 | 补任务合同、校准、Salty 适配、完整轨迹、来源分组 | 20 条准入任务及完整尝试;gold/负例/作弊/重置符合预期,硬质检全部通过 |
| M2 持续采集和复用 | 1–2 周 | 真实模型基线、用量统计、续跑、失败隔离、轨迹质检和两个任务族扩量 | 单并发稳定后提升到 2–4;异常后不丢证据、不重复归账,归档可复核 |
| M3 采集质量与扩量验收 | 按试点规模和实测估算 | 来源去重、原生因果复核、独立重判、覆盖/成本报告、稳定批次归档 | 20 条准入任务、至少两个任务族持续采集;完整/失败/故障分母透明,必需证据和评分身份可复跑,临时资源清理确认 |
M1 成功率不是必须达到 100%;必须达到的是任务和数据可信。M1 的任何被采 attempt 缺事件、产物身份或终态验收回执时,先修链路再放量。
当前已通过单任务真实采集、独立验收、清理与归档,首次异常轨迹不计合格;这不代表 Bos-qiao 快照恢复、Salty 正式 Agent 后端或 M1–M3 扩量已完成。实际阶段证据见 [acceptance.md](acceptance.md) 与 [runtime-review.md](runtime-review.md)。
首轮正式试点只锁定一个执行后端、一个 ROS 版本和少量任务族。当前不要求同步建成所有模拟器或板卡平台,也不建设训练框架;M3 是本项目采集系统的完成标准。
## 12 研发分工和成本核算
| 工作包 | 责任与交付 |
| --- | --- |
| 平台与执行 | 版本冻结、v3 恢复、Agent 工具接入、Salty 后端、预算、生命周期和持久化 |
| 任务与 verifier | 任务选择、输入和完整工程、行为断言、校准、来源/根因分组 |
| 数据与知识 | 原生轨迹适配、硬质检、内容审核、release、知识卡与检索 |
| 采集质量与扩量 | 来源去重、模型身份、因果完整性、独立重判、覆盖/用量报告与批次复核 |
| 业务评审 | 验收要求、真实需求、软件抽象边界和知识是否可复用 |
前两个工作包可并行,任务合同和 verifier 的身份接口由同一负责人冻结。轨迹与质检沿用已有机制,先写薄适配,不再建一套大型调度平台。
按试点实测计算:总成本=任务制作人时+镜像与资产恢复+模型 token 费用+CPU/存储+轨迹审核与独立复核。分别报告每条完整轨迹和成功示范单位成本;分母为 0 时报告无法产出,不忽略失败耗费。模型费用缺字段时记未知,不能用 adapter 的占位价格冒充实际计费。
运行时限、资源、并发和“当前无费用/模型轮数 cap”写入批次 manifest。超时或取消时保存在途记录并按合同回收。依据平均耗时、tail latency、峰值内存和有效产出调整资源,不从历史服务器配置推导采购清单。
## 13 开工所需输入与首日动作
当前接入事实已写入 [onboarding.md](onboarding.md):36 上真实 Pi/GLM-5.3 单任务闭环与 Salty 探针、归档复核已通过;具体原始证据见 [rollout-receipt.json](rollout-receipt.json)。Salty 正式 Agent 后端与 20 题扩量尚未完成,以下材料与验收逐步补齐,凭证不写入受版本管理的项目配置或文档:
1. Bos-qiao 任务与 runtime 快照的读取位置、归属和使用权限,精确镜像的恢复来源。无法恢复时明确新环境版本并重校准。
2. 首轮 Linux worker 的访问方式;Salty 账户/namespace、镜像仓库、作业隔离方式和个人输出目录。
3. 固定 Pi adapter、真实 GLM-5.3 身份与 Chat Completions 工具协议、host 私有模型代理和运行期限;当前费用与模型轮数不设上限。
4. 两个优先任务族及业务评审人;合作团队问题附完整源码、输入、修复记录或可观察的通过条件。
5. 原始记录存储容量、去敏保留范围、来源去重与执行身份;只使用 `personal:/embedded-rollout`,本次临时测试内容核对后清理。
首日顺序:冻结资产清单 → 复核现成镜像与 v3 → 选一条最完整的软件任务 → 先跑 gold/负例/重置 → 接 Agent 与真实模型 → 独立终态评分 → 核对轨迹与清理 → 决定首批 20 条清单。
项目最终留下版本化任务集、镜像恢复材料、Pi 执行接口、独立 verifier、可复核原始证据、质检后的批次索引、失败与故障分析,以及覆盖/用量/成本报告。知识卡可作为证据复用的薄层,训练与真板另立范围。用户已授权本项目试跑;Git remote 为用户 2026-10-13 指定的 `origin`(`https://gitea.d-robotics.cc/ming01.wang/data-gen-ebd.git`),只推送 main,不改写已推送历史,不动已有作业,临时资源核对后清理。