281 lines
30 KiB
Markdown
281 lines
30 KiB
Markdown
# 嵌入式软件 Rollout 项目立项方案
|
||
|
||
日期:2026 年 10 月 12 日,Asia/Shanghai。项目名:`embedded-rollout`。本方案确定研发范围、已有资产、基础设施、实施顺序和验收条件。任务配比、扩量容量和工期是起步建议;实际接入与验收分别见 [onboarding.md](onboarding.md) 和 [acceptance.md](acceptance.md)。
|
||
|
||
**项目目标是把嵌入式工程问题制作成可复现的软件任务,让已有 Agent 在真实工作区内修改、构建和运行,再由独立验收器判定结果,持续获取更多可追溯的真实 rollout 轨迹和有证据的工程知识。当前不进行模型训练、权重更新、SFT 或在线 RL。**
|
||
|
||
当前按用户最新范围先做无板卡的软件 rollout。优先恢复并复用 Bos-qiao 任务工厂,以 HWE 补充来源,以 data-gen-bpu 的轨迹质检、资源回收和封存机制作为参考。首批建议 20 条任务。真板、MCU 与真实 BPU 性能需以后单独立项;历史训练讨论不构成本项目实施要求。
|
||
|
||
首题 frame-decoder 归类 `SMOKE_ONLY`,用于验证采集链路。扩量先对明确目标模型重复测量任务难度,稳定掌握的题留作回归,有能力缺口且可独立验证的工程任务进入主采集池;一次成功不等于稳定掌握或有训练收益。题目统一五字段 JSONL,原生轨迹另留完整证据,合同见 [data-format.md](data-format.md)。
|
||
|
||
## 1 范围和交付边界
|
||
|
||
项目交付一条完整链路:**任务准入 → 固定环境 → Agent 多轮操作 → 独立行为验收 → 环境清理 → 原始证据 → 轨迹质检与批次归档 → 采集质量和成本报告**。知识卡只从已核对证据提取,不新增训练流程。
|
||
|
||
| 首期范围 | 可验收的结果 |
|
||
| --- | --- |
|
||
| Linux 用户态的协议、文件、线程、资源和错误恢复 | 实际程序在固定输入下输出正确,正常路径和边界路径通过 |
|
||
| 构建、链接、依赖和 ARM 交叉编译 | 完整工程构建与链接通过,ELF 架构符合要求;若任务要求运行,另验运行结果 |
|
||
| ROS2 节点、topic、service、参数和生命周期 | 用测试节点、PTY 或固定数据产生真实软件通信并断言结果 |
|
||
| 图像预后处理、数值转换和 CPU 算法 | 固定输入、数值参考和误差阈值下行为正确 |
|
||
| 受支持的 QEMU 或 Zephyr 仿真任务 | 在明确设备模型和软件范围内执行、复位和验收 |
|
||
|
||
ROS2 数据回放验证的是固定输入下的软件行为;控制策略改变后输入仍固定的回放,不能证明机器人运动闭环。QEMU `virt` 是通用虚拟平台,不能替代 S100P/S600 的完整板级模型。[QEMU 官方说明](https://www.qemu.org/docs/master/system/arm/virt.html)
|
||
|
||
首期验收范围之外的任务包括物理按键刷机、电气特性、真实 DMA/cache 和中断时序、摄像头硬件通路、功耗、BPU 吞吐与机器人实际运动。这些任务保留来源和缺失条件,待对应实验环境具备后准入。
|
||
|
||
系统完成按可重复采集、独立验收、轨迹完整和清理判断。Agent 最终修复失败,也可以形成完整有效的 rollout;只有任务成功、会话完整且质检通过的记录才进入成功示范集。失败、环境故障和不完整记录另标原因,不强行筛成成功。
|
||
|
||
## 2 已有资产和真实成熟度
|
||
|
||
| 资产 | 已有证据 | 对新项目的用途 | 开工前缺口 |
|
||
| --- | --- | --- | --- |
|
||
| Bos-qiao 500 任务工厂 | 9 月 14 日批次历史记录,10 月 10 日只读审查:500 条有动态校准和重复检查;304 条有真实教师尝试及独立重判 | 优先复用任务包、`trial_runtime_v3`、工作区重置、模型调用记录和干净验收 | 重验镜像、Agent、服务与预算;建立新批次身份 |
|
||
| HWE_harness main | `52e629d64`,5544 条材料,3003 个非 mutation 基础 ID | 新任务来源、领域分类、题面与素材导入 | 补任务环境、输入、构建与逐题行为测试 |
|
||
| HWE evaluator 分支 | `b52d3b5c3`,1081 条材料;已有多轮文本生成、L0/L1、报告 | 参考任务加载和报告接口 | 持续工作区工具循环未接通;判分需按必需层执行 |
|
||
| 下游 HWE-Bench | 历史清单 4847 runnable,包含静态判分 | 参考已有镜像配方和部分判分实现 | 历史 runnable 不等于完整多轮工程任务;模型路由和行为判定需核验 |
|
||
| data-gen-bpu | `c2c52edce`;BPU 的执行、板测、轨迹质检和发布实现;9 月历史记录有少量审核后进入 SFT 数据集的轨迹,并非模型训练证明 | 复用或薄适配原生事件、身份绑定、清理回执、数据筛选和封存 | 任务与 verifier 仍绑定 BPU;通用任务与轨迹合同需适配,训练端不在本项目范围 |
|
||
| QEMU probe | S100 V4.0.5、S600 V5.1.0 在 `virt` 中进入 root shell 与 systemd;均 degraded | ARM Linux 软件环境与 disposable overlay 的实验底座 | 尚未接任务注入、执行、验收和恢复;现有 probe 关闭网络 |
|
||
| 当前 Mac | 初始清点为 arm64、16 GiB、12 个逻辑 CPU,约 52 GiB 可用;QEMU/Colima 已有;本轮安装 Salty 0.2.3 并本人授权 | 本地开发、审阅和轻量验证,控制 Salty | 本地仍未有 Docker;ROS2/west/ARM 工具链按任务增加 |
|
||
| 当前接入资源 | 36 Docker 29.5.2 的校准及真实 Pi/GLM-5.3 单任务闭环通过;Salty VPC 镜像/存储探针和合格轨迹归档复核通过,临时探针已清理 | 沿用已验收的固定镜像、controller 与独立 grade,逐题扩量 | Salty 正式 Agent 后端与 20 题扩量未完成;原件、清理和限制见 [验收](acceptance.md) 与 [资源记录](onboarding.md) |
|
||
|
||
关键口径必须保持一致:
|
||
|
||
- HWE 的 5544 是材料数量;其中 2541 是变异材料。基础 ID、来源 URL 和独立根因不是同一计数。731 个优先软件基础 ID、1956 条含变体材料,是筛选池。
|
||
- 10 月 12 日 HWE 本地清点中,完整校准任务包和真实多轮行为验收均可证实为 0。这个范围不包括 Bos-qiao 的远端历史成果。
|
||
- Bos-qiao 的 500 条全部是软件任务,其中 182 条直接涉及嵌入式机制,318 条为软件支撑;33 条历史来源,467 条原创。不能把这些都称为真实历史故障。
|
||
- 304 条真实试跑中成功 62、失败 242;其中 233 条失败被记录为修改前输出预算耗尽。该比例不能直接作为模型能力基线。其余 196 条中,12 条只有 transport 429,184 条尚未试跑。
|
||
- 10 月 10 日 17:13 的远端检查发现固定镜像引用缺失,OpenCode 路径和配置不存在,额度暂停标记仍在。后续聊天没有恢复或新跑证据,10 月 12 日远端可运行性需要开工复核。
|
||
- 10 月 11 日 HWE mock 的 1/1 通过,仅证明两轮静态反馈与报告落盘。
|
||
|
||
资产依据:[Bos-qiao 审查索引](/Users/amos/project/embed/data-gen-bpu/reports/bos-qiao-review-20261010/audit-index.json)、[工厂流水线对账](/Users/amos/project/embed/data-gen-bpu/reports/bos-qiao-review-20261010/pipeline-audit.json)、[HWE 清点](/Users/amos/Documents/Codex/2026-10-11/zhe/work/task-readiness-20261012.json)、[QEMU 结果](/Users/amos/project/embed/qemu-probe-20261010/feasibility.json)、[BPU 历史验收](/Users/amos/project/embed/data-gen-bpu/docs/plans/sft-collection-v1/PROGRESS.md)。
|
||
|
||
## 3 系统结构和一次 Rollout
|
||
|
||
```mermaid
|
||
flowchart TB
|
||
S["团队工程问题 / Bos-qiao / HWE / 开源修复"] --> P["任务制作与验收校准"]
|
||
P --> R["版本化任务登记"]
|
||
R --> C["可信控制端:派发、预算、身份与状态"]
|
||
C --> A["独立 Agent 容器:起始工作区与工具链"]
|
||
A <--> M["模型服务 / 受控调用代理"]
|
||
A --> T["读文件、修改、构建、运行与公开测试"]
|
||
T --> A
|
||
A --> F["冻结候选源码与产物摘要"]
|
||
F --> V["新建独立验收容器:受保护行为测试"]
|
||
V --> E["结果、运行日志与清理回执"]
|
||
C --> E
|
||
A --> E
|
||
E --> D["不可变证据与批次索引"]
|
||
D --> Q["轨迹质检与内容审核"]
|
||
Q --> K["版本化工程知识卡"]
|
||
Q --> U["成功示范 / 失败分析 / 未验证记录"]
|
||
U --> B["批次质量、成本与覆盖报告"]
|
||
B --> C
|
||
K --> A
|
||
```
|
||
|
||
Agent 在工作容器里持续行动;LLM 在容器外通过 API 提供推理。控制端掌握正式验收规则、任务状态、运行时限和资源身份。Agent 可运行公开自测,最终交卷后由新建干净环境裁决。采集迭代只改变显式记录的任务、环境或模型配置,不进行模型更新。
|
||
|
||
一次尝试按以下顺序执行:
|
||
|
||
1. 领取具备准入证据的任务,冻结模型、Agent、工具、环境、输入、测试和运行配置。
|
||
2. 从固定模板创建独立工作区,检查依赖与资源就绪。每个 attempt 使用独立名称、路径和端口。
|
||
3. Agent 根据真实反馈反复读取、修改、构建、运行。每个工具调用及对应结果写入原始事件流。
|
||
4. 交卷、超时或中断时冻结最终候选,同时保留修改前后源码、产物摘要和终止原因。
|
||
5. 独立 verifier 在干净环境中重建或检查候选,执行该任务所有必需验收项。
|
||
6. 超时或正常结束后回收进程与临时资源,记录清理回执;清理状态未知的执行资源先隔离。
|
||
7. 原始证据封存后生成轨迹候选和知识卡。失败、未验证和不完整记录保留原有事实与排除原因。
|
||
|
||
不把正式评分测试、参考解、模型凭证或控制端 Docker socket 暴露给 Agent。保留目录结构和完整工程文件,避免只提取单个代码块或文件 basename。
|
||
|
||
## 4 部署选择和 Salty 接入
|
||
|
||
**已完成 36 Linux Docker 的 Pi/GLM-5.3 单任务真实闭环,以及 Salty CPU 镜像/存储探针和合格轨迹归档复核;Salty 正式 Agent 后端再按能力准入。** 两类部署沿用同一任务和证据合同,报告分别标记后端与环境版本。
|
||
|
||
| 部署阶段 | 运行方式 | 准入条件 |
|
||
| --- | --- | --- |
|
||
| 单任务真实接入 | 36 Docker 中运行 Pi 0.73.1、GLM-5.3 与新的无网 grade 容器 | 固定镜像、完整 20 次校准回执、私有模型代理、原生工具反馈和清理 |
|
||
| 恢复现成工厂 | 沿用 v3 的任务与执行合同,逐题导入 | 快照、固定镜像与任务行为重校准;不直接复制整个旧平台 |
|
||
| Salty 正式采集 | Salty Agent 作业与可信独立 grade 环境交接候选 | CPU 探针、模型安全通道、原生轨迹、候选身份、取消与清理;无网 grade 能力未确认时留在 36 |
|
||
| 特殊 VM 任务 | 通过受管 QEMU worker 提供执行通道 | 平台支持所需启动方式与资源;具备文件注入、health/reset 和日志采集 |
|
||
|
||
Salty 使用预先构建并上传的镜像。不要默认 Salty 容器内部能启动第二层 Docker、拥有宿主机 socket、支持 privileged 或 KVM。若平台没有受控嵌套执行能力,采用分开的普通作业或外部 Linux worker;保持 Agent 与正式评分器隔离。[Salty 操作规范](/Users/amos/.codex/skills/salty/SKILL.md)
|
||
|
||
本步 Pi 使用 Chat Completions;上游 key 只保存在 host 私有文件与可信代理内,代理绑定本次专用 Docker bridge、限制来源且不开放公网。工作容器 2 GiB/1 CPU,默认 900 秒防挂死;grade 512 MiB/1 CPU、首题 60 秒。用户当前不设费用或模型轮数上限,用量和费用按实际记录。
|
||
|
||
单任务入口为 `python3 -m rollout.pi_run`,自动管理校准、专用网络/代理、固定 Pi argv、独立 grade 与 host 原生证据对账。私有 key 仅通过 `--credential-file` 路径供给可信控制端,不进 Agent;准确命令见 [README](../README.md)。新 runtime tag 为 `embedded-rollout-20261012-pi0731-trace2`,正式按 [onboarding](onboarding.md) 记录的 manifest digest 冻结,不以标签代替身份。
|
||
|
||
Salty CPU 探针已拉取同 digest 并执行 Node v22.23.3/Pi 0.73.1,探针作业和文件已清理;合格归档上传后下载 SHA-256 核对一致,事实链见 [现场回执](rollout-receipt.json)。公开文档未确认 Secret、workload identity、network-none 或 capability 配置,明文 `-e/--env-file` 不供给 key。两个独立 jobs 若能读取同个人盘,也不能保护隐藏测试;verifier/gold 留在可信控制端。持久内容只用 `personal:/embedded-rollout`,不动已有作业或其他目录。
|
||
|
||
## 5 最小任务合同
|
||
|
||
每条正式任务应至少具备以下材料,不能只交付 prompt:
|
||
|
||
| 材料 | 必填内容 |
|
||
| --- | --- |
|
||
| 任务身份 | task_id、version、领域、根因或任务族、来源与授权范围 |
|
||
| 需求与边界 | 目标行为、允许修改范围、接口约束、目标平台、明确不覆盖的硬件行为 |
|
||
| 起始状态 | 完整工程模板、源码版本和摘要;修复题有已知故障版本,开发题可从空工程起步 |
|
||
| 环境身份 | 镜像 digest、CPU 架构、工具链、ROS/SDK 版本、内核要求和资源估计 |
|
||
| 输入 | fixture、模型或数据文件、测试消息、种子和摘要 |
|
||
| 执行合同 | setup、build、run、公开 test、submit、reset、cleanup 的入口与期限 |
|
||
| 正式验收 | 独立 protected tests、必须完成的层、数值容差或行为断言、测试版本摘要 |
|
||
| 校准证据 | 正确解、原缺陷或缺失功能、空实现、作弊和合法替代实现的预期结果 |
|
||
| 数据归属 | 原工程与根因族、公开或私有范围、split 分组键、证据与产物保存规则 |
|
||
|
||
新建薄的任务适配层,统一 `prepare / execute / submit / evaluate / reset / cleanup / collect`。保持 BPU 专用 job 与门槛原有语义;按领域调用对应 verifier,不用一个通用退出码代替所有验收。
|
||
|
||
## 6 任务从哪里来以及如何扩量
|
||
|
||
首批建议由 20 条组成:协议和资源管理 6 条、构建 4 条、ROS2 软件通信 6 条、数值或预后处理 4 条。配比在恢复盘点后按可用任务调整;优先保证少数任务族的完整性。
|
||
|
||
| 优先级 | 来源 | 制作方式 |
|
||
| --- | --- | --- |
|
||
| 1 | Bos-qiao 已有正式任务包 | 恢复原快照与环境,重新校准代表任务;优先直接涉及嵌入式机制的部分 |
|
||
| 2 | 团队源码、工单和修复记录,包括合作团队提供的工程题 | 固定修复前后状态,替换无法接入的输入源,保留接口、约束和工程难点 |
|
||
| 3 | HWE 的优先软件材料 | 以完整工程和行为测试补齐合同,同一模板与变异按族归并 |
|
||
| 4 | 开源项目 issue、修复 PR 和现有测试 | 冻结提交、复现原问题、验证补丁与替代实现、明确依赖 |
|
||
| 5 | 社媒和论坛线索 | 先进入调查队列,取得源码、版本、输入和验收材料后再转任务 |
|
||
|
||
首轮 ROS2 优先复用工厂原有 Jazzy 环境;HWE 中其他 ROS 版本的材料按原约束另建镜像,不混用依赖。协议类保留 PTY、字节流、错误恢复和资源释放等软件难点。数值类标注只能证明算法结果,不能证明 BPU 性能。
|
||
|
||
每个任务族的首题制作环境与 grader,后续共享环境,但应增加不同根因或需求。任务生产报告同时记录候选数、校准准入数、独立任务族、准备工时和淘汰原因。先积累两个成熟任务族,再按测得成本扩大范围。
|
||
|
||
## 7 验收和判分
|
||
|
||
校准要先于 Agent 采集。首批每题至少验证:正确实现通过,原缺陷或缺功能实现失败,空实现失败,删除工作负载或伪造输出失败;约束允许时合法替代解通过。恢复初态后重复执行,建议沿用工厂已有五次校准规则。
|
||
|
||
| 任务 | 需要验收的行为 |
|
||
| --- | --- |
|
||
| 构建修复 | 真正编译和链接,依赖完整,目标 ELF 架构正确;不能只有 syntax-only |
|
||
| 协议和资源 | 分包粘包、长度边界、错误输入后恢复、资源回收、正常回归 |
|
||
| ROS2 | 实际节点启动、发送与接收消息、topic/service/参数行为、退出清理 |
|
||
| 数值处理 | 精确输入和可信参考、容差、溢出/空输入/异常值等适用边界 |
|
||
| QEMU 软件任务 | 指定 guest 执行、输入注入、输出断言、overlay 重置和重复 |
|
||
| 后续真板 | 候选产物和板端实际运行绑定、相应硬件测量及基线恢复 |
|
||
|
||
正式结果分开记录:
|
||
|
||
- `PASS`:具备有效环境,所有必需行为验收通过。
|
||
- `FAIL`:有效环境中候选行为不满足需求。
|
||
- `UNVERIFIED`:缺依赖、测试跳过、执行环境不支持任务必需能力或证据不完整,无法裁决。有效环境中 Agent 未能完成任务计为 `FAIL`。
|
||
- `INFRA_ERROR`:镜像、API、worker 或运行环境故障。另记录执行终止、数据完整性和 cleanup 状态。
|
||
|
||
任务状态使用 `candidate → assets_ready → calibrated → rollout_ready → sampled → curated → published`。通过记录应绑定 task、candidate、environment 和 verifier 四种摘要。必需测试未执行时关闭成功门。
|
||
|
||
当前 HWE 的 `return rc is not None`、空检查 exit 0、L1 skip 后仍 pass 等逻辑必须由新任务准入和行为 verifier 挡住。原有 L0 可用于辅助诊断,不能作为统一最终成功门。[当前行为检查模板](/Users/amos/project/embed/HWE_harness/tools/case_generator/transform/check_generator.py:266)
|
||
|
||
## 8 基础设施清单
|
||
|
||
### 8.1 第一阶段必须具备
|
||
|
||
已有主机和平台配额优先复用,正式吞吐由首批测量决定。本项目使用外部模型 API,不要求训练 GPU、基座权重或 checkpoint 存储。
|
||
|
||
| 基础设施 | 最小配置或交付物 | 当前状态 | 就绪验收 |
|
||
| --- | --- | --- | --- |
|
||
| Linux 执行或构建主机 | 复用 36 Docker;工作 2 GiB/1 CPU,grade 512 MiB/1 CPU,磁盘按峰值测量 | Docker 29.5.2,首题校准、真实模型、无网 grade 与清理已通过 | 新任务或环境重新校准;不把单任务闭环外推为 20 题完成 |
|
||
| Salty 账户与 CPU 作业 | 探针用 CPU、0 GPU,资源按作业实测 | 0.2.3 本人授权成功,VPC 镜像/存储探针和归档复核通过,探针已清理 | 正式 Agent 再验模型通道、候选交接及独立评分 |
|
||
| 镜像构建与仓库 | CCR namespace `algo`,公网构建端和 VPC 作业入口;固定 digest | 新 runtime 构建与公网 push 成功,同 digest Salty VPC pull 执行成功 | 按固定身份复跑;后续环境变化重新校准 |
|
||
| 环境镜像 | Linux 工具链镜像、工厂匹配的 ROS2 镜像;数值依赖按任务包固定 | 有历史镜像引用和部分配方 | gold 与负例在正式镜像中校准通过 |
|
||
| 已有 Agent | Pi 0.73.1、固定工具 schema、工作区、原生 adapter 与 controller | 镜像内 SDK 检查与真实 GLM/Pi 因果证据通过;HWE 文本后端不替代工具 Agent | 每次采集核对调用、结果、后续输入与正常终态 |
|
||
| 模型服务与用量 | GLM-5.3 Chat Completions;实际模型、请求、token 和耗时 | 用户已提供服务并授权本项目调用,费用与轮数暂不设上限 | 真实工具请求、终止与用量记录有效;缺费用字段记未知 |
|
||
| 网络与凭证供给 | host 私有 key、专用 Docker bridge 代理,不开放公网 | Docker 路线按本次试跑验收;Salty 安全模型通道未确认 | 上游 key 不进 Agent/候选/轨迹/作业参数;代理与网络可回收 |
|
||
| 独立 verifier | protected tests、干净 build/run、无网终态评分、结构化结果 | Bos v3 有历史实现;每题规则需重验 | gold/noop/buggy/cheat/替代解校准,缺必需层不 pass |
|
||
| 控制状态与资源管理 | 单可信控制端、本地盘 SQLite 或原有账本、attempt ID、限时、续跑和清理 | v3 与 data-gen-bpu 有可复用机制 | 强制超时与重启不会重复归账或串用工作区 |
|
||
| 原始证据存储 | host 独立 controller/attempt;Salty 唯一 `personal:/embedded-rollout` | 合格原件保留 36;Salty 仅一份归档,上传后下载摘要一致,临时内容已清理 | 扩量测容量和留存;每份归档重新核对摘要与去敏范围 |
|
||
| 任务和来源登记 | JSON/JSONL manifest 加简单索引,含 family、版本、准入和 split | 原有任务登记可适配 | 查询某条结果能定位任务、输入、验收和候选版本 |
|
||
|
||
本项目按外部模型 API 采集,worker 使用 CPU;自托管模型与训练算力不在当前资源要求。
|
||
|
||
Docker 共享宿主内核;CPU 架构、内核能力和用户空间镜像要分别固定。需要 ARM 运行时可用原生 ARM worker 或经校准的用户态仿真;需要客体内核才进入 QEMU 系统任务。[Docker 官方说明](https://docs.docker.com/build/building/multi-platform/)
|
||
|
||
### 8.2 按软件任务需要增加
|
||
|
||
| 阶段 | 新增基础设施 | 开始使用的条件 |
|
||
| --- | --- | --- |
|
||
| ARM 系统任务 | QEMU worker、kernel/rootfs/overlay 缓存、串口或 SSH 通道、版本化 machine 配置 | 一条 guest 内完整构建/运行/验收/重置任务通过 |
|
||
| RTOS 软件任务 | 固定 Zephyr/SDK/west、native_sim 或支持的 target、对应测试 | 应用任务校准;声明模拟时间和 MCU 硬件边界 |
|
||
| BPU 转换仿真 | 授权 SDK、编译环境、模型、校准与评测数据、参考数值 | 明确目标芯片/SDK,单模型转换与仿真通过 |
|
||
| 扩量存储与备份 | 证据容量、去重索引、摘要和恢复材料 | 单任务与批次清理稳定后按实际体积规划 |
|
||
|
||
Zephyr native_sim 运行的是宿主软件模型,不提供具体 MCU 的完整硬件和真实时序。[Zephyr 官方说明](https://docs.zephyrproject.org/latest/boards/native/native_sim/doc/index.html) 历史讨论中的 labgrid、烧录器、真板夹具和训练算力属于未来另立项目,当前不要求提供或实现。
|
||
|
||
SQLite、flock 和正在写入的执行账本放在受支持的本地盘;大产物可使用平台共享存储。不要把同一物理板拆成两个独立 state 域同时调度,也不要用数据发布回滚撤销资源和额度账本。
|
||
|
||
## 9 轨迹和知识产品
|
||
|
||
每次尝试保存以下信息:
|
||
|
||
- task/source/family、环境与输入摘要、Agent/模型/工具版本、预算和 attempt 身份。
|
||
- 模型实际请求与返回消息、工具 schema、调用 ID、参数、真实 stdout/stderr/退出码、时间戳和公开反馈。
|
||
- 文件改动、最终完整工程、构建和部署产物摘要、正式验收原件、终止与清理回执。
|
||
- token、请求次数、耗时和费用;缺字段记未知,不能用估算冒充已核算。
|
||
|
||
原生记录保留真实失败后再修复的过程,归档遵循原生顺序和因果关系,不补写 Agent 没见过的日志。成功示范、失败分析、环境故障、不完整和未验证各有 disposition。
|
||
|
||
完整轨迹的准入要求来源身份一致、原生模型/工具事件可复核、调用与结果闭合、反馈进入后续输入、会话终止有事实、正式评分和清理绑定、去敏检查通过。成功示范另要求行为 PASS,失败示范保留真实 FAIL;不把环境故障或截断记录充作完整样本。历史 Bos curate 或 `reward_candidate` 标签不自动证明这些条件。
|
||
|
||
知识卡保存“问题与症状、适用版本、复现步骤、已验证原因或待验证假设、修复、测试证据、未覆盖范围、原始轨迹链接”。起步用 JSONL 和关键词索引;先确认工程师或 Agent 能检索、复现和使用,再按需要增加语义检索。
|
||
|
||
## 10 采集质量、覆盖和独立复核
|
||
|
||
20 条试点用于验证采集链路、任务覆盖和制作成本。固定 Agent、实际模型、工具、环境、grader 与运行配置,分别报告任务表现、会话完整性、环境故障和清理;不以小样本成功率推断模型泛化收益。
|
||
|
||
扩量按**原项目、来源和根因族**归并。gold、mutation、隐式/显式 prompt、相同模板和同一修复的近似版本不得算作多个独立问题。用于独立复核的保留任务不进入 Agent 检索案例或提示示例;当前不创建训练集转换流程。
|
||
|
||
每个采集批次给出总 attempt、完整轨迹、任务 PASS/FAIL、环境故障、截断、重复、人工介入、token、耗时和可获得的费用。缺失字段明确记未知。抽查原始事件重建工具结果进入后续模型输入的顺序,并从固定候选重新运行独立 grader;任何必需证据缺失先修链路再放量。
|
||
|
||
报告同时列任务族和独立问题分母、有效完整轨迹比例、误宣称成功率、复跑一致性、失败原因和单位产出成本。成功率不要求 100%,但成功门不能跳过必需行为检查,完整门不能跳过原生因果证据。至少两个成熟任务族可按相同合同持续采集后再增加并发。
|
||
|
||
历史聊天提出过私有知识、SFT、checkpoint 重载和在线 RL;这些是过去的远期设想,当前用户范围只做 rollout。今后如需训练,应另立范围、资源和验收合同,不加入本项目代码、里程碑或基础设施要求。
|
||
|
||
## 11 实施里程碑和阶段门
|
||
|
||
建议投入一名平台/Agent 工程师和一名任务/验收工程师;业务工程师按任务族参与评审。人员不足时先做两个任务族。时间是研发估算,始终以阶段门决定进度。
|
||
|
||
下表的试点时段是成熟任务资产与环境齐备时的起步建议,不是已确认的整体工期。按任务恢复与新制题比例拆分的人日估算,以及另计的平台工作,见 [任务创建标准的工作量](task-authoring.md#6-工作量与实施顺序);先完成 3–5 题恢复试点,再用实测修正。
|
||
|
||
| 里程碑 | 建议工作量 | 主要工作 | 完成标准 |
|
||
| --- | --- | --- | --- |
|
||
| M0 恢复和单任务闭环 | 3–5 个工作日 | 快照盘点、恢复或升级镜像、接已有 Agent、独立 grade、预算和证据 | 1 条 gold/负例校准、真实 Agent 工具尝试、终态验收、清理与恢复重跑完整 |
|
||
| M1 二十条可信试点 | 1–2 周 | 补任务合同、校准、Salty 适配、完整轨迹、来源分组 | 20 条准入任务及完整尝试;gold/负例/作弊/重置符合预期,硬质检全部通过 |
|
||
| M2 持续采集和复用 | 1–2 周 | 真实模型基线、用量统计、续跑、失败隔离、轨迹质检和两个任务族扩量 | 单并发稳定后提升到 2–4;异常后不丢证据、不重复归账,归档可复核 |
|
||
| M3 采集质量与扩量验收 | 按试点规模和实测估算 | 来源去重、原生因果复核、独立重判、覆盖/成本报告、稳定批次归档 | 20 条准入任务、至少两个任务族持续采集;完整/失败/故障分母透明,必需证据和评分身份可复跑,临时资源清理确认 |
|
||
|
||
M1 成功率不是必须达到 100%;必须达到的是任务和数据可信。M1 的任何被采 attempt 缺事件、产物身份或终态验收回执时,先修链路再放量。
|
||
|
||
当前已通过单任务真实采集、独立验收、清理与归档,首次异常轨迹不计合格;这不代表 Bos-qiao 快照恢复、Salty 正式 Agent 后端或 M1–M3 扩量已完成。实际阶段证据见 [acceptance.md](acceptance.md) 与 [runtime-review.md](runtime-review.md)。
|
||
|
||
首轮正式试点只锁定一个执行后端、一个 ROS 版本和少量任务族。当前不要求同步建成所有模拟器或板卡平台,也不建设训练框架;M3 是本项目采集系统的完成标准。
|
||
|
||
## 12 研发分工和成本核算
|
||
|
||
| 工作包 | 责任与交付 |
|
||
| --- | --- |
|
||
| 平台与执行 | 版本冻结、v3 恢复、Agent 工具接入、Salty 后端、预算、生命周期和持久化 |
|
||
| 任务与 verifier | 任务选择、输入和完整工程、行为断言、校准、来源/根因分组 |
|
||
| 数据与知识 | 原生轨迹适配、硬质检、内容审核、release、知识卡与检索 |
|
||
| 采集质量与扩量 | 来源去重、模型身份、因果完整性、独立重判、覆盖/用量报告与批次复核 |
|
||
| 业务评审 | 验收要求、真实需求、软件抽象边界和知识是否可复用 |
|
||
|
||
前两个工作包可并行,任务合同和 verifier 的身份接口由同一负责人冻结。轨迹与质检沿用已有机制,先写薄适配,不再建一套大型调度平台。
|
||
|
||
按试点实测计算:总成本=任务制作人时+镜像与资产恢复+模型 token 费用+CPU/存储+轨迹审核与独立复核。分别报告每条完整轨迹和成功示范单位成本;分母为 0 时报告无法产出,不忽略失败耗费。模型费用缺字段时记未知,不能用 adapter 的占位价格冒充实际计费。
|
||
|
||
运行时限、资源、并发和“当前无费用/模型轮数 cap”写入批次 manifest。超时或取消时保存在途记录并按合同回收。依据平均耗时、tail latency、峰值内存和有效产出调整资源,不从历史服务器配置推导采购清单。
|
||
|
||
## 13 开工所需输入与首日动作
|
||
|
||
当前接入事实已写入 [onboarding.md](onboarding.md):36 上真实 Pi/GLM-5.3 单任务闭环与 Salty 探针、归档复核已通过;具体原始证据见 [rollout-receipt.json](rollout-receipt.json)。Salty 正式 Agent 后端与 20 题扩量尚未完成,以下材料与验收逐步补齐,凭证不写入受版本管理的项目配置或文档:
|
||
|
||
1. Bos-qiao 任务与 runtime 快照的读取位置、归属和使用权限,精确镜像的恢复来源。无法恢复时明确新环境版本并重校准。
|
||
2. 首轮 Linux worker 的访问方式;Salty 账户/namespace、镜像仓库、作业隔离方式和个人输出目录。
|
||
3. 固定 Pi adapter、真实 GLM-5.3 身份与 Chat Completions 工具协议、host 私有模型代理和运行期限;当前费用与模型轮数不设上限。
|
||
4. 两个优先任务族及业务评审人;合作团队问题附完整源码、输入、修复记录或可观察的通过条件。
|
||
5. 原始记录存储容量、去敏保留范围、来源去重与执行身份;只使用 `personal:/embedded-rollout`,本次临时测试内容核对后清理。
|
||
|
||
首日顺序:冻结资产清单 → 复核现成镜像与 v3 → 选一条最完整的软件任务 → 先跑 gold/负例/重置 → 接 Agent 与真实模型 → 独立终态评分 → 核对轨迹与清理 → 决定首批 20 条清单。
|
||
|
||
项目最终留下版本化任务集、镜像恢复材料、Pi 执行接口、独立 verifier、可复核原始证据、质检后的批次索引、失败与故障分析,以及覆盖/用量/成本报告。知识卡可作为证据复用的薄层,训练与真板另立范围。用户已授权本项目试跑;Git remote 为用户 2026-10-13 指定的 `origin`(`https://gitea.d-robotics.cc/ming01.wang/data-gen-ebd.git`),只推送 main,不改写已推送历史,不动已有作业,临时资源核对后清理。
|