data-gen-ebd/docs/onboarding.md
amos 3c1f338865 Switch formal runs to the trace6 image
trace6 is trace5 plus the prefix-delta pi.mjs; image ID equals the manifest
digest under 36's containerd store. The CCR push is pending a fresh login.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-18 22:21:58 +08:00

58 lines
8.1 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 资源接入记录
2026-10-12。当前目标是接通真实 Agent rollout,扩大可信轨迹采集;不进行模型训练,也不要求训练 GPU、基座权重或 checkpoint 存储。资源接通与实际任务验收分开记录,结果见 [progress.md](progress.md) 与 [acceptance.md](acceptance.md)。
## 已提供的资源
| 项目 | 当前事实 | 尚需验证 |
| --- | --- | --- |
| Salty | CLI 0.2.3 已安装,本人网页授权成功;CPU 镜像/存储探针与归档复核通过,探针已清理 | 正式 Agent 模型通道、候选交接和独立评分后端尚待验收 |
| 镜像仓库 | CCR 公网地址 `ccr-29eug8s3-pub.cnc.bj.baidubce.com/algo/bench-runtime`,登录、构建与 push 成功 | 正式按下方 digest 固定,不靠可变 tag;后续环境变化重新校准 |
| 作业内网仓库 | `ccr-29eug8s3-vpc.cnc.bj.baidubce.com/algo/bench-runtime` 已在 Salty 拉取同 digest 并执行成功 | 备用 `registry.d-robotics.cc` 未使用,不自动视为已有权限 |
| Linux 主机 | `ming01.wang@36.144.20.182`,Docker 29.5.2;正式镜像校准与真实 Pi/GLM-5.3 单任务闭环通过 | 新任务或环境重新校准;20 题扩量尚未完成 |
| 模型 | GLM-5.3 Chat Completions 真实请求与工具调用已核对;base URL 为 `https://open.bigmodel.cn/api/coding/paas/v4`;另有 Responses URL `https://open.bigmodel.cn/api/v1` | 本步使用 Chat Completions;不同时增加 Responses 后端,缺实际费用字段记未知 |
| Agent | Pi 0.73.1,固定依赖、SDK adapter 与 controller;SDK 检查及真实多轮因果证据通过 | 每次采集重新核对原生事件、反馈、候选和评分绑定 |
| 持久存储 | 唯一 `personal:/embedded-rollout` 目前仅保留 `rollout-20261012-dae6bc17.tar.gz`;作业内路径为 `/data/personal/embedded-rollout` | 已上传后下载核对 SHA-256,临时下载与探针文件已删除;扩量再测容量和留存 |
| 费用与资源 | 用户暂不设费用或模型轮数上限 | 如实记录请求、token 和耗时;缺费用字段记未知,900 秒执行期限仅防挂死 |
最终镜像 tag 为 `embedded-rollout-20261012-pi0731-trace2`,manifest digest 为 `sha256:8fefefc607a28765d87da4f6b14f7dec19a97b35c3fa38e86b6b12590235e227`;公网与 VPC 两入口指向相同 digest。Salty CPU 探针中 Node v22.23.3、Pi 0.73.1 执行成功。
2026-10-12 续:adapter 修复 host stdout 管道部分写入和 GLM 输出上限后,以 trace2 digest 为基础只替换 `pi.mjs` 构建 `embedded-rollout-20261012-pi0731-trace3`,manifest digest `sha256:7e3f4e3bc12d5c7b439a8bd97b1850322c9d902d324b4de9151777bda74806f1`;镜像内 12 项 Pi SDK 检查全部通过、0 跳过,21 道任务用新镜像重新完整校准。新采集只用 trace3,trace2 仅对应历史轨迹。
随后原生轨迹上限从 16 MiB 提高到 64 MiB,同法构建 `embedded-rollout-20261012-pi0731-trace4`,manifest digest `sha256:1e195a49f79fb8c68410f689dd2e627d0df63d62cd4de0000ba57bd1daa78e9a`,镜像内 12/12 通过,21 道任务重新校准;正式采集改用 trace4。
2026-10-13:模型名、每次回复输出上限改由 controller 以 argv 传入,镜像不再内置默认值,以后调整上限无需换镜像或重新校准。同法构建 `embedded-rollout-20261013-pi0731-trace5`,manifest digest `sha256:aa5d00779fe03e9eadbf29c030711a4ecd1e5f894255868b5ca451a425299efc`,镜像内 12/12 通过;21 道任务(含 evdev v2 与新判据包装)用 trace5 完整重新校准 805 次全部符合预期。正式采集改用 trace5。
2026-10-18:原生轨迹改为前缀增量(trace schema `embedded-rollout.pi/2`,见 architecture.md)后,同法以 trace5 digest 为基础只替换 `pi.mjs` 构建 `embedded-rollout-20261018-pi0731-trace6`,镜像 ID 即 manifest digest `sha256:1519f8daa403998e5401eeb70b973e8aac8346e25a937033bc502dc5de1641a1`(36 Docker 为 containerd 镜像存储,trace5 的本地 ID 与仓库 digest 同样一致);镜像内 `pi.mjs` sha256 与仓库一致,适配器测试 13/13 通过、0 跳过。36 上 CCR 登录已失效(push 返回 401),tag 尚未推送,需用户 `docker login` 后补推并核对仓库 digest;36 本地按上述 digest 引用可用。本地别名 `embedded-rollout:pi0731-trace6-20261018`。正式采集改用 trace6,待采集任务须用 trace6 重新完整校准,trace5 只对应历史轨迹。
36 上真实 GLM/Pi rollout 与 Salty 归档已通过,首题正式判分位于 Docker 无网环境;Salty 正式 Agent 后端仍未完成。本地全量回归通过,其中 SDK 项因本地缺 node_modules 跳过;最终镜像内已全部实测。数量、摘要、归档原件和审阅结论集中见 [acceptance.md](acceptance.md)、[rollout-receipt.json](rollout-receipt.json) 与 [runtime-review.md](runtime-review.md),首次异常轨迹不计合格。
## 认证与边界
Salty 未登录时可重新发起 `salty login`,仍由本人在网页批准。已获授权时不重复登录,不读取或转述访问令牌。
仓库与模型凭据不写入 Git、镜像、题面、候选、日志或启动 argv,不在文档中记录值。上游模型 key 只存于 host 私有文件并由可信代理读取;当前 Docker Agent 仅连接本次专用 bridge 上的非敏感代理地址,代理限制来源并不开放公网。不能把此本机网络设计直接视为 Salty 可用。
`python3 -m rollout.pi_run` 接收 `--credential-file` 私有文件路径;文件为私有、不纳入 Git 的 JSON 常规文件、权限 0600、含非空 `model_api_key`,值仅可信 host 代理读取。controller 自动建立网络/代理、校准或检查已有校准、运行固定 Pi argv 并清理,准确命令见 [README](../README.md)。不把实际密钥放入命令、Salty env 或文档。
[Salty 官方说明](https://salty.d-robotics.cc/skills/salty/SKILL.md) 明确 `-e/--env-file` 明文保存和回显。本项目不将其作为密钥通道;公开文档未确认适合本项目的 Secret、workload identity、network-none 或 capability 配置,需实测或平台支持后再接。
## 目录与清理
Salty 持久内容集中在 `personal:/embedded-rollout`,不增加其他顶层目录;其中只保留经核对的候选、题面、去敏原始证据、摘要和结果。正式 verifier/gold 留在可信控制端,不放到 Agent 同样可读的个人盘。
本次测试的临时文件、作业、容器、网络和中间镜像核对证据后清理。保留必要最终证据,不删除已有作业、其他项目目录或不明归属资源。运行账本使用受支持的 host 本地盘,不让正在运行的多个任务共同写未经验证的共享账本。
本轮三个 Salty CPU 探针的作业和文件、临时下载、失败试跑目录、旧校准、Agent 工作区、grader 副本及旧本地镜像别名已清理;最终检查本项目 24 个容器身份无残留,专用网络已回收。合格原始日志、候选和回执仍留在 36,Salty 仅保留上述归档。
清理例外:CCR 初版试验版本 `embedded-rollout-20261012-pi0731`(digest `sha256:201625ea5e5db31c7b2e28a4f4b892c9ea04a42a75a8085272e8bcb988d8ded4`)仍保留,精确删除被拒绝 HTTP 401;本地旧别名已清,还需 CCR 控制台/API 管理删除权限。最终稳定镜像未受影响,删除方式见 [CCR 官方说明](https://cloud.baidu.com/doc/CCR/s/qlx02rpmr)。
## 扩量所需输入
- **任务材料**:Bos-qiao 固定快照、原镜像或重建材料的读取途径和使用范围。历史路径已记录,恢复后重新校准。
- **业务任务**:完整源码、固定输入、修复前状态和可观察的通过条件,按来源及根因族归并。
- **容量与留存**:个人空间可用容量、正式证据保留范围;并发按首批实测逐步增加。
- **特定软件环境**:任务确需 ROS2、ARM、QEMU 或 SDK 时才增加;真板与训练不属于当前资源要求。
安装、镜像、执行器、原生轨迹、校准、验收和文档由本项目完成。用户提供的主机、仓库、模型、Salty 与费用授权覆盖本项目试跑;Git remote 为用户 2026-10-13 指定的 `origin`(`https://gitea.d-robotics.cc/ming01.wang/data-gen-ebd.git`),只推送 main,不改写已推送历史。