data-gen-ebd/docs/progress.md
amos 7071ecfa7f fix: raise the native trace limit to 64 MiB
Bos tasks with 131072-token reasoning produce ~110 bytes per streamed
token plus a full context per request; the trace3 batch hit 16 MiB
before finishing. Adapter and host share the new limit, and the size
tests now derive their data from MAX_TRACE_BYTES. Runtime trace4 carries
this adapter; all 21 tasks recalibrated.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-12 23:05:39 +08:00

116 lines
20 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 开发进度
2026-10-12。项目 `/Users/amos/project/embedded-rollout`;36 活跃副本为本地盘 `/home/ming01.wang/embedded-rollout`(代码、新 runs 与 artifacts),JuiceFS `/mnt/data/ming01.wang/embedded-rollout` 只保留历史证据与私有凭据。Git 按功能分批本地提交,无 remote 或代码 push;本次提交仅在本地仓库完成。
本地提交依赖顺序:设计合同与计划 → 首题和隔离执行器 → Pi/模型代理与 controller → 轨迹封存 → 验收和交接记录。只纳入源码、任务校准样例、测试与文档,凭据、原始轨迹和归档文件保持 Git 忽略。
## 范围与本次步骤
只建设 rollout 系统,持续获取真实 Agent 轨迹、独立评分、质检与持久归档;不实现模型训练、权重更新、SFT 或在线 RL。历史远期讨论留在聊天索引,不作为本项目需求。用户已授权使用 36、CCR、GLM-5.3 和 Salty,费用与模型轮数暂不设上限;执行超时用于防挂死。
本次 M0 接入 Pi 0.73.1/GLM-5.3,冻结镜像后先跑完整 Docker 正负例校准,再完成真实模型/工具闭环、独立 grade、证据对账和资源清理。涉及 `agent/`、`rollout/core.py`、`model_proxy.py`、`pi_run.py` 与行为回归。
归档步骤先写 [artifacts.md](artifacts.md) 合同,再实现 `rollout.archive` 与必要边界测试:只封存正常完成、证据 VERIFIED 的 PASS/FAIL,不递归打包 grader、参考解、凭据或工作区,输出不覆盖。最终仅在 `personal:/embedded-rollout` 保留稳定轨迹归档,临时探针核对后删除。
- [x] 整理项目 16 个相关聊天、46 个回合,创建方案和基础设施清单。
- [x] 创建独立项目、AGENTS.md、agent.md 和逐步开发合同。
- [x] frame-decoder 任务、87 项行为验收与 gold/template/noop/cheat 校准。
- [x] 36 Docker、CCR 镜像登录/构建/push,私有 host 模型代理与固定 Pi adapter。
- [x] Salty 本人授权、VPC 固定镜像拉取/执行及唯一个人目录读写,三个测试作业/文件已删除。
- [x] 第一版正式 Docker 20 次校准 PASS,镜像内 5 项真实 Pi SDK 检查 PASS。
- [x] 修复真实流式轨迹中的累计快照重复,写前限制 16 MiB;新镜像重新完成 20 次校准。
- [x] 首条完整真实 GLM/Pi 轨迹、独立评分、证据对账及 Salty 归档验收。
## 已核对的检查
`python3 -m unittest discover -s tests -v`:41 项通过。Docker 控制分支部分为 mock;本地没有 node_modules,wrapper 中真实 SDK 检查跳过。新镜像在 36 内执行 `node --test /opt/embedded-rollout/tests/test_pi_adapter.mjs`:9 项通过,0 跳过,才计 SDK 实测。
36 正式 Docker 校准:四类样例各五次,gold 每次通过 87 项行为检查,template/noop/cheat 均按预期失败,所有容器 cleanup confirmed。修复两个独立根因:chmod 在 chown 前完成;tmpfs 明确 exec/nosuid/nodev。新 adapter 镜像重新完成 20 次校准,不沿用旧镜像的 PASS。
首次 GLM/Pi 会话已经完成多轮 HTTP 200 和真实工具操作;Pi 流式 message_update 重复携带累计 message/partial,约五分钟 stdout 超过 235 MB。root 精确中断本次 controller,实际回执 UNVERIFIED、cleanup confirmed,不计合格轨迹。根因、终态和清理记录见 [runtime-failures.json](runtime-failures.json)。修复保留增量事件与完整 message_end/request/session entries,写前限额并主动中止超限会话。
Salty 0.2.3 已登录,使用 0 GPU CPU 探针验证基础镜像 TLS 和新 runtime 的 Node v22.23.3/Pi 0.73.1。三个作业 succeeded;删除精确作业与文件后,目录 listing 为空。describe 在任务结束后返回 partial 诊断和 exit 1,不误记为作业失败。基础设施回执见 [infra-receipt.json](infra-receipt.json)。
## 本次真实结果与清理
修复后的真实 Pi/GLM-5.3 会话:8 轮模型请求、10 个工具反馈全部进入后续输入,原生对账 VERIFIED;最终候选独立 87 项检查 PASS,Agent 正常退出,容器/proxy/network cleanup confirmed。native 1214876 字节;完整事实见 [rollout-receipt.json](rollout-receipt.json) 与 [只读验收](runtime-review.md)。
归档 `[artifacts/rollout-20261012-dae6bc17.tar.gz](../artifacts/rollout-20261012-dae6bc17.tar.gz)` 为 239832 字节,16 个原件和 manifest。Salty 唯一目录仅该文件,上传后下载核对 SHA-256 完全一致;临时下载删除。首次异常轨迹、旧校准、三个旧本地镜像别名、候选工作区与私有 grader 副本已清理;现场复核 24 个本次容器为 0 残留、网络不存在。必要原始日志/冻结候选/回执留在 36 作为产品证据。
清理例外:CCR 初版试验镜像的精确 digest 删除被拒绝,HTTP 401,远端旧版本仍保留,本地别名已删除;其控制台/API删除需要管理权限。没有删除整个共享仓库或公共 blobs。最终稳定版本使用 trace2 的固定 digest,旧版不再用于采集。
## 本次架构说明与任务标准
2026-10-12:补充用户要求的机器部署图、Salty 执行选择、镜像/轨迹位置、任务创建标准与参考模板。负责文件为 `docs/deployment.md`、两份 `docs/diagrams/*.svg`、`docs/task-authoring.md`、`docs/templates/task-spec.md`,并更新 README 与架构文档入口。只制作和核对文档,不修改运行合同,不新增任务或作业。
验收:当前与建议部署分开标注;镜像及轨迹地址与原始回执一致;作者模板明确当前 v1 仅支持 decoder.c;给出任务准入、正负例校准和有假设的工时估算;核对本地/36 原件及 Salty 唯一目录,执行文档一致性和只读审阅。本次不重跑模型,不写入 Salty,不 push。
已完成:SSH 只读确认 36 镜像的 RepoDigests、controller/native/候选及封存文件仍存在,本地与 36 归档 SHA-256 一致。Salty CLI 0.2.3 列表仅有 239832 字节的稳定归档;现行官方操作说明与 run 帮助核对完成。两张 Mermaid 图用临时 renderer 导出 SVG,解析与目视检查通过,下载依赖/浏览器临时目录及两份预览 PNG 已清理,只保留文档 SVG。模板示例经真实 load_task 接受,临时复制自动清理;相对链接、围栏、身份一致性和 diff 空白检查通过。
只读审阅无阻断问题;已补跨机器 HTTPS/域名需要升级 Pi URL 合同、Salty 历史答案可见性,以及旧里程碑时段链接新工时拆估。同步修正验收文档中已过时的“无提交”措辞。本轮没有执行器行为变化,未重复运行模型、Docker 校准或单元测试;新增文档与 SVG 仅在 Mac 工作区,未 commit、未同步 36、未 push。
## 已知边界与下一步
用户已提供 UltraData-RL-2609 作为格式参考。本轮新增五字段任务 JSONL 与冻结 ground truth,接入每次归档;保留 argv 与退出码的明确扩展,不改历史任务/verifier 身份。涉及 `rollout/export.py`、`tasks/frame-decoder/dataset.json`、归档和必要测试,合同见 [data-format.md](data-format.md)。首题仅归类 SMOKE_ONLY;后续主采集池须先做目标模型的重复难度测量,不以一次成功推断稳定成功率或训练收益。
本次模型试跑已完成:用户指定 Qwen `qwen3.8-27b-nvfp4` 的 Responses 服务。固定上游与模型身份,Pi 复用已有 Responses adapter,host broker 要求唯一 completed 终态;默认 GLM 接入保留。新镜像完整 20 次 Docker 校准后,真实 frame-decoder 会话 7 次模型请求、6 个工具反馈,候选独立 87 项 PASS,原生证据 VERIFIED,Agent 正常退出及容器/proxy/network cleanup confirmed。总耗时 339.790 秒含校准,不是纯模型延迟;用量 42442 tokens 为 SDK 字段求和,费用未知。完整事实见 [qwen-trial-receipt.json](qwen-trial-receipt.json)。
首次新镜像校准有一次 gold 超时,记录为 INFRA_ERROR,未启动模型;不降低原任务期限,重新完整校准才准入。原始 verifier 对可信 gold 的 87 次输入/stdout/退出码与 `dataset.json` 全量逐项交叉核对通过;Qwen 候选不参与参考目标生成。新导出器保持五字段任务行,原生轨迹单独封存,历史 task/verifier 摘要不变。
新增代码的本地受影响面 30 项通过;36 最终全量回归 57 项运行,56 项通过、1 项因 host 无 Node 跳过,exit 0 / 19.838 秒;新镜像真实 Pi SDK 11 项通过、0 跳过。曾出现原 C 编译检查超时,完整重跑通过;首次立即读取归档报 empty file,随后独立三次重开及跨机器校验通过。两项暂时异常根因未知,保留事实,不修改编译/任务期限,不据文件系统类型推断原因。
独立任务导出为 `artifacts/frame-decoder.jsonl`,一条记录、87 个验收用例;新 Qwen 归档为 `artifacts/rollout-20261012-qwen-655f8f99.tar.gz`,194636 字节、17 个证据文件与 manifest。全部文件摘要通过,Salty 同一目录上传后下载 SHA-256 一致,临时下载删除;原 GLM 封存文件不改写。难度与用量保存在旁路回执,五字段本身不加入模型轨迹或质量标签。
清理核对在初次失败校准中发现一个未启动、state=created 的容器,原 timeout 事件写的 cleanup confirmed 不能成立。已按唯一名称/ID/镜像精确删除;两次校准、成功 Agent/grade 与 SDK 临时容器共 43 个名称核对 0 残留,专属网络不存在。首次失败校准、成功候选工作区/grader 副本、20 个校准样例目录、试验镜像及两端 Qwen 临时凭据已删除,原 GLM 稳定镜像/凭据保留。回执保留这次确认被后续现场证据推翻的事实,不改写成从未出错。
最小修复:Docker CLI 超时、中断或负返回码时,容器/网络创建请求可能仍在 daemon 内处理,瞬时不存在不计 cleanup confirmed;父 controller 传播自动校准的 unknown。新增三条必要回归,受影响 core/controller/archive 共 28 项通过,最终全量结果见上段;独立审阅无阻断。没有修改原任务、评分器、期限或已封存的成功轨迹,没有新增模型调用。回归模拟生命周期分支,不宣称能取消在途 daemon 请求;unknown 后仍须按唯一名称核对资源。
本轮新增代码和文档保留为本地工作区修改;未配置 Git remote、未 push,也未启动训练。先前五批本地提交保持不变。
当前只有一条软件任务;整个系统尚未完成二十题试点与扩量。下一步恢复 Bos-qiao 任务/runtime 快照,按来源和根因族逐题校准,至少两个任务族,再建立批次质量、用量和失败统计。失败但完整的真实尝试也应保留。
真实执行与独立无网评分先用 36 Docker。Salty 已验证镜像和持久盘,正式 Agent 后端的安全模型通道、候选交接、隔离与取消仍需单独验收;不假定 Secret、嵌套 Docker 或 grader 无网能力。隐藏测试不能放到 Agent 可读个人盘。
16 MiB 原生轨迹限额不等于整个工作区磁盘配额;当前仍只适合受控镜像与固定 Pi adapter,扩量前提供容量受限 volume。费用未知时记未知,不把 Pi SDK 的占位价格记为实际零费用。回执 NOT_TRAIN_READY 为兼容字段,本项目没有训练准入或转换流程。
## P0 修复:Agent 断外网与评分超时
2026-10-12。只读审阅发现两项直接影响数据正确性的问题,本步只修这两项,不改用例、ground truth 或其他合同。
- Agent 网络:controller 专用网络原为普通 bridge,Agent 可直连外网,可下载上游修复而污染轨迹。现以 `--internal` 创建;`core.run` 只接受 `Internal=true` 的 `--agent-network`,未指定时 Agent 使用 `--network none`;删除未使用的 `host.docker.internal` 映射。
- 评分超时:verifier 单例 1 秒、整次 grade 15 秒,主机繁忙时正确解会被判 FAIL;本地全量回归复现 1 次,此前回归与校准各有 1 次超时。改为单例 5 秒、编译 30 秒、隔离探针 10 秒、`timeout_seconds=60`,task version 升为 2。87 个用例不变,`dataset.json` 只重绑两个身份摘要。
本地全量单元测试通过:工作区 58 项,提交快照 42 项;逐项回退三处修复,新增断言均失败。未在 36 Docker 实测。旧校准与旧 controller 因任务摘要变化,不能用于新 run 或重新封存;已封存归档不受影响。上线前在 36 确认 internal 网络下代理 gateway 可达、外网不可达,再用新任务完整 20 次 Docker 校准。
## P0 现场验收与多文件任务合同
2026-10-12 续。上一会话的 P0 提交此前未在 36 实测;本步完成验收,并把任务合同从单个 `decoder.c` 扩展到多文件,作为导入 Bos-qiao 任务的前提。
- 同步:36 副本先与 Mac 逐文件比对,确认与 P0 前工作区一致后才同步。36 的 `/mnt/data`(JuiceFS)出现数分钟级 FUSE 停顿:全量单测启动卡约 5 分钟(测试本身 17.5 秒),同一校准在 JuiceFS 上耗时十余分钟。按方案“执行账本放本地盘”,活跃代码与新 runs 改放本地 ext4 `/home/ming01.wang/embedded-rollout`;JuiceFS 上的历史证据与凭据文件原地不动。
- 网络探针:`--internal` 网络中,正式镜像容器可访问 gateway 上的 host 监听,访问 1.1.1.1:443、114.114.114.114:53、Qwen 上游及 DNS 均失败;探针网络和容器删除后复核为 0。
- 校准:新任务 v2 在本地盘 20 次 Docker 校准 PASS,11 秒,cleanup confirmed(`runs/calibration-6982aa90…`);JuiceFS 上同代码另一次校准也 PASS(`calibration-5c1d4f56…`),只是更慢。
- 真实采集:Pi/GLM-5.3 9 轮模型请求全部经 internal 网络代理,原生证据 VERIFIED,独立 87 项 PASS,Agent 正常退出,网络/代理/容器 cleanup confirmed,3 分 05 秒(`runs/pi-a26466b2…`)。用新 archive 复核封存为 `artifacts/rollout-20261012-glm-a26466b2.tar.gz`,420117 字节,17 个证据文件加 manifest,SHA-256 `0b963b0e…c754`;尚未上传 Salty。
- 合同扩展(先改 architecture/agent,再实现):`candidate_files` 1–16 个文件;template 全部文件进入工作区;`fixtures` 可声明多个 cheat 与合法替代解,校准按 5×样例数;`grader_files` 私有附件 0600 进 `/grader`;无 `dataset.json` 的任务导出 `call_type=verifier`。frame-decoder 的 task 摘要、旧 20 次校准回执与导出 query 均保持不变(测试固定)。
- 同步清理审阅提出的 P1/P2:模型改为 `MODELS` 表,上游与 Responses 检查按表取;`core._read` 统一 O_NOFOLLOW 有界读取,替代 archive/pi_run/native trace 各自实现;`core._create` 合并两处独占写;`core._sigterm` 合并两处信号处理;删除未用的 `validate_task` 与 `phase="evidence"`;校准 cleanup 状态改为每次试验后汇总一次。
检查:Mac 全量 61 项通过;36 本地盘 61 项通过、1 项因 host 无 Node 跳过。逐项回退 6 处新逻辑,相应测试均失败。凭据文件只以路径交给 controller,未读取内容。
下一步:从 Bos-qiao `envs/S500_*` 选 C/Python 标准库任务,写薄导入器(解析 heredoc 样例而不执行脚本,包装原 check.py/tests.py 为受保护 verify.py),在 36 正式镜像逐题 Docker 校准准入,再批量真实采集并出批次报告。
## Bos-qiao 导入、首批失败与 trace3 修复
2026-10-12 续。目标:恢复 Bos-qiao 成熟任务,完成 M1 的 20 题准入,并用批量真实采集测量难度。负责文件:`rollout/bos_import.py`、`rollout/bos_verify.py`、`rollout/report.py`、`rollout/regrade.py`、`agent/pi.mjs` 与 `tasks/S500_*`。
- 盘点:只读拷贝 36 上 182 道 direct 候选。check.py 递归收集全部 `*.py` 的 rglob 型 81 道暂不导入(合同只冻结声明文件,照搬会误判合法拆分);ROS2 5 道缺 Jazzy 镜像;其余 91 道“只评声明文件”的非 ROS 任务可导入。
- 导入器:样例脚本只解析不执行(带引号 heredoc、字面量 `Path().write_text`、工厂固定 files 循环),与 bash 实际执行逐字节对比 0 差异;`cheat_exit_zero`→noop,其余 cheat 与 `valid_*` 保留为额外样例;统一 verify.py 以 UID 65534 原样运行原 check.py。
- 选题:3 个任务族共 20 道(linux-device-abi 7、firmware-image-boot 7、motor-sensor-control 6;C 5 道、Python 15 道)。方案建议的 ROS2/构建配比因镜像缺失按“恢复盘点后调整”改为上述三族。
- 校准:首次 20 道全部 INFRA_ERROR——包装器先 chown 再 chmod,评分容器的 root 无 CAP_FOWNER;目录改名 `runs/pilot-calibration-chown-bug` 保留。修正顺序并加回归测试(回退顺序即失败),重导入后 20/20 PASS、785 次试验、cleanup confirmed。
- 首批采集(`runs/batch-20261012-pilot`,旧镜像 trace2):前 4 条 GLM 第三轮输出 32000 token 全用于思考,以 `length` 终止、未做任何编辑,Pi 退出 1;且 host `agent.stdout` 在 107 KB 长行处只写入 65537 字节,与 native 不一致,证据 UNVERIFIED。确认为配置/adapter 故障后按 PID 终止批次:8 个 controller(4 FAIL/UNVERIFIED、4 中断 INFRA_ERROR),中断的 4 条按合同记 cleanup unknown,现场按名称复核 0 容器、0 网络;全部不计合格轨迹。与 Bos 历史“修改前输出预算耗尽”(233/242)为同一现象,不作为能力基线。
- 修复(先改 agent.md 合同):`writeAll` 处理非阻塞 stdout 部分写入与 EAGAIN;streamFn 显式传 `maxTokens=131072`(Pi SDK 默认截到 32000;经本项目代理实测上游接受 131072/98304/65536)。以 trace2 digest 加新 `pi.mjs` 构建 trace3:`bench-runtime@sha256:7e3f4e3b…06f1`,已推送 CCR;镜像内 Pi SDK 12/12 通过、0 跳过;21 道任务用 trace3 重新校准全部 PASS(2 分 51 秒)。
- 单条验证(`runs/trace3-smoke`,S500_n2_153):18 轮请求,最长一轮输出 51719 token,stdout 与 native 逐字节一致,证据 VERIFIED,独立评分 PASS,cleanup confirmed,1487 秒。单条耗时约 25 分钟,批次改为每题 2 次、4 路并发、`--agent-timeout 3600`(仅防挂死)。
- 归档:`rollout-20261012-glm-a26466b2.tar.gz`(P0,420117 字节)与 `rollout-20261012-trace3-S500_n2_153-434a4855….tar.gz`(多文件任务首份,18 个证据文件、`call_type=verifier`,5451049 字节)上传 Salty 后下载核对 SHA-256 一致,临时下载已删除。
检查:Mac 全量 Python 测试与 Node 7 项通过(SDK 5 项本地跳过、镜像内全部通过);新增导入器、判据包装、报告、重判及 writeAll 的变异检查均能捕获回退。
- trace3 批次(`runs/batch-20261012-trace3`):完成 2 条——S500_n2_155 PASS/VERIFIED(15.2 MB 轨迹),S500_n2_112 撞 16 MiB 原生轨迹上限(TRACE_LIMIT_EXCEEDED,主动中止、UNVERIFIED,stdout 与 native 逐字节一致);运行中轨迹已达 9–11.5 MB,单条验证那条也仅差约 17 万字节到上限。体积来自每 token 约 110 字节的增量事件与每轮完整 context(随轮数平方增长),二者都是因果核对证据,不删减。按 PID 停止批次,其余 4 条中断记 INFRA_ERROR/cleanup unknown,现场复核 0 容器、0 网络,均不计合格。
- 上限调整(先改 agent.md):adapter 与 host 的 `MAX_TRACE_BYTES` 同步改为 64 MiB,Node 超限测试按上限比例构造数据。trace4 = trace2 digest 加新 `pi.mjs`:`bench-runtime@sha256:1e195a49f79fb8c68410f689dd2e627d0df63d62cd4de0000ba57bd1daa78e9a`,已推送 CCR,镜像内 12/12 通过;21 道任务 trace4 重新校准全部 PASS。trace4 批次 `runs/batch-20261012-trace4` 于 15:05 UTC 启动:20 题 × 2 次,4 路并发,`--agent-timeout 3600`。