data-gen-ebd/docs/development.md
amos c6435255f9 docs: record the user-specified Git remote
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-13 20:49:41 +08:00

3.3 KiB
Raw Blame History

逐步开发流程

按 AGENTS.md 和 ponytail 原则,每次完成最小可验证的一步。当前仅建设 rollout 采集系统,先复用任务合同与执行模式,不新增训练代码、通用调度器、插件平台或数据库服务。

  1. Spec:在 progress 的下一步写目标、负责文件、验收条件和缺失依赖;行为变化先改 architecture 或 agent 合同。
  2. 实现:仅实现本步入口与边界校验,外部命令传 argv,历史 attempt 不覆盖。并行工作遵守文件所有权,不回退其他人的编辑。
  3. 校准:gold、缺陷初态、noop、cheat 四类各重置重复五次;正例通过、负例拒绝才准入。Docker run 必须有同 task/verifier/image 的完整 20 次 PASS 校准回执,host 校准不能授权 Docker 采样。
  4. 测试:为非平凡路径补必要行为测试,运行 python3 -m unittest discover -s tests -v;可信 host、Docker 隔离、真实模型和 Salty 探针分别报告。
  5. Review:只读检查身份、评分器隔离、判分、模型凭证边界、超时清理与原生轨迹因果闭合;修复后只重跑受影响检查。
  6. 记录与清理:progress 写实际命令、结果、证据、限制和下一步;核对证据后清理本次临时资源,再进入下一纵向步骤。

当前阶段门

步骤 达成条件 不能据此宣称
单任务合同 frame-decoder 工程、题面、输入、正负例和独立断言完整 已复现真实现场故障
可信 host 校准 仓库样例正负例符合预期 不可信 Agent 已隔离运行
Docker 底座 固定镜像、受保护独立评分、超时清理和回执可复跑 真实 LLM 多轮轨迹已完整
Pi 与真实模型 原生请求、工具反馈进入后续输入,候选和评分可追溯 单个成功代表全部任务或模型收益
Salty 接入 CPU 镜像/存储探针通过,后续 Agent 通道、交接和回收可复跑 已支持嵌套 Docker、Secret 或无网 grader
扩量与质量 20 条任务准入,批次质量/成本/失败统计完整,至少两个任务族可重复采集 成功率必须 100% 或已完成模型训练

2026-10-12 已完成新 runtime 的 Docker 校准、36 上真实 Pi/GLM-5.3 单任务闭环、Salty CPU 镜像/存储探针与完整轨迹归档复核。实际测试、原生证据、独立评分和清理结论见 acceptance.md、现场回执 与 运行审阅。本地缺 node_modules 的 SDK 项跳过,镜像内已实测;首次异常轨迹不计合格。Salty 正式 Agent 后端与 20 题扩量仍是后续阶段门。

Pi 正常采集使用 python3 -m rollout.pi_run,让 controller 管理网络/代理、校准、固定 Pi argv、独立 grade、原生证据对账及清理。低层 run 保留给执行器验证;命令和私有文件格式见 README,不能手工把 key 放入模型参数或 Salty env。

用户授权本项目外部试跑,费用与模型轮数暂不设上限;默认 900 秒 Agent 超时用于防挂死,与首题 60 秒 grade 分离。仅操作本项目资源,Salty 持久内容集中于 personal:/embedded-rollout,核对后清理测试内容,不动已有作业;代码只推送到项目 origin 的 main。