data-gen-ebd/docs/development.md
amos c6435255f9 docs: record the user-specified Git remote
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-13 20:49:41 +08:00

28 lines
3.3 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 逐步开发流程
按 [AGENTS.md](../AGENTS.md) 和 ponytail 原则,每次完成最小可验证的一步。当前仅建设 rollout 采集系统,先复用任务合同与执行模式,不新增训练代码、通用调度器、插件平台或数据库服务。
1. **Spec**:在 progress 的下一步写目标、负责文件、验收条件和缺失依赖;行为变化先改 architecture 或 agent 合同。
2. **实现**:仅实现本步入口与边界校验,外部命令传 argv,历史 attempt 不覆盖。并行工作遵守文件所有权,不回退其他人的编辑。
3. **校准**:gold、缺陷初态、noop、cheat 四类各重置重复五次;正例通过、负例拒绝才准入。Docker run 必须有同 task/verifier/image 的完整 20 次 PASS 校准回执,host 校准不能授权 Docker 采样。
4. **测试**:为非平凡路径补必要行为测试,运行 `python3 -m unittest discover -s tests -v`;可信 host、Docker 隔离、真实模型和 Salty 探针分别报告。
5. **Review**:只读检查身份、评分器隔离、判分、模型凭证边界、超时清理与原生轨迹因果闭合;修复后只重跑受影响检查。
6. **记录与清理**:progress 写实际命令、结果、证据、限制和下一步;核对证据后清理本次临时资源,再进入下一纵向步骤。
## 当前阶段门
| 步骤 | 达成条件 | 不能据此宣称 |
| --- | --- | --- |
| 单任务合同 | frame-decoder 工程、题面、输入、正负例和独立断言完整 | 已复现真实现场故障 |
| 可信 host 校准 | 仓库样例正负例符合预期 | 不可信 Agent 已隔离运行 |
| Docker 底座 | 固定镜像、受保护独立评分、超时清理和回执可复跑 | 真实 LLM 多轮轨迹已完整 |
| Pi 与真实模型 | 原生请求、工具反馈进入后续输入,候选和评分可追溯 | 单个成功代表全部任务或模型收益 |
| Salty 接入 | CPU 镜像/存储探针通过,后续 Agent 通道、交接和回收可复跑 | 已支持嵌套 Docker、Secret 或无网 grader |
| 扩量与质量 | 20 条任务准入,批次质量/成本/失败统计完整,至少两个任务族可重复采集 | 成功率必须 100% 或已完成模型训练 |
2026-10-12 已完成新 runtime 的 Docker 校准、36 上真实 Pi/GLM-5.3 单任务闭环、Salty CPU 镜像/存储探针与完整轨迹归档复核。实际测试、原生证据、独立评分和清理结论见 [acceptance.md](acceptance.md)、[现场回执](rollout-receipt.json) 与 [运行审阅](runtime-review.md)。本地缺 node_modules 的 SDK 项跳过,镜像内已实测;首次异常轨迹不计合格。Salty 正式 Agent 后端与 20 题扩量仍是后续阶段门。
Pi 正常采集使用 `python3 -m rollout.pi_run`,让 controller 管理网络/代理、校准、固定 Pi argv、独立 grade、原生证据对账及清理。低层 run 保留给执行器验证;命令和私有文件格式见 [README](../README.md),不能手工把 key 放入模型参数或 Salty env。
用户授权本项目外部试跑,费用与模型轮数暂不设上限;默认 900 秒 Agent 超时用于防挂死,与首题 60 秒 grade 分离。仅操作本项目资源,Salty 持久内容集中于 `personal:/embedded-rollout`,核对后清理测试内容,不动已有作业;代码只推送到项目 `origin` 的 main。