data-gen-ebd/docs/data-format.md
amos acfa601a56 feat: multi-file task contract, model table and shared I/O helpers
- Tasks may declare up to 16 candidate files; the whole template becomes
  the Agent workspace while only candidate files are frozen and graded.
- Optional fixtures add more cheats or legal alternatives (five trials
  each); optional grader_files ship private tests next to verify.py.
- Tasks without an argv oracle export call_type=verifier ground truth.
- Upstream model routes live in one MODELS table.
- One bounded no-follow reader, one exclusive writer and one SIGTERM
  helper replace per-module copies; drop unused validate_task.

frame-decoder keeps its task digest, calibration receipts and exported
query. Verified on host 36: internal network probe, 20-trial calibration
and a real GLM rollout (PASS, evidence VERIFIED, cleanup confirmed).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-12 21:25:09 +08:00

20 lines
3.0 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 数据导出与任务难度
参考 [UltraData-RL-2609 的格式和难度校准](https://huggingface.co/datasets/openbmb/UltraData-RL-2609#-data-format)。本项目只建设采集系统,不执行模型训练。任务记录采用五字段 JSONL;模型原生请求、思考、工具反馈、候选和判分继续保存在证据归档中。
每行只有 `uuid`、`query`、`ground_truth`、`source`、`domain`。`uuid` 由冻结任务摘要生成,同题多次采集共用任务 UUID;`query` 包含完整题面和缺陷初态;`source` 保留真实任务来源,不写成 UltraData;首题 `domain=Code`。`ground_truth` 来自可信 verifier/gold 的实际行为校验,不从被测模型的提交或 PASS 推导答案。
UltraData 的 Code 使用 `call_type=std`、完整 stdin 字符串与 stdout。现有 frame-decoder v1 的合同是 argv 分片,另外检查退出码。因此本项目明确使用 `call_type=argv` 扩展:`inputs` 为参数数组的数组,`outputs` 为逐例 stdout,`exit_codes` 为逐例退出码,`fn_name=null`。五字段布局一致,评测需要本项目 C/argv 验收器。要完全采用 std 须另建 stdin 任务版本并重新校准,不能改写历史 v1 或丢弃退出码。
没有可移植 argv/std 参考的任务(例如私有测试程序直接链接候选)不提供 `dataset.json`,导出 `call_type=verifier`:`ground_truth` 只含 `fn_name=null`、`task_digest` 和 `verifier_digest`,表示评测必须使用同一身份的受保护 grader 包,不能离开本项目验收器复现。query 依次附上 template 的全部初始文件。
任务目录内 `dataset.json` 是可信作者冻结的目标快照,关联 task/verifier 摘要;导出器核对身份、字段、用例长度和类型。它是控制端评测材料,不挂入 Agent。当前快照由原始 verifier 对可信 gold 的 87 次实际运行采集,要求全部通过;题目初态、候选和 gold 源码不能充当 ground truth。
入口 `python3 -m rollout.export TASK --output DATASET.jsonl`,输出独占创建,已有文件不覆盖。今后 `rollout.archive` 自动将同一任务行封存为 `dataset.jsonl` 并纳入 manifest。任务 JSONL 包含判分依据,只提供给可信数据处理端;Agent 输入仍仅含公开题面和初态,不挂载归档盘。
## 难度准入
frame-decoder 是自编的链路回归题,归类 `SMOKE_ONLY`;它证明调用、工具、隔离评分和归档链路可以运行,不证明已产出有训练收益的数据集。一次成功只记录一次事实,不能写成稳定成功率或已掌握。
扩量先选有工程来源且答案可独立核验的任务,再对明确的目标模型重复采样,记录模型/任务版本、成功数、总数与环境故障。稳定掌握的题留作回归,不进入主采集池;有失败但能利用真实反馈改善的题优先。全失败的题先排查环境、题意和标签有效性,不能只靠增加难度或延长轨迹。每题的质量/难度处置作为旁路记录,保持这五个字段和参考目标不变。