data-gen-ebd/docs/data-format.md
amos 714f345b63 feat: add Qwen Responses route, five-field task export and pending-create cleanup
- Pi controller accepts a fixed Qwen qwen3.8-27b-nvfp4 Responses route next
  to GLM-5.3; the broker requires exactly one response.completed per call
  and evidence checks the native model identity.
- rollout.export writes the UltraData five-field JSONL from a frozen
  dataset.json snapshot; every archive now carries dataset.jsonl.
- A Docker CLI that did not finish cannot confirm container or network
  cleanup, and auto-calibration cleanup uncertainty reaches the controller.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-12 21:05:56 +08:00

2.6 KiB
Raw Blame History

数据导出与任务难度

参考 UltraData-RL-2609 的格式和难度校准。本项目只建设采集系统,不执行模型训练。任务记录采用五字段 JSONL;模型原生请求、思考、工具反馈、候选和判分继续保存在证据归档中。

每行只有 uuid、query、ground_truth、source、domain。uuid 由冻结任务摘要生成,同题多次采集共用任务 UUID;query 包含完整题面和缺陷初态;source 保留真实任务来源,不写成 UltraData;首题 domain=Code。ground_truth 来自可信 verifier/gold 的实际行为校验,不从被测模型的提交或 PASS 推导答案。

UltraData 的 Code 使用 call_type=std、完整 stdin 字符串与 stdout。现有 frame-decoder v1 的合同是 argv 分片,另外检查退出码。因此本项目明确使用 call_type=argv 扩展:inputs 为参数数组的数组,outputs 为逐例 stdout,exit_codes 为逐例退出码,fn_name=null。五字段布局一致,评测需要本项目 C/argv 验收器。要完全采用 std 须另建 stdin 任务版本并重新校准,不能改写历史 v1 或丢弃退出码。

任务目录内 dataset.json 是可信作者冻结的目标快照,关联 task/verifier 摘要;导出器核对身份、字段、用例长度和类型。它是控制端评测材料,不挂入 Agent。当前快照由原始 verifier 对可信 gold 的 87 次实际运行采集,要求全部通过;题目初态、候选和 gold 源码不能充当 ground truth。

入口 python3 -m rollout.export TASK --output DATASET.jsonl,输出独占创建,已有文件不覆盖。今后 rollout.archive 自动将同一任务行封存为 dataset.jsonl 并纳入 manifest。任务 JSONL 包含判分依据,只提供给可信数据处理端;Agent 输入仍仅含公开题面和初态,不挂载归档盘。

难度准入

frame-decoder 是自编的链路回归题,归类 SMOKE_ONLY;它证明调用、工具、隔离评分和归档链路可以运行,不证明已产出有训练收益的数据集。一次成功只记录一次事实,不能写成稳定成功率或已掌握。

扩量先选有工程来源且答案可独立核验的任务,再对明确的目标模型重复采样,记录模型/任务版本、成功数、总数与环境故障。稳定掌握的题留作回归,不进入主采集池;有失败但能利用真实反馈改善的题优先。全失败的题先排查环境、题意和标签有效性,不能只靠增加难度或延长轨迹。每题的质量/难度处置作为旁路记录,保持这五个字段和参考目标不变。