- Tasks may declare up to 16 candidate files; the whole template becomes the Agent workspace while only candidate files are frozen and graded. - Optional fixtures add more cheats or legal alternatives (five trials each); optional grader_files ship private tests next to verify.py. - Tasks without an argv oracle export call_type=verifier ground truth. - Upstream model routes live in one MODELS table. - One bounded no-follow reader, one exclusive writer and one SIGTERM helper replace per-module copies; drop unused validate_task. frame-decoder keeps its task digest, calibration receipts and exported query. Verified on host 36: internal network probe, 20-trial calibration and a real GLM rollout (PASS, evidence VERIFIED, cleanup confirmed). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
3.0 KiB
数据导出与任务难度
参考 UltraData-RL-2609 的格式和难度校准。本项目只建设采集系统,不执行模型训练。任务记录采用五字段 JSONL;模型原生请求、思考、工具反馈、候选和判分继续保存在证据归档中。
每行只有 uuid、query、ground_truth、source、domain。uuid 由冻结任务摘要生成,同题多次采集共用任务 UUID;query 包含完整题面和缺陷初态;source 保留真实任务来源,不写成 UltraData;首题 domain=Code。ground_truth 来自可信 verifier/gold 的实际行为校验,不从被测模型的提交或 PASS 推导答案。
UltraData 的 Code 使用 call_type=std、完整 stdin 字符串与 stdout。现有 frame-decoder v1 的合同是 argv 分片,另外检查退出码。因此本项目明确使用 call_type=argv 扩展:inputs 为参数数组的数组,outputs 为逐例 stdout,exit_codes 为逐例退出码,fn_name=null。五字段布局一致,评测需要本项目 C/argv 验收器。要完全采用 std 须另建 stdin 任务版本并重新校准,不能改写历史 v1 或丢弃退出码。
没有可移植 argv/std 参考的任务(例如私有测试程序直接链接候选)不提供 dataset.json,导出 call_type=verifier:ground_truth 只含 fn_name=null、task_digest 和 verifier_digest,表示评测必须使用同一身份的受保护 grader 包,不能离开本项目验收器复现。query 依次附上 template 的全部初始文件。
任务目录内 dataset.json 是可信作者冻结的目标快照,关联 task/verifier 摘要;导出器核对身份、字段、用例长度和类型。它是控制端评测材料,不挂入 Agent。当前快照由原始 verifier 对可信 gold 的 87 次实际运行采集,要求全部通过;题目初态、候选和 gold 源码不能充当 ground truth。
入口 python3 -m rollout.export TASK --output DATASET.jsonl,输出独占创建,已有文件不覆盖。今后 rollout.archive 自动将同一任务行封存为 dataset.jsonl 并纳入 manifest。任务 JSONL 包含判分依据,只提供给可信数据处理端;Agent 输入仍仅含公开题面和初态,不挂载归档盘。
难度准入
frame-decoder 是自编的链路回归题,归类 SMOKE_ONLY;它证明调用、工具、隔离评分和归档链路可以运行,不证明已产出有训练收益的数据集。一次成功只记录一次事实,不能写成稳定成功率或已掌握。
扩量先选有工程来源且答案可独立核验的任务,再对明确的目标模型重复采样,记录模型/任务版本、成功数、总数与环境故障。稳定掌握的题留作回归,不进入主采集池;有失败但能利用真实反馈改善的题优先。全失败的题先排查环境、题意和标签有效性,不能只靠增加难度或延长轨迹。每题的质量/难度处置作为旁路记录,保持这五个字段和参考目标不变。