rollout.salty_run keeps the gateway, grading and evidence on 36 and moves only the agent step into a Salty job. The gateway listens on 127.0.0.1 with a per-attempt bearer token; the job reaches it over port 22 with a restricted one-time key that is removed after each attempt. rollout.batch gains --backend salty and repeatable --credential-file, and writes pass/fail SFT exports through rollout.sft at the end. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
5.2 KiB
数据导出与任务难度
参考 UltraData-RL-2609 的格式和难度校准。本项目只建设采集系统,不执行模型训练。任务记录采用五字段 JSONL;模型原生请求、思考、工具反馈、候选和判分继续保存在证据归档中。
每行只有 uuid、query、ground_truth、source、domain。uuid 由冻结任务摘要生成,同题多次采集共用任务 UUID;query 包含完整题面和缺陷初态;source 保留真实任务来源,不写成 UltraData;首题 domain=Code。ground_truth 来自可信 verifier/gold 的实际行为校验,不从被测模型的提交或 PASS 推导答案。
UltraData 的 Code 使用 call_type=std、完整 stdin 字符串与 stdout。现有 frame-decoder v1 的合同是 argv 分片,另外检查退出码。因此本项目明确使用 call_type=argv 扩展:inputs 为参数数组的数组,outputs 为逐例 stdout,exit_codes 为逐例退出码,fn_name=null。五字段布局一致,评测需要本项目 C/argv 验收器。要完全采用 std 须另建 stdin 任务版本并重新校准,不能改写历史 v1 或丢弃退出码。
没有可移植 argv/std 参考的任务(例如私有测试程序直接链接候选)不提供 dataset.json,导出 call_type=verifier:ground_truth 只含 fn_name=null、task_digest 和 verifier_digest,表示评测必须使用同一身份的受保护 grader 包,不能离开本项目验收器复现。query 依次附上 template 的全部初始文件。
任务目录内 dataset.json 是可信作者冻结的目标快照,关联 task/verifier 摘要;导出器核对身份、字段、用例长度和类型。它是控制端评测材料,不挂入 Agent。当前快照由原始 verifier 对可信 gold 的 87 次实际运行采集,要求全部通过;题目初态、候选和 gold 源码不能充当 ground truth。
入口 python3 -m rollout.export TASK --output DATASET.jsonl,输出独占创建,已有文件不覆盖。今后 rollout.archive 自动将同一任务行封存为 dataset.jsonl 并纳入 manifest。任务 JSONL 包含判分依据,只提供给可信数据处理端;Agent 输入仍仅含公开题面和初态,不挂载归档盘。
Agent 轨迹导出(SFT 对话格式)
参考 UltraData-SFT-Agent-2609 的 Code-Agent 格式:一条轨迹为一行,字段是 uuid、messages、tools、source、domain,另加本项目字段 rollout。只做格式转换,本项目不训练。
- 入口:
python3 -m rollout.sft BATCH... --output EXPORT_DIR,扫描批次目录里所有pi-*/salty-*尝试,在新建的EXPORT_DIR中写出pass.jsonl(成功)、fail.jsonl(失败)和skipped.json(未导出的尝试及原因)。PASS 与 FAIL 分文件,不混放;目录已存在则拒绝,不覆盖旧导出。 - 自动导出:
rollout.batch每次结束(含中断、暂停)都在批次目录写出export-<时间>/,与同次report-<时间>.json对应。--backend salty让每道题在 Salty 上跑;--credential-file可重复,新尝试分给当前占用最少的 Key。 - 准入:回执
pi_evidence.status=VERIFIED、contamination=[]、cleanup=confirmed,status为 PASS 或 FAIL。不满足的尝试不导出,原因写进skipped.json;INFRA_ERROR、UNVERIFIED 和污染轨迹都在这里。36 本机 Docker 的回执没有contamination字段(Agent 无/data与外网),视为无污染。 messages取最后一次实际发给模型的请求(按 pi/2 前缀增量还原、已经网关摘要核对),再接上最终的 assistant 回复。角色为 system / user / assistant / tool。assistant 的思考写在reasoning_content;tool_calls只保留type和function,参数解析为 JSON 对象。tool 消息只保留role和content,按调用顺序排列。tools是同一请求里的工具定义。uuid=Code_Agent_加原生轨迹 sha256;source=embedded-rollout:<task_id>;domain=Code_Agent。rollout记录task_id、task_digest、verdict(PASS/FAIL)、model、image_id和trace_sha256。FAIL 轨迹单独放在fail.jsonl。- 只导出 Agent 实际看到的内容:公开题面、工具输入输出和模型回复,不含判据、参考解、令牌或网关地址。
- 目前只支持 Chat Completions 轨迹(GLM);Qwen 使用的 Responses 格式会被拒绝。
难度准入
frame-decoder 是自编的链路回归题,归类 SMOKE_ONLY;它证明调用、工具、隔离评分和归档链路可以运行,不证明已产出有训练收益的数据集。一次成功只记录一次事实,不能写成稳定成功率或已掌握。
扩量先选有工程来源且答案可独立核验的任务,再对明确的目标模型重复采样,记录模型/任务版本、成功数、总数与环境故障。稳定掌握的题留作回归,不进入主采集池;有失败但能利用真实反馈改善的题优先。全失败的题先排查环境、题意和标签有效性,不能只靠增加难度或延长轨迹。每题的质量/难度处置作为旁路记录,保持这五个字段和参考目标不变。