data-gen-bpu/docs/opencode-sft.md

2.0 KiB
Raw Permalink Blame History

OpenCode 严格 SFT 导出

仅在 salty-test 验证,尚未上生产。采集入口和导出命令保持不变。

OpenCode 1.18.31 的 raw-session.json 经原生适配后,复用 Pi 的脱敏、 工具调用配对、硬门槛复验、内容审核和发布校验。runner 仍为 opencode, 轨迹格式为 opencode-native-messages/1,不伪造 Pi 事件。

  • 冻结原始会话、会话身份、系统提示、工具定义和 CLI 事件的哈希。
  • 以原生 session/message/part ID 关联会话和 CLI 事件,检查顺序、终止状态和工具结果。
  • 原生消息保存在映射消息的 opencode 字段,系统分段保存在 opencode_system; 二者与映射后的消息一起脱敏,不截断思考、参数或结果。训练读取标准 role/content。
  • 校验器独立枚举原始消息、工具状态和 CLI 事件,防止解析器漏读后覆盖率仍显示完整。
  • 缺文件、身份冲突、未完成工具、未知部件、压缩或附件均不能进入严格 SFT。 完整轨迹也必须通过原有的任务门槛和内容审核;旧数据不自动视为合格。
  • 仅支持当前固定版本、单会话无压缩格式;本改动不增加续跑或生产部署。

验证

在隔离源码目录运行,所有合成轨迹由测试的临时目录自动回收:

PYTHONDONTWRITEBYTECODE=1 python3 -m unittest \
  export.test_opencode_source export.test_trajectory export.test_materialization \
  export.test_publication export.test_publication_runtime \
  scripts.test_content_review_integration -q

scripts/smoke_opencode.py --binary <固定版本路径> 使用真实 CLI、隔离环境和本地模拟模型, 核对模型请求中的系统提示、工具定义与冻结快照一致,并执行严格来源校验; --budget-probe 验证超时轨迹不能通过该校验。脚本要求没有 runs/state/.env.local 的独立源码副本,结束后应删除整个副本。此测试不证明真实模型或板端任务通过。