data-gen-bpu/docs/opencode-sft.md

33 lines
2.0 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# OpenCode 严格 SFT 导出
仅在 `salty-test` 验证,尚未上生产。采集入口和导出命令保持不变。
OpenCode 1.18.31 的 `raw-session.json` 经原生适配后,复用 Pi 的脱敏、
工具调用配对、硬门槛复验、内容审核和发布校验。`runner` 仍为 `opencode`,
轨迹格式为 `opencode-native-messages/1`,不伪造 Pi 事件。
- 冻结原始会话、会话身份、系统提示、工具定义和 CLI 事件的哈希。
- 以原生 session/message/part ID 关联会话和 CLI 事件,检查顺序、终止状态和工具结果。
- 原生消息保存在映射消息的 `opencode` 字段,系统分段保存在 `opencode_system`;
二者与映射后的消息一起脱敏,不截断思考、参数或结果。训练读取标准 `role/content`。
- 校验器独立枚举原始消息、工具状态和 CLI 事件,防止解析器漏读后覆盖率仍显示完整。
- 缺文件、身份冲突、未完成工具、未知部件、压缩或附件均不能进入严格 SFT。
完整轨迹也必须通过原有的任务门槛和内容审核;旧数据不自动视为合格。
- 仅支持当前固定版本、单会话无压缩格式;本改动不增加续跑或生产部署。
## 验证
在隔离源码目录运行,所有合成轨迹由测试的临时目录自动回收:
```sh
PYTHONDONTWRITEBYTECODE=1 python3 -m unittest \
export.test_opencode_source export.test_trajectory export.test_materialization \
export.test_publication export.test_publication_runtime \
scripts.test_content_review_integration -q
```
`scripts/smoke_opencode.py --binary <固定版本路径>` 使用真实 CLI、隔离环境和本地模拟模型,
核对模型请求中的系统提示、工具定义与冻结快照一致,并执行严格来源校验;
`--budget-probe` 验证超时轨迹不能通过该校验。脚本要求没有 `runs/state/.env.local`
的独立源码副本,结束后应删除整个副本。此测试不证明真实模型或板端任务通过。