..

jev 训练数据工程

为自训练 jev(判别式文档级相关性打分模型)构建训练数据。语料 = RDK 官方文档清洗库(与 91 题评测、d-wiki KB 同源)。

样本 schema(超集格式,兼容二分类 CE / 软标签校准 / 偏好对)

{"pair_id", "query", "query_type": "full|partial|adjacent",
 "doc_id", "doc_text", "doc_truncated",
 "hard_label": 0|1, "grade": "full|partial|none",
 "soft_label": 0.0-1.0, "judge_scores": [p1, p2],
 "difficulty": "easy|medium|hard", "mutation": null|"fake-system|...",
 "split": "train|calibration|eval|injection",
 "provenance": {"source": "eval_anchor|synthetic|injection", "qid?": "..."}}

流水线

步骤 脚本 依赖 状态
1. 语料导出(453篇, 截断策略6000字符) 01_dump_corpus.py 无 ✅ data/corpus.jsonl
2. 91题参考答案锚定正例 02_locate_eval_anchors.py 无 ✅ data/eval_anchors.json (25精确/4坏题/13短答案/28未命中)
2b. LLM 锚定队列求解 02b_llm_anchor.py 网关key ⏸ 28题×BM10候选
3. BM25 难负例挖掘 03_mine_negatives.py 无 ✅ 220难负例+中/易负例
4. LLM 合成 query(2 full+1 partial+1 adjacent/篇) 04_gen_queries_llm.py 网关key ⏸ 试点50篇→全量453
5. 双裁判 LLM 标注(软标签) 05_label_llm.py 网关key ⏸ 分歧>0.35 进人工复核
6. 提示注入变异集 06_injection_mutate.py 无 ✅ 525条(5类模板)
7. 合并切分 train/calib/eval/injection 07_build_splits.py 4-5完成 ⏸ 全量链已启动

试点结论(50 篇 / 935 对,2026-10-14)

  • glm-5.3-flash 默认开思考链会截断 JSON,已统一加 thinking: disabled(0.95s/次)
  • 合成方向零矛盾:裁判从未把源文档判非/把易负例判相关(easyneg 199/199 全部 <0.2)
  • BM25 难负例挖掘有 ~13% 假负例(挖出来的"负例"其实能答)——judge 全部纠正,体现 judge 复核必要性
  • 逐字锚定有产品域假阳性(families 跨产品文档 + 巧合数字串),13 对方向矛盾对已按规则剔除进 quality_review
  • coding plan 有并发上限(~4-5 路),全量 8.9K 次调用预计 7-8 小时

运行前配置

config/pipeline.json: 填入网关 api_key 与四个模型名(query_gen / judge1 / judge2 / anchor,judge1、judge2 建议不同家族以降低共偏)。

python3 scripts/02b_llm_anchor.py            # 先解决28题锚定
python3 scripts/04_gen_queries_llm.py --limit 50   # 试点
python3 scripts/05_label_llm.py --judge2     # 双裁判
python3 scripts/04_gen_queries_llm.py        # 全量
python3 scripts/07_build_splits.py

公开数据集(data/public_pairs.jsonl,54,817 对,2026-10-14)

下载通道:hf-mirror.com(huggingface.co 直连不通)。原始文件在 data/raw/<dataset>/。

数据集 对数 语言 标签来源 说明
galileo-ai/ragbench · techqa 3,707 英 句子支撑标注推导 IBM 技术支持 QA,KB 场景最贴近;full/partial/none 分级
galileo-ai/ragbench · emanual 3,149 英 同上 设备手册 QA,KB 场景;同域 distractor 做难负例
mteb/T2Retrieval 10,989 中 qrels 0/1/2 → none/partial/full 中文维基段落,分级标签是校准训练的主力
mteb/T2Reranking 28,672 中 二分类 qrels 中文重排,正例偏多(切分时下采样)
mteb/DuRetrieval 8,300 中 二分类 qrels 百度知道真实用户 query,问法分布自然

标签分布:positive 39,535 / negative 15,282;grade: full 30,157 / partial 9,378 / none 15,282。 许可:ragbench CC BY 4.0、T2 系列 CC BY-SA 4.0、DuReader Apache-2.0(仅本地训练使用,不再分发)。

与自建数据的分工:公开集教"通用相关性与校准",RDK 自建集(02/04/05 产物)教"本领域判别";混合比例与正负均衡在 07_build_splits.py 里做(t2reranking 正例下采样到每 query 1 条)。

考察过未采用:miracl-zh(语料库 100GB+ 不成比例)、qasper(AI2 S3 key 失效)、CRAG(GitHub 不通)、TREC-DL(语料巨大且分级标签已由 t2retrieval 覆盖)。

已知数据陷阱(来自 d-wiki 污染排查)

  • 坏题自动排除: X3-T05、S1P-T08(参考答案误标)、S1P-T06、S6-T06(不可检索)
  • S100 页面曾被 S600 内容污染;rdk_data_clean 的 quarantine/products 路由已隔离,锚定按 products 域限定进一步防串
  • 参考答案 <8 字符的短答案题(13题)走 LLM 锚定而非精确匹配

预算估算(全量)

阶段 调用量
02b 锚定 28
04 合成 453(试点50)
05 标注 ~10K对 × 2裁判 ≈ 20K(试点 ~800)