ploop/docs/benchmarks/benchmark-selection.md
2026-08-31 15:27:34 +08:00

9.7 KiB
Raw Permalink Blame History

公共基准选择与接入流程

结论

历史调研选出了 CRAG、MultiHop-RAG、RGB 三个互补的公共基准;但 P0 首版的执行范围现已收敛为 MultiHop-RAG 与其中文派生集 MultiHop-RAG-zh。先完成固定语料、多跳检索、答案、引用和中英文对照的完整闭环;RGB、CRAG 保留为后续适配候选,不计入 P0 的运行计划或通过门槛。

数据集 P0 状态 在 PLoop 中回答的问题 为什么这样安排
MultiHop-RAG 首版执行集 英文静态文档库中,是否召回全部跨文档证据并正确组合? 公开 corpus、答案和证据齐全,最贴近首个完整 RAG 链路。
MultiHop-RAG-zh 首版执行集(派生) 同一逻辑任务在中文语料与中文问题下是否仍可正确检索和回答? 控制题目、证据结构和规模,只引入语言/翻译这一变量。
RGB 后续候选 给定正确、噪声或反事实上下文时,生成器会不会拒答、整合和纠错? 适合扩展生成鲁棒性,但不是首版的“从 corpus 到答案”主线。
CRAG 后续候选 面对动态 Web/KG 信息和工具调用,端到端 RAG 是否仍然正确且不幻觉? 需要时间快照、页面和 mock API,待固定语料链路稳定后接入。

选择不包含 BEIR 或 RAGBench 作为首批执行集:BEIR 是优秀且广泛采用的检索基准,但不评生成;RAGBench 适合校验 RAG 输出评估器,其 10 万条样本主要包含已有上下文和已有生成/标注,不是将一个任意 RAG 从 corpus 跑到答案的首选端到端集。两者可以在 P0 稳定后作为补充适配器。

首版的具体构造、翻译质量门槛、双语运行隔离和验收产物见 双语数据与评分契约。本文件保留三个上游基准的完整资料,供后续扩展时使用。

数据集契约

1. MultiHop-RAG:静态知识库、多跳主线

  • 来源与认可度:COLM 2024 论文及其公开仓库;专门评估跨文档 RAG。
  • 规模:2,556 个英文查询;每题所需证据分布在 2–4 篇文档中。标准发布包含新闻语料、查询、答案及关联证据;Hugging Face 发行版共 3,165 行,对应 2,556 个 QA 记录和 609 条 corpus 记录。
  • 输入:待索引的新闻文档(含正文及标题、来源、发布时间等 metadata)和问题。
  • 金标/输出:正确答案、问题类型及所需 evidence document ID 列表。被测 RAG 输出答案、引用/检索 document ID 及其排序。
  • 官方评测:仓库将 retrieval 和 QA 分成 retrieval_evaluate.py、qa_evaluate.py 两条脚本。
  • PLoop 评测:除保留官方脚本外,计算 all-evidence Recall@k(2–4 份证据是否齐全)、any-evidence Recall@k、引用覆盖率、答案正确性与延迟。这样可区分“少了一跳”与“证据齐全但推理失败”。

2. RGB:RAG 生成鲁棒性主线

  • 来源与认可度:AAAI 2024 论文和作者公开仓库;其设计的四类能力为 noise robustness、negative rejection、information integration、counterfactual robustness。
  • 规模:采用仓库当前的 refined/test 配置共 1,000 个 Case:英文/中文的普通(含噪声和拒答)各 300,信息整合英文/中文各 100,反事实英文/中文各 100。这个数量是对当前六个公开 JSONL 文件逐行计数所得;数据/版本须在正式运行时以 commit 与文件哈希冻结。
  • 输入:query、正确 answer、正证据 positive、干扰证据 negative;信息整合 Case 另有两个必要子答案,反事实 Case 另有 fakeanswer 与错误支持材料。
  • 金标/输出:被测生成器输出答案,必要时输出拒答或对错误证据的纠正。这里的文档是评测方提供的上下文包,不是待测系统从公共大 corpus 中检索出来的结果。
  • 官方评测:普通设置报告 all_rate(准确率;在全噪声时为拒答率);反事实设置报告错误检测和纠错;仓库可控制 noise_rate、提供 passage 数等变量。
  • PLoop 评测:Trace 必须标记这些为 provided_context,不能误记为“系统检索命中”。报告按四种能力切片,并记录拒答、答案、实际采用的上下文 ID 和生成延迟。这一集主要测生成和上下文使用,不能替代 retriever 分数。
  • 许可提醒:仓库声明为 CC BY-NC-SA 4.0;若后续结果用于商业用途,必须在下载和运行前做许可复核。

3. CRAG:动态 Web/KG 端到端主线

  • 来源与认可度:Meta 的公开 CRAG 仓库;论文报告该基准服务于 KDD Cup 2024。
  • 规模:4,409 个问答对,覆盖 finance、music、movie、sports、open 五个领域和 8 类问题;事实时效从 static 到 slow-changing、fast-changing、real-time。
  • 输入:interaction_id、query_time、domain、question_type、query;每题配 Web 搜索结果和/或 mock KG/API。Task 1/2 每题提供 5 个从 top-10 抽样的 HTML 页面,Task 3 每题最多 50 个完整 HTML 页面。
  • 金标/输出:answer、alt_ans;被测 RAG 输出回答,并应保留访问的页面、调用的 mock API、检索/工具排序和引用。
  • 官方评测:回答分为 perfect、acceptable、missing、incorrect;自动评测结合规则匹配和 LLM,记为 correct +1、missing 0、incorrect -1。
  • PLoop 评测:必须把 query_time 与 CRAG mock API 固定进 Case,禁止用今天的真实 Web 代替历史快照;保留工具调用和页面 ID Trace,再并行执行官方评测与 PLoop 的引用/证据/延迟统计。

PLoop 端到端流程

上游基准的 release / commit / 文件哈希
        ↓  Dataset adapter(不把答案或证据发送给 RAG)
Dataset snapshot
  ├─ corpus 或每题允许的外部资料
  ├─ request:问题、允许的 scope / 时间 / 工具
  └─ gold:答案、替代答案、evidence ID、官方 slice
        ↓
执行:批量调用目标 RAG
  ├─ MultiHop-RAG:先摄取固定新闻 corpus,再跑 query batch
  ├─ RGB:将每题的正/负上下文包交给生成器,不测其 retriever
  └─ CRAG:在固定 query_time 下调用页面快照与 mock API
        ↓
Raw Result(原样保存)
        ↓
Trace normalizer(统一答案、候选/提供上下文、引用、工具调用、时间和错误)
        ↓
两个并行评分面
  ├─ 官方 evaluator:保持与公开基准的可比性
  └─ PLoop evaluator:检索/证据/引用/延迟/成本/失败归因
        ↓
按 benchmark × slice × 系统版本报告;不跨基准求单一平均分

逐集“脑跑”

MultiHop-RAG

  1. 将 609 篇新闻文档及 metadata 摄取到被测 RAG;将 2,556 个问题拆为可恢复的批次。
  2. 每题请求只含 case_id、问题和允许 scope;gold answer/evidence 只留在 Dataset snapshot。
  3. RAG 返回答案、top-k 文档 ID、分数和引用;PLoop 清洗为 canonical trace。
  4. 若 2–4 个 Gold 文档没有全部进入 top-k,归因为 retrieval miss;若都在而答案仍错,归因为 composition/generation miss;引用无关则单列 citation miss。
  5. 输出官方 retrieval/QA 结果,以及 PLoop 的证据覆盖、答案、引用和性能结果。

RGB

  1. 读取当前冻结的英中 Case,按照 noise_rate 构造正/负上下文包;一个 Case 可生成多个噪声条件的执行实例。
  2. 将 query 与上下文包交给目标生成器;不要让它改用外部实时检索。
  3. Trace 记录生成答案、拒答标记和实际使用的 context ID;上下文来源标记为 supplied,而非 retrieved。
  4. 对普通/全噪声、信息整合、反事实四类 Case 分别运行官方评分,并输出 PLoop 结构化失败归因。
  5. 结果告诉我们:即使 retrieval 没问题,模型是否仍会被噪声带偏、无法拒答、漏掉第二份证据或接受错误事实。

CRAG

  1. 每题把 query time、Web 页面快照和可调用 mock API 绑定在同一个 Case;不建立跨题共享的“今天的互联网”索引。
  2. 目标 RAG 在允许的网页/API 范围内回答;Trace 记录页面选择、API 参数/结果、答案、引用和错误。
  3. 官方 evaluator 将答案记为 +1 / 0 / -1;PLoop 再检查答案是否能由实际访问资料支持,以及面对动态/长尾/多跳 slice 的延迟差异。
  4. 对长任务使用 Batch 和 manifest 状态;Task 3 的每题最多 50 个完整 HTML 页面,应按估计 token/页面量拆分批次,不把单一超时混同为答案错误。

实施顺序与通过条件

  1. MultiHop-RAG 英文:实现固定 corpus adapter、gold evidence 导入、retrieval/answer trace 和双重评分。
  2. MultiHop-RAG-zh:从同一英文快照构造、审查并冻结中文派生集;复用同一 RAG 协议,但建立独立中文索引和评分报告。
  3. RGB(后续):扩展 request 的 provided_context 语义及拒答/反事实评分,验证 Trace 不会把评测提供的文档误算成检索能力。
  4. CRAG(后续):加入 query-time、页面快照和 mock API Trace;此时再验证 Batch 拆分、超时和长任务恢复需求。

每一步均要先用少量 Case 跑通,再做全量;对比任何两个 RAG 时固定 release、Case slice、模型、prompt、top-k、温度、官方 evaluator 版本和 PLoop evaluator 版本。

官方资料