9.7 KiB
9.7 KiB
公共基准选择与接入流程
结论
历史调研选出了 CRAG、MultiHop-RAG、RGB 三个互补的公共基准;但 P0 首版的执行范围现已收敛为 MultiHop-RAG 与其中文派生集 MultiHop-RAG-zh。先完成固定语料、多跳检索、答案、引用和中英文对照的完整闭环;RGB、CRAG 保留为后续适配候选,不计入 P0 的运行计划或通过门槛。
| 数据集 | P0 状态 | 在 PLoop 中回答的问题 | 为什么这样安排 |
|---|---|---|---|
| MultiHop-RAG | 首版执行集 | 英文静态文档库中,是否召回全部跨文档证据并正确组合? | 公开 corpus、答案和证据齐全,最贴近首个完整 RAG 链路。 |
| MultiHop-RAG-zh | 首版执行集(派生) | 同一逻辑任务在中文语料与中文问题下是否仍可正确检索和回答? | 控制题目、证据结构和规模,只引入语言/翻译这一变量。 |
| RGB | 后续候选 | 给定正确、噪声或反事实上下文时,生成器会不会拒答、整合和纠错? | 适合扩展生成鲁棒性,但不是首版的“从 corpus 到答案”主线。 |
| CRAG | 后续候选 | 面对动态 Web/KG 信息和工具调用,端到端 RAG 是否仍然正确且不幻觉? | 需要时间快照、页面和 mock API,待固定语料链路稳定后接入。 |
选择不包含 BEIR 或 RAGBench 作为首批执行集:BEIR 是优秀且广泛采用的检索基准,但不评生成;RAGBench 适合校验 RAG 输出评估器,其 10 万条样本主要包含已有上下文和已有生成/标注,不是将一个任意 RAG 从 corpus 跑到答案的首选端到端集。两者可以在 P0 稳定后作为补充适配器。
首版的具体构造、翻译质量门槛、双语运行隔离和验收产物见 双语数据与评分契约。本文件保留三个上游基准的完整资料,供后续扩展时使用。
数据集契约
1. MultiHop-RAG:静态知识库、多跳主线
- 来源与认可度:COLM 2024 论文及其公开仓库;专门评估跨文档 RAG。
- 规模:2,556 个英文查询;每题所需证据分布在 2–4 篇文档中。标准发布包含新闻语料、查询、答案及关联证据;Hugging Face 发行版共 3,165 行,对应 2,556 个 QA 记录和 609 条 corpus 记录。
- 输入:待索引的新闻文档(含正文及标题、来源、发布时间等 metadata)和问题。
- 金标/输出:正确答案、问题类型及所需 evidence document ID 列表。被测 RAG 输出答案、引用/检索 document ID 及其排序。
- 官方评测:仓库将 retrieval 和 QA 分成
retrieval_evaluate.py、qa_evaluate.py两条脚本。 - PLoop 评测:除保留官方脚本外,计算
all-evidence Recall@k(2–4 份证据是否齐全)、any-evidence Recall@k、引用覆盖率、答案正确性与延迟。这样可区分“少了一跳”与“证据齐全但推理失败”。
2. RGB:RAG 生成鲁棒性主线
- 来源与认可度:AAAI 2024 论文和作者公开仓库;其设计的四类能力为 noise robustness、negative rejection、information integration、counterfactual robustness。
- 规模:采用仓库当前的 refined/test 配置共 1,000 个 Case:英文/中文的普通(含噪声和拒答)各 300,信息整合英文/中文各 100,反事实英文/中文各 100。这个数量是对当前六个公开 JSONL 文件逐行计数所得;数据/版本须在正式运行时以 commit 与文件哈希冻结。
- 输入:
query、正确answer、正证据positive、干扰证据negative;信息整合 Case 另有两个必要子答案,反事实 Case 另有fakeanswer与错误支持材料。 - 金标/输出:被测生成器输出答案,必要时输出拒答或对错误证据的纠正。这里的文档是评测方提供的上下文包,不是待测系统从公共大 corpus 中检索出来的结果。
- 官方评测:普通设置报告
all_rate(准确率;在全噪声时为拒答率);反事实设置报告错误检测和纠错;仓库可控制noise_rate、提供 passage 数等变量。 - PLoop 评测:Trace 必须标记这些为
provided_context,不能误记为“系统检索命中”。报告按四种能力切片,并记录拒答、答案、实际采用的上下文 ID 和生成延迟。这一集主要测生成和上下文使用,不能替代 retriever 分数。 - 许可提醒:仓库声明为 CC BY-NC-SA 4.0;若后续结果用于商业用途,必须在下载和运行前做许可复核。
3. CRAG:动态 Web/KG 端到端主线
- 来源与认可度:Meta 的公开 CRAG 仓库;论文报告该基准服务于 KDD Cup 2024。
- 规模:4,409 个问答对,覆盖 finance、music、movie、sports、open 五个领域和 8 类问题;事实时效从 static 到 slow-changing、fast-changing、real-time。
- 输入:
interaction_id、query_time、domain、question_type、query;每题配 Web 搜索结果和/或 mock KG/API。Task 1/2 每题提供 5 个从 top-10 抽样的 HTML 页面,Task 3 每题最多 50 个完整 HTML 页面。 - 金标/输出:
answer、alt_ans;被测 RAG 输出回答,并应保留访问的页面、调用的 mock API、检索/工具排序和引用。 - 官方评测:回答分为 perfect、acceptable、missing、incorrect;自动评测结合规则匹配和 LLM,记为 correct
+1、missing0、incorrect-1。 - PLoop 评测:必须把
query_time与 CRAG mock API 固定进 Case,禁止用今天的真实 Web 代替历史快照;保留工具调用和页面 ID Trace,再并行执行官方评测与 PLoop 的引用/证据/延迟统计。
PLoop 端到端流程
上游基准的 release / commit / 文件哈希
↓ Dataset adapter(不把答案或证据发送给 RAG)
Dataset snapshot
├─ corpus 或每题允许的外部资料
├─ request:问题、允许的 scope / 时间 / 工具
└─ gold:答案、替代答案、evidence ID、官方 slice
↓
执行:批量调用目标 RAG
├─ MultiHop-RAG:先摄取固定新闻 corpus,再跑 query batch
├─ RGB:将每题的正/负上下文包交给生成器,不测其 retriever
└─ CRAG:在固定 query_time 下调用页面快照与 mock API
↓
Raw Result(原样保存)
↓
Trace normalizer(统一答案、候选/提供上下文、引用、工具调用、时间和错误)
↓
两个并行评分面
├─ 官方 evaluator:保持与公开基准的可比性
└─ PLoop evaluator:检索/证据/引用/延迟/成本/失败归因
↓
按 benchmark × slice × 系统版本报告;不跨基准求单一平均分
逐集“脑跑”
MultiHop-RAG
- 将 609 篇新闻文档及 metadata 摄取到被测 RAG;将 2,556 个问题拆为可恢复的批次。
- 每题请求只含
case_id、问题和允许 scope;gold answer/evidence 只留在 Dataset snapshot。 - RAG 返回答案、top-k 文档 ID、分数和引用;PLoop 清洗为 canonical trace。
- 若 2–4 个 Gold 文档没有全部进入 top-k,归因为 retrieval miss;若都在而答案仍错,归因为 composition/generation miss;引用无关则单列 citation miss。
- 输出官方 retrieval/QA 结果,以及 PLoop 的证据覆盖、答案、引用和性能结果。
RGB
- 读取当前冻结的英中 Case,按照
noise_rate构造正/负上下文包;一个 Case 可生成多个噪声条件的执行实例。 - 将 query 与上下文包交给目标生成器;不要让它改用外部实时检索。
- Trace 记录生成答案、拒答标记和实际使用的 context ID;上下文来源标记为 supplied,而非 retrieved。
- 对普通/全噪声、信息整合、反事实四类 Case 分别运行官方评分,并输出 PLoop 结构化失败归因。
- 结果告诉我们:即使 retrieval 没问题,模型是否仍会被噪声带偏、无法拒答、漏掉第二份证据或接受错误事实。
CRAG
- 每题把 query time、Web 页面快照和可调用 mock API 绑定在同一个 Case;不建立跨题共享的“今天的互联网”索引。
- 目标 RAG 在允许的网页/API 范围内回答;Trace 记录页面选择、API 参数/结果、答案、引用和错误。
- 官方 evaluator 将答案记为
+1 / 0 / -1;PLoop 再检查答案是否能由实际访问资料支持,以及面对动态/长尾/多跳 slice 的延迟差异。 - 对长任务使用 Batch 和 manifest 状态;Task 3 的每题最多 50 个完整 HTML 页面,应按估计 token/页面量拆分批次,不把单一超时混同为答案错误。
实施顺序与通过条件
- MultiHop-RAG 英文:实现固定 corpus adapter、gold evidence 导入、retrieval/answer trace 和双重评分。
- MultiHop-RAG-zh:从同一英文快照构造、审查并冻结中文派生集;复用同一 RAG 协议,但建立独立中文索引和评分报告。
- RGB(后续):扩展 request 的
provided_context语义及拒答/反事实评分,验证 Trace 不会把评测提供的文档误算成检索能力。 - CRAG(后续):加入 query-time、页面快照和 mock API Trace;此时再验证 Batch 拆分、超时和长任务恢复需求。
每一步均要先用少量 Case 跑通,再做全量;对比任何两个 RAG 时固定 release、Case slice、模型、prompt、top-k、温度、官方 evaluator 版本和 PLoop evaluator 版本。