4.1 KiB
知识库评测框架
目标
在固定知识、配置和请求条件下,判断一个知识库系统是否能正确检索、可靠作答、提供可核验引用,并在边界、更新和异常条件下保持正确行为。
本项目暂不把“模型回答自然流畅”视为充分证据;评测结论必须能回答:系统看到了什么、选择了什么依据、依据如何支持答案、评分如何得出。
第一轮平台的执行范围为一份上游英文 MultiHop-RAG 快照和一份中文派生快照 MultiHop-RAG-zh。它们是两个独立的评测集:英文请求只能检索英文 corpus,中文请求只能检索中文 corpus;同一题的双语版本以 lineage_case_id 关联,用于分析语言差异,绝不把二者合并成单一分数。详见 双语数据与评分契约 与 V1 平台契约。
评测对象的层次
| 层次 | 关注的问题 | 例子 |
|---|---|---|
| 摄取 | 材料是否被正确解析、分块、标识和更新 | 表格单元格、PDF 页码、图片 OCR 是否可追溯 |
| 检索 | 正确证据是否进入候选并被合理排序 | 同义改写、多跳事实、冲突版本 |
| 回答 | 回答是否正确、完整,且应拒答时拒答 | 证据不足、问题越权、冲突未解决 |
| 引用与归因 | 关键结论是否由真实来源支撑 | 引用不能指向无关 chunk 或不存在文档 |
| 治理与安全 | 作用域、删除、更新和注入是否正确 | Project A 不得召回到 Project B |
| 工程表现 | 结果能否复现,代价是否可接受 | p50/p95 延迟、token、检索与摄取成本 |
P0 评分分面
P0 不应只有一个总分。每个 Case 至少产出下列独立结果,汇总规则在范围确定后再冻结。
- Evidence retrieval:Golden evidence 的 Recall@k、Precision@k 和必要时的排序指标。
- Answer correctness:确定性匹配、原子事实 rubric 或严格的受控 judge。
- Citation grounding:每条关键结论能否对应到正确的 passage、事实或来源锚点。
- Boundary and lifecycle:作用域泄漏、更新、冲突、删除与拒答的断言结果。
- Efficiency:摄取、检索、生成的 p50/p95 延迟及其成本拆分。
LLM-as-a-Judge 只能作为回答评分的一个受控组件,必须记录模型、提示词、版本、temperature 和输出;不得覆盖检索金标、引用校验或安全断言。
P0 运行链路
版本化 Dataset
├─ Case:可发送给 RAG 的 request
└─ 金标:答案、证据、拒答/边界规则
↓
执行:整批 request 跑被测 RAG
↓
原始 Result JSONL(保持原样)
↓
Trace:清洗为标准 Trace(候选、重排、上下文、回答、引用)
↓
评测:独立评分器
├─ 检索评分
├─ 回答评分
├─ 引用评分
└─ 边界/生命周期断言
↓
版本化 Run Result 与统计汇总
三个阶段有意拆开:执行阶段不解释 RAG 输出;Trace 阶段不判定对错;评测阶段只消费已落盘的标准 Trace 与 Dataset 快照。这使得同一次执行可按新的规则重评,也使第一轮平台可以将任一阶段交给异步 worker,而不改变其输入/输出语义。
基线要求
在评测复杂知识库系统前,至少保留下列可比较基线:
- 全上下文或小规模直接阅读基线(仅在语料确实装得进窗口时);
- 简单向量或混合检索 RAG 基线;
- 被测系统的正式配置。
若语料处于模型上下文窗口内,复杂记忆或 RAG 方案未必优于全上下文。P0 报告必须说明这一条件,而不是把架构复杂度误写成能力提升。
范围门
D-010 已收敛第一轮的前 3 项:只测固定知识库 RAG;不做用户/Agent、多租户或权限模型;覆盖受控 corpus 的摄取、检索、回答、引用、拒答与 Run 生命周期,但不覆盖在线更新、删除和冲突处理。仍需在接入首个真实 SUT 时冻结成功优先级(准确性、证据/引用、延迟、成本的门槛),并写入该 SUT 的 Run 配置版本。