ploop/docs/design/evaluation-framework.md
2026-08-31 15:27:34 +08:00

4.1 KiB
Raw Permalink Blame History

知识库评测框架

目标

在固定知识、配置和请求条件下,判断一个知识库系统是否能正确检索、可靠作答、提供可核验引用,并在边界、更新和异常条件下保持正确行为。

本项目暂不把“模型回答自然流畅”视为充分证据;评测结论必须能回答:系统看到了什么、选择了什么依据、依据如何支持答案、评分如何得出。

第一轮平台的执行范围为一份上游英文 MultiHop-RAG 快照和一份中文派生快照 MultiHop-RAG-zh。它们是两个独立的评测集:英文请求只能检索英文 corpus,中文请求只能检索中文 corpus;同一题的双语版本以 lineage_case_id 关联,用于分析语言差异,绝不把二者合并成单一分数。详见 双语数据与评分契约 与 V1 平台契约。

评测对象的层次

层次 关注的问题 例子
摄取 材料是否被正确解析、分块、标识和更新 表格单元格、PDF 页码、图片 OCR 是否可追溯
检索 正确证据是否进入候选并被合理排序 同义改写、多跳事实、冲突版本
回答 回答是否正确、完整,且应拒答时拒答 证据不足、问题越权、冲突未解决
引用与归因 关键结论是否由真实来源支撑 引用不能指向无关 chunk 或不存在文档
治理与安全 作用域、删除、更新和注入是否正确 Project A 不得召回到 Project B
工程表现 结果能否复现,代价是否可接受 p50/p95 延迟、token、检索与摄取成本

P0 评分分面

P0 不应只有一个总分。每个 Case 至少产出下列独立结果,汇总规则在范围确定后再冻结。

  1. Evidence retrieval:Golden evidence 的 Recall@k、Precision@k 和必要时的排序指标。
  2. Answer correctness:确定性匹配、原子事实 rubric 或严格的受控 judge。
  3. Citation grounding:每条关键结论能否对应到正确的 passage、事实或来源锚点。
  4. Boundary and lifecycle:作用域泄漏、更新、冲突、删除与拒答的断言结果。
  5. Efficiency:摄取、检索、生成的 p50/p95 延迟及其成本拆分。

LLM-as-a-Judge 只能作为回答评分的一个受控组件,必须记录模型、提示词、版本、temperature 和输出;不得覆盖检索金标、引用校验或安全断言。

P0 运行链路

版本化 Dataset
  ├─ Case:可发送给 RAG 的 request
  └─ 金标:答案、证据、拒答/边界规则
        ↓
执行:整批 request 跑被测 RAG
        ↓
原始 Result JSONL(保持原样)
        ↓
Trace:清洗为标准 Trace(候选、重排、上下文、回答、引用)
        ↓
评测:独立评分器
  ├─ 检索评分
  ├─ 回答评分
  ├─ 引用评分
  └─ 边界/生命周期断言
        ↓
版本化 Run Result 与统计汇总

三个阶段有意拆开:执行阶段不解释 RAG 输出;Trace 阶段不判定对错;评测阶段只消费已落盘的标准 Trace 与 Dataset 快照。这使得同一次执行可按新的规则重评,也使第一轮平台可以将任一阶段交给异步 worker,而不改变其输入/输出语义。

基线要求

在评测复杂知识库系统前,至少保留下列可比较基线:

  • 全上下文或小规模直接阅读基线(仅在语料确实装得进窗口时);
  • 简单向量或混合检索 RAG 基线;
  • 被测系统的正式配置。

若语料处于模型上下文窗口内,复杂记忆或 RAG 方案未必优于全上下文。P0 报告必须说明这一条件,而不是把架构复杂度误写成能力提升。

范围门

D-010 已收敛第一轮的前 3 项:只测固定知识库 RAG;不做用户/Agent、多租户或权限模型;覆盖受控 corpus 的摄取、检索、回答、引用、拒答与 Run 生命周期,但不覆盖在线更新、删除和冲突处理。仍需在接入首个真实 SUT 时冻结成功优先级(准确性、证据/引用、延迟、成本的门槛),并写入该 SUT 的 Run 配置版本。