peng01.guo 15b3337339 RDK 知识库数据集:论坛帖子导出 + 文档中心 Markdown + RAG 评测集(352 条)及全量生产管线
- forum-solved-export: 3539 个已解决话题(问题+全部对话+采纳回答),含索引
- rdk-docs-export: 21 个文档子站 ~3430 篇 Markdown(源码仓库/抓取/反解析三种方式)
- kb-eval: 352 条 RAG 检索评测集(答案全部锚定文档、多轮子代理交叉审计),
  含检索/出题/校验工具与子代理提示词模板,支持增量扩产
- pipeline: 论坛枚举导出、文档抓取反解析、覆盖率统计全部脚本(可重跑)
2026-09-18 17:14:40 +08:00

4.8 KiB
Raw Permalink Blame History

RDK 知识库评测集(试点 100 条)

  • 生成时间:2026-09-17
  • 数据文件:eval_dataset.json(352 条,schema 见下)
  • 每条字段:question(检索问题,来自论坛已解决帖)、expected_answer(答案,全部在 expected_docs 文档中验证过出处)、expected_docs(承载答案的文章,rdk-docs-export 内的文件相对路径)、difficulty(简单/中等/困难)、source_topic(论坛帖 ID,可追溯)

构建方式

  1. 从 3539 个论坛已解决帖中,用 BM25 对"采纳回答 ↔ 3427 篇文档"打分筛选候选(三波共 ~400 候选帖);
  2. 逐帖人工改写为检索问题,在文档语料中实际检索验证答案出处;
  3. 每条写入时强制校验:expected_answer 的关键短语必须命中 expected_docs 中的至少一篇(未命中的条目被自动拒绝,共淘汰 2 条)。

难度定义

  • 简单(33 条):单跳、单文档,问题与文档关键词直接重合(参数、规格、工具名查询)。
  • 中等(51 条):单跳但表述间接/口语化(问现象、答案在配置或流程文档),或需区分相近产品线(X3/X5/S100 文档树)。
  • 困难(16 条):多跳(需组合 2 篇以上文档或文档+论坛上下文)、症状→根因→配置的间接映射、参数级深度内容(tuning 参数、多跳排障)。

统计

  • 来源帖:345 个不同话题(三轮累计:96 + 111 + 138)
  • expected_docs 数量分布:1 篇 97 条 / 2 篇 200 条 / 3 篇 55 条,平均 1.88 篇;72% 的条目为多文档
  • 难度分布:简单 211 / 中等 124 / 困难 17(三轮均经多子代理交叉审计后按统一标准重标)

扩产记录(第二轮,2026-09-17)

  • 从剩余未处理帖子中按 BM25 评分取前 1000 个候选,5 个出题子代理并行生产 138 条(每条附锚点短语并程序化自校验),再经 3 个审计子代理交叉检查(事实/金标/难度重复);
  • 审计修复:3 条事实错误(API 名、S100/S600 混淆、脚本名)、1 条题干病句、约 20 条难度重标、20 条强重复删除、1 条与存量事实冲突的旧题删除(X5 HDMI);
  • 新题的锚点短语留档于 agent_items/ 目录(含各代理原始产出),供后续溯源;

全量处理记录(第三轮,2026-09-18)

  • 剩余 2169 个未出摘要帖子全部处理完毕:573 个(答案匹配池)+ 1596 个(问题匹配池,含采纳回答过短的帖子),11 个出题子代理并行评估,产出 172 条;
  • 中央事实点去重剔除 25 条(40pin 默认 UART、/dev/video8、X3 编解码规格等 9 个重复域);
  • 2 个审计子代理交叉检查:事实/金标维度 1 ERROR(跳转桩页金标)+ 4 WARN;质量维度发现 9 条"子问包含式"漏网重复(上轮去重盲区)+ 1 条题干泄答案,全部修复;8 条难度重标、2 条升格困难;
  • 最终三轮累计 352 条,全部锚点校验通过。至此 3539 个已解决话题全部完成评估:345 个帖出题,3194 个帖子经评估因答案无法锚定文档(个案排查/版本 bug/NDA/纯链接回答/与已有题重复等)未出题。

交叉审计记录(2026-09-17)

四个独立子代理分别从「答案事实准确性 / 问题质量与难度 / 金标文档合理性 / 格式与可追溯性」全量审计 100 条:

  • 事实审计发现 5 条答案与文档矛盾(论坛说法混入、消息类型名错误、修改方向写反等)→ 已按文档原文重写;
  • 金标审计发现 24 篇"只含关键词不承载答案"或"错误平台"的文档 → 已剔除,其中 7 条重新挂到正确文档;
  • 难度审计发现 14 条标注偏高 → 已重标;
  • 3 条高度重复条目(默认 IP×2、OV5647 子集)已删除;
  • 所有修改后条目重新通过"锚点短语命中金标文档"强制校验(失败数 0)。
  • 多文档的构成:① 同一答案在新旧文档站(rdk_doc ↔ rdk_x_doc/rdk_s_doc ↔ x5_sdk_doc)的镜像页;② OE 工具链文档在 oe_x3/oe_x5/oe_s 各站的对应章节;③ 多跳答案的不同组成部分(如"精度排查流程 + debug 工具"两篇)
  • 文档站点分布:rdk_doc 103 / rdk_x_doc 40 / rdk_s_doc 28 / oe_x5_doc 24 / x5_sdk_doc 22 / oe_s_doc 10 / tros_doc 6 / oe_x3_doc 5 / 配件类 8 / 其他 4
  • 所有 expected_docs 均通过存在性校验;每条原始锚点短语在落盘时强制命中(详见构建方式第 3 步);扩产补充的镜像文档通过"硬锚点(命令/参数/型号)+≥2 特征短语"规则二次确认,可疑项(不同板卡相似文档、纯目录页)已人工剔除

工具(可复用于扩产)

  • docsearch.py:文档 BM25 检索(s)、短语全库验证(p)、文件内上下文(g)
  • candidates.py:从论坛包按"答案可文档化程度"筛选候选帖
  • items_append.py:带强制验证的题目落盘