peng01.guo 7f8fd745b1 新增 kb-update skill:不定期间歇增量更新全流程
- skills/kb-update/SKILL.md:七阶段编排(检测→导出→出题→审计→合并→推送)
- skills/kb-update/scripts/status.py:线上增量检测(论坛已解决话题枚举比对 + 文档站 sitemap 比对 + 本地数据集状态)
- kb-eval/merge_agent_items.py:中央合并器(schema/锚点/路径/冲突强校验、近重复警告、--check 终检)
- 挂载 .zcode/skills/kb-update 软链,供 agent 工具按需触发
2026-09-18 17:39:10 +08:00

RDK 知识库数据集(论坛 + 文档 + 评测集)

本仓库包含三份相互衔接的数据资产及其完整生产管线,支持后续增量更新:

目录 内容 规模 生产方式
forum-solved-export/ 论坛已解决话题导出(问题+全部对话+采纳标记) 3539 话题 pipeline/forum/
rdk-docs-export/ 开发者文档中心全量 Markdown(21 个子站) ~3430 篇 / 44MB pipeline/docs/
kb-eval/ RAG 检索评测集(question/expected_answer/expected_docs + 难度) 352 条 kb-eval/ 工具 + 子代理流程

目录结构

pipeline/
├── forum/   论坛侧:话题枚举 → 帖子导出 → 索引
├── docs/    文档侧:源码仓库克隆 → Sphinx 抓取 → Rspress 反解析 → 覆盖率
└── README.md  各脚本的用途、依赖、重跑与增量更新说明
forum-solved-export/   topics/*.md(每话题一文件)+ index.md + CSV 索引
                      (raw.jsons.tar.gz 原始归档不入库,见 .gitignore)
rdk-docs-export/      按站点分目录的 Markdown + coverage.csv + README
kb-eval/
├── eval_dataset.json / items.jsonl   评测集(同一数据两种格式)
├── docsearch.py        文档 BM25 检索 / 短语全库验证 / 文件内上下文查看
├── make_digests.py     出题候选摘要生成(分波次,自动排除已处理帖子)
├── items_append.py     带强制锚点校验的题目落盘
├── AGENT_PROMPT_TEMPLATE.md    出题子代理提示词模板(含历轮审计教训)
├── AUDIT_PROMPT_TEMPLATE.md    交叉审计提示词模板
├── agent_items/        各出题代理原始产出(含 verify_phrases,审计溯源用)
├── merge_agent_items.py  中央合并器(schema/锚点/冲突强校验 + 近重复警告)
└── README.md           评测集构建方法、难度定义、三轮审计修复记录
skills/
└── kb-update/          增量更新 skill(SKILL.md 编排手册 + status.py 在线检测)
                       挂载于 .zcode/skills/ 供 agent 工具触发

快速开始

pip3 install --user html2text          # 唯一外部依赖(Python3.9+)
cd kb-eval
python3 -c "import docsearch; docsearch.Index().build()"   # 建 BM25 索引(约 1 分钟)
python3 docsearch.py s "PWM 频率 范围"                        # 检索示例

数据来源与覆盖

  • 论坛:forum.d-robotics.cc(Discourse,公开可读)。已解决话题匿名可见 3539/6882,全部导出;未解决话题与登录可见板块未导出。
  • 文档:developer.d-robotics.cc 门户下 21 个子站。15 个 Docusaurus 站直接取 GitHub 源码仓库原生 Markdown;x5_sdk_doc/oe_x3_doc/oe_x5_doc 三个 Sphinx 站网页抓取转换;oe_s_doc/oe_llm_* 三个 Rspress SPA 站从打包 JS 反解析(无公开源码仓库)。Rspress 英文版(~440 页)未导出。
  • 评测集:352 条来自 345 个帖子,答案全部锚定在文档语料中(锚点短语机器校验);其余 3194 帖经逐帖评估,因答案无法锚定文档(个案排查/纯链接回答/版本 bug/NDA 等)未出题。详见 kb-eval/README.md。

增量更新

推荐入口:skill kb-update(见 skills/kb-update/SKILL.md)——一条命令检测线上新增, 后续按阶段编排:增量导出 → 候选生成 → 子代理出题(AGENT_PROMPT_TEMPLATE.md)→ 交叉审计 (AUDIT_PROMPT_TEMPLATE.md)→ 中央合并校验(kb-eval/merge_agent_items.py)→ 提交推送。 适合不定期触发 agent 工具做全流程更新。以下为各环节手动执行方式:

论坛有新帖时:

cd pipeline/forum
python3 enumerate_topics.py                      # 重新枚举已解决话题(脚本支持跳过已导出)
python3 export_topics.py                         # 增量导出新话题(断点续跑)
python3 build_index.py                           # 重建索引

文档有更新时:

cd pipeline/docs
bash clone_repos.sh                              # 更新 15 个源码仓库(稀疏克隆,只拉 Markdown)
python3 scrape_sphinx_x5sdk.py && python3 scrape_sphinx_oe.py   # Sphinx 站增量抓取
python3 fetch_rspress_chunks.py && python3 extract_rspress_oe_s.py && python3 extract_rspress_llm.py
python3 coverage.py                              # 刷新覆盖率
cd ../../kb-eval && python3 -c "import docsearch; docsearch.Index().build()"

扩充评测集时:

cd kb-eval
python3 make_digests.py --out digests6 --mode answer --top 500   # 生成新候选摘要
# 按 AGENT_PROMPT_TEMPLATE.md 派出题子代理(每代理一批,产物写 agent_items/agentN.jsonl)
# 按 AUDIT_PROMPT_TEMPLATE.md 派审计子代理交叉检查
# 中央合并:锚点校验 + 事实点去重(警惕"子问包含式"重复)+ 难度重标
Description
No description provided
Readme 208 MiB
Languages
Python 93.2%
MDX 5.8%
Shell 1%