- skills/kb-update/SKILL.md:七阶段编排(检测→导出→出题→审计→合并→推送) - skills/kb-update/scripts/status.py:线上增量检测(论坛已解决话题枚举比对 + 文档站 sitemap 比对 + 本地数据集状态) - kb-eval/merge_agent_items.py:中央合并器(schema/锚点/路径/冲突强校验、近重复警告、--check 终检) - 挂载 .zcode/skills/kb-update 软链,供 agent 工具按需触发
RDK 知识库数据集(论坛 + 文档 + 评测集)
本仓库包含三份相互衔接的数据资产及其完整生产管线,支持后续增量更新:
| 目录 | 内容 | 规模 | 生产方式 |
|---|---|---|---|
forum-solved-export/ |
论坛已解决话题导出(问题+全部对话+采纳标记) | 3539 话题 | pipeline/forum/ |
rdk-docs-export/ |
开发者文档中心全量 Markdown(21 个子站) | ~3430 篇 / 44MB | pipeline/docs/ |
kb-eval/ |
RAG 检索评测集(question/expected_answer/expected_docs + 难度) | 352 条 | kb-eval/ 工具 + 子代理流程 |
目录结构
pipeline/
├── forum/ 论坛侧:话题枚举 → 帖子导出 → 索引
├── docs/ 文档侧:源码仓库克隆 → Sphinx 抓取 → Rspress 反解析 → 覆盖率
└── README.md 各脚本的用途、依赖、重跑与增量更新说明
forum-solved-export/ topics/*.md(每话题一文件)+ index.md + CSV 索引
(raw.jsons.tar.gz 原始归档不入库,见 .gitignore)
rdk-docs-export/ 按站点分目录的 Markdown + coverage.csv + README
kb-eval/
├── eval_dataset.json / items.jsonl 评测集(同一数据两种格式)
├── docsearch.py 文档 BM25 检索 / 短语全库验证 / 文件内上下文查看
├── make_digests.py 出题候选摘要生成(分波次,自动排除已处理帖子)
├── items_append.py 带强制锚点校验的题目落盘
├── AGENT_PROMPT_TEMPLATE.md 出题子代理提示词模板(含历轮审计教训)
├── AUDIT_PROMPT_TEMPLATE.md 交叉审计提示词模板
├── agent_items/ 各出题代理原始产出(含 verify_phrases,审计溯源用)
├── merge_agent_items.py 中央合并器(schema/锚点/冲突强校验 + 近重复警告)
└── README.md 评测集构建方法、难度定义、三轮审计修复记录
skills/
└── kb-update/ 增量更新 skill(SKILL.md 编排手册 + status.py 在线检测)
挂载于 .zcode/skills/ 供 agent 工具触发
快速开始
pip3 install --user html2text # 唯一外部依赖(Python3.9+)
cd kb-eval
python3 -c "import docsearch; docsearch.Index().build()" # 建 BM25 索引(约 1 分钟)
python3 docsearch.py s "PWM 频率 范围" # 检索示例
数据来源与覆盖
- 论坛:forum.d-robotics.cc(Discourse,公开可读)。已解决话题匿名可见 3539/6882,全部导出;未解决话题与登录可见板块未导出。
- 文档:developer.d-robotics.cc 门户下 21 个子站。15 个 Docusaurus 站直接取 GitHub 源码仓库原生 Markdown;x5_sdk_doc/oe_x3_doc/oe_x5_doc 三个 Sphinx 站网页抓取转换;oe_s_doc/oe_llm_* 三个 Rspress SPA 站从打包 JS 反解析(无公开源码仓库)。Rspress 英文版(~440 页)未导出。
- 评测集:352 条来自 345 个帖子,答案全部锚定在文档语料中(锚点短语机器校验);其余 3194 帖经逐帖评估,因答案无法锚定文档(个案排查/纯链接回答/版本 bug/NDA 等)未出题。详见
kb-eval/README.md。
增量更新
推荐入口:skill
kb-update(见skills/kb-update/SKILL.md)——一条命令检测线上新增, 后续按阶段编排:增量导出 → 候选生成 → 子代理出题(AGENT_PROMPT_TEMPLATE.md)→ 交叉审计 (AUDIT_PROMPT_TEMPLATE.md)→ 中央合并校验(kb-eval/merge_agent_items.py)→ 提交推送。 适合不定期触发 agent 工具做全流程更新。以下为各环节手动执行方式:
论坛有新帖时:
cd pipeline/forum
python3 enumerate_topics.py # 重新枚举已解决话题(脚本支持跳过已导出)
python3 export_topics.py # 增量导出新话题(断点续跑)
python3 build_index.py # 重建索引
文档有更新时:
cd pipeline/docs
bash clone_repos.sh # 更新 15 个源码仓库(稀疏克隆,只拉 Markdown)
python3 scrape_sphinx_x5sdk.py && python3 scrape_sphinx_oe.py # Sphinx 站增量抓取
python3 fetch_rspress_chunks.py && python3 extract_rspress_oe_s.py && python3 extract_rspress_llm.py
python3 coverage.py # 刷新覆盖率
cd ../../kb-eval && python3 -c "import docsearch; docsearch.Index().build()"
扩充评测集时:
cd kb-eval
python3 make_digests.py --out digests6 --mode answer --top 500 # 生成新候选摘要
# 按 AGENT_PROMPT_TEMPLATE.md 派出题子代理(每代理一批,产物写 agent_items/agentN.jsonl)
# 按 AUDIT_PROMPT_TEMPLATE.md 派审计子代理交叉检查
# 中央合并:锚点校验 + 事实点去重(警惕"子问包含式"重复)+ 难度重标
Description
Languages
Python
93.2%
MDX
5.8%
Shell
1%