kb_eval_docs/rdk-docs-export
peng01.guo 15b3337339 RDK 知识库数据集:论坛帖子导出 + 文档中心 Markdown + RAG 评测集(352 条)及全量生产管线
- forum-solved-export: 3539 个已解决话题(问题+全部对话+采纳回答),含索引
- rdk-docs-export: 21 个文档子站 ~3430 篇 Markdown(源码仓库/抓取/反解析三种方式)
- kb-eval: 352 条 RAG 检索评测集(答案全部锚定文档、多轮子代理交叉审计),
  含检索/出题/校验工具与子代理提示词模板,支持增量扩产
- pipeline: 论坛枚举导出、文档抓取反解析、覆盖率统计全部脚本(可重跑)
2026-09-18 17:14:40 +08:00
..

RDK 官方文档数据集(developer.d-robotics.cc)

生成时间:2026-09-17。本目录把 D-Robotics 开发者文档中心的各子站整理为 Markdown,分三类:

1. 有原文档(GitHub 源码仓库,原生 Markdown)

以下 15 个站点由 D-Robotics org 的 Docusaurus 内容仓库构建,本数据集直接取自各仓库 main 分支 (docs/ 为中文正文,i18n/en/... 为英文版),是原生 Markdown 原文档:

站点目录 源码仓库 在线地址 源文件数(md)
rdk_x_doc/ D-Robotics/rdk_x_doc /rdk_x_doc/ 433
rdk_s_doc/ D-Robotics/rdk_s_doc /rdk_s_doc/ 484
rdk_doc/ D-Robotics/rdk_doc /rdk_doc/(旧版总站) 990
rdk_studio_doc/ D-Robotics/rdk_studio_doc /rdk_studio_doc/ 215
tros_doc/ D-Robotics/tros_doc /tros_doc/ 145
model_zoo_doc/ D-Robotics/model_zoo_doc /model_zoo_doc/ 64
accessories_doc/ D-Robotics/accessories_doc /accessories_doc/ 48
x5_cases_doc/ D-Robotics/x5_cases_doc /x5_cases_doc/ 32
xburn_doc/ D-Robotics/xburn_doc /xburn_doc/ 30
case_doc/ D-Robotics/case_doc /case_doc/ 28
accessories_stereo_camera_doc/ D-Robotics/accessories_stereo_camera_doc /accessories_stereo_camera_doc/ 28
magicbox_doc/ D-Robotics/magicbox_doc /magicbox_doc/ 25
accessories_bmi088_doc/ D-Robotics/accessories_bmi088_doc /accessories_bmi088_doc/ 22
accessories_audio_kit_doc/ D-Robotics/accessories_audio_kit_doc /accessories_audio_kit_doc/ 14
tros_vims_doc/ D-Robotics/tros_vims_doc /tros_vims_doc/ 7(md 位于仓库根目录)

URL ↔ 源文件对应规则:站点路由由文件路径 + frontmatter slug(各文件普遍写有绝对 slug)+ 数字前缀剥离规则决定;coverage.csv 给出逐站覆盖统计。

2. 无公开源码仓库(网页抓取后转换为 Markdown)

目录 站点(生成器) 抓取页面数 说明
x5_sdk_doc/ /x5_sdk_doc/(Sphinx,X5 芯片用户手册) 214 由 searchindex.js 枚举全部页面
oe_x3_doc/ /oe_x3_doc/cn/(Sphinx,Open Explorer X3) 109 同上
oe_x5_doc/ /oe_x5_doc/cn/(Sphinx,Open Explorer X5) 106 同上

抓取文件头部均标注原始 URL。

3. Rspress SPA 站点(无源码仓库,从打包资源反解析导出)

目录 站点(生成器) 导出页面数(中文版) 说明
oe_s_doc/ /oe_s_doc/(Rspress,Open Explorer S 系列工具链) 377 / 380 站点路由共 764 条(中 380 / 英 384),英文版未导出
oe_llm_s100p_doc/ /oe_llm_s100p_doc/(Rspress,地瓜 LLM S100/S100P) 29 / 30 同上
oe_llm_s600_doc/ /oe_llm_s600_doc/(Rspress,地瓜 LLM S600) 27 / 28 同上

这三个站正文由 JS 在浏览器端渲染(HTML 为空壳)且无公开源码仓库。本次通过直接解析其前端打包产物完成导出: 从 webpack runtime 提取 chunk 清单 → 下载全部异步 chunk → 按路由表(path ↔ chunk/module)定位每页 编译后的 MDX 组件 → 反解析 JSX 调用树还原为 Markdown(标题/段落/表格/列表/代码块/图片链接均保留)。

未导出的 5 页:3 页的异步 chunk 在服务器上不存在(guide/advanced_content/hmct_api_reference/build_model、 guide/plugin/advanced_tutorial/fx_quantization_explain、guide/ucp/vp/vp1_Introduction,线上同样无法加载), 另 3 页为各站首页跳转壳(无正文)。英文版如需要可按同一方法导出。 各站中文版导航标题清单见 _uncovered_titles/ 目录(历史命名,现已覆盖)。

覆盖率总览

对 14 个有 sitemap 的站点(合计 1529 个在线 URL):

  • 1247 个 URL 有源码 Markdown 对应(1026 直接对应 + 221 新旧路由别名,内容同源)
  • 116 个为自动生成的分类索引页(无正文)
  • 39 个为模板/搜索/博客页(无正文)
  • 127 个未匹配,其中 118 个集中在旧版 rdk_doc 站(旧版路由,仓库中有 990 个源文件,内容均可追溯)

逐站明细见 coverage.csv。

数据规模

  • Markdown/MDX 文件总数:约 3428(源码 2565 + Sphinx 抓取 429 + Rspress 反解析 433)
  • 总大小:约 44MB