peng01.guo 15b3337339 RDK 知识库数据集:论坛帖子导出 + 文档中心 Markdown + RAG 评测集(352 条)及全量生产管线
- forum-solved-export: 3539 个已解决话题(问题+全部对话+采纳回答),含索引
- rdk-docs-export: 21 个文档子站 ~3430 篇 Markdown(源码仓库/抓取/反解析三种方式)
- kb-eval: 352 条 RAG 检索评测集(答案全部锚定文档、多轮子代理交叉审计),
  含检索/出题/校验工具与子代理提示词模板,支持增量扩产
- pipeline: 论坛枚举导出、文档抓取反解析、覆盖率统计全部脚本(可重跑)
2026-09-18 17:14:40 +08:00
..

管线脚本说明

所有脚本可用环境变量 EVAL_ROOT 指定仓库根目录(默认取脚本所在位置的上两级)。 中间产物统一写到 <仓库根>/_work/(已 gitignore)。外部依赖:Python 3.9+、html2text(pip)。

forum/ —— 论坛侧

脚本 作用 说明
enumerate_topics.py 翻全站 /latest.json 枚举话题,筛 has_accepted_answer 论坛搜索接口有 500 条上限,此为权威枚举方式;产出已解决话题清单
export_topics.py 逐话题拉取完整楼层(>20 楼自动分页补拉),渲染 Markdown 限速 ~2.8 帖/秒,支持断点续跑(已导出的跳过);同时产出 raw.jsons.tar.gz 原始归档(222MB,不入库)
build_index.py 生成 index.md 与 solved_topics_index.csv 含"被采纳回答前 50 字预览"列;从 raw 归档提取,不重新请求论坛

docs/ —— 文档侧

脚本 作用 说明
clone_repos.sh 部分克隆 15 个 Docusaurus 内容仓库(blob:none + 稀疏检出 *.md) 避免拉 rdk_doc 仓库 2.4GB 图片;产出 rsync 到 rdk-docs-export/
coverage.py sitemap ↔ 源文件映射,产出 coverage.csv 需先抓各站 sitemap.xml 到 _work/sitemaps/(脚本内有站点清单)
scrape_sphinx_x5sdk.py x5_sdk_doc 站抓取(用其 searchindex.js 枚举全部页面) 零依赖发现页面清单;HTML→Markdown 转换
scrape_sphinx_oe.py oe_x3_doc / oe_x5_doc 两站抓取 同上,Sphinx 5 的 docnames 格式
fetch_rspress_chunks.py 下载 Rspress 站全部异步 JS chunk 从 webpack runtime 提取 chunk 清单
jsx2md.py 编译后 MDX(JSX 调用树)反解析回 Markdown 核心解析器:容错式逐元素解析,保留代码块/表格/标题层级
parse_sidebar.py 解析 Rspress 站点配置中的侧边栏(标题↔路由) 供标题清单导出
extract_rspress_oe_s.py / extract_rspress_llm.py oe_s_doc / oe_llm_* 三站正文导出 依赖 fetch_rspress_chunks + jsx2md

常见坑(实践中踩过)

  • tar 打包 macOS 会产生 ._* AppleDouble 条目,解析时务必过滤;
  • oe_s_doc 有 3 个页面的异步 chunk 在服务器上不存在(线上也是坏的),属永久缺口;
  • Rspress 各站路由表在配置 chunk 里(含 filePath/lang/chunk/module 映射),是反解析的入口;
  • Sphinx 站 URL 需 .html 后缀;searchindex.js 有 JSON 与 Search.setIndex(...) 两种格式。