- forum-solved-export: 3539 个已解决话题(问题+全部对话+采纳回答),含索引 - rdk-docs-export: 21 个文档子站 ~3430 篇 Markdown(源码仓库/抓取/反解析三种方式) - kb-eval: 352 条 RAG 检索评测集(答案全部锚定文档、多轮子代理交叉审计), 含检索/出题/校验工具与子代理提示词模板,支持增量扩产 - pipeline: 论坛枚举导出、文档抓取反解析、覆盖率统计全部脚本(可重跑)
管线脚本说明
所有脚本可用环境变量 EVAL_ROOT 指定仓库根目录(默认取脚本所在位置的上两级)。
中间产物统一写到 <仓库根>/_work/(已 gitignore)。外部依赖:Python 3.9+、html2text(pip)。
forum/ —— 论坛侧
| 脚本 | 作用 | 说明 |
|---|---|---|
enumerate_topics.py |
翻全站 /latest.json 枚举话题,筛 has_accepted_answer |
论坛搜索接口有 500 条上限,此为权威枚举方式;产出已解决话题清单 |
export_topics.py |
逐话题拉取完整楼层(>20 楼自动分页补拉),渲染 Markdown | 限速 ~2.8 帖/秒,支持断点续跑(已导出的跳过);同时产出 raw.jsons.tar.gz 原始归档(222MB,不入库) |
build_index.py |
生成 index.md 与 solved_topics_index.csv | 含"被采纳回答前 50 字预览"列;从 raw 归档提取,不重新请求论坛 |
docs/ —— 文档侧
| 脚本 | 作用 | 说明 |
|---|---|---|
clone_repos.sh |
部分克隆 15 个 Docusaurus 内容仓库(blob:none + 稀疏检出 *.md) |
避免拉 rdk_doc 仓库 2.4GB 图片;产出 rsync 到 rdk-docs-export/ |
coverage.py |
sitemap ↔ 源文件映射,产出 coverage.csv | 需先抓各站 sitemap.xml 到 _work/sitemaps/(脚本内有站点清单) |
scrape_sphinx_x5sdk.py |
x5_sdk_doc 站抓取(用其 searchindex.js 枚举全部页面) | 零依赖发现页面清单;HTML→Markdown 转换 |
scrape_sphinx_oe.py |
oe_x3_doc / oe_x5_doc 两站抓取 | 同上,Sphinx 5 的 docnames 格式 |
fetch_rspress_chunks.py |
下载 Rspress 站全部异步 JS chunk | 从 webpack runtime 提取 chunk 清单 |
jsx2md.py |
编译后 MDX(JSX 调用树)反解析回 Markdown | 核心解析器:容错式逐元素解析,保留代码块/表格/标题层级 |
parse_sidebar.py |
解析 Rspress 站点配置中的侧边栏(标题↔路由) | 供标题清单导出 |
extract_rspress_oe_s.py / extract_rspress_llm.py |
oe_s_doc / oe_llm_* 三站正文导出 | 依赖 fetch_rspress_chunks + jsx2md |
常见坑(实践中踩过)
- tar 打包 macOS 会产生
._*AppleDouble 条目,解析时务必过滤; - oe_s_doc 有 3 个页面的异步 chunk 在服务器上不存在(线上也是坏的),属永久缺口;
- Rspress 各站路由表在配置 chunk 里(含 filePath/lang/chunk/module 映射),是反解析的入口;
- Sphinx 站 URL 需
.html后缀;searchindex.js 有 JSON 与Search.setIndex(...)两种格式。