2537 lines
32 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 企业内部智能知识库平台 PRD
**文档版本:** v0.1
**文档状态:** 需求基线稿 / 待评审
**产品定位:** API First + Admin Console 的企业级智能知识基础设施
**目标用户规模:** 企业内部几十人~百人级团队,架构预留更大规模扩展能力
**主要语言:** 中文优先,兼容英文及中英混合内容
**部署原则:** 自建部署为主,允许调用云端 AI 服务;支持 NVIDIA GPU
**核心技术原则:** RAG + Knowledge Compilation、Hybrid Retrieval、Reranker、MCP、底层能力可替换
---
# 1. 项目背景
企业内部存在大量分散于 PDF、Word、PPT、Excel、Markdown、图片、扫描件及其他文件中的知识资产。
传统文档管理和 Wiki 系统能够解决知识存放、目录组织和人工检索问题,但面对以下场景能力有限:
- 用户不知道准确关键词;
- 一个问题需要综合多份文档;
- 文档数量增加后,人工维护成本快速上升;
- AI Agent 无法以统一协议安全访问企业知识;
- 文档更新后,知识索引不能自动同步;
- 搜索结果缺乏来源追踪;
- 不同部门之间存在严格知识访问权限;
- 原始资料虽然很多,但没有进一步沉淀成结构化企业知识。
本项目计划建设一套企业内部智能知识库平台,将企业原始资料自动转换为:
1. **可追溯的结构化知识;**
2. **可供 RAG 高质量召回的索引;**
3. **可由 LLM 持续维护的 Compiled Knowledge;**
4. **可通过 REST API / MCP 被 WorkBuddy 等 Agent 调用的知识能力。**
平台不绑定单一 Embedding 模型、Vector Database、LLM 或 Agent 客户端。
---
# 2. 产品愿景
建设企业内部统一的 **Knowledge Infrastructure**:
> 任何企业知识进入系统后,都能够自动被解析、清洗、结构化、索引、沉淀和安全调用,并且始终能够追溯到原始事实来源。
系统长期形成三层知识:
```text
L0 Source Knowledge
原始文件 / 原始事实
不可由 AI 修改
↓
L1 Structured Knowledge
解析文本 / 结构 / Chunk / Index
用于精准检索与 RAG
↓
L2 Compiled Knowledge
Wiki / FAQ / SOP / Entity / Summary / Comparison
由 AI 从 L0/L1 派生,可持续维护
```
要求:
```text
L2 → L1 → L0
```
始终可完整追溯。
---
# 3. 核心产品原则
## 3.1 API First
所有核心业务能力首先以 Service/API 形式存在。
Admin Console、MCP Server 以及未来其他客户端均调用统一业务服务,不允许各自重复实现业务逻辑。
```text
Admin Console
│
REST
│
WorkBuddy ─ MCP ─ Knowledge Service ─ REST ─ Other Systems
│
Core Engine
```
---
## 3.2 Admin Console 不是核心业务逻辑
Admin Console 是官方管理客户端,主要解决:
- 知识库创建;
- 文件上传;
- 文件状态管理;
- 权限管理;
- 检索调试;
- Chunk 查看;
- Knowledge Compilation 管理;
- 模型配置;
- Benchmark;
- MCP 配置;
- 日志和任务监控。
所有能力原则上均能够通过 API 操作。
---
## 3.3 底层实现不得暴露给 MCP Client
WorkBuddy、Cursor、Claude Code 或其他 Agent 不应该知道:
- Mochow;
- Qdrant;
- Milvus;
- bge-large-zh;
- Qwen3;
- MinerU;
- 其他 Parser/Model。
MCP 只暴露业务语义,例如:
```text
search_knowledge
get_document
get_document_section
get_source
list_knowledge_bases
```
---
## 3.4 Source of Truth 原则
原始文件是企业知识的最终事实源。
LLM 生成的:
- Wiki;
- FAQ;
- Summary;
- Comparison;
- SOP;
- Entity Page;
均属于 **Derived Knowledge**。
Derived Knowledge 不得覆盖、修改或替代 Source Knowledge。
---
## 3.5 Provider 可替换原则
核心系统不得与单一供应商强耦合。
至少抽象:
```text
EmbeddingProvider
RerankerProvider
VectorStoreProvider
LLMProvider
ParserProvider
OCRProvider
ObjectStorageProvider
```
V1 可以优先使用现有百度体系,但必须具备替换路径。
---
# 4. 产品目标
## 4.1 V1 核心目标
V1 必须实现以下完整闭环:
```text
创建知识库
↓
上传文档
↓
自动解析
↓
自动清洗
↓
结构恢复
↓
Chunk
↓
Embedding
↓
Hybrid Index
↓
Reranker
↓
带权限检索
↓
来源追踪
↓
REST / MCP
```
同时实现:
```text
Raw Knowledge
↓
Knowledge Compilation
↓
Compiled Wiki
↓
审核 / 发布
↓
RAG 可检索
```
---
# 5. 非目标
以下能力不作为 V1 核心目标:
- 自研通用聊天机器人;
- 完整 Agent 平台;
- 通用 Workflow 编排平台;
- GraphRAG;
- 知识图谱编辑平台;
- 视频语义理解;
- 音频会议实时转写;
- 自动互联网爬虫;
- 飞书 / Confluence / Notion 全量同步;
- 多模态图片向量检索;
- 完整文档在线协同编辑器;
- 移动端 App。
但架构不得阻碍未来扩展。
---
# 6. 用户角色
## 6.1 System Admin
系统管理员。
权限:
- 系统配置;
- 用户/组织管理;
- Provider 配置;
- Embedding / Reranker 管理;
- MCP 管理;
- Benchmark;
- 全局审计;
- 系统日志;
- 存储配置。
---
## 6.2 Knowledge Base Owner
知识库负责人。
权限:
- 创建/配置知识库;
- 成员管理;
- 文件上传;
- 文件删除;
- 权限设置;
- Compilation 配置;
- 发布 Compiled Knowledge;
- 查看日志;
- 查看检索效果。
---
## 6.3 Knowledge Editor
知识维护人员。
权限:
- 上传文档;
- 编辑 metadata;
- 查看解析结果;
- 重新解析;
- 管理 Compiled Knowledge;
- 发起发布审核。
---
## 6.4 Knowledge Consumer
普通知识消费者。
权限:
- 检索其有权限访问的知识;
- 查看来源;
- 通过授权 MCP Client 获取知识。
不能访问:
- 无权限知识库;
- 无权限文档;
- 系统管理配置。
---
## 6.5 AI Agent
包括:
- WorkBuddy;
- CodeBuddy;
- Cursor;
- Claude Code;
- 其他 MCP Client;
- 企业内部 Agent。
Agent 的实际权限必须绑定用户身份或 Service Account,不得拥有默认全局权限。
---
# 7. 核心业务对象
系统核心对象:
```text
Organization
User
Group
Role
KnowledgeBase
Folder
Document
DocumentVersion
DocumentPage
DocumentSection
Chunk
EmbeddingIndex
SparseIndex
IndexVersion
CompiledKnowledge
CompiledKnowledgeVersion
CompilationJob
Permission
ACL
IngestionJob
RetrievalRequest
RetrievalResult
AuditLog
MCPClient
APIKey
```
---
# 8. Knowledge Base 模型
知识库是逻辑隔离的最上层业务空间。
每个知识库至少包含:
- Name;
- Description;
- Owner;
- Visibility;
- Members;
- ACL;
- Folder Tree;
- Documents;
- Retrieval Configuration;
- Embedding Configuration;
- Reranker Configuration;
- Compilation Configuration;
- MCP Availability;
- Metadata Schema。
支持知识库状态:
```text
Active
Archived
Disabled
```
---
# 9. 文件类型需求
## 9.1 P0 文件类型
V1 必须支持:
- PDF;
- DOCX;
- PPTX;
- XLSX;
- CSV;
- Markdown;
- TXT;
- HTML;
- JPG/JPEG;
- PNG。
---
## 9.2 PDF 类型
必须覆盖:
- 原生文本 PDF;
- 扫描 PDF;
- 图文混排 PDF;
- 多栏 PDF;
- 含表格 PDF;
- 含页眉页脚 PDF。
---
# 10. 文件上传
**REQ-INGEST-001**
支持:
- 单文件上传;
- 多文件批量上传;
- Drag & Drop。
**REQ-INGEST-002**
上传完成必须立即返回 Document ID,不阻塞等待解析。
**REQ-INGEST-003**
Document processing 必须异步执行。
**REQ-INGEST-004**
展示处理阶段:
```text
Uploading
Queued
Parsing
Cleaning
Chunking
Embedding
Indexing
Completed
Failed
```
**REQ-INGEST-005**
失败必须展示:
- Failed Stage;
- Error Code;
- Error Message;
- Retry。
---
# 11. 文件版本和去重
## REQ-VERSION-001
上传文件时计算 Source Hash。
如果:
```text
相同 Knowledge Base
+
相同文件 Hash
```
系统应提示文件已经存在。
---
## REQ-VERSION-002
同名但 Hash 不同的文件允许:
```text
Create New Version
```
---
## REQ-VERSION-003
新版本成功建立索引后,旧版本默认退出 Active Retrieval。
历史版本仍可追踪。
---
## REQ-VERSION-004
禁止出现:
```text
新版本已经上传
但检索结果仍同时返回多个旧版本
```
除非管理员明确允许历史搜索。
---
# 12. Document Parsing
解析系统必须使用 Parser Adapter。
```text
ParserRouter
├─ PDFParser
├─ OfficeParser
├─ SpreadsheetParser
├─ MarkdownParser
├─ HTMLParser
└─ ImageParser
```
V1 不规定必须使用单一 Parser。
MinerU、Docling 等由下一阶段 Benchmark 决定。
---
# 13. OCR
系统必须能够:
- 自动检测扫描 PDF;
- 自动检测图片中的文字;
- 启动 OCR Pipeline;
- 标记 OCR confidence;
- 保存原始页码。
对于低置信度 OCR 页面,应在管理后台显示警告。
---
# 14. Document Cleaning
系统必须支持自动清洗:
- 空页;
- 多余空格;
- 异常换行;
- 连字符断词;
- 重复页眉;
- 重复页脚;
- 页码;
- OCR 噪声;
- 无意义字符;
- 重复内容。
要求:
**不得因为清洗破坏原始 Source。**
保存:
```text
Original
Parsed
Cleaned
```
三个逻辑层次。
---
# 15. 文档结构恢复
解析结果至少需要识别:
```text
Document
├─ Title
├─ Heading
├─ Paragraph
├─ List
├─ Table
├─ Image Reference
└─ Page
```
每个结构节点至少保留:
```text
source_document_id
document_version
page_number
section_path
block_type
content
```
---
# 16. Spreadsheet 处理
Excel / CSV 不允许简单拼成连续文本。
至少支持:
- Sheet 识别;
- Header 识别;
- Row/Column 信息;
- Cell 内容;
- Sheet metadata。
Chunk 应保留:
```text
sheet_name
row_range
column_range
```
方便来源追踪。
---
# 17. Chunking
Chunk Strategy 必须可配置和扩展。
支持:
### Structure-aware Chunk
优先按照:
```text
Heading
Paragraph
List
Table
```
进行切分。
### Token-aware Chunk
确保满足当前 Embedding Model 最大输入限制。
---
## REQ-CHUNK-001
Chunk 至少保存:
```text
chunk_id
document_id
document_version
knowledge_base_id
content
title
section_path
page_start
page_end
chunk_index
content_type
source_hash
metadata
ACL
```
---
# 18. Embedding Provider
系统必须支持多 Embedding Provider。
```text
EmbeddingProvider
├─ Baidu Qianfan
├─ Local Model
└─ OpenAI-compatible Provider
```
现阶段默认候选:
- bge-large-zh;
- Qwen3-Embedding-0.6B;
- Qwen3-Embedding-4B;
- Qwen3-Embedding-8B。
千帆当前公开模型能力中,bge-large-zh 为 1024 维、512 tokens 上下文;Qwen3 Embedding 提供 0.6B/4B/8B,对应 1024/2560/4096 维,并支持 8192 tokens 上下文。
---
# 19. Embedding Benchmark
这是 V1 的正式产品能力,而不仅仅是研发脚本。
Admin Console 应提供 Benchmark Workspace。
---
## 19.1 测试集
管理员可以创建:
```text
Evaluation Dataset
```
每条数据包含:
```text
Query
Expected Document
Expected Section
Expected Chunk
Tags
Difficulty
```
---
## 19.2 Benchmark 模型
V1 至少比较:
```text
bge-large-zh
Qwen3-Embedding-0.6B
Qwen3-Embedding-4B
```
根据 GPU 和成本情况扩展 8B。
---
## 19.3 Benchmark 指标
至少计算:
```text
Recall@1
Recall@3
Recall@5
Recall@10
MRR
NDCG@10
Latency P50
Latency P95
Indexing Throughput
GPU Memory
API Cost
Storage Cost
```
---
## 19.4 中文测试分类
测试集必须覆盖:
- 自然语言问题;
- 精确术语;
- 产品型号;
- 编号;
- 中文简称;
- 中英文混写;
- 长问题;
- 多条件问题;
- 同义表达;
- 跨文档问题。
---
# 20. Vector Store
系统采用:
```text
VectorStoreProvider
```
抽象。
默认首选:
```text
Mochow
```
原因:
公司已有使用经验,同时 Mochow 当前官方能力已经支持向量检索、BM25、Hybrid Search 和标量过滤。
但系统不得使用 Mochow-specific data model 污染业务 Domain Model。
未来可以新增:
```text
Qdrant
Milvus
pgvector
Elasticsearch/OpenSearch
```
---
# 21. Retrieval Pipeline
V1 默认检索 Pipeline:
```text
Query
↓
Query Normalize
↓
ACL Resolution
↓
┌───────────────┐
│ Dense Search │
└───────────────┘
+
┌───────────────┐
│ Sparse / BM25 │
└───────────────┘
↓
Fusion
↓
Candidate Top N
↓
Reranker
↓
Top K
↓
Source Enrichment
↓
Response
```
---
# 22. Hybrid Search
必须支持:
- Semantic Search;
- Keyword Search;
- Hybrid Search;
- Metadata Filter;
- ACL Filter;
- Knowledge Base Scope;
- Folder Scope;
- Document Scope。
管理员可以设置默认:
```text
Dense Weight
Sparse Weight
Candidate Size
Final TopK
```
---
# 23. Reranker
Reranker 是 V1 P0 能力。
不允许上线以下单一模式作为默认正式检索链:
```text
Embedding
→
TopK
→
Return
```
默认应:
```text
Hybrid Recall
→
Candidate Top 20~50
→
Reranker
→
Top 5~10
```
Provider:
```text
RerankerProvider
```
初始候选:
- Qwen3-Reranker-0.6B;
- Qwen3-Reranker-4B;
- Qwen3-Reranker-8B;
- bce-reranker-base;
- Local Reranker。
千帆当前已经提供 Qwen3 Reranker 系列,最大输入支持 32K。
---
# 24. 权限系统
权限必须发生在 **Retrieval 阶段之前/期间**。
禁止:
```text
全局 Search
↓
TopK
↓
应用层删除用户无权内容
```
必须:
```text
User
↓
Permission Resolver
↓
Allowed Scope
↓
Retrieval Filter
↓
TopK
```
---
# 25. ACL 模型
至少支持:
```text
Organization
Knowledge Base
Folder
Document
```
权限主体:
```text
User
Group
Role
```
权限:
```text
Read
Write
Manage
```
支持:
```text
Inherited Permission
Explicit Permission
```
---
# 26. 权限审计
所有以下操作记录 Audit Log:
- 用户登录;
- 查看文档;
- 搜索;
- 下载 Source;
- 上传;
- 删除;
- 权限修改;
- MCP 调用;
- API 调用;
- Compilation;
- 发布 Compiled Knowledge;
- Provider 配置修改。
---
# 27. Knowledge Compilation
Knowledge Compilation 是区别于普通 RAG 系统的核心能力。
其思想参考 Karpathy LLM Wiki:
> LLM 不仅在每次查询时临时理解知识,而是将原始资料持续编译为可维护、可积累的结构化知识资产。
Karpathy 原始 LLM Wiki 方案明确区分 immutable raw source 与由 LLM 持续维护的 wiki。
企业版本必须在这一思想之上增加:
- 权限;
- 来源追踪;
- 版本;
- 审核;
- 冲突检测;
- 自动过期机制。
---
# 28. Compiled Knowledge 类型
V1 支持:
```text
Summary
Entity
Concept
FAQ
SOP
Comparison
Overview
Custom Wiki Page
```
例如:
```text
产品/
├─ 产品A.md
├─ 产品B.md
└─ 产品对比.md
技术/
├─ 部署流程.md
├─ 故障排查.md
└─ 系统架构.md
企业制度/
├─ 报销制度.md
└─ 请假制度.md
```
---
# 29. Compiled Knowledge Source
每条 Compiled Knowledge 必须包含:
```text
compiled_id
title
type
content
source_document_ids
source_chunk_ids
source_document_versions
created_by
created_at
updated_at
status
permissions
last_verified_at
```
---
# 30. Knowledge Compilation Workflow
```text
New / Updated Source
↓
Impact Analysis
↓
Find Related Wiki Pages
↓
Generate Proposed Update
↓
Source Verification
↓
Conflict Detection
↓
Draft
↓
Human Review / Auto Publish Policy
↓
Published
```
---
# 31. Compilation 状态
```text
Draft
ReviewRequired
Published
Rejected
Stale
Archived
```
V1 默认:
> AI 生成内容先进入 Draft/ReviewRequired,不自动覆盖 Published 内容。
管理员未来可对低风险知识库开启 Auto Publish。
---
# 32. Knowledge Conflict Detection
例如 Source A:
```text
退款周期:30 天
```
Source B:
```text
退款周期:14 天
```
Compilation 不允许自动生成:
```text
退款周期约 14~30 天
```
必须标记:
```text
Knowledge Conflict
```
并展示:
- conflicting claims;
- source;
- version;
- date。
---
# 33. Stale Detection
如果 Compiled Knowledge 引用的 Source:
- 被删除;
- 发布新版本;
- 权限发生变化;
相关 Compiled Knowledge 自动进入:
```text
Stale
```
并触发重新 Compilation。
---
# 34. Compiled Knowledge 权限
默认权限原则:
> Compiled Knowledge 的可见范围不能高于其引用 Source 的安全范围。
系统必须防止:
```text
Restricted HR Document
+
Public Document
↓
AI Summary
↓
Public Wiki
```
造成权限泄漏。
具体权限求交/继承算法在技术设计阶段确定。
---
# 35. Compiled Knowledge 也进入 Retrieval
检索可以有两类 Source:
```text
Raw Structured Knowledge
Compiled Knowledge
```
Retrieval Response 必须标记:
```text
source_type = RAW
```
或:
```text
source_type = COMPILED
```
Compiled Result 仍必须返回 underlying source。
---
# 36. Query Routing
V1 可先采用规则 + LLM Classifier 判断查询:
```text
Fact Lookup
Exact Search
Conceptual Search
Cross Document Analysis
```
简单事实问题优先 Raw Retrieval。
复杂综合问题可:
```text
Compiled Knowledge
+
Raw Evidence
```
联合召回。
---
# 37. 来源追踪
任何 Retrieval Result 必须包含:
```text
document_id
filename
document_version
page
section_path
chunk_id
content
score
rerank_score
source_type
```
对于 Compiled Knowledge:
```text
compiled_knowledge_id
underlying_sources[]
```
---
# 38. Admin Console
产品参考 iWiki / 企业 Wiki 的知识组织思想,但不复制其具体实现。
重点吸收:
- Space/Knowledge Base;
- Folder/Category;
- Content 生命周期;
- 权限;
- 版本;
- 最近更新;
- 审核;
- 内容维护责任人;
- 搜索与浏览结合。
腾讯当前企业知识管理体系也将 iWiki 作为可以查询、编辑和管理的企业知识源,并通过 MCP/Connector 与 Agent 连接。
---
# 39. Admin Console 一级导航
建议:
```text
Overview
Knowledge Bases
Documents
Compiled Knowledge
Search Lab
Evaluation
Models
MCP & API
Users & Permissions
Jobs
Audit Logs
System Settings
```
---
# 40. Knowledge Base 页面
包含:
```text
Overview
Documents
Folders
Compiled Knowledge
Search Test
Evaluation
Permissions
Settings
```
---
# 41. Document 页面
展示:
- 原始文件;
- 文件信息;
- 当前版本;
- 历史版本;
- Parser;
- Processing Pipeline;
- Parsed Result;
- Chunk;
- Metadata;
- Permissions;
- Related Compiled Knowledge;
- Index Status。
---
# 42. Chunk Inspector
管理员可以查看:
```text
Chunk #23
Document:
产品管理制度.pdf
Page:
17
Section:
第三章 / 产品退款
Text:
...
Embedding Model:
...
Index Version:
...
ACL:
...
Retrieval History:
...
```
支持:
```text
Re-chunk
Re-embed
Re-index
```
---
# 43. Search Lab
这是 V1 P0 工具。
输入 Query 后展示:
### Query Information
```text
Normalized Query
Search Scope
ACL
```
### Dense Recall
```text
Rank
Document
Chunk
Score
```
### Sparse Recall
```text
Rank
Document
Chunk
BM25 Score
```
### Fusion
### Reranker
### Final Result
通过此功能定位:
- Parsing 问题;
- Chunk 问题;
- Embedding 问题;
- BM25 问题;
- Reranker 问题。
---
# 44. MCP Server
系统提供统一:
```text
Enterprise Knowledge MCP Server
```
不得直接暴露 Vector DB API。
---
# 45. MCP P0 Tools
建议 V1:
### search_knowledge
```text
query
knowledge_base_ids?
folder_ids?
top_k?
filters?
```
返回:
```text
results[]
sources[]
```
---
### get_document
获取指定 Document metadata。
---
### get_document_section
获取指定章节/页/Chunk 的连续上下文。
---
### get_source
获取完整来源信息。
---
### list_knowledge_bases
只返回当前用户有权限访问的知识库。
---
# 46. MCP P1 Tools
后续支持:
```text
search_compiled_knowledge
get_compiled_knowledge
create_knowledge_draft
submit_knowledge
```
写操作必须有更严格授权。
---
# 47. MCP 身份
远程 MCP 不得使用一个共享超级管理员 Token。
要求:
```text
Client
+
User / Service Identity
+
Permission
```
映射到系统 ACL。
---
# 48. MCP Client Compatibility
首要目标:
```text
WorkBuddy Enterprise
```
同时尽量兼容标准 MCP Client。
WorkBuddy Enterprise 当前官方 MCP 文档已经支持自定义 MCP Server,并提供远程 API Server、权限、安全及 iWiki 等配置示例。
---
# 49. REST API
REST API 为正式公开能力。
建议 Version:
```text
/api/v1/
```
核心 Domain:
```text
/auth
/users
/groups
/knowledge-bases
/documents
/compiled-knowledge
/search
/evaluations
/jobs
/audit-logs
/mcp
/providers
```
---
# 50. API Authentication
V1 支持:
```text
User Token
Service API Key
```
未来预留:
```text
OIDC
OAuth2
LDAP
企业微信 / AD / SSO
```
---
# 51. Search API
建议核心接口:
```text
POST /api/v1/search
```
Request:
```json
{
"query": "...",
"knowledge_base_ids": [],
"top_k": 8,
"retrieval_mode": "hybrid"
}
```
Response 逻辑结构:
```json
{
"request_id": "...",
"results": [],
"timing": {},
"retrieval": {}
}
```
不得在 API Contract 中暴露:
```text
mochow.xxx
qdrant.xxx
```
---
# 52. Provider Management
管理员可以配置:
### Embedding Provider
### Reranker Provider
### LLM Provider
### Vector Store Provider
### Parser Provider
每个 Provider 具有:
```text
Name
Type
Endpoint
Credential
Status
Capabilities
Health
```
Secret 不允许明文回显。
---
# 53. LLM Provider
Knowledge Compilation 可调用:
- 百度千帆;
- OpenAI-compatible API;
- 本地模型;
- 其他云端模型。
系统必须支持:
```text
LLMProvider
```
抽象。
---
# 54. GPU 使用原则
本地 NVIDIA GPU 优先服务于:
```text
OCR / Document Parsing
Embedding
Reranker
```
LLM 可以采用:
```text
Cloud First
Local Optional
```
不强制 V1 本地部署大语言模型。
---
# 55. 可观测性
系统必须记录:
## Ingestion Metrics
```text
documents/day
pages/min
parse latency
OCR latency
failed rate
```
## Retrieval Metrics
```text
QPS
P50
P95
P99
Dense Latency
Sparse Latency
Rerank Latency
```
## Quality Metrics
```text
Recall@K
MRR
NDCG
No Result Rate
```
## Compilation Metrics
```text
Jobs
Success Rate
Review Rate
Conflict Rate
Stale Count
```
---
# 56. Job System
异步任务至少包括:
```text
ParseJob
OCRJob
ChunkJob
EmbeddingJob
IndexJob
CompilationJob
ReindexJob
EvaluationJob
```
每个 Job:
```text
Queued
Running
Succeeded
Failed
Cancelled
```
必须支持:
```text
Retry
```
---
# 57. 删除语义
删除 Document 时必须处理:
```text
Source
Parsed Data
Chunks
Vector Index
Sparse Index
Compiled Knowledge Dependency
```
默认采用:
```text
Soft Delete
```
管理员可执行永久删除。
---
# 58. 搜索质量 Benchmark
正式上线前必须建立企业自己的 Golden Dataset。
建议首批不少于:
```text
200~500 Queries
```
随着使用积累扩展。
样本来源:
- 用户真实问题;
- 产品团队;
- HR;
- 技术团队;
- 销售/客服。
---
# 59. Retrieval Benchmark Matrix
至少比较:
```text
Embedding × Retrieval × Reranker
```
例如:
```text
bge-large-zh
+ Mochow Dense
+ No Reranker
bge-large-zh
+ Mochow Hybrid
+ Qwen3 Reranker
Qwen3 Embedding
+ Mochow Hybrid
+ Qwen3 Reranker
```
不只 Benchmark Embedding 单模型。
---
# 60. Benchmark 决策原则
最终生产方案根据以下综合指标选择:
```text
Quality
Latency
Cost
Operational Complexity
Vendor Dependency
GPU Requirement
```
而不是只按模型排行榜。
---
# 61. 安全要求
P0:
- 数据逻辑隔离;
- ACL;
- Secret 加密;
- API Authentication;
- Audit Log;
- MCP Authorization;
- HTTPS;
- 禁止未经授权下载原文件。
---
# 62. 云端 AI 数据安全
因为允许调用云端服务,每个 Provider 必须定义:
```text
Data Processing Policy
```
管理员可以设置:
```text
Cloud Allowed
Local Only
```
Knowledge Base 可覆盖系统默认策略。
例如 HR Knowledge Base 可以配置:
```text
Local Only
```
即不得将文档内容发送给任何外部 LLM/Embedding API。
---
# 63. 性能目标
按当前几十~百人团队规模,V1 目标:
### Search
正常场景:
```text
P95 < 2s
```
包含 Reranker。
不包含最终 LLM Answer Generation。
### API
Metadata API:
```text
P95 < 500ms
```
### Admin Console
主要页面交互:
```text
P95 < 2s
```
---
# 64. 可用性
V1 内部生产目标:
```text
99.5%
```
后续视业务重要性提升。
---
# 65. 数据规模
当前尚未明确文档总量,因此 V1 架构最低要求:
```text
10^6 Chunk 级别
```
不需要大规模重构即可运行。
更高规模在架构设计阶段进行 Capacity Planning。
---
# 66. iWiki 产品设计参考原则
不是复制 iWiki,而是吸收传统企业知识系统已经验证的产品理念:
### 知识是长期资产
不能只有“上传文件”。
需要:
```text
Owner
Version
History
Category
Permission
Status
Last Updated
```
### Search + Browse
用户不仅通过搜索进入知识,也需要:
```text
Knowledge Base
→ Folder
→ Document
→ Knowledge
```
浏览。
### Knowledge Lifecycle
```text
Create
Maintain
Review
Publish
Update
Archive
```
### AI 不替代治理
AI 可以:
```text
Generate
Summarize
Compile
Detect
Suggest
```
但企业重要知识需要:
```text
Review
Ownership
Audit
```
---
# 67. RAG + Knowledge Compilation 的产品定位
RAG 负责:
> 找到正确事实。
Knowledge Compilation 负责:
> 让企业知识持续沉淀并减少重复理解成本。
二者不存在替代关系。
最终查询:
```text
User Query
│
Query Router
/ \
↓ ↓
Raw Retrieval Compiled Retrieval
↓ ↓
\ /
Reranker
↓
Evidence
↓
MCP / REST / Agent
```
---
# 68. 核心成功指标
V1 上线后重点观察:
### Adoption
```text
WAU
Active Knowledge Bases
Search Users
MCP Users
```
### Knowledge Coverage
```text
Indexed Documents %
Successful Parse %
```
### Search Quality
```text
Recall@5
Recall@10
No Result Rate
User Positive Feedback
```
### Knowledge Maintenance
```text
Compiled Knowledge Count
Stale Rate
Conflict Rate
Review Completion Rate
```
### Reliability
```text
Index Failure Rate
API Error Rate
MCP Error Rate
```
---
# 69. V1 P0 Scope
必须上线:
1. 用户与权限;
2. Knowledge Base;
3. Folder;
4. 文件上传;
5. PDF/DOCX/PPTX/XLSX/CSV/MD/TXT/HTML/Image;
6. OCR;
7. Parsing;
8. Cleaning;
9. Structure-aware Chunk;
10. Document Version;
11. Hash 去重;
12. Embedding Provider;
13. Mochow Provider;
14. Dense Search;
15. BM25;
16. Hybrid Retrieval;
17. ACL Filter;
18. Reranker;
19. Source Tracking;
20. Search API;
21. MCP Server;
22. WorkBuddy 接入;
23. Admin Console;
24. Search Lab;
25. Job 管理;
26. Audit Log;
27. Knowledge Compilation;
28. Compiled Knowledge 审核;
29. Benchmark;
30. Provider 配置。
---
# 70. V1.1 / P1
后续优先:
- LDAP/OIDC;
- AD/企业 SSO;
- URL Import;
- Confluence;
- iWiki Import;
- 飞书;
- 企业微信;
- Scheduled Sync;
- MCP 写入知识;
- Auto Compilation Policy;
- Feedback Learning;
- Query Analytics。
---
# 71. P2
未来:
- GraphRAG;
- Knowledge Graph;
- 多模态 Retrieval;
- 图片 Embedding;
- 视频知识;
- Audio;
- Agent Workflow;
- Enterprise Search;
- Personalized Retrieval;
- Automatic Knowledge Gap Discovery。
---
# 72. V1 验收标准
产品只有同时满足以下条件才认为 V1 完成。
## Ingestion
上传 P0 文件类型能够:
```text
Upload → Parse → Clean → Chunk → Embed → Index
```
全链路完成。
---
## Retrieval
支持:
```text
Dense
BM25
Hybrid
Reranker
```
并通过 Admin Search Lab 查看每个阶段。
---
## Permission
用户不能:
- 搜索;
- 浏览;
- API;
- MCP;
访问无权限 Document。
---
## Traceability
每条 Search Result 可以定位:
```text
Source File
Version
Page
Section
Chunk
```
---
## Model
Embedding 和 Reranker 可以通过 Provider 配置替换。
---
## Vector DB
Mochow 可以作为默认生产 Vector Store。
业务代码不存在必须依赖 Mochow SDK 数据结构的 API Contract。
---
## Benchmark
能够用同一个 Evaluation Dataset 对多个 Embedding Pipeline 进行比较。
---
## Knowledge Compilation
能够:
```text
Source
→
Generate Draft Knowledge
→
Source Linking
→
Review
→
Publish
```
并能够在 Source 更新时把关联知识标记为 Stale。
---
## MCP
WorkBuddy 能通过 MCP:
```text
search_knowledge
get_source
```
取得与 REST API 一致、且经过 ACL 的结果。
---
# 73. 当前技术基线
PRD 阶段暂定但不最终锁定:
```text
Primary Vector Store:
Mochow
Embedding Baseline:
bge-large-zh
Embedding Benchmark:
Qwen3 Embedding
Reranker:
Qwen3 Reranker / equivalent
Document Parsing:
Benchmark MinerU / Docling
LLM:
Provider abstraction
MCP:
Standard MCP Server
Frontend:
Admin Console
Backend:
API First
```
---
# 74. 已确认产品决策
当前已经确认:
**DEC-001**
采用:
```text
API First + Admin Console
```
---
**DEC-002**
Mochow 继续作为生产首选候选,同时必须保留 Vector Store 替换能力。
---
**DEC-003**
不直接确定单一 Embedding 模型。
必须进行多模型企业中文 Benchmark。
---
**DEC-004**
Reranker 是正式检索链 P0 能力。
---
**DEC-005**
产品设计参考 iWiki / 企业 Wiki 的知识组织、权限和知识生命周期思路。
---
**DEC-006**
采用:
```text
RAG + Knowledge Compilation
```
而不是二选一。
---
**DEC-007**
MCP 只能暴露业务能力,禁止泄露 Mochow、Embedding Model 等底层实现。
---
**DEC-008**
企业知识必须始终能够追溯至 immutable Source。
---
# 75. 下一阶段需要解决的架构问题
PRD 评审通过后进入《总体技术架构设计》。
重点决策:
1. Backend 技术栈;
2. Admin Console 技术栈;
3. PostgreSQL 数据模型;
4. Object Storage;
5. Task Queue;
6. MinerU vs Docling;
7. OCR Pipeline;
8. Chunk Strategy;
9. Mochow Schema;
10. VectorStore Adapter;
11. Embedding Provider;
12. Reranker Serving;
13. GPU Resource Scheduling;
14. Knowledge Compilation Engine;
15. Permission Resolver;
16. MCP Server;
17. Authentication;
18. Deployment Topology;
19. Observability;
20. Backup / Disaster Recovery。
---
# 76. 下一阶段应输出的技术架构方案
技术方案至少给出三套:
## 方案 A:百度云能力优先
```text
Qianfan
+
Mochow
+
Local Parsing
```
优点:
部署简单、延续现有经验。
---
## 方案 B:高度自建
```text
Local Embedding
+
Local Reranker
+
Open-source Vector DB
+
Local Parsing
```
优点:
数据可控、供应商依赖最低。
---
## 方案 C:Hybrid 推荐方案
```text
Local Parsing / GPU
+
Replaceable Embedding
+
Replaceable Reranker
+
Mochow Primary
+
Cloud LLM
```
目标:
在开发成本、搜索质量、隐私、运维成本和供应商锁定之间取得平衡。
---
# 77. 调研依据备注
当前百度千帆模型列表表明 bge-large-zh 与 Qwen3 Embedding、Qwen3 Reranker 可以作为同平台 Benchmark 候选,因此早期无需为模型实验同时引入多个云厂商。
Mochow 当前官方 API 已支持向量检索与 BM25 全文检索组合的 Hybrid Search,同时可施加标量 Filter,与企业知识库的 Dense + Sparse + ACL Retrieval 需求相匹配。
WorkBuddy Enterprise 当前公开 MCP 文档支持自定义 MCP Server,并提供传输、权限、安全、远程 API Server 以及 iWiki 配置示例,因此“企业知识服务 → MCP → WorkBuddy”的产品路线具备正式产品支持基础。
Karpathy 的 LLM Wiki 原始思路强调 immutable raw sources 与由 LLM 持续维护的 compiled wiki 分层,这与本产品提出的 L0 Source / L1 Structured / L2 Compiled Knowledge 模型一致;企业版本在此基础上增加 ACL、版本、审计、冲突和审核机制。
---
**PRD v0.1 END**