36 KiB
企业内部智能知识库平台 PRD
文档版本: v0.1
文档状态: 需求基线稿 / 待评审
产品定位: API First + Admin Console 的企业级智能知识基础设施
目标用户规模: 企业内部几十人~百人级团队,架构预留更大规模扩展能力
主要语言: 中文优先,兼容英文及中英混合内容
部署原则: 自建部署为主,允许调用云端 AI 服务;支持 NVIDIA GPU
核心技术原则: RAG + Knowledge Compilation、Hybrid Retrieval、Reranker、MCP、底层能力可替换
当前阶段交付覆盖(PLAN-002)
为优先达成服务可用和一键集群部署,当前阶段只交付企业受控网络内的单一公共知识库:所有 已接收知识处于同一个可见域,用户打开 Admin Console 或连接 WorkBuddy 即可使用,无需感知 后端进程启停。用户、用户组、角色、知识库多空间、Document ACL、LDAP/SSO 和 OAuth 用户 委托仍是本 PRD 的后续 V1 要求,本阶段不实现,也不得标记为完成。
该阶段覆盖不会取代安全原则:公共知识库不等于匿名公网开放;Admin 写操作必须位于受控网络
或统一接入网关后,MCP 使用运行时注入的最小 knowledge:search 服务凭据。一旦平台需要接收
非公共知识,必须先完成 Permission Resolver 与检索前/检索中 ACL 下推,禁止全局 Top-K 后置
过滤。实施顺序和集群验收边界见
PUBLIC_KNOWLEDGE_CLUSTER_PLAN.md。
1. 项目背景
企业内部存在大量分散于 PDF、Word、PPT、Excel、Markdown、图片、扫描件及其他文件中的知识资产。
传统文档管理和 Wiki 系统能够解决知识存放、目录组织和人工检索问题,但面对以下场景能力有限:
- 用户不知道准确关键词;
- 一个问题需要综合多份文档;
- 文档数量增加后,人工维护成本快速上升;
- AI Agent 无法以统一协议安全访问企业知识;
- 文档更新后,知识索引不能自动同步;
- 搜索结果缺乏来源追踪;
- 不同部门之间存在严格知识访问权限;
- 原始资料虽然很多,但没有进一步沉淀成结构化企业知识。
本项目计划建设一套企业内部智能知识库平台,将企业原始资料自动转换为:
- 可追溯的结构化知识;
- 可供 RAG 高质量召回的索引;
- 可由 LLM 持续维护的 Compiled Knowledge;
- 可通过 REST API / MCP 被 WorkBuddy 等 Agent 调用的知识能力。
平台不绑定单一 Embedding 模型、Vector Database、LLM 或 Agent 客户端。
2. 产品愿景
建设企业内部统一的 Knowledge Infrastructure:
任何企业知识进入系统后,都能够自动被解析、清洗、结构化、索引、沉淀和安全调用,并且始终能够追溯到原始事实来源。
系统长期形成三层知识:
L0 Source Knowledge
原始文件 / 原始事实
不可由 AI 修改
↓
L1 Structured Knowledge
解析文本 / 结构 / Chunk / Index
用于精准检索与 RAG
↓
L2 Compiled Knowledge
Wiki / FAQ / SOP / Entity / Summary / Comparison
由 AI 从 L0/L1 派生,可持续维护
要求:
L2 → L1 → L0
始终可完整追溯。
3. 核心产品原则
3.1 API First
所有核心业务能力首先以 Service/API 形式存在。
Admin Console、MCP Server 以及未来其他客户端均调用统一业务服务,不允许各自重复实现业务逻辑。
Admin Console
│
REST
│
WorkBuddy ─ MCP ─ Knowledge Service ─ REST ─ Other Systems
│
Core Engine
3.2 Admin Console 不是核心业务逻辑
Admin Console 是官方管理客户端,主要解决:
- 知识库创建;
- 文件上传;
- 文件状态管理;
- 权限管理;
- 检索调试;
- Chunk 查看;
- Knowledge Compilation 管理;
- 模型配置;
- Benchmark;
- MCP 配置;
- 日志和任务监控。
所有能力原则上均能够通过 API 操作。
3.3 底层实现不得暴露给 MCP Client
WorkBuddy、Cursor、Claude Code 或其他 Agent 不应该知道:
- OceanBase Vector;
- BOS;
- Qdrant;
- Milvus;
- bge-large-zh;
- Qwen3;
- MinerU;
- 其他 Parser/Model。
MCP 只暴露业务语义,例如:
search_knowledge
get_document
get_document_section
get_source
list_knowledge_bases
3.4 Source of Truth 原则
原始文件是企业知识的最终事实源。
LLM 生成的:
- Wiki;
- FAQ;
- Summary;
- Comparison;
- SOP;
- Entity Page;
均属于 Derived Knowledge。
Derived Knowledge 不得覆盖、修改或替代 Source Knowledge。
3.5 Provider 可替换原则
核心系统不得与单一供应商强耦合。
至少抽象:
EmbeddingProvider
RerankerProvider
VectorStoreProvider
LLMProvider
ParserProvider
OCRProvider
ObjectStorageProvider
V1 可以优先使用现有百度体系,但必须具备替换路径。
4. 产品目标
4.1 V1 核心目标
V1 必须实现以下完整闭环:
创建知识库
↓
上传文档
↓
自动解析
↓
自动清洗
↓
结构恢复
↓
Chunk
↓
Embedding
↓
Hybrid Index
↓
Reranker
↓
带权限检索
↓
来源追踪
↓
REST / MCP
同时实现:
Raw Knowledge
↓
Knowledge Compilation
↓
Compiled Wiki
↓
审核 / 发布
↓
RAG 可检索
5. 非目标
以下能力不作为 V1 核心目标:
- 自研通用聊天机器人;
- 完整 Agent 平台;
- 通用 Workflow 编排平台;
- GraphRAG;
- 知识图谱编辑平台;
- 视频语义理解;
- 音频会议实时转写;
- 自动互联网爬虫;
- 飞书 / Confluence / Notion 全量同步;
- 多模态图片向量检索;
- 完整文档在线协同编辑器;
- 移动端 App。
但架构不得阻碍未来扩展。
6. 用户角色
6.1 System Admin
系统管理员。
权限:
- 系统配置;
- 用户/组织管理;
- Provider 配置;
- Embedding / Reranker 管理;
- MCP 管理;
- Benchmark;
- 全局审计;
- 系统日志;
- 存储配置。
6.2 Knowledge Base Owner
知识库负责人。
权限:
- 创建/配置知识库;
- 成员管理;
- 文件上传;
- 文件删除;
- 权限设置;
- Compilation 配置;
- 发布 Compiled Knowledge;
- 查看日志;
- 查看检索效果。
6.3 Knowledge Editor
知识维护人员。
权限:
- 上传文档;
- 编辑 metadata;
- 查看解析结果;
- 重新解析;
- 管理 Compiled Knowledge;
- 发起发布审核。
6.4 Knowledge Consumer
普通知识消费者。
权限:
- 检索其有权限访问的知识;
- 查看来源;
- 通过授权 MCP Client 获取知识。
不能访问:
- 无权限知识库;
- 无权限文档;
- 系统管理配置。
6.5 AI Agent
包括:
- WorkBuddy;
- CodeBuddy;
- Cursor;
- Claude Code;
- 其他 MCP Client;
- 企业内部 Agent。
Agent 的实际权限必须绑定用户身份或 Service Account,不得拥有默认全局权限。
7. 核心业务对象
系统核心对象:
Organization
User
Group
Role
KnowledgeBase
Folder
Document
DocumentVersion
DocumentPage
DocumentSection
Chunk
EmbeddingIndex
SparseIndex
IndexVersion
CompiledKnowledge
CompiledKnowledgeVersion
CompilationJob
Permission
ACL
IngestionJob
RetrievalRequest
RetrievalResult
AuditLog
MCPClient
APIKey
8. Knowledge Base 模型
知识库是逻辑隔离的最上层业务空间。
每个知识库至少包含:
- Name;
- Description;
- Owner;
- Visibility;
- Members;
- ACL;
- Folder Tree;
- Documents;
- Retrieval Configuration;
- Embedding Configuration;
- Reranker Configuration;
- Compilation Configuration;
- MCP Availability;
- Metadata Schema。
支持知识库状态:
Active
Archived
Disabled
9. 文件类型需求
9.1 P0 文件类型
V1 必须支持:
- PDF;
- DOCX;
- PPTX;
- XLSX;
- CSV;
- Markdown;
- TXT;
- HTML;
- JPG/JPEG;
- PNG。
9.2 PDF 类型
必须覆盖:
- 原生文本 PDF;
- 扫描 PDF;
- 图文混排 PDF;
- 多栏 PDF;
- 含表格 PDF;
- 含页眉页脚 PDF。
10. 文件上传
REQ-INGEST-001
支持:
- 单文件上传;
- 多文件批量上传;
- Drag & Drop。
REQ-INGEST-002
上传完成必须立即返回 Document ID,不阻塞等待解析。
REQ-INGEST-003
Document processing 必须异步执行。
源文件与 Document/Job 成功持久化后返回 202 Accepted。批量上传中的每个文件拥有独立的
Document ID 和 Ingestion Job;单个文件处理失败不得阻塞或回滚批次内其他已接收文件。
当前 Demo 已实现多文件 202 接收、批次聚合查询和逐文件 Job 状态;目录上传、压缩包解包、
断点续传以及完整 V1 的 Hash/Version/ACL 能力仍按各自 Task 后置。
公共知识库集群交付使用分别可扩缩的 API/Admin、MCP Gateway 和 Async Worker 生产镜像; 镜像只包含锁定代码与非敏感默认值,环境凭据必须在部署时注入。
集群编排由 Helm Chart 统一管理:API/MCP 默认多副本,Worker 与单实例恢复调度器分离;敏感值 只引用预建 Kubernetes Secret,数据库 Migration 在安装/升级前串行完成。Ingress/TLS、探针、 资源限制和 Pod 安全默认值属于部署契约,不改变 REST/MCP 业务接口。
REQ-INGEST-004
展示处理阶段:
Uploading
Queued
Parsing
Cleaning
Chunking
Embedding
Indexing
Completed
Failed
REQ-INGEST-005
失败必须展示:
- Failed Stage;
- Attempt Count;
- 是否仍会自动重试;
- Error Code;
- Error Message;
- Retry。
REQ-INGEST-006
可重试的瞬时执行失败必须自动进行有界重试。每次重新执行前必须清理该 Document 的旧解析 产物、Chunk、Chunk Index State 和向量/稀疏索引数据,再从不可变原始文件开始处理。清理不得 删除原始文件、Document 标识或 Job/Attempt 历史;清理失败时不得继续重试。
11. 文件版本和去重
REQ-VERSION-001
上传文件时计算 Source Hash。
如果:
相同 Knowledge Base
+
相同文件 Hash
系统应提示文件已经存在。
REQ-VERSION-002
同名但 Hash 不同的文件允许:
Create New Version
REQ-VERSION-003
新版本成功建立索引后,旧版本默认退出 Active Retrieval。
历史版本仍可追踪。
REQ-VERSION-004
禁止出现:
新版本已经上传
但检索结果仍同时返回多个旧版本
除非管理员明确允许历史搜索。
12. Document Parsing
解析系统必须使用 Parser Adapter。
ParserRouter
├─ PDFParser
├─ OfficeParser
├─ SpreadsheetParser
├─ MarkdownParser
├─ HTMLParser
└─ ImageParser
V1 不规定必须使用单一 Parser。
MinerU、Docling 等由下一阶段 Benchmark 决定。
13. OCR
系统必须能够:
- 自动检测扫描 PDF;
- 自动检测图片中的文字;
- 启动 OCR Pipeline;
- 标记 OCR confidence;
- 保存原始页码。
对于低置信度 OCR 页面,应在管理后台显示警告。
14. Document Cleaning
系统必须支持自动清洗:
- 空页;
- 多余空格;
- 异常换行;
- 连字符断词;
- 重复页眉;
- 重复页脚;
- 页码;
- OCR 噪声;
- 无意义字符;
- 重复内容。
要求:
不得因为清洗破坏原始 Source。
保存:
Original
Parsed
Cleaned
三个逻辑层次。
15. 文档结构恢复
解析结果至少需要识别:
Document
├─ Title
├─ Heading
├─ Paragraph
├─ List
├─ Table
├─ Image Reference
└─ Page
每个结构节点至少保留:
source_document_id
document_version
page_number
section_path
block_type
content
16. Spreadsheet 处理
Excel / CSV 不允许简单拼成连续文本。
至少支持:
- Sheet 识别;
- Header 识别;
- Row/Column 信息;
- Cell 内容;
- Sheet metadata。
Chunk 应保留:
sheet_name
row_range
column_range
方便来源追踪。
17. Chunking
Chunk Strategy 必须可配置和扩展。
支持:
Structure-aware Chunk
优先按照:
Heading
Paragraph
List
Table
进行切分。
Token-aware Chunk
确保满足当前 Embedding Model 最大输入限制。
REQ-CHUNK-001
Chunk 至少保存:
chunk_id
document_id
document_version
knowledge_base_id
content
title
section_path
page_start
page_end
chunk_index
content_type
source_hash
metadata
ACL
18. Embedding Provider
系统必须支持多 Embedding Provider。
EmbeddingProvider
├─ Baidu Qianfan
├─ Local Model
└─ OpenAI-compatible Provider
现阶段默认候选:
- bge-large-zh;
- Qwen3-Embedding-0.6B;
- Qwen3-Embedding-4B;
- Qwen3-Embedding-8B。
千帆当前公开模型能力中,bge-large-zh 为 1024 维、512 tokens 上下文;Qwen3 Embedding 提供 0.6B/4B/8B,对应 1024/2560/4096 维,并支持 8192 tokens 上下文。
19. Embedding Benchmark
这是 V1 的正式产品能力,而不仅仅是研发脚本。
Admin Console 应提供 Benchmark Workspace。
19.1 测试集
管理员可以创建:
Evaluation Dataset
每条数据包含:
Query
Expected Document
Expected Section
Expected Chunk
Tags
Difficulty
19.2 Benchmark 模型
V1 至少比较:
bge-large-zh
Qwen3-Embedding-0.6B
Qwen3-Embedding-4B
根据 GPU 和成本情况扩展 8B。
19.3 Benchmark 指标
至少计算:
Recall@1
Recall@3
Recall@5
Recall@10
MRR
NDCG@10
Latency P50
Latency P95
Indexing Throughput
GPU Memory
API Cost
Storage Cost
19.4 中文测试分类
测试集必须覆盖:
- 自然语言问题;
- 精确术语;
- 产品型号;
- 编号;
- 中文简称;
- 中英文混写;
- 长问题;
- 多条件问题;
- 同义表达;
- 跨文档问题。
20. Vector Store
系统采用:
VectorStoreProvider
抽象。
当前默认:
OceanBase Vector
原因:
公司现有知识平台主检索链已经使用 OceanBase Vector,并可与既有 OceanBase 运维体系复用。 V1 通过标量条件下推满足 Profile 与 ACL 过滤;BM25/Hybrid 能力必须继续通过统一检索契约 演进,不把特定数据库查询结构写入业务层。
系统不得使用 OceanBase/pyobvector-specific data model 污染业务 Domain Model。
未来可以新增:
Mochow
Qdrant
Milvus
pgvector
Elasticsearch/OpenSearch
21. Retrieval Pipeline
V1 默认检索 Pipeline:
Query
↓
Query Normalize
↓
ACL Resolution
↓
┌───────────────┐
│ Dense Search │
└───────────────┘
+
┌───────────────┐
│ Sparse / BM25 │
└───────────────┘
↓
Fusion
↓
Candidate Top N
↓
Reranker
↓
Top K
↓
Source Enrichment
↓
Response
22. Hybrid Search
必须支持:
- Semantic Search;
- Keyword Search;
- Hybrid Search;
- Metadata Filter;
- ACL Filter;
- Knowledge Base Scope;
- Folder Scope;
- Document Scope。
管理员可以设置默认:
Dense Weight
Sparse Weight
Candidate Size
Final TopK
23. Reranker
Reranker 是 V1 P0 能力。
不允许上线以下单一模式作为默认正式检索链:
Embedding
→
TopK
→
Return
默认应:
Hybrid Recall
→
Candidate Top 20~50
→
Reranker
→
Top 5~10
Provider:
RerankerProvider
当前基线与后续候选:
- bce-reranker-base(当前基线);
- Qwen3-Reranker 系列(后续 Benchmark 候选);
- Local Reranker。
模型与参数由版本化 Index/Profile 配置记录,业务 API 不暴露模型名。
24. 权限系统
权限必须发生在 Retrieval 阶段之前/期间。
禁止:
全局 Search
↓
TopK
↓
应用层删除用户无权内容
必须:
User
↓
Permission Resolver
↓
Allowed Scope
↓
Retrieval Filter
↓
TopK
25. ACL 模型
至少支持:
Organization
Knowledge Base
Folder
Document
权限主体:
User
Group
Role
权限:
Read
Write
Manage
支持:
Inherited Permission
Explicit Permission
26. 权限审计
所有以下操作记录 Audit Log:
- 用户登录;
- 查看文档;
- 搜索;
- 下载 Source;
- 上传;
- 删除;
- 权限修改;
- MCP 调用;
- API 调用;
- Compilation;
- 发布 Compiled Knowledge;
- Provider 配置修改。
27. Knowledge Compilation
Knowledge Compilation 是区别于普通 RAG 系统的核心能力。
其思想参考 Karpathy LLM Wiki:
LLM 不仅在每次查询时临时理解知识,而是将原始资料持续编译为可维护、可积累的结构化知识资产。
Karpathy 原始 LLM Wiki 方案明确区分 immutable raw source 与由 LLM 持续维护的 wiki。
企业版本必须在这一思想之上增加:
- 权限;
- 来源追踪;
- 版本;
- 审核;
- 冲突检测;
- 自动过期机制。
28. Compiled Knowledge 类型
V1 支持:
Summary
Entity
Concept
FAQ
SOP
Comparison
Overview
Custom Wiki Page
例如:
产品/
├─ 产品A.md
├─ 产品B.md
└─ 产品对比.md
技术/
├─ 部署流程.md
├─ 故障排查.md
└─ 系统架构.md
企业制度/
├─ 报销制度.md
└─ 请假制度.md
29. Compiled Knowledge Source
每条 Compiled Knowledge 必须包含:
compiled_id
title
type
content
source_document_ids
source_chunk_ids
source_document_versions
created_by
created_at
updated_at
status
permissions
last_verified_at
30. Knowledge Compilation Workflow
New / Updated Source
↓
Impact Analysis
↓
Find Related Wiki Pages
↓
Generate Proposed Update
↓
Source Verification
↓
Conflict Detection
↓
Draft
↓
Human Review / Auto Publish Policy
↓
Published
31. Compilation 状态
Draft
ReviewRequired
Published
Rejected
Stale
Archived
V1 默认:
AI 生成内容先进入 Draft/ReviewRequired,不自动覆盖 Published 内容。
管理员未来可对低风险知识库开启 Auto Publish。
32. Knowledge Conflict Detection
例如 Source A:
退款周期:30 天
Source B:
退款周期:14 天
Compilation 不允许自动生成:
退款周期约 14~30 天
必须标记:
Knowledge Conflict
并展示:
- conflicting claims;
- source;
- version;
- date。
33. Stale Detection
如果 Compiled Knowledge 引用的 Source:
- 被删除;
- 发布新版本;
- 权限发生变化;
相关 Compiled Knowledge 自动进入:
Stale
并触发重新 Compilation。
34. Compiled Knowledge 权限
默认权限原则:
Compiled Knowledge 的可见范围不能高于其引用 Source 的安全范围。
系统必须防止:
Restricted HR Document
+
Public Document
↓
AI Summary
↓
Public Wiki
造成权限泄漏。
具体权限求交/继承算法在技术设计阶段确定。
35. Compiled Knowledge 也进入 Retrieval
检索可以有两类 Source:
Raw Structured Knowledge
Compiled Knowledge
Retrieval Response 必须标记:
source_type = RAW
或:
source_type = COMPILED
Compiled Result 仍必须返回 underlying source。
36. Query Routing
V1 可先采用规则 + LLM Classifier 判断查询:
Fact Lookup
Exact Search
Conceptual Search
Cross Document Analysis
简单事实问题优先 Raw Retrieval。
复杂综合问题可:
Compiled Knowledge
+
Raw Evidence
联合召回。
37. 来源追踪
任何 Retrieval Result 必须包含:
document_id
filename
document_version
page
section_path
chunk_id
content
score
rerank_score
source_type
对于 Compiled Knowledge:
compiled_knowledge_id
underlying_sources[]
38. Admin Console
产品参考 iWiki / 企业 Wiki 的知识组织思想,但不复制其具体实现。
重点吸收:
- Space/Knowledge Base;
- Folder/Category;
- Content 生命周期;
- 权限;
- 版本;
- 最近更新;
- 审核;
- 内容维护责任人;
- 搜索与浏览结合。
腾讯当前企业知识管理体系也将 iWiki 作为可以查询、编辑和管理的企业知识源,并通过 MCP/Connector 与 Agent 连接。
39. Admin Console 一级导航
建议:
Overview
Knowledge Bases
Documents
Compiled Knowledge
Search Lab
Evaluation
Models
MCP & API
Users & Permissions
Jobs
Audit Logs
System Settings
40. Knowledge Base 页面
包含:
Overview
Documents
Folders
Compiled Knowledge
Search Test
Evaluation
Permissions
Settings
41. Document 页面
展示:
- 原始文件;
- 文件信息;
- 当前版本;
- 历史版本;
- Parser;
- Processing Pipeline;
- Parsed Result;
- Chunk;
- Metadata;
- Permissions;
- Related Compiled Knowledge;
- Index Status。
42. Chunk Inspector
管理员可以查看:
Chunk #23
Document:
产品管理制度.pdf
Page:
17
Section:
第三章 / 产品退款
Text:
...
Embedding Model:
...
Index Version:
...
ACL:
...
Retrieval History:
...
支持:
Re-chunk
Re-embed
Re-index
43. Search Lab
这是 V1 P0 工具。
输入 Query 后展示:
Query Information
Normalized Query
Search Scope
ACL
Dense Recall
Rank
Document
Chunk
Score
Sparse Recall
Rank
Document
Chunk
BM25 Score
Fusion
Reranker
Final Result
通过此功能定位:
- Parsing 问题;
- Chunk 问题;
- Embedding 问题;
- BM25 问题;
- Reranker 问题。
44. MCP Server
系统提供统一:
Enterprise Knowledge MCP Server
不得直接暴露 Vector DB API。
45. MCP P0 Tools
建议 V1:
search_knowledge
query
knowledge_base_ids?
folder_ids?
top_k?
filters?
返回:
results[]
sources[]
get_document
获取指定 Document metadata。
get_document_section
获取指定章节/页/Chunk 的连续上下文。
get_source
获取完整来源信息。
list_knowledge_bases
只返回当前用户有权限访问的知识库。
46. MCP P1 Tools
后续支持:
search_compiled_knowledge
get_compiled_knowledge
create_knowledge_draft
submit_knowledge
写操作必须有更严格授权。
47. MCP 身份
远程 MCP 不得使用一个共享超级管理员 Token。
要求:
Client
+
User / Service Identity
+
Permission
映射到系统 ACL。
48. MCP Client Compatibility
首要目标:
WorkBuddy Enterprise
同时尽量兼容标准 MCP Client。
WorkBuddy Enterprise 当前官方 MCP 文档已经支持自定义 MCP Server,并提供远程 API Server、权限、安全及 iWiki 等配置示例。
49. REST API
REST API 为正式公开能力。
建议 Version:
/api/v1/
核心 Domain:
/auth
/users
/groups
/knowledge-bases
/documents
/compiled-knowledge
/search
/evaluations
/jobs
/audit-logs
/mcp
/providers
50. API Authentication
V1 支持:
User Token
Service API Key
未来预留:
OIDC
OAuth2
LDAP
企业微信 / AD / SSO
51. Search API
建议核心接口:
POST /api/v1/search
Request:
{
"query": "...",
"knowledge_base_ids": [],
"top_k": 8,
"retrieval_mode": "hybrid"
}
Response 逻辑结构:
{
"request_id": "...",
"results": [],
"timing": {},
"retrieval": {}
}
不得在 API Contract 中暴露:
mochow.xxx
qdrant.xxx
52. Provider Management
管理员可以配置:
Embedding Provider
Reranker Provider
LLM Provider
Vector Store Provider
Parser Provider
每个 Provider 具有:
Name
Type
Endpoint
Credential
Status
Capabilities
Health
Secret 不允许明文回显。
53. LLM Provider
Knowledge Compilation 可调用:
- 百度千帆;
- OpenAI-compatible API;
- 本地模型;
- 其他云端模型。
系统必须支持:
LLMProvider
抽象。
54. GPU 使用原则
本地 NVIDIA GPU 优先服务于:
OCR / Document Parsing
Embedding
Reranker
LLM 可以采用:
Cloud First
Local Optional
不强制 V1 本地部署大语言模型。
55. 可观测性
系统必须记录:
Ingestion Metrics
documents/day
pages/min
parse latency
OCR latency
failed rate
Retrieval Metrics
QPS
P50
P95
P99
Dense Latency
Sparse Latency
Rerank Latency
Quality Metrics
Recall@K
MRR
NDCG
No Result Rate
Compilation Metrics
Jobs
Success Rate
Review Rate
Conflict Rate
Stale Count
56. Job System
异步任务至少包括:
ParseJob
OCRJob
ChunkJob
EmbeddingJob
IndexJob
CompilationJob
ReindexJob
EvaluationJob
每个 Job:
Queued
Running
Succeeded
Failed
Cancelled
必须支持:
Retry
Retry 必须记录 Attempt 历史并区分可重试的瞬时错误与确定性永久错误;重试执行前遵循
REQ-INGEST-006 的派生数据清理规则。
57. 删除语义
删除 Document 时必须处理:
Source
Parsed Data
Chunks
Vector Index
Sparse Index
Compiled Knowledge Dependency
默认采用:
Soft Delete
管理员可执行永久删除。
58. 搜索质量 Benchmark
正式上线前必须建立企业自己的 Golden Dataset。
建议首批不少于:
200~500 Queries
随着使用积累扩展。
样本来源:
- 用户真实问题;
- 产品团队;
- HR;
- 技术团队;
- 销售/客服。
59. Retrieval Benchmark Matrix
至少比较:
Embedding × Retrieval × Reranker
例如:
bge-large-zh
+ OceanBase Vector Dense
+ No Reranker
bge-large-zh
+ OceanBase Vector Dense
+ bce-reranker-base
Qwen3 Embedding
+ OceanBase Vector Hybrid(能力验证后)
+ Qwen3 Reranker
不只 Benchmark Embedding 单模型。
60. Benchmark 决策原则
最终生产方案根据以下综合指标选择:
Quality
Latency
Cost
Operational Complexity
Vendor Dependency
GPU Requirement
而不是只按模型排行榜。
61. 安全要求
P0:
- 数据逻辑隔离;
- ACL;
- Secret 加密;
- API Authentication;
- Audit Log;
- MCP Authorization;
- HTTPS;
- 禁止未经授权下载原文件。
62. 云端 AI 数据安全
因为允许调用云端服务,每个 Provider 必须定义:
Data Processing Policy
管理员可以设置:
Cloud Allowed
Local Only
Knowledge Base 可覆盖系统默认策略。
例如 HR Knowledge Base 可以配置:
Local Only
即不得将文档内容发送给任何外部 LLM/Embedding API。
63. 性能目标
按当前几十~百人团队规模,V1 目标:
Search
正常场景:
P95 < 2s
包含 Reranker。
不包含最终 LLM Answer Generation。
API
Metadata API:
P95 < 500ms
Admin Console
主要页面交互:
P95 < 2s
64. 可用性
V1 内部生产目标:
99.5%
后续视业务重要性提升。
65. 数据规模
当前尚未明确文档总量,因此 V1 架构最低要求:
10^6 Chunk 级别
不需要大规模重构即可运行。
更高规模在架构设计阶段进行 Capacity Planning。
66. iWiki 产品设计参考原则
不是复制 iWiki,而是吸收传统企业知识系统已经验证的产品理念:
知识是长期资产
不能只有“上传文件”。
需要:
Owner
Version
History
Category
Permission
Status
Last Updated
Search + Browse
用户不仅通过搜索进入知识,也需要:
Knowledge Base
→ Folder
→ Document
→ Knowledge
浏览。
Knowledge Lifecycle
Create
Maintain
Review
Publish
Update
Archive
AI 不替代治理
AI 可以:
Generate
Summarize
Compile
Detect
Suggest
但企业重要知识需要:
Review
Ownership
Audit
67. RAG + Knowledge Compilation 的产品定位
RAG 负责:
找到正确事实。
Knowledge Compilation 负责:
让企业知识持续沉淀并减少重复理解成本。
二者不存在替代关系。
最终查询:
User Query
│
Query Router
/ \
↓ ↓
Raw Retrieval Compiled Retrieval
↓ ↓
\ /
Reranker
↓
Evidence
↓
MCP / REST / Agent
68. 核心成功指标
V1 上线后重点观察:
Adoption
WAU
Active Knowledge Bases
Search Users
MCP Users
Knowledge Coverage
Indexed Documents %
Successful Parse %
Search Quality
Recall@5
Recall@10
No Result Rate
User Positive Feedback
Knowledge Maintenance
Compiled Knowledge Count
Stale Rate
Conflict Rate
Review Completion Rate
Reliability
Index Failure Rate
API Error Rate
MCP Error Rate
69. V1 P0 Scope
必须上线:
- 用户与权限;
- Knowledge Base;
- Folder;
- 文件上传;
- PDF/DOCX/PPTX/XLSX/CSV/MD/TXT/HTML/Image;
- OCR;
- Parsing;
- Cleaning;
- Structure-aware Chunk;
- Document Version;
- Hash 去重;
- Embedding Provider;
- OceanBase Vector Provider;
- Dense Search;
- BM25;
- Hybrid Retrieval;
- ACL Filter;
- Reranker;
- Source Tracking;
- Search API;
- MCP Server;
- WorkBuddy 接入;
- Admin Console;
- Search Lab;
- Job 管理;
- Audit Log;
- Knowledge Compilation;
- Compiled Knowledge 审核;
- Benchmark;
- Provider 配置。
70. V1.1 / P1
后续优先:
- LDAP/OIDC;
- AD/企业 SSO;
- URL Import;
- Confluence;
- iWiki Import;
- 飞书;
- 企业微信;
- Scheduled Sync;
- MCP 写入知识;
- Auto Compilation Policy;
- Feedback Learning;
- Query Analytics。
71. P2
未来:
- GraphRAG;
- Knowledge Graph;
- 多模态 Retrieval;
- 图片 Embedding;
- 视频知识;
- Audio;
- Agent Workflow;
- Enterprise Search;
- Personalized Retrieval;
- Automatic Knowledge Gap Discovery。
72. V1 验收标准
产品只有同时满足以下条件才认为 V1 完成。
Ingestion
上传 P0 文件类型能够:
Upload → Parse → Clean → Chunk → Embed → Index
全链路完成。
Retrieval
支持:
Dense
BM25
Hybrid
Reranker
并通过 Admin Search Lab 查看每个阶段。
Permission
用户不能:
- 搜索;
- 浏览;
- API;
- MCP;
访问无权限 Document。
Traceability
每条 Search Result 可以定位:
Source File
Version
Page
Section
Chunk
Model
Embedding 和 Reranker 可以通过 Provider 配置替换。
Vector DB
OceanBase Vector 作为当前默认生产 Vector Store。
业务代码不存在必须依赖 OceanBase/pyobvector SDK 数据结构的 API Contract。
Benchmark
能够用同一个 Evaluation Dataset 对多个 Embedding Pipeline 进行比较。
Knowledge Compilation
能够:
Source
→
Generate Draft Knowledge
→
Source Linking
→
Review
→
Publish
并能够在 Source 更新时把关联知识标记为 Stale。
MCP
WorkBuddy 能通过 MCP:
search_knowledge
get_source
取得与 REST API 一致、且经过 ACL 的结果。
73. 当前技术基线
当前 V1 架构基线:
Primary Vector Store:
OceanBase Vector
Primary Object Storage:
Baidu BOS
Embedding Baseline:
bge-large-zh
Embedding Benchmark:
Qwen3 Embedding
Reranker:
bce-reranker-base
Document Parsing:
Benchmark MinerU / Docling
LLM:
Provider abstraction
MCP:
Standard MCP Server
Frontend:
Admin Console
Backend:
API First
运行时切换约束:索引 Provider 或 Profile 变更必须以新 Profile 构建 Shadow Index;Profile 生命周期和激活状态保存在 OceanBase canonical 关系表。只有 canonical Chunk 与 ChunkIndexState 完整核对 通过后才能原子激活,禁止复用旧 Profile ID 或原地覆盖当前 Active Index。
74. 已确认产品决策
当前已经确认:
DEC-001
采用:
API First + Admin Console
DEC-002
OceanBase Vector 作为当前生产主检索索引,同时必须保留 Vector Store 替换能力。 OceanBase 关系表保存 canonical 数据,同库 Vector Store 表只保存可重建索引。
DEC-003
不直接确定单一 Embedding 模型。
必须进行多模型企业中文 Benchmark。
DEC-004
Reranker 是正式检索链 P0 能力。
DEC-005
产品设计参考 iWiki / 企业 Wiki 的知识组织、权限和知识生命周期思路。
DEC-006
采用:
RAG + Knowledge Compilation
而不是二选一。
DEC-007
MCP 只能暴露业务能力,禁止泄露 OceanBase Vector、BOS、Embedding Model 等底层实现。
DEC-008
企业知识必须始终能够追溯至 immutable Source。
75. 下一阶段需要解决的架构问题
PRD 评审通过后进入《总体技术架构设计》。
重点决策:
- Backend 技术栈;
- Admin Console 技术栈;
- OceanBase MySQL canonical 数据模型;
- Object Storage;
- Task Queue;
- MinerU vs Docling;
- OCR Pipeline;
- Chunk Strategy;
- OceanBase Vector Index Schema;
- VectorStore Adapter;
- Embedding Provider;
- Reranker Serving;
- GPU Resource Scheduling;
- Knowledge Compilation Engine;
- Permission Resolver;
- MCP Server;
- Authentication;
- Deployment Topology;
- Observability;
- Backup / Disaster Recovery。
76. 下一阶段应输出的技术架构方案
技术方案至少给出三套:
方案 A:百度云能力优先
Qianfan
+
BOS
+
OceanBase Vector
+
Local Parsing
优点:
部署简单、延续现有经验。
方案 B:高度自建
Local Embedding
+
Local Reranker
+
Open-source Vector DB
+
Local Parsing
优点:
数据可控、供应商依赖最低。
方案 C:Hybrid 推荐方案
Local Parsing / GPU
+
Replaceable Embedding
+
Replaceable Reranker
+
BOS Object Storage
+
OceanBase Vector Primary
+
Cloud LLM
目标:
在开发成本、搜索质量、隐私、运维成本和供应商锁定之间取得平衡。
77. 调研依据备注
内部最新配置基线确认现有知识平台主链使用千帆 bge-large-zh、bce-reranker-base、
BOS 与 OceanBase MySQL 模式;OceanBase 同时承载 canonical 关系表和逻辑隔离的可重建
向量表。连接地址、账号和密钥仍只能作为运行时 Secret,不进入产品文档或提交记录。
OceanBase Vector 的生产接入必须验证向量检索、标量 Filter、索引参数和版本兼容性; BM25/Hybrid 在相应任务验收前仍按产品能力要求保留,不在本轮 Provider 迁移中提前扩展。
WorkBuddy Enterprise 当前公开 MCP 文档支持自定义 MCP Server,并提供传输、权限、安全、远程 API Server 以及 iWiki 配置示例,因此“企业知识服务 → MCP → WorkBuddy”的产品路线具备正式产品支持基础。
Karpathy 的 LLM Wiki 原始思路强调 immutable raw sources 与由 LLM 持续维护的 compiled wiki 分层,这与本产品提出的 L0 Source / L1 Structured / L2 Compiled Knowledge 模型一致;企业版本在此基础上增加 ACL、版本、审计、冲突和审核机制。
PRD v0.1 END