2026-09-02 19:41:13 +08:00

35 KiB
Raw Blame History

企业内部智能知识库平台 PRD

文档版本: v0.1
文档状态: 需求基线稿 / 待评审
产品定位: API First + Admin Console 的企业级智能知识基础设施
目标用户规模: 企业内部几十人~百人级团队,架构预留更大规模扩展能力
主要语言: 中文优先,兼容英文及中英混合内容
部署原则: 自建部署为主,允许调用云端 AI 服务;支持 NVIDIA GPU
核心技术原则: RAG + Knowledge Compilation、Hybrid Retrieval、Reranker、MCP、底层能力可替换


当前阶段交付覆盖(PLAN-002)

为优先达成服务可用和一键集群部署,当前阶段只交付企业受控网络内的单一公共知识库:所有 已接收知识处于同一个可见域,用户打开 Admin Console 或连接 WorkBuddy 即可使用,无需感知 后端进程启停。用户、用户组、角色、知识库多空间、Document ACL、LDAP/SSO 和 OAuth 用户 委托仍是本 PRD 的后续 V1 要求,本阶段不实现,也不得标记为完成。

该阶段覆盖不会取代安全原则:公共知识库不等于匿名公网开放;Admin 写操作必须位于受控网络 或统一接入网关后,MCP 使用运行时注入的最小 knowledge:search 服务凭据。一旦平台需要接收 非公共知识,必须先完成 Permission Resolver 与检索前/检索中 ACL 下推,禁止全局 Top-K 后置 过滤。实施顺序和集群验收边界见 PUBLIC_KNOWLEDGE_CLUSTER_PLAN.md。


1. 项目背景

企业内部存在大量分散于 PDF、Word、PPT、Excel、Markdown、图片、扫描件及其他文件中的知识资产。

传统文档管理和 Wiki 系统能够解决知识存放、目录组织和人工检索问题,但面对以下场景能力有限:

  • 用户不知道准确关键词;
  • 一个问题需要综合多份文档;
  • 文档数量增加后,人工维护成本快速上升;
  • AI Agent 无法以统一协议安全访问企业知识;
  • 文档更新后,知识索引不能自动同步;
  • 搜索结果缺乏来源追踪;
  • 不同部门之间存在严格知识访问权限;
  • 原始资料虽然很多,但没有进一步沉淀成结构化企业知识。

本项目计划建设一套企业内部智能知识库平台,将企业原始资料自动转换为:

  1. 可追溯的结构化知识;
  2. 可供 RAG 高质量召回的索引;
  3. 可由 LLM 持续维护的 Compiled Knowledge;
  4. 可通过 REST API / MCP 被 WorkBuddy 等 Agent 调用的知识能力。

平台不绑定单一 Embedding 模型、Vector Database、LLM 或 Agent 客户端。


2. 产品愿景

建设企业内部统一的 Knowledge Infrastructure:

任何企业知识进入系统后,都能够自动被解析、清洗、结构化、索引、沉淀和安全调用,并且始终能够追溯到原始事实来源。

系统长期形成三层知识:

L0 Source Knowledge
原始文件 / 原始事实
不可由 AI 修改
        ↓
L1 Structured Knowledge
解析文本 / 结构 / Chunk / Index
用于精准检索与 RAG
        ↓
L2 Compiled Knowledge
Wiki / FAQ / SOP / Entity / Summary / Comparison
由 AI 从 L0/L1 派生,可持续维护

要求:

L2 → L1 → L0

始终可完整追溯。


3. 核心产品原则

3.1 API First

所有核心业务能力首先以 Service/API 形式存在。

Admin Console、MCP Server 以及未来其他客户端均调用统一业务服务,不允许各自重复实现业务逻辑。

                  Admin Console
                       │
                     REST
                       │
WorkBuddy ─ MCP ─ Knowledge Service ─ REST ─ Other Systems
                       │
                    Core Engine

3.2 Admin Console 不是核心业务逻辑

Admin Console 是官方管理客户端,主要解决:

  • 知识库创建;
  • 文件上传;
  • 文件状态管理;
  • 权限管理;
  • 检索调试;
  • Chunk 查看;
  • Knowledge Compilation 管理;
  • 模型配置;
  • Benchmark;
  • MCP 配置;
  • 日志和任务监控。

所有能力原则上均能够通过 API 操作。


3.3 底层实现不得暴露给 MCP Client

WorkBuddy、Cursor、Claude Code 或其他 Agent 不应该知道:

  • OceanBase Vector;
  • BOS;
  • Qdrant;
  • Milvus;
  • bge-large-zh;
  • Qwen3;
  • MinerU;
  • 其他 Parser/Model。

MCP 只暴露业务语义,例如:

search_knowledge
get_document
get_document_section
get_source
list_knowledge_bases

3.4 Source of Truth 原则

原始文件是企业知识的最终事实源。

LLM 生成的:

  • Wiki;
  • FAQ;
  • Summary;
  • Comparison;
  • SOP;
  • Entity Page;

均属于 Derived Knowledge。

Derived Knowledge 不得覆盖、修改或替代 Source Knowledge。


3.5 Provider 可替换原则

核心系统不得与单一供应商强耦合。

至少抽象:

EmbeddingProvider
RerankerProvider
VectorStoreProvider
LLMProvider
ParserProvider
OCRProvider
ObjectStorageProvider

V1 可以优先使用现有百度体系,但必须具备替换路径。


4. 产品目标

4.1 V1 核心目标

V1 必须实现以下完整闭环:

创建知识库
 ↓
上传文档
 ↓
自动解析
 ↓
自动清洗
 ↓
结构恢复
 ↓
Chunk
 ↓
Embedding
 ↓
Hybrid Index
 ↓
Reranker
 ↓
带权限检索
 ↓
来源追踪
 ↓
REST / MCP

同时实现:

Raw Knowledge
 ↓
Knowledge Compilation
 ↓
Compiled Wiki
 ↓
审核 / 发布
 ↓
RAG 可检索

5. 非目标

以下能力不作为 V1 核心目标:

  • 自研通用聊天机器人;
  • 完整 Agent 平台;
  • 通用 Workflow 编排平台;
  • GraphRAG;
  • 知识图谱编辑平台;
  • 视频语义理解;
  • 音频会议实时转写;
  • 自动互联网爬虫;
  • 飞书 / Confluence / Notion 全量同步;
  • 多模态图片向量检索;
  • 完整文档在线协同编辑器;
  • 移动端 App。

但架构不得阻碍未来扩展。


6. 用户角色

6.1 System Admin

系统管理员。

权限:

  • 系统配置;
  • 用户/组织管理;
  • Provider 配置;
  • Embedding / Reranker 管理;
  • MCP 管理;
  • Benchmark;
  • 全局审计;
  • 系统日志;
  • 存储配置。

6.2 Knowledge Base Owner

知识库负责人。

权限:

  • 创建/配置知识库;
  • 成员管理;
  • 文件上传;
  • 文件删除;
  • 权限设置;
  • Compilation 配置;
  • 发布 Compiled Knowledge;
  • 查看日志;
  • 查看检索效果。

6.3 Knowledge Editor

知识维护人员。

权限:

  • 上传文档;
  • 编辑 metadata;
  • 查看解析结果;
  • 重新解析;
  • 管理 Compiled Knowledge;
  • 发起发布审核。

6.4 Knowledge Consumer

普通知识消费者。

权限:

  • 检索其有权限访问的知识;
  • 查看来源;
  • 通过授权 MCP Client 获取知识。

不能访问:

  • 无权限知识库;
  • 无权限文档;
  • 系统管理配置。

6.5 AI Agent

包括:

  • WorkBuddy;
  • CodeBuddy;
  • Cursor;
  • Claude Code;
  • 其他 MCP Client;
  • 企业内部 Agent。

Agent 的实际权限必须绑定用户身份或 Service Account,不得拥有默认全局权限。


7. 核心业务对象

系统核心对象:

Organization
User
Group
Role

KnowledgeBase
Folder
Document
DocumentVersion
DocumentPage
DocumentSection
Chunk

EmbeddingIndex
SparseIndex
IndexVersion

CompiledKnowledge
CompiledKnowledgeVersion
CompilationJob

Permission
ACL

IngestionJob
RetrievalRequest
RetrievalResult
AuditLog
MCPClient
APIKey

8. Knowledge Base 模型

知识库是逻辑隔离的最上层业务空间。

每个知识库至少包含:

  • Name;
  • Description;
  • Owner;
  • Visibility;
  • Members;
  • ACL;
  • Folder Tree;
  • Documents;
  • Retrieval Configuration;
  • Embedding Configuration;
  • Reranker Configuration;
  • Compilation Configuration;
  • MCP Availability;
  • Metadata Schema。

支持知识库状态:

Active
Archived
Disabled

9. 文件类型需求

9.1 P0 文件类型

V1 必须支持:

  • PDF;
  • DOCX;
  • PPTX;
  • XLSX;
  • CSV;
  • Markdown;
  • TXT;
  • HTML;
  • JPG/JPEG;
  • PNG。

9.2 PDF 类型

必须覆盖:

  • 原生文本 PDF;
  • 扫描 PDF;
  • 图文混排 PDF;
  • 多栏 PDF;
  • 含表格 PDF;
  • 含页眉页脚 PDF。

10. 文件上传

REQ-INGEST-001

支持:

  • 单文件上传;
  • 多文件批量上传;
  • Drag & Drop。

REQ-INGEST-002

上传完成必须立即返回 Document ID,不阻塞等待解析。

REQ-INGEST-003

Document processing 必须异步执行。

源文件与 Document/Job 成功持久化后返回 202 Accepted。批量上传中的每个文件拥有独立的 Document ID 和 Ingestion Job;单个文件处理失败不得阻塞或回滚批次内其他已接收文件。

REQ-INGEST-004

展示处理阶段:

Uploading
Queued
Parsing
Cleaning
Chunking
Embedding
Indexing
Completed
Failed

REQ-INGEST-005

失败必须展示:

  • Failed Stage;
  • Attempt Count;
  • 是否仍会自动重试;
  • Error Code;
  • Error Message;
  • Retry。

REQ-INGEST-006

可重试的瞬时执行失败必须自动进行有界重试。每次重新执行前必须清理该 Document 的旧解析 产物、Chunk、Chunk Index State 和向量/稀疏索引数据,再从不可变原始文件开始处理。清理不得 删除原始文件、Document 标识或 Job/Attempt 历史;清理失败时不得继续重试。


11. 文件版本和去重

REQ-VERSION-001

上传文件时计算 Source Hash。

如果:

相同 Knowledge Base
+
相同文件 Hash

系统应提示文件已经存在。


REQ-VERSION-002

同名但 Hash 不同的文件允许:

Create New Version

REQ-VERSION-003

新版本成功建立索引后,旧版本默认退出 Active Retrieval。

历史版本仍可追踪。


REQ-VERSION-004

禁止出现:

新版本已经上传
但检索结果仍同时返回多个旧版本

除非管理员明确允许历史搜索。


12. Document Parsing

解析系统必须使用 Parser Adapter。

ParserRouter
 ├─ PDFParser
 ├─ OfficeParser
 ├─ SpreadsheetParser
 ├─ MarkdownParser
 ├─ HTMLParser
 └─ ImageParser

V1 不规定必须使用单一 Parser。

MinerU、Docling 等由下一阶段 Benchmark 决定。


13. OCR

系统必须能够:

  • 自动检测扫描 PDF;
  • 自动检测图片中的文字;
  • 启动 OCR Pipeline;
  • 标记 OCR confidence;
  • 保存原始页码。

对于低置信度 OCR 页面,应在管理后台显示警告。


14. Document Cleaning

系统必须支持自动清洗:

  • 空页;
  • 多余空格;
  • 异常换行;
  • 连字符断词;
  • 重复页眉;
  • 重复页脚;
  • 页码;
  • OCR 噪声;
  • 无意义字符;
  • 重复内容。

要求:

不得因为清洗破坏原始 Source。

保存:

Original
Parsed
Cleaned

三个逻辑层次。


15. 文档结构恢复

解析结果至少需要识别:

Document
 ├─ Title
 ├─ Heading
 ├─ Paragraph
 ├─ List
 ├─ Table
 ├─ Image Reference
 └─ Page

每个结构节点至少保留:

source_document_id
document_version
page_number
section_path
block_type
content

16. Spreadsheet 处理

Excel / CSV 不允许简单拼成连续文本。

至少支持:

  • Sheet 识别;
  • Header 识别;
  • Row/Column 信息;
  • Cell 内容;
  • Sheet metadata。

Chunk 应保留:

sheet_name
row_range
column_range

方便来源追踪。


17. Chunking

Chunk Strategy 必须可配置和扩展。

支持:

Structure-aware Chunk

优先按照:

Heading
Paragraph
List
Table

进行切分。

Token-aware Chunk

确保满足当前 Embedding Model 最大输入限制。


REQ-CHUNK-001

Chunk 至少保存:

chunk_id
document_id
document_version
knowledge_base_id
content
title
section_path
page_start
page_end
chunk_index
content_type
source_hash
metadata
ACL

18. Embedding Provider

系统必须支持多 Embedding Provider。

EmbeddingProvider
 ├─ Baidu Qianfan
 ├─ Local Model
 └─ OpenAI-compatible Provider

现阶段默认候选:

  • bge-large-zh;
  • Qwen3-Embedding-0.6B;
  • Qwen3-Embedding-4B;
  • Qwen3-Embedding-8B。

千帆当前公开模型能力中,bge-large-zh 为 1024 维、512 tokens 上下文;Qwen3 Embedding 提供 0.6B/4B/8B,对应 1024/2560/4096 维,并支持 8192 tokens 上下文。


19. Embedding Benchmark

这是 V1 的正式产品能力,而不仅仅是研发脚本。

Admin Console 应提供 Benchmark Workspace。


19.1 测试集

管理员可以创建:

Evaluation Dataset

每条数据包含:

Query
Expected Document
Expected Section
Expected Chunk
Tags
Difficulty

19.2 Benchmark 模型

V1 至少比较:

bge-large-zh
Qwen3-Embedding-0.6B
Qwen3-Embedding-4B

根据 GPU 和成本情况扩展 8B。


19.3 Benchmark 指标

至少计算:

Recall@1
Recall@3
Recall@5
Recall@10
MRR
NDCG@10
Latency P50
Latency P95
Indexing Throughput
GPU Memory
API Cost
Storage Cost

19.4 中文测试分类

测试集必须覆盖:

  • 自然语言问题;
  • 精确术语;
  • 产品型号;
  • 编号;
  • 中文简称;
  • 中英文混写;
  • 长问题;
  • 多条件问题;
  • 同义表达;
  • 跨文档问题。

20. Vector Store

系统采用:

VectorStoreProvider

抽象。

当前默认:

OceanBase Vector

原因:

公司现有知识平台主检索链已经使用 OceanBase Vector,并可与既有 OceanBase 运维体系复用。 V1 通过标量条件下推满足 Profile 与 ACL 过滤;BM25/Hybrid 能力必须继续通过统一检索契约 演进,不把特定数据库查询结构写入业务层。

系统不得使用 OceanBase/pyobvector-specific data model 污染业务 Domain Model。

未来可以新增:

Mochow
Qdrant
Milvus
pgvector
Elasticsearch/OpenSearch

21. Retrieval Pipeline

V1 默认检索 Pipeline:

Query
  ↓
Query Normalize
  ↓
ACL Resolution
  ↓
┌───────────────┐
│ Dense Search  │
└───────────────┘
        +
┌───────────────┐
│ Sparse / BM25 │
└───────────────┘
        ↓
Fusion
        ↓
Candidate Top N
        ↓
Reranker
        ↓
Top K
        ↓
Source Enrichment
        ↓
Response

22. Hybrid Search

必须支持:

  • Semantic Search;
  • Keyword Search;
  • Hybrid Search;
  • Metadata Filter;
  • ACL Filter;
  • Knowledge Base Scope;
  • Folder Scope;
  • Document Scope。

管理员可以设置默认:

Dense Weight
Sparse Weight
Candidate Size
Final TopK

23. Reranker

Reranker 是 V1 P0 能力。

不允许上线以下单一模式作为默认正式检索链:

Embedding
→
TopK
→
Return

默认应:

Hybrid Recall
→
Candidate Top 20~50
→
Reranker
→
Top 5~10

Provider:

RerankerProvider

当前基线与后续候选:

  • bce-reranker-base(当前基线);
  • Qwen3-Reranker 系列(后续 Benchmark 候选);
  • Local Reranker。

模型与参数由版本化 Index/Profile 配置记录,业务 API 不暴露模型名。


24. 权限系统

权限必须发生在 Retrieval 阶段之前/期间。

禁止:

全局 Search
 ↓
TopK
 ↓
应用层删除用户无权内容

必须:

User
 ↓
Permission Resolver
 ↓
Allowed Scope
 ↓
Retrieval Filter
 ↓
TopK

25. ACL 模型

至少支持:

Organization
Knowledge Base
Folder
Document

权限主体:

User
Group
Role

权限:

Read
Write
Manage

支持:

Inherited Permission
Explicit Permission

26. 权限审计

所有以下操作记录 Audit Log:

  • 用户登录;
  • 查看文档;
  • 搜索;
  • 下载 Source;
  • 上传;
  • 删除;
  • 权限修改;
  • MCP 调用;
  • API 调用;
  • Compilation;
  • 发布 Compiled Knowledge;
  • Provider 配置修改。

27. Knowledge Compilation

Knowledge Compilation 是区别于普通 RAG 系统的核心能力。

其思想参考 Karpathy LLM Wiki:

LLM 不仅在每次查询时临时理解知识,而是将原始资料持续编译为可维护、可积累的结构化知识资产。

Karpathy 原始 LLM Wiki 方案明确区分 immutable raw source 与由 LLM 持续维护的 wiki。

企业版本必须在这一思想之上增加:

  • 权限;
  • 来源追踪;
  • 版本;
  • 审核;
  • 冲突检测;
  • 自动过期机制。

28. Compiled Knowledge 类型

V1 支持:

Summary
Entity
Concept
FAQ
SOP
Comparison
Overview
Custom Wiki Page

例如:

产品/
 ├─ 产品A.md
 ├─ 产品B.md
 └─ 产品对比.md

技术/
 ├─ 部署流程.md
 ├─ 故障排查.md
 └─ 系统架构.md

企业制度/
 ├─ 报销制度.md
 └─ 请假制度.md

29. Compiled Knowledge Source

每条 Compiled Knowledge 必须包含:

compiled_id
title
type
content

source_document_ids
source_chunk_ids
source_document_versions

created_by
created_at
updated_at

status
permissions

last_verified_at

30. Knowledge Compilation Workflow

New / Updated Source
       ↓
Impact Analysis
       ↓
Find Related Wiki Pages
       ↓
Generate Proposed Update
       ↓
Source Verification
       ↓
Conflict Detection
       ↓
Draft
       ↓
Human Review / Auto Publish Policy
       ↓
Published

31. Compilation 状态

Draft
ReviewRequired
Published
Rejected
Stale
Archived

V1 默认:

AI 生成内容先进入 Draft/ReviewRequired,不自动覆盖 Published 内容。

管理员未来可对低风险知识库开启 Auto Publish。


32. Knowledge Conflict Detection

例如 Source A:

退款周期:30 天

Source B:

退款周期:14 天

Compilation 不允许自动生成:

退款周期约 14~30 天

必须标记:

Knowledge Conflict

并展示:

  • conflicting claims;
  • source;
  • version;
  • date。

33. Stale Detection

如果 Compiled Knowledge 引用的 Source:

  • 被删除;
  • 发布新版本;
  • 权限发生变化;

相关 Compiled Knowledge 自动进入:

Stale

并触发重新 Compilation。


34. Compiled Knowledge 权限

默认权限原则:

Compiled Knowledge 的可见范围不能高于其引用 Source 的安全范围。

系统必须防止:

Restricted HR Document
+
Public Document
↓
AI Summary
↓
Public Wiki

造成权限泄漏。

具体权限求交/继承算法在技术设计阶段确定。


35. Compiled Knowledge 也进入 Retrieval

检索可以有两类 Source:

Raw Structured Knowledge
Compiled Knowledge

Retrieval Response 必须标记:

source_type = RAW

或:

source_type = COMPILED

Compiled Result 仍必须返回 underlying source。


36. Query Routing

V1 可先采用规则 + LLM Classifier 判断查询:

Fact Lookup
Exact Search
Conceptual Search
Cross Document Analysis

简单事实问题优先 Raw Retrieval。

复杂综合问题可:

Compiled Knowledge
+
Raw Evidence

联合召回。


37. 来源追踪

任何 Retrieval Result 必须包含:

document_id
filename
document_version
page
section_path
chunk_id
content
score
rerank_score
source_type

对于 Compiled Knowledge:

compiled_knowledge_id
underlying_sources[]

38. Admin Console

产品参考 iWiki / 企业 Wiki 的知识组织思想,但不复制其具体实现。

重点吸收:

  • Space/Knowledge Base;
  • Folder/Category;
  • Content 生命周期;
  • 权限;
  • 版本;
  • 最近更新;
  • 审核;
  • 内容维护责任人;
  • 搜索与浏览结合。

腾讯当前企业知识管理体系也将 iWiki 作为可以查询、编辑和管理的企业知识源,并通过 MCP/Connector 与 Agent 连接。


39. Admin Console 一级导航

建议:

Overview

Knowledge Bases

Documents

Compiled Knowledge

Search Lab

Evaluation

Models

MCP & API

Users & Permissions

Jobs

Audit Logs

System Settings

40. Knowledge Base 页面

包含:

Overview
Documents
Folders
Compiled Knowledge
Search Test
Evaluation
Permissions
Settings

41. Document 页面

展示:

  • 原始文件;
  • 文件信息;
  • 当前版本;
  • 历史版本;
  • Parser;
  • Processing Pipeline;
  • Parsed Result;
  • Chunk;
  • Metadata;
  • Permissions;
  • Related Compiled Knowledge;
  • Index Status。

42. Chunk Inspector

管理员可以查看:

Chunk #23

Document:
产品管理制度.pdf

Page:
17

Section:
第三章 / 产品退款

Text:
...

Embedding Model:
...

Index Version:
...

ACL:
...

Retrieval History:
...

支持:

Re-chunk
Re-embed
Re-index

43. Search Lab

这是 V1 P0 工具。

输入 Query 后展示:

Query Information

Normalized Query
Search Scope
ACL

Dense Recall

Rank
Document
Chunk
Score

Sparse Recall

Rank
Document
Chunk
BM25 Score

Fusion

Reranker

Final Result

通过此功能定位:

  • Parsing 问题;
  • Chunk 问题;
  • Embedding 问题;
  • BM25 问题;
  • Reranker 问题。

44. MCP Server

系统提供统一:

Enterprise Knowledge MCP Server

不得直接暴露 Vector DB API。


45. MCP P0 Tools

建议 V1:

search_knowledge

query
knowledge_base_ids?
folder_ids?
top_k?
filters?

返回:

results[]
sources[]

get_document

获取指定 Document metadata。


get_document_section

获取指定章节/页/Chunk 的连续上下文。


get_source

获取完整来源信息。


list_knowledge_bases

只返回当前用户有权限访问的知识库。


46. MCP P1 Tools

后续支持:

search_compiled_knowledge
get_compiled_knowledge
create_knowledge_draft
submit_knowledge

写操作必须有更严格授权。


47. MCP 身份

远程 MCP 不得使用一个共享超级管理员 Token。

要求:

Client
+
User / Service Identity
+
Permission

映射到系统 ACL。


48. MCP Client Compatibility

首要目标:

WorkBuddy Enterprise

同时尽量兼容标准 MCP Client。

WorkBuddy Enterprise 当前官方 MCP 文档已经支持自定义 MCP Server,并提供远程 API Server、权限、安全及 iWiki 等配置示例。


49. REST API

REST API 为正式公开能力。

建议 Version:

/api/v1/

核心 Domain:

/auth
/users
/groups

/knowledge-bases
/documents
/compiled-knowledge

/search
/evaluations

/jobs
/audit-logs

/mcp
/providers

50. API Authentication

V1 支持:

User Token
Service API Key

未来预留:

OIDC
OAuth2
LDAP
企业微信 / AD / SSO

51. Search API

建议核心接口:

POST /api/v1/search

Request:

{
  "query": "...",
  "knowledge_base_ids": [],
  "top_k": 8,
  "retrieval_mode": "hybrid"
}

Response 逻辑结构:

{
  "request_id": "...",
  "results": [],
  "timing": {},
  "retrieval": {}
}

不得在 API Contract 中暴露:

mochow.xxx
qdrant.xxx

52. Provider Management

管理员可以配置:

Embedding Provider

Reranker Provider

LLM Provider

Vector Store Provider

Parser Provider

每个 Provider 具有:

Name
Type
Endpoint
Credential
Status
Capabilities
Health

Secret 不允许明文回显。


53. LLM Provider

Knowledge Compilation 可调用:

  • 百度千帆;
  • OpenAI-compatible API;
  • 本地模型;
  • 其他云端模型。

系统必须支持:

LLMProvider

抽象。


54. GPU 使用原则

本地 NVIDIA GPU 优先服务于:

OCR / Document Parsing
Embedding
Reranker

LLM 可以采用:

Cloud First
Local Optional

不强制 V1 本地部署大语言模型。


55. 可观测性

系统必须记录:

Ingestion Metrics

documents/day
pages/min
parse latency
OCR latency
failed rate

Retrieval Metrics

QPS
P50
P95
P99
Dense Latency
Sparse Latency
Rerank Latency

Quality Metrics

Recall@K
MRR
NDCG
No Result Rate

Compilation Metrics

Jobs
Success Rate
Review Rate
Conflict Rate
Stale Count

56. Job System

异步任务至少包括:

ParseJob
OCRJob
ChunkJob
EmbeddingJob
IndexJob
CompilationJob
ReindexJob
EvaluationJob

每个 Job:

Queued
Running
Succeeded
Failed
Cancelled

必须支持:

Retry

Retry 必须记录 Attempt 历史并区分可重试的瞬时错误与确定性永久错误;重试执行前遵循 REQ-INGEST-006 的派生数据清理规则。


57. 删除语义

删除 Document 时必须处理:

Source
Parsed Data
Chunks
Vector Index
Sparse Index
Compiled Knowledge Dependency

默认采用:

Soft Delete

管理员可执行永久删除。


58. 搜索质量 Benchmark

正式上线前必须建立企业自己的 Golden Dataset。

建议首批不少于:

200~500 Queries

随着使用积累扩展。

样本来源:

  • 用户真实问题;
  • 产品团队;
  • HR;
  • 技术团队;
  • 销售/客服。

59. Retrieval Benchmark Matrix

至少比较:

Embedding × Retrieval × Reranker

例如:

bge-large-zh
+ OceanBase Vector Dense
+ No Reranker

bge-large-zh
+ OceanBase Vector Dense
+ bce-reranker-base

Qwen3 Embedding
+ OceanBase Vector Hybrid(能力验证后)
+ Qwen3 Reranker

不只 Benchmark Embedding 单模型。


60. Benchmark 决策原则

最终生产方案根据以下综合指标选择:

Quality
Latency
Cost
Operational Complexity
Vendor Dependency
GPU Requirement

而不是只按模型排行榜。


61. 安全要求

P0:

  • 数据逻辑隔离;
  • ACL;
  • Secret 加密;
  • API Authentication;
  • Audit Log;
  • MCP Authorization;
  • HTTPS;
  • 禁止未经授权下载原文件。

62. 云端 AI 数据安全

因为允许调用云端服务,每个 Provider 必须定义:

Data Processing Policy

管理员可以设置:

Cloud Allowed
Local Only

Knowledge Base 可覆盖系统默认策略。

例如 HR Knowledge Base 可以配置:

Local Only

即不得将文档内容发送给任何外部 LLM/Embedding API。


63. 性能目标

按当前几十~百人团队规模,V1 目标:

正常场景:

P95 < 2s

包含 Reranker。

不包含最终 LLM Answer Generation。

API

Metadata API:

P95 < 500ms

Admin Console

主要页面交互:

P95 < 2s

64. 可用性

V1 内部生产目标:

99.5%

后续视业务重要性提升。


65. 数据规模

当前尚未明确文档总量,因此 V1 架构最低要求:

10^6 Chunk 级别

不需要大规模重构即可运行。

更高规模在架构设计阶段进行 Capacity Planning。


66. iWiki 产品设计参考原则

不是复制 iWiki,而是吸收传统企业知识系统已经验证的产品理念:

知识是长期资产

不能只有“上传文件”。

需要:

Owner
Version
History
Category
Permission
Status
Last Updated

Search + Browse

用户不仅通过搜索进入知识,也需要:

Knowledge Base
→ Folder
→ Document
→ Knowledge

浏览。

Knowledge Lifecycle

Create
Maintain
Review
Publish
Update
Archive

AI 不替代治理

AI 可以:

Generate
Summarize
Compile
Detect
Suggest

但企业重要知识需要:

Review
Ownership
Audit

67. RAG + Knowledge Compilation 的产品定位

RAG 负责:

找到正确事实。

Knowledge Compilation 负责:

让企业知识持续沉淀并减少重复理解成本。

二者不存在替代关系。

最终查询:

              User Query
                   │
              Query Router
             /            \
            ↓              ↓
     Raw Retrieval    Compiled Retrieval
            ↓              ↓
             \            /
               Reranker
                   ↓
               Evidence
                   ↓
          MCP / REST / Agent

68. 核心成功指标

V1 上线后重点观察:

Adoption

WAU
Active Knowledge Bases
Search Users
MCP Users

Knowledge Coverage

Indexed Documents %
Successful Parse %

Search Quality

Recall@5
Recall@10
No Result Rate
User Positive Feedback

Knowledge Maintenance

Compiled Knowledge Count
Stale Rate
Conflict Rate
Review Completion Rate

Reliability

Index Failure Rate
API Error Rate
MCP Error Rate

69. V1 P0 Scope

必须上线:

  1. 用户与权限;
  2. Knowledge Base;
  3. Folder;
  4. 文件上传;
  5. PDF/DOCX/PPTX/XLSX/CSV/MD/TXT/HTML/Image;
  6. OCR;
  7. Parsing;
  8. Cleaning;
  9. Structure-aware Chunk;
  10. Document Version;
  11. Hash 去重;
  12. Embedding Provider;
  13. OceanBase Vector Provider;
  14. Dense Search;
  15. BM25;
  16. Hybrid Retrieval;
  17. ACL Filter;
  18. Reranker;
  19. Source Tracking;
  20. Search API;
  21. MCP Server;
  22. WorkBuddy 接入;
  23. Admin Console;
  24. Search Lab;
  25. Job 管理;
  26. Audit Log;
  27. Knowledge Compilation;
  28. Compiled Knowledge 审核;
  29. Benchmark;
  30. Provider 配置。

70. V1.1 / P1

后续优先:

  • LDAP/OIDC;
  • AD/企业 SSO;
  • URL Import;
  • Confluence;
  • iWiki Import;
  • 飞书;
  • 企业微信;
  • Scheduled Sync;
  • MCP 写入知识;
  • Auto Compilation Policy;
  • Feedback Learning;
  • Query Analytics。

71. P2

未来:

  • GraphRAG;
  • Knowledge Graph;
  • 多模态 Retrieval;
  • 图片 Embedding;
  • 视频知识;
  • Audio;
  • Agent Workflow;
  • Enterprise Search;
  • Personalized Retrieval;
  • Automatic Knowledge Gap Discovery。

72. V1 验收标准

产品只有同时满足以下条件才认为 V1 完成。

Ingestion

上传 P0 文件类型能够:

Upload → Parse → Clean → Chunk → Embed → Index

全链路完成。


Retrieval

支持:

Dense
BM25
Hybrid
Reranker

并通过 Admin Search Lab 查看每个阶段。


Permission

用户不能:

  • 搜索;
  • 浏览;
  • API;
  • MCP;

访问无权限 Document。


Traceability

每条 Search Result 可以定位:

Source File
Version
Page
Section
Chunk

Model

Embedding 和 Reranker 可以通过 Provider 配置替换。


Vector DB

OceanBase Vector 作为当前默认生产 Vector Store。

业务代码不存在必须依赖 OceanBase/pyobvector SDK 数据结构的 API Contract。


Benchmark

能够用同一个 Evaluation Dataset 对多个 Embedding Pipeline 进行比较。


Knowledge Compilation

能够:

Source
→
Generate Draft Knowledge
→
Source Linking
→
Review
→
Publish

并能够在 Source 更新时把关联知识标记为 Stale。


MCP

WorkBuddy 能通过 MCP:

search_knowledge
get_source

取得与 REST API 一致、且经过 ACL 的结果。


73. 当前技术基线

当前 V1 架构基线:

Primary Vector Store:
OceanBase Vector

Primary Object Storage:
Baidu BOS

Embedding Baseline:
bge-large-zh

Embedding Benchmark:
Qwen3 Embedding

Reranker:
bce-reranker-base

Document Parsing:
Benchmark MinerU / Docling

LLM:
Provider abstraction

MCP:
Standard MCP Server

Frontend:
Admin Console

Backend:
API First

运行时切换约束:索引 Provider 或 Profile 变更必须以新 Profile 构建 Shadow Index;Profile 生命周期和激活状态保存在 OceanBase canonical 关系表。只有 canonical Chunk 与 ChunkIndexState 完整核对 通过后才能原子激活,禁止复用旧 Profile ID 或原地覆盖当前 Active Index。


74. 已确认产品决策

当前已经确认:

DEC-001

采用:

API First + Admin Console

DEC-002

OceanBase Vector 作为当前生产主检索索引,同时必须保留 Vector Store 替换能力。 OceanBase 关系表保存 canonical 数据,同库 Vector Store 表只保存可重建索引。


DEC-003

不直接确定单一 Embedding 模型。

必须进行多模型企业中文 Benchmark。


DEC-004

Reranker 是正式检索链 P0 能力。


DEC-005

产品设计参考 iWiki / 企业 Wiki 的知识组织、权限和知识生命周期思路。


DEC-006

采用:

RAG + Knowledge Compilation

而不是二选一。


DEC-007

MCP 只能暴露业务能力,禁止泄露 OceanBase Vector、BOS、Embedding Model 等底层实现。


DEC-008

企业知识必须始终能够追溯至 immutable Source。


75. 下一阶段需要解决的架构问题

PRD 评审通过后进入《总体技术架构设计》。

重点决策:

  1. Backend 技术栈;
  2. Admin Console 技术栈;
  3. OceanBase MySQL canonical 数据模型;
  4. Object Storage;
  5. Task Queue;
  6. MinerU vs Docling;
  7. OCR Pipeline;
  8. Chunk Strategy;
  9. OceanBase Vector Index Schema;
  10. VectorStore Adapter;
  11. Embedding Provider;
  12. Reranker Serving;
  13. GPU Resource Scheduling;
  14. Knowledge Compilation Engine;
  15. Permission Resolver;
  16. MCP Server;
  17. Authentication;
  18. Deployment Topology;
  19. Observability;
  20. Backup / Disaster Recovery。

76. 下一阶段应输出的技术架构方案

技术方案至少给出三套:

方案 A:百度云能力优先

Qianfan
+
BOS
+
OceanBase Vector
+
Local Parsing

优点:

部署简单、延续现有经验。


方案 B:高度自建

Local Embedding
+
Local Reranker
+
Open-source Vector DB
+
Local Parsing

优点:

数据可控、供应商依赖最低。


方案 C:Hybrid 推荐方案

Local Parsing / GPU
+
Replaceable Embedding
+
Replaceable Reranker
+
BOS Object Storage
+
OceanBase Vector Primary
+
Cloud LLM

目标:

在开发成本、搜索质量、隐私、运维成本和供应商锁定之间取得平衡。


77. 调研依据备注

内部最新配置基线确认现有知识平台主链使用千帆 bge-large-zh、bce-reranker-base、 BOS 与 OceanBase MySQL 模式;OceanBase 同时承载 canonical 关系表和逻辑隔离的可重建 向量表。连接地址、账号和密钥仍只能作为运行时 Secret,不进入产品文档或提交记录。

OceanBase Vector 的生产接入必须验证向量检索、标量 Filter、索引参数和版本兼容性; BM25/Hybrid 在相应任务验收前仍按产品能力要求保留,不在本轮 Provider 迁移中提前扩展。

WorkBuddy Enterprise 当前公开 MCP 文档支持自定义 MCP Server,并提供传输、权限、安全、远程 API Server 以及 iWiki 配置示例,因此“企业知识服务 → MCP → WorkBuddy”的产品路线具备正式产品支持基础。

Karpathy 的 LLM Wiki 原始思路强调 immutable raw sources 与由 LLM 持续维护的 compiled wiki 分层,这与本产品提出的 L0 Source / L1 Structured / L2 Compiled Knowledge 模型一致;企业版本在此基础上增加 ACL、版本、审计、冲突和审核机制。


PRD v0.1 END