# 企业内部智能知识库平台 PRD **文档版本:** v0.1 **文档状态:** 需求基线稿 / 待评审 **产品定位:** API First + Admin Console 的企业级智能知识基础设施 **目标用户规模:** 企业内部几十人~百人级团队,架构预留更大规模扩展能力 **主要语言:** 中文优先,兼容英文及中英混合内容 **部署原则:** 自建部署为主,允许调用云端 AI 服务;支持 NVIDIA GPU **核心技术原则:** RAG + Knowledge Compilation、Hybrid Retrieval、Reranker、MCP、底层能力可替换 --- # 1. 项目背景 企业内部存在大量分散于 PDF、Word、PPT、Excel、Markdown、图片、扫描件及其他文件中的知识资产。 传统文档管理和 Wiki 系统能够解决知识存放、目录组织和人工检索问题,但面对以下场景能力有限: - 用户不知道准确关键词; - 一个问题需要综合多份文档; - 文档数量增加后,人工维护成本快速上升; - AI Agent 无法以统一协议安全访问企业知识; - 文档更新后,知识索引不能自动同步; - 搜索结果缺乏来源追踪; - 不同部门之间存在严格知识访问权限; - 原始资料虽然很多,但没有进一步沉淀成结构化企业知识。 本项目计划建设一套企业内部智能知识库平台,将企业原始资料自动转换为: 1. **可追溯的结构化知识;** 2. **可供 RAG 高质量召回的索引;** 3. **可由 LLM 持续维护的 Compiled Knowledge;** 4. **可通过 REST API / MCP 被 WorkBuddy 等 Agent 调用的知识能力。** 平台不绑定单一 Embedding 模型、Vector Database、LLM 或 Agent 客户端。 --- # 2. 产品愿景 建设企业内部统一的 **Knowledge Infrastructure**: > 任何企业知识进入系统后,都能够自动被解析、清洗、结构化、索引、沉淀和安全调用,并且始终能够追溯到原始事实来源。 系统长期形成三层知识: ```text L0 Source Knowledge 原始文件 / 原始事实 不可由 AI 修改 ↓ L1 Structured Knowledge 解析文本 / 结构 / Chunk / Index 用于精准检索与 RAG ↓ L2 Compiled Knowledge Wiki / FAQ / SOP / Entity / Summary / Comparison 由 AI 从 L0/L1 派生,可持续维护 ``` 要求: ```text L2 → L1 → L0 ``` 始终可完整追溯。 --- # 3. 核心产品原则 ## 3.1 API First 所有核心业务能力首先以 Service/API 形式存在。 Admin Console、MCP Server 以及未来其他客户端均调用统一业务服务,不允许各自重复实现业务逻辑。 ```text Admin Console │ REST │ WorkBuddy ─ MCP ─ Knowledge Service ─ REST ─ Other Systems │ Core Engine ``` --- ## 3.2 Admin Console 不是核心业务逻辑 Admin Console 是官方管理客户端,主要解决: - 知识库创建; - 文件上传; - 文件状态管理; - 权限管理; - 检索调试; - Chunk 查看; - Knowledge Compilation 管理; - 模型配置; - Benchmark; - MCP 配置; - 日志和任务监控。 所有能力原则上均能够通过 API 操作。 --- ## 3.3 底层实现不得暴露给 MCP Client WorkBuddy、Cursor、Claude Code 或其他 Agent 不应该知道: - Mochow; - Qdrant; - Milvus; - bge-large-zh; - Qwen3; - MinerU; - 其他 Parser/Model。 MCP 只暴露业务语义,例如: ```text search_knowledge get_document get_document_section get_source list_knowledge_bases ``` --- ## 3.4 Source of Truth 原则 原始文件是企业知识的最终事实源。 LLM 生成的: - Wiki; - FAQ; - Summary; - Comparison; - SOP; - Entity Page; 均属于 **Derived Knowledge**。 Derived Knowledge 不得覆盖、修改或替代 Source Knowledge。 --- ## 3.5 Provider 可替换原则 核心系统不得与单一供应商强耦合。 至少抽象: ```text EmbeddingProvider RerankerProvider VectorStoreProvider LLMProvider ParserProvider OCRProvider ObjectStorageProvider ``` V1 可以优先使用现有百度体系,但必须具备替换路径。 --- # 4. 产品目标 ## 4.1 V1 核心目标 V1 必须实现以下完整闭环: ```text 创建知识库 ↓ 上传文档 ↓ 自动解析 ↓ 自动清洗 ↓ 结构恢复 ↓ Chunk ↓ Embedding ↓ Hybrid Index ↓ Reranker ↓ 带权限检索 ↓ 来源追踪 ↓ REST / MCP ``` 同时实现: ```text Raw Knowledge ↓ Knowledge Compilation ↓ Compiled Wiki ↓ 审核 / 发布 ↓ RAG 可检索 ``` --- # 5. 非目标 以下能力不作为 V1 核心目标: - 自研通用聊天机器人; - 完整 Agent 平台; - 通用 Workflow 编排平台; - GraphRAG; - 知识图谱编辑平台; - 视频语义理解; - 音频会议实时转写; - 自动互联网爬虫; - 飞书 / Confluence / Notion 全量同步; - 多模态图片向量检索; - 完整文档在线协同编辑器; - 移动端 App。 但架构不得阻碍未来扩展。 --- # 6. 用户角色 ## 6.1 System Admin 系统管理员。 权限: - 系统配置; - 用户/组织管理; - Provider 配置; - Embedding / Reranker 管理; - MCP 管理; - Benchmark; - 全局审计; - 系统日志; - 存储配置。 --- ## 6.2 Knowledge Base Owner 知识库负责人。 权限: - 创建/配置知识库; - 成员管理; - 文件上传; - 文件删除; - 权限设置; - Compilation 配置; - 发布 Compiled Knowledge; - 查看日志; - 查看检索效果。 --- ## 6.3 Knowledge Editor 知识维护人员。 权限: - 上传文档; - 编辑 metadata; - 查看解析结果; - 重新解析; - 管理 Compiled Knowledge; - 发起发布审核。 --- ## 6.4 Knowledge Consumer 普通知识消费者。 权限: - 检索其有权限访问的知识; - 查看来源; - 通过授权 MCP Client 获取知识。 不能访问: - 无权限知识库; - 无权限文档; - 系统管理配置。 --- ## 6.5 AI Agent 包括: - WorkBuddy; - CodeBuddy; - Cursor; - Claude Code; - 其他 MCP Client; - 企业内部 Agent。 Agent 的实际权限必须绑定用户身份或 Service Account,不得拥有默认全局权限。 --- # 7. 核心业务对象 系统核心对象: ```text Organization User Group Role KnowledgeBase Folder Document DocumentVersion DocumentPage DocumentSection Chunk EmbeddingIndex SparseIndex IndexVersion CompiledKnowledge CompiledKnowledgeVersion CompilationJob Permission ACL IngestionJob RetrievalRequest RetrievalResult AuditLog MCPClient APIKey ``` --- # 8. Knowledge Base 模型 知识库是逻辑隔离的最上层业务空间。 每个知识库至少包含: - Name; - Description; - Owner; - Visibility; - Members; - ACL; - Folder Tree; - Documents; - Retrieval Configuration; - Embedding Configuration; - Reranker Configuration; - Compilation Configuration; - MCP Availability; - Metadata Schema。 支持知识库状态: ```text Active Archived Disabled ``` --- # 9. 文件类型需求 ## 9.1 P0 文件类型 V1 必须支持: - PDF; - DOCX; - PPTX; - XLSX; - CSV; - Markdown; - TXT; - HTML; - JPG/JPEG; - PNG。 --- ## 9.2 PDF 类型 必须覆盖: - 原生文本 PDF; - 扫描 PDF; - 图文混排 PDF; - 多栏 PDF; - 含表格 PDF; - 含页眉页脚 PDF。 --- # 10. 文件上传 **REQ-INGEST-001** 支持: - 单文件上传; - 多文件批量上传; - Drag & Drop。 **REQ-INGEST-002** 上传完成必须立即返回 Document ID,不阻塞等待解析。 **REQ-INGEST-003** Document processing 必须异步执行。 **REQ-INGEST-004** 展示处理阶段: ```text Uploading Queued Parsing Cleaning Chunking Embedding Indexing Completed Failed ``` **REQ-INGEST-005** 失败必须展示: - Failed Stage; - Error Code; - Error Message; - Retry。 --- # 11. 文件版本和去重 ## REQ-VERSION-001 上传文件时计算 Source Hash。 如果: ```text 相同 Knowledge Base + 相同文件 Hash ``` 系统应提示文件已经存在。 --- ## REQ-VERSION-002 同名但 Hash 不同的文件允许: ```text Create New Version ``` --- ## REQ-VERSION-003 新版本成功建立索引后,旧版本默认退出 Active Retrieval。 历史版本仍可追踪。 --- ## REQ-VERSION-004 禁止出现: ```text 新版本已经上传 但检索结果仍同时返回多个旧版本 ``` 除非管理员明确允许历史搜索。 --- # 12. Document Parsing 解析系统必须使用 Parser Adapter。 ```text ParserRouter ├─ PDFParser ├─ OfficeParser ├─ SpreadsheetParser ├─ MarkdownParser ├─ HTMLParser └─ ImageParser ``` V1 不规定必须使用单一 Parser。 MinerU、Docling 等由下一阶段 Benchmark 决定。 --- # 13. OCR 系统必须能够: - 自动检测扫描 PDF; - 自动检测图片中的文字; - 启动 OCR Pipeline; - 标记 OCR confidence; - 保存原始页码。 对于低置信度 OCR 页面,应在管理后台显示警告。 --- # 14. Document Cleaning 系统必须支持自动清洗: - 空页; - 多余空格; - 异常换行; - 连字符断词; - 重复页眉; - 重复页脚; - 页码; - OCR 噪声; - 无意义字符; - 重复内容。 要求: **不得因为清洗破坏原始 Source。** 保存: ```text Original Parsed Cleaned ``` 三个逻辑层次。 --- # 15. 文档结构恢复 解析结果至少需要识别: ```text Document ├─ Title ├─ Heading ├─ Paragraph ├─ List ├─ Table ├─ Image Reference └─ Page ``` 每个结构节点至少保留: ```text source_document_id document_version page_number section_path block_type content ``` --- # 16. Spreadsheet 处理 Excel / CSV 不允许简单拼成连续文本。 至少支持: - Sheet 识别; - Header 识别; - Row/Column 信息; - Cell 内容; - Sheet metadata。 Chunk 应保留: ```text sheet_name row_range column_range ``` 方便来源追踪。 --- # 17. Chunking Chunk Strategy 必须可配置和扩展。 支持: ### Structure-aware Chunk 优先按照: ```text Heading Paragraph List Table ``` 进行切分。 ### Token-aware Chunk 确保满足当前 Embedding Model 最大输入限制。 --- ## REQ-CHUNK-001 Chunk 至少保存: ```text chunk_id document_id document_version knowledge_base_id content title section_path page_start page_end chunk_index content_type source_hash metadata ACL ``` --- # 18. Embedding Provider 系统必须支持多 Embedding Provider。 ```text EmbeddingProvider ├─ Baidu Qianfan ├─ Local Model └─ OpenAI-compatible Provider ``` 现阶段默认候选: - bge-large-zh; - Qwen3-Embedding-0.6B; - Qwen3-Embedding-4B; - Qwen3-Embedding-8B。 千帆当前公开模型能力中,bge-large-zh 为 1024 维、512 tokens 上下文;Qwen3 Embedding 提供 0.6B/4B/8B,对应 1024/2560/4096 维,并支持 8192 tokens 上下文。 --- # 19. Embedding Benchmark 这是 V1 的正式产品能力,而不仅仅是研发脚本。 Admin Console 应提供 Benchmark Workspace。 --- ## 19.1 测试集 管理员可以创建: ```text Evaluation Dataset ``` 每条数据包含: ```text Query Expected Document Expected Section Expected Chunk Tags Difficulty ``` --- ## 19.2 Benchmark 模型 V1 至少比较: ```text bge-large-zh Qwen3-Embedding-0.6B Qwen3-Embedding-4B ``` 根据 GPU 和成本情况扩展 8B。 --- ## 19.3 Benchmark 指标 至少计算: ```text Recall@1 Recall@3 Recall@5 Recall@10 MRR NDCG@10 Latency P50 Latency P95 Indexing Throughput GPU Memory API Cost Storage Cost ``` --- ## 19.4 中文测试分类 测试集必须覆盖: - 自然语言问题; - 精确术语; - 产品型号; - 编号; - 中文简称; - 中英文混写; - 长问题; - 多条件问题; - 同义表达; - 跨文档问题。 --- # 20. Vector Store 系统采用: ```text VectorStoreProvider ``` 抽象。 默认首选: ```text Mochow ``` 原因: 公司已有使用经验,同时 Mochow 当前官方能力已经支持向量检索、BM25、Hybrid Search 和标量过滤。 但系统不得使用 Mochow-specific data model 污染业务 Domain Model。 未来可以新增: ```text Qdrant Milvus pgvector Elasticsearch/OpenSearch ``` --- # 21. Retrieval Pipeline V1 默认检索 Pipeline: ```text Query ↓ Query Normalize ↓ ACL Resolution ↓ ┌───────────────┐ │ Dense Search │ └───────────────┘ + ┌───────────────┐ │ Sparse / BM25 │ └───────────────┘ ↓ Fusion ↓ Candidate Top N ↓ Reranker ↓ Top K ↓ Source Enrichment ↓ Response ``` --- # 22. Hybrid Search 必须支持: - Semantic Search; - Keyword Search; - Hybrid Search; - Metadata Filter; - ACL Filter; - Knowledge Base Scope; - Folder Scope; - Document Scope。 管理员可以设置默认: ```text Dense Weight Sparse Weight Candidate Size Final TopK ``` --- # 23. Reranker Reranker 是 V1 P0 能力。 不允许上线以下单一模式作为默认正式检索链: ```text Embedding → TopK → Return ``` 默认应: ```text Hybrid Recall → Candidate Top 20~50 → Reranker → Top 5~10 ``` Provider: ```text RerankerProvider ``` 初始候选: - Qwen3-Reranker-0.6B; - Qwen3-Reranker-4B; - Qwen3-Reranker-8B; - bce-reranker-base; - Local Reranker。 千帆当前已经提供 Qwen3 Reranker 系列,最大输入支持 32K。 --- # 24. 权限系统 权限必须发生在 **Retrieval 阶段之前/期间**。 禁止: ```text 全局 Search ↓ TopK ↓ 应用层删除用户无权内容 ``` 必须: ```text User ↓ Permission Resolver ↓ Allowed Scope ↓ Retrieval Filter ↓ TopK ``` --- # 25. ACL 模型 至少支持: ```text Organization Knowledge Base Folder Document ``` 权限主体: ```text User Group Role ``` 权限: ```text Read Write Manage ``` 支持: ```text Inherited Permission Explicit Permission ``` --- # 26. 权限审计 所有以下操作记录 Audit Log: - 用户登录; - 查看文档; - 搜索; - 下载 Source; - 上传; - 删除; - 权限修改; - MCP 调用; - API 调用; - Compilation; - 发布 Compiled Knowledge; - Provider 配置修改。 --- # 27. Knowledge Compilation Knowledge Compilation 是区别于普通 RAG 系统的核心能力。 其思想参考 Karpathy LLM Wiki: > LLM 不仅在每次查询时临时理解知识,而是将原始资料持续编译为可维护、可积累的结构化知识资产。 Karpathy 原始 LLM Wiki 方案明确区分 immutable raw source 与由 LLM 持续维护的 wiki。 企业版本必须在这一思想之上增加: - 权限; - 来源追踪; - 版本; - 审核; - 冲突检测; - 自动过期机制。 --- # 28. Compiled Knowledge 类型 V1 支持: ```text Summary Entity Concept FAQ SOP Comparison Overview Custom Wiki Page ``` 例如: ```text 产品/ ├─ 产品A.md ├─ 产品B.md └─ 产品对比.md 技术/ ├─ 部署流程.md ├─ 故障排查.md └─ 系统架构.md 企业制度/ ├─ 报销制度.md └─ 请假制度.md ``` --- # 29. Compiled Knowledge Source 每条 Compiled Knowledge 必须包含: ```text compiled_id title type content source_document_ids source_chunk_ids source_document_versions created_by created_at updated_at status permissions last_verified_at ``` --- # 30. Knowledge Compilation Workflow ```text New / Updated Source ↓ Impact Analysis ↓ Find Related Wiki Pages ↓ Generate Proposed Update ↓ Source Verification ↓ Conflict Detection ↓ Draft ↓ Human Review / Auto Publish Policy ↓ Published ``` --- # 31. Compilation 状态 ```text Draft ReviewRequired Published Rejected Stale Archived ``` V1 默认: > AI 生成内容先进入 Draft/ReviewRequired,不自动覆盖 Published 内容。 管理员未来可对低风险知识库开启 Auto Publish。 --- # 32. Knowledge Conflict Detection 例如 Source A: ```text 退款周期:30 天 ``` Source B: ```text 退款周期:14 天 ``` Compilation 不允许自动生成: ```text 退款周期约 14~30 天 ``` 必须标记: ```text Knowledge Conflict ``` 并展示: - conflicting claims; - source; - version; - date。 --- # 33. Stale Detection 如果 Compiled Knowledge 引用的 Source: - 被删除; - 发布新版本; - 权限发生变化; 相关 Compiled Knowledge 自动进入: ```text Stale ``` 并触发重新 Compilation。 --- # 34. Compiled Knowledge 权限 默认权限原则: > Compiled Knowledge 的可见范围不能高于其引用 Source 的安全范围。 系统必须防止: ```text Restricted HR Document + Public Document ↓ AI Summary ↓ Public Wiki ``` 造成权限泄漏。 具体权限求交/继承算法在技术设计阶段确定。 --- # 35. Compiled Knowledge 也进入 Retrieval 检索可以有两类 Source: ```text Raw Structured Knowledge Compiled Knowledge ``` Retrieval Response 必须标记: ```text source_type = RAW ``` 或: ```text source_type = COMPILED ``` Compiled Result 仍必须返回 underlying source。 --- # 36. Query Routing V1 可先采用规则 + LLM Classifier 判断查询: ```text Fact Lookup Exact Search Conceptual Search Cross Document Analysis ``` 简单事实问题优先 Raw Retrieval。 复杂综合问题可: ```text Compiled Knowledge + Raw Evidence ``` 联合召回。 --- # 37. 来源追踪 任何 Retrieval Result 必须包含: ```text document_id filename document_version page section_path chunk_id content score rerank_score source_type ``` 对于 Compiled Knowledge: ```text compiled_knowledge_id underlying_sources[] ``` --- # 38. Admin Console 产品参考 iWiki / 企业 Wiki 的知识组织思想,但不复制其具体实现。 重点吸收: - Space/Knowledge Base; - Folder/Category; - Content 生命周期; - 权限; - 版本; - 最近更新; - 审核; - 内容维护责任人; - 搜索与浏览结合。 腾讯当前企业知识管理体系也将 iWiki 作为可以查询、编辑和管理的企业知识源,并通过 MCP/Connector 与 Agent 连接。 --- # 39. Admin Console 一级导航 建议: ```text Overview Knowledge Bases Documents Compiled Knowledge Search Lab Evaluation Models MCP & API Users & Permissions Jobs Audit Logs System Settings ``` --- # 40. Knowledge Base 页面 包含: ```text Overview Documents Folders Compiled Knowledge Search Test Evaluation Permissions Settings ``` --- # 41. Document 页面 展示: - 原始文件; - 文件信息; - 当前版本; - 历史版本; - Parser; - Processing Pipeline; - Parsed Result; - Chunk; - Metadata; - Permissions; - Related Compiled Knowledge; - Index Status。 --- # 42. Chunk Inspector 管理员可以查看: ```text Chunk #23 Document: 产品管理制度.pdf Page: 17 Section: 第三章 / 产品退款 Text: ... Embedding Model: ... Index Version: ... ACL: ... Retrieval History: ... ``` 支持: ```text Re-chunk Re-embed Re-index ``` --- # 43. Search Lab 这是 V1 P0 工具。 输入 Query 后展示: ### Query Information ```text Normalized Query Search Scope ACL ``` ### Dense Recall ```text Rank Document Chunk Score ``` ### Sparse Recall ```text Rank Document Chunk BM25 Score ``` ### Fusion ### Reranker ### Final Result 通过此功能定位: - Parsing 问题; - Chunk 问题; - Embedding 问题; - BM25 问题; - Reranker 问题。 --- # 44. MCP Server 系统提供统一: ```text Enterprise Knowledge MCP Server ``` 不得直接暴露 Vector DB API。 --- # 45. MCP P0 Tools 建议 V1: ### search_knowledge ```text query knowledge_base_ids? folder_ids? top_k? filters? ``` 返回: ```text results[] sources[] ``` --- ### get_document 获取指定 Document metadata。 --- ### get_document_section 获取指定章节/页/Chunk 的连续上下文。 --- ### get_source 获取完整来源信息。 --- ### list_knowledge_bases 只返回当前用户有权限访问的知识库。 --- # 46. MCP P1 Tools 后续支持: ```text search_compiled_knowledge get_compiled_knowledge create_knowledge_draft submit_knowledge ``` 写操作必须有更严格授权。 --- # 47. MCP 身份 远程 MCP 不得使用一个共享超级管理员 Token。 要求: ```text Client + User / Service Identity + Permission ``` 映射到系统 ACL。 --- # 48. MCP Client Compatibility 首要目标: ```text WorkBuddy Enterprise ``` 同时尽量兼容标准 MCP Client。 WorkBuddy Enterprise 当前官方 MCP 文档已经支持自定义 MCP Server,并提供远程 API Server、权限、安全及 iWiki 等配置示例。 --- # 49. REST API REST API 为正式公开能力。 建议 Version: ```text /api/v1/ ``` 核心 Domain: ```text /auth /users /groups /knowledge-bases /documents /compiled-knowledge /search /evaluations /jobs /audit-logs /mcp /providers ``` --- # 50. API Authentication V1 支持: ```text User Token Service API Key ``` 未来预留: ```text OIDC OAuth2 LDAP 企业微信 / AD / SSO ``` --- # 51. Search API 建议核心接口: ```text POST /api/v1/search ``` Request: ```json { "query": "...", "knowledge_base_ids": [], "top_k": 8, "retrieval_mode": "hybrid" } ``` Response 逻辑结构: ```json { "request_id": "...", "results": [], "timing": {}, "retrieval": {} } ``` 不得在 API Contract 中暴露: ```text mochow.xxx qdrant.xxx ``` --- # 52. Provider Management 管理员可以配置: ### Embedding Provider ### Reranker Provider ### LLM Provider ### Vector Store Provider ### Parser Provider 每个 Provider 具有: ```text Name Type Endpoint Credential Status Capabilities Health ``` Secret 不允许明文回显。 --- # 53. LLM Provider Knowledge Compilation 可调用: - 百度千帆; - OpenAI-compatible API; - 本地模型; - 其他云端模型。 系统必须支持: ```text LLMProvider ``` 抽象。 --- # 54. GPU 使用原则 本地 NVIDIA GPU 优先服务于: ```text OCR / Document Parsing Embedding Reranker ``` LLM 可以采用: ```text Cloud First Local Optional ``` 不强制 V1 本地部署大语言模型。 --- # 55. 可观测性 系统必须记录: ## Ingestion Metrics ```text documents/day pages/min parse latency OCR latency failed rate ``` ## Retrieval Metrics ```text QPS P50 P95 P99 Dense Latency Sparse Latency Rerank Latency ``` ## Quality Metrics ```text Recall@K MRR NDCG No Result Rate ``` ## Compilation Metrics ```text Jobs Success Rate Review Rate Conflict Rate Stale Count ``` --- # 56. Job System 异步任务至少包括: ```text ParseJob OCRJob ChunkJob EmbeddingJob IndexJob CompilationJob ReindexJob EvaluationJob ``` 每个 Job: ```text Queued Running Succeeded Failed Cancelled ``` 必须支持: ```text Retry ``` --- # 57. 删除语义 删除 Document 时必须处理: ```text Source Parsed Data Chunks Vector Index Sparse Index Compiled Knowledge Dependency ``` 默认采用: ```text Soft Delete ``` 管理员可执行永久删除。 --- # 58. 搜索质量 Benchmark 正式上线前必须建立企业自己的 Golden Dataset。 建议首批不少于: ```text 200~500 Queries ``` 随着使用积累扩展。 样本来源: - 用户真实问题; - 产品团队; - HR; - 技术团队; - 销售/客服。 --- # 59. Retrieval Benchmark Matrix 至少比较: ```text Embedding × Retrieval × Reranker ``` 例如: ```text bge-large-zh + Mochow Dense + No Reranker bge-large-zh + Mochow Hybrid + Qwen3 Reranker Qwen3 Embedding + Mochow Hybrid + Qwen3 Reranker ``` 不只 Benchmark Embedding 单模型。 --- # 60. Benchmark 决策原则 最终生产方案根据以下综合指标选择: ```text Quality Latency Cost Operational Complexity Vendor Dependency GPU Requirement ``` 而不是只按模型排行榜。 --- # 61. 安全要求 P0: - 数据逻辑隔离; - ACL; - Secret 加密; - API Authentication; - Audit Log; - MCP Authorization; - HTTPS; - 禁止未经授权下载原文件。 --- # 62. 云端 AI 数据安全 因为允许调用云端服务,每个 Provider 必须定义: ```text Data Processing Policy ``` 管理员可以设置: ```text Cloud Allowed Local Only ``` Knowledge Base 可覆盖系统默认策略。 例如 HR Knowledge Base 可以配置: ```text Local Only ``` 即不得将文档内容发送给任何外部 LLM/Embedding API。 --- # 63. 性能目标 按当前几十~百人团队规模,V1 目标: ### Search 正常场景: ```text P95 < 2s ``` 包含 Reranker。 不包含最终 LLM Answer Generation。 ### API Metadata API: ```text P95 < 500ms ``` ### Admin Console 主要页面交互: ```text P95 < 2s ``` --- # 64. 可用性 V1 内部生产目标: ```text 99.5% ``` 后续视业务重要性提升。 --- # 65. 数据规模 当前尚未明确文档总量,因此 V1 架构最低要求: ```text 10^6 Chunk 级别 ``` 不需要大规模重构即可运行。 更高规模在架构设计阶段进行 Capacity Planning。 --- # 66. iWiki 产品设计参考原则 不是复制 iWiki,而是吸收传统企业知识系统已经验证的产品理念: ### 知识是长期资产 不能只有“上传文件”。 需要: ```text Owner Version History Category Permission Status Last Updated ``` ### Search + Browse 用户不仅通过搜索进入知识,也需要: ```text Knowledge Base → Folder → Document → Knowledge ``` 浏览。 ### Knowledge Lifecycle ```text Create Maintain Review Publish Update Archive ``` ### AI 不替代治理 AI 可以: ```text Generate Summarize Compile Detect Suggest ``` 但企业重要知识需要: ```text Review Ownership Audit ``` --- # 67. RAG + Knowledge Compilation 的产品定位 RAG 负责: > 找到正确事实。 Knowledge Compilation 负责: > 让企业知识持续沉淀并减少重复理解成本。 二者不存在替代关系。 最终查询: ```text User Query │ Query Router / \ ↓ ↓ Raw Retrieval Compiled Retrieval ↓ ↓ \ / Reranker ↓ Evidence ↓ MCP / REST / Agent ``` --- # 68. 核心成功指标 V1 上线后重点观察: ### Adoption ```text WAU Active Knowledge Bases Search Users MCP Users ``` ### Knowledge Coverage ```text Indexed Documents % Successful Parse % ``` ### Search Quality ```text Recall@5 Recall@10 No Result Rate User Positive Feedback ``` ### Knowledge Maintenance ```text Compiled Knowledge Count Stale Rate Conflict Rate Review Completion Rate ``` ### Reliability ```text Index Failure Rate API Error Rate MCP Error Rate ``` --- # 69. V1 P0 Scope 必须上线: 1. 用户与权限; 2. Knowledge Base; 3. Folder; 4. 文件上传; 5. PDF/DOCX/PPTX/XLSX/CSV/MD/TXT/HTML/Image; 6. OCR; 7. Parsing; 8. Cleaning; 9. Structure-aware Chunk; 10. Document Version; 11. Hash 去重; 12. Embedding Provider; 13. Mochow Provider; 14. Dense Search; 15. BM25; 16. Hybrid Retrieval; 17. ACL Filter; 18. Reranker; 19. Source Tracking; 20. Search API; 21. MCP Server; 22. WorkBuddy 接入; 23. Admin Console; 24. Search Lab; 25. Job 管理; 26. Audit Log; 27. Knowledge Compilation; 28. Compiled Knowledge 审核; 29. Benchmark; 30. Provider 配置。 --- # 70. V1.1 / P1 后续优先: - LDAP/OIDC; - AD/企业 SSO; - URL Import; - Confluence; - iWiki Import; - 飞书; - 企业微信; - Scheduled Sync; - MCP 写入知识; - Auto Compilation Policy; - Feedback Learning; - Query Analytics。 --- # 71. P2 未来: - GraphRAG; - Knowledge Graph; - 多模态 Retrieval; - 图片 Embedding; - 视频知识; - Audio; - Agent Workflow; - Enterprise Search; - Personalized Retrieval; - Automatic Knowledge Gap Discovery。 --- # 72. V1 验收标准 产品只有同时满足以下条件才认为 V1 完成。 ## Ingestion 上传 P0 文件类型能够: ```text Upload → Parse → Clean → Chunk → Embed → Index ``` 全链路完成。 --- ## Retrieval 支持: ```text Dense BM25 Hybrid Reranker ``` 并通过 Admin Search Lab 查看每个阶段。 --- ## Permission 用户不能: - 搜索; - 浏览; - API; - MCP; 访问无权限 Document。 --- ## Traceability 每条 Search Result 可以定位: ```text Source File Version Page Section Chunk ``` --- ## Model Embedding 和 Reranker 可以通过 Provider 配置替换。 --- ## Vector DB Mochow 可以作为默认生产 Vector Store。 业务代码不存在必须依赖 Mochow SDK 数据结构的 API Contract。 --- ## Benchmark 能够用同一个 Evaluation Dataset 对多个 Embedding Pipeline 进行比较。 --- ## Knowledge Compilation 能够: ```text Source → Generate Draft Knowledge → Source Linking → Review → Publish ``` 并能够在 Source 更新时把关联知识标记为 Stale。 --- ## MCP WorkBuddy 能通过 MCP: ```text search_knowledge get_source ``` 取得与 REST API 一致、且经过 ACL 的结果。 --- # 73. 当前技术基线 PRD 阶段暂定但不最终锁定: ```text Primary Vector Store: Mochow Embedding Baseline: bge-large-zh Embedding Benchmark: Qwen3 Embedding Reranker: Qwen3 Reranker / equivalent Document Parsing: Benchmark MinerU / Docling LLM: Provider abstraction MCP: Standard MCP Server Frontend: Admin Console Backend: API First ``` --- # 74. 已确认产品决策 当前已经确认: **DEC-001** 采用: ```text API First + Admin Console ``` --- **DEC-002** Mochow 继续作为生产首选候选,同时必须保留 Vector Store 替换能力。 --- **DEC-003** 不直接确定单一 Embedding 模型。 必须进行多模型企业中文 Benchmark。 --- **DEC-004** Reranker 是正式检索链 P0 能力。 --- **DEC-005** 产品设计参考 iWiki / 企业 Wiki 的知识组织、权限和知识生命周期思路。 --- **DEC-006** 采用: ```text RAG + Knowledge Compilation ``` 而不是二选一。 --- **DEC-007** MCP 只能暴露业务能力,禁止泄露 Mochow、Embedding Model 等底层实现。 --- **DEC-008** 企业知识必须始终能够追溯至 immutable Source。 --- # 75. 下一阶段需要解决的架构问题 PRD 评审通过后进入《总体技术架构设计》。 重点决策: 1. Backend 技术栈; 2. Admin Console 技术栈; 3. PostgreSQL 数据模型; 4. Object Storage; 5. Task Queue; 6. MinerU vs Docling; 7. OCR Pipeline; 8. Chunk Strategy; 9. Mochow Schema; 10. VectorStore Adapter; 11. Embedding Provider; 12. Reranker Serving; 13. GPU Resource Scheduling; 14. Knowledge Compilation Engine; 15. Permission Resolver; 16. MCP Server; 17. Authentication; 18. Deployment Topology; 19. Observability; 20. Backup / Disaster Recovery。 --- # 76. 下一阶段应输出的技术架构方案 技术方案至少给出三套: ## 方案 A:百度云能力优先 ```text Qianfan + Mochow + Local Parsing ``` 优点: 部署简单、延续现有经验。 --- ## 方案 B:高度自建 ```text Local Embedding + Local Reranker + Open-source Vector DB + Local Parsing ``` 优点: 数据可控、供应商依赖最低。 --- ## 方案 C:Hybrid 推荐方案 ```text Local Parsing / GPU + Replaceable Embedding + Replaceable Reranker + Mochow Primary + Cloud LLM ``` 目标: 在开发成本、搜索质量、隐私、运维成本和供应商锁定之间取得平衡。 --- # 77. 调研依据备注 当前百度千帆模型列表表明 bge-large-zh 与 Qwen3 Embedding、Qwen3 Reranker 可以作为同平台 Benchmark 候选,因此早期无需为模型实验同时引入多个云厂商。 Mochow 当前官方 API 已支持向量检索与 BM25 全文检索组合的 Hybrid Search,同时可施加标量 Filter,与企业知识库的 Dense + Sparse + ACL Retrieval 需求相匹配。 WorkBuddy Enterprise 当前公开 MCP 文档支持自定义 MCP Server,并提供传输、权限、安全、远程 API Server 以及 iWiki 配置示例,因此“企业知识服务 → MCP → WorkBuddy”的产品路线具备正式产品支持基础。 Karpathy 的 LLM Wiki 原始思路强调 immutable raw sources 与由 LLM 持续维护的 compiled wiki 分层,这与本产品提出的 L0 Source / L1 Structured / L2 Compiled Knowledge 模型一致;企业版本在此基础上增加 ACL、版本、审计、冲突和审核机制。 --- **PRD v0.1 END**