2026-09-01 14:17:20 +08:00

2.6 KiB
Raw Permalink Blame History

项目进度

当前阶段:Knowledge Retrieval Demo v0.1

已完成:DEMO-001、DEMO-002、DEMO-003、DEMO-004 进行中:无 阻塞:无

下一任务:DEMO-005

完整 V1 待办将在 Demo Scope 完成后继续执行。当前任务顺序以 docs/demo/DEMO_SCOPE.md 为准。

任务记录

DEMO-001

  • 建立 Python 3.12/uv 工具链与依赖锁文件,新增 FastAPI 应用、类型化配置、 健康检查、OpenAPI 地址和可执行的 Make 命令。
  • 新增可重复执行的单元测试、集成测试及 Evaluation 种子数据校验。
  • 已验证格式、Lint、严格类型检查、测试、依赖锁、API 启动、健康检查响应及 版本化 OpenAPI 输出。

DEMO-002

  • 新增 canonical Document 元数据、简化的处理状态、SQLAlchemy 数据库/Session 工厂,以及首个只向前执行的 Alembic 迁移。
  • 新增与 Provider 无关的 ObjectStorage 接口和本地适配器,支持禁止覆盖、拒绝 不安全路径并清理写入中断产生的半文件。
  • 新增模型、数据库、存储、迁移及 Schema Drift 测试;无需连接生产数据库即可 验证 PostgreSQL 方言的迁移 SQL。

DEMO-003

  • 新增 PDF、DOCX、TXT、MD 单文件上传应用服务,完成文件名、扩展名、媒体类型、 空文件和流式大小限制校验。
  • 上传使用 UUID 隔离的不可覆盖 storage key,并将原始文件与 uploaded 状态的 Document 元数据关联保存。
  • 数据库写入失败时自动回滚并删除已保存文件;新增四类文件、拒绝规则、大小限制 和失败补偿集成测试。
  • Parser 触发与公开上传 REST API 分别留在 DEMO-004 和 DEMO-009,不在本任务 提前实现。

DEMO-004

  • 新增统一的 ParsedDocument / ParsedBlock 领域模型和 Parser Provider 接口, 使用 PyMuPDF、python-docx 及轻量文本解析器支持 PDF、DOCX、UTF-8 TXT、Markdown。
  • PDF 保留一基页码,DOCX/Markdown 保留基础标题层级;基础 Cleaner 统一处理多余 空白、空行、异常换行和空块。
  • 新增上传后同步触发解析的应用层编排,将版本化解析 JSON 作为可重建派生文件保存, 并通过数据库迁移增加 parsed_storage_key 追踪结果;原始文件保持不可变。
  • 解析完成后文档保持 processing,等待 DEMO-005/006 完成后续流水线;解析失败记录 failed 和有界错误信息,派生结果写库失败时执行文件补偿。
  • 新增四类格式、页码/章节、清洗、解析持久化、禁止覆盖和失败状态测试。公开 REST API 仍按计划留在 DEMO-009。