📝 Compare precomputed query serving and open-source read models
This commit is contained in:
parent
a35e84163a
commit
9232bace60
77
.scratch/query-serving-options/research.md
Normal file
77
.scratch/query-serving-options/research.md
Normal file
@ -0,0 +1,77 @@
|
||||
# 任务池检索与统计面板服务方案调研
|
||||
|
||||
Status: resolved
|
||||
Type: research
|
||||
|
||||
日期:2026-11-11(America/Los_Angeles)。本地基线:`a35e8416`;新鲜度脚本已只读确认包含 `origin/dev` 和线上版本。本次只调研、记录方案,不安装组件,不改业务代码、生产配置或数据。
|
||||
|
||||
## 结论
|
||||
|
||||
用户提出的“服务器提前算好,请求只取结果”可行,适合统计和搜索候选。主要改变应是把读取全历史、关联和聚合移出用户请求,按变化维护轻量读表,再用共享缓存或专用引擎服务请求。Mongo 可继续保存权威业务状态,快路径只做必要的权限、归属、版本与领取竞争校验。一次廉价索引读取与一次大范围历史扫描不是同一种负担。
|
||||
|
||||
不建议把现有慢查询简单改成每个 API Pod 每几秒全量重跑。这会重复消耗 Mongo IO/CPU,仍无法覆盖所有筛选组合。后台由单一调度/租约协调,按项目或事实分区增量处理,完整代次原子发布,失败保留上一完整结果。
|
||||
|
||||
## 已核对的当前实现
|
||||
|
||||
以下是代码证据,不是本次线上性能实测:
|
||||
|
||||
- `internal/store/production_stats.go:120`:生产总览使用 45 秒进程内缓存,按数据库客户端、组织和项目范围分键;命中可避免重读,但冷启动、过期或新范围仍执行来源读取。`internal/api/production_dashboard.go:153` 随后仍调用 `productionstats.Build`,不是所有请求都直接复制最终 JSON。
|
||||
- `internal/outputsnapshot/reader.go:56`、`:88`、`:152`:产出/质量共享快照在请求时触发异步构建,已有完整代次可在刷新时继续读;不是无访问也持续预热的后台服务。
|
||||
- `internal/outputsnapshot/types.go:14`:当前快照刷新间隔 120 秒;`:19` 的范围容量为 8。按任意项目组合形成快照范围会增加容量压力,不能仅增加缓存数量而继续复制全历史。
|
||||
- `internal/store/human_pool_search.go:35`、`:79`、`:84`:搜索还保留来源关联与旧记录兼容,现有匹配包含大小写不敏感的子串规则。`human_pool_search_reads.go` 合并同请求/同时进行的重复读取,不是持续维护的独立搜索引擎。
|
||||
|
||||
这些说明已存在缓存和摘要基础,但“后台主动生成、共享快速读取、完整增量维护”尚未统一覆盖所有入口。单凭代码不能断言当前每个慢请求的耗时分布,实施前仍需使用已补充的请求阶段观察做对照。
|
||||
|
||||
## 六条可行路线
|
||||
|
||||
这些路线可组合,调度器、消息系统、缓存、搜索引擎和分析数据库承担不同职责,不能互相混称。
|
||||
|
||||
| 路线与项目 | 工作方式、适用范围 | 主要成本与边界 | 对本项目的判断 |
|
||||
| --- | --- | --- | --- |
|
||||
| 1. 后台物化读表;现有 Go Worker,调度可参考 Asynq | 定时或按变化把复杂来源整理成轻量任务当前表、源采集阶段事实、统计结果;HTTP 只读小表/完整代次。适合所有面板的起步改造。 | 仍有 Mongo 读取,但读的是专门计算好的小表;不能只设定时器继续扫描全库。Asynq 自带调度/重试但依赖 Redis,不必为本项目另建一套队列。 | 低至中改造,优先复用现有 Worker/租约。Mongo 官方物化视图可作为实现参考,不是额外开源组件。 |
|
||||
| 2. Valkey 共享结果缓存 | 后台把已计算的常用面板、页数据或快照代次写入 Valkey,多个 API 副本共享;应用按缓存失效消息和过期时间更新。 | Valkey 不会自动感知 Mongo 的业务变化;需要生产者、内存预算、失效/重建机制和权限分键。只加读穿缓存仍会留下首次访问慢的问题。 | 对多 Pod 重复构建和重复读取最直接,适合与路线 1 联用。 |
|
||||
| 3. Typesense,或 Meilisearch Community | 只同步任务 ID、名称、来源定位、阶段、状态、组织/供应商/项目等小字段,使用搜索索引查询、过滤、分页。 | 索引与主库有同步延迟;名称变更、删除和迁移需可靠同步。现有子串、特殊字符、排序、分页语义不能直接套用默认全文搜索。 | 适合全部项目搜索,优先做 Typesense 试验;Meilisearch 是同类备选,不应同时部署两套。 |
|
||||
| 4. ClickHouse 分析读库 | 将业务事实同步至独立分析库,使用列式查询、预聚合和物化视图服务生产/质量/作业统计。 | 增加分析库、同步、口径和运维成本。增量视图主要由 INSERT 触发,更新/删除和关联维表变化不会自动完整修正旧聚合。 | 历史统计持续增大时值得引入;不用于决定任务可否领取。 |
|
||||
| 5. RisingWave 流式物化视图 | 从 Mongo Change Streams 增量接入,SQL 维护 JOIN、分组和统计物化结果,查询读已经维护的状态。 | 需要流计算状态存储、检查点、初始回填和版本适配;Mongo 必须满足 Change Streams 前提。开源核心和具体连接器/部署功能须按选定版本核对。 | 对“长期自动增量预计算”最贴近,但作为中长期候选,先隔离 PoC。 |
|
||||
| 6. NATS JetStream + 消费者维护读模型;可选 Debezium CDC | 成功业务变更形成可靠事件,消费者更新读表、Valkey 或搜索索引;事件可重放恢复。 | 这是更新机制,不是直接查询引擎。重复投递必须幂等,事件顺序/检查点/积压须可观测;业务提交与事件不能普通双写。 | 多个读取系统共用一条变化流时有价值。可以与 1~5 配合,不必起步就部署 Kafka。 |
|
||||
|
||||
### 官方证据与限制
|
||||
|
||||
1. [Mongo 物化视图](https://www.mongodb.com/docs/manual/core/materialized-views/) 将聚合结果存盘,`$merge`/`$out` 用于更新;普通 view 仍在查询时计算。需自行触发/组织更新,不是自动增量索引。[Asynq 仓库](https://github.com/hibiken/asynq) 提供定时、重试、崩溃恢复与至少一次执行;[官方调度说明](https://github.com/hibiken/asynq/wiki/Periodic-Tasks) 要求同一计划只有一名调度者,避免重复任务。
|
||||
2. [Valkey 仓库](https://github.com/valkey-io/valkey) 提供自部署共享键值服务;[失效机制](https://valkey.io/topics/client-side-caching/) 描述键变化通知客户端。该机制追踪的是 Valkey 键变化,不能替代 Mongo→缓存的更新链。
|
||||
3. [Typesense 仓库](https://github.com/typesense/typesense) 与 [数据访问控制](https://typesense.org/docs/guide/data-access-control.html) 支持过滤和限定搜索范围。项目仍应经后端鉴权,不能让引擎密钥取代实时服务端业务约束。[官方 FAQ](https://typesense.org/docs/guide/faqs.html) 明确中间子串搜索须额外启用 infix,会增加 CPU/内存;不能宣称默认搜索等价于当前 `strings.Contains`。[Meilisearch 仓库](https://github.com/meilisearch/meilisearch) 区分 MIT 社区引擎与商业企业能力;[异步索引说明](https://www.meilisearch.com/docs/capabilities/indexing/tasks_and_batches/async_operations) 表明更新受理不等于已经可搜索。
|
||||
4. [ClickHouse 增量视图](https://clickhouse.com/docs/materialized-view/incremental-materialized-view) 将计算从查询时移至插入时;[CREATE VIEW](https://clickhouse.com/docs/reference/statements/create/view) 明确更新、删除、分区删除不会自动更新增量视图。应用须采用版本化事实、补偿/撤销或刷新重建,不能只累计。官网 Mongo ClickPipes 页面涉及 ClickHouse Cloud,本方案不把该托管产品当作免费自建组件;自建同步管道需另选并验证。
|
||||
5. [RisingWave 仓库](https://github.com/risingwavelabs/risingwave)、[CDC 机制](https://docs.risingwave.com/ingestion/cdc-with-risingwave)、[Mongo 接入](https://docs.risingwave.com/ingestion/sources/mongodb-cdc) 描述原生 Mongo Change Streams 接入及检查点恢复,无需独立 Kafka/Debezium 部署。不要把 PostgreSQL 多表事务一致性承诺直接推到所有 Mongo 查询上;具体一致性按目标连接器测试。[Mongo Change Streams](https://www.mongodb.com/docs/manual/changestreams/) 要求副本集/分片部署,恢复还取决于 oplog 保留窗口;本次未核实生产拓扑及 CDC 权限。
|
||||
6. [NATS JetStream](https://docs.nats.io/concepts/jetstream) 提供持久、确认和重放,默认至少一次投递,消费者须抵御重复。[Debezium Mongo Connector](https://debezium.io/documentation/reference/stable/connectors/mongodb.html) 和 [Mongo Outbox](https://debezium.io/documentation/reference/stable/transformations/mongodb-outbox-event-router.html) 可供可靠更新链参考;后者的业务记录/outbox 原子写要求多文档事务。当前部署若不具备此前提,不能假装普通双写等价,需采用经过验证的同文档持久意图或其他恢复协议。
|
||||
|
||||
## 推荐组合与推进顺序
|
||||
|
||||
第一步先复用现有 Go 后台与共享快照:建立轻量当前任务/源采集阶段事实,后台持续预热常用范围,冷启动在切流前预热;生产总览减少请求中的历史重建。只预计算有界基础粒度,不按“人员 × 任意日期 × 所有项目组合”枚举缓存。旧数据兼容读取集中在后台规范化/重建,迁移覆盖完成前保留受控兜底,不在每个热查询中重新关联完整历史。
|
||||
|
||||
第二步引入 Valkey 共享已计算结果,多个 API 副本读取同代次。统计失败保留上一完整版本及其时间,不把不完整结果当成零。缓存丢失由后台限速重建,避免所有请求同时回源;权限不确定时不能发送历史敏感结果。
|
||||
|
||||
第三步单独验证 Typesense 承接全部项目搜索,搜索索引只含必要字段。权威状态仍在 Mongo;响应时按当前权限验证候选,领取时使用现有 CAS/锁/归属/版本校验。列表、数量、分页必须基于同一套过滤语义,不能先截断候选再过滤导致漏题或数量虚高。按任务 ID、完整 Capture/part、子串、特殊字符、旧记录做结果等价和完整分页对照。
|
||||
|
||||
后续再评估 CDC/JetStream 与 ClickHouse/RisingWave。先在隔离环境按同一批事实做回放和正确性对照,选择其中一条满足规模与运维条件的分析路线,不把所有组件一起引入。CDC 不具备条件时,可先使用带重叠窗口的增量轮询、稳定游标和定期全量对账;删除必须有可追踪的删除事实或重建对账,不能只看 `updatedAt`。
|
||||
|
||||
## 不能省略的业务边界
|
||||
|
||||
- 展示统计可接受明确的刷新延迟;权限、领取竞争、送检、质检和最终验收决策继续核对权威状态。读取加速组件故障不应把正常作业入口一起锁死。
|
||||
- 源采集去重、全部 part 完成条件、正式重跑导致旧完成失效、事件当时供应商归属、自然日时区及复审统计沿用 `CONTEXT.md`。不能简单累加每日 distinct 数,不能把多个通过率直接取平均。可加指标预聚合;跨期去重保留源采集身份;比率由原始分子/分母重算。
|
||||
- 缓存/读表键包含组织、可见项目范围及必要的个人/角色/权限版本。撤权即时生效,不依赖长 TTL。统计快照时间与业务事件时间分开保存。
|
||||
- 投影按业务版本/事件 ID 幂等,支持乱序、重复、重启和断点恢复。完整代次发布后再切指针;旧数据、旧标注与正式审查记录不被重建覆盖。
|
||||
- 查询返回页数据和必要聚合,不把所有历史大 JSON 传给每个用户。缓存不能消除响应编码、传输、解压和前端渲染成本。
|
||||
- 后台构建单独限并发、CPU/内存与 Mongo 读取速率,避免将用户侧慢查询搬成持续后台争抢。视频读取链路与本文元数据/统计读取加速分开验证。
|
||||
|
||||
## 验证目标(建议,尚非实测收益)
|
||||
|
||||
同一接近线上规模的隔离数据、固定资源、压缩设置与脚本,覆盖正常/旧任务、多供应商、受限权限、全部项目和单项目。对照冷启动、稳定运行、集中进入、撤权、事件重复乱序、索引/缓存重启、回填与失联恢复。
|
||||
|
||||
- 沿用既定任务池门槛:81 人并发读取混合负载下,实际搜索 p95 ≤ 2 秒,无漏题/越权/新增业务错误;缓存未命中不能隐藏在 warm-only 指标中。
|
||||
- 建议面板常见查询暖态 p95 ≤ 500 ms,预热后首次进入 p95 ≤ 2 秒;这是待验证目标,不是产品性能承诺。
|
||||
- 建议目标新鲜度:任务候选投影 1~3 秒、统计 10~30 秒;需由业务确认。领取/提交时即时核验不受此延迟替代。
|
||||
- 测量主库命令次数、扫描/字节与 CPU/IO 总量,包含后台同步和重建;同时记录读库资源、API 延迟、响应字节、队列积压与刷新落后时间。不能只测接口变快而忽略后台把主库压满。
|
||||
|
||||
## 调研记录
|
||||
|
||||
使用 Exa 进行了 10 次有效搜索,共返回 43 条结果,覆盖缓存、物化视图、搜索、分析、流计算和事件更新六个方向;返回结果含重复,不视为 43 个独立证据。关键结论以官方文档/项目仓库复核。一次 Meilisearch 旧文档路径抓取超时,已通过官方现行异步操作文档确认,不把抓取失败当成能力缺失。未安装或压测这些组件,不依据项目宣传的毫秒数推断本平台收益。
|
||||
Loading…
x
Reference in New Issue
Block a user