droboticflow/docs/operations/query-replica.md

43 KiB
Raw Permalink Blame History

独立查询库操作与验收

状态:本地实现,默认关闭;无生产数据、索引或集群变更。实现决策见 ADR 0014。现有 查询读表与缓存 在此模式下只作用于查询库。

数据路径

业务命令 → 原 Mongo(原权限/CAS + 同文档同步标记)
                         ↓ 限速增量投影 / 断点历史复制
                 独立查询 Mongo(多数事务、薄事实)
                         ↓ 查询库自己的 CDC
                 query-read-builder → 读表 / Valkey

计数/看板/作业记录 → 查询库或共享结果
任务列表 → 查询库选候选 → 按 ID 核对原库当前状态 → 原服务端授权
领取/保存/切片/送检/质检/最终验收 → 原 Mongo(不改读异步副本)

原库当前入口已用只读探测验证不支持 CDC(40573),并非 API 总资源不足。独立查询库必须是另一 Mongo 部署,不能只改原服务器上的数据库名。投影器核对 hello 身份,拒绝相同进程/副本集;查询端必须支持事务。聚合器还检查投影库私有身份,不接受直接对原库构建。

默认关闭的配置

凭证只通过既有 loader 私有覆盖文件或 Secret 注入,不写入仓库或证据。投影器、API 与聚合器必须使用相同且按环境隔离的 QUERY_SERVING_NAMESPACE;查询库控制表绑定来源数据库名与命名空间,拒绝不同来源配置的投影器接管。它是逻辑环境绑定,不替代物理拓扑核验;同名副本/灾备切换仍需专门恢复计划。

配置 角色与含义
QUERY_SOURCE_TRACKING=1 API、切片处理器、校验器、Worker、协调器及写维护工具;启用同文档标记
QUERY_READ_MONGO_URI / QUERY_READ_MONGO_DB 独立查询库;不得与权威部署相同
QUERY_REPLICA_REPORTS=1 API:计数/生产与人员看板/作业统计的目标读取;默认关闭
QUERY_REPLICA_COUNTS=1 API:仅迁移带计数标记的任务池数量请求,普通列表和核心作业继续读权威库;需要报告模式
QUERY_REPLICA_POOLS=1 API:任务池候选、计数及管理员标注池;保留原开关行为,计数验收后再单独启用
QUERY_SERVING_READS=1 / QUERY_SERVING_NAMESPACE 查询库派生结果、不可变快照及缓存,namespace 必须隔离环境
QUERY_VALKEY_URL 可选共享缓存。失联只回到查询库
QUERY_TYPESENSE_URL / QUERY_TYPESENSE_API_KEY 可选搜索候选,后续独立验收;本批不要求启用

源校验 advisory/cutoff 等现行业务配置不因查询迁移改变。查询聚合器与 API 保持同一口径配置。聚合器不需要原库凭证,不能运行业务调度器。

投影进程:query-replica --writers-covered --bootstrap --interval=1s。--writers-covered 是完成写者盘点后的操作声明,不会自动升级旧作业。每集合每次最多200条、连接池4,投影/确认可重放;查询库租约代次使旧进程不能继续发布。历史复制是一次性、可恢复的读取;每6小时对每集合启动一轮限速摘要对账,每次只处理一个批次。

原库高负载时,生产影子回填应显式设置 --batch-size=50 --min-pass-interval=5s。前者限制每集合批次,后者限制每轮起点间隔,覆盖周期模式尚未追平时的连续排空;一轮执行本身已超过5秒时不额外等待。默认200条、零额外间隔仍兼容既有行为。该配置不是字节/CPU硬限额,一轮仍可能读取每个集合的历史和脏批次,必须配合负载观测与外部停止控制。等待继续使用查询库租约续期,不延长任何查询超时、事务或写入确认预算。

新代码只保存白名单字段,维持原 productionstats、workforcestats、名称匹配和历史回退。保留原标注和正式意见;作业记录正文按选中的正式记录 ID 回原库读取。不能安全复制的 URL/名称不作为“成功迁移”忽略,须先处理兼容项,或保持该路径开关关闭。

原库索引与写入成本

不会在 API 启动创建索引。query-replica --ensure-source-indexes 是明确的原库写操作,生产必须另列计划并授权:

  • 当前22个白名单集合,各新增 query_sync_dirty_v1(_querySync.dirty,_id,只索引 dirty=true)及 query_sync_delete_claim_v1(稀疏 deleteClaim)。
  • 私有删除意图集合新增 phase/lease、collection/phase/audit 及 expireAt TTL 三个索引。已确认意图保留7天,未完成意图不自动过期。
  • 合计47个索引;即便初始为空,构建仍需扫描集合。先只读盘点各集合体积、已有等价索引和磁盘余量,逐集合限速构建,记录 CPU/IO 和停止阈值。不得把索引收益忽略掉持续维护成本。
  • 标记与业务写同次提交;只有相关变化需要一次小的确认更新。草稿正文、日志等不做持续投影。删除另外增加意图/标记写入,必须计入真实作业对照。
  • 对账只做元数据 CAS,保留业务版本、状态、归属及标注;不得用老快照回写正文。

查询库显式运行 EnsureTargetIndexes,复用 PoolSearchReadIndexes / PlatformReadIndexes,另加精简事实关联索引。不能用与原实现不同的同名索引蒙混对照。查询库计数选择小文档索引,不强制扫描原库为大文档设计的覆盖路径。

权限、缓存与故障

计数缓存只保存候选事实,权限仍由每个请求的原服务端谓词计算。查询库事实代次在投影事务中递增,缓存按组织/筛选/代次隔离。内存预算64MiB、最多32份;合并最多16个并发构建,单构建8秒,取消互不影响。超容量改用查询库流式读取,不能截断结果。Valkey 使用压缩 BSON 保留私有权限元数据,单值仍受4MiB上限,TTL两秒。

原库待同步标记屏障使用小索引;最多1000条变更,越界显示暂不可用,不扫描全量权威历史。未同步任务覆盖旧候选,未同步批次策略读原库。物理删除尚未确认时不伪造零计数。列表继续批量核对当前任务,服务器计算 canClaim,实际领取/提交仍用原版本与权限校验。

查询副本追平证明30秒过期;失联不集中回源。有效查询连接在冷启动时保留,每秒最多一次、支持取消的拓扑/绑定核验,恢复后自动继续;不替换运行中的读者指针,也不要求手动重启 API。统计失败不返回伪造零数据;API 核心作业仍使用权威库。缓存丢失只影响响应耗时。旧代码或维护工具漏报的变化可由限速对账恢复,但持续旧写者、数据库浏览器 DDL 或人工直接写入不属于实时保证,切读前必须盘点并升级/暂停。

本地验证与验收证据

功能环境是独立 standalone 源库27119、query-read-rs 查询库27129;只允许专用合成数据库,测试结束清理各自随机库,不使用共享快照或客户记录。专用 native 数据目录位于本 worktree 的 local-data/query-replica-local/。native 只有固定 WiredTiger 配置,没有 CPU/RSS 配额,只能作为功能与读取路径证据。

本批专项入口:

QUERY_REPLICA_LOCAL_TEST=1 go test -race ./internal/store ./internal/api -run '^TestQueryReplica|^TestQuerySync' -count=1 -v
QUERY_REPLICA_LOCAL_TEST=1 QUERY_REPLICA_SCALE_LOCAL=1 go test ./internal/store -run '^TestQueryReplicaScaleLocal$' -count=1 -v

对照固定26218条合成任务;两侧安装相同既有读取索引。81/200/500并发分别测试单项目与全部项目,记录结果、p95、原库命令/响应字节及原生进程 CPU,包含同步标记确认与实时屏障。这仍是短时读取路径对照;原库回复字节不是公网 EIP 流量。

生产准备前仍须完成:

  1. 包含真实规模历史、多供应商、受限权限和冷缓存的完整业务链;开启标记后的保存/送检/恢复与既有基线对照。
  2. 固定源库4CPU的资源对照,查询侧明确 CPU/RSS/PV/IOPS;81→200→500用户逐级长稳态,三轮、冷启动、集中进入、积压、缓存丢失、查询库重启。观察原库 CPU、扫描量、读取字节与写放大,而不只看页面响应。
  3. 普通看板/计数暖态p95≤500ms、任务池包括冷查询p95≤2s;无新增业务错误、结果/权限等价;资源持续恶化须解释和处理。native 无配额不能替代上述容量门槛。
  4. 查询副本集多数提交、跨节点调度、PV备份恢复与审计;单节点本地副本集不能证明生产高可用。

项目 verify:plan/quick/task 与正式发布门禁另行保留证据;跳过、超时、已有失败和新增失败分开记录。

发布顺序与回退

本地验证达标后才准备具体公司变更计划,不在此文执行:

  1. 只读盘点写者、旧作业、原库索引/负载、查询库私网与 PV;查询库3副本建议每副本4CPU/8GiB,投影与聚合进程各1–2CPU/2–4GiB,Valkey 主备各1CPU/2GiB,仅为起步测试预算。
  2. 按单独批准计划建设源索引、新查询服务;所有源写者先升级同一核验版本并开启标记。旧维护脚本不再绕过适配器。保留原作业入口。
  3. 限速复制、持续增量,影子对照;先报告/计数,再任务池。基础管理员执行概览仍保留现有有界执行摘要/配置读取,不宣称其全部来源已迁走。
  4. 在不同时扩原库/改带宽的条件下比较总资源。原库确实减负、结果和速度达标后才准备正式切换。
  5. 回退先关 QUERY_REPLICA_POOLS / QUERY_REPLICA_REPORTS,再停后台和 QUERY_SOURCE_TRACKING。保留原有读取、标注和正式记录;私有标记可保留。源索引可在评估后单独批准删除,不以回退为名清理客户数据。

源码必须先并入、核验并同步 dev,再按 scripts/release.py 准备,不能直接发布未合并工作树。推送、PR、集群变更、原库索引和数据写入均需要各自的明确授权。

本批验证记录(2026-11-12)

  • 原 Mongo 入口 CDC 探测为不支持拓扑(40573);不把连接失败或权限失败当作此结论。
  • 专项真实 Mongo/Valkey、竞态检测与旧合同回归通过;包括启动配置选择独立薄事实、错误配置不回源、筛选/盲标计数叠加待同步任务、删除恢复、失权、原标注保留及替换写入的 SDK 多选项语义。
  • 工作可用性四阶段门禁通过,现有切片/返工/管理员任务池/搜索/看板浏览器及统计稳定性回归通过。Python 兼容检查37通过、4项物化夹具缺失仍跳过,不能记为全通过。
  • 最终 Go 基线门禁68项既有失败、0项新增;初次曾出现 Worker 双实例并发用例额外失败,20次定向运行也曾失败,完整复跑通过,原始基线在竞态检测下也复现同一失败。初次记录不删除,不将该既有调度问题归为已解决;调度并发仍需独立确认。
  • 固定26218条任务的 Docker 短时全部项目计数:81/200/500并发,最终新路径p95为203/328/528ms,均无错误。旧路径对应有39/83/187次超时,因此整项对照测试失败,原始结果保留;不能用旧路径失败后的残缺结果宣称严格等价对照通过。此测试仅是存储计数访问器,不包含完整HTTP授权和视频。
  • 源容器配额4CPU/4GiB,查询容器4CPU/8GiB,但本机Docker虚拟机实际仅4CPU、约6GiB,两个Mongo共享主机;目标8GiB不是可兑现的独立物理预算。短时减少的源库命令/读取字节和CPU只证明该查询路径的减负,不能承诺生产总CPU降幅或公网带宽降幅。
  • 完整任务级检查仍记录有失败、跳过和外部用例映射缺口;后续修正夹具的领取库存、作业追溯、索引迁移和供应商转换已定向通过。持续写入/删除积压、完整HTTP及后台写放大/CPU/RSS/IO、三轮长稳态、重启和高可用恢复尚未完成。

详细命令、原始失败及源码身份记录在该工作树的 .scratch/mongo-cpu/verification.md 和忽略目录 local-data/diagnostics/mongo-cpu/。本批保持所有生产开关与数据不变,不具备生产容量验收或发布资格。

本批只读存储盘点:当前注册的 StorageClass 为静态 csi-bos,现有80Gi本地卷和200Gi BOS卷均已占用,未做修改。隔离验收仍需独立SSD持久卷,不能将现有BOS挂载视为已满足数据库文件系统要求。MongoDB要求目录fsync等文件系统语义,并推荐WiredTiger使用XFS,参见官方生产说明。节点allocatable不等于空闲资源;尚未创建Pod、PV、StorageClass或Secret。

定稿性能复测中,单项目500并发曾有70次就绪检查失败。已将重复的水位读取合并为仅在途共享(无跨请求TTL、无权限缓存),以真实Mongo命令监控证明100个同时检查只读一次;相同夹具复测新路径所有档位均零错误。旧路径仍有超时,因此组合对照仍标为失败,而非性能验收通过。最终全部项目500并发p95528ms仍高于暖态500ms目标;81/200档通过的只是存储计数访问器,完整HTTP/业务授权及长稳态仍待验收。

周期展示模式(本地实施,未切生产)

QUERY_REPLICA_REFRESH_MODE=periodic 需要在 API、query-replica 与 query-read-builder 一致配置。它不启用任何原先关闭的报告/计数/任务池读取开关,也不替代写者覆盖和首次完整同步验收。无该设置时保留原连续模式。

  • 投影器追平后约60秒再做增量读取,积压按原200条有界批次连续排空;空闲每10秒只在独立查询库续原30秒租约。失权或三秒确认失败退出并保留断点,不扫描原库保活,不延长租约。
  • 变化按组织合并,搜索至少60秒、统计至少180秒计算一次;首次构建立即开始。统计复用旧归约器并差量发布,尚非逐任务分区计算;64MiB/250,000行背景快照上限仍在。
  • 展示读已提交结果,刷新期间保留旧完整版本。同步水位与结果年龄的正常延迟允许到15分钟边界;原绑定/schema/未来时间校验保留,超界报告未就绪且不回源全扫。计数不再逐请求追读原库脏任务;批次策略、用户/成员/供应商权限仍即时读取,列表本页归属/版本和全部正式操作仍走权威路径。
  • 人员统计可选 asOf 与既有生产报表时间标识实际发布数据时间;不是请求时间。首次无已发布结果时不由客户请求触发组织全量计算。旧模式和历史少见查询兼容路径保留。

本轮证据保存在 local-data/diagnostics/mongo-cpu/periodic-refresh/:

  1. red.log 先复现已发布两分钟的结果被同步延迟拒绝、单次计数追加3次原库追平读取;对应回归修复后通过。生命周期覆盖旧完整版本、变化合并、未提交暂存恢复、边界过期和来源隔离;真实HTTP权限撤销、未同步批次策略变化、自审禁止及标注保留通过。
  2. 首次26218任务本机对照 http-26218.log 因统一就绪条件仍要求秒级观察水位而失败,原记录保留。修改仅对新周期模式采用已发布代次及年龄的就绪规则,原四分钟等待/请求超时及持久性不变。
  3. http-26218-published.json:26218任务、20项目、81账号、两轮162请求,新路径零错误,总p95=1325.065ms(计数1335.207、人员统计553.760、作业记录309.176、生产总览40.549ms)。旧路径16次MaxTimeMS失败,因此整体测试失败,不能从这轮报告严格等成功降载比例;人员统计混合冷热p95也不作为暖态500ms目标通过。
  4. http-26218-matched.json:相同数据、81账号、162请求,新旧均限制8个在途请求,仅为等成功降载/逐账号结果补充;双方零错误、162份结果逐条匹配、无差异。源Mongo累计CPU 15.272151→2.314956秒(下降84.84%);扫描文档10,078,564→1,450,972(下降85.60%);逻辑BSON返回字节下降78.91%。该轮整体p95旧710.792ms、新785.101ms,不能宣称低并发整体延迟下降;新路径人员统计99.604、生产5.574、作业记录61.113、计数811.500ms。

两轮均固定源Mongo4CPU/4Gi、查询Mongo1CPU/1Gi、WT缓存0.25Gi;Go HTTP/构建进程在本机,两个Mongo共享Docker主机,没有.4节点共享盘IO限额。包含请求测量期间的实际同步/对账/确认开销,但短时不包含长期持续变化/缓存失效所有周期。新旧源CPU为累计用时,不能当作线上CPU百分比;逻辑BSON字节不能当作公网视频带宽。余下较多源读取是当前授权/旧授权兼容路径,未引入跨请求权限缓存来换性能。

共享盘25Gi冷构建和完整HTTP对照、长期稳定性与暖态500ms仍单列待验收;本机证据不替代它们。不改生产数据、路由或资源,不因本地通过准备部署。

共享盘冷构建及未采用实验

periodic-refresh/cluster-26218 在原25Gi、1CPU/1Gi、2MiB/s读/1MiB/s写及64/32 IOPS下实际运行:历史复制372.203秒;搜索78.042秒;统计加载/归约2.435秒,确认写入17,720行/26,559,500字节,统计阶段95.638秒,生产/统计读表总阶段112.633秒后发布。随后产出快照约47秒仍在构建时触及原四分钟就绪预算,取消;未进入HTTP阶段,没有本轮p95/CPU降载比,coverageComplete=false。终止时取消上下文会令元数据读取均失败,不能把终端打印的全false理解成已发布版本丢失;后续诊断保留最后一次有效就绪状态。

该轮生产健康保护未触发,最终健康无错误;源夹具/策略/桥接按UID/PID清理,配额CAS恢复,25Gi标记保留。没有客户记录或生产路由变更。

曾尝试让初次产出快照与搜索重叠、共用原写入预算;小回归及竞态验证通过,但同规模本机1Gi查询Mongo出现OOM(exit137),对应 overlap-oom.json、overlap-experiment.patch 和 http-26218-overlap-matched.log。不能将并行视为安全优化,也未证明并行是内存峰值的唯一原因。最终代码撤回该调度,保留搜索/冷快照串行保护,不增资源、不降持久性、不放宽超时。 本机Mongo按原容器/配额恢复,仅删除该次精确随机测试库。该实验未推送、未在公司集群执行。

正式任务检查 verify-1794585127732124000/report.json 中 Go基线、看板/刷新浏览器、统计稳定性、查询服务race与完整Mongo/Valkey副本race均通过;系统Python缺pytest项用现有根目录venv复跑37通过/4个真实交付夹具缺失跳过。额外原始API全包仍失败,分类依现有Go门禁:68项均在基线、0新增;不手工扩失败基线。原任务失败/跳过记录均保留,不将整项标成全绿。

周期刷新/已发布结果读取的实现和本机降载证据可以继续评估;共享盘冷容量仍不通过,因此不准备生产发布。后续优先把旧产出快照重复历史读取/构建开销独立量化并减少,不以并发堆积、提高IO限额、扩内存或延长等待来冒充当前配置达标。

最终串行候选的补充验证与剩余风险

  • 撤回重叠调度后,http-final-matched.log 在管理员人员统计首次聚合出现一次 MaxTimeMSExpired,未形成完整对照。慢日志元数据 final-fact-slow-metadata.json 显示规划约5.8ms、执行CPU约834ms;不能据此认定规划是根因,也不能用上一次成功结果掩盖本次失败。
  • 增加了可选启动命令监控接线,使实际API查询客户端也能记录预算,默认运行不安装监控。此前预算探针只接到构建客户端而未捕获HTTP事实聚合,该空报告不能作为API预算证据。
  • 带诊断对照 http-diagnostic-matched.json 新路径162请求零错误、160份可配对业务结果一致,但旧路径2次失败;整体仍失败,不能据此重新报告严格降载比例。该次仅保留两个明确本机合成库,供快速复查:源 query_http_synthetic-58b6b07eb71b63db7f4541fefa653bfa、查询 query_http_synthetic-96fa522d81f68b11f10d0dd4f8394644;客户数据不在其中。
  • 使用该保留夹具、真实HTTP/会话/管理员授权重放3次均200,首次实际聚合约1518ms,后续命中缓存。replay-budget.json 确认发送maxTimeMS=8000,上下文未额外缩短预算。临时合成会话已清理。单次冷态失败仍未稳定复现,不能标为已修复;本机容器与宿主时钟相差约19秒的观测也不能直接归因为该错误,未更改全局时钟或其他工作树的资源。
  • 最终快速检查 verify-1794589491130862000/report.json 所选检查通过;最终完整副本race/cache记录 check-5b8d9540efff4b01825a878e91549000.log 无缺失/跳过/源码变化。新增串行调度保护回归保留,失败的并行实验日志保留。前述原始任务检查的交付夹具跳过、原始API既有失败仍如实保留,不将最终状态写成整体验收通过。

本批没有推送、PR、生产应用或数据变更;独立查询库周期读取开关仍默认关闭。下一步先稳定复现冷态统计超时,并减少旧产出快照和统计的重复读/持久化确认轮次;达到原配置下的完整正确性、速度与资源对照后再准备上线。

成品发布与专用缓存隔离验证(2026-11-14 UTC)

本批基线 3e59fa19,仅在 mongo-cpu 工作树和已授权合成命名空间实施。没有切换生产查询入口、修改客户数据或购买磁盘。

  • QUERY_PUBLISHED_RESULTS=1 与周期模式组合启用。常规人员/工作记录汇总由后台登记、归约、事务发布,再放入专用 Valkey;前台优先读取完整成品。缓存丢失、连接失败或API进程重启后只读查询库成品,不触发权威库历史聚合。明细仍在查询库分页后补当前页正文。
  • 首次未准备好时,新客户端通过 Accept: application/vnd.droboticflow.prepared+json 协商 HTTP 202;旧客户端得到503,避免将准备信封当成空报告。完成后的响应保持旧格式。等待、重试、切换页面取消均沿原30秒预算,不延长接口或聚合超时。
  • 已登记范围的活跃时间最多每15分钟触碰一次,减少面板访问引发的查询库写入;这不改变3分钟的后台统计刷新。每组织最多1024个活跃配方、24小时闲置清理,尚未证明500人任意筛选组合的容量。
  • Valkey 位于 .33 的独立实验命名空间,限2核/4Gi、maxmemory 2Gi,仅允许指定合成夹具访问。它是可丢弃派生缓存;持久成品仍由查询Mongo保证。该单Pod、无持久化缓存配置不是生产高可用方案。
  • 查询Mongo在 .4 保留25Gi盘,使用4核/8Gi、WiredTiger 2Gi;读限4MiB/128 IOPS,写依次试验4MiB/128 IOPS、8MiB/256 IOPS。初始化器、运行守护、loop与底层设备限额同步更新,Pod重建后核实实际值。多数提交、日志确认、原有超时和磁盘边界均未降低。
  • 任务池共享缓存仅保存本页候选ID和游标身份;返回前按ID取当前归属、状态、版本,服务端继续执行可见性与 canClaim。“我的任务”和个人审查历史维持权威读取,避免刚领取/提交后因异步发现滞后而消失。权限材料改为请求内批量读取,不跨请求缓存授权结论;默认组织、旧授权、撤销、禁用账号、异常历史项目ID均与原算法对照。

证据根目录:local-data/diagnostics/mongo-cpu/published-results-20261114/(本工作树忽略目录)。write4-products-pool-v4、write8-products-pool-v4 是同一二进制、相同26,218任务/81人/两轮的IO对照,均结果等价、无新业务错误。该窗口源库CPU工作量约下降90%、文档扫描约下降93%;它是合成源进程的CPU秒数对照,不是生产Mongo即时CPU百分比。首次复制约55秒→27秒,统计物化约118秒→112秒,说明增加写IO对首次复制帮助更明显,不能将所有查询收益归于扩资源。

query4-write8 保存前一4MiB配置及UID回退步骤。Pod重建保留原验证标记,并将一份合成结果以majority+j写入后验证逐字节和SHA恢复;这不代替完整生产备份恢复演练。两轮采样中受保护Pod的IO full PSI为0,生产就绪、Pod身份/重启集合正常;只是该窗口未观察到影响。

首次测试失败记录保留:旧节点夹具检查拒绝.33、旧汇总计量混入合法分页聚合、2Gi缓存的BSON Long比较错误,分别修正后重测。真实浏览器发现加载时仍同时展示空表提示,已修复;准备、空结果、权限错误和退出取消均验证。任务门禁原600秒整体预算耗尽后按原单项超时续跑;浏览器清理超时单项原样重跑通过。完整API包失败通过官方Go基线门禁核验,无新增失败;未扩大已知失败名单。具体来源、环境、命令和各次失败保留在 verify-task-console.log、verify-continuation.log 和其引用的JSON报告中。

v5的广范围搜索及冷暖读取对照记录于 final-products-pool-v5;后续v6修复了该轮暴露的冷缓存并发重复查询。本批不是30分钟三轮、200/500人、持续写入积压或节点故障容量验收,未准备生产切读。上线前仍须明确生产HA/备份、所有写者标记覆盖、源索引与限速回填范围,并重新核对当前 dev 和实际线上版本。

最终 final-products-pool-v6 使用相同26,218任务/81人两轮主读取及20名审查账号的五类任务池读取(含广范围命中、无结果搜索)。主读取162次、任务池200次新旧结果一致;查询库/cache故障回退验证通过。大量命中搜索在v5为1.52秒,定位同条件冷缓存并发重复查询后增加有界在途合并;独立取消与本页当前版本读取保留,v6降至约664毫秒。不是通过少返回任务、放宽权限或增加超时取得结果。

读取 旧路径 p95 最终查询路径 p95
人员看板 17,524ms 75ms
作业记录分页 17,618ms 407ms
任务池计数 18,394ms 986ms
可领取列表 370ms 384ms
大量命中搜索 781ms 664ms
无结果搜索 5,670ms 297ms

普通列表未观察到速度提升,不宣称所有读取均变快。“我的任务/已审”仍为权威路径,约4~5毫秒。生产总览仅2次暖读,不能据此承诺该角色的持续容量。源库处理同批主读取的CPU耗时23.74→2.40秒,扫描9,887,630→914,716文档;此对照包含测量窗口的后台读写,但一次回填和首次物化另列,不能替代30分钟持续同步负载。

首次复制约30秒、查询库初始物化约107秒,登记的81个成品另需约8秒准备;后台未完成前没有“瞬间冷启动”承诺。暖读与缓存故障均有独立记录。最终窗口受保护业务IO full PSI为0、健康最大约160毫秒、物理盘平均等待采样最大约4.55毫秒、节点CPU最高6%,无生产Pod身份/重启变化。数据库结果及标注/版本摘要保持一致。

临时合成源Pod和桥接在测后按UID清理,查询库配额恢复。实验Pod继续保留原自动到期机制,25Gi数据盘不因到期删除。专用Valkey曾正常到期,已按原参数重建并在最后一轮从空缓存重测;没有取消到期机制或扩大生产入口。下一阶段须补充真实验收聚合包形态、持续变更和200/500人验证,再制定生产影子读取与切换计划。

最终集成报告:local-data/test-results/verify-1794636683705497000/report.json,源码未在运行中变化、无未映射文件。41项中39项通过,包含隔离副本/缓存/Mongo专项、源码校验不入队、标注/切片浏览器、搜索及面板、生产前端构建和静态启动。API整包原始检查仍报告已有失败,最终官方Go基线门禁确认68项均在70项既有基线中,无新增;store整包PASS,但默认跳过的外部环境用例标为未完整覆盖,不算通过。专项显式启用的本机副本/Valkey测试已执行通过,未扩大 known-failures。

.4 测后资源申请总量约6.475/7.8核(83%)、内存11,813Mi(42%),包含实验查询Pod;低实际使用率不能替代调度申请余量。后续继续扩核须重新核对该节点及生产峰值。当前仍是限时实验Pod,保留原自动结束机制和25Gi盘;后续恢复验证按已记录UID、配置及回退步骤重建,不将该单Pod直接当生产查询库。

影子同步全局预算与持久暂停(方案 8e8abb0cb64f)

本节替代上文仅按集合批次及轮次间隔控制的生产影子启动建议;旧命令保留兼容,但不得直接用于此次生产启动。当前仅完成本地实现与合成数据验证,未启动生产回填、未切换生产查询入口。

守护模式只作用于显式带 --safety-run 的独立投影器及带 --shadow-safety-run 的构建器,不进入保存、切片、送检、质检或最终验收准入。权威权限与版本判断不变。

项目 首轮候选值及行为
总读取预算 --max-source-records=1000,读取前持久预留。空读、重复读及崩溃也可能消耗;不是已迁移条数。预算不能因重启、换 run ID 清零
全局节奏 --source-records-per-second=10 --source-bytes-per-second=65536 --source-commands-per-second=2 --batch-size=25;共享源连接节流,包含握手/心跳开销,不按22个集合分别给额度
持久性 查询库事务 majority+journal,先提交投影/断点再 CAS 确认源标记,不降低写入确认,不延长超时
单次读取 源查询 maxTimeMS=1500,整个源操作5秒上限;大回复无法在预算内完成时暂停,不放开时限
源 CPU 三个间隔30秒的有效样本,跨度至少60秒,CPU均≤90%、波动≤5个百分点才允许开始;基线固定,恢复不得抬高
停止 源 CPU≥95%一次,或比固定基线高3个百分点连续两个独立样本;受保护 Pod IO full avg10>1%连续两次或>5%一次;客户作业异常/延迟回退、健康缺失或超过45秒、写者变化、目标盘≥70%、宿主剩余<100GiB均暂停
调度 脏数据优先,正常每次历史批次前先排一个脏批次;积压超过5分钟时增加最多三个脏批次。按集合持久轮转,完整历史完成前不做全量审计,完成后首次审计延后6小时
恢复 私有控制表保存原因、预算、当前恢复令牌;进程异常重启转为暂停。仅显式提供当前 --resume-pause、相同 run ID、评审后的预算和健康窗口才能恢复。不会自行轮询恢复

源端修改集中在受控元数据接口,只允许同步标记及私有删除意图。过期删除声明的取消与清理按有界 ID 批次处理,不重放业务删除,不回写业务正文、版本、状态、归属或标注。若预算不足以确认所有待删除目标 ID,暂停并保留目标,不把尚未探测的记录当成已删除。

Mongo 角色不能限制更新到某个字段:源账号按22个源集合授予 find/update,私有删除意图集合 find/insert/update,另授 serverStatus;禁止 remove、DDL、跨库访问。字段白名单由应用强制,不能宣称源账号“只读”。构建器没有源凭证。

最终启动前逐项确认

  1. 将本地改动核验合入并同步 dev 后,通过正式发布门禁,单独批准镜像上传及实际启动计划。绑定不可变镜像、二进制 SHA、两个命名空间 UID、五个写者 UID/镜像/提交/副本、影子控制器 UID、Mongo Pod UID、来源端点摘要和目标库;核对所有生产读取开关仍关闭。不要直接执行旧方案里的启动命令。
  2. 核验源47个等价索引与最小权限角色,准备独立源 Secret。Secret 配额8、源网络出口、查询库4核8Gi/WiredTiger 2Gi/25Gi容量和 loop/底层 IO 双重限额保持现行已批准值。新增账号/Secret及私有同步元数据写入须列入实际启动授权。
  3. 先执行一次 query-replica --writers-covered --initialize-target:核对独立拓扑并仅初始化目标绑定,不扫描历史或创建源索引。然后启动可信观察器,等待三个有效样本,避免未绑定目标造成观察器无法写入健康数据。
  4. 接通可信客户作业健康输入 --work-health:JSON 必须含 UTC at、coverage: "save-slice-submit-review-acceptance"、布尔 unexpectedErrors 与 latencyRegressed。必须由已核实的指标提供者更新,≤45秒;不得用人工常量、readiness 或“日志没报错”替代。实际生产提供者、延迟基线及故障演练尚待绑定,未完成不能启动。 观察器来源 relay 目前仅适用于已审查的私网非TLS单端点;若实际连接启用TLS,必须先验证服务器名称处理,不得关闭TLS绕过。
  5. 最终计划列明观察器 --bindings-sha256、--binary-sha256 和 --stop-on-failure 的授权范围。停止仅对两个影子控制器 UID/resourceVersion CAS 缩至0;不会修改 API、处理器、校验器、Worker、协调器。观察器缺失时进程5秒巡检健康,健康超过45秒会停止工作,不能无限继续扫描。
  6. 仅投影器从0升至1,使用上表1000预留预算、10条/秒、64KiB/秒、2命令/秒、批次25及固定 CPU 基线。构建器保持0,生产查询开关保持关闭。影子目标数据不完整时不发布 ready。首轮停止后核对实际读取/预留/源确认量、源 CPU/读取字节、客户操作与共享盘 IO,对照同时间负载基线。
  7. 首轮达标后再确认后续预算。25条/秒、128KiB/秒、5命令/秒、批次50,以及最高50条/秒、256KiB/秒、8命令/秒、批次100都只是后续上限,本清单不授权自动升级。完整复制与增量追平后才单列构建器启动、旧新结果及权限隔离对照,仍不切生产入口。
  8. 回退:先停两个影子控制器并确认 Pod 退出,再停观察器;保留目标断点、暂停记录、最后完整结果和源标记。不删除源记录/标记,不清空查询库,不恢复业务旧快照。再次启动先读 query-replica --safety-status,重新确认健康、绑定和当前暂停令牌。生产入口从未切换,无需改客户作业配置。

此阶段只能证明新增同步负载受控及影子结果正确。生产入口未切换时不能宣称原 Mongo 总 CPU 已下降;降载验收仍需后续经授权切读后的同条件对照。

维护窗口初始化策略(2026-11-14,明确授权的临时覆盖)

本节仅覆盖上节影子初始化的 CPU 启停规则。用户已明确说明维护窗口无客户作业,并允许原 Mongo 初始化期间持续高 CPU;不再等待低 CPU 窗口。历史方案及批准摘要保留,不修改既有发布记录。

投影器必须同时显式传入 --maintenance-initialization、未来的 --maintenance-until=<RFC3339>、原 --safety-run 和有限 --max-source-records。策略以 maintenance-initialization 持久化;默认严格模式不变,既有暂停必须使用当前令牌显式恢复,累计预算不会清零。

  • CPU 持续采集,仅观察:取消该模式的启动 CPU≤90%、波动≤5个百分点/三样本等待,以及运行 CPU≥95%和相对基线增长暂停。单份完整、新鲜的健康观测即可准入。CPU 数据缺失或非有限数仍不能伪装健康。
  • 停止条件保持:源数据库不可用、客户作业错误或延迟恶化、权限/身份/版本变化、健康过期、实际内存压力或 OOM、磁盘容量不足、持久化失败、受保护业务 IO 异常。维护期限到达或读取预算耗尽也持久暂停。停止仅限绑定的两个影子控制器,保留断点和最后完整结果。
  • 观察器记录时钟偏移与往返耗时的独立结果、Pod UID 和每次失败类型。传输/探测瞬时失败最多3次,间隔0.5、1秒;明确不健康返回、权限和身份变化直接停止,不能通过重试掩盖。不得记录连接凭证和客户正文。
  • 内存证据绑定源 hostInfo.system.memLimitMB、serverStatus.mem.resident 及目标 cgroup 的实际上限/OOM 计数;节点 MemoryPressure 缺失不是健康。目标日志的持久化错误和日志截断均须处理。观测重发仅允许相同时间和内容幂等,不允许同时间改写或乱序覆盖。
  • 限速、源查询1500ms/操作5秒、目标25Gi容量边界、majority+journal、权限/供应商隔离、正式操作实时校验不变。维护模式不进入标注、切片、送检、质检和验收准入。

现有首轮授权仍限1000条读取预留、10条/秒、64KiB/秒、2命令/秒、批次25,不因 CPU 策略更改扩大。该预算包含空读和重复探测,不能完成约76.4万源记录的初始化;完整历史预算、构建器启动及故障对照须合并列明再确认。实现核验与集群实际部署分开记录,新增镜像按正式发布规则处理。

成品链路验收须区分:统计事实构建成功、特定权限/筛选成品发布完成、Valkey 命中和生产读取切换是不同状态。新筛选仅登记到查询库,由后台计算并发布;不得在缺失成品时前台扫描原库。缓存丢失读取查询库最后完整成品;查询库也不可用时明确暂不可用,不集中回源。初始化完成或 Pod 就绪均不代表已分流;最终降载只能在另行批准切读后以同条件证据确认。

有界读取重试与缩批(2026-11-15,本地候选)

影子运行在升至100条/批后,于 runs/source_find 再次出现固定5秒读取超时;停于累计37015次预留、13914条事实。该现场没有足够信息区分服务端等待和传输等待,不将本地复现替代生产根因证明。本地真实驱动故障注入已复现一次读取失败直接结束;大查询事实夹具在256KiB/秒下也能触发同类读取超时。相同翻页表达式的两万条合成索引对照为100条结果、100个键/文档扫描,未证明存在从头扫描,不据此修改索引。

候选仅对 source_find/source_cursor 的网络错误和超时最多尝试4次,每次从相同条件重新读取、批量减半,等待依次为100/200/400毫秒。同一进程内该集合沿用成功的小批量,其他集合保持原批量;重启后的初始批量仍受既有配置限制。失败批次不应用、不确认、不推进断点。每次尝试独立消耗持久读取预留;关闭守护客户端的驱动隐式读取重试,避免遗漏计数。每次源操作5秒和服务端1500毫秒、目标事务 majority+journal 保持不变。

取消、安全健康、租约、权限、不支持的历史格式以及源确认/目标写入错误不进入此重试路径。最多4次仍失败则沿原持久暂停机制退出,不跳过记录、不自动更换run或重置预算。脏批次及积压判断按该集合的有效批量计算,避免缩批后误判已排空。

本机合成数据测得:保留256KiB/秒和8命令/秒,2000条精简运行事实的读取与多数提交,100条/秒节奏约76条/秒净吞吐,200条/秒节奏约123条/秒净吞吐。该测试没有启用生产安全策略,也未包含22集合的完整调度、历史大小分布、源确认和完整后台统计,不能宣称生产已达到100或200条/秒。大响应夹具由100条缩至25条后成功,单次5秒限制未延长。生产同断点恢复及吞吐仍待批准候选发布后验证。

当前生产限速和截止时间保持原授权值。方案0c0b8fefedff已获用户批准,本地实现提速档位100/150/200条/秒、1/2/4MiB/秒、16/24/32命令/秒,批次100/150/200,仅用于有限维护模式;高档上限仅对有限维护模式生效,普通模式保持原上限;实际部署仍等待最终不可变计划确认。累计仍不超过1500万预留(含额外50条诊断),固定截止仍为2026-11-15 14:38:42 UTC(06:38:42 PST),不自动延长。生产入口不切换,客户业务正文、标注、归属和版本保持不变。

完整调度重复读取修复(方案0c0b8fefedff,尚未部署)

相同1200条合成数据、200条/秒、4MiB/秒、32命令/秒下,完整守护调度原净吞吐49.12条/秒,源命令320个、读取预留36532次;消除重复后为107.29条/秒、86个命令、11230次预留。测试仍包含22集合、事务、预算、源元数据确认和最后就绪检查。该值不是生产200条/秒承诺;后续扩大同一数据夹具并保留原始失败记录。

  • 只有维护模式且历史尚未完成时,对已经复制完成且脏队列为空的集合合并10秒内的重复探测。未复制完的集合不跳过;重启丢弃这份进程内时间表,重新探测。历史完成后停止此合并,沿原周期完整增量处理。
  • 历史缺失已足以证明不能发布时,不再扫描部分集合的干净标记后才返回未就绪;删除协调仍执行。正式发布仍实时检查全部集合和删除意图,测试覆盖合并窗口内新增脏数据不能获得新就绪证书。
  • 已经clean的源记录不发送空确认更新;真正dirty仍按修订号CAS确认,目标版本领先时的旧标记修复路径优先保留。源业务正文不修改。
  • 维护模式的行节奏计入本批实际读取耗时,避免读取后再次等待相同时间;不积累空闲额度,字节和命令节流不变,普通模式保留原节奏。
  • 最终计划需单列初始化--min-pass-interval=0s,移除额外的5秒轮次等待;全局限速仍生效,追平后的--interval=60s不变。该配置尚未在线上执行。

humanItems 旧载荷传输恢复(3052cc600167 诊断后,候选未部署)

只读诊断的断点后150条记录:扫描150条,执行约78ms;兼容投影中的单份旧 subject.payload 达7,343,668字节。完整旧载荷暂用于兼容嵌套来源字段,提取后不写入查询事实。该证据指向大响应与限速/固定5秒期限冲突;原失败 Pod 日志未保留,不能把推断当作原异常分类已确认。诊断根文档尺寸总计因命令参数的 $$ 展开无效,不用于容量判断,字段尺寸及执行计划有效。

候选仅调整影子读取和诊断:

  • 仍最多4次、同一条件重读,批量先减半、最后一次固定1条;失败不应用、不确认、不推进断点,每次预留持久计入预算。取消、权限、租约和写入异常不扩大重试。
  • 字节节流按已批准速率使用约8ms的有界读取块(1–64KiB),每次读取前仍预留字节,无空闲额度。避免高速档仍每1KiB调度一次计时器造成实际吞吐不足。
  • 仅有限维护初始化协商 snappy/zstd,服务器不支持时走未压缩协议和上述回退;普通同步仍不请求压缩。保留全部兼容提取规则,源操作5秒、服务端1500ms和目标 majority+journal 不变。编码带来的源CPU成本仍需在维护小批观察。
  • 持久暂停保存固定枚举的集合、阶段、异常类别、Mongo代码和时间,不存原始错误、查询、正文或连接;后续 operator_stop 不覆盖原始故障或重置断点/预算。

隔离合成样本:两个各7MiB的旧载荷,原固定批量重试失败;单条回退成功。维护压缩读取相同两条,完整解码约14MiB、实际传输696,286字节、约634ms,查询事实及顺序与未压缩结果一致。此为代表性样本,不是所有历史数据的压缩率或生产吞吐承诺。

3052cc600167 临时 Job 已完成并回收。诊断预留600次加之前50次,合计650;投影器累计98,659,合并累计99,309。后续投影器上限改为14,999,350,总预算仍1500万,固定截止仍2026-11-15T14:38:42Z,不退款、不重置、不延期。影子投影器及构建器保持0副本,生产入口不切换,候选上线另列最终不可变计划确认。