droboticflow/docs/operations/query-replica-query25-comparison.md

43 KiB
Raw Permalink Blame History

25Gi独立查询库:合成增量与HTTP对照

状态:隔离验证中,未准备生产切读。未修改生产Mongo、客户记录、业务部署、资源或带宽;没有购买磁盘。

本批范围

工作树 mongo-cpu,分支 codex/mongo-cpu,任务基线 fbaa8546。开始时合入了当时 origin/dev 的两项前端提交,保留现有后端修复;后续新鲜度检查确认包含远端主线及线上构建。

  • 复用.4节点25Gi受限查询Mongo,接入持久标记投影器和查询库Change Streams聚合器。
  • 使用真正的HTTP路由、会话Cookie与源库鉴权,对照任务计数、生产总览、个人看板和作业记录。验证程序不启动业务巡检/调度器。
  • 新增 QUERY_REPLICA_COUNTS=1,配合报告模式,仅迁计数。QUERY_REPLICA_POOLS仍关闭,普通列表及实际作业留在权威库;旧池开关启用列表和计数的行为保持兼容。
  • 夹具约2.6万任务、20项目、3供应商、500会话,包含大标注正文、切片版本、不可变提交及退回意见。规模对照固定数据和资源,前后都执行相同接口;计量包含新路径的增量轮询、确认与对账开销。

验证中修正的缺口

  1. 人员快照缓存键缺少数据库/客户端身份,同进程对照可能串用源库与查询库的快照。已增加隔离维度;修复前后实际回归分别失败、通过。
  2. 投影已提交新事件并重启恢复后,人员快照仍可能沿用45秒旧缓存。查询库缓存现以事务提交的事实代次失效;源库既有TTL不变。故障用例已先复现,再修复通过。
  3. 空增量轮询对每个集合仍开启更新租约的事务。现无变化集合只读,实际变更和就绪发布仍验证租约/代次;旧投影器不能发布。真实Mongo回归确认空扫描不发目标写命令。
  4. 计数与列表原先共用一个开关,无法分步上线。已拆出计数开关并验证旧开关兼容、查询服务不可用时普通列表不被计数模式阻断。

没有为减少读取而移除服务端权限、版本或领取约束,也没有让查询库回写业务正文。

环境与计量边界

组件 固定隔离预算
合成源Mongo、HTTP/投影/聚合/客户端 同一临时Pod,上限4CPU/4Gi,申请1CPU/2Gi;Mongo WT1Gi;Go最多2核、软内存限额1536MiB
合成源数据 有界2Gi tmpfs;节点未启用交换盘;不是生产存储耐久性测试
查询Mongo 原25Gi EXT4承载文件,1CPU/1Gi,WT0.25Gi,独立RS;数据盘继续noexec
查询盘IO loop和底层盘双层2MiB/s读、1MiB/s写,64/32 IOPS;配置保持不变
网络 无Service、无公网入口;默认拒绝,仅放行源试验Pod到查询Pod的27130端口

源Mongo CPU使用进程utime+stime,另记录整个试验Pod的CPU、内存及IO,不能把共享4核说成Mongo独占4核。记录源Mongo扫描文档/索引、逻辑及物理网络字节、全部源连接的命令及BSON响应字节、API分路径延迟/错误,以及查询库资源。BSON响应字节不是压缩后的公网流量。

投影器源/目标连接池各4,聚合器独立连接,API实际配置入口创建20连接的majority查询连接;核心鉴权及写入保持源库。共享Valkey和Typesense本轮未启用。

只在新建随机合成数据库内写入;结束清理各自测试数据库。对全部任务的标注、状态和版本计算前后摘要,防止把数据丢失误算为加速。目标原有query25_synthetic耐久标记只读核对。

监控现有API健康、生产Pod UID/重启数、节点压力/剩余空间、既有Pod独立IO PSI、物理盘等待及节点CPU。持续异常停止自有合成负载,绝不重启或改配生产Pod。短健康探针不等于客户完整作业验收。

为什么弃用管理隧道作为容量依据

早期本机API经kubectl port-forward查询.4库。81并发读同一合成文档,1KiB响应p95约100ms;约90KiB未压缩响应有63次15秒超时。相同大响应使用zstd后p95约85ms,无错误。Mongo本身多数命令执行很快,客户端出现连接/传输等待。

完整接口即使预热和压缩仍有秒级延迟,因此不把这些结果归咎于原Mongo或当作集群容量结论。全部失败证据保留,未扩大到生产。后续将源库与驱动放到同一隔离网段,管理链路只接收小型日志和结果。

首次桥接程序放在已禁止执行的数据盘上,启动被阻止。恢复仅将2.3MiB桥接程序放到有界/tmp内存卷,复用既有Pod和网络策略;没有取消数据盘noexec或改变IO限额。

已完成的小样本

同网段100任务、81个真实会话、两轮请求:四条接口业务JSON一致,无HTTP错误,任务标注/状态/版本摘要一致,确实命中后台生产报表。

指标 原路径 查询库路径
整体p95 708.8ms 637.8ms
生产总览p95 3.0ms 3.6ms
人员看板p95 209.5ms 381.3ms
任务计数p95 724.6ms 683.3ms
作业记录p95 210.0ms 384.9ms
源Mongo CPU秒 2.91 2.42
源扫描文档 912,234 806,993

小样本不是性能达标结论;新路径的人员看板和作业记录反而较慢,须继续看代表性规模与后台成本,不能只展示整体p95下降。

大规模回填的首轮停止与修正

cluster-scale-81-1在回填约198.7秒处因租约过期停止,未进入HTTP对照。测试当时为了加快初始化采用1000条批次,和正式投影器默认200条不同。隔离库日志显示一次majority提交等待约41.5秒,超过30秒租约;此前也出现5~24秒写确认等待。IO采样触及32写IOPS及约1MiB/s预算,不能据此说需要给API加核。

没有延长租约、放宽IO限额或忽略错误。后续夹具改用正式默认200条;遇到租约错误时最多三次尝试重新取得自有/过期租约,沿用已提交检查点,另一活跃持有者仍会阻止接管。首次失败与新一轮证据分别保留,不清空源标注或把失败列为通过。

首轮监控39个样本,既有API健康最大约48ms、既有Pod独立IO PSI均为0、节点CPU最高12%、物理盘平均等待最高约2.43ms。只证明该窗口未观察到现有服务恶化,不代表完整作业或长期容量已验收。

第二轮cluster-scale-81-2采用200条批次,10次回填循环约26.4秒,随后保护监控因连续三次既有Pod IO等待超限而停止并按UID删除合成源库Pod。受影响的是.4节点一个生产API Pod,其IO full avg10依次约0.9、6.75、3.7;同期物理盘忙碌约2~3%、平均等待约0.4~0.6ms,API健康探针正常。不能把低磁盘忙碌当作隔离已达标,也不能据此确认共盘写回就是唯一原因。

停测后该API Pod IO等待回到0,且其io.max为空,未被试验意外设置限额。尚需区分共享文件系统写回/元数据依赖与同期业务自身IO。当前不再对该盘做大规模写入,不放宽保护阈值。这次对照未完成,不形成源Mongo大规模减负或API速度达标结论。

临时源库Pod已停止;桥接程序已按PID/可执行文件身份停止;两条新增网络策略按UID删除;试验配额CAS恢复原1Pod/1CPU/1Gi。原25Gi库、数据、标记、资源与IO限额保留,生产Pod未修改。部分合成查询库数据保留供诊断,不拿源库已消失的数据宣称可恢复生产。

证据与仍待完成

原始文件位于本工作树忽略目录 local-data/diagnostics/mongo-cpu/query25-http/:

  • smoke-*:本机/管理隧道的各次失败及后续对照;不覆盖为通过。
  • transport-probe.jsonl及对应诊断源码:大小响应与压缩的传输对照。
  • cluster-fixture/:原计划、部分创建记录、恢复计划、精确Pod/策略身份和二进制SHA256。
  • cluster-smoke-1/:同网段小样本的环境/源码摘要、资源采样、HTTP结果和退出状态。
  • cluster-scale-*:代表性规模后续结果;按原始返回状态判断,不以Pod就绪宣称验收。

仍须完成26,218任务对照、81/200/500用户及长稳态/冷启动/缓存丢失/积压恢复;真实验收聚合包、复杂项目/权限分布的代表性也需单列确认。当前合成批次数20,不能代替真实批次数量的容量证明。查询/缓存优化不得靠减少返回任务或过滤授权记录达标。

下一步先只读核对保护触发窗口的API自身IO与挂载/文件系统关系,制定可证实不影响业务的写入隔离/低速回填方案,再恢复代表性规模对照;不以延长租约、增加API副本、删除安全判断或采购磁盘代替定位。

本批任务级检查中,浏览器看板、生产统计Mongo专项、查询服务三组件、节点保护和离线夹具检查通过;完整查询副本runner因本机只有源库、没有其要求的本地查询副本而未启动,保留失败记录,不另起默认8Gi容器挤占共享开发环境。新增count-only权限撤销/自审的真实Mongo用例尚待执行。测试目标连接白名单的单元检查及前端全量格式检查通过。任务检查不是全绿,不能作为发布证据。

停止保护同时加固:先落盘原始停止原因,再按UID清理自有Pod;即使远端已消失或删除失败也继续终止本机测试子进程,并独立记录清理错误。远程临时桥接的本机端口转发已关闭。

普通列表与搜索迁移、生产47个源索引/写者覆盖和历史回填、生产资源配置及发布均未执行。达标后才准备相应生产计划,不以本地或隔离结果宣称线上容量已验收。

后续IO归因与验证工具修正(2026-11-13)

只读采样在没有压测的窗口捕获生产API线程的fuse_lock_inode → fuse_lookup → newfstatat;后续还捕获wait_on_page_bit_common → filemap_read → fuse_file_read_iter。该API挂载/workspace为BOS FUSE。API本身未设置io.max,API/查询库均无内存压力或OOM记录。故API IO PSI包含BOS元数据/文件等待,不能直接等同本地盘拥塞。尚未取得历史事故瞬间的栈,不能据此排除所有共盘影响,也没有确认某个内核缺陷。

io-rca/scale-81-3仍按原保护标准在回填时停测,未进入HTTP阶段;API三次采样均有新增等待,不是仅剩avg10衰减。物理盘等待仍低于1ms。只暂停独立合成Mongo45秒的对照中,loop及底层写入计数固定,API没有新增等待;此短窗口不建立完整因果结论。Mongo已恢复,生产进程未暂停。

修正诊断工具而不放宽硬限额:记录每Pod PSI累计增量、窗口百分比、物理写入量及首次恶化的只读栈;原来约1~2秒、三次连续请求的空载基线改成至少120秒,观察正常后台/FUSE周期,仍使用原基线相对增量和健康/物理盘停测公式。不同基线产生的阈值会在各自manifest中保留,不能把前后试验当成完全相同的停测阈值。

一次小规模重跑使用旧二进制,因用例重命名而输出no tests to run;这不是通过,原记录保留。新增运行前精确列出用例名、运行后要求任务规模/两条路径/并发数/请求数/四类接口/授权/结果一致及标注版本保留的完整报告,空报告或不完整报告失败。重新编译后的small-recheck-2实际执行通过:100任务、81会话、两轮;sourceChanged=false、coverageComplete=true、业务JSON一致,无HTTP错误,原API整个测试期间无新增PSI。源CPU2.72→2.39秒,整体p95 672.5→625.8ms;人员看板和作业记录新路径约412ms、原路径约200ms,仍不称为大规模达标。

本机新增1CPU/1Gi查询副本选项,避免默认8Gi配置挤占开发环境;源库仍4CPU/4Gi。正式--race --cache回归已实际覆盖计数权限撤销/自审、旧写者对账、删除保留、接管/重启、增量失效、缓存丢失及Valkey故障,用例无缺失/跳过、源码未变化。原任务级查询服务失败仅因当时工具源码变化,固定源码后的定点重跑通过;历史失败报告不改写为成功。默认测试连接仍只允许自有本机端口,未连接生产。

scale-81-4完成26,218任务回填,耗时409.953秒,一次租约过期沿已提交检查点恢复。实测采样窗口峰值:loop约1.033MiB/s、30.39写IOPS;底层约1.065MiB/s、32.41写IOPS,与1MiB/s、32IOPS的限额及采样/短暂突发相符,不能解释为严格每个毫秒的速率保证。报表构建随后在合成驱动的64Mi /tmp发生ENOSPC。保护器再度停止试验,此次首次恶化栈明确包含fuse_file_read_iter,不是EXT4/journal栈;原始失败保留,未产生HTTP容量结论。

后续修正:中间文件改放已有2Gi、受4Gi Pod内存硬上限约束的合成卷/synthetic/tmp,不扩大资源、不写宿主目录。停测已删除原临时源Pod,不能用旧查询副本声称恢复了源数据;下一轮重新生成合成数据。新增集合级命令计数只记录命令/集合名,不记录过滤正文或凭证。

IO保护新增严格的FUSE归因分支,并有先失败后通过的回归:只在所有捕获的D状态栈均为FUSE、该Pod没有新增块设备读写、其他受保护Pod没有新增IO等待、物理盘等待≤1ms且忙碌≤5%时,将该窗口单列为网络文件系统等待。未知、空栈、混合栈、本地块IO、后端等待或盘变慢仍触发原保护;无新增PSI的衰减值不重复算持续恶化。API健康、节点压力、空间、CPU和盘等待的独立停测条件保留。每个超限窗口保留归因JSON和原值,不将过去失败追溯改成通过。

修正后的空载基线在首次采样完成后计时,至少120秒。此前scale-81-4实际采样首尾119.4秒的记录保留。12项离线安全回归和中断恢复后的快速检查通过,下一轮完整规模与任务级验证仍以新记录为准,尚未生产验收。

scale-81-5在修正临时目录后完成305.481秒回填及报表构建,四类接口的管理员业务JSON通过精确对照;进入旧路径81并发时,合成源/驱动Pod在4Gi限制下被OOMKilled(退出137),没有得到完整性能报告。不是生产Pod OOM,也不是性能通过。没有增加副本、内存或IO预算来掩盖失败。

进一步定位到旧路径计数的请求缓存跨页保留itemsByTask,内存随任务总量和并发数增长。新增实际缓存生命周期回归先失败(第二页32组、预期16组),修正为计数仅保留当前页的任务关联;批次/权限缓存仍为请求内,当前页旧任务关联与完整列表行为保持原样。--race计数/列表权限等价、多页、自审、跨用户隔离等回归通过,受影响任务级Mongo和浏览器检查全部通过。此缺口足以解释明显的内存放大,但仍须同规模实测确认它是否为本次OOM的唯一原因。

下一轮两条路径均包含这项内存稳定性修复,不能将其旧路径结果标成未修改生产版本的结果。原OOM证据与之前的失败均保留。驱动最终健康采样失败时也会记录原始退出码和覆盖缺项,不丢失失败原因。扩大为20轮重复的尝试被自动审批以共享节点持续负载风险拒绝,未执行;仍保持2轮,不用多次小跑绕过该限制。

统计缓存内存归因与修正(2026-11-13,尚未容量验收)

scale-81-6包含计数跨页缓存修复,完成417.377秒回填后,仍在旧路径81并发阶段OOMKilled(137),没有进入完整新旧对照。该试验将源Mongo、Go API、构建器和客户端共置于4Gi合成Pod;不能据此认定单独Mongo或生产API需要扩容,也不能称计数修复已解决全部内存问题。临时源Pod、桥接和策略已按身份清理,配额恢复。原25Gi Pod于09:47 UTC按21600秒deadline结束,状态Failed/DeadlineExceeded;原磁盘镜像未删除,没有擅自延长试验。

本机最小复现使用已有27119合成源库、4,000条退回操作、8个用户。每用户仅500条自己的事件,但原统计加载为保持冻结作者/历史兼容,会加载范围内全部4,000条操作及其任务、修订关联。原45秒缓存按用户保留整份快照,最多128份、没有体积上限。增加一个用户范围约多保留23.6MiB;8个范围结束的采样存活堆为175.83MiB,175.33MiB归于原统计加载/缓存路径。不能简单给历史操作加当前userId过滤,否则会改变冻结作者和旧记录归属。

修正只改变摘要读取的缓存内容:继续使用原workforcestats.Build计算,缓存完整的最终统计摘要,不保留原始历史;单条上限512KiB,本进程最多128条(编码载荷上限64MiB,另有键/对象开销),超过上限正常返回完整结果但不缓存,不截断数据。保留原45秒新鲜度策略。键含组织、所有查询范围、查询库提交代次;权限仍在服务端实时核验,缓存不保存授权决定。共享Valkey使用可跨进程复用的稳定键;失效/故障查询独立读库,不回扫权威历史。详情读取保持原计算/文本恢复逻辑,并修正其独立查询库分支意外调用原始快照缓存的问题。

同一4,000条/8用户诊断的新路径结束采样存活堆约1.00MiB,所有摘要逐项等于原计算结果;此数为pprof采样且夹具释放会影响绝对值,不把负堆增量当作收益,也不外推为生产RSS或81人容量。该夹具没有真实索引和请求并发,运行于本机Go进程,不构成延迟/源Mongo CPU验收。原始快照缓存接口保留兼容,但Mongo摘要API优先使用新的紧凑报告接口。

新增真实本机Mongo/Valkey回归覆盖:不同人员、项目/供应商限制、按天分组、调用者修改隔离、详情兼容、超512KiB不截断、不保留原始快照、查询库代次变更、不同Mongo客户端的共享命中、共享缓存故障及取消请求。-race均通过。诊断文件在io-rca/workforce-{raw-current,compact}.{log,pprof},回归在io-rca/compact-shared-regression.log。

尚未完成:26,218条完整HTTP对照、81/200/500并发与持续运行,以及原Mongo总CPU/扫描量下降验收。冷的人员历史计算依然读取整个授权范围;后续需将冻结作者事实、退回事实和分页详情纳入增量物化,不能以本次缓存修复声称这部分已根治。下一轮应先区分驱动与源Mongo内存账,再在有界隔离计划下恢复25Gi库;不通过增加20轮持续负载或扩大资源掩盖失败。生产数据、生产读路由、资源及服务均未修改。

紧凑报告修复的快速检查、浏览器看板/刷新、统计稳定性、真实Mongo专项、三组件及完整查询副本--race --cache检查通过。任务入口扩展的API全包检查失败,未改写报告;按规定执行npm run test:go:gate确认68个失败均在70项已知基线内、无新增失败,基线未修改。原始报告为verify-1794565070611551000/report.json,后续快速报告为verify-1794565467915809000/report.json,Go基线证据在io-rca/compact-go-baseline/。

在继续授权的合成验证范围内,按io-rca/query25-resume/plan.json仅以UID删除到期Pod并重建,保持1CPU/1Gi及原镜像/挂载/IO预算,新的deadline缩短为7200秒。新UID为e1210ce7-16ee-4bda-9f8f-e3a02efefa01;原持久标记与guard核验通过,卷内可用约24.2GiB。源负载尚未启动。夹具增加显式--query-pod-uid,将重建身份绑定进计划摘要;同时校验固定namespace、node、镜像、25Gi路径与资源,不以动态接受任意Pod代替身份保护。新增身份不匹配、生产路径、资源扩大等离线拒绝测试通过。生产未修改。

同规模完整对照:内存修复有效,但查询库性能仍未通过

io-rca/scale-81-7-compact使用提交aee1c17b、26,218任务、81会话、两轮、原4CPU/4Gi合成源/驱动及1CPU/1Gi查询库,保持2MiB/s读取、1MiB/s写入、64/32IOPS;未运行被拒绝的20轮扩测。空载基线后回填317.024秒,一次租约沿检查点恢复。两条HTTP路径均完成162次请求,源码未变化,管理员业务JSON一致,标注/状态/版本摘要保留。原始报告保留errorFree=false、capacityAccepted=false;运行器coverageComplete=false,因为完整覆盖判定还要求无错误,不能把它解释成通过。

本轮观测 原读取路径(同样已含紧凑缓存修复) 独立查询库路径
整体p95 14,047.9ms 21,563.2ms
HTTP失败 0/162 55/162
任务池计数p95 14,199.2ms 10,077.0ms
人员看板p95 12,973.2ms 20,554.2ms
作业记录p95 12,965.0ms 21,621.0ms
观测源Mongo CPU秒 21.40 2.47
观测源扫描文档 10,480,573 711,337
观测源逻辑响应字节 1,174,614,152 119,434,061

源库确有读取转移的观测,但新路径存在55个失败、完成的有效响应数量不同,不能以约88%的CPU或约90%的字节差直接宣称成功请求等价减负,更不能作为容量承诺。两条路径均不满足2秒门槛。

这次未发生OOM,采样合成源/驱动峰值约3024.5MiB,查询库峰值920.7MiB。比前两轮能继续完成HTTP阶段,但不能据此证明所有真实载荷/长期场景不再OOM。查询库冷启动中后台快照续租发生超时并取消构建;之后就绪并进入接口对照。所有失败与重试日志保留。

新增只读慢命令元数据排除了仅看CPU的误判:一次getMore扫描/返回26,117条,CPU约59.7ms、总耗时6,946ms,其中读取等待约6,870ms;另一条CPU约59.2ms、总耗时8,734ms,读取等待约8,610ms。物理盘平均等待仍低,不能将这些等待归因于宿主盘本身损坏;固定读IOPS与小查询库缓存下的读取排队/冷数据竞争是明确瓶颈证据。快照控制写入也发生3秒超时。元数据只记录命令名称/耗时/扫描和存储指标,不记录客户正文或凭证。

下一步应先减少读库端每请求的全范围工作:任务池计数建立按权限范围可组合的轻量事实/索引聚合;人员统计按冻结作者和阶段事实增量物化;作业记录先在事实表筛选分页,再补当前页文本;控制后台构建并发和发布节奏,保留上一完整代次。权限撤销与领取/提交仍实时核验,不能用过期事实取代权威判断。共享Valkey的跨进程正确性已在本机验证,本轮集群夹具未接Valkey,不能声称已验证完整共享缓存组合。单纯提高API核数、延长HTTP超时、跳过冷查询或放宽本地盘保护都不算修复。若后续评估更大的查询库内存/IO预算,须单列资源方案与对照,不能混入本轮结果。

本轮临时源/驱动Pod与两条策略已按UID清理,桥接按PID/可执行文件身份停止,配额CAS恢复1Pod/1CPU/1Gi;25Gi库和持久标记保留,查询Pod仍按2小时deadline退出。未切换任何生产读取或修改客户数据。清理证据在io-rca/fixture-5/cleanup.json。

查询库事实物化与分页(2026-11-13)

本批以 5e59ae50 为起点,仅在 codex/mongo-cpu 和合成隔离环境实现,未切换生产路由,未修改客户数据。

  • 计数:独立查询库事务内维护 queryPoolCountBuckets;权限维度分组只减少候选传输,不缓存授权结果。服务端仍按当前成员、批次、供应商及验收权限判定。脏权威记录在同一请求扣旧加新;桶、代次证书及旧行在同一查询库快照读取。身份敏感授权、复杂搜索和旧桶未建好的库继续原逐条路径。旧投影工作者导致桶代次不一致时安全回退。
  • 统计:复用原历史计算器输出无正文的事件、冻结作者、返工和验收贡献,在 queryWorkforceFacts 发布不可变代次。筛选和聚合在查询库执行,最终摘要进入有界进程/Valkey缓存。返工任务去重不按日去重数量相加;历史供应商归属及正式操作抑制旧记录仍按原查询范围解析。时间边界保留纳秒精度。显式空用户兼容查询继续原读库路径。
  • 作业记录:先筛选、排序、分页及计数,再读取本页事实详情;只按本页操作/旧审查 ID 从权威库补文字。来源元数据指纹不符时返回未就绪,避免新旧归属或批注拼接。相同绝对时间但不同时区/小数写法的旧记录改用稳定身份顺序,避免分页漂移。
  • 恢复:新代次未完整写完不切换 head;重启只清理未来暂存行/退役标记。无变化不重复写事实。已提交旧代次至少保留15分钟,后台每次最多200行清理,不使用可能误删当前版本的TTL。定期范围清理保留新增事实 head。

兼容回归使用真实隔离 Mongo,覆盖旧记录、权限范围、脏记录覆盖、旧工作者、删除、指纹变化、重启恢复、无变化零写入和分页正文恢复。纯贡献浮点时长允许因加法顺序产生 1e-8 内误差,整数/身份严格一致;HTTP合成对照仍要求业务JSON精确等价。完整任务检查 verify-1794573005303254000/report.json 全部所选检查通过,含浏览器、Mongo --race --cache 及查询服务故障恢复。此前运行因执行中源码变化而标为未完成,原记录保留。

限制:后台当前是有界组织快照计算+差量发布,并非已完成逐任务分区计算;单次构建限制64MiB原始BSON/250,000行,超限保留上一完整版本并报错,不截断数据,也不阻断标注作业。规模超过此预算仍需分区计算验证。事实尚未首次发布时兼容读取独立查询库原历史,不回扫生产权威历史。集群本轮没有Valkey,不能当作完整共享缓存容量证据。短两轮不等于30分钟三轮或200/500人验收。

本轮同规模结果:冷构建仍未通过,尚无HTTP容量结论

io-rca/scale-81-8-facts 按原26,218任务、81会话、两轮及固定资源/IO预算实际执行。源码未变化;回填294.551秒,2次租约沿检查点恢复。统计事实及生产读表构建88.372秒后成功;随后产出报表快照续租在3秒预算内未完成,分片构建取消,失败状态清理也超时。4分钟就绪等待失败,测试总计565.97秒,尚未进入管理员HTTP等价和81人请求阶段。coverageComplete=false,没有 comparison.json;因此不能报告本轮p95或源库节省比例,也不能说新路径已达到2秒。

slow-metadata-complete.json 仅保留隔离库命令名称、扫描/CPU/存储与确认等待,不含正文或过滤条件。多条小控制写CPU约0.3~0.8ms,总等待14~21秒,waitForWriteConcernDurationMillis几乎覆盖总耗时(最高20,857ms)。这说明本轮明确卡在受限IO下的持久化确认,不能继续把所有超时都归为大范围历史读取或CPU不足;是否由检查点、journal或不同后台写入共同触发仍需单独分段验证,不直接认定某一种机制。

122次保护采样覆盖约689.5秒:节点CPU最高6%,物理盘平均等待最高约1.37ms、忙碌最高约7.74%;保护器未停测,最终健康采样无错误。这只能说明本轮未触发既有业务健康/IO保护,不代表已证明对所有客户作业零影响。原业务、客户记录、资源与读路由均未改动。

下一步先处理独立查询库冷构建的写入节奏、共享控制写和失败恢复:记录每类后台写入/确认等待、检查点及限速窗口,减少重复写和突发积压;保持多数提交和版本隔离,不靠延长HTTP超时、降低写持久性或扩大IO限额掩盖问题。完成后再运行同规模两轮;任何更长时间或更大资源对照需另行界定。之前扩大20轮被自动审批以共享节点持续负载风险拒绝,未执行。

本轮自有合成源Pod及两条策略已按UID清理,桥接按PID/可执行文件身份停止,配额CAS恢复1Pod/1CPU/1Gi。25Gi卷及持久标记保留,查询Pod仍按3600秒deadline退出,未延长;清理证据 io-rca/fixture-6/cleanup.json。本批三项功能实现与本地回归完成,完整规模性能验收仍不通过,不准备生产发布。

冷构建确认等待:根因与写入入口补齐(2026-11-13)

以 c20dbaca 为任务起点继续本地实施,不部署、不切生产路由、不改客户数据。联网新鲜度确认工作树包含 origin/dev 和线上提交。

证据将本次等待定位到独立查询库受限IO中的 journal/检查点竞争,叠加未受控的数据写入和失败处理放大,并非原权威Mongo的4核CPU本身造成这些确认等待。scale-81-9-cold-recovery/slow-metadata.json 中搜索读表一次200行插入耗时31,844ms,其中31,843ms是写确认等待,CPU约1.4ms;该轮统计事实尚未开始写入。搜索写入绕过了最初的事实/BLOB节奏控制,生产读表还存在2MiB单块突发。因此仅处理统计事实或单纯延迟提交,不能算解决了所有入口。

8MiB随机合成诊断保留 majority+j、三秒心跳和原资源/IO保护,不是HTTP容量证据:

诊断 总时间 心跳最长 心跳超时 期间检查点累计时间增量
直接提交32批 21.83秒 1,938ms 0 7.55秒
同二进制、128KiB/s提交 64.01秒 3,002ms 7 29.98秒

限速诊断跨过一次检查点,超时与检查点执行、journal同步计数停滞重合;这是否定“固定字节限速单独足够”的证据,不将不同检查点相位解释为严格稳态吞吐收益。宿主盘忙碌很低,而查询cgroup写入接近本次硬限额;scale-81-9采样峰值约30写IOPS、约1MiB/s。采样窗口允许短暂突发,不是毫秒级严格速率保证。Mongo多数提交默认等待磁盘journal的语义保持不变(官方写关注说明、journal说明)。

修正范围:

  • 仅显式验证的独立查询库构建器安装共享写入预算,默认512KiB/s逻辑载荷、64KiB预算粒度,覆盖搜索行、生产读表块、统计事实和报表分片;搜索/事实按约64KiB封批,单条记录不截断。生产块为128KiB,报表分片保持原上限,因此预算不保证每次物理写入都小于64KiB。检查点执行时后台数据写入等待,控制续租不进入该等待队列;不在Mongo写事务中等待。监控读取有250ms预算、约1秒复用;不支持/无监控权限时保留字节预算,不增加客户作业准入证书。逻辑节奏不能代替内核硬限额或生产容量验收。
  • 搜索批量按字节拆分且完整发布;新生产读表块使用128KiB。清单新增可选 chunkBytes,缺失时按原2MiB读取,旧数据无需改写。旧API不能读取某些新多块清单,实际发布须先升级读取方、后启新构建器;回退先关闭新读取,不能将旧API直接指向新清单。
  • 统计事实省去零值计数,Mongo聚合仍按零处理;不改统计归属、日期、去重或正文。已有同哈希事实不为压缩而强制重写。
  • 每个报表分片不再额外写一次续租,仅读取相同归属/代次/到期条件,独立心跳和最终发布仍多数提交。暂时性续租超时只在最后一次已确认的原租约有效期内有限重试;明确失权或原租约过期立即取消。单次三秒、原60秒租约、90秒报表构建及四分钟就绪等待均未延长。等待后重新计算租约校验时间,防止用等待前时间继续写入。
  • 增加阶段耗时及搜索构建行数元数据,不输出业务正文或凭证。诊断报告采用压缩传输;限速小探针第一次原始报告下载失败,原 exit.json保留,通过只读gzip恢复的报告及补充验证另存,不改写为HTTP通过。

先失败后通过的回归:一次续租超时错误取消可恢复构建、每片重复续租写入;另验证失权立即停止、原租约到期、检查点等待取消/恢复及期间控制写可用、等待后过期禁止写入、搜索批次和结果完整性、旧大块与新小块往返等价。真实本机Mongo配合race通过。完整固定源码任务检查 verify-1794578222366219000/report.json 所选检查通过,包括看板、Go已知失败基线、查询服务、81人本机读取冒烟和查询副本 --race --cache。此前测试标签误匹配造成的跳过,以及一次原搜索MaxTimeMS失败均保留;后者原阈值下定点连续3次及完整专项重跑通过,未通过放宽超时修正。

scale-81-9-cold-recovery 保留为失败:回填318.133秒、一次租约恢复,四分钟物化就绪超时,未进入HTTP阶段,没有p95或源CPU节省结论。其源Pod/策略/桥接已按身份清理并恢复配额。随后在相同25Gi卷、镜像、1CPU/1Gi和原IO预算下再次验证冷Pod重建,持久标记保留;证据 query25-cold-writers-resume/。新一轮固定候选 scale-81-10-all-writers 仍为26,218任务、81会话、两轮;以最终独立记录判断,不将本节实现和本地通过当成集群验收。

固定预算下的后续验证与重复读取修正

scale-81-10-all-writers 使用256KiB/s逻辑预算:搜索26,218行完成于140.694秒,随后统计阶段97.976秒后被原四分钟就绪预算取消;回填328.573秒,未进入HTTP。scale-81-11-balanced-writers 将逻辑预算调到512KiB/s,内核硬IO上限、资源、持久性和超时不变:搜索92.939秒,统计阶段145.833秒后仍未就绪;回填393.224秒。两轮均保留失败,不能据此报告查询达标或CPU节省。它们表明搜索写突发得到约束后,还需分离统计加载、计算与分批确认等待。

进一步将统计构建阶段日志拆为历史加载/物化完成及已确认写入行数、字节数。旧历史加载为每200个任务生成一个复杂OR查询;后台构建现在仅合并完全相同的历史版本集合,每组最多2,000个任务ID并限制查询字节预算;零散版本仍保留原200条OR分批,避免每任务一次查询。权威请求路径继续原读取方式,不扩大读取的任务/版本组合。

真实隔离Mongo回归先在原实现复现6次读取,再验证新实现2次,1,200条目标切片及历史统计结果等价;6,000条共同版本集纯计划由30批降为3批,601条零散版本保留4批。首次定点绿色运行遇到原MaxTimeMS失败,原记录保留,未放宽阈值;完整相关race回归及完整查询副本runner随后通过。最新快速检查 verify-1794581789355119000/report.json 所选检查通过,无跳过;格式检查通过。完整任务检查中未受改动影响的浏览器/基线证据沿用前述固定记录,最新历史读取、写入和恢复相关用例重新运行。

最终同规模记录为 scale-81-12-grouped-slices:仍为26,218任务、81会话、两轮,冷构建保持原四分钟就绪、三秒单次续期及多数提交/journal要求;结果在下节补充。单次短测不替代长稳态或生产容量验收。

最新同规模对照:环境变更保护停止,未形成性能结论

scale-81-12-grouped-slices 在原资源/IO预算下启动,历史回填到80批约145.2秒,发生一次正常租约恢复,尚未进入后台读表冷构建和HTTP对照。15:06:48,droboticflow-fanyu 新增 wishforge-build-api-e9089081 构建Pod(调度在 .5 节点),全量Pod集合保护检测变化并自动停止。只读核对显示当前API、处理器、校验器和Worker重启数均为0,未见本轮期间重新创建;不能把新增构建Pod解释为本测试导致业务故障,也不能据此放松保护阈值。该轮没有可用p95、结果等价或源CPU下降比例,性能验收仍待完成。

证据:scale-81-12-grouped-slices/stopped.json、production-state-readonly.json、manifest.json和原始 test.log。测试源Pod由保护器按UID删除;随后桥接/两条策略按身份清理,配额CAS恢复原1Pod/1CPU/1Gi。仅删除本轮精确随机合成查询数据库,保留25Gi文件系统、持久标记与查询Pod原3600秒deadline,见 fixture-9/cleanup.json 与 synthetic-db-cleanup.json。没有修改生产数据、线上读路由、资源、超时或持久性。

下一步在无并发构建/发布的稳定窗口重跑原规模两轮,先确认冷构建在原期限内完成,再判断HTTP正确性、p95与源MongoCPU/扫描下降。未完成这一证据前不准备上线;也不通过扩大IO、延长超时、关闭journal或将未确认写入当成功来取得通过。

授权的资源分档对照(2026-11-13)

本次用户明确授权调整 .4 节点25Gi合成查询库的CPU、内存及有限IO,替代此前维持原预算的实验限制。生产数据、生产入口、API业务实现、请求超时、租约、majority+j及25Gi容量均不变;不购买新盘。

预检确认节点和命名空间UID、原查询Pod已按3600秒deadline退出,未发现侧对话遗留变更。原配置、期望配置、回退说明和每次重建UID保存在 local-data/diagnostics/mongo-cpu/resource-stages-20261113/。节点初始CPU约1%,MemAvailable约28.6GiB,未出现Memory/Disk/PIDPressure。共享虚拟设备为252:0/vda;内核报告rotational=1,不能据此声称底层SSD或确定云盘物理介质。未做全局cache drop。

档位 CPU/内存 WT缓存 两层读/写MiB/s 两层读/写IOPS
baseline 1核/1GiB 0.25GiB 2/1 64/32
compute 2核/4GiB 1GiB 2/1 64/32
balanced 2核/4GiB 1GiB 4/2 128/64
read-headroom 2核/4GiB 1GiB 8/2 256/64

统一来源为 scripts/local/query_lab_profiles.py,同步生成Pod资源/配额、初始化器、loop动态设备号和底层252:0的io.max、运行时CPU/内存/IO检查及WT启动与实际值核验。变更先停止自有夹具,保存原对象,按Pod UID删除并正常重挂已存在文件系统;ConfigMap/配额使用UID及resourceVersion/值前置检查。没有取消IO上限、强制卸载或重建数据文件。75Gi宿主空闲保护保留。回退脚本恢复确切旧配置,不因生产不健康拒绝执行资源回退。

所有档位保持26,218条任务、81账号(60标注/12质检/8验收/1管理员)、两波各81个并发请求、源Mongo4核/4Gi/tmpfs及请求顺序。旧/新结果逐项匹配,标注、状态及版本摘要严格校验。compute复用历史基线的相同API/bridge测试二进制;balanced起仅补充测试计时字段,并使用当前已有的API命令监测接线,未改变生产API算法、请求序列或调用次数。两个新IO档位使用相同增强二进制。首次读取是应用缓存未热的已有等价请求,不声称清除了操作系统页缓存;两波并发单独记录,不能把第二波称为每个用户每条路由都已热。

compute:初始同步239.168秒(原1核/1Gi历史基线372.203秒),搜索32.369秒,事实确认93.183秒,完整HTTP测试459.84秒。新旧各162请求零错误、162项业务匹配;源CPU21.40→3.95秒、扫描10,480,573→1,450,972。查询路径计数p95为5,730.505ms,个人看板282.956ms、作业记录188.618ms。测试因计数超过2秒失败,不能记为性能通过;coverageComplete=true只表示覆盖完整,returncode=1原样保留。

balanced:初始同步112.483秒,搜索29.525秒,事实确认78.049秒;物化就绪137.501秒,仍使用原4分钟期限,整体测试302.72秒通过。查询路径162请求零错误、162项匹配,计数p95为1,038.164ms、生产总览8.952ms、个人看板272.390ms、作业记录180.871ms。合成源CPU21.23→3.89秒(下降81.68%),扫描10,480,573→1,450,972(下降86.16%),减少的是合成源负载而非已测得生产Mongo CPU下降。首次个人看板2,674.617ms,仍是明确未达理想冷读目标的样本;首次计数18.644ms、生产总览182.888ms、作业记录41.236ms。两波计数p95分别1,031.751/1,070.903ms。exit.json为0、源码未变、覆盖完整、最终健康错误为null;capacityAccepted仍为false。

balanced全程物理盘等待最高3.78ms、忙碌13.54%,节点CPU最高36%,受保护生产Pod的IO PSI最高0,readiness最长约65ms,未发生生产Pod/重启集合变化。保护采样不能证明所有客户业务延迟零影响。资源重建前以majority+j、3秒确认向既有合成marker集合写入512项测试对象,重建后数量及SHA-256完全相同,原持久标记亦保留;未触碰客户数据。

后续read-headroom结果、最终资源和清理状态记录于本节后续条目。短两波对照不替代30分钟三轮、200/500人、HA或生产容量验收。当前仅证明合成读路径的降载和正确性,不准备切换生产入口。

read-headroom:同一增强二进制、同样规模/顺序、写上限保持2MiB/s及64 IOPS。初始同步107.566秒,发生1次原有检查点租约恢复;搜索26.380秒、事实确认71.590秒,物化就绪123.502秒,总测试285.17秒通过。查询路径162项全部匹配、零错误,计数p95为1,086.154ms、个人看板317.153ms、作业记录153.605ms、生产总览9.221ms。首次个人看板2,653.925ms,与balanced的2,674.617ms近似,未观察到增加读取余量的明确冷读收益。源CPU20.28→3.99秒(下降80.33%),扫描下降86.16%。受保护Pod IO PSI仍为0、物理盘等待最高3.35ms、忙碌15.08%、节点CPU最高35%,最终健康无错误。

因此最终选择较保守的 balanced:2核/4GiB、WT1GiB、双层读4/写2MiB/s、128/64 IOPS,不继续扩大IO。已按保存的balanced配置恢复并再次重建Pod,实际资源/两层限额/WT缓存及512项合成内容摘要再次核对。最终精确Pod UID、25Gi容量、3600秒deadline、配额、原持久标记和生产状态见 final-state.json。各轮合成源Pod和两条策略均按UID删除、桥接按PID/可执行文件核对后停止,单Pod配额恢复;只保留查询库和deny-all网络策略。原始1核/1GiB/WT0.25GiB/原IO的完整回退对象位于 compute/original.json,不要误用后续档位的original覆盖最初回退点。

三个档位的查询Pod内存峰值约0.87~1.01GiB,未出现OOM或memory.max事件;CPU限流仅2~4个周期,不是持续限流。stages-summary.json保存逐档CPU/内存/磁盘等待、完整性、退出码和源库降载。单次扩容对照不能证明三轮稳态内存增长或长期容量。提高读取上限没有改善首次看板,下一步应分解首次事实装载/聚合和后台预热,而不是继续增加共享盘上限。所有新旧对照保留原超时、确认与结果规则;首次个人看板约2.6秒仍待优化,81人短测通过不表示全部性能验收完成。

本批代码只改实验配置、隔离/回退校验及测试计时;没有修改生产业务处理器、源Mongo配置、客户正文/归属/版本、源文件或生产读取入口。工具回归包含配置不一致、单侧IO漂移、未知档位及回退目标/脚本偏差拒绝。首次沙箱工具检查因本机端口环境超时,原记录保留;同一命令在允许本机端口的环境通过。查询读库/缓存/权限race回归亦已通过,最终检查报告随本批记录保留。未执行生产发布或生产写验收。