📝 Record bounded query replica capacity failures and IO evidence

This commit is contained in:
Codex 2026-11-13 02:44:27 -08:00
parent aee1c17b43
commit 5e59ae50eb

View File

@ -139,3 +139,28 @@ IO保护新增严格的FUSE归因分支,并有先失败后通过的回归:
紧凑报告修复的快速检查、浏览器看板/刷新、统计稳定性、真实Mongo专项、三组件及完整查询副本`--race --cache`检查通过。任务入口扩展的API全包检查失败,未改写报告;按规定执行`npm run test:go:gate`确认68个失败均在70项已知基线内、无新增失败,基线未修改。原始报告为`verify-1794565070611551000/report.json`,后续快速报告为`verify-1794565467915809000/report.json`,Go基线证据在`io-rca/compact-go-baseline/`。
在继续授权的合成验证范围内,按`io-rca/query25-resume/plan.json`仅以UID删除到期Pod并重建,保持1CPU/1Gi及原镜像/挂载/IO预算,新的deadline缩短为7200秒。新UID为`e1210ce7-16ee-4bda-9f8f-e3a02efefa01`;原持久标记与guard核验通过,卷内可用约24.2GiB。源负载尚未启动。夹具增加显式`--query-pod-uid`,将重建身份绑定进计划摘要;同时校验固定namespace、node、镜像、25Gi路径与资源,不以动态接受任意Pod代替身份保护。新增身份不匹配、生产路径、资源扩大等离线拒绝测试通过。生产未修改。
## 同规模完整对照:内存修复有效,但查询库性能仍未通过
`io-rca/scale-81-7-compact`使用提交`aee1c17b`、26,218任务、81会话、两轮、原4CPU/4Gi合成源/驱动及1CPU/1Gi查询库,保持2MiB/s读取、1MiB/s写入、64/32IOPS;未运行被拒绝的20轮扩测。空载基线后回填317.024秒,一次租约沿检查点恢复。两条HTTP路径均完成162次请求,源码未变化,管理员业务JSON一致,标注/状态/版本摘要保留。原始报告保留`errorFree=false`、`capacityAccepted=false`;运行器`coverageComplete=false`,因为完整覆盖判定还要求无错误,不能把它解释成通过。
| 本轮观测 | 原读取路径(同样已含紧凑缓存修复) | 独立查询库路径 |
| --- | ---: | ---: |
| 整体p95 | 14,047.9ms | 21,563.2ms |
| HTTP失败 | 0/162 | 55/162 |
| 任务池计数p95 | 14,199.2ms | 10,077.0ms |
| 人员看板p95 | 12,973.2ms | 20,554.2ms |
| 作业记录p95 | 12,965.0ms | 21,621.0ms |
| 观测源Mongo CPU秒 | 21.40 | 2.47 |
| 观测源扫描文档 | 10,480,573 | 711,337 |
| 观测源逻辑响应字节 | 1,174,614,152 | 119,434,061 |
源库确有读取转移的观测,但新路径存在55个失败、完成的有效响应数量不同,不能以约88%的CPU或约90%的字节差直接宣称成功请求等价减负,更不能作为容量承诺。两条路径均不满足2秒门槛。
这次未发生OOM,采样合成源/驱动峰值约3024.5MiB,查询库峰值920.7MiB。比前两轮能继续完成HTTP阶段,但不能据此证明所有真实载荷/长期场景不再OOM。查询库冷启动中后台快照续租发生超时并取消构建;之后就绪并进入接口对照。所有失败与重试日志保留。
新增只读慢命令元数据排除了仅看CPU的误判:一次`getMore`扫描/返回26,117条,CPU约59.7ms、总耗时6,946ms,其中读取等待约6,870ms;另一条CPU约59.2ms、总耗时8,734ms,读取等待约8,610ms。物理盘平均等待仍低,不能将这些等待归因于宿主盘本身损坏;固定读IOPS与小查询库缓存下的读取排队/冷数据竞争是明确瓶颈证据。快照控制写入也发生3秒超时。元数据只记录命令名称/耗时/扫描和存储指标,不记录客户正文或凭证。
下一步应先减少读库端每请求的全范围工作:任务池计数建立按权限范围可组合的轻量事实/索引聚合;人员统计按冻结作者和阶段事实增量物化;作业记录先在事实表筛选分页,再补当前页文本;控制后台构建并发和发布节奏,保留上一完整代次。权限撤销与领取/提交仍实时核验,不能用过期事实取代权威判断。共享Valkey的跨进程正确性已在本机验证,本轮集群夹具未接Valkey,不能声称已验证完整共享缓存组合。单纯提高API核数、延长HTTP超时、跳过冷查询或放宽本地盘保护都不算修复。若后续评估更大的查询库内存/IO预算,须单列资源方案与对照,不能混入本轮结果。
本轮临时源/驱动Pod与两条策略已按UID清理,桥接按PID/可执行文件身份停止,配额CAS恢复1Pod/1CPU/1Gi;25Gi库和持久标记保留,查询Pod仍按2小时deadline退出。未切换任何生产读取或修改客户数据。清理证据在`io-rca/fixture-5/cleanup.json`。