droboticflow/docs/operations/query-replica-node4-smoke-results.md

13 KiB
Raw Permalink Blame History

.4 节点隔离查询库实机验证记录

状态:原失败已定位并修复;512Mi完整回归通过,25Gi合成验证库已创建并完成Pod重建数据校验。用户授权在 .4 做小规模合成数据验证,通过后再建25Gi库。没有部署查询应用代码、启用生产读库开关或接入生产Mongo。下方原失败记录保留,不代表当前修复后状态。

实际范围

  • 节点 10.189.16.4,UID ca3f254a-8452-4769-8929-6ec303905dbe;内核5.15,containerd2.1.5。
  • 新建 droboticflow-query-lab(UID 07d647bb-943c-472c-be0a-f6b1380d7105),1Pod/1核/1Gi配额、拒绝所有入站与出站网络、脚本ConfigMap;无Service/PVC/生产凭证。
  • 复用该节点已缓存镜像 mongo@sha256:02a0cc7939f5ed38f30f9bc714ef5f682d49baf9350c54acf302ce833087fe8a,禁止拉取镜像。
  • 唯一测试目录 /var/lib/mongo-cpu-node4-smoke-20261113,固定536870912字节文件上的独立EXT4,标签 mongo-cpu-smoke。从不重新格式化已有文件,不格式化现有块设备。目录与挂载保留用于核验。
  • 只有初始化容器具有挂载与设置专属Pod cgroup的权限;主测试容器UID999、无capabilities、只读根文件系统、只读宿主cgroup映射。启动先核实限额与loop挂载,失败不能进入测试。
  • IO预算:读2MiB/s、写1MiB/s、读64 IOPS、写32 IOPS。初始仅限制底层vda;后续候选增加专属loop的同等限额。每次更换脚本均在测试Pod停止后CAS更新自己的ConfigMap。
  • 测试脚本见 README。默认512Mi模式不会自动扩盘;新增25Gi模式必须绑定小盘通过证据和独立计划。

保留的尝试与发现

记录 结果与处置
run-1 集群准入拒绝Pod直接声明抢占策略;Pod未启动。去除字段,仍固定nodeName,不创建优先级类。
run-2 16Mi直接/缓冲写分别约16.1秒;读取命中承载文件缓存。全局IO PSI停止条件也触发,已自动停测,不算整轮通过。
run-3 旧Pod mount namespace路径变化使初始化校验失败;未重新格式化。改为按承载文件身份匹配loop。
run-4 全局IO PSI保护器再次停止测试。新增既有业务/系统Pod独立采样,区分测试自身受限等待与其他业务受影响。
run-5 DirectIO路径:16Mi直接写16.02秒,但缓冲写+fdatasync仅约0.02秒,不满足限速要求。停止,未扩盘。
run-6 在专属loop和底层盘同时设置限额,关闭未通过的DirectIO路径;4Mi直接写4.011秒,4Mi缓冲写+fdatasync仅0.008秒,仍未通过。已停测,未进入读取、Mongo或扩盘阶段。

run-5是实机隔离不达标证据,不能以配置 io.max 存在或本机6.8内核曾通过而忽略。尚不能据此把原因概括为Mongo或平台业务错误;当前确认的是该5.15/loop/DirectIO测试路径未满足要求。

业务保护与指标口径

采样现有API /api/ready、生产Pod UID及重启数、节点压力/剩余空间、物理盘计数和既有Pod独立IO PSI。生产记录、API/Worker部署、资源和公网带宽未改。

全局PSI包含受限测试自身,不能直接等同于已有业务等待。新增独立采样时,现有业务与系统Pod的IO full avg10 均为0;run-5期间API采样最大约45.6ms、物理盘采样平均完成耗时最大约0.59ms、忙碌比例最高约1.4%,既有Pod压力仍为0。保留全局压力原值,不将其删去或改成0。内核PSI说明

当前自动停测条件为既有Pod独立IO压力或物理盘等待持续恶化、API健康失败/延迟持续恶化、生产Pod集合/重启变化、节点压力或可用磁盘低于75Gi。不是简单调高全局压力阈值。短窗口健康探针不代表五阶段业务延迟或长期容量已验收。

证据与未完成项

原始计划、对象、每轮样本、初始化日志、命令失败输出及结果位于本worktree忽略目录 local-data/diagnostics/mongo-cpu/node4-smoke/。首次明确拒绝、后续失败与修订均保留,不覆盖为通过。

本地3项安全回归通过:启动校验失败不能标记ready、非法节点/Pod身份不能触达宿主、重建使用动态Pod UID且主容器无特权。脚本语法检查通过;verify:task --base f56c8faf 因新诊断脚本缺少自动行为映射返回incomplete,不冒充正式发布门禁。

上一阶段失败判断与保留状态

run-6实际观察到目标Pod的loop计数仅增加4Mi直接写,后续4Mi缓冲写没有被计入该Pod;底层盘在目标Pod下也未累计对应写入。由此可确认当前5.15内核/loop/写回组合未满足预期的IO归属与限速,但未定位到某个确切上游内核缺陷,不能把推断写成已确认的内核bug。配置存在不能代替执行证据。

run-6的7个短窗口采样:API健康均成功,最大约50.3ms;既有业务/系统Pod IO full avg10 最大0;物理盘平均完成耗时最高约0.63ms、忙碌比例最高约1.4%。这些指标未观察到既有服务恶化;不等于完整作业或高峰验收。

已通过或观察到:固定512Mi盘创建与挂载、多个新Pod UID下恢复挂载和设置新cgroup限额、直接写限速。未通过:缓冲写回限速;未执行:Mongo写入数据跨Pod恢复、实机满盘恢复和25Gi建库。限速未通过时不启动Mongo来继续后续写测试。未执行项不列为通过。

所有测试Pod已停止,保留命名空间、脚本、策略、配额及512Mi合成承载文件/专属挂载供复核。停测后只读检查见 postcheck.json。没有购买磁盘、修改生产记录、重启运行时、调整业务Pod或改系统根挂载。

下一步需要先更换或修复存储/IO实现,再重跑同一门槛;不能仅增大测试盘、放宽判定阈值或用 ionice 代替硬限速。在不改系统盘配额/挂载、不调整全局运行时、不购买新盘的边界内,当前loop方案仍不具备建25Gi库的依据。

后续根因对照与修复

当前工作树先合入 origin/dev 的 5c6023ec,合并提交 5e4de799 保留独立查询分支和主线双方的验证范围。未部署应用代码。

内核配置确认 CONFIG_MEMCG、CONFIG_BLK_CGROUP、CONFIG_CGROUP_WRITEBACK、CONFIG_BLK_DEV_THROTTLING、CONFIG_BLK_DEV_LOOP 均启用。随后在同一Pod、同一内核、同一限额下,以随机数据对照旧文件、新文件、只驱逐承载文件干净缓存和原生EXT4控制文件,每笔仅1Mi,均带fdatasync:

条件 保留旧挂载 正常卸载/重新挂载专属文件系统后
旧inode 0.010秒,未受限 1.016秒,受限
新inode 1.013秒,受限 0.995秒,受限
旧inode,先驱逐承载文件缓存 0.010秒,仍未受限 0.995秒,受限
原生EXT4新文件控制 1.014秒,受限 1.014秒,受限

旧inode写回计数出现在根层级,而新inode写回计入新Pod。证据指向跨Pod保留挂载时,旧inode的写回归属没有立即切换到新Pod;不是所有loop写入都无法限速,也不是写零被优化或控制器未启用。内核按inode管理写回归属,旧归属与新页归属可以暂时不同,不能把重新设置 io.max 当作归属已更新。官方写回说明

修复只改变测试存储生命周期:在原Pod完全停止后,校验专属承载文件和loop的身份,正常卸载该文件系统并重新挂载,再让新Pod打开数据。它重建inode写回上下文,保留文件内容。不使用强制/懒卸载,不重新格式化、不清全局缓存、不卸载其他设备。繁忙或身份不匹配即拒绝启动。保留双层限额和非特权主进程。

可行性判断:这一局部生命周期修复不买盘、不改系统根挂载或全局运行时,优先采用。原生目录配额方案在当前未启用配额的系统盘上还涉及宿主变更;用户态块设备方案引入新的驱动/恢复边界;两者没有必要在本次并行部署。原生EXT4控制文件只用来诊断,没有作为无硬容量上限的Mongo回退目录。

对照证据位于 attribution-1/ 和 attribution-remount/;后者以同一阈值断言全部受限。前一阶段“现有路径未满足隔离”的判断保留为历史,不能扩大解释为所有loop方案都不可行。

修复后的完整小盘回归

recovery-remount/result.json 为 small-smoke-passed。首次及重建后的Pod UID分别为 1e9586d1-80bd-4521-9b2c-6bef8126d6ee、4342b25e-df6f-4291-86bf-0751a6ab75a2。

  • 4Mi直接/缓冲写首次4.01/8.10秒,重建后7.07/8.12秒,均未超过配置上限。双层控制可使实际吞吐更低,不能据此承诺1Mi/s的最低吞吐。
  • 4Mi冷读首次4.11秒、重建后3.96秒;256次4Ki直接写约8.6秒、读取约4.2秒,符合32/64 IOPS限额。冷读仅驱逐该合成承载文件的干净缓存,没有清全局缓存。
  • Mongo先以单机 w:1,j:true 确认一个合成标记,Pod替换后标记仍在。
  • 512Mi文件系统产生ENOSPC,Mongo实际退出、连接被拒绝;只移除合成预留/填充文件后重新启动,原标记仍在,新journal确认写入成功。未删除WiredTiger/journal或用快照覆盖。
  • 完整前/中/后观察窗口内现有API健康成功、既有业务/系统Pod独立IO压力未升高;这是该受限测试窗口的证据,不是高峰容量或五角色写验收。

执行时的runner快照和原始输出保存在该目录;后续增加25Gi模式不追溯替换这轮执行证据。离线安全回归已增至5项,并加入专用验证范围;自动检查不访问集群,也不代替上述实机证据。

25Gi验证库阶段

计划绑定小盘通过结果的SHA256;单独创建 /var/lib/mongo-cpu-node4-query25-20261113 和 node4-query25-scripts,不覆盖512Mi故障现场。固定承载文件26843545600字节,EXT4采用128Ki/inode、32Mi文件系统journal,减少初始化写入;原Mongo数据journal保留。1核/1Gi、WiredTiger缓存0.25Gi、64Mi oplog、相同双层IO上限,均为隔离验证预算。

仅使用 query25_synthetic 合成库,单成员 query-lab-rs,监听127.0.0.1:27129,无Service、无生产凭证。初始化后按majority+journal确认标记,再替换Pod核对标记保留。主进程持续检查挂载/限额与宿主至少75Gi可用空间;Pod6小时到期退出但数据盘保留。此实例不是生产HA,不承载原库投影,不代表原Mongo减负、81/200/500人或查询延迟验收已完成。

阶段结果为 query25/result.json 的 query25-created-synthetic-only,计划 7711333dd4e7…;重建后Pod为 19f5f918-9bb1-4e6a-a362-bb70afacee26,Running/Ready,primary=true,合成标记数1。承载文件实际长度26843545600字节,目标Pod读回loop和vda两层限额均为2/1MiB/s、64/32IOPS。

该阶段25个采样中:现有API健康均成功,最大约56ms;既有业务/系统Pod IO full avg10 最大0;物理盘平均完成耗时最高1ms,忙碌比例最高约5.9%;生产Pod UID和重启数未变。宿主仍约136Gi可用。该文件为固定长度稀疏承载文件,当前实际分配约38Mi;不是已经预留了25Gi物理空闲容量。即使增长到其容量上限,按当前余量仍有约111Gi;运行时另外保留75Gi停止线。

最后复核时间为2026-11-13 03:50 UTC。Pod创建于03:47:06 UTC,六小时期限为09:47:06 UTC,届时退出但保留承载文件;没有将该临时实例描述成持续可用或生产HA。证据位于 query25/postcheck.json 和原始样本。

本轮工具验证新增专用离线范围,不会在CI自动写公司集群。首次受限本地工具回归在HTTP生命周期夹具中停滞,已仅终止本任务的本地Node进程组并保留失败报告;在允许本机端口的环境重跑,同一代码/夹具结果以本轮 verify-* 报告为准。5项离线安全回归独立通过;正式发布和大规模性能证据仍没有由此替代。