droboticflow/docs/operations/query-replica-node4-isolation-plan.md

10 KiB
Raw Permalink Blame History

.4 节点查询库:容量与IO隔离准入方案

状态:后续诊断已定位跨Pod保留挂载导致的旧inode写回归属问题,并通过专属测试文件系统的正常卸载/重新挂载修复。512Mi限速、Pod重建和Mongo满盘恢复回归已通过,25Gi合成验证库已创建且重建后确认数据保留。 最新结果和原失败记录见 实机验证记录。以下早期核查与拟议参数保留其时间点含义;本轮不买新盘、不读写生产数据。

本轮核实的事实

2026-11-13 01:34 UTC,通过既有诊断容器只读检查:

  • 分支新鲜度联网检查通过,包含 origin/dev 和线上源码。
  • .4 内核为 5.15.0-151-generic,使用cgroup v2。根及 kubepods.slice 均提供并向子级开放 io 控制器;现有层级 io.max 未设置限制。
  • 根文件系统EXT4,没有看到启用用户/组/项目配额。仍约136Gi可用。采样时CPU约80m、内存5783Mi;这不是高峰资源承诺。
  • 集群当前无RuntimeClass。宿主存在systemd、loop设备工具及EXT4格式化工具,但工具存在不表示配置已启用或可以安全执行。
  • 本机Docker实验环境是cgroup v2/cgroupfs;这与生产kubelet/systemd管理层级不同,不能将本机结果直接视为生产隔离证据。随后仅在本机无网络、无宿主数据挂载的临时容器中运行了小型容量实验,未连接集群。
  • 证据:local-data/diagnostics/mongo-cpu/node-disk-audit/isolation/capabilities.json。前一轮容量/IO结果见 磁盘核查。

判断:可以继续验证现有盘方案,不具备直接创建生产节点测试库的全部前提。 CPU/内存限制、PVC大小和低负载采样不足以证明磁盘隔离。

拟采用的约束

以下为待实现并验证的初始预算,不是已经生效的配置,也不是容量验收标准。

项目 验证库方案
节点 严格限定 .4,不自动转移到其他生产节点
数据空间 总额25Gi,包含Mongo数据、索引、journal和库内日志;不单独放大日志或备份
硬容量实现 优先验证固定25Gi文件承载的独立EXT4文件系统,挂载专用目录;不得格式化现有设备、扩文件或重分区系统盘
系统盘安全线 试运行前后可用量至少75Gi;低于该值或出现DiskPressure即停止测试,保留数据,不自动清盘
CPU/内存 Mongo起步上限1核/2Gi,实际requests与限额同步核算;WiredTiger缓存单独配置,进程与页缓存计入总内存
初始IO预算 每方向读2MiB/s、写1MiB/s,读64 IOPS、写32 IOPS;是保守试运行预算,不推断为线上安全比例
IO覆盖范围 建文件/格式化/合成数据生成/建索引/Mongo/重启恢复均受限;不能只限制稳态Mongo进程
访问 仅隔离验证入口,禁止公网暴露、生产连接串及生产账号;默认拒绝跨环境网络,验证实际网络策略生效
数据与流量 仅合成数据,单写入者、有界批次;先小样本,再逐步扩大,不立即跑81/200/500人压测

固定文件文件系统只是容量隔离候选,不能自动解决IO隔离。loop设备与底层 vda 的IO归属、缓冲写回和journal需要实际验证,不能只给loop或分区写一个限速值就宣称有效。空间预分配本身也有开销,须限速并计入试运行阶段。额外容器镜像和容器日志仍占系统盘,需要明确预算和实际轮转核验,不能只监控25Gi内部空间。

IO方案采用cgroup v2 io.max 的BPS与IOPS上限,而非仅用 nice/ionice/io.weight。内核文档说明该控制支持按设备限速,允许短时突发;EXT4支持cgroup写回,但不能据此假设loop转发后的全部IO已正确归属。Linux内核控制器说明

控制只落在验证库专属cgroup及其子进程,禁止修改根、kubepods.slice 或其他Pod的限额。必须在首个写入进程启动前设置并读回;Pod重建后重新设置,校验失败不启动,不能依赖人工一次性写旧容器路径。不能给数据库容器永久开放宿主cgroup/设备写权限。若需要专用初始化组件,应限定路径、Pod UID、设备与生命周期,并单独审查实际变更。当前没有这样的已验证组件。

不为测试库重启containerd/kubelet、在线启用系统盘配额、重挂载系统根目录或调整现有业务Pod。若需要这些操作,判定当前复用路径不满足本轮条件,停止该方案。

建库前必须完成的证明

  1. 容量边界:在本机独立Linux实验环境,用小型合成文件系统验证容量耗尽只导致测试写入失败,不增长底层承载文件;验证已有文件和重启恢复,不碰宿主现有设备。磁盘满不是可忽略的Mongo错误,不能通过删journal强行恢复。
  2. 限速边界:覆盖直接读写、缓冲写回、fsync及恢复,观察专属cgroup与底层设备计数,证明数据未绕过限速。验证控制器/监控进程退出、Pod重建后仍不能无约束写入。不同内核/运行时的本机证明仅作前置,不代替节点证明。
  3. 节点短时试验:前置通过后,形成固定镜像、专用路径、对象清单、初始化权限、回退和小额写入边界的具体执行计划。先在 .4 用小样本证明实际限制及现有服务健康,再创建25Gi正式验证库。不得用未合并任务分支绕过项目主线发布规则。
  4. 业务影响:先采集相同工作时段现有API错误/延迟、节点CPU、内存、IO PSI和磁盘等待作为基线。试验中若新增超时/错误、DiskPressure、OOM或持续IO压力即停;应用延迟持续恶化时也停止并调查。监控只是停止保护,不是绝对无影响保证。
  5. 恢复与隔离:小样本验证失败/重启、满盘停止及可恢复性,验证只访问合成库,现网API/Worker配置不变。通过后再评估受限条件下结果正确性;受限试运行速度不代表放开限额后的容量。

目前第1项的基础容量边界及本机直接/缓冲写限速实验通过,其余IOPS/读限制/异常恢复与节点/业务验证未完成,本次不在集群创建Pod、PV、文件系统或Mongo。已选定 .4 和25Gi目标,无需重新选盘;下一步完成启动前强制限制与重建恢复原型。若验证失败或需要改动全局运行时,保持现网不变,记录失败原因,不购买新盘或默默降级为无硬限制目录。

已完成的本机容量实验

2026-11-13 01:38 UTC,复用本机已存在的固定摘要Mongo镜像(未运行mongod),临时容器无网络、无宿主数据挂载,内存上限1Gi、CPU上限0.5核,使用384Mi有界tmpfs承载256Mi固定EXT4文件系统。测试使用容器挂载权限,退出时卸载本次专属挂载,容器自动清理。

  • 请求写入300Mi合成零数据,实际约218.6Mi后返回 ENOSPC,写命令退出1,符合预期。
  • 承载文件前后均为268435456字节,没有突破固定容量。
  • 文件系统外的控制探针仍可写入。
  • 脚本整体退出0,原始结果见 local-data/diagnostics/mongo-cpu/node-disk-audit/isolation/local-capacity-proof.json。

这只证明本机小型文件系统的容量边界,不证明25Gi预分配的生产影响、Mongo满盘恢复、持久性、磁盘吞吐或IO限速。因为外层是tmpfs,本实验不产生代表性的底层磁盘IO,不能用于宣称loop到物理盘的限速已经通过。

已完成的本机IO实验

另用两个无网络、无宿主数据挂载的临时容器,256Mi固定EXT4文件位于可丢弃的容器写层,退出卸载并清理;通过Docker在各自专属cgroup对本机两块VM盘设置写入上限1048576字节/秒,未限制其他容器或VM根cgroup。

实验 实际结果
16Mi直接写 + fdatasync 16.06秒,约1MiB/s
16Mi缓冲写 + fdatasync 16.07秒,约1MiB/s
写后卸载、重挂载 探针文件大小仍为16777216字节;未声称逐字节或Mongo恢复验证

两次均读取专属 io.max 核实配置,io.stat 同时观察到loop与实际承载盘的写入计数。原始结果为上述证据目录的 local-io-proof.json、local-buffered-io-proof.json。

本机内核实际为 6.8.0-117,而 .4 为 5.15.0-151;本机由Docker/cgroupfs设置限制,生产Pod由kubelet/systemd管理。这些实验说明候选路径在本机可行,不能证明生产5.15内核上已生效,也未验证IOPS/读取限额、Pod重建、故障时的限制保留、Mongo恢复及生产业务影响。因此没有越过建库前置条件。

处置与回退边界

停止时先终止合成数据生成和验证库,仅保留本次专属文件系统、数据及诊断证据。不能停止生产Pod、解除其他cgroup限额、清理现有镜像/模型缓存,不能按通配符卸载loop或删除目录。拆除须根据实际专属对象、PID和挂载引用核验,不能以本方案授权为由操作尚未列明的宿主路径。

Kubernetes本地临时存储限制主要涉及计量与驱逐,不能代替这里要求的硬容量和设备IO限速;本方案不把PVC容量、命名空间隔离或资源limits当作完整磁盘隔离。Kubernetes 1.35资源管理说明