10 KiB
.4 节点查询库:容量与IO隔离准入方案
状态:后续诊断已定位跨Pod保留挂载导致的旧inode写回归属问题,并通过专属测试文件系统的正常卸载/重新挂载修复。512Mi限速、Pod重建和Mongo满盘恢复回归已通过,25Gi合成验证库已创建且重建后确认数据保留。 最新结果和原失败记录见 实机验证记录。以下早期核查与拟议参数保留其时间点含义;本轮不买新盘、不读写生产数据。
本轮核实的事实
2026-11-13 01:34 UTC,通过既有诊断容器只读检查:
- 分支新鲜度联网检查通过,包含
origin/dev和线上源码。 .4内核为5.15.0-151-generic,使用cgroup v2。根及kubepods.slice均提供并向子级开放io控制器;现有层级io.max未设置限制。- 根文件系统EXT4,没有看到启用用户/组/项目配额。仍约136Gi可用。采样时CPU约80m、内存5783Mi;这不是高峰资源承诺。
- 集群当前无RuntimeClass。宿主存在systemd、loop设备工具及EXT4格式化工具,但工具存在不表示配置已启用或可以安全执行。
- 本机Docker实验环境是cgroup v2/cgroupfs;这与生产kubelet/systemd管理层级不同,不能将本机结果直接视为生产隔离证据。随后仅在本机无网络、无宿主数据挂载的临时容器中运行了小型容量实验,未连接集群。
- 证据:
local-data/diagnostics/mongo-cpu/node-disk-audit/isolation/capabilities.json。前一轮容量/IO结果见 磁盘核查。
判断:可以继续验证现有盘方案,不具备直接创建生产节点测试库的全部前提。 CPU/内存限制、PVC大小和低负载采样不足以证明磁盘隔离。
拟采用的约束
以下为待实现并验证的初始预算,不是已经生效的配置,也不是容量验收标准。
| 项目 | 验证库方案 |
|---|---|
| 节点 | 严格限定 .4,不自动转移到其他生产节点 |
| 数据空间 | 总额25Gi,包含Mongo数据、索引、journal和库内日志;不单独放大日志或备份 |
| 硬容量实现 | 优先验证固定25Gi文件承载的独立EXT4文件系统,挂载专用目录;不得格式化现有设备、扩文件或重分区系统盘 |
| 系统盘安全线 | 试运行前后可用量至少75Gi;低于该值或出现DiskPressure即停止测试,保留数据,不自动清盘 |
| CPU/内存 | Mongo起步上限1核/2Gi,实际requests与限额同步核算;WiredTiger缓存单独配置,进程与页缓存计入总内存 |
| 初始IO预算 | 每方向读2MiB/s、写1MiB/s,读64 IOPS、写32 IOPS;是保守试运行预算,不推断为线上安全比例 |
| IO覆盖范围 | 建文件/格式化/合成数据生成/建索引/Mongo/重启恢复均受限;不能只限制稳态Mongo进程 |
| 访问 | 仅隔离验证入口,禁止公网暴露、生产连接串及生产账号;默认拒绝跨环境网络,验证实际网络策略生效 |
| 数据与流量 | 仅合成数据,单写入者、有界批次;先小样本,再逐步扩大,不立即跑81/200/500人压测 |
固定文件文件系统只是容量隔离候选,不能自动解决IO隔离。loop设备与底层 vda 的IO归属、缓冲写回和journal需要实际验证,不能只给loop或分区写一个限速值就宣称有效。空间预分配本身也有开销,须限速并计入试运行阶段。额外容器镜像和容器日志仍占系统盘,需要明确预算和实际轮转核验,不能只监控25Gi内部空间。
IO方案采用cgroup v2 io.max 的BPS与IOPS上限,而非仅用 nice/ionice/io.weight。内核文档说明该控制支持按设备限速,允许短时突发;EXT4支持cgroup写回,但不能据此假设loop转发后的全部IO已正确归属。Linux内核控制器说明
控制只落在验证库专属cgroup及其子进程,禁止修改根、kubepods.slice 或其他Pod的限额。必须在首个写入进程启动前设置并读回;Pod重建后重新设置,校验失败不启动,不能依赖人工一次性写旧容器路径。不能给数据库容器永久开放宿主cgroup/设备写权限。若需要专用初始化组件,应限定路径、Pod UID、设备与生命周期,并单独审查实际变更。当前没有这样的已验证组件。
不为测试库重启containerd/kubelet、在线启用系统盘配额、重挂载系统根目录或调整现有业务Pod。若需要这些操作,判定当前复用路径不满足本轮条件,停止该方案。
建库前必须完成的证明
- 容量边界:在本机独立Linux实验环境,用小型合成文件系统验证容量耗尽只导致测试写入失败,不增长底层承载文件;验证已有文件和重启恢复,不碰宿主现有设备。磁盘满不是可忽略的Mongo错误,不能通过删journal强行恢复。
- 限速边界:覆盖直接读写、缓冲写回、fsync及恢复,观察专属cgroup与底层设备计数,证明数据未绕过限速。验证控制器/监控进程退出、Pod重建后仍不能无约束写入。不同内核/运行时的本机证明仅作前置,不代替节点证明。
- 节点短时试验:前置通过后,形成固定镜像、专用路径、对象清单、初始化权限、回退和小额写入边界的具体执行计划。先在
.4用小样本证明实际限制及现有服务健康,再创建25Gi正式验证库。不得用未合并任务分支绕过项目主线发布规则。 - 业务影响:先采集相同工作时段现有API错误/延迟、节点CPU、内存、IO PSI和磁盘等待作为基线。试验中若新增超时/错误、DiskPressure、OOM或持续IO压力即停;应用延迟持续恶化时也停止并调查。监控只是停止保护,不是绝对无影响保证。
- 恢复与隔离:小样本验证失败/重启、满盘停止及可恢复性,验证只访问合成库,现网API/Worker配置不变。通过后再评估受限条件下结果正确性;受限试运行速度不代表放开限额后的容量。
目前第1项的基础容量边界及本机直接/缓冲写限速实验通过,其余IOPS/读限制/异常恢复与节点/业务验证未完成,本次不在集群创建Pod、PV、文件系统或Mongo。已选定 .4 和25Gi目标,无需重新选盘;下一步完成启动前强制限制与重建恢复原型。若验证失败或需要改动全局运行时,保持现网不变,记录失败原因,不购买新盘或默默降级为无硬限制目录。
已完成的本机容量实验
2026-11-13 01:38 UTC,复用本机已存在的固定摘要Mongo镜像(未运行mongod),临时容器无网络、无宿主数据挂载,内存上限1Gi、CPU上限0.5核,使用384Mi有界tmpfs承载256Mi固定EXT4文件系统。测试使用容器挂载权限,退出时卸载本次专属挂载,容器自动清理。
- 请求写入300Mi合成零数据,实际约218.6Mi后返回
ENOSPC,写命令退出1,符合预期。 - 承载文件前后均为268435456字节,没有突破固定容量。
- 文件系统外的控制探针仍可写入。
- 脚本整体退出0,原始结果见
local-data/diagnostics/mongo-cpu/node-disk-audit/isolation/local-capacity-proof.json。
这只证明本机小型文件系统的容量边界,不证明25Gi预分配的生产影响、Mongo满盘恢复、持久性、磁盘吞吐或IO限速。因为外层是tmpfs,本实验不产生代表性的底层磁盘IO,不能用于宣称loop到物理盘的限速已经通过。
已完成的本机IO实验
另用两个无网络、无宿主数据挂载的临时容器,256Mi固定EXT4文件位于可丢弃的容器写层,退出卸载并清理;通过Docker在各自专属cgroup对本机两块VM盘设置写入上限1048576字节/秒,未限制其他容器或VM根cgroup。
| 实验 | 实际结果 |
|---|---|
| 16Mi直接写 + fdatasync | 16.06秒,约1MiB/s |
| 16Mi缓冲写 + fdatasync | 16.07秒,约1MiB/s |
| 写后卸载、重挂载 | 探针文件大小仍为16777216字节;未声称逐字节或Mongo恢复验证 |
两次均读取专属 io.max 核实配置,io.stat 同时观察到loop与实际承载盘的写入计数。原始结果为上述证据目录的 local-io-proof.json、local-buffered-io-proof.json。
本机内核实际为 6.8.0-117,而 .4 为 5.15.0-151;本机由Docker/cgroupfs设置限制,生产Pod由kubelet/systemd管理。这些实验说明候选路径在本机可行,不能证明生产5.15内核上已生效,也未验证IOPS/读取限额、Pod重建、故障时的限制保留、Mongo恢复及生产业务影响。因此没有越过建库前置条件。
处置与回退边界
停止时先终止合成数据生成和验证库,仅保留本次专属文件系统、数据及诊断证据。不能停止生产Pod、解除其他cgroup限额、清理现有镜像/模型缓存,不能按通配符卸载loop或删除目录。拆除须根据实际专属对象、PID和挂载引用核验,不能以本方案授权为由操作尚未列明的宿主路径。
Kubernetes本地临时存储限制主要涉及计量与驱逐,不能代替这里要求的硬容量和设备IO限速;本方案不把PVC容量、命名空间隔离或资源limits当作完整磁盘隔离。Kubernetes 1.35资源管理说明