droboticflow/docs/operations/query-replica-node4-isolation-plan.md

82 lines
10 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# .4 节点查询库:容量与IO隔离准入方案
状态:后续诊断已定位跨Pod保留挂载导致的旧inode写回归属问题,并通过专属测试文件系统的正常卸载/重新挂载修复。**512Mi限速、Pod重建和Mongo满盘恢复回归已通过,25Gi合成验证库已创建且重建后确认数据保留。** 最新结果和原失败记录见 [实机验证记录](query-replica-node4-smoke-results.md)。以下早期核查与拟议参数保留其时间点含义;本轮不买新盘、不读写生产数据。
## 本轮核实的事实
2026-11-13 01:34 UTC,通过既有诊断容器只读检查:
- 分支新鲜度联网检查通过,包含 `origin/dev` 和线上源码。
- `.4` 内核为 `5.15.0-151-generic`,使用cgroup v2。根及 `kubepods.slice` 均提供并向子级开放 `io` 控制器;现有层级 `io.max` 未设置限制。
- 根文件系统EXT4,没有看到启用用户/组/项目配额。仍约136Gi可用。采样时CPU约80m、内存5783Mi;这不是高峰资源承诺。
- 集群当前无RuntimeClass。宿主存在systemd、loop设备工具及EXT4格式化工具,但**工具存在不表示配置已启用或可以安全执行**。
- 本机Docker实验环境是cgroup v2/cgroupfs;这与生产kubelet/systemd管理层级不同,不能将本机结果直接视为生产隔离证据。随后仅在本机无网络、无宿主数据挂载的临时容器中运行了小型容量实验,未连接集群。
- 证据:`local-data/diagnostics/mongo-cpu/node-disk-audit/isolation/capabilities.json`。前一轮容量/IO结果见 [磁盘核查](query-replica-node-disk-audit.md)。
**判断:可以继续验证现有盘方案,不具备直接创建生产节点测试库的全部前提。** CPU/内存限制、PVC大小和低负载采样不足以证明磁盘隔离。
## 拟采用的约束
以下为待实现并验证的初始预算,不是已经生效的配置,也不是容量验收标准。
| 项目 | 验证库方案 |
| ------------ | -------------------------------------------------------------------------------------------------- |
| 节点 | 严格限定 `.4`,不自动转移到其他生产节点 |
| 数据空间 | 总额25Gi,包含Mongo数据、索引、journal和库内日志;不单独放大日志或备份 |
| 硬容量实现 | 优先验证固定25Gi文件承载的独立EXT4文件系统,挂载专用目录;不得格式化现有设备、扩文件或重分区系统盘 |
| 系统盘安全线 | 试运行前后可用量至少75Gi;低于该值或出现DiskPressure即停止测试,保留数据,不自动清盘 |
| CPU/内存 | Mongo起步上限1核/2Gi,实际requests与限额同步核算;WiredTiger缓存单独配置,进程与页缓存计入总内存 |
| 初始IO预算 | 每方向读2MiB/s、写1MiB/s,读64 IOPS、写32 IOPS;是保守试运行预算,不推断为线上安全比例 |
| IO覆盖范围 | 建文件/格式化/合成数据生成/建索引/Mongo/重启恢复均受限;不能只限制稳态Mongo进程 |
| 访问 | 仅隔离验证入口,禁止公网暴露、生产连接串及生产账号;默认拒绝跨环境网络,验证实际网络策略生效 |
| 数据与流量 | 仅合成数据,单写入者、有界批次;先小样本,再逐步扩大,不立即跑81/200/500人压测 |
固定文件文件系统只是容量隔离候选,不能自动解决IO隔离。loop设备与底层 `vda` 的IO归属、缓冲写回和journal需要实际验证,不能只给loop或分区写一个限速值就宣称有效。空间预分配本身也有开销,须限速并计入试运行阶段。额外容器镜像和容器日志仍占系统盘,需要明确预算和实际轮转核验,不能只监控25Gi内部空间。
IO方案采用cgroup v2 `io.max` 的BPS与IOPS上限,而非仅用 `nice`/`ionice`/`io.weight`。内核文档说明该控制支持按设备限速,允许短时突发;EXT4支持cgroup写回,但不能据此假设loop转发后的全部IO已正确归属。[Linux内核控制器说明](https://www.kernel.org/doc/html/latest/admin-guide/cgroup-v2.html)
控制只落在验证库专属cgroup及其子进程,禁止修改根、`kubepods.slice` 或其他Pod的限额。必须在首个写入进程启动前设置并读回;Pod重建后重新设置,校验失败不启动,不能依赖人工一次性写旧容器路径。不能给数据库容器永久开放宿主cgroup/设备写权限。若需要专用初始化组件,应限定路径、Pod UID、设备与生命周期,并单独审查实际变更。当前没有这样的已验证组件。
不为测试库重启containerd/kubelet、在线启用系统盘配额、重挂载系统根目录或调整现有业务Pod。若需要这些操作,判定当前复用路径不满足本轮条件,停止该方案。
## 建库前必须完成的证明
1. **容量边界**:在本机独立Linux实验环境,用小型合成文件系统验证容量耗尽只导致测试写入失败,不增长底层承载文件;验证已有文件和重启恢复,不碰宿主现有设备。磁盘满不是可忽略的Mongo错误,不能通过删journal强行恢复。
2. **限速边界**:覆盖直接读写、缓冲写回、fsync及恢复,观察专属cgroup与底层设备计数,证明数据未绕过限速。验证控制器/监控进程退出、Pod重建后仍不能无约束写入。不同内核/运行时的本机证明仅作前置,不代替节点证明。
3. **节点短时试验**:前置通过后,形成固定镜像、专用路径、对象清单、初始化权限、回退和小额写入边界的具体执行计划。先在 `.4` 用小样本证明实际限制及现有服务健康,再创建25Gi正式验证库。不得用未合并任务分支绕过项目主线发布规则。
4. **业务影响**:先采集相同工作时段现有API错误/延迟、节点CPU、内存、IO PSI和磁盘等待作为基线。试验中若新增超时/错误、DiskPressure、OOM或持续IO压力即停;应用延迟持续恶化时也停止并调查。监控只是停止保护,不是绝对无影响保证。
5. **恢复与隔离**:小样本验证失败/重启、满盘停止及可恢复性,验证只访问合成库,现网API/Worker配置不变。通过后再评估受限条件下结果正确性;受限试运行速度不代表放开限额后的容量。
目前第1项的基础容量边界及本机直接/缓冲写限速实验通过,其余IOPS/读限制/异常恢复与节点/业务验证未完成,**本次不在集群创建Pod、PV、文件系统或Mongo**。已选定 `.4` 和25Gi目标,无需重新选盘;下一步完成启动前强制限制与重建恢复原型。若验证失败或需要改动全局运行时,保持现网不变,记录失败原因,不购买新盘或默默降级为无硬限制目录。
## 已完成的本机容量实验
2026-11-13 01:38 UTC,复用本机已存在的固定摘要Mongo镜像(未运行mongod),临时容器无网络、无宿主数据挂载,内存上限1Gi、CPU上限0.5核,使用384Mi有界tmpfs承载256Mi固定EXT4文件系统。测试使用容器挂载权限,退出时卸载本次专属挂载,容器自动清理。
- 请求写入300Mi合成零数据,实际约218.6Mi后返回 `ENOSPC`,写命令退出1,符合预期。
- 承载文件前后均为268435456字节,没有突破固定容量。
- 文件系统外的控制探针仍可写入。
- 脚本整体退出0,原始结果见 `local-data/diagnostics/mongo-cpu/node-disk-audit/isolation/local-capacity-proof.json`。
这只证明本机小型文件系统的容量边界,不证明25Gi预分配的生产影响、Mongo满盘恢复、持久性、磁盘吞吐或IO限速。因为外层是tmpfs,本实验不产生代表性的底层磁盘IO,不能用于宣称loop到物理盘的限速已经通过。
## 已完成的本机IO实验
另用两个无网络、无宿主数据挂载的临时容器,256Mi固定EXT4文件位于可丢弃的容器写层,退出卸载并清理;通过Docker在各自专属cgroup对本机两块VM盘设置写入上限1048576字节/秒,未限制其他容器或VM根cgroup。
| 实验 | 实际结果 |
| ---------------------- | --------------------------------------------------------- |
| 16Mi直接写 + fdatasync | 16.06秒,约1MiB/s |
| 16Mi缓冲写 + fdatasync | 16.07秒,约1MiB/s |
| 写后卸载、重挂载 | 探针文件大小仍为16777216字节;未声称逐字节或Mongo恢复验证 |
两次均读取专属 `io.max` 核实配置,`io.stat` 同时观察到loop与实际承载盘的写入计数。原始结果为上述证据目录的 `local-io-proof.json`、`local-buffered-io-proof.json`。
本机内核实际为 **6.8.0-117**,而 `.4` 为 **5.15.0-151**;本机由Docker/cgroupfs设置限制,生产Pod由kubelet/systemd管理。这些实验说明候选路径在本机可行,**不能证明生产5.15内核上已生效**,也未验证IOPS/读取限额、Pod重建、故障时的限制保留、Mongo恢复及生产业务影响。因此没有越过建库前置条件。
## 处置与回退边界
停止时先终止合成数据生成和验证库,仅保留本次专属文件系统、数据及诊断证据。不能停止生产Pod、解除其他cgroup限额、清理现有镜像/模型缓存,不能按通配符卸载loop或删除目录。拆除须根据实际专属对象、PID和挂载引用核验,不能以本方案授权为由操作尚未列明的宿主路径。
Kubernetes本地临时存储限制主要涉及计量与驱逐,不能代替这里要求的硬容量和设备IO限速;本方案不把PVC容量、命名空间隔离或资源limits当作完整磁盘隔离。[Kubernetes 1.35资源管理说明](https://v1-35.docs.kubernetes.io/docs/concepts/configuration/manage-resources-containers/)