forked from longtao.wu/droboticflow
82 lines
10 KiB
Markdown
82 lines
10 KiB
Markdown
# .4 节点查询库:容量与IO隔离准入方案
|
||
|
||
状态:后续诊断已定位跨Pod保留挂载导致的旧inode写回归属问题,并通过专属测试文件系统的正常卸载/重新挂载修复。**512Mi限速、Pod重建和Mongo满盘恢复回归已通过,25Gi合成验证库已创建且重建后确认数据保留。** 最新结果和原失败记录见 [实机验证记录](query-replica-node4-smoke-results.md)。以下早期核查与拟议参数保留其时间点含义;本轮不买新盘、不读写生产数据。
|
||
|
||
## 本轮核实的事实
|
||
|
||
2026-11-13 01:34 UTC,通过既有诊断容器只读检查:
|
||
|
||
- 分支新鲜度联网检查通过,包含 `origin/dev` 和线上源码。
|
||
- `.4` 内核为 `5.15.0-151-generic`,使用cgroup v2。根及 `kubepods.slice` 均提供并向子级开放 `io` 控制器;现有层级 `io.max` 未设置限制。
|
||
- 根文件系统EXT4,没有看到启用用户/组/项目配额。仍约136Gi可用。采样时CPU约80m、内存5783Mi;这不是高峰资源承诺。
|
||
- 集群当前无RuntimeClass。宿主存在systemd、loop设备工具及EXT4格式化工具,但**工具存在不表示配置已启用或可以安全执行**。
|
||
- 本机Docker实验环境是cgroup v2/cgroupfs;这与生产kubelet/systemd管理层级不同,不能将本机结果直接视为生产隔离证据。随后仅在本机无网络、无宿主数据挂载的临时容器中运行了小型容量实验,未连接集群。
|
||
- 证据:`local-data/diagnostics/mongo-cpu/node-disk-audit/isolation/capabilities.json`。前一轮容量/IO结果见 [磁盘核查](query-replica-node-disk-audit.md)。
|
||
|
||
**判断:可以继续验证现有盘方案,不具备直接创建生产节点测试库的全部前提。** CPU/内存限制、PVC大小和低负载采样不足以证明磁盘隔离。
|
||
|
||
## 拟采用的约束
|
||
|
||
以下为待实现并验证的初始预算,不是已经生效的配置,也不是容量验收标准。
|
||
|
||
| 项目 | 验证库方案 |
|
||
| ------------ | -------------------------------------------------------------------------------------------------- |
|
||
| 节点 | 严格限定 `.4`,不自动转移到其他生产节点 |
|
||
| 数据空间 | 总额25Gi,包含Mongo数据、索引、journal和库内日志;不单独放大日志或备份 |
|
||
| 硬容量实现 | 优先验证固定25Gi文件承载的独立EXT4文件系统,挂载专用目录;不得格式化现有设备、扩文件或重分区系统盘 |
|
||
| 系统盘安全线 | 试运行前后可用量至少75Gi;低于该值或出现DiskPressure即停止测试,保留数据,不自动清盘 |
|
||
| CPU/内存 | Mongo起步上限1核/2Gi,实际requests与限额同步核算;WiredTiger缓存单独配置,进程与页缓存计入总内存 |
|
||
| 初始IO预算 | 每方向读2MiB/s、写1MiB/s,读64 IOPS、写32 IOPS;是保守试运行预算,不推断为线上安全比例 |
|
||
| IO覆盖范围 | 建文件/格式化/合成数据生成/建索引/Mongo/重启恢复均受限;不能只限制稳态Mongo进程 |
|
||
| 访问 | 仅隔离验证入口,禁止公网暴露、生产连接串及生产账号;默认拒绝跨环境网络,验证实际网络策略生效 |
|
||
| 数据与流量 | 仅合成数据,单写入者、有界批次;先小样本,再逐步扩大,不立即跑81/200/500人压测 |
|
||
|
||
固定文件文件系统只是容量隔离候选,不能自动解决IO隔离。loop设备与底层 `vda` 的IO归属、缓冲写回和journal需要实际验证,不能只给loop或分区写一个限速值就宣称有效。空间预分配本身也有开销,须限速并计入试运行阶段。额外容器镜像和容器日志仍占系统盘,需要明确预算和实际轮转核验,不能只监控25Gi内部空间。
|
||
|
||
IO方案采用cgroup v2 `io.max` 的BPS与IOPS上限,而非仅用 `nice`/`ionice`/`io.weight`。内核文档说明该控制支持按设备限速,允许短时突发;EXT4支持cgroup写回,但不能据此假设loop转发后的全部IO已正确归属。[Linux内核控制器说明](https://www.kernel.org/doc/html/latest/admin-guide/cgroup-v2.html)
|
||
|
||
控制只落在验证库专属cgroup及其子进程,禁止修改根、`kubepods.slice` 或其他Pod的限额。必须在首个写入进程启动前设置并读回;Pod重建后重新设置,校验失败不启动,不能依赖人工一次性写旧容器路径。不能给数据库容器永久开放宿主cgroup/设备写权限。若需要专用初始化组件,应限定路径、Pod UID、设备与生命周期,并单独审查实际变更。当前没有这样的已验证组件。
|
||
|
||
不为测试库重启containerd/kubelet、在线启用系统盘配额、重挂载系统根目录或调整现有业务Pod。若需要这些操作,判定当前复用路径不满足本轮条件,停止该方案。
|
||
|
||
## 建库前必须完成的证明
|
||
|
||
1. **容量边界**:在本机独立Linux实验环境,用小型合成文件系统验证容量耗尽只导致测试写入失败,不增长底层承载文件;验证已有文件和重启恢复,不碰宿主现有设备。磁盘满不是可忽略的Mongo错误,不能通过删journal强行恢复。
|
||
2. **限速边界**:覆盖直接读写、缓冲写回、fsync及恢复,观察专属cgroup与底层设备计数,证明数据未绕过限速。验证控制器/监控进程退出、Pod重建后仍不能无约束写入。不同内核/运行时的本机证明仅作前置,不代替节点证明。
|
||
3. **节点短时试验**:前置通过后,形成固定镜像、专用路径、对象清单、初始化权限、回退和小额写入边界的具体执行计划。先在 `.4` 用小样本证明实际限制及现有服务健康,再创建25Gi正式验证库。不得用未合并任务分支绕过项目主线发布规则。
|
||
4. **业务影响**:先采集相同工作时段现有API错误/延迟、节点CPU、内存、IO PSI和磁盘等待作为基线。试验中若新增超时/错误、DiskPressure、OOM或持续IO压力即停;应用延迟持续恶化时也停止并调查。监控只是停止保护,不是绝对无影响保证。
|
||
5. **恢复与隔离**:小样本验证失败/重启、满盘停止及可恢复性,验证只访问合成库,现网API/Worker配置不变。通过后再评估受限条件下结果正确性;受限试运行速度不代表放开限额后的容量。
|
||
|
||
目前第1项的基础容量边界及本机直接/缓冲写限速实验通过,其余IOPS/读限制/异常恢复与节点/业务验证未完成,**本次不在集群创建Pod、PV、文件系统或Mongo**。已选定 `.4` 和25Gi目标,无需重新选盘;下一步完成启动前强制限制与重建恢复原型。若验证失败或需要改动全局运行时,保持现网不变,记录失败原因,不购买新盘或默默降级为无硬限制目录。
|
||
|
||
## 已完成的本机容量实验
|
||
|
||
2026-11-13 01:38 UTC,复用本机已存在的固定摘要Mongo镜像(未运行mongod),临时容器无网络、无宿主数据挂载,内存上限1Gi、CPU上限0.5核,使用384Mi有界tmpfs承载256Mi固定EXT4文件系统。测试使用容器挂载权限,退出时卸载本次专属挂载,容器自动清理。
|
||
|
||
- 请求写入300Mi合成零数据,实际约218.6Mi后返回 `ENOSPC`,写命令退出1,符合预期。
|
||
- 承载文件前后均为268435456字节,没有突破固定容量。
|
||
- 文件系统外的控制探针仍可写入。
|
||
- 脚本整体退出0,原始结果见 `local-data/diagnostics/mongo-cpu/node-disk-audit/isolation/local-capacity-proof.json`。
|
||
|
||
这只证明本机小型文件系统的容量边界,不证明25Gi预分配的生产影响、Mongo满盘恢复、持久性、磁盘吞吐或IO限速。因为外层是tmpfs,本实验不产生代表性的底层磁盘IO,不能用于宣称loop到物理盘的限速已经通过。
|
||
|
||
## 已完成的本机IO实验
|
||
|
||
另用两个无网络、无宿主数据挂载的临时容器,256Mi固定EXT4文件位于可丢弃的容器写层,退出卸载并清理;通过Docker在各自专属cgroup对本机两块VM盘设置写入上限1048576字节/秒,未限制其他容器或VM根cgroup。
|
||
|
||
| 实验 | 实际结果 |
|
||
| ---------------------- | --------------------------------------------------------- |
|
||
| 16Mi直接写 + fdatasync | 16.06秒,约1MiB/s |
|
||
| 16Mi缓冲写 + fdatasync | 16.07秒,约1MiB/s |
|
||
| 写后卸载、重挂载 | 探针文件大小仍为16777216字节;未声称逐字节或Mongo恢复验证 |
|
||
|
||
两次均读取专属 `io.max` 核实配置,`io.stat` 同时观察到loop与实际承载盘的写入计数。原始结果为上述证据目录的 `local-io-proof.json`、`local-buffered-io-proof.json`。
|
||
|
||
本机内核实际为 **6.8.0-117**,而 `.4` 为 **5.15.0-151**;本机由Docker/cgroupfs设置限制,生产Pod由kubelet/systemd管理。这些实验说明候选路径在本机可行,**不能证明生产5.15内核上已生效**,也未验证IOPS/读取限额、Pod重建、故障时的限制保留、Mongo恢复及生产业务影响。因此没有越过建库前置条件。
|
||
|
||
## 处置与回退边界
|
||
|
||
停止时先终止合成数据生成和验证库,仅保留本次专属文件系统、数据及诊断证据。不能停止生产Pod、解除其他cgroup限额、清理现有镜像/模型缓存,不能按通配符卸载loop或删除目录。拆除须根据实际专属对象、PID和挂载引用核验,不能以本方案授权为由操作尚未列明的宿主路径。
|
||
|
||
Kubernetes本地临时存储限制主要涉及计量与驱逐,不能代替这里要求的硬容量和设备IO限速;本方案不把PVC容量、命名空间隔离或资源limits当作完整磁盘隔离。[Kubernetes 1.35资源管理说明](https://v1-35.docs.kubernetes.io/docs/concepts/configuration/manage-resources-containers/)
|