droboticflow/docs/operations/query-replica-node-disk-audit.md

5.4 KiB
Raw Permalink Blame History

独立查询 Mongo:现有节点磁盘只读核查

核查时间:2026-11-13 01:18–01:21 UTC(北京时间11月13日09:18–09:21)。用户最新要求优先复用现有资源,暂不购买新盘。本次未创建资源、修改挂载、清理文件或运行写入压测,也未修改客户数据。

结论

现有空间足以评估小规模查询库验证,暂不需要购买云盘。优先候选是 10.189.16.4;建议先以20–30Gi作为验证数据预算,而非直接分配原方案的100Gi。该预算尚未实施,也不代表已证明生产容量。

三个节点均只有一块虚拟系统盘,没有发现独立空闲数据盘。复用目录可以隔离数据库实例,但仍与线上容器、镜像、日志和操作系统共享磁盘IO和容量。不能保证直接启动 Mongo 不影响生产;应先落实容量与IO限制,并补充业务高峰观测,再制定小规模试运行计划。

实际磁盘与余量

容量使用GiB(2³⁰字节);文件系统可用量来自kubelet统计,与原始设备容量含义不同。

节点 原始设备容量 文件系统容量 实际可用 镜像/容器运行时已用 inode可用
10.189.16.4 200Gi 196.7Gi 136.3Gi 30.4Gi 96.5%
10.189.16.5 200Gi 196.7Gi 86.9Gi 65.7Gi 94.3%
10.189.16.33(GPU) 500Gi 492.0Gi 200.1Gi 155.0Gi 94.9%
  • 所有节点为VirtIO vda,根分区 vda2,EXT4。没有额外块设备或可复用的未分配分区;loop 是系统镜像,不算空闲数据盘。
  • 虚拟设备报告 rotational=1,型号与传输信息为空,不能据此判定底层云盘是HDD或SSD。具体云盘SKU尚未确认。
  • nodefs、imagefs、containerfs落在同一文件系统,表中空间不能重复相加。
  • GPU节点的 droboticflow-fanyu-qwen-node-cache-pv 是同一系统盘上的本地目录,声明80Gi,实际占用约16.3Gi;80Gi不是另一块磁盘,也未证明是硬配额。该缓存继续保留原用途和增长空间。
  • 既有200Gi BOS卷是远程对象挂载,不作为本地Mongo数据盘候选。

当前IO采样

采样开始于01:18:57 UTC,16次被动观测、间隔2秒,总长约30秒;仅读取内核计数器,不制造测试IO。统计整个 vda,没有与 vda2 重复累加。

节点 读/写IOPS 平均读/写MiB/s 平均完成耗时ms 平均/最高2秒设备忙碌比例 CPU iowait
.4 0.07 / 1.90 0.001 / 0.029 0.39 0.33% / 0.80% 0.008%
.5 0.07 / 3.46 0.001 / 0.042 0.66 0.36% / 1.20% 0.008%
.33 0.07 / 5.53 0.001 / 0.080 0.68 0.36% / 1.00% 0.001%

平均完成耗时由读写累计耗时除以完成次数计算,不是Mongo fsync延迟或p95。设备忙碌比例由内核IO时间差计算,虚拟/并行设备的该指标不能直接换算成可用吞吐百分比。字段解释参见 Linux内核IO统计说明。

本窗口未见IO饱和,三个节点均 DiskPressure=False、ReadonlyFilesystem=False。这只是当前低负载窗口,没有测出磁盘性能上限,也不能代表客户高峰、Mongo随机写入或故障恢复表现。

复用约束与下一步

  1. 首选 .4,其余量较充裕、运行时占用较小;.5余量较紧,GPU节点还承担模型缓存与大量镜像。CPU节点既有CPU limits已超过allocatable,不能凭瞬时空闲判断没有突发争用。
  2. 三个根文件系统的挂载选项均未显示启用用户/组/项目配额。Local PV/PVC声明容量不构成目录硬上限,CPU/内存限制也不构成磁盘IO限制。启动数据库前需验证可用的容量约束与IO控制;本次不为此重挂载、分区或改造系统盘。
  3. kubelet已有硬驱逐阈值:imagefs可用低于15%、nodefs低于7%、inode低于5%;因为共享同一文件系统,不能只按7%计算安全空间。试运行应设置更保守的停止阈值并考虑镜像、日志、缓存增长,例如保留至少30%文件系统可用量;这是待评审的运行策略,不是已有硬隔离。
  4. 下一轮先补充业务高峰被动监测及受限试运行计划。若无法安全限制增长和IO,则不能把共享系统盘方案称为长期生产隔离方案;先保持现网不变,再评估其他资源。此次不执行压测、建库或资源变更。

证据与验证范围

原始只读证据保存在本worktree的忽略目录 local-data/diagnostics/mongo-cpu/node-disk-audit/:block-*、mounts-*、stats-summary-*、configz-*、io-30s-*、io-summary.json、pv-location.json、qwen-pv-usage.txt、safety-metadata.json。未保存凭证正文或客户正文。

通过已有NPD诊断容器的只读host-proc挂载检查宿主文件系统;没有新增特权Pod或安装工具。缓存目录占用检查设置idle IO优先级与8秒超时,仅遍历文件元数据。底层云盘类型、持续峰值IO、硬配额、实际数据库恢复和生产容量均待验证。本次文档检查不能替代独立查询库的业务与性能验收。