droboticflow/docs/operations/query-replica-node-disk-audit.md

53 lines
5.4 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 独立查询 Mongo:现有节点磁盘只读核查
核查时间:2026-11-13 01:18–01:21 UTC(北京时间11月13日09:18–09:21)。用户最新要求优先复用现有资源,暂不购买新盘。本次未创建资源、修改挂载、清理文件或运行写入压测,也未修改客户数据。
## 结论
现有空间足以评估小规模查询库验证,暂不需要购买云盘。优先候选是 `10.189.16.4`;建议先以20–30Gi作为验证数据预算,而非直接分配原方案的100Gi。该预算尚未实施,也不代表已证明生产容量。
三个节点均只有一块虚拟系统盘,没有发现独立空闲数据盘。复用目录可以隔离数据库实例,但仍与线上容器、镜像、日志和操作系统共享磁盘IO和容量。不能保证直接启动 Mongo 不影响生产;应先落实容量与IO限制,并补充业务高峰观测,再制定小规模试运行计划。
## 实际磁盘与余量
容量使用GiB(2³⁰字节);文件系统可用量来自kubelet统计,与原始设备容量含义不同。
| 节点 | 原始设备容量 | 文件系统容量 | 实际可用 | 镜像/容器运行时已用 | inode可用 |
| --------------------- | -----------: | -----------: | ----------: | ------------------: | --------: |
| `10.189.16.4` | 200Gi | 196.7Gi | **136.3Gi** | 30.4Gi | 96.5% |
| `10.189.16.5` | 200Gi | 196.7Gi | **86.9Gi** | 65.7Gi | 94.3% |
| `10.189.16.33`(GPU) | 500Gi | 492.0Gi | **200.1Gi** | 155.0Gi | 94.9% |
- 所有节点为VirtIO `vda`,根分区 `vda2`,EXT4。没有额外块设备或可复用的未分配分区;`loop` 是系统镜像,不算空闲数据盘。
- 虚拟设备报告 `rotational=1`,型号与传输信息为空,**不能据此判定底层云盘是HDD或SSD**。具体云盘SKU尚未确认。
- nodefs、imagefs、containerfs落在同一文件系统,表中空间不能重复相加。
- GPU节点的 `droboticflow-fanyu-qwen-node-cache-pv` 是同一系统盘上的本地目录,声明80Gi,实际占用约16.3Gi;80Gi不是另一块磁盘,也未证明是硬配额。该缓存继续保留原用途和增长空间。
- 既有200Gi BOS卷是远程对象挂载,不作为本地Mongo数据盘候选。
## 当前IO采样
采样开始于01:18:57 UTC,16次被动观测、间隔2秒,总长约30秒;仅读取内核计数器,不制造测试IO。统计整个 `vda`,没有与 `vda2` 重复累加。
| 节点 | 读/写IOPS | 平均读/写MiB/s | 平均完成耗时ms | 平均/最高2秒设备忙碌比例 | CPU iowait |
| ----- | ----------: | -------------: | -------------: | -----------------------: | ---------: |
| `.4` | 0.07 / 1.90 | 0.001 / 0.029 | 0.39 | 0.33% / 0.80% | 0.008% |
| `.5` | 0.07 / 3.46 | 0.001 / 0.042 | 0.66 | 0.36% / 1.20% | 0.008% |
| `.33` | 0.07 / 5.53 | 0.001 / 0.080 | 0.68 | 0.36% / 1.00% | 0.001% |
平均完成耗时由读写累计耗时除以完成次数计算,不是Mongo fsync延迟或p95。设备忙碌比例由内核IO时间差计算,虚拟/并行设备的该指标不能直接换算成可用吞吐百分比。字段解释参见 [Linux内核IO统计说明](https://www.kernel.org/doc/html/latest/admin-guide/iostats.html)。
本窗口未见IO饱和,三个节点均 `DiskPressure=False`、`ReadonlyFilesystem=False`。这只是当前低负载窗口,**没有测出磁盘性能上限,也不能代表客户高峰、Mongo随机写入或故障恢复表现**。
## 复用约束与下一步
1. 首选 `.4`,其余量较充裕、运行时占用较小;`.5`余量较紧,GPU节点还承担模型缓存与大量镜像。CPU节点既有CPU limits已超过allocatable,不能凭瞬时空闲判断没有突发争用。
2. 三个根文件系统的挂载选项均未显示启用用户/组/项目配额。Local PV/PVC声明容量不构成目录硬上限,CPU/内存限制也不构成磁盘IO限制。启动数据库前需验证可用的容量约束与IO控制;本次不为此重挂载、分区或改造系统盘。
3. kubelet已有硬驱逐阈值:imagefs可用低于15%、nodefs低于7%、inode低于5%;因为共享同一文件系统,不能只按7%计算安全空间。试运行应设置更保守的停止阈值并考虑镜像、日志、缓存增长,例如保留至少30%文件系统可用量;这是待评审的运行策略,不是已有硬隔离。
4. 下一轮先补充业务高峰被动监测及受限试运行计划。若无法安全限制增长和IO,则不能把共享系统盘方案称为长期生产隔离方案;先保持现网不变,再评估其他资源。此次不执行压测、建库或资源变更。
## 证据与验证范围
原始只读证据保存在本worktree的忽略目录 `local-data/diagnostics/mongo-cpu/node-disk-audit/`:`block-*`、`mounts-*`、`stats-summary-*`、`configz-*`、`io-30s-*`、`io-summary.json`、`pv-location.json`、`qwen-pv-usage.txt`、`safety-metadata.json`。未保存凭证正文或客户正文。
通过已有NPD诊断容器的只读host-proc挂载检查宿主文件系统;没有新增特权Pod或安装工具。缓存目录占用检查设置idle IO优先级与8秒超时,仅遍历文件元数据。底层云盘类型、持续峰值IO、硬配额、实际数据库恢复和生产容量均待验证。本次文档检查不能替代独立查询库的业务与性能验收。