forked from longtao.wu/droboticflow
53 lines
5.4 KiB
Markdown
53 lines
5.4 KiB
Markdown
# 独立查询 Mongo:现有节点磁盘只读核查
|
||
|
||
核查时间:2026-11-13 01:18–01:21 UTC(北京时间11月13日09:18–09:21)。用户最新要求优先复用现有资源,暂不购买新盘。本次未创建资源、修改挂载、清理文件或运行写入压测,也未修改客户数据。
|
||
|
||
## 结论
|
||
|
||
现有空间足以评估小规模查询库验证,暂不需要购买云盘。优先候选是 `10.189.16.4`;建议先以20–30Gi作为验证数据预算,而非直接分配原方案的100Gi。该预算尚未实施,也不代表已证明生产容量。
|
||
|
||
三个节点均只有一块虚拟系统盘,没有发现独立空闲数据盘。复用目录可以隔离数据库实例,但仍与线上容器、镜像、日志和操作系统共享磁盘IO和容量。不能保证直接启动 Mongo 不影响生产;应先落实容量与IO限制,并补充业务高峰观测,再制定小规模试运行计划。
|
||
|
||
## 实际磁盘与余量
|
||
|
||
容量使用GiB(2³⁰字节);文件系统可用量来自kubelet统计,与原始设备容量含义不同。
|
||
|
||
| 节点 | 原始设备容量 | 文件系统容量 | 实际可用 | 镜像/容器运行时已用 | inode可用 |
|
||
| --------------------- | -----------: | -----------: | ----------: | ------------------: | --------: |
|
||
| `10.189.16.4` | 200Gi | 196.7Gi | **136.3Gi** | 30.4Gi | 96.5% |
|
||
| `10.189.16.5` | 200Gi | 196.7Gi | **86.9Gi** | 65.7Gi | 94.3% |
|
||
| `10.189.16.33`(GPU) | 500Gi | 492.0Gi | **200.1Gi** | 155.0Gi | 94.9% |
|
||
|
||
- 所有节点为VirtIO `vda`,根分区 `vda2`,EXT4。没有额外块设备或可复用的未分配分区;`loop` 是系统镜像,不算空闲数据盘。
|
||
- 虚拟设备报告 `rotational=1`,型号与传输信息为空,**不能据此判定底层云盘是HDD或SSD**。具体云盘SKU尚未确认。
|
||
- nodefs、imagefs、containerfs落在同一文件系统,表中空间不能重复相加。
|
||
- GPU节点的 `droboticflow-fanyu-qwen-node-cache-pv` 是同一系统盘上的本地目录,声明80Gi,实际占用约16.3Gi;80Gi不是另一块磁盘,也未证明是硬配额。该缓存继续保留原用途和增长空间。
|
||
- 既有200Gi BOS卷是远程对象挂载,不作为本地Mongo数据盘候选。
|
||
|
||
## 当前IO采样
|
||
|
||
采样开始于01:18:57 UTC,16次被动观测、间隔2秒,总长约30秒;仅读取内核计数器,不制造测试IO。统计整个 `vda`,没有与 `vda2` 重复累加。
|
||
|
||
| 节点 | 读/写IOPS | 平均读/写MiB/s | 平均完成耗时ms | 平均/最高2秒设备忙碌比例 | CPU iowait |
|
||
| ----- | ----------: | -------------: | -------------: | -----------------------: | ---------: |
|
||
| `.4` | 0.07 / 1.90 | 0.001 / 0.029 | 0.39 | 0.33% / 0.80% | 0.008% |
|
||
| `.5` | 0.07 / 3.46 | 0.001 / 0.042 | 0.66 | 0.36% / 1.20% | 0.008% |
|
||
| `.33` | 0.07 / 5.53 | 0.001 / 0.080 | 0.68 | 0.36% / 1.00% | 0.001% |
|
||
|
||
平均完成耗时由读写累计耗时除以完成次数计算,不是Mongo fsync延迟或p95。设备忙碌比例由内核IO时间差计算,虚拟/并行设备的该指标不能直接换算成可用吞吐百分比。字段解释参见 [Linux内核IO统计说明](https://www.kernel.org/doc/html/latest/admin-guide/iostats.html)。
|
||
|
||
本窗口未见IO饱和,三个节点均 `DiskPressure=False`、`ReadonlyFilesystem=False`。这只是当前低负载窗口,**没有测出磁盘性能上限,也不能代表客户高峰、Mongo随机写入或故障恢复表现**。
|
||
|
||
## 复用约束与下一步
|
||
|
||
1. 首选 `.4`,其余量较充裕、运行时占用较小;`.5`余量较紧,GPU节点还承担模型缓存与大量镜像。CPU节点既有CPU limits已超过allocatable,不能凭瞬时空闲判断没有突发争用。
|
||
2. 三个根文件系统的挂载选项均未显示启用用户/组/项目配额。Local PV/PVC声明容量不构成目录硬上限,CPU/内存限制也不构成磁盘IO限制。启动数据库前需验证可用的容量约束与IO控制;本次不为此重挂载、分区或改造系统盘。
|
||
3. kubelet已有硬驱逐阈值:imagefs可用低于15%、nodefs低于7%、inode低于5%;因为共享同一文件系统,不能只按7%计算安全空间。试运行应设置更保守的停止阈值并考虑镜像、日志、缓存增长,例如保留至少30%文件系统可用量;这是待评审的运行策略,不是已有硬隔离。
|
||
4. 下一轮先补充业务高峰被动监测及受限试运行计划。若无法安全限制增长和IO,则不能把共享系统盘方案称为长期生产隔离方案;先保持现网不变,再评估其他资源。此次不执行压测、建库或资源变更。
|
||
|
||
## 证据与验证范围
|
||
|
||
原始只读证据保存在本worktree的忽略目录 `local-data/diagnostics/mongo-cpu/node-disk-audit/`:`block-*`、`mounts-*`、`stats-summary-*`、`configz-*`、`io-30s-*`、`io-summary.json`、`pv-location.json`、`qwen-pv-usage.txt`、`safety-metadata.json`。未保存凭证正文或客户正文。
|
||
|
||
通过已有NPD诊断容器的只读host-proc挂载检查宿主文件系统;没有新增特权Pod或安装工具。缓存目录占用检查设置idle IO优先级与8秒超时,仅遍历文件元数据。底层云盘类型、持续峰值IO、硬配额、实际数据库恢复和生产容量均待验证。本次文档检查不能替代独立查询库的业务与性能验收。
|