19 KiB
19 KiB
droboticflow 集群资源与服务说明草稿(Cluster Resources & Services)
说明:本文档目前存放于 WishForge 仓库
docs/product/drafts/cluster-resources.md,作为资源监控页(R1–R3)与客户 Copilot 诊断问答的权威底座,后续核对无误后迁入 droboticflow 仓库wiki/modules/cluster-resources.md。
一、集群硬件、存储与外部依赖总览
1. 节点总账(共 3 台节点)
| 节点 IP | CPU | 内存 | GPU | 主要承担角色 | 出处 |
|---|---|---|---|---|---|
10.189.16.33 |
56 核 | 220 Gi | 2 卡 GPU | 主计算与高并发节点(annotation-validator 设 preferred 亲和权重 100;GPU 算子承载节点) |
集群实况 & local-data/worktrees/worktree-salvage/k8s/fanyu-validator-scale.patch.yaml |
10.189.16.4 |
8 核 | 31 Gi | 0 | 通用工作节点(分担 API / Worker / Coordinator 等常驻负载) | 集群实况 |
10.189.16.5 |
8 核 | 31 Gi | 0 | 通用工作节点(分担 API / Worker / Coordinator 等常驻负载) | 集群实况 |
| 合计 | 72 核 | 282 Gi | 2 卡 GPU | 命名空间:droboticflow-fanyu(100人源引用切片容量预算 54 CPU / 120 GB,常驻请求约 31.3 CPU / 29.5 GiB,常驻上限 48 CPU / 76 GiB) |
local-data/worktrees/worktree-salvage/docs/capacity/source-index-100.md & source-index-100.json |
2. 存储与数据库现状
| 资源名称 | 类型 / 位置 | 容量与限制 | 用途说明 | 出处 |
|---|---|---|---|---|
workspace |
PVC(csi-bos) |
200 Gi(不支持在线扩容) | 工作区共享文件与切片产物暂存,一旦写满将导致切片/导出/上传任务直接报错失败 | 集群实况 & k8s/droboticflow.template.yaml |
qwen-node-cache |
节点本地盘 Local PV(RWO) | 80 Gi(stale_staging=86400s) |
仅对内置算子 operator-builtin-qwen-behavior-rough-cut 生效的节点本地模型与缓存盘,通过 flock 与 CACHE_RECEIPT.json 校验,异常时回退至 Pod 本地临时目录 |
docs/qwen-node-local-cache.md、k8s/qwen-node-cache.*.template.yaml |
| MongoDB | 集群外独立部署 | 外部实例(不占 K8s 节点 CPU/内存) | 存储所有项目、任务、标注草稿、版本、压缩时间轴索引(annotationTimelineIndexes)及同步状态;各服务启用 DROBOTICFLOW_PROJECT_WRITE_LOCK_MODE=striped 与 DROBOTICFLOW_DATABASE_BOOTSTRAP=verify-existing |
集群实况、docs/annotation-processing.md、local-data/worktrees/worktree-salvage/docs/capacity/source-index-100.md |
二、droboticflow-fanyu 命名空间服务逐项说明
1. api(当前副本数:4)
- 当前资源配置:4 副本 ×(requests
1 CPU / 2 GiB,limits2 CPU / 4 GiB);启用分区项目写锁DROBOTICFLOW_PROJECT_WRITE_LOCK_MODE=striped。 - 用途:对外提供 Web 前端页面与全量 HTTP REST API,处理登录鉴权、项目与字典管理、任务随机领取、标注工作台读写、审核池搜索、看板统计及发布健康检查(
/api/health)。 - 对应客户功能:
- 打开网页、登录系统、查看个人与项目看板;
- 标注员/质检员/验收员点击「领取任务」、打开视频标注工作台、保存草稿与提交版本;
- 审核池筛选搜索、切片字典维护、导出与算子任务下发。
- 依赖:
- MongoDB(集群外):核心业务数据读写;
- BOS 对象存储 /
workspacePVC:读取视频源、预览图与导出产物; - 下游异步服务:将耗时修订与源数据校验任务交由
annotation-processor与annotation-validator异步处理。
- 资源吃紧时的典型症状:
- CPU 跑满或连接池打满:所有页面打开变慢、保存标注草稿转圈(p95 延迟从 ~350ms 飙升至数秒)、审核池搜索或领取任务报超时(
暂时无法确认操作结果); - 内存触顶(OOMKilled):单个大批量查询或导出请求导致 Pod 重启,正在操作的客户短暂遇到连接中断。
- CPU 跑满或连接池打满:所有页面打开变慢、保存标注草稿转圈(p95 延迟从 ~350ms 飙升至数秒)、审核池搜索或领取任务报超时(
- 常见扩容方向:
- 高并发访问或领取/查询高峰优先 加副本(如 4 → 6)或 加单副本 CPU/内存(高容量模板
k8s/fanyu-high-capacity.resources.yaml支持提升至8C / 16G); - 若因慢查询堆积导致卡顿,加副本无效,需检查查询是否缺失游标分页或
maxTimeMS(参考审核池与看板超时修复)。
- 高并发访问或领取/查询高峰优先 加副本(如 4 → 6)或 加单副本 CPU/内存(高容量模板
- 出处:
k8s/droboticflow.template.yamlk8s/fanyu-high-capacity.resources.yamllocal-data/worktrees/worktree-salvage/docs/capacity/source-index-100.mdlocal-data/worktrees/worktree-salvage/docs/verification/claim-dashboard-timeout-20261103.mdlocal-data/worktrees/worktree-salvage/docs/verification/review-pool-search.md
2. annotation-validator(当前副本数:4)
- 当前资源配置:4 副本 ×(requests
6 CPU / 4 GiB,limits8 CPU / 8 GiB),合计请求 24 CPU / 16 GiB、上限 32 CPU / 32 GiB;环境变量ANNOTATION_PROCESSOR_ROLE=validation,每副本并发ANNOTATION_INDEX_CONCURRENCY=4(共 16 个并发校验槽位);配置preferred节点亲和优先调度至大节点10.189.16.33。 - 用途:专职负责源视频/源数据的准入校验与帧时间轴索引(
annotationTimelineIndexes)构建,确保源数据帧率、时间轴与切片完整性合格后才允许进入待领取池。 - 对应客户功能:
- 新导入批次/源视频后的「源数据准入检查」;
- 决定任务能否出现在标注员的「可领取」列表(校验中或校验失败的任务不计入可领取数量
claim-count,已领取任务遇源异常会在工作台提示并自动跳过)。
- 依赖:
- MongoDB(集群外):读写源校验状态(
sourceValidationStatus)与压缩时间轴索引集合annotationTimelineIndexes; - BOS 对象存储 /
workspacePVC:拉取并解码校验源视频文件。
- MongoDB(集群外):读写源校验状态(
- 资源吃紧时的典型症状:
- CPU 跑满 / 16 个并发槽位排满:新导入的数据长时间停留在「等待校验 / 校验中」状态,标注员点击领取时提示「没有可领取的任务」(看似没活干,实则是校验队列积压未放行);
- 内存吃紧:超长或高码率视频解码校验时触发 OOM 重启,任务租约(2 分钟租约、10 秒续期)中断并触发重试(最多 3 次)。
- 常见扩容方向:
- 加核(CPU)与加副本并重:因其是计算密集型服务,优先在大节点
10.189.16.33余量内 加核 或微调单副本并发槽位ANNOTATION_INDEX_CONCURRENCY; - 注意:当前 4 副本已请求 24 核(上限 32 核),继续加副本前必须先核对
10.189.16.33(56 核)的剩余可分配核数,防止挤占同节点其他服务。
- 加核(CPU)与加副本并重:因其是计算密集型服务,优先在大节点
- 出处:
local-data/worktrees/worktree-salvage/docs/capacity/validator-scale-20261026.mdlocal-data/worktrees/worktree-salvage/k8s/fanyu-validator-scale.patch.yamllocal-data/worktrees/worktree-salvage/k8s/fanyu-validator-scale.rollback.patch.yamllocal-data/worktrees/worktree-salvage/docs/verification/source-validation-admission.mddocs/annotation-processing.md
3. annotation-processor(当前副本数:2)
- 当前资源配置:2 副本 ×(requests
1 CPU / 2 GiB,limits2 CPU / 4 GiB);环境变量ANNOTATION_PROCESSOR_ROLE=revision,每副本并发ANNOTATION_PROCESSOR_CONCURRENCY=8(共 16 个并发处理槽位)。 - 用途:专职负责持久化标注版本(Revision)的异步后台处理,包括标注提交后的切片生成、纯元数据修改的 BOS 服务端快速拷贝、新切片视频解码(最多 8 路共享解码、4 路并发 BOS 传输)以及最终
manifest发布。 - 对应客户功能:
- 标注员/质检员提交标注结果后的后台「生成切片 / 版本落盘」;
- 修改标注标签或属性后的版本更新与回放文件生成。
- 依赖:
- MongoDB(集群外):读取标注草稿/版本记录,维护 2 分钟处理租约(每 10 秒续期);
- BOS 对象存储 &
workspacePVC:执行 BOS 服务端拷贝、读写临时解码切片文件并最终上传发布manifest。
- 资源吃紧时的典型症状:
- CPU / 内存吃紧:客户在前端点击「提交」后,任务长时间处于「处理中」,回放切片或下游导出迟迟看不到最新结果;
workspacePVC 空间不足或 BOS 带宽打满:新切片落盘失败、任务反复重试 3 次后转入失败状态。
- 常见扩容方向:
- 提交高峰期若纯元数据修改多、排队明显,优先 加副本(2 → 4);
- 若新增大量需要重编码的视频切片导致单机吃紧,优先 加核 + 加内存,并严密监控
workspace(200Gi 不可扩容)剩余空间。
- 出处:
k8s/annotation-processor.template.yamldocs/annotation-processing.mdlocal-data/worktrees/worktree-salvage/docs/capacity/source-index-100.md
4. worker(当前副本数:2)
- 当前资源配置:2 副本 ×(requests
250m CPU / 512 MiB,limits1 CPU / 8 GiB);高容量模板k8s/fanyu-high-capacity.resources.yaml下可配置至4C / 8G。 - 用途:通用后台任务与工作流(Workflow / 算子编排)执行器,负责调度非标注修订类的异步作业、数据导入导出、批处理脚本及算子流水线串联(如
real-source→ 算子推理 →upload)。 - 对应客户功能:
- 批量数据导入、数据集打包与旧媒体导出;
- 自动预标注/算子工作流任务的排队、分发与结果回传。
- 依赖:
- MongoDB(集群外):拉取异步作业队列与回写执行状态;
- BOS 对象存储 &
workspacePVC:暂存导入导出压缩包与算子中间产物; - 算子服务 / 本地缓存:调用
headpose、wilor或挂载qwen-node-cache(当调度operator-builtin-qwen-behavior-rough-cut时)。
- 资源吃紧时的典型症状:
- 内存打满(8GiB 触顶):大批量导出或大视频打包时发生 OOM,导出任务中断报错;
- CPU 偏小(默认上限 1 核):多任务并发打包/转换时进度条推进极慢,后台任务队列积压;
workspace200Gi 写满:导出或算子流水线因临时文件无法写入而全部报错停止。
- 常见扩容方向:
- 遇到大文件导出/视频处理慢时,优先 加核(CPU 1C → 4C);
- 遇到多批任务排队时 加副本;若
workspace存储逼近水位,不能靠扩容 PVC(csi-bos不支持扩容),必须清理过期临时产物。
- 出处:
k8s/droboticflow.template.yamlk8s/fanyu-high-capacity.resources.yamllocal-data/worktrees/worktree-salvage/docs/capacity/source-index-100.mddocs/qwen-node-local-cache.md
5. drosync-coordinator(当前副本数:2)
- 当前资源配置:2 副本 ×(requests
200m CPU / 256 MiB,limits1 CPU / 2 GiB);通过DROBOTICFLOW_OBJECT_SYNC_ENABLED与drosync-signing-secret启用。 - 用途:跨环境/对象存储数据同步协调器(DroSync),负责协调元数据与 BOS 对象文件的增量同步、签名校验、同步任务编排与过期清理(Mongo TTL 90天/1年,设计恢复点目标 RPO 15 分钟)。
- 对应客户功能:
- 外部数据源同步入库、跨存储桶/跨环境资产同步、同步状态巡检(客户日常界面较少直接点击,但决定新批次外部数据能否按时同步到位)。
- 依赖:
- MongoDB(集群外):记录同步游标、状态与 TTL 审计记录;
- BOS 对象存储 &
drosync-signing-secret:对象校验与传输协调。
- 资源吃紧时的典型症状:
- CPU / 内存吃紧或异常重启:新批次外部视频/资产同步延迟超过 15 分钟,上游已上传的数据在平台里搜不到;
- 发布更新时若未先更新 Coordinator 即更新 API/Worker,可能出现短暂的同步契约不一致(因此发布规范要求按 Coordinator → Worker/Processor → API 顺序滚动)。
- 常见扩容方向:
- 平时开销极低(200m/256Mi);若遇海量历史对象集中同步导致内存上涨,优先 加内存(2GiB → 4GiB),一般无需超过 2 个副本。
- 出处:
k8s/droboticflow.template.yamldocs/drosync/operations-runbook.mdlocal-data/worktrees/worktree-salvage/docs/capacity/source-index-100.mddocs/reference/poc-delivery-profile.md(WishForge 侧滚动顺序参考)
6. headpose(当前副本数:0,按需启用时占 1 GPU)
- 当前资源配置:当前副本为
0(冷备);启动时单副本需独占 1 张 NVIDIA GPU(端口8080,高容量 profilefanyu-high-capacity-v1下可配16C / 64G / 1 GPU)。 - 用途:内置 6DRepNet 头部姿态估计 AI 算子服务(
operator-builtin-head-pose/builtin_head_pose),对视频中的人物头部三维朝向进行自动预标注并生成带渲染结果。 - 对应客户功能:
- 客户在工作流中发起「6DRepNet 头部姿态自动预标(带渲染)」任务。
- 依赖:
- GPU 硬件:必须调度在具备空闲 GPU 的节点
10.189.16.33(device=cuda); - BOS /
workspacePVC:读取源视频并输出姿态预标与渲染文件; - 调用方:由
worker/ 算子工作流调度调用。
- GPU 硬件:必须调度在具备空闲 GPU 的节点
- 资源吃紧时的典型症状:
- 副本为 0 时直接调用:头部姿态预标任务一直停留在排队/等待算子就绪状态;
- GPU 被占满(节点共 2 张 GPU):若其他 GPU 任务已占满 2 张卡,Pod 处于
Pending(Insufficient nvidia.com/gpu)无法启动; - 显存/内存不足:高分辨率长视频渲染时推理中断报错。
- 常见扩容方向:
- 需要跑头部姿态预标时,由平台方将副本从 0 扩到 1;
- 受限于全集群仅
10.189.16.33有 2 张 GPU(且需与wilor或其他 GPU 算子共享这 2 张卡),严禁盲目把副本扩到 2 以上,否则必然因无 GPU 可用而卡死。
- 出处:
k8s/droboticflow.template.yamlk8s/fanyu-high-capacity.resources.yamldocs/fanyu-resource-profile.mddocs/operators/6DRepNet-HeadPose-预标-带渲染.md
7. wilor(当前副本数:0,按需启用时占 1 GPU)
- 当前资源配置:当前副本为
0(冷备);启动时单副本需独占 1 张 NVIDIA GPU(高容量 profilefanyu-high-capacity-v1下可配16C / 64G / 1 GPU;分块参数VIDEO_CHUNK_FRAMES=119 < MAX_FRAMES=120保障全视频无截断覆盖)。 - 用途:内置 WiLoR 3D 手部姿态估计 AI 算子服务(
operator-builtin-wilor-hand-pose/builtin_wilor_hand_pose),自动检测视频中的人手(detectedHands >= 1)并输出wilor-result.json等四类 3D 手部关键点预标产物。 - 对应客户功能:
- 客户在工作流中发起「WiLoR 3D 手部姿态自动预标」任务。
- 依赖:
- GPU 硬件:必须调度在节点
10.189.16.33(device=cuda,占用 1 张 GPU); - BOS /
workspacePVC:通过operator-builtin-real-source拉取视频,推理完成后由operator-builtin-upload上传四类产物。
- GPU 硬件:必须调度在节点
- 资源吃紧时的典型症状:
- 副本为 0 时:手部姿态预标任务无法执行;
- GPU 争用:当
headpose与wilor同时各开 1 副本时,2 张 GPU 刚好 100% 占满,任何第 3 个 GPU 实例或滚动重启时的临时新 Pod 都会因无卡可用而Pending; - 分块/存储压力:长视频连续分块推理时占用较多 CPU/内存与
workspace临时空间。
- 常见扩容方向:
- 按需将副本从 0 扩到 1;
- 不能在当前 2 GPU 集群上盲目加副本;若需同时跑多个 GPU 算子,必须先核对
10.189.16.33的 2 张 GPU 占用情况,错峰启停或向平台方申请新增 GPU 节点。
- 出处:
docs/operators/WiLoR-3D-HandPose-自动.mdscripts/wilor-operator-workflow-acceptance.shdocs/fanyu-resource-profile.mdk8s/fanyu-high-capacity.resources.yaml- 待确认项:
droboticflow-fanyu命名空间下wilor线上 Deployment 的独立 YAML 文件路径(k8s/droboticflow.template.yaml已内含headpose,wilor在线 Deployment 声明位置待确认)。
三、通俗解释:什么是 Requests、Limits 和「超卖」?
以下段落采用大白话编写,供 WishForge 资源监控页(R1–R3)说明气泡与客户 Copilot 直接引用。
可以把我们的服务器集群想象成一栋共享办公大楼,里面的每个服务(比如网页服务 api、视频校验服务 validator)都是入驻大楼的团队:
-
保底工位(Requests / 资源请求):
- 就是每个团队入驻时必须保证时刻留给它的专属工位。
- 比如某个服务设置了「保底 6 核 CPU」,哪怕它现在没活干闲着,大楼管理员也会把这 6 核给它留好,绝对不会把超过大楼总工位数的保底名额租出去。如果所有服务的「保底工位」加起来超过了服务器的实际大小,新服务就进不去(排不上号)。
-
最大借用上限(Limits / 资源上限):
- 就是某个团队突然来了一大批急活时,最多允许它临时借用到多少工位。
- 比如「保底 6 核、上限 8 核」,平时用 6 核,忙的时候只要大楼里还有人没坐满,它可以临时借用到 8 核;但最多只能用到 8 核,防止它把整栋楼的资源全抢光。
- 注意内存和 CPU 的区别:CPU 触碰到上限最多只是「干活变慢、排队等一等」;但内存(Memory)一旦超过上限,系统为了保护整台服务器不死机,会当场把这个服务强制重启(也就是常说的 OOM)。
-
什么是「超卖(Overcommit)」?为什么会有风险?:
- 因为大家不会每分每秒都同时忙到极点,所以所有服务的**「保底工位(Requests)」加起来虽然没超过服务器总量,但所有服务的「最大上限(Limits)」加起来往往会超过服务器的真实物理大小**——这就叫**「超卖」**。
- 平时的好处:大家错峰使用,不用买太多闲置服务器,省钱又高效。
- 什么时候会出事?:如果赶上业务高峰(比如几十个人同时上传大视频做校验、同时批量导出、同时跑 AI 算子),好几个服务在同一秒钟都想借用到自己的「最大上限」,大楼里的真实工位瞬间不够分了!这时候就会出现全员卡顿、任务超时,甚至内存不够用导致部分服务被强制重启。
- 我们的保护措施:所以系统会实时盯着每台服务器的「已承诺保底量」和「真实剩余空间」。当您或 Copilot 想要调大某个服务、或者开启 GPU 算子时,如果超过了服务器的安全余量,门禁就会及时拦住并交由平台团队统筹,确保线上业务稳稳当当。