droboticflow/docs/capacity/validator-scale-20261026.md
d-robotics 569b1693a2 🚀 Record approved validator scale-up to 16 slots and raise resident CPU budget to 48
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-26 19:09:05 +08:00

8.5 KiB
Raw Permalink Blame History

源校验 validator 扩容:100+ 人并发(2026-10-26,已批准并执行)

用户于 2026-10-26 批准本方案及常驻 CPU 预算上调到 48,并已执行,记录见文末。后续再改仍需单独批准。scripts/release.py 只覆盖 API / processor 同镜像更新,不检查也不修改 validator;本变更按 docs/release/README.md 单独审查,执行前须在紧邻部署时取得用户明确批准。

需求实测(只读,Mongo annotationIndexJobs / humanEvents,UTC 小时)

时段(北京时间) 活跃用户 新校验任务 / 小时 切片确认 / 小时
10-26 09:00 开工 30 106 115
10-26 14:00 58 101 110
10-26 15:00 67 108 116
10-26 16:00 65 76 148
10-24 15:00 20 60 63
  • 校验任务在切片确认时按需创建(每小时新任务数 ≈ 确认数),没有提前预计算。每次确认至少等待一次完整校验(p50 约 55 秒,p90 约 100 秒)。
  • 当前容量:2 槽 ≈ 2.1 个/分钟。今天 15:00 的需求约 1.8 个/分钟,利用率约 86%,排队时间迅速拉长。18:54 采样时队列已清空(0 个排队),历史 1901 个完成、2 个失败。
  • 人均需求:常态约 1.6 个/人/小时,开工高峰约 3.5 个/人/小时。

100+ 人容量估算

场景 需求 所需并发(≈需求×1 分钟) 16 槽利用率
100 人常态 160 个/小时 ≈ 2.7/分钟 2.7 ≈17%
100 人开工高峰 350 个/小时 ≈ 5.8/分钟 5.8 ≈36%
150 人开工高峰 525 个/小时 ≈ 8.8/分钟 8.8 ≈55%

按利用率 ≤ 50–60% 留出突发余量,选 16 槽:4 副本 × 每副本 4 槽(代码上限每副本 4)。在这个负载下,排队时间应接近 0,用户等待约等于单任务校验时间(约 1 分钟)。扩容不会让单任务变快,消除这 1 分钟需要改代码(见文末)。

变更内容(仅 droboticflow-annotation-validator)

项 现在 变更后
副本 2 4
每副本 ANNOTATION_INDEX_CONCURRENCY 1 4
总校验槽 2 16
requests CPU / 内存 2 / 4Gi 6 / 4Gi
limits CPU / 内存 4 / 8Gi 8 / 8Gi
nodeAffinity 无 优先 10.189.16.33(weight 100)
scratch emptyDir 20Gi 不变

取值理由:

  • CPU:每槽 1 路校验 × 2 个 ffprobe 线程,实测约 1.7 CPU/槽,4 槽约 7 CPU。limit 设为 8;request 设为 6,保证调度时预留实际用量。
  • 内存不加:实测 RSS 130–230 MiB/副本,4 槽也不到 1 GiB,8Gi 足够。
  • scratch 不加:实测 0.4–0.5 GiB/槽,4 槽约 2 GiB,远低于 20Gi。
  • 节点:10.189.16.33 可分配 54.6 CPU,当前 requests 8.3 CPU。4 副本都落在该节点时,requests 约 8.3 − 2 + 24 ≈ 30 CPU(55%)。10.189.16.5 的 limits 已超分 185%,无法放下 6 CPU request,10.189.16.4 最多放一个。用 preferred 而不用 required,是为了避免单节点故障时 validator 全部无法调度。
  • 预算:source-index-100.json 原有 36 CPU 常驻 limits 预算。validator 由 8 增至 32,合计约 48 CPU,超出原预算。集群可分配约 70 CPU,节点 requests 仍有余量,因此需要用户批准把常驻预算上调到 48 CPU,执行后同步更新 JSON 与 md。
  • 其他组件不扩:切片修订 processor 已有 16 槽,单次 0.2–2.3 秒,峰值每小时 148 次确认,远未饱和;API 4×2 CPU 实测每副本 0.1–0.2 CPU。100 人另需的 API / 视频带宽门槛见 source-index-100.md,不属于本变更。

补丁(strategic merge,按 name 合并 env,不触碰其他字段):

  • 变更:k8s/fanyu-validator-scale.patch.yaml
  • 回退:k8s/fanyu-validator-scale.rollback.patch.yaml

已用 kubectl patch --local 对线上快照离线渲染:只改变副本、亲和、ANNOTATION_INDEX_CONCURRENCY 和 CPU requests/limits;回退后与原 spec 完全一致。快照(uid 38deaddf-6801-4a8d-95c8-6e561f95b66c,resourceVersion 29531042,generation 6)及渲染结果在未跟踪的 local-data/releases/validator-scale-20261026/。

中断与兼容

  • RollingUpdate(maxSurge 0 / maxUnavailable 1):逐个替换,滚动期间少一个副本。宜在低峰期执行(18:54 采样时 13 人在线、队列为空)。
  • 被终止副本上的在途校验:优雅退出时回到队列,一分钟后重试;进程被杀时,90 秒认领租约过期后由其他副本接续。每个被中断的任务多消耗一次尝试(上限 5 次),不会丢失或重复写入源证书。
  • 不改镜像、ConfigMap、Secret、PVC、Service;不清队列、不批量重试、不开历史回填。API / processor / Worker 不动,后续 release.py 镜像发布不受影响。

执行步骤

前置(只读):context 与 namespace uid(d6a90ea7-b57d-4c52-b90b-b6c976cba076)一致;Deployment resourceVersion 仍为 29531042,否则重新快照并重新离线渲染;validator Ready 2/2;另存一份备份 YAML。

执行(经批准):

kubectl -n droboticflow-fanyu patch deploy droboticflow-annotation-validator --type strategic --patch-file k8s/fanyu-validator-scale.patch.yaml
kubectl -n droboticflow-fanyu rollout status deploy/droboticflow-annotation-validator --timeout=15m
kubectl -n droboticflow-fanyu get pods -l app=droboticflow-annotation-validator -o wide

部署后核验(只读):

  • 4/4 Ready、无重启 / OOMKilled,新 Pod 落在 10.189.16.33,日志无启动错误(annotation index concurrency must be 1..4 等)。
  • 有负载时:[annotation-validator] job= 无新增 status=failed、无 BOS 读取错误;每副本 CPU < 7.5,内存 < 2Gi,/tmp < 8Gi;source_timing p50 增幅 ≤ 30%(≤ 72 秒),排队为 0 或接近 0。
  • 任一项恶化:执行回退,或在批准后把并发降为每副本 2。
  • 业务验收(下一个工作日开工高峰):多人同时确认切片时,“等待源数据校验资源”状态应基本消失,由用户确认。Pod Ready 不等于业务验收通过。

回退

kubectl -n droboticflow-fanyu patch deploy droboticflow-annotation-validator --type strategic --patch-file k8s/fanyu-validator-scale.rollback.patch.yaml
kubectl -n droboticflow-fanyu rollout status deploy/droboticflow-annotation-validator --timeout=15m

回退会恢复 2 副本、每副本 1 槽、2/4 CPU、无亲和。源证书与队列保留,在途任务由租约接续。不要整份 apply 旧快照(会带上过期的 resourceVersion 和 status)。

未验证与风险

  • 16 路并发下的 BOS 读取与 pin 拷贝没有实测:单任务 fetch 1–6 秒、pin 5–13 秒,按 16 路估算仍在合理范围,需要用部署后的日志确认。
  • 10.189.16.33 同时运行 GPU 与导出类算子 Job,大批 Job 并发时会争用 CPU。limits 只是上限,不是独占资源。
  • 容量估算基于 10-24 与 10-26 两天的数据,人均需求可能随项目视频长度变化。
  • 扩容只消除排队,每次确认仍要等约 1 分钟。要让用户几乎不等,下一步需要改代码:在领取或打开任务时就提前排入校验(标注期间完成),并且左右目并行解码。这项改动需另行评审。

执行记录(2026-10-26 19:06 北京时间)

  • 前置只读检查:context 2c1284bae51b4bf3a2e623557844c6d6@kubernetes、namespace uid、Deployment uid 和 resourceVersion 29531042 都与快照一致;2/2 Ready、无重启;执行前 10 分钟没有校验任务,队列为空。执行前另存备份 before-20261026T190545.yaml。
  • 执行:补丁附带 resourceVersion 前置条件(期间若有他人修改会被拒绝),滚动约 2 分钟完成,generation 6→7,resourceVersion 29573013。
  • 核验:4/4 Ready、0 重启,全部落在 10.189.16.33;线上 spec 与离线渲染完全一致;镜像未变(sha256:b7655059…);启动日志正常,无 Warning/OOM 事件;API 4/4、processor 2/2、Worker 2/2 未受影响。节点 10.189.16.33 的 requests 8.3→30.3 CPU(55%),与估算一致。队列:1901 个完成、2 个历史失败、0 个排队。
  • 同步:source-index-100.json / .md 的 validator 条目与预算(budget.cpu 54 = 常驻 48 + 导出预留 6),tests/release 39 项通过。
  • 尚未验证:执行时没有负载,16 路并发下的吞吐、单任务耗时、CPU 与 BOS 表现需要在下一个工作日开工高峰(09:00 起)按上文“部署后核验”取证;业务验收由用户确认。