8.5 KiB
源校验 validator 扩容:100+ 人并发(2026-10-26,已批准并执行)
用户于 2026-10-26 批准本方案及常驻 CPU 预算上调到 48,并已执行,记录见文末。后续再改仍需单独批准。scripts/release.py 只覆盖 API / processor 同镜像更新,不检查也不修改 validator;本变更按 docs/release/README.md 单独审查,执行前须在紧邻部署时取得用户明确批准。
需求实测(只读,Mongo annotationIndexJobs / humanEvents,UTC 小时)
| 时段(北京时间) | 活跃用户 | 新校验任务 / 小时 | 切片确认 / 小时 |
|---|---|---|---|
| 10-26 09:00 开工 | 30 | 106 | 115 |
| 10-26 14:00 | 58 | 101 | 110 |
| 10-26 15:00 | 67 | 108 | 116 |
| 10-26 16:00 | 65 | 76 | 148 |
| 10-24 15:00 | 20 | 60 | 63 |
- 校验任务在切片确认时按需创建(每小时新任务数 ≈ 确认数),没有提前预计算。每次确认至少等待一次完整校验(p50 约 55 秒,p90 约 100 秒)。
- 当前容量:2 槽 ≈ 2.1 个/分钟。今天 15:00 的需求约 1.8 个/分钟,利用率约 86%,排队时间迅速拉长。18:54 采样时队列已清空(0 个排队),历史 1901 个完成、2 个失败。
- 人均需求:常态约 1.6 个/人/小时,开工高峰约 3.5 个/人/小时。
100+ 人容量估算
| 场景 | 需求 | 所需并发(≈需求×1 分钟) | 16 槽利用率 |
|---|---|---|---|
| 100 人常态 | 160 个/小时 ≈ 2.7/分钟 | 2.7 | ≈17% |
| 100 人开工高峰 | 350 个/小时 ≈ 5.8/分钟 | 5.8 | ≈36% |
| 150 人开工高峰 | 525 个/小时 ≈ 8.8/分钟 | 8.8 | ≈55% |
按利用率 ≤ 50–60% 留出突发余量,选 16 槽:4 副本 × 每副本 4 槽(代码上限每副本 4)。在这个负载下,排队时间应接近 0,用户等待约等于单任务校验时间(约 1 分钟)。扩容不会让单任务变快,消除这 1 分钟需要改代码(见文末)。
变更内容(仅 droboticflow-annotation-validator)
| 项 | 现在 | 变更后 |
|---|---|---|
| 副本 | 2 | 4 |
每副本 ANNOTATION_INDEX_CONCURRENCY |
1 | 4 |
| 总校验槽 | 2 | 16 |
| requests CPU / 内存 | 2 / 4Gi | 6 / 4Gi |
| limits CPU / 内存 | 4 / 8Gi | 8 / 8Gi |
| nodeAffinity | 无 | 优先 10.189.16.33(weight 100) |
| scratch emptyDir | 20Gi | 不变 |
取值理由:
- CPU:每槽 1 路校验 × 2 个 ffprobe 线程,实测约 1.7 CPU/槽,4 槽约 7 CPU。limit 设为 8;request 设为 6,保证调度时预留实际用量。
- 内存不加:实测 RSS 130–230 MiB/副本,4 槽也不到 1 GiB,8Gi 足够。
- scratch 不加:实测 0.4–0.5 GiB/槽,4 槽约 2 GiB,远低于 20Gi。
- 节点:
10.189.16.33可分配 54.6 CPU,当前 requests 8.3 CPU。4 副本都落在该节点时,requests 约 8.3 − 2 + 24 ≈ 30 CPU(55%)。10.189.16.5的 limits 已超分 185%,无法放下 6 CPU request,10.189.16.4最多放一个。用preferred而不用required,是为了避免单节点故障时 validator 全部无法调度。 - 预算:
source-index-100.json原有 36 CPU 常驻 limits 预算。validator 由 8 增至 32,合计约 48 CPU,超出原预算。集群可分配约 70 CPU,节点 requests 仍有余量,因此需要用户批准把常驻预算上调到 48 CPU,执行后同步更新 JSON 与 md。 - 其他组件不扩:切片修订 processor 已有 16 槽,单次 0.2–2.3 秒,峰值每小时 148 次确认,远未饱和;API 4×2 CPU 实测每副本 0.1–0.2 CPU。100 人另需的 API / 视频带宽门槛见
source-index-100.md,不属于本变更。
补丁(strategic merge,按 name 合并 env,不触碰其他字段):
- 变更:
k8s/fanyu-validator-scale.patch.yaml - 回退:
k8s/fanyu-validator-scale.rollback.patch.yaml
已用 kubectl patch --local 对线上快照离线渲染:只改变副本、亲和、ANNOTATION_INDEX_CONCURRENCY 和 CPU requests/limits;回退后与原 spec 完全一致。快照(uid 38deaddf-6801-4a8d-95c8-6e561f95b66c,resourceVersion 29531042,generation 6)及渲染结果在未跟踪的 local-data/releases/validator-scale-20261026/。
中断与兼容
- RollingUpdate(maxSurge 0 / maxUnavailable 1):逐个替换,滚动期间少一个副本。宜在低峰期执行(18:54 采样时 13 人在线、队列为空)。
- 被终止副本上的在途校验:优雅退出时回到队列,一分钟后重试;进程被杀时,90 秒认领租约过期后由其他副本接续。每个被中断的任务多消耗一次尝试(上限 5 次),不会丢失或重复写入源证书。
- 不改镜像、ConfigMap、Secret、PVC、Service;不清队列、不批量重试、不开历史回填。API / processor / Worker 不动,后续
release.py镜像发布不受影响。
执行步骤
前置(只读):context 与 namespace uid(d6a90ea7-b57d-4c52-b90b-b6c976cba076)一致;Deployment resourceVersion 仍为 29531042,否则重新快照并重新离线渲染;validator Ready 2/2;另存一份备份 YAML。
执行(经批准):
kubectl -n droboticflow-fanyu patch deploy droboticflow-annotation-validator --type strategic --patch-file k8s/fanyu-validator-scale.patch.yaml
kubectl -n droboticflow-fanyu rollout status deploy/droboticflow-annotation-validator --timeout=15m
kubectl -n droboticflow-fanyu get pods -l app=droboticflow-annotation-validator -o wide
部署后核验(只读):
- 4/4 Ready、无重启 / OOMKilled,新 Pod 落在
10.189.16.33,日志无启动错误(annotation index concurrency must be 1..4等)。 - 有负载时:
[annotation-validator] job=无新增status=failed、无 BOS 读取错误;每副本 CPU < 7.5,内存 < 2Gi,/tmp< 8Gi;source_timingp50 增幅 ≤ 30%(≤ 72 秒),排队为 0 或接近 0。 - 任一项恶化:执行回退,或在批准后把并发降为每副本 2。
- 业务验收(下一个工作日开工高峰):多人同时确认切片时,“等待源数据校验资源”状态应基本消失,由用户确认。Pod Ready 不等于业务验收通过。
回退
kubectl -n droboticflow-fanyu patch deploy droboticflow-annotation-validator --type strategic --patch-file k8s/fanyu-validator-scale.rollback.patch.yaml
kubectl -n droboticflow-fanyu rollout status deploy/droboticflow-annotation-validator --timeout=15m
回退会恢复 2 副本、每副本 1 槽、2/4 CPU、无亲和。源证书与队列保留,在途任务由租约接续。不要整份 apply 旧快照(会带上过期的 resourceVersion 和 status)。
未验证与风险
- 16 路并发下的 BOS 读取与 pin 拷贝没有实测:单任务 fetch 1–6 秒、pin 5–13 秒,按 16 路估算仍在合理范围,需要用部署后的日志确认。
10.189.16.33同时运行 GPU 与导出类算子 Job,大批 Job 并发时会争用 CPU。limits 只是上限,不是独占资源。- 容量估算基于 10-24 与 10-26 两天的数据,人均需求可能随项目视频长度变化。
- 扩容只消除排队,每次确认仍要等约 1 分钟。要让用户几乎不等,下一步需要改代码:在领取或打开任务时就提前排入校验(标注期间完成),并且左右目并行解码。这项改动需另行评审。
执行记录(2026-10-26 19:06 北京时间)
- 前置只读检查:context
2c1284bae51b4bf3a2e623557844c6d6@kubernetes、namespace uid、Deployment uid 和 resourceVersion29531042都与快照一致;2/2 Ready、无重启;执行前 10 分钟没有校验任务,队列为空。执行前另存备份before-20261026T190545.yaml。 - 执行:补丁附带
resourceVersion前置条件(期间若有他人修改会被拒绝),滚动约 2 分钟完成,generation 6→7,resourceVersion29573013。 - 核验:4/4 Ready、0 重启,全部落在
10.189.16.33;线上 spec 与离线渲染完全一致;镜像未变(sha256:b7655059…);启动日志正常,无 Warning/OOM 事件;API 4/4、processor 2/2、Worker 2/2 未受影响。节点10.189.16.33的 requests 8.3→30.3 CPU(55%),与估算一致。队列:1901 个完成、2 个历史失败、0 个排队。 - 同步:
source-index-100.json/.md的 validator 条目与预算(budget.cpu54 = 常驻 48 + 导出预留 6),tests/release39 项通过。 - 尚未验证:执行时没有负载,16 路并发下的吞吐、单任务耗时、CPU 与 BOS 表现需要在下一个工作日开工高峰(09:00 起)按上文“部署后核验”取证;业务验收由用户确认。