📐 Plan staged validator scale-up with offline-rendered patches and rollback

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
d-robotics 2026-10-26 17:43:43 +08:00
parent 13d104ced6
commit b3fd08a5f6
5 changed files with 135 additions and 1 deletions

View File

@ -65,4 +65,4 @@
- 源校验(validator,2 副本 × `ANNOTATION_INDEX_CONCURRENCY=1`,4 CPU / 8 GiB):上线后 42 分钟两副本无空档连续处理,共 90 个任务(约 2.1 个/分钟);单任务 p50 约 55 秒、p90 约 87–103 秒、最大 110 秒,其中 `media_clock`(逐帧解码)约占 75–80%,`pin` 5–13 秒,`fetch` 1–6 秒。运行中的副本约 1.7 CPU,未触顶 4 CPU 上限。队列饱和,等待时间随同时开新任务的人数线性累积。
- 节点:`10.189.16.33` 可分配 54.6 CPU / 208 GiB,requests 仅 15%;`10.189.16.5`(7.8 CPU)limits 已超分 185%,其中一台 validator 在该节点。
据此,增加资源应投向 validator,而不是 processor 或 API。建议候选(未执行,需单独批准):validator 副本 2→3、每副本 `ANNOTATION_INDEX_CONCURRENCY` 1→2(总槽 2→6),每副本 limits 4→8 CPU / 8→16 GiB、requests 2→4 CPU / 4→8 GiB,scratch emptyDir 20→40 GiB,并以 nodeAffinity 固定到 `10.189.16.33`。回滚:恢复原 Deployment 规格,队列与已固定证书由租约恢复接续。
据此,增加资源应投向 validator,而不是 processor 或 API。分阶段扩容方案见 [validator-scale-20261026.md](validator-scale-20261026.md)(未执行,需单独批准)。

View File

@ -0,0 +1,98 @@
# 源校验 validator 扩容计划(2026-10-26,待批准,未执行)
本文是独立配置变更方案,不是部署授权。`scripts/release.py` 只覆盖 API / processor 同镜像更新,不检查也不修改 validator;本变更按 `docs/release/README.md` 走单独审查。执行前必须在紧邻部署时取得用户对**该阶段**的明确批准。
## 目标与依据
多人同时打开新任务时,切片等待来自源校验排队,而不是切片生成(证据见 `review-runtime-20261026.md` 的“发布后只读采样”):
| 项 | 实测(`025896ae` 上线后 42 分钟) |
| --- | --- |
| 总校验槽 | 2(2 副本 × `ANNOTATION_INDEX_CONCURRENCY=1`) |
| 两副本状态 | 无空档连续处理,队列饱和 |
| 吞吐 | 90 个 / 42 分钟 ≈ 2.1 个/分钟 |
| 单任务耗时 | p50 ≈ 55 秒,p90 ≈ 87–103 秒,最大 110 秒;逐帧解码约占 75–80% |
| 单副本 CPU / 内存 | 约 1.7 CPU(1 槽 × 2 解码线程)/ 130–230 MiB |
| `/tmp` scratch | 381–525 MiB(上限 20 GiB) |
| 切片生成 processor | `queue_ms=0`,0.2–2.3 秒,不扩 |
目标:总槽 2 → 6,吞吐预期约 2.5–3 倍(不保证线性,受 BOS 读取与节点争用影响)。校验内容、源证书格式、任务状态与租约协议均不变。
## 变更内容(仅 `droboticflow-annotation-validator`)
| 项 | 现在 | 阶段 A | 阶段 B |
| --- | --- | --- | --- |
| 副本 | 2 | 2 | **3** |
| 每副本 `ANNOTATION_INDEX_CONCURRENCY` | 1 | **2** | 2 |
| 总校验槽 | 2 | 4 | 6 |
| requests CPU / 内存 | 2 / 4Gi | **3** / 4Gi | 3 / 4Gi |
| limits CPU / 内存 | 4 / 8Gi | **6** / 8Gi | 6 / 8Gi |
| nodeAffinity | 无 | **优先** `10.189.16.33`(weight 100) | 同 A |
| scratch emptyDir | 20Gi | 不变 | 不变 |
取值理由:
- **CPU 6**:每槽约 1.7 CPU,2 槽约 3.5 CPU,留出 BOS 拷贝与 Go 运行余量;4 CPU 会在 2 槽时被限流。
- **内存不加**:实测 RSS 不到 0.25 GiB,8Gi 已远超需求。(之前口头建议的 16Gi 依据不足,已撤回。)
- **scratch 不加**:实测峰值约 0.5 GiB/副本,2 槽约 1 GiB,20Gi 足够。
- **优先而非强制亲和**:`10.189.16.33` 可分配 54.6 CPU,requests 仅 15%;`10.189.16.5` 的 limits 已超分 185%,现有一台 validator 在其上。用 `required` 会让唯一节点故障时 validator 全部无法调度,所以用 `preferred`。
- **预算**:`source-index-100.json` 常驻 limits 预算 36 CPU,当前 24 CPU;validator 由 2×4=8 增至 3×6=18,合计 34 CPU,仍在预算内。若 3 副本都落在 `.33`,该节点 requests 约 8.3−2+9 ≈ 15.3 / 54.6 CPU(28%)。
补丁文件(strategic merge,按 `name` 合并 env,不触碰其他字段):
- `k8s/fanyu-validator-scale.stage-a.patch.yaml`
- `k8s/fanyu-validator-scale.stage-b.patch.yaml`
- `k8s/fanyu-validator-scale.rollback.patch.yaml`
已用 `kubectl patch --local` 对线上快照离线渲染:before→B 只变更副本、亲和、`ANNOTATION_INDEX_CONCURRENCY`、CPU requests/limits;B→回退与原 spec 完全一致。快照与渲染结果在未跟踪的 `local-data/releases/validator-scale-20261026/`(快照时 Deployment uid `38deaddf-6801-4a8d-95c8-6e561f95b66c`,resourceVersion `29531042`,generation 6)。
## 中断与兼容
- 部署策略为 RollingUpdate(maxSurge 0 / maxUnavailable 1):滚动期间少一个副本,容量会短暂低于现在。宜选在低峰期。
- 被终止副本上的在途校验:优雅退出时任务回到队列,一分钟后重试;进程被直接杀掉时,90 秒认领租约过期后由其他副本接续。每个被中断的任务多消耗一次尝试(上限 5 次),不会丢失或重复写入源证书。
- 不改镜像、ConfigMap、Secret、PVC、Service;不清队列、不批量重试、不开启历史回填。API / processor / Worker 不动,后续 `release.py` 镜像发布不受影响(它不检查 validator)。
## 执行步骤(每个阶段单独批准)
前置(只读):
1. `kubectl config current-context` 和 namespace uid 与本文一致(`d6a90ea7-b57d-4c52-b90b-b6c976cba076`);Deployment `resourceVersion` 仍为快照值,否则重新快照并重做离线渲染。
2. 确认 validator Ready 2/2、无重启;重新备份:`kubectl -n droboticflow-fanyu get deploy droboticflow-annotation-validator -o yaml > local-data/releases/validator-scale-20261026/before-<时间>.yaml`。
阶段 A(经批准后执行):
```bash
kubectl -n droboticflow-fanyu patch deploy droboticflow-annotation-validator --type strategic --patch-file k8s/fanyu-validator-scale.stage-a.patch.yaml
kubectl -n droboticflow-fanyu rollout status deploy/droboticflow-annotation-validator --timeout=10m
```
阶段 A 观察门槛(≥30 分钟,并且需要有真实排队负载):
- 无 CrashLoop / OOMKilled / 重启,`/ready` 正常。
- `[annotation-validator] job=` 日志中没有新增 `status=failed`,没有出现 BOS 读取错误。
- 每副本 CPU < 5.5(`kubectl top pods`),内存 < 2Gi,`/tmp` < 5Gi。
- 吞吐 ≥ 1.6 倍基线(≥ 3.4 个/分钟),单任务 `source_timing` p50 增幅 ≤ 30%(≤ 72 秒)。
- 任一项不满足:停止,执行回退。
阶段 B(经批准后执行):
```bash
kubectl -n droboticflow-fanyu patch deploy droboticflow-annotation-validator --type strategic --patch-file k8s/fanyu-validator-scale.stage-b.patch.yaml
kubectl -n droboticflow-fanyu rollout status deploy/droboticflow-annotation-validator --timeout=10m
kubectl -n droboticflow-fanyu get pods -l app=droboticflow-annotation-validator -o wide # 确认新副本落点
```
观察门槛同阶段 A,吞吐目标 ≥ 2.4 倍基线(≥ 5 个/分钟)。
收尾(门槛通过后):
- 把 `docs/capacity/source-index-100.json` / `.md` 中 validator 的条目更新为新值,避免后续按基线渲染时被改回;在 `review-runtime-20261026.md` 记录实测结果。
- 业务验收:多名标注员同时打开新任务时的“等待源数据校验资源”时长,由用户确认。Pod Ready 不等于验收通过。
## 回退
任何阶段都可以执行:
```bash
kubectl -n droboticflow-fanyu patch deploy droboticflow-annotation-validator --type strategic --patch-file k8s/fanyu-validator-scale.rollback.patch.yaml
kubectl -n droboticflow-fanyu rollout status deploy/droboticflow-annotation-validator --timeout=10m
```
回退会恢复 2 副本、每副本 1 槽、2/4 CPU、无亲和。已固定的源证书与队列保留,在途任务由租约恢复接续。如果补丁失败,用备份 YAML 对照手工恢复同样四个字段;不要整份 `apply` 旧快照(会带上过期的 resourceVersion 和 status)。
## 未验证与风险
- 没有读取 Mongo 的队列深度,"饱和"是根据两副本无空档推断的;高峰时的排队长度未知。
- 最慢冷源、大文件的 scratch 峰值与 BOS 带宽没有在 2 槽/副本下实测,阶段 A 观察就是为了取得这项证据。
- `10.189.16.33` 也是 GPU 算子 Job 的节点,大批 GPU / 导出 Job 同时运行时会争用 CPU。limits 只是上限,不是独占资源。
- 增加槽数只缩短排队时间,单个任务仍需约 1 分钟。进一步缩短单任务耗时(左右目并行解码、按正在等待的任务优先)属于代码变更,需另行评审。

View File

@ -0,0 +1,13 @@
# Restores the 2026-10-26 pre-change validator spec (2 x 1 slot, 4 CPU / 8 GiB, no affinity).
spec:
replicas: 2
template:
spec:
affinity: null
containers:
- name: processor
env:
- {name: ANNOTATION_INDEX_CONCURRENCY, value: "1"}
resources:
requests: {cpu: "2", memory: 4Gi}
limits: {cpu: "4", memory: 8Gi}

View File

@ -0,0 +1,20 @@
# Stage A (strategic merge, droboticflow-annotation-validator only).
# Two validation slots per replica; CPU sized for 2 slots x 2 ffprobe threads.
# Memory unchanged: live RSS is 130-230 MiB. See docs/capacity/validator-scale-20261026.md.
spec:
template:
spec:
affinity:
nodeAffinity:
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 100
preference:
matchExpressions:
- {key: kubernetes.io/hostname, operator: In, values: ["10.189.16.33"]}
containers:
- name: processor
env:
- {name: ANNOTATION_INDEX_CONCURRENCY, value: "2"}
resources:
requests: {cpu: "3", memory: 4Gi}
limits: {cpu: "6", memory: 8Gi}

View File

@ -0,0 +1,3 @@
# Stage B: only after Stage A passes its observation gate. Total slots 4 -> 6.
spec:
replicas: 3