5.8 KiB
源引用切片:100 人容量基线
2026-10-17 已按批准计划将 ba6c46cf 部署到 Fanyu,并完成线上只读就绪核验。100 人本地保存门槛已通过,尚未进行生产 100 浏览器最终容量验收。Worker 随后按批准修正恢复每副本 8 GiB;本文及 JSON 为修正后的基线,未来变更仍需单独授权。
资源与并行
预算按 54 CPU(常驻 48 + 导出预留 6,2026-10-26 经用户批准由 36 上调)、120,000,000,000 字节计算。配置权威源为 source-index-100.json。
| 组件 | 副本 × 单副本 limit | 总上限 | 用途 |
|---|---|---|---|
| API | 4 × 2 CPU / 4 GiB | 8 CPU / 16 GiB | 登录、列表、保存、任务状态 |
| 切片修订 | 2 × 2 CPU / 4 GiB | 4 CPU / 8 GiB | 每副本 8 路,共 16 路 JSON 修订 |
| 独立源校验 | 4 × 8 CPU / 8 GiB | 32 CPU / 32 GiB | 每副本 4 路完整校验,共 16 路(2026-10-26 扩容,见 validator-scale-20261026.md) |
| Worker | 2 × 1 CPU / 8 GiB | 2 CPU / 16 GiB | 调度、交付发布 |
| Coordinator | 2 × 1 CPU / 2 GiB | 2 CPU / 4 GiB | 同步协调 |
| 常驻合计 | 48 CPU / 76 GiB | ||
| 旧媒体导出规划预留 | 6 CPU / 12 GiB | 独立 Job;尚非强制准入上限 |
CPU 无余量,内存余约 25.5 GB。各算子 Job 的资源单独定义;该表不是命名空间配额,也不代表已有 GPU/normalize/export Jobs 已受 36 CPU 总限额约束。未改变它们的配置。
提高切片并行只针对完成源校验后的轻量修订。冷源排入独立验证队列,不能把 16 路全部用于解码。更多副本不解除 Mongo 项目写锁,也不增加外部 Mongo、BOS 或客户端网络容量。
已测与阻断
2026-10-17,本地 Mongo 27018 的独立临时库、100 个身份/任务、4 个 API handler、2 × 8 个处理槽:100/100 完成。15 分钟索引量级,短小合成视频用来避免把本地解码当作服务器能力。
| 指标 | p95 |
|---|---|
| 单任务状态查询 | 360 ms |
| 个人任务池 | 443 ms |
| 草稿保存 | 2,024 ms |
| 切片确认受理 | 2,128 ms |
| 异步处理状态查询 | 52 ms |
旧锁完成时间 p95 约 5.2 秒,包含每 2 秒轮询的观测延迟。保存门槛为 p95 ≤ 750 ms;首轮因为同项目写锁串行而未通过。用户随后授权本地实施分区写入,结果如下:
| 指标 | 旧项目锁 | 分区第 1 轮 | 分区第 2 轮 |
|---|---|---|---|
| 成功完成 | 100/100 | 100/100 | 100/100 |
| 草稿保存 p95 | 2,024 ms | 389 ms | 308 ms |
| 确认受理 p95 | 2,128 ms | 591 ms | 655 ms |
两轮保存门槛均通过。程序默认仍为旧协议,Fanyu 已按两阶段门禁启用分区模式;删除、撤权、宕机及混用约束见 ADR 0011。第一次仅放开少量集合时出现 91/100 完成的回归,已通过核对普通写入集合修复,不能复用那个中间版本。
线上仍需测真实 100 浏览器、HEVC 双目解码/跳帧、BOS 带宽、Mongo 延迟及高峰恢复。已审计源的双目约 2.6–4.6 Mbps/人,100 人约 260–460 Mbps 从 BOS 到客户端;不经过 API 不代表无带宽瓶颈。
变更与上线顺序
-
本地完成兼容性、恢复、交付、权限回归和性能门槛;保留所有未通过项。
-
构建并证明候选 commit 对应 API/processor、Worker、Coordinator 与独立 package 镜像摘要。全部组件支持新协议、源开关仍关闭;所有 Mongo 写入进程先启用
barrier协议。已初始化的 Fanyu 库在核对索引兼容后,为全部五类进程显式设置
DROBOTICFLOW_DATABASE_BOOTSTRAP=verify-existing。Coordinator 现已支持该模式,仅读取默认组织检查;其默认/migrate行为仍与历史一致,不新增默认组织。容量工具为新 validator 只输出一条 bootstrap 配置,避免重复环境变量;同时保留处理器的显式DROSYNC_COORDINATOR_PORTConfigMap 引用,拒绝缺失、重复或tcp://服务注入值。首次部署中该引用缺失导致启动失败,已按用户授权补齐,配置模板也已修正。 -
现有
scripts/release.py仅支持 API/processor 镜像更新,保留原副本和配置。使用其 prepare/check/plan 流程;不得以此工具的旧单处理器策略冒充新资源计划通过。 -
独立审查 Worker/Coordinator/package 更新、validator 新建和本表资源/config 变更。使用
scripts/source_index_capacity_plan.py从只读 Deployment 快照生成候选补丁;工具只写本地文件,不调用集群。默认生成barrier阶段,检查镜像、候选 commit、100 人保存门槛;--lock-stage striped还检查全部五个 Deployment 的桥接模式与滚动更新完成状态。另行清点旧 Pods、Jobs、CronJobs、外部脚本等写入者,确认后才可开启分区并行。 -
确认交付模式:目录保留物理舍弃排除契约;JSON v2 须另行批准下游读取完整源及范围协议,并显式开启新交付开关。未确认前不启用源修订。
-
核对集群/context/namespace UID、在途任务和回退策略,展示包含源副本存储成本的最终计划;取得紧邻部署的用户授权后执行。生产核验默认只读。
回退遵循 ADR 0010:已有源修订必须保留新版本读者及兼容 package。禁止删除固定源、丢弃在途任务,或直接将所有组件退到旧协议。
列表读取优化(本地,待发布)
2026-10-17 增加标注员侧栏合并读取,进度只返回最新有效修订的统计字段,通用盲池不再展开普通批次元数据。CPU/内存基线不增加,不修改并发槽、源修订和交付行为。验收方法与结果见 列表读取验证。线上 5 Mbps 入口带宽不在本次变更范围;本地查询提升不能替代公网及媒体并发验收。