forked from longtao.wu/droboticflow
5.0 KiB
5.0 KiB
列表读取优化验证(2026-10-17)
本次仅本地实现和验证;未推送、提交 PR、部署、调整带宽或写入生产客户记录。
变更与兼容
- 新增标注员只读侧栏接口,一次 HTTP 返回本人任务页与关联任务进度。首屏和翻页共用;旧接口保留,客户端仅在 404/405 时回退。403/5xx 不回退。
- 批次和成员权限只在一次请求内复用;下一次请求重新读取。空页不查询全量任务,客户端不能用 IDs/pool 参数扩大范围。同任务关联多条旧记录时,以当前关联查询的顺序决定批次;不让本人页的缓存顺序覆盖它。
- 列表进度在 Mongo 选最新修订后,仅返回范围、状态和必要版本字段。人工标注排除 revision 0 和去除空白后的 system 作者,再选最新。较新草稿仍优先;历史、详情接口保留完整内容。数据库仍可能遍历同任务的历史索引,不能宣称每任务只扫描一条记录。复用现有组织/任务/修订索引,无新增迁移。
- 通用盲池移除候选任务的 batchId distinct,仅读取组织内可能属于标注员的非标注阶段元数据,随后按现有领域函数判断。保留历史别名、首个重复阶段 ID、旧批次项目不一致和其他插件规则。正常积压不展开为批次元数据;数据库仍可能扫描组织批次,自定义异常批次很多时仍会增长。
- 容量权威源同步此前已批准的 Worker 每副本 8 GiB,常驻 limit 24 CPU/60 GiB。新校验器保留协调器端口 ConfigMap 引用,拒绝缺失、重复、tcp:// 端口;本次没有改动任何线上资源。
回归和门禁
先记录新接口 404、前端仍走旧路径、缺少最新进度接口、容量模板仍为 2 GiB 以及关联记录缓存顺序的失败,再实现修复。
通过的专项覆盖:
- 新旧侧栏结果等价,角色拒绝、空页范围隔离、游标不重复、已送检视图、下一请求撤权生效。
- 前端 15 个行为用例:元数据/计数慢响应不阻塞侧栏、旧响应不能覆盖新账号/视图、404/405 回退、403/500 不回退、空页不扩大查询。
- Memory/Mongo 最新进度等价:历史多版本、其他组织、系统/零版本、作者空白规范化、完整历史仍保留。
- Memory/Mongo 盲池语义等价,全部历史阶段别名 × 配置角色组合。2.5 万普通批次中返回异常批次元数据 0 条,Mongo 命令监控确认 distinct 调用 0 次;本地查询约 44 ms(不含播种)。
- 配置计划 6 项专项测试;完整 release 测试 35 项通过。
npm run lint:web、npm run format:check、npm run build:web、Go 三组件构建通过。前端正式基线门禁 13 项失败均为已登记旧失败;Go 正式基线门禁 70 项失败均为已登记旧失败,无新增失败。相关 API/Store 并发检测(go test -race)通过。
本地 HTTP/Mongo 性能
固定本地容器 127.0.0.1:27018,每次使用独立临时库,结束后删除该测试库。100 个独立合成账号,每人 8 个任务,每任务 10 个切片/标注历史版本。测试逐项校验归属与进度,200 次并发完整侧栏读取均成功。
旧路径对照通过保留的全历史 Store 方法模拟原进度读取,并发出 mine → tasks 两次 HTTP;新路径使用合并接口和最新进度查询。测试不是旧镜像对新镜像的生产 A/B。
| 热态 p95 | 旧读取路径模拟 | 优化后 |
|---|---|---|
| 单账号(20 次) | 50.5 ms | 35.2 ms |
| 100 账号并发(两轮,共 200 次) | 1,149.5 ms | 632.3 ms |
100 并发 p95 下降约 45%,通过本地 ≤1,500 ms 且零错误门槛。此前两轮为 849.6 → 361.7 ms、979.8 → 526.0 ms;最终代码复测如表,不能把某一轮数字视为固定收益。
复现:
POOL_LOCAL_MONGO_URI=mongodb://127.0.0.1:27018 go test ./internal/store -run 'TestLatestProgressReads|TestPoolCountPredicates|TestPoolStageRoleCountAndVisibility|TestBlindAnnotationBacklogMetadataBounded' -count=1 -v
FANYU_SIDEBAR_MONGO_LOAD=1 FANYU_SIDEBAR_LOAD_REPORT=/tmp/sidebar-local-load-report.json go test ./internal/api -run '^TestAnnotationSidebar100ActorsMongoHTTP$' -count=1 -v
本地浏览器使用独立预览端口 5188/API 3018,连接快照库和既有合成演示账号;确认待处理 4 条、已送检 2 条,切换正常。连续工作开关保持手动,未领取或提交任务。既有预览服务没有停止或替换。
验收边界
本地测试排除了公网、BOS、媒体解码、生产 Mongo 距离与真实 100 浏览器。不能用本地 p95 对比此前线上 2.9 秒,或据此宣称生产最终容量验收通过。此前线上 API CPU 未出现限流,5 Mbps 入口仍可能影响冷加载;本次先减少往返和历史传输,不增加 CPU/内存。发布后仍需在批准的只读范围重测真实侧栏和资源曲线,再决定网络或 Mongo 优化。
Mongo 查询设计参考官方聚合优化文档,实际收益以本地端到端结果为准。