⚡ 集成连续作业、源索引切片与列表性能优化(10/16–10/17) #51

Closed
zhanghongming wants to merge 16 commits from codex/platform-tuning-recovery-20261016 into codex/oct15-feedback-pr-20261015
Collaborator

Summary

补齐 #49 / #50 之后的 16 个提交(2b81adf2 → ad47b733),将最近已完成、已部署的修复纳入评审。本 PR 目标为 codex/oct15-feedback-pr-20261015:先合入本 PR,再通过 #49 合入 dev。

个人任务池 → 记住手动/连续模式 → 按明确选择接续任务
返工编辑 → 当前切片用途为准 → 保留动作草稿、撤销及审核上下文
源校验队列 → 固定原始双目视频/PTS/IMU → JSON 修订 → 兼容交付
普通保存 → 项目记录分区锁;删除/授权变更 → 全分区屏障
侧栏 → 已授权任务 ID → 最新进度投影/并行读取
盲领取 → Mongo 8.0.17 正向范围索引查询 → 原有领域权限判断
  • 修复恢复切片后再次舍弃、动作草稿覆盖、历史保存恢复及当前返工与历史审查混淆;播放器遥测补齐会话 CSRF 头。
  • 连续工作由个人任务池旁的总开关控制并保留选择;手动模式不自动补领。调整专注页头部,待处理与已送检分开读取。
  • 引入有开关保护的源引用修订、独立持久校验队列、源版本证书及恢复路径;首用仍完整验证并固定源,后续修订写 JSON。保留历史物理修订和原目录交付格式;新的源索引交付协议仍需双开关授权。
  • 普通项目写入按记录分区并行,删除与授权变更保持独占;提供 legacy → barrier → striped 兼容升级和验证工具。
  • 侧栏合并接口、请求内元数据复用、最新进度精简投影;独立进度读取并行。为 Mongo 8.0.17 增加正向范围/null 历史兼容查询,继续由原领域规则决定权限。

Evidence

  • Before: 公共盲领取列表仍扫描约 2.24 万个批次,生产单次响应约 5.96 秒。最初候选在本地 Mongo 8.0.32 通过,但生产 8.0.17-r1 门禁失败,未部署该候选。
    After: 已在官方 Mongo 8.0.17 复现并修复;生产只读 explain 为 0 文档 / 24 个索引键,部署 ad47b733 后同一公共列表单次约 340 毫秒。
  • 832 组缺失/null/空值/未知阶段与角色组合,有无索引均保持准确可见性;Mongo 8.0.17 与 8.0.32 回归通过。本地 100 独立合成账号、200 次 HTTP 读取全部成功,p95 约 479 毫秒,包含 2.5 万批次与历史修订量级。
  • 本地撤销/重做、舍弃恢复、空轨道防护、切分确认/送检和持久恢复重点回归、并发竞态检查通过。Go/前端基线门禁无新增失败,仍有 70 项 Go / 13 项前端历史失败,不代表全套测试零失败。
  • Fanyu 当前 API 与切片处理器为 ad47b733,镜像摘要 e2da1d3e95f98e8231a08bce5719c7fea6ea81e388c271e8ab2835670bea446e。12 个核心 Pod 就绪;观察到 0 重启、0 OOM、API 无 CPU 限流。公网版本 8/8 命中新版,标注前端文件哈希匹配。
  • 三个现有角色身份、角色拒绝、质检/验收列表、领取计数、空项目防展开、新旧列表一致性与已送检视图通过。线上 100 并发 200/200 成功,但侧栏 p95 仍约 3.07 秒,未达到完整低延迟目标。前后采样不是受控 A/B 测试。
  • 线上验证只读,未领取、保存、送检或审核客户任务;不是 100 个真实独立用户的完整工作流/媒体验收。实际视频/BOS、交付输出和完整五角色矩阵仍未在线验收。

详见 ADR 0010、ADR 0011、列表优化与生产门禁记录。

Merge Danger

Door: two-way(应用补丁可回退;源协议与锁模式有分阶段回退约束)

Blast Radius: production

  • 新源修订协议和分区写锁要求先升级全部相关 API/处理器/校验器/Worker/Coordinator/package 读写者,再按 ADR 门禁启用;不能只更 API,legacy 写入者不能与 striped 混用。
  • 产生源索引修订后不能直接回退至不识别协议的旧二进制。保留兼容读者、持久任务和固定源对象,不覆盖客户数据。
  • Fanyu 已按单独批准计划创建 blind_annotation_stage_exceptions 非唯一索引,旧索引全部保留。本次应用更新未重复 DDL;verify-existing 不自动补建索引,其他环境需另行评审安装。缺索引仍保持结果兼容,但可能慢。
  • 生产现有 24 核 / 60 GiB、4 API、16 修订槽、2 校验槽;Worker 每副本 8 GiB。容量规划文件不能作为覆盖生产现状的直接 apply 清单;本 PR 不自动改集群配置。
  • API/处理器回退到上一兼容版 3353f759 可保留新增索引;部署及进一步配置/数据库操作仍需单独批准。此次只提交 PR,不自动合并或重新部署。
## Summary 补齐 #49 / #50 之后的 16 个提交(2b81adf2 → ad47b733),将最近已完成、已部署的修复纳入评审。本 PR 目标为 codex/oct15-feedback-pr-20261015:先合入本 PR,再通过 #49 合入 dev。 个人任务池 → 记住手动/连续模式 → 按明确选择接续任务 返工编辑 → 当前切片用途为准 → 保留动作草稿、撤销及审核上下文 源校验队列 → 固定原始双目视频/PTS/IMU → JSON 修订 → 兼容交付 普通保存 → 项目记录分区锁;删除/授权变更 → 全分区屏障 侧栏 → 已授权任务 ID → 最新进度投影/并行读取 盲领取 → Mongo 8.0.17 正向范围索引查询 → 原有领域权限判断 - 修复恢复切片后再次舍弃、动作草稿覆盖、历史保存恢复及当前返工与历史审查混淆;播放器遥测补齐会话 CSRF 头。 - 连续工作由个人任务池旁的总开关控制并保留选择;手动模式不自动补领。调整专注页头部,待处理与已送检分开读取。 - 引入有开关保护的源引用修订、独立持久校验队列、源版本证书及恢复路径;首用仍完整验证并固定源,后续修订写 JSON。保留历史物理修订和原目录交付格式;新的源索引交付协议仍需双开关授权。 - 普通项目写入按记录分区并行,删除与授权变更保持独占;提供 legacy → barrier → striped 兼容升级和验证工具。 - 侧栏合并接口、请求内元数据复用、最新进度精简投影;独立进度读取并行。为 Mongo 8.0.17 增加正向范围/null 历史兼容查询,继续由原领域规则决定权限。 ## Evidence - **Before:** 公共盲领取列表仍扫描约 2.24 万个批次,生产单次响应约 **5.96 秒**。最初候选在本地 Mongo 8.0.32 通过,但生产 8.0.17-r1 门禁失败,未部署该候选。 **After:** 已在官方 Mongo 8.0.17 复现并修复;生产只读 explain 为 **0 文档 / 24 个索引键**,部署 ad47b733 后同一公共列表单次约 **340 毫秒**。 - 832 组缺失/null/空值/未知阶段与角色组合,有无索引均保持准确可见性;Mongo 8.0.17 与 8.0.32 回归通过。本地 100 独立合成账号、200 次 HTTP 读取全部成功,p95 约 **479 毫秒**,包含 2.5 万批次与历史修订量级。 - 本地撤销/重做、舍弃恢复、空轨道防护、切分确认/送检和持久恢复重点回归、并发竞态检查通过。Go/前端基线门禁无新增失败,仍有 **70 项 Go / 13 项前端历史失败**,不代表全套测试零失败。 - Fanyu 当前 API 与切片处理器为 **ad47b733**,镜像摘要 e2da1d3e95f98e8231a08bce5719c7fea6ea81e388c271e8ab2835670bea446e。12 个核心 Pod 就绪;观察到 0 重启、0 OOM、API 无 CPU 限流。公网版本 8/8 命中新版,标注前端文件哈希匹配。 - 三个现有角色身份、角色拒绝、质检/验收列表、领取计数、空项目防展开、新旧列表一致性与已送检视图通过。线上 100 并发 **200/200 成功,但侧栏 p95 仍约 3.07 秒**,未达到完整低延迟目标。前后采样不是受控 A/B 测试。 - 线上验证只读,未领取、保存、送检或审核客户任务;不是 100 个真实独立用户的完整工作流/媒体验收。实际视频/BOS、交付输出和完整五角色矩阵仍未在线验收。 详见 [ADR 0010](https://gitea.d-robotics.cc/longtao.wu/droboticflow/src/commit/ad47b733e2da5a8d1079f29ee06b8614293b589f/docs/adr/0010-source-backed-slice-revisions.md)、[ADR 0011](https://gitea.d-robotics.cc/longtao.wu/droboticflow/src/commit/ad47b733e2da5a8d1079f29ee06b8614293b589f/docs/adr/0011-project-record-write-stripes.md)、[列表优化与生产门禁记录](https://gitea.d-robotics.cc/longtao.wu/droboticflow/src/commit/ad47b733e2da5a8d1079f29ee06b8614293b589f/docs/performance/annotation-list-stage-index-20261017.md)。 ## Merge Danger **Door:** two-way(应用补丁可回退;源协议与锁模式有分阶段回退约束) **Blast Radius:** production - 新源修订协议和分区写锁要求先升级全部相关 API/处理器/校验器/Worker/Coordinator/package 读写者,再按 ADR 门禁启用;不能只更 API,legacy 写入者不能与 striped 混用。 - 产生源索引修订后不能直接回退至不识别协议的旧二进制。保留兼容读者、持久任务和固定源对象,不覆盖客户数据。 - Fanyu 已按单独批准计划创建 blind_annotation_stage_exceptions 非唯一索引,旧索引全部保留。本次应用更新未重复 DDL;verify-existing 不自动补建索引,其他环境需另行评审安装。缺索引仍保持结果兼容,但可能慢。 - 生产现有 **24 核 / 60 GiB**、4 API、16 修订槽、2 校验槽;Worker 每副本 8 GiB。容量规划文件不能作为覆盖生产现状的直接 apply 清单;本 PR 不自动改集群配置。 - API/处理器回退到上一兼容版 3353f759 可保留新增索引;部署及进一步配置/数据库操作仍需单独批准。此次只提交 PR,不自动合并或重新部署。
zhanghongming added 16 commits 2026-10-17 22:12:38 +08:00
🎨 Give focused task controls a separate header row
Some checks failed
web-ci / checks (push) Has been cancelled
470b171355
🐛 Recover annotation saves and separate pending task views
Some checks are pending
web-ci / checks (push) Waiting to run
9289a95d04
⚡ Parallelize project saves while fencing scope mutations
Some checks are pending
web-ci / checks (push) Waiting to run
94a840c2ad
Same-project saves queued behind one project lock. Add default-off record stripes while deletion, authorization and claim operations retain exclusive protection across all stripes. Require a complete barrier rollout before striped activation. Verify local Mongo deletion, revocation, crash recovery and two 100-user HTTP runs with save p95 below 400ms.
🛡️ Honor read-only database bootstrap in coordinator releases
Some checks are pending
web-ci / checks (push) Waiting to run
3a4e4d308a
🛡️ Bound source validation to explicit current requests
Some checks are pending
web-ci / checks (push) Waiting to run
ba6c46cffa
⚡ Preserve selective annotation bounds on Mongo 8.0.17
Some checks failed
web-ci / checks (push) Has been cancelled
web-ci / checks (pull_request) Has been cancelled
ad47b733e2
Owner

@zhanghongming 10月19日审查:固定 head=ad47b733,base=10b0dddd,按增量核对源索引、连续作业、列表性能及分区写锁。结论:本次不单独合并,建议通过包含后续修正的 #52 统一收口。

Standards

源证据固定、默认开关、历史物理修订兼容、项目门锁/分区锁的关键路径已检查,未新增确认的独立标准阻断。但本 PR 仍继承 #49 的 rework-handling 写权限缺口;对应 handler 与 #52 一致,当前归属人判断不能替代角色/返工阶段/当前轮次校验。

Spec

原规格明确标注员处理反馈与复审员核对判定分离。最新整合快照已用真实 HTTP handler 离线复现质检员写当前轮及历史轮均200并落库;见 #52 评论 #52 (comment) 。请先补权限拒绝回归。
#52 还包含对本 PR 媒体时钟、源校验等待退避、侧栏首屏范围和请求缓存对象共享的后续修正;不应先把较旧状态单独当作主线最终候选。

验收边界:本轮没有运行线上业务写入、生产容量或完整媒体验收。相关本地结果记录于 #52 评论,不能倒推本 PR 所有测试通过。远端 CI 当前 failure 描述为 Has been cancelled。已部署说明与可合并状态均不替代功能审查;暂缓合并,保留原目标分支。

@zhanghongming 10月19日审查:固定 head=ad47b733,base=10b0dddd,按增量核对源索引、连续作业、列表性能及分区写锁。结论:本次不单独合并,建议通过包含后续修正的 #52 统一收口。 ## Standards 源证据固定、默认开关、历史物理修订兼容、项目门锁/分区锁的关键路径已检查,未新增确认的独立标准阻断。但本 PR 仍继承 #49 的 rework-handling 写权限缺口;对应 handler 与 #52 一致,当前归属人判断不能替代角色/返工阶段/当前轮次校验。 ## Spec 原规格明确标注员处理反馈与复审员核对判定分离。最新整合快照已用真实 HTTP handler 离线复现质检员写当前轮及历史轮均200并落库;见 #52 评论 https://gitea.d-robotics.cc/longtao.wu/droboticflow/pulls/52#issuecomment-24411 。请先补权限拒绝回归。 #52 还包含对本 PR 媒体时钟、源校验等待退避、侧栏首屏范围和请求缓存对象共享的后续修正;不应先把较旧状态单独当作主线最终候选。 验收边界:本轮没有运行线上业务写入、生产容量或完整媒体验收。相关本地结果记录于 #52 评论,不能倒推本 PR 所有测试通过。远端 CI 当前 failure 描述为 Has been cancelled。已部署说明与可合并状态均不替代功能审查;暂缓合并,保留原目标分支。
Owner

@zhanghongming 本 PR 的ad47b733已是 dev=1aad4029 的祖先,全部提交已通过 #52 纳入主线,包含后续媒体时钟、校验退避、列表范围及缓存修正。原返工权限阻断已由 #53 解除并进入同一整合版本。本 PR 不再向旧功能基线重复合并,按“已由 #52 覆盖”关闭;这不是单独合入原目标分支,源分支保留。本次仅Git/PR整合,不执行发布或客户写入。

@zhanghongming 本 PR 的ad47b733已是 dev=1aad4029 的祖先,全部提交已通过 #52 纳入主线,包含后续媒体时钟、校验退避、列表范围及缓存修正。原返工权限阻断已由 #53 解除并进入同一整合版本。本 PR 不再向旧功能基线重复合并,按“已由 #52 覆盖”关闭;这不是单独合入原目标分支,源分支保留。本次仅Git/PR整合,不执行发布或客户写入。
longtao.wu closed this pull request 2026-10-22 13:00:56 +08:00
Some checks failed
web-ci / checks (push) Has been cancelled
web-ci / checks (pull_request) Has been cancelled

Pull request closed

Sign in to join this conversation.
No Reviewers
No Label
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: longtao.wu/droboticflow#51
No description provided.