⚡ 让工作台 work-buffer 轮询只查进行中条目、无变化不写库 #63

Merged
zhanghongming merged 2 commits from claude/work-buffer-query into dev 2026-10-28 00:16:27 +08:00
Collaborator

为什么

标注工作台每 3 秒轮询一次 GET /api/plugins/annotation-qa/work-buffer。线上 2026-10-27 的 3 小时 20 分钟内,超过 1 秒的慢请求有 4,407 条,其中 4,095 条来自这个接口。work_buffer_latency 日志显示,耗时主要花在存储层:store_ms p50 为 556ms,历史多的用户约 800ms,历史少的约 100ms。

原因有两个:

  • 查询条件是 assignedUserId OR latestAuthorUserId,会把这个人做过的全部历史条目都读出来,所以耗时随历史量线性增长。
  • 每次读取都会把任务池记录的 CAS 版本号加 1,相当于每次轮询都写一次数据库。

改了什么(internal/store/annotation_work_buffer.go)

  • 第一次查询改用现有的 AnnotationView: "active":只查分配给本人、处于标注阶段、状态为 claimed/in_progress/rework 的条目。它覆盖 occupiesAnnotationBuffer 判定的全部条目,后续仍按原逻辑过滤,所以结果不变。
  • 没有预留(reserve),且 capacity 和 slots 都没变时,直接返回,不再写库。改容量、领取预留、清理失效 slot 的写入行为不变。

不改 API、数据格式和索引。

验证

  • 本地对比:把副本复制到独立库,给一名标注员合成 12,000 条历史,旧代码和新代码各请求 41 次。
    • store_ms p50:279ms → 2ms
    • total p50:288ms → 11ms
    • 任务池记录的版本号:每次轮询加 1 → 不变
    • 返回的条目、capacity、occupied 和改前一致
    • 临时库已删除
  • 新增测试 TestMongoAnnotationWorkBufferPollIsReadOnly(需设 ANNOTATION_BUFFER_MONGO_STORE=1,使用本地 27018):
    • 轮询不写库
    • 历史条目不计入任务池
    • 修改容量仍会写入
    • 在旧代码上失败(版本号 1 → 4),在新代码上通过
  • 原有测试 TestAnnotationBufferMongoHTTPConcurrencyAndReceipt(两个 API 实例并发领取和回执重放)通过。
  • npm run test:go:gate:68 个失败全部在基线内,没有新增失败。

未验证

  • 线上效果。部署后看 work_buffer_latency 日志里的 store_ms。
  • 本地的数据库就在同一台机器上,线上要经过网络访问云数据库,所以线上收益预计更大。

🤖 Generated with Claude Code

## 为什么 标注工作台每 3 秒轮询一次 `GET /api/plugins/annotation-qa/work-buffer`。线上 2026-10-27 的 3 小时 20 分钟内,超过 1 秒的慢请求有 4,407 条,其中 4,095 条来自这个接口。`work_buffer_latency` 日志显示,耗时主要花在存储层:store_ms p50 为 556ms,历史多的用户约 800ms,历史少的约 100ms。 原因有两个: - 查询条件是 `assignedUserId OR latestAuthorUserId`,会把这个人做过的全部历史条目都读出来,所以耗时随历史量线性增长。 - 每次读取都会把任务池记录的 CAS 版本号加 1,相当于每次轮询都写一次数据库。 ## 改了什么(`internal/store/annotation_work_buffer.go`) - 第一次查询改用现有的 `AnnotationView: "active"`:只查分配给本人、处于标注阶段、状态为 claimed/in_progress/rework 的条目。它覆盖 `occupiesAnnotationBuffer` 判定的全部条目,后续仍按原逻辑过滤,所以结果不变。 - 没有预留(reserve),且 capacity 和 slots 都没变时,直接返回,不再写库。改容量、领取预留、清理失效 slot 的写入行为不变。 不改 API、数据格式和索引。 ## 验证 - **本地对比**:把副本复制到独立库,给一名标注员合成 12,000 条历史,旧代码和新代码各请求 41 次。 - store_ms p50:279ms → 2ms - total p50:288ms → 11ms - 任务池记录的版本号:每次轮询加 1 → 不变 - 返回的条目、capacity、occupied 和改前一致 - 临时库已删除 - **新增测试** `TestMongoAnnotationWorkBufferPollIsReadOnly`(需设 `ANNOTATION_BUFFER_MONGO_STORE=1`,使用本地 27018): - 轮询不写库 - 历史条目不计入任务池 - 修改容量仍会写入 - 在旧代码上失败(版本号 1 → 4),在新代码上通过 - **原有测试** `TestAnnotationBufferMongoHTTPConcurrencyAndReceipt`(两个 API 实例并发领取和回执重放)通过。 - **`npm run test:go:gate`**:68 个失败全部在基线内,没有新增失败。 ## 未验证 - 线上效果。部署后看 `work_buffer_latency` 日志里的 store_ms。 - 本地的数据库就在同一台机器上,线上要经过网络访问云数据库,所以线上收益预计更大。 🤖 Generated with [Claude Code](https://claude.com/claude-code)
zhanghongming added 2 commits 2026-10-28 00:10:51 +08:00
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
⚡ Scan only active items and skip unchanged ledger writes on work-buffer polls
Some checks failed
web-ci / checks (push) Has been cancelled
web-ci / checks (pull_request) Has been cancelled
83926e254e
The poll listed every item the annotator ever authored (assignedUserId OR
latestAuthorUserId), so its cost grew with history, and it bumped the CAS
ledger version on every 3s read. Use the active annotation view, a superset
of the occupancy predicate, and return without writing when capacity and
slots are unchanged and nothing is reserved.

Local perf DB, 12k authored items: store_ms p50 279ms -> 2ms, total 288ms ->
11ms; 41 polls no longer change the ledger version.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
zhanghongming merged commit 8b96632ed1 into dev 2026-10-28 00:16:27 +08:00
Sign in to join this conversation.
No Reviewers
No Label
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: longtao.wu/droboticflow#63
No description provided.