验收优先统计改为每天凌晨 1 点刷新 #80

Merged
zhanghongming merged 3 commits from yao.wang/droboticflow:dev into dev 2026-11-18 22:33:37 +08:00
Contributor

变更

  • 北京时间 01:00–01:30 首轮刷新,01:35–02:05 补跑。每轮由单个 API 实例先筛出当天未完成的组织,再串行分配剩余时间,每组织最多 15 分钟。
  • 管理面板读取最近一次成功结果并显示统计时间。首次生成前显示等待,刷新失败时保留上次结果。
  • 优先设置的保存和验收任务领取仍按实时规则执行。统计结果存入独立 Mongo 集合,无需迁移既有任务或配置。

本地验证

  • 以团队 dev 的 ce0fc9d5 为基线,验收提交为 b7f49241。任务级门禁 21 项通过,包括隔离 Mongo、浏览器、配置版本和权限、失败保留、调度窗口、多实例竞争、任务池以及工作可用性回归。
  • Go 基线门禁通过,68 项既有失败,新增失败 0。Web 和 API 本地构建成功,Web 静态产物通过浏览器启动检查。
  • 隔离 Mongo 用 5,600 条合成候选验证汇总和重启读取。生产全量耗时和资源占用未测,本轮不部署。

复审修复验证

  • 追加提交 91be8019 的本地任务级检查 12 项全部通过,包括隔离 Mongo 与浏览器。
  • 回归用例模拟慢组织每次都需要超过首轮份额的时间。首轮快组织完成,补跑时仅剩慢组织,它获得足够预算并发布快照。该用例在上一版调度上复现补跑仍超时。
## 变更 - 北京时间 01:00–01:30 首轮刷新,01:35–02:05 补跑。每轮由单个 API 实例先筛出当天未完成的组织,再串行分配剩余时间,每组织最多 15 分钟。 - 管理面板读取最近一次成功结果并显示统计时间。首次生成前显示等待,刷新失败时保留上次结果。 - 优先设置的保存和验收任务领取仍按实时规则执行。统计结果存入独立 Mongo 集合,无需迁移既有任务或配置。 ## 本地验证 - 以团队 dev 的 `ce0fc9d5` 为基线,验收提交为 `b7f49241`。任务级门禁 21 项通过,包括隔离 Mongo、浏览器、配置版本和权限、失败保留、调度窗口、多实例竞争、任务池以及工作可用性回归。 - Go 基线门禁通过,68 项既有失败,新增失败 0。Web 和 API 本地构建成功,Web 静态产物通过浏览器启动检查。 - 隔离 Mongo 用 5,600 条合成候选验证汇总和重启读取。生产全量耗时和资源占用未测,本轮不部署。 ## 复审修复验证 - 追加提交 `91be8019` 的本地任务级检查 12 项全部通过,包括隔离 Mongo 与浏览器。 - 回归用例模拟慢组织每次都需要超过首轮份额的时间。首轮快组织完成,补跑时仅剩慢组织,它获得足够预算并发布快照。该用例在上一版调度上复现补跑仍超时。
yao.wang added 1 commit 2026-11-18 20:36:18 +08:00
📊 Refresh acceptance priority statistics nightly
Some checks are pending
web-ci / checks (pull_request) Blocked by required conditions
web-ci / pool-search-mongo (pull_request) Blocked by required conditions
web-ci / work-availability (pull_request) Blocked by required conditions
web-ci / query-serving (pull_request) Blocked by required conditions
b7f4924110
(cherry picked from commit fb4f6715bb58c1c512284d0651024ac890e6f896)
Collaborator

Code review(章鸿铭侧把关,宽松尺度):方向认可,有一个调度饿死的边界问题需要修复后再合入。

已确认没问题的部分:多副本 Mongo 原子竞争互斥、单文档原子替换写入、失败保留上次结果、实时领取与优先策略路径未改、构建/类型/定向测试通过。

问题:靠前组织超时窗口会饿死后续组织。
internal/api/acceptance_priority_refresh.go 按组织创建时间升序串行计算,整个窗口共限时 15 分钟。若创建时间靠前的组织单次扫描超过 15 分钟,01:00 与 01:20 两个窗口都会在该组织耗尽,后面的组织永远轮不到;次日仍从相同顺序重来——排后的组织会连续多天停留在「等待/旧统计」。这恰好发生在本 PR 要解决的大积压场景。

建议修复(改动小,任选其一):

  1. 组织顺序按「最久未成功刷新」排序(每组织记 last_success_at,NULL/最旧者优先),天然轮转;
  2. 给每个组织单独限时(如 3-5 分钟),超时记为未完成、继续下一个组织,01:20 补跑窗口优先补未完成的;
  3. 或记录上次中断位置,次日从中断组织继续轮转。

修好后在此 PR 追提交即可,会重新走一遍轻量审核。辛苦!

**Code review(章鸿铭侧把关,宽松尺度):方向认可,有一个调度饿死的边界问题需要修复后再合入。** 已确认没问题的部分:多副本 Mongo 原子竞争互斥、单文档原子替换写入、失败保留上次结果、实时领取与优先策略路径未改、构建/类型/定向测试通过。 **问题:靠前组织超时窗口会饿死后续组织。** `internal/api/acceptance_priority_refresh.go` 按组织创建时间升序**串行**计算,整个窗口共限时 15 分钟。若创建时间靠前的组织单次扫描超过 15 分钟,01:00 与 01:20 两个窗口都会在该组织耗尽,后面的组织永远轮不到;次日仍从相同顺序重来——排后的组织会连续多天停留在「等待/旧统计」。这恰好发生在本 PR 要解决的大积压场景。 **建议修复(改动小,任选其一):** 1. 组织顺序按「最久未成功刷新」排序(每组织记 last_success_at,NULL/最旧者优先),天然轮转; 2. 给每个组织单独限时(如 3-5 分钟),超时记为未完成、继续下一个组织,01:20 补跑窗口优先补未完成的; 3. 或记录上次中断位置,次日从中断组织继续轮转。 修好后在此 PR 追提交即可,会重新走一遍轻量审核。辛苦!
yao.wang added 1 commit 2026-11-18 21:16:01 +08:00
🐛 Bound nightly acceptance refresh per organization
Some checks are pending
web-ci / checks (pull_request) Blocked by required conditions
web-ci / pool-search-mongo (pull_request) Blocked by required conditions
web-ci / work-availability (pull_request) Blocked by required conditions
web-ci / query-serving (pull_request) Blocked by required conditions
3034a5a3cb
Collaborator

复审(第二版 head 3034a5a3):第一版饿死问题已解决 👍,但还有一个预算分配边界需要再修。

已确认:每组织独立限时阻断了一个组织占满整窗的问题;互斥、快照原子写、失败保留、实时领取路径未受影响。

新问题:稳定较慢的组织仍会长期拿不到统计。
internal/api/acceptance_priority_refresh.go:78 的时间预算分母包含当天已完成、尚未遍历到的组织,补跑时也没有轮换或续跑。
复现:组织 A 稳定需要 10 分钟、B 需要 1 秒。01:00 时 A 只分到约 7.5 分钟→超时;B 成功。01:20 补跑时虽然只剩 A 未完成,A 仍只分到约 7.5 分钟,之后才跳过 B。次日重复——A 永远发布不了统计,哪怕单独一个 15 分钟窗口足够完成它。
现有新增测试让 A 第二次立即完成,恰好没覆盖「稳定耗时 > 均摊预算」的情况。

建议修复:预算只按未完成组织数均分(或未完成者优先吃满窗口),并补上「稳定慢组织在补跑窗口获得完整预算」的用例。改完再追提交,我们复审通过就合。

**复审(第二版 head 3034a5a3):第一版饿死问题已解决 👍,但还有一个预算分配边界需要再修。** 已确认:每组织独立限时阻断了一个组织占满整窗的问题;互斥、快照原子写、失败保留、实时领取路径未受影响。 **新问题:稳定较慢的组织仍会长期拿不到统计。** `internal/api/acceptance_priority_refresh.go:78` 的时间预算分母包含当天**已完成**、尚未遍历到的组织,补跑时也没有轮换或续跑。 复现:组织 A 稳定需要 10 分钟、B 需要 1 秒。01:00 时 A 只分到约 7.5 分钟→超时;B 成功。01:20 补跑时虽然只剩 A 未完成,A 仍只分到约 7.5 分钟,之后才跳过 B。次日重复——**A 永远发布不了统计,哪怕单独一个 15 分钟窗口足够完成它**。 现有新增测试让 A 第二次立即完成,恰好没覆盖「稳定耗时 > 均摊预算」的情况。 **建议修复**:预算只按**未完成组织数**均分(或未完成者优先吃满窗口),并补上「稳定慢组织在补跑窗口获得完整预算」的用例。改完再追提交,我们复审通过就合。
yao.wang added 1 commit 2026-11-18 22:27:12 +08:00
🐛 Budget nightly acceptance retries for unfinished organizations
Some checks are pending
web-ci / checks (pull_request) Blocked by required conditions
web-ci / pool-search-mongo (pull_request) Blocked by required conditions
web-ci / work-availability (pull_request) Blocked by required conditions
web-ci / query-serving (pull_request) Blocked by required conditions
91be80191e
zhanghongming merged commit 90336acc34 into dev 2026-11-18 22:33:37 +08:00
Collaborator

复审(第三版 head 91be8019):通过,已合并(90336acc)。辛苦了 👍

前两轮问题均已解决:v1 组织串行饿死 → 每组织独立限时;v2 预算分母含已完成组织 → 未完成者优先分预算,慢组织可在补跑窗口拿到完整预算。互斥、原子写、失败保留、实时领取路径抽查无回归。

两项已知认可(章鸿铭确认,留痕备查):

  1. 窗口调整接受:01:00–01:30 首轮 + 01:35–02:05 补跑(原声明 01:20/15 分钟),统计最晚约 02:05 完成;
  2. 多慢组织场景记为已知限制:若未来同时存在 ≥3 个稳定耗时接近预算均分值的组织,可能全部超时;届时再做跨窗口轮换/续跑优化,并补该场景测试。

部署另行走发布流程,本合并不含上线。

**复审(第三版 head 91be8019):通过,已合并(90336acc)。辛苦了 👍** 前两轮问题均已解决:v1 组织串行饿死 → 每组织独立限时;v2 预算分母含已完成组织 → 未完成者优先分预算,慢组织可在补跑窗口拿到完整预算。互斥、原子写、失败保留、实时领取路径抽查无回归。 两项已知认可(章鸿铭确认,留痕备查): 1. **窗口调整接受**:01:00–01:30 首轮 + 01:35–02:05 补跑(原声明 01:20/15 分钟),统计最晚约 02:05 完成; 2. **多慢组织场景记为已知限制**:若未来同时存在 ≥3 个稳定耗时接近预算均分值的组织,可能全部超时;届时再做跨窗口轮换/续跑优化,并补该场景测试。 部署另行走发布流程,本合并不含上线。
Sign in to join this conversation.
No Reviewers
No Label
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: longtao.wu/droboticflow#80
No description provided.