droboticflow/docs/verification/source-gate-pool-search.md

7.3 KiB
Raw Permalink Blame History

源数据准入与审核池修复:集成验证

基线为 origin/dev@5d1135a0,分支 codex/source-gate-pool-search。实施前只读核对线上 API / Processor 为 005eb934、Worker 为 63512da7,均在本次基线内。其他工作树及其未合并改动未纳入或覆盖。

修复范围

  1. 接入文件齐全与内容校验通过分开判断。新 raw-human 接入检查 meta,恢复 IMU 内容验证;已知校验失败、等待或缺少必需证明的任务不可领取,已有归属和草稿保留。管理员确认修复后可重新校验,通过后恢复。
  2. 可领取、我的任务、已审核均使用服务端搜索和游标分页,每页最多 200 条;供应商、当前权限及自审规则保留。数量文案为已加载数量,不能当作全部任务总数。
  3. 工作台异常只显示必要错误及恢复操作;正常状态不增加说明性备注。管理员可筛选源数据异常任务。

接口、兼容性和分项证据:

本地真实页面验证

均使用合成数据和隔离 HTTP 服务,不使用生产任务或客户文件。

  • 源校验页面:真实 Go API、后台校验器与浏览器,验证具体 IMU 错误、普通标注员无重试权限、管理员取消确认不写入、确认只提交一次、校验期间继续阻断、修复后时间轴恢复;草稿、版本和归属不变。最终通过,约 14.43 秒。
  • 审核池页面:613 条任务,验证首批 200、续页 400、失败后重试到 600、首批之外的 part 搜索、迟到请求保护、我的任务和已审核搜索。最终 7 个场景通过,无页面异常和写请求,约 12.82 秒。
  • 生产构建启动:使用已安装的 Edge 验证构建产物,登录页面可见、无页面异常、无意外写请求。首次运行缺少 Playwright 下载的 Chromium,改用现有浏览器后通过;没有改动产品代码规避启动检查。

本机证据位于忽略路径 local-data/verification/source-gate-pool-search/、local-data/test-results/source-validation-browser/、local-data/test-results/review-pool-search/。这些目录不提交客户数据或凭证。

浏览器夹具复跑命令(串行执行):

SOURCE_VALIDATION_BROWSER_TEST=1 go test ./internal/api -run '^TestSourceValidationBrowserReplica$' -count=1 -timeout=4m -v
REVIEW_POOL_BROWSER_TEST=1 go test ./internal/api -run '^TestReviewPoolSearchBrowserReplica$' -count=1 -timeout=5m -v

最终审核池测试曾因错用 opt-in 变量而被跳过;保留该次日志,修正变量后完整重跑通过,跳过不计作通过。

门禁与基线说明

本次不改动 tests/known-failures.json;全量回归使用项目官方 Go / frontend gate 比较具体失败用例。

检查 结果
npm run test:frontend:gate 通过;13 项失败均在原有 14 项基线内,零新增
npm run test:go:gate 通过;68 项失败均在原有 70 项基线内,零新增
npm run lint:web TypeScript 与架构检查通过
npm run lint:go、npm run build:go 格式检查及 API、Worker、协调器构建通过
npm run lint:scripts、npm run operators:repos:check 通过;算子镜像源码与权威源码一致
npm run format:check、git diff --check 通过
npm run build:web、npm run test:production:boot 通过;构建仍有已有的大 chunk 提醒
raw-human 接入与归一化 Python 回归 33 项通过
Fanyu 标注算子 Python 回归 18 项通过
  • 新增管理员重校验路由通过授权快照生成器更新;普通标注、质检、验收均不能调用。
  • 原委托对象存储时间轴用例改为先确认等待校验,再运行真实校验器,验证左右时间轴及只使用 HEAD/GET。
  • 原权限读数测试改为解析 JSON 后检查任务集合;新增兼容字段 filtersApplied 不再被当作权限错误。读数上限及撤权后空列表断言保留。
  • 补齐两个历史恢复边界:无旧校验记录的任务在实际发现内容异常后原子记录失败,不覆盖并发的新校验;只有历史 sourceIndex 标记、没有 outbox 指纹的记录可在本次明确重校验成功后恢复,后续新指纹仍须重新核对。真实 API、Memory/Mongo 对照通过。
  • 指定领取在存储边界核对当前持久化的源身份并执行 CAS,陈旧提议不能覆盖新的处理记录。该项属于一致性加固,未将合成的同版本源身份竞争报告为已发生的线上故障。
  • 两项旧前端断言仍匹配已经被替换的 selectScope 调用;沿用已有本地提交 6969411b 的精确断言修复,验证当前 editSelected 行为,未引入该分支其他修改。
  • 基线中 4 个前端文件未符合全局 Prettier 门禁,本次只格式化 ReviewHistorySummary、WorkforceStatisticsPanel、useAnnotationOutputData、useReviewContinuation,不改变行为。

Mongo 环境限制

搜索矩阵包含 963 条历史任务和 10,000 条现代任务。Mongo 7 最终完整矩阵通过,Mongo 8 三轮中第 1、3 轮完整通过;第 2 轮的提前超时有直接时钟证据:服务端 hello.localTime 在一次查询期间前跳约 37 秒,本机单调计时仅经过几十到几百毫秒,触发 maxTimeMS=8000。Mongo 7 也捕获了相同现象,不能归因为 Mongo 8 特有查询缺陷。

业务查询保持客户端及服务端双 8 秒限制,没有采用删除超时、增加重试或吞掉错误的绕过。没有修改 Docker 或系统时间配置。每项业务等价场景均有完整通过证据,但这台 Docker 环境上的三轮连续稳定性未通过,不能代替生产版本的容量验收;具体矩阵与诊断见搜索验证记录。

发布与未验收边界

  • 当前仅本地修改与验证;生产源修复、写验收、推送、PR 和部署均未执行。
  • 新搜索客户端要求服务端确认筛选已应用;应先升级服务端。旧客户端继续兼容。恢复作业要求新版校验器理解源指纹证明。
  • 新增字段不要求数据迁移;回退到旧 API 会失去本次准入阻断,已知异常任务可能重新进入分配。生产回退方案必须保留这道阻断,不能通过删除校验记录恢复领取。
  • 完整接入修复同时涉及 API、校验器、Worker 与 normalizer 算子运行镜像,仅更新 API 不能覆盖新采集接入检查。
  • GET /tasks/{id}/frame-timeline 会在发现新的内容异常时持久化隔离状态,原有路径也可能持久化时间轴。生产只读验证不能把这个 GET 当成无写入探针;只读诊断使用任务 ?view=status / 摘要,实际检测及重校验需要对应生产操作授权。
  • 未自动修改或删除源文件、回填历史记录、重放旧送检、创建生产索引或调整资源。新 meta 检查不等于对历史任务补做了 meta 完整校验。
  • 单请求 Mongo 结果及页面回归不代表 120 人完整作业、8 小时运行或故障接管已通过;容量仍待隔离环境验收。源准入关联使部分计数变贵,分项记录保留实际开销,不以减少任务或放宽权限换取性能。