7.3 KiB
源数据准入与审核池修复:集成验证
基线为 origin/dev@5d1135a0,分支 codex/source-gate-pool-search。实施前只读核对线上 API / Processor 为 005eb934、Worker 为 63512da7,均在本次基线内。其他工作树及其未合并改动未纳入或覆盖。
修复范围
- 接入文件齐全与内容校验通过分开判断。新 raw-human 接入检查 meta,恢复 IMU 内容验证;已知校验失败、等待或缺少必需证明的任务不可领取,已有归属和草稿保留。管理员确认修复后可重新校验,通过后恢复。
- 可领取、我的任务、已审核均使用服务端搜索和游标分页,每页最多 200 条;供应商、当前权限及自审规则保留。数量文案为已加载数量,不能当作全部任务总数。
- 工作台异常只显示必要错误及恢复操作;正常状态不增加说明性备注。管理员可筛选源数据异常任务。
接口、兼容性和分项证据:
本地真实页面验证
均使用合成数据和隔离 HTTP 服务,不使用生产任务或客户文件。
- 源校验页面:真实 Go API、后台校验器与浏览器,验证具体 IMU 错误、普通标注员无重试权限、管理员取消确认不写入、确认只提交一次、校验期间继续阻断、修复后时间轴恢复;草稿、版本和归属不变。最终通过,约 14.43 秒。
- 审核池页面:613 条任务,验证首批 200、续页 400、失败后重试到 600、首批之外的 part 搜索、迟到请求保护、我的任务和已审核搜索。最终 7 个场景通过,无页面异常和写请求,约 12.82 秒。
- 生产构建启动:使用已安装的 Edge 验证构建产物,登录页面可见、无页面异常、无意外写请求。首次运行缺少 Playwright 下载的 Chromium,改用现有浏览器后通过;没有改动产品代码规避启动检查。
本机证据位于忽略路径 local-data/verification/source-gate-pool-search/、local-data/test-results/source-validation-browser/、local-data/test-results/review-pool-search/。这些目录不提交客户数据或凭证。
浏览器夹具复跑命令(串行执行):
SOURCE_VALIDATION_BROWSER_TEST=1 go test ./internal/api -run '^TestSourceValidationBrowserReplica$' -count=1 -timeout=4m -v
REVIEW_POOL_BROWSER_TEST=1 go test ./internal/api -run '^TestReviewPoolSearchBrowserReplica$' -count=1 -timeout=5m -v
最终审核池测试曾因错用 opt-in 变量而被跳过;保留该次日志,修正变量后完整重跑通过,跳过不计作通过。
门禁与基线说明
本次不改动 tests/known-failures.json;全量回归使用项目官方 Go / frontend gate 比较具体失败用例。
| 检查 | 结果 |
|---|---|
npm run test:frontend:gate |
通过;13 项失败均在原有 14 项基线内,零新增 |
npm run test:go:gate |
通过;68 项失败均在原有 70 项基线内,零新增 |
npm run lint:web |
TypeScript 与架构检查通过 |
npm run lint:go、npm run build:go |
格式检查及 API、Worker、协调器构建通过 |
npm run lint:scripts、npm run operators:repos:check |
通过;算子镜像源码与权威源码一致 |
npm run format:check、git diff --check |
通过 |
npm run build:web、npm run test:production:boot |
通过;构建仍有已有的大 chunk 提醒 |
| raw-human 接入与归一化 Python 回归 | 33 项通过 |
| Fanyu 标注算子 Python 回归 | 18 项通过 |
- 新增管理员重校验路由通过授权快照生成器更新;普通标注、质检、验收均不能调用。
- 原委托对象存储时间轴用例改为先确认等待校验,再运行真实校验器,验证左右时间轴及只使用 HEAD/GET。
- 原权限读数测试改为解析 JSON 后检查任务集合;新增兼容字段
filtersApplied不再被当作权限错误。读数上限及撤权后空列表断言保留。 - 补齐两个历史恢复边界:无旧校验记录的任务在实际发现内容异常后原子记录失败,不覆盖并发的新校验;只有历史 sourceIndex 标记、没有 outbox 指纹的记录可在本次明确重校验成功后恢复,后续新指纹仍须重新核对。真实 API、Memory/Mongo 对照通过。
- 指定领取在存储边界核对当前持久化的源身份并执行 CAS,陈旧提议不能覆盖新的处理记录。该项属于一致性加固,未将合成的同版本源身份竞争报告为已发生的线上故障。
- 两项旧前端断言仍匹配已经被替换的
selectScope调用;沿用已有本地提交6969411b的精确断言修复,验证当前editSelected行为,未引入该分支其他修改。 - 基线中 4 个前端文件未符合全局 Prettier 门禁,本次只格式化
ReviewHistorySummary、WorkforceStatisticsPanel、useAnnotationOutputData、useReviewContinuation,不改变行为。
Mongo 环境限制
搜索矩阵包含 963 条历史任务和 10,000 条现代任务。Mongo 7 最终完整矩阵通过,Mongo 8 三轮中第 1、3 轮完整通过;第 2 轮的提前超时有直接时钟证据:服务端 hello.localTime 在一次查询期间前跳约 37 秒,本机单调计时仅经过几十到几百毫秒,触发 maxTimeMS=8000。Mongo 7 也捕获了相同现象,不能归因为 Mongo 8 特有查询缺陷。
业务查询保持客户端及服务端双 8 秒限制,没有采用删除超时、增加重试或吞掉错误的绕过。没有修改 Docker 或系统时间配置。每项业务等价场景均有完整通过证据,但这台 Docker 环境上的三轮连续稳定性未通过,不能代替生产版本的容量验收;具体矩阵与诊断见搜索验证记录。
发布与未验收边界
- 当前仅本地修改与验证;生产源修复、写验收、推送、PR 和部署均未执行。
- 新搜索客户端要求服务端确认筛选已应用;应先升级服务端。旧客户端继续兼容。恢复作业要求新版校验器理解源指纹证明。
- 新增字段不要求数据迁移;回退到旧 API 会失去本次准入阻断,已知异常任务可能重新进入分配。生产回退方案必须保留这道阻断,不能通过删除校验记录恢复领取。
- 完整接入修复同时涉及 API、校验器、Worker 与 normalizer 算子运行镜像,仅更新 API 不能覆盖新采集接入检查。
GET /tasks/{id}/frame-timeline会在发现新的内容异常时持久化隔离状态,原有路径也可能持久化时间轴。生产只读验证不能把这个 GET 当成无写入探针;只读诊断使用任务?view=status/ 摘要,实际检测及重校验需要对应生产操作授权。- 未自动修改或删除源文件、回填历史记录、重放旧送检、创建生产索引或调整资源。新 meta 检查不等于对历史任务补做了 meta 完整校验。
- 单请求 Mongo 结果及页面回归不代表 120 人完整作业、8 小时运行或故障接管已通过;容量仍待隔离环境验收。源准入关联使部分计数变贵,分项记录保留实际开销,不以减少任务或放宽权限换取性能。