droboticflow/docs/verification/source-validation-admission.md
Codex 5106abd8b3
Some checks are pending
web-ci / checks (push) Waiting to run
web-ci / pool-search-mongo (push) Waiting to run
🛡️ Bind admission to current proof and isolate legacy revalidation
2026-11-11 06:48:25 -08:00

6.2 KiB
Raw Permalink Blame History

源校验准入本地验证

基线:origin/dev 的 5d1135a0。任务分支 codex/source-gate-pool-search。仅本地内存、临时媒体及独立命名 Mongo 测试库;未修改生产数据。

可复现缺陷

新增 TestSourceValidationFailureBlocksRandomClaimWithoutLosingDraft 与 TestPendingSourceValidationIsNotAssigned,经真实随机领取 HTTP handler 复现:失败或等待校验的 random-item-0 被分配。修复前两项均失败,修复后通过。

功能与恢复

  • 校验失败/等待不领取、不计入可领取数量;已有草稿、版本、归属保留。
  • 管理员确认修复后可重校验,其他角色拒绝;重校验完成前继续阻断。
  • 已过期校验器、迟到的读取失败不能覆盖新的校验代次。
  • 未要求重验的旧任务实际发现非法 IMU 后会保存异常;无旧记录的失败插入不能覆盖并发新校验。旧任务修复、payload-only 源索引记录补证均经过真实校验器恢复;草稿与归属不变,跨组织读取和非管理员重验拒绝。
  • 直接领取的存储边界加固:同版本内源作业变更时,陈旧快照不能覆盖当前缺证、失败或有效的新作业。内存与 Mongo 使用同一回归;这不是已观察到的线上生产竞态。
  • 已完成时间轴仍受当前源证书失败约束;新源索引 outbox 缺证书拒绝,旧物理 outbox 也核对当前源指纹,但不要求改成源索引修订。
  • 原指纹 A 失败,修复 B 成功,仅替代 A;之后 C 缺证书/失败继续阻断。内存和真实 Mongo 覆盖等价。
  • 真实合成双目视频/IMU:末行 gyro 改成 gyr,真实解析拒绝;恢复文件并调用管理员重校验,真实后台校验器建立当前指纹证书,旧失败作业与已保存内容不变。
  • 原来校验成功的文件再次损坏,工作台检测后撤销准入并给出可执行重校验入口。取消或超时的读取请求不会把有效源数据误标为异常;新增取消请求回归先复现误标,再通过。
  • 现有随机领取、源索引、时间轴与源校验等待回归通过。委托只读对象存储用真实校验器完成验证后,左右时间轴正常读取,全程仅 HEAD/GET;未校验时明确返回等待状态。

2026-11-11:修复 b3322680 审查发现的两个 P1

  • Go 准入、Mongo 聚合、批量状态、详情状态和时间轴阻断共同覆盖:物理/源索引模式的同指纹证明、A 到 B 的源变化、B 作业缺失/排队/失败/完成、仅时间轴的旧记录,以及修复仅替代 A、不能放行后来 C 的边界。等待完整证据时不可领取,已排队/运行保持 pending,没有当前版本证据则为 unverified。
  • 真实存储回归覆盖同版本物理 outbox 换源:列表和数量排除,最终指定领取拒绝,草稿、当前作业和归属不被失败领取覆盖。
  • 真实 HTTP/Mongo 用旧模板、无校验记录、正式送检修订已落盘的任务核验状态、摘要、历史、详情读取以及服务重启。详情仍能恢复已完成送检的正常流转,但不新增完整校验作业,原工作区、草稿和正式修订保留。
  • 已有任务投影更新不重置或创建校验记录;显式补验入口及新建旧格式任务的自动排队继续工作。Mongo 通过实际写入的插入结果判断新建,保留原项目写保护与编辑代次冲突检查。

新增专项入口(仅隔离本地 Mongo):

POOL_LOCAL_MONGO_URI=mongodb://127.0.0.1:27018 SOURCE_ADMISSION_LOCAL_MONGO=1 \
  go test ./internal/store -run '^TestSourceAdmission' -count=1 -v
SOURCE_ADMISSION_LOCAL_MONGO=1 \
  go test ./internal/api -run '^TestSourceValidation(CurrentOutboxStatusAndTimeline|LegacyDetailsGETDoesNotEnqueueMongo)$' -count=1 -v

反例、原提交 overlay 对照和专项日志位于 local-data/diagnostics/fix-b332/。没有对生产任务、校验队列或源文件执行写入;生产补验和上线仍需单独授权。

本节基线为 b3322680。上述 Go/Mongo、HTTP、竞态、编辑代次及删除恢复专项通过;源校验、任务池和删除后重新切片的浏览器专项通过。官方 Go 门禁为 68 项既有失败、无新增失败,未扩大已知失败基线。统一任务报告 local-data/test-results/verify-1794408009785993000/report.json 保留 incomplete:混合工作树内已有的生产专用只读诊断及全包可选环境检查被跳过,不表示整套发布或生产验收已通过。另一项管理员诊断任务的两个文件未修改。

可复跑:

GOCACHE=/tmp/droboticflow-dashboard-go-cache go test ./internal/api -run 'Test(SourceIndex|Annotation.*Timeline|Annotation.*Source|HardwareIMU|SourceValidationWait|RandomClaim|SourceFailureDetected|SourceRepair|RequiredSource|SourceValidation|PendingSourceValidation|CurrentPreparedSourceFailure)' -count=1
SOURCE_ADMISSION_LOCAL_MONGO=1 GOCACHE=/tmp/droboticflow-dashboard-go-cache go test ./internal/store -run '^TestSourceAdmission(Memory|Mongo)' -count=1 -v
POOL_LOCAL_MONGO_URI=mongodb://127.0.0.1:27018 GOCACHE=/tmp/droboticflow-dashboard-go-cache go test ./internal/store -run '^TestClaimCountMongoSparseBacklogPlan$' -count=1 -v

查询对照

同一本地 Mongo、1,200 条全部可用任务、每条 64 KiB subject(共 75 MiB),连续三轮:

指标 第 1 轮 第 2 轮 第 3 轮
原计数逻辑(不做源校验准入) 7.43 ms 6.17 ms 4.24 ms
加准入过滤后的计数 143.78 ms 133.14 ms 139.71 ms
准入候选列表 134.21 ms 139.77 ms 144.18 ms

每轮候选 JSON 均为 508,801 字节,任务数未减少。1200 条保留历史仅 1 条候选的稀疏场景,计数约 3–10 ms,关键读计划最大扫描量为 1。

计数的额外关联开销真实存在。一次条件关联改写在 Mongo 8 上反而变为约 750 ms,已撤回,保留实测更快的 ID 等值关联与必要字段投影。没有通过放宽准入或减少可见任务改善数字。

上述是本地单请求查询对照,不代表 120 人完整作业、生产媒体/数据库/网络负载或长期运行已达标。浏览器和全量门禁由本次整体验证记录汇总。