🔒 Stabilize annotation playback and enable scoped internal test delivery #19

Merged
longtao.wu merged 25 commits from codex/internal-test-flow-and-stability-20260927 into dev 2026-09-28 11:46:16 +08:00
Collaborator

本次将尚未进入 dev 的已验证稳定性修复与内部测试链路一起提交。解决视频经共享 API 出口转发造成的播放瓶颈、切片处理占用 API 进程,以及内部测试组织无法读取素材、生成切片和交付的问题。

主要改动:

  • 授权视频使用短期 BOS 签名直连;单摄像机模式停止加载隐藏视频,增加有限次数的播放恢复。
  • Fanyu 默认使用受限并发的独立切片处理器;稳定帧源指纹、保留无效动作记录,并恢复符合权限要求的原标注员返工归属。
  • 增加只读连接诊断、可恢复发布记录和部署保护;提供独立内部测试环境准备、样本与批次管理工具。
  • 按组织显式配置测试素材读取、指定 run 输出及交付目录授权。凭证仅在服务端复用;源素材与输出目录互斥,跨组织路径拒绝。API、processor、worker 支持 verify-existing 启动,避免此次滚动更新触发初始化迁移。
  • 补充测试打包镜像实际源码路径校验及失败恢复注意事项。

验证:

  • Go 定向用例覆盖启动、组织路径隔离、委托交付、持久化切片队列和下载目录;通过。
  • 内部测试工具本地测试、类型检查、Web 构建及对应浏览器回归已有记录;不宣称全量测试全绿。
  • 公司集群隔离测试组织实际完成双目切片、普通/舍弃片段、描述/空白/无效动作、送检、质检、终审、BOS 打包与下载。17 个交付文件共 17,748,369 字节,大小与 SHA256 全部匹配;舍弃片段不交付,空白和无效动作记录保留。
  • 客户 BLF/SL 抽查摘要、双目帧范围与部署前一致;30 份原素材与 30 份测试副本哈希一致。验证未修改客户任务、授权或原素材。

限制与未修复事项:

  • 测试工作流单独更新了兼容 v3 清单的打包镜像。客户 BLF/SL 仍锁定旧算子,本 PR 不自动修改其线上工作流配置。
  • 初次旧镜像打包失败后,现有内部通用 retry 丢失上游验收输入;本次对精确测试任务做了带备份的恢复。恢复中 API 展示数据裁剪造成的错误也已记录。通用 retry 缺陷尚未修复,不应将本次验收视为自动故障恢复验收。
  • worker 串行扫描和交付索引延迟、原有 BOS SDK 并发竞态仍在;未做多人压力测试。
  • TestDeliveryDownloadScopeAndCompletion 的 reviewer 409 在原基线与候选均失败;前端仍有已记录的 13 项既有失败。其余完整测试限制见 .scratch/internal-test-lane/verification.md。
  • 同平台测试是应用权限隔离,不是独立算力或候选代码部署隔离。没有数据库迁移;部署和客户流程更新仍须单独授权。

范围固定到 a05efdc4(业务代码 949daabd);不包含随后供应商授权访谈提交或工作区未提交的 AGENTS.md 改动。私密发布凭证、账号、集群快照与验收附件位于被 Git 忽略的 local-data,未纳入 PR。

本次将尚未进入 dev 的已验证稳定性修复与内部测试链路一起提交。解决视频经共享 API 出口转发造成的播放瓶颈、切片处理占用 API 进程,以及内部测试组织无法读取素材、生成切片和交付的问题。 主要改动: - 授权视频使用短期 BOS 签名直连;单摄像机模式停止加载隐藏视频,增加有限次数的播放恢复。 - Fanyu 默认使用受限并发的独立切片处理器;稳定帧源指纹、保留无效动作记录,并恢复符合权限要求的原标注员返工归属。 - 增加只读连接诊断、可恢复发布记录和部署保护;提供独立内部测试环境准备、样本与批次管理工具。 - 按组织显式配置测试素材读取、指定 run 输出及交付目录授权。凭证仅在服务端复用;源素材与输出目录互斥,跨组织路径拒绝。API、processor、worker 支持 verify-existing 启动,避免此次滚动更新触发初始化迁移。 - 补充测试打包镜像实际源码路径校验及失败恢复注意事项。 验证: - Go 定向用例覆盖启动、组织路径隔离、委托交付、持久化切片队列和下载目录;通过。 - 内部测试工具本地测试、类型检查、Web 构建及对应浏览器回归已有记录;不宣称全量测试全绿。 - 公司集群隔离测试组织实际完成双目切片、普通/舍弃片段、描述/空白/无效动作、送检、质检、终审、BOS 打包与下载。17 个交付文件共 17,748,369 字节,大小与 SHA256 全部匹配;舍弃片段不交付,空白和无效动作记录保留。 - 客户 BLF/SL 抽查摘要、双目帧范围与部署前一致;30 份原素材与 30 份测试副本哈希一致。验证未修改客户任务、授权或原素材。 限制与未修复事项: - 测试工作流单独更新了兼容 v3 清单的打包镜像。客户 BLF/SL 仍锁定旧算子,本 PR 不自动修改其线上工作流配置。 - 初次旧镜像打包失败后,现有内部通用 retry 丢失上游验收输入;本次对精确测试任务做了带备份的恢复。恢复中 API 展示数据裁剪造成的错误也已记录。通用 retry 缺陷尚未修复,不应将本次验收视为自动故障恢复验收。 - worker 串行扫描和交付索引延迟、原有 BOS SDK 并发竞态仍在;未做多人压力测试。 - TestDeliveryDownloadScopeAndCompletion 的 reviewer 409 在原基线与候选均失败;前端仍有已记录的 13 项既有失败。其余完整测试限制见 .scratch/internal-test-lane/verification.md。 - 同平台测试是应用权限隔离,不是独立算力或候选代码部署隔离。没有数据库迁移;部署和客户流程更新仍须单独授权。 范围固定到 a05efdc4(业务代码 949daabd);不包含随后供应商授权访谈提交或工作区未提交的 AGENTS.md 改动。私密发布凭证、账号、集群快照与验收附件位于被 Git 忽略的 local-data,未纳入 PR。
zhanghongming added 25 commits 2026-09-27 23:28:51 +08:00
# Conflicts:
#	scripts/deploy-envs/fanyu.env
Owner

审查范围固定为 head a05efdc415e9606454baee17af7e5c898993376f,base f8941d59b49f3de093798270a735be8163934102(25 个提交、91 个文件)。

结论:发现 4 个需要修复的新增问题,不能将本次审查解释为“无缺陷”或“可直接发布”。按本次明确的“给出评论并合并”指示,记录以下问题后合入 dev,部署仍单独处理;其中两个 P1 应优先修复。

Standards

未发现可确认的新增仓库规范违规。发布日志、目标身份/配置保护、verify-existing 启动路径及匿名诊断进行了定向核对。

Spec

  1. [P1] 返工自动归属原作者,但原作者无法继续提交。
    internal/api/review_decision_plan.go:37–40、internal/api/annotation_operations.go:3073–3076 把任务分配回原作者,却保留 rework 状态;requireLegacyHumanItemClaim 仅接受 claimed/in_progress。实际 HTTP handler 复现:质检退回成功后,原作者 combined-submissions 返回 409 human_item_claim_required,指定重新领取又返回 403 random_claim_required;随机领取也不会拾取已经归属的任务。应让自动返工具备可编辑的已领取状态,或统一支持 assigned rework 的编辑门禁,并补“退回→编辑→再次提交”回归。

  2. [P1] 独立测试环境的 seed 等待脚本引号错误,API/processor 无法通过初始化门禁。
    scripts/internal_test_lane/environment.py:297–303:外层 shell 单引号包裹 --eval,内部又写 state: 'complete'。用 /bin/sh 与替身 mongosh 捕获真实参数,得到 state: complete(未加引号的 JavaScript 标识符),而非字符串;正常 mongosh 执行会报未定义变量,即使 seed 完成也无法通过。改为内部双引号,并测试实际 shell 传参,而不只检查生成文本。

  3. [P2] 组织自有存储配置映射后,已有交付下载被误拒绝。
    internal/api/delivery_downloads.go:379–381 对自有连接也无条件执行 delegatedStorageRead(..., deliveryOnly=true)。合法的非委托映射允许没有 deliveryPrefixes,因而该检查会拒绝原本合法的交付。现有下载 fixture 实测:无映射时 200;添加组织自有连接的 readPrefixes/writePrefixes 映射后,同一请求返回 404“交付目录超出授权范围”。应只对实际跨组织委托应用该额外限制,保留组织自有连接的原授权语义。

  4. [P2] 配置层未落实“只授权具体 run 目录”的防误配约束。
    internal/workspacescope/scope.go:67–74 只验证前缀格式,接受 writePrefixes=["system/runs"],随后 PrefixAllows 会放行任意未单独批准的 run。临时 Go 回归已复现。这与 docs/annotation-workspace-mappings.md 的“不能授予整个 system/runs”不一致,应拒绝 system/system/runs 等过宽写前缀。该项需要服务端部署配置才能触发,属于配置保护缺口,不是普通用户可直接修改白名单的越权。

本轮验证

  • Python 内部测试工具与发布工具:49 项通过,另有 22 个 subtests 通过。
  • Go workspacescope、testlane、API bootstrap、指定视频重定向/委托读写/帧源/无效片段合并/原作者返工分配/诊断测试通过;go build ./... 通过。
  • TypeScript 与 Web 构建通过。全量前端:候选 619 项(606 通过、13 失败);基线 609 项(596 通过、同样 13 失败),失败名称集合一致。
  • 扩展抽查遇到的既有 Go failures 已在 base 复验:TestDeliveryDownloadScopeAndCompletion、TestFanyuV5GenericDecisionAlsoUsesTheConfiguredImmediateReworkTarget、TestRuntimeAnnotationGateCreatesTasksAndReturnsAcceptedRevisionArtifact;不计作本 PR 新增问题。
  • 上述 4 个问题已通过临时、隔离复现确认;返工与下载复现断言的是错误现状,不等于正常业务测试通过。临时文件仅位于独立源码副本,未修改 PR 内容。
  • 本轮没有重新执行公司集群交付/浏览器验收,没有部署或修改客户任务。PR 已披露的通用 retry 输入丢失、BOS SDK 并发竞态、串行扫描/索引延迟及压力测试缺口继续保留跟踪。

规范轴 0 项确认违规;需求/行为轴 4 项,最高 P1。合并后请优先修复并补回归,生产发布前重新验证返工、独立环境启动和交付下载。

审查范围固定为 head `a05efdc415e9606454baee17af7e5c898993376f`,base `f8941d59b49f3de093798270a735be8163934102`(25 个提交、91 个文件)。 结论:发现 4 个需要修复的新增问题,不能将本次审查解释为“无缺陷”或“可直接发布”。按本次明确的“给出评论并合并”指示,记录以下问题后合入 dev,部署仍单独处理;其中两个 P1 应优先修复。 ## Standards 未发现可确认的新增仓库规范违规。发布日志、目标身份/配置保护、verify-existing 启动路径及匿名诊断进行了定向核对。 ## Spec 1. **[P1] 返工自动归属原作者,但原作者无法继续提交。** `internal/api/review_decision_plan.go:37–40`、`internal/api/annotation_operations.go:3073–3076` 把任务分配回原作者,却保留 `rework` 状态;`requireLegacyHumanItemClaim` 仅接受 claimed/in_progress。实际 HTTP handler 复现:质检退回成功后,原作者 combined-submissions 返回 409 `human_item_claim_required`,指定重新领取又返回 403 `random_claim_required`;随机领取也不会拾取已经归属的任务。应让自动返工具备可编辑的已领取状态,或统一支持 assigned rework 的编辑门禁,并补“退回→编辑→再次提交”回归。 2. **[P1] 独立测试环境的 seed 等待脚本引号错误,API/processor 无法通过初始化门禁。** `scripts/internal_test_lane/environment.py:297–303`:外层 shell 单引号包裹 --eval,内部又写 `state: 'complete'`。用 /bin/sh 与替身 mongosh 捕获真实参数,得到 `state: complete`(未加引号的 JavaScript 标识符),而非字符串;正常 mongosh 执行会报未定义变量,即使 seed 完成也无法通过。改为内部双引号,并测试实际 shell 传参,而不只检查生成文本。 3. **[P2] 组织自有存储配置映射后,已有交付下载被误拒绝。** `internal/api/delivery_downloads.go:379–381` 对自有连接也无条件执行 delegatedStorageRead(..., deliveryOnly=true)。合法的非委托映射允许没有 deliveryPrefixes,因而该检查会拒绝原本合法的交付。现有下载 fixture 实测:无映射时 200;添加组织自有连接的 readPrefixes/writePrefixes 映射后,同一请求返回 404“交付目录超出授权范围”。应只对实际跨组织委托应用该额外限制,保留组织自有连接的原授权语义。 4. **[P2] 配置层未落实“只授权具体 run 目录”的防误配约束。** `internal/workspacescope/scope.go:67–74` 只验证前缀格式,接受 writePrefixes=["system/runs"],随后 PrefixAllows 会放行任意未单独批准的 run。临时 Go 回归已复现。这与 docs/annotation-workspace-mappings.md 的“不能授予整个 system/runs”不一致,应拒绝 system/system/runs 等过宽写前缀。该项需要服务端部署配置才能触发,属于配置保护缺口,不是普通用户可直接修改白名单的越权。 ## 本轮验证 - Python 内部测试工具与发布工具:49 项通过,另有 22 个 subtests 通过。 - Go workspacescope、testlane、API bootstrap、指定视频重定向/委托读写/帧源/无效片段合并/原作者返工分配/诊断测试通过;`go build ./...` 通过。 - TypeScript 与 Web 构建通过。全量前端:候选 619 项(606 通过、13 失败);基线 609 项(596 通过、同样 13 失败),失败名称集合一致。 - 扩展抽查遇到的既有 Go failures 已在 base 复验:TestDeliveryDownloadScopeAndCompletion、TestFanyuV5GenericDecisionAlsoUsesTheConfiguredImmediateReworkTarget、TestRuntimeAnnotationGateCreatesTasksAndReturnsAcceptedRevisionArtifact;不计作本 PR 新增问题。 - 上述 4 个问题已通过临时、隔离复现确认;返工与下载复现断言的是错误现状,不等于正常业务测试通过。临时文件仅位于独立源码副本,未修改 PR 内容。 - 本轮没有重新执行公司集群交付/浏览器验收,没有部署或修改客户任务。PR 已披露的通用 retry 输入丢失、BOS SDK 并发竞态、串行扫描/索引延迟及压力测试缺口继续保留跟踪。 规范轴 0 项确认违规;需求/行为轴 4 项,最高 P1。合并后请优先修复并补回归,生产发布前重新验证返工、独立环境启动和交付下载。
longtao.wu merged commit 422ffa6718 into dev 2026-09-28 11:46:16 +08:00
Owner
@zhanghongming
Sign in to join this conversation.
No Reviewers
No Label
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: longtao.wu/droboticflow#19
No description provided.