7.9 KiB
按组织配置标注工作区
修复范围
帧范围缓存的源版本检查、标注媒体复用、结果发布及旧结果清理,共用同一套组织与目录授权。旧版只读取进程级固定存储连接,新组织因此报 annotation workspace storage scope mismatch。
新增部署环境变量 ANNOTATION_WORKSPACE_MAPPINGS。它只能由部署人员配置,不是用户可编辑的项目属性。JSON 对象以组织 ID 为键:
{
"example-test-org": {
"connectionId": "example-test-storage",
"bucket": "example-workspace-bucket",
"readPrefixes": ["internal-test/example/assets"],
"writePrefixes": ["system/runs/example-test-run"]
}
}
这是结构示例,不可直接用于生产。默认要求连接记录存在、属于对应组织且为 BOS。经明确授权,可使用下述只读委托配置复用其他组织的连接。配置不包含 AK/SK,也不创建或复制凭证。
路径是相对于现有 WORKSPACE_MOUNT_PATH 的对象键前缀,不重定位文件;bucket 必须与实际工作区挂载一致。配置要求非空、规范化的相对目录,不接受根目录、..、通配符或末尾斜杠。匹配按完整目录边界进行,test-run 不包含 test-run-other。组织映射路径中不允许符号链接。
readPrefixes仅可读,不能用来发布、覆盖或清理素材。writePrefixes允许标注产物读写;旧结果删除还必须通过原有 generation 路径与租约检查。- 未列出的其他组织沿用原先连接及组织归属检查;没有新变量时沿用原行为,包括纯本地工作区模式。
- 映射 JSON 无效时拒绝访问,不静默回退到本地文件。发布前必须校验完整配置,错误配置仍可能影响请求。
- API 和 annotation processor 必须配置一致;只更新 API 会导致读取恢复而后台切片失败。
上线前仍需准备
优先使用测试组织自己的受限存储连接。如果没有独立凭证,可由部署人员显式配置只读委托:
{
"example-test-org": {
"connectionId": "existing-storage-connection",
"readConnectionOrganizationId": "existing-connection-owner",
"bucket": "example-workspace-bucket",
"readPrefixes": ["internal-test/example/assets"]
}
}
仅设置 readConnectionOrganizationId 的只读委托必须指定连接的真实所属组织,且不能配置任何 writePrefixes;所有写入、发布和清理请求均拒绝。省略委托字段仍严格检查连接属于请求组织。其他组织不能继承这项委托。凭证只在后台使用,不复制给测试组织或返回浏览器。授权仅覆盖读取测试副本,不能配置客户原始素材目录。
此方案不修改 BOS 权限,但原凭证仍有较大权限,隔离依赖应用配置与路径检查,不等同于独立受限凭证。只读委托仅解决素材与帧范围加载,不支持生成切片产物或完整交付。 此配置不处理工作流 worker 的最终打包、BOS 交付目录、项目/供应商删除配置,也不隔离计算资源。最终交付存储须另行配置和核验,不得据帧范围通过宣称全流程验收通过。每次新增 run 必须同步核对允许的输出目录。
公司部署、线上连接或凭证变更仍需用户单独授权;客户任务、数据、原有连接和生产配置不在本次本地修改范围内。
本地验证
内存数据库和本机模拟 BOS HEAD 覆盖:测试组织读取成功;客户旧映射仍成功;陌生组织、客户路径、同名前缀、外部路径与符号链接拒绝;源素材禁止写入与清理;非法配置拒绝;ETag 变化仍使同大小文件缓存失效。
go test ./internal/api -run 'TestAnnotation(TenantWorkspace|BOSVersion|TimelineCache)' -count=1
该验证不访问公司集群、真实客户数据库或 BOS。旧实现运行新回归测试失败于组织作用域不匹配,修复后通过。
已初始化数据库的安全滚动发布
API 设置 DROBOTICFLOW_DATABASE_BOOTSTRAP=verify-existing 时,启动仅读取默认组织验证数据库已初始化,不运行迁移、索引创建或默认组织初始化。默认组织缺失或读取失败会拒绝启动;未知配置值也拒绝启动。未设置或设为 migrate 保留旧行为。该选项不替代 schema/index 兼容性核验,发布前必须确认候选版本没有新增 schema/index 要求。
本次只读委托只部署 API,并保留现有 processor,以免打断客户在途切片。processor 不具备新的测试组织读写能力,测试切片生成不在本次验收范围。此选项只禁止 API 的启动初始化,不禁止客户正常业务写入或既有后台业务处理。
经授权的测试全流程委托
需要切片、送检和交付时,再显式添加 writeConnectionOrganizationId(必须与读取连接所属组织一致)、writePrefixes 和 deliveryPrefixes。只读配置不会自动获得写权限。
{
"example-test-org": {
"connectionId": "existing-storage-connection",
"readConnectionOrganizationId": "existing-connection-owner",
"writeConnectionOrganizationId": "existing-connection-owner",
"bucket": "example-workspace-bucket",
"readPrefixes": ["internal-test/example/assets"],
"writePrefixes": ["system/runs/example-test-run"],
"deliveryPrefixes": ["internal-test/example/deliveries"]
}
}
输入目录和输出目录不得包含或相互覆盖。切片写入仅允许列出的具体 run 目录,不能授予整个 system/runs。最终交付另由 worker 校验测试组织、项目、Capture、获准父 run 的发布子任务关系,以及当前子任务的本地输出路径;最终目录只允许 deliveryPrefixes。沿用条件创建和所有权校验,不覆盖已有无关对象。普通工作流存储、连接管理和其他组织不获得跨组织授权。
产物预览与交付下载按请求组织、连接、bucket、完整目录边界分别检查。API、processor、worker 的映射须一致。worker 也支持 DROBOTICFLOW_DATABASE_BOOTSTRAP=verify-existing;processor 在该模式不建索引,只读校验已有数据库。发布前仍需确认索引兼容及在途任务,保留原资源和并发配置。
此授权依赖应用校验,不是 BOS 账号级隔离;共用节点、队列和存储仍可能竞争资源。只允许少量功能测试,不能据此承诺多人容量或候选代码完全不影响客户。实际验证应记录切片、送检、质检、终审、打包和下载各环节结果,以及客户只读回归。
打包版本与验收证据
包含舍弃片段的切片清单使用 droboticflow.slice-materialization/v3。测试工作流的
打包镜像必须支持该格式;只更新 API/processor/worker 不会更新工作流中
PIN_OPERATOR_IMAGE=true 的算子。更新测试算子时不得顺带修改客户工作流。
构建时同时检查镜像的 DROBOTICFLOW_OPERATOR_SOURCE。分离算子镜像可能从
/app/operator-repos/builtin/package/src/operator.py 加载,而不是
/app/backend/operators/builtin/package/operator.py。必须在实际镜像中核验加载路径和
源码哈希,不能仅以仓库模块测试通过作为镜像验证。
完整验收以最终交付清单可见、文件可下载、大小和 SHA256 匹配为准,并核对:
舍弃片段仅保留审核证据、不进入交付;普通片中的明确空白和无效动作记录仍保留。
Run 的 completed 状态或 Pod Ready 不能代替这些验证。
旧内部 worker 通用 retry 会清空人工发布子任务的上游节点和验收产物,可能空跑完成; 不要用于人工发布子任务的例行恢复。此次测试任务的单独恢复不代表修复了通用重试。 需要恢复时先保存后端原始证据、核对组织和任务范围,再单独制定条件更新方案。 API 展示响应会裁剪文件路径,JSON 与 BSON 的 inline 字段也不同,不能直接作为数据库恢复备份。