6.6 KiB
Fanyu 最终交付批量下载(Rust)
2026-10-20 新增 不可变总 JSON 批次 的管理员预览/显式发布,以及按批次目录下载。旧下载协议保持兼容;批次以 delivery_index.json 和归属标记识别完成。
只增加后端读取接口和 tools/drobotic-pull 命令行客户端,不修改标注界面、任务分配、调度或交付格式。原 POC 的目录工具不是 Fanyu 的已上线能力;本版本使用独立的、只面向最终交付的协议。
使用
解压对应系统的客户端,在终端运行。Fanyu 当前是 HTTP,必须在可信网络上显式允许;其他环境优先 HTTPS。密码由终端隐藏输入,不放在命令参数中。
drobotic-pull --api http://120.48.180.80 --allow-http --email your-account@example.com --list
drobotic-pull --api http://120.48.180.80 --allow-http --email your-account@example.com --project project-xxx --output ./deliveries
不提供 --project / --directory 时,交互式列出有权下载的项目,输入序号即可选择。项目名称不是唯一键,使用项目 ID 消除同名歧义。
组织管理员也可按交付目录下载,包括项目删除后仍被保留的交付目录:
drobotic-pull --api http://120.48.180.80 --allow-http --email admin@example.com \
--directory 'bos://drobodata-fanyu/yanshou/项目名__项目ID' \
--connection storage-xxx --output ./deliveries --concurrency 4
项目模式保存为 输出目录/项目名__项目ID/采集目录/part目录/clips/...;旧平铺格式没有 part 层。目录模式保留所选目录本身及其下级结构。多个 Capture 的同名 left.mp4 不会被摊平到一个文件夹。
可使用 --report ./download-result.json 生成校验结果,报告须放在输出数据目录之外,且不能覆盖已有报告。自动化可使用 --password-stdin 或 DROBOTICFLOW_PASSWORD;环境变量也属于敏感信息,不应写入脚本、日志或共享配置。没有保存登录密码或会话到磁盘。
下载和校验行为
- 仅下载已完成的最终交付;未完成打包、舍弃片段、运行中间产物不进入清单。目录模式以最终
manifest.json和归属标记识别完整交付,不把空目录当成功。 - 客户端直连 HTTPS BOS,平台只返回元数据和一小时有效的预签名 URL。长期存储凭据不交给客户端配置;签名 URL 本身是临时访问凭证,不应分享。平台 Cookie 不发送到 BOS。
- 默认四文件并发,可选 1–16;临时文件下载完成并校验长度、SHA-256 后才以正式文件名发布。
- 重复运行相同命令可进行文件级续传:已有文件必须大小和 SHA-256 都匹配才跳过。未完成的单个文件重新下载,不宣称支持字节级断点续传。
- 已有同名文件若损坏,报错、保留、不覆盖;用户将其移走后重试。单文件网络失败最多尝试三次,失败退出码非零,不显示全部成功。
- 链接过期时重新获取签名,必须保持同一个文件快照;目录新增/删除或内容变化会拒绝混用,提示重新运行。
- 同一批次拒绝路径越界、符号链接、Windows 保留文件名、大小写重名和文件/目录冲突。输出目录不应由其他程序同时修改。
- 每批最多 50000 个文件;超过明确报错,选择较小目录后分批。没有静默截断。
权限与接口
GET /api/delivery-downloads/projects:列出当前用户有权读取的已交付项目。GET /api/delivery-downloads/manifest?projectId=...:沿用现有交付读取权限(组织管理员、符合项目和供应商成员条件的质检员),不为其他角色扩大权限。GET /api/delivery-downloads/manifest?directory=bos://...&connectionId=...:仅组织管理员;连接必须属于当前组织并符合 bucket 绑定。不提供任意对象下载接口。file、snapshot查询参数仅用于原快照内单文件刷新签名;不可借此加入新文件。- 响应
Cache-Control: no-store,含路径、文件大小、SHA-256、临时 URL、快照摘要和有效期。API 不代理视频流量,不在服务器生成 ZIP。
构建与验证
cargo test --locked --manifest-path tools/drobotic-pull/Cargo.toml
cargo clippy --locked --manifest-path tools/drobotic-pull/Cargo.toml --all-targets -- -D warnings
cargo build --release --locked --manifest-path tools/drobotic-pull/Cargo.toml
go test -race ./internal/api -run '^TestDeliveryDownload' -count=1
macOS/Linux 可执行文件在 tools/drobotic-pull/target/release/drobotic-pull,Windows 为 drobotic-pull.exe。构建成功不等于对应操作系统已做人工验收。
线上验收使用新组织、临时账号与独立 BOS 前缀,只读取并复制之前已验收的测试交付文件,不改原文件或客户任务。结束后停用临时账号、移除临时连接内复制的凭据,保留可审计的测试数据。
Fanyu 验收记录(2026-09-18)
- 已发布后端实现
70d60ceb,API/标注后台处理器镜像为sha256:53984a8e3e2625193026784678b9a5776e4d6d83d5e3d897ae5170a08e06bd5c。前端index.html的 SHA-256 与发布前相同;Worker/算法镜像未改。环境原有 APIRecreate发布策略会有短暂中断,本次未修改它。 - macOS Rust 通用客户端实际访问
http://120.48.180.80,项目选择和目录选择分别下载 55 个文件、2,615,511 字节(两份已验收测试交付的独立副本,含两个最终 manifest);本地逐文件大小、SHA-256 复核全部一致。 - 首次项目下载约 1.35 秒,目录下载约 1.75 秒。仅代表该小样本,不是大文件或高并发性能承诺。
- 重复运行:55 文件重新校验后跳过;人为修改一个文件但保持大小不变:退出码 1,原文件未覆盖;移走损坏文件后重试:只下载缺失的 1 个,其余 54 个校验后跳过。
- 11 项 Rust 测试、Clippy 和 Go 下载专项 race 测试通过;完整 API 的 60 项既有失败与之前基线的失败名称一致,没有新增。
- 真实 Mongo 测试构造补齐了 release partition 唯一键和节点内产物存储结构。临时账号已停用,临时连接凭据使用
$unset清除并回读确认;不使用会因 BSONomitempty遗留旧字段的空值$set。 - Apple Silicon 完成实际下载;Intel 架构通过 Rosetta 启动检查。Windows 尚未生成可执行包或进行实机验收。当前只提供 macOS 通用包,不宣称全部平台已验证。
- 原有 Worker 排队/就绪波动仍存在;本功能不启动工作流,只下载已经完成交付的数据。