forked from longtao.wu/droboticflow
Include the accumulated workflow scheduling, run history, subtree rerun, operator UI, deployment, data asset, object storage, database browser, and documentation changes currently in the worktree.
4.0 KiB
4.0 KiB
目录级循环增量工作流验收记录
日期:2026-04-20
目标
验证平台支持以下能力:
- 一个工作流周期性执行 BOS 增量扫描
- 增量单位为目录,而不是对象文件
- 新目录首次出现时,将该目录下全部内容推给后续流程
- 老目录新增单个文件时,不应重新触发整目录
最终验收对象
- 项目:
project-f06a3295cc32f3aaba2a0fcdc2a98d23 - 工作流:
workflow-866f6e6fabb343c2fa6fd2171361cf7a - 名称:
12-循环增量目录验收 - 数据源:
bos://wjzh-data-migration/wjzh-0330-Data-migration/__codex_incremental_directory_acceptance__/20260420T0002
最终冻结后的工作流状态:
type=batchstatus=activeschedule.interval=0scanConfig.enabled=false
保留冻结版本的目的是避免继续自动触发,同时保留验收结果。
运行前修复
在真实验收前,定位到一个 live 环境问题:
- worker 的
chooseImage()会把节点里配置的droboticflow-operator-runner:*镜像统一替换成 worker 自己的默认OPERATOR_RUNNER_IMAGE - 这会导致工作流节点虽然配置了新 runner,实际运行仍使用旧镜像
- 目录级增量逻辑因此无法真正生效
处理方式:
- 构建并推送新镜像:
ccr-29eug8s3-pub.cnc.bj.baidubce.com/dataflow/droboticflow-operator-runner:20260420-dirincrement-amd64 - 将 live
droboticflow-worker的OPERATOR_RUNNER_IMAGE更新到该镜像 - 滚动完成后重新创建验收工作流
工作流配置
源节点核心参数:
DATA_SOURCE=BOSSOURCE_PATH=bos://wjzh-data-migration/wjzh-0330-Data-migration/__codex_incremental_directory_acceptance__/20260420T0002SCAN_MODE=INCREMENTALINCREMENTAL_UNIT=DIRECTORYINCREMENTAL_DIRECTORY_DEPTH=1
顶层工作流参数:
type=streamingkind=scanschedule.interval=20maxConcurrentRuns=1scanConfig.scanMode=INCREMENTALscanConfig.incrementalUnit=DIRECTORYscanConfig.directoryDepth=1
节点链路:
flowchart LR
A["BOS 增量扫描"] --> B["X 平台数据集索引"]
B --> C["采集目录校验"]
5 轮真实验收结果
第 1 轮
- Run:
run-34485343e7f4c373f04898f2cacc20dd - 操作:预先创建 2 个新目录
loop-a-002、loop-b-002 - 结果:
newCount=8listedCount=8incrementalUnit=DIRECTORYdirectoryDepth=1seenFingerprints=["loop-a-002","loop-b-002"]
第 2 轮
- Run:
run-453a9aca8a39e687ab9b300b5e9a3237 - 操作:无新增目录
- 结果:
newCount=0listedCount=8incrementalUnit=DIRECTORYdirectoryDepth=1
第 3 轮
- Run:
run-0653050fd3e04cde4fa936a1ab6e2ddd - 操作:在已有目录
loop-a-002下新增notes.txt - 结果:
newCount=0listedCount=9incrementalUnit=DIRECTORYdirectoryDepth=1
说明:
- 这轮是关键验证
- 目录内新增文件不会把已有目录重新当成“新目录”
第 4 轮
- Run:
run-cf6b308760ff66d152a036b149ab0c55 - 操作:新增 2 个新目录
loop-c-002、loop-d-002 - 结果:
newCount=8listedCount=17incrementalUnit=DIRECTORYdirectoryDepth=1
第 5 轮
- Run:
run-57b4b0c25060b52221e54dd51f37a529 - 操作:无新增目录
- 结果:
newCount=0listedCount=17incrementalUnit=DIRECTORYdirectoryDepth=1
最终结论
目录级循环增量工作流已经真实通过验收,满足以下语义:
- 新目录首次出现时,整目录内容会进入后续流程
- 老目录中单独新增文件,不会重新触发整目录
- 空增量轮次可以稳定完成,不会误报新增
- source state 会按目录名记录
seenFingerprints
清理结果
验收过程中创建过的旧临时工作流均已删除,不再残留:
workflow-59898c1cbf431a156733cf6b869a8e1dworkflow-976bcfc00e074fa2b9e6a56b6ec31d53workflow-dae6d63c04af0e7646b722aee42adfc6
验收收尾时确认:
/api/runs?status=running为空/api/runs?status=queued为空