droboticflow/docs/plans/2026-04-20-directory-incremental-loop-acceptance.md
eust-w 43326d6a5e feat(platform): land workflow, data tooling, and docs updates
Include the accumulated workflow scheduling, run history, subtree rerun, operator UI, deployment, data asset, object storage, database browser, and documentation changes currently in the worktree.
2026-04-24 12:29:46 +08:00

4.0 KiB
Raw Permalink Blame History

目录级循环增量工作流验收记录

日期:2026-04-20

目标

验证平台支持以下能力:

  • 一个工作流周期性执行 BOS 增量扫描
  • 增量单位为目录,而不是对象文件
  • 新目录首次出现时,将该目录下全部内容推给后续流程
  • 老目录新增单个文件时,不应重新触发整目录

最终验收对象

  • 项目:project-f06a3295cc32f3aaba2a0fcdc2a98d23
  • 工作流:workflow-866f6e6fabb343c2fa6fd2171361cf7a
  • 名称:12-循环增量目录验收
  • 数据源: bos://wjzh-data-migration/wjzh-0330-Data-migration/__codex_incremental_directory_acceptance__/20260420T0002

最终冻结后的工作流状态:

  • type=batch
  • status=active
  • schedule.interval=0
  • scanConfig.enabled=false

保留冻结版本的目的是避免继续自动触发,同时保留验收结果。

运行前修复

在真实验收前,定位到一个 live 环境问题:

  • worker 的 chooseImage() 会把节点里配置的 droboticflow-operator-runner:* 镜像统一替换成 worker 自己的默认 OPERATOR_RUNNER_IMAGE
  • 这会导致工作流节点虽然配置了新 runner,实际运行仍使用旧镜像
  • 目录级增量逻辑因此无法真正生效

处理方式:

  • 构建并推送新镜像: ccr-29eug8s3-pub.cnc.bj.baidubce.com/dataflow/droboticflow-operator-runner:20260420-dirincrement-amd64
  • 将 live droboticflow-worker 的 OPERATOR_RUNNER_IMAGE 更新到该镜像
  • 滚动完成后重新创建验收工作流

工作流配置

源节点核心参数:

  • DATA_SOURCE=BOS
  • SOURCE_PATH=bos://wjzh-data-migration/wjzh-0330-Data-migration/__codex_incremental_directory_acceptance__/20260420T0002
  • SCAN_MODE=INCREMENTAL
  • INCREMENTAL_UNIT=DIRECTORY
  • INCREMENTAL_DIRECTORY_DEPTH=1

顶层工作流参数:

  • type=streaming
  • kind=scan
  • schedule.interval=20
  • maxConcurrentRuns=1
  • scanConfig.scanMode=INCREMENTAL
  • scanConfig.incrementalUnit=DIRECTORY
  • scanConfig.directoryDepth=1

节点链路:

flowchart LR
  A["BOS 增量扫描"] --> B["X 平台数据集索引"]
  B --> C["采集目录校验"]

5 轮真实验收结果

第 1 轮

  • Run:run-34485343e7f4c373f04898f2cacc20dd
  • 操作:预先创建 2 个新目录 loop-a-002、loop-b-002
  • 结果:
    • newCount=8
    • listedCount=8
    • incrementalUnit=DIRECTORY
    • directoryDepth=1
    • seenFingerprints=["loop-a-002","loop-b-002"]

第 2 轮

  • Run:run-453a9aca8a39e687ab9b300b5e9a3237
  • 操作:无新增目录
  • 结果:
    • newCount=0
    • listedCount=8
    • incrementalUnit=DIRECTORY
    • directoryDepth=1

第 3 轮

  • Run:run-0653050fd3e04cde4fa936a1ab6e2ddd
  • 操作:在已有目录 loop-a-002 下新增 notes.txt
  • 结果:
    • newCount=0
    • listedCount=9
    • incrementalUnit=DIRECTORY
    • directoryDepth=1

说明:

  • 这轮是关键验证
  • 目录内新增文件不会把已有目录重新当成“新目录”

第 4 轮

  • Run:run-cf6b308760ff66d152a036b149ab0c55
  • 操作:新增 2 个新目录 loop-c-002、loop-d-002
  • 结果:
    • newCount=8
    • listedCount=17
    • incrementalUnit=DIRECTORY
    • directoryDepth=1

第 5 轮

  • Run:run-57b4b0c25060b52221e54dd51f37a529
  • 操作:无新增目录
  • 结果:
    • newCount=0
    • listedCount=17
    • incrementalUnit=DIRECTORY
    • directoryDepth=1

最终结论

目录级循环增量工作流已经真实通过验收,满足以下语义:

  • 新目录首次出现时,整目录内容会进入后续流程
  • 老目录中单独新增文件,不会重新触发整目录
  • 空增量轮次可以稳定完成,不会误报新增
  • source state 会按目录名记录 seenFingerprints

清理结果

验收过程中创建过的旧临时工作流均已删除,不再残留:

  • workflow-59898c1cbf431a156733cf6b869a8e1d
  • workflow-976bcfc00e074fa2b9e6a56b6ec31d53
  • workflow-dae6d63c04af0e7646b722aee42adfc6

验收收尾时确认:

  • /api/runs?status=running 为空
  • /api/runs?status=queued 为空