droboticflow/docs/plans/2026-04-17-incremental-loop-scan-workflow-design.md
eust-w 43326d6a5e feat(platform): land workflow, data tooling, and docs updates
Include the accumulated workflow scheduling, run history, subtree rerun, operator UI, deployment, data asset, object storage, database browser, and documentation changes currently in the worktree.
2026-04-24 12:29:46 +08:00

3.1 KiB
Raw Blame History

通用增量循环工作流设计

背景

当前平台已经具备两块独立能力:

  • BOS 增量扫描 节点可以基于 checkpoint 扫描增量对象,并在 run 成功后提交 source state。
  • streaming 类型工作流可以按 schedule.interval 周期性创建新的 scheduled run。

但这两块能力还没有在“任意完整 DAG”上打通。结果是:

  • 只有专用扫描工作流能稳定表现出“循环执行”语义。
  • 含 BOS 增量扫描 节点的完整处理 DAG,如果没有显式顶层 scanConfig/schedule,就会被保存成普通 batch 工作流。
  • 回归脚本因此退化成“重复手动运行同一个工作流”,而不是验证真正的周期增量调度。

目标

实现并验收下面这类平台能力:

  • 一个工作流里以 BOS 增量扫描 作为源节点
  • 顶层配置一个调度间隔
  • worker 按间隔自动创建新的 scheduled run
  • 每次 run 只把本轮 BOS 增量数据推给后续整条 DAG
  • run 成功后提交 checkpoint,下一轮继续基于 source state 扫描

设计

  1. 后端把“图里包含增量源节点”视为一种扫描工作流候选。
  • 在创建/更新工作流时,如果图中存在 BOS 增量扫描 节点,就允许从节点自身的 hyperparams/data 自动推导顶层 scanConfig。
  • 如果同时配置了 schedule.interval > 0,则自动把工作流归一化为:
    • kind=scan
    • type=streaming
    • schedule.sourcePath 与源节点对齐
  • 如果没有开启周期执行,则仍保留为手动批处理,但顶层 scanConfig 仍要和节点保持一致,方便后续切换。
  1. 前端编辑器把“图里存在增量源节点”识别为扫描型工作流。
  • 不再要求必须先有顶层 kind=scan/scanConfig 才显示扫描配置区。
  • 只要图里存在 BOS 增量扫描,就显示:
    • 触发方式
    • 调度间隔
    • Bucket / Prefix / Connection / Endpoint / 密钥
    • FULL / INCREMENTAL / Pattern
  • 保存、运行、导出模板时统一先把图和顶层扫描配置对齐。
  1. 模板与复制链路也支持这类工作流。
  • 工作流导出模板、模板创建/更新,都要保留并归一化顶层 kind/scanConfig/schedule。
  • 模板实例化后仍是“可周期增量执行”的完整 DAG。
  1. 真实回归改成“单工作流自动循环”验收。
  • 回归脚本不再通过手动重复运行同一个 workflow ID 来模拟增量。
  • 改为创建一条 streaming + interval 的完整增量工作流。
  • 通过向 BOS 前缀分轮次注入新目录,验证:
    • 第一轮:发现新增并处理
    • 第二轮:只处理新增加的目录
    • 第三轮:无新增时仍能完成空增量 run

验收标准

  • 任意含 BOS 增量扫描 节点的完整工作流都可配置为周期执行。
  • worker 会自动周期创建新的 scheduled run,而非依赖人工重复点击运行。
  • 每轮只处理 BOS 增量数据,source state 正确提交和续扫。
  • 模板、复制、保存、运行链路全部支持该模型。
  • 使用 bos://wjzh-data-migration/wjzh-0330-Data-migration 做真实循环验收,所有相关工作流最终通过。