forked from longtao.wu/droboticflow
Include the accumulated workflow scheduling, run history, subtree rerun, operator UI, deployment, data asset, object storage, database browser, and documentation changes currently in the worktree.
3.1 KiB
3.1 KiB
通用增量循环工作流设计
背景
当前平台已经具备两块独立能力:
BOS 增量扫描节点可以基于 checkpoint 扫描增量对象,并在 run 成功后提交 source state。streaming类型工作流可以按schedule.interval周期性创建新的scheduled run。
但这两块能力还没有在“任意完整 DAG”上打通。结果是:
- 只有专用扫描工作流能稳定表现出“循环执行”语义。
- 含
BOS 增量扫描节点的完整处理 DAG,如果没有显式顶层scanConfig/schedule,就会被保存成普通batch工作流。 - 回归脚本因此退化成“重复手动运行同一个工作流”,而不是验证真正的周期增量调度。
目标
实现并验收下面这类平台能力:
- 一个工作流里以
BOS 增量扫描作为源节点 - 顶层配置一个调度间隔
- worker 按间隔自动创建新的
scheduled run - 每次 run 只把本轮 BOS 增量数据推给后续整条 DAG
- run 成功后提交 checkpoint,下一轮继续基于 source state 扫描
设计
- 后端把“图里包含增量源节点”视为一种扫描工作流候选。
- 在创建/更新工作流时,如果图中存在
BOS 增量扫描节点,就允许从节点自身的hyperparams/data自动推导顶层scanConfig。 - 如果同时配置了
schedule.interval > 0,则自动把工作流归一化为:kind=scantype=streamingschedule.sourcePath与源节点对齐
- 如果没有开启周期执行,则仍保留为手动批处理,但顶层
scanConfig仍要和节点保持一致,方便后续切换。
- 前端编辑器把“图里存在增量源节点”识别为扫描型工作流。
- 不再要求必须先有顶层
kind=scan/scanConfig才显示扫描配置区。 - 只要图里存在
BOS 增量扫描,就显示:- 触发方式
- 调度间隔
- Bucket / Prefix / Connection / Endpoint / 密钥
- FULL / INCREMENTAL / Pattern
- 保存、运行、导出模板时统一先把图和顶层扫描配置对齐。
- 模板与复制链路也支持这类工作流。
- 工作流导出模板、模板创建/更新,都要保留并归一化顶层
kind/scanConfig/schedule。 - 模板实例化后仍是“可周期增量执行”的完整 DAG。
- 真实回归改成“单工作流自动循环”验收。
- 回归脚本不再通过手动重复运行同一个 workflow ID 来模拟增量。
- 改为创建一条
streaming + interval的完整增量工作流。 - 通过向 BOS 前缀分轮次注入新目录,验证:
- 第一轮:发现新增并处理
- 第二轮:只处理新增加的目录
- 第三轮:无新增时仍能完成空增量 run
验收标准
- 任意含
BOS 增量扫描节点的完整工作流都可配置为周期执行。 - worker 会自动周期创建新的
scheduled run,而非依赖人工重复点击运行。 - 每轮只处理 BOS 增量数据,source state 正确提交和续扫。
- 模板、复制、保存、运行链路全部支持该模型。
- 使用
bos://wjzh-data-migration/wjzh-0330-Data-migration做真实循环验收,所有相关工作流最终通过。