Include the accumulated workflow scheduling, run history, subtree rerun, operator UI, deployment, data asset, object storage, database browser, and documentation changes currently in the worktree.
5.3 KiB
通用增量循环工作流 Implementation Plan
For Claude: REQUIRED SUB-SKILL: Use superpowers:executing-plans to implement this plan task-by-task.
Goal: 让任意包含 BOS 增量扫描 源节点的完整工作流都能作为周期性增量处理 DAG 自动运行。
Architecture: 后端在创建/更新工作流及模板时,从图中的增量源节点自动推导顶层 scanConfig 和调度属性;前端编辑器将“含增量源节点”的工作流视为扫描型工作流并同步配置;回归脚本改成真实周期调度而不是重复手动运行。
Operational Notes (implemented):
- 扫描型工作流默认
maxConcurrentRuns=1,避免同一增量链路多轮scheduled run重叠。 - API 侧代理
/worker-api/*到集群内droboticflow-workerService,便于统一入口下检查 worker 健康、stats 与手动process-once。
Tech Stack: Go API/store, React workflow editor, Python regression script, Kubernetes worker, BOS
Task 1: 为通用增量循环工作流补失败测试
Files:
- Modify:
/Users/longtaowu/workspace/droboticflow/internal/api/server_test.go - Modify:
/Users/longtaowu/workspace/droboticflow/tests/frontend/scan-workflows.test.mjs
Step 1: 写后端失败测试
- 创建一个包含
BOS 增量扫描节点、带schedule.interval、但没有显式顶层scanConfig的完整工作流 payload。 - 期望 API 自动补出
kind=scan、scanConfig、schedule.sourcePath。
Step 2: 跑后端测试确认失败
Run: go test ./internal/api -run 'TestProjectWorkflowCreateInfersScanConfigFromIncrementalSourceNode|TestWorkflowUpdateInfersScanConfigFromIncrementalSourceNode|TestTemplateCreateInfersScanConfigFromIncrementalSourceNode' -v
Step 3: 写前端失败测试
- 验证没有顶层
scanConfig时,仍可从BOS 增量扫描节点推导扫描配置和 ready 状态。
Step 4: 跑前端测试确认失败
Run: node --test tests/frontend/scan-workflows.test.mjs
Task 2: 实现后端工作流/模板自动推导扫描壳
Files:
- Modify:
/Users/longtaowu/workspace/droboticflow/internal/domain/workflow.go - Modify:
/Users/longtaowu/workspace/droboticflow/internal/api/server.go
Step 1: 增加通用扫描源节点识别 helper
- 增加判断节点是否为
BOS 增量扫描的公共 helper。
Step 2: 实现从节点推导 scan config 的 helper
- 从节点
hyperparams、bucket/prefix/pattern/connectionId、schedule.interval生成scanConfigRequest。
Step 3: 在工作流 create/update 中接入
- 含增量源节点时自动归一化:
kindscanConfigscheduletypemaxConcurrentRuns=1(若用户未显式指定)
Step 4: 在模板 create/update 中接入
- 保持与工作流一致的归一化行为。
- 同样默认
maxConcurrentRuns=1
- 同样默认
Step 5: 跑后端测试
Run: go test ./internal/api -v
Task 3: 实现前端编辑器对通用增量循环工作流的支持
Files:
- Modify:
/Users/longtaowu/workspace/droboticflow/src/lib/scan-workflows.js - Modify:
/Users/longtaowu/workspace/droboticflow/src/pages/WorkflowEditor.tsx - Modify:
/Users/longtaowu/workspace/droboticflow/tests/frontend/scan-workflows.test.mjs
Step 1: 从图节点推导扫描配置
- 在
scan-workflows.js里增加从BOS 增量扫描节点推导 scan config 的 helper。
Step 2: 调整编辑器识别逻辑
- 只要图里有增量源节点,就显示扫描配置 UI。
Step 3: 调整保存/运行/导出模板逻辑
- 保存前统一同步顶层扫描壳和画布节点。
- 前端草稿和扫描壳默认显示
maxConcurrentRuns=1
Step 4: 跑前端测试
Run:
node --test tests/frontend/scan-workflows.test.mjs tests/frontend/templates.test.mjs tests/frontend/template-settings.test.mjsnpm run lint
Task 4: 回归脚本改成真实周期增量验收
Files:
- Modify:
/Users/longtaowu/workspace/droboticflow/scripts/wjzh_operator_regression.py
Step 1: 改掉重复手动运行同一 workflow ID 的逻辑
- 对增量验收工作流,改成真正的
streaming + interval工作流。
Step 2: 实现分轮次 BOS 注入和 run 观测
- round-1 注入新增目录并等待 scheduled run 完成。
- round-2 再注入新增目录并验证仅处理新增。
- round-3 不注入数据,验证空增量 run。
Step 3: 本地脚本 dry-run / lint
Run: python3 -m py_compile /Users/longtaowu/workspace/droboticflow/scripts/wjzh_operator_regression.py
Task 5: 部署并做真实集群循环验收
Files:
- Modify as needed during bugfix loop
Step 1: 运行本地全量测试
Run: go test ./...
Step 2: 构建并部署需要更新的镜像
- API
- 前端(如果独立构建)
- 如需要再发布 worker / operator-runner
- 若 live worker 未对公网暴露,也可通过 API 入口使用
/worker-api/health|stats|process-once
Step 3: 真实执行回归
Run:
API_BASE_URL=http://114.111.24.223:30080 \
STORAGE_CONNECTION_ID=storage-d69ba0e9824a9abd216eced490f0aed3 \
python3 /Users/longtaowu/workspace/droboticflow/scripts/wjzh_operator_regression.py --delete-regression-projects
Step 4: 如失败则修复后重复执行,直到通过
Step 5: 验收结果整理
- 给出最终项目 ID / 工作流 ID / 增量循环工作流 ID
- 给出各轮 scheduled run 结果和 BOS 输出路径