droboticflow/docs/wjzh-operator-regression.md
eust-w 43326d6a5e feat(platform): land workflow, data tooling, and docs updates
Include the accumulated workflow scheduling, run history, subtree rerun, operator UI, deployment, data asset, object storage, database browser, and documentation changes currently in the worktree.
2026-04-24 12:29:46 +08:00

3.5 KiB
Raw Blame History

WJZH 真实数据算子回归

这个回归入口面向真实生产环境,不再使用临时 shell 适配脚本里的明文 AK/SK,而是优先复用系统里的 BOS storage connection。

入口脚本:

python3 scripts/wjzh_operator_regression.py

回归内容

脚本会创建 1 个回归项目,并依次执行 4 条工作流:

  1. 01-索引校验上传
  2. 02-JSON工具链上传
  3. 03-中大型视频切片上传
  4. 04-超大视频全链路上传

数据源固定为:

bos://wjzh-data-migration/wjzh-0330-Data-migration

默认输出前缀:

bos://wjzh-data-migration/wjzh-0330-operator-regression

生产前置

必须满足下面 3 项,否则脚本会在 preflight 或 runtime smoke 阶段直接失败:

  1. API / worker 已部署为当前仓库版本 关键标志:/api/settings 返回里应包含 k8s.workspacePVCName。

  2. 共享工作区 PVC 已配置 至少要有:

    • WORKSPACE_PVC_NAME
    • WORKSPACE_MOUNT_PATH
  3. 已存在可用的 BOS storage connection 连接需要指向 wjzh-data-migration 桶。

推荐执行顺序

先做纯配置预检:

API_BASE_URL=http://<api-host>:30080 \
STORAGE_CONNECTION_ID=<storage-connection-id> \
python3 scripts/wjzh_operator_regression.py --preflight-only

预检通过后,再做带运行时烟测的正式回归:

API_BASE_URL=http://<api-host>:30080 \
STORAGE_CONNECTION_ID=<storage-connection-id> \
python3 scripts/wjzh_operator_regression.py --delete-regression-projects

如果确实要先清空所有项目,再重建回归项目,显式加:

--delete-all-projects

这个选项是破坏性的,默认不会启用。

连接配置方式

方式 1:使用已有 storage connection

推荐:

API_BASE_URL=http://<api-host>:30080 \
STORAGE_CONNECTION_ID=<storage-connection-id> \
python3 scripts/wjzh_operator_regression.py --preflight-only

也可以按名称查找:

API_BASE_URL=http://<api-host>:30080 \
STORAGE_CONNECTION_NAME=wjzh-data-migration \
python3 scripts/wjzh_operator_regression.py --preflight-only

方式 2:由脚本创建 storage connection

仅当环境里还没有现成连接时使用:

API_BASE_URL=http://<api-host>:30080 \
STORAGE_CONNECTION_NAME=wjzh-data-migration \
CREATE_CONNECTION_IF_MISSING=1 \
BOS_ENDPOINT=https://bj.bcebos.com \
BOS_BUCKET=wjzh-data-migration \
BOS_ACCESS_KEY_ID=<ak> \
BOS_SECRET_ACCESS_KEY=<sk> \
python3 scripts/wjzh_operator_regression.py --preflight-only

脚本做了什么

  1. 校验 /api/settings 是否满足当前版本的数据面要求。
  2. 校验并解析 BOS storage connection。
  3. 校验回归所需内置算子是否齐全。
  4. 先创建一条最小 connectionId 烟测工作流: BOS 增量扫描 -> X 平台数据集索引 -> 采集目录校验 -> 结果上传
  5. 只有烟测通过后,才会继续创建 4 条正式回归工作流。

如果脚本失败

重点看两类错误:

  1. settings.k8s.workspacePVCName is missing 说明线上还没部署到当前仓库这版,或者共享 PVC 没配好。

  2. runtime-smoke-failed 说明 API 里虽然已经存了 connectionId,但 worker / operator-runner 在真实运行时没有正确解析 BOS 连接,通常是线上部署版本落后于当前代码。

验收标准

  1. 运行时烟测工作流成功。
  2. 4 条正式回归工作流全部 completed。
  3. 工作流定义里不再保存明文 BOS_ACCESS_KEY_ID / BOS_SECRET_ACCESS_KEY。
  4. 结果写入 wjzh-data-migration 桶下独立时间戳前缀。