forked from longtao.wu/droboticflow
416 lines
16 KiB
Markdown
416 lines
16 KiB
Markdown
# Drobodata 功能介绍与线上验收报告
|
||
|
||
测试时间:2026-04-15
|
||
测试环境:`<deployed-api-base-url>`
|
||
测试方式:真实线上环境 API 采样 + Playwright 端到端自动化
|
||
测试结论:核心功能链路已完成两轮完整回归,主流程全部通过
|
||
|
||
## 1. 报告范围
|
||
|
||
这份报告覆盖两层信息:
|
||
|
||
1. 当前线上环境实际提供了哪些功能,以及页面上呈现成什么状态。
|
||
2. 我基于 Playwright 对真实环境做了哪些端到端验证,哪些能力已经被实测打通。
|
||
|
||
需要单独说明的一点是:当前线上部署版本和当前仓库主工作区代码并不完全一致。最明显的差异是:
|
||
|
||
- 当前仓库已经朝“仅 Kubernetes Job 模式”收敛。
|
||
- 当前线上环境的系统配置页和 `/api/settings` 仍然保留了 `k8s.enabled` 语义,页面上也还能看到“启用 K8s 调度”开关。
|
||
|
||
因此,下面的结论都以“线上环境当前真实表现”为准,同时会在必要处标出与当前仓库代码语义的差异。
|
||
|
||
## 2. 产品能力总览
|
||
|
||
从前端路由、侧边导航、页面实现和线上行为来看,当前系统可以拆成 13 个一级功能模块。
|
||
|
||
| 模块 | 入口 | 核心作用 | 本次验证结果 |
|
||
| --- | --- | --- | --- |
|
||
| 仪表盘 | `/` | 汇总项目数、算子数、当日 Job 执行数、成功率、审核待办 | 通过 |
|
||
| 项目管理 | `/projects` | 创建项目、搜索项目、进入项目详情、承载工作流列表 | 通过 |
|
||
| 项目详情 | `/project/:id` | 新建工作流、从项目保存模板、查看项目下工作流 | 通过 |
|
||
| 工作流编辑器 | `/workflow/:id` | 设计 DAG、配置算子、保存、运行、导出模板、查看边产物 | 通过 |
|
||
| 算子管理 | `/operators` | 浏览内置算子、注册自定义算子、编辑、删除 | 通过 |
|
||
| 工作流模板 | `/templates` | 浏览模板、搜索模板、从模板创建工作流 | 通过 |
|
||
| 执行监控 | `/monitoring` | 查看运行状态、过滤搜索、查看日志/资源/产出数据 | 通过 |
|
||
| 任务审核 | `/audit` | 处理人工审核节点产生的待审核任务,支持通过/拒绝 | 通过 |
|
||
| 数据资产 | `/data-assets` | 汇总源数据和成品数据,按目录与文件检索 | 页面可用,当前环境暂无数据 |
|
||
| 业务数据库 | `/database` | 管理业务 MongoDB 连接、集合、索引与查询 | 通过 |
|
||
| 对象存储 | `/object-storage` | 管理 BOS 连接、浏览 bucket/prefix/object、写入对象 | 通过 |
|
||
| 抽检任务 | `/sampling` | 管理抽样质检任务与状态 | 页面可用,当前环境暂无任务 |
|
||
| 用户管理 | `/users` | 创建、编辑、删除系统用户并分配角色 | 通过 |
|
||
| 系统配置 | `/settings` | 配置 K8s 集群、Worker 默认资源、时区和 AI 服务 | 通过 |
|
||
|
||
## 3. 功能点详细分析
|
||
|
||
### 3.1 平台总览与权限入口
|
||
|
||
平台采用左侧导航 + 右侧业务视图的标准控制台布局。不同角色看到的导航项不同:
|
||
|
||
- `admin` 可见全部模块。
|
||
- `operator` 主要覆盖项目、工作流、模板、执行监控、抽检。
|
||
- `auditor` 主要覆盖仪表盘、数据资产、审核、执行监控。
|
||
|
||
这意味着产品的职责边界已经比较清晰:
|
||
|
||
- 管理侧:系统配置、用户、对象存储、业务数据库。
|
||
- 生产侧:项目、工作流、算子、模板、执行监控。
|
||
- 审核侧:人工审核、抽检、数据资产查看。
|
||
|
||

|
||
|
||
图 1:线上仪表盘,展示活跃项目、已注册算子和当日 Job 执行数。
|
||
|
||
### 3.2 项目与工作流管理
|
||
|
||
项目是工作流的业务容器。围绕项目,系统提供了完整的工作流生命周期入口:
|
||
|
||
- 创建项目。
|
||
- 进入项目详情页。
|
||
- 在项目下创建普通工作流。
|
||
- 从工作流导出模板。
|
||
- 在项目详情页直接“保存为模板”。
|
||
- 使用模板回填到项目,生成新的工作流。
|
||
|
||
本次自动化验证实际打通了两条路径:
|
||
|
||
1. 在项目详情页直接新建工作流并进入编辑器。
|
||
2. 先从工作流导出模板,再从模板页复用回项目。
|
||
|
||

|
||
|
||
图 2:项目详情页是工作流创建、模板沉淀和项目级查看的核心入口。
|
||
|
||
### 3.3 工作流编辑器与算子编排
|
||
|
||
工作流编辑器是整个平台最核心的能力,当前已经具备以下关键功能:
|
||
|
||
- 节点式 DAG 编排。
|
||
- 左侧算子库搜索与拖入画布。
|
||
- 节点双击打开配置面板。
|
||
- 工作流级配置切换手动执行 / 周期执行。
|
||
- 保存工作流。
|
||
- 直接从编辑器发起运行。
|
||
- 不离开编辑器观察当前执行态。
|
||
- 查看连线输出面板。
|
||
- 导出为模板。
|
||
|
||
本次验证覆盖了两个关键工作流场景:
|
||
|
||
#### 场景 A:BOS 增量扫描工作流
|
||
|
||
验证内容:
|
||
|
||
- 在编辑器中添加 `BOS 增量扫描` 算子。
|
||
- 配置 BOS 连接、Bucket、Prefix。
|
||
- 收藏常用路径。
|
||
- 刷新后验证“常用路径”是否持久存在。
|
||
- 手动触发运行。
|
||
- 验证源状态是否写入。
|
||
- 验证“重置当前状态”是否生效。
|
||
|
||
这个场景证明当前系统的“对象存储扫描 + 增量状态管理 + 收藏路径”是打通的。
|
||
|
||

|
||
|
||
图 3:基于 BOS 的扫描工作流编辑界面。
|
||
|
||
#### 场景 B:普通处理工作流
|
||
|
||
验证内容:
|
||
|
||
- 用 API 写入三节点链路:`真实数据源 -> 人工审核 -> 结果上传`。
|
||
- 在前端编辑器修改源节点超参数。
|
||
- 在编辑器直接点击“运行工作流”。
|
||
- 保持停留在编辑器,不强制跳转。
|
||
- 运行后进入执行监控。
|
||
- 自动发现并处理人工审核任务。
|
||
- 验证 Run 最终完成。
|
||
|
||
这个场景证明了“编辑器配置 -> 发起运行 -> 审核阻塞 -> 审核放行 -> 下游继续执行”的完整主链路是可用的。
|
||
|
||

|
||
|
||
图 4:普通工作流编辑页面,支持运行、保存和工作流配置切换。
|
||
|
||
### 3.4 算子体系
|
||
|
||
算子管理页当前既承担“算子资产浏览”,也承担“平台注册新算子”的职责。页面可见的内置算子覆盖了典型数据生产链:
|
||
|
||
- `MongoDB 写入`
|
||
- `BOS 增量扫描`
|
||
- `抽检采样`
|
||
- `成品打包`
|
||
- `视频标注`
|
||
- `视频切片`
|
||
|
||
Playwright 实测覆盖了:
|
||
|
||
- 新建一个自定义算子。
|
||
- 编辑描述信息。
|
||
- 搜索该算子。
|
||
- 删除该算子。
|
||
|
||
因此这部分不只是静态展示,后台 CRUD 能力已被实际验证。
|
||
|
||

|
||
|
||
图 5:算子管理页,内置算子和自定义算子共用同一管理入口。
|
||
|
||
### 3.5 执行监控与运行可观测性
|
||
|
||
执行监控页负责聚合所有 Run 的执行历史。当前已验证的能力包括:
|
||
|
||
- 以工作流名称检索 Run。
|
||
- 查看状态、开始时间、耗时。
|
||
- 打开“执行日志”弹窗。
|
||
- 打开“资源监控”弹窗。
|
||
- 打开“产出数据”弹窗。
|
||
|
||
此外,我还专门验证了工作流编辑器里的“边输出面板”三种状态:
|
||
|
||
- 上游已完成、下游运行中。
|
||
- 整体执行成功。
|
||
- 下游执行失败。
|
||
|
||
这说明当前系统不只是有 Run 列表,还能把连线级产物与节点级状态串起来。
|
||
|
||

|
||
|
||
图 6:执行监控页已经可以按工作流检索,并展示运行状态与执行历史。
|
||
|
||
### 3.6 人工审核
|
||
|
||
人工审核是当前工作流里最重要的“人工介入点”。我验证了两种结论分支:
|
||
|
||
- 审核通过。
|
||
- 审核拒绝。
|
||
|
||
并确认:
|
||
|
||
- 两类任务都会在审核页出现。
|
||
- 点击后可完成处理。
|
||
- 处理后对应 Run 会继续推进并落到完成态。
|
||
|
||
这意味着当前的审核设计不是“纯展示”,而是真正挂在工作流推进链路中的控制点。
|
||
|
||

|
||
|
||
图 7:任务审核页能同时展示待审核卡片和右侧审核工作区。
|
||
|
||
### 3.7 模板复用
|
||
|
||
模板能力已经形成闭环:
|
||
|
||
- 从工作流编辑器导出模板。
|
||
- 在模板列表页搜索模板。
|
||
- 从模板选择目标项目并生成新工作流。
|
||
- 在项目详情页直接把已有工作流保存为模板。
|
||
|
||
这类能力对标准化生产非常关键,因为它决定了流程是否能沉淀成可复用资产,而不是每次都重新搭。
|
||
|
||

|
||
|
||
图 8:模板列表页支持搜索、进入复用流程和继续编辑。
|
||
|
||
### 3.8 业务数据库
|
||
|
||
业务数据库页面向的是“用户自定义的业务 MongoDB 连接”。当前页面已经能做以下事情:
|
||
|
||
- 切换 Mongo 连接。
|
||
- 测试连接。
|
||
- 查看数据库名。
|
||
- 管理集合。
|
||
- 运行 JSON 查询。
|
||
- 查看与创建索引。
|
||
- 管理第三方写入 API Token。
|
||
|
||
这块能力说明平台并不只关心文件和对象存储,也具备把结构化结果回写到业务数据库的承接面。
|
||
|
||

|
||
|
||
图 9:业务数据库页支持连接管理、查询、集合操作和索引维护。
|
||
|
||
### 3.9 对象存储
|
||
|
||
对象存储页是 BOS 连接的运维入口,当前页面功能包括:
|
||
|
||
- 管理 BOS 连接。
|
||
- 绑定 bucket。
|
||
- 浏览目录和对象列表。
|
||
- 预览对象。
|
||
- 创建新的文本对象。
|
||
|
||
本次测试没有只停留在页面展示,而是把对象存储能力和工作流里的 `BOS 增量扫描` 算子连起来验证了:
|
||
|
||
- 对象存储连接能在工作流节点中选择。
|
||
- Bucket/Prefix 能被算子消费。
|
||
- 收藏路径能被重新回填。
|
||
|
||
因此它是“工作流输入源”的一部分,不是孤立的资源浏览器。
|
||
|
||

|
||
|
||
图 10:对象存储页已经具备连接、目录浏览和对象操作能力。
|
||
|
||
### 3.10 数据资产与抽检
|
||
|
||
数据资产和抽检属于“偏结果查看”的功能层。
|
||
|
||
当前线上环境里:
|
||
|
||
- `/api/source-data/collections` 返回空。
|
||
- `/api/packages` 返回空。
|
||
- `/api/sampling-tasks` 返回空。
|
||
|
||
因此本次能确认的是:
|
||
|
||
- 页面本身可以正常进入。
|
||
- 标签切换和搜索框渲染正常。
|
||
- 当前测试环境还没有挂载出可展示的源数据、成品数据和抽检任务。
|
||
|
||
也就是说,这两部分目前更像“功能入口已就位,但线上样例数据为空”。
|
||
|
||

|
||
|
||
图 11:数据资产页可正常加载,但当前环境下源数据和成品数据都为空。
|
||
|
||
### 3.11 用户与系统配置
|
||
|
||
用户管理页本次实测通过了:
|
||
|
||
- 创建用户。
|
||
- 修改角色。
|
||
- 删除用户。
|
||
|
||
系统配置页本次实测通过了:
|
||
|
||
- 读取配置。
|
||
- 修改 Worker 轮询间隔。
|
||
- 提交保存。
|
||
- 再次改回原值并保存。
|
||
|
||
从当前线上截图可见,配置页仍包含:
|
||
|
||
- K8s 集群 `endpoint / namespace / kubeconfig`
|
||
- Worker 轮询和默认资源
|
||
- 时区
|
||
- 以及“启用 K8s 调度”开关
|
||
|
||
这里再次提醒:这个开关属于线上部署和当前代码分支之间的差异点。
|
||
|
||

|
||
|
||
图 12:线上配置页仍然保留 `启用 K8s 调度` 开关,说明部署版本尚未完全同步到最新的 Kubernetes-only 设计。
|
||
|
||
## 4. Playwright 端到端验证范围
|
||
|
||
本次不是只点了一遍页面,而是做了真实的跨模块自动化回归。以下链路都已经被脚本验证通过,而且我连续执行了两轮,结果一致:
|
||
|
||
| 验证项 | 具体动作 | 结果 |
|
||
| --- | --- | --- |
|
||
| 首次进入系统 | 检查是否出现 bootstrap 用户创建页 | 通过 |
|
||
| 系统配置保存 | 修改轮询间隔并保存,再改回原值 | 通过 |
|
||
| 算子 CRUD | 创建、编辑、搜索、删除自定义算子 | 通过 |
|
||
| 业务数据库 | 进入页面、切换连接、验证集合与索引区域 | 通过 |
|
||
| 数据资产 | 进入页面,源数据/成品数据标签加载 | 通过 |
|
||
| 对象存储 | 进入页面,连接与目录渲染 | 通过 |
|
||
| 抽检任务 | 进入页面并完成基础渲染校验 | 通过 |
|
||
| 旧路由兼容 | `/scan-configs` 自动回跳 `/projects` | 通过 |
|
||
| 项目创建 | 创建项目并进入详情页 | 通过 |
|
||
| BOS 扫描工作流 | 新建、配置、收藏路径、保存 | 通过 |
|
||
| BOS 增量状态 | 运行后写入状态,再重置状态 | 通过 |
|
||
| 普通工作流执行 | 在编辑器中运行,不跳离页面 | 通过 |
|
||
| Run 监控 | 搜索 Run,查看日志/资源/产出数据弹窗 | 通过 |
|
||
| 人工审核 | 自动发现任务并完成 approve | 通过 |
|
||
| 连线输出面板 | 覆盖 running / completed / failed 三种状态 | 通过 |
|
||
| 模板导出 | 从工作流导出模板 | 通过 |
|
||
| 模板复用 | 从模板选择项目并生成工作流 | 通过 |
|
||
| 项目保存模板 | 在项目详情页保存为模板 | 通过 |
|
||
| 用户管理 | 创建、编辑、删除用户 | 通过 |
|
||
| 审核通过/拒绝 | 分别触发 approve / reject 两种流转 | 通过 |
|
||
|
||
执行命令如下:
|
||
|
||
```bash
|
||
PLAYWRIGHT_SOURCE_PATH=<path-visible-to-operator-runner> \
|
||
BASE_URL=<deployed-api-base-url> \
|
||
node scripts/playwright-functional-check.mjs
|
||
```
|
||
|
||
`PLAYWRIGHT_SOURCE_PATH` 必须指向 operator-runner 可读取的真实数据路径。脚本会把 `bos://bucket/prefix` 自动识别为 `BOS`,其余文件系统或 PVC 路径识别为 `LOCAL`;历史的 `PLAYWRIGHT_SOURCE_DATA_SOURCE=FILESYSTEM` 会归一为 `LOCAL`。只有需要覆盖自动推断时才设置 `PLAYWRIGHT_SOURCE_DATA_SOURCE`。
|
||
|
||
脚本文件位置:
|
||
|
||
- [scripts/playwright-functional-check.mjs](../scripts/playwright-functional-check.mjs)
|
||
|
||
产物目录:
|
||
|
||
- [output/playwright](../output/playwright)
|
||
|
||
## 5. 线上环境快照
|
||
|
||
测试结束后对线上 API 的抽样结果如下:
|
||
|
||
- 活跃项目:`11`
|
||
- 已注册算子:`26`
|
||
- 当日执行 Run:`33`
|
||
- 审核待办:`0`
|
||
- BOS 连接:`2`
|
||
- 业务 Mongo 连接:`4`
|
||
- 模板:`6`
|
||
- 源数据集合:`0`
|
||
- 成品包:`0`
|
||
- 抽检任务:`0`
|
||
|
||
这说明当前线上环境更像是“流程验证和能力展示环境”:
|
||
|
||
- 主业务主链路是通的。
|
||
- 管理侧连接资源是存在的。
|
||
- 数据资产和抽检结果数据还没有铺满。
|
||
|
||
## 6. 演示视频
|
||
|
||
Playwright 录制的视频已经生成:
|
||
|
||
- [playwright-functional-check.webm](../output/playwright/playwright-functional-check.webm)
|
||
|
||
如果当前查看器支持内嵌视频,可直接播放:
|
||
|
||
<video controls src="../output/playwright/playwright-functional-check.webm" width="960"></video>
|
||
|
||
## 7. 本次发现的差异与建议
|
||
|
||
### 7.1 线上部署版本仍残留旧配置语义
|
||
|
||
当前线上环境里:
|
||
|
||
- 设置页还显示“启用 K8s 调度”。
|
||
- `/api/settings` 仍有 `k8s.enabled` 字段。
|
||
|
||
而当前仓库工作区已经朝“仅 Kubernetes Job 模式”收敛。建议下一次部署时同步这部分前后端版本,避免用户误以为还支持可切换的本地模式。
|
||
|
||
### 7.2 数据资产、成品数据、抽检页面缺少展示数据
|
||
|
||
页面本身可进入,但线上环境当前没有对应业务样本。建议补一套最小演示数据:
|
||
|
||
- 一个源数据目录。
|
||
- 一个成品包。
|
||
- 一个抽检任务。
|
||
|
||
这样文档、演示和验收会更完整。
|
||
|
||
-
|
||
|
||
## 8. 结论
|
||
|
||
如果从“今天这个线上环境能不能作为一个可演示、可验证、可继续开发的 Kubernetes Job 工作流平台”来判断,答案是可以。
|
||
|
||
当前已经实测通过的核心闭环是:
|
||
|
||
1. 配置 K8s / 对象存储 / 业务数据库等基础资源。
|
||
2. 创建项目与工作流。
|
||
3. 使用 BOS 扫描类算子和普通处理类算子构建流程。
|
||
4. 在编辑器内发起运行。
|
||
5. 通过执行监控与审核页推进流程。
|
||
6. 将流程沉淀为模板复用。
|