TBC/history.md

36 KiB
Raw Blame History

变更日志

本文件记录了 AutoFlow 统一测试平台的所有重要变更,包括架构改进、功能增强和API测试优化。

2026-07-02 — 二合一重构:最终完成

所有阶段已合并到 dev

阶段 断裂线 状态
1 配置系统 ✅
2 API 客户端 + 日志 ✅
3 BasePage(12 Mixin) ✅ 已验证(11/14 场景通过)
4 场景去重 + pytest 收集 ✅ 867 测试

Robogo 场景验证

状态 数量 说明
✅ 通过 11 登录、导航、smart_click/smart_find 等 Mixin 方法全部正常
❌ 失败 3 文件系统(#folderName 元素变化)、3D链路(test_data 目录缺失)、量化工具(弹窗遮挡)— 均为原有页面元素/环境问题

无法统一

项目 原因
认证流程 D-Cloud SSO ≠ Robogo 本地登录
被测前端 Ant Design ≠ PrimeVue
测试运行器 pytest + marker ≠ 脚本编排器
被测 URL 不同的平台地址

结论

代码层面已实现二合一。 所有阶段合并到 dev,pytest --collect-only 统计 867 个测试。smart_* Mixin 方法验证通过。3 个场景失败是原有 Robogo 页面问题,与重构无关。

2026-06-27 — 二合一重构阶段 4:平台层面统一 ✅ 已完成

2026-06-27 — 二合一重构阶段 4:平台层面统一 ✅ 已完成

分支

refactor/phase4-platform-unification · 提交 9ba4b25

变更内容

变更 说明
场景去重 删除 scenarios/(14 个文件,与 framework/scripts/ 逐字重复)
入口修复 新建 framework/scripts/run_all.py(修复 DataManagementRunner 悬挂引用)
入口补全 新建 framework/scripts/run_data_loop.py(数据闭环入口)
PRODUCTS 更新 backend/app.py 入口指向 framework/scripts/
pytest 收集 新建 tests/robogo/test_scenarios.py(11 个场景参数化)
marker 新增 pytest.ini 新增 robogo marker

验证

验证项 结果
全量项目源文件编译 ✅ 0 错误
测试收集 ✅ 867 个(856 D-Cloud + 11 Robogo)
E2E 测试 ✅ 不受影响

涉及文件

framework/scripts/run_all.py(新建), framework/scripts/run_data_loop.py(新建), tests/robogo/test_scenarios.py(新建), backend/app.py, pytest.ini, scenarios/(删除)

2026-06-27 — 二合一重构阶段 3:BasePage 合并 ✅ 已完成

分支

refactor/phase3-unified-basepage · 提交 0abf0a2

变更内容

变更 说明
SmartLocatorMixin 新建,包含 smart_find/visible_dialog/goto_route
SmartInteractionMixin 新建,包含 smart_click/smart_click_any/smart_fill/smart_select/smart_delete/click_row_action
统一 BasePage 12 个 Mixin 组合(原有 10 个 + 新增 2 个)
9 个页面对象迁移 framework/business/*_page.py 改为继承 tests.base.base_page.BasePage
旧文件删除 framework/core/base_page.py

验证

验证项 结果
全量项目源文件编译 ✅ 0 错误
856 测试收集 ✅ 全量通过
12 个 Mixin 方法名零冲突 ✅
E2E 测试 ✅ 不受影响

6 条断裂线进度

配置 ✅ → API 客户端 ✅ → 日志 ✅ → BasePage ✅ → 认证 ⬜ → 场景去重 ⬜

涉及文件

tests/base/mixins/smart_locator.py(新建), tests/base/mixins/smart_interaction.py(新建), tests/base/mixins/__init__.py, tests/base/base_page.py, framework/core/base_page.py(删除), 9 个 framework/business/*_page.py

2026-06-27 — 二合一重构阶段 2:API 客户端 + 日志统一 ✅ 已完成

分支

refactor/phase2-unified-api-client · 提交 6fc10ea

变更内容

变更 说明
APIClient 增强 新增 get_common_headers()(兼容原 BaseAPI 的 header 构建)、request()(兼容方法,返回 dict)、_check_response()(HTTP + 业务状态码检查)、cookie 参数支持
5 个 BaseAPI 子类迁移 CloudDesktopService/DevMachineService/BillingService/MealReminderService × 2 改为继承 APIClient
41 个 logger import 更新 from framework.core.logger import get_logger → from tests.logger import get_logger
旧文件删除 framework/core/base_api.py、framework/core/logger.py
Config 属性补充 新增 CLOUD_AUTH_TOKEN/AMAP_KEY/AMAP_COORDINATES(3 个悬挂引用)

验证

验证项 结果
全量 Python 编译 ✅ 0 错误
856 测试收集 ✅ 全量通过
E2E 测试 ✅ 不受影响
get_common_headers() 兼容性 ✅ 输出一致
request() 返回类型 ✅ dict(与旧 BaseAPI 行为一致)

6 条断裂线进度

配置 ✅ → API 客户端 ✅ → 日志 ✅ → BasePage ⬜ → 认证 ⬜ → 场景去重 ⬜

涉及文件

tests/utils/api_client.py, config/settings.py, framework/core/base_api.py(删除), framework/core/logger.py(删除), 5 个 BaseAPI 子类, 41 个 logger import

2026-06-27 — 二合一重构阶段 2 分析:API 客户端 + 日志统一

背景

REFACTOR_EVALUATION.md 评估的 6 条断裂线第 2-3 条:API 客户端(BaseAPI/requests vs APIClient/httpx)和日志系统(framework/core/logger.py vs tests/logger.py)。

分析结论

维度 发现
BaseAPI 子类 5 个(CloudDesktopService/DevMachineService/BillingService/MealReminderService × 2)
logger 引用 41 个文件使用 framework.core.logger
request() 返回值 BaseAPI 返回 dict,APIClient 返回 httpx.Response — 不兼容
get_common_headers() APIClient 缺失,需新增
缺失 Config 属性 CLOUD_AUTH_TOKEN/AMAP_KEY/AMAP_COORDINATES — 3 个悬挂引用

迁移策略

  • APIClient 新增 get_common_headers() + request() 兼容方法
  • 5 个子类改为继承 APIClient
  • 41 个 logger import 改为 tests.logger
  • 删除 framework/core/base_api.py + framework/core/logger.py

涉及文件

REFACTOR_EVALUATION.md(更新阶段 2 详细分析),待实施的文件:tests/utils/api_client.py,framework/core/base_api.py(删除),framework/core/logger.py(删除),5 个 BaseAPI 子类,41 个 logger import

2026-06-27 — 二合一重构阶段 1:配置统一

背景

REFACTOR_EVALUATION.md 评估的 6 条断裂线第一条:配置系统两套并存(config/settings.py vs framework/config/settings.py)。

变更内容

变更 说明
配置合并 framework/config/settings.py 的所有属性(AUTH_TOKEN/COOKIE/CloudDesktop/DevMachine/WAIT/TIMEOUT)迁移到 config/settings.py 的 BaseConfig 和 RobogoConfig 类
RobogoConfig 类 继承 BaseConfig,覆盖 BASE_URL(Robogo URL)、LOGIN_URL(/cloud-desktop/login)、DEFAULT_TIMEOUT(30000)
Config 别名 config.settings.Config = RobogoConfig,保持 framework/ 代码 from config.settings import Config 的类属性访问方式不变
旧文件删除 framework/config/settings.py 删除
23 个文件 import 路径更新 from framework.config.settings import Config → from config.settings import Config

验证

验证项 结果
D-Cloud 配置(config 实例) ✅ BASE_URL、DEFAULT_TIMEOUT 不变
Robogo 配置(Config 类) ✅ 所有属性可访问
856 个测试收集 ✅ 全量通过
24 个 Python 文件编译 ✅ 0 错误

涉及文件

config/settings.py, framework/config/settings.py(删除), 23 个 framework/ + scenarios/ + bot/ + scripts/ 文件的 import 路径

2026-06-26 — 基于 TBC 分析报告的全量修复 + 无屏幕部署方案

背景

基于 docs/TBC_分析报告_0626.html 的逐文件代码审读,修复了双后端死代码、健康度 Bug、密码明文、悬挂引用、硬编码 URL 等问题,并补充了无屏幕工作站部署方案。

修复清单

优先级 变更 涉及文件
P0 删除 B 套死代码(scheduler.py/test_runner.py/database.py),__main__.py 统一从 app.py 导入 backend/__main__.py
P0 Bug#1:仪表盘模块健康度修复 — 按 module 字段过滤,report 新增 module 字段 backend/app.py
P0 Bug#4:密码脱敏 — _save_db() 中 SHA-256 哈希后落盘,内存保持明文 backend/app.py
P0 并发写 JSON 加 threading.Lock backend/app.py
P1 悬挂引用修复 — Config 新增 AUTH_TOKEN/COOKIE/CloudDesktop 内嵌类/WAIT['start']/WAIT['switch'] framework/config/settings.py
P2 删除重复文件 — framework/bot.py(与 bot/bot.py 相同)、frontend/src/components/Sidebar.tsx(未被引用) —
P2 Bug#2:闭环率从 85 if fail_count > 0 else 100 改为实际通过率 backend/app.py
P2 Bug#3:前端统计卡片从硬编码改为动态渲染(模块数/报告数/通过率/闭环率) frontend/src/components/dashboard/DCloudDashboard.tsx
P2 硬编码 URL → DCLOUD_BASE_URL 环境变量 tests/data_generation/data_generation_page.py
P2 裸 except: → except Exception: framework/core/base_page.py

部署方案

新增 说明
DEPLOY.md 13 节完整部署指南,含系统要求、环境配置、三种启动方式、验证步骤、常见问题
com.autoflow.platform.plist macOS launchd 服务模板,支持开机自启、崩溃重启、日志输出
.dockerignore 减少 Docker 构建上下文
REFACTOR_EVALUATION.md 二合一重构评估:6 条断裂线分析、4 阶段方案、风险评级、建议执行策略
第 7 节:无屏幕工作站部署 launchd 常驻服务 + 局域网共享 + 防火墙配置

统计

  • 修改 6 个文件,删除 5 个死代码文件
  • 净减少 611 行代码(+86/-697)

2026-06-25 - Python 3.9 兼容性修复 + Dashboard E2E 入口

背景

  • 生产环境运行 Python 3.9.6,代码中大量使用了 dict | None 等 Python 3.10+ 管道语法,导致 TypeError: unsupported operand type(s) for |
  • DCloudDashboard 首页只渲染「核心模块」和「功能模块」分组,E2E 全量测试入口(属于「总览」分组)不在首页显示

变更内容

变更 说明
Python 3.9 兼容 15 个文件添加 from __future__ import annotations,修复 `X
Dashboard E2E 入口 DCloudDashboard 新增「总览」分组,E2E 全量测试卡片显示在首页顶部

涉及文件

  • tests/utils/api_client.py, tests/conftest_auth.py
  • tests/data_space/tests/conftest.py, tests/data_space/data_space_page.py, tests/data_space/data_space_file_list_page.py, tests/data_space/data_space_api_helpers.py
  • tests/data_generation/conftest.py, tests/data_generation/data_generation_page.py
  • tests/cloud_desktop/cloud_desktop_page.py, tests/dev_machine/dev_machine_page.py
  • tests/lora_finetune/lora_finetune_page.py, tests/mirror_center/mirror_center_page.py
  • tests/model_workshop/model_workshop_page.py, tests/monitor/monitor_dashboard_page.py
  • scripts/shared_data.py
  • frontend/src/components/dashboard/DCloudDashboard.tsx

当前状态

  • 目标1(熟悉业务):✅ 已完成
  • 目标2(数据生成 E2E 全链路):✅ 已完成,8/8 条 E2E + 41 条用例
  • 目标3(数据集模块):⚠️ 保底完成(8条筛选),完整版需 4 个 Yapi 接口文档
  • 目标4(深度+标注):⚠️ 未开始,需 4 个 Yapi 接口文档 + 含图片的测试数据集
  • tests/image_manage/ 模块完全为空,0 条测试
  • swagger/ 目录不存在,api_docs/ 目录只有 README
  • 5 个模块缺少异常/E2E/综合测试:prompt_library, lora_finetune, model_square, device_manage, material_library

2026-06-25 - TestModuleView 翻新:文件级测试执行 + 类型分组 + 测试结果展示

背景

原 TestModuleView 仅提供"运行测试"按钮和 SSE 日志输出,缺乏对单个测试文件的精细控制、测试类型区分和测试结果可视化。

变更内容

变更 说明
新增 API 端点 GET /api/dcloud-modules/<module>/tests — 扫描模块测试目录,返回测试文件列表、函数列表和类型分类
TestModuleView 翻新 文件级测试执行:每个测试文件可独立运行,支持"运行全部"和"运行单个文件"
测试类型分组 按 API/UI/Flow/E2E/异常/边界/综合 分组展示测试文件,带类型标签和图标
测试结果可视化 结果面板展示每个测试函数的 PASSED/FAILED/SKIPPED 状态,带颜色标识
统计摘要 顶部展示总计/通过/失败/跳过/通过率 5 项统计卡片
日志区域优化 运行中或存在日志时展示终端输出,非运行时不占用空间

涉及文件

backend/app.py, frontend/src/components/test/TestModuleView.tsx

文档

  • docs/ 目录加入 .gitignore,不再上传到 git 仓库,仅本地保存

2026-06-23 - 平台合并:Test + data-loop-automation → AutoFlow v2.0

背景

将 Test(Robogo 全链路巡检)和 data-loop-automation(D-Cloud 视觉感知工作台)两个独立项目合并为统一平台。

架构变更

变更 说明
前端统一 单一 React 19 应用 + PlatformSwitcher 二合一切换
后端统一 Flask 单文件应用(809 行),支持 4 种任务类型
目录重构 scenarios/、bot/ 从原项目归并,framework/ 保留
配置统一 config/settings.py 合并 D-Cloud 和 Robogo 配置
E2E 模块 完整还原原 ToB 平台 TestPanel,API 全链路(8条) + UI 点击(3条) + 分步测试(3个)
新增端点 /api/run-e2e-step 分步 E2E 测试
新增参数 test(精确测试路径)、headless(浏览器可见性)

测试规模

维度 数量
测试文件 68 个
收集到的测试 856 个
E2E 测试 40 个
业务模块 16 个

2026-06-16 - 数据生成模块接口全覆盖 + 断言升级 + E2E 真数据链路

背景

基于 API/数据生成_swaggerApi.json(37 个接口),补齐数据生成模块所有接口的测试覆盖, 并将断言从纯连通性验证升级为业务字段验证,同时新增 3 条真数据 E2E 链路测试。

新增测试

文件 操作 新增 覆盖接口
test_data_generation_task_api.py 末位追加 +8 条 任务结果列表/详情/评价/删除、停止评测、评测配置、评分模型、错误码
test_data_generation_workflow_api.py 末位追加 +10 条 更新/删除工作流、工作流文件、调试结果、模型管理、基础目录、提示词扩写
test_data_generation_full_pipeline.py 新建 + 追加 +7 条 原全链路 E2E + 3 条跨模块组合 + 3 条真数据 E2E
test_data_set_api.py 类内追加 +8 条 4 种类型筛选(目标检测/语义分割/图片分类/深度估计)+ task_type 筛选
conftest.py Bug 修复 — api_client.page → getattr(api_client, 'page', None)
合计 33 条 85 passed, 3 failed(非本次改动), 1 skipped

3 条真数据 E2E 链路

链路 步骤 数据操作
任务结果全链路 创建任务→查结果列表→查详情→评价→删除结果→清理任务 真实创建任务,真实操作结果,真实清理
任务评测全链路 创建任务→触发评测→停止评测→清理任务 真实创建任务,真实触发/停止评测,真实清理
LORA 全链路 查列表→创建 LORA 任务→查 Pod→删除 LORA 任务 真实创建 LORA 任务(如环境支持),真实清理

断言升级

8 个接口从纯连通性断言升级为业务字段验证:

接口 升级前 升级后
POST /task/:id/results assert "status" in result assert result["status"] == 0 + data 含 total/list
GET /imgGeneration/result/:id/info assert "status" in result status=0 时验证 id/output_url/file_path/status
POST /scoring/create assert "status" in result assert result["status"] == 0 + data 含 result_id
GET /scoring/models assert "status" in result assert result["status"] == 0 + isinstance(data, list)
POST /comfyui/model/files assert "status" in result assert result["status"] == 0 + data 含 files 数组
GET /comfyui/input/base-dir assert data is not None assert result["status"] == 0 + data 含 base_dir
PUT /comfyWorkflow/:id assert "status" in result status=0 时验证 id/name/description
PUT /comfyWorkflow/:id/file assert "status" in result status=0 时验证 id

断言策略

  • 真 E2E 链路: 先创建真实数据 → 用真实 ID 操作 → 验证业务字段 → 清理
  • 有详细 schema 的查询接口: 验证 status == 0 + data 具体字段
  • 有详细 schema 的写接口(用假 ID): 灵活验证 if status == 0: assert data fields
  • 简单类型接口(data: boolean/string): 连通性验证 assert "status" in result

旧用例影响

零修改。所有改动均为末位追加或类内追加,原有用例代码一字未改。

涉及文件

tests/data_generation/tests/test_data_generation_task_api.py, tests/data_generation/tests/test_data_generation_workflow_api.py, tests/data_generation/tests/test_data_generation_full_pipeline.py, tests/data_set/tests/test_data_set_api.py, tests/data_generation/conftest.py, docs/三个月B端接口自动化计划.md, history.md

平台更新后测试用例验证与文档回写

  • 新增 docs/TEST_CASE_VALIDATION_2026-06-02.md,记录平台更新后 Login/Welcome、CloudDesktop、DataGeneration 用例逐条验证结果、页面探索结论和处理动作。
  • 同步更新 test_cases/自动化测试用例.md:
    • 数据生成模块补充 test_data_generation_task_flow.py、test_data_generation_workflow_ui.py、test_data_generation_task_detail_ui.py 的正式用例说明。
    • 云桌面模块同步新版表格列头用例和 POST /api/desktopManagerApi/api/v1/desktops/list API 断言口径。
  • 同步更新 docs/coverage/data-generation.md,记录 2026-06-02 后台 headless 验证结果、真实创建 UI 开关、详情页慢点和系统提示词外部依赖标记。
  • 新增 HEADLESS/SLOW_MO 环境变量覆盖能力,支持 TEST_ENV=dev HEADLESS=true 使用现有账号配置在后台验证,不占用用户真实 Chrome。
  • 后台 conda 验证结果:
    • test_data_generation_workflow_ui.py:1 passed, 1 skipped
    • test_data_generation_task_flow.py:2 passed, 1 skipped
    • test_data_generation_task_detail_ui.py:7 passed, 5 skipped

平台新版 welcome 入口验证与用例补充

  • 基于新版 https://cloud-fat.d-robotics.cc/d-cloud/welcome 重新验证入口行为,补充基础登录/Welcome 入口模块。
  • 修复 BASE_URL 误填完整 welcome URL 时的路径拼接问题,配置层统一规范化为平台 origin。
  • 更新 LoginPage,SSO redirect URL、welcome URL、workbench URL 均从配置生成。
  • 新增 tests/base/login/tests/test_sso_login_ui.py,覆盖未登录 welcome、SSO 登录表单控件、语言切换、注册入口、忘记密码入口、已登录 welcome 访问。
  • conda 环境验证:
    • conda run -n dcloud-test python -m pytest tests/base/login/tests/test_sso_login_ui.py -q 通过,6 passed。
    • conda run -n dcloud-test python -m pytest tests --collect-only -q 通过,收集 842 条测试。
    • conda run -n dcloud-test python -m compileall -q config tests/base/login tests/conftest_auth.py 通过。

参照 d_cloud_project_md 仓库的主索引、规范、测试用例、Agent 任务和 history 回写方式,对当前自动化测试工程文档进行重新整理。

测试框架组织整改

  • 明确测试组织采用“业务功能模块优先,模块内按测试类型拆分”,页面作为 Page Object 建模粒度,不作为顶层测试目录。
  • 新增 docs/FRAMEWORK_REVIEW.md,记录页面测试、功能模块测试和测试类型的边界,以及当前框架问题和整改状态。
  • 统一数据空间和数据生成模块测试文件命名,改为 test_<module>_<type>.py 或 test_<module>_<feature>_<type>.py。
  • 将 tests/lora_finetune/test_lora_finetune_example.py 改为 tests/lora_finetune/lora_finetune_example.py,避免示例文件被 pytest 当作正式用例收集。
  • 在 pytest.ini 中补充 real_creation、requires_cleanup、destructive、external_dependency 风险 marker,并给真实创建/清理/删除类测试补充标记。
  • 同步更新 docs/coverage/ 和 test_cases/ 中的测试文件名引用。

文档结构调整

  • 新增 README.md 主索引,补充工程定位、分层关系、文档地图、AI 读取规则、任务路由和关键词路由。
  • 新增 CONTRIBUTING.md,明确测试代码、Page Object、API 测试、测试用例、覆盖率、规范、Agent 任务和文档结构的回写要求。
  • 新增 specs/ 规范目录,包含自动化测试工程、Page Object、测试编写、测试用例文档和 API 自动化测试规范。
  • 新增 test_cases/ 目录,将原 docs/test-cases.md 迁移为 test_cases/自动化测试用例.md,并新增 test_cases/TEMPLATE.md。
  • 新增 agent_tasks/TEMPLATE.md,用于沉淀 AI/Agent 可执行任务说明。
  • 新增 api_docs/README.md,作为 API 测试对接文档目录入口。
  • 新增 docs/coverage/README.md,作为覆盖率报告目录入口。

兼容处理

  • 原 docs/test-cases.md 保留为迁移说明,指向 test_cases/自动化测试用例.md。
  • 原 docs/CHANGELOG.md 保留为迁移说明,指向 history.md。
  • 原 docs/PAGE_OBJECT_GUIDE.md 和 docs/TEST_WRITING_GUIDE.md 保留为详细指南,规范入口分别迁移到 specs/PAGE-OBJECT-SPEC.md 和 specs/TEST-WRITING-SPEC.md。

2026-05-26 - 三轮深度重构:消除重复 & 提升可读性

第一轮 — 消除重复代码

  • APIClient DRY: 提取 _request() 通用方法,get/post/put/delete 从各 11 行减至 1 行
  • import time 统一: 全工程 import time 从 7 处方法内部移到文件顶部
  • SSO 魔法数字提取: conftest_auth.py 登录流程中 7 个硬编码数值转为命名常量
  • data_space_page.py: 修复重复定义的 is_icon_view_active() 方法

第二轮 — 结构化与配置现代化

  • 多环境配置: config/settings.py 使用 python-dotenv + @dataclass(frozen=True) 类型化 Config,支持 dev/test/prod
  • 依赖补全: pyproject.toml 补充 httpx/Pillow,清理与 pytest.ini 冲突的无效配置
  • 文件拆分: data_space_page.py(875行)拆分为 data_space_page.py(296行)+ data_space_file_list_page.py(584行),re-export 保持后向兼容
  • token 提取统一: 新增 ensure_auth_token() 消除 3 个 conftest 中重复的 localStorage 读取
  • base_page.py: SDK 等级异常捕获(PlaywrightTimeoutError 替代裸 except),魔法数字→模块常量

第三轮 — 测试质量 & 脚本整洁

  • 真实断言: test_monitor_flow.py 中 2 个 assert True 替换为下拉框打开/关闭真实验证,内联选择器移入 POM
  • 脚本去重: 创建 scripts/shared_data.py 提取 TEST_FILES/TEST_FOLDERS/get_token(),消除 2 脚本间 ~35 行重复
  • auth JSON 缓存: conftest_auth.py 新增 _read_auth_state() + 缓存,消除重复 JSON 解析
  • pytest 配置: pytest.ini 移除默认 -n 2 --dist=loadscope 避免无 xdist 时崩溃
  • 废弃参数: run_and_report.py 移除未使用的 --timeout 参数

涉及文件

config/settings.py, pyproject.toml, pytest.ini, tests/utils.py, tests/conftest_auth.py, tests/base/base_page.py, tests/base/login/login_page.py, tests/data_space/data_space_page.py, tests/data_space/data_space_file_list_page.py (new), tests/monitor/monitor_dashboard_page.py, tests/monitor/tests/test_monitor_flow.py, scripts/shared_data.py (new), scripts/setup_test_data.py, scripts/setup_test_data_api.py, scripts/run_and_report.py, tests/data_generation/conftest.py, tests/data_space/tests/conftest.py, tests/data_generation/tests/test_task_api.py, tests/data_generation/tests/test_workflow_api.py

2026-04-30 - 架构优化与重构

✅ P0 - 严重问题(已修复)

1. 重构 BasePage - 职责分离

  • 分析当前 BasePage 所有方法
  • 设计 Mixin 结构(NavigationMixin, LocatorMixin, WaitMixin, TableMixin, AssertionMixin)
  • 创建 Mixin 类文件
  • 重构 BasePage 继承 Mixin
  • 运行测试验证

实现文件: tests/base/mixins/

2. 修复测试隔离性

  • 移除全局 Playwright 实例变量
  • 重构 conftest_auth.py 使用 pytest fixture 生命周期
  • 实现测试数据清理 fixture
  • 添加并行测试安全机制
  • 运行并行测试验证

实现文件: tests/conftest_auth.py

3. 敏感信息管理

  • 移除 settings.py 中的硬编码凭证
  • 所有配置项从环境变量读取
  • 更新 .env.example
  • 添加配置验证
  • 验证环境变量加载

实现文件: config/settings.py, .env.example

4. 测试数据管理

  • 创建 tests/data/ 目录结构
  • 实现数据工厂 (factories.py)
  • 实现数据管理器 (managers.py)
  • 验证数据隔离

实现文件: tests/data/

5. CI/CD 增强

  • 添加依赖缓存
  • 添加测试失败通知
  • 添加测试结果分析
  • 优化执行流程

实现文件: .github/workflows/e2e-tests.yml, scripts/analyze_test_results.py


✅ P1 - 中等问题(已优化)

6. 统一等待策略

  • 创建 SmartWaiter 类
  • 定义统一的等待方法
  • 更新 BasePage 使用 SmartWaiter

实现文件: tests/utils/smart_waiter.py

7. 增强断言库

  • 创建 BusinessAssertions 类
  • 实现业务特定断言方法
  • 添加结果收集机制

实现文件: tests/utils/business_assertions.py

8. 环境配置优化

  • 移除 pyproject.toml 中的重复 pytest 配置
  • 统一使用 pytest.ini 作为配置源

实现文件: pyproject.toml, pytest.ini

9. 代码规范统一

  • 添加 pyproject.toml 工具配置
  • 创建 pre-commit 配置
  • 添加 ruff/black/isort 配置

实现文件: .pre-commit-config.yaml, pyproject.toml


✅ P2 - 监控与文档(已完成)

10. 测试执行指标收集系统

  • 创建 MetricsCollector 类
  • 实现测试执行时间收集
  • 实现成功率统计
  • 生成测试报告(文本和 HTML)

实现文件: tests/utils/metrics.py, tests/conftest_metrics.py

11. Flaky 测试检测机制

  • 创建 FlakyTestRegistry 类
  • 实现测试历史记录
  • 实现 Flaky 检测算法
  • 提供重试建议

实现文件: tests/utils/flaky_detector.py

12. 项目架构文档

  • 编写架构设计文档
  • 描述核心设计模式
  • 提供最佳实践示例

实现文件: docs/ARCHITECTURE.md(已整合到README.md)

13. 页面对象编写规范

  • 定义命名规范
  • 定义代码结构
  • 提供完整示例

实现文件: docs/PAGE_OBJECT_GUIDE.md

14. 测试用例编写指南

  • 定义测试命名规范
  • 定义测试结构
  • 提供各类测试示例

实现文件: docs/TEST_WRITING_GUIDE.md


执行进度

任务 状态 开始时间 完成时间
P0.1 BasePage 重构 ✅ 已完成 2026-04-30 2026-04-30
P0.2 测试隔离性 ✅ 已完成 2026-04-30 2026-04-30
P0.3 敏感信息管理 ✅ 已完成 2026-04-30 2026-04-30
P0.4 测试数据管理 ✅ 已完成 2026-04-30 2026-04-30
P0.5 CI/CD 增强 ✅ 已完成 2026-04-30 2026-04-30
P1.6 统一等待策略 ✅ 已完成 2026-04-30 2026-04-30
P1.7 增强断言库 ✅ 已完成 2026-04-30 2026-04-30
P1.8 环境配置优化 ✅ 已完成 2026-04-30 2026-04-30
P1.9 代码规范统一 ✅ 已完成 2026-04-30 2026-04-30
P2.10 测试指标收集 ✅ 已完成 2026-04-30 2026-04-30
P2.11 Flaky 检测 ✅ 已完成 2026-04-30 2026-04-30
P2.12 架构文档 ✅ 已完成 2026-04-30 2026-04-30
P2.13 页面对象规范 ✅ 已完成 2026-04-30 2026-04-30
P2.14 测试编写指南 ✅ 已完成 2026-04-30 2026-04-30

改进效果

架构层面

  • ✅ BasePage 从 461 行拆分为 10 个独立 Mixin,职责清晰
  • ✅ 移除全局状态,测试隔离性提升
  • ✅ 敏感信息不再硬编码,安全性提升

工程化层面

  • ✅ CI/CD 添加缓存、通知、结果分析
  • ✅ 测试数据管理规范化
  • ✅ 代码质量工具链完善

可维护性层面

  • ✅ 统一等待策略,减少不一致
  • ✅ 增强断言库,提高测试覆盖率
  • ✅ pre-commit hooks,保证代码规范

监控与文档层面

  • ✅ 测试执行指标自动收集
  • ✅ Flaky 测试自动检测
  • ✅ 完整的架构和编写文档

2026-04-08 - API测试增强计划

目标: 为所有 16 个 API 测试文件(192 个测试)添加业务状态码和关键字段验证,从仅检查 HTTP 状态码升级为完整的业务逻辑验证。

架构方案

  • 统一响应格式: {"status": 0, "message": "", "data": {...}}(成功)/ {"status": 50000, "message": "..."} (失败)
  • 三层验证: HTTP 状态码 → 业务状态码(status==0) → 关键字段(data中的具体字段)
  • 边界测试: HTTP 状态码 + if 200: assert "status" in result(允许业务失败)
  • 非200端点(404/405): 仅在 HTTP 200 时检查业务状态码

已验证的 API 响应结构

端点 成功响应 data 字段
cloudDiskApi/spaces/list {total, list:[{id,name,type,is_public,created_at,updated_at}], page, page_size}
cloudDiskApi/spaces (create) {id, name, type, is_public, created_at, updated_at}
cloudDiskApi/files/{id} {files, total, page, page_size}
generationApi/comfyWorkflow/list {currentPage, pageSize, total, list:[{id,name,description,workflow_url,...}]}
generationApi/systemPrompt/list {currentPage, pageSize, total, list:[{id,name,description,tags,prompt,...}]}
generationApi/loraTask/list {currentPage, pageSize, total, list:[{id,taskName,status,loraName,...}]}
generationApi/imgGeneration/tasks ⚠️ 返回 status:50000(API 参数格式未确认)
trainApi/projects/query data:[{id,project_name,project_type,...}], pageInfo:{total,pageNo,pageSize}
embolabApi/datasets/options {dataset_types, options, simulators}
dcloudUserApi/user/userAndOrg {id, userId, userName, mobile, email, ...}
imageManagerApi/repositories {status:0, message:"Success"} (无 data)

实施任务

Task 1: data_space/tests/test_api.py (15 tests, 4 classes)

  • 增强 TestSpacesAPI (4 tests) - 添加业务状态码和关键字段检查
  • 增强 TestFilesAPI (3 tests) - 添加业务状态码和关键字段检查
  • 增强 TestFileUploadAPI (3 tests) - 在现有验证前添加 status == 0
  • 增强 TestSpacesAPIComprehensive (5 tests) - 添加统一状态检查

Task 2: data_space/tests/test_api_boundary.py (36 tests, 12 classes)

  • 增强 TestSpacesListAPI (5 tests) - 添加业务状态码和关键字段检查
  • 增强其他11个类 (31 tests) - 统一添加状态检查
  • 特殊类详细处理:TestUserAPI、TestDatasetOptionsAPI、TestSpacesDetailAPI

Task 3: data_generation/tests/test_task_api.py (28 tests, 7 classes)

  • 增强 TestTaskListAPI (5 tests) - 注意 imgGeneration/tasks 返回 status: 50000
  • 增强 TestTaskDataStructure (3 tests) - 添加状态检查
  • 增强其他类 (20 tests) - 统一状态检查模式

Task 4: data_generation/tests/test_workflow_api.py (21 tests, 7 classes)

  • 增强 TestWorkflowListAPI (5 tests) - 添加业务状态码和关键字段检查
  • 增强 TestWorkflowDataStructure (2 tests) - 添加状态检查
  • 增强其他5个类 (14 tests) - 统一状态检查模式

Task 5: data_generation/tests/test_lora_api.py (18 tests, 6 classes) + Bug Fix

  • 修复 import time bug
  • 增强 TestLoraTaskListAPI (4 tests) - 添加业务状态码和关键字段检查
  • 增强 TestLoraTaskDataStructure (2 tests) - 添加状态检查
  • 增强其他4个类 (12 tests) - 统一状态检查模式

Task 6: data_generation/tests/test_system_prompt_api.py (23 tests, 8 classes) + Bug Fix

  • 修复 import time bug
  • 增强 TestSystemPromptListAPI (4 tests) - 添加业务状态码和关键字段检查
  • 增强 TestSystemPromptDataStructure (2 tests) - 添加状态检查
  • 增强其他6个类 (17 tests) - 统一状态检查模式

Task 7: data_generation/tests/test_api_boundary.py (31 tests, 4 classes)

  • 增强所有 31 个边界测试 - 使用统一宽松模式

Task 8: data_set API 测试 (14 tests, 2 files)

  • 增强 test_data_set_api.py - 添加业务状态码和关键字段检查
  • 增强 test_data_set_api_comprehensive.py - 统一状态检查模式

Task 9: model_workshop API 测试 (9 tests, 2 files)

  • 增强 test_model_workshop_api.py - 添加业务状态码和关键字段检查
  • 增强 test_model_workshop_api_comprehensive.py - 统一状态检查模式

Task 10: cloud_desktop + dev_machine + image_manage API 测试 (9 tests, 3 files)

  • 增强 test_cloud_desktop_api.py (3 tests) - 添加状态检查
  • 增强 test_dev_machine_api.py (3 tests) - 添加状态检查
  • 增强 test_image_manage_api.py (3 tests) - 添加状态检查

Task 11: mirror_center API 测试 (10 tests, 1 file)

  • 增强所有 10 个测试 - 添加状态检查

Task 12: monitor API 测试 (7 tests, 1 file)

  • 增强所有 7 个测试 - 添加状态检查

验证清单

模块 文件 测试数 状态
data_space test_api.py 15 ✅ 已完成
data_space test_api_boundary.py 36 ✅ 已完成
data_generation test_task_api.py 28 ✅ 已完成
data_generation test_workflow_api.py 21 ✅ 已完成
data_generation test_lora_api.py 18 ✅ 已完成
data_generation test_system_prompt_api.py 23 ✅ 已完成
data_generation test_api_boundary.py 31 ✅ 已完成
data_set test_data_set_api.py 10 ✅ 已完成
data_set test_data_set_api_comprehensive.py 4 ✅ 已完成
model_workshop test_model_workshop_api.py 5 ✅ 已完成
model_workshop test_model_workshop_api_comprehensive.py 4 ✅ 已完成
cloud_desktop test_cloud_desktop_api.py 3 ✅ 已完成
dev_machine test_dev_machine_api.py 3 ✅ 已完成
image_manage test_image_manage_api.py 3 ✅ 已完成
mirror_center test_mirror_center_api.py 10 ✅ 已完成
monitor test_monitor_api.py 7 ✅ 已完成
合计 16 files 221 ✅ 全部完成

注意事项

  1. 成功测试: status == 0 + 关键字段存在
  2. 边界测试: if status_code == 200: assert "status" in result(允许业务失败)
  3. 非200端点: 仅在 status_code == 200 时检查业务状态码
  4. 已知问题 API: imgGeneration/tasks 返回 50000,desktopManager 返回 50000,devMachine 返回 10002 — 这些使用宽松 "status" in result 而非 status == 0
  5. 不同分页格式: cloudDiskApi 用 page/page_size,generationApi 用 currentPage/pageSize,trainApi 用 pageInfo

后续建议

短期(1-2周)

  1. 运行完整测试套件验证所有改进
  2. 更新团队成员文档
  3. 配置 CI/CD 的 Slack/钉钉 Webhook

中期(1个月)

  1. 迁移现有测试使用新的数据工厂
  2. 添加更多业务断言方法
  3. 完善测试覆盖率

长期(持续)

  1. 监控 flaky 测试率
  2. 持续优化测试执行时间
  3. 定期审查架构演进