droboticflow/docs/fanyu-vnext-workflow-draft.md
2026-08-27 03:01:51 +08:00

5.8 KiB
Raw Permalink Blame History

泛宇双目时间窗口真实调切交付流程草稿

状态:DRAFT / 不可运行 / 待业务确认

本草稿只定义流程、责任边界、端口和交付目录;不代表算子运行逻辑已经完成,不允许发布 Release 或创建 Run。

1. 责任边界

Qwen 左相机语义粗切

Qwen 只读取人脸脱敏后的完整左相机视频及其 PTS,输出一个时间窗口建议 JSON。Qwen 不生成视频切片,不复制视频,不输出独立的 clips、boundaries、prelabels 或业务 inference summary 端口。

唯一业务输出:

{
  "schemaVersion": "droboticflow.rough-cut-windows/v1",
  "items": [
    {
      "id": "window-000001",
      "startTimestampUs": 108643132948,
      "endTimestampUs": 108644133798,
      "suggestedLabelId": "01",
      "suggestedLabel": "鲜食处理",
      "confidence": 0.86
    }
  ]
}

真实调切与语义标注

人工节点直接接收左右人脸脱敏完整视频、左右 PTS、IMU 和 Qwen 时间窗口建议。标注员在完整双目时间轴上调整窗口并填写语义标签。提交 Revision 时,系统才执行真实物理切片:

  • 使用同一个绝对半开窗口 [startTimestampUs, endTimestampUs) 裁切左右视频。
  • 左右 PTS 分别按本流帧选择结果裁切。
  • IMU 按同一个绝对窗口裁切并保留 accel/gyro 对。
  • 生成包含绝对硬件时间与片段相对时间的标注 JSON。
  • 同一个 Revision 的实际切片进入审核;被打回时保留审计记录,但不得进入交付。

Pose 与整包验收

HeadPose 和 HandPose 是独立验收证据输入,不属于视频产物。HandPose 不进入逐片人工质检。整包验收员决定两类 Pose 的 include/exclude;通过后按最终窗口裁切 Pose 记录并加入已验收切片目录。

Package

Package 不负责第一次切视频,只接收已经审核通过的真实切片目录、Calibration 和验收摘要,生成交付根目录、packages-manifest.json 与 delivery-summary.json。

2. 草稿数据流

目录读取
  -> 双目标准化
  -> 双目去畸变
  -> 左人脸脱敏 ---------------------> Qwen 时间窗口建议 ----┐
  -> 右人脸脱敏 -------------------------------------------┤
  -> 左右 PTS + IMU ---------------------------------------┤
  -> HeadPose / HandPose 验收证据 --------------------------┤
                                                             v
                                            真实调切与语义标注
                                                             |
                                            真实切片 Revision 目录
                                                             v
                                               切分与标注审核
                                                             v
                                                   整包验收
                                                             v
                                             Package 目录整理与交付

3. 节点端口草稿

Qwen

输入:

  • leftVideo:完整左相机脱敏视频。
  • leftTimestamps:左相机逐帧绝对硬件时间。

输出:

  • roughCutWindows:唯一业务输出,类型为 droboticflow.rough-cut-windows/v1。

真实调切与语义标注 Gate

输入:

  • fullLeftVideos
  • fullRightVideos
  • leftTimestamps
  • rightTimestamps
  • imu
  • roughCutWindows
  • headposeEvidence
  • handposeEvidence

输出:

  • acceptedSliceDirectory:已审核并完成整包验收的真实切片目录。
  • rejected:被打回或要求自动重处理的记录。
  • acceptanceSummary:验收人、版本、Pose include/exclude 和审计摘要。

禁止输出 approvedVideos;Pose JSON 也禁止重标为视频输出。

Package

输入:

  • acceptedSliceDirectory
  • calibrations
  • acceptanceSummary

输出:

  • deliveryDirectory
  • deliveryManifest
  • deliverySummary

4. Revision 切片目录

revision-000001/
└── slice-000001/
    ├── left.mp4
    ├── right.mp4
    ├── left_pts.csv
    ├── right_pts.csv
    ├── imu.csv
    ├── annotation.json
    ├── synchronized-slice.json
    ├── headpose.json       # 验收 include 时存在
    └── handpose.json       # 验收 include 时存在

5. 时间戳标注草稿

{
  "schemaVersion": "droboticflow.timestamped-annotation/v1",
  "sliceId": "slice-000001",
  "labelId": "01",
  "label": "鲜食处理",
  "window": {
    "startTimestampUs": 108643132948,
    "endTimestampUs": 108644133798,
    "semantics": "half-open"
  },
  "actions": [
    {
      "clipStartMs": 0.0,
      "clipEndMs": 1000.85,
      "startTimestampUs": 108643132948,
      "endTimestampUs": 108644133798
    }
  ]
}

6. 最终交付目录草稿

delivery/
├── packages-manifest.json
├── delivery-summary.json
├── calibration/
│   ├── calibration_camera.yaml
│   └── calibration_imu.yaml
└── clips/
    └── slice-000001/
        ├── left.mp4
        ├── right.mp4
        ├── left_pts.csv
        ├── right_pts.csv
        ├── imu.csv
        ├── annotation.json
        ├── synchronized-slice.json
        ├── headpose.json
        └── handpose.json

7. 草稿退出条件

只有以下事项全部确认后,才允许进入实现、发布和真实 Run:

  1. Qwen 确认只有一个时间窗口建议业务输出。
  2. 真实物理切片确认由标注员提交 Revision 触发。
  3. 左右 PTS 与 IMU 三个文件的切片定义确认。
  4. Pose 的人工审核与整包 include/exclude 边界确认。
  5. Revision 目录和最终交付目录命名确认。
  6. 打回后旧 Revision 的保留、可见性与清理规则确认。