From a97e848a4da235bc5e42fe21fa2299a81e446169 Mon Sep 17 00:00:00 2001 From: eust-w Date: Thu, 27 Aug 2026 03:01:51 +0800 Subject: [PATCH] =?UTF-8?q?=F0=9F=93=9D=20Add=20Fanyu=20timestamp-window?= =?UTF-8?q?=20workflow=20draft?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/fanyu-vnext-workflow-draft.md | 190 +++++++++++++++++++++++++++++ 1 file changed, 190 insertions(+) create mode 100644 docs/fanyu-vnext-workflow-draft.md diff --git a/docs/fanyu-vnext-workflow-draft.md b/docs/fanyu-vnext-workflow-draft.md new file mode 100644 index 00000000..64b5a34b --- /dev/null +++ b/docs/fanyu-vnext-workflow-draft.md @@ -0,0 +1,190 @@ +# 泛宇双目时间窗口真实调切交付流程草稿 + +> 状态:`DRAFT / 不可运行 / 待业务确认` +> +> 本草稿只定义流程、责任边界、端口和交付目录;不代表算子运行逻辑已经完成,不允许发布 Release 或创建 Run。 + +## 1. 责任边界 + +### Qwen 左相机语义粗切 + +Qwen 只读取人脸脱敏后的完整左相机视频及其 PTS,输出一个时间窗口建议 JSON。Qwen 不生成视频切片,不复制视频,不输出独立的 clips、boundaries、prelabels 或业务 inference summary 端口。 + +唯一业务输出: + +```json +{ + "schemaVersion": "droboticflow.rough-cut-windows/v1", + "items": [ + { + "id": "window-000001", + "startTimestampUs": 108643132948, + "endTimestampUs": 108644133798, + "suggestedLabelId": "01", + "suggestedLabel": "鲜食处理", + "confidence": 0.86 + } + ] +} +``` + +### 真实调切与语义标注 + +人工节点直接接收左右人脸脱敏完整视频、左右 PTS、IMU 和 Qwen 时间窗口建议。标注员在完整双目时间轴上调整窗口并填写语义标签。提交 Revision 时,系统才执行真实物理切片: + +- 使用同一个绝对半开窗口 `[startTimestampUs, endTimestampUs)` 裁切左右视频。 +- 左右 PTS 分别按本流帧选择结果裁切。 +- IMU 按同一个绝对窗口裁切并保留 accel/gyro 对。 +- 生成包含绝对硬件时间与片段相对时间的标注 JSON。 +- 同一个 Revision 的实际切片进入审核;被打回时保留审计记录,但不得进入交付。 + +### Pose 与整包验收 + +HeadPose 和 HandPose 是独立验收证据输入,不属于视频产物。HandPose 不进入逐片人工质检。整包验收员决定两类 Pose 的 `include/exclude`;通过后按最终窗口裁切 Pose 记录并加入已验收切片目录。 + +### Package + +Package 不负责第一次切视频,只接收已经审核通过的真实切片目录、Calibration 和验收摘要,生成交付根目录、`packages-manifest.json` 与 `delivery-summary.json`。 + +## 2. 草稿数据流 + +```text +目录读取 + -> 双目标准化 + -> 双目去畸变 + -> 左人脸脱敏 ---------------------> Qwen 时间窗口建议 ----┐ + -> 右人脸脱敏 -------------------------------------------┤ + -> 左右 PTS + IMU ---------------------------------------┤ + -> HeadPose / HandPose 验收证据 --------------------------┤ + v + 真实调切与语义标注 + | + 真实切片 Revision 目录 + v + 切分与标注审核 + v + 整包验收 + v + Package 目录整理与交付 +``` + +## 3. 节点端口草稿 + +### Qwen + +输入: + +- `leftVideo`:完整左相机脱敏视频。 +- `leftTimestamps`:左相机逐帧绝对硬件时间。 + +输出: + +- `roughCutWindows`:唯一业务输出,类型为 `droboticflow.rough-cut-windows/v1`。 + +### 真实调切与语义标注 Gate + +输入: + +- `fullLeftVideos` +- `fullRightVideos` +- `leftTimestamps` +- `rightTimestamps` +- `imu` +- `roughCutWindows` +- `headposeEvidence` +- `handposeEvidence` + +输出: + +- `acceptedSliceDirectory`:已审核并完成整包验收的真实切片目录。 +- `rejected`:被打回或要求自动重处理的记录。 +- `acceptanceSummary`:验收人、版本、Pose include/exclude 和审计摘要。 + +禁止输出 `approvedVideos`;Pose JSON 也禁止重标为视频输出。 + +### Package + +输入: + +- `acceptedSliceDirectory` +- `calibrations` +- `acceptanceSummary` + +输出: + +- `deliveryDirectory` +- `deliveryManifest` +- `deliverySummary` + +## 4. Revision 切片目录 + +```text +revision-000001/ +└── slice-000001/ + ├── left.mp4 + ├── right.mp4 + ├── left_pts.csv + ├── right_pts.csv + ├── imu.csv + ├── annotation.json + ├── synchronized-slice.json + ├── headpose.json # 验收 include 时存在 + └── handpose.json # 验收 include 时存在 +``` + +## 5. 时间戳标注草稿 + +```json +{ + "schemaVersion": "droboticflow.timestamped-annotation/v1", + "sliceId": "slice-000001", + "labelId": "01", + "label": "鲜食处理", + "window": { + "startTimestampUs": 108643132948, + "endTimestampUs": 108644133798, + "semantics": "half-open" + }, + "actions": [ + { + "clipStartMs": 0.0, + "clipEndMs": 1000.85, + "startTimestampUs": 108643132948, + "endTimestampUs": 108644133798 + } + ] +} +``` + +## 6. 最终交付目录草稿 + +```text +delivery/ +├── packages-manifest.json +├── delivery-summary.json +├── calibration/ +│ ├── calibration_camera.yaml +│ └── calibration_imu.yaml +└── clips/ + └── slice-000001/ + ├── left.mp4 + ├── right.mp4 + ├── left_pts.csv + ├── right_pts.csv + ├── imu.csv + ├── annotation.json + ├── synchronized-slice.json + ├── headpose.json + └── handpose.json +``` + +## 7. 草稿退出条件 + +只有以下事项全部确认后,才允许进入实现、发布和真实 Run: + +1. Qwen 确认只有一个时间窗口建议业务输出。 +2. 真实物理切片确认由标注员提交 Revision 触发。 +3. 左右 PTS 与 IMU 三个文件的切片定义确认。 +4. Pose 的人工审核与整包 include/exclude 边界确认。 +5. Revision 目录和最终交付目录命名确认。 +6. 打回后旧 Revision 的保留、可见性与清理规则确认。