droboticflow/docs/fanyu-vnext-workflow-draft.md
2026-08-27 03:01:51 +08:00

191 lines
5.8 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 泛宇双目时间窗口真实调切交付流程草稿
> 状态:`DRAFT / 不可运行 / 待业务确认`
>
> 本草稿只定义流程、责任边界、端口和交付目录;不代表算子运行逻辑已经完成,不允许发布 Release 或创建 Run。
## 1. 责任边界
### Qwen 左相机语义粗切
Qwen 只读取人脸脱敏后的完整左相机视频及其 PTS,输出一个时间窗口建议 JSON。Qwen 不生成视频切片,不复制视频,不输出独立的 clips、boundaries、prelabels 或业务 inference summary 端口。
唯一业务输出:
```json
{
"schemaVersion": "droboticflow.rough-cut-windows/v1",
"items": [
{
"id": "window-000001",
"startTimestampUs": 108643132948,
"endTimestampUs": 108644133798,
"suggestedLabelId": "01",
"suggestedLabel": "鲜食处理",
"confidence": 0.86
}
]
}
```
### 真实调切与语义标注
人工节点直接接收左右人脸脱敏完整视频、左右 PTS、IMU 和 Qwen 时间窗口建议。标注员在完整双目时间轴上调整窗口并填写语义标签。提交 Revision 时,系统才执行真实物理切片:
- 使用同一个绝对半开窗口 `[startTimestampUs, endTimestampUs)` 裁切左右视频。
- 左右 PTS 分别按本流帧选择结果裁切。
- IMU 按同一个绝对窗口裁切并保留 accel/gyro 对。
- 生成包含绝对硬件时间与片段相对时间的标注 JSON。
- 同一个 Revision 的实际切片进入审核;被打回时保留审计记录,但不得进入交付。
### Pose 与整包验收
HeadPose 和 HandPose 是独立验收证据输入,不属于视频产物。HandPose 不进入逐片人工质检。整包验收员决定两类 Pose 的 `include/exclude`;通过后按最终窗口裁切 Pose 记录并加入已验收切片目录。
### Package
Package 不负责第一次切视频,只接收已经审核通过的真实切片目录、Calibration 和验收摘要,生成交付根目录、`packages-manifest.json` 与 `delivery-summary.json`。
## 2. 草稿数据流
```text
目录读取
-> 双目标准化
-> 双目去畸变
-> 左人脸脱敏 ---------------------> Qwen 时间窗口建议 ----┐
-> 右人脸脱敏 -------------------------------------------┤
-> 左右 PTS + IMU ---------------------------------------┤
-> HeadPose / HandPose 验收证据 --------------------------┤
v
真实调切与语义标注
|
真实切片 Revision 目录
v
切分与标注审核
v
整包验收
v
Package 目录整理与交付
```
## 3. 节点端口草稿
### Qwen
输入:
- `leftVideo`:完整左相机脱敏视频。
- `leftTimestamps`:左相机逐帧绝对硬件时间。
输出:
- `roughCutWindows`:唯一业务输出,类型为 `droboticflow.rough-cut-windows/v1`。
### 真实调切与语义标注 Gate
输入:
- `fullLeftVideos`
- `fullRightVideos`
- `leftTimestamps`
- `rightTimestamps`
- `imu`
- `roughCutWindows`
- `headposeEvidence`
- `handposeEvidence`
输出:
- `acceptedSliceDirectory`:已审核并完成整包验收的真实切片目录。
- `rejected`:被打回或要求自动重处理的记录。
- `acceptanceSummary`:验收人、版本、Pose include/exclude 和审计摘要。
禁止输出 `approvedVideos`;Pose JSON 也禁止重标为视频输出。
### Package
输入:
- `acceptedSliceDirectory`
- `calibrations`
- `acceptanceSummary`
输出:
- `deliveryDirectory`
- `deliveryManifest`
- `deliverySummary`
## 4. Revision 切片目录
```text
revision-000001/
└── slice-000001/
├── left.mp4
├── right.mp4
├── left_pts.csv
├── right_pts.csv
├── imu.csv
├── annotation.json
├── synchronized-slice.json
├── headpose.json # 验收 include 时存在
└── handpose.json # 验收 include 时存在
```
## 5. 时间戳标注草稿
```json
{
"schemaVersion": "droboticflow.timestamped-annotation/v1",
"sliceId": "slice-000001",
"labelId": "01",
"label": "鲜食处理",
"window": {
"startTimestampUs": 108643132948,
"endTimestampUs": 108644133798,
"semantics": "half-open"
},
"actions": [
{
"clipStartMs": 0.0,
"clipEndMs": 1000.85,
"startTimestampUs": 108643132948,
"endTimestampUs": 108644133798
}
]
}
```
## 6. 最终交付目录草稿
```text
delivery/
├── packages-manifest.json
├── delivery-summary.json
├── calibration/
│ ├── calibration_camera.yaml
│ └── calibration_imu.yaml
└── clips/
└── slice-000001/
├── left.mp4
├── right.mp4
├── left_pts.csv
├── right_pts.csv
├── imu.csv
├── annotation.json
├── synchronized-slice.json
├── headpose.json
└── handpose.json
```
## 7. 草稿退出条件
只有以下事项全部确认后,才允许进入实现、发布和真实 Run:
1. Qwen 确认只有一个时间窗口建议业务输出。
2. 真实物理切片确认由标注员提交 Revision 触发。
3. 左右 PTS 与 IMU 三个文件的切片定义确认。
4. Pose 的人工审核与整包 include/exclude 边界确认。
5. Revision 目录和最终交付目录命名确认。
6. 打回后旧 Revision 的保留、可见性与清理规则确认。