forked from longtao.wu/droboticflow
191 lines
5.8 KiB
Markdown
191 lines
5.8 KiB
Markdown
# 泛宇双目时间窗口真实调切交付流程草稿
|
||
|
||
> 状态:`DRAFT / 不可运行 / 待业务确认`
|
||
>
|
||
> 本草稿只定义流程、责任边界、端口和交付目录;不代表算子运行逻辑已经完成,不允许发布 Release 或创建 Run。
|
||
|
||
## 1. 责任边界
|
||
|
||
### Qwen 左相机语义粗切
|
||
|
||
Qwen 只读取人脸脱敏后的完整左相机视频及其 PTS,输出一个时间窗口建议 JSON。Qwen 不生成视频切片,不复制视频,不输出独立的 clips、boundaries、prelabels 或业务 inference summary 端口。
|
||
|
||
唯一业务输出:
|
||
|
||
```json
|
||
{
|
||
"schemaVersion": "droboticflow.rough-cut-windows/v1",
|
||
"items": [
|
||
{
|
||
"id": "window-000001",
|
||
"startTimestampUs": 108643132948,
|
||
"endTimestampUs": 108644133798,
|
||
"suggestedLabelId": "01",
|
||
"suggestedLabel": "鲜食处理",
|
||
"confidence": 0.86
|
||
}
|
||
]
|
||
}
|
||
```
|
||
|
||
### 真实调切与语义标注
|
||
|
||
人工节点直接接收左右人脸脱敏完整视频、左右 PTS、IMU 和 Qwen 时间窗口建议。标注员在完整双目时间轴上调整窗口并填写语义标签。提交 Revision 时,系统才执行真实物理切片:
|
||
|
||
- 使用同一个绝对半开窗口 `[startTimestampUs, endTimestampUs)` 裁切左右视频。
|
||
- 左右 PTS 分别按本流帧选择结果裁切。
|
||
- IMU 按同一个绝对窗口裁切并保留 accel/gyro 对。
|
||
- 生成包含绝对硬件时间与片段相对时间的标注 JSON。
|
||
- 同一个 Revision 的实际切片进入审核;被打回时保留审计记录,但不得进入交付。
|
||
|
||
### Pose 与整包验收
|
||
|
||
HeadPose 和 HandPose 是独立验收证据输入,不属于视频产物。HandPose 不进入逐片人工质检。整包验收员决定两类 Pose 的 `include/exclude`;通过后按最终窗口裁切 Pose 记录并加入已验收切片目录。
|
||
|
||
### Package
|
||
|
||
Package 不负责第一次切视频,只接收已经审核通过的真实切片目录、Calibration 和验收摘要,生成交付根目录、`packages-manifest.json` 与 `delivery-summary.json`。
|
||
|
||
## 2. 草稿数据流
|
||
|
||
```text
|
||
目录读取
|
||
-> 双目标准化
|
||
-> 双目去畸变
|
||
-> 左人脸脱敏 ---------------------> Qwen 时间窗口建议 ----┐
|
||
-> 右人脸脱敏 -------------------------------------------┤
|
||
-> 左右 PTS + IMU ---------------------------------------┤
|
||
-> HeadPose / HandPose 验收证据 --------------------------┤
|
||
v
|
||
真实调切与语义标注
|
||
|
|
||
真实切片 Revision 目录
|
||
v
|
||
切分与标注审核
|
||
v
|
||
整包验收
|
||
v
|
||
Package 目录整理与交付
|
||
```
|
||
|
||
## 3. 节点端口草稿
|
||
|
||
### Qwen
|
||
|
||
输入:
|
||
|
||
- `leftVideo`:完整左相机脱敏视频。
|
||
- `leftTimestamps`:左相机逐帧绝对硬件时间。
|
||
|
||
输出:
|
||
|
||
- `roughCutWindows`:唯一业务输出,类型为 `droboticflow.rough-cut-windows/v1`。
|
||
|
||
### 真实调切与语义标注 Gate
|
||
|
||
输入:
|
||
|
||
- `fullLeftVideos`
|
||
- `fullRightVideos`
|
||
- `leftTimestamps`
|
||
- `rightTimestamps`
|
||
- `imu`
|
||
- `roughCutWindows`
|
||
- `headposeEvidence`
|
||
- `handposeEvidence`
|
||
|
||
输出:
|
||
|
||
- `acceptedSliceDirectory`:已审核并完成整包验收的真实切片目录。
|
||
- `rejected`:被打回或要求自动重处理的记录。
|
||
- `acceptanceSummary`:验收人、版本、Pose include/exclude 和审计摘要。
|
||
|
||
禁止输出 `approvedVideos`;Pose JSON 也禁止重标为视频输出。
|
||
|
||
### Package
|
||
|
||
输入:
|
||
|
||
- `acceptedSliceDirectory`
|
||
- `calibrations`
|
||
- `acceptanceSummary`
|
||
|
||
输出:
|
||
|
||
- `deliveryDirectory`
|
||
- `deliveryManifest`
|
||
- `deliverySummary`
|
||
|
||
## 4. Revision 切片目录
|
||
|
||
```text
|
||
revision-000001/
|
||
└── slice-000001/
|
||
├── left.mp4
|
||
├── right.mp4
|
||
├── left_pts.csv
|
||
├── right_pts.csv
|
||
├── imu.csv
|
||
├── annotation.json
|
||
├── synchronized-slice.json
|
||
├── headpose.json # 验收 include 时存在
|
||
└── handpose.json # 验收 include 时存在
|
||
```
|
||
|
||
## 5. 时间戳标注草稿
|
||
|
||
```json
|
||
{
|
||
"schemaVersion": "droboticflow.timestamped-annotation/v1",
|
||
"sliceId": "slice-000001",
|
||
"labelId": "01",
|
||
"label": "鲜食处理",
|
||
"window": {
|
||
"startTimestampUs": 108643132948,
|
||
"endTimestampUs": 108644133798,
|
||
"semantics": "half-open"
|
||
},
|
||
"actions": [
|
||
{
|
||
"clipStartMs": 0.0,
|
||
"clipEndMs": 1000.85,
|
||
"startTimestampUs": 108643132948,
|
||
"endTimestampUs": 108644133798
|
||
}
|
||
]
|
||
}
|
||
```
|
||
|
||
## 6. 最终交付目录草稿
|
||
|
||
```text
|
||
delivery/
|
||
├── packages-manifest.json
|
||
├── delivery-summary.json
|
||
├── calibration/
|
||
│ ├── calibration_camera.yaml
|
||
│ └── calibration_imu.yaml
|
||
└── clips/
|
||
└── slice-000001/
|
||
├── left.mp4
|
||
├── right.mp4
|
||
├── left_pts.csv
|
||
├── right_pts.csv
|
||
├── imu.csv
|
||
├── annotation.json
|
||
├── synchronized-slice.json
|
||
├── headpose.json
|
||
└── handpose.json
|
||
```
|
||
|
||
## 7. 草稿退出条件
|
||
|
||
只有以下事项全部确认后,才允许进入实现、发布和真实 Run:
|
||
|
||
1. Qwen 确认只有一个时间窗口建议业务输出。
|
||
2. 真实物理切片确认由标注员提交 Revision 触发。
|
||
3. 左右 PTS 与 IMU 三个文件的切片定义确认。
|
||
4. Pose 的人工审核与整包 include/exclude 边界确认。
|
||
5. Revision 目录和最终交付目录命名确认。
|
||
6. 打回后旧 Revision 的保留、可见性与清理规则确认。
|