📝 Add Fanyu timestamp-window workflow draft

This commit is contained in:
eust-w 2026-08-27 03:01:51 +08:00
parent e02a127162
commit a97e848a4d

View File

@ -0,0 +1,190 @@
# 泛宇双目时间窗口真实调切交付流程草稿
> 状态:`DRAFT / 不可运行 / 待业务确认`
>
> 本草稿只定义流程、责任边界、端口和交付目录;不代表算子运行逻辑已经完成,不允许发布 Release 或创建 Run。
## 1. 责任边界
### Qwen 左相机语义粗切
Qwen 只读取人脸脱敏后的完整左相机视频及其 PTS,输出一个时间窗口建议 JSON。Qwen 不生成视频切片,不复制视频,不输出独立的 clips、boundaries、prelabels 或业务 inference summary 端口。
唯一业务输出:
```json
{
"schemaVersion": "droboticflow.rough-cut-windows/v1",
"items": [
{
"id": "window-000001",
"startTimestampUs": 108643132948,
"endTimestampUs": 108644133798,
"suggestedLabelId": "01",
"suggestedLabel": "鲜食处理",
"confidence": 0.86
}
]
}
```
### 真实调切与语义标注
人工节点直接接收左右人脸脱敏完整视频、左右 PTS、IMU 和 Qwen 时间窗口建议。标注员在完整双目时间轴上调整窗口并填写语义标签。提交 Revision 时,系统才执行真实物理切片:
- 使用同一个绝对半开窗口 `[startTimestampUs, endTimestampUs)` 裁切左右视频。
- 左右 PTS 分别按本流帧选择结果裁切。
- IMU 按同一个绝对窗口裁切并保留 accel/gyro 对。
- 生成包含绝对硬件时间与片段相对时间的标注 JSON。
- 同一个 Revision 的实际切片进入审核;被打回时保留审计记录,但不得进入交付。
### Pose 与整包验收
HeadPose 和 HandPose 是独立验收证据输入,不属于视频产物。HandPose 不进入逐片人工质检。整包验收员决定两类 Pose 的 `include/exclude`;通过后按最终窗口裁切 Pose 记录并加入已验收切片目录。
### Package
Package 不负责第一次切视频,只接收已经审核通过的真实切片目录、Calibration 和验收摘要,生成交付根目录、`packages-manifest.json` 与 `delivery-summary.json`。
## 2. 草稿数据流
```text
目录读取
-> 双目标准化
-> 双目去畸变
-> 左人脸脱敏 ---------------------> Qwen 时间窗口建议 ----┐
-> 右人脸脱敏 -------------------------------------------┤
-> 左右 PTS + IMU ---------------------------------------┤
-> HeadPose / HandPose 验收证据 --------------------------┤
v
真实调切与语义标注
|
真实切片 Revision 目录
v
切分与标注审核
v
整包验收
v
Package 目录整理与交付
```
## 3. 节点端口草稿
### Qwen
输入:
- `leftVideo`:完整左相机脱敏视频。
- `leftTimestamps`:左相机逐帧绝对硬件时间。
输出:
- `roughCutWindows`:唯一业务输出,类型为 `droboticflow.rough-cut-windows/v1`。
### 真实调切与语义标注 Gate
输入:
- `fullLeftVideos`
- `fullRightVideos`
- `leftTimestamps`
- `rightTimestamps`
- `imu`
- `roughCutWindows`
- `headposeEvidence`
- `handposeEvidence`
输出:
- `acceptedSliceDirectory`:已审核并完成整包验收的真实切片目录。
- `rejected`:被打回或要求自动重处理的记录。
- `acceptanceSummary`:验收人、版本、Pose include/exclude 和审计摘要。
禁止输出 `approvedVideos`;Pose JSON 也禁止重标为视频输出。
### Package
输入:
- `acceptedSliceDirectory`
- `calibrations`
- `acceptanceSummary`
输出:
- `deliveryDirectory`
- `deliveryManifest`
- `deliverySummary`
## 4. Revision 切片目录
```text
revision-000001/
└── slice-000001/
├── left.mp4
├── right.mp4
├── left_pts.csv
├── right_pts.csv
├── imu.csv
├── annotation.json
├── synchronized-slice.json
├── headpose.json # 验收 include 时存在
└── handpose.json # 验收 include 时存在
```
## 5. 时间戳标注草稿
```json
{
"schemaVersion": "droboticflow.timestamped-annotation/v1",
"sliceId": "slice-000001",
"labelId": "01",
"label": "鲜食处理",
"window": {
"startTimestampUs": 108643132948,
"endTimestampUs": 108644133798,
"semantics": "half-open"
},
"actions": [
{
"clipStartMs": 0.0,
"clipEndMs": 1000.85,
"startTimestampUs": 108643132948,
"endTimestampUs": 108644133798
}
]
}
```
## 6. 最终交付目录草稿
```text
delivery/
├── packages-manifest.json
├── delivery-summary.json
├── calibration/
│ ├── calibration_camera.yaml
│ └── calibration_imu.yaml
└── clips/
└── slice-000001/
├── left.mp4
├── right.mp4
├── left_pts.csv
├── right_pts.csv
├── imu.csv
├── annotation.json
├── synchronized-slice.json
├── headpose.json
└── handpose.json
```
## 7. 草稿退出条件
只有以下事项全部确认后,才允许进入实现、发布和真实 Run:
1. Qwen 确认只有一个时间窗口建议业务输出。
2. 真实物理切片确认由标注员提交 Revision 触发。
3. 左右 PTS 与 IMU 三个文件的切片定义确认。
4. Pose 的人工审核与整包 include/exclude 边界确认。
5. Revision 目录和最终交付目录命名确认。
6. 打回后旧 Revision 的保留、可见性与清理规则确认。