5.8 KiB
5.8 KiB
泛宇双目时间窗口真实调切交付流程草稿
状态:
DRAFT / 不可运行 / 待业务确认本草稿只定义流程、责任边界、端口和交付目录;不代表算子运行逻辑已经完成,不允许发布 Release 或创建 Run。
1. 责任边界
Qwen 左相机语义粗切
Qwen 只读取人脸脱敏后的完整左相机视频及其 PTS,输出一个时间窗口建议 JSON。Qwen 不生成视频切片,不复制视频,不输出独立的 clips、boundaries、prelabels 或业务 inference summary 端口。
唯一业务输出:
{
"schemaVersion": "droboticflow.rough-cut-windows/v1",
"items": [
{
"id": "window-000001",
"startTimestampUs": 108643132948,
"endTimestampUs": 108644133798,
"suggestedLabelId": "01",
"suggestedLabel": "鲜食处理",
"confidence": 0.86
}
]
}
真实调切与语义标注
人工节点直接接收左右人脸脱敏完整视频、左右 PTS、IMU 和 Qwen 时间窗口建议。标注员在完整双目时间轴上调整窗口并填写语义标签。提交 Revision 时,系统才执行真实物理切片:
- 使用同一个绝对半开窗口
[startTimestampUs, endTimestampUs)裁切左右视频。 - 左右 PTS 分别按本流帧选择结果裁切。
- IMU 按同一个绝对窗口裁切并保留 accel/gyro 对。
- 生成包含绝对硬件时间与片段相对时间的标注 JSON。
- 同一个 Revision 的实际切片进入审核;被打回时保留审计记录,但不得进入交付。
Pose 与整包验收
HeadPose 和 HandPose 是独立验收证据输入,不属于视频产物。HandPose 不进入逐片人工质检。整包验收员决定两类 Pose 的 include/exclude;通过后按最终窗口裁切 Pose 记录并加入已验收切片目录。
Package
Package 不负责第一次切视频,只接收已经审核通过的真实切片目录、Calibration 和验收摘要,生成交付根目录、packages-manifest.json 与 delivery-summary.json。
2. 草稿数据流
目录读取
-> 双目标准化
-> 双目去畸变
-> 左人脸脱敏 ---------------------> Qwen 时间窗口建议 ----┐
-> 右人脸脱敏 -------------------------------------------┤
-> 左右 PTS + IMU ---------------------------------------┤
-> HeadPose / HandPose 验收证据 --------------------------┤
v
真实调切与语义标注
|
真实切片 Revision 目录
v
切分与标注审核
v
整包验收
v
Package 目录整理与交付
3. 节点端口草稿
Qwen
输入:
leftVideo:完整左相机脱敏视频。leftTimestamps:左相机逐帧绝对硬件时间。
输出:
roughCutWindows:唯一业务输出,类型为droboticflow.rough-cut-windows/v1。
真实调切与语义标注 Gate
输入:
fullLeftVideosfullRightVideosleftTimestampsrightTimestampsimuroughCutWindowsheadposeEvidencehandposeEvidence
输出:
acceptedSliceDirectory:已审核并完成整包验收的真实切片目录。rejected:被打回或要求自动重处理的记录。acceptanceSummary:验收人、版本、Pose include/exclude 和审计摘要。
禁止输出 approvedVideos;Pose JSON 也禁止重标为视频输出。
Package
输入:
acceptedSliceDirectorycalibrationsacceptanceSummary
输出:
deliveryDirectorydeliveryManifestdeliverySummary
4. Revision 切片目录
revision-000001/
└── slice-000001/
├── left.mp4
├── right.mp4
├── left_pts.csv
├── right_pts.csv
├── imu.csv
├── annotation.json
├── synchronized-slice.json
├── headpose.json # 验收 include 时存在
└── handpose.json # 验收 include 时存在
5. 时间戳标注草稿
{
"schemaVersion": "droboticflow.timestamped-annotation/v1",
"sliceId": "slice-000001",
"labelId": "01",
"label": "鲜食处理",
"window": {
"startTimestampUs": 108643132948,
"endTimestampUs": 108644133798,
"semantics": "half-open"
},
"actions": [
{
"clipStartMs": 0.0,
"clipEndMs": 1000.85,
"startTimestampUs": 108643132948,
"endTimestampUs": 108644133798
}
]
}
6. 最终交付目录草稿
delivery/
├── packages-manifest.json
├── delivery-summary.json
├── calibration/
│ ├── calibration_camera.yaml
│ └── calibration_imu.yaml
└── clips/
└── slice-000001/
├── left.mp4
├── right.mp4
├── left_pts.csv
├── right_pts.csv
├── imu.csv
├── annotation.json
├── synchronized-slice.json
├── headpose.json
└── handpose.json
7. 草稿退出条件
只有以下事项全部确认后,才允许进入实现、发布和真实 Run:
- Qwen 确认只有一个时间窗口建议业务输出。
- 真实物理切片确认由标注员提交 Revision 触发。
- 左右 PTS 与 IMU 三个文件的切片定义确认。
- Pose 的人工审核与整包 include/exclude 边界确认。
- Revision 目录和最终交付目录命名确认。
- 打回后旧 Revision 的保留、可见性与清理规则确认。