real2sim-platform/docs/POC_PRODUCT_SPEC.md

46 lines
3.8 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# Real2Sim POC 产品与交互规格
## 用户与边界
| 角色 | 主要目标 | 写权限 |
| --- | --- | --- |
| 管理员 | 初始化平台、管理用户、存储和删除策略 | 全部;删除磁盘或 BOS 对象必须二次确认 |
| 算法工程师 | 导入数据、重建、采集、训练和推理 | 业务资源和任务,不可管理用户 |
| 只读用户 | 查看场景、报告、模型和 rollout | 无 |
平台面向内部 POC/Beta,不开放注册、计费或多组织租户。真实 MuJoCo 和 MotrixSim 是允许的领域运行时;禁止 mock、dry-run 验收、硬编码成功率、假进度和通过直接改物体位姿伪造抓取。
## 完整用户旅程
1. 管理员使用一次性初始密码登录,强制更新密码,再创建工程师或只读账号。
2. 工程师从 HuggingFace、浏览器分片上传或授权 BOS 前缀导入数据。系统计算 SHA-256、创建版本和清单。
3. 视频或图片包进入“准备输入”,统一生成 prepared frames;质量预检给出帧数、分辨率、清晰度、视差和可执行建议。
4. 场景重建向导选择 prepared dataset、质量档位、坐标系、渲染器和仿真器。任务立即进入本页,SSE 显示真实阶段和进度。
5. 重建成功后在场景管理中打开 Spark/Three Viewer,添加机器人或物体会生成新 revision,不覆盖来源场景。
6. 数据采集页只展示场景 manifest 声明兼容的真实控制器。RM65 采集要求双指接触、至少抬升 10 cm、放置误差不超过 5 cm。
7. 模型训练页只允许新建 DISCOVERSE ACT;配置由 HDF5 和场景 manifest 推导,输出 checkpoint、损失历史、模型卡和血缘。
8. 在线推理在真实引擎运行随机化 episode,输出视频、轨迹、动作统计和成功率。没有真实结果时显示空状态。
## 七页交互合同
- **总览**:当前闭环阶段、推荐下一步、真实任务、最近场景和模型结果。无运维状态条或调试 JSON。
- **数据管理**:来源卡打开导入弹窗;表格支持全选、多选、批量准备、预检和删除索引。
- **场景重建**:资源卡选择、质量评分、参数折叠、任务列表和完成后预览构成单页闭环。
- **场景管理**:场景库、3D Viewer、资产和仿真信息三栏;移动端按 Viewer、场景库、资产编辑顺序堆叠。
- **数据采集**:场景、控制器和采集规模在同页;任务完成后直接出现 HDF5 数据集。
- **模型训练**:采集数据、ACT 配方、真实指标、训练任务和模型卡同页呈现。
- **在线推理**:模型和场景卡选择、rollout 播放、轨迹产物与任务管理同页呈现。
任务详情使用右侧抽屉展示阶段、报告、建议、产物预览和下载;高级 JSON 仅在折叠区。删除默认只删平台索引,不删 PV 或 BOS 对象。
## 可行性证据与交付门槛
- 本地已用真实 MuJoCo 和 MotrixSim 加载同一 RM65 MJCF 并执行 step。
- 本地真实物理控制器已完成双指接触抓放:抬升 15.57 cm,放置误差 1.29 cm,输出 RGB/qpos/action/contact HDF5 与 MP4。
- 集群 worker 必须在 A800 上通过 CUDA 矩阵运算、AnySplat 固定 revision 模型加载、ACT import、MuJoCo step 和 MotrixSim step,之后才 Ready。
- 最终 `acceptance_report.json.pass=true` 还要求两次非 dry-run 重建、50 个成功采集 episode、真实 ACT checkpoint,以及 10 次推理成功率至少 50%。未达门槛时可保留 Beta 部署,但不得声明全链路通过。
## 视觉合同
视觉原型保存于 `docs/prototypes/real2sim-poc-product-board-v1.png`。实现采用深色中性底、青绿色命令色、紧凑表格、6px 面板圆角和纯文字导航;禁止大编号、运行时状态条、装饰图标、裸资源 ID/路径主输入及无数据时的虚构图表。