real2sim-platform/docs/POC_PRODUCT_SPEC.md

3.8 KiB
Raw Blame History

Real2Sim POC 产品与交互规格

用户与边界

角色 主要目标 写权限
管理员 初始化平台、管理用户、存储和删除策略 全部;删除磁盘或 BOS 对象必须二次确认
算法工程师 导入数据、重建、采集、训练和推理 业务资源和任务,不可管理用户
只读用户 查看场景、报告、模型和 rollout 无

平台面向内部 POC/Beta,不开放注册、计费或多组织租户。真实 MuJoCo 和 MotrixSim 是允许的领域运行时;禁止 mock、dry-run 验收、硬编码成功率、假进度和通过直接改物体位姿伪造抓取。

完整用户旅程

  1. 管理员使用一次性初始密码登录,强制更新密码,再创建工程师或只读账号。
  2. 工程师从 HuggingFace、浏览器分片上传或授权 BOS 前缀导入数据。系统计算 SHA-256、创建版本和清单。
  3. 视频或图片包进入“准备输入”,统一生成 prepared frames;质量预检给出帧数、分辨率、清晰度、视差和可执行建议。
  4. 场景重建向导选择 prepared dataset、质量档位、坐标系、渲染器和仿真器。任务立即进入本页,SSE 显示真实阶段和进度。
  5. 重建成功后在场景管理中打开 Spark/Three Viewer,添加机器人或物体会生成新 revision,不覆盖来源场景。
  6. 数据采集页只展示场景 manifest 声明兼容的真实控制器。RM65 采集要求双指接触、至少抬升 10 cm、放置误差不超过 5 cm。
  7. 模型训练页只允许新建 DISCOVERSE ACT;配置由 HDF5 和场景 manifest 推导,输出 checkpoint、损失历史、模型卡和血缘。
  8. 在线推理在真实引擎运行随机化 episode,输出视频、轨迹、动作统计和成功率。没有真实结果时显示空状态。

七页交互合同

  • 总览:当前闭环阶段、推荐下一步、真实任务、最近场景和模型结果。无运维状态条或调试 JSON。
  • 数据管理:来源卡打开导入弹窗;表格支持全选、多选、批量准备、预检和删除索引。
  • 场景重建:资源卡选择、质量评分、参数折叠、任务列表和完成后预览构成单页闭环。
  • 场景管理:场景库、3D Viewer、资产和仿真信息三栏;移动端按 Viewer、场景库、资产编辑顺序堆叠。
  • 数据采集:场景、控制器和采集规模在同页;任务完成后直接出现 HDF5 数据集。
  • 模型训练:采集数据、ACT 配方、真实指标、训练任务和模型卡同页呈现。
  • 在线推理:模型和场景卡选择、rollout 播放、轨迹产物与任务管理同页呈现。

任务详情使用右侧抽屉展示阶段、报告、建议、产物预览和下载;高级 JSON 仅在折叠区。删除默认只删平台索引,不删 PV 或 BOS 对象。

可行性证据与交付门槛

  • 本地已用真实 MuJoCo 和 MotrixSim 加载同一 RM65 MJCF 并执行 step。
  • 本地真实物理控制器已完成双指接触抓放:抬升 15.57 cm,放置误差 1.29 cm,输出 RGB/qpos/action/contact HDF5 与 MP4。
  • 集群 worker 必须在 A800 上通过 CUDA 矩阵运算、AnySplat 固定 revision 模型加载、ACT import、MuJoCo step 和 MotrixSim step,之后才 Ready。
  • 最终 acceptance_report.json.pass=true 还要求两次非 dry-run 重建、50 个成功采集 episode、真实 ACT checkpoint,以及 10 次推理成功率至少 50%。未达门槛时可保留 Beta 部署,但不得声明全链路通过。

视觉合同

视觉原型保存于 docs/prototypes/real2sim-poc-product-board-v1.png。实现采用深色中性底、青绿色命令色、紧凑表格、6px 面板圆角和纯文字导航;禁止大编号、运行时状态条、装饰图标、裸资源 ID/路径主输入及无数据时的虚构图表。