90 lines
4.1 KiB
Markdown
90 lines
4.1 KiB
Markdown
# Real2Sim Platform
|
||
|
||
管理视频/图片到 3D 场景重建、Scene Builder 场景、专家策略采集、数据集、训练和推理任务的单机平台。
|
||
|
||
## 本机启动
|
||
|
||
```bash
|
||
cd /Users/d-robotics/workSpace/real2sim2model/real2sim-platform
|
||
PYTHONPATH=src python -m real2sim_platform.server --host 127.0.0.1 --port 18126
|
||
```
|
||
|
||
打开:
|
||
|
||
```text
|
||
http://127.0.0.1:18126/
|
||
```
|
||
|
||
## 任务类型
|
||
|
||
- `hf_import`: 从 Hugging Face dataset 下载指定 revision / allow patterns,落到 `workspace/datasets/{dataset_id}` 并生成 `dataset_manifest.json`。
|
||
- `media_prepare`: 把 HuggingFace parquet/video URL、本地 video、图片目录统一准备成 `prepared_media` dataset,默认按 `sample_fps=2`、`max_frames_per_video=80` 抽帧并生成 `prepared_manifest.json`。
|
||
- `reconstruction_preflight`: 对 prepared frames / 图片目录做重建前检查,默认要求 `min_frames=30`,输出 `capture_preflight_report.json`。
|
||
- `scene_reconstruction`: 视频/图片/RGBD 到 Real2Sim 场景包,默认走 `gs_playground/scripts/real2sim_video_motrix_scene.py`,支持 `mujoco` 和 `motrixsim` 产物。
|
||
- `simulator_validation`: 按 `smoke`、`runtime_if_available` 或 `runtime_required` 校验场景包中的 MuJoCo / MotrixSim 产物,输出 `validation_report.json`。
|
||
- `expert_collection`: 调用 `real2sim_expert.collect`,输出 `rollouts.jsonl`、`manifest.json` 和可视化帧。
|
||
- `training`: 调用 `real2sim_train.train`,输出 `policy_head.json`、`model_card.json`。
|
||
- `inference`: 调用 `real2sim_infer.run`,输出 `prediction_rollout.json` 和 `viewer.html`。
|
||
- `renderer_benchmark`: 记录 Aholo Viewer 与 Spark 的集成选择,默认 Spark,Aholo 用作大规模 LOD 备选。
|
||
|
||
## 关键接口
|
||
|
||
- `GET /api/version`
|
||
- `GET /api/datasets/{id}/manifest`
|
||
- `GET /api/scenes/{id}/manifest`
|
||
- `GET /api/models/{id}/card`
|
||
- `GET /api/tasks/{id}/reports`
|
||
- `GET /api/artifacts/{id}/content`
|
||
|
||
前端固定页面:总览、验收、数据、场景、3D 预览、采集、训练、推理、任务。
|
||
3D 预览页读取 scene manifest,优先用 vendored `@sparkjsdev/spark` 加载 PLY/SPZ/SPLAT/KSPLAT/SOG,失败或不可用时明确标为 Three.js fallback;Spark 和 Three.js runtime 都随静态文件部署,不依赖浏览器访问外部 CDN。Manifest 会给资产补充 `size_bytes`、`autoload`、`viewer_hint`,超过默认阈值的大 PLY/点云不会自动加载,页面会提示手动点击加载。
|
||
|
||
## 重建运行时
|
||
|
||
无影默认运行时配置:
|
||
|
||
```text
|
||
runtime_root = /opt/real2sim_paper_runtime
|
||
anysplat_root = /opt/real2sim_paper_runtime/AnySplat
|
||
anysplat_python = /opt/real2sim_paper_runtime/envs/anysplat/bin/python
|
||
cuda_home = /usr/local/cuda-12.1
|
||
```
|
||
|
||
`scene_reconstruction` 会向上游脚本显式传入 `--anysplat-root` 和
|
||
`--anysplat-python`,并导出 `REAL2SIM_ANYSPLAT_ROOT`、
|
||
`REAL2SIM_ANY_SPLAT_PYTHON`、`REAL2SIM_COLMAP_BIN` 等环境变量。
|
||
`reconstruction_preflight` 报告包含 `readiness_score` 和 `next_action`,用于 UI 向导区分“可以重建”“需要补帧/重采”“运行时配置缺失”等状态。
|
||
|
||
## 无影部署
|
||
|
||
默认通过 SSH 隧道访问,不把服务直接暴露公网。部署脚本会同步整个
|
||
`real2sim2model` 工作区到 `/opt/real2sim2model`,并保留远端
|
||
`real2sim-platform/workspace/` 中的历史任务、数据集和模型。
|
||
|
||
```bash
|
||
bash scripts/deploy_wuying.sh --restart
|
||
ssh -i /Users/d-robotics/workSpace/document/80-private/orgs/drobotics/keys/wuying-39.106.101.95_ed25519 \
|
||
-L 18126:127.0.0.1:18126 root@39.106.101.95
|
||
```
|
||
|
||
另开一个本地终端建立隧道:
|
||
|
||
```bash
|
||
ssh -i /Users/d-robotics/workSpace/document/80-private/orgs/drobotics/keys/wuying-39.106.101.95_ed25519 \
|
||
-L 18126:127.0.0.1:18126 root@39.106.101.95
|
||
```
|
||
|
||
无影侧服务地址:
|
||
|
||
```text
|
||
http://127.0.0.1:18126/
|
||
```
|
||
|
||
部署脚本会安装 `huggingface_hub`、`pyarrow`、`pillow`、`imageio`、`opencv-python-headless`、`mujoco` 等依赖,写入 systemd unit,并检查 `ffmpeg`、Spark bundle、Three.js bundle 和 AnySplat runtime。`images23dgs` 缺失只作为 `/api/doctor` warning。
|
||
|
||
远端验收:
|
||
|
||
```bash
|
||
bash scripts/acceptance_wuying.sh
|
||
```
|