real2sim-platform/README.md

90 lines
4.1 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# Real2Sim Platform
管理视频/图片到 3D 场景重建、Scene Builder 场景、专家策略采集、数据集、训练和推理任务的单机平台。
## 本机启动
```bash
cd /Users/d-robotics/workSpace/real2sim2model/real2sim-platform
PYTHONPATH=src python -m real2sim_platform.server --host 127.0.0.1 --port 18126
```
打开:
```text
http://127.0.0.1:18126/
```
## 任务类型
- `hf_import`: 从 Hugging Face dataset 下载指定 revision / allow patterns,落到 `workspace/datasets/{dataset_id}` 并生成 `dataset_manifest.json`。
- `media_prepare`: 把 HuggingFace parquet/video URL、本地 video、图片目录统一准备成 `prepared_media` dataset,默认按 `sample_fps=2`、`max_frames_per_video=80` 抽帧并生成 `prepared_manifest.json`。
- `reconstruction_preflight`: 对 prepared frames / 图片目录做重建前检查,默认要求 `min_frames=30`,输出 `capture_preflight_report.json`。
- `scene_reconstruction`: 视频/图片/RGBD 到 Real2Sim 场景包,默认走 `gs_playground/scripts/real2sim_video_motrix_scene.py`,支持 `mujoco` 和 `motrixsim` 产物。
- `simulator_validation`: 按 `smoke`、`runtime_if_available` 或 `runtime_required` 校验场景包中的 MuJoCo / MotrixSim 产物,输出 `validation_report.json`。
- `expert_collection`: 调用 `real2sim_expert.collect`,输出 `rollouts.jsonl`、`manifest.json` 和可视化帧。
- `training`: 调用 `real2sim_train.train`,输出 `policy_head.json`、`model_card.json`。
- `inference`: 调用 `real2sim_infer.run`,输出 `prediction_rollout.json` 和 `viewer.html`。
- `renderer_benchmark`: 记录 Aholo Viewer 与 Spark 的集成选择,默认 Spark,Aholo 用作大规模 LOD 备选。
## 关键接口
- `GET /api/version`
- `GET /api/datasets/{id}/manifest`
- `GET /api/scenes/{id}/manifest`
- `GET /api/models/{id}/card`
- `GET /api/tasks/{id}/reports`
- `GET /api/artifacts/{id}/content`
前端固定页面:总览、验收、数据、场景、3D 预览、采集、训练、推理、任务。
3D 预览页读取 scene manifest,优先用 vendored `@sparkjsdev/spark` 加载 PLY/SPZ/SPLAT/KSPLAT/SOG,失败或不可用时明确标为 Three.js fallback;Spark 和 Three.js runtime 都随静态文件部署,不依赖浏览器访问外部 CDN。Manifest 会给资产补充 `size_bytes`、`autoload`、`viewer_hint`,超过默认阈值的大 PLY/点云不会自动加载,页面会提示手动点击加载。
## 重建运行时
无影默认运行时配置:
```text
runtime_root = /opt/real2sim_paper_runtime
anysplat_root = /opt/real2sim_paper_runtime/AnySplat
anysplat_python = /opt/real2sim_paper_runtime/envs/anysplat/bin/python
cuda_home = /usr/local/cuda-12.1
```
`scene_reconstruction` 会向上游脚本显式传入 `--anysplat-root` 和
`--anysplat-python`,并导出 `REAL2SIM_ANYSPLAT_ROOT`、
`REAL2SIM_ANY_SPLAT_PYTHON`、`REAL2SIM_COLMAP_BIN` 等环境变量。
`reconstruction_preflight` 报告包含 `readiness_score` 和 `next_action`,用于 UI 向导区分“可以重建”“需要补帧/重采”“运行时配置缺失”等状态。
## 无影部署
默认通过 SSH 隧道访问,不把服务直接暴露公网。部署脚本会同步整个
`real2sim2model` 工作区到 `/opt/real2sim2model`,并保留远端
`real2sim-platform/workspace/` 中的历史任务、数据集和模型。
```bash
bash scripts/deploy_wuying.sh --restart
ssh -i /Users/d-robotics/workSpace/document/80-private/orgs/drobotics/keys/wuying-39.106.101.95_ed25519 \
-L 18126:127.0.0.1:18126 root@39.106.101.95
```
另开一个本地终端建立隧道:
```bash
ssh -i /Users/d-robotics/workSpace/document/80-private/orgs/drobotics/keys/wuying-39.106.101.95_ed25519 \
-L 18126:127.0.0.1:18126 root@39.106.101.95
```
无影侧服务地址:
```text
http://127.0.0.1:18126/
```
部署脚本会安装 `huggingface_hub`、`pyarrow`、`pillow`、`imageio`、`opencv-python-headless`、`mujoco` 等依赖,写入 systemd unit,并检查 `ffmpeg`、Spark bundle、Three.js bundle 和 AnySplat runtime。`images23dgs` 缺失只作为 `/api/doctor` warning。
远端验收:
```bash
bash scripts/acceptance_wuying.sh
```