Real2Sim Platform

管理视频/图片到 3D 场景重建、Scene Builder 场景、专家策略采集、数据集、训练和推理任务的单机平台。

本机启动

cd /Users/d-robotics/workSpace/real2sim2model/real2sim-platform
PYTHONPATH=src python -m real2sim_platform.server --host 127.0.0.1 --port 18126

打开:

http://127.0.0.1:18126/

任务类型

  • hf_import: 从 Hugging Face dataset 下载指定 revision / allow patterns,落到 workspace/datasets/{dataset_id} 并生成 dataset_manifest.json。
  • media_prepare: 把 HuggingFace parquet/video URL、本地 video、图片目录统一准备成 prepared_media dataset,默认按 sample_fps=2、max_frames_per_video=80 抽帧并生成 prepared_manifest.json。
  • reconstruction_preflight: 对 prepared frames / 图片目录做重建前检查,默认要求 min_frames=30,输出 capture_preflight_report.json。
  • scene_reconstruction: 视频/图片/RGBD 到 Real2Sim 场景包,默认走 gs_playground/scripts/real2sim_video_motrix_scene.py,支持 mujoco 和 motrixsim 产物。
  • simulator_validation: 按 smoke、runtime_if_available 或 runtime_required 校验场景包中的 MuJoCo / MotrixSim 产物,输出 validation_report.json。
  • expert_collection: 调用 real2sim_expert.collect,输出 rollouts.jsonl、manifest.json 和可视化帧。
  • training: 调用 real2sim_train.train,输出 policy_head.json、model_card.json。
  • inference: 调用 real2sim_infer.run,输出 prediction_rollout.json 和 viewer.html。
  • renderer_benchmark: 记录 Aholo Viewer 与 Spark 的集成选择,默认 Spark,Aholo 用作大规模 LOD 备选。

关键接口

  • GET /api/version
  • GET /api/datasets/{id}/manifest
  • GET /api/scenes/{id}/manifest
  • GET /api/models/{id}/card
  • GET /api/tasks/{id}/reports
  • GET /api/artifacts/{id}/content

前端固定页面:总览、验收、数据、场景、3D 预览、采集、训练、推理、任务。 3D 预览页读取 scene manifest,优先用 vendored @sparkjsdev/spark 加载 PLY/SPZ/SPLAT/KSPLAT/SOG,失败或不可用时明确标为 Three.js fallback;Spark 和 Three.js runtime 都随静态文件部署,不依赖浏览器访问外部 CDN。Manifest 会给资产补充 size_bytes、autoload、viewer_hint,超过默认阈值的大 PLY/点云不会自动加载,页面会提示手动点击加载。

重建运行时

无影默认运行时配置:

runtime_root = /opt/real2sim_paper_runtime
anysplat_root = /opt/real2sim_paper_runtime/AnySplat
anysplat_python = /opt/real2sim_paper_runtime/envs/anysplat/bin/python
cuda_home = /usr/local/cuda-12.1

scene_reconstruction 会向上游脚本显式传入 --anysplat-root 和 --anysplat-python,并导出 REAL2SIM_ANYSPLAT_ROOT、 REAL2SIM_ANY_SPLAT_PYTHON、REAL2SIM_COLMAP_BIN 等环境变量。 reconstruction_preflight 报告包含 readiness_score 和 next_action,用于 UI 向导区分“可以重建”“需要补帧/重采”“运行时配置缺失”等状态。

无影部署

默认通过 SSH 隧道访问,不把服务直接暴露公网。部署脚本会同步整个 real2sim2model 工作区到 /opt/real2sim2model,并保留远端 real2sim-platform/workspace/ 中的历史任务、数据集和模型。

bash scripts/deploy_wuying.sh --restart
ssh -i /Users/d-robotics/workSpace/document/80-private/orgs/drobotics/keys/wuying-39.106.101.95_ed25519 \
  -L 18126:127.0.0.1:18126 root@39.106.101.95

另开一个本地终端建立隧道:

ssh -i /Users/d-robotics/workSpace/document/80-private/orgs/drobotics/keys/wuying-39.106.101.95_ed25519 \
  -L 18126:127.0.0.1:18126 root@39.106.101.95

无影侧服务地址:

http://127.0.0.1:18126/

部署脚本会安装 huggingface_hub、pyarrow、pillow、imageio、opencv-python-headless、mujoco 等依赖,写入 systemd unit,并检查 ffmpeg、Spark bundle、Three.js bundle 和 AnySplat runtime。images23dgs 缺失只作为 /api/doctor warning。

远端验收:

bash scripts/acceptance_wuying.sh
Description
Real2Sim platform
Readme MIT 10 MiB
Languages
TypeScript 67.7%
Python 11.6%
JavaScript 10.1%
CSS 9.7%
Shell 0.6%
Other 0.3%