4.1 KiB
Real2Sim Platform
管理视频/图片到 3D 场景重建、Scene Builder 场景、专家策略采集、数据集、训练和推理任务的单机平台。
本机启动
cd /Users/d-robotics/workSpace/real2sim2model/real2sim-platform
PYTHONPATH=src python -m real2sim_platform.server --host 127.0.0.1 --port 18126
打开:
http://127.0.0.1:18126/
任务类型
hf_import: 从 Hugging Face dataset 下载指定 revision / allow patterns,落到workspace/datasets/{dataset_id}并生成dataset_manifest.json。media_prepare: 把 HuggingFace parquet/video URL、本地 video、图片目录统一准备成prepared_mediadataset,默认按sample_fps=2、max_frames_per_video=80抽帧并生成prepared_manifest.json。reconstruction_preflight: 对 prepared frames / 图片目录做重建前检查,默认要求min_frames=30,输出capture_preflight_report.json。scene_reconstruction: 视频/图片/RGBD 到 Real2Sim 场景包,默认走gs_playground/scripts/real2sim_video_motrix_scene.py,支持mujoco和motrixsim产物。simulator_validation: 按smoke、runtime_if_available或runtime_required校验场景包中的 MuJoCo / MotrixSim 产物,输出validation_report.json。expert_collection: 调用real2sim_expert.collect,输出rollouts.jsonl、manifest.json和可视化帧。training: 调用real2sim_train.train,输出policy_head.json、model_card.json。inference: 调用real2sim_infer.run,输出prediction_rollout.json和viewer.html。renderer_benchmark: 记录 Aholo Viewer 与 Spark 的集成选择,默认 Spark,Aholo 用作大规模 LOD 备选。
关键接口
GET /api/versionGET /api/datasets/{id}/manifestGET /api/scenes/{id}/manifestGET /api/models/{id}/cardGET /api/tasks/{id}/reportsGET /api/artifacts/{id}/content
前端固定页面:总览、验收、数据、场景、3D 预览、采集、训练、推理、任务。
3D 预览页读取 scene manifest,优先用 vendored @sparkjsdev/spark 加载 PLY/SPZ/SPLAT/KSPLAT/SOG,失败或不可用时明确标为 Three.js fallback;Spark 和 Three.js runtime 都随静态文件部署,不依赖浏览器访问外部 CDN。Manifest 会给资产补充 size_bytes、autoload、viewer_hint,超过默认阈值的大 PLY/点云不会自动加载,页面会提示手动点击加载。
重建运行时
无影默认运行时配置:
runtime_root = /opt/real2sim_paper_runtime
anysplat_root = /opt/real2sim_paper_runtime/AnySplat
anysplat_python = /opt/real2sim_paper_runtime/envs/anysplat/bin/python
cuda_home = /usr/local/cuda-12.1
scene_reconstruction 会向上游脚本显式传入 --anysplat-root 和
--anysplat-python,并导出 REAL2SIM_ANYSPLAT_ROOT、
REAL2SIM_ANY_SPLAT_PYTHON、REAL2SIM_COLMAP_BIN 等环境变量。
reconstruction_preflight 报告包含 readiness_score 和 next_action,用于 UI 向导区分“可以重建”“需要补帧/重采”“运行时配置缺失”等状态。
无影部署
默认通过 SSH 隧道访问,不把服务直接暴露公网。部署脚本会同步整个
real2sim2model 工作区到 /opt/real2sim2model,并保留远端
real2sim-platform/workspace/ 中的历史任务、数据集和模型。
bash scripts/deploy_wuying.sh --restart
ssh -i /Users/d-robotics/workSpace/document/80-private/orgs/drobotics/keys/wuying-39.106.101.95_ed25519 \
-L 18126:127.0.0.1:18126 root@39.106.101.95
另开一个本地终端建立隧道:
ssh -i /Users/d-robotics/workSpace/document/80-private/orgs/drobotics/keys/wuying-39.106.101.95_ed25519 \
-L 18126:127.0.0.1:18126 root@39.106.101.95
无影侧服务地址:
http://127.0.0.1:18126/
部署脚本会安装 huggingface_hub、pyarrow、pillow、imageio、opencv-python-headless、mujoco 等依赖,写入 systemd unit,并检查 ffmpeg、Spark bundle、Three.js bundle 和 AnySplat runtime。images23dgs 缺失只作为 /api/doctor warning。
远端验收:
bash scripts/acceptance_wuying.sh