71 lines
3.9 KiB
Docker
71 lines
3.9 KiB
Docker
# OpenPi 训练/推理/转换镜像 train_inference_origin (design_v2 §1/§10)
|
|
# 构建: ./build_docker.sh (幂等预取官方权重到 weights_cache/, 镜像内只 COPY 不下载)
|
|
# 层序设计: apt -> 权重 COPY -> pip 依赖层(仅 requirements_train.txt 触发) -> 源码 COPY
|
|
# -> editable 安装层。改代码只重建最后两层, 40 分钟级 pip 依赖层保持缓存。
|
|
FROM nvidia/cuda:12.8.1-cudnn-runtime-ubuntu24.04
|
|
ARG http_proxy
|
|
ARG https_proxy
|
|
ARG no_proxy=localhost
|
|
ENV DEBIAN_FRONTEND=noninteractive
|
|
|
|
RUN apt-get update && apt-get install -y --no-install-recommends \
|
|
python3.12 python3.12-venv python3.12-dev python3-pip \
|
|
build-essential git ca-certificates wget \
|
|
libgl1 libegl1 libglib2.0-0 libsm6 libxext6 libxrender1 \
|
|
libxkbcommon0 libjpeg8 zlib1g ffmpeg \
|
|
&& rm -rf /var/lib/apt/lists/*
|
|
|
|
WORKDIR /app
|
|
|
|
# 官方 JAX 权重 pi05_base + tokenizer (D8 只打这一份)。
|
|
COPY --chmod=a+rX weights_cache/openpi_weights/ /app/src/openpi_weights/
|
|
COPY requirements_train.txt /app/src/
|
|
|
|
# venv_train 依赖层: JAX + torch 双栈。只依赖 requirements_train.txt。
|
|
# 5090/5090D (sm_120) 需要 jax >= 0.7 (design_v2 D9 依赖可升级); torch 2.7.1+cu128
|
|
# 原生覆盖 sm_120。lerobot v3 (>=0.4.0) 与 data2lerobot 转换器同大版本线。
|
|
# 尾部同层 chmod: 避免末层 chmod -R /app 触发 overlay copy-up 双倍体积。
|
|
RUN python3.12 -m venv /app/src/venv_train \
|
|
&& /app/src/venv_train/bin/pip install --no-cache-dir torch==2.7.1 torchvision \
|
|
--index-url https://download.pytorch.org/whl/cu128 \
|
|
&& /app/src/venv_train/bin/pip install --no-cache-dir -r /app/src/requirements_train.txt \
|
|
&& /app/src/venv_train/bin/pip install --no-cache-dir --no-deps nvidia-nccl-cu12==2.29.7 \
|
|
&& chmod -R a+rX /app/src/venv_train
|
|
|
|
# 源码层
|
|
COPY --chmod=755 entry/ /app/entry/
|
|
COPY --chmod=755 report.sh /app/report.sh
|
|
COPY --chmod=a+rX scripts/ /app/src/scripts/
|
|
COPY --chmod=a+rX ws_common/ /app/src/ws_common/
|
|
COPY --chmod=a+rX pi_pipeline/ /app/src/pi_pipeline/
|
|
COPY --chmod=a+rX presets/ /app/src/presets/
|
|
COPY --chmod=a+rX tests/ /app/src/tests/
|
|
COPY --chmod=a+rX openpi/ /app/src/openpi
|
|
COPY --chmod=a+rX src-externals/XPolicyLab /app/src/src-externals/XPolicyLab
|
|
|
|
# editable 安装层: openpi 本体 (-e --no-deps) + transformers_replace 覆盖 + 自检。
|
|
RUN /app/src/venv_train/bin/pip install --no-cache-dir -e /app/src/openpi --no-deps \
|
|
&& /app/src/venv_train/bin/pip install --no-cache-dir -e /app/src/openpi/packages/openpi-client --no-deps \
|
|
&& SITE=$(/app/src/venv_train/bin/python -c "import transformers,os;print(os.path.dirname(transformers.__file__))") \
|
|
&& cp -r /app/src/openpi/src/openpi/models_pytorch/transformers_replace/* "$SITE/" \
|
|
&& /app/src/venv_train/bin/python -c \
|
|
"from transformers.models.siglip import check; assert check.check_whether_transformers_replace_is_installed_correctly()"
|
|
|
|
# 非 root (uid 10001) 可读可执行: 由 COPY --chmod 与各层内 chmod 保证, 无末层大 chmod。
|
|
|
|
# 运行时缓存目录: 平台容器以 uid 10001 运行, /app/src 不可写; 预置 tokenizer 到
|
|
# 缓存位 (big_vision) 避免运行时下载 gs://, 并放开缓存目录写权限。
|
|
RUN mkdir -p /app/src/openpi_cache/big_vision \
|
|
&& cp /app/src/openpi_weights/big_vision/paligemma_tokenizer.model /app/src/openpi_cache/big_vision/ \
|
|
&& chmod -R a+rwX /app/src/openpi_cache
|
|
|
|
ENV PYTHONUNBUFFERED=1 HF_HUB_OFFLINE=1 TRANSFORMERS_OFFLINE=1 \
|
|
HOME=/tmp/pi-home XDG_CACHE_HOME=/tmp/pi-cache MPLCONFIGDIR=/tmp/pi-mpl \
|
|
TORCHINDUCTOR_CACHE_DIR=/tmp/pi-cache/inductor
|
|
# USER 固化为 pi: 平台容器以 uid 10001 运行且无 /etc/passwd 条目,
|
|
# torch.compile -> inductor -> getpass.getuser() 走 pwd.getpwuid 会崩; getpass
|
|
# 优先读 $USER 环境变量, 固定后免 passwd 条目 (原 containerCommand 注入转正)。
|
|
ENV USER=pi
|
|
ENV PYTHONPATH=/app/src/openpi/src:/app/src
|
|
# 无 ENTRYPOINT/CMD, 平台运行时覆盖
|