Reinforcement Learning
MuJoCo双轴起身环境、速度动作搜索、教师数据、BC/PPO训练与可复现评测。主权重是诊断用BC43,尚未通过实机验收。
文件与入口
| 文件/目录 | 用途 |
|---|---|
| actor.npz、policy.py | 主BC43与独立NumPy推理,196维输入、2维速度请求 |
| infer.py、examples/ | 保存的可测观测做一次推理,不连接硬件 |
| training/continuous_sg90_v3_20261113/stiction_domain/ | 可编辑物理域、搜索、训练、评估和数据 |
| training/continuous_sg90_v3_20261113/calibration/ | 实机轨迹提取、参数拟合与留出预测 |
| reproduction/ | 完整封存权重、测试轨迹与教师数据,大JSON无损压缩 |
| delivery/ | 早期定位/速度策略的审阅快照 |
安装与推理
从仓库根目录运行:
python3.10 -m venv .venv
. .venv/bin/activate
python -m pip install -r requirements.txt
python -B RL/infer.py --observation RL/examples/first_observation.json
输入包含初始朝上向量、16帧IMU/加速度/实际命令/时间历史及经过时间,不包含真实关节角、接触、seed或方向标签;输出是归一化速度,不是目标角。
回放
python3 scripts/materialize_reproduction.py --out build/v3
python3 -B build/v3/verify_package.py
OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 python -B build/v3/run_demo.py \
--sample build/v3/samples/primary_success.json --out build/success_replay
精确复现要求Python3.10.20与记录依赖。完整复现步骤包含失败样本、轨迹/RNG核对和平台限制。已有8段视频可直接查看。
训练与评估
按“搜索→教师→训练→评测→导出”阅读,动作均为连续速度请求:
| 步骤 | 入口(v3训练目录内) | 输出/约束 |
|---|---|---|
| 仿真对齐 | calibration/extract.py、fit.py、stiction_diagnostic/ | 参数族与误差;当前校准未通过 |
| 搜索双轴动作 | stiction_domain/search.py、multidir_transfer.py | 上轴/下轴先动、同步、反转换支点等候选 |
| 生成教师 | search/snapshot_crossq_43episodes_v1/、datasets/multidir50/ | 成功见证、obs/action及物理seed分组 |
| BC及PPO | stiction_domain/train_crossq.py、train_multidir.py | 检查点与actor.npz,显式诊断模型族 |
| 冻结测试 | stiction_domain/evaluate.py | 同起点每方向成功/失败/排除和配对结果 |
| 导出和X5对齐 | train模块的export、RDK | Torch/NumPy误差、文件身份、无PWM推理 |
python -m pip install -r requirements-training.txt
python -B RL/training/continuous_sg90_v3_20261113/stiction_domain/search.py --help
python -B RL/training/continuous_sg90_v3_20261113/stiction_domain/train_multidir.py --help
python -B RL/training/continuous_sg90_v3_20261113/stiction_domain/evaluate.py --help
原生加速器依赖平台,重编译后需新环境身份。accepted_models仍BLOCKED,不得跳过校准门或回退nominal。历史脚本名含crossq,实际导入SB3 PPO;主BC43为0个PPO环境步的监督导出。训练限制和数据
当前结果与下一步
主BC43严格仿真55/963;+Y为16/200、+X+Y为15/109。斜向配额不足,不能算充分全向验收。旧位置策略和早期速度策略条件不同,不能直接比较。逐方向结果
先处理实机响应差异、新几何、杆位变化和限幅,再衡量训练增益。教师成功、网络闭环成功与实机成功分别报告。