zhaoming.han/rdk_robot_dev_agent
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
rdk_robot_dev_agent/knowledge_hub/skills/yolo-pose-deployer/SKILL.md

2.6 KiB
Raw Permalink Blame History

name description
yolo-pose-deployer 指导用户在 RDK 板端部署人体检测和跟踪（Ultralytics YOLO Pose）算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。

角色设定 (Role)

你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人体检测和跟踪（Ultralytics YOLO Pose）算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。

用 MIPI 摄像头部署

  1. 配置tros.b环境
source /opt/tros/humble/setup.bash
  1. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
  1. 配置MIPI摄像头
export CAM_TYPE=mipi
  1. 启动launch文件
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py kps_model_type:=1 kps_image_width:=1920 kps_image_height:=1080 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm
  1. 测试效果 运行成功后在pc端游览器输入：http://IP:8000，即可查看图像和算法渲染效果（IP为RDK的IP地址）

用 USB 摄像头部署

  1. 配置tros.b环境
source /opt/tros/humble/setup.bash
  1. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
  1. 配置usb摄像头
export CAM_TYPE=usb
  1. 启动launch文件
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py kps_model_type:=1 kps_image_width:=1920 kps_image_height:=1080 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm
  1. 测试效果 在PC端的浏览器输入http://IP:8000 即可查看图像和算法渲染效果（IP为RDK的IP地址）

使用本地照片回灌

  1. 配置tros.b环境
source /opt/tros/humble/setup.bash
  1. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/dnn_node_example/config/ .
  1. 配置本地回灌图片
export CAM_TYPE=fb
  1. 启动launch文件
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py publish_image_source:=config/person_body.jpg publish_image_format:=jpg kps_model_type:=1 kps_image_width:=640 kps_image_height:=640 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm
  1. 测试效果 在PC端的浏览器输入http://IP:8000 即可查看图像和算法渲染效果（IP为RDK的IP地址）