From b72020578938fcfcfe597825e8707b4c5b90e9cf Mon Sep 17 00:00:00 2001 From: "yingxiang.chen" Date: Fri, 27 Feb 2026 15:32:32 +0800 Subject: [PATCH] =?UTF-8?q?feat:=E6=8A=8Ardk=E7=AE=97=E6=B3=95=E9=83=A8?= =?UTF-8?q?=E7=BD=B2=E6=B5=81=E7=A8=8B=E5=86=99=E4=B8=BAskill?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../MobileSAM图像分割算法部署流程.md | 5 + .../skills/bev-perception-deployer/SKILL.md | 57 +++++++++ .../skills/bloom-llm-deployer/SKILL.md | 114 ++++++++++++++++++ .../body-detection-tracking-deployer/SKILL.md | 83 +++++++++++++ .../skills/clip-retrieval-deployer/SKILL.md | 59 +++++++++ .../skills/deepseek-llm-deployer/SKILL.md | 71 +++++++++++ .../skills/dosod-detection-deployer/SKILL.md | 67 ++++++++++ .../edgesam-segmentation-deployer/SKILL.md | 55 +++++++++ .../skills/efficientnet-det-deployer/SKILL.md | 64 ++++++++++ .../skills/elevation-net-deployer/SKILL.md | 34 ++++++ .../skills/face-age-deployer/SKILL.md | 47 ++++++++ .../skills/face-landmarks-deployer/SKILL.md | 47 ++++++++ .../skills/fcos-detection-deployer/SKILL.md | 64 ++++++++++ .../gesture-recognition-deployer/SKILL.md | 88 ++++++++++++++ .../skills/hand-keypoint-deployer/SKILL.md | 59 +++++++++ .../SKILL.md | 70 +++++++++++ .../human-instance-tracking-deployer/SKILL.md | 70 +++++++++++ .../skills/lidar-detection-deployer/SKILL.md | 58 +++++++++ .../skills/mobilenet-ssd-deployer/SKILL.md | 64 ++++++++++ .../skills/mobilenet-unet-deployer/SKILL.md | 60 +++++++++ .../SKILL.md | 64 ++++++++++ .../mobilesam-segmentation-deployer/SKILL.md | 67 ++++++++++ .../skills/mono3d-indoor-deployer/SKILL.md | 26 ++++ .../skills/optical-flow-deployer/SKILL.md | 82 +++++++++++++ .../skills/road-structure-deployer/SKILL.md | 67 ++++++++++ .../skills/sensevoice-deployer/SKILL.md | 22 ++++ .../skills/smart-voice-deployer/SKILL.md | 42 +++++++ .../skills/stereo-depth-deployer/SKILL.md | 34 ++++++ .../skills/stereo-occ-deployer/SKILL.md | 29 +++++ .../vision-language-model-deployer/SKILL.md | 69 +++++++++++ .../SKILL.md | 24 ++++ .../skills/yolo-detection-deployer/SKILL.md | 64 ++++++++++ .../skills/yolo-pose-deployer/SKILL.md | 68 +++++++++++ .../skills/yolo-world-deployer/SKILL.md | 67 ++++++++++ .../skills/yolov8-seg-deployer/SKILL.md | 60 +++++++++ .../人体检测和跟踪算法部署体验流程.md | 14 --- knowledge_hub/单目高程网络检测算法部署流程.md | 4 + knowledge_hub/双目深度+YOLO v8效果体验流程.md | 11 -- knowledge_hub/激光雷达目标检测算法部署流程.md | 8 ++ 39 files changed, 2033 insertions(+), 25 deletions(-) create mode 100644 knowledge_hub/skills/bev-perception-deployer/SKILL.md create mode 100644 knowledge_hub/skills/bloom-llm-deployer/SKILL.md create mode 100644 knowledge_hub/skills/body-detection-tracking-deployer/SKILL.md create mode 100644 knowledge_hub/skills/clip-retrieval-deployer/SKILL.md create mode 100644 knowledge_hub/skills/deepseek-llm-deployer/SKILL.md create mode 100644 knowledge_hub/skills/dosod-detection-deployer/SKILL.md create mode 100644 knowledge_hub/skills/edgesam-segmentation-deployer/SKILL.md create mode 100644 knowledge_hub/skills/efficientnet-det-deployer/SKILL.md create mode 100644 knowledge_hub/skills/elevation-net-deployer/SKILL.md create mode 100644 knowledge_hub/skills/face-age-deployer/SKILL.md create mode 100644 knowledge_hub/skills/face-landmarks-deployer/SKILL.md create mode 100644 knowledge_hub/skills/fcos-detection-deployer/SKILL.md create mode 100644 knowledge_hub/skills/gesture-recognition-deployer/SKILL.md create mode 100644 knowledge_hub/skills/hand-keypoint-deployer/SKILL.md create mode 100644 knowledge_hub/skills/hand-landmarks-mediapipe-deployer/SKILL.md create mode 100644 knowledge_hub/skills/human-instance-tracking-deployer/SKILL.md create mode 100644 knowledge_hub/skills/lidar-detection-deployer/SKILL.md create mode 100644 knowledge_hub/skills/mobilenet-ssd-deployer/SKILL.md create mode 100644 knowledge_hub/skills/mobilenet-unet-deployer/SKILL.md create mode 100644 knowledge_hub/skills/mobilenetv2-classification-deployer/SKILL.md create mode 100644 knowledge_hub/skills/mobilesam-segmentation-deployer/SKILL.md create mode 100644 knowledge_hub/skills/mono3d-indoor-deployer/SKILL.md create mode 100644 knowledge_hub/skills/optical-flow-deployer/SKILL.md create mode 100644 knowledge_hub/skills/road-structure-deployer/SKILL.md create mode 100644 knowledge_hub/skills/sensevoice-deployer/SKILL.md create mode 100644 knowledge_hub/skills/smart-voice-deployer/SKILL.md create mode 100644 knowledge_hub/skills/stereo-depth-deployer/SKILL.md create mode 100644 knowledge_hub/skills/stereo-occ-deployer/SKILL.md create mode 100644 knowledge_hub/skills/vision-language-model-deployer/SKILL.md create mode 100644 knowledge_hub/skills/visual-inertial-odometry-deployer/SKILL.md create mode 100644 knowledge_hub/skills/yolo-detection-deployer/SKILL.md create mode 100644 knowledge_hub/skills/yolo-pose-deployer/SKILL.md create mode 100644 knowledge_hub/skills/yolo-world-deployer/SKILL.md create mode 100644 knowledge_hub/skills/yolov8-seg-deployer/SKILL.md delete mode 100644 knowledge_hub/人体检测和跟踪算法部署体验流程.md delete mode 100644 knowledge_hub/双目深度+YOLO v8效果体验流程.md diff --git a/knowledge_hub/MobileSAM图像分割算法部署流程.md b/knowledge_hub/MobileSAM图像分割算法部署流程.md index f6d71a4..1dd1a51 100644 --- a/knowledge_hub/MobileSAM图像分割算法部署流程.md +++ b/knowledge_hub/MobileSAM图像分割算法部署流程.md @@ -34,8 +34,13 @@ ros2 launch mono_mobilesam sam.launch.py # MobileSAM图像分割算法部署流程：使用本地照片回灌 +<<<<<<< Updated upstream 1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash source /opt/tros/setup.bash +======= +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash +>>>>>>> Stashed changes 2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 cp -r /opt/tros/${TROS_DISTRO}/lib/mono_mobilesam/config/ . diff --git a/knowledge_hub/skills/bev-perception-deployer/SKILL.md b/knowledge_hub/skills/bev-perception-deployer/SKILL.md new file mode 100644 index 0000000..0c5b949 --- /dev/null +++ b/knowledge_hub/skills/bev-perception-deployer/SKILL.md @@ -0,0 +1,57 @@ +--- +name: bev-perception-deployer +description: 指导用户在 RDK 板端部署 BEV 感知算法（本地数据集回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 BEV 感知算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy），严格按照以下对应的流程指导用户执行。 + +## Humble 版本部署流程 +1. 板端下载回灌的点云文件 +```bash +wget http://archive.d-robotics.cc/TogetheROS/data/hobot_bev_data.tar.gz +``` +2. 解压缩 +```bash +mkdir -p hobot_bev_data +tar -zxvf hobot_bev_data.tar.gz -C hobot_bev_data +``` +3. 配置tros.b humble环境 +```bash +source /opt/tros/humble/setup.bash +``` +4. 启动websocket服务 +```bash +ros2 launch websocket websocket_service.launch.py +``` +5. 启动运行脚本，并指定数据集路径 +```bash +ros2 launch hobot_bev hobot_bev.launch.py image_pre_path:=hobot_bev_data/data +``` +6. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## Foxy 版本部署流程 +1. 板端下载回灌的点云文件 +```bash +cd ~ +wget http://archive.d-robotics.cc/TogetheROS/data/nuscenes_bev_val/nuscenes_bev_val.tar.gz +``` +2. 解压缩 +```bash +mkdir -p ~/hobot_bev_data +tar -zxvf ~/nuscenes_bev_val.tar.gz -C ~/hobot_bev_data +``` +3. 配置tros.b环境 +```bash +source /opt/tros/setup.bash +if [ -L qat ]; then rm qat; fi +ln -s `ros2 pkg prefix hobot_bev`/lib/hobot_bev/qat/ qat +ln -s ~/hobot_bev_data/nuscenes_bev_val nuscenes_bev_val +``` +4. 启动launch文件 +```bash +ros2 launch hobot_bev hobot_bev.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） diff --git a/knowledge_hub/skills/bloom-llm-deployer/SKILL.md b/knowledge_hub/skills/bloom-llm-deployer/SKILL.md new file mode 100644 index 0000000..d64e224 --- /dev/null +++ b/knowledge_hub/skills/bloom-llm-deployer/SKILL.md @@ -0,0 +1,114 @@ +--- +name: bloom-llm-deployer +description: 指导用户在 RDK 板端部署 Bloom 大语言模型（终端交互体验和订阅发布体验），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 Bloom 大语言模型并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和选择的体验方式，严格按照以下对应的流程指导用户执行。 + +## 终端交互体验 +1. 安装transformers +```bash +pip3 install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple +``` +2. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +3. 下载模型文件 +```bash +wget http://archive.d-robotics.cc/llm-model/llm_model.tar.gz +``` +4. 解压 +```bash +sudo tar -xf llm_model.tar.gz -C /opt/tros/${TROS_DISTRO}/lib/hobot_llm/ +``` +5. 系统配置 +手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。 +重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下： +```bash +sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost' +sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor' +``` +6. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +7. 启动launch文件 +```bash +ros2 run hobot_llm hobot_llm_chat +``` + +## 订阅发布体验 +1. 安装transformers +```bash +pip3 install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple +``` +2. 配置tros.b环境（若为humble则用source /opt/tros/humble/setup.bash） +```bash +source /opt/tros/setup.bash +``` +3. 下载模型文件 +```bash +wget http://archive.d-robotics.cc/llm-model/llm_model.tar.gz +``` +4. 解压 +```bash +sudo tar -xf llm_model.tar.gz -C /opt/tros/${TROS_DISTRO}/lib/hobot_llm/ +``` +5. 系统配置 +手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。 +重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下： +```bash +sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost' +sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor' +``` +6. 启动 hobot_llm +配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +```bash +ros2 run hobot_llm hobot_llm +``` +7. 新开一个终端订阅输出结果topic +重新配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +```bash +ros2 topic echo /text_result +``` +8. 新开一个终端发布消息 +重新配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +```bash +ros2 topic pub --once /text_query std_msgs/msg/String "{data: ""中国的首都是哪里""}" +``` diff --git a/knowledge_hub/skills/body-detection-tracking-deployer/SKILL.md b/knowledge_hub/skills/body-detection-tracking-deployer/SKILL.md new file mode 100644 index 0000000..e79d282 --- /dev/null +++ b/knowledge_hub/skills/body-detection-tracking-deployer/SKILL.md @@ -0,0 +1,83 @@ +--- +name: body-detection-tracking-deployer +description: 指导用户在 RDK 板端部署人体检测和跟踪算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人体检测和跟踪算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和摄像头使用类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +``` +3. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +4. 启动launch文件 +```bash +ros2 launch mono2d_body_detection mono2d_body_detection.launch.py +``` +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法（人体、人头、人脸、人手检测框，检测框类型和目标跟踪ID，人体关键点）渲染效果（IP为RDK/X86设备的IP地址） + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +``` +3. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +4. 启动launch文件 +```bash +ros2 launch mono2d_body_detection mono2d_body_detection.launch.py +``` +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法（人体、人头、人脸、人手检测框，检测框类型和目标跟踪ID，人体关键点）渲染效果（IP为RDK/X86设备的IP地址） + +## 使用本地照片回灌 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/dnn_node_example/config/ . +``` +3. 配置本地回灌图片 +```bash +export CAM_TYPE=fb +``` +4. 启动launch文件 +```bash +ros2 launch mono2d_body_detection mono2d_body_detection.launch.py publish_image_source:=config/person_body.jpg publish_image_format:=jpg publish_output_image_w:=960 publish_output_image_h:=544 +``` +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法（人体、人头、人脸、人手检测框，检测框类型和目标跟踪ID，人体关键点）渲染效果（IP为RDK/X86设备的IP地址） diff --git a/knowledge_hub/skills/clip-retrieval-deployer/SKILL.md b/knowledge_hub/skills/clip-retrieval-deployer/SKILL.md new file mode 100644 index 0000000..9f847c6 --- /dev/null +++ b/knowledge_hub/skills/clip-retrieval-deployer/SKILL.md @@ -0,0 +1,59 @@ +--- +name: clip-retrieval-deployer +description: 指导用户在 RDK 板端部署文本图片特征检索算法（支持 RDK S100 和 RDK X5），提供 ROS 2 Humble 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署文本图片特征检索算法并解决报错。请根据开发板类型，严格按照以下流程指导用户执行。 + +## 部署流程 +1. 依赖安装 +```bash +pip3 install onnxruntime +pip3 install ftfy +pip3 install wcwidth +pip3 install regex +``` +2. 从Web端下载运行示例需要的模型文件。 +```bash +wget http://archive.d-robotics.cc/models/clip_encode_text/text_encoder.tar.gz +sudo tar -xf text_encoder.tar.gz -C config +``` +3. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +4. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/clip_encode_image/config/ . +``` +5. 启动入库launch文件 +RDK S100： +```bash +ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_storage_folder:=/root/config +``` +RDK X5： +```bash +ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_db_file:=clip.db clip_storage_folder:=/root/config +``` +6. 重开一个终端，配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +7. 启动检索launch文件 +RDK S100： +```bash +ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram" +``` +RDK X5： +```bash +ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram" +``` +8. 检索结果可视化 +打开另一个终端 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/clip_manage/config/index.html . +python -m http.server 8080 +``` +9. 查看检索结果 +在PC端的浏览器输入http://IP:8080 即可查看图像检索结果（IP为设备IP地址）。 diff --git a/knowledge_hub/skills/deepseek-llm-deployer/SKILL.md b/knowledge_hub/skills/deepseek-llm-deployer/SKILL.md new file mode 100644 index 0000000..5536408 --- /dev/null +++ b/knowledge_hub/skills/deepseek-llm-deployer/SKILL.md @@ -0,0 +1,71 @@ +--- +name: deepseek-llm-deployer +description: 指导用户在 RDK 板端部署 DeepSeek 大语言模型（终端交互体验和订阅发布体验），提供 ROS 2 Humble 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 DeepSeek 大语言模型并解决报错。请根据体验方式，严格按照以下对应的流程指导用户执行。 + +## 终端交互体验 +1. 下载模型文件 +```bash +wget -c ftp://oeftp@sdk.d-robotics.cc/oe_llm/model/DeepSeek_R1_Distill_Qwen_1.5B_1024.hbm --ftp-password=Oeftp~123$% +``` +2. 设置 ION 内存空间最大, 满足大模型推理需求 +```bash +/usr/hobot/bin/hb_switch_ion.sh bpu_first +reboot +``` +3. 设置性能模式（注意：仅RDK S100P 支持性能模式） +```bash +devmem 0x2b047000 32 0x99 +devmem 0x2b047004 32 0x99 +``` +4. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +5. 运行模型 +```bash +lib=/opt/tros/humble/lib/hobot_xlm/lib +export LD_LIBRARY_PATH=${lib}:${LD_LIBRARY_PATH} +cp -r /opt/tros/humble/lib/hobot_xlm/config/ . +ros2 run hobot_xlm hobot_xlm --ros-args -p feed_type:=0 -p model_name:="DeepSeek_R1_Distill_Qwen_1.5B" +``` + +## 订阅发布体验 +1. 下载模型文件 +```bash +wget -c ftp://oeftp@sdk.d-robotics.cc/oe_llm/model/DeepSeek_R1_Distill_Qwen_1.5B_1024.hbm --ftp-password=Oeftp~123$% +``` +2. 设置 ION 内存空间最大, 满足大模型推理需求 +```bash +/usr/hobot/bin/hb_switch_ion.sh bpu_first +reboot +``` +3. 设置性能模式（注意：仅RDK S100P 支持性能模式） +```bash +devmem 0x2b047000 32 0x99 +devmem 0x2b047004 32 0x99 +``` +4. 启动 hobot_llm +配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +lib=/opt/tros/humble/lib/hobot_xlm/lib +export LD_LIBRARY_PATH=${lib}:${LD_LIBRARY_PATH} +cp -r /opt/tros/humble/lib/hobot_xlm/config/ . +ros2 run hobot_xlm hobot_xlm --ros-args -p feed_type:=1 -p ros_string_sub_topic_name:="/prompt_text" -p model_name:="DeepSeek_R1_Distill_Qwen_1.5B" +``` +5. 新开一个终端订阅输出结果topic +配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +ros2 topic echo /tts_text +``` +6. 新开一个终端发布消息 +配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +ros2 topic pub --once /prompt_text std_msgs/msg/String "{data: ""简单描述人工智能的发展""}" +``` diff --git a/knowledge_hub/skills/dosod-detection-deployer/SKILL.md b/knowledge_hub/skills/dosod-detection-deployer/SKILL.md new file mode 100644 index 0000000..4b7c95c --- /dev/null +++ b/knowledge_hub/skills/dosod-detection-deployer/SKILL.md @@ -0,0 +1,67 @@ +--- +name: dosod-detection-deployer +description: 指导用户在 RDK 板端部署 DOSOD 目标检测算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 DOSOD 目标检测算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_dosod/config/ . +``` +3. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +4. 启动launch文件 +```bash +ros2 launch hobot_dosod dosod.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_dosod/config/ . +``` +3. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +4. 启动launch文件 +```bash +ros2 launch hobot_dosod dosod.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 使用本地照片回灌 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_dosod/config/ . +``` +3. 配置本地回灌 +```bash +export CAM_TYPE=fb +``` +4. 启动launch文件 +```bash +ros2 launch hobot_dosod dosod.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） diff --git a/knowledge_hub/skills/edgesam-segmentation-deployer/SKILL.md b/knowledge_hub/skills/edgesam-segmentation-deployer/SKILL.md new file mode 100644 index 0000000..10a029a --- /dev/null +++ b/knowledge_hub/skills/edgesam-segmentation-deployer/SKILL.md @@ -0,0 +1,55 @@ +--- +name: edgesam-segmentation-deployer +description: 指导用户在 RDK 板端部署 EdgeSAM 图像分割算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 EdgeSAM 图像分割算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +3. 启动launch文件 +```bash +ros2 launch mono_edgesam sam.launch.py +``` +4. 测试效果 +推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 手动打开界面右上角设置, 选中"Full Image Segmentation"选项, 可以显示渲染效果。 + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +3. 启动launch文件 +```bash +ros2 launch mono_edgesam sam.launch.py +``` +4. 测试效果 +推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 手动打开界面右上角设置, 选中"Full Image Segmentation"选项, 可以显示渲染效果。 + +## 使用本地照片回灌 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 配置本地回灌图片 +```bash +export CAM_TYPE=fb +``` +3. 启动launch文件 +```bash +ros2 launch mono_edgesam sam.launch.py +``` +4. 测试效果 +推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 手动打开界面右上角设置, 选中"Full Image Segmentation"选项, 可以显示渲染效果。 diff --git a/knowledge_hub/skills/efficientnet-det-deployer/SKILL.md b/knowledge_hub/skills/efficientnet-det-deployer/SKILL.md new file mode 100644 index 0000000..c5a35b8 --- /dev/null +++ b/knowledge_hub/skills/efficientnet-det-deployer/SKILL.md @@ -0,0 +1,64 @@ +--- +name: efficientnet-det-deployer +description: 指导用户在 RDK 板端部署 EfficientNet_Det 目标检测算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 EfficientNet_Det 目标检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +3. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272 +``` +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +3. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272 +``` +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 使用本地照片回灌 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image:=config/target.jpg +``` diff --git a/knowledge_hub/skills/elevation-net-deployer/SKILL.md b/knowledge_hub/skills/elevation-net-deployer/SKILL.md new file mode 100644 index 0000000..4b54d1c --- /dev/null +++ b/knowledge_hub/skills/elevation-net-deployer/SKILL.md @@ -0,0 +1,34 @@ +--- +name: elevation-net-deployer +description: 指导用户在 RDK 板端部署单目高程网络检测算法，提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署单目高程网络检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy），严格按照以下对应的流程指导用户执行。 + +## Humble 版本部署流程 +1. 配置 tros.b humble 环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/elevation_net/config/ . +``` +3. 启动launch文件 +```bash +ros2 launch elevation_net elevation_net.launch.py +``` + +## Foxy 版本部署流程 +1. 配置 tros.b humble 环境 +```bash +source /opt/tros/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/elevation_net/config/ . +``` +3. 启动launch文件 +```bash +ros2 launch elevation_net elevation_net.launch.py \ No newline at end of file diff --git a/knowledge_hub/skills/face-age-deployer/SKILL.md b/knowledge_hub/skills/face-age-deployer/SKILL.md new file mode 100644 index 0000000..06a8e7a --- /dev/null +++ b/knowledge_hub/skills/face-age-deployer/SKILL.md @@ -0,0 +1,47 @@ +--- +name: face-age-deployer +description: 指导用户在 RDK 板端部署人脸年龄检测算法（MIPI摄像头、USB摄像头），提供 ROS 2 Humble 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人脸年龄检测算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +``` +3. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +4. 启动launch文件 +```bash +ros2 launch face_age_detection body_det_face_age_det.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +``` +3. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +4. 启动launch文件 +```bash +ros2 launch face_age_detection body_det_face_age_det.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） diff --git a/knowledge_hub/skills/face-landmarks-deployer/SKILL.md b/knowledge_hub/skills/face-landmarks-deployer/SKILL.md new file mode 100644 index 0000000..e162222 --- /dev/null +++ b/knowledge_hub/skills/face-landmarks-deployer/SKILL.md @@ -0,0 +1,47 @@ +--- +name: face-landmarks-deployer +description: 指导用户在 RDK 板端部署人脸 106 关键点检测算法（MIPI摄像头、USB摄像头），提供 ROS 2 Humble 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人脸 106 关键点检测算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +``` +3. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +4. 启动launch文件 +```bash +ros2 launch face_landmarks_detection body_det_face_landmarks_det.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +``` +3. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +4. 启动launch文件 +```bash +ros2 launch face_landmarks_detection body_det_face_landmarks_det.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） diff --git a/knowledge_hub/skills/fcos-detection-deployer/SKILL.md b/knowledge_hub/skills/fcos-detection-deployer/SKILL.md new file mode 100644 index 0000000..afe3e31 --- /dev/null +++ b/knowledge_hub/skills/fcos-detection-deployer/SKILL.md @@ -0,0 +1,64 @@ +--- +name: fcos-detection-deployer +description: 指导用户在 RDK 板端部署 FCOS 目标检测算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 FCOS 目标检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +3. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272 +``` +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +3. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272 +``` +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 使用本地照片回灌 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image:=config/target.jpg +``` diff --git a/knowledge_hub/skills/gesture-recognition-deployer/SKILL.md b/knowledge_hub/skills/gesture-recognition-deployer/SKILL.md new file mode 100644 index 0000000..609ef42 --- /dev/null +++ b/knowledge_hub/skills/gesture-recognition-deployer/SKILL.md @@ -0,0 +1,88 @@ +--- +name: gesture-recognition-deployer +description: 指导用户在 RDK 板端部署手势识别算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署手势识别算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_gesture_detection/config/ . +``` +3. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +4. 启动launch文件 +```bash +ros2 launch hand_gesture_detection hand_gesture_detection.launch.py +``` +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK/X86设备的IP地址） + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_gesture_detection/config/ . +``` +3. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +4. 启动launch文件 +```bash +ros2 launch hand_gesture_detection hand_gesture_detection.launch.py +``` +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK/X86设备的IP地址） + +## 使用本地照片回灌 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_gesture_detection/config/ . +``` +3. 配置本地回灌图片 +```bash +export CAM_TYPE=fb +``` +4. 启动launch文件 +```bash +ros2 launch hand_gesture_detection hand_gesture_detection.launch.py publish_image_source:=config/person_face_hand.jpg publish_image_format:=jpg publish_output_image_w:=960 publish_output_image_h:=544 publish_fps:=30 +``` +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK/X86设备的IP地址） diff --git a/knowledge_hub/skills/hand-keypoint-deployer/SKILL.md b/knowledge_hub/skills/hand-keypoint-deployer/SKILL.md new file mode 100644 index 0000000..83ddc8b --- /dev/null +++ b/knowledge_hub/skills/hand-keypoint-deployer/SKILL.md @@ -0,0 +1,59 @@ +--- +name: hand-keypoint-deployer +description: 指导用户在 RDK 板端部署人手关键点检测算法（MIPI摄像头、USB摄像头），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人手关键点检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ . +``` +3. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +4. 启动launch文件 +```bash +ros2 launch hand_lmk_detection hand_lmk_detection.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ . +``` +3. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +4. 启动launch文件 +```bash +ros2 launch hand_lmk_detection hand_lmk_detection.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） diff --git a/knowledge_hub/skills/hand-landmarks-mediapipe-deployer/SKILL.md b/knowledge_hub/skills/hand-landmarks-mediapipe-deployer/SKILL.md new file mode 100644 index 0000000..48abf65 --- /dev/null +++ b/knowledge_hub/skills/hand-landmarks-mediapipe-deployer/SKILL.md @@ -0,0 +1,70 @@ +--- +name: hand-landmarks-mediapipe-deployer +description: 指导用户在 RDK 板端部署人手关键点及手势识别（mediapipe）算法（MIPI摄像头、USB摄像头、本地图片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人手关键点及手势识别（mediapipe）算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/palm_detection_mediapipe/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_landmarks_mediapipe/config/ . +``` +3. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +4. 启动launch文件 +```bash +ros2 launch hand_landmarks_mediapipe hand_landmarks.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/palm_detection_mediapipe/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_landmarks_mediapipe/config/ . +``` +3. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +4. 启动launch文件 +```bash +ros2 launch hand_landmarks_mediapipe hand_landmarks.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 使用本地图片回灌 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/palm_detection_mediapipe/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_landmarks_mediapipe/config/ . +``` +3. 配置本地回灌 +```bash +export CAM_TYPE=fb +``` +4. 启动launch文件 +```bash +ros2 launch hand_landmarks_mediapipe hand_landmarks.launch.py publish_image_source:=config/example.jpg publish_image_format:=jpg publish_output_image_w:=640 publish_output_image_h:=480 +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） diff --git a/knowledge_hub/skills/human-instance-tracking-deployer/SKILL.md b/knowledge_hub/skills/human-instance-tracking-deployer/SKILL.md new file mode 100644 index 0000000..9b0a7cc --- /dev/null +++ b/knowledge_hub/skills/human-instance-tracking-deployer/SKILL.md @@ -0,0 +1,70 @@ +--- +name: human-instance-tracking-deployer +description: 指导用户在 RDK 板端部署人体实例跟踪算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人体实例跟踪算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/reid/config/ . +``` +3. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +4. 启动launch文件 +```bash +ros2 launch reid reid.launch.py +``` +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 其中每个人物上的id为实例ID结果。 + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/reid/config/ . +``` +3. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +4. 启动launch文件 +```bash +ros2 launch reid reid.launch.py +``` +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 其中每个人物上的id为实例ID结果。 + +## 使用本地照片回灌 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/reid/config/ . +``` +3. 配置本地回灌图片 +```bash +export CAM_TYPE=fb +``` +4. 启动launch文件 +```bash +ros2 launch reid reid.launch.py publish_image_source:=config/person_body.jpg publish_image_format:=jpg publish_output_image_w:=1920 publish_output_image_h:=1080 +``` +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 其中每个人物上的id为实例ID结果。 diff --git a/knowledge_hub/skills/lidar-detection-deployer/SKILL.md b/knowledge_hub/skills/lidar-detection-deployer/SKILL.md new file mode 100644 index 0000000..8c6a171 --- /dev/null +++ b/knowledge_hub/skills/lidar-detection-deployer/SKILL.md @@ -0,0 +1,58 @@ +--- +name: lidar-detection-deployer +description: 指导用户在 RDK 板端部署激光雷达目标检测算法（本地点云文件回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署激光雷达目标检测算法并解决报错，请根据开发板的ROS版本执行下面对应的算法部署流程。 + +## Humble 版本部署流程 +1. 板端下载回灌的点云文件 +```bash +cd ~ +wget http://archive.d-robotics.cc/TogetheROS/data/hobot_centerpoint_data.tar.gz +``` +2. 解压缩 +```bash +mkdir -p ~/centerpoint_data +tar -zxvf ~/hobot_centerpoint_data.tar.gz -C ~/centerpoint_data +``` +3. 配置tros.b humble环境 +```bash +source /opt/tros/humble/setup.bash +if [ -L qat ]; then rm qat; fi +ln -s `ros2 pkg prefix hobot_centerpoint`/lib/hobot_centerpoint/qat/ qat +ln -s ~/centerpoint_data centerpoint_data +``` +4. 启动launch文件 +```bash +ros2 launch hobot_centerpoint hobot_centerpoint.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## Foxy 版本部署流程 +1. 板端下载回灌的点云文件 +```bash +cd ~ +wget http://archive.d-robotics.cc/TogetheROS/data/hobot_centerpoint_data.tar.gz +``` +2. 解压缩 +```bash +mkdir config +tar -zxvf hobot_centerpoint_data.tar.gz -C config +``` +3. 配置tros.b环境 +```bash +source /opt/tros/setup.bash +``` +4. 启动websocket服务 +```bash +ros2 launch websocket websocket_service.launch.py +``` +5. 启动launch文件 +```bash +ros2 launch hobot_centerpoint hobot_centerpoint_websocket.launch.py lidar_pre_path:=config/hobot_centerpoint_data +``` +6. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK实际的IP地址） diff --git a/knowledge_hub/skills/mobilenet-ssd-deployer/SKILL.md b/knowledge_hub/skills/mobilenet-ssd-deployer/SKILL.md new file mode 100644 index 0000000..2c8091e --- /dev/null +++ b/knowledge_hub/skills/mobilenet-ssd-deployer/SKILL.md @@ -0,0 +1,64 @@ +--- +name: mobilenet-ssd-deployer +description: 指导用户在 RDK 板端部署 MobileNet_SSD 目标检测算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 MobileNet_SSD 目标检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy），严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +3. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272 +``` +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +3. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272 +``` +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 使用本地照片回灌 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image:=config/target.jpg +``` diff --git a/knowledge_hub/skills/mobilenet-unet-deployer/SKILL.md b/knowledge_hub/skills/mobilenet-unet-deployer/SKILL.md new file mode 100644 index 0000000..6407bbc --- /dev/null +++ b/knowledge_hub/skills/mobilenet-unet-deployer/SKILL.md @@ -0,0 +1,60 @@ +--- +name: mobilenet-unet-deployer +description: 指导用户在 RDK 板端部署 mobilenet_unet 图像分割算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 mobilenet_unet 图像分割算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +3. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=1 dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080 +``` + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +3. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=1 dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080 +``` + +## 使用本地照片回灌 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image:=config/raw_unet.jpg +``` diff --git a/knowledge_hub/skills/mobilenetv2-classification-deployer/SKILL.md b/knowledge_hub/skills/mobilenetv2-classification-deployer/SKILL.md new file mode 100644 index 0000000..161bf8b --- /dev/null +++ b/knowledge_hub/skills/mobilenetv2-classification-deployer/SKILL.md @@ -0,0 +1,64 @@ +--- +name: mobilenetv2-classification-deployer +description: 指导用户在 RDK 板端部署 mobilenetv2 图片分类算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 mobilenetv2 图片分类算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +3. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272 +``` +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +3. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272 +``` +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 使用本地照片回灌 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image:=config/target_class.jpg +``` diff --git a/knowledge_hub/skills/mobilesam-segmentation-deployer/SKILL.md b/knowledge_hub/skills/mobilesam-segmentation-deployer/SKILL.md new file mode 100644 index 0000000..82541d4 --- /dev/null +++ b/knowledge_hub/skills/mobilesam-segmentation-deployer/SKILL.md @@ -0,0 +1,67 @@ +--- +name: mobilesam-segmentation-deployer +description: 指导用户在 RDK 板端部署 MobileSAM 图像分割算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 MobileSAM 图像分割算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono_mobilesam/config/ . +``` +3. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +4. 启动launch文件 +```bash +ros2 launch mono_mobilesam sam.launch.py +``` +5. 测试效果 +推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 打开界面右上角设置, 选中"Full Image Segmentation"选项, 可以显示渲染效果。 + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono_mobilesam/config/ . +``` +3. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +4. 启动launch文件 +```bash +ros2 launch mono_mobilesam sam.launch.py +``` +5. 测试效果 +推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 打开界面右上角设置, 选中"Full Image Segmentation"选项, 可以显示渲染效果。 + +## 使用本地照片回灌 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono_mobilesam/config/ . +``` +3. 配置本地回灌图片 +```bash +export CAM_TYPE=fb +``` +4. 启动launch文件 +```bash +ros2 launch mono_mobilesam sam.launch.py +``` +5. 测试效果 +推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 打开界面右上角设置, 选中"Full Image Segmentation"选项, 可以显示渲染效果。 diff --git a/knowledge_hub/skills/mono3d-indoor-deployer/SKILL.md b/knowledge_hub/skills/mono3d-indoor-deployer/SKILL.md new file mode 100644 index 0000000..e709044 --- /dev/null +++ b/knowledge_hub/skills/mono3d-indoor-deployer/SKILL.md @@ -0,0 +1,26 @@ +--- +name: mono3d-indoor-deployer +description: 指导用户在 RDK 板端部署单目 3D 室内检测算法，提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署单目 3D 室内检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy），严格按照以下对应的流程指导用户执行。 + +## 部署流程 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono3d_indoor_detection/config/ . +``` +3. 启动launch文件 +```bash +ros2 launch mono3d_indoor_detection mono3d_indoor_detection.launch.py +``` diff --git a/knowledge_hub/skills/optical-flow-deployer/SKILL.md b/knowledge_hub/skills/optical-flow-deployer/SKILL.md new file mode 100644 index 0000000..1e0d504 --- /dev/null +++ b/knowledge_hub/skills/optical-flow-deployer/SKILL.md @@ -0,0 +1,82 @@ +--- +name: optical-flow-deployer +description: 指导用户在 RDK 板端部署光流估计算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署光流估计算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono_pwcnet/config/ . +``` +3. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +4. 启动launch文件 +```bash +ros2 launch mono_pwcnet pwcnet.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono_pwcnet/config/ . +``` +3. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +4. 启动launch文件 +```bash +ros2 launch mono_pwcnet pwcnet.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 使用本地照片回灌 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono_pwcnet/config/ . +``` +3. 配置本地回灌图片 +```bash +export CAM_TYPE=fb +``` +4. 启动launch文件 +```bash +ros2 launch mono_pwcnet pwcnet.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） diff --git a/knowledge_hub/skills/road-structure-deployer/SKILL.md b/knowledge_hub/skills/road-structure-deployer/SKILL.md new file mode 100644 index 0000000..58e856f --- /dev/null +++ b/knowledge_hub/skills/road-structure-deployer/SKILL.md @@ -0,0 +1,67 @@ +--- +name: road-structure-deployer +description: 指导用户在 RDK 板端部署路面结构化算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署路面结构化算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ . +``` +3. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +4. 启动launch文件 +```bash +ros2 launch parking_perception parking_perception.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ . +``` +3. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +4. 启动launch文件 +```bash +ros2 launch parking_perception parking_perception.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 使用本地照片回灌 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ . +``` +3. 配置本地回灌 +```bash +export CAM_TYPE=fb +``` +4. 启动launch文件 +```bash +ros2 launch parking_perception parking_perception.launch.py +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） diff --git a/knowledge_hub/skills/sensevoice-deployer/SKILL.md b/knowledge_hub/skills/sensevoice-deployer/SKILL.md new file mode 100644 index 0000000..dbdf285 --- /dev/null +++ b/knowledge_hub/skills/sensevoice-deployer/SKILL.md @@ -0,0 +1,22 @@ +--- +name: sensevoice-deployer +description: 指导用户在 RDK 板端部署 Sensevoice 智能语音算法，提供 ROS 2 Humble 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 Sensevoice 智能语音算法并解决报错。请严格按照以下流程指导用户执行。 + +## 部署流程 +1. 安装智能语音算法包 +```bash +sudo apt update +sudo apt install tros-humble-sensevoice-ros2 +``` +2. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +3. 启动launch文件 +```bash +ros2 launch sensevoice_ros2 sensevoice_ros2.launch.py micphone_name:="plughw:0,0" +``` diff --git a/knowledge_hub/skills/smart-voice-deployer/SKILL.md b/knowledge_hub/skills/smart-voice-deployer/SKILL.md new file mode 100644 index 0000000..5f3dfd6 --- /dev/null +++ b/knowledge_hub/skills/smart-voice-deployer/SKILL.md @@ -0,0 +1,42 @@ +--- +name: smart-voice-deployer +description: 指导用户在 RDK 板端部署智能语音算法，提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署智能语音算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy），严格按照以下对应的流程指导用户执行。 + +## 部署流程 +1. 安装智能语音算法包 +```bash +sudo apt update +``` +foxy版本： +```bash +sudo apt install tros-hobot-audio +``` +humble版本： +```bash +sudo apt install tros-humble-hobot-audio +``` +2. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +3. 从tros.b的安装路径中拷贝出运行示例需要的配置文件，若已拷贝则可忽略 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_audio/config/ . +``` +4. 屏蔽调式打印信息 +```bash +export GLOG_minloglevel=3 +``` +5. 启动launch文件 +```bash +ros2 launch hobot_audio hobot_audio.launch.py +``` diff --git a/knowledge_hub/skills/stereo-depth-deployer/SKILL.md b/knowledge_hub/skills/stereo-depth-deployer/SKILL.md new file mode 100644 index 0000000..ec3762a --- /dev/null +++ b/knowledge_hub/skills/stereo-depth-deployer/SKILL.md @@ -0,0 +1,34 @@ +--- +name: stereo-depth-deployer +description: 指导用户在 RDK 板端部署双目深度算法（支持 RDK X5 和 RDK S100），提供 ROS 2 Humble 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署双目深度算法并解决报错。请根据用户的开发板卡类型（RDK X5 或 RDK S100），严格按照以下对应的流程指导用户执行。 + +## RDK X5 部署流程 +1. 配置tros.b humble环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 启动双目模型launch文件，其包含了算法和双目相机节点的启动 +```bash +ros2 launch hobot_stereonet stereonet_model_web_visual_v2.1.launch.py mipi_image_width:=640 mipi_image_height:=352 mipi_lpwm_enable:=True mipi_image_framerate:=30.0 need_rectify:=False height_min:=-10.0 height_max:=10.0 pc_max_depth:=5.0 uncertainty_th:=0.1 +``` +3. 测试模型效果 +网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000 + +## RDK S100 部署流程 +1. 配置tros.b humble环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 启动双目模型launch文件，其包含了算法和双目相机节点的启动 +```bash +ros2 launch hobot_stereonet stereonet_model_web_visual_v2.4.launch.py \ +mipi_image_width:=640 mipi_image_height:=352 mipi_lpwm_enable:=False mipi_image_framerate:=30.0 \ +need_rectify:=False height_min:=-10.0 height_max:=10.0 pc_max_depth:=5.0 \ +uncertainty_th:=0.1 +``` +3. 测试模型效果 +网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000 diff --git a/knowledge_hub/skills/stereo-occ-deployer/SKILL.md b/knowledge_hub/skills/stereo-occ-deployer/SKILL.md new file mode 100644 index 0000000..4b4032c --- /dev/null +++ b/knowledge_hub/skills/stereo-occ-deployer/SKILL.md @@ -0,0 +1,29 @@ +--- +name: stereo-occ-deployer +description: 指导用户在 RDK 板端部署双目 OCC 算法（使用本地图片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署双目 OCC 算法并解决报错。请严格按照以下流程指导用户执行。 + +## 部署流程 +1. 配置tros.b humble环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 启动ZED-2i相机和占用网络推理程序 +```bash +ros2 launch dstereo_occnet zed2i_occ_node.launch.py +``` +3. 启动launch文件 +```bash +ros2 launch mono3d_indoor_detection mono3d_indoor_detection.launch.py +``` +4. 查看双目图像 +程序启动后可以通过网页查看ZED-2i发布的双目图像，在PC端浏览器输入[http://IP:8000](http://ip:8000/) 即可查看双目图像（IP为RDK板端的IP），并且要保证PC和RDK能通过网络通讯 +5. 通过rviz2可查看占用网格 +```bash +sudo apt install ros-humble-rviz2 +source /opt/tros/humble/setup.bash +rviz2 +``` diff --git a/knowledge_hub/skills/vision-language-model-deployer/SKILL.md b/knowledge_hub/skills/vision-language-model-deployer/SKILL.md new file mode 100644 index 0000000..35a0d4f --- /dev/null +++ b/knowledge_hub/skills/vision-language-model-deployer/SKILL.md @@ -0,0 +1,69 @@ +--- +name: vision-language-model-deployer +description: 指导用户在 RDK 板端部署视觉语言模型（支持 RDK X5 和 RDK S100），提供 ROS 2 Humble 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署视觉语言模型并解决报错。请根据用户的板卡类型（RDK X5 或 RDK S100），严格按照以下对应的流程指导用户执行。 + +## RDK X5 部署流程 +1. 下载功能包 +```bash +sudo apt update +sudo apt install tros-humble-hobot-llamacpp +``` +2. 系统配置 +手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。 +重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下： +```bash +sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu0/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu1/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu2/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu3/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu4/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu5/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu6/cpufreq/scaling_governor' +``` +3. 下载模型文件到运行路径 +```bash +wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/Qwen2.5-0.5B-Instruct-Q4_0.gguf +wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/rdkx5/vit_model_int16_v2.bin +``` +4. 启动程序 +```bash +source /opt/tros/humble/setup.bash +cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_llamacpp/config/ . +ros2 run hobot_llamacpp hobot_llamacpp --ros-args -p feed_type:=0 -p image:=config/image2.jpg -p image_type:=0 -p user_prompt:="描述一下这张图片." -p model_file_name:=vit_model_int16_v2.bin -p llm_model_name:=Qwen2.5-0.5B-Instruct-Q4_0.gguf +``` + +## RDK S100 部署流程 +1. 下载功能包 +```bash +sudo apt update +sudo apt install tros-humble-hobot-llamacpp +``` +2. 系统配置 +手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。 +重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下： +```bash +sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu0/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu1/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu2/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu3/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu4/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu5/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu6/cpufreq/scaling_governor' +``` +3. 下载模型文件到运行路径 +```bash +wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/Qwen2.5-0.5B-Instruct-Q4_0.gguf +wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/rdks100/vit_model_int16.hbm +``` +4. 启动程序 +```bash +source /opt/tros/humble/setup.bash +cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_llamacpp/config/ . +ros2 run hobot_llamacpp hobot_llamacpp --ros-args -p feed_type:=0 -p image:=config/image2.jpg -p image_type:=0 -p user_prompt:="描述一下这张图片." -p model_file_name:=vit_model_int16.hbm -p llm_model_name:=Qwen2.5-0.5B-Instruct-Q4_0.gguf +``` diff --git a/knowledge_hub/skills/visual-inertial-odometry-deployer/SKILL.md b/knowledge_hub/skills/visual-inertial-odometry-deployer/SKILL.md new file mode 100644 index 0000000..8f3091c --- /dev/null +++ b/knowledge_hub/skills/visual-inertial-odometry-deployer/SKILL.md @@ -0,0 +1,24 @@ +--- +name: visual-inertial-odometry-deployer +description: 指导用户在 RDK 板端部署视觉惯性里程计算法，提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署视觉惯性里程计算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy），严格按照以下对应的流程指导用户执行。 + +## 部署流程 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 启动launch文件 +```bash +ros2 launch hobot_vio hobot_vio.launch.py +``` +3. 轨迹结果可在PC的rviz2软件查看 +输出topic：horizon_vio/horizon_vio_path（vio算法输出的机器人运动轨迹） diff --git a/knowledge_hub/skills/yolo-detection-deployer/SKILL.md b/knowledge_hub/skills/yolo-detection-deployer/SKILL.md new file mode 100644 index 0000000..51b932f --- /dev/null +++ b/knowledge_hub/skills/yolo-detection-deployer/SKILL.md @@ -0,0 +1,64 @@ +--- +name: yolo-detection-deployer +description: 指导用户在 RDK 板端部署 YOLO 目标检测算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 YOLO 目标检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +3. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080 +``` +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +3. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080 +``` +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 使用本地照片回灌 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image:=config/target.jpg +``` diff --git a/knowledge_hub/skills/yolo-pose-deployer/SKILL.md b/knowledge_hub/skills/yolo-pose-deployer/SKILL.md new file mode 100644 index 0000000..ecd095b --- /dev/null +++ b/knowledge_hub/skills/yolo-pose-deployer/SKILL.md @@ -0,0 +1,68 @@ +--- +name: yolo-pose-deployer +description: 指导用户在 RDK 板端部署人体检测和跟踪（Ultralytics YOLO Pose）算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人体检测和跟踪（Ultralytics YOLO Pose）算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +``` +3. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +4. 启动launch文件 +```bash +ros2 launch mono2d_body_detection mono2d_body_detection.launch.py kps_model_type:=1 kps_image_width:=1920 kps_image_height:=1080 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +``` +3. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +4. 启动launch文件 +```bash +ros2 launch mono2d_body_detection mono2d_body_detection.launch.py kps_model_type:=1 kps_image_width:=1920 kps_image_height:=1080 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm +``` +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 使用本地照片回灌 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/dnn_node_example/config/ . +``` +3. 配置本地回灌图片 +```bash +export CAM_TYPE=fb +``` +4. 启动launch文件 +```bash +ros2 launch mono2d_body_detection mono2d_body_detection.launch.py publish_image_source:=config/person_body.jpg publish_image_format:=jpg kps_model_type:=1 kps_image_width:=640 kps_image_height:=640 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm +``` +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址） diff --git a/knowledge_hub/skills/yolo-world-deployer/SKILL.md b/knowledge_hub/skills/yolo-world-deployer/SKILL.md new file mode 100644 index 0000000..1ad8650 --- /dev/null +++ b/knowledge_hub/skills/yolo-world-deployer/SKILL.md @@ -0,0 +1,67 @@ +--- +name: yolo-world-deployer +description: 指导用户在 RDK 板端部署 YOLO-World 目标检测算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 YOLO-World 目标检测算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_yolo_world/config/ . +``` +3. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +4. 启动launch文件 +```bash +ros2 launch hobot_yolo_world yolo_world.launch.py yolo_world_texts:="red bottle,trash bin" +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +```bash +source /opt/tros/humble/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_yolo_world/config/ . +``` +3. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +4. 启动launch文件 +```bash +ros2 launch hobot_yolo_world yolo_world.launch.py yolo_world_texts:="red bottle,trash bin" +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +## 使用本地照片回灌 +1. 配置tros.b环境（若为humble则用source /opt/tros/humble/setup.bash） +```bash +source /opt/tros/setup.bash +``` +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +```bash +cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_yolo_world/config/ . +``` +3. 配置本地回灌图片 +```bash +export CAM_TYPE=fb +``` +4. 启动launch文件 +```bash +ros2 launch hobot_yolo_world yolo_world.launch.py yolo_world_texts:="red bottle,trash bin" +``` +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） diff --git a/knowledge_hub/skills/yolov8-seg-deployer/SKILL.md b/knowledge_hub/skills/yolov8-seg-deployer/SKILL.md new file mode 100644 index 0000000..175b256 --- /dev/null +++ b/knowledge_hub/skills/yolov8-seg-deployer/SKILL.md @@ -0,0 +1,60 @@ +--- +name: yolov8-seg-deployer +description: 指导用户在 RDK 板端部署 Ultralytics YOLOv8-Seg 图像分割算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。 +--- + +# 角色设定 (Role) +你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 Ultralytics YOLOv8-Seg 图像分割算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。 + +## 用 MIPI 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 配置MIPI摄像头 +```bash +export CAM_TYPE=mipi +``` +3. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=0 dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080 +``` + +## 用 USB 摄像头部署 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 配置usb摄像头 +```bash +export CAM_TYPE=usb +``` +3. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=0 dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080 +``` + +## 使用本地照片回灌 +1. 配置tros.b环境 +foxy版本: +```bash +source /opt/tros/setup.bash +``` +humble版本: +```bash +source /opt/tros/humble/setup.bash +``` +2. 启动launch文件 +```bash +ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image:=config/test.jpg +``` diff --git a/knowledge_hub/人体检测和跟踪算法部署体验流程.md b/knowledge_hub/人体检测和跟踪算法部署体验流程.md deleted file mode 100644 index 750ca16..0000000 --- a/knowledge_hub/人体检测和跟踪算法部署体验流程.md +++ /dev/null @@ -1,14 +0,0 @@ -# 人体检测和跟踪算法部署体验流程： - -1. 配置tros.b humble环境 -source /opt/tros/humble/setup.bash - - -2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 -cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . - -3. 启动launch文件 -ros2 launch mono2d_body_detection mono2d_body_detection.launch.py kps_model_type:=1 kps_image_width:=1920 kps_image_height:=1080 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm - -3. 测试模型效果 -网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000 \ No newline at end of file diff --git a/knowledge_hub/单目高程网络检测算法部署流程.md b/knowledge_hub/单目高程网络检测算法部署流程.md index dac765f..9b43376 100644 --- a/knowledge_hub/单目高程网络检测算法部署流程.md +++ b/knowledge_hub/单目高程网络检测算法部署流程.md @@ -5,7 +5,11 @@ foxy版本:source /opt/tros/setup.bash humble版本:source /opt/tros/humble/setup.bash 2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +<<<<<<< Updated upstream cp -r /opt/tros/${TROS_DISTRO}/lib/elevation_net/config/ +======= +cp -r /opt/tros/${TROS_DISTRO}/lib/elevation_net/config/ . +>>>>>>> Stashed changes 3. 启动launch文件 ros2 launch elevation_net elevation_net.launch.py diff --git a/knowledge_hub/双目深度+YOLO v8效果体验流程.md b/knowledge_hub/双目深度+YOLO v8效果体验流程.md deleted file mode 100644 index 7518b44..0000000 --- a/knowledge_hub/双目深度+YOLO v8效果体验流程.md +++ /dev/null @@ -1,11 +0,0 @@ -# 目深度模型+YOLO v8效果体验流程 - -1. 启动双目深度模型+YOLO v8模型的脚本 -bash /userdata/start_stereo.sh - -2. 查看日志 -tail -111f /userdata/stereo_output.log - -3. 测试模型效果 -网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000/TogetheROS/。你需要帮助用户执行open {网页地址}的命令，帮用户直接打开浏览器查看深度图。 -注意：要先查看日志再打开网页 \ No newline at end of file diff --git a/knowledge_hub/激光雷达目标检测算法部署流程.md b/knowledge_hub/激光雷达目标检测算法部署流程.md index 6671b07..4421051 100644 --- a/knowledge_hub/激光雷达目标检测算法部署流程.md +++ b/knowledge_hub/激光雷达目标检测算法部署流程.md @@ -15,7 +15,11 @@ ln -s `ros2 pkg prefix hobot_centerpoint`/lib/hobot_centerpoint/qat/ qat ln -s ~/centerpoint_data centerpoint_data 4. 启动launch文件 +<<<<<<< Updated upstream ros2 launch hobot_centerpoint hobot_centerpoint.launch.p +======= +ros2 launch hobot_centerpoint hobot_centerpoint.launch.py +>>>>>>> Stashed changes 5. 测试效果 运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） @@ -38,6 +42,10 @@ ros2 launch websocket websocket_service.launch.py 5. 启动launch文件 ros2 launch hobot_centerpoint hobot_centerpoint_websocket.launch.py lidar_pre_path:=config/hobot_centerpoint_data +<<<<<<< Updated upstream 5. 测试效果 +======= +6. 测试效果 +>>>>>>> Stashed changes 运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）