zhaoming.han/rdk_robot_dev_agent
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Compare commits

merge into: zhaoming.han:hzm
Branches Tags
zhaoming.han:main
zhaoming.han:feature/kownledge_hub_skills
zhaoming.han:fix/tros-humble-env-config
zhaoming.han:hzm
...
pull from: zhaoming.han:main
Branches Tags
zhaoming.han:main
zhaoming.han:feature/kownledge_hub_skills
zhaoming.han:fix/tros-humble-env-config
zhaoming.han:hzm

7 Commits
hzm ... main

Author SHA1 Message Date
zhaoming.han
4a28d7923a Merge pull request 'feat:把rdk算法部署流程写为skill' (#4) from feature/kownledge_hub_skills into main 
Reviewed-on: #4
 2026-03-12 15:29:57 +08:00
yingxiang.chen
f3e8e81fd0 refactor：解决剩余代码提交的冲突 2026-02-28 18:22:55 +08:00
yingxiang.chen
6d948ecb0c refactor：解决代码提交的冲突 2026-02-27 15:45:17 +08:00
yingxiang.chen
b720205789 feat:把rdk算法部署流程写为skill 2026-02-27 15:32:32 +08:00
zhaoming.han
6d461468e9 Merge pull request 'add TROS Humble setup (complement Foxy version)' (#3) from fix/tros-humble-env-config into main 
Reviewed-on: #3
 2026-01-22 15:06:09 +08:00
yingxiang.chen
df109f1a45 add TROS Humble setup (complement Foxy version) 2025-12-17 14:07:06 +08:00
zhaoming.han
2eb836d286 Merge pull request 'fix: 修复一个文件名多余的copy' (#2) from hzm into main 
Reviewed-on: #2
 2025-12-11 17:32:05 +08:00
57 changed files with 2198 additions and 151 deletions
Show Stats Expand all files Collapse all files

8
knowledge_hub/BEV感知算法部署流程.md
View File

@ -7,8 +7,8 @@ wget http://archive.d-robotics.cc/TogetheROS/data/hobot_bev_data.tar.gz
mkdir -p hobot_bev_data
tar -zxvf hobot_bev_data.tar.gz -C hobot_bev_data
3. 配置tros.b环境
source /opt/tros/setup.bash
3. 配置tros.b humble环境
source /opt/tros/humble/setup.bash
4. 启动websocket服务
ros2 launch websocket websocket_service.launch.py
@ -31,8 +31,8 @@ wget http://archive.d-robotics.cc/TogetheROS/data/nuscenes_bev_val/nuscenes_bev_
mkdir -p ~/hobot_bev_data
tar -zxvf ~/nuscenes_bev_val.tar.gz -C ~/hobot_bev_data
3. 配置tros.b humble环境
source /opt/tros/humble/setup.bash
3. 配置tros.b
source /opt/tros/setup.bash
if [ -L qat ]; then rm qat; fi
ln -s `ros2 pkg prefix hobot_bev`/lib/hobot_bev/qat/ qat
ln -s ~/hobot_bev_data/nuscenes_bev_val nuscenes_bev_val

28
knowledge_hub/Bloom大语言模型部署流程.md
View File

@ -3,8 +3,9 @@
1. 安装transformers
pip3 install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple
2. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
3. 下载模型文件
wget http://archive.d-robotics.cc/llm-model/llm_model.tar.gz
@ -18,8 +19,9 @@ sudo tar -xf llm_model.tar.gz -C /opt/tros/${TROS_DISTRO}/lib/hobot_llm/
sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor'
6. 重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
6. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
7. 启动launch文件
ros2 run hobot_llm hobot_llm_chat
@ -45,16 +47,22 @@ sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor'
6. 启动 hobot_llm
重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
ros2 run hobot_llm hobot_llm
7. 新开一个终端订阅输出结果topic
重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
重新配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
ros2 topic echo /text_result
8. 新开一个终端发布消息
重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
重新配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
ros2 topic pub --once /text_query std_msgs/msg/String "{data: ""中国的首都是哪里""}"

15
knowledge_hub/EfficientNet_Det目标检测算法部署流程.md
View File

@ -1,7 +1,8 @@
# EfficientNet_Det目标检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
@ -15,8 +16,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# EfficientNet_Det目标检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
@ -29,8 +31,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# EfficientNet_Det目标检测算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image:=config/target.jpg

15
knowledge_hub/FCOS目标检测算法部署流程.md
View File

@ -1,7 +1,8 @@
# FCOS目标检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
@ -14,8 +15,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# FCOS目标检测算法部署流程：用USB摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
@ -28,8 +30,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# FCOS目标检测算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image:=config/target.jpg

15
knowledge_hub/MobileNet_SSD目标检测算法部署流程.md
View File

@ -1,7 +1,8 @@
# MobileNet_SSD目标检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
@ -15,8 +16,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# MobileNet_SSD目标检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
@ -29,8 +31,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# MobileNet_SSD目标检测算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image:=config/target.jpg

5
knowledge_hub/MobileSAM图像分割算法部署流程.md
View File

@ -34,8 +34,9 @@ ros2 launch mono_mobilesam sam.launch.py
# MobileSAM图像分割算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_mobilesam/config/ .

16
knowledge_hub/Ultralytics YOLOv8-Seg图像分割算法部署流程.md
View File

@ -1,7 +1,8 @@
# Ultralytics YOLOv8-Seg图像分割算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
@ -11,8 +12,10 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_
# Ultralytics YOLOv8-Seg图像分割算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
@ -22,8 +25,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_
# Ultralytics YOLOv8-Seg图像分割算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image:=config/test.jpg

18
knowledge_hub/YOLO目标检测算法部署流程.md
View File

@ -1,7 +1,9 @@
# YOLO目标检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
@ -15,8 +17,10 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# YOLO目标检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
@ -29,8 +33,10 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# YOLO目标检测算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image:=config/target.jpg

15
knowledge_hub/mobilenet_unet图像分割算法部署流程.md
View File

@ -1,7 +1,8 @@
# mobilenet_unet图像分割算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
@ -11,8 +12,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_
# mobilenet_unet图像分割算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
@ -23,8 +25,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_
# mobilenet_unet图像分割算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image:=config/raw_unet.jpg

15
knowledge_hub/mobilenetv2图片分类算法部署流程.md
View File

@ -1,7 +1,8 @@
# mobilenetv2图片分类算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
@ -15,8 +16,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# mobilenetv2图片分类算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
@ -29,8 +31,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# mobilenetv2图片分类算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image:=config/target_class.jpg

57
knowledge_hub/skills/bev-perception-deployer/SKILL.md Normal file
View File

@ -0,0 +1,57 @@
---
name: bev-perception-deployer
description: 指导用户在 RDK 板端部署 BEV 感知算法（本地数据集回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 BEV 感知算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy），严格按照以下对应的流程指导用户执行。
## Humble 版本部署流程
1. 板端下载回灌的点云文件
```bash
wget http://archive.d-robotics.cc/TogetheROS/data/hobot_bev_data.tar.gz
```
2. 解压缩
```bash
mkdir -p hobot_bev_data
tar -zxvf hobot_bev_data.tar.gz -C hobot_bev_data
```
3. 配置tros.b humble环境
```bash
source /opt/tros/humble/setup.bash
```
4. 启动websocket服务
```bash
ros2 launch websocket websocket_service.launch.py
```
5. 启动运行脚本，并指定数据集路径
```bash
ros2 launch hobot_bev hobot_bev.launch.py image_pre_path:=hobot_bev_data/data
```
6. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## Foxy 版本部署流程
1. 板端下载回灌的点云文件
```bash
cd ~
wget http://archive.d-robotics.cc/TogetheROS/data/nuscenes_bev_val/nuscenes_bev_val.tar.gz
```
2. 解压缩
```bash
mkdir -p ~/hobot_bev_data
tar -zxvf ~/nuscenes_bev_val.tar.gz -C ~/hobot_bev_data
```
3. 配置tros.b环境
```bash
source /opt/tros/setup.bash
if [ -L qat ]; then rm qat; fi
ln -s `ros2 pkg prefix hobot_bev`/lib/hobot_bev/qat/ qat
ln -s ~/hobot_bev_data/nuscenes_bev_val nuscenes_bev_val
```
4. 启动launch文件
```bash
ros2 launch hobot_bev hobot_bev.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

114
knowledge_hub/skills/bloom-llm-deployer/SKILL.md Normal file
View File

@ -0,0 +1,114 @@
---
name: bloom-llm-deployer
description: 指导用户在 RDK 板端部署 Bloom 大语言模型（终端交互体验和订阅发布体验），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 Bloom 大语言模型并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和选择的体验方式，严格按照以下对应的流程指导用户执行。
## 终端交互体验
1. 安装transformers
```bash
pip3 install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple
```
2. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
3. 下载模型文件
```bash
wget http://archive.d-robotics.cc/llm-model/llm_model.tar.gz
```
4. 解压
```bash
sudo tar -xf llm_model.tar.gz -C /opt/tros/${TROS_DISTRO}/lib/hobot_llm/
```
5. 系统配置
手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。
重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下：
```bash
sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor'
```
6. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
7. 启动launch文件
```bash
ros2 run hobot_llm hobot_llm_chat
```
## 订阅发布体验
1. 安装transformers
```bash
pip3 install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple
```
2. 配置tros.b环境（若为humble则用source /opt/tros/humble/setup.bash）
```bash
source /opt/tros/setup.bash
```
3. 下载模型文件
```bash
wget http://archive.d-robotics.cc/llm-model/llm_model.tar.gz
```
4. 解压
```bash
sudo tar -xf llm_model.tar.gz -C /opt/tros/${TROS_DISTRO}/lib/hobot_llm/
```
5. 系统配置
手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。
重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下：
```bash
sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor'
```
6. 启动 hobot_llm
配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
```bash
ros2 run hobot_llm hobot_llm
```
7. 新开一个终端订阅输出结果topic
重新配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
```bash
ros2 topic echo /text_result
```
8. 新开一个终端发布消息
重新配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
```bash
ros2 topic pub --once /text_query std_msgs/msg/String "{data: ""中国的首都是哪里""}"
```

83
knowledge_hub/skills/body-detection-tracking-deployer/SKILL.md Normal file
View File

@ -0,0 +1,83 @@
---
name: body-detection-tracking-deployer
description: 指导用户在 RDK 板端部署人体检测和跟踪算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人体检测和跟踪算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和摄像头使用类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法（人体、人头、人脸、人手检测框，检测框类型和目标跟踪ID，人体关键点）渲染效果（IP为RDK/X86设备的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法（人体、人头、人脸、人手检测框，检测框类型和目标跟踪ID，人体关键点）渲染效果（IP为RDK/X86设备的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/dnn_node_example/config/ .
```
3. 配置本地回灌图片
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py publish_image_source:=config/person_body.jpg publish_image_format:=jpg publish_output_image_w:=960 publish_output_image_h:=544
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法（人体、人头、人脸、人手检测框，检测框类型和目标跟踪ID，人体关键点）渲染效果（IP为RDK/X86设备的IP地址）

59
knowledge_hub/skills/clip-retrieval-deployer/SKILL.md Normal file
View File

@ -0,0 +1,59 @@
---
name: clip-retrieval-deployer
description: 指导用户在 RDK 板端部署文本图片特征检索算法（支持 RDK S100 和 RDK X5），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署文本图片特征检索算法并解决报错。请根据开发板类型，严格按照以下流程指导用户执行。
## 部署流程
1. 依赖安装
```bash
pip3 install onnxruntime
pip3 install ftfy
pip3 install wcwidth
pip3 install regex
```
2. 从Web端下载运行示例需要的模型文件。
```bash
wget http://archive.d-robotics.cc/models/clip_encode_text/text_encoder.tar.gz
sudo tar -xf text_encoder.tar.gz -C config
```
3. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
4. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/clip_encode_image/config/ .
```
5. 启动入库launch文件
RDK S100：
```bash
ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_storage_folder:=/root/config
```
RDK X5：
```bash
ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_db_file:=clip.db clip_storage_folder:=/root/config
```
6. 重开一个终端，配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
7. 启动检索launch文件
RDK S100：
```bash
ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram"
```
RDK X5：
```bash
ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram"
```
8. 检索结果可视化
打开另一个终端
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/clip_manage/config/index.html .
python -m http.server 8080
```
9. 查看检索结果
在PC端的浏览器输入http://IP:8080 即可查看图像检索结果（IP为设备IP地址）。

71
knowledge_hub/skills/deepseek-llm-deployer/SKILL.md Normal file
View File

@ -0,0 +1,71 @@
---
name: deepseek-llm-deployer
description: 指导用户在 RDK 板端部署 DeepSeek 大语言模型（终端交互体验和订阅发布体验），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 DeepSeek 大语言模型并解决报错。请根据体验方式，严格按照以下对应的流程指导用户执行。
## 终端交互体验
1. 下载模型文件
```bash
wget -c ftp://oeftp@sdk.d-robotics.cc/oe_llm/model/DeepSeek_R1_Distill_Qwen_1.5B_1024.hbm --ftp-password=Oeftp~123$%
```
2. 设置 ION 内存空间最大, 满足大模型推理需求
```bash
/usr/hobot/bin/hb_switch_ion.sh bpu_first
reboot
```
3. 设置性能模式（注意：仅RDK S100P 支持性能模式）
```bash
devmem 0x2b047000 32 0x99
devmem 0x2b047004 32 0x99
```
4. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
5. 运行模型
```bash
lib=/opt/tros/humble/lib/hobot_xlm/lib
export LD_LIBRARY_PATH=${lib}:${LD_LIBRARY_PATH}
cp -r /opt/tros/humble/lib/hobot_xlm/config/ .
ros2 run hobot_xlm hobot_xlm --ros-args -p feed_type:=0 -p model_name:="DeepSeek_R1_Distill_Qwen_1.5B"
```
## 订阅发布体验
1. 下载模型文件
```bash
wget -c ftp://oeftp@sdk.d-robotics.cc/oe_llm/model/DeepSeek_R1_Distill_Qwen_1.5B_1024.hbm --ftp-password=Oeftp~123$%
```
2. 设置 ION 内存空间最大, 满足大模型推理需求
```bash
/usr/hobot/bin/hb_switch_ion.sh bpu_first
reboot
```
3. 设置性能模式（注意：仅RDK S100P 支持性能模式）
```bash
devmem 0x2b047000 32 0x99
devmem 0x2b047004 32 0x99
```
4. 启动 hobot_llm
配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
lib=/opt/tros/humble/lib/hobot_xlm/lib
export LD_LIBRARY_PATH=${lib}:${LD_LIBRARY_PATH}
cp -r /opt/tros/humble/lib/hobot_xlm/config/ .
ros2 run hobot_xlm hobot_xlm --ros-args -p feed_type:=1 -p ros_string_sub_topic_name:="/prompt_text" -p model_name:="DeepSeek_R1_Distill_Qwen_1.5B"
```
5. 新开一个终端订阅输出结果topic
配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
ros2 topic echo /tts_text
```
6. 新开一个终端发布消息
配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
ros2 topic pub --once /prompt_text std_msgs/msg/String "{data: ""简单描述人工智能的发展""}"
```

67
knowledge_hub/skills/dosod-detection-deployer/SKILL.md Normal file
View File

@ -0,0 +1,67 @@
---
name: dosod-detection-deployer
description: 指导用户在 RDK 板端部署 DOSOD 目标检测算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 DOSOD 目标检测算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_dosod/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch hobot_dosod dosod.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_dosod/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch hobot_dosod dosod.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_dosod/config/ .
```
3. 配置本地回灌
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch hobot_dosod dosod.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

55
knowledge_hub/skills/edgesam-segmentation-deployer/SKILL.md Normal file
View File

@ -0,0 +1,55 @@
---
name: edgesam-segmentation-deployer
description: 指导用户在 RDK 板端部署 EdgeSAM 图像分割算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 EdgeSAM 图像分割算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
3. 启动launch文件
```bash
ros2 launch mono_edgesam sam.launch.py
```
4. 测试效果
推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 手动打开界面右上角设置, 选中"Full Image Segmentation"选项, 可以显示渲染效果。
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
3. 启动launch文件
```bash
ros2 launch mono_edgesam sam.launch.py
```
4. 测试效果
推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 手动打开界面右上角设置, 选中"Full Image Segmentation"选项, 可以显示渲染效果。
## 使用本地照片回灌
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 配置本地回灌图片
```bash
export CAM_TYPE=fb
```
3. 启动launch文件
```bash
ros2 launch mono_edgesam sam.launch.py
```
4. 测试效果
推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 手动打开界面右上角设置, 选中"Full Image Segmentation"选项, 可以显示渲染效果。

64
knowledge_hub/skills/efficientnet-det-deployer/SKILL.md Normal file
View File

@ -0,0 +1,64 @@
---
name: efficientnet-det-deployer
description: 指导用户在 RDK 板端部署 EfficientNet_Det 目标检测算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 EfficientNet_Det 目标检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image:=config/target.jpg
```

34
knowledge_hub/skills/elevation-net-deployer/SKILL.md Normal file
View File

@ -0,0 +1,34 @@
---
name: elevation-net-deployer
description: 指导用户在 RDK 板端部署单目高程网络检测算法，提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署单目高程网络检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy），严格按照以下对应的流程指导用户执行。
## Humble 版本部署流程
1. 配置 tros.b humble 环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/elevation_net/config/ .
```
3. 启动launch文件
```bash
ros2 launch elevation_net elevation_net.launch.py
```
## Foxy 版本部署流程
1. 配置 tros.b humble 环境
```bash
source /opt/tros/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/elevation_net/config/ .
```
3. 启动launch文件
```bash
ros2 launch elevation_net elevation_net.launch.py

47
knowledge_hub/skills/face-age-deployer/SKILL.md Normal file
View File

@ -0,0 +1,47 @@
---
name: face-age-deployer
description: 指导用户在 RDK 板端部署人脸年龄检测算法（MIPI摄像头、USB摄像头），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人脸年龄检测算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch face_age_detection body_det_face_age_det.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch face_age_detection body_det_face_age_det.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

47
knowledge_hub/skills/face-landmarks-deployer/SKILL.md Normal file
View File

@ -0,0 +1,47 @@
---
name: face-landmarks-deployer
description: 指导用户在 RDK 板端部署人脸 106 关键点检测算法（MIPI摄像头、USB摄像头），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人脸 106 关键点检测算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch face_landmarks_detection body_det_face_landmarks_det.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch face_landmarks_detection body_det_face_landmarks_det.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

64
knowledge_hub/skills/fcos-detection-deployer/SKILL.md Normal file
View File

@ -0,0 +1,64 @@
---
name: fcos-detection-deployer
description: 指导用户在 RDK 板端部署 FCOS 目标检测算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 FCOS 目标检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image:=config/target.jpg
```

88
knowledge_hub/skills/gesture-recognition-deployer/SKILL.md Normal file
View File

@ -0,0 +1,88 @@
---
name: gesture-recognition-deployer
description: 指导用户在 RDK 板端部署手势识别算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署手势识别算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_gesture_detection/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch hand_gesture_detection hand_gesture_detection.launch.py
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK/X86设备的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_gesture_detection/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch hand_gesture_detection hand_gesture_detection.launch.py
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK/X86设备的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_gesture_detection/config/ .
```
3. 配置本地回灌图片
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch hand_gesture_detection hand_gesture_detection.launch.py publish_image_source:=config/person_face_hand.jpg publish_image_format:=jpg publish_output_image_w:=960 publish_output_image_h:=544 publish_fps:=30
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK/X86设备的IP地址）

59
knowledge_hub/skills/hand-keypoint-deployer/SKILL.md Normal file
View File

@ -0,0 +1,59 @@
---
name: hand-keypoint-deployer
description: 指导用户在 RDK 板端部署人手关键点检测算法（MIPI摄像头、USB摄像头），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人手关键点检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch hand_lmk_detection hand_lmk_detection.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch hand_lmk_detection hand_lmk_detection.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

70
knowledge_hub/skills/hand-landmarks-mediapipe-deployer/SKILL.md Normal file
View File

@ -0,0 +1,70 @@
---
name: hand-landmarks-mediapipe-deployer
description: 指导用户在 RDK 板端部署人手关键点及手势识别（mediapipe）算法（MIPI摄像头、USB摄像头、本地图片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人手关键点及手势识别（mediapipe）算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/palm_detection_mediapipe/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_landmarks_mediapipe/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch hand_landmarks_mediapipe hand_landmarks.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/palm_detection_mediapipe/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_landmarks_mediapipe/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch hand_landmarks_mediapipe hand_landmarks.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地图片回灌
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/palm_detection_mediapipe/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_landmarks_mediapipe/config/ .
```
3. 配置本地回灌
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch hand_landmarks_mediapipe hand_landmarks.launch.py publish_image_source:=config/example.jpg publish_image_format:=jpg publish_output_image_w:=640 publish_output_image_h:=480
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

70
knowledge_hub/skills/human-instance-tracking-deployer/SKILL.md Normal file
View File

@ -0,0 +1,70 @@
---
name: human-instance-tracking-deployer
description: 指导用户在 RDK 板端部署人体实例跟踪算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人体实例跟踪算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/reid/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch reid reid.launch.py
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 其中每个人物上的id为实例ID结果。
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/reid/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch reid reid.launch.py
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 其中每个人物上的id为实例ID结果。
## 使用本地照片回灌
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/reid/config/ .
```
3. 配置本地回灌图片
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch reid reid.launch.py publish_image_source:=config/person_body.jpg publish_image_format:=jpg publish_output_image_w:=1920 publish_output_image_h:=1080
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 其中每个人物上的id为实例ID结果。

58
knowledge_hub/skills/lidar-detection-deployer/SKILL.md Normal file
View File

@ -0,0 +1,58 @@
---
name: lidar-detection-deployer
description: 指导用户在 RDK 板端部署激光雷达目标检测算法（本地点云文件回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署激光雷达目标检测算法并解决报错，请根据开发板的ROS版本执行下面对应的算法部署流程。
## Humble 版本部署流程
1. 板端下载回灌的点云文件
```bash
cd ~
wget http://archive.d-robotics.cc/TogetheROS/data/hobot_centerpoint_data.tar.gz
```
2. 解压缩
```bash
mkdir -p ~/centerpoint_data
tar -zxvf ~/hobot_centerpoint_data.tar.gz -C ~/centerpoint_data
```
3. 配置tros.b humble环境
```bash
source /opt/tros/humble/setup.bash
if [ -L qat ]; then rm qat; fi
ln -s `ros2 pkg prefix hobot_centerpoint`/lib/hobot_centerpoint/qat/ qat
ln -s ~/centerpoint_data centerpoint_data
```
4. 启动launch文件
```bash
ros2 launch hobot_centerpoint hobot_centerpoint.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## Foxy 版本部署流程
1. 板端下载回灌的点云文件
```bash
cd ~
wget http://archive.d-robotics.cc/TogetheROS/data/hobot_centerpoint_data.tar.gz
```
2. 解压缩
```bash
mkdir config
tar -zxvf hobot_centerpoint_data.tar.gz -C config
```
3. 配置tros.b环境
```bash
source /opt/tros/setup.bash
```
4. 启动websocket服务
```bash
ros2 launch websocket websocket_service.launch.py
```
5. 启动launch文件
```bash
ros2 launch hobot_centerpoint hobot_centerpoint_websocket.launch.py lidar_pre_path:=config/hobot_centerpoint_data
```
6. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK实际的IP地址）

64
knowledge_hub/skills/mobilenet-ssd-deployer/SKILL.md Normal file
View File

@ -0,0 +1,64 @@
---
name: mobilenet-ssd-deployer
description: 指导用户在 RDK 板端部署 MobileNet_SSD 目标检测算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 MobileNet_SSD 目标检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy），严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image:=config/target.jpg
```

60
knowledge_hub/skills/mobilenet-unet-deployer/SKILL.md Normal file
View File

@ -0,0 +1,60 @@
---
name: mobilenet-unet-deployer
description: 指导用户在 RDK 板端部署 mobilenet_unet 图像分割算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 mobilenet_unet 图像分割算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=1 dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080
```
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=1 dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080
```
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image:=config/raw_unet.jpg
```

64
knowledge_hub/skills/mobilenetv2-classification-deployer/SKILL.md Normal file
View File

@ -0,0 +1,64 @@
---
name: mobilenetv2-classification-deployer
description: 指导用户在 RDK 板端部署 mobilenetv2 图片分类算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 mobilenetv2 图片分类算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image:=config/target_class.jpg
```

67
knowledge_hub/skills/mobilesam-segmentation-deployer/SKILL.md Normal file
View File

@ -0,0 +1,67 @@
---
name: mobilesam-segmentation-deployer
description: 指导用户在 RDK 板端部署 MobileSAM 图像分割算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 MobileSAM 图像分割算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_mobilesam/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch mono_mobilesam sam.launch.py
```
5. 测试效果
推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 打开界面右上角设置, 选中"Full Image Segmentation"选项, 可以显示渲染效果。
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_mobilesam/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch mono_mobilesam sam.launch.py
```
5. 测试效果
推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 打开界面右上角设置, 选中"Full Image Segmentation"选项, 可以显示渲染效果。
## 使用本地照片回灌
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_mobilesam/config/ .
```
3. 配置本地回灌图片
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch mono_mobilesam sam.launch.py
```
5. 测试效果
推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 打开界面右上角设置, 选中"Full Image Segmentation"选项, 可以显示渲染效果。

26
knowledge_hub/skills/mono3d-indoor-deployer/SKILL.md Normal file
View File

@ -0,0 +1,26 @@
---
name: mono3d-indoor-deployer
description: 指导用户在 RDK 板端部署单目 3D 室内检测算法，提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署单目 3D 室内检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy），严格按照以下对应的流程指导用户执行。
## 部署流程
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono3d_indoor_detection/config/ .
```
3. 启动launch文件
```bash
ros2 launch mono3d_indoor_detection mono3d_indoor_detection.launch.py
```

82
knowledge_hub/skills/optical-flow-deployer/SKILL.md Normal file
View File

@ -0,0 +1,82 @@
---
name: optical-flow-deployer
description: 指导用户在 RDK 板端部署光流估计算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署光流估计算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_pwcnet/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch mono_pwcnet pwcnet.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_pwcnet/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch mono_pwcnet pwcnet.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_pwcnet/config/ .
```
3. 配置本地回灌图片
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch mono_pwcnet pwcnet.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

67
knowledge_hub/skills/road-structure-deployer/SKILL.md Normal file
View File

@ -0,0 +1,67 @@
---
name: road-structure-deployer
description: 指导用户在 RDK 板端部署路面结构化算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署路面结构化算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch parking_perception parking_perception.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch parking_perception parking_perception.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ .
```
3. 配置本地回灌
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch parking_perception parking_perception.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

22
knowledge_hub/skills/sensevoice-deployer/SKILL.md Normal file
View File

@ -0,0 +1,22 @@
---
name: sensevoice-deployer
description: 指导用户在 RDK 板端部署 Sensevoice 智能语音算法，提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 Sensevoice 智能语音算法并解决报错。请严格按照以下流程指导用户执行。
## 部署流程
1. 安装智能语音算法包
```bash
sudo apt update
sudo apt install tros-humble-sensevoice-ros2
```
2. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
3. 启动launch文件
```bash
ros2 launch sensevoice_ros2 sensevoice_ros2.launch.py micphone_name:="plughw:0,0"
```

42
knowledge_hub/skills/smart-voice-deployer/SKILL.md Normal file
View File

@ -0,0 +1,42 @@
---
name: smart-voice-deployer
description: 指导用户在 RDK 板端部署智能语音算法，提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署智能语音算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy），严格按照以下对应的流程指导用户执行。
## 部署流程
1. 安装智能语音算法包
```bash
sudo apt update
```
foxy版本：
```bash
sudo apt install tros-hobot-audio
```
humble版本：
```bash
sudo apt install tros-humble-hobot-audio
```
2. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
3. 从tros.b的安装路径中拷贝出运行示例需要的配置文件，若已拷贝则可忽略
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_audio/config/ .
```
4. 屏蔽调式打印信息
```bash
export GLOG_minloglevel=3
```
5. 启动launch文件
```bash
ros2 launch hobot_audio hobot_audio.launch.py
```

34
knowledge_hub/skills/stereo-depth-deployer/SKILL.md Normal file
View File

@ -0,0 +1,34 @@
---
name: stereo-depth-deployer
description: 指导用户在 RDK 板端部署双目深度算法（支持 RDK X5 和 RDK S100），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署双目深度算法并解决报错。请根据用户的开发板卡类型（RDK X5 或 RDK S100），严格按照以下对应的流程指导用户执行。
## RDK X5 部署流程
1. 配置tros.b humble环境
```bash
source /opt/tros/humble/setup.bash
```
2. 启动双目模型launch文件，其包含了算法和双目相机节点的启动
```bash
ros2 launch hobot_stereonet stereonet_model_web_visual_v2.1.launch.py mipi_image_width:=640 mipi_image_height:=352 mipi_lpwm_enable:=True mipi_image_framerate:=30.0 need_rectify:=False height_min:=-10.0 height_max:=10.0 pc_max_depth:=5.0 uncertainty_th:=0.1
```
3. 测试模型效果
网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000
## RDK S100 部署流程
1. 配置tros.b humble环境
```bash
source /opt/tros/humble/setup.bash
```
2. 启动双目模型launch文件，其包含了算法和双目相机节点的启动
```bash
ros2 launch hobot_stereonet stereonet_model_web_visual_v2.4.launch.py \
mipi_image_width:=640 mipi_image_height:=352 mipi_lpwm_enable:=False mipi_image_framerate:=30.0 \
need_rectify:=False height_min:=-10.0 height_max:=10.0 pc_max_depth:=5.0 \
uncertainty_th:=0.1
```
3. 测试模型效果
网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000

29
knowledge_hub/skills/stereo-occ-deployer/SKILL.md Normal file
View File

@ -0,0 +1,29 @@
---
name: stereo-occ-deployer
description: 指导用户在 RDK 板端部署双目 OCC 算法（使用本地图片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署双目 OCC 算法并解决报错。请严格按照以下流程指导用户执行。
## 部署流程
1. 配置tros.b humble环境
```bash
source /opt/tros/humble/setup.bash
```
2. 启动ZED-2i相机和占用网络推理程序
```bash
ros2 launch dstereo_occnet zed2i_occ_node.launch.py
```
3. 启动launch文件
```bash
ros2 launch mono3d_indoor_detection mono3d_indoor_detection.launch.py
```
4. 查看双目图像
程序启动后可以通过网页查看ZED-2i发布的双目图像，在PC端浏览器输入[http://IP:8000](http://ip:8000/) 即可查看双目图像（IP为RDK板端的IP），并且要保证PC和RDK能通过网络通讯
5. 通过rviz2可查看占用网格
```bash
sudo apt install ros-humble-rviz2
source /opt/tros/humble/setup.bash
rviz2
```

69
knowledge_hub/skills/vision-language-model-deployer/SKILL.md Normal file
View File

@ -0,0 +1,69 @@
---
name: vision-language-model-deployer
description: 指导用户在 RDK 板端部署视觉语言模型（支持 RDK X5 和 RDK S100），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署视觉语言模型并解决报错。请根据用户的板卡类型（RDK X5 或 RDK S100），严格按照以下对应的流程指导用户执行。
## RDK X5 部署流程
1. 下载功能包
```bash
sudo apt update
sudo apt install tros-humble-hobot-llamacpp
```
2. 系统配置
手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。
重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下：
```bash
sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu0/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu1/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu2/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu3/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu4/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu5/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu6/cpufreq/scaling_governor'
```
3. 下载模型文件到运行路径
```bash
wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/Qwen2.5-0.5B-Instruct-Q4_0.gguf
wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/rdkx5/vit_model_int16_v2.bin
```
4. 启动程序
```bash
source /opt/tros/humble/setup.bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_llamacpp/config/ .
ros2 run hobot_llamacpp hobot_llamacpp --ros-args -p feed_type:=0 -p image:=config/image2.jpg -p image_type:=0 -p user_prompt:="描述一下这张图片." -p model_file_name:=vit_model_int16_v2.bin -p llm_model_name:=Qwen2.5-0.5B-Instruct-Q4_0.gguf
```
## RDK S100 部署流程
1. 下载功能包
```bash
sudo apt update
sudo apt install tros-humble-hobot-llamacpp
```
2. 系统配置
手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。
重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下：
```bash
sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu0/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu1/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu2/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu3/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu4/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu5/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu6/cpufreq/scaling_governor'
```
3. 下载模型文件到运行路径
```bash
wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/Qwen2.5-0.5B-Instruct-Q4_0.gguf
wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/rdks100/vit_model_int16.hbm
```
4. 启动程序
```bash
source /opt/tros/humble/setup.bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_llamacpp/config/ .
ros2 run hobot_llamacpp hobot_llamacpp --ros-args -p feed_type:=0 -p image:=config/image2.jpg -p image_type:=0 -p user_prompt:="描述一下这张图片." -p model_file_name:=vit_model_int16.hbm -p llm_model_name:=Qwen2.5-0.5B-Instruct-Q4_0.gguf
```

24
knowledge_hub/skills/visual-inertial-odometry-deployer/SKILL.md Normal file
View File

@ -0,0 +1,24 @@
---
name: visual-inertial-odometry-deployer
description: 指导用户在 RDK 板端部署视觉惯性里程计算法，提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署视觉惯性里程计算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy），严格按照以下对应的流程指导用户执行。
## 部署流程
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 启动launch文件
```bash
ros2 launch hobot_vio hobot_vio.launch.py
```
3. 轨迹结果可在PC的rviz2软件查看
输出topic：horizon_vio/horizon_vio_path（vio算法输出的机器人运动轨迹）

64
knowledge_hub/skills/yolo-detection-deployer/SKILL.md Normal file
View File

@ -0,0 +1,64 @@
---
name: yolo-detection-deployer
description: 指导用户在 RDK 板端部署 YOLO 目标检测算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 YOLO 目标检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image:=config/target.jpg
```

68
knowledge_hub/skills/yolo-pose-deployer/SKILL.md Normal file
View File

@ -0,0 +1,68 @@
---
name: yolo-pose-deployer
description: 指导用户在 RDK 板端部署人体检测和跟踪（Ultralytics YOLO Pose）算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人体检测和跟踪（Ultralytics YOLO Pose）算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py kps_model_type:=1 kps_image_width:=1920 kps_image_height:=1080 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py kps_model_type:=1 kps_image_width:=1920 kps_image_height:=1080 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/dnn_node_example/config/ .
```
3. 配置本地回灌图片
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py publish_image_source:=config/person_body.jpg publish_image_format:=jpg kps_model_type:=1 kps_image_width:=640 kps_image_height:=640 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）

67
knowledge_hub/skills/yolo-world-deployer/SKILL.md Normal file
View File

@ -0,0 +1,67 @@
---
name: yolo-world-deployer
description: 指导用户在 RDK 板端部署 YOLO-World 目标检测算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 YOLO-World 目标检测算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_yolo_world/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch hobot_yolo_world yolo_world.launch.py yolo_world_texts:="red bottle,trash bin"
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_yolo_world/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch hobot_yolo_world yolo_world.launch.py yolo_world_texts:="red bottle,trash bin"
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境（若为humble则用source /opt/tros/humble/setup.bash）
```bash
source /opt/tros/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_yolo_world/config/ .
```
3. 配置本地回灌图片
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch hobot_yolo_world yolo_world.launch.py yolo_world_texts:="red bottle,trash bin"
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

60
knowledge_hub/skills/yolov8-seg-deployer/SKILL.md Normal file
View File

@ -0,0 +1,60 @@
---
name: yolov8-seg-deployer
description: 指导用户在 RDK 板端部署 Ultralytics YOLOv8-Seg 图像分割算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 Ultralytics YOLOv8-Seg 图像分割算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=0 dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080
```
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=0 dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080
```
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image:=config/test.jpg
```

14
knowledge_hub/人体检测和跟踪算法部署体验流程.md
View File

@ -1,14 +0,0 @@
# 人体检测和跟踪算法部署体验流程：
1. 配置tros.b humble环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
3. 启动launch文件
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py kps_model_type:=1 kps_image_width:=1920 kps_image_height:=1080 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm
3. 测试模型效果
网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000

15
knowledge_hub/人体检测和跟踪算法部署流程.md
View File

@ -1,7 +1,8 @@
# 人体检测和跟踪算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
@ -18,8 +19,9 @@ ros2 launch mono2d_body_detection mono2d_body_detection.launch.py
# 人体检测和跟踪算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
@ -36,8 +38,9 @@ ros2 launch mono2d_body_detection mono2d_body_detection.launch.py
# 人体检测和跟踪算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .

10
knowledge_hub/人手关键点检测算法部署流程.md
View File

@ -1,7 +1,8 @@
# 人手关键点检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
@ -17,8 +18,9 @@ ros2 launch hand_lmk_detection hand_lmk_detection.launch.py
# 人手关键点检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .

33
knowledge_hub/光流估计算法部署流程.md
View File

@ -1,50 +1,53 @@
# 光流估计算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_pwcnet/config/ .
3. 配置MIPI摄像头
export CAM_TYPE=mipi
4. 启动launch文件
ros2 launch parking_perception parking_perception.launch.py
ros2 launch mono_pwcnet pwcnet.launch.py
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# 光流估计算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_pwcnet/config/ .
3. 配置sub摄像头
export CAM_TYPE=sub
3. 配置usb摄像头
export CAM_TYPE=usb
4. 启动launch文件
ros2 launch parking_perception parking_perception.launch.py
ros2 launch mono_pwcnet pwcnet.launch.py
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# 光流估计算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_pwcnet/config/ .
3. 配置MIPI摄像头
3. 配置本地回灌图片
export CAM_TYPE=fb
4. 启动launch文件
ros2 launch parking_perception parking_perception.launch.py
ros2 launch mono_pwcnet pwcnet.launch.py
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

5
knowledge_hub/单目3D室内检测算法部署流程.md
View File

@ -1,7 +1,8 @@
# 单目3D室内检测算法部署流程：
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono3d_indoor_detection/config/ .

8
knowledge_hub/单目高程网络检测算法部署流程.md
View File

@ -1,10 +1,12 @@
# 单目高程网络检测算法部署流程：
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/elevation_net/config/
cp -r /opt/tros/${TROS_DISTRO}/lib/elevation_net/config/ .
3. 启动launch文件
ros2 launch elevation_net elevation_net.launch.py

11
knowledge_hub/双目深度+YOLO v8效果体验流程.md
View File

@ -1,11 +0,0 @@
# 目深度模型+YOLO v8效果体验流程
1. 启动双目深度模型+YOLO v8模型的脚本
bash /userdata/start_stereo.sh
2. 查看日志
tail -111f /userdata/stereo_output.log
3. 测试模型效果
网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000/TogetheROS/。你需要帮助用户执行open {网页地址}的命令，帮用户直接打开浏览器查看深度图。
注意：要先查看日志再打开网页

21
knowledge_hub/双目深度算法部署体验流程.md
View File

@ -1,13 +1,28 @@
# 双目深度算法部署体验流程
# 双目深度算法部署体验流程：RDX X5
1. 配置tros.b humble环境
source /opt/tros/humble/setup.bash
2. 启动双目模型launch文件，其包含了算法和双目相机节点的启动
ros2 launch hobot_stereonet stereonet_model_web_visual_v2.1.launch.py
mipi_image_width:=640 mipi_image_height:=352 mipi_lpwm_enable:=True mipi_image_framerate:=30.0
need_rectify:=False height_min:=-10.0 height_max:=10.0 pc_max_depth:=5.0
uncertainty_th:=0.1
3. 测试模型效果
网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000
# 双目深度算法部署体验流程：RDX S100
1. 配置tros.b humble环境
source /opt/tros/humble/setup.bash
2. 启动双目模型launch文件，其包含了算法和双目相机节点的启动
ros2 launch hobot_stereonet stereonet_model_web_visual_v2.4.launch.py \
mipi_image_width:=640 mipi_image_height:=352 mipi_lpwm_enable:=True mipi_image_framerate:=30.0 \
mipi_image_width:=640 mipi_image_height:=352 mipi_lpwm_enable:=False mipi_image_framerate:=30.0 \
need_rectify:=False height_min:=-10.0 height_max:=10.0 pc_max_depth:=5.0 \
uncertainty_th:=0.1
3. 测试模型效果
网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000
网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000

15
knowledge_hub/手势识别算法部署流程.md
View File

@ -1,7 +1,8 @@
# 手势识别算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
@ -19,8 +20,9 @@ ros2 launch hand_gesture_detection hand_gesture_detection.launch.py
# 手势识别算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
@ -39,8 +41,9 @@ ros2 launch hand_gesture_detection hand_gesture_detection.launch.py
# 手势识别算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .

31
knowledge_hub/文本图片特征检索算法部署流程.md
View File

@ -1,5 +1,4 @@
# 文本图片特征检索算法部署流程：CLIP 入库
# 文本图片特征检索算法部署流程：
1. 依赖安装
pip3 install onnxruntime
pip3 install ftfy
@ -16,32 +15,22 @@ source /opt/tros/humble/setup.bash
4. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/clip_encode_image/config/ .
5. 启动launch文件，RDK S100为例，RDK X5 为ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_db_file:=clip.db clip_storage_folder:=/root/config
ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_storage_folder:=/root/config
5. 启动入库launch文件
RDK S100：ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_storage_folder:=/root/config
RDK X5：ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_db_file:=clip.db clip_storage_folder:=/root/config
# 文本图片特征检索算法部署流程：检索
1. 依赖安装
pip3 install onnxruntime
pip3 install ftfy
pip3 install wcwidth
pip3 install regex
2. 从Web端下载运行示例需要的模型文件。
wget http://archive.d-robotics.cc/models/clip_encode_text/text_encoder.tar.gz
sudo tar -xf text_encoder.tar.gz -C config
3. 配置tros.b环境
6. 重开一个终端，配置tros.b环境
source /opt/tros/humble/setup.bash
4. 启动launch文件，RDK S100为例，RDK X5 为ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram"
ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram"
7. 启动检索launch文件
RDK S100：ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram"
RDK X5：launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram"
5. 检索结果可视化
8. 检索结果可视化
打开另一个终端
cp -r /opt/tros/${TROS_DISTRO}/lib/clip_manage/config/index.html .
python -m http.server 8080
6. 查看检索结果
9. 查看检索结果
在PC端的浏览器输入http://IP:8080 即可查看图像检索结果（IP为设备IP地址）。

10
knowledge_hub/智能语音算法部署流程.md
View File

@ -1,11 +1,13 @@
# 智能语音算法部署流程：
1. 安装智能语音算法包 若为humble版本则用sudo apt install tros-humble-hobot-audio
1. 安装智能语音算法包
sudo apt update
sudo apt install tros-hobot-audio
foxy版本：sudo apt install tros-hobot-audio
humble版本：sudo apt install tros-humble-hobot-audio
2. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
3. 从tros.b的安装路径中拷贝出运行示例需要的配置文件，若已拷贝则可忽略
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_audio/config/ .

5
knowledge_hub/激光雷达目标检测算法部署流程.md
View File

@ -15,7 +15,8 @@ ln -s `ros2 pkg prefix hobot_centerpoint`/lib/hobot_centerpoint/qat/ qat
ln -s ~/centerpoint_data centerpoint_data
4. 启动launch文件
ros2 launch hobot_centerpoint hobot_centerpoint.launch.p
ros2 launch hobot_centerpoint hobot_centerpoint.launch.py
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
@ -38,6 +39,6 @@ ros2 launch websocket websocket_service.launch.py
5. 启动launch文件
ros2 launch hobot_centerpoint hobot_centerpoint_websocket.launch.py lidar_pre_path:=config/hobot_centerpoint_data
5. 测试效果
6. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

5
knowledge_hub/视觉惯性里程计算法部署流程.md
View File

@ -1,7 +1,8 @@
# 视觉惯性里程计算法部署流程：
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 启动launch文件
ros2 launch hobot_vio hobot_vio.launch.py