zhaoming.han/rdk_robot_dev_agent
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Compare commits

base: zhaoming.han:main
Branches Tags
zhaoming.han:main
zhaoming.han:feature/kownledge_hub_skills
zhaoming.han:fix/tros-humble-env-config
zhaoming.han:hzm
..
compare: zhaoming.han:hzm
Branches Tags
zhaoming.han:main
zhaoming.han:feature/kownledge_hub_skills
zhaoming.han:fix/tros-humble-env-config
zhaoming.han:hzm

No commits in common. "main" and "hzm" have entirely different histories.
main ... hzm

57 changed files with 151 additions and 2198 deletions
Show Stats Expand all files Collapse all files

8
knowledge_hub/BEV感知算法部署流程.md
View File

@ -7,8 +7,8 @@ wget http://archive.d-robotics.cc/TogetheROS/data/hobot_bev_data.tar.gz
mkdir -p hobot_bev_data
tar -zxvf hobot_bev_data.tar.gz -C hobot_bev_data
3. 配置tros.b humble环境
source /opt/tros/humble/setup.bash
3. 配置tros.b环境
source /opt/tros/setup.bash
4. 启动websocket服务
ros2 launch websocket websocket_service.launch.py
@ -31,8 +31,8 @@ wget http://archive.d-robotics.cc/TogetheROS/data/nuscenes_bev_val/nuscenes_bev_
mkdir -p ~/hobot_bev_data
tar -zxvf ~/nuscenes_bev_val.tar.gz -C ~/hobot_bev_data
3. 配置tros.b
source /opt/tros/setup.bash
3. 配置tros.b humble环境
source /opt/tros/humble/setup.bash
if [ -L qat ]; then rm qat; fi
ln -s `ros2 pkg prefix hobot_bev`/lib/hobot_bev/qat/ qat
ln -s ~/hobot_bev_data/nuscenes_bev_val nuscenes_bev_val

28
knowledge_hub/Bloom大语言模型部署流程.md
View File

@ -3,9 +3,8 @@
1. 安装transformers
pip3 install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple
2. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
3. 下载模型文件
wget http://archive.d-robotics.cc/llm-model/llm_model.tar.gz
@ -19,9 +18,8 @@ sudo tar -xf llm_model.tar.gz -C /opt/tros/${TROS_DISTRO}/lib/hobot_llm/
sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor'
6. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
6. 重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
7. 启动launch文件
ros2 run hobot_llm hobot_llm_chat
@ -47,22 +45,16 @@ sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor'
6. 启动 hobot_llm
配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
ros2 run hobot_llm hobot_llm
7. 新开一个终端订阅输出结果topic
重新配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
ros2 topic echo /text_result
8. 新开一个终端发布消息
重新配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
ros2 topic pub --once /text_query std_msgs/msg/String "{data: ""中国的首都是哪里""}"

15
knowledge_hub/EfficientNet_Det目标检测算法部署流程.md
View File

@ -1,8 +1,7 @@
# EfficientNet_Det目标检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
@ -16,9 +15,8 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# EfficientNet_Det目标检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
@ -31,9 +29,8 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# EfficientNet_Det目标检测算法部署流程：使用本地照片回灌
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image:=config/target.jpg

15
knowledge_hub/FCOS目标检测算法部署流程.md
View File

@ -1,8 +1,7 @@
# FCOS目标检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
@ -15,9 +14,8 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# FCOS目标检测算法部署流程：用USB摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
@ -30,9 +28,8 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# FCOS目标检测算法部署流程：使用本地照片回灌
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image:=config/target.jpg

15
knowledge_hub/MobileNet_SSD目标检测算法部署流程.md
View File

@ -1,8 +1,7 @@
# MobileNet_SSD目标检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
@ -16,9 +15,8 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# MobileNet_SSD目标检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
@ -31,9 +29,8 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# MobileNet_SSD目标检测算法部署流程：使用本地照片回灌
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image:=config/target.jpg

5
knowledge_hub/MobileSAM图像分割算法部署流程.md
View File

@ -34,9 +34,8 @@ ros2 launch mono_mobilesam sam.launch.py
# MobileSAM图像分割算法部署流程：使用本地照片回灌
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_mobilesam/config/ .

16
knowledge_hub/Ultralytics YOLOv8-Seg图像分割算法部署流程.md
View File

@ -1,8 +1,7 @@
# Ultralytics YOLOv8-Seg图像分割算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
@ -12,10 +11,8 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_
# Ultralytics YOLOv8-Seg图像分割算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
@ -25,9 +22,8 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_
# Ultralytics YOLOv8-Seg图像分割算法部署流程：使用本地照片回灌
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image:=config/test.jpg

18
knowledge_hub/YOLO目标检测算法部署流程.md
View File

@ -1,9 +1,7 @@
# YOLO目标检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
@ -17,10 +15,8 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# YOLO目标检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
@ -33,10 +29,8 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# YOLO目标检测算法部署流程：使用本地照片回灌
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image:=config/target.jpg

15
knowledge_hub/mobilenet_unet图像分割算法部署流程.md
View File

@ -1,8 +1,7 @@
# mobilenet_unet图像分割算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
@ -12,9 +11,8 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_
# mobilenet_unet图像分割算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
@ -25,9 +23,8 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_
# mobilenet_unet图像分割算法部署流程：使用本地照片回灌
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image:=config/raw_unet.jpg

15
knowledge_hub/mobilenetv2图片分类算法部署流程.md
View File

@ -1,8 +1,7 @@
# mobilenetv2图片分类算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
@ -16,9 +15,8 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# mobilenetv2图片分类算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
@ -31,9 +29,8 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# mobilenetv2图片分类算法部署流程：使用本地照片回灌
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image:=config/target_class.jpg

57
knowledge_hub/skills/bev-perception-deployer/SKILL.md
View File

@ -1,57 +0,0 @@
---
name: bev-perception-deployer
description: 指导用户在 RDK 板端部署 BEV 感知算法（本地数据集回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 BEV 感知算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy），严格按照以下对应的流程指导用户执行。
## Humble 版本部署流程
1. 板端下载回灌的点云文件
```bash
wget http://archive.d-robotics.cc/TogetheROS/data/hobot_bev_data.tar.gz
```
2. 解压缩
```bash
mkdir -p hobot_bev_data
tar -zxvf hobot_bev_data.tar.gz -C hobot_bev_data
```
3. 配置tros.b humble环境
```bash
source /opt/tros/humble/setup.bash
```
4. 启动websocket服务
```bash
ros2 launch websocket websocket_service.launch.py
```
5. 启动运行脚本，并指定数据集路径
```bash
ros2 launch hobot_bev hobot_bev.launch.py image_pre_path:=hobot_bev_data/data
```
6. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## Foxy 版本部署流程
1. 板端下载回灌的点云文件
```bash
cd ~
wget http://archive.d-robotics.cc/TogetheROS/data/nuscenes_bev_val/nuscenes_bev_val.tar.gz
```
2. 解压缩
```bash
mkdir -p ~/hobot_bev_data
tar -zxvf ~/nuscenes_bev_val.tar.gz -C ~/hobot_bev_data
```
3. 配置tros.b环境
```bash
source /opt/tros/setup.bash
if [ -L qat ]; then rm qat; fi
ln -s `ros2 pkg prefix hobot_bev`/lib/hobot_bev/qat/ qat
ln -s ~/hobot_bev_data/nuscenes_bev_val nuscenes_bev_val
```
4. 启动launch文件
```bash
ros2 launch hobot_bev hobot_bev.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

114
knowledge_hub/skills/bloom-llm-deployer/SKILL.md
View File

@ -1,114 +0,0 @@
---
name: bloom-llm-deployer
description: 指导用户在 RDK 板端部署 Bloom 大语言模型（终端交互体验和订阅发布体验），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 Bloom 大语言模型并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和选择的体验方式，严格按照以下对应的流程指导用户执行。
## 终端交互体验
1. 安装transformers
```bash
pip3 install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple
```
2. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
3. 下载模型文件
```bash
wget http://archive.d-robotics.cc/llm-model/llm_model.tar.gz
```
4. 解压
```bash
sudo tar -xf llm_model.tar.gz -C /opt/tros/${TROS_DISTRO}/lib/hobot_llm/
```
5. 系统配置
手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。
重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下：
```bash
sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor'
```
6. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
7. 启动launch文件
```bash
ros2 run hobot_llm hobot_llm_chat
```
## 订阅发布体验
1. 安装transformers
```bash
pip3 install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple
```
2. 配置tros.b环境（若为humble则用source /opt/tros/humble/setup.bash）
```bash
source /opt/tros/setup.bash
```
3. 下载模型文件
```bash
wget http://archive.d-robotics.cc/llm-model/llm_model.tar.gz
```
4. 解压
```bash
sudo tar -xf llm_model.tar.gz -C /opt/tros/${TROS_DISTRO}/lib/hobot_llm/
```
5. 系统配置
手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。
重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下：
```bash
sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor'
```
6. 启动 hobot_llm
配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
```bash
ros2 run hobot_llm hobot_llm
```
7. 新开一个终端订阅输出结果topic
重新配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
```bash
ros2 topic echo /text_result
```
8. 新开一个终端发布消息
重新配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
```bash
ros2 topic pub --once /text_query std_msgs/msg/String "{data: ""中国的首都是哪里""}"
```

83
knowledge_hub/skills/body-detection-tracking-deployer/SKILL.md
View File

@ -1,83 +0,0 @@
---
name: body-detection-tracking-deployer
description: 指导用户在 RDK 板端部署人体检测和跟踪算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人体检测和跟踪算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和摄像头使用类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法（人体、人头、人脸、人手检测框，检测框类型和目标跟踪ID，人体关键点）渲染效果（IP为RDK/X86设备的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法（人体、人头、人脸、人手检测框，检测框类型和目标跟踪ID，人体关键点）渲染效果（IP为RDK/X86设备的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/dnn_node_example/config/ .
```
3. 配置本地回灌图片
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py publish_image_source:=config/person_body.jpg publish_image_format:=jpg publish_output_image_w:=960 publish_output_image_h:=544
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法（人体、人头、人脸、人手检测框，检测框类型和目标跟踪ID，人体关键点）渲染效果（IP为RDK/X86设备的IP地址）

59
knowledge_hub/skills/clip-retrieval-deployer/SKILL.md
View File

@ -1,59 +0,0 @@
---
name: clip-retrieval-deployer
description: 指导用户在 RDK 板端部署文本图片特征检索算法（支持 RDK S100 和 RDK X5），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署文本图片特征检索算法并解决报错。请根据开发板类型，严格按照以下流程指导用户执行。
## 部署流程
1. 依赖安装
```bash
pip3 install onnxruntime
pip3 install ftfy
pip3 install wcwidth
pip3 install regex
```
2. 从Web端下载运行示例需要的模型文件。
```bash
wget http://archive.d-robotics.cc/models/clip_encode_text/text_encoder.tar.gz
sudo tar -xf text_encoder.tar.gz -C config
```
3. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
4. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/clip_encode_image/config/ .
```
5. 启动入库launch文件
RDK S100：
```bash
ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_storage_folder:=/root/config
```
RDK X5：
```bash
ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_db_file:=clip.db clip_storage_folder:=/root/config
```
6. 重开一个终端，配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
7. 启动检索launch文件
RDK S100：
```bash
ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram"
```
RDK X5：
```bash
ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram"
```
8. 检索结果可视化
打开另一个终端
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/clip_manage/config/index.html .
python -m http.server 8080
```
9. 查看检索结果
在PC端的浏览器输入http://IP:8080 即可查看图像检索结果（IP为设备IP地址）。

71
knowledge_hub/skills/deepseek-llm-deployer/SKILL.md
View File

@ -1,71 +0,0 @@
---
name: deepseek-llm-deployer
description: 指导用户在 RDK 板端部署 DeepSeek 大语言模型（终端交互体验和订阅发布体验），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 DeepSeek 大语言模型并解决报错。请根据体验方式，严格按照以下对应的流程指导用户执行。
## 终端交互体验
1. 下载模型文件
```bash
wget -c ftp://oeftp@sdk.d-robotics.cc/oe_llm/model/DeepSeek_R1_Distill_Qwen_1.5B_1024.hbm --ftp-password=Oeftp~123$%
```
2. 设置 ION 内存空间最大, 满足大模型推理需求
```bash
/usr/hobot/bin/hb_switch_ion.sh bpu_first
reboot
```
3. 设置性能模式（注意：仅RDK S100P 支持性能模式）
```bash
devmem 0x2b047000 32 0x99
devmem 0x2b047004 32 0x99
```
4. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
5. 运行模型
```bash
lib=/opt/tros/humble/lib/hobot_xlm/lib
export LD_LIBRARY_PATH=${lib}:${LD_LIBRARY_PATH}
cp -r /opt/tros/humble/lib/hobot_xlm/config/ .
ros2 run hobot_xlm hobot_xlm --ros-args -p feed_type:=0 -p model_name:="DeepSeek_R1_Distill_Qwen_1.5B"
```
## 订阅发布体验
1. 下载模型文件
```bash
wget -c ftp://oeftp@sdk.d-robotics.cc/oe_llm/model/DeepSeek_R1_Distill_Qwen_1.5B_1024.hbm --ftp-password=Oeftp~123$%
```
2. 设置 ION 内存空间最大, 满足大模型推理需求
```bash
/usr/hobot/bin/hb_switch_ion.sh bpu_first
reboot
```
3. 设置性能模式（注意：仅RDK S100P 支持性能模式）
```bash
devmem 0x2b047000 32 0x99
devmem 0x2b047004 32 0x99
```
4. 启动 hobot_llm
配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
lib=/opt/tros/humble/lib/hobot_xlm/lib
export LD_LIBRARY_PATH=${lib}:${LD_LIBRARY_PATH}
cp -r /opt/tros/humble/lib/hobot_xlm/config/ .
ros2 run hobot_xlm hobot_xlm --ros-args -p feed_type:=1 -p ros_string_sub_topic_name:="/prompt_text" -p model_name:="DeepSeek_R1_Distill_Qwen_1.5B"
```
5. 新开一个终端订阅输出结果topic
配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
ros2 topic echo /tts_text
```
6. 新开一个终端发布消息
配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
ros2 topic pub --once /prompt_text std_msgs/msg/String "{data: ""简单描述人工智能的发展""}"
```

67
knowledge_hub/skills/dosod-detection-deployer/SKILL.md
View File

@ -1,67 +0,0 @@
---
name: dosod-detection-deployer
description: 指导用户在 RDK 板端部署 DOSOD 目标检测算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 DOSOD 目标检测算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_dosod/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch hobot_dosod dosod.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_dosod/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch hobot_dosod dosod.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_dosod/config/ .
```
3. 配置本地回灌
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch hobot_dosod dosod.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

55
knowledge_hub/skills/edgesam-segmentation-deployer/SKILL.md
View File

@ -1,55 +0,0 @@
---
name: edgesam-segmentation-deployer
description: 指导用户在 RDK 板端部署 EdgeSAM 图像分割算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 EdgeSAM 图像分割算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
3. 启动launch文件
```bash
ros2 launch mono_edgesam sam.launch.py
```
4. 测试效果
推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 手动打开界面右上角设置, 选中"Full Image Segmentation"选项, 可以显示渲染效果。
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
3. 启动launch文件
```bash
ros2 launch mono_edgesam sam.launch.py
```
4. 测试效果
推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 手动打开界面右上角设置, 选中"Full Image Segmentation"选项, 可以显示渲染效果。
## 使用本地照片回灌
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 配置本地回灌图片
```bash
export CAM_TYPE=fb
```
3. 启动launch文件
```bash
ros2 launch mono_edgesam sam.launch.py
```
4. 测试效果
推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 手动打开界面右上角设置, 选中"Full Image Segmentation"选项, 可以显示渲染效果。

64
knowledge_hub/skills/efficientnet-det-deployer/SKILL.md
View File

@ -1,64 +0,0 @@
---
name: efficientnet-det-deployer
description: 指导用户在 RDK 板端部署 EfficientNet_Det 目标检测算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 EfficientNet_Det 目标检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image:=config/target.jpg
```

34
knowledge_hub/skills/elevation-net-deployer/SKILL.md
View File

@ -1,34 +0,0 @@
---
name: elevation-net-deployer
description: 指导用户在 RDK 板端部署单目高程网络检测算法，提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署单目高程网络检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy），严格按照以下对应的流程指导用户执行。
## Humble 版本部署流程
1. 配置 tros.b humble 环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/elevation_net/config/ .
```
3. 启动launch文件
```bash
ros2 launch elevation_net elevation_net.launch.py
```
## Foxy 版本部署流程
1. 配置 tros.b humble 环境
```bash
source /opt/tros/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/elevation_net/config/ .
```
3. 启动launch文件
```bash
ros2 launch elevation_net elevation_net.launch.py

47
knowledge_hub/skills/face-age-deployer/SKILL.md
View File

@ -1,47 +0,0 @@
---
name: face-age-deployer
description: 指导用户在 RDK 板端部署人脸年龄检测算法（MIPI摄像头、USB摄像头），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人脸年龄检测算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch face_age_detection body_det_face_age_det.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch face_age_detection body_det_face_age_det.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

47
knowledge_hub/skills/face-landmarks-deployer/SKILL.md
View File

@ -1,47 +0,0 @@
---
name: face-landmarks-deployer
description: 指导用户在 RDK 板端部署人脸 106 关键点检测算法（MIPI摄像头、USB摄像头），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人脸 106 关键点检测算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch face_landmarks_detection body_det_face_landmarks_det.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch face_landmarks_detection body_det_face_landmarks_det.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

64
knowledge_hub/skills/fcos-detection-deployer/SKILL.md
View File

@ -1,64 +0,0 @@
---
name: fcos-detection-deployer
description: 指导用户在 RDK 板端部署 FCOS 目标检测算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 FCOS 目标检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image:=config/target.jpg
```

88
knowledge_hub/skills/gesture-recognition-deployer/SKILL.md
View File

@ -1,88 +0,0 @@
---
name: gesture-recognition-deployer
description: 指导用户在 RDK 板端部署手势识别算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署手势识别算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_gesture_detection/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch hand_gesture_detection hand_gesture_detection.launch.py
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK/X86设备的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_gesture_detection/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch hand_gesture_detection hand_gesture_detection.launch.py
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK/X86设备的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_gesture_detection/config/ .
```
3. 配置本地回灌图片
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch hand_gesture_detection hand_gesture_detection.launch.py publish_image_source:=config/person_face_hand.jpg publish_image_format:=jpg publish_output_image_w:=960 publish_output_image_h:=544 publish_fps:=30
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK/X86设备的IP地址）

59
knowledge_hub/skills/hand-keypoint-deployer/SKILL.md
View File

@ -1,59 +0,0 @@
---
name: hand-keypoint-deployer
description: 指导用户在 RDK 板端部署人手关键点检测算法（MIPI摄像头、USB摄像头），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人手关键点检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch hand_lmk_detection hand_lmk_detection.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch hand_lmk_detection hand_lmk_detection.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

70
knowledge_hub/skills/hand-landmarks-mediapipe-deployer/SKILL.md
View File

@ -1,70 +0,0 @@
---
name: hand-landmarks-mediapipe-deployer
description: 指导用户在 RDK 板端部署人手关键点及手势识别（mediapipe）算法（MIPI摄像头、USB摄像头、本地图片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人手关键点及手势识别（mediapipe）算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/palm_detection_mediapipe/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_landmarks_mediapipe/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch hand_landmarks_mediapipe hand_landmarks.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/palm_detection_mediapipe/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_landmarks_mediapipe/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch hand_landmarks_mediapipe hand_landmarks.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地图片回灌
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/palm_detection_mediapipe/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_landmarks_mediapipe/config/ .
```
3. 配置本地回灌
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch hand_landmarks_mediapipe hand_landmarks.launch.py publish_image_source:=config/example.jpg publish_image_format:=jpg publish_output_image_w:=640 publish_output_image_h:=480
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

70
knowledge_hub/skills/human-instance-tracking-deployer/SKILL.md
View File

@ -1,70 +0,0 @@
---
name: human-instance-tracking-deployer
description: 指导用户在 RDK 板端部署人体实例跟踪算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人体实例跟踪算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/reid/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch reid reid.launch.py
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 其中每个人物上的id为实例ID结果。
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/reid/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch reid reid.launch.py
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 其中每个人物上的id为实例ID结果。
## 使用本地照片回灌
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/reid/config/ .
```
3. 配置本地回灌图片
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch reid reid.launch.py publish_image_source:=config/person_body.jpg publish_image_format:=jpg publish_output_image_w:=1920 publish_output_image_h:=1080
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 其中每个人物上的id为实例ID结果。

58
knowledge_hub/skills/lidar-detection-deployer/SKILL.md
View File

@ -1,58 +0,0 @@
---
name: lidar-detection-deployer
description: 指导用户在 RDK 板端部署激光雷达目标检测算法（本地点云文件回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署激光雷达目标检测算法并解决报错，请根据开发板的ROS版本执行下面对应的算法部署流程。
## Humble 版本部署流程
1. 板端下载回灌的点云文件
```bash
cd ~
wget http://archive.d-robotics.cc/TogetheROS/data/hobot_centerpoint_data.tar.gz
```
2. 解压缩
```bash
mkdir -p ~/centerpoint_data
tar -zxvf ~/hobot_centerpoint_data.tar.gz -C ~/centerpoint_data
```
3. 配置tros.b humble环境
```bash
source /opt/tros/humble/setup.bash
if [ -L qat ]; then rm qat; fi
ln -s `ros2 pkg prefix hobot_centerpoint`/lib/hobot_centerpoint/qat/ qat
ln -s ~/centerpoint_data centerpoint_data
```
4. 启动launch文件
```bash
ros2 launch hobot_centerpoint hobot_centerpoint.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## Foxy 版本部署流程
1. 板端下载回灌的点云文件
```bash
cd ~
wget http://archive.d-robotics.cc/TogetheROS/data/hobot_centerpoint_data.tar.gz
```
2. 解压缩
```bash
mkdir config
tar -zxvf hobot_centerpoint_data.tar.gz -C config
```
3. 配置tros.b环境
```bash
source /opt/tros/setup.bash
```
4. 启动websocket服务
```bash
ros2 launch websocket websocket_service.launch.py
```
5. 启动launch文件
```bash
ros2 launch hobot_centerpoint hobot_centerpoint_websocket.launch.py lidar_pre_path:=config/hobot_centerpoint_data
```
6. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK实际的IP地址）

64
knowledge_hub/skills/mobilenet-ssd-deployer/SKILL.md
View File

@ -1,64 +0,0 @@
---
name: mobilenet-ssd-deployer
description: 指导用户在 RDK 板端部署 MobileNet_SSD 目标检测算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 MobileNet_SSD 目标检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy），严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image:=config/target.jpg
```

60
knowledge_hub/skills/mobilenet-unet-deployer/SKILL.md
View File

@ -1,60 +0,0 @@
---
name: mobilenet-unet-deployer
description: 指导用户在 RDK 板端部署 mobilenet_unet 图像分割算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 mobilenet_unet 图像分割算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=1 dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080
```
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=1 dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080
```
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image:=config/raw_unet.jpg
```

64
knowledge_hub/skills/mobilenetv2-classification-deployer/SKILL.md
View File

@ -1,64 +0,0 @@
---
name: mobilenetv2-classification-deployer
description: 指导用户在 RDK 板端部署 mobilenetv2 图片分类算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 mobilenetv2 图片分类算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image:=config/target_class.jpg
```

67
knowledge_hub/skills/mobilesam-segmentation-deployer/SKILL.md
View File

@ -1,67 +0,0 @@
---
name: mobilesam-segmentation-deployer
description: 指导用户在 RDK 板端部署 MobileSAM 图像分割算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 MobileSAM 图像分割算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_mobilesam/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch mono_mobilesam sam.launch.py
```
5. 测试效果
推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 打开界面右上角设置, 选中"Full Image Segmentation"选项, 可以显示渲染效果。
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_mobilesam/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch mono_mobilesam sam.launch.py
```
5. 测试效果
推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 打开界面右上角设置, 选中"Full Image Segmentation"选项, 可以显示渲染效果。
## 使用本地照片回灌
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_mobilesam/config/ .
```
3. 配置本地回灌图片
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch mono_mobilesam sam.launch.py
```
5. 测试效果
推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 打开界面右上角设置, 选中"Full Image Segmentation"选项, 可以显示渲染效果。

26
knowledge_hub/skills/mono3d-indoor-deployer/SKILL.md
View File

@ -1,26 +0,0 @@
---
name: mono3d-indoor-deployer
description: 指导用户在 RDK 板端部署单目 3D 室内检测算法，提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署单目 3D 室内检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy），严格按照以下对应的流程指导用户执行。
## 部署流程
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono3d_indoor_detection/config/ .
```
3. 启动launch文件
```bash
ros2 launch mono3d_indoor_detection mono3d_indoor_detection.launch.py
```

82
knowledge_hub/skills/optical-flow-deployer/SKILL.md
View File

@ -1,82 +0,0 @@
---
name: optical-flow-deployer
description: 指导用户在 RDK 板端部署光流估计算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署光流估计算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_pwcnet/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch mono_pwcnet pwcnet.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_pwcnet/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch mono_pwcnet pwcnet.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_pwcnet/config/ .
```
3. 配置本地回灌图片
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch mono_pwcnet pwcnet.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

67
knowledge_hub/skills/road-structure-deployer/SKILL.md
View File

@ -1,67 +0,0 @@
---
name: road-structure-deployer
description: 指导用户在 RDK 板端部署路面结构化算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署路面结构化算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch parking_perception parking_perception.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch parking_perception parking_perception.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ .
```
3. 配置本地回灌
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch parking_perception parking_perception.launch.py
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

22
knowledge_hub/skills/sensevoice-deployer/SKILL.md
View File

@ -1,22 +0,0 @@
---
name: sensevoice-deployer
description: 指导用户在 RDK 板端部署 Sensevoice 智能语音算法，提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 Sensevoice 智能语音算法并解决报错。请严格按照以下流程指导用户执行。
## 部署流程
1. 安装智能语音算法包
```bash
sudo apt update
sudo apt install tros-humble-sensevoice-ros2
```
2. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
3. 启动launch文件
```bash
ros2 launch sensevoice_ros2 sensevoice_ros2.launch.py micphone_name:="plughw:0,0"
```

42
knowledge_hub/skills/smart-voice-deployer/SKILL.md
View File

@ -1,42 +0,0 @@
---
name: smart-voice-deployer
description: 指导用户在 RDK 板端部署智能语音算法，提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署智能语音算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy），严格按照以下对应的流程指导用户执行。
## 部署流程
1. 安装智能语音算法包
```bash
sudo apt update
```
foxy版本：
```bash
sudo apt install tros-hobot-audio
```
humble版本：
```bash
sudo apt install tros-humble-hobot-audio
```
2. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
3. 从tros.b的安装路径中拷贝出运行示例需要的配置文件，若已拷贝则可忽略
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_audio/config/ .
```
4. 屏蔽调式打印信息
```bash
export GLOG_minloglevel=3
```
5. 启动launch文件
```bash
ros2 launch hobot_audio hobot_audio.launch.py
```

34
knowledge_hub/skills/stereo-depth-deployer/SKILL.md
View File

@ -1,34 +0,0 @@
---
name: stereo-depth-deployer
description: 指导用户在 RDK 板端部署双目深度算法（支持 RDK X5 和 RDK S100），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署双目深度算法并解决报错。请根据用户的开发板卡类型（RDK X5 或 RDK S100），严格按照以下对应的流程指导用户执行。
## RDK X5 部署流程
1. 配置tros.b humble环境
```bash
source /opt/tros/humble/setup.bash
```
2. 启动双目模型launch文件，其包含了算法和双目相机节点的启动
```bash
ros2 launch hobot_stereonet stereonet_model_web_visual_v2.1.launch.py mipi_image_width:=640 mipi_image_height:=352 mipi_lpwm_enable:=True mipi_image_framerate:=30.0 need_rectify:=False height_min:=-10.0 height_max:=10.0 pc_max_depth:=5.0 uncertainty_th:=0.1
```
3. 测试模型效果
网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000
## RDK S100 部署流程
1. 配置tros.b humble环境
```bash
source /opt/tros/humble/setup.bash
```
2. 启动双目模型launch文件，其包含了算法和双目相机节点的启动
```bash
ros2 launch hobot_stereonet stereonet_model_web_visual_v2.4.launch.py \
mipi_image_width:=640 mipi_image_height:=352 mipi_lpwm_enable:=False mipi_image_framerate:=30.0 \
need_rectify:=False height_min:=-10.0 height_max:=10.0 pc_max_depth:=5.0 \
uncertainty_th:=0.1
```
3. 测试模型效果
网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000

29
knowledge_hub/skills/stereo-occ-deployer/SKILL.md
View File

@ -1,29 +0,0 @@
---
name: stereo-occ-deployer
description: 指导用户在 RDK 板端部署双目 OCC 算法（使用本地图片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署双目 OCC 算法并解决报错。请严格按照以下流程指导用户执行。
## 部署流程
1. 配置tros.b humble环境
```bash
source /opt/tros/humble/setup.bash
```
2. 启动ZED-2i相机和占用网络推理程序
```bash
ros2 launch dstereo_occnet zed2i_occ_node.launch.py
```
3. 启动launch文件
```bash
ros2 launch mono3d_indoor_detection mono3d_indoor_detection.launch.py
```
4. 查看双目图像
程序启动后可以通过网页查看ZED-2i发布的双目图像，在PC端浏览器输入[http://IP:8000](http://ip:8000/) 即可查看双目图像（IP为RDK板端的IP），并且要保证PC和RDK能通过网络通讯
5. 通过rviz2可查看占用网格
```bash
sudo apt install ros-humble-rviz2
source /opt/tros/humble/setup.bash
rviz2
```

69
knowledge_hub/skills/vision-language-model-deployer/SKILL.md
View File

@ -1,69 +0,0 @@
---
name: vision-language-model-deployer
description: 指导用户在 RDK 板端部署视觉语言模型（支持 RDK X5 和 RDK S100），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署视觉语言模型并解决报错。请根据用户的板卡类型（RDK X5 或 RDK S100），严格按照以下对应的流程指导用户执行。
## RDK X5 部署流程
1. 下载功能包
```bash
sudo apt update
sudo apt install tros-humble-hobot-llamacpp
```
2. 系统配置
手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。
重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下：
```bash
sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu0/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu1/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu2/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu3/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu4/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu5/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu6/cpufreq/scaling_governor'
```
3. 下载模型文件到运行路径
```bash
wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/Qwen2.5-0.5B-Instruct-Q4_0.gguf
wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/rdkx5/vit_model_int16_v2.bin
```
4. 启动程序
```bash
source /opt/tros/humble/setup.bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_llamacpp/config/ .
ros2 run hobot_llamacpp hobot_llamacpp --ros-args -p feed_type:=0 -p image:=config/image2.jpg -p image_type:=0 -p user_prompt:="描述一下这张图片." -p model_file_name:=vit_model_int16_v2.bin -p llm_model_name:=Qwen2.5-0.5B-Instruct-Q4_0.gguf
```
## RDK S100 部署流程
1. 下载功能包
```bash
sudo apt update
sudo apt install tros-humble-hobot-llamacpp
```
2. 系统配置
手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。
重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下：
```bash
sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu0/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu1/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu2/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu3/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu4/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu5/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu6/cpufreq/scaling_governor'
```
3. 下载模型文件到运行路径
```bash
wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/Qwen2.5-0.5B-Instruct-Q4_0.gguf
wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/rdks100/vit_model_int16.hbm
```
4. 启动程序
```bash
source /opt/tros/humble/setup.bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_llamacpp/config/ .
ros2 run hobot_llamacpp hobot_llamacpp --ros-args -p feed_type:=0 -p image:=config/image2.jpg -p image_type:=0 -p user_prompt:="描述一下这张图片." -p model_file_name:=vit_model_int16.hbm -p llm_model_name:=Qwen2.5-0.5B-Instruct-Q4_0.gguf
```

24
knowledge_hub/skills/visual-inertial-odometry-deployer/SKILL.md
View File

@ -1,24 +0,0 @@
---
name: visual-inertial-odometry-deployer
description: 指导用户在 RDK 板端部署视觉惯性里程计算法，提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署视觉惯性里程计算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy），严格按照以下对应的流程指导用户执行。
## 部署流程
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 启动launch文件
```bash
ros2 launch hobot_vio hobot_vio.launch.py
```
3. 轨迹结果可在PC的rviz2软件查看
输出topic：horizon_vio/horizon_vio_path（vio算法输出的机器人运动轨迹）

64
knowledge_hub/skills/yolo-detection-deployer/SKILL.md
View File

@ -1,64 +0,0 @@
---
name: yolo-detection-deployer
description: 指导用户在 RDK 板端部署 YOLO 目标检测算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 YOLO 目标检测算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080
```
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image:=config/target.jpg
```

68
knowledge_hub/skills/yolo-pose-deployer/SKILL.md
View File

@ -1,68 +0,0 @@
---
name: yolo-pose-deployer
description: 指导用户在 RDK 板端部署人体检测和跟踪（Ultralytics YOLO Pose）算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署人体检测和跟踪（Ultralytics YOLO Pose）算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py kps_model_type:=1 kps_image_width:=1920 kps_image_height:=1080 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py kps_model_type:=1 kps_image_width:=1920 kps_image_height:=1080 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/dnn_node_example/config/ .
```
3. 配置本地回灌图片
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py publish_image_source:=config/person_body.jpg publish_image_format:=jpg kps_model_type:=1 kps_image_width:=640 kps_image_height:=640 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm
```
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）

67
knowledge_hub/skills/yolo-world-deployer/SKILL.md
View File

@ -1,67 +0,0 @@
---
name: yolo-world-deployer
description: 指导用户在 RDK 板端部署 YOLO-World 目标检测算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 YOLO-World 目标检测算法并解决报错。请根据用户的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_yolo_world/config/ .
```
3. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
4. 启动launch文件
```bash
ros2 launch hobot_yolo_world yolo_world.launch.py yolo_world_texts:="red bottle,trash bin"
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 用 USB 摄像头部署
1. 配置tros.b环境
```bash
source /opt/tros/humble/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_yolo_world/config/ .
```
3. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
4. 启动launch文件
```bash
ros2 launch hobot_yolo_world yolo_world.launch.py yolo_world_texts:="red bottle,trash bin"
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
## 使用本地照片回灌
1. 配置tros.b环境（若为humble则用source /opt/tros/humble/setup.bash）
```bash
source /opt/tros/setup.bash
```
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
```bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_yolo_world/config/ .
```
3. 配置本地回灌图片
```bash
export CAM_TYPE=fb
```
4. 启动launch文件
```bash
ros2 launch hobot_yolo_world yolo_world.launch.py yolo_world_texts:="red bottle,trash bin"
```
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

60
knowledge_hub/skills/yolov8-seg-deployer/SKILL.md
View File

@ -1,60 +0,0 @@
---
name: yolov8-seg-deployer
description: 指导用户在 RDK 板端部署 Ultralytics YOLOv8-Seg 图像分割算法（MIPI摄像头、USB摄像头、本地照片回灌），提供 ROS 2 Humble 和 Foxy 版本的详细环境配置与启动指令。
---
# 角色设定 (Role)
你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 Ultralytics YOLOv8-Seg 图像分割算法并解决报错。请根据开发板的 ROS 版本（Humble 或 Foxy）和使用的摄像头类型，严格按照以下对应的流程指导用户执行。
## 用 MIPI 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置MIPI摄像头
```bash
export CAM_TYPE=mipi
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=0 dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080
```
## 用 USB 摄像头部署
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 配置usb摄像头
```bash
export CAM_TYPE=usb
```
3. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=0 dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080
```
## 使用本地照片回灌
1. 配置tros.b环境
foxy版本:
```bash
source /opt/tros/setup.bash
```
humble版本:
```bash
source /opt/tros/humble/setup.bash
```
2. 启动launch文件
```bash
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image:=config/test.jpg
```

14
knowledge_hub/人体检测和跟踪算法部署体验流程.md Normal file
View File

@ -0,0 +1,14 @@
# 人体检测和跟踪算法部署体验流程：
1. 配置tros.b humble环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
3. 启动launch文件
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py kps_model_type:=1 kps_image_width:=1920 kps_image_height:=1080 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm
3. 测试模型效果
网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000

15
knowledge_hub/人体检测和跟踪算法部署流程.md
View File

@ -1,8 +1,7 @@
# 人体检测和跟踪算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
@ -19,9 +18,8 @@ ros2 launch mono2d_body_detection mono2d_body_detection.launch.py
# 人体检测和跟踪算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
@ -38,9 +36,8 @@ ros2 launch mono2d_body_detection mono2d_body_detection.launch.py
# 人体检测和跟踪算法部署流程：使用本地照片回灌
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .

10
knowledge_hub/人手关键点检测算法部署流程.md
View File

@ -1,8 +1,7 @@
# 人手关键点检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
@ -18,9 +17,8 @@ ros2 launch hand_lmk_detection hand_lmk_detection.launch.py
# 人手关键点检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .

33
knowledge_hub/光流估计算法部署流程.md
View File

@ -1,53 +1,50 @@
# 光流估计算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_pwcnet/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ .
3. 配置MIPI摄像头
export CAM_TYPE=mipi
4. 启动launch文件
ros2 launch mono_pwcnet pwcnet.launch.py
ros2 launch parking_perception parking_perception.launch.py
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# 光流估计算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_pwcnet/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ .
3. 配置usb摄像头
export CAM_TYPE=usb
3. 配置sub摄像头
export CAM_TYPE=sub
4. 启动launch文件
ros2 launch mono_pwcnet pwcnet.launch.py
ros2 launch parking_perception parking_perception.launch.py
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# 光流估计算法部署流程：使用本地照片回灌
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_pwcnet/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ .
3. 配置本地回灌图片
3. 配置MIPI摄像头
export CAM_TYPE=fb
4. 启动launch文件
ros2 launch mono_pwcnet pwcnet.launch.py
ros2 launch parking_perception parking_perception.launch.py
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

5
knowledge_hub/单目3D室内检测算法部署流程.md
View File

@ -1,8 +1,7 @@
# 单目3D室内检测算法部署流程：
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono3d_indoor_detection/config/ .

8
knowledge_hub/单目高程网络检测算法部署流程.md
View File

@ -1,12 +1,10 @@
# 单目高程网络检测算法部署流程：
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/elevation_net/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/elevation_net/config/
3. 启动launch文件
ros2 launch elevation_net elevation_net.launch.py

11
knowledge_hub/双目深度+YOLO v8效果体验流程.md Normal file
View File

@ -0,0 +1,11 @@
# 目深度模型+YOLO v8效果体验流程
1. 启动双目深度模型+YOLO v8模型的脚本
bash /userdata/start_stereo.sh
2. 查看日志
tail -111f /userdata/stereo_output.log
3. 测试模型效果
网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000/TogetheROS/。你需要帮助用户执行open {网页地址}的命令，帮用户直接打开浏览器查看深度图。
注意：要先查看日志再打开网页

19
knowledge_hub/双目深度算法部署体验流程.md
View File

@ -1,28 +1,13 @@
# 双目深度算法部署体验流程：RDX X5
1. 配置tros.b humble环境
source /opt/tros/humble/setup.bash
2. 启动双目模型launch文件，其包含了算法和双目相机节点的启动
ros2 launch hobot_stereonet stereonet_model_web_visual_v2.1.launch.py
mipi_image_width:=640 mipi_image_height:=352 mipi_lpwm_enable:=True mipi_image_framerate:=30.0
need_rectify:=False height_min:=-10.0 height_max:=10.0 pc_max_depth:=5.0
uncertainty_th:=0.1
3. 测试模型效果
网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000
# 双目深度算法部署体验流程：RDX S100
# 双目深度算法部署体验流程
1. 配置tros.b humble环境
source /opt/tros/humble/setup.bash
2. 启动双目模型launch文件，其包含了算法和双目相机节点的启动
ros2 launch hobot_stereonet stereonet_model_web_visual_v2.4.launch.py \
mipi_image_width:=640 mipi_image_height:=352 mipi_lpwm_enable:=False mipi_image_framerate:=30.0 \
mipi_image_width:=640 mipi_image_height:=352 mipi_lpwm_enable:=True mipi_image_framerate:=30.0 \
need_rectify:=False height_min:=-10.0 height_max:=10.0 pc_max_depth:=5.0 \
uncertainty_th:=0.1
3. 测试模型效果
网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000

15
knowledge_hub/手势识别算法部署流程.md
View File

@ -1,8 +1,7 @@
# 手势识别算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
@ -20,9 +19,8 @@ ros2 launch hand_gesture_detection hand_gesture_detection.launch.py
# 手势识别算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
@ -41,9 +39,8 @@ ros2 launch hand_gesture_detection hand_gesture_detection.launch.py
# 手势识别算法部署流程：使用本地照片回灌
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .

31
knowledge_hub/文本图片特征检索算法部署流程.md
View File

@ -1,4 +1,5 @@
# 文本图片特征检索算法部署流程：
# 文本图片特征检索算法部署流程：CLIP 入库
1. 依赖安装
pip3 install onnxruntime
pip3 install ftfy
@ -15,22 +16,32 @@ source /opt/tros/humble/setup.bash
4. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/clip_encode_image/config/ .
5. 启动入库launch文件
RDK S100：ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_storage_folder:=/root/config
RDK X5：ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_db_file:=clip.db clip_storage_folder:=/root/config
5. 启动launch文件，RDK S100为例，RDK X5 为ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_db_file:=clip.db clip_storage_folder:=/root/config
ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_storage_folder:=/root/config
6. 重开一个终端，配置tros.b环境
# 文本图片特征检索算法部署流程：检索
1. 依赖安装
pip3 install onnxruntime
pip3 install ftfy
pip3 install wcwidth
pip3 install regex
2. 从Web端下载运行示例需要的模型文件。
wget http://archive.d-robotics.cc/models/clip_encode_text/text_encoder.tar.gz
sudo tar -xf text_encoder.tar.gz -C config
3. 配置tros.b环境
source /opt/tros/humble/setup.bash
7. 启动检索launch文件
RDK S100：ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram"
RDK X5：launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram"
4. 启动launch文件，RDK S100为例，RDK X5 为ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram"
ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram"
8. 检索结果可视化
5. 检索结果可视化
打开另一个终端
cp -r /opt/tros/${TROS_DISTRO}/lib/clip_manage/config/index.html .
python -m http.server 8080
9. 查看检索结果
6. 查看检索结果
在PC端的浏览器输入http://IP:8080 即可查看图像检索结果（IP为设备IP地址）。

10
knowledge_hub/智能语音算法部署流程.md
View File

@ -1,13 +1,11 @@
# 智能语音算法部署流程：
1. 安装智能语音算法包
1. 安装智能语音算法包 若为humble版本则用sudo apt install tros-humble-hobot-audio
sudo apt update
foxy版本：sudo apt install tros-hobot-audio
humble版本：sudo apt install tros-humble-hobot-audio
sudo apt install tros-hobot-audio
2. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
3. 从tros.b的安装路径中拷贝出运行示例需要的配置文件，若已拷贝则可忽略
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_audio/config/ .

5
knowledge_hub/激光雷达目标检测算法部署流程.md
View File

@ -15,8 +15,7 @@ ln -s `ros2 pkg prefix hobot_centerpoint`/lib/hobot_centerpoint/qat/ qat
ln -s ~/centerpoint_data centerpoint_data
4. 启动launch文件
ros2 launch hobot_centerpoint hobot_centerpoint.launch.py
ros2 launch hobot_centerpoint hobot_centerpoint.launch.p
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
@ -39,6 +38,6 @@ ros2 launch websocket websocket_service.launch.py
5. 启动launch文件
ros2 launch hobot_centerpoint hobot_centerpoint_websocket.launch.py lidar_pre_path:=config/hobot_centerpoint_data
6. 测试效果
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

5
knowledge_hub/视觉惯性里程计算法部署流程.md
View File

@ -1,8 +1,7 @@
# 视觉惯性里程计算法部署流程：
1. 配置tros.b环境
foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 启动launch文件
ros2 launch hobot_vio hobot_vio.launch.py