zhaoming.han/rdk_robot_dev_agent
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Merge pull request 'Expand knowledge of the RDK algorithm repository' (#1) from feature/rdk-alg-deploy-md into main

Browse Source 
Reviewed-on: #1
This commit is contained in:
zhaoming.han 2025-12-11 17:06:09 +08:00
commit 66a3d866ff
33 changed files with 1274 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

45
knowledge_hub/BEV感知算法部署流程.md Normal file
View File

@ -0,0 +1,45 @@
# BEV感知算法部署流程：使用本地数据集回灌（humble版本）
1. 板端下载回灌的点云文件
wget http://archive.d-robotics.cc/TogetheROS/data/hobot_bev_data.tar.gz
2. 解压缩
mkdir -p hobot_bev_data
tar -zxvf hobot_bev_data.tar.gz -C hobot_bev_data
3. 配置tros.b环境
source /opt/tros/setup.bash
4. 启动websocket服务
ros2 launch websocket websocket_service.launch.py
5. 启动运行脚本，并指定数据集路径
ros2 launch hobot_bev hobot_bev.launch.py image_pre_path:=hobot_bev_data/data
6. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# BEV感知算法部署流程：使用本地数据集回灌（foxy版本）
1. 板端下载回灌的点云文件
cd ~
wget http://archive.d-robotics.cc/TogetheROS/data/nuscenes_bev_val/nuscenes_bev_val.tar.gz
2. 解压缩
mkdir -p ~/hobot_bev_data
tar -zxvf ~/nuscenes_bev_val.tar.gz -C ~/hobot_bev_data
3. 配置tros.b humble环境
source /opt/tros/humble/setup.bash
if [ -L qat ]; then rm qat; fi
ln -s `ros2 pkg prefix hobot_bev`/lib/hobot_bev/qat/ qat
ln -s ~/hobot_bev_data/nuscenes_bev_val nuscenes_bev_val
4. 启动launch文件
ros2 launch hobot_bev hobot_bev.launch.py
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

60
knowledge_hub/Bloom大语言模型部署流程.md Normal file
View File

@ -0,0 +1,60 @@
# Bloom大语言模型部署流程：终端交互体验
1. 安装transformers
pip3 install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple
2. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
3. 下载模型文件
wget http://archive.d-robotics.cc/llm-model/llm_model.tar.gz
4. 解压
sudo tar -xf llm_model.tar.gz -C /opt/tros/${TROS_DISTRO}/lib/hobot_llm/
5. 系统配置
手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。
重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下：
sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor'
6. 重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
7. 启动launch文件
ros2 run hobot_llm hobot_llm_chat
# Bloom大语言模型部署流程：订阅发布体验
1. 安装transformers
pip3 install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple
2. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
3. 下载模型文件
wget http://archive.d-robotics.cc/llm-model/llm_model.tar.gz
4. 解压
sudo tar -xf llm_model.tar.gz -C /opt/tros/${TROS_DISTRO}/lib/hobot_llm/
5. 系统配置
手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。
重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下：
sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor'
6. 启动 hobot_llm
重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
ros2 run hobot_llm hobot_llm
7. 新开一个终端订阅输出结果topic
重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
ros2 topic echo /text_result
8. 新开一个终端发布消息
重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
ros2 topic pub --once /text_query std_msgs/msg/String "{data: ""中国的首都是哪里""}"

53
knowledge_hub/DOSOD目标检测算法部署流程.md Normal file
View File

@ -0,0 +1,53 @@
# DOSOD目标检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_dosod/config/ .
3. 配置MIPI摄像头
export CAM_TYPE=mipi
4. 启动launch文件
ros2 launch hobot_dosod dosod.launch.py
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# DOSOD目标检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_dosod/config/ .
3. 配置usb摄像头
export CAM_TYPE=usb
4. 启动launch文件
ros2 launch hobot_dosod dosod.launch.py
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# DOSOD目标检测算法部署流程：用本地照片回灌
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_dosod/config/ .
3. 配置usb摄像头
export CAM_TYPE=fb
4. 启动launch文件
ros2 launch hobot_dosod dosod.launch.py
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

53
knowledge_hub/DeepSeek大语言模型部署流程.md Normal file
View File

@ -0,0 +1,53 @@
# DeepSeek大语言模型部署流程：终端交互体验
1. 下载模型文件
wget -c ftp://oeftp@sdk.d-robotics.cc/oe_llm/model/DeepSeek_R1_Distill_Qwen_1.5B_1024.hbm --ftp-password=Oeftp~123$%
2. 设置 ION 内存空间最大, 满足大模型推理需求
/usr/hobot/bin/hb_switch_ion.sh bpu_first
reboot
3. 设置性能模式 注意：仅RDK S100P 支持性能模式
devmem 0x2b047000 32 0x99
devmem 0x2b047004 32 0x99
4. 配置tros.b环境
source /opt/tros/humble/setup.bash
5. 运行模型
lib=/opt/tros/humble/lib/hobot_xlm/lib
export LD_LIBRARY_PATH=${lib}:${LD_LIBRARY_PATH}
cp -r /opt/tros/humble/lib/hobot_xlm/config/ .
ros2 run hobot_xlm hobot_xlm --ros-args -p feed_type:=0 -p model_name:="DeepSeek_R1_Distill_Qwen_1.5B"
# DeepSeek大语言模型部署流程：订阅发布体验
1. 下载模型文件
wget -c ftp://oeftp@sdk.d-robotics.cc/oe_llm/model/DeepSeek_R1_Distill_Qwen_1.5B_1024.hbm --ftp-password=Oeftp~123$%
2. 设置 ION 内存空间最大, 满足大模型推理需求
/usr/hobot/bin/hb_switch_ion.sh bpu_first
reboot
3. 设置性能模式 注意：仅RDK S100P 支持性能模式
devmem 0x2b047000 32 0x99
devmem 0x2b047004 32 0x99
4. 启动 hobot_llm
配置tros.b环境
source /opt/tros/humble/setup.bash
lib=/opt/tros/humble/lib/hobot_xlm/lib
export LD_LIBRARY_PATH=${lib}:${LD_LIBRARY_PATH}
cp -r /opt/tros/humble/lib/hobot_xlm/config/ .
ros2 run hobot_xlm hobot_xlm --ros-args -p feed_type:=1 -p ros_string_sub_topic_name:="/prompt_text" -p model_name:="DeepSeek_R1_Distill_Qwen_1.5B"
5. 新开一个终端订阅输出结果topic
配置tros.b环境
source /opt/tros/humble/setup.bash
ros2 topic echo /tts_text
6. 新开一个终端发布消息
配置tros.b环境
source /opt/tros/humble/setup.bash
ros2 topic pub --once /prompt_text std_msgs/msg/String "{data: ""简单描述人工智能的发展""}"

41
knowledge_hub/EdgeSAM图像分割算法部署流程.md Normal file
View File

@ -0,0 +1,41 @@
# EdgeSAM图像分割算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
3. 启动launch文件
ros2 launch mono_edgesam sam.launch.py
4. 测试效果
推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 手动打开界面右上角设置, 选中”Full Image Segmentation“选项, 可以显示渲染效果。
# EdgeSAM图像分割算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
3. 启动launch文件
ros2 launch mono_edgesam sam.launch.py
4. 测试效果
推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 手动打开界面右上角设置, 选中”Full Image Segmentation“选项, 可以显示渲染效果。
# EdgeSAM图像分割算法部署流程：使用本地照片回灌
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 配置本地回灌图片
export CAM_TYPE=fb
3. 启动launch文件
ros2 launch mono_edgesam sam.launch.py
4. 测试效果
推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 手动打开界面右上角设置, 选中”Full Image Segmentation“选项, 可以显示渲染效果。

37
knowledge_hub/EfficientNet_Det目标检测算法部署流程.md Normal file
View File

@ -0,0 +1,37 @@
# EfficientNet_Det目标检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
3. 启动launch文件
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# EfficientNet_Det目标检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
3. 启动launch文件
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# EfficientNet_Det目标检测算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image:=config/target.jpg

35
knowledge_hub/FCOS目标检测算法部署流程.md Normal file
View File

@ -0,0 +1,35 @@
# FCOS目标检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
3. 启动launch文件
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# FCOS目标检测算法部署流程：用USB摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
3. 启动launch文件
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# FCOS目标检测算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image:=config/target.jpg

36
knowledge_hub/MobileNet_SSD目标检测算法部署流程.md Normal file
View File

@ -0,0 +1,36 @@
# MobileNet_SSD目标检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
3. 启动launch文件
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# MobileNet_SSD目标检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
3. 启动launch文件
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# MobileNet_SSD目标检测算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image:=config/target.jpg

50
knowledge_hub/MobileSAM图像分割算法部署流程.md Normal file
View File

@ -0,0 +1,50 @@
# MobileSAM图像分割算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_mobilesam/config/ .
3. 配置MIPI摄像头
export CAM_TYPE=mipi
4. 启动launch文件
ros2 launch mono_mobilesam sam.launch.py
5. 测试效果
推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 打开界面右上角设置, 选中”Full Image Segmentation“选项, 可以显示渲染效果。
# MobileSAM图像分割算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_mobilesam/config/ .
3. 配置usb摄像头
export CAM_TYPE=usb
4. 启动launch文件
ros2 launch mono_mobilesam sam.launch.py
5. 测试效果
推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 打开界面右上角设置, 选中”Full Image Segmentation“选项, 可以显示渲染效果。
# MobileSAM图像分割算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono_mobilesam/config/ .
3. 配置本地回灌图片
export CAM_TYPE=fb
4. 启动launch文件
ros2 launch mono_mobilesam sam.launch.py
5. 测试效果
推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 打开界面右上角设置, 选中”Full Image Segmentation“选项, 可以显示渲染效果。

11
knowledge_hub/Sensevoice智能语音算法部署流程.md Normal file
View File

@ -0,0 +1,11 @@
# Sensevoice智能语音算法部署流程：
1. 安装智能语音算法包
sudo apt update
sudo apt install tros-humble-sensevoice-ros2
2. 配置tros.b环境
source /opt/tros/humble/setup.bash
3. 启动launch文件
ros2 launch sensevoice_ros2 sensevoice_ros2.launch.py micphone_name:="plughw:0,0"

29
knowledge_hub/Ultralytics YOLOv8-Seg图像分割算法部署流程.md Normal file
View File

@ -0,0 +1,29 @@
# Ultralytics YOLOv8-Seg图像分割算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
3. 启动launch文件
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=0 dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080
# Ultralytics YOLOv8-Seg图像分割算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
3. 启动launch文件
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=0 dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080
# Ultralytics YOLOv8-Seg图像分割算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image:=config/test.jpg

50
knowledge_hub/YOLO-World目标检测算法部署流程.md Normal file
View File

@ -0,0 +1,50 @@
# YOLO-World目标检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_yolo_world/config/ .
3. 配置MIPI摄像头
export CAM_TYPE=mipi
4. 启动launch文件
ros2 launch hobot_yolo_world yolo_world.launch.py yolo_world_texts:="red bottle,trash bin"
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# YOLO-World目标检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_yolo_world/config/ .
3. 配置usb摄像头
export CAM_TYPE=usb
4. 启动launch文件
ros2 launch hobot_yolo_world yolo_world.launch.py yolo_world_texts:="red bottle,trash bin"
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# YOLO-World目标检测算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_yolo_world/config/ .
3. 配置本地回灌图片
export CAM_TYPE=fb
4. 启动launch文件
ros2 launch hobot_yolo_world yolo_world.launch.py yolo_world_texts:="red bottle,trash bin"
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

37
knowledge_hub/YOLO目标检测算法部署流程.md Normal file
View File

@ -0,0 +1,37 @@
# YOLO目标检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
3. 启动launch文件
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# YOLO目标检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
3. 启动launch文件
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# YOLO目标检测算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image:=config/target.jpg

30
knowledge_hub/mobilenet_unet图像分割算法部署流程.md Normal file
View File

@ -0,0 +1,30 @@
# mobilenet_unet图像分割算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
3. 启动launch文件
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=1 dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080
# mobilenet_unet图像分割算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
3. 启动launch文件
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=1 dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080
# mobilenet_unet图像分割算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image:=config/raw_unet.jpg

36
knowledge_hub/mobilenetv2图片分类算法部署流程.md Normal file
View File

@ -0,0 +1,36 @@
# mobilenetv2图片分类算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置MIPI摄像头
export CAM_TYPE=mipi
3. 启动launch文件
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# mobilenetv2图片分类算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 配置usb摄像头
export CAM_TYPE=usb
3. 启动launch文件
ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# mobilenetv2图片分类算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image:=config/target_class.jpg

53
knowledge_hub/人体实例跟踪算法部署流程.md Normal file
View File

@ -0,0 +1,53 @@
# 人体实例跟踪算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/reid/config/ .
3. 配置MIPI摄像头
export CAM_TYPE=mipi
4. 启动launch文件
ros2 launch reid reid.launch.py
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 其中每个人物上的id为实例ID结果。
# 人体实例跟踪算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/reid/config/ .
3. 配置usb摄像头
export CAM_TYPE=usb
4. 启动launch文件
ros2 launch reid reid.launch.py
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 其中每个人物上的id为实例ID结果。
# 人体实例跟踪算法部署流程：使用本地照片回灌
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/reid/config/ .
3. 配置本地回灌图片
export CAM_TYPE=fb
4. 启动launch文件
ros2 launch reid reid.launch.py publish_image_source:=config/person_body.jpg publish_image_format:=jpg publish_output_image_w:=1920 publish_output_image_h:=1080
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 其中每个人物上的id为实例ID结果。

51
knowledge_hub/人体检测和跟踪(Ultralytics YOLO Pose)算法部署流程 copy.md Normal file
View File

@ -0,0 +1,51 @@
# 人体检测和跟踪(Ultralytics YOLO Pose)算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
3. 配置MIPI摄像头
export CAM_TYPE=mipi
4. 启动launch文件
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py kps_model_type:=1 kps_image_width:=1920 kps_image_height:=1080 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# 人体检测和跟踪(Ultralytics YOLO Pose)算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
3. 配置usb摄像头
export CAM_TYPE=usb
4. 启动launch文件
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py kps_model_type:=1 kps_image_width:=1920 kps_image_height:=1080 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）
# 人体检测和跟踪(Ultralytics YOLO Pose)算法部署流程：使用本地照片回灌
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/dnn_node_example/config/ .
3. 配置本地回灌图片
export CAM_TYPE=fb
4. 启动launch文件
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py publish_image_source:=config/person_body.jpg publish_image_format:=jpg kps_model_type:=1 kps_image_width:=640 kps_image_height:=640 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）

53
knowledge_hub/人体检测和跟踪算法部署流程.md Normal file
View File

@ -0,0 +1,53 @@
# 人体检测和跟踪算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
3. 配置MIPI摄像头
export CAM_TYPE=mipi
4. 启动launch文件
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法（人体、人头、人脸、人手检测框，检测框类型和目标跟踪ID，人体关键点）渲染效果（IP为RDK/X86设备的IP地址）
# 人体检测和跟踪算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
3. 配置usb摄像头
export CAM_TYPE=usb
4. 启动launch文件
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法（人体、人头、人脸、人手检测框，检测框类型和目标跟踪ID，人体关键点）渲染效果（IP为RDK/X86设备的IP地址）
# 人体检测和跟踪算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/dnn_node_example/config/ .
3. 配置本地回灌图片
export CAM_TYPE=fb
4. 启动launch文件
ros2 launch mono2d_body_detection mono2d_body_detection.launch.py publish_image_source:=config/person_body.jpg publish_image_format:=jpg publish_output_image_w:=960 publish_output_image_h:=544
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法（人体、人头、人脸、人手检测框，检测框类型和目标跟踪ID，人体关键点）渲染效果（IP为RDK/X86设备的IP地址）

53
knowledge_hub/人手关键点及手势识别(mediapipe)算法部署流程.md Normal file
View File

@ -0,0 +1,53 @@
# 人手关键点及手势识别(mediapipe)算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/palm_detection_mediapipe/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_landmarks_mediapipe/config/ .
3. 配置MIPI摄像头
export CAM_TYPE=mipi
4. 启动launch文件
ros2 launch hand_landmarks_mediapipe hand_landmarks.launch.py
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# 人手关键点及手势识别(mediapipe)算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/palm_detection_mediapipe/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_landmarks_mediapipe/config/ .
3. 配置usb摄像头
export CAM_TYPE=usb
4. 启动launch文件
ros2 launch hand_landmarks_mediapipe hand_landmarks.launch.py
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# 人手关键点及手势识别(mediapipe)算法部署流程：使用本地图片回灌
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/palm_detection_mediapipe/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_landmarks_mediapipe/config/ .
3. 配置usb摄像头
export CAM_TYPE=fb
4. 启动launch文件
ros2 launch hand_landmarks_mediapipe hand_landmarks.launch.py publish_image_source:=config/example.jpg publish_image_format:=jpg publish_output_image_w:=640 publish_output_image_h:=480
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

34
knowledge_hub/人手关键点检测算法部署流程.md Normal file
View File

@ -0,0 +1,34 @@
# 人手关键点检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
3. 配置MIPI摄像头
export CAM_TYPE=mipi
4. 启动launch文件
ros2 launch hand_lmk_detection hand_lmk_detection.launch.py
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# 人手关键点检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
3. 配置usb摄像头
export CAM_TYPE=usb
4. 启动launch文件
ros2 launch hand_lmk_detection hand_lmk_detection.launch.py
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

32
knowledge_hub/人脸106关键点检测算法部署流程.md Normal file
View File

@ -0,0 +1,32 @@
# 人脸106关键点检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
3. 配置MIPI摄像头
export CAM_TYPE=mipi
4. 启动launch文件
ros2 launch face_landmarks_detection body_det_face_landmarks_det.launch.py
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# 人脸106关键点检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
3. 配置usb摄像头
export CAM_TYPE=usb
4. 启动launch文件
ros2 launch face_landmarks_detection body_det_face_landmarks_det.launch.py
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

32
knowledge_hub/人脸年龄检测算法部署流程.md Normal file
View File

@ -0,0 +1,32 @@
# 人脸年龄检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
3. 配置MIPI摄像头
export CAM_TYPE=mipi
4. 启动launch文件
ros2 launch face_age_detection body_det_face_age_det.launch.py
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# 人脸年龄检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
3. 配置usb摄像头
export CAM_TYPE=usb
4. 启动launch文件
ros2 launch face_age_detection body_det_face_age_det.launch.py
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

51
knowledge_hub/光流估计算法部署流程.md Normal file
View File

@ -0,0 +1,51 @@
# 光流估计算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ .
3. 配置MIPI摄像头
export CAM_TYPE=mipi
4. 启动launch文件
ros2 launch parking_perception parking_perception.launch.py
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# 光流估计算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ .
3. 配置sub摄像头
export CAM_TYPE=sub
4. 启动launch文件
ros2 launch parking_perception parking_perception.launch.py
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# 光流估计算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ .
3. 配置MIPI摄像头
export CAM_TYPE=fb
4. 启动launch文件
ros2 launch parking_perception parking_perception.launch.py
4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

10
knowledge_hub/单目3D室内检测算法部署流程.md Normal file
View File

@ -0,0 +1,10 @@
# 单目3D室内检测算法部署流程：
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono3d_indoor_detection/config/ .
3. 启动launch文件
ros2 launch mono3d_indoor_detection mono3d_indoor_detection.launch.py

10
knowledge_hub/单目高程网络检测算法部署流程.md Normal file
View File

@ -0,0 +1,10 @@
# 单目高程网络检测算法部署流程：
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/elevation_net/config/
3. 启动launch文件
ros2 launch elevation_net elevation_net.launch.py

17
knowledge_hub/双目OCC算法部署流程.md Normal file
View File

@ -0,0 +1,17 @@
# 单目3D室内检测算法部署流程：使用本地图片回灌
1. 配置tros.b humble环境
source /opt/tros/humble/setup.bash
2. 启动ZED-2i相机和占用网络推理程序
ros2 launch dstereo_occnet zed2i_occ_node.launch.py
3. 启动launch文件
ros2 launch mono3d_indoor_detection mono3d_indoor_detection.launch.py
4. 程序启动后可以通过网页查看ZED-2i发布的双目图像，在PC端浏览器输入[http://ip:8000](http://ip:8000/) 即可查看双目图像，ip为RDK板端的ip，并且要保证PC和RDK能通过网络通讯
5. 通过rviz2可查看占用网格
sudo apt install ros-humble-rviz2
source /opt/tros/humble/setup.bash
rviz2

57
knowledge_hub/手势识别算法部署流程.md Normal file
View File

@ -0,0 +1,57 @@
# 手势识别算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_gesture_detection/config/ .
3. 配置MIPI摄像头
export CAM_TYPE=mipi
4. 启动launch文件
ros2 launch hand_gesture_detection hand_gesture_detection.launch.py
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK/X86设备的IP地址）
# 手势识别算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_gesture_detection/config/ .
3. 配置usb摄像头
export CAM_TYPE=usb
4. 启动launch文件
ros2 launch hand_gesture_detection hand_gesture_detection.launch.py
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK/X86设备的IP地址）
# 手势识别算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ .
cp -r /opt/tros/${TROS_DISTRO}/lib/hand_gesture_detection/config/ .
3. 配置本地回灌图片
export CAM_TYPE=fb
4. 启动launch文件
ros2 launch hand_gesture_detection hand_gesture_detection.launch.py publish_image_source:=config/person_face_hand.jpg publish_image_format:=jpg publish_output_image_w:=960 publish_output_image_h:=544 publish_fps:=30
5. 测试效果
在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK/X86设备的IP地址）

47
knowledge_hub/文本图片特征检索算法部署流程.md Normal file
View File

@ -0,0 +1,47 @@
# 文本图片特征检索算法部署流程：CLIP 入库
1. 依赖安装
pip3 install onnxruntime
pip3 install ftfy
pip3 install wcwidth
pip3 install regex
2. 从Web端下载运行示例需要的模型文件。
wget http://archive.d-robotics.cc/models/clip_encode_text/text_encoder.tar.gz
sudo tar -xf text_encoder.tar.gz -C config
3. 配置tros.b环境
source /opt/tros/humble/setup.bash
4. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/clip_encode_image/config/ .
5. 启动launch文件，RDK S100为例，RDK X5 为ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_db_file:=clip.db clip_storage_folder:=/root/config
ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_storage_folder:=/root/config
# 文本图片特征检索算法部署流程：检索
1. 依赖安装
pip3 install onnxruntime
pip3 install ftfy
pip3 install wcwidth
pip3 install regex
2. 从Web端下载运行示例需要的模型文件。
wget http://archive.d-robotics.cc/models/clip_encode_text/text_encoder.tar.gz
sudo tar -xf text_encoder.tar.gz -C config
3. 配置tros.b环境
source /opt/tros/humble/setup.bash
4. 启动launch文件，RDK S100为例，RDK X5 为ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram"
ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram"
5. 检索结果可视化
打开另一个终端
cp -r /opt/tros/${TROS_DISTRO}/lib/clip_manage/config/index.html .
python -m http.server 8080
6. 查看检索结果
在PC端的浏览器输入http://IP:8080 即可查看图像检索结果（IP为设备IP地址）。

17
knowledge_hub/智能语音算法部署流程.md Normal file
View File

@ -0,0 +1,17 @@
# 智能语音算法部署流程：
1. 安装智能语音算法包 若为humble版本则用sudo apt install tros-humble-hobot-audio
sudo apt update
sudo apt install tros-hobot-audio
2. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
3. 从tros.b的安装路径中拷贝出运行示例需要的配置文件，若已拷贝则可忽略
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_audio/config/ .
4. 屏蔽调式打印信息
export GLOG_minloglevel=3
5. 启动launch文件
ros2 launch hobot_audio hobot_audio.launch.py

43
knowledge_hub/激光雷达目标检测算法部署流程.md Normal file
View File

@ -0,0 +1,43 @@
# 激光雷达目标检测算法部署流程：使用本地点云文件回灌（humble版本）
1. 板端下载回灌的点云文件
cd ~
wget http://archive.d-robotics.cc/TogetheROS/data/hobot_centerpoint_data.tar.gz
2. 解压缩
mkdir -p ~/centerpoint_data
tar -zxvf ~/hobot_centerpoint_data.tar.gz -C ~/centerpoint_data
3. 配置tros.b humble环境
source /opt/tros/humble/setup.bash
if [ -L qat ]; then rm qat; fi
ln -s `ros2 pkg prefix hobot_centerpoint`/lib/hobot_centerpoint/qat/ qat
ln -s ~/centerpoint_data centerpoint_data
4. 启动launch文件
ros2 launch hobot_centerpoint hobot_centerpoint.launch.p
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# 激光雷达目标检测算法部署流程：使用本地点云文件回灌（foxy版本）
1. 板端下载回灌的点云文件
wget http://archive.d-robotics.cc/TogetheROS/data/hobot_centerpoint_data.tar.gz
2. 解压缩
mkdir config
tar -zxvf hobot_centerpoint_data.tar.gz -C config
3. 配置tros.b环境
source /opt/tros/setup.bash
4. 启动websocket服务
ros2 launch websocket websocket_service.launch.py
5. 启动launch文件
ros2 launch hobot_centerpoint hobot_centerpoint_websocket.launch.py lidar_pre_path:=config/hobot_centerpoint_data
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

10
knowledge_hub/视觉惯性里程计算法部署流程.md Normal file
View File

@ -0,0 +1,10 @@
# 视觉惯性里程计算法部署流程：
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash
source /opt/tros/setup.bash
2. 启动launch文件
ros2 launch hobot_vio hobot_vio.launch.py
3. 轨迹结果可在PC的rviz2软件查看
输出topic：horizon_vio/horizon_vio_path（vio算法输出的机器人运动轨迹）

52
knowledge_hub/视觉语言模型部署流程.md Normal file
View File

@ -0,0 +1,52 @@
# 视觉语言模型部署流程：RDK X5
1. 下载功能包
sudo apt update
sudo apt install tros-humble-hobot-llamacpp
2. 系统配置
手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。
重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下：
sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu0/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu1/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu2/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu3/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu4/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu5/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu6/cpufreq/scaling_governor'
3. 下载模型文件到运行路径
wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/Qwen2.5-0.5B-Instruct-Q4_0.gguf
wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/rdkx5/vit_model_int16_v2.bin
4. 启动程序
source /opt/tros/humble/setup.bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_llamacpp/config/ .
ros2 run hobot_llamacpp hobot_llamacpp --ros-args -p feed_type:=0 -p image:=config/image2.jpg -p image_type:=0 -p user_prompt:="描述一下这张图片." -p model_file_name:=vit_model_int16_v2.bin -p llm_model_name:=Qwen2.5-0.5B-Instruct-Q4_0.gguf
# 视觉语言模型部署流程：RDK S100
1. 下载功能包
sudo apt update
sudo apt install tros-humble-hobot-llamacpp
2. 系统配置
手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。
重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下：
sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu0/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu1/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu2/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu3/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu4/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu5/cpufreq/scaling_governor'
sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu6/cpufreq/scaling_governor'
3. 下载模型文件到运行路径
wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/Qwen2.5-0.5B-Instruct-Q4_0.gguf
wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/rdks100/vit_model_int16.hbm
4. 启动程序
source /opt/tros/humble/setup.bash
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_llamacpp/config/ .
ros2 run hobot_llamacpp hobot_llamacpp --ros-args -p feed_type:=0 -p image:=config/image2.jpg -p image_type:=0 -p user_prompt:="描述一下这张图片." -p model_file_name:=vit_model_int16.hbm -p llm_model_name:=Qwen2.5-0.5B-Instruct-Q4_0.gguf

49
knowledge_hub/路面结构化算法部署流程.md Normal file
View File

@ -0,0 +1,49 @@
# 路面结构化算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ .
3. 配置MIPI摄像头
export CAM_TYPE=mipi
4. 启动launch文件
ros2 launch parking_perception parking_perception.launch.py
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# 路面结构化算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ .
3. 配置usb摄像头
export CAM_TYPE=usb
4. 启动launch文件
ros2 launch parking_perception parking_perception.launch.py
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# 路面结构化算法部署流程：使用本地照片回灌
1. 配置tros.b环境
source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ .
3. 配置usb摄像头
export CAM_TYPE=fb
4. 启动launch文件
ros2 launch parking_perception parking_perception.launch.py
5. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）