zhaoming.han/rdk_robot_dev_agent
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

add TROS Humble setup (complement Foxy version)

Browse Source
This commit is contained in:
yingxiang.chen 2025-12-17 14:07:06 +08:00
parent 2eb836d286
commit df109f1a45
19 changed files with 174 additions and 121 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

8
knowledge_hub/BEV感知算法部署流程.md
View File

@ -7,8 +7,8 @@ wget http://archive.d-robotics.cc/TogetheROS/data/hobot_bev_data.tar.gz
mkdir -p hobot_bev_data mkdir -p hobot_bev_data
tar -zxvf hobot_bev_data.tar.gz -C hobot_bev_data tar -zxvf hobot_bev_data.tar.gz -C hobot_bev_data
3. 配置tros.b环境 3. 配置tros.b humble环境
source /opt/tros/setup.bash source /opt/tros/humble/setup.bash
4. 启动websocket服务 4. 启动websocket服务
ros2 launch websocket websocket_service.launch.py ros2 launch websocket websocket_service.launch.py
@ -31,8 +31,8 @@ wget http://archive.d-robotics.cc/TogetheROS/data/nuscenes_bev_val/nuscenes_bev_
mkdir -p ~/hobot_bev_data mkdir -p ~/hobot_bev_data
tar -zxvf ~/nuscenes_bev_val.tar.gz -C ~/hobot_bev_data tar -zxvf ~/nuscenes_bev_val.tar.gz -C ~/hobot_bev_data
3. 配置tros.b humble环境 3. 配置tros.b
source /opt/tros/humble/setup.bash source /opt/tros/setup.bash
if [ -L qat ]; then rm qat; fi if [ -L qat ]; then rm qat; fi
ln -s `ros2 pkg prefix hobot_bev`/lib/hobot_bev/qat/ qat ln -s `ros2 pkg prefix hobot_bev`/lib/hobot_bev/qat/ qat
ln -s ~/hobot_bev_data/nuscenes_bev_val nuscenes_bev_val ln -s ~/hobot_bev_data/nuscenes_bev_val nuscenes_bev_val

28
knowledge_hub/Bloom大语言模型部署流程.md
View File

@ -3,8 +3,9 @@
1. 安装transformers 1. 安装transformers
pip3 install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple pip3 install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple
2. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 2. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
3. 下载模型文件 3. 下载模型文件
wget http://archive.d-robotics.cc/llm-model/llm_model.tar.gz wget http://archive.d-robotics.cc/llm-model/llm_model.tar.gz
@ -18,8 +19,9 @@ sudo tar -xf llm_model.tar.gz -C /opt/tros/${TROS_DISTRO}/lib/hobot_llm/
sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost' sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor' sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor'
6. 重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 6. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
7. 启动launch文件 7. 启动launch文件
ros2 run hobot_llm hobot_llm_chat ros2 run hobot_llm hobot_llm_chat
@ -45,16 +47,22 @@ sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor' sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor'
6. 启动 hobot_llm 6. 启动 hobot_llm
重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
ros2 run hobot_llm hobot_llm ros2 run hobot_llm hobot_llm
7. 新开一个终端订阅输出结果topic 7. 新开一个终端订阅输出结果topic
重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 重新配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
ros2 topic echo /text_result ros2 topic echo /text_result
8. 新开一个终端发布消息 8. 新开一个终端发布消息
重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 重新配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
ros2 topic pub --once /text_query std_msgs/msg/String "{data: ""中国的首都是哪里""}" ros2 topic pub --once /text_query std_msgs/msg/String "{data: ""中国的首都是哪里""}"

15
knowledge_hub/EfficientNet_Det目标检测算法部署流程.md
View File

@ -1,7 +1,8 @@
# EfficientNet_Det目标检测算法部署流程：用MIPI摄像头发布为照片 # EfficientNet_Det目标检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置MIPI摄像头 2. 配置MIPI摄像头
export CAM_TYPE=mipi export CAM_TYPE=mipi
@ -15,8 +16,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# EfficientNet_Det目标检测算法部署流程：用usb摄像头发布为照片 # EfficientNet_Det目标检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置usb摄像头 2. 配置usb摄像头
export CAM_TYPE=usb export CAM_TYPE=usb
@ -29,8 +31,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# EfficientNet_Det目标检测算法部署流程：使用本地照片回灌 # EfficientNet_Det目标检测算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 启动launch文件 2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image:=config/target.jpg ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image:=config/target.jpg

15
knowledge_hub/FCOS目标检测算法部署流程.md
View File

@ -1,7 +1,8 @@
# FCOS目标检测算法部署流程：用MIPI摄像头发布为照片 # FCOS目标检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置MIPI摄像头 2. 配置MIPI摄像头
export CAM_TYPE=mipi export CAM_TYPE=mipi
@ -14,8 +15,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# FCOS目标检测算法部署流程：用USB摄像头发布为照片 # FCOS目标检测算法部署流程：用USB摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置usb摄像头 2. 配置usb摄像头
export CAM_TYPE=usb export CAM_TYPE=usb
@ -28,8 +30,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# FCOS目标检测算法部署流程：使用本地照片回灌 # FCOS目标检测算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 启动launch文件 2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image:=config/target.jpg ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image:=config/target.jpg

15
knowledge_hub/MobileNet_SSD目标检测算法部署流程.md
View File

@ -1,7 +1,8 @@
# MobileNet_SSD目标检测算法部署流程：用MIPI摄像头发布为照片 # MobileNet_SSD目标检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置MIPI摄像头 2. 配置MIPI摄像头
export CAM_TYPE=mipi export CAM_TYPE=mipi
@ -15,8 +16,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# MobileNet_SSD目标检测算法部署流程：用usb摄像头发布为照片 # MobileNet_SSD目标检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置usb摄像头 2. 配置usb摄像头
export CAM_TYPE=usb export CAM_TYPE=usb
@ -29,8 +31,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# MobileNet_SSD目标检测算法部署流程：使用本地照片回灌 # MobileNet_SSD目标检测算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 启动launch文件 2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image:=config/target.jpg ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image:=config/target.jpg

16
knowledge_hub/Ultralytics YOLOv8-Seg图像分割算法部署流程.md
View File

@ -1,7 +1,8 @@
# Ultralytics YOLOv8-Seg图像分割算法部署流程：用MIPI摄像头发布为照片 # Ultralytics YOLOv8-Seg图像分割算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置MIPI摄像头 2. 配置MIPI摄像头
export CAM_TYPE=mipi export CAM_TYPE=mipi
@ -11,8 +12,10 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_
# Ultralytics YOLOv8-Seg图像分割算法部署流程：用usb摄像头发布为照片 # Ultralytics YOLOv8-Seg图像分割算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置usb摄像头 2. 配置usb摄像头
export CAM_TYPE=usb export CAM_TYPE=usb
@ -22,8 +25,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_
# Ultralytics YOLOv8-Seg图像分割算法部署流程：使用本地照片回灌 # Ultralytics YOLOv8-Seg图像分割算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 启动launch文件 2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image:=config/test.jpg ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image:=config/test.jpg

18
knowledge_hub/YOLO目标检测算法部署流程.md
View File

@ -1,7 +1,9 @@
# YOLO目标检测算法部署流程：用MIPI摄像头发布为照片 # YOLO目标检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置MIPI摄像头 2. 配置MIPI摄像头
export CAM_TYPE=mipi export CAM_TYPE=mipi
@ -15,8 +17,10 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# YOLO目标检测算法部署流程：用usb摄像头发布为照片 # YOLO目标检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置usb摄像头 2. 配置usb摄像头
export CAM_TYPE=usb export CAM_TYPE=usb
@ -29,8 +33,10 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# YOLO目标检测算法部署流程：使用本地照片回灌 # YOLO目标检测算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 启动launch文件 2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image:=config/target.jpg ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image:=config/target.jpg

15
knowledge_hub/mobilenet_unet图像分割算法部署流程.md
View File

@ -1,7 +1,8 @@
# mobilenet_unet图像分割算法部署流程：用MIPI摄像头发布为照片 # mobilenet_unet图像分割算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置MIPI摄像头 2. 配置MIPI摄像头
export CAM_TYPE=mipi export CAM_TYPE=mipi
@ -11,8 +12,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_
# mobilenet_unet图像分割算法部署流程：用usb摄像头发布为照片 # mobilenet_unet图像分割算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置usb摄像头 2. 配置usb摄像头
export CAM_TYPE=usb export CAM_TYPE=usb
@ -23,8 +25,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_
# mobilenet_unet图像分割算法部署流程：使用本地照片回灌 # mobilenet_unet图像分割算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 启动launch文件 2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image:=config/raw_unet.jpg ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image:=config/raw_unet.jpg

15
knowledge_hub/mobilenetv2图片分类算法部署流程.md
View File

@ -1,7 +1,8 @@
# mobilenetv2图片分类算法部署流程：用MIPI摄像头发布为照片 # mobilenetv2图片分类算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置MIPI摄像头 2. 配置MIPI摄像头
export CAM_TYPE=mipi export CAM_TYPE=mipi
@ -15,8 +16,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# mobilenetv2图片分类算法部署流程：用usb摄像头发布为照片 # mobilenetv2图片分类算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 配置usb摄像头 2. 配置usb摄像头
export CAM_TYPE=usb export CAM_TYPE=usb
@ -29,8 +31,9 @@ ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:
# mobilenetv2图片分类算法部署流程：使用本地照片回灌 # mobilenetv2图片分类算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 启动launch文件 2. 启动launch文件
ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image:=config/target_class.jpg ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image:=config/target_class.jpg

15
knowledge_hub/人体检测和跟踪算法部署流程.md
View File

@ -1,7 +1,8 @@
# 人体检测和跟踪算法部署流程：用MIPI摄像头发布为照片 # 人体检测和跟踪算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
@ -18,8 +19,9 @@ ros2 launch mono2d_body_detection mono2d_body_detection.launch.py
# 人体检测和跟踪算法部署流程：用usb摄像头发布为照片 # 人体检测和跟踪算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
@ -36,8 +38,9 @@ ros2 launch mono2d_body_detection mono2d_body_detection.launch.py
# 人体检测和跟踪算法部署流程：使用本地照片回灌 # 人体检测和跟踪算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .

10
knowledge_hub/人手关键点检测算法部署流程.md
View File

@ -1,7 +1,8 @@
# 人手关键点检测算法部署流程：用MIPI摄像头发布为照片 # 人手关键点检测算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
@ -17,8 +18,9 @@ ros2 launch hand_lmk_detection hand_lmk_detection.launch.py
# 人手关键点检测算法部署流程：用usb摄像头发布为照片 # 人手关键点检测算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .

33
knowledge_hub/光流估计算法部署流程.md
View File

@ -1,50 +1,53 @@
# 光流估计算法部署流程：用MIPI摄像头发布为照片 # 光流估计算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ . cp -r /opt/tros/${TROS_DISTRO}/lib/mono_pwcnet/config/ .
3. 配置MIPI摄像头 3. 配置MIPI摄像头
export CAM_TYPE=mipi export CAM_TYPE=mipi
4. 启动launch文件 4. 启动launch文件
ros2 launch parking_perception parking_perception.launch.py ros2 launch mono_pwcnet pwcnet.launch.py
4. 测试效果 4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） 运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# 光流估计算法部署流程：用usb摄像头发布为照片 # 光流估计算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ . cp -r /opt/tros/${TROS_DISTRO}/lib/mono_pwcnet/config/ .
3. 配置sub摄像头 3. 配置usb摄像头
export CAM_TYPE=sub export CAM_TYPE=usb
4. 启动launch文件 4. 启动launch文件
ros2 launch parking_perception parking_perception.launch.py ros2 launch mono_pwcnet pwcnet.launch.py
4. 测试效果 4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） 运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）
# 光流估计算法部署流程：使用本地照片回灌 # 光流估计算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ . cp -r /opt/tros/${TROS_DISTRO}/lib/mono_pwcnet/config/ .
3. 配置MIPI摄像头 3. 配置本地回灌图片
export CAM_TYPE=fb export CAM_TYPE=fb
4. 启动launch文件 4. 启动launch文件
ros2 launch parking_perception parking_perception.launch.py ros2 launch mono_pwcnet pwcnet.launch.py
4. 测试效果 4. 测试效果
运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） 运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址）

5
knowledge_hub/单目3D室内检测算法部署流程.md
View File

@ -1,7 +1,8 @@
# 单目3D室内检测算法部署流程： # 单目3D室内检测算法部署流程：
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono3d_indoor_detection/config/ . cp -r /opt/tros/${TROS_DISTRO}/lib/mono3d_indoor_detection/config/ .

5
knowledge_hub/单目高程网络检测算法部署流程.md
View File

@ -1,7 +1,8 @@
# 单目高程网络检测算法部署流程： # 单目高程网络检测算法部署流程：
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/elevation_net/config/ cp -r /opt/tros/${TROS_DISTRO}/lib/elevation_net/config/

21
knowledge_hub/双目深度算法部署体验流程.md
View File

@ -1,13 +1,28 @@
# 双目深度算法部署体验流程 # 双目深度算法部署体验流程：RDX X5
1. 配置tros.b humble环境
source /opt/tros/humble/setup.bash
2. 启动双目模型launch文件，其包含了算法和双目相机节点的启动
ros2 launch hobot_stereonet stereonet_model_web_visual_v2.1.launch.py
mipi_image_width:=640 mipi_image_height:=352 mipi_lpwm_enable:=True mipi_image_framerate:=30.0
need_rectify:=False height_min:=-10.0 height_max:=10.0 pc_max_depth:=5.0
uncertainty_th:=0.1
3. 测试模型效果
网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000
# 双目深度算法部署体验流程：RDX S100
1. 配置tros.b humble环境 1. 配置tros.b humble环境
source /opt/tros/humble/setup.bash source /opt/tros/humble/setup.bash
2. 启动双目模型launch文件，其包含了算法和双目相机节点的启动 2. 启动双目模型launch文件，其包含了算法和双目相机节点的启动
ros2 launch hobot_stereonet stereonet_model_web_visual_v2.4.launch.py \ ros2 launch hobot_stereonet stereonet_model_web_visual_v2.4.launch.py \
mipi_image_width:=640 mipi_image_height:=352 mipi_lpwm_enable:=True mipi_image_framerate:=30.0 \ mipi_image_width:=640 mipi_image_height:=352 mipi_lpwm_enable:=False mipi_image_framerate:=30.0 \
need_rectify:=False height_min:=-10.0 height_max:=10.0 pc_max_depth:=5.0 \ need_rectify:=False height_min:=-10.0 height_max:=10.0 pc_max_depth:=5.0 \
uncertainty_th:=0.1 uncertainty_th:=0.1
3. 测试模型效果 3. 测试模型效果
网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000 网页端查看深度图，浏览器访问 http://{开发板的IP地址}:8000

15
knowledge_hub/手势识别算法部署流程.md
View File

@ -1,7 +1,8 @@
# 手势识别算法部署流程：用MIPI摄像头发布为照片 # 手势识别算法部署流程：用MIPI摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
@ -19,8 +20,9 @@ ros2 launch hand_gesture_detection hand_gesture_detection.launch.py
# 手势识别算法部署流程：用usb摄像头发布为照片 # 手势识别算法部署流程：用usb摄像头发布为照片
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .
@ -39,8 +41,9 @@ ros2 launch hand_gesture_detection hand_gesture_detection.launch.py
# 手势识别算法部署流程：使用本地照片回灌 # 手势识别算法部署流程：使用本地照片回灌
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/setup.bash
2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ .

31
knowledge_hub/文本图片特征检索算法部署流程.md
View File

@ -1,5 +1,4 @@
# 文本图片特征检索算法部署流程：CLIP 入库 # 文本图片特征检索算法部署流程：
1. 依赖安装 1. 依赖安装
pip3 install onnxruntime pip3 install onnxruntime
pip3 install ftfy pip3 install ftfy
@ -16,32 +15,22 @@ source /opt/tros/humble/setup.bash
4. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 4. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/${TROS_DISTRO}/lib/clip_encode_image/config/ . cp -r /opt/tros/${TROS_DISTRO}/lib/clip_encode_image/config/ .
5. 启动launch文件，RDK S100为例，RDK X5 为ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_db_file:=clip.db clip_storage_folder:=/root/config 5. 启动入库launch文件
ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_storage_folder:=/root/config RDK S100：ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_storage_folder:=/root/config
RDK X5：ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_db_file:=clip.db clip_storage_folder:=/root/config
# 文本图片特征检索算法部署流程：检索 6. 重开一个终端，配置tros.b环境
1. 依赖安装
pip3 install onnxruntime
pip3 install ftfy
pip3 install wcwidth
pip3 install regex
2. 从Web端下载运行示例需要的模型文件。
wget http://archive.d-robotics.cc/models/clip_encode_text/text_encoder.tar.gz
sudo tar -xf text_encoder.tar.gz -C config
3. 配置tros.b环境
source /opt/tros/humble/setup.bash source /opt/tros/humble/setup.bash
4. 启动launch文件，RDK S100为例，RDK X5 为ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram" 7. 启动检索launch文件
ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram" RDK S100：ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram"
RDK X5：launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram"
5. 检索结果可视化 8. 检索结果可视化
打开另一个终端 打开另一个终端
cp -r /opt/tros/${TROS_DISTRO}/lib/clip_manage/config/index.html . cp -r /opt/tros/${TROS_DISTRO}/lib/clip_manage/config/index.html .
python -m http.server 8080 python -m http.server 8080
6. 查看检索结果 9. 查看检索结果
在PC端的浏览器输入http://IP:8080 即可查看图像检索结果（IP为设备IP地址）。 在PC端的浏览器输入http://IP:8080 即可查看图像检索结果（IP为设备IP地址）。

10
knowledge_hub/智能语音算法部署流程.md
View File

@ -1,11 +1,13 @@
# 智能语音算法部署流程： # 智能语音算法部署流程：
1. 安装智能语音算法包 若为humble版本则用sudo apt install tros-humble-hobot-audio 1. 安装智能语音算法包
sudo apt update sudo apt update
sudo apt install tros-hobot-audio foxy版本：sudo apt install tros-hobot-audio
humble版本：sudo apt install tros-humble-hobot-audio
2. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 2. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
3. 从tros.b的安装路径中拷贝出运行示例需要的配置文件，若已拷贝则可忽略 3. 从tros.b的安装路径中拷贝出运行示例需要的配置文件，若已拷贝则可忽略
cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_audio/config/ . cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_audio/config/ .

5
knowledge_hub/视觉惯性里程计算法部署流程.md
View File

@ -1,7 +1,8 @@
# 视觉惯性里程计算法部署流程： # 视觉惯性里程计算法部署流程：
1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash 1. 配置tros.b环境
source /opt/tros/setup.bash foxy版本:source /opt/tros/setup.bash
humble版本:source /opt/tros/humble/setup.bash
2. 启动launch文件 2. 启动launch文件
ros2 launch hobot_vio hobot_vio.launch.py ros2 launch hobot_vio hobot_vio.launch.py