From 2279a05c252d0f3c4aad1a1acc020c8ef7d3fa68 Mon Sep 17 00:00:00 2001 From: "yingxiang.chen" Date: Thu, 11 Dec 2025 16:54:16 +0800 Subject: [PATCH] Expand knowledge of the RDK algorithm repository --- knowledge_hub/BEV感知算法部署流程.md | 45 ++++++++++++++ knowledge_hub/Bloom大语言模型部署流程.md | 60 +++++++++++++++++++ knowledge_hub/DOSOD目标检测算法部署流程.md | 53 ++++++++++++++++ knowledge_hub/DeepSeek大语言模型部署流程.md | 53 ++++++++++++++++ knowledge_hub/EdgeSAM图像分割算法部署流程.md | 41 +++++++++++++ .../EfficientNet_Det目标检测算法部署流程.md | 37 ++++++++++++ knowledge_hub/FCOS目标检测算法部署流程.md | 35 +++++++++++ .../MobileNet_SSD目标检测算法部署流程.md | 36 +++++++++++ .../MobileSAM图像分割算法部署流程.md | 50 ++++++++++++++++ .../Sensevoice智能语音算法部署流程.md | 11 ++++ ...ralytics YOLOv8-Seg图像分割算法部署流程.md | 29 +++++++++ .../YOLO-World目标检测算法部署流程.md | 50 ++++++++++++++++ knowledge_hub/YOLO目标检测算法部署流程.md | 37 ++++++++++++ .../mobilenet_unet图像分割算法部署流程.md | 30 ++++++++++ .../mobilenetv2图片分类算法部署流程.md | 36 +++++++++++ knowledge_hub/人体实例跟踪算法部署流程.md | 53 ++++++++++++++++ ...跟踪(Ultralytics YOLO Pose)算法部署流程 copy.md | 51 ++++++++++++++++ knowledge_hub/人体检测和跟踪算法部署流程.md | 53 ++++++++++++++++ ...关键点及手势识别(mediapipe)算法部署流程.md | 53 ++++++++++++++++ knowledge_hub/人手关键点检测算法部署流程.md | 34 +++++++++++ .../人脸106关键点检测算法部署流程.md | 32 ++++++++++ knowledge_hub/人脸年龄检测算法部署流程.md | 32 ++++++++++ knowledge_hub/光流估计算法部署流程.md | 51 ++++++++++++++++ knowledge_hub/单目3D室内检测算法部署流程.md | 10 ++++ knowledge_hub/单目高程网络检测算法部署流程.md | 10 ++++ knowledge_hub/双目OCC算法部署流程.md | 17 ++++++ knowledge_hub/手势识别算法部署流程.md | 57 ++++++++++++++++++ knowledge_hub/文本图片特征检索算法部署流程.md | 47 +++++++++++++++ knowledge_hub/智能语音算法部署流程.md | 17 ++++++ knowledge_hub/激光雷达目标检测算法部署流程.md | 43 +++++++++++++ knowledge_hub/视觉惯性里程计算法部署流程.md | 10 ++++ knowledge_hub/视觉语言模型部署流程.md | 52 ++++++++++++++++ knowledge_hub/路面结构化算法部署流程.md | 49 +++++++++++++++ 33 files changed, 1274 insertions(+) create mode 100644 knowledge_hub/BEV感知算法部署流程.md create mode 100644 knowledge_hub/Bloom大语言模型部署流程.md create mode 100644 knowledge_hub/DOSOD目标检测算法部署流程.md create mode 100644 knowledge_hub/DeepSeek大语言模型部署流程.md create mode 100644 knowledge_hub/EdgeSAM图像分割算法部署流程.md create mode 100644 knowledge_hub/EfficientNet_Det目标检测算法部署流程.md create mode 100644 knowledge_hub/FCOS目标检测算法部署流程.md create mode 100644 knowledge_hub/MobileNet_SSD目标检测算法部署流程.md create mode 100644 knowledge_hub/MobileSAM图像分割算法部署流程.md create mode 100644 knowledge_hub/Sensevoice智能语音算法部署流程.md create mode 100644 knowledge_hub/Ultralytics YOLOv8-Seg图像分割算法部署流程.md create mode 100644 knowledge_hub/YOLO-World目标检测算法部署流程.md create mode 100644 knowledge_hub/YOLO目标检测算法部署流程.md create mode 100644 knowledge_hub/mobilenet_unet图像分割算法部署流程.md create mode 100644 knowledge_hub/mobilenetv2图片分类算法部署流程.md create mode 100644 knowledge_hub/人体实例跟踪算法部署流程.md create mode 100644 knowledge_hub/人体检测和跟踪(Ultralytics YOLO Pose)算法部署流程 copy.md create mode 100644 knowledge_hub/人体检测和跟踪算法部署流程.md create mode 100644 knowledge_hub/人手关键点及手势识别(mediapipe)算法部署流程.md create mode 100644 knowledge_hub/人手关键点检测算法部署流程.md create mode 100644 knowledge_hub/人脸106关键点检测算法部署流程.md create mode 100644 knowledge_hub/人脸年龄检测算法部署流程.md create mode 100644 knowledge_hub/光流估计算法部署流程.md create mode 100644 knowledge_hub/单目3D室内检测算法部署流程.md create mode 100644 knowledge_hub/单目高程网络检测算法部署流程.md create mode 100644 knowledge_hub/双目OCC算法部署流程.md create mode 100644 knowledge_hub/手势识别算法部署流程.md create mode 100644 knowledge_hub/文本图片特征检索算法部署流程.md create mode 100644 knowledge_hub/智能语音算法部署流程.md create mode 100644 knowledge_hub/激光雷达目标检测算法部署流程.md create mode 100644 knowledge_hub/视觉惯性里程计算法部署流程.md create mode 100644 knowledge_hub/视觉语言模型部署流程.md create mode 100644 knowledge_hub/路面结构化算法部署流程.md diff --git a/knowledge_hub/BEV感知算法部署流程.md b/knowledge_hub/BEV感知算法部署流程.md new file mode 100644 index 0000000..11d6b40 --- /dev/null +++ b/knowledge_hub/BEV感知算法部署流程.md @@ -0,0 +1,45 @@ +# BEV感知算法部署流程：使用本地数据集回灌（humble版本） + +1. 板端下载回灌的点云文件 +wget http://archive.d-robotics.cc/TogetheROS/data/hobot_bev_data.tar.gz + +2. 解压缩 +mkdir -p hobot_bev_data +tar -zxvf hobot_bev_data.tar.gz -C hobot_bev_data + +3. 配置tros.b环境 +source /opt/tros/setup.bash + +4. 启动websocket服务 +ros2 launch websocket websocket_service.launch.py + +5. 启动运行脚本，并指定数据集路径 +ros2 launch hobot_bev hobot_bev.launch.py image_pre_path:=hobot_bev_data/data + +6. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + + +# BEV感知算法部署流程：使用本地数据集回灌（foxy版本） + + +1. 板端下载回灌的点云文件 +cd ~ +wget http://archive.d-robotics.cc/TogetheROS/data/nuscenes_bev_val/nuscenes_bev_val.tar.gz + +2. 解压缩 +mkdir -p ~/hobot_bev_data +tar -zxvf ~/nuscenes_bev_val.tar.gz -C ~/hobot_bev_data + +3. 配置tros.b humble环境 +source /opt/tros/humble/setup.bash +if [ -L qat ]; then rm qat; fi +ln -s `ros2 pkg prefix hobot_bev`/lib/hobot_bev/qat/ qat +ln -s ~/hobot_bev_data/nuscenes_bev_val nuscenes_bev_val + +4. 启动launch文件 +ros2 launch hobot_bev hobot_bev.launch.py + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + diff --git a/knowledge_hub/Bloom大语言模型部署流程.md b/knowledge_hub/Bloom大语言模型部署流程.md new file mode 100644 index 0000000..8fe6c7e --- /dev/null +++ b/knowledge_hub/Bloom大语言模型部署流程.md @@ -0,0 +1,60 @@ +# Bloom大语言模型部署流程：终端交互体验 + +1. 安装transformers +pip3 install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple + +2. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +3. 下载模型文件 +wget http://archive.d-robotics.cc/llm-model/llm_model.tar.gz + +4. 解压 +sudo tar -xf llm_model.tar.gz -C /opt/tros/${TROS_DISTRO}/lib/hobot_llm/ + +5. 系统配置 +手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。 +重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下： +sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost' +sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor' + +6. 重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +7. 启动launch文件 +ros2 run hobot_llm hobot_llm_chat + +# Bloom大语言模型部署流程：订阅发布体验 + +1. 安装transformers +pip3 install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple + +2. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +3. 下载模型文件 +wget http://archive.d-robotics.cc/llm-model/llm_model.tar.gz + +4. 解压 +sudo tar -xf llm_model.tar.gz -C /opt/tros/${TROS_DISTRO}/lib/hobot_llm/ + +5. 系统配置 +手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。 +重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下： +sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost' +sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor' + +6. 启动 hobot_llm +重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash +ros2 run hobot_llm hobot_llm + +7. 新开一个终端订阅输出结果topic +重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash +ros2 topic echo /text_result + +8. 新开一个终端发布消息 +重新配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash +ros2 topic pub --once /text_query std_msgs/msg/String "{data: ""中国的首都是哪里""}" diff --git a/knowledge_hub/DOSOD目标检测算法部署流程.md b/knowledge_hub/DOSOD目标检测算法部署流程.md new file mode 100644 index 0000000..1650211 --- /dev/null +++ b/knowledge_hub/DOSOD目标检测算法部署流程.md @@ -0,0 +1,53 @@ +# DOSOD目标检测算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_dosod/config/ . + +3. 配置MIPI摄像头 +export CAM_TYPE=mipi + +4. 启动launch文件 +ros2 launch hobot_dosod dosod.launch.py + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# DOSOD目标检测算法部署流程：用usb摄像头发布为照片 + + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_dosod/config/ . + +3. 配置usb摄像头 +export CAM_TYPE=usb + +4. 启动launch文件 +ros2 launch hobot_dosod dosod.launch.py + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + + +# DOSOD目标检测算法部署流程：用本地照片回灌 + + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_dosod/config/ . + +3. 配置usb摄像头 +export CAM_TYPE=fb + +4. 启动launch文件 +ros2 launch hobot_dosod dosod.launch.py + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） \ No newline at end of file diff --git a/knowledge_hub/DeepSeek大语言模型部署流程.md b/knowledge_hub/DeepSeek大语言模型部署流程.md new file mode 100644 index 0000000..8dd8b6c --- /dev/null +++ b/knowledge_hub/DeepSeek大语言模型部署流程.md @@ -0,0 +1,53 @@ +# DeepSeek大语言模型部署流程：终端交互体验 + +1. 下载模型文件 +wget -c ftp://oeftp@sdk.d-robotics.cc/oe_llm/model/DeepSeek_R1_Distill_Qwen_1.5B_1024.hbm --ftp-password=Oeftp~123$% + +2. 设置 ION 内存空间最大, 满足大模型推理需求 +/usr/hobot/bin/hb_switch_ion.sh bpu_first +reboot + +3. 设置性能模式 注意：仅RDK S100P 支持性能模式 +devmem 0x2b047000 32 0x99 +devmem 0x2b047004 32 0x99 + +4. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +5. 运行模型 +lib=/opt/tros/humble/lib/hobot_xlm/lib +export LD_LIBRARY_PATH=${lib}:${LD_LIBRARY_PATH} +cp -r /opt/tros/humble/lib/hobot_xlm/config/ . +ros2 run hobot_xlm hobot_xlm --ros-args -p feed_type:=0 -p model_name:="DeepSeek_R1_Distill_Qwen_1.5B" + + +# DeepSeek大语言模型部署流程：订阅发布体验 + +1. 下载模型文件 +wget -c ftp://oeftp@sdk.d-robotics.cc/oe_llm/model/DeepSeek_R1_Distill_Qwen_1.5B_1024.hbm --ftp-password=Oeftp~123$% + +2. 设置 ION 内存空间最大, 满足大模型推理需求 +/usr/hobot/bin/hb_switch_ion.sh bpu_first +reboot + +3. 设置性能模式 注意：仅RDK S100P 支持性能模式 +devmem 0x2b047000 32 0x99 +devmem 0x2b047004 32 0x99 + +4. 启动 hobot_llm +配置tros.b环境 +source /opt/tros/humble/setup.bash +lib=/opt/tros/humble/lib/hobot_xlm/lib +export LD_LIBRARY_PATH=${lib}:${LD_LIBRARY_PATH} +cp -r /opt/tros/humble/lib/hobot_xlm/config/ . +ros2 run hobot_xlm hobot_xlm --ros-args -p feed_type:=1 -p ros_string_sub_topic_name:="/prompt_text" -p model_name:="DeepSeek_R1_Distill_Qwen_1.5B" + +5. 新开一个终端订阅输出结果topic +配置tros.b环境 +source /opt/tros/humble/setup.bash +ros2 topic echo /tts_text + +6. 新开一个终端发布消息 +配置tros.b环境 +source /opt/tros/humble/setup.bash +ros2 topic pub --once /prompt_text std_msgs/msg/String "{data: ""简单描述人工智能的发展""}" diff --git a/knowledge_hub/EdgeSAM图像分割算法部署流程.md b/knowledge_hub/EdgeSAM图像分割算法部署流程.md new file mode 100644 index 0000000..3b8b817 --- /dev/null +++ b/knowledge_hub/EdgeSAM图像分割算法部署流程.md @@ -0,0 +1,41 @@ +# EdgeSAM图像分割算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 配置MIPI摄像头 +export CAM_TYPE=mipi + +3. 启动launch文件 +ros2 launch mono_edgesam sam.launch.py + +4. 测试效果 +推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 手动打开界面右上角设置, 选中”Full Image Segmentation“选项, 可以显示渲染效果。 + +# EdgeSAM图像分割算法部署流程：用usb摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 配置usb摄像头 +export CAM_TYPE=usb + +3. 启动launch文件 +ros2 launch mono_edgesam sam.launch.py + +4. 测试效果 +推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 手动打开界面右上角设置, 选中”Full Image Segmentation“选项, 可以显示渲染效果。 + +# EdgeSAM图像分割算法部署流程：使用本地照片回灌 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 配置本地回灌图片 +export CAM_TYPE=fb + +3. 启动launch文件 +ros2 launch mono_edgesam sam.launch.py + +4. 测试效果 +推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 手动打开界面右上角设置, 选中”Full Image Segmentation“选项, 可以显示渲染效果。 \ No newline at end of file diff --git a/knowledge_hub/EfficientNet_Det目标检测算法部署流程.md b/knowledge_hub/EfficientNet_Det目标检测算法部署流程.md new file mode 100644 index 0000000..61c1c80 --- /dev/null +++ b/knowledge_hub/EfficientNet_Det目标检测算法部署流程.md @@ -0,0 +1,37 @@ +# EfficientNet_Det目标检测算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 配置MIPI摄像头 +export CAM_TYPE=mipi + +3. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272 + +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# EfficientNet_Det目标检测算法部署流程：用usb摄像头发布为照片 + + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 配置usb摄像头 +export CAM_TYPE=usb + +3. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272 + +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# EfficientNet_Det目标检测算法部署流程：使用本地照片回灌 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/efficient_det_workconfig.json dnn_example_image:=config/target.jpg + diff --git a/knowledge_hub/FCOS目标检测算法部署流程.md b/knowledge_hub/FCOS目标检测算法部署流程.md new file mode 100644 index 0000000..8eac61f --- /dev/null +++ b/knowledge_hub/FCOS目标检测算法部署流程.md @@ -0,0 +1,35 @@ +# FCOS目标检测算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 配置MIPI摄像头 +export CAM_TYPE=mipi + +3. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272 + +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# FCOS目标检测算法部署流程：用USB摄像头发布为照片 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 配置usb摄像头 +export CAM_TYPE=usb + +3. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272 + +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# FCOS目标检测算法部署流程：使用本地照片回灌 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/fcosworkconfig.json dnn_example_image:=config/target.jpg diff --git a/knowledge_hub/MobileNet_SSD目标检测算法部署流程.md b/knowledge_hub/MobileNet_SSD目标检测算法部署流程.md new file mode 100644 index 0000000..7b0c9ac --- /dev/null +++ b/knowledge_hub/MobileNet_SSD目标检测算法部署流程.md @@ -0,0 +1,36 @@ +# MobileNet_SSD目标检测算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 配置MIPI摄像头 +export CAM_TYPE=mipi + +3. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272 + +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# MobileNet_SSD目标检测算法部署流程：用usb摄像头发布为照片 + + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 配置usb摄像头 +export CAM_TYPE=usb + +3. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272 + +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# MobileNet_SSD目标检测算法部署流程：使用本地照片回灌 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenet_ssd_workconfig.json dnn_example_image:=config/target.jpg diff --git a/knowledge_hub/MobileSAM图像分割算法部署流程.md b/knowledge_hub/MobileSAM图像分割算法部署流程.md new file mode 100644 index 0000000..f6d71a4 --- /dev/null +++ b/knowledge_hub/MobileSAM图像分割算法部署流程.md @@ -0,0 +1,50 @@ +# MobileSAM图像分割算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono_mobilesam/config/ . + +3. 配置MIPI摄像头 +export CAM_TYPE=mipi + +4. 启动launch文件 +ros2 launch mono_mobilesam sam.launch.py + +5. 测试效果 +推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 打开界面右上角设置, 选中”Full Image Segmentation“选项, 可以显示渲染效果。 + +# MobileSAM图像分割算法部署流程：用usb摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono_mobilesam/config/ . + +3. 配置usb摄像头 +export CAM_TYPE=usb + +4. 启动launch文件 +ros2 launch mono_mobilesam sam.launch.py + +5. 测试效果 +推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 打开界面右上角设置, 选中”Full Image Segmentation“选项, 可以显示渲染效果。 + +# MobileSAM图像分割算法部署流程：使用本地照片回灌 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono_mobilesam/config/ . + +3. 配置本地回灌图片 +export CAM_TYPE=fb + +4. 启动launch文件 +ros2 launch mono_mobilesam sam.launch.py + +5. 测试效果 +推理的结果会渲染到Web上, 在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 打开界面右上角设置, 选中”Full Image Segmentation“选项, 可以显示渲染效果。 \ No newline at end of file diff --git a/knowledge_hub/Sensevoice智能语音算法部署流程.md b/knowledge_hub/Sensevoice智能语音算法部署流程.md new file mode 100644 index 0000000..6a9a564 --- /dev/null +++ b/knowledge_hub/Sensevoice智能语音算法部署流程.md @@ -0,0 +1,11 @@ +# Sensevoice智能语音算法部署流程： + +1. 安装智能语音算法包 +sudo apt update +sudo apt install tros-humble-sensevoice-ros2 + +2. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +3. 启动launch文件 +ros2 launch sensevoice_ros2 sensevoice_ros2.launch.py micphone_name:="plughw:0,0" \ No newline at end of file diff --git a/knowledge_hub/Ultralytics YOLOv8-Seg图像分割算法部署流程.md b/knowledge_hub/Ultralytics YOLOv8-Seg图像分割算法部署流程.md new file mode 100644 index 0000000..9ece0d9 --- /dev/null +++ b/knowledge_hub/Ultralytics YOLOv8-Seg图像分割算法部署流程.md @@ -0,0 +1,29 @@ +# Ultralytics YOLOv8-Seg图像分割算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 配置MIPI摄像头 +export CAM_TYPE=mipi + +3. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=0 dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080 + +# Ultralytics YOLOv8-Seg图像分割算法部署流程：用usb摄像头发布为照片 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 配置usb摄像头 +export CAM_TYPE=usb + +3. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=0 dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080 + +# Ultralytics YOLOv8-Seg图像分割算法部署流程：使用本地照片回灌 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/yolov8segworkconfig.json dnn_example_image:=config/test.jpg diff --git a/knowledge_hub/YOLO-World目标检测算法部署流程.md b/knowledge_hub/YOLO-World目标检测算法部署流程.md new file mode 100644 index 0000000..76fc7ae --- /dev/null +++ b/knowledge_hub/YOLO-World目标检测算法部署流程.md @@ -0,0 +1,50 @@ +# YOLO-World目标检测算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_yolo_world/config/ . + +3. 配置MIPI摄像头 +export CAM_TYPE=mipi + +4. 启动launch文件 +ros2 launch hobot_yolo_world yolo_world.launch.py yolo_world_texts:="red bottle,trash bin" + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# YOLO-World目标检测算法部署流程：用usb摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_yolo_world/config/ . + +3. 配置usb摄像头 +export CAM_TYPE=usb + +4. 启动launch文件 +ros2 launch hobot_yolo_world yolo_world.launch.py yolo_world_texts:="red bottle,trash bin" + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# YOLO-World目标检测算法部署流程：使用本地照片回灌 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_yolo_world/config/ . + +3. 配置本地回灌图片 +export CAM_TYPE=fb + +4. 启动launch文件 +ros2 launch hobot_yolo_world yolo_world.launch.py yolo_world_texts:="red bottle,trash bin" + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） \ No newline at end of file diff --git a/knowledge_hub/YOLO目标检测算法部署流程.md b/knowledge_hub/YOLO目标检测算法部署流程.md new file mode 100644 index 0000000..6c11662 --- /dev/null +++ b/knowledge_hub/YOLO目标检测算法部署流程.md @@ -0,0 +1,37 @@ +# YOLO目标检测算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 配置MIPI摄像头 +export CAM_TYPE=mipi + +3. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080 + +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# YOLO目标检测算法部署流程：用usb摄像头发布为照片 + + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 配置usb摄像头 +export CAM_TYPE=usb + +3. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080 + +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# YOLO目标检测算法部署流程：使用本地照片回灌 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/yolov2workconfig.json dnn_example_image:=config/target.jpg + diff --git a/knowledge_hub/mobilenet_unet图像分割算法部署流程.md b/knowledge_hub/mobilenet_unet图像分割算法部署流程.md new file mode 100644 index 0000000..ac726e6 --- /dev/null +++ b/knowledge_hub/mobilenet_unet图像分割算法部署流程.md @@ -0,0 +1,30 @@ +# mobilenet_unet图像分割算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 配置MIPI摄像头 +export CAM_TYPE=mipi + +3. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=1 dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080 + +# mobilenet_unet图像分割算法部署流程：用usb摄像头发布为照片 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 配置usb摄像头 +export CAM_TYPE=usb + +3. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_dump_render_img:=1 dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image_width:=1920 dnn_example_image_height:=1080 + + +# mobilenet_unet图像分割算法部署流程：使用本地照片回灌 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenet_unet_workconfig.json dnn_example_image:=config/raw_unet.jpg diff --git a/knowledge_hub/mobilenetv2图片分类算法部署流程.md b/knowledge_hub/mobilenetv2图片分类算法部署流程.md new file mode 100644 index 0000000..fb0938d --- /dev/null +++ b/knowledge_hub/mobilenetv2图片分类算法部署流程.md @@ -0,0 +1,36 @@ +# mobilenetv2图片分类算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 配置MIPI摄像头 +export CAM_TYPE=mipi + +3. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272 + +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# mobilenetv2图片分类算法部署流程：用usb摄像头发布为照片 + + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 配置usb摄像头 +export CAM_TYPE=usb + +3. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image_width:=480 dnn_example_image_height:=272 + +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# mobilenetv2图片分类算法部署流程：使用本地照片回灌 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 启动launch文件 +ros2 launch dnn_node_example dnn_node_example_feedback.launch.py dnn_example_config_file:=config/mobilenetv2workconfig.json dnn_example_image:=config/target_class.jpg diff --git a/knowledge_hub/人体实例跟踪算法部署流程.md b/knowledge_hub/人体实例跟踪算法部署流程.md new file mode 100644 index 0000000..c9349c4 --- /dev/null +++ b/knowledge_hub/人体实例跟踪算法部署流程.md @@ -0,0 +1,53 @@ +# 人体实例跟踪算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/reid/config/ . + +3. 配置MIPI摄像头 +export CAM_TYPE=mipi + +4. 启动launch文件 +ros2 launch reid reid.launch.py + +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 其中每个人物上的id为实例ID结果。 + +# 人体实例跟踪算法部署流程：用usb摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/reid/config/ . + +3. 配置usb摄像头 +export CAM_TYPE=usb + +4. 启动launch文件 +ros2 launch reid reid.launch.py + +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 其中每个人物上的id为实例ID结果。 + +# 人体实例跟踪算法部署流程：使用本地照片回灌 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/reid/config/ . + +3. 配置本地回灌图片 +export CAM_TYPE=fb + +4. 启动launch文件 +ros2 launch reid reid.launch.py publish_image_source:=config/person_body.jpg publish_image_format:=jpg publish_output_image_w:=1920 publish_output_image_h:=1080 + +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址）, 其中每个人物上的id为实例ID结果。 \ No newline at end of file diff --git a/knowledge_hub/人体检测和跟踪(Ultralytics YOLO Pose)算法部署流程 copy.md b/knowledge_hub/人体检测和跟踪(Ultralytics YOLO Pose)算法部署流程 copy.md new file mode 100644 index 0000000..ac0c919 --- /dev/null +++ b/knowledge_hub/人体检测和跟踪(Ultralytics YOLO Pose)算法部署流程 copy.md @@ -0,0 +1,51 @@ +# 人体检测和跟踪(Ultralytics YOLO Pose)算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . + +3. 配置MIPI摄像头 +export CAM_TYPE=mipi + +4. 启动launch文件 +ros2 launch mono2d_body_detection mono2d_body_detection.launch.py kps_model_type:=1 kps_image_width:=1920 kps_image_height:=1080 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# 人体检测和跟踪(Ultralytics YOLO Pose)算法部署流程：用usb摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . + +3. 配置usb摄像头 +export CAM_TYPE=usb + +4. 启动launch文件 +ros2 launch mono2d_body_detection mono2d_body_detection.launch.py kps_model_type:=1 kps_image_width:=1920 kps_image_height:=1080 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm + +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# 人体检测和跟踪(Ultralytics YOLO Pose)算法部署流程：使用本地照片回灌 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/dnn_node_example/config/ . + + +3. 配置本地回灌图片 +export CAM_TYPE=fb + +4. 启动launch文件 +ros2 launch mono2d_body_detection mono2d_body_detection.launch.py publish_image_source:=config/person_body.jpg publish_image_format:=jpg kps_model_type:=1 kps_image_width:=640 kps_image_height:=640 kps_model_file_name:=config/yolo11x_pose_nashe_640x640_nv12.hbm + +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK的IP地址） \ No newline at end of file diff --git a/knowledge_hub/人体检测和跟踪算法部署流程.md b/knowledge_hub/人体检测和跟踪算法部署流程.md new file mode 100644 index 0000000..ba3a261 --- /dev/null +++ b/knowledge_hub/人体检测和跟踪算法部署流程.md @@ -0,0 +1,53 @@ +# 人体检测和跟踪算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . + +3. 配置MIPI摄像头 +export CAM_TYPE=mipi + +4. 启动launch文件 +ros2 launch mono2d_body_detection mono2d_body_detection.launch.py + +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法（人体、人头、人脸、人手检测框，检测框类型和目标跟踪ID，人体关键点）渲染效果（IP为RDK/X86设备的IP地址） + + +# 人体检测和跟踪算法部署流程：用usb摄像头发布为照片 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . + +3. 配置usb摄像头 +export CAM_TYPE=usb + +4. 启动launch文件 +ros2 launch mono2d_body_detection mono2d_body_detection.launch.py + +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法（人体、人头、人脸、人手检测框，检测框类型和目标跟踪ID，人体关键点）渲染效果（IP为RDK/X86设备的IP地址） + + +# 人体检测和跟踪算法部署流程：使用本地照片回灌 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/dnn_node_example/config/ . + +3. 配置本地回灌图片 +export CAM_TYPE=fb + +4. 启动launch文件 +ros2 launch mono2d_body_detection mono2d_body_detection.launch.py publish_image_source:=config/person_body.jpg publish_image_format:=jpg publish_output_image_w:=960 publish_output_image_h:=544 + +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法（人体、人头、人脸、人手检测框，检测框类型和目标跟踪ID，人体关键点）渲染效果（IP为RDK/X86设备的IP地址） diff --git a/knowledge_hub/人手关键点及手势识别(mediapipe)算法部署流程.md b/knowledge_hub/人手关键点及手势识别(mediapipe)算法部署流程.md new file mode 100644 index 0000000..bac1f06 --- /dev/null +++ b/knowledge_hub/人手关键点及手势识别(mediapipe)算法部署流程.md @@ -0,0 +1,53 @@ +# 人手关键点及手势识别(mediapipe)算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/palm_detection_mediapipe/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_landmarks_mediapipe/config/ . + +3. 配置MIPI摄像头 +export CAM_TYPE=mipi + +4. 启动launch文件 +ros2 launch hand_landmarks_mediapipe hand_landmarks.launch.py + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# 人手关键点及手势识别(mediapipe)算法部署流程：用usb摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/palm_detection_mediapipe/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_landmarks_mediapipe/config/ . + +3. 配置usb摄像头 +export CAM_TYPE=usb + +4. 启动launch文件 +ros2 launch hand_landmarks_mediapipe hand_landmarks.launch.py + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# 人手关键点及手势识别(mediapipe)算法部署流程：使用本地图片回灌 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/palm_detection_mediapipe/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_landmarks_mediapipe/config/ . + +3. 配置usb摄像头 +export CAM_TYPE=fb + +4. 启动launch文件 +ros2 launch hand_landmarks_mediapipe hand_landmarks.launch.py publish_image_source:=config/example.jpg publish_image_format:=jpg publish_output_image_w:=640 publish_output_image_h:=480 + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） diff --git a/knowledge_hub/人手关键点检测算法部署流程.md b/knowledge_hub/人手关键点检测算法部署流程.md new file mode 100644 index 0000000..9fa11f5 --- /dev/null +++ b/knowledge_hub/人手关键点检测算法部署流程.md @@ -0,0 +1,34 @@ +# 人手关键点检测算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ . +3. 配置MIPI摄像头 +export CAM_TYPE=mipi + +4. 启动launch文件 +ros2 launch hand_lmk_detection hand_lmk_detection.launch.py + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# 人手关键点检测算法部署流程：用usb摄像头发布为照片 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ . + +3. 配置usb摄像头 +export CAM_TYPE=usb + +4. 启动launch文件 +ros2 launch hand_lmk_detection hand_lmk_detection.launch.py + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） diff --git a/knowledge_hub/人脸106关键点检测算法部署流程.md b/knowledge_hub/人脸106关键点检测算法部署流程.md new file mode 100644 index 0000000..ac0df62 --- /dev/null +++ b/knowledge_hub/人脸106关键点检测算法部署流程.md @@ -0,0 +1,32 @@ +# 人脸106关键点检测算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +3. 配置MIPI摄像头 +export CAM_TYPE=mipi + +4. 启动launch文件 +ros2 launch face_landmarks_detection body_det_face_landmarks_det.launch.py + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# 人脸106关键点检测算法部署流程：用usb摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . + +3. 配置usb摄像头 +export CAM_TYPE=usb + +4. 启动launch文件 +ros2 launch face_landmarks_detection body_det_face_landmarks_det.launch.py + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） diff --git a/knowledge_hub/人脸年龄检测算法部署流程.md b/knowledge_hub/人脸年龄检测算法部署流程.md new file mode 100644 index 0000000..61285da --- /dev/null +++ b/knowledge_hub/人脸年龄检测算法部署流程.md @@ -0,0 +1,32 @@ +# 人脸年龄检测算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +3. 配置MIPI摄像头 +export CAM_TYPE=mipi + +4. 启动launch文件 +ros2 launch face_age_detection body_det_face_age_det.launch.py + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# 人脸年龄检测算法部署流程：用usb摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . + +3. 配置usb摄像头 +export CAM_TYPE=usb + +4. 启动launch文件 +ros2 launch face_age_detection body_det_face_age_det.launch.py + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） diff --git a/knowledge_hub/光流估计算法部署流程.md b/knowledge_hub/光流估计算法部署流程.md new file mode 100644 index 0000000..04eb92f --- /dev/null +++ b/knowledge_hub/光流估计算法部署流程.md @@ -0,0 +1,51 @@ +# 光流估计算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ . + +3. 配置MIPI摄像头 +export CAM_TYPE=mipi + +4. 启动launch文件 +ros2 launch parking_perception parking_perception.launch.py + +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# 光流估计算法部署流程：用usb摄像头发布为照片 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ . + +3. 配置sub摄像头 +export CAM_TYPE=sub + +4. 启动launch文件 +ros2 launch parking_perception parking_perception.launch.py + +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# 光流估计算法部署流程：使用本地照片回灌 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ . + +3. 配置MIPI摄像头 +export CAM_TYPE=fb + +4. 启动launch文件 +ros2 launch parking_perception parking_perception.launch.py +4. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + + diff --git a/knowledge_hub/单目3D室内检测算法部署流程.md b/knowledge_hub/单目3D室内检测算法部署流程.md new file mode 100644 index 0000000..6d442ef --- /dev/null +++ b/knowledge_hub/单目3D室内检测算法部署流程.md @@ -0,0 +1,10 @@ +# 单目3D室内检测算法部署流程： + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono3d_indoor_detection/config/ . + +3. 启动launch文件 +ros2 launch mono3d_indoor_detection mono3d_indoor_detection.launch.py \ No newline at end of file diff --git a/knowledge_hub/单目高程网络检测算法部署流程.md b/knowledge_hub/单目高程网络检测算法部署流程.md new file mode 100644 index 0000000..b8509f6 --- /dev/null +++ b/knowledge_hub/单目高程网络检测算法部署流程.md @@ -0,0 +1,10 @@ +# 单目高程网络检测算法部署流程： + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/elevation_net/config/ + +3. 启动launch文件 +ros2 launch elevation_net elevation_net.launch.py diff --git a/knowledge_hub/双目OCC算法部署流程.md b/knowledge_hub/双目OCC算法部署流程.md new file mode 100644 index 0000000..11cf408 --- /dev/null +++ b/knowledge_hub/双目OCC算法部署流程.md @@ -0,0 +1,17 @@ +# 单目3D室内检测算法部署流程：使用本地图片回灌 + +1. 配置tros.b humble环境 +source /opt/tros/humble/setup.bash + +2. 启动ZED-2i相机和占用网络推理程序 +ros2 launch dstereo_occnet zed2i_occ_node.launch.py + +3. 启动launch文件 +ros2 launch mono3d_indoor_detection mono3d_indoor_detection.launch.py + +4. 程序启动后可以通过网页查看ZED-2i发布的双目图像，在PC端浏览器输入[http://ip:8000](http://ip:8000/) 即可查看双目图像，ip为RDK板端的ip，并且要保证PC和RDK能通过网络通讯 + +5. 通过rviz2可查看占用网格 +sudo apt install ros-humble-rviz2 +source /opt/tros/humble/setup.bash +rviz2 \ No newline at end of file diff --git a/knowledge_hub/手势识别算法部署流程.md b/knowledge_hub/手势识别算法部署流程.md new file mode 100644 index 0000000..dc0433c --- /dev/null +++ b/knowledge_hub/手势识别算法部署流程.md @@ -0,0 +1,57 @@ +# 手势识别算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_gesture_detection/config/ . +3. 配置MIPI摄像头 +export CAM_TYPE=mipi + +4. 启动launch文件 +ros2 launch hand_gesture_detection hand_gesture_detection.launch.py + +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK/X86设备的IP地址） + + +# 手势识别算法部署流程：用usb摄像头发布为照片 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_gesture_detection/config/ . + +3. 配置usb摄像头 +export CAM_TYPE=usb + +4. 启动launch文件 +ros2 launch hand_gesture_detection hand_gesture_detection.launch.py + +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK/X86设备的IP地址） + + +# 手势识别算法部署流程：使用本地照片回灌 + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/mono2d_body_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_lmk_detection/config/ . +cp -r /opt/tros/${TROS_DISTRO}/lib/hand_gesture_detection/config/ . + +3. 配置本地回灌图片 +export CAM_TYPE=fb + +4. 启动launch文件 +ros2 launch hand_gesture_detection hand_gesture_detection.launch.py publish_image_source:=config/person_face_hand.jpg publish_image_format:=jpg publish_output_image_w:=960 publish_output_image_h:=544 publish_fps:=30 + +5. 测试效果 +在PC端的浏览器输入[http://IP:8000](http://ip:8000/) 即可查看图像和算法渲染效果（IP为RDK/X86设备的IP地址） diff --git a/knowledge_hub/文本图片特征检索算法部署流程.md b/knowledge_hub/文本图片特征检索算法部署流程.md new file mode 100644 index 0000000..5fedb67 --- /dev/null +++ b/knowledge_hub/文本图片特征检索算法部署流程.md @@ -0,0 +1,47 @@ +# 文本图片特征检索算法部署流程：CLIP 入库 + +1. 依赖安装 +pip3 install onnxruntime +pip3 install ftfy +pip3 install wcwidth +pip3 install regex + +2. 从Web端下载运行示例需要的模型文件。 +wget http://archive.d-robotics.cc/models/clip_encode_text/text_encoder.tar.gz +sudo tar -xf text_encoder.tar.gz -C config + +3. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +4. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/clip_encode_image/config/ . + +5. 启动launch文件，RDK S100为例，RDK X5 为ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_db_file:=clip.db clip_storage_folder:=/root/config +ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_storage_folder:=/root/config + + +# 文本图片特征检索算法部署流程：检索 + +1. 依赖安装 +pip3 install onnxruntime +pip3 install ftfy +pip3 install wcwidth +pip3 install regex + +2. 从Web端下载运行示例需要的模型文件。 +wget http://archive.d-robotics.cc/models/clip_encode_text/text_encoder.tar.gz +sudo tar -xf text_encoder.tar.gz -C config + +3. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +4. 启动launch文件，RDK S100为例，RDK X5 为ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram" +ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram" + +5. 检索结果可视化 +打开另一个终端 +cp -r /opt/tros/${TROS_DISTRO}/lib/clip_manage/config/index.html . +python -m http.server 8080 + +6. 查看检索结果 +在PC端的浏览器输入http://IP:8080 即可查看图像检索结果（IP为设备IP地址）。 \ No newline at end of file diff --git a/knowledge_hub/智能语音算法部署流程.md b/knowledge_hub/智能语音算法部署流程.md new file mode 100644 index 0000000..c1217d9 --- /dev/null +++ b/knowledge_hub/智能语音算法部署流程.md @@ -0,0 +1,17 @@ +# 智能语音算法部署流程： + +1. 安装智能语音算法包 若为humble版本则用sudo apt install tros-humble-hobot-audio +sudo apt update +sudo apt install tros-hobot-audio + +2. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +3. 从tros.b的安装路径中拷贝出运行示例需要的配置文件，若已拷贝则可忽略 +cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_audio/config/ . + +4. 屏蔽调式打印信息 +export GLOG_minloglevel=3 + +5. 启动launch文件 +ros2 launch hobot_audio hobot_audio.launch.py \ No newline at end of file diff --git a/knowledge_hub/激光雷达目标检测算法部署流程.md b/knowledge_hub/激光雷达目标检测算法部署流程.md new file mode 100644 index 0000000..6671b07 --- /dev/null +++ b/knowledge_hub/激光雷达目标检测算法部署流程.md @@ -0,0 +1,43 @@ +# 激光雷达目标检测算法部署流程：使用本地点云文件回灌（humble版本） + +1. 板端下载回灌的点云文件 +cd ~ +wget http://archive.d-robotics.cc/TogetheROS/data/hobot_centerpoint_data.tar.gz + +2. 解压缩 +mkdir -p ~/centerpoint_data +tar -zxvf ~/hobot_centerpoint_data.tar.gz -C ~/centerpoint_data + +3. 配置tros.b humble环境 +source /opt/tros/humble/setup.bash +if [ -L qat ]; then rm qat; fi +ln -s `ros2 pkg prefix hobot_centerpoint`/lib/hobot_centerpoint/qat/ qat +ln -s ~/centerpoint_data centerpoint_data + +4. 启动launch文件 +ros2 launch hobot_centerpoint hobot_centerpoint.launch.p + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# 激光雷达目标检测算法部署流程：使用本地点云文件回灌（foxy版本） + +1. 板端下载回灌的点云文件 +wget http://archive.d-robotics.cc/TogetheROS/data/hobot_centerpoint_data.tar.gz + +2. 解压缩 +mkdir config +tar -zxvf hobot_centerpoint_data.tar.gz -C config + +3. 配置tros.b环境 +source /opt/tros/setup.bash + +4. 启动websocket服务 +ros2 launch websocket websocket_service.launch.py + +5. 启动launch文件 +ros2 launch hobot_centerpoint hobot_centerpoint_websocket.launch.py lidar_pre_path:=config/hobot_centerpoint_data + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + diff --git a/knowledge_hub/视觉惯性里程计算法部署流程.md b/knowledge_hub/视觉惯性里程计算法部署流程.md new file mode 100644 index 0000000..a2b6152 --- /dev/null +++ b/knowledge_hub/视觉惯性里程计算法部署流程.md @@ -0,0 +1,10 @@ +# 视觉惯性里程计算法部署流程： + +1. 配置tros.b环境 若为humble则用source /opt/tros/humble/setup.bash +source /opt/tros/setup.bash + +2. 启动launch文件 +ros2 launch hobot_vio hobot_vio.launch.py + +3. 轨迹结果可在PC的rviz2软件查看 +输出topic：horizon_vio/horizon_vio_path（vio算法输出的机器人运动轨迹） \ No newline at end of file diff --git a/knowledge_hub/视觉语言模型部署流程.md b/knowledge_hub/视觉语言模型部署流程.md new file mode 100644 index 0000000..4a64ec5 --- /dev/null +++ b/knowledge_hub/视觉语言模型部署流程.md @@ -0,0 +1,52 @@ +# 视觉语言模型部署流程：RDK X5 + +1. 下载功能包 +sudo apt update +sudo apt install tros-humble-hobot-llamacpp + +2. 系统配置 +手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。 +重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下： +sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu0/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu1/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu2/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu3/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu4/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu5/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu6/cpufreq/scaling_governor' + +3. 下载模型文件到运行路径 +wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/Qwen2.5-0.5B-Instruct-Q4_0.gguf +wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/rdkx5/vit_model_int16_v2.bin + +4. 启动程序 +source /opt/tros/humble/setup.bash +cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_llamacpp/config/ . +ros2 run hobot_llamacpp hobot_llamacpp --ros-args -p feed_type:=0 -p image:=config/image2.jpg -p image_type:=0 -p user_prompt:="描述一下这张图片." -p model_file_name:=vit_model_int16_v2.bin -p llm_model_name:=Qwen2.5-0.5B-Instruct-Q4_0.gguf + +# 视觉语言模型部署流程：RDK S100 + +1. 下载功能包 +sudo apt update +sudo apt install tros-humble-hobot-llamacpp + +2. 系统配置 +手动使用命令srpi-config修改ION memory大小为1.9GB，设置方法参考RDK用户手册配置工具srpi-config使用指南[Performance Options](https://developer.d-robotics.cc/rdk_doc/System_configuration/srpi-config#performance-options)章节。 +重启后设置CPU最高频率为1.5GHz，以及调度模式为performance，命令如下： +sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu0/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu1/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu2/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu3/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu4/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu5/cpufreq/scaling_governor' +sudo bash -c 'echo performance >/sys/devices/system/cpu/cpu6/cpufreq/scaling_governor' + +3. 下载模型文件到运行路径 +wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/Qwen2.5-0.5B-Instruct-Q4_0.gguf +wget https://hf-mirror.com/D-Robotics/InternVL2_5-1B-GGUF-BPU/resolve/main/rdks100/vit_model_int16.hbm +4. 启动程序 +source /opt/tros/humble/setup.bash +cp -r /opt/tros/${TROS_DISTRO}/lib/hobot_llamacpp/config/ . +ros2 run hobot_llamacpp hobot_llamacpp --ros-args -p feed_type:=0 -p image:=config/image2.jpg -p image_type:=0 -p user_prompt:="描述一下这张图片." -p model_file_name:=vit_model_int16.hbm -p llm_model_name:=Qwen2.5-0.5B-Instruct-Q4_0.gguf \ No newline at end of file diff --git a/knowledge_hub/路面结构化算法部署流程.md b/knowledge_hub/路面结构化算法部署流程.md new file mode 100644 index 0000000..cb05e38 --- /dev/null +++ b/knowledge_hub/路面结构化算法部署流程.md @@ -0,0 +1,49 @@ +# 路面结构化算法部署流程：用MIPI摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ . + +3. 配置MIPI摄像头 +export CAM_TYPE=mipi + +4. 启动launch文件 +ros2 launch parking_perception parking_perception.launch.py + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# 路面结构化算法部署流程：用usb摄像头发布为照片 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ . + +3. 配置usb摄像头 +export CAM_TYPE=usb + +4. 启动launch文件 +ros2 launch parking_perception parking_perception.launch.py + +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） + +# 路面结构化算法部署流程：使用本地照片回灌 + +1. 配置tros.b环境 +source /opt/tros/humble/setup.bash + +2. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。 +cp -r /opt/tros/${TROS_DISTRO}/lib/parking_perception/config/ . + +3. 配置usb摄像头 +export CAM_TYPE=fb + +4. 启动launch文件 +ros2 launch parking_perception parking_perception.launch.py +5. 测试效果 +运行成功后在pc端游览器输入：[http://IP:8000](http://ip:8000/)，即可查看图像和算法渲染效果（IP为RDK的IP地址） -- 2.47.2