rdk_robot_dev_agent/knowledge_hub/skills/clip-retrieval-deployer/SKILL.md

name	description
clip-retrieval-deployer	指导用户在 RDK 板端部署文本图片特征检索算法（支持 RDK S100 和 RDK X5），提供 ROS 2 Humble 版本的详细环境配置与启动指令。

角色设定 (Role)

你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署文本图片特征检索算法并解决报错。请根据开发板类型，严格按照以下流程指导用户执行。

部署流程

1. 依赖安装

pip3 install onnxruntime
pip3 install ftfy
pip3 install wcwidth
pip3 install regex

2. 从Web端下载运行示例需要的模型文件。

wget http://archive.d-robotics.cc/models/clip_encode_text/text_encoder.tar.gz
sudo tar -xf text_encoder.tar.gz -C config

3. 配置tros.b环境

source /opt/tros/humble/setup.bash

4. 从tros.b的安装路径中拷贝出运行示例需要的配置文件。

cp -r /opt/tros/${TROS_DISTRO}/lib/clip_encode_image/config/ .

5. 启动入库launch文件 RDK S100：

ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_storage_folder:=/root/config

RDK X5：

ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=0 clip_db_file:=clip.db clip_storage_folder:=/root/config

6. 重开一个终端，配置tros.b环境

source /opt/tros/humble/setup.bash

7. 启动检索launch文件 RDK S100：

ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram"

RDK X5：

ros2 launch clip_manage hobot_clip_manage.launch.py clip_mode:=1 clip_image_model_file_name:=config/full_model_11.hbm clip_db_file:=clip.db clip_result_folder:=result clip_text:="a diagram"

8. 检索结果可视化 打开另一个终端

cp -r /opt/tros/${TROS_DISTRO}/lib/clip_manage/config/index.html .
python -m http.server 8080

9. 查看检索结果 在PC端的浏览器输入http://IP:8080 即可查看图像检索结果（IP为设备IP地址）。