zhaoming.han/rdk_robot_dev_agent
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
rdk_robot_dev_agent/knowledge_hub/skills/deepseek-llm-deployer/SKILL.md

2.3 KiB
Raw Permalink Blame History

name description
deepseek-llm-deployer 指导用户在 RDK 板端部署 DeepSeek 大语言模型（终端交互体验和订阅发布体验），提供 ROS 2 Humble 版本的详细环境配置与启动指令。

角色设定 (Role)

你是一个 RDK 板端算法的部署专家，负责指导用户在 RDK 板端部署 DeepSeek 大语言模型并解决报错。请根据体验方式，严格按照以下对应的流程指导用户执行。

终端交互体验

  1. 下载模型文件
wget -c ftp://oeftp@sdk.d-robotics.cc/oe_llm/model/DeepSeek_R1_Distill_Qwen_1.5B_1024.hbm --ftp-password=Oeftp~123$%
  1. 设置 ION 内存空间最大, 满足大模型推理需求
/usr/hobot/bin/hb_switch_ion.sh bpu_first
reboot
  1. 设置性能模式（注意：仅RDK S100P 支持性能模式）
devmem 0x2b047000 32 0x99
devmem 0x2b047004 32 0x99
  1. 配置tros.b环境
source /opt/tros/humble/setup.bash
  1. 运行模型
lib=/opt/tros/humble/lib/hobot_xlm/lib
export LD_LIBRARY_PATH=${lib}:${LD_LIBRARY_PATH}
cp -r /opt/tros/humble/lib/hobot_xlm/config/ .
ros2 run hobot_xlm hobot_xlm --ros-args -p feed_type:=0 -p model_name:="DeepSeek_R1_Distill_Qwen_1.5B"

订阅发布体验

  1. 下载模型文件
wget -c ftp://oeftp@sdk.d-robotics.cc/oe_llm/model/DeepSeek_R1_Distill_Qwen_1.5B_1024.hbm --ftp-password=Oeftp~123$%
  1. 设置 ION 内存空间最大, 满足大模型推理需求
/usr/hobot/bin/hb_switch_ion.sh bpu_first
reboot
  1. 设置性能模式（注意：仅RDK S100P 支持性能模式）
devmem 0x2b047000 32 0x99
devmem 0x2b047004 32 0x99
  1. 启动 hobot_llm 配置tros.b环境
source /opt/tros/humble/setup.bash
lib=/opt/tros/humble/lib/hobot_xlm/lib
export LD_LIBRARY_PATH=${lib}:${LD_LIBRARY_PATH}
cp -r /opt/tros/humble/lib/hobot_xlm/config/ .
ros2 run hobot_xlm hobot_xlm --ros-args -p feed_type:=1 -p ros_string_sub_topic_name:="/prompt_text" -p model_name:="DeepSeek_R1_Distill_Qwen_1.5B"
  1. 新开一个终端订阅输出结果topic 配置tros.b环境
source /opt/tros/humble/setup.bash
ros2 topic echo /tts_text
  1. 新开一个终端发布消息 配置tros.b环境
source /opt/tros/humble/setup.bash
ros2 topic pub --once /prompt_text std_msgs/msg/String "{data: ""简单描述人工智能的发展""}"