peng01.guo 15b3337339 RDK 知识库数据集:论坛帖子导出 + 文档中心 Markdown + RAG 评测集(352 条)及全量生产管线
- forum-solved-export: 3539 个已解决话题(问题+全部对话+采纳回答),含索引
- rdk-docs-export: 21 个文档子站 ~3430 篇 Markdown(源码仓库/抓取/反解析三种方式)
- kb-eval: 352 条 RAG 检索评测集(答案全部锚定文档、多轮子代理交叉审计),
  含检索/出题/校验工具与子代理提示词模板,支持增量扩产
- pipeline: 论坛枚举导出、文档抓取反解析、覆盖率统计全部脚本(可重跑)
2026-09-18 17:14:40 +08:00

2.8 KiB
Raw Permalink Blame History

title description sidebar_position
RDK S600 应用案例手册 汇总 RDK S600 平台从基础外设接入到端侧 AI 推理、多模态交互与具身智能的典型应用案例。 1

RDK S600 应用案例手册

本文档汇总 RDK S600 平台典型应用案例,从基础外设接入到端侧 AI 推理,再到多模态交互与具身智能,按难度递进组织,便于快速上手并逐层深入。

文档结构

1. 入门案例

介绍常用外设的接入与使用方法,帮助完成硬件环境搭建与基础功能验证。

  • USB 外设使用:涵盖 USB 串口、USB 摄像头与 USB 语音设备的 Python 调用示例,包括 OpenCV 采图、sounddevice 录音播放等。
  • UART 使用:介绍 UART 通信原理与 pyserial 调用流程,并以 STS3215 总线舵机为例演示 RS485 控制。

2. 初阶案例

在 S600 端侧部署入门级 AI 模型,覆盖视觉、语音与大模型三类典型场景,提供完整的环境准备、案例启动与效果展示流程。

3. 进阶案例

将多种模态能力组合,构建更接近真实产品的交互体验。

  • 多模态交互助手:结合 Whisper-medium 与 Qwen3VL-8B,通过 USB 麦克风与摄像头实现 “语音 + 视觉” 多模态对话,例如向系统提问 “你看到了什么” 。

4. 高阶案例

面向具身智能场景,展示视觉-语言-动作(VLA)模型的端侧部署、PC 仿真联调,以及 HoloBrain 实机抓取部署。

  • 视觉语言动作模型(VLA):在 PC 端部署 RoboTwin 仿真环境,在 S600 端侧部署 Pi0 模型进行推理,涵盖 PC 仿真部署、S600 端侧部署与运行结果展示。
  • HoloBrain:在 RDK S600 上完成 HoloBrain 环境配置、模型部署与通用物体抓取任务运行,涵盖硬件准备、环境搭建、启动停止;常见问题见 FAQ。

5. 参考资料

提供更详细的 SDK 文档、量化工具链、S600 用户手册,以及 Pi0 量化与真机部署等扩展阅读材料。

6. FAQ

汇总案例实践中的常见问题,例如 BPU 内存分配失败、HBM 模型格式错误等,并给出排查与解决方法。