跳到主要内容

4.3.1 ModelZoo概述

产品介绍​

本产品为 RDK 系列开发板的模型样例总仓（Model Zoo），旨在为开发者提供能直接上板部署的，丰富多样的模型案例。

Tip

Model Zoo的github仓在这里：https://github.com/D-Robotics/rdk_model_zoo

通过该仓库，开发者可以访问以下资源：

  1. 多样化的地瓜异构模型：仓库中包含了各类可直接上板部署，适用与多种场景、通用性较强的地瓜异构模型，包括但不限于图像分类、目标检测、语义分割、自然语言处理等领域的.bin模型。这些模型经过精心挑选和优化，具有高效的性能。
  2. 详细的使用指南：每个模型都配有一个Jupyter Notebook，其中附带详细的模型介绍、使用说明、示例代码和注释，帮助开发者快速上手。同时，对于部分模型，我们还提供了模型的性能评估报告和调优建议，方便开发者根据具体需求进行定制和优化。
  3. 集成的开发工具：我们为开发者提供了可在RDK 系列开发板上快速部署模型的一套python接口，bpu_infer_lib，通过学习仓库内模型配备的Jupyter Notebook，如数据预处理脚本和推理方法，开发者能快速掌握对该接口的使用，大大简化了模型开发和部署的流程。

环境准备​

开发者首先根据所在分支，准备一块对应的RDK 开发板，并前往地瓜机器人官网完成硬件准备、驱动安装、软件下载、和镜像烧录。对于X3和X5的镜像，请选择3.0.0以上的版本。

在完成硬件连接和网络配置后，使用MobaXTerm远程登录开发板。对开发板进行网络连接。

使用pip完成相应python库的安装：

  1. bpu_infer_lib

如使用RDK X5：

pip install bpu_infer_lib_x5 -i http://archive.d-robotics.cc/simple/ --trusted-host archive.d-robotics.cc

如使用RDK X3：

pip install bpu_infer_lib_x3 -i http://archive.d-robotics.cc/simple/ --trusted-host archive.d-robotics.cc
  1. jupyterlab
pip install jupyterlab

随后即可使用如下命令拉取Model Zoo仓库：

git clone https://github.com/D-Robotics/rdk_model_zoo

注：这里git clone拉下来的分支默认为RDK X5分支，如实际使用的开发板为RDK系列的其他产品，请使用git checkout命令进行切换，这里以X3为例，如想切换至RDK X3对应的分支，请执行如下命令：

git checkout rdk_x3

拉取完成后，使用如下命令进入Model Zoo目录：

cd rdk_model_zoo

随后使用如下命令进入Jupyter Lab（注：ip地址为板子实际登录时使用的ip）:

jupyter lab --allow-root --ip 10.112.148.68

使用命令后，会出现以上日志，按住Ctrl，鼠标左键点击上图所示的链接，即可进入Jupyter Lab（如下图所示），双击demos后，即可选择模型体验RDK Model Zoo。

模块介绍​

RDK 系列 Model Zoo总体分为如下模块（这部分以RDK X5为例，请根据实际情况跳转自对应分支）：

  1. 大模型
  2. 图像分类
  3. 目标检测
  4. 实例分割

开发者可跳转至对应的模块，体验模型在RDK 系列开发板的部署。

使用指南​

在Jupyter Lab中选择一个模型的notebook进入后，开发者会进入到类似如下的界面：

这里以yolo world模型为例，用户只需要点击上图中的双三角按钮，即可运行全部cell。鼠标拖动到下方，即可看到结果展示：

开发者也可以选择逐cell运行，此时只需要按下Shift + Enter，即可完成当前cell运行，并跳转至下一个cell。