📄️ 示例概述
本项目包含多个基于 Python 编写的 AI 示例程序,适用于 RDK S100平台,覆盖图像分类、目标检测、实例分割、姿态估计、OCR、语音识别等常见 AI 任务。示例使用 .hbm 格式的量化模型进行推理,便于开发者快速验证模型效果并开展应用开发。
📄️ 图像分类-ResNet18
本示例演示如何使用hbmruntime的python接口部署ResNet18模型进行图像分类推理。适用于搭载BPU芯片的 RDK S100设 备,本示例代码位于/app/pydevdemo/01classificationsample/01_resnet18/目录下。
📄️ 图像分类-MobileNetV2
本示例展示如何使用基于 BPU 部署的 MobileNetV2 模型进行图像分类任务,使用 hbmruntime 进行推理,本示例代码位于/app/pydevdemo/01classificationsample/02_mobilenetv2/ 目录下。
📄️ 目标检测-Ultralytics YOLOv5x
本示例展示如何在 BPU 上使用量化后的 Ultralytics YOLOv5x 模型执行图像目标检测。支持前处理、后处理、NMS 以及最终的目标框绘制和结果保存,本示例代码位于/app/pydevdemo/02detectionsample/01ultralytics_yolov5x/目录下。
📄️ 目标检测-Ultralytics YOLO11
本示例基于 Ultralytics YOLO11 模型,通过 hbmruntime 接口完成图像的目标检测。支持图像预处理、推理、后处理(包含解码、置信度过滤、NMS)以及结果图像保存,本示例代码位于/app/pydevdemo/02detectionsample/02ultralyticsyolo11/目录下。
📄️ 语义分割-UNetMobileNet
本示例展示了如何基于 hbmruntime 在 BPU 上运行 UNet-MobileNet 语义分割模型,支持图像预处理、推理、后处理(解析输出并叠加彩色分割掩码)等功能,本示例代码位于/app/pydevdemo/03instancesegmentationsample/01unetmobilenet/目录下。
📄️ 实例分割-Ultralytics YOLO11
本示例展示了如何基于 hbmruntime 在 BPU 上运行 YOLOv11 语义分割模型,支持图像预处理、推理、后处理(解析输出并叠加彩色分割掩码)等功能,本示例代码位于/app/pydevdemo/03instancesegmentationsample/02ultralyticsyolo11seg/目录下。
📄️ 姿态估计-Ultralytics YOLO11
本示例展示了如何基于 hbmruntime 在 BPU 上运行 Ultralytics YOLO11 姿态估计模型,实现人体关键点检测与可视化。支持模型预处理、推理执行与后处理(含关键点解码、边界框绘制、关键点标注),本示例代码位于/app/pydevdemo/04posesample/01ultralyticsyolo11_pose/目录下。
📄️ 实例分割-Ultralytics YOLOE11
本示例展示了如何使用 hbmruntime 在 BPU 上运行 Ultralytics YOLOE11 实例分割模型。程序实现了从输入图像的预处理、模型推理、后处理到结果可视化的完整流程,本示例代码位于/app/pydevdemo/05openinstancesegsample/01yoloe11seg/目录下。
📄️ 车道线检测-LaneNet
本示例基于 hbmruntime 运行 LaneNet 模型,实现车道线的实例分割与二值分割,并将结果图像保存到本地,本示例代码位于/app/pydevdemo/06lanedetectionsample/01lanenet/目录下。
📄️ 自动语音识别-ASR
本示例基于 hbmruntime 推理引擎运行语音识 别模型,实现对 .wav 格式语音文件的自动转写,输出对应的文字内容,本示例代码位于/app/pydevdemo/07speechsample/01_asr/ 目录下。
📄️ 文本检测与识别-PaddleOCR
本示例基于 hbmruntime 推理引擎运行 PaddleOCR 模型进行文本检测与识别,支持中文场景的 OCR 识别与可视化,本示例代码位于/app/pydevdemo/08OCRsample/01paddleOCR/目录下,本示例代码位于/app/pydevdemo/02detectionsample/02ultralyticsyolo11/ 目录下。
📄️ USB Camera YOLOv5x 推理
基于 hbmruntime 的 Ultralytics YOLOv5x 实时推理示例,支持通过 USB 摄像头读取画面并进行目标检测,并以全屏方式可视化检测结果,本示例代码位于/app/pydevdemo/09usbcamera_sample/目录下。
📄️ MIPI Camera YOLOv5x 推理
基于 hbmruntime 的 Ultralytics YOLOv5x 实时推理示例,支持通过 MIPI 摄像头读取画面并进行目标检测,并以全屏方式可视化检测结果,本示例代码位于/app/pydevdemo/10mipicamera_sample/目录下。
📄️ WebSocket YOLOv5x 推理
本示例展示了如何在含有 HBM 加速器和 VIO 摄像头模块的嵌入式平台(如 RDK S100)上,使用 Ultralytics YOLOv5x 模型进行目标检测,并通过 WebSocket 实时推送 JPEG 图像和检测框,本示例代码位于/app/pydevdemo/11webdisplaycamera_sample/目录下。
📄️ RTSP视频拉流及YOLOv5x 推理
本示例演示如何在 RDK S100 等平台上,结合 SP 硬件模块(解码器、VIO、显示)和 BPU,实现: