BEV感知算法
功能介绍
BEV感知算法是使用OpenExplorer在nuscenes数据集上训练出来的BEV
多任务模型。
算法输入为6组图像数据,分别是前视,左前,右前,后视,左后,右后图。模型输出为10个类别的目标以及对应的3D检测框,包括障碍物、多种类型车辆、交通标志等,以及车道线、人行道、马路边缘的语义分割。
此示例使用本地图像数据作为输入,利用BPU进行算法推理,发布算法感知结 果渲染的图片消息,在PC端浏览器上渲染显示算法结果。
代码仓库: (https://github.com/D-Robotics/hobot_bev.git)
支持平台
平台 | 运行方式 | 示例功能 |
---|---|---|
RDK Ultra | Ubuntu 20.04 (Foxy) | 使用本地回灌,并通过web展示推理渲染结果 |
准备工作
-
RDK已烧录好Ubuntu 20.04系统镜像。
-
RDK已成功安装TogetheROS.Bot。
-
确认PC机能够通过网络访问RDK。
使用介绍
使用本地数据集回灌
使用本地数据集回灌,经过推理后发布算法结果渲染后的图片消息,通过websocket package实现在PC端浏览器上渲染显示发布的图片和对应的算法结果。
准备回灌数据集
# 板端下载数据集
wget http://archive.d-robotics.cc/TogetheROS/data/hobot_bev_data.tar.gz
# 解压缩
mkdir -p hobot_bev_data
tar -zxvf hobot_bev_data.tar.gz -C hobot_bev_data
# 解压完成后数据集在hobot_bev_data/data路径下
使用数据集回灌
# 配置tros.b环境
source /opt/tros/setup.bash
# 启动websocket服务
ros2 launch websocket websocket_service.launch.py
# 启动运行脚本,并指定数据集路径
ros2 launch hobot_bev hobot_bev.launch.py image_pre_path:=hobot_bev_data/data