7.3.2 示例程序
本章简述D-Robotics 多媒体应用示例,所涉及源码可以通过 sudo apt install hobot-multimedia-samples 获 得,安装在 /app/multimedia_samples 目录下。
get_sif_data 使用说明
程序功能
下图所示为X3M的视频数据通路框图,其中的专业名词解释请查看 多媒体开发概述-术语约定。
get_sif_data
完成 sensor
、MIPI CSI
和 SIF
模块的初始化,实现从SIF
模块获取视频帧数据的功能,支持从SIF
模块获取Raw
、YUV
两种格式的图像。
get_sif_data
可以有效帮助用户调试sensor
和X3M
的点亮调试,在打通sensor -> SIF
的数据通路后,再调试其他模块的功能。
程序开发
源码结构
源码位于 /app/multimedia_samples/get_sif_data
.
├── main.c # 主程序,完成sensor列表的加载,和命令控制
├── Makefile # 编译makefile
├── module.c
├── module.h
├── Readme.md
├── sensor_handle.c # sensor 初始化、从sif中获取图像的接口
├── sensor_handle.h
├── sensors # sensor参数配置,每个新sensor在本目录新增一个文件
│ ├── sensor_f37.c
│ └── sensor_imx415.c
└── sensors.lds
编译
当前 代码通过一个Makefile文件配置编译
进入源码目录,执行以下命令进行编译生成get_sif_data
程序
$ cd sample/get_sif_data
$ make clean # 清理源码,保持干净的代码环境
$ make
... ... # 一大段编译打印
$ ls
get_sif_data main.c main.o Makefile module.c module.h module.o Readme.md sensor_handle.c sensor_handle.h sensor_handle.o sensors sensors.lds
添加新sensor
如果有新sensor需要调试,请参考 sensors 目录下的源码文件,对应添加一个新的sensor配置即可。
以F37为例说明关键代码:
/*
* 添加sensor、mipi、sif dev、isp的参数配置
* 各结构体中参数在代码中有已经有比较详细的注释说明
* 其中isp部分参数在本程序中无需关注
*/
static int set_sensor_param(void)
{
printf("set_sensor_param\n");
/*定义 sensor 初始化的属性信息 */
snsinfo = SENSOR_1LANE_F37_30FPS_10BIT_LINEAR_INFO;
/*定义 mipi 初始化参数信息 */
mipi_attr = MIPI_1LANE_SENSOR_F37_30FPS_10BIT_LINEAR_ATTR;
/*定义 dev 初始化的属性信息 */
devinfo = DEV_ATTR_F37_LINEAR_BASE;
/*定义 pipe 属性信息 */
pipeinfo = PIPE_ATTR_F37_LINEAR_BASE;
return sensor_sif_dev_init();
return 0;
}
/*
* 主程序遍历sensor模块时调用本函数完成sensor名和sensor参数配置接口的注册
*/
static int sensor_probe(void)
{
int i = 0;
/* 在sensor_lists里面找到一个空位置 */
for (i = 0; i < ARRAY_SIZE(sensor_lists); i++) {
if (0 == strlen(sensor_lists[i].sensor_tag)) break;
}
if (i >= ARRAY_SIZE(sensor_lists)) {
printf("sensor lists is full\n");
return -1;
}
strncpy(sensor_lists[i].sensor_tag, SENSOR_TAG, 31 > strlen(SENSOR_TAG) ? strlen(SENSOR_TAG) : 31);
sensor_lists[i].func = set_sensor_param;
return 0;
}
/* 注册sensor的模块入口,主程序在遍历sensor时会用到 */
SENSOR_MODULE_INSTALL(sensor_probe);
功能使用
硬件连接
RDK X3 开发板通过mipi host
接口用于连接Sensor
模组,请根据当前要调试的Sensor
模组型号正确连接。
程序部署
按照上面的编译流程生成出get_sif_data
后,执行该程序,根据提示选择当前连接在开发板上的sensor类别,比如当前连接的是 F37 sensor
,则选择 1。
如果初始化成功,会自动获取第一帧图像(pipe0_plane0_1920x1080_frame_001.raw)保存在程序运行的目录下(退出程序后执行 ls -l pipe0_plane0_1920x1080_frame_* 可以查看),并打印用户可以使用的命令,运行过程如下:
chmod +x get_sif_data
./get_sif_data
D-Robotics Sensor Test Tools V1.0
********************** Sensor Lists *************************
0 -- IMX415
1 -- F37
*************************************************************
Please select :1 # 选择 sensor
... ... # 一大段初始化日志
normal pipe_id (0)type(9)frame_id(1)buf_index(0)w x h(1920x1080) data_type 9 img_format 0
stride_size(2400) w x h1920 x 1080 size 2592000
pipe(0)dump normal raw frame id(1),plane(1)size(2592000) # 获取第一帧图像
filedump(pipe0_plane0_1920x1080_frame_001.raw, size(2592000) is successed
time cost 85 ms
dumpToFile raw cost time 85 ms********************** Command Lists *************************
q -- quit
g -- get one frame
l -- get a set frames
h -- print help message
Command:
命令解释:
- g: 获取一帧图像,支持输入多个
g
来连续获取图像,例如输入gggg
Command: g
normal pipe_id (0)type(9)frame_id(4078)buf_index(5)w x h(1920x1080) data_type 9 img_format 0
stride_size(2400) w x h1920 x 1080 size 2592000
pipe(0)dump normal raw frame id(4078),plane(1)size(2592000)
filedump(pipe0_plane0_1920x1080_frame_4078.raw, size(2592000) is successed
time cost 67 ms
dumpToFile raw cost time 67 ms
- l: 连续获取12帧图像,相当于输入12个
g
Command: l
normal pipe_id (0)type(9)frame_id(4588)buf_index(3)w x h(1920x1080) data_type 9 img_format 0
stride_size(2400) w x h1920 x 1080 size 2592000
pipe(0)dump normal raw frame id(4588),plane(1)size(2592000)
filedump(pipe0_plane0_1920x1080_frame_4588.raw, size(2592000) is successed
time cost 56 ms
... ... # 连续的获取帧数据的打印
dumpToFile raw cost time 56 msnormal pipe_id (0)type(9)frame_id(4609)buf_index(7)w x h(1920x1080) data_type 9 img_format 0
stride_size(2400) w x h1920 x 1080 size 2592000
pipe(0)dump normal raw frame id(4609),plane(1)size(2592000)
filedump(pipe0_plane0_1920x1080_frame_4609.raw, size(2592000) is successed
time cost 57 ms
dumpToFile raw cost time 57 ms
- q: 退出程序
Command: Command: q
quit
[ 256.825912] [S0][V1]sif_video_streamoff
[ 256.826439] SIF close node 1
[ 256.853045] [S0][V0]sif_video_streamoff SIF last process stream off
[ 256.853922] [S0][V0]sif_video_streamoff
[ 256.855476] hobot_dmcfreq_target: dmcfreq->rate:2666000000, target_rate:2666000000
[ 256.856460] buf:performance
[ 256.856460] , powersave_rate:2666000000, dmcfreq->pre_state:0
[ 256.857610] [S0][V0]x3_sif_close SIF last process close
[ 256.858301] SIF close node 0
[ 256.858807] [isp_drv]: camera_sys_stream_off: camera_sys_stream_off success line 1549 dev_name port_0
[ 256.860006] [isp_drv:cam]: camera_fop_release: line 115 port 0 user_num 0 camera_cdev->start_num 0
[ 256.861229] vps mipi_host1: sensor1_mclk set(1) 0 as 24000000
[ 256.861980] vps mipi_host1: sensor1_mclk set(0) 0 as 24000000
[ 256.862741] vps mipi_host0: sensor0_mclk set(2) 0 as 24000000
[ 256.863491] vps mipi_host0: sensor0_mclk set(1) 0 as 24000000
[ 256.864241] vps mipi_host0: sensor0_mclk set(0) 0 as 24000000
运行效果说明
执行程序后会获取到如 pipe0_plane0_1920x1080_frame_4609.raw
一样命名的raw
图像,或者如pipe0_1920x1080_frame_1024.yuv
一样命名的yuv
图像。
请使用 hobotplayer 工具浏览图像,图像的参数配置说明如下:
- 浏览RAW图
按照如下图所示步骤配置选项,其中file config
里面关注pic_type
、raw_type
、 pix_length
、width
和height
的配置,F37 配置为(PIC_RAW、MIPI_RAW、RAW_BIT_10, 1920,1080),IMX415配置为(PIC_RAW、MIPI_RAW、RAW_BIT_12, 3840,2160)
- 浏览YUV图
按照如下图所示步骤配置选项,其中file config
里面关注pic_type
、yuv_type
、width
和height
的配置,F37 配置为(PIC_YUV、YUV_NV12, 1920,1080),IMX415配置为(YUV_NV12, 3840,2160)
get_isp_data 使用说明
程序功能
下图所示为X3M的视频数据通路框图,其中的专业名词解释请查看 多媒体开发概述-术语约定。
get_isp_data
完成 sensor
、MIPI CSI
SIF
和 ISP
模块的初始化,实现从ISP
模块获取视频帧数据的功能,支持从ISP
模块获取YUV
格式的图像。
get_isp_data
可以有效帮助用户调试sensor
和X3M
的ISP效果调试,在打通sensor -> SIF -> ISP
的数据通路后,再调试其他模块的功能。
程序开发
源码结构
源码位于 /app/multimedia_samples/get_isp_data
.
├── main.c # 主程序,完成sensor列表的加载,和命令控制
├── Makefile # 编译makefile
├── module.c
├── module.h
├── Readme.md
├── sensor_handle.c # sensor 初始化、从isp中获取图像的接口
├── sensor_handle.h
├── sensors # sensor参数配置,每个新sensor在本目录新增一个文件
│ ├── sensor_f37.c
│ └── sensor_imx415.c
└── sensors.lds
编译
当前代码通过一个Makefile文件配置编译,进入源码目录,执行以下命令进行编译生成get_isp_data
程序:
$ cd /app/multimedia_samples/get_sif_data
$ make clean # 清理源码,保持干净的代码环境
$ make
... ... # 一大段编译打印
$ ls
get_isp_data main.c main.o Makefile module.c module.h module.o Readme.md sensor_handle.c sensor_handle.h sensor_handle.o sensors sensors.lds
添加新sensor
如果有新sensor需要调试,请参考 sensors 目录下的源码文件,对应添加一个新的sensor配置即可。
以F37为例说明关键代码:
/*
* 添加sensor、mipi、sif dev、isp的参数配置
* 各结构体中参数在代码中有已经有比较详细的注释说明
*/
static int set_sensor_param(void)
{
printf("set_sensor_param\n");
/*定义 sensor 初始化的属性信息 */
snsinfo = SENSOR_1LANE_F37_30FPS_10BIT_LINEAR_INFO;
/*定义 mipi 初始化参数信息 */
mipi_attr = MIPI_1LANE_SENSOR_F37_30FPS_10BIT_LINEAR_ATTR;
/*定义 dev 初始化的属性信息 */
devinfo = DEV_ATTR_F37_LINEAR_BASE;
/*定义 pipe 属性信息 */
pipeinfo = PIPE_ATTR_F37_LINEAR_BASE;
/*定义 dis 属性信息 */
disinfo = DIS_ATTR_F37_BASE;
/*定义 ldc 属性信息 */
ldcinfo = LDC_ATTR_F37_BASE;
return sensor_sif_dev_init();
return 0;
}
/*
* 主程序遍历sensor模块时调用本函数完成sensor名和sensor参数配置接口的注册
*/
static int sensor_probe(void)
{
int i = 0;
/* 在sensor_lists里面找到一个空位置 */
for (i = 0; i < ARRAY_SIZE(sensor_lists); i++) {
if (0 == strlen(sensor_lists[i].sensor_tag)) break;
}
if (i >= ARRAY_SIZE(sensor_lists)) {
printf("sensor lists is full\n");
return -1;
}
strncpy(sensor_lists[i].sensor_tag, SENSOR_TAG, 31 > strlen(SENSOR_TAG) ? strlen(SENSOR_TAG) : 31);
sensor_lists[i].func = set_sensor_param;
return 0;
}
/* 注册sensor的模块入口,主程序在遍历sensor时会用到 */
SENSOR_MODULE_INSTALL(sensor_probe);
功能使用
硬件连接
RDK X3 开发板通过mipi host
接口用于连接Sensor
模组,请根据当前要调试的Sensor
模组型号正确连接。
程序部署
按照上面的编译流程生成出get_isp_data
后,执行该程序,根据提示选择当前连接在开发板上的sensor类别,比如当前连接的是 F37 sensor
,则选择 1。
如果初始化成功,会自动获取第一帧图像(pipe0_1920x1080_frame_001.yuv)保存在程序运行的目录下(退出程序后执行 ls -l pipe0_1920x1080_frame_* 可以查看),并打印用户可以使用的命令,运行过程如下:
chmod +x get_isp_data
./get_isp_data
D-Robotics Sensor Test Tools V1.0
********************** Sensor Lists *************************
0 -- IMX415
1 -- F37
*************************************************************
Please select :1 # 选择 sensor
... ... # 一大段初始化日志
normal pipe_id (0)type(11)frame_id(1)buf_index(0)w x h(1920x1080) data_type 11 img_format 0
stride_size(2400) w x h1920 x 1080 size 2073600
pipe(0)dump normal yuv frame id(1),plane(1)size(2073600) # 获取第一帧图像
filedump(pipe0_1920x1080_frame_001.yuv, size(2073600) is successed
time cost 63 ms
dumpToFile yuv cost time 63 ms********************** Command Lists *************************
q -- quit
g -- get one frame
l -- get a set frames
h -- print help message
Command:
命令解释:
- g: 获取一帧图像,支持输入多个
g
来连续获取图像,例如输入gggg
Command: g
normal pipe_id (0)type(11)frame_id(4078)buf_index(5)w x h(1920x1080) data_type 11 img_format 0
stride_size(2400) w x h1920 x 1080 size 2073600
pipe(0)dump normal yuv frame id(4078),plane(1)size(2073600)
filedump(pipe0_1920x1080_frame_4078.yuv, size(2073600) is successed
time cost 63 ms
dumpToFile yuv cost time 63 ms
- l: 连续获取12帧图像,相当于输入12个
g
Command: l
normal pipe_id (0)type(11)frame_id(4588)buf_index(3)w x h(1920x1080) data_type 11 img_format 0
stride_size(2400) w x h1920 x 1080 size 2073600
pipe(0)dump normal yuv frame id(4588),plane(1)size(2073600)
filedump(pipe0_1920x1080_frame_4588.yuv, size(2073600) is successed
time cost 56 ms
... ... # 连续的获取帧数据的打印
dumpToFile yuv cost time 56 msnormal pipe_id (0)type(11)frame_id(4609)buf_index(7)w x h(1920x1080) data_type 11 img_format 0
stride_size(2400) w x h1920 x 1080 size 2073600
pipe(0)dump normal yuv frame id(4609),plane(1)size(2073600)
filedump(pipe0_1920x1080_frame_4609.yuv, size(2073600) is successed
time cost 57 ms
dumpToFile yuv cost time 57 ms
- q: 退出程序
Command: Command: q
quit
[ 256.825912] [S0][V1]sif_video_streamoff
[ 256.826439] SIF close node 1
[ 256.853045] [S0][V0]sif_video_streamoff SIF last process stream off
[ 256.853922] [S0][V0]sif_video_streamoff
[ 256.855476] hobot_dmcfreq_target: dmcfreq->rate:2666000000, target_rate:2666000000
[ 256.856460] buf:performance
[ 256.856460] , powersave_rate:2666000000, dmcfreq->pre_state:0
[ 256.857610] [S0][V0]x3_sif_close SIF last process close
[ 256.858301] SIF close node 0
[ 256.858807] [isp_drv]: camera_sys_stream_off: camera_sys_stream_off success line 1549 dev_name port_0
[ 256.860006] [isp_drv:cam]: camera_fop_release: line 115 port 0 user_num 0 camera_cdev->start_num 0
[ 256.861229] vps mipi_host1: sensor1_mclk set(1) 0 as 24000000
[ 256.861980] vps mipi_host1: sensor1_mclk set(0) 0 as 24000000
[ 256.862741] vps mipi_host0: sensor0_mclk set(2) 0 as 24000000
[ 256.863491] vps mipi_host0: sensor0_mclk set(1) 0 as 24000000
[ 256.864241] vps mipi_host0: sensor0_mclk set(0) 0 as 24000000
运行效果说明
执行程序后会获取到如 pipe0_1920x1080_frame_4609.yuv
一样命名的yuv
图像
请使用 hobotplayer 工具浏览图像,图像的参数配置说明如下:
- 浏览YUV图
按照如下图所示步骤配置选项,其中file config
里面关注pic_type
、yuv_type
、width
和height
的配置,F37 配置为(PIC_YUV、YUV_NV12, 1920,1080),IMX415配置为(YUV_NV12, 3840,2160)
sample_isp 使用说明
程序功能
sample_isp
程序完成isp
图像接口初始化,主要功能是调用每一个isp
图像进行接口动态设置/获取参数,并返回测试结果
程序开发
源码结构
源码位于/app/multimedia_samples/sample_isp
.
├── main.c # 主程序
├── Makefile # 编译makefile
└── Readme.md # 程序说明
编译
当前代码通过一个Makefile文件配置编译
进入源码目录,执行以下命令进行编译生成 sample_isp
$ cd /app/multimedia_samples/sample_isp
$ make clean # 清理源码,保持干净的代码环境
$ make
... ... # 一大段编译打印
$ ls
main.c main.o Makefile sample_isp
功能使用
程序部署
按照上面的编译流程生成出sample_isp
后,运行该程序。
注意此程序运行前需要有当前的sensor程序在运行中,sensor的程序可以直接使用Sunrise_camera
, sample_isp
运行过程如下
chmod +x sample_isp
# ./sample_isp
============================================
APP: ./sample_isp
a: AE
b: AF
c: AWB
d: BL
e: DEMOSAIC
f: SHARPEN
g: GAMMA
h: IRIDIX
i: CNR
j: SINTER
k: TEMPER
l: SCENE_MODES
m: FIRMWARE STATE
n: MODULE CONTROL
o: REGISTER
p: LIBREG_AE
q: LIBREG_AWB
r: LIBREG_AF
s: METERING AE(read only)
t: METERING AWB(read only)
u: METERING AF(read only)
v: METERING AE_5BIN(read only)
w: METERING_DATA_TIME(read only)
x: SWITCH SCENCE
A: CSC
B: MESH SHADING
C: MESH SHADING LUT
D: RADIAL SHADING
E: RADIAL SHADING LUT
F: IRIDIX STRENGTH LEVEL
G: IDX_IRQ_SYNC
H: IDX_AWB_ZONE
I: IDX_AF_ZONE
L: IDX_AF_KERNEL
M: IDX_AEROI_INFO
N: IDX_LUMA_INFO
O: IDX_AEPARAM_INFO
J: IDX_AE5BIN_ZONE
K: IDX_AE_ZONE
P: IDX_AE_EX
y: Help
Q: Exit
============================================
ISP_TEST>
命令解释:
-
a: 获取/设置AE属性
-
b: 示例中暂不支持
-
c: 获取/设置AWB属性
-
d: 获取/设置BlackLevel属性
-
e: 获取/设置Demosaic属性
-
f: 获取/设置SHARPEN属性
-
g: 获取/设置GAMMA属性
-
h: 获取/设置IRIDIX属性
-
i: 获取/设置CNR属性
-
j: 获取/设置SINTER属性
-
k: 获取/设置TEMPER属性
-
l: 获取/设置SCENE_MODES属性
-
m: 获取/设置FWSTATE属性
-
n: 获取/设置ModuleControl属性
-
o: 获取/设置Register寄存器
-
p: 注册AE回调接口
-
q: 注册AWB回调接口
-
r: 注册AF回调接口
-
s: 获取AE统计信息
-
t: 获取AWB统计信息
-
u: 获取AF统计信息
-
v: 获取AE_5BIN统计信息
-
w: 获取最新的统计信息(代码里面默认获取AWB,可以仿照代码通过传参获取AE,AF统计信息)
-
x: 切换isp效果库(so库需要跟isp_test文件同一目录)
-
A: 获取/设置CSC属性
-
B: 获取/设置MESH_SHADING属性
-
C: 获取/设置MESH SHADING LUT属性
-
D: 获取/设置RADIAL SHADING属性
-
E: 获取/设置RADIAL SHADING LUT属性
-
F: 获取/设置IRIDIX STRENGTH LEVEL属性
-
G: 获取帧同步开始/结束时间
-
H: 设置AWB_ZONE属性
-
I: 设置AF_ZONE属性
-
L: 获取/设置AF_KERNEL_INFO属性
-
M: 获取/设置AEROI信息
-
N: 获取LUMA信息
-
O: 获取/设置AEParam信息
-
J: 设置AE5BIN_ZONE属性
-
K: 设置AEZONE属性
-
P: 获取/设置AE额外属性
-
y: 帮助信息
-
Q: 退出程序
sample_vps 使用说明
程序功能
sample_vps
程序使用一个 vps grp
的多个不同通道,对 YUV
图像进行裁剪,旋转,缩放等操作,展示 vps
的基本用法。更多丰富的 vps
图像处理使用请参考视频处理章节。
程序开发
源码结构
源码位于:/app/multimedia_samples/sample_vps
.
|-- 19201080.yuv # 回灌使用NV12格式文件
|-- main.c # 主程序
`-- Makefile # 编译makefile
编译
当前代码通过一个Makefile文件配置编译
进入源码目录,执行以下命令进行编译生成sample_vps
$ cd /app/multimedia_samples/sample_vps
$ make clean # 清理源码,保持干净的代码环境
$ make
... ... # 一大段编译打印
$ ls
19201080.yuv main.c main.o Makefile sample_vps