图像处理方法和装置、电子设备、计算机可读存储介质转让专利
申请号 : CN201910565053.0
文献号 : CN110233970B
文献日 : 2021-03-12
发明人 : 杨鑫 , 张海裕 , 韦怡 , 徐锐 , 陈嘉伟 , 周彦汝
申请人 : OPPO广东移动通信有限公司
摘要 :
权利要求 :
1.一种图像处理方法,其特征在于,包括:获取摄像头的抖动数据;
根据所述抖动数据确定开启的摄像头的目标数量,所述抖动数据与所述目标数量呈正相关;
控制所述目标数量对应的摄像头采集图像,得到每个摄像头采集的图像;
将所述每个摄像头采集的图像进行融合处理,得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述抖动数据包括抖动角度;
所述根据所述抖动数据确定开启的摄像头的目标数量,包括:当所述抖动角度大于抖动角度阈值时,确定开启的摄像头的目标数量为至少两个。
3.根据权利要求2所述的方法,其特征在于,所述抖动数据还包括抖动方向;
所述方法还包括:
获取电子设备中的所有摄像头的位置关系;
根据所述抖动方向以及所述所有摄像头的位置关系确定开启的至少两个摄像头的摄像头标识;
所述控制所述目标数量对应的摄像头采集图像,得到每个摄像头采集的图像,包括:控制至少两个所述摄像头标识对应的摄像头采集图像,得到每个摄像头采集的图像。
4.根据权利要求1所述的方法,其特征在于,所述抖动数据包括抖动角度;
所述根据所述抖动数据确定开启的摄像头的目标数量,包括:获取曝光时间;
根据所述抖动角度和所述曝光时间确定开启的摄像头的目标数量,其中,所述抖动角度与所述目标数量呈正相关,所述曝光时间与所述目标数量呈负相关。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述控制所述目标数量对应的摄像头采集图像,得到每个摄像头采集的图像,包括:根据所述抖动数据确定所述目标数量对应的摄像头中每个摄像头的光学防抖数据,其中,所述每个摄像头均具有光学防抖功能;
根据所述每个摄像头的光学防抖数据控制所述每个摄像头移动至目标位置后采集图像,得到所述每个摄像头采集的图像。
6.根据权利要求1至4任一项所述的方法,其特征在于,所述目标数量对应的摄像头中的一个摄像头为具有光学防抖功能的参考摄像头;
所述方法还包括:
根据所述抖动数据处理得到所述参考摄像头的光学防抖数据;
根据所述参考摄像头的光学防抖数据处理所述每个摄像头采集的图像,得到每个摄像头采集的图像对应的图像偏移量;
根据所述图像偏移量对所述每个摄像头采集的图像进行补偿,得到补偿后的每个摄像头采集的图像;
所述将所述每个摄像头采集的图像进行融合处理,得到目标图像,包括:将所述补偿后的每个摄像头采集的图像进行融合处理,得到目标图像。
7.根据权利要求1至4任一项所述的方法,其特征在于,所述将所述每个摄像头采集的图像进行融合处理,得到目标图像,包括:获取所述目标数量对应的摄像头之间的位置关系;
按照所述目标数量对应的摄像头之间的位置关系,将所述每个摄像头采集的图像进行融合,得到所述每个摄像头采集的图像中的重叠区域;
裁剪所述重叠区域得到目标图像。
8.一种图像处理装置,其特征在于,包括:获取模块,用于获取摄像头的抖动数据;
确定模块,用于根据所述抖动数据确定开启的摄像头的目标数量,所述抖动数据与所述目标数量呈正相关;
控制模块,用于控制所述目标数量对应的摄像头采集图像,得到每个摄像头采集的图像;
融合模块,用于将所述每个摄像头采集的图像进行融合处理,得到目标图像。
9.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的图像处理方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
说明书 :
图像处理方法和装置、电子设备、计算机可读存储介质
技术领域
背景技术
不清晰的技术问题。
发明内容
到每个摄像头采集的图像,将每个摄像头采集的图像进行融合处理,得到目标图像,能够提
高目标图像的清晰度。
附图说明
申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以
根据这些附图获得其他的附图。
具体实施方式
不用于限定本申请。
信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示,
为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。如图1所示,图像处
理电路包括第一ISP处理器130、第二ISP处理器140和控制逻辑器150。第一摄像头110包括
一个或多个第一透镜112和第一图像传感器114。第一图像传感器114可包括色彩滤镜阵列
(如Bayer滤镜),第一图像传感器114可获取用第一图像的每个成像像素捕捉的光强度和波
长信息等,并提供可由第一ISP处理器130处理的一组图像数据。第二摄像头120包括一个或
多个第二透镜122和第二图像传感器124。第二图像传感器124可包括色彩滤镜阵列(如
Bayer滤镜),第二图像传感器124可获取用第二图像传感器124的每个成像像素捕捉的光强
度和波长信息等,并提供可由第二ISP处理器140处理的一组图像数据。
色等)发送给控制逻辑器150,控制逻辑器150可根据统计数据确定第一摄像头110的控制参
数,从而第一摄像头110可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第
一ISP处理器130进行处理后可存储至图像存储器160中,第一ISP处理器130也可以读取图
像存储器160中存储的图像以对进行处理。另外,第一图像经过第一ISP处理器130进行处理
后可直接发送至显示器170进行显示,显示器170也可以读取图像存储器160中的图像以进
行显示。
像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度
精度进行。
前进行另外的处理。第一ISP处理器130从图像存储器160接收处理数据,并对所述处理数据
进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器130处理后的图像数据可输出
给显示器170,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处
理器)进一步处理。此外,第一ISP处理器130的输出还可发送给图像存储器160,且显示器
170可从图像存储器160读取图像数据。在一个实施例中,图像存储器160可被配置为实现一
个或多个帧缓冲器。
图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器
和/或微控制器,一个或多个例程可根据接收的统计数据,确定第一摄像头110的控制参数
及第一ISP处理器130的控制参数。例如,第一摄像头110的控制参数可包括增益、曝光控制
的积分时间、防抖参数、闪光控制参数、第一透镜112控制参数(例如聚焦或变焦用焦距)、或
这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期
间)的增益水平和色彩校正矩阵,以及第一透镜112阴影校正参数。
图像的颜色等)发送给控制逻辑器150,控制逻辑器150可根据统计数据确定第二摄像头120
的控制参数,从而第二摄像头120可根据控制参数进行自动对焦、自动曝光等操作。第二图
像经过第二ISP处理器140进行处理后可存储至图像存储器160中,第二ISP处理器140也可
以读取图像存储器160中存储的图像以对进行处理。另外,第二图像经过第二ISP处理器140
进行处理后可直接发送至显示器170进行显示,显示器170也可以读取图像存储器160中的
图像以进行显示。第二摄像头120和第二ISP处理器140也可以实现如第一摄像头110和第一
ISP处理器130所描述的处理过程。
量对应的摄像头采集图像,得到每个摄像头采集的图像。例如控制逻辑器150根据抖动数据
确定开启的摄像头的目标数量为2个,那么控制逻辑器150控制第一摄像头110和第二摄像
头120采集图像。控制逻辑器150将每个摄像头采集的图像进行融合处理,得到目标图像。
和便携式可穿戴设备电子设备等。电子设备210中可包括摄像头220,其中摄像头220的数量
不限,例如可为9个。图2中的1、2、3、4、5、6、7、8、9用于标识不同的摄像头,排布方式可如图2
所示。摄像头220的种类可以是完全相同的,也可以是不同的。例如,摄像头1可为长焦摄像
头,摄像头2为短焦摄像头,摄像头3为彩色摄像头,摄像头4为广角摄像头,摄像头5为光学
防抖摄像头等不限于此。
302至步骤308。
度、抖动速度、抖动角度、抖动位移、抖动幅度中的至少一种。同一电子设备中的摄像头的抖
动数据相同。控制逻辑器从陀螺仪获取摄像头的抖动数据。
据摄像头的抖动数据确定开启的摄像头的目标数量。电子设备中除了目标数量对应的摄像
头之外的其他摄像头均处于关闭状态。
头总数量相同。
目标数量对应的摄像头在同一时刻采集图像,得到目标数量对应的摄像头中每个摄像头采
集的图像。例如,控制逻辑器根据抖动数据开启的摄像头的目标数量为2,而电子设备中的
摄像头总数量为3,那么控制逻辑器控制3个摄像头中的任意2个摄像头采集图像,得到该2
个摄像头采集的图像。
头5,再根据从左到右和从上到下的顺序开启。控制逻辑器根据抖动数据确定开启的摄像头
的目标数量为3,那么目标数量对应的摄像头可以9个摄像头的摄像头5、摄像头1,以及摄像
头2。
每个摄像图采集的图像转化为同一坐标系下的图像,将每个摄像头采集的图像拷贝到目标
位置,对每个摄像头采集的图像中的重叠边界进行加权融合,得到一张目标图像。
像。
子设备的所有摄像头,能减少系统的占用资源;控制目标数量对应的摄像头采集图像,得到
每个摄像头采集的图像,将每个摄像头采集的图像进行融合处理,得到目标图像,得到的目
标图像的视角大,能获得更多的图像信息,提高目标图像的清晰度。
个。
角度阈值时,确定开启的摄像头的目标数量为至少两个。当控制逻辑器检测到摄像头的抖
动角度小于或等于抖动角度阈值时,确定开启的摄像头的目标数量为一个,且开启的摄像
头为主摄像头。其中,该主摄像头可以为光学防抖摄像头。
控制逻辑器确定开启的摄像头的目标数量为至少两个。
能够补偿的角度为该抖动角度阈值,当抖动角度大于抖动角度阈值时,控制逻辑器不仅需
要开启光学防抖摄像头,还需要开启其他摄像头采集其他视角下的图像,则获取的图像视
角更大,目标图像更加清晰。
像的视角更大,能获得更多的图像信息,提高目标图像的清晰度。
如,抖动角度为x度,当0≤x≤2时,对应开启的摄像头的目标数量为1个;当2<x≤4时,对应
开启的摄像头的目标数量为2个…当x>16时,对应开启的摄像头的目标数量为9个等不限
于此。上述图像处理方法,能够提高目标图像的清晰度。
两个摄像头的摄像头标识;控制至少两个摄像头标识对应的摄像头采集图像,得到每个摄
像头采集的图像。
用角度或方位等方式表示。电子设备中摄像头的位置关系可如图2所示,例如摄像头2和摄
像头8的位置关系为摄像头2在摄像头8的正上方等不限于此。
逻辑器控制至少两个摄像头标识对应的摄像头采集图像,得到每个摄像头采集的图像。
确定开启的至少两个摄像头的摄像头标识。例如,控制逻辑器获取的投影方向为摄像头2、
摄像头5和摄像头8所在的方向,则控制逻辑器确定开启的至少两个摄像头的摄像头标识为
摄像头2、摄像头5和摄像头8。或者,例如当控制逻辑器获取的投影方向在摄像头2、摄像头5
和摄像头8连成的第一直线和摄像头3、摄像头5和摄像头7连成的第二直线之间时,可分别
获取该摄像头与第一直线和第二直线的夹角,将夹角最小对应的摄像头标识作为开启的至
少两个摄像头的摄像头标识。
像头标识对应的摄像头采集图像,得到每个摄像头采集的图像,能够根据获取的抖动方向
选择摄像头标识,从而使对应方向的摄像头采集图像,能够得到更大视角的图像,融合后的
目标图像更清晰。
中,抖动角度与目标数量呈正相关,曝光时间与目标数量呈负相关。
开启的摄像头的目标数量越多。控制逻辑器获取摄像头的曝光时间,根据从陀螺仪获取的
抖动角度以及该曝光时间确定开启的摄像头的目标数量,其中抖动角度与目标数量呈正相
关,曝光时间与目标数量呈负相关。
光时间越短,采集的图像信息越少,则开启更多的摄像头以获取更大视角以及更多图像信
息,能提高目标图像的清晰度。
中,每个摄像头均具有光学防抖功能;根据每个摄像头的光学防抖数据控制每个摄像头移
动至目标位置后采集图像,得到每个摄像头采集的图像。
向、光学防抖驱动电流、光学防抖驱动电压等不限于此。每个具有光学防抖功能的摄像头中
均有马达,马达可驱动摄像头进行移动以实现光学防抖。同一电子设备中的所有摄像头的
抖动数据相同,那么目标数量对应的摄像头中每个摄像头的光学防抖数据也相同。同一电
子设备中的每个摄像头均具有光学防抖功能,那么目标数量对应的每个摄像头也都具有光
学防抖功能。
控制马达以使每个摄像头移动至目标位置,则目标数量对应的摄像头中每个摄像头采集图
像,控制逻辑器得到目标数量对应的每个摄像头采集的图像。
个摄像头移动至目标位置后采集图像,得到每个摄像头采集的图像,并融合得到目标图像,
能充分利用光学防抖功能,得到更加清晰的图像。
包括:
ISP处理器或者控制逻辑器,计算要补偿的光学防抖数据,再根据抖动数据中的抖动方向及
距离以补偿镜片组。控制逻辑器根据抖动数据处理得到参考摄像头的光学防抖数据。
量。控制逻辑器根据标定参数将参考摄像头采集的图像的偏移量转化为每个摄像头采集的
图像的偏移量。
定位置的偏移。
采集的图像中的重叠区域,裁剪重叠区域得到目标图像。
图像偏移量,根据图像偏移量对每个摄像头采集的图像进行补偿,得到补偿后的每个摄像
头采集的图像,将补偿后的每个摄像头采集的图像进行融合处理,得到目标图像,只需要一
个摄像头带有光学防抖功能,能够节约成本,且根据光学防抖数据处理每个摄像头采集的
图像,能够提高图像的清晰度。
系,将每个摄像头采集的图像进行融合,得到每个摄像头采集的图像中的重叠区域;裁剪重
叠区域得到目标图像。
进行拼接融合,得到每个摄像头采集的图像中的重叠区域。控制逻辑器裁剪该每个摄像头
采集的图像中的重叠区域,并截取融合后的图像得到目标图像。例如,第一摄像头拍摄图像
A,第二摄像头拍摄图像B,第三摄像头拍摄图像C,图像A中区域a、图像B中区域b和图像C中
区域c是重叠区域,那么控制逻辑器只保留一个区域,裁剪其他的重叠区域;图像A中的区域
b和图像B中的区域c重叠,同样地,控制逻辑器只保留一个区域,裁剪另一个重叠区域。
控制逻辑器控制电子设备中的每个摄像头进行图像采集,得到最近焦距处的数据。控制逻
辑器控制每个摄像头自动对焦的焦点移动到最远距离,此时光学防抖移动位置锁定为0,控
制逻辑器控制电子设备中的每个摄像头进行图像采集,得到最远焦距处的数据。控制逻辑
器可根据每个摄像头的最近焦距处的数据和最远焦距处的数据对每个摄像头进行标定。最
近焦距的标定和最远焦距的标定是为了方便对焦时镜头的前后移动使得成像区域发生变
化。摄像头标定的目的是计算得到摄像头的内参和外参,进行世界坐标系和相机坐标系的
转换,以及每个摄像头之间坐标系的转换。控制逻辑器将最近焦距处的数据和最远焦距处
的数据写入EEPROM(Electrically Erasable Programmable read only memory,带电可擦
可编程只读存储器)中,方便后期调用。
的图像中的重叠区域,裁剪重叠区域得到目标图像,根据位置关系进行图像的拼接融合,能
够减少图像处理的计算量,提高图像处理效率。
摄像头,能减少系统的占用资源能够根据获取的抖动方向选择摄像头标识,从而使对应方
向的摄像头采集图像,将每个摄像头采集的图像进行融合处理,得到目标图像,得到的目标
图像的视角大,能获得更多的图像信息,提高目标图像的清晰度;每个摄像头均具有光学防
抖功能,能充分利用光学防抖功能;裁剪重叠区域得到目标图像,根据位置关系进行图像的
拼接融合,能够减少图像处理的计算量,提高图像处理效率。
考摄像头。
摄像头,能减少系统的占用资源能够根据获取的抖动方向选择摄像头标识,从而使对应方
向的摄像头采集图像,将每个摄像头采集的图像进行融合处理,得到目标图像,得到的目标
图像的视角大,能获得更多的图像信息,提高目标图像的清晰度;只需要一个摄像头带有光
学防抖功能,能够节约成本;裁剪重叠区域得到目标图像,根据位置关系进行图像的拼接融
合,能够减少图像处理的计算量,提高图像处理效率。
骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图3至4中的至少
一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时
刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依
次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替
地执行。
子设备的所有摄像头,能减少系统的占用资源;控制目标数量对应的摄像头采集图像,得到
每个摄像头采集的图像,将每个摄像头采集的图像进行融合处理,得到目标图像,得到的目
标图像的视角大,能获得更多的图像信息,提高目标图像的清晰度。
像的视角更大,能获得更多的图像信息,提高目标图像的清晰度。
定开启的至少两个摄像头的摄像头标识。控制模块506用于控制至少两个摄像头标识对应
的摄像头采集图像,得到每个摄像头采集的图像。
像头标识对应的摄像头采集图像,得到每个摄像头采集的图像,能够根据获取的抖动方向
选择摄像头标识,从而使对应方向的摄像头采集图像,能够得到更大视角的图像,融合后的
目标图像更清晰。
标数量呈正相关,曝光时间与目标数量呈负相关。
光时间越短,采集的图像信息越少,则开启更多的摄像头以获取更大视角以及更多图像信
息,能提高目标图像的清晰度。
学防抖数据控制每个摄像头移动至目标位置后采集图像,得到每个摄像头采集的图像。
个摄像头移动至目标位置后采集图像,得到每个摄像头采集的图像,并融合得到目标图像,
能充分利用光学防抖功能,得到更加清晰的图像。
摄像头的光学防抖数据;根据参考摄像头的光学防抖数据处理每个摄像头采集的图像,得
到每个摄像头采集的图像对应的图像偏移量;根据图像偏移量对每个摄像头采集的图像进
行补偿,得到补偿后的每个摄像头采集的图像。融合模块508用于将补偿后的每个摄像头采
集的图像进行融合处理,得到目标图像。
图像偏移量,根据图像偏移量对每个摄像头采集的图像进行补偿,得到补偿后的每个摄像
头采集的图像,将补偿后的每个摄像头采集的图像进行融合处理,得到目标图像,只需要一
个摄像头带有光学防抖功能,能够节约成本,且根据光学防抖数据处理每个摄像头采集的
图像,能够提高图像的清晰度。
进行融合,得到每个摄像头采集的图像中的重叠区域;裁剪重叠区域得到目标图像。
的图像中的重叠区域,裁剪重叠区域得到目标图像,根据位置关系进行图像的拼接融合,能
够减少图像处理的计算量,提高图像处理效率。
子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操
作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提
供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速
缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
电子设备或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描
述方法的步骤。
时,使得所述处理器执行图像处理方法的步骤。
(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括
随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可
得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、
增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM
(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保
护范围。因此,本申请专利的保护范围应以所附权利要求为准。