图像处理方法、移动终端及计算机可读存储介质转让专利
申请号 : CN202010375895.2
文献号 : CN111464748B
文献日 : 2021-04-23
发明人 : 李逸超
申请人 : OPPO广东移动通信有限公司
摘要 :
权利要求 :
1.一种图像处理方法,用于移动终端,所述移动终端包括多个成像模组,其特征在于,多个所述成像模组包括长焦摄像头、主摄像头和广角摄像头,所述长焦摄像头的视场范围小于所述主摄像头的视场范围,所述主摄像头的视场范围小于所述广角摄像头的视场范围,所述图像处理方法包括:
依据预览图像的亮度分布划分所述预览图像为多个不同亮度的亮度区域;
依据多个所述亮度区域与多个所述成像模组的视场范围,为多个所述亮度区域中的每一个分别匹配不同的所述成像模组为目标成像模组;
控制多个所述目标成像模组分别以相匹配的所述亮度区域为基础拍摄多个第一图像;
及
依据多个所述第一图像生成第二图像;
所述第二图像包括第一区域及第二区域,所述第一区域为仅在一个所述第一图像中存在的第一场景所成的像,所述第二区域为至少在两个所述第一图像中存在的第二场景所成的像;所述依据多个所述第一图像生成第二图像,包括:处理存在所述第一场景的第一图像以获取所述第一区域;及处理存在所述第二场景的多个第一图像以获取所述第二区域。
2.根据权利要求1所述的图像处理方法,其特征在于,依据多个所述亮度区域与多个所述成像模组的视场范围,为多个所述亮度区域中的每一个分别匹配不同的所述成像模组为目标成像模组,包括:
计算每一个所述亮度区域的范围分别占多个所述成像模组的视场范围的比例;及选取所述比例最大的成像模组为与所述亮度区域匹配的目标成像模组。
3.根据权利要求1所述的图像处理方法,其特征在于,所述控制多个所述目标成像模组分别以相匹配的所述亮度区域为基础拍摄多个第一图像,包括:控制多个所述目标成像模组分别以相匹配的所述亮度区域为基础进行曝光,以拍摄多个第一图像。
4.根据权利要求1所述的图像处理方法,其特征在于,所述处理存在所述第二场景的多个第一图像以获取所述第二区域,包括:计算每个存在所述第二场景的第一图像的合成权重;及依据所述第二场景在第一图像中的像素值及所述合成权重,获取所述第二区域。
5.一种移动终端,其特征在于,所述移动终端包括处理器及多个成像模组,多个所述成像模组包括长焦摄像头、主摄像头和广角摄像头,所述长焦摄像头的视场范围小于所述主摄像头的视场范围,所述主摄像头的视场范围小于所述广角摄像头的视场范围,所述处理器用于:
依据预览图像的亮度分布划分所述预览图像为多个不同亮度的亮度区域;
依据多个所述亮度区域与多个所述成像模组的视场范围,为多个所述亮度区域中的每一个分别匹配不同的所述成像模组为目标成像模组;
控制多个所述目标成像模组分别以相匹配的所述亮度区域为基础拍摄多个第一图像;
及
依据多个所述第一图像生成第二图像;
所述第二图像包括第一区域及第二区域,所述第一区域为仅在一个所述第一图像中存在的第一场景所成的像,所述第二区域为至少在两个所述第一图像中存在的第二场景所成的像;所述处理器还用于:
处理存在所述第一场景的第一图像以获取所述第一区域;及处理存在所述第二场景的多个第一图像以获取所述第二区域。
6.根据权利要求5所述的移动终端,其特征在于,所述处理器还用于:计算每一个所述亮度区域的范围分别占多个所述成像模组的视场范围的比例;及选取所述比例最大的成像模组为与所述亮度区域匹配的目标成像模组。
7.根据权利要求5所述的移动终端,其特征在于,所述处理器还用于:控制多个所述目标成像模组分别以相匹配的所述亮度区域为基础进行曝光,以拍摄多个第一图像。
8.根据权利要求5所述的移动终端,其特征在于,所述处理器还用于:计算每个存在所述第二场景的第一图像的合成权重;及依据所述第二场景在第一图像中的像素值及所述合成权重,获取所述第二区域。
9.一种包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行权利要求1至4中任意一项所述的图像处理方法。
说明书 :
图像处理方法、移动终端及计算机可读存储介质
技术领域
背景技术
不容易区分,细节无法体现,导致成像质量较差。
发明内容
度分布划分所述预览图像为多个不同亮度的亮度区域;依据多个所述亮度区域与多个所述
成像模组的视场范围,为多个所述亮度区域中的每一个分别匹配不同的所述成像模组为目
标成像模组;控制多个所述目标成像模组分别以相匹配的所述亮度区域为基础拍摄多个第
一图像;及依据多个所述第一图像生成第二图像。
不同亮度的亮度区域;依据多个所述亮度区域与多个所述成像模组的视场范围,为多个所
述亮度区域中的每一个分别匹配不同的所述成像模组为目标成像模组;控制多个所述目标
成像模组分别以相匹配的所述亮度区域为基础拍摄多个第一图像;及依据多个所述第一图
像生成第二图像。
理方法用于移动终端,所述移动终端包括多个成像模组,多个所述成像模组的视场范围不
完全相同,所述处理器执行图像处理方法时,所述处理器用于:依据预览图像的亮度分布划
分所述预览图像为多个不同亮度的亮度区域;依据多个所述亮度区域与多个所述成像模组
的视场范围,为多个所述亮度区域中的每一个分别匹配不同的所述成像模组为目标成像模
组;控制多个所述目标成像模组分别以相匹配的所述亮度区域为基础拍摄多个第一图像;
及依据多个所述第一图像生成第二图像。
制目标成像模组以相匹配的亮度区域为基础拍摄多个第一图像,使得不同的第一图像以不
同的亮度区域为基础被拍摄得到,每一个亮度区域均能够在至少一个第一图像中体现出较
清晰的细节,再依据多个第一图像得到第二图像,使得第二图像的画质较佳。
附图说明
具体实施方式
图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
步骤:
用于依据预览图像的亮度分布划分预览图像为多个不同亮度的亮度区域;依据多个亮度区
域与多个成像模组10的视场范围,为多个亮度区域中的每一个分别匹配不同的成像模组10
为目标成像模组;控制多个目标成像模组分别以相匹配的亮度区域为基础拍摄多个第一图
像;及依据多个第一图像生成第二图像。
相匹配的亮度区域为基础拍摄多个第一图像,使得不同的第一图像以不同的亮度区域为基
础被拍摄得到,每一个亮度区域均能够在至少一个第一图像中体现出较清晰的细节,再依
据多个第一图像得到第二图像,使得第二图像的画质较佳。
能头戴设备等电子设备,本申请以图2所示的移动终端100是手机为例进行示例性说明,可
以理解,移动终端100的具体形式并不限于手机。成像模组10可以是移动终端100上任意用
于接收光线以进行成像的设备,例如成像模组10可以是前置成像模组、后置成像模组、侧置
成像模组、屏下成像模组等,在此不做限制。处理器20可以是移动终端100的应用处理器、图
像处理器等处理器。
子中,移动终端100上搭载的成像模组10的数量为四个,四个成像模组10可以均为后置的成
像模组10。图3所示的例子中,多个成像模组10分别为成像模组11、成像模组12及成像模组
13,多个成像模组10的视场范围不同。例如,成像模组11的视场范围为F1,成像模组12的视
场范围为F2,成像模组13的视场范围为F3,其中,视场范围F1
称为广角摄像头。
用户可以通过察看预览图像以预览拍摄效果,用户还可以切换不同的成像模组10用于采集
预览图像、以及对当前的预览图像进行缩放等处理。
的亮度较大,而远离光源的阴影部分中的亮度较小,依据该亮度分布可以将预览图像至少
划分为有光源的高亮区域及阴影部分的低亮区域。
以是不连续分布的,例如由多个小区块组成。
像P0为三个亮度区域,分别为亮度区域A1、亮度区域A2及亮度区域A3。其中,亮度区域A1为
靠内的虚线矩形框内的区域,亮度最大;亮度区域A2为两个虚线矩形框之间的区域,亮度居
中;亮度区域A3为靠外的虚线矩形框外的区域,亮度最小。
之前,先为每个亮度区域都匹配一个目标成像模组,以确定此次拍摄有哪些成像模组10需
要作为目标成像模组参与其中,以便于后续对目标成像模组进行有针对性地控制。亮度区
域匹配目标成像模组的方式,可以是依据亮度区域是否在成像模组10的视场范围内、或者
亮度区域的景深是否便于成像模组10进行准确对焦等因素进行匹配。
成像模组。
度区域至少都至少能够在一个第一图像中较清晰地成像,每个亮度区域的细节都不会失
去。其中,每个目标成像模组以相匹配的亮度区域为基础拍摄多个第一图像,可以是目标成
像模组以相匹配的亮度区域为基础进行曝光、或者进行对焦、或者进行虚化等,在此不做限
制。
组13以亮度区域A3为基础拍摄的图像。其中,第一图像P1至少能够体现亮度区域A1的细节,
第一图像P2至少能够体现亮度区域A2的细节,第一图像P3至少能够体现亮度区域A3的细
节。
现所有的亮度区域的细节,第二图像的画质较佳。具体地,依据多个第一图像生成第二图
像,可以将多个第一图像以不同权重进行融合、或者多个第一图像进行裁剪后拼接、或者多
个第一图像进行高动态范围图像的融合等,在此不做限制。
步骤:
大的成像模组10为与亮度区域匹配的目标成像模组。
组10中的视场范围中的比重,如果比例较大,则说明该亮度区域可能较适合用拥有该视场
范围的成像模组10进行拍摄。具体计算时,可以计算每一个亮度区域的场景范围,与视场范
围内的场景范围的比例。
围F2、视场范围F3中的场景的比例;计算第三亮度区域A3的场景占视场范围F1、视场范围
F2、视场范围F3中的场景的比例。
10以该亮度区域为基础进行拍摄,以使拍摄得到的第一图像的质量较高。
二亮度区域A2的场景占视场范围F2中的场景的比例最高,则选取视场范围F2对应的成像模
组12为第二亮度区域A2的目标成像模组;第三亮度区域A3的场景占视场范围F3中的场景的
比例最高,则选取视场范围F3对应的成像模组13为第三亮度区域A3的目标成像模组。
像。
况,使得最终依据多个第一图像生成的第二图像具有较高的动态范围(High‑Dynamic
Range,HDR)。
曝光时长、感光度、光圈等,以使目标成像模组能够较清晰地拍摄得到相匹配的亮度区域的
细节。例如,对于亮度较高的亮度区域,可以减少目标成像模组的曝光以拍摄第一图像,对
于亮度较低的亮度区域,可以增加目标成像模组的曝光以拍摄第一图像。
避免由一个摄像头分时拍摄多张图像,再对多张图像进行高动态范围图像合成时产生的拖
影等现象。
第二场景所成的像。步骤04:依据多个第一图像生成第二图像,包括步骤:
像以获取第二区域。
第一场景,例如,只有广角摄像头的视场范围的周边区域才能覆盖到的场景。故仅有一个成
像模组10拍摄得到的第一图像中包括了第一场景所在的亮度区域,在生成第二图像时,可
以直接以该包括第一场景的第一图像的数据得到第一区域,减少生成第一区域的运算量。
的第一区域B1。
以由多个成像模组10的视场范围覆盖到,也就使得多个第一图像中均包括第二场景所成的
像,且由于多个第一图像是以不同的亮度区域为基础拍摄得到的,对于第二场景,多个第一
图像实际上已经记录了不同拍摄参数(例如不同曝光参数)下的信息,结合该不同参数下的
信息生成第二图像,使得第二图像的亮度动态范围较高。
像P2及第一图像P3中有体现,部分树木在第一图像P2及第一图像P3中有体现,结合第一图
像P1、第一图像P2及第一图像P3可以得到第二图像P4的第二区域B2。
像素值及合成权重,获取第二区域。
置多个第一图像的合成权重,既能体现到多个第一图像采集的数据,又可以通过设置合成
权重使得重点突出,以提高合成后的第二区域的图像质量。
度区域匹配的目标成像模组拍摄的第一图像的合成权重则可以设置得较高,以较大地保留
图像细节,由其余成像模组10拍摄的第一图像的合成权重则可以设置得较低。
像质量的影响。
模组11,第一图像P1为成像模组11以亮度区域A1为基础拍摄得到的,因此,对于太阳这一场
景,第一图像P1的合成权重要大于第一图像P2的合成权重、第一图像P1的合成权重要大于
第一图像P3的合成权重。
关系,例如光轴间距、倾斜角度等都是经过标定的,因此,多个第一图像中的像素的对应关
系也是已知的,同一个场景在不同的第一图像中的像素的位置也是已知的,可以对齐不同
的第一图像中同一个场景的像素。依据第二场景在每个第一图像中的像素的像素值,及其
合成权重,可以计算第二区域中第二场景所在像素的像素值。例如,第二区域中的第二场景
所在像素的像素值,可以由第二场景在每一个第一图像中的像素的像素值乘以合成权重,
再进行求和得到。当然,依据像素值及合成权重得到第二区域的方式也可以是其他,在此不
做限制。
理器300执行时,使得处理器300执行本申请任一实施方式所述的图像处理方法。
配的亮度区域为基础拍摄多个第一图像,使得不同的第一图像以不同的亮度区域为基础被
拍摄得到,每一个亮度区域均能够在至少一个第一图像中体现出较清晰的细节,再依据多
个第一图像生成第二图像,使得第二图像的画质较佳。
点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不
必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任
一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技
术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结
合和组合。
隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三
个等,除非另有明确具体的限定。
分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺
序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请
的实施例所属技术领域的技术人员所理解。
指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执
行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设
备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传
输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装
置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电
连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器
(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存
储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的
介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其
他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下
列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路
的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场
可编程门阵列(FPGA)等。
质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如
果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机
可读取存储介质中。
制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变
型。