成像方法、装置、移动终端和存储介质转让专利

申请号 : CN201711243972.3

文献号 : CN107846556B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 张弓

申请人 : OPPO广东移动通信有限公司

摘要 :

本申请提出一种成像方法、装置、移动终端和存储介质,其中,方法包括:获取主摄像头采集得到的主图像,以及获取副摄像头采集得到的副图像;根据测光得到的曝光信息,确定主图像的曝光调整区域以及对应的曝光补偿信息;根据主图像和副图像,获取主图像的深度信息;根据主图像的深度信息,确定主图像的前景区域和背景区域;在前景区域和曝光调整区域的重合部分,根据曝光调整区域对应的曝光补偿信息,对主图像进行曝光调整;在背景区域,对曝光调整后的主图像进行虚化处理得到成像图像。该方法一方面可以提升成像图像的曝光效果,另一方面提高了深度信息的准确性,从而使得图像处理效果较好,解决了现有技术中图像曝光效果不佳的技术问题。

权利要求 :

1.一种成像方法,其特征在于,方法包括以下步骤:

获取主摄像头采集得到的主图像,以及获取副摄像头采集得到的副图像;其中,根据环境亮度确定所述主摄像头和所述副摄像头;在所述环境亮度不高于阈值亮度时,采用高感光度的摄像头作为所述主摄像头,高分辨率的摄像头作为所述副摄像头,在所述环境亮度高于阈值亮度时,采用高分辨率的摄像头作为所述主摄像头,高感光摄像头作为所述副摄像头;

根据测光得到的曝光信息,确定所述主图像的曝光调整区域以及对应的曝光补偿信息;其中,根据所述主图像的取景画面连续性,将所述主图像划分为多个单元,并根据所述曝光信息确定各单元的曝光值,根据各单元的曝光值,确定所述主图像的曝光调整区域以及对应的曝光补偿信息;

根据所述主图像和所述副图像,获取所述主图像的深度信息;

根据所述主图像的深度信息,确定所述主图像的前景区域和背景区域;

在所述前景区域和各曝光调整区域的重合部分,根据所述各曝光调整区域对应的曝光补偿信息,对所述主图像进行曝光调整;

在所述背景区域,对曝光调整后的所述主图像进行虚化处理得到成像图像。

2.根据权利要求1所述的成像方法,其特征在于,所述获取主摄像头采集得到的主图像,以及获取副摄像头采集得到的副图像之前,还包括:控制所述主摄像头和/或所述副摄像头测光,得到所述曝光信息;

根据所述曝光信息,确定曝光参数;

根据所述曝光参数,控制所述主摄像头和所述副摄像头进行图像采集。

3.根据权利要求2所述的成像方法,其特征在于,所述根据所述曝光参数,控制所述主摄像头和所述副摄像头进行图像采集之前,还包括:分别从所述主摄像头获取用于对目标拍摄对象预览的主预览画面,以及从所述副摄像头获取用于对所述目标拍摄对象预览的副预览画面;

根据所述主预览画面和所述副预览画面,确定所述主预览画面的深度信息;

若根据所述曝光信息确定所述目标拍摄对象处于欠曝光状态,根据所述主预览画面的深度信息和所述曝光信息,对所述目标拍摄对象进行补光。

4.根据权利要求3所述的成像方法,其特征在于,所述根据所述主预览画面的深度信息和所述曝光信息,对所述目标拍摄对象进行补光,包括:根据所述曝光信息,确定所述目标拍摄对象所需的正向曝光补偿值;

根据所述主预览画面中所述目标拍摄对象的深度信息和所述正向曝光补偿值,生成闪光灯的配光控制参数;

根据所述配光控制参数,控制所述闪光灯对所述目标拍摄对象进行补光。

5.根据权利要求3所述的成像方法,其特征在于,所述根据所述曝光参数,控制所述主摄像头和所述副摄像头进行图像采集之前,包括:若根据所述曝光信息确定所述目标拍摄对象处于过曝光状态,根据所述曝光信息,确定所述目标拍摄对象所需的负向曝光补偿值;

根据所述负向曝光补偿值,对所述目标拍摄对象进行遮光。

6.根据权利要求1-5任一项所述的成像方法,其特征在于,所述曝光调整区域为多个,所述在所述前景区域和各曝光调整区域的重合部分,根据所述各曝光调整区域对应的曝光补偿信息,对所述主图像进行曝光调整,包括:在所述前景区域内,分别确定与每一个曝光调整区域的重合部分;

在每一个曝光调整区域的重合部分内,根据所述曝光调整区域对应的曝光补偿信息,进行亮度、对比度和色彩饱和度中的一个或多个进行调整。

7.根据权利要求1-5任一项所述的成像方法,其特征在于,所述根据测光得到的曝光信息,确定所述主图像的曝光调整区域以及对应的曝光补偿信息,包括:根据所述曝光信息,确定在所述主图像内矩阵排布的多个测光点的曝光值;

根据所述主图像的取景画面连续性,将所述主图像划分为多个单元;

根据每一个单元内所含测光点的曝光值,确定所述单元的曝光值;

若所述单元的曝光值未处于预设取值范围内,确定所述单元为曝光调整区域。

8.一种成像装置,其特征在于,包括:

获取模块,用于获取主摄像头采集得到的主图像,以及获取副摄像头采集得到的副图像;其中,根据环境亮度确定所述主摄像头和所述副摄像头;在所述环境亮度不高于阈值亮度时,采用高感光度的摄像头作为所述主摄像头,高分辨率的摄像头作为所述副摄像头,在所述环境亮度高于阈值亮度时,采用高分辨率的摄像头作为所述主摄像头,高感光摄像头作为所述副摄像头;

第一确定模块,用于根据测光得到的曝光信息,确定所述主图像的曝光调整区域以及对应的曝光补偿信息;其中,根据所述主图像的取景画面连续性,将所述主图像划分为多个单元,并根据所述曝光信息确定各单元的曝光值,根据各单元的曝光值,确定所述主图像的曝光调整区域以及对应的曝光补偿信息;

景深模块,用于根据所述主图像和所述副图像,获取所述主图像的深度信息;

第一处理模块,用于根据所述主图像的深度信息,确定所述主图像的前景区域和背景区域;

曝光模块,用于在所述前景区域和各曝光调整区域的重合部分,根据所述各曝光调整区域对应的曝光补偿信息,对所述主图像进行曝光调整;

虚化模块,用于在所述背景区域,对曝光调整后的所述主图像进行虚化处理得到成像图像。

9.一种移动终端,其特征在于,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如权利要求1-7中任一所述的成像方法。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的成像方法。

说明书 :

成像方法、装置、移动终端和存储介质

技术领域

[0001] 本申请涉及图像处理技术领域,尤其涉及一种成像方法、装置、移动终端和存储介质。

背景技术

[0002] 随着移动终端技术的不断发展,越来越多的用户使用具有双摄像头功能的移动终端进行拍照。在用户开启双摄像头,进入人像模式预览时,如果取景场景具有高动态范围,则预览画面可能出现局部区域欠曝光和/或局部区域过曝光的情况,从而导致拍照效果不佳。例如,在拍摄人物时,如果出现局部欠曝光和局部过曝光的问题,则很难识别到人物脸部的细节,从而导致拍摄的图像与用户期望的相去甚远。
[0003] 现有技术中,通过确定整张图像的曝光参数,而后根据曝光参数对图像进行曝光处理。这种方式下,当图像中不同区域的曝光参数差距较大时,将导致图像中出现欠曝区域或者过曝区域,曝光效果不佳。
[0004] 申请内容
[0005] 本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
[0006] 为此,本申请提出一种成像方法,通过预先测光,确定主图像的曝光调整区域以及对应的曝光补偿信息,从而对根据曝光调整区域对应的曝光补偿信息,对主图像进行曝光调整,能够有效避免成像图像中出现过曝区域和欠曝区域,提升成像图像的曝光效果。同时,副摄像头拍摄的副图像与主摄像头拍摄主图像是同步拍摄得到的,从而依据对应的副图像对曝光调整后的主图像进行后续的虚化处理,一方面提高了成像照片的成像效果,另一方面提高了深度信息的准确性,从而使得图像处理效果较好,用于解决现有图像曝光效果不佳的技术问题。
[0007] 本申请提出一种成像装置。
[0008] 本申请提出一种移动终端。
[0009] 本申请提出一种计算机可读存储介质。
[0010] 为达上述目的,本申请第一方面实施例提出了一种成像方法,包括:
[0011] 获取主摄像头采集得到的主图像,以及获取副摄像头采集得到的副图像;
[0012] 根据测光得到的曝光信息,确定所述主图像的曝光调整区域以及对应的曝光补偿信息;
[0013] 根据所述主图像和所述副图像,获取所述主图像的深度信息;
[0014] 根据所述主图像的深度信息,确定所述主图像的前景区域和背景区域;
[0015] 在所述前景区域和所述曝光调整区域的重合部分,根据所述曝光调整区域对应的曝光补偿信息,对所述主图像进行曝光调整;
[0016] 在所述背景区域,对曝光调整后的所述主图像进行虚化处理得到成像图像。
[0017] 本申请实施例的成像方法,通过获取主摄像头采集得到的主图像,以及获取副摄像头采集得到的副图像之后,根据测光得到的曝光信息,确定主图像的曝光调整区域以及对应的曝光补偿信息。进而根据主图像和副图像,获取主图像的深度信息,从而最终根据主图像的深度信息,确定主图像的前景区域和背景区域,通过在前景区域和曝光调整区域的重合部分,根据曝光调整区域对应的曝光补偿信息,对主图像进行曝光调整,而在背景区域,对曝光调整后的主图像进行虚化处理得到成像图像。本实施例中,通过预先测光,确定主图像的曝光调整区域以及对应的曝光补偿信息,从而对根据曝光调整区域对应的曝光补偿信息,对主图像进行曝光调整,能够有效避免成像图像中出现过曝区域和欠曝区域,提升成像图像的曝光效果。同时,副摄像头拍摄的副图像与主摄像头拍摄主图像是同步拍摄得到的,从而依据对应的副图像对曝光调整后的主图像进行后续的虚化处理,一方面提高了成像照片的成像效果,另一方面提高了深度信息的准确性,从而使得图像处理效果较好,解决现有技术中图像曝光效果不佳的技术问题。
[0018] 为达上述目的,本申请第二方面实施例提出了一种成像装置,包括:
[0019] 获取模块,用于获取主摄像头采集得到的主图像,以及获取副摄像头采集得到的副图像;
[0020] 第一确定模块,用于根据测光得到的曝光信息,确定所述主图像的曝光调整区域以及对应的曝光补偿信息;
[0021] 景深模块,用于根据所述主图像和所述副图像,获取所述主图像的深度信息;
[0022] 第一处理模块,用于根据所述主图像的深度信息,确定所述主图像的前景区域和背景区域;
[0023] 曝光模块,用于在所述前景区域和所述曝光调整区域的重合部分,根据所述曝光调整区域对应的曝光补偿信息,对所述主图像进行曝光调整;
[0024] 虚化模块,用于在所述背景区域,对曝光调整后的所述主图像进行虚化处理得到成像图像。
[0025] 本申请实施例的成像装置,通过获取主摄像头采集得到的主图像,以及获取副摄像头采集得到的副图像之后,根据测光得到的曝光信息,确定主图像的曝光调整区域以及对应的曝光补偿信息。进而根据主图像和副图像,获取主图像的深度信息,从而最终根据主图像的深度信息,确定主图像的前景区域和背景区域,通过在前景区域和曝光调整区域的重合部分,根据曝光调整区域对应的曝光补偿信息,对主图像进行曝光调整,而在背景区域,对曝光调整后的主图像进行虚化处理得到成像图像。本实施例中,通过预先测光,确定主图像的曝光调整区域以及对应的曝光补偿信息,从而对根据曝光调整区域对应的曝光补偿信息,对主图像进行曝光调整,能够有效避免成像图像中出现过曝区域和欠曝区域,提升成像图像的曝光效果。同时,副摄像头拍摄的副图像与主摄像头拍摄主图像是同步拍摄得到的,从而依据对应的副图像对曝光调整后的主图像进行后续的虚化处理,一方面提高了成像照片的成像效果,另一方面提高了深度信息的准确性,从而使得图像处理效果较好,解决现有技术中曝光效果不佳的技术问题。
[0026] 为达上述目的,本申请第三方面实施例提出了一种移动终端,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如本申请第一方面实施例所述的成像方法。
[0027] 为了实现上述目的,本申请第四方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如本申请第一方面实施例所述的成像方法。
[0028] 本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。

附图说明

[0029] 本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
[0030] 图1为本申请实施例所提供的第一种成像方法的流程示意图;
[0031] 图2为本发明实施例中主图像的划分示意图;
[0032] 图3为三角测距的原理示意图;
[0033] 图4为本申请实施例所提供的第二种成像方法的流程示意图;
[0034] 图5为本申请实施例所提供的第三种成像方法的流程示意图;
[0035] 图6为本申请实施例提供的一种成像装置的结构示意图;
[0036] 图7为本申请实施例提供的另一种成像装置的结构示意图;
[0037] 图8是根据本申请另一个实施例的终端设备的结构示意图;
[0038] 图9为一个实施例中图像处理电路的示意图。

具体实施方式

[0039] 下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
[0040] 下面参考附图描述本申请实施例的成像方法、装置、移动终端和存储介质。
[0041] 该成像方法,具体可以由具有双摄像头的手机、平板电脑、个人数字助理、穿戴式设备等硬件设备执行,该具有双摄像头的硬件设备中,包含摄像模组,该摄像模组中包括主摄像头和副摄像头。主摄像头和副摄像头均具有各自独立的镜片、图像传感器和音圈马达。双摄像头中的主摄像头和副摄像头均与摄像头连接头相连,从而根据摄像头连接头提供的电流值驱动音圈马达,使得主摄像头和副摄像头在音圈马达的驱动下调整镜片与图像传感器之间的距离,从而实现对焦。
[0042] 作为一种可能的应用场景,副摄像头的分辨率低于主摄像头的分辨率,在进行对焦时,可以仅采用副摄像头进行对焦,当副摄像头合焦时,获取副摄像头的马达的第二驱动电流值,进而在主摄像头和所述副摄像头具有相同合焦距离条件下,根据第二驱动电流值,确定主摄像头的马达的第一驱动电流值,采用第一驱动电流值驱动主摄像头进行对焦。由于副摄像头分辨率较低,图像处理速度较快,从而能够加快对焦速度,解决了现有技术中双摄像头对焦速度较慢的技术问题。
[0043] 在双摄像头的具体实现过程中,可以选择不同的摄像头组合,作为双摄像头中的主摄像头和副摄像头,从而适应不同的用户需求。
[0044] 在一种应用场景中,需要较高的对焦速度,从而双摄像头中的主摄像头具体为普通摄像头,双摄像头中的副摄像头具体为双像素(PD,dual pixel)摄像头。其中,双PD摄像头的分辨率要低于普通摄像头,从而具有更快的对焦速度。
[0045] 需要说明的是,双PD摄像头的每个像素由两个单元构成,两个单元可以作为相位对焦检测点,也可以组合成一个像素的成像,从而极大改善了电子取景时的对焦性能。双PD互补金属氧化物半导体(CMOS,Complementary Metal Oxide Semiconductor),传感器摄像头是较为常用的具体采用CMOS作为传感器的双PD摄像头,最早是采用在单反相机上。
[0046] 在另一种应用场景中,需要较佳的成像效果,从而将广角摄像头和长焦摄像头的组合作为双摄像头。根据拍摄需求切换主副摄像头。具体来说,当拍近景时,使用广角镜头作为主摄像头,长焦镜头作为副摄像头;拍远景时,使用长焦镜头作为主摄像头,使用广角镜头作为副摄像头,从而不仅实现光学变焦功能,而且,还保证了成像质量以及后续虚化效果。
[0047] 在具体双摄像头的选择上,还可以有多种可能的实现方式,本实施例中对此不再赘述。
[0048] 图1为本申请实施例所提供的第一种成像方法的流程示意图。
[0049] 如图1所示,该成像方法包括以下步骤:
[0050] 步骤101,获取主摄像头采集得到的主图像,以及获取副摄像头采集得到的副图像。
[0051] 本实施例中,在高动态范围等场景下,双摄像头的取景画面中,亮度范围跨度较大,容易出现在一部分区域欠曝光、另一部分区域过曝光的情况,导致拍摄效果不佳。
[0052] 在这种场景下,可以预先根据多个测光点的平均亮度确定环境亮度,从双摄像头中确定主摄像头和副摄像头。
[0053] 具体地,由于在环境亮度不高于阈值亮度的情况下,光线不足,如果采用高分辨率的摄像头作为主摄像头进行拍照时,则会出现较多的噪声,从而导致成像效果不佳。因此,本实施例中,在光线不足时,可以采用高感光度的摄像头作为主摄像头,高分辨率的摄像头作为副摄像头进行拍照,减少图像中的噪声,提高成像效果。相反地,在环境亮度高于阈值亮度的情况下,即在光线充足的情况下,由于高分辨率的摄像头分辨率较高,成像也较为清晰,噪声较少,因此,本实施例中,可以将高分辨率的摄像头作为主摄像头,高感光摄像头作为副摄像头进行拍照,从而提高成像效果。
[0054] 在确定主摄像头和副摄像头后,可以同时采用主摄像头和副摄像头进行取景拍摄,分别得到主图像和幅图像。
[0055] 在进行拍摄之前,可以对成像图像进行预览。作为一种可能的实现方式,可以仅对主摄像头采集的画面进行预览,当用户看到满意的预览画面时,点击拍照按键,从而控制主摄像头和副摄像头同时进行取景拍摄。或者,可以对副摄像头采集的画面进行预览,当用户看到满意的预览画面时,点击拍照按键,从而控制主摄像头和副摄像头同时进行取景拍摄,对此不作限制。
[0056] 步骤102,根据测光得到的曝光信息,确定主图像的曝光调整区域以及对应的曝光补偿信息。
[0057] 本发明实施例中,曝光信息为矩阵测光得到的多个曝光值,可以根据曝光信息,确定在主图像内矩阵排布的多个测光点的曝光值。
[0058] 作为一种可能的实现方式,可以根据主图像的取景画面连续性,将主图像划分为多个单元,例如,参见图2,图2为本发明实施例中主图像的划分示意图。根据主图像的取景画面连续性,可以将主图像划分为九个单元,分别为单元A、B、C、D、E、F、G、H、I。
[0059] 而后可以根据每一个单元所含测光点的曝光值,确定单元的曝光值,例如,可以将该单元的所有测光点的曝光值取均值,将均值作为该单元的曝光值,或者,可以计算该单元的所有测光点的和值,将和值作为该单元的曝光值,或者,可以根据其他任意算法计算该单元的曝光值,对此不作限制。在确定单元的曝光值后,可以根据单元的曝光值,确定主图像的曝光调整区域以及对应的曝光补偿信息,其中,曝光补偿信息例如可以为需要补偿的曝光值。
[0060] 可以理解的是,在曝光适宜时,每个单元的曝光值应处于预设取值范围内,该预设取值范围可以为移动终端的内置程序预先设置,例如标记预设取值范围为[a,b]。当单元的曝光值未处于预设取值范围内时,可以确定该单元为曝光调整区域。例如,当单元的曝光值低于预设取值范围的最小值a时,表明该单元欠曝光,当曝光补偿信息为需要补偿的曝光值时,此时,曝光补偿信息可以为正值。而当单元的曝光值高于预设取值范围的最大值b时,表明该单元过曝光,此时,曝光补偿信息可以为负值。
[0061] 步骤103,根据主图像和副图像,获取主图像的深度信息。
[0062] 具体地,由于主副摄像头之间具有一定的距离,从而导致了这两个摄像头具有视差,不同的摄像头拍摄的图像应该是不同的。主图像是由主摄像头拍摄得到的,幅图像是由副摄像头拍摄得到的,因此,主图像和副图像之间也应具有一定差异性。根据三角测距原理,可以计算得到主图像和副图像中,同一对象的深度信息,也就是该对象距离主摄像头和副摄像头所在平面的距离。
[0063] 为了清楚说明这一过程,下面将对三角测距原理进行简要介绍。
[0064] 而在实际场景,人眼分辨景物的深度主要是依靠双目视觉分辨出的。这和双摄像头分辨深度的原理一样。本实施例中根据第二拍摄图像计算成像图像的深度信息,主要方法是依靠三角测距原理,图3为三角测距的原理示意图。
[0065] 基于图3中,在实际空间中,画出了成像对象,以及两个摄像头所在位置OR和OT,以及两个摄像头的焦平面,焦平面距离两个摄像头所在平面的距离为f,在焦平面位置两各摄像头进行成像,从而得到两张拍摄图像。
[0066] P和P’分别是同一对象在不同拍摄图像中的位置。其中,P点距离所在拍摄图像的左侧边界的距离为XR,P’点距离所在拍摄图像的左侧边界的距离为XT。OR和OT分别为两个摄像头,这两个摄像头在同一平面,距离为B。
[0067] 基于三角测距原理,图3中的对象与两个摄像头所在平面之间的距离Z,具有如下关系:
[0068]
[0069] 基于此,可以推得 其中,d为同一对象在不同拍摄图像中的位置之间的距离差。由于B、f为定值,因此,根据d可以确定出对象的距离Z。
[0070] 步骤104,根据主图像的深度信息,确定主图像的前景区域和背景区域。
[0071] 具体地,计算得到主图像的深度信息之后,可以根据主图像中各对象的深度信息,确定出该对象为前景还是背景。一般来说,深度信息指示对象距离主副摄像头所在平面较近,深度取值较小时,可以确定该对象为前景,否则,该对象为背景。进而可以根据主图像中的各个对象,确定主图像的前景区域和背景区域。
[0072] 步骤105,在前景区域和曝光调整区域的重合部分,根据曝光调整区域对应的曝光补偿信息,对主图像进行曝光调整。
[0073] 本发明实施例中,由于曝光调整区域的曝光值可能低于预设取值范围的最小值a,或者高于预设取值范围的最大值b,因此曝光调整区域的个数可以为多个。因此,本发明实施例中,当确定主图像的曝光调整区域后,可以在前景区域内,分别确定与每一个曝光调整区域的重合部分,而后在每一个曝光调整区域的重合部分内,根据曝光调整区域对应的曝光补偿信息,对主图像进行曝光调整。
[0074] 作为一种可能的实现方式,可以根据曝光调整区域对应的曝光补偿信息,进行亮度、对比度和色彩饱和度中的一个或多个进行调整。
[0075] 例如,当曝光调整区域的重合部分的曝光值低于预设取值范围的最小值a时,可以对该重合部分进行亮度调高处理,或者同时进行亮度、对比度和色彩饱调高处理。而当曝光调整区域的重合部分的曝光值高于预设取值范围的最大值b时,可以对该重合部分进行亮度调低处理,或者同时进行亮度、对比度和色彩饱调低处理。
[0076] 步骤106,在背景区域,对曝光调整后的主图像进行虚化处理得到成像图像。
[0077] 本发明实施例中,在背景区域,对曝光调整后的主图像进行虚化处理,得到成像图像,在成像图像中,前景更加突出,背景得到虚化,呈现出对焦的前景的成像效果。此外,本发明实施例中,仅对背景区域进行虚化处理,从而背景区域的曝光情况对成像效果影响不大,因此,无需对背景区域进行曝光处理,有效提升移动终端的处理效率。
[0078] 本实施例的成像方法,通过获取主摄像头采集得到的主图像,以及获取副摄像头采集得到的副图像之后,根据测光得到的曝光信息,确定主图像的曝光调整区域以及对应的曝光补偿信息。进而根据主图像和副图像,获取主图像的深度信息,从而最终根据主图像的深度信息,确定主图像的前景区域和背景区域,通过在前景区域和曝光调整区域的重合部分,根据曝光调整区域对应的曝光补偿信息,对主图像进行曝光调整,而在背景区域,对曝光调整后的主图像进行虚化处理得到成像图像。本实施例中,通过预先测光,确定主图像的曝光调整区域以及对应的曝光补偿信息,从而对根据曝光调整区域对应的曝光补偿信息,对主图像进行曝光调整,能够有效避免成像图像中出现过曝区域和欠曝区域,提升成像图像的曝光效果。同时,副摄像头拍摄的副图像与主摄像头拍摄主图像是同步拍摄得到的,从而依据对应的副图像对曝光调整后的主图像进行后续的虚化处理,一方面提高了成像照片的成像效果,另一方面提高了深度信息的准确性,从而使得图像处理效果较好。
[0079] 为了清楚说明上一实施例,本实施例提供了另一种成像方法,图4为本申请实施例所提供的第二种成像方法的流程示意图。
[0080] 如图4所示,在步骤101之前,该成像方法还可以包括以下步骤:
[0081] 步骤201,控制主摄像头和/或副摄像头测光,得到曝光信息。
[0082] 本发明实施例中,可以预先控制摄像头进行测光,得到移动终端当前所处场景的曝光信息。这里的曝光信息包括曝光值(Exposure Value,EV),一般曝光值取值在-3EV至3EV左右,如果环境光源偏暗,曝光值较大;反之,环境较明亮,曝光值较小。
[0083] 需要说明的是,EV是反映曝光多少的一个量,其最初定义为:当感光度为ISO 100、光圈系数为F1、曝光时间为1秒时,曝光量定义为0,曝光量减少一档(快门时间减少一半或者光圈缩小一档),EV值增加1。曝光值每增加1将改变一挡曝光,也就是将曝光量减半,比如将曝光时间或光圈面积减半。明亮的环境或是较高的感光度应当对应于较大的曝光值。
[0084] 步骤202,根据曝光信息,确定曝光参数。
[0085] 本发明实施例中,曝光参数包括快门速度、光圈数和/或感光度等。
[0086] 作为一种可能的实现方式,可以预先建立不同曝光信息和曝光参数之间的对应关系,从而在确定曝光信息后,可以通过查询曝光信息和曝光参数之间的对应关系,获取与该曝光信息对应的曝光参数。
[0087] 步骤203,分别从主摄像头获取用于对目标拍摄对象预览的主预览画面,以及从副摄像头获取用于对目标拍摄对象预览的副预览画面。
[0088] 本发明实施例中,在进行拍摄之前,可以对成像图像进行预览。例如,可以分别对主摄像头或者副摄像头采集的画面进行预览,而后,可以分别从主摄像头获取用于对目标拍摄对象预览的主预览画面,以及从副摄像头获取用于对目标拍摄对象预览的副预览画面。
[0089] 步骤204,根据主预览画面和副预览画面,确定主预览画面的深度信息。
[0090] 具体地,由于主副摄像头之间具有一定的距离,从而导致了这两个摄像头具有视差,从不同摄像头获取用于对目标拍摄对象预览的预览画面应该是不同的。主预览画面是从主摄像头获取的,副预览画面是从副摄像头获取的,因此,主预览画面和副预览画面之间也应具有一定差异性。根据三角测距原理,可以计算得到主预览画面和副预览画面中,同一对象的深度信息,也就是该对象距离主摄像头和副摄像头所在平面的距离。
[0091] 步骤205,根据曝光信息,判断目标拍摄对象是否处于过曝光状态,若是,执行步骤206,否则,执行步骤208。
[0092] 可以理解的是,当目标拍摄对象较暗时,主图像中对应的目标拍摄对象的曝光值低于预设阈值,此时,可以确定目标拍摄对象处于欠曝光状态,而当目标拍摄对象较亮时,主图像中主图像中对应的目标拍摄对象的曝光值高于预设阈值,此时,可以确定目标拍摄对象处于过曝光状态。其中,预设阈值可以为移动终端的内置程序预先设置,例如,标记预设阈值为c。
[0093] 步骤206,根据曝光信息,确定目标拍摄对象所需的负向曝光补偿值。
[0094] 本发明实施例中,在目标拍摄对象处于过曝光状态时,此时,为了避免移动终端拍摄的图像出现过曝区域,可以对拍摄对象进行遮光处理。具体地,可以首先确定目标拍摄对象所需的负向曝光补偿值。
[0095] 作为一种可能的实现方式,可以根据主预览画面中目标拍摄对象的深度信息确定该目标拍摄对象距离主摄像头的距离。可选地,可以预先建立不同距离和曝光补偿值之间的对应关系,从而在确定距离后,可以查询上述对应关系,获取与其对应的曝光补偿值,而后将获取的曝光补偿值作为目标拍摄对象所需的负向曝光补偿值。
[0096] 步骤207,根据负向曝光补偿值,对目标拍摄对象进行遮光。
[0097] 可选地,在确定负向曝光补偿值后,可以根据负向曝光补偿值,对目标拍摄对象进行遮光,从而避免后续对目标拍摄对象进行拍摄时,主图像中出现过曝区域的情况。或者,当目标拍摄对象处于过曝光状态时,还可以通过遮光板,对目标拍摄对象进行遮光,本发明实施例对此不作限制。
[0098] 步骤208,根据主预览画面的深度信息和曝光信息,对目标拍摄对象进行补光。
[0099] 本发明实施例中,在目标拍摄对象处于欠曝光状态时,此时,为了避免移动终端拍摄的图像出现欠曝区域,可以对拍摄对象进行补光处理。具体地,可以首先确定目标拍摄对象所需的正向曝光补偿值。
[0100] 作为一种可能的实现方式,可以根据主预览画面中目标拍摄对象的深度信息确定该目标拍摄对象距离主摄像头的距离。可选地,可以预先建立不同距离和曝光补偿值之间的对应关系,从而在确定距离后,可以查询上述对应关系,获取与其对应的曝光补偿值,而后将获取的曝光补偿值作为目标拍摄对象所需的正向曝光补偿值。
[0101] 在确定目标拍摄对象所需的正向曝光补偿值后,可以根据正向曝光补偿值,对目标拍摄对象进行补光,从而避免后续对目标拍摄对象进行拍摄时,主图像中出现欠曝区域的情况。
[0102] 步骤209,根据曝光参数,控制主摄像头和副摄像头进行图像采集。
[0103] 可选地,在确定曝光参数后,可以根据曝光参数,控制主摄像头和副摄像头进行图像采集。
[0104] 本实施例的成像方法,通过在目标拍摄对象处于过曝光状态时,根据曝光信息,确定目标拍摄对象所需的负向曝光补偿值,根据负向曝光补偿值,对目标拍摄对象进行遮光,可以避免后续对目标拍摄对象进行拍摄时,主图像中出现过曝区域的情况。而在目标拍摄对象处于欠曝光状态时,根据主预览画面的深度信息和曝光信息,对目标拍摄对象进行补光,可以避免后续对目标拍摄对象进行拍摄时,主图像中出现欠曝区域的情况,从而在后续图像采集时,可以提升主图像的曝光效果。
[0105] 作为一种可能的实现方式,参见图5,在图4所示实施例的基础上,步骤208具体包括以下子步骤:
[0106] 步骤301,根据曝光信息,确定目标拍摄对象所需的正向曝光补偿值。
[0107] 作为一种可能的实现方式,可以根据曝光信息,确定在主图像内矩阵排布的多个测光点的曝光值,而后将多个测光点的曝光值取均值,通过将均值与预设阈值c作差,获取差值,而后将该差值作为目标拍摄对象所需的正向曝光补偿值。
[0108] 作为另一种可能的实现方式,可以根据主预览画面中目标拍摄对象的深度信息确定该目标拍摄对象距离主摄像头的距离。可选地,可以预先建立不同距离和正向曝光补偿值之间的对应关系,从而在确定距离后,可以查询上述对应关系,获取与其对应的正向曝光补偿值。
[0109] 步骤302,根据主预览画面中目标拍摄对象的深度信息和正向曝光补偿值,生成闪光灯的配光控制参数。
[0110] 本发明实施例中,可以预先建立不同距离和正向曝光补偿值之间的对应关系,而后可以根据距离和正向曝光补偿值之间的对应关系,确定配光曲线,进而可以根据配光曲线,确定闪光灯生成该配光曲线所需的配光控制参数。
[0111] 作为一种可能的实现方式,闪光灯为多个灯珠,配光控制参数可以为不同的灯珠加载的电流值,或者,配光控制参数可以为不同灯珠的状态,其中,灯珠的状态包括开启状态和关闭状态,对此不作限制。
[0112] 步骤303,根据配光控制参数,控制闪光灯对目标拍摄对象进行补光。
[0113] 本发明实施例中,在确定闪光灯的配光控制参数后,可以控制闪光灯对目标拍摄对象进行补光,从而避免后续对目标拍摄对象进行拍摄时,主图像中出现欠曝区域的情况,从而提升主图像的曝光效果。
[0114] 本实施例的成像方法,通过根据曝光信息,确定目标拍摄对象所需的正向曝光补偿值,根据主预览画面中目标拍摄对象的深度信息和正向曝光补偿值,生成闪光灯的配光控制参数,根据配光控制参数,控制闪光灯对目标拍摄对象进行补光。由此,可以避免后续对目标拍摄对象进行拍摄时,主图像中出现欠曝区域的情况,从而提升主图像的曝光效果。
[0115] 为了实现上述实施例,本申请还提出一种成像装置。
[0116] 图6为本申请实施例提供的一种成像装置的结构示意图。
[0117] 如图6所示,该成像装置包括:获取模块601、第一确定模块602、景深模块603、第一处理模块604、曝光模块605,以及虚化模块606。其中,
[0118] 获取模块601,用于获取主摄像头采集得到的主图像,以及获取副摄像头采集得到的副图像。
[0119] 第一确定模块602,用于根据测光得到的曝光信息,确定主图像的曝光调整区域以及对应的曝光补偿信息。
[0120] 作为一种可能的实现方式,第一确定模块602,具体用于根据曝光信息,确定在主图像内矩阵排布的多个测光点的曝光值;根据主图像的取景画面连续性,将主图像划分为多个单元;根据每一个单元内所含测光点的曝光值,确定单元的曝光值;若单元的曝光值未处于预设取值范围内,确定单元为曝光调整区域。
[0121] 景深模块603,用于根据主图像和副图像,获取主图像的深度信息。
[0122] 第一处理模块604,用于根据主图像的深度信息,确定主图像的前景区域和背景区域。
[0123] 曝光模块605,用于在前景区域和曝光调整区域的重合部分,根据曝光调整区域对应的曝光补偿信息,对主图像进行曝光调整。
[0124] 作为一种可能的实现方式,曝光模块605,具体用于在前景区域内,分别确定与每一个曝光调整区域的重合部分;在每一个曝光调整区域的重合部分内,根据曝光调整区域对应的曝光补偿信息,进行亮度、对比度和色彩饱和度中的一个或多个进行调整。
[0125] 虚化模块606,用于在背景区域,对曝光调整后的主图像进行虚化处理得到成像图像。
[0126] 进一步地,在本申请实施例的一种可能的实现方式中,参见图7,在图6所示实施例的基础上,该成像装置还可以包括:控制确定模块607、第二确定模块608、获取确定模块609,以及第二处理模块610。其中,
[0127] 控制确定模块607,用于在获取主摄像头采集得到的主图像,以及获取副摄像头采集得到的副图像之前,控制主摄像头和/或副摄像头测光,得到曝光信息;根据曝光信息,确定曝光参数。
[0128] 第二确定模块608,用于根据曝光参数,控制主摄像头和副摄像头进行图像采集。
[0129] 获取确定模块609,用于在根据曝光参数,控制主摄像头和副摄像头进行图像采集之前,分别从主摄像头获取用于对目标拍摄对象预览的主预览画面,以及从副摄像头获取用于对目标拍摄对象预览的副预览画面;根据主预览画面和副预览画面,确定主预览画面的深度信息。
[0130] 处理模块610,用于在根据曝光信息确定目标拍摄对象处于欠曝光状态时,根据主预览画面的深度信息和曝光信息,对目标拍摄对象进行补光。
[0131] 作为一种可能的实现方式,处理模块610,具体用于根据曝光信息,确定目标拍摄对象所需的正向曝光补偿值;根据主预览画面中目标拍摄对象的深度信息和正向曝光补偿值,生成闪光灯的配光控制参数;根据配光控制参数,控制闪光灯对目标拍摄对象进行补光。
[0132] 可选地,第二处理模块610,还用于在根据曝光信息确定目标拍摄对象处于过曝光状态,根据曝光信息,确定目标拍摄对象所需的负向曝光补偿值;根据负向曝光补偿值,对拍摄对象进行遮光。
[0133] 需要说明的是,前述对成像方法实施例的解释说明也适用于该实施例的成像装置,此处不再赘述。
[0134] 本实施例的成像装置,通过获取主摄像头采集得到的主图像,以及获取副摄像头采集得到的副图像之后,根据测光得到的曝光信息,确定主图像的曝光调整区域以及对应的曝光补偿信息。进而根据主图像和副图像,获取主图像的深度信息,从而最终根据主图像的深度信息,确定主图像的前景区域和背景区域,通过在前景区域和曝光调整区域的重合部分,根据曝光调整区域对应的曝光补偿信息,对主图像进行曝光调整,而在背景区域,对曝光调整后的主图像进行虚化处理得到成像图像。本实施例中,通过预先测光,确定主图像的曝光调整区域以及对应的曝光补偿信息,从而对根据曝光调整区域对应的曝光补偿信息,对主图像进行曝光调整,能够有效避免成像图像中出现过曝区域和欠曝区域,提升成像图像的曝光效果。同时,副摄像头拍摄的副图像与主摄像头拍摄主图像是同步拍摄得到的,从而依据对应的副图像对曝光调整后的主图像进行后续的虚化处理,一方面提高了成像照片的成像效果,另一方面提高了深度信息的准确性,从而使得图像处理效果较好。
[0135] 为了实现上述实施例,本申请还提出一种移动终端,图8是根据本申请另一个实施例的终端设备的结构示意图,如图8所示,该终端设备1000包括:壳体1100和位于壳体1100内的主摄像头1112、副摄像头1113、存储器1114和处理器1115。
[0136] 其中,存储器1114存储有可执行程序代码;处理器1115通过读取存储器1114中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行如前述方法实施例所述的成像方法。
[0137] 为了实现上述实施例,本申请还提出一种计算机可读存储介质,其上存储有计算机程序,该程序被移动终端的处理器执行时实现如前述实施例中提出的成像方法。
[0138] 上述移动终端中还包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
[0139] 如图9所示,图像处理电路包括ISP处理器940和控制逻辑器950。成像设备910捕捉的图像数据首先由ISP处理器940处理,ISP处理器940对图像数据进行分析以捕捉可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。成像设备910具体可以包括两个摄像头,每一个摄像头可包括具有一个或多个透镜912和图像传感器914。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜),图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器940处理的一组原始图像数据。传感器920可基于传感器920接口类型把原始图像数据提供给ISP处理器940。传感器920接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
[0140] ISP处理器940按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
[0141] ISP处理器940还可从图像存储器930接收像素数据。例如,从传感器920接口将原始像素数据发送给图像存储器930,图像存储器930中的原始像素数据再提供给ISP处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
[0142] 当接收到来自传感器920接口或来自图像存储器930的原始图像数据时,ISP处理器940可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器930,以便在被显示之前进行另外的处理。ISP处理器940从图像存储器930接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器970,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器940的输出还可发送给图像存储器930,且显示器970可从图像存储器930读取图像数据。在一个实施例中,图像存储器930可被配置为实现一个或多个帧缓冲器。此外,ISP处理器940的输出可发送给编码器/解码器960,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器970设备上之前解压缩。编码器/解码器960可由CPU或GPU或协处理器实现。
[0143] ISP处理器940确定的统计数据可发送给控制逻辑器950单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备910的控制参数以及的控制参数。例如,控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜912阴影校正参数。
[0144] 在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0145] 此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
[0146] 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
[0147] 在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
[0148] 应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
[0149] 本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
[0150] 此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
[0151] 上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。