多帧图像合成方法和装置转让专利

申请号 : CN201610616329.X

文献号 : CN106254772B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 吴磊

申请人 : 广东欧珀移动通信有限公司

摘要 :

本发明公开了一种多帧图像合成方法和装置,该方法包括:获取当前拍照所需的第一曝光时间t,并将第一曝光时间t分为N份,其中,N为4的M次幂,其中,M为正整数;通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像;对N帧图像进行合成处理,以得到合成后的照片。本发明实施例提供的多帧图像合成方法,通过MEMS控制图像传感器的移动进行控制,减少了拍摄过程中的抖动,进而可提高所拍摄的每帧图像的质量,从而提高了多帧图像合成后的照片的成像质量。

权利要求 :

1.一种多帧图像合成方法,其特征在于,包括以下步骤:

获取当前拍照所需的第一曝光时间t,并将所述第一曝光时间t分为N份,其中,N为4的M次幂,其中,M为正整数;

通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制所述图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像;

对所述N帧图像进行合成处理,以得到合成后的照片;

其中,所述对所述N帧图像进行合成处理,以得到合成后的照片,包括:根据所述MEMS控制图像传感器的移动规则确定出N帧图像的对齐规则,并根据对齐规则对所述N帧图像进行对齐;

针对对齐后的N帧图像中的每个像素,将所述N帧图像中针对当前像素的内容进行比较,并根据比较结果进行像素合成;

其中,所述将所述N帧图像中针对当前像素的内容进行比较,并根据比较结果进行像素合成,包括:判断N个当前像素的内容之间的匹配度是否均超过预设阈值,若均超过第一预设阈值,则将N个当前像素进行叠加。

2.如权利要求1所述的多帧图像合成方法,其特征在于,所述方法还包括:若判断出N个当前像素的内容之间的匹配度不均是超过预设阈值,则确定出N个当前像素中与其他当前像素差异最大的第一当前像素,并通过其他当前像素替换所述第一当前像素,并根据其他当前像素和替换后的第一当前像素进行叠加。

3.如权利要求1-2中任一项所述的多帧图像合成方法,其特征在于,所述预设像素为1个像素。

4.一种多帧图像合成装置,其特征在于,包括:

获取模块,用于获取当前拍照所需的第一曝光时间t,并将所述第一曝光时间t分为N份,其中,N为4的M次幂,其中,M为正整数;

处理模块,用于通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制所述图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像;

合成模块,用于对所述N帧图像进行合成处理,以得到合成后的照片;

其中,所述合成模块,包括:

对齐单元,用于根据所述MEMS控制图像传感器的移动规则确定出N帧图像的对齐规则,并根据对齐规则对所述N帧图像进行对齐;

合成单元,用于针对对齐后的N帧图像中的每个像素,将所述N帧图像中针对当前像素的内容进行比较,并根据比较结果进行像素合成;

其中,所述合成单元,具体用于:

判断N个当前像素的内容之间的匹配度是否均超过预设阈值,若均超过第一预设阈值,则将N个当前像素进行叠加。

5.如权利要求4所述的多帧图像合成装置,其特征在于,所述合成模块还包括:处理单元,用于在判断出N个当前像素的内容之间的匹配度不均是超过预设阈值时,确定出N个当前像素中与其他当前像素差异最大的第一当前像素,并通过其他当前像素替换所述第一当前像素,并根据其他当前像素和替换后的第一当前像素进行叠加。

6.如权利要求4-6中任一项所述的多帧图像合成装置,其特征在于,所述预设像素为1个像素。

7.一种移动终端,其特征在于,所述移动终端包括壳体、处理器、存储器、电路板和电源电路,其中,所述电路板安置在所述壳体围成的空间内部,所述处理器和所述存储器设置在所述电路板上;所述电源电路,用于为所述移动终端的各个电路或器件供电;所述存储器用于存储可执行程序代码;所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行以下步骤:获取当前拍照所需的第一曝光时间t,并将所述第一曝光时间t分为N份,其中,N为4的M次幂,其中,M为正整数;

通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制所述图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像;

对所述N帧图像进行合成处理,以得到合成后的照片;

其中,所述对所述N帧图像进行合成处理,以得到合成后的照片,包括:根据所述MEMS控制图像传感器的移动规则确定出N帧图像的对齐规则,并根据对齐规则对所述N帧图像进行对齐;

针对对齐后的N帧图像中的每个像素,将所述N帧图像中针对当前像素的内容进行比较,并根据比较结果进行像素合成;

其中,所述将所述N帧图像中针对当前像素的内容进行比较,并根据比较结果进行像素合成,包括:判断N个当前像素的内容之间的匹配度是否均超过预设阈值,若均超过第一预设阈值,则将N个当前像素进行叠加。

说明书 :

多帧图像合成方法和装置

技术领域

[0001] 本发明涉及移动终端技术领域,尤其涉及一种多帧图像合成方法和装置。

背景技术

[0002] 随着移动拍照设备的普及,现有技术中已经出现了很多不同的拍摄技术。其中,多帧拍摄合成是一种相较于单帧拍摄更为复杂的拍摄技术,其在全景拍摄、HDR合成、长曝光电子光圈中均有应用,这些拍摄技术的难点是如何进行图像合成。
[0003] 一般而言,手持移动设备进行拍摄,容易出现移动设备抖动,从而造成图像合成时出现像素错位。相关技术中,为了提高所合成的图像质量,用户可通过固定设备例如三角架对移动设备进行固定,然而,随时携带固定设备,影响了用户拍摄便利性和用户的拍摄体验。
[0004] 因此,如何提高移动设备多帧拍摄图像合成时的像素偏差,就成为一个需要解决的技术问题。

发明内容

[0005] 本发明的目的旨在至少在一定程度上解决上述的技术问题之一。
[0006] 为此,本发明的第一个目的在于提出一种多帧图像合成方法,该方法通过MEMS控制图像传感器的移动进行控制,减少了拍摄过程中的抖动,进而可提高所拍摄的每帧图像的质量,从而提高了多帧图像合成后的照片的成像质量。
[0007] 本发明的第二个目的在于提出一种多帧图像合成装置。
[0008] 本发明的第三个目的在于提出一种移动终端。
[0009] 本发明的第四个目的在于提出一种移动终端。
[0010] 为了实现上述目的,本发明第一方面实施例的多帧图像合成方法,包括:获取当前拍照所需的第一曝光时间t,并将所述第一曝光时间t分为N份,其中,N为4的M次幂,其中,M为正整数;通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制所述图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像;对所述N帧图像进行合成处理,以得到合成后的照片。
[0011] 根据本发明实施例的多帧图像合成方法,在需要多帧拍摄图像合成时,将当前拍照所需的第一曝光时间t,并将第一曝光时间t分为N份,然后,通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像,对N帧图像进行合成处理,以得到合成后的照片,由此,通过MEMS控制图像传感器的移动进行控制,减少了拍摄过程中的抖动,进而可提高所拍摄的每帧图像的质量,从而提高了多帧图像合成后的照片的成像质量。
[0012] 根据本发明的一个实施例,所述对所述N帧图像进行合成处理,以得到合成后的照片,包括:
[0013] 根据所述MEMS控制图像传感器的移动规则确定出N帧图像的对齐规则,并根据对齐规则对所述N帧图像进行对齐;
[0014] 针对对齐后的N帧图像中的每个像素,将所述N帧图像中针对当前像素的内容进行比较,并根据比较结果进行像素合成。
[0015] 根据本发明的一个实施例,所述将所述N帧图像中针对当前像素的内容进行比较,并根据比较结果进行像素合成,包括:
[0016] 判断N个当前像素的内容之间的匹配度是否均超过预设阈值,若均超过第一预设阈值,则将N个当前像素进行叠加。
[0017] 根据本发明的一个实施例,所述方法还包括:
[0018] 若判断出N个当前像素的内容之间的匹配度不均是超过预设阈值,则确定出N个当前像素中与其他当前像素差异最大的第一当前像素,并通过其他当前像素替换所述第一当前像素,并根据其他当前像素和替换后的第一当前像素进行叠加。
[0019] 根据本发明的一个实施例,所述预设像素为1个像素。
[0020] 为了实现上述目的,本发明第二方面实施例的多帧图像合成装置,包括:获取模块,用于获取当前拍照所需的第一曝光时间t,并将所述第一曝光时间t分为N份,其中,N为4的M次幂,其中,M为正整数;处理模块,用于通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制所述图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像;合成模块,用于对所述N帧图像进行合成处理,以得到合成后的照片。
[0021] 根据本发明实施例的多帧图像合成装置,在需要多帧拍摄图像合成时,将当前拍照所需的第一曝光时间t,并将第一曝光时间t分为N份,然后,通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像,对N帧图像进行合成处理,以得到合成后的照片,由此,通过MEMS控制图像传感器的移动进行控制,减少了拍摄过程中的抖动,进而可提高所拍摄的每帧图像的质量,从而提高了多帧图像合成后的照片的成像质量。
[0022] 根据本发明的一个实施例,所述合成模块,包括:
[0023] 对齐单元,用于根据所述MEMS控制图像传感器的移动规则确定出N帧图像的对齐规则,并根据对齐规则对所述N帧图像进行对齐;
[0024] 合成单元,用于针对对齐后的N帧图像中的每个像素,将所述N帧图像中针对当前像素的内容进行比较,并根据比较结果进行像素合成。
[0025] 根据本发明的一个实施例,所述合成单元,具体用于:
[0026] 判断N个当前像素的内容之间的匹配度是否均超过预设阈值,若均超过第一预设阈值,则将N个当前像素进行叠加。
[0027] 根据本发明的一个实施例,所述合成模块还包括:
[0028] 处理单元,用于在判断出N个当前像素的内容之间的匹配度不均是超过预设阈值时,确定出N个当前像素中与其他当前像素差异最大的第一当前像素,并通过其他当前像素替换所述第一当前像素,并根据其他当前像素和替换后的第一当前像素进行叠加。
[0029] 根据本发明的一个实施例,所述预设像素为1个像素。
[0030] 为了实现上述目的,本发明第三方面实施例的移动终端,包括本发明第二方面实施例的多帧图像合成装置。
[0031] 根据本发明实施例移动终端,在需要多帧拍摄图像合成时,将当前拍照所需的第一曝光时间t,并将第一曝光时间t分为N份,然后,通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像,对N帧图像进行合成处理,以得到合成后的照片,由此,通过MEMS控制图像传感器的移动进行控制,减少了拍摄过程中的抖动,进而可提高所拍摄的每帧图像的质量,从而提高了多帧图像合成后的照片的成像质量。
[0032] 为了实现上述目的,本发明第四方面实施例的移动终端,所述移动终端包括壳体、处理器、存储器、电路板和电源电路,其中,所述电路板安置在所述壳体围成的空间内部,所述处理器和所述存储器设置在所述电路板上;所述电源电路,用于为所述移动终端的各个电路或器件供电;所述存储器用于存储可执行程序代码;所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行以下步骤:获取当前拍照所需的第一曝光时间t,并将所述第一曝光时间t分为N份,其中,N为4的M次幂,其中,M为正整数;通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制所述图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像;对所述N帧图像进行合成处理,以得到合成后的照片。
[0033] 根据本发明实施例移动终端,在需要多帧拍摄图像合成时,将当前拍照所需的第一曝光时间t,并将第一曝光时间t分为N份,然后,通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像,对N帧图像进行合成处理,以得到合成后的照片,由此,通过MEMS控制图像传感器的移动进行控制,减少了拍摄过程中的抖动,进而可提高所拍摄的每帧图像的质量,从而提高了多帧图像合成后的照片的成像质量。
[0034] 本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

[0035] 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中,
[0036] 图1是根据本发明一个实施例的多帧图像合成方法的流程图;
[0037] 图2是MEMS控制图像传感器进行移动的示例图;
[0038] 图3是根据本发明另一个实施例的多帧图像合成方法的流程图;
[0039] 图4是根据本发明一个实施例的多帧图像合成装置的结构示意图;
[0040] 图5是根据本发明另一个实施例的多帧图像合成装置的结构示意图。
[0041] 附图标记:
[0042] 获取模块110、处理模块120、合成模块130、对齐单元131、合成单元132和处理单元133。

具体实施方式

[0043] 下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
[0044] 随着移动终端的发展,移动终端内的硬件也在不断升级,比如,在移动终端内采用了微机电系统(Micro Electro Mechanical System,MEMS)。具体的,MEMS可以应用在多种模组中,比如应用在成像模组中。成像模组包括镜头、MEMS、图像传感器(Sensor)等,MEMS能够带动图像传感器在同一个平面内沿不同方向移动。
[0045] 图1是根据本发明一个实施例的多帧图像合成方法的流程图。其中,需要说明的是,该多帧图像合成方法可以应用于具有成像模组的移动终端中,其中,移动终端可以例如是手机、平板电脑等具有各种操作系统的硬件设备。
[0046] 如图1所示,该多帧图像合成方法包括以下步骤:
[0047] S11,获取当前拍照所需的第一曝光时间t,并将第一曝光时间t分为N份。
[0048] 其中,N为4的M次幂,其中,M为正整数。
[0049] 其中,需要说明的是,N是根据像素要求预先设置的值,例如,智能手机中的摄像头的像素为400万像素,在需要提供一张1600万像素时,此时,N为4,对应的M为1。
[0050] 其中,需要理解的是,可根据具体应用场景需求对N进行设置,例如,N可以为16。
[0051] S12,通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像。
[0052] 其中,需要理解的是,其中,MEMS是可移动的,例如,MEMS与驱动电路连接,在驱动电路输出的驱动电压的驱动下进行移动。
[0053] 其中,预设像素是预设设置的,例如,预设像素可以为1个像素,也就是说,MEMS以1个像素为步长顺时针或者逆时针控制图像传感器进行移动。
[0054] 其中,需要理解的是,MEMS控制图像传感器移动的次数与N有关。
[0055] 下面结合图2以一个像素为例对MEMS控制图像传感器移动进行描述,假设N为4,即将第一曝光时间t划分4,对应的第二曝光时间为t/4。在MEMS控制图像传感器初始位置1时,图像传感器以第二曝光时间t/4进行一次曝光,以获得第一帧图像。然后,MEMS控制图像传感器向右移动一个像素,以使图像传感器处于位置2,此时,图像传感器以第二曝光时间t/4再进行一次曝光,以获得第二帧图像。之后,MEMS控制图像传感器从位置2向下移动一个像素,以使图像传感器处于位置3,此时,图像传感器以第二曝光时间t/4再进行一次曝光,以获得第三帧图像。然后,MEMS控制图像传感器从位置3向左移动一个像素,以使图像传感器处于位置4,图像传感器以第二曝光时间t/4再进行一次曝光,以获得第四帧图像。另外,需要理解的是,如果MEMS控制图像传感器从位置4向上移动一个像素,此时,图像传感器将重新处于初始位置1。
[0056] S13,对N帧图像进行合成处理,以得到合成后的照片。
[0057] 在获得N帧图像后,可再通过多帧图像合成的原理对多帧图像进行合成,以为用户提供合成后的质量高的照片,满足用户对照片的质量需求。
[0058] 根据本发明实施例的多帧图像合成方法,在需要多帧拍摄图像合成时,将当前拍照所需的第一曝光时间t,并将第一曝光时间t分为N份,然后,通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像,对N帧图像进行合成处理,以得到合成后的照片,由此,通过MEMS控制图像传感器的移动进行控制,减少了拍摄过程中的抖动,进而可提高所拍摄的每帧图像的质量,从而提高了多帧图像合成后的照片的成像质量。
[0059] 图3是根据本发明另一个实施例的多帧图像合成方法的流程图。其中,需要说明的是,该多帧图像合成方法可以应用于具有成像模组的移动终端中,其中,移动终端可以例如是手机、平板电脑等具有各种操作系统的硬件设备。
[0060] 如图3所示,该多帧图像合成方法包括以下步骤:
[0061] S31,获取当前拍照所需的第一曝光时间t,并将第一曝光时间t分为N份。
[0062] 其中,N为4的M次幂,其中,M为正整数。
[0063] 其中,需要说明的是,N是根据像素要求预先设置的值,例如,智能手机中的摄像头的像素为400万像素,在需要提供一张1600万像素时,此时,N为4,对应的M为1。
[0064] 其中,需要理解的是,可根据具体应用场景需求对N进行设置,例如,N可以为16。
[0065] S32,通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像。
[0066] 其中,需要理解的是,其中,MEMS是可移动的,例如,MEMS与驱动电路连接,在驱动电路输出的驱动电压的驱动下进行移动。
[0067] 其中,预设像素是预设设置的,例如,预设像素可以为1个像素,也就是说,MEMS以1个像素为步长顺时针或者逆时针控制图像传感器进行移动。
[0068] 其中,需要理解的是,MEMS控制图像传感器移动的次数与N有关。
[0069] 下面结合图2对MEMS控制图像传感器移动进行描述,假设N为4,即将第一曝光时间t划分4,对应的第二曝光时间为t/4。在MEMS控制图像传感器初始位置1时,图像传感器以第二曝光时间t/4进行一次曝光,以获得第一帧图像。然后,MEMS控制图像传感器向右移动一个像素,以使图像传感器处于位置2,此时,图像传感器以第二曝光时间t/4再进行一次曝光,以获得第二帧图像。之后,MEMS控制图像传感器从位置2向下移动一个像素,以使图像传感器处于位置3,此时,图像传感器以第二曝光时间t/4再进行一次曝光,以获得第三帧图像。然后,MEMS控制图像传感器从位置3向左移动一个像素,以使图像传感器处于位置4,图像传感器以第二曝光时间t/4再进行一次曝光,以获得第四帧图像。另外,需要理解的是,如果MEMS控制图像传感器从位置4向上移动一个像素,此时,图像传感器将重新处于初始位置1。
[0070] S33,根据MEMS控制图像传感器的移动规则确定出N帧图像的对齐规则,并根据对齐规则对N帧图像进行对齐。
[0071] 具体地,在获取到N帧图像后,可MEMS控制图像传感器的移动规则确定出N帧图像的对齐规则。
[0072] 举例而言,对于N为4的情况,再MEMS以图2所示的移动规则控制图像传感器进行移动后,获得四帧图像后,在对第一帧图像、第二帧图像、第三帧图像和第四帧图像进行合成时,对于第一帧图像和第二帧图像来说,第一帧图像向左移动一个像素,即可实现第一帧图像和第二帧图像的对齐;对于第一帧图像和第三帧图像来说,第三帧图像向上移动一个像素,并向左移动一个像素,即可实现第一帧图像和第三帧图像的对齐;对于第一帧图像和第四帧图像来说,第四帧图像向上移动一个像素,即可实现第一帧图像和第四帧图像的对齐。
[0073] S34,针对对齐后的N帧图像中的每个像素,将N帧图像中针对当前像素的内容进行比较,并根据比较结果进行像素合成,以生成合成后的照片。
[0074] 具体地,对于对齐后的N帧图像中的每个像素,判断N个当前像素的内容之间的匹配度是否均超过预设阈值,若均超过第一预设阈值,则将N个当前像素进行叠加。
[0075] 也就是说,针对四帧图像中的当前像素,将这N个当前像素的内容进行比较,当判断出这N个当前像素的内容差异不大时,直接将这N个当前像素进行叠加,以通过N个当前像素合成一个像素。
[0076] 在本发明的一个实施例中,若判断出N个当前像素的内容之间的匹配度不均是超过预设阈值,则确定出N个当前像素中与其他当前像素差异最大的第一当前像素,并通过其他当前像素替换第一当前像素,并根据其他当前像素和替换后的第一当前像素进行叠加。由此,可去除过程中相同像素位置中内容差异较大的,对合成后的该像素的成像质量的影响。
[0077] 也就是说,针对N个当前像素来说,如果其中有像素与其他像素差异较大,则用其他像素替换该像素,并通过其他像素和替换后的像素进行叠加。
[0078] 其中,需要说明的是,对于N帧图像中的每个像素的合成过程均与前述对当前像素的合成的过程相同,此处不再赘述。
[0079] 综上可以看出,该实施例在对N帧图像进行合成的过程中,通过MEMS控制图像传感器的移动规则确定出N帧图像的对齐规则,并根据该对齐规则对N帧图像进行对齐,并根据对齐后的N帧图像进行像素合成,以生成合成后的照片。相对于通过计算方式确定对齐模型的方式来说,大大减少了N帧图像合成过程中的计算量,减少了合成N帧图像所需要的时间,进而可提高N帧图像合成的效率。
[0080] 根据本发明实施例的多帧图像合成方法,在需要多帧拍摄图像合成时,将当前拍照所需的第一曝光时间t,并将第一曝光时间t分为N份,然后,通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像,根据MEMS控制图像传感器的移动规则确定出N帧图像的对齐规则,并根据对齐规则对N帧图像进行对齐,针对对齐后的N帧图像中的每个像素,将N帧图像中针对当前像素的内容进行比较,并根据比较结果进行像素合成,,以获得合成后的照片。由此,通过MEMS控制图像传感器的移动进行控制,减少了拍摄过程中的抖动,并且在通过N帧图像合成图像时,根据MEMS控制图像传感器的移动规则可快速确定出N帧图像的对齐规则,减少了合成N帧图像所需要的时间,提高了N帧图像合成的效率,并且提高了多帧图像合成后的照片的成像质量。
[0081] 为了实现上述实施例,本发明还提出了一种本发明实施例的多帧图像合成装置。
[0082] 图4是根据本发明一个实施例的多帧图像合成装置的结构示意图。
[0083] 如图4所示,该本发明实施例的多帧图像合成装置可以包括获取模块110、处理模块120和合成模块130,其中:
[0084] 获取模块110用于获取当前拍照所需的第一曝光时间t,并将第一曝光时间t分为N份。
[0085] 其中,N为4的M次幂,其中,M为正整数。
[0086] 处理模块120用于通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像。
[0087] 其中,预设像素是根据场景需求预设的,例如,预设像素可以为1个像素。
[0088] 合成模块130用于对N帧图像进行合成处理,以得到合成后的照片。
[0089] 其中,需要说明的是,前述对多帧图像合成方法实施例的解释说明也适用于该实施例的多帧图像合成装置,其实现原理类似,此处不再赘述。
[0090] 根据本发明实施例的多帧图像合成装置,在需要多帧拍摄图像合成时,将当前拍照所需的第一曝光时间t,并将第一曝光时间t分为N份,然后,通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像,对N帧图像进行合成处理,以得到合成后的照片,由此,通过MEMS控制图像传感器的移动进行控制,减少了拍摄过程中的抖动,进而可提高所拍摄的每帧图像的质量,从而提高了多帧图像合成后的照片的成像质量。
[0091] 在本发明的一个实施例中,基于图4所示的实施例的基础上,如图5所示,上述合成模块130可以包括对齐单元131和合成单元132,其中:
[0092] 对齐单元131用于根据MEMS控制图像传感器的移动规则确定出N帧图像的对齐规则,并根据对齐规则对N帧图像进行对齐。
[0093] 合成单元132用于针对对齐后的N帧图像中的每个像素,将N帧图像中针对当前像素的内容进行比较,并根据比较结果进行像素合成。
[0094] 在本发明的一个实施例中,合成单元132具体用于:判断N个当前像素的内容之间的匹配度是否均超过预设阈值,若均超过第一预设阈值,则将N个当前像素进行叠加。
[0095] 在本发明的一个实施例中,如图5所示,上述合成模块130还可以包括处理单元133,其中:
[0096] 处理单元133用于在判断出N个当前像素的内容之间的匹配度不均是超过预设阈值时,确定出N个当前像素中与其他当前像素差异最大的第一当前像素,并通过其他当前像素替换第一当前像素,并根据其他当前像素和替换后的第一当前像素进行叠加。
[0097] 综上可以看出,该实施例在对N帧图像进行合成的过程中,通过MEMS控制图像传感器的移动规则确定出N帧图像的对齐规则,并根据该对齐规则对N帧图像进行对齐,并根据对齐后的N帧图像进行像素合成,以生成合成后的照片。相对于通过计算方式确定对齐模型的方式来说,大大减少了N帧图像合成过程中的计算量,减少了合成N帧图像所需要的时间,进而可提高N帧图像合成的效率。
[0098] 为了实现上述实施例,本发明还提出一种移动终端。
[0099] 一种移动终端,包括本发明第二方面实施例的多帧图像合成装置。
[0100] 根据本发明实施例的移动终端,在需要多帧拍摄图像合成时,将当前拍照所需的第一曝光时间t,并将第一曝光时间t分为N份,然后,通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像,对N帧图像进行合成处理,以得到合成后的照片,由此,通过MEMS控制图像传感器的移动进行控制,减少了拍摄过程中的抖动,进而可提高所拍摄的每帧图像的质量,从而提高了多帧图像合成后的照片的成像质量。
[0101] 为了实现上述实施例,本发明还提出一种移动终端,该移动终端包括壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为移动终端的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行以下步骤:
[0102] S11',获取当前拍照所需的第一曝光时间t,并将第一曝光时间t分为N份。
[0103] 其中,N为4的M次幂,其中,M为正整数。
[0104] 其中,需要说明的是,N是根据像素要求预先设置的值,例如,智能手机中的摄像头的像素为400万像素,在需要提供一张1600万像素时,此时,N为4,对应的M为1。
[0105] 其中,需要理解的是,可根据具体应用场景需求对N进行设置,例如,N可以为16。
[0106] S12',通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像。
[0107] 其中,需要理解的是,其中,MEMS是可移动的,例如,MEMS与驱动电路连接,在驱动电路输出的驱动电压的驱动下进行移动。
[0108] 其中,预设像素是预设设置的,例如,预设像素可以为1个像素,也就是说,MEMS以1个像素为步长顺时针或者逆时针控制图像传感器进行移动。
[0109] 其中,需要理解的是,MEMS控制图像传感器移动的次数与N有关。
[0110] 下面结合图2对MEMS控制图像传感器移动进行描述,假设N为4,即将第一曝光时间t划分4,对应的第二曝光时间为t/4。在MEMS控制图像传感器初始位置1时,图像传感器以第二曝光时间t/4进行一次曝光,以获得第一帧图像。然后,MEMS控制图像传感器向右移动一个像素,以使图像传感器处于位置2,此时,图像传感器以第二曝光时间t/4再进行一次曝光,以获得第二帧图像。之后,MEMS控制图像传感器从位置2向下移动一个像素,以使图像传感器处于位置3,此时,图像传感器以第二曝光时间t/4再进行一次曝光,以获得第三帧图像。然后,MEMS控制图像传感器从位置3向左移动一个像素,以使图像传感器处于位置4,图像传感器以第二曝光时间t/4再进行一次曝光,以获得第四帧图像。另外,需要理解的是,如果MEMS控制图像传感器从位置4向上移动一个像素,此时,图像传感器将重新处于初始位置1。
[0111] S13',对N帧图像进行合成处理,以得到合成后的照片。
[0112] 在获得N帧图像后,可再通过多帧图像合成的原理对多帧图像进行合成,以为用户提供合成后的质量高的照片,满足用户对照片的质量需求。
[0113] 根据本发明实施例的移动终端,在需要多帧拍摄图像合成时,将当前拍照所需的第一曝光时间t,并将第一曝光时间t分为N份,然后,通过MEMS控制图像传感器按照预设像素步长顺时针或者逆时针移动,并控制图像传感器在每次移动预设像素后,以第二曝光时间t/N进行曝光,以获取N帧图像,对N帧图像进行合成处理,以得到合成后的照片,由此,通过MEMS控制图像传感器的移动进行控制,减少了拍摄过程中的抖动,进而可提高所拍摄的每帧图像的质量,从而提高了多帧图像合成后的照片的成像质量。
[0114] 在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0115] 此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
[0116] 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
[0117] 在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
[0118] 应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
[0119] 本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
[0120] 此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
[0121] 上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。