拍摄方法和拍摄装置转让专利

申请号 : CN201811526267.9

文献号 : CN109413334B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 杨萌戴付建赵烈烽

申请人 : 浙江舜宇光学有限公司

摘要 :

本申请提供了一种拍摄方法和拍摄装置,该方法包括:采用拍摄单元对拍摄对象进行拍摄,依次形成至少一个预览图像和一个拍摄图像,拍摄单元包括镜头组,镜头组包括至少一个镜头;检测镜头组在拍摄拍摄图像时的运动量;在检测到镜头组在拍摄拍摄图像时的运动量大于阈值的情况下,将一个预览图像中的第一区域中的至少一部分融合至拍摄图像的第一区域中的对应部分中,融合至拍摄图像的预览图像的部分与拍摄图像的对应部分为拍摄对象的同一部分。该拍摄方法的计算量较小,并且可以得到质量较高的拍摄图像。

权利要求 :

1.一种拍摄方法,其特征在于,包括:

采用拍摄单元对拍摄对象进行拍摄,依次形成至少一个预览图像和一个拍摄图像,所述拍摄单元包括镜头组,所述镜头组包括至少一个镜头;

检测所述镜头组在拍摄所述拍摄图像时的运动量;

在检测到所述镜头组在拍摄所述拍摄图像时的运动量大于阈值的情况下,将一个所述预览图像中的第一区域中的至少一部分融合至所述拍摄图像的第一区域中的对应部分中,融合至所述拍摄图像的所述预览图像的部分与所述拍摄图像的对应部分为所述拍摄对象的同一部分;

所述拍摄单元包括成像设备,所述方法还包括:

采用所述成像设备对所述镜头组接收的入射光进行成像,

所述预览图像有多个,所述方法还包括检测所述镜头组在拍摄所述预览图像时的运动量,所述在检测到所述镜头组在拍摄所述拍摄图像时的运动量大于阈值的情况下,将一个所述预览图像中的至少一部分融合至所述拍摄图像的对应部分中包括:在多个所述预览图像中,选择所述镜头组在拍摄时所述运动量最小的所述预览图像作为融合图像;

所述融合图像中除所述第一区域以外的区域为第二区域,所述拍摄图像中除所述第一区域以外的区域为第二区域,所述方法还包括:根据所述运动量对所述拍摄图像的第二区域进行补偿。

2.根据权利要求1所述的方法,其特征在于,在多个所述预览图像中,选择所述镜头组在拍摄时所述运动量最小的所述预览图像作为融合图像之后,将一个所述预览图像中的至少一部分融合至所述拍摄图像的对应部分中还包括:计算所述融合图像的第一区域中的至少一部分相对于所述拍摄图像的第一区域的对应部分的偏移量,其中,所述融合图像的第一区域的至少一部分和所述拍摄图像的第一区域的对应部分为所述拍摄对象的同一部分;

根据所述偏移量将所述第一区域中的至少一部分融合至所述拍摄图像的第一区域的对应部分。

3.根据权利要求1或2所述的方法,其特征在于,所述预览图像的曝光时间小于用户拍摄时所述镜头组所自动选择的默认快门时间。

4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:缓存所述运动量和所述预览图像。

5.根据权利要求1所述的方法,其特征在于,在根据所述运动量对所述拍摄图像的第二区域进行补偿之后,所述方法还包括:采用预定的像差校正数据对所述拍摄图像的至少所述第二区域进行校正。

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

存储所述预定的像差校正数据和修正后的所述拍摄图像。

7.根据权利要求1所述的方法,其特征在于,所述第二区域中的像素数小于所述第一区域中的像素数。

8.根据权利要求2所述的方法,其特征在于,用于计算所述偏移量的所述第一区域中的部分为32*32、16*16或8*8的像素部分,且所述像素部分包括亮度信息和色调信息。

9.根据权利要求1所述的方法,其特征在于,所述拍摄单元还包括两个拍摄模块,分别为第一拍摄模块和第二拍摄模块,各所述拍摄模块包括一个所述镜头和一个所述成像设备,采用所述拍摄单元对所述拍摄对象进行拍摄,依次形成至少一个所述预览图像和一个所述拍摄图像包括:采用所述第一拍摄模块依次拍摄得至少一个第一预览图像和一个第一拍摄图像,采用所述第二拍摄模块依次拍摄得至少一个第二预览图像和一个第二拍摄图像,将所述第一预览图像和对应的所述第二预览图像融合得到所述预览图像,将所述第一拍摄图像和所述第二拍摄图像融合得到所述拍摄图像。

10.一种拍摄装置,其特征在于,所述装置包括:

拍摄单元,包括镜头组和成像模块,其中,所述镜头组包括至少一个镜头,所述拍摄单元用于对拍摄对象进行拍摄,依次形成至少一个预览图像和一个拍摄图像;

运动传感器,用于检测所述镜头组在拍摄所述拍摄图像时的运动量;

处理单元,在检测到所述镜头组在拍摄所述拍摄图像时的运动量大于阈值的情况下,用于将一个所述预览图像中的第一区域中的至少一部分融合至所述拍摄图像的第一区域中的对应部分中,融合至所述拍摄图像的所述预览图像的部分与所述拍摄图像的对应部分为所述拍摄对象的同一部分;

所述拍摄单元还包括成像设备,所述成像设备用于对所述镜头组接收的入射光进行成像,所述预览图像有多个,所述运动传感器还检测所述镜头组在拍摄所述预览图像时的运动量,所述处理单元包括:选择模块,用于在多个所述预览图像中,选择所述镜头组在拍摄时的所述运动量最小的所述预览图像作为融合图像;

所述融合图像中除所述第一区域以外的区域为第二区域,所述拍摄图像中除所述第一区域以外的区域为第二区域,所述装置还包括补偿单元,所述补偿单元用于根据所述运动量对所述拍摄图像的所述第二区域进行补偿。

11.根据权利要求10所述的装置,其特征在于,所述处理单元还包括:计算模块,用于计算所述融合图像的第一区域中的至少一部分相对于所述拍摄图像的第一区域的对应部分的偏移量,其中,所述融合图像的第一区域的至少一部分和所述拍摄图像的第一区域的对应部分为所述拍摄对象的同一部分;

第一融合模块,用于根据所述偏移量将所述第一区域中的至少一部分融合至所述拍摄图像的第一区域的对应部分。

12.根据权利要求10所述的装置,其特征在于,所述运动传感器包括加速度计和陀螺仪。

13.根据权利要求10或11所述的装置,其特征在于,所述装置还包括缓存单元,所述缓存单元用于缓存所述运动量和所述预览图像。

14.根据权利要求10或11所述的装置,其特征在于,所述预览图像的曝光时间小于用户拍摄时所述镜头组所自动选择的默认快门时间。

15.根据权利要求10所述的装置,其特征在于,所述装置还包括像差校正单元,所述像差校正单元采用预定的像差校正数据对所述拍摄图像的至少所述第二区域进行校正。

16.根据权利要求10所述的装置,其特征在于,所述第二区域中的像素数小于所述第一区域中的像素数。

17.根据权利要求11所述的装置,其特征在于,用于计算所述偏移量的所述第一区域中的部分为32*32、16*16或8*8的像素部分,且所述像素部分包括亮度信息和色调信息。

18.根据权利要求15所述的装置,其特征在于,所述装置还包括存储器,所述存储器用于存储所述预定的像差校正数据和修正后的所述拍摄图像。

19.根据权利要求10所述的装置,其特征在于,所述拍摄单元包括:第一拍摄模块,包括一个所述镜头和一个所述成像设备,用于依次拍摄得至少一个第一预览图像和一个第一拍摄图像;

第二拍摄模块,包括一个所述镜头和一个所述成像设备,用于依次拍摄得至少一个第二预览图像和一个第二拍摄图像;

第二融合模块,用于将所述第一预览图像和对应的所述第二预览图像融合得到所述预览图像,将所述第一拍摄图像和所述第二拍摄图像融合得到所述拍摄图像。

20.一种电子设备,其特征在于,所述电子设备包括拍摄装置和显示装置,所述拍摄装置为权利要求10至19中任意一项所述的拍摄装置。

21.一种存储介质,其特征在于,所述存储介质包括存储有程序,其中,所述程序执行权利要求1至9任意一项所述的拍摄方法。

22.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至9任意一项所述的拍摄方法。

说明书 :

拍摄方法和拍摄装置

技术领域

[0001] 本申请涉及成像领域,具体而言,涉及一种拍摄方法和拍摄装置。

背景技术

[0002] 实际使用的拍摄装置,尤其是移动终端所搭载的拍摄装置所拍摄的照片一般都需要校正以便消除图像中的各种不清晰现象,例如由拍摄时手抖造成的图像失真以及手机镜头本身所造成的畸变以及色差等像差。
[0003] 现有的技术中,有两种常用的防抖方法,一种为物理修正法,例如,使用各类透镜组合和增加光阑等,但是,该方法无法彻底解决抖动这些问题;另一种为位移补偿法,通常为使用位移补偿对镜头组或者感光元件进行与抖动相抵消的移动,该方法对于硬件提出了更多要求,实际应用中仍经常需要图像处理软件来人工进行处理。
[0004] 因此,目前仍需要一种能有效防止手抖造成的像质降低,且图像修正所需的计算量较少的机制。
[0005] 在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解,因此,背景技术中可能包含某些信息,这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。

发明内容

[0006] 本申请的主要目的在于提供一种拍摄方法和拍摄装置,以解决现有技术中防抖方法难以采用较少的计算量修正拍摄图像的问题。
[0007] 为了实现上述目的,根据本申请的一个方面,提供了一种拍摄方法,该方法包括:采用拍摄单元对拍摄对象进行拍摄,依次形成至少一个预览图像和一个拍摄图像,上述拍摄单元包括镜头组,上述镜头组包括至少一个镜头;检测上述镜头组在拍摄上述拍摄图像时的运动量;在检测到上述镜头组在拍摄上述拍摄图像时的运动量大于阈值的情况下,将一个上述预览图像中的第一区域中的至少一部分融合至上述拍摄图像的第一区域中的对应部分中,融合至上述拍摄图像的上述预览图像的部分与上述拍摄图像的对应部分为上述拍摄对象的同一部分。
[0008] 进一步地,上述预览图像有多个,上述方法还包括检测上述镜头组在拍摄上述预览图像时的运动量,上述在检测到上述镜头组在拍摄上述拍摄图像时的运动量大于阈值的情况下,将一个上述预览图像中的至少一部分融合至上述拍摄图像的对应部分中包括:在多个上述预览图像中,选择上述镜头组在拍摄时上述运动量最小的上述预览图像作为融合图像;计算上述融合图像的第一区域中的至少一部分相对于上述拍摄图像的第一区域的对应部分的偏移量,其中,上述融合图像的第一区域的至少一部分和上述拍摄图像的第一区域的对应部分为上述拍摄对象的同一部分;根据上述偏移量将上述第一区域中的至少一部分融合至上述拍摄图像的第一区域的对应部分。
[0009] 进一步地,上述方法还包括:对上述运动量和上述预览图像进行缓存。
[0010] 进一步地,上述融合图像中除上述第一区域以外的区域为第二区域,上述拍摄图像中除上述第一区域以外的区域为第二区域,上述方法还包括:根据上述运动量对上述拍摄图像的第二区域进行补偿。
[0011] 进一步地,在根据上述运动量对上述拍摄图像的第二区域进行补偿之后,上述方法还包括:采用预定的像差校正数据对上述拍摄图像的至少上述第二区域进行校正。
[0012] 进一步地,上述第二区域中的像素数小于上述第一区域中的像素数。
[0013] 进一步地,用于计算上述偏移量的上述第一区域中的部分为32*32、16*16或8*8的像素部分,且上述像素部分包括亮度信息和色调信息。
[0014] 为了实现上述目的,根据本申请的一个方面,提供了一种拍摄装置,上述装置包括:拍摄单元,包括镜头组和成像模块,其中,上述镜头组包括至少一个镜头,上述拍摄单元用于对拍摄对象进行拍摄,依次形成至少一个预览图像和一个拍摄图像;运动传感器,用于检测上述镜头组在拍摄上述拍摄图像时的运动量;处理单元,在检测到上述镜头组在拍摄上述拍摄图像时的运动量大于阈值的情况下,用于将一个上述预览图像中的第一区域中的至少一部分融合至上述拍摄图像的第一区域中的对应部分中,融合至上述拍摄图像的上述预览图像的部分与上述拍摄图像的对应部分为上述拍摄对象的同一部分。
[0015] 进一步地,上述预览图像有多个,上述运动传感器还检测上述镜头组在拍摄上述预览图像时的运动量,上述处理单元包括:选择模块,用于在多个上述预览图像中,选择上述镜头组在拍摄时的上述运动量最小的上述预览图像作为融合图像;计算模块,用于计算上述融合图像的第一区域中的至少一部分相对于上述拍摄图像的第一区域的对应部分的偏移量,其中,上述融合图像的第一区域的至少一部分和上述拍摄图像的第一区域的对应部分为上述拍摄对象的同一部分;融合模块,用于根据上述偏移量将上述第一区域中的至少一部分融合至上述拍摄图像的第一区域的对应部分。
[0016] 进一步地,上述运动传感器包括加速度计和陀螺仪。
[0017] 应用本申请的技术方案,上述的拍摄方法中,在拍摄形成拍摄图像之前,形成至少一个预览图像,当检测到拍摄上述拍摄图像时的镜头组的运动量超过阈值时,则采用预览图像对拍摄图像进行修正,具体的修正过程为将一个上述预览图像中的第一区域中的至少一部分融合至上述拍摄图像的第一区域中的对应部分中,且融合至上述拍摄图像的上述预览图像的部分与上述拍摄图像的对应部分为上述拍摄对象的同一部分,例如,对于人物来说,通常用户比较关注的是脸部,那么,具体的融合过程中,可以选择预览图像中包括脸部的一个较小的区域为第一区域,并且将该区域中的脸部融合至拍摄图像中的脸部,形成修正后的拍摄图像。该拍摄方法可以只将预览图像中的第一区域中的一个部分融合至拍摄图像中,得到质量较高的修正后的拍摄图像,该拍摄方法的计算量较小,并且可以得到质量较高的拍摄图像。

附图说明

[0018] 构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
[0019] 图1示出了根据本申请的拍摄方法的实施例的流程示意图;
[0020] 图2示出了根据本申请的拍摄装置的实施例的结构示意图;
[0021] 图3示出了本申请的一个实施例中的多个预览图像;
[0022] 图4示出了本申请的一个实施例中的拍摄图像;以及
[0023] 图5示出了将图3中的一个预览图像的第一区域融合至图4中的拍摄图像的第一区域后形成的图像。

具体实施方式

[0024] 需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0025] 为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
[0026] 需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0027] 正如背景技术中所说,现有技术中的防抖动的方法难以采用计算量较少的方法修正拍摄图像的问题。
[0028] 根据本申请的第一实施例,提供了一种拍摄方法。
[0029] 图1是根据本申请实施例的拍摄方法的流程图。如图1所示,该方法包括以下步骤:
[0030] 步骤S101,采用拍摄单元对拍摄对象进行拍摄,依次形成至少一个预览图像和一个拍摄图像,上述拍摄单元包括镜头组,上述镜头组包括至少一个镜头;
[0031] 步骤S102,检测上述镜头组在拍摄上述拍摄图像时的运动量,运动量可以为转动角度、角速度和/或加速度等;
[0032] 步骤S103,在检测到上述镜头组在拍摄上述拍摄图像时的运动量大于阈值的情况下,将一个上述预览图像中的第一区域中的至少一部分融合至上述拍摄图像的第一区域中的对应部分中,融合至上述拍摄图像的上述预览图像的部分与上述拍摄图像的对应部分为上述拍摄对象的同一部分。
[0033] 需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
[0034] 上述的拍摄方法中,在拍摄形成拍摄图像之前,形成至少一个预览图像,当检测到拍摄上述拍摄图像时的镜头组的运动量超过阈值时,则采用预览图像对拍摄图像进行修正,具体的修正过程为将一个上述预览图像中的第一区域中的至少一部分融合至上述拍摄图像的第一区域中的对应部分中,且融合至上述拍摄图像的上述预览图像的部分与上述拍摄图像的对应部分为上述拍摄对象的同一部分,例如,对于人物来说,通常用户比较关注的是脸部,那么,具体的融合过程中,可以选择预览图像中包括脸部的一个较小的区域为第一区域,并且将该区域中的脸部融合至拍摄图像中的脸部,形成修正后的拍摄图像。该拍摄方法可以只将预览图像中的第一区域中的一个部分融合至拍摄图像中,得到质量较高的修正后的拍摄图像,该拍摄方法的计算量较小,并且可以得到质量较高的拍摄图像。
[0035] 具体的拍摄过程中,由于一般镜头组抖动均为转动,所以,上述的运动量也可以设置为转动角度。
[0036] 上述的拍摄单元不仅包括镜头组,本申请的第二实施例中,拍摄单元还可以包括成像设备,比如各类CCD或者CMOS感光器件,镜头组接收入射光,成像设备用于对镜头组接收的入射光进行成像。
[0037] 为了进一步保证该拍摄方法中采用较少的计算量就可以质量较高的修正后的拍摄图像,本申请的第三实施例中,上述预览图像有多个,上述方法还包括检测上述镜头组在拍摄上述预览图像时的运动量,上述在检测到上述镜头组在拍摄上述拍摄图像时的运动量大于阈值的情况下,将一个上述预览图像中的至少一部分融合至上述拍摄图像的对应部分中包括:在多个上述预览图像中,选择上述镜头组在拍摄时上述运动量最小的上述预览图像作为融合图像;计算上述融合图像的第一区域中的至少一部分相对于上述拍摄图像的第一区域的对应部分的偏移量,其中,上述融合图像的第一区域的至少一部分和上述拍摄图像的第一区域的对应部分为上述拍摄对象的同一部分;根据上述偏移量将上述第一区域中的至少一部分融合至上述拍摄图像的第一区域的对应部分。
[0038] 上述的拍摄方法中,在选定融合图像之后,从其中的第一区域中选取至少一部分来计算其相对于拍摄图像中的该区块沿每个轴的偏移矢量,总称为偏移量。由于融合图像和拍摄图像中的第一区域中的图像特征一般相差不大,可以利用色彩分布特征(如色彩分布矩阵及其特征向量)以及具体的坐标信息来找到融合图像中第一区域中的一部分对应拍摄图像中第一区域的哪个部分。例如,从融合图像的第一区域中选取一个或多个具有特定的色彩分布、边缘、亮度分布或特征向量的部分,之后在拍摄图像中的第一区域中扫描寻找对应的部分。最后,可以从对应部分的移动或转动矢量估算出对应部分的相对运动,即得到偏移量,之后将该偏移量应用于融合图像第一区域中的部分中,并将应用后的融合图像的部分融合到拍摄图像之中。
[0039] 本申请的第四实施例中,在拍摄单元的拍摄过程中,预览图像的曝光时间可以小于用户拍摄时镜头组所自动选择的默认快门时间,以便提高拍摄图像的清晰程度,进一步提升了修正后的拍摄图像的质量。
[0040] 为了方便调用运动量和预览图像,本申请的第五实施例中,上述方法还包括:对上述运动量和上述预览图像进行实时缓存,且缓存时,预览图像时可以与当时的运动量,这样可以选择一幅与拍摄图像在时间上接近,且对应的运动量更小,图像MTF或对比度更佳的图像作为融合图像,可以进一步提升修正后的拍摄图像的质量。
[0041] 上述的融合图像中除上述第一区域以外的区域为第二区域,上述拍摄图像中除上述第一区域以外的区域为第二区域,本申请的第六实施例中,上述方法还包括:根据上述运动量对上述拍摄图像的第二区域进行补偿。一般来说,第一区域为用户感兴趣或者重视的中心区域,第二区域为图像的边缘区域,所以,相对来说,第二区域包含用户感兴趣对象的可能性很低,对模糊的容忍度也较高。因此,仅基于拍摄图像时所感测的运动量情况进行抖动的修正,即对第二区域补偿一个相反方向的运动量,这样相对于采用与对第一区域修正的方法相同的方法来修正第二区域的方法,该方法更加简单,计算量更小,处理效率更高。例如在出厂时拍摄标准标定板对镜头进行标定,对应于每个特定运动量或者范围,计算出相应的成像设备或者镜头组需要进行一个多大的相反运动补偿量才能将清晰度保持在可接受水平,之后根据该运动补偿量计算出对应的滤波或者插值等图像补偿过程的参数,将这些校正参数形成模板形式的拟合函数直接应用于用户拍摄图像中第二区域中所包含的像素。该模板优选与镜头的像差校正数据(如畸变、色差校正等)一起保存在存储器中并一起应用于第二区域,这可以进一步提高效率。
[0042] 当然,本申请的拍摄方法中,可以采用与对第一区域修正的方法相同的方法来修正拍摄图像的第二区域,该方法虽然复杂,但是对应得到的修正后的拍摄图像质量更高。
[0043] 为了使得该拍摄方法最后得到的修正后的拍摄图像的质量更高,本申请的第七实施例中,在根据上述运动量对上述拍摄图像的第二区域进行补偿之后,上述方法还包括:采用预定的像差校正数据对上述拍摄图像的至少上述第二区域进行校正,该校正过程为像差校正,像差校正数据可以是出厂时对镜头本身畸变、色差等按照焦距、光阑位置等等构建的固定数值,因为第二区域一般为边缘区域,且边缘区域受到像差的影响较大,所以,该方法中可以只对该区域进行校正,提高处理效率。当然,本申请中并不限于只对第二区域进行像差校正,还可以对第一区域进行像差校正。
[0044] 本申请的第八实施例中,上述方法还包括:对修正后的拍摄图像和像差校正数据进行存储,这样可以方便像差校正数据的调用,也可以方便用户对修正后的拍摄图像进行查看等。
[0045] 为了进一步减少该拍摄方法的计算量,本申请的第九实施例中,上述第二区域中的像素数小于上述第一区域中的像素数。这样需要融合的区域占画面总体的较小部分,如仅是画面中心部分或者检测到人像的一部分。
[0046] 本申请的第十实施例中,用于计算上述偏移量的上述第一区域中的部分为32*32、16*16或8*8的像素部分,且上述像素部分包括亮度信息和色调信息,这样像素部分为基于例如MPEG或JPG等图像标准中运动评价中像素部分的定义。
[0047] 本申请的第十一实施例中,上述拍摄单元包括第一拍摄模块和第二拍摄模块,两个拍摄模块分别包括一个镜头和一个成像设备,其中,两个拍摄模块的成像的某个或者某几个性能存在差异,上述采用拍摄单元对拍摄对象进行拍摄,依次形成至少一个预览图像和一个拍摄图像包括:采用第一拍摄模块依次拍摄得至少一个第一预览图像和一个第一拍摄图像,采用第二拍摄模块依次拍摄得至少一个第二预览图像和一个第二拍摄图像,其中,第一预览图像和第二预览图像一一对应,且对应的第一预览图像和第二预览图像分别为两个拍摄模块同时形成的,第一拍摄图像和第二拍摄图像分别为两个拍摄模块同时形成的;将第一预览图像和对应的第二预览图像融合得到预览图像;将第一拍摄图像和第二拍摄图像融合得到拍摄图像。这里的融合可以为部分融合,也可以为全部融合。
[0048] 本申请第十二实施例还提供了一种拍摄装置,需要说明的是,本申请实施例的拍摄装置可以用于执行本申请实施例所提供的拍摄方法。以下对本申请实施例提供的拍摄装置进行介绍。
[0049] 图2是根据本申请实施例的拍摄装置的示意图。如图2所示,该装置包括:
[0050] 拍摄单元10,包括镜头组和成像模块,其中,上述镜头组包括至少一个镜头,上述拍摄单元用于对拍摄对象进行拍摄,依次形成至少一个预览图像和一个拍摄图像;
[0051] 运动传感器20,用于检测上述镜头组在拍摄上述拍摄图像时的运动量;
[0052] 处理单元30,在检测到上述镜头组在拍摄上述拍摄图像时的运动量大于阈值的情况下,用于将一个上述预览图像中的第一区域中的至少一部分融合至上述拍摄图像的第一区域中的对应部分中,融合至上述拍摄图像的上述预览图像的部分与上述拍摄图像的对应部分为上述拍摄对象的同一部分。
[0053] 上述的拍摄装置中,拍摄单元在拍摄形成拍摄图像之前,形成至少一个预览图像,当检测到拍摄上述拍摄图像时的镜头组的运动量超过阈值时,则处理单元采用预览图像对拍摄图像进行修正,具体的修正过程为将一个上述预览图像中的第一区域中的至少一部分融合至上述拍摄图像的第一区域中的对应部分中,且融合至上述拍摄图像的上述预览图像的部分与上述拍摄图像的对应部分为上述拍摄对象的同一部分,例如,对于人物来说,通常用户比较关注的是脸部,那么,具体的融合过程中,可以选择预览图像中包括脸部的一个较小的区域为第一区域,并且将该区域中的脸部融合至拍摄图像中的脸部,形成修正后的拍摄图像。该拍摄装置可以只将预览图像中的第一区域中的一个部分融合至拍摄图像中,得到质量较高的修正后的拍摄图像,该拍摄装置的计算量较小,并且可以得到质量较高的拍摄图像。
[0054] 具体的一种实施例中,在用户开启镜头组进行拍摄时,首先在屏幕上显示预览图像,在用户通过预览图像判断需要进行拍照时按下拍照的虚拟或实体按钮生产一幅拍摄图像。可以根据此时运动传感器检测到的抖动以及当时的曝光条件来判断图像是否需要进行抖动校正,这可以通过判断运动量(如角速度,加速度等)是否超过了阈值来判断。在需要进行抖动校正时,从缓存的多幅预览图像中挑选一幅图像用在融合,缓存预览图像时可以与当时的运动量相对应,从而选择一幅与拍摄图像在时间上接近,而对应的运动量更小,图像MTF或对比度更佳的图像作为融合图像。预览图像以及拍摄图像可以用预先设定好的统一的空间划分方式进行划分,将图像的中心区域(如占图像1/4,1/9左右比例等)作为第一区域即感兴趣区域,其余的边缘部分定义为第二区域。此外也可以根据预览图像中人像检测等确定人物的大致区域后进行划分,如图3和图4所示,图3为多个预览图像100,将包括人脸的区域作为预览图像的第一区域102,将其余的区域作为预览图像的第二区域103,该图中的人脸称为第一人脸101;图4为拍摄图像200,也是将包括人脸的区域作为拍摄图的第一区域202,将其余的区域作为拍摄图的第二区域203,该图中的人脸称为第二人脸201,融合后的拍摄图像300为图5,由图4和图5对比可知,图4中虚线表示的不清楚的第二人脸201经过预览图像的第一人脸101修正后,变为图5实线表示的清晰的人脸,该人脸称为第三人脸301。
[0055] 具体的拍摄过程中,由于一般镜头组抖动均为转动,所以,上述的运动量也可以设置为转动角度。
[0056] 上述的拍摄单元不仅包括镜头组,本申请的第十三实施例中,拍摄单元还可以包括成像设备,比如各类CCD或者CMOS感光器件,镜头组接收入射光,成像设备用于对镜头组接收的入射光进行成像。
[0057] 为了进一步保证该拍摄装置中采用较少的计算量就可以质量较高的修正后的拍摄图像,本申请的第十四实施例中,上述预览图像有多个,上述运动传感器还检测上述镜头组在拍摄上述预览图像时的运动量,上述处理单元包括选择模块、计算模块和融合模块,选择模块用于在多个上述预览图像中,选择上述镜头组在拍摄时的上述运动量最小的上述预览图像作为融合图像;计算模块用于计算上述融合图像的第一区域中的至少一部分相对于上述拍摄图像的第一区域的对应部分的偏移量,其中,上述融合图像的第一区域的至少一部分和上述拍摄图像的第一区域的对应部分为上述拍摄对象的同一部分;融合模块用于根据上述偏移量将上述第一区域中的至少一部分融合至上述拍摄图像的第一区域的对应部分。
[0058] 为了简化拍摄装置,本申请的第十五实施例中,上述运动传感器包括加速度计和陀螺仪。当然,本申请的运动传感器可以为任何能检测抖动程度且可以返回位置信息的传感器,例如,方向传感器、磁力传感器、接近传感器或重力传感器等设备。
[0059] 为了方便调用运动量和预览图像,本申请的第十六实施例中,上述装置还包括缓存单元,缓存单元用于对上述运动量和上述预览图像进行缓存,且缓存单元且缓存时,预览图像时可以与当时的运动量,这样可以选择一幅与拍摄图像在时间上接近,且对应的运动量更小,图像MTF或对比度更佳的图像作为融合图像,可以进一步提升修正后的拍摄图像的质量。
[0060] 本申请的第十七实施例中,在拍摄单元的拍摄过程中,预览图像的曝光时间可以小于用户拍摄时镜头组所自动选择的默认快门时间,以便提高拍摄图像的清晰程度,进一步提升了修正后的拍摄图像的质量。
[0061] 上述的融合图像中除上述第一区域以外的区域为第二区域,上述拍摄图像中除上述第一区域以外的区域为第二区域,本申请的第十八实施例中,上述装置还包括补偿单元,该补偿单元用于根据上述运动量对上述拍摄图像的第二区域进行补偿。一般来说,第一区域为用户感兴趣或者重视的中心区域,第二区域为图像的边缘区域,所以,相对来说,第二区域包含用户感兴趣对象的可能性很低,对模糊的容忍度也较高。因此,仅基于拍摄图像时所感测的运动量情况进行抖动的修正,即对第二区域补偿一个相反方向的运动量,这样相对于采用与对第一区域修正的装置相同的装置来修正第二区域的装置,该装置更加简单,计算量更小,处理效率更高。例如在出厂时拍摄标准标定板对镜头进行标定,对应于每个特定运动量或者范围,计算出相应的成像设备或者镜头组需要进行一个多大的相反运动补偿量才能将清晰度保持在可接受水平,之后根据该运动补偿量计算出对应的滤波或者插值等图像补偿过程的参数,将这些校正参数形成模板形式的拟合函数直接应用于用户拍摄图像中第二区域中所包含的像素。该模板优选与镜头的像差校正数据(如畸变、色差校正等)一起保存在存储器中并一起应用于第二区域,这可以进一步提高效率。
[0062] 当然,本申请的拍摄装置中,可以采用处理单元来修正拍摄图像的第二区域,使得对应得到的修正后的拍摄图像质量更高。
[0063] 为了使得该拍摄装置最后得到的修正后的拍摄图像的质量更高,本申请的第十九实施例中,在根据上述运动量对上述拍摄图像的第二区域进行补偿之后,上述装置还包括像差校正单元,像差校正单元采用预定的像差校正数据对上述拍摄图像的至少上述第二区域进行校正,像差校正数据可以是出厂时对镜头本身畸变、色差等按照焦距、光阑位置等等构建的固定数值,因为第二区域一般为边缘区域,且边缘区域受到像差的影响较大,所以,该装置中可以只对该区域进行校正,提高处理效率。当然,本申请中并不限于只对第二区域进行像差校正,还可以对第一区域进行像差校正。
[0064] 为了进一步减少该拍摄装置的计算量,本申请的第二十实施例中,上述第二区域中的像素数小于上述第一区域中的像素数。这样需要融合的区域占画面总体的较小部分,如仅是画面中心部分或者检测到人像的一部分。
[0065] 本申请的第二十一实施例中,用于计算上述偏移量的上述第一区域中的部分为32*32、16*16或8*8的像素部分,且上述像素部分包括亮度信息和色调信息,这样像素部分为基于例如MPEG或JPG等图像标准中运动评价中像素部分的定义。
[0066] 本申请的第二十二实施例中,上述装置还包括:对修正后的拍摄图像和像差校正数据进行存储,这样可以方便像差校正数据的调用,也可以方便用户对修正后的拍摄图像进行查看等。
[0067] 本申请的第二十三实施例中,上述拍摄单元包括第一拍摄模块、第二拍摄模块和融合模块,两个拍摄模块分别包括一个镜头和一个成像设备,其中,两个拍摄模块的成像的某个或者某几个性能存在差异,第一拍摄模块依次拍摄得至少一个第一预览图像和一个第一拍摄图像,第二拍摄模块依次拍摄得至少一个第二预览图像和一个第二拍摄图像,其中,第一预览图像和第二预览图像一一对应,且对应的第一预览图像和第二预览图像分别为两个拍摄模块同时形成的,第一拍摄图像和第二拍摄图像分别为两个拍摄模块同时形成的;融合模块将第一预览图像和对应的第二预览图像融合得到预览图像,融合模块将第一拍摄图像和第二拍摄图像融合得到拍摄图像。这里的融合可以为部分融合,也可以为全部融合。
[0068] 本申请的第二十四实施例中,提供了一种电子设备,该电子设备包括拍摄装置和显示装置等,具体地,该电子设备可以为移动终端装置,例如,手机或PAD等。
[0069] 上述拍摄装置包括处理器和存储器,上述处理单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
[0070] 处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来采用较少的计算量对拍摄图像进行修正。
[0071] 存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
[0072] 本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现上述拍摄方法。
[0073] 本发明实施例提供了一种处理器,上述处理器用于运行程序,其中,上述程序运行时执行上述拍摄方法。
[0074] 本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现至少以下步骤:
[0075] 在检测到上述镜头组在拍摄上述拍摄图像时的运动量大于阈值的情况下,将一个上述预览图像中的第一区域中的至少一部分融合至上述拍摄图像的第一区域中的对应部分中,融合至上述拍摄图像的上述预览图像的部分与上述拍摄图像的对应部分为上述拍摄对象的同一部分。
[0076] 本文中的设备可以是服务器、PC、PAD、手机等。
[0077] 本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有至少如下方法步骤的程序:
[0078] 在检测到上述镜头组在拍摄上述拍摄图像时的运动量大于阈值的情况下,将一个上述预览图像中的第一区域中的至少一部分融合至上述拍摄图像的第一区域中的对应部分中,融合至上述拍摄图像的上述预览图像的部分与上述拍摄图像的对应部分为上述拍摄对象的同一部分。
[0079] 本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0080] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0081] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0082] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0083] 在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
[0084] 存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
[0085] 计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
[0086] 还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0087] 本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0088] 从以上的描述中,可以看出,本申请上述的实施例实现了如下技术效果:
[0089] 1)、本申请的拍摄方法中,在拍摄形成拍摄图像之前,形成至少一个预览图像,当检测到拍摄上述拍摄图像时的镜头组的运动量超过阈值时,则采用预览图像对拍摄图像进行修正,具体的修正过程为将一个上述预览图像中的第一区域中的至少一部分融合至上述拍摄图像的第一区域中的对应部分中,且融合至上述拍摄图像的上述预览图像的部分与上述拍摄图像的对应部分为上述拍摄对象的同一部分,例如,对于人物来说,通常用户比较关注的是脸部,那么,具体的融合过程中,可以选择预览图像中包括脸部的一个较小的区域为第一区域,并且将该区域中的脸部融合至拍摄图像中的脸部,形成修正后的拍摄图像。该拍摄方法可以只将预览图像中的第一区域中的一个部分融合至拍摄图像中,得到质量较高的修正后的拍摄图像,该拍摄方法的计算量较小,并且可以得到质量较高的拍摄图像。
[0090] 2)、本申请的拍摄装置中,拍摄单元在拍摄形成拍摄图像之前,形成至少一个预览图像,当检测到拍摄上述拍摄图像时的镜头组的运动量超过阈值时,则处理单元采用预览图像对拍摄图像进行修正,具体的修正过程为将一个上述预览图像中的第一区域中的至少一部分融合至上述拍摄图像的第一区域中的对应部分中,且融合至上述拍摄图像的上述预览图像的部分与上述拍摄图像的对应部分为上述拍摄对象的同一部分,例如,对于人物来说,通常用户比较关注的是脸部,那么,具体的融合过程中,可以选择预览图像中包括脸部的一个较小的区域为第一区域,并且将该区域中的脸部融合至拍摄图像中的脸部,形成修正后的拍摄图像。该拍摄装置可以只将预览图像中的第一区域中的一个部分融合至拍摄图像中,得到质量较高的修正后的拍摄图像,该拍摄装置的计算量较小,并且可以得到质量较高的拍摄图像。
[0091] 以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。