本发明公开一种图像处理装置及其控制方法以及存储介质、摄像装置。图像处理装置包括：基于多个图像的对比度值计算各个区域的合成比率的计算单元，对合成比率执行调整的调整单元以及基于产生自所述调整的合成比率、通过对多个图像合成而生成合成图像的合成单元，其中调整单元使得在所述调整中图像的相邻区域的合成比率间的关系更为平滑，以及，其中，在所述调整中，具有第一对比度值的第一区域的调整程度高于具有第二对比度值的第二区域的调整程度，所述第二对比度值高于所述第一对比度值。
1.一种图像处理装置，包括：至少一个存储器，被配置为存储指令；以及至少一个处理器，与所述至少一个存储器通信，并被配置为执行指令，以便：基于多个图像的各个区域的对比度值，针对所述多个图像的各个区域，生成用于合成所述多个图像的合成比率，
对所述合成比率执行调整，以及，基于所述调整后的合成比率，通过对所述多个图像合成而生成合成图像，其中，对于所述多个图像的一部分中的至少一个图像，相邻区域的合成比率间的关系在所述调整之后变得更为平滑，以及其中，具有第一对比度值的第一区域的所述合成比率的调整程度高于具有第二对比度值的第二区域的所述合成比率的调整程度，所述第二对比度值高于所述第一对比度值。
2.根据权利要求1所述的图像处理装置，其中，在所述调整之后，所述合成比率扩展到被调整的区域的周围。
3.根据权利要求1所述的图像处理装置，其中，所述至少一个处理器进一步执行指令，基于预定的滤波器的参考范围对所述合成比率执行调整，并且，对所述第一区域的所述合成比率执行调整时的所述参考范围，大于对所述第二区域的所述合成比率执行调整时的所述参考范围。
4.根据权利要求1所述的图像处理装置，其中，所述多个图像中的各个图像的视角至少部分地重叠。
5.根据权利要求1所述的图像处理装置，其中，所述至少一个处理器进一步执行指令，以针对所述多个图像的各个对应位置处的区域，为对比度值中较高的对比度值设置较大的合成比率。
6.根据权利要求5所述的图像处理装置，其中，在对所述多个图像执行对齐以使各视角彼此一致之后，所述对应位置变为相同。
7.根据权利要求1所述的图像处理装置，其中，所述至少一个处理器进一步执行指令，以针对所述多个图像的各对应位置处的区域的合成比率执行标准化。
8.根据权利要求1所述的图像处理装置，其中，在所述调整之后，一个图像的相邻区域的合成比率的梯度变得更平滑。
9.根据权利要求1所述的图像处理装置，其中，所述至少一个处理器执行指令，以针对通过以下方式获得的值执行整合：通过将具有不同参考范围的多个滤波器中的各个应用于所述合成比率并进一步将预定整合比率应用于所述合成比率来获得所述值。
10.根据权利要求9所述的图像处理装置，其中，所述至少一个处理器执行指令，以基于所述滤波器的参考范围确定在应用滤波器后要应用于所述合成比率的所述整合比率，其中，应用所述滤波器的区域的对比度值越低且所述滤波器的参考范围越窄，则所述整合比率越低，以及，
其中，应用所述滤波器的区域的对比度值越低且所述滤波器的参考范围越宽，则所述整合比率越高。
11.根据权利要求1所述的图像处理装置，其中，所述多个图像具有不同的焦点位置。
12.根据权利要求1所述的图像处理装置，其中，所述合成图像中的景深比所述多个图像中的景深更深。
至少一个传感器，被配置为拍摄多个图像，至少一个存储器，被配置为存储指令；以及至少一个处理器，与所述至少一个存储器通信，并被配置为执行指令，以便：基于多个图像的各个区域的对比度值，针对所述多个图像的各个区域，生成用于合成所述多个图像的合成比率，
对所述合成比率执行调整，以及，基于所述调整后的合成比率，通过对所述多个图像合成而生成合成图像，其中，对于所述多个图像的一部分中的至少一个图像，相邻区域的合成比率间的关系在所述调整之后变得更为平滑，以及其中，具有第一对比度值的第一区域的所述合成比率的调整程度高于具有第二对比度值的第二区域的所述合成比率的调整程度，所述第二对比度值高于所述第一对比度值。
14.一种控制图像处理装置的控制方法，所述图像处理装置包括：至少一个存储器，被配置为存储指令；以及至少一个处理器，与所述至少一个存储器通信，并被配置为执行指令，以便：基于多个图像的各个区域的对比度值，针对所述多个图像的各个区域，生成用于合成所述多个图像的合成比率，
对所述合成比率执行调整，以及，基于所述调整后的合成比率，通过对所述多个图像合成而生成合成图像，其中，对于所述多个图像的一部分中的至少一个图像，相邻区域的合成比率间的关系在所述调整之后变得更为平滑，以及其中，具有第一对比度值的第一区域的所述合成比率的调整程度高于具有第二对比度值的第二区域的所述合成比率的调整程度，所述第二对比度值高于所述第一对比度值。
15.一种计算机可读存储介质，其存储促使计算机执行用于控制图像处理装置的方法的指令，所述图像处理装置包括：至少一个存储器，被配置为存储指令；以及至少一个处理器，与所述至少一个存储器通信，并被配置为执行指令，以便：基于多个图像的各个区域的对比度值，针对所述多个图像的各个区域，生成用于合成所述多个图像的合成比率，
对所述合成比率执行调整，以及，基于所述调整后的合成比率，通过对所述多个图像合成而生成合成图像，其中，对于所述多个图像的一部分中的至少一个图像，相邻区域的合成比率间的关系在所述调整之后变得更为平滑，以及其中，具有第一对比度值的第一区域的所述合成比率的调整程度高于具有第二对比度值的第二区域的所述合成比率的调整程度，所述第二对比度值高于所述第一对比度值。
图像处理装置及其控制方法以及存储介质、摄像装置
技术领域
[0001] 本发明涉及一种合成具有不同对焦位置的多个图像的图像处理装置、一种摄像装置、一种图像处理装置的控制方法及其计算机可读存储介质。
背景技术
[0002] 在针对彼此间距离大不相同的多个被摄体执行摄像的情况下，或是在对深度方向上长的被摄体执行摄像的情况下，由于景深不足，可能会仅有一部分被摄体被聚焦。为了解
决该问题，日本特开2015‑216532号公报讨论了深度合成技术。在该技术中，拍摄具有不同
对焦位置的多个图像，并仅从各图像中提取对焦区域且将其合成为一个图像，从而生成整
个摄像区域中均实现对焦的合成图像。
[0003] 然而，当使用上述深度合成方法时，存在由于被摄体的边界上的合成比率不一致而使得合成边界变得明显从而在合成图像中出现缺陷的情况。同时，期望通过模糊整个合
成图像来解决上述问题，但是如果存在希望表现细节的部分，则该部分的细节可能会丢失。
发明内容
[0004] 本发明涉及一种图像处理装置，其能够在使用具有不同对焦位置的多个图像合成的图像中实现被摄体的细节与相邻像素之间的合成比率的平滑变化之间的平衡。
[0005] 根据本发明的一个方面，一种图像处理装置，包括：至少一个存储器，被配置为存储指令；以及至少一个处理器，与所述至少一个存储器通信，并被配置为执行指令，以便：针
对多个图像的各个区域，基于所述区域的对比度值，生成用于合成所述多个图像的合成比
率；对所述合成比率执行调整；以及，基于所述调整后的合成比率，通过对所述多个图像合
成而生成合成图像。对于所述多个图像的一部分中的至少一个图像，相邻区域的合成比率
间的关系在所述调整之后变得更为平滑。具有第一对比度值的第一区域的调整程度高于具
有第二对比度值的第二区域的调整程度，所述第二对比度值高于所述第一对比度值。
[0006] 根据本发明的配置，可以提供一种图像处理装置，其在使用具有不同对焦位置的多个摄像图像而合成的图像中，在保持被摄体细节的同时实现相邻像素之间的合成比率的
平滑变化。
[0007] 根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。
附图说明
[0008] 图1是示出根据本发明示例性实施例的数字照相机的结构的框图。
[0009] 图2是示出了在本发明的示例性实施例中的合成图像的生成的流程图。
[0010] 图3是示出了本发明示例性实施例中的摄像的流程图。
[0011] 图4是示出了本发明示例性实施例中的对齐的流程图。
[0012] 图5是示出了本发明示例性实施例中的图像构成的流程图。
[0013] 图6是示出了本发明示例性实施例中的合成图的生成的流程图。
[0014] 图7是示出了在本发明的示例性实施例中的合成比率的整合的框图。
[0015] 图8是示出在本发明的示例性实施例中的整合比率α与对比度值C(x，y)之间的关系的示例的图。
具体实施方式
[0016] 下面将参考附图详细描述本发明的示例性实施例。
[0017] 图1是示出根据本发明示例性实施例用作图像处理装置的数字照相机的结构的框图。数字照相机100可以拍摄静止图像，并记录指示对焦位置的信息。数字照相机100还可以
执行对比度值的计算和图像合成。此外，数字照相机100可以对摄像时存储的图像或从外部
输入的图像执行放大处理或缩小处理。
[0018] 控制单元101是例如中央处理单元(CPU)或微处理单元(MPU)等信号处理器。控制单元101在读出预先存储在下面将描述的只读存储器(ROM)105中的程序的同时控制数字照
相机100的各个部分。例如，如下文所述，控制单元101向下文所述的摄像单元104发出各个
摄像开始和结束的命令。或者，控制单元101基于存储在ROM 105中的程序向下文描述的图
像处理单元107发出用于图像处理的命令。用户提供的命令通过下文所述的操作单元110输
入到数字照相机100中，并经由控制单元101到达数字照相机100的各个部分。
[0019] 驱动单元102包括马达，并基于控制单元101的命令机械地操作下文将描述的光学系统103。例如，驱动单元102基于控制单元101的命令、通过移动包括在光学系统103中的聚
焦透镜来调整光学系统103的焦距。
[0020] 光学系统103包括变焦透镜、聚焦透镜和虹膜光圈。虹膜光圈是一种用于调节通过其中的光量的机构。可以通过改变透镜位置来改变对焦位置。
[0021] 摄像单元104是光电转换元件，将入射光信号光电转换为电信号。例如，诸如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器的传感器可应用于摄像单元
104。摄像单元104具有运动摄像模式，可以拍摄多个暂时连续的图像中的每一个，作为运动
图像的每个帧。
[0022] ROM 105是用作存储介质的非易失性只读存储器。除了用于包括在数字照相机100中的各个块的操作的程序之外，ROM 105还存储各个块的操作所需的参数。随机存取存储器
(RAM)106是可重写易失性存储器。RAM 106用作包括在数字照相机100中的各个块的操作中
的数据输出的临时存储区域。
[0023] 图像处理单元107对从摄像单元104输出的图像或记录在下文所述的内部存储器109中的图像信号的数据执行包括白平衡调整、颜色插值和滤波的各种图像处理。另外，图
像处理单元107以诸如联合图像专家组(JPEG)的标准对摄像单元104拍摄的图像信号的数
据执行压缩处理。
[0024] 图像处理单元107包括集成了各个执行特定处理的电路的集成电路(专用集成电路(ASIC))。或者，控制单元101可以通过从ROM 105读取程序并基于该程序执行处理来执行
图像处理单元107的一些或全部功能。在控制单元101执行图像处理单元107的全部功能的
情况下，不必将图像处理单元107配置为硬件。
[0025] 显示单元108是用于显示临时存储在RAM 106中的图像、存储在下文将描述的内部存储器109中的图像或是数字照相机100的设置画面的液晶显示器或有机电致发光(EL)显
示器。
[0026] 内部存储器109是用于记录摄像单元104拍摄的图像、图像处理单元107处理的图像以及诸如指示摄像中的对焦位置的信息等信息的区域。可以使用诸如存储卡等另一种类
型的设备来代替内部存储器。
[0027] 操作单元110是例如配设在数字照相机100中的按钮、开关、键和模式转盘，或是由显示单元108兼作的触摸面板。用户提供的命令经由操作单元110到达控制单元101。
[0028] 图2是示出本示例性实施例中的合成图像的生成的流程图。在步骤S201中，摄像单元104拍摄具有不同对焦位置的多个图像。在步骤S202中，控制单元101对齐在步骤S201中
由摄像单元104拍摄的多个图像，使得视角彼此一致。在步骤S203中，图像处理单元107通过
执行已对齐图像的合成来生成合成图像。下面将详细描述这些步骤中的各个步骤。
[0029] 图3是示出本示例性实施例中的步骤S201中的摄像的流程图。
[0030] 在步骤S301中，控制单元101设置焦点位置。例如，用户经由显示单元108兼作的触摸面板指定对焦位置，并沿与对焦位置对应的焦点位置的光轴方向以规律间隔指定多个焦
点位置。同时，控制单元101针对设定的焦点位置以距离顺序确定摄像序列。
[0031] 在步骤S302中，摄像单元104在步骤S301中设置的焦点位置中未用于摄像的焦点位置中的位于摄像序列的首个焦点位置处拍摄图像。
[0032] 在步骤S303中，控制单元101确定是否已对步骤S301中设置的所有焦点位置执行了摄像。在已经对所有焦点位置执行了摄像的情况下(步骤S303中的“是”)，结束图3所示的
流程图中的处理。在存在未用于摄像的焦点位置的情况下(步骤S303中的“否”)，处理返回
到步骤S302。
[0033] 使用诸如包括多个光学系统103和多个摄像单元104的多镜头相机等照相机，可以使上述摄像方法执行次数更少。
[0034] 图4是示出本示例性实施例中的步骤S202中的对齐的流程图。
[0035] 在步骤S401中，控制单元101从步骤S201中由摄像单元104拍摄的图像中获取用于对齐的基准图像。用于对齐的基准图像是摄像序列中的首个图像。或者，用于对齐的基准图
像可以是拍摄图像中具有最窄视角的图像，因为在改变焦点位置的同时执行摄像导致所拍
摄图像之间的视角的轻微变化。
[0036] 在步骤S402中，控制单元101获取用于对齐处理的目标图像。目标图像是除了步骤S401中获取的基准图像之外的任何图像，并且该图像未经过对齐处理。如果基准图像是摄
像序列中的首个图像，则控制单元101可以按摄像序列顺次获取目标图像。
[0037] 在步骤S403中，控制单元101计算基准图像和目标图像之间的位置偏移量。下面将描述用于该计算的方法的示例。首先，控制单元101在基准图像中设置多个块。优选地，控制
单元101设置多个块，使得各个块的大小相等。接下来，控制单元101在与基准图像中的每个
块的位置相同的位置处设置目标图像的范围，以作为搜索范围。所设置范围比基准图像中
的块宽。控制单元101在每个目标图像的搜索范围中计算相对于基准图像中的块、亮度的绝
对误差和(SAD，sum of absolute difference)变为最小的对应点。控制单元101基于基准
图像中的块的中心和上述对应点，计算步骤S403中的位置偏移作为矢量。除了SAD之外，控
制单元101还可以在计算上述对应点时使用方差和(SSD，sum of squared differences)和
标准化互相关(NCC，normalized cross correlation)。
[0038] 在步骤S404中，控制单元101基于基准图像和目标图像之间的位置偏移量来计算变换系数。控制单元101使用例如投影变换系数作为变换系数。然而，变换系数并不限于投
影变换系数。可以使用仅基于水平和垂直移位的仿射变换系数或简化变换系数。
[0039] 在步骤S405中，图像处理单元107使用步骤S404中计算的变换系数对目标图像执行变换。
[0040] 例如，控制单元101可以使用以下表达式(1)来执行变换。
[0041]
[0042] 在表达式(1)中，(x'，y')表示变换后的坐标，(x，y)表示变换前的坐标。矩阵A表示在步骤S404中由控制单元101计算的变换系数。
[0043] 在步骤S406中，控制单元101确定是否已经对除了基准图像之外的所有图像执行了对齐。在已经对除了基准图像之外的所有图像执行了对齐的情况下(步骤S406中的
“是”)，该流程图中的处理结束。在存在未处理图像的情况下(步骤S406中的“否”)，处理返
回到步骤S402。
[0044] 图5是示出本示例性实施例中的步骤S203中的图像合成的流程图。
[0045] 在步骤S501中，图像处理单元107针对对齐后的各个图像(包括基准图像)计算对比度值。例如，通过以下方法计算对比度值。首先，图像处理单元107基于各个像素的颜色信
号Sr、Sg和Sb，利用以下表达式(2)计算亮度Y。
[0046] Y＝0.299Sr+0.587Sg+0.114Sb (2)
[0047] 接下来，在包括关注像素的3×3像素范围中的亮度Y的矩阵L中，如以下表达式(3)至(5)中所示，图像处理单元107使用Sobel滤波器计算关注像素中的对比度值I。
[0048]
[0049]
[0050]
[0051] 上述用于计算对比度值的方法仅是示例。例如，可以使用诸如拉普拉斯滤波器的边缘检测滤波器或用于通过预定带宽的带通滤波器来用于滤波器。
[0052] 在步骤S502中，图像处理单元107生成合成图。图像处理单元107通过比较对齐之后的各图像中的相同位置处的像素的对比度值来计算合成比率。
[0053] 例如，图像处理单元107对相同位置的像素中具有最高对比度值的像素应用100％的合成比率。
[0054] 可以使用以下表达式(6)计算位于M个图像中的第m个图像中的坐标(x，y)处的像素的合成比率。
[0055]
[0056] 在步骤S503中，图像处理单元107校正步骤S502中计算的合成图。
[0057] 图6是示出步骤S503中的合成图的校正的流程图。
[0058] 在步骤S601中，图像处理单元107对与步骤S502中计算的各个像素相对应的合成比率执行滤波处理。滤波器的类型包括针对由抽头(tap)数定义的参考范围内的合成比率
输出最大值的MAX滤波器或平均值滤波器。另外，在步骤S601中，图像处理单元107通过将抽
头数量不同的滤波器分别应用于合成比率，来获取各自具有平滑的合成比率的多条数据。
这里，为了便于描述，应用两种类型的滤波器，即，平滑度不同的滤波器N[0]和N[1]，但滤波
器的数量不限于两个。滤波器N[0]的抽头数小于滤波器N[1]的抽头数。换句话说，滤波器N
[0]的参考范围小于滤波器N[1]的参考范围。滤波器N[0]可以是直通输出类型(输入和输出
是相同的信号)。因为图像处理单元107应用滤波器，因此步骤S502中计算的合成比率可以
扩展到周围。在像素之间的合成比率发生急剧变化的情况下，图像处理单元107对滤波器的
应用可以平滑像素之间的合成比率的变化。
[0059] 在步骤S602中，图像处理单元107对步骤S601中应用多个滤波器之后的合成比率进行整合。
[0060] 图7是示出本示例性实施例中的合成比率的整合的框图。图像处理单元107将滤波器N[0]和滤波器N[1]中的各个应用于合成比率Am(x，y)。然后，图像处理单元107基于对比
度值对应用这两种滤波器之后的合成比率进行整合。在整合中，在对比度值较高的区域中，
应用具有小数量抽头的滤波器之后的合成比率的整合比率较高，并且在对比度值较低的区
域中，应用具有大数量抽头的滤波器之后的合成比率的整合比率较高。滤波器的抽头数越
大，应用滤波器后的画面越模糊。因此，在对比度值较高的区域中，应用具有小数量抽头的
滤波器之后的合成比率的整合比率较高，从而可以保持对比度值较高的区域中的细节。相
反，在对比度值较低的区域中，应用具有大数量抽头的滤波器之后的合成比率的整合比率
较高，从而可以期待在对比度值较低的区域中抑制合成后的缺陷。
[0061] 表格1表示这里的整合比率、各个区域对比度值及抽头数之间的关系。
[0062] 表格1
[0063]整合比率 抽头数量：小 抽头数量：大
对比度值：低 低 高
对比度值：高 高 低
[0064] 例如，在应用滤波器N[0]之后的合成比率是合成比率Am0(x，y)而在应用滤波器N[1]之后的合成比率是合成比率Am1(x，y)的情况下，可以通过以下表达式(7)计算校正的合
成比率Bm(x，y)。
[0065] Bm(x，y)＝(1‑α)×Am0(x，y)+α×Am1(x，y) (7)
[0066] 表达式(7)中使用的比率α是整合比率，可以根据对比度值C(x，y)来计算。对于这里的对比度值C(x，y)，可以使用多个图像的坐标(x，y)的对比度值的最大值、附加值和加权
平均值中的任何一个。
[0067] 图8是示出本示例性实施例中的整合比率α与对比度值C(x，y)之间的关系的示例的曲线图。
[0068] 在步骤S603中，控制单元101确定是否处理了所有图像。在存在未处理图像的情况下(步骤S603中的“否”)，处理返回到步骤S601，在该步骤中，图像处理单元107对未处理图
像执行滤波处理。
[0069] 最后，处理进入步骤S604。在步骤S604中，图像处理单元107再计算合成比率。这里，图像处理单元107对校正后的合成比率Bm(x，y)进行标准化，从而计算最终用于生成合
成图像的合成比率Bm'(x，y)。具体地，图像处理单元107基于以下表达式(8)执行计算。
[0070]
[0071] 在表达式(8)中，M表示图像的数量，(x，y)表示坐标。基于表达式(8)执行标准化，从而确定1为对齐之后相同坐标的合成比率Bm'(x，y)的总和。
[0072] 在步骤S504中，图像处理单元107基于以下表达式(9)生成合成图像。
[0073]
[0074] 在表达式(9)中，Ik(x，y)表示第k个图像的坐标(x，y)的像素值，并且O(x，y)表示合成图像的坐标(x，y)的像素值。
[0075] 根据本示例性实施例，当生成深度合成图像时，可以在保持图像细节的同时减少合成图像的缺陷。
[0076] 以上描述了基于个人使用的数字照相机的示例性实施例。然而，本示例性实施例可应用于诸如便携式机器、智能手机和连接到服务器的网络照相机等其他类型的装置，只
要该装置配备有深度合成功能即可。或者，上述处理的一部分可以由诸如便携式机器、智能
手机或连接到服务器的网络照相机等装置执行。
[0077] 根据本示例性实施例的配置，可以提供一种图像处理装置，其在具有不同对焦位置的多个拍摄图像的合成图像中，在保持被摄体的细节的同时，使相邻像素之间的合成比
率的变化平滑。
[0078] 其他实施例
[0079] 本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中
央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
[0080] 虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例
以及等同的结构及功能。
