图像处理装置、信号处理方法以及程序

摘要

提供一种使得能够有效移除闪烁的装置和方法。在具有亮度变化的照明环境(例如荧光灯)下，有效地移除或减少用X-Y地址扫描类型成像设备(例如CMOS)拍摄的图像中产生的闪烁。计算要被移除闪烁的待校正的图像的逐行信号强度的积分值，该积分值用于检测图像帧的各行中包含的闪烁分量。检测到的闪烁分量表示根据照明的实际闪烁波形的数据，使用由闪烁分量的反相图案形成的闪烁校正系数执行校正处理。通过该处理，可以进行有效的闪烁移除。

权利要求

1.一种图像处理装置，包括：

积分处理部，其接收用X-Y地址扫描类型成像设备拍摄的图像数据，并且计算每行信号强度的积分值；

闪烁分量计算部，其通过使用所述逐行信号强度的积分值来检测图像帧的各行中包含的闪烁分量；

闪烁校正系数计算部，其计算由所述闪烁分量计算部计算出的所述闪烁分量的反相图案形成的闪烁校正系数；以及校正部，其使用由所述闪烁校正系数计算部计算出的所述闪烁校正系数来执行校正处理。

2.根据权利要求1所述的图像处理装置，其中，所述闪烁分量计算部通过在以下项之间进行比较来执行对闪烁分量要被检测的图像帧的各行中包含的闪烁分量进行检测的处理：闪烁分量要被检测的图像帧的逐行信号强度的积分值；以及表示通过对基准帧中的对应像素的信号值进行求和获得的积分帧的逐行信号强度的多帧积分信号强度，所述基准帧被定义为其中产生相同相位的闪烁的帧周期的一个单位周期中包括的多个图像帧。

3.根据权利要求2所述的图像处理装置，其中：

所述图像处理装置还包括静止帧检测部，所述静止帧检测部从连续图像帧之中检测没有对象运动的静止帧；以及所述闪烁分量计算部从由所述静止帧检测部检测到的静止帧之中选择所述基准帧。

4.根据权利要求1至3中任一项所述的图像处理装置，其中，所述闪烁校正系数计算部从相位偏移量计算部接收闪烁要被校正的图像帧的闪烁相位信息，并且计算与根据所述闪烁相位信息进行相位调整的图像帧相对应的闪烁校正系数。

5.根据权利要求1至4中任一项所述的图像处理装置，其中：所述图像处理装置还包括闪烁分量合成部，通过从由所述闪烁分量计算部计算出的每一帧的闪烁分量中仅选择高可靠性的闪烁分量并且合成多个帧中的闪烁分量来生成合成闪烁分量；以及所述闪烁校正系数计算部计算由所述合成闪烁分量的反相图案形成的闪烁校正系数。

6.根据权利要求5所述的图像处理装置，其中，所述闪烁分量合成部执行如下处理：基于图像帧的亮度信息确定每一帧的闪烁分量的可靠性，并且仅选择与具有等于或大于预先指定的亮度阈值的亮度的像素对应的闪烁分量，作为高可靠性的闪烁分量。

7.根据权利要求1至6中任一项所述的图像处理装置，其中：所述积分处理部针对各个颜色信号(颜色通道)中的每一个计算逐行信号强度的积分值；

所述闪烁分量计算部针对所述各个颜色信号中的每一个检测所述闪烁分量；

所述闪烁校正系数计算部针对各个颜色信号中的每一个计算所述闪烁校正系数；以及所述校正部使用由所述闪烁校正系数计算部计算出的针对各个颜色信号中的每一个的所述闪烁校正系数来执行所述校正处理。

8.根据权利要求1至7中任一项所述的图像处理装置，其中：所述图像处理装置还包括闪烁场景判断部，其判断输入图像是否是在产生闪烁的照明环境下拍摄的；以及在所述闪烁场景判断部中，如果所述图像是在产生闪烁的照明环境下拍摄的，则通过计算所述闪烁校正系数来执行所述校正处理。

9.根据权利要求1至8中任一项所述的图像处理装置，其中，所述图像处理装置使用用于具有相同曝光时间的每一组连续拍摄图像的闪烁校正系数来执行校正处理，作为在通过合成具有不同曝光时间的多个图像生成宽动态范围图像之前的处理。

10.根据权利要求1至9中任一项所述的图像处理装置，其中，所述X-Y地址扫描类型成像设备是互补金属氧化物半导体成像设备。

11.一种成像装置，包括：

成像部；以及

信号处理部，其执行根据权利要求1至10中任一项所述的图像处理。

12.一种在图像处理装置中执行的信号处理方法，包括：积分处理步骤：积分处理部接收用X-Y地址扫描类型成像设备拍摄的图像数据，并且计算逐行信号强度的积分值；

闪烁分量计算步骤：闪烁分量计算部通过使用所述逐行信号强度的积分值来检测图像帧的各行中包含的闪烁分量；

闪烁校正系数计算步骤：闪烁校正系数计算部计算由在所述闪烁分量计算步骤中计算出的所述闪烁分量的反相图案形成的闪烁校正系数；以及校正步骤：校正部使用在所述闪烁校正系数计算步骤中计算出的所述闪烁校正系数来执行校正处理。

13.一种用于使得在图像处理装置中执行信号处理的程序，包括：积分处理步骤：使积分处理部接收用X-Y地址扫描类型成像设备拍摄的图像数据，并且计算逐行信号强度的积分值；

闪烁分量计算步骤：使闪烁分量计算部通过使用所述逐行信号强度的积分值来检测图像帧的各行中包含的闪烁分量；

闪烁校正系数计算步骤：使闪烁校正系数计算部计算由在所述闪烁分量计算步骤中计算出的所述闪烁分量的反相图案形成的闪烁校正系数；以及校正步骤：使校正部使用在所述闪烁校正系数计算步骤中计算出的所述闪烁校正系数来执行校正处理。

说明书

图像处理装置、信号处理方法以及程序

技术领域

[0001] 本发明涉及一种图像处理装置、信号处理方法以及程序。更具体地说，本发明涉及一种生成抑制了用相机拍摄的图像中产生的闪烁的图像的图像处理装置、信号处理方法和程序。

背景技术

[0002] 当在荧光灯的照明下用包括地址扫描类型成像设备(例如互补金属氧化物半导体(CMOS)成像设备)的相机拍摄图像时，在图片信号中产生条带形式的亮度不均匀性或颜色不均匀性。这种现象被称为闪烁。这源于连接到商用(AC)电源的荧光灯基本上以电源频率两倍的周期重复闪烁的事实，以及成像设备的工作原理。

[0003] 参照图1，描述如何在用CMOS图像传感器拍摄的图像中产生闪烁的原理。图1示出以下多个数据。

[0004] (a)荧光灯的亮度变化

[0005] (b)CMOS图像传感器的成像(曝光)顺序的示意图

[0006] (c)CMOS图像的读出时间

[0007] (d)输出图像的概念性说明

[0008] 在图1中，时间(t)从左到右逝去。

[0009] 假设荧光灯正在50Hz商用电源区域中操作。在此情况下，荧光灯以100Hz(电源频率(50Hz)的两倍)的频率重复闪烁。(a)中示出的精确曲线指示荧光灯的亮度变化。以100Hz(即以1/100秒的周期为单位)产生亮度变化。

[0010] 在这种照明环境下，用具有卷帘快门(rolling shutter)的CMOS图像传感器以每秒60帧的帧速率拍摄图像。随着时间的逝去在每一拍摄的帧中从顶行朝向底行依次执行曝光处理。

[0011] 在(b)所示的CMOS图像传感器的成像的示意图中，虚对角线是指示图像传感器的重置时机的线，实对角线是指示读出时机的线。在虚线指示的重置之后开始曝光，并且直到实线指示的读出时机的时段是曝光时间。通过卷帘快门从在帧的顶部的扫描线朝向在底部的扫描线执行曝光。

[0012] 由两条相邻实对角线定界的区域指示图像传感器的一个帧。在每一虚线和实线夹住的曝光时间内，产生与照明的亮度变化对应的亮度变化。也就是说，因为曝光时机对于构成图像帧的行中的每一个不同(这是由于具有亮度变化的光源的影响)，所以产生水平条带形式的不均匀性或所谓的闪烁，如图1中的(d)输出图像表示的那样。

[0013] 图1中的(d)输出图像指示四个连续拍摄的图像，帧#1至帧#4，它们是构成以每秒60帧(60fps)的帧速率拍摄的运动图像的图像帧#1至#4。

[0014] 帧#3中示出顶部p、中部q和底部r。其被示出以用于显示地指示与(b)所示的CMOS图像传感器的成像的示意图中的曝光时机p、q和r对应的位置。

[0015] 帧#3的顶部是在荧光灯的亮度为亮期间经受曝光的行部分。

[0016] 帧#3的中部q是在荧光灯的亮度为从暗时段改变为亮时段期间经受曝光的行部分。

[0017] 帧#3的底部r是在荧光灯的亮度为暗期间经受曝光的行部分。

[0018] 因为如上所述荧光灯亮度在每一行(Row)的曝光时段中不一致，所以产生基于亮度不均匀性或颜色不均匀性的条带图案。

[0019] 应该注意，典型成像设备具有这样的配置：例如，针对构成成像设备的像素中的每一个，有选择地输入光的RGB频率中的一个。例如，作为这种RGB布置，拜耳(Bayer)布置是已知的。例如，当用具有Bayer布置等的彩色图像传感器执行成像时，由于荧光灯的荧光体的衰变特性，闪烁的影响程度对于每一颜色信号(颜色通道)不同，以及由于幅度和相位方面的差别，产生颜色不均匀性。

[0020] 例如专利文献1(日本待审专利申请No.2007-174537)是公开用于防止或抑制这种闪烁的相关技术。专利文献1(日本待审专利申请公开No.2007-174537)公开了一种处理，其通过设置电子快门等控制成像设备的曝光时间，由此调整单个拍摄图像的每一行的曝光时间，以减少行之间的亮度差。然而，该技术存在的问题是对成像设备的曝光时间施加约束，使得无法根据拍摄环境以任意方式设置电子快门，导致拍摄的自由程度的降低。

[0021] 此外，为了避免上述问题，专利文献2(日本待审专利申请公开No.2005-347939)提出了一种配置，其对通过拍摄处理获得的图像信号执行校正处理，以由此抑制图片信号内荧光灯闪烁的影响。

[0022] 在该专利文献2(日本待审专利申请公开No.2005-347939)中，通过正弦波对荧光灯的光照波形(闪烁波形)进行近似建模，然后根据该近似模型通过改变对用相机拍摄的图像信号进行校正处理时使用的校正增益来执行校正处理。通过该校正处理，根据荧光灯的光照波形(闪烁波形)来校正图像信号，由此实现抑制拍摄的图像中的行之间的亮度差的配置。

[0023] 然而，作为专利文献2中使用的近似模型，荧光灯的实际亮度变化不一定匹配正弦波。图2是正弦近似模型与荧光灯的实际亮度变化的示例之间的比较图。例如，在波动出现在商用电源中的这种条件下，如图2所示，荧光灯的实际光照波形(实线)与模型波形(虚线)表现不同的亮度变化。

[0024] 典型荧光灯的亮度变化与正弦近似模型不一致。在很多情况下，产生如图2所示的实线表示的复杂亮度变化。

[0025] 上述专利文献2中的处理不考虑正弦近似模型与现实之间的这种差异，因此存在的问题在于，甚至在执行使用模型波形的闪烁校正处理时，基于荧光灯的真实亮度变化的闪烁的影响仍留在作为校正处理的结果获得的图像中。

[0026] 随着曝光时间变得更短，基于荧光灯的真实亮度变化的闪烁的影响变得更明显。随着曝光变得更短，图1(b)所示的实对角线与虚对角线之间的间隔变得更小，结果是基于荧光灯的实际亮度变化的闪烁的影响变得更强。

[0027] 图3和图4示出由于成像设备(图像传感器)的曝光时间的差别而导致的闪烁波形的变化。在此应注意，闪烁波形是指示出现在拍摄的图像中的每一行的亮度不均匀性的波形。

[0028] 图3和图4示出当用具有卷帘快门(roller shutter)的CMOS图像传感器以60帧/秒(60fps)拍摄时图片信号内的闪烁的波形。示出作为四个连续帧的帧#1至#4的闪烁波形。

[0029] 在每一图中，水平读数表示图像传感器中的行号，垂直轴表示每一行的归一化亮度(闪烁亮度)。应注意，归一化亮度表示逐行比较在排除对象的亮度的影响的同时生成的相对亮度的信息。

[0030] 图3示出当图像传感器的曝光时间长(1/60[秒])时的情况下帧#1至#4的闪烁波形。

[0031] 图4示出当图像传感器的曝光时间短(1/500[秒])时的情况下帧#1至#4的闪烁波形。

[0032] 在图3所示的长曝光时间(1/60[秒])的情况下，图像帧#1至#4中的每一个中出现的闪烁波形呈现温和曲线。这是接近作为以上参照图2描述的模型波形的正弦波的线。

[0033] 另一方面，在图4所示的短曝光时间(1/500[秒])的情况下，与接近图3所示的正弦波的曲线不同，图像帧#1至#4中的每一个中出现的闪烁波形是接近以上参照图2描述的实际波形的线。

[0034] 以此方式，随着CMOS图像传感器的曝光时间变得更短，图片信号中出现的由于荧光灯闪烁而导致的水平条带形式的亮度不均匀性/颜色不均匀性的分布变得更接近实际闪烁波形。

[0035] 在近年来变得平常的高帧速率成像以及宽动态范围成像中的高速快门成像的情况下，用短曝光时间执行拍摄。在这种拍摄处理中，模型波形与实际闪烁波形之间的差异同样在图片上变得明显。因此，通过使用上述专利文献2中描述的模型波形的信号处理方法，无法执行抑制闪烁的产生的有效校正。

[0036] 引文列表

[0037] 专利文献

[0038] 专利文献1：日本待审专利申请公开No.2007-174537

[0039] 专利文献2：日本待审专利申请公开No.2005-347939

发明内容

[0040] 技术问题

[0041] 例如，鉴于上述情况已经做出本发明，因此，本发明的目的是提供一种图像处理装置、信号处理方法以及程序，其通过使用拍摄的图像而不是使用荧光灯的照明的亮度变化的模型波形来估计在图像拍摄时的照明的实际亮度变化，并且使用所估计出的实际波形来执行校正处理，具体地说，通过设置考虑估计出的实际波形的校正增益进行的图像校正处理，由此使得可以有效地防止或抑制闪烁的产生。

[0042] 问题的解决方案

[0043] 本发明第一方面在于一种图像处理装置，包括：

[0044] 积分处理部，其接收用X-Y地址扫描类型成像设备拍摄的图像数据，并且计算每行信号强度的积分值；

[0045] 闪烁分量计算部，其通过使用逐行信号强度的积分值来检测图像帧的各行中包含的闪烁分量；

[0046] 闪烁校正系数计算部，其计算由闪烁分量计算部计算出的闪烁分量的反相图案形成的闪烁校正系数；以及

[0047] 校正部，其使用由闪烁校正系数计算部计算出的闪烁校正系数来执行校正处理。

[0048] 此外，在根据本发明的图像处理装置的实施例中，所述闪烁分量计算部通过在以下项之间进行比较来执行对闪烁分量要被检测的图像帧的各行中包含的闪烁分量进行检测的处理：闪烁分量要被检测的图像帧的逐行信号强度的积分值；以及表示通过对基准帧中的对应像素的信号值进行求和获得的积分帧的逐行信号强度的多帧积分信号强度，所述基准帧被定义为其中产生相同相位的闪烁的帧周期的一个单位周期中包括的多个图像帧。

[0049] 此外，在根据本发明的图像处理装置的实施例中，所述图像处理装置还包括静止帧检测部，其从连续图像帧之中检测没有对象运动的静止帧，并且所述闪烁分量计算部从由静止帧检测部检测到的静止帧之中选择基准帧。

[0050] 此外，在根据本发明的图像处理装置的实施例中，所述闪烁校正系数计算部从相位偏移量计算部接收闪烁要被校正的图像帧的闪烁相位信息，并且计算与根据所述闪烁相位信息进行相位调整的图像帧相对应的闪烁校正系数。

[0051] 此外，在根据本发明的图像处理装置的实施例中，所述图像处理装置还包括闪烁分量合成部，其通过从由闪烁分量计算部计算出的每一帧的闪烁分量中仅选择高可靠性的闪烁分量并且合成多个帧中的闪烁分量来生成合成闪烁分量，以及所述闪烁校正系数计算部计算由合成闪烁分量的反相图案形成的闪烁校正系数。

[0052] 此外，在根据本发明的图像处理装置的实施例中，闪烁分量合成部执行如下处理：基于图像帧的亮度信息判断每一帧的闪烁分量的可靠性，并且仅选择与具有等于或大于预先指定的亮度阈值的亮度的像素对应的闪烁分量，作为高可靠性的闪烁分量。

[0053] 此外，在根据本发明的图像处理装置的实施例中，积分处理部针对各个颜色信号(颜色通道)中的每一个计算逐行信号强度的积分值，闪烁分量计算部针对各个颜色信号中的每一个检测闪烁分量，闪烁校正系数计算部针对各个颜色信号中的每一个计算闪烁校正系数，并且校正部使用由闪烁校正系数计算部计算出的针对各个颜色信号中的每一个的闪烁校正系数来执行校正处理。

[0054] 此外，在根据本发明的图像处理装置的实施例中，图像处理装置还包括闪烁场景判断部，其判断输入图像是否是在产生闪烁的照明环境下拍摄的，并且如果在闪烁场景判断部中判断图像是在产生闪烁的照明环境下拍摄的，则通过计算闪烁校正系数来执行校正处理。

[0055] 此外，在根据本发明的图像处理装置的实施例中，图像处理装置使用用于具有相同曝光时间的每一组连续拍摄图像的闪烁校正系数来执行校正处理，作为在通过合成具有不同曝光时间的多个图像生成宽动态范围图像之前的处理。

[0056] 此外，在根据本发明的图像处理装置的实施例中，X-Y地址扫描类型成像设备是互补金属氧化物半导体(CMOS)成像设备。

[0057] 此外，本发明第二方面在于一种成像装置，其包括成像部、以及执行根据以上描述的任何一个的图像处理的信号处理部。

[0058] 此外，本发明第三方面在于一种在图像处理装置中执行的信号处理方法，包括：

[0059] 积分处理步骤：积分处理部接收用X-Y地址扫描类型成像设备拍摄的图像数据，并且计算逐行信号强度的积分值；

[0060] 闪烁分量计算步骤：闪烁分量计算部通过使用逐行信号强度的积分值来检测图像帧的各行中包含的闪烁分量；

[0061] 闪烁校正系数计算步骤：闪烁校正系数计算部计算由在闪烁分量计算步骤中计算出的闪烁分量的反相图案形成的闪烁校正系数；以及

[0062] 校正步骤：校正部使用在闪烁校正系数计算步骤中计算出的闪烁校正系数来执行校正处理。

[0063] 此外，本发明第四方面在于一种使得在图像处理装置中执行信号处理的程序，包括：

[0064] 积分处理步骤：使积分处理部接收用X-Y地址扫描类型成像设备拍摄的图像数据，并且计算逐行信号强度的积分值；

[0065] 闪烁分量计算步骤：使闪烁分量计算部通过使用逐行信号强度的积分值来检测图像帧的各行中包含的闪烁分量；

[0066] 闪烁校正系数计算步骤：使闪烁校正系数计算部计算由在闪烁分量计算步骤中计算出的闪烁分量的反相图案形成的闪烁校正系数；以及

[0067] 校正步骤：使校正部使用在闪烁校正系数计算步骤中计算出的闪烁校正系数来执行校正处理。

[0068] 应注意，例如，根据本发明的程序是可以提供给能够经由以计算机可读格式提供的存储介质或通信介质执行各种程序代码的信息处理装置或计算机系统的程序。通过以计算机可读格式提供这种程序，在信息处理装置或计算机系统上实现根据程序的处理。

[0069] 本发明的其它目的、特征和优点将从本发明实施例的以下详细描述以及附图变得清楚。应注意，该说明书中使用的术语系统指代多个设备的逻辑集合，而不限于构成设备存在于同一壳体内的情况。

[0070] 本发明的有益效果

[0071] 根据本发明实施例的配置，在具有亮度变化的照明环境(例如荧光灯)下，实现了有效地移除或减少用X-Y地址扫描类型成像设备(比如CMOS)拍摄的图像数据中产生的闪烁的配置。根据本发明的图像处理装置计算要移除闪烁的待校正的图像的逐行信号强度的积分值，并且使用该积分值来检测图像帧的各行中包含的闪烁分量。检测到的闪烁分量表示根据照明的实际闪烁波形的数据。计算由闪烁分量的反相图案形成的闪烁校正系数，闪烁分量中的相位波动量被检测到并在需要时反映到校正系数，并且执行使用闪烁校正系数的校正处理。通过该处理，根据实际闪烁波形的校正变得可能，并且实现闪烁的有效移除。

附图说明

[0072] [图1]图1是说明如何在用CMOS图像传感器拍摄的图像中产生闪烁的原理的示图。

[0073] [图2]图2是正弦近似模型与荧光灯的实际亮度变化的示例之间的比较图。

[0074] [图3]图3是示出归因于成像设备(图像传感器)的曝光时间的差导致的闪烁波形的变化的示图。

[0075] [图4]图4是示出由于成像设备(图像传感器)的曝光时间的差导致的闪烁波形的变化的示图。

[0076] [图5]图5是说明作为根据本发明的图像处理装置的实施例的成像装置的配置示例的示图。

[0077] [图6]图6是说明执行闪烁校正处理的闪烁校正处理部的配置和处理的细节的示图。

[0078] [图7]图7是说明静止帧检测部203执行的静止帧检测处理的示图。

[0079] [图8]图8是说明由闪烁分量计算部205执行的闪烁分量计算处理的示图。

[0080] [图9]图9是说明闪烁分量计算部205执行的闪烁分量计算处理的示图。

[0081] [图10]图10是说明闪烁分量合成部206执行的高精度闪烁分量的计算处理的示图。

[0082] [图11]图11是说明闪烁校正系数计算部207执行的闪烁校正系数的计算处理的示图。

[0083] [图12]图12是说明使用闪烁校正系数计算部207计算的闪烁校正系数的校正处理的示图。

[0084] [图13]图13是示出说明根据本发明的图像处理装置执行的处理顺序的示例的流程图的示图。

具体实施方式

[0085] 下文中，将参照附图描述根据本发明的图像处理装置、信号处理方法和程序。应该注意，以下描述的实施例是使用以下成像装置的实施例：该成像装置使用CMOS图像传感器作为X-Y地址扫描类型成像设备。此外，处理示例假设在拍摄图像的照明环境是50Hz的电源频率的荧光灯的照明片的拍摄。然而，应该注意，本发明不限于如上所述设置的拍摄条件，而是可以应用为用于在各种拍摄环境下拍摄的图像的处理。

[0086] 将按以下标题顺序给出描述。

[0087] 1.关于图像处理装置的配置的示例

[0088] 2.关于闪烁校正处理部的配置和处理的细节

[0089] 3.关于根据本发明的图像处理装置的处理顺序的示例

[0090] 4.关于与宽动态范围图像对应的处理

[0091] [1.关于图像处理装置的配置的示例]

[0092] 首先，参照图5，将给出作为根据本发明的图像处理装置的实施例的成像装置的配置的示例的描述。

[0093] 图5是示出根据本发明实施例的成像装置100的整体配置的框图。成像装置100具有成像部101、信号处理部102、编解码器(编码/解码处理部)103、记录/再现部104、记录介质120、显示部130、控制部150以及存储器151。

[0094] 成像部101由透镜、成像设备等形成。成像设备是作为X-Y地址扫描类型成像设备的CMOS图像传感器。使用作为X-Y地址扫描类型成像设备的CMOS图像传感器，如以上参照图1描述的那样，随着时间的逝去从顶行朝向底行依次执行曝光处理。CMOS图像传感器接收的光信号经受光电转换，并且作为电信号输入到信号处理部102。

[0095] 除了作为普通相机信号处理执行的处理诸如白平衡调整、伽马校正或去马赛克等之外，信号处理部102还执行根据本发明的闪烁校正处理。稍后将接着参照图6描述执行闪烁校正处理的闪烁校正处理部的配置和处理的细节。

[0096] 作为信号处理部102中的信号处理的结果获得的数据输入到编解码器(编码/解码处理部)103。此外，数据输出到显示部130，并且显示处理被执行。例如，在编解码器130中，执行预先指定的编码处理(例如MPEG编码处理)，并且处理结果输出到记录/再现部104。

[0097] 根据预先指定的格式，记录/再现部104执行拍摄的图像到记录介质的记录处理。例如，记录介质120是数据可记录介质，诸如闪存、磁盘或光盘等。

[0098] 应注意，当再现在记录介质120上记录的图像时，记录/再现部104执行从记录介质120读出数据，并且读出的数据提供给编解码器130，并且执行解码处理。在显示部130上显示作为解码处理的结果获得的图像。

[0099] 应该注意，控制部150根据存储器151中先前记录的程序来执行对这些结构部分中的每一个的控制。控制部150具有CPU，CPU具有程序执行功能。存储器151由RAM、ROM等形成。

[0100] [2.关于闪烁校正处理部的配置和处理的细节]

[0101] 接下来，参照图6，将给出设置为信号处理部102中的配置的部分的闪烁校正处理部的配置的示例的描述。

[0102] 图6是示出根据本发明实施例的闪烁校正处理部200的整体配置的框图。

[0103] 在以下描述的实施例中，闪烁校正处理部200接收由构成成像部101的图像传感器获取的RAW(原始图像数据存储格式)图像，并且对RAW图像执行闪烁校正处理。应注意，RAW图像是紧接在从图像传感器输出之后的数据，并且是在经受信号处理(例如去马赛克处理)之前的原始数据。例如，去马赛克处理是将RGB的所有像素值设置为与图像传感器中每一像素对应的数据的处理。例如，在执行去马赛克处理之前的RAW数据是针对图像传感器中的每一像素仅设置RGB中的一个的像素值的数据。

[0104] 图6所示的闪烁校正处理部200接收在经受去马赛克处理之前的RAW图像251，并且生成通过将闪烁校正应用于RAW图像251获得的校正图像252。然而，应注意，该处理是示例。闪烁校正处理部200可以接收已经对其执行去马赛克处理的彩色图像，并且对彩色图像执行如下所述的相同处理，由此实现闪烁校正处理。

[0105] 将描述图6所示的闪烁校正处理部200的处理。

[0106] 闪烁校正处理部200具有积分处理部201、闪烁场景判断部202、静止帧检测部203、相位偏移量估计部204、闪烁分量计算部205、闪烁分量合成部206、校正系数计算部
207以及乘法部208。

[0107] 在闪烁校正处理部200中，首先，RAW图像251输入到积分处理部201。积分处理部201对于RAW图像251的水平方向上的每一个颜色通道执行信号值(像素值)的积分处理，并且获得逐行的一维信号强度(RP：行资料)。如上所述，例如，RAW数据是对于图像传感器中的每一像素仅设置RGB中的一个的像素值的数据。

[0108] 例如，积分处理部201对于RAW图像251的水平方向上的RGB的每一个颜色通道执行积分处理，并且获得逐行的一维信号强度(RP：行资料)。

[0109] 这是为了减少处理的前级中的数据量以便减少闪烁校正处理的计算复杂度的目的执行的计算，并且是在假设闪烁对拍摄的图像的影响在图像的扫描线(水平)方向上基本相同的情况下执行的。当然，实际上可能有以下情况：即使在水平方向，图像的每一区域经受不同照明条件等、以及闪烁的不同程度的影响。同样在此情况下，通过对于水平方向上划分的区域中的每一个应用本发明提出的方法可以实现校正处理。

[0110] 例如，在Bayer布置类型的图像传感器的情况下，对于R、G、B通道中的每一个独立地逐行执行积分处理，并且作为用于各个RGB通道的逐行的一维信号强度(RP)[0111] 获得信号强度：RP_Rk(y)、RP_Gk(y)和RP_Bk(y)。

[0112] 应该注意，k表示图像的帧号，y表示图像的垂直方向上的坐标值。

[0113] 以此方式，在每行(y)基础上，对于输入RAW图像帧k，积分处理部201计算信号强度：RP_Rk(y)、RP_Gk(y)、和RP_Bk(y)。

[0114] 应注意，作为处理技术，存在这样两种技术：

[0115] (1)单独地在每个颜色信号分量(例如RGB颜色通道)基础上执行处理的技术；以及

[0116] (2)在逐行基础上而不在颜色通道(例如RGB)之间区分地计算单个信号强度RPk(y)，并且使用该信号强度执行与所有颜色通道对应的像素的共同的处理的技术。

[0117] 通过执行这些处理中的任一可以施加有效的闪烁减少效果。应该注意，(1)中在每RGB颜色通道基础上的处理可以增强颜色不均匀性降低效果。

[0118] 闪烁校正处理部200中的处理可以执行为上述处理(1)和(2)中的任一个。以下描述作为在每RGB颜色通道基础上的处理执行的处理的示例。应该注意，在以下描述中，当RP_RK(y)、RP_GK(y)、RP_BK(y)等中附带RGB的指示时，这指示单独地执行处理，当RPk(y)等中不附带RGB时，这指示对各个RGB颜色通道共同地执行处理。

[0119] 信号强度：由积分处理部201计算的信号强度：RP_RK(y)、RP_GK(y)和RP_BK(y)输入到闪烁场景判断部202。

[0120] 闪烁场景判断部202执行用于判断所拍摄的图像是否是在产生闪烁的荧光灯环境下拍摄的处理(闪烁判断)。

[0121] 闪烁场景判断部202使用一维离散傅里叶变换(DFT)在功率谱分布基础上判断在一维信号强度RP_R、RP_G和RP_B中是否包含100Hz闪烁分量。

[0122] 该处理可以如上所述单独地针对RGB颜色通道中的每一个执行，或可以联合地执行。

[0123] 该实施例执行选取50Hz的荧光灯的照明条件下检测闪烁的处理。如以上参照图1描述的那样，50Hz的荧光灯的照明产生周期为100Hz的亮度变化。

[0124] 从图1可以理解，当在具有100Hz亮度变化周期的照明条件下以60帧/秒(60fps)拍摄图像时，帧#1和帧#4是以照明的相同亮度变化时序拍摄的。也就是说，帧n和帧n+3的闪烁波形是相同的。

[0125] 也就是说，当在具有100Hz亮度变化周期的照明条件下以60帧/秒(60fps)拍摄图像时，三种闪烁波形出现在这些连续图像帧中：

[0126] 帧n；

[0127] 帧n+1；以及

[0128] 帧n+2。

[0129] 此后，理想地，重复三种闪烁波形。严格地说，虽然存在由于成像周期的偏离或电源频率波动而导致闪烁的相位逐渐偏离的可能性，但对于相邻帧，可以基于这种周期性的假设来执行处理。

[0130] 在50Hz的荧光灯的照明条件下以60fps拍摄图像的当前拍摄条件的情况下，闪烁的相位每隔三个帧一致，从而可以容易地检测闪烁的100Hz分量。

[0131] 闪烁场景判断部202首先针对与“相同闪烁产生帧周期”对应的三个连续帧(帧k-1至k+1)计算逐行信号强度：RPk-1(y)、RPk(y)和RPk+1(y)。

[0132] 接下来，使用针对这三个连续帧的逐行信号强度，根据以下等式计算与帧k对应的闪烁分量指数值FLk(y)。

[0133] FLk(y)＝3RPk(y)/(RPk-1(y)+RPk(y)+RPk+1(y))

[0134] 在几乎没有闪烁分量的情况下，根据上述等式计算的闪烁分量指数值FLk(y)变为接近1的值，这是因为上述等式的分母(RPk_1(y)+RPk(y)+RPk+1(y))和分子(3RPk(y))的值变得基本上相等。

[0135] 另 一 方 面，在 存 在 很 多 闪 烁 分 量 的 情 况 下，上 述 等 式 的 分 母(RPk-1(y)+RPk(y)+RPk+1(y))和分子(3RPk(y))的值彼此不同，导致偏离于1的值。

[0136] 根据上述等式从图像提取大致表示闪烁分量的闪烁分量指数值FLk(y)，然后对上述闪烁分量指数值FLk(y)执行基于一维离散傅里叶变换(DFT)的频率分析。在此，通过用于DFT的数据元素的数量与一个闪烁周期对应的方式从闪烁分量指数值FLk(y)取出数据元素，并且从DFT获得的频率谱的零阶(DC)和一阶(100Hz)功率计算出的比率经受阈值处理，以由此检测闪烁。

[0137] 当作为等式求和时，以上处理通过以下等式可以表示。

[0138] [Eq.1]

[0139] FLk(y)＝3RPk(y)/(RPk-1(y)+RPk(y)+RPk+1(y))(等式1)

[0140] fFLk(n)＝DFT(FLk(y)) (等式2)

[0141]

[0142] (等式3)

[0143] 应该注意，在用于(等式3)中的闪烁比率(PRk)的计算等式中，分母与通过DFT获得的频率谱的零阶(DC)功率对应，分子与通过DFT获得的频率谱的一阶(100Hz)功率对应。

[0144] Re表示实部，Im表示虚部。

[0145] 在上述等式中，

[0146] 等式1是基于针对三个帧(帧k-1至k+1)的逐行信号强度RPk_1(y)、RPk(y)和RPk+1(y)的闪烁分量指数值FLk(y)的计算等式。

[0147] 等式2是表示对闪烁分量指数值FLk(y)的一维离散傅里叶变换(DFT)处理的计算等式。

[0148] 等式3是用于根据通过等式2中的DFT获得的频率谱的零阶(DC)和一阶(100Hz)功率计算的比率的计算等式。

[0149] 由等式3计算的闪烁比率(PRk)的较大值指示在图像帧k包含更多的闪烁分量。

[0150] 闪烁场景判断部202通过在通过上述等式3计算出的闪烁比率(PRk)与预先指定的阈值之间执行比较来执行闪烁场景的检测。

[0151] 如果通过等式3计算出的闪烁比率(PRk)等于或大于预先指定的闪烁场景判断阈值(Tha)，则判断对应帧k是闪烁场景，即存在闪烁的影响的图像帧。

[0152] 也就是说，如果判断表达式：

[0153] PRk≥Tha

[0154] 成立，则确定帧k是闪烁场景，即存在闪烁的影响的图像帧。如果上述判断表达式不成立，则确定帧k不是闪烁场景，即帧k是其中不存在闪烁的影响的图像场景。

[0155] 如果判断帧k不是闪烁场景，则不执行用于移除闪烁的校正系数的计算以及使用闪烁校正系数的校正处理。针对确定为闪烁场景的场景(帧)执行用于移除闪烁的校正系数的计算以及使用闪烁校正系数的校正处理。

[0156] 应该注意，在该处理中，当期望确保处理对于各种拍摄场景的稳健性时，也可以不仅对于帧k而且还对于前面和后面的帧执行由上述(等式1)表示的闪烁分量指数值FLk的计算处理，并且通过使用FLk-1、FLk和FLk+1对根据与稍后描述的基于数据的可靠性的波形合成处理相同的技术而被合成的闪烁分量执行处理。

[0157] 接下来，将给出由图6所示的框图中的静止帧检测部203执行的处理的描述。静止帧检测部203检测具有对象或相机自身的较小运动的帧，以便改进作为在后续级中的闪烁分量计算部205的处理执行的闪烁校正系数计算处理中计算出的校正系数的精度。

[0158] 静止帧检测部203检测没有对象运动的帧。然而，应注意，由于后续级中闪烁分量计算部205通过使用对于行方向积分的一维信号强度来执行闪烁分量计算，因此静止帧检测部203可以基于在垂直方向上存在/不存在运动来执行静止帧判断。也就是说，不必执行关于水平方向上的运动的严格静止判断处理。

[0159] 静止帧检测部203基于积分处理部201在帧之间计算出的逐行信号强度RP的差值来执行静止帧检测。

[0160] 在其中包含闪烁的拍摄场景的情况下，作为闪烁的条带图案的运动在构成运动图像的帧之间产生。存在这样的可能性：由于该闪烁的运动，所以判断即使对象或相机静止帧也不是静止帧。

[0161] 例如，如果作为该实施例中采用的条件的电源频率是50Hz并且图像传感器的帧速率是60fps，则拍摄的图像中出现的闪烁的水平条带的位置如上所述在三个帧的周期中变化。

[0162] 因此，当通过基于前面和后面相邻帧之间的比较执行运动区分来执行静止帧检测时，存在检测到由于闪烁导致的亮度变化并且执行错误处理的可能性。

[0163] 为了避免这种错误检测，对与其中产生相同相位的闪烁的帧周期对应的多个连续帧(在该实施例中是三个帧)的信号强度(RP)沿着帧(时间)方向积分以获取具有减小的闪烁的影响的RP，并且通过使用与该闪烁周期对应的多个帧的信号强度RP来执行静止帧检测。

[0164] 应注意，在以下描述中，“闪烁周期”和“相同闪烁产生帧周期”定义如下。

[0165] (a)闪烁周期：闪烁的周期，其在图1所示的示例中是1/100秒(100Hz)。

[0166] (b)相同闪烁产生帧周期：其中产生相同相位的闪烁波形的帧的周期，其为图1所示的示例中的三个帧(＝1/20秒)。

[0167] 参照图7，描述由静止帧检测部203执行的静止帧检测处理。在图7中，示出连续图像帧#(n-1)至#(n+3)。

[0168] 首先，对第一半中的三个连续帧分别计算逐行信号强度RPn-1(j)、RPn(j)和RPn+1(j)，并且根据以下等式计算这多个帧的积分信号强度RP′n(j)。

[0169]

[0170] 类似地，对于接下来的三个连续帧分别计算逐行信号强度RPn+2(j)、RPn+3(j)和RPn+4(j)，并且根据以下等式计算这多个帧的积分信号强度RP′n+3(j)。

[0171]

[0172] 以此方式，把如下计算出的Sk定义为静止帧评估函数：从通过积分与其中产生相同相位的闪烁的“相同闪烁产生帧周期”对应的每三个帧计算的RP获得的第一多帧积分信号强度RP′与从接下来的三个连续帧获得的第二多帧积分信号强度RP′n+3之间的元素之间的差的绝对值之和。根据以下等式计算静止帧评估函数Sk。

[0173]

[0174] 其中

[0175] D_RP′k(j)＝|RP′k(j)_RP′k-3(j)|

[0176] 随着每三个帧计算出的多帧积分信号强度的差变得更大，根据上述等式计算出的静止帧评估函数Sk的值变得更大。因此，对于具有运动的图像，静止帧评估函数Sk的值也变大。

[0177] 静止帧检测部203通过比较根据上述等式计算出的静止帧评估函数Sk与预先指定的静止帧判断阈值(Thb)来检测静止帧。也就是说，如果判断表达式：

[0178] Sk≥Thb

[0179] 成立，则确定对应帧k不是静止帧。如果上述判断表达式不成立，则确定帧k是静止帧。

[0180] 应注意，用于检测静止帧的处理不限于上述方法。可以根据需要使用各种现有处理，比如基于帧之间的差别进行的检测。

[0181] 接下来，描述由图6的处理框图中的闪烁分量计算部205执行的处理。当在先前级中的静止帧检测部203的处理中已经执行等于或大于三个连续帧(相同闪烁产生帧周期)的静止帧的检测时，闪烁分量计算部205可以通过使用检测到的静止图像帧来执行闪烁分量计算处理。

[0182] 参照图8，描述由闪烁分量计算部205执行的闪烁分量计算处理。图8示出以下多个数据(a)至(c)。

[0183] (a)按帧(每一帧)的逐行信号强度RP(对象光分量+闪烁分量)

[0184] (b)3m个帧的积分帧的按行(每一行)的多帧积分信号强度＝基准信号强度(RP)(对象光分量)

[0185] (c)按帧(每一帧)的与每一行对应的闪烁分量

[0186] 图8示出：对于上述(a)至(c)，与按帧(每一帧)的每一行对应的(c)闪烁分量可以计算为：

[0187] (a)/(b)＝(c)。

[0188] 应注意，应用于闪烁校正的闪烁校正系数基本上是与在此计算的闪烁分量反相的分量。也就是说，闪烁校正系数是与各行的像素值相乘从而消除各行中的闪烁分量的校正系数，并且是由与闪烁分量反相的分量形成的乘法系数。在逐行基础上计算校正系数，并且最终，在图8所示的乘法部208中，执行使输入图像乘以在逐行基础上的校正系数的处理。乘法部208与使用闪烁校正系数执行校正处理的校正部对应。通过在上面的剩余部件208中执行的该校正系数相乘处理，生成移除了闪烁分量的校正图像252。

[0189] 下面描述图8所示的多个数据(a)至(c)中的每一个。

[0190] (a)在逐帧基础上的逐行信号强度RP(对象光分量+闪烁分量)表示积分处理部201中计算出的用于每一单独帧的逐行一维信号强度(RP：行资料)。

[0191] (b)3m个帧的积分帧的在逐行基础上的多帧积分信号强度＝基准信号强度(RP)(对象光分量)，可以使用从在先前级中的静止帧检测部203的处理中检测到的图像的三个连续帧的积分结果获得的在逐行基础上的多帧积分信号强度RP。

[0192] 应注意，m是不小于1的整数，并且可以使用更大数量的3m帧，例如6帧、9帧、......和30帧。应该注意，积分单位设置为3m帧，即作为3的倍数的帧的数量，的原因描述如下。

[0193] 在该示例中，在具有100Hz亮度变化的照明条件下执行以60fps的图像的拍摄，并且产生具有三帧周期(相同闪烁产生帧周期)的闪烁。因此，在静止图像的3m个帧上积分的图像是已经抵消闪烁分量的图像。作为结果，在图8(b)所示的逐行信号强度RP中，减小了闪烁分量，并且仅基本留下属于对象的光分量。

[0194] 以此方式，为了计算仅由属于对象的光分量构成的逐行一维信号强度(RP)，使用在与相同闪烁产生帧周期的倍数对应的3m个帧上积分的图像。

[0195] 闪烁分量计算部205计算图8所示的多个数据(a)和(b)，即，这些多个数据：

[0196] (a)在逐帧基础上的逐行信号强度RP(对象光分量+闪烁分量)；以及[0197] (b)3m个帧的积分帧的在逐行基础上的多帧积分信号强度＝基准信号强度(RP)(对象光分量)，

[0198] 由此计算

[0199] (c)在逐帧基础上与每一行对应的闪烁分量。

[0200] 也就是说，如图8所示，与在逐帧基础上的每一行对应的闪烁分量计算如下：

[0201] (a)/(b)＝(c)。

[0202] 针对图像传感器中的各个扫描线(逐行)计算闪烁分量。

[0203] 以此方式，闪烁分量计算部205对闪烁分量要被检测的图像帧的逐行信号强度的积分值与表示通过对基准帧中的对应像素的信号值进行求和获得的积分帧的逐行信号强度的多帧积分信号强度进行比较，由此检测闪烁分量要被检测的图像帧的各行中包含的闪烁分量。

[0204] 应注意，基准帧是从由静止帧检测部203检测到的静止帧中选择的，并且表示构成基准帧的一组连续拍摄的图像帧，基准帧被定义为产生相同相位的闪烁的一个单位帧周期中包括的多个图像帧。

[0205] 应注意，期望对于构成图像传感器的颜色布置中的每一个颜色通道执行由闪烁分量计算部205执行的该闪烁分量计算处理。也就是说，在具有Bayer布置的图像传感器的情况下，优选地估计用于R、G和B中的每一个的闪烁分量。这是因为荧光灯中包括的磷的衰减特性对于光的每一波长而言有所不同，并且对拍摄的图像的影响对于每一颜色通道而言也不同。

[0206] 应注意，作为被用作计算多帧积分信号强度(＝在计算与图8所示在逐帧基础上的每一行对应的(c)闪烁分量时使用的基准信号强度(RP))的图像帧的3m个帧，各种设置是可能的，例如3帧和6帧。

[0207] 例如，如图9所示，例如，也可以采用以下配置：其中使用在闪烁分量的计算之前的连续帧(例如30帧)。

[0208] 应注意，图9所示的设置是示例。用于计算基准RP的帧可以被设置为在闪烁分量要被计算的帧的邻域中的任何帧，并且是已经判断为静止图像的连续帧。

[0209] 如上所述，闪烁校正系数基本上是与在此计算出的闪烁分量反相的分量。

[0210] 构成用于估计闪烁分量的帧周期(相同闪烁产生帧周期)的一个周期的多个连续帧(该示例中三个帧)被定义为基准帧。通过把针对基准帧计算出的闪烁校正系数应用于不同于基准帧之外的帧来执行校正。例如，在图9所示的示例中，当要校正从帧#n起的帧时，帧#n-2至帧#n的集合充当基准帧。

[0211] 当执行闪烁校正时，使用通过使用基准帧计算出的闪烁校正系数。通过使用基准帧计算出的闪烁校正系数被定义为基准闪烁校正系数。最终，在图6所示的乘法部208中，执行以下处理：在逐行基础上把输入图像乘以通过使用基准闪烁校正系数进行了相位调整的闪烁校正系数。通过该校正系数相乘处理，生成移除了闪烁分量的校正图像252。

[0212] 使用基准帧的闪烁校正系数(基准闪烁校正系数)计算处理被执行为图6所示的闪烁分量合成部206以及闪烁校正系数计算部207中的处理。

[0213] 闪烁分量合成部206通过使用与基准帧对应的闪烁分量来计算与闪烁周期对应的较高精度闪烁分量。

[0214] 应注意，例如，闪烁周期是图1所示的示例(100Hz)中的1/100秒。计算与闪烁图案的该一个周期单位对应的闪烁分量。在假设用于该一个周期的闪烁分量重复产生的情况下执行处理。

[0215] 闪烁校正系数计算部207使用由闪烁分量合成部206生成的用于闪烁周期的一个周期的高精度闪烁分量，从而计算与闪烁分量反相的闪烁校正系数(基准闪烁校正系数)。

[0216] 以下将描述这些处理。

[0217] 首先，描述由闪烁分量合成部206执行的计算用于一个周期的高精度闪烁分量的处理。

[0218] 如以上参照图8描述的那样，在闪烁分量计算部205中已经计算与每一帧对应的闪烁分量。因此，通过使用与每一帧对应的闪烁分量，可以提取用于一个闪烁周期的闪烁分量。

[0219] 然而，在根据本发明的处理中，并非简单地从基准帧中的闪烁分量切除用于一个周期的闪烁分量，而是如下所述，提取具有较高精度的闪烁分量以确保校正处理的稳健性。

[0220] 参照图10详细描述计算由闪烁分量合成部206提取的高精度闪烁分量的处理。

[0221] 图10(a)、(b)、(c)所示的图线是表示基准帧中的闪烁分量的图线。也就是说，图线表示通过上述技术从三个连续图像帧(帧#n-2至帧#n)提取的闪烁分量。

[0222] 然而，即使通过适当的曝光完成拍摄，拍摄场景内通常也存在从对象反射的光的量不充足的暗区域。极有可能在低亮度的这种区域中不精确地提取闪烁分量。

[0223] 例如，在图10所示的图线(a)至(c)中的每一个中，例如，由虚线指示的位置是低亮度区域，其中闪烁分量的精度低。如果通过从闪烁分量生成由具有与这些闪烁分量反相的系数形成的闪烁校正系数来执行校正，则这意味着通过基于与实际闪烁波形不同的波形使用校正系数来执行校正，导致在校正之后获得的图像的图像质量的降低。

[0224] 为了避免这种问题，闪烁分量合成部206基于来自构成作为相同闪烁产生帧周期的单位的多个帧的基准图像中的每一个的亮度来计算闪烁分量可靠性，并且在计算出的闪烁分量可靠性的基础上，仅选择并且合成被确定为可靠性高的区域中的闪烁分量，由此生成高精度合成闪烁分量(见图10(d))。

[0225] 对于每一基准帧中的闪烁分量的可靠性，例如，通过使用上述逐行信号强度RP(见图8)，通过与预设亮度阈值的比较处理来判断图像内的暗区域(低亮度区域)。也就是说，预先定义亮度阈值(Thc)，并且图像中的每一行的信号强度RP与亮度阈值(Thc)彼此比较。

[0226] 从具有满足以下判断表达式的充足亮度的行(扫描线)提取的闪烁分量被判断为有效：

[0227] 信号强度RP≥Thc。

[0228] 从具有不满足上述判断表达式的低亮度的行(扫描线)提取的闪烁分量被判断为无效。判断为无效的闪烁分量的值不应用于生成合成闪烁分量。也就是说，值不用于生成闪烁校正系数。

[0229] 在图10(a)至(c)所示的基准帧中的闪烁分量中，虚线指示的区域是具有基于这种逐行亮度级别判断而确定的低可靠性的无效区域。实线指示的区域是具有高可靠性的有效区域。

[0230] 在图10(a)至(c)所示的基准帧中的闪烁分量中，仅对由实线指示的高精度的区域中的闪烁分量进行合成以生成图10(d)所示的合成闪烁分量。与合成闪烁分量反相的分量被计算为闪烁校正系数。

[0231] 应注意，如同在图10(a)至(c)所示的基准帧的情况下，在构成运动图像的若干相邻帧之间，由于电源等中的频率波动导致的闪烁分量的相位波动可以几乎忽略。因此，从三个帧提取的闪烁分量中的每一个的相位偏移量可以根据闪烁频率(例如100Hz)、图像传感器的帧速率(60fps)、扫描线的总数等来计算。

[0232] 通过执行相位偏移从而各个闪烁分量彼此交叠，闪烁分量合成部206通过使用闪烁分量中的每一个的计算出的相位偏移量来执行合成处理。也就是说，因为低可靠性而不能提取的给定帧的区域中的闪烁分量被以相位匹配方式从另一帧中合成。

[0233] 应注意，即使通过这种合成处理生成的闪烁分量的波形也可以变得不连续。对于这种区域，使用样条函数等应用内插处理。

[0234] 以此方式通过由多个帧构成的基准帧中的闪烁分量的合成处理和内插处理，闪烁分量合成部206生成如图10(d)所示的连续的合成闪烁波形。

[0235] 相位偏移量计算部204计算在闪烁分量合成部中使用的基准帧中的闪烁分量的相位中的每一个与要被应用闪烁校正系数的帧中的闪烁分量的相位之间的偏移量。例如，相位偏移量计算部204合成从多个帧提取的闪烁分量，并且根据一个或更多个闪烁周期的闪烁分量来估计闪烁的相位偏移量。在此，可以执行考虑了由于电源频率的波动导致的闪烁相位的波动和成像帧速率的偏离(距60fps的分钟偏离)的相位估计，以便于校正处理的稳健性的改进。

[0236] 闪烁校正系数计算部207通过使用由闪烁分量合成部206生成的针对一个周期的高精度闪烁分量来计算与闪烁分量反相的闪烁校正系数(基准闪烁校正系数)。最后，在图6所示的乘法部208中，通过使用基准闪烁校正系数执行以下处理：使输入图像逐行乘以基于在上述相位偏移量计算部204中计算出的相位进行了相位偏移的闪烁校正系数。通过该校正系数相乘处理，生成移除了闪烁分量的校正图像252。

[0237] 应注意，如参照图1描述的那样，闪烁分量的相位随着每一捕获的图像帧而变化。因此，当通过使用闪烁校正系数来执行校正处理时，必须获取针对每一图像帧的闪烁分量的相位信息，并且以相位匹配方式使用闪烁校正系数。

[0238] 闪烁校正系数计算部207接收由闪烁分量合成部206生成的针对一个周期的高精度闪烁分量，此外，从相位偏移量计算部204在每基准帧基础上依次获取更新的闪烁分量相位信息，并且在逐帧基础上生成相位匹配的闪烁校正系数。也就是说，闪烁校正系数计算部207从相位偏移量计算部204接收闪烁要被校正的图像帧的闪烁相位信息，并且根据闪烁相位信息生成与图像帧对应的相位调整后的闪烁校正系数。

[0239] 应注意，当通过使用闪烁校正系数来执行闪烁校正时，闪烁分量的相位偏移量是必须的。期望每隔预定帧就计算闪烁分量的相位偏移量。

[0240] 例如，在对60fps的运动图像执行连续闪烁校正的情况下，虽然与设置为相同闪烁产生帧周期的前三个帧中的每一个对应的相位偏移量可以在每三个帧基础上连续地使用，但优选地通过每隔预先指定的时间间隔或预定数量的帧重新计算相位偏移量，在每相同闪烁产生帧周期基础上依次更新和使用相位偏移量。

[0241] 这是因为，由于对于商用电源允许某种程度的频率波动，因此如果连续地使用如上所述的根据闪烁频率、图像传感器的帧速率以及扫描线的总数计算出的相位偏移量，则当在估计充当基准的闪烁校正系数之后过去长时间段时，闪烁分量的实际相位与校正系数的相位偏离。以下，描述相位偏移量计算部204执行的相位偏移量估计的细节。

[0242] 相位偏移量计算部204针对构成相同闪烁产生帧周期单元的各个基准帧(在该示例中是三个帧)中的每一帧计算相位偏移量，并且将相位偏移量提供给闪烁校正系数计算部207。应注意，相位偏移量计算部204以预设时间间隔或帧间隔计算通过选择新基准帧而被更新的相位偏移量，并且将相位偏移量提供给闪烁校正系数计算部207。

[0243] 相位偏移量计算部204通过上述(等式1)表示的闪烁分量指数值FLk的频率分析来工作。

[0244] 如上所述，通过使用构成基准帧的针对“相同闪烁产生帧周期”的多个连续帧(在该示例中三个帧)的逐行信号强度，根据以下等式计算与帧k对应的闪烁分量指数值FLk(y)。

[0245] FLk(y)＝3RPk(y)/(RPk-1(y)+RPk(y)+RPk+1(y))(等式1)

[0246] 相位偏移量计算部204通过对由该(等式1)计算出的大致闪烁分量的频率分析来计算构成基准帧的每个帧的相位偏移量。如在由上述闪烁场景判断部202执行的闪烁检测处理中那样，相位偏移量计算部204基于对闪烁分量指数值FL的一维离散傅里叶变换(DFT)执行频率分析。在通过DFT在频率空间中扩展闪烁分量指数值FL之后，通过零替代二次或更高次谐波，然后执行逆DFT。通过逆DFT获得的信号强度是与从FL提取的闪烁周期对应的100Hz的波形。

[0247] 通过确定与闪烁周期对应的100Hz的该波形被设置在构成基准帧的帧中的每一个中的位置，相位偏移量计算部204计算构成基准帧的帧中的每一个的相位偏移量。

[0248] 相位偏移量计算部204将以此方式计算出的构成基准帧的帧中的每一个的相位偏移量提供给闪烁校正系数计算部207。

[0249] 应注意，如上所述，相位偏移量计算部204以预设时间间隔或帧间隔计算通过选择新基准帧而被更新的相位偏移量，并且将相位偏移量提供给闪烁校正系数计算部207。

[0250] 闪烁校正系数计算部207接收由闪烁分量合成部206生成的针对一个周期的高精度闪烁分量，此外，从相位偏移量计算部204在每基准帧基础上依次获取更新的闪烁分量相位信息，并且在逐帧基础上生成相位匹配的闪烁校正系数。

[0251] 如图11所示，闪烁校正系数计算部207接收由闪烁分量合成部206生成的针对一个周期的高精度闪烁分量301。闪烁分量301与图10(d)所示的合成闪烁分量对应。

[0252] 闪烁校正系数计算部207计算与针对一个周期的高精度闪烁分量301反相的闪烁校正系数。所得闪烁校正系数是图11(e)所示的闪烁校正系数302。

[0253] 此外，通过使用从相位偏移量计算部204输入的相对于合成闪烁分量的相位偏移量，计算各个闪烁校正系数。

[0254] 闪烁校正系数计算部207输出用于当前帧图像的校正系数，并且在图6所示的乘法部208中，在逐行基础上执行与闪烁校正系数相乘。

[0255] 通过执行该处理，如图12所示，通过将相位匹配的校正系数应用于校正之前的(A)图像(与图6中输入图像251对应)来执行校正。如在校正之后的(B)图像(与图6中校正图像252对应)指示的那样，生成了消除或减少闪烁的图像。

[0256] 应注意，如上所述，以上闪烁校正处理可以执行为以下处理之一：

[0257] (1)单独地在每颜色信号分量(例如RGB颜色通道)基础上执行处理的技术；以及

[0258] (2)在逐行基础上而不在颜色通道(例如RGB)之间区分地计算单个信号强度RPk(y)，并且使用该信号强度RPk(y)执行与所有颜色通道对应的像素共同的处理的技术。

[0259] 根据本发明的处理被配置为通过计算作为根据实际照明光的波形的闪烁波形来计算校正系数，并且与如其中使用模型波形(例如正弦波)执行校正的相关技术的以上描述的配置不同，可以根据实际亮度变化有效地消除闪烁。这种效果是对于(1)和(2)中的处理共同的效果。此外，如果对如(1)中表示的图像传感器的颜色通道中的每一个执行校正，则有效地消除颜色不均匀性的校正变为可能。

[0260] 应注意，为了保持闪烁校正后的图像的质量，优选地在每个预定周期检测静止帧时执行计算和更新基准闪烁校正系数的处理。在执行该操作时也可以对新基准帧执行相位偏移量的计算。

[0261] 应注意，虽然上述实施例描述已经给出在以下条件下的处理示例：

[0262] 电源频率是50Hz；以及

[0263] 图像传感器的帧速率是60fps，

[0264] 但只要由于光源在图像内的竖直方向上移动导致在图片信号中产生水平条带形式的闪烁，该技术就对于电源频率和图像传感器的帧速率的任何组合而言是有效的。

[0265] 当图像传感器的帧速率变高时，存在这样的情况：帧之间的亮度的不均匀性在通过该技术校正水平条带形式的闪烁之后获得的图片信号中变得显著。由于对于亮度的不均匀性也可以存在周期性，所以基于针对每一帧的颜色通道中的每一个计算出的DC值，在50Hz电源和60fps的图像传感器的组合的情况下，例如，也可以通过针对每三个帧计算使得朝向三个帧内的DC分量的中间值进行校正的增益来执行校正。

[0266] [3.关于根据本发明的图像处理装置的处理顺序的示例]

[0267] 接下来，将参照图13所示的流程图描述由根据本发明的图像处理装置执行的处理顺序的示例。

[0268] 图13所示的流程是示出图6所示的闪烁校正处理部200的处理顺序的示例的流程。应注意，在控制部150(见图5)的控制下执行该系列的处理的控制。

[0269] 将依次描述图13所示的流程图的各步骤中的处理。

[0270] 在步骤S101中，执行在逐行(扫描线)基础上的信号值(像素值)积分处理。

[0271] 该处理是图6所示的积分处理部201中的处理。积分处理部201在输入图像(例如，图5所示的RAW图像251)的水平方向上在每扫描线(行)基础上执行信号值(像素值)的积分处理，由此获得逐行一维信号强度(RP：行资料)。

[0272] 应注意，如上所述，作为处理模式，存在以下两种技术：

[0273] (1)单独地在每颜色信号分量(例如RGB颜色通道)基础上执行处理的技术；以及

[0274] (2)在逐行基础上而不在颜色通道(例如RGB)之间区分地计算单个信号强度RPk(y)，并且使用该信号强度RPk(y)执行与所有颜色通道对应的像素共同的处理的技术。

[0275] 在步骤S102中，执行闪烁场景判断处理。

[0276] 该处理是图6所示的闪烁场景判断部202中的处理。

[0277] 闪烁场景判断部202执行用于判断所拍摄的图像是否在产生闪烁的荧光灯环境下拍摄的处理(闪烁判断)。闪烁场景判断部202使用一维离散傅里叶变换(DFT)在功率谱分布基础上判断一维信号强度RP_R、RP_G和RP_B中是否包含100Hz闪烁分量。

[0278] 通过根据等式(等式1)至(等式3)计算的闪烁比率(RPk)与上述预先指定的闪烁场景判断阈值(Tha)之间的比较，在每图像帧基础上判断所讨论的帧是否为包含闪烁的帧。

[0279] 如果确定帧是包含闪烁的帧，则在步骤S103中的判断变为“是”，并且执行从步骤S104起的处理。

[0280] 如果判断帧是不包含闪烁的帧，则在步骤S103中的判断变为“否”，不执行从步骤S104起的处理，并且闪烁校正处理结束。在此情况下，仅执行其他的通常信号处理。

[0281] 如果判断帧是包含闪烁的帧，并且处理进入步骤S104，则执行静止帧判断处理。

[0282] 该处理是图6所示的静止帧检测部203中的处理。静止帧检测部203检测具有对象或相机自身的很小运动的帧。静止帧检测部203基于积分处理部201在帧之间计算出的逐行信号强度RP的差值来执行静止帧检测。

[0283] 对于该处理，为了避免由于闪烁导致的错误检测，用于与产生相同相位的闪烁的帧周期对应的多个连续帧(在该实施例中是三个帧)的信号强度(RP)被沿着帧(时间)方向积分以获取具有减小的闪烁的影响的RP，并且通过使用与该闪烁周期对应的多个帧的信号强度RP来执行静止帧检测。该处理是参照图7描述的处理。

[0284] 如参照图7描述的那样，通过计算静止帧评估函数Sk，并且相对于预设的静止帧判断阈值(Thb)执行比较，来执行静止帧检测，静止帧评估函数Sk的值随着与相同闪烁产生帧周期对应的每多个帧(三个帧)计算出的多帧积分信号强度的差变大而变大。

[0285] 接下来，在步骤S105中，执行闪烁分量检测处理。

[0286] 该处理是由图6所示的闪烁分量计算部205执行的处理。闪烁分量计算部205可以通过使用步骤S204中检测到的静止图像帧在每图像帧基础上执行闪烁分量计算处理。

[0287] 该处理是以上参照图8和图9描述的处理。

[0288] 如上参照图8和图9所描述的那样，关于以下(a)至(c)：

[0289] (a)在逐帧基础上的逐行信号强度RP(对象光分量+闪烁分量)；

[0290] (b)3m个帧的积分帧的在逐行基础上的多帧积分信号强度＝基准信号强度(RP)(对象光分量)；以及

[0291] (c)在逐帧基础上与每一行对应的闪烁分量，

[0292] 在图8中，闪烁分量计算部205在逐帧基础上计算与每一行对应的(c)闪烁分量如下：

[0293] (a)/(b)＝(c)。

[0294] 接下来，在步骤S106中，执行闪烁分量合成处理。

[0295] 该处理是图6所示的闪烁分量合成部206中的处理。闪烁分量合成部206通过使用与基准帧对应的闪烁分量来计算与一个闪烁周期对应的具有较高精度的闪烁分量。

[0296] 如参照图10描述的那样，闪烁分量合成部206基于来自构成作为相同闪烁产生帧周期的单位的多个帧的基准图像中的每一个的亮度来计算闪烁分量可靠性，并且在计算出的闪烁分量可靠性基础上，仅选择并且合成被确定为可靠性高的区域中的闪烁分量，由此生成高精度合成闪烁分量(见图10(d))。应注意，对于用于合成的闪烁分量之间的相位差，使用从闪烁周期计算的值、传感器的帧速率、行的总数等。

[0297] 接下来，在步骤S107中，执行闪烁校正系数计算处理。

[0298] 该处理是图6所示的闪烁校正系数计算部207中的处理。闪烁校正系数计算部207通过使用由闪烁分量合成部206生成的针对一个周期的高精度闪烁分量来计算与闪烁分量反相的闪烁校正系数(基准闪烁校正系数)。该处理是参照图11描述的处理。

[0299] 应注意，当执行该校正处理时，闪烁校正系数计算部207接收由闪烁分量合成部206生成的针对一个周期的高精度闪烁分量，此外，从相位偏移量计算部204在每基准帧基础上依次获取更新的闪烁分量相位信息，并且在逐帧基础上生成相位匹配的闪烁校正系数。

[0300] 接下来，在步骤S108中，执行闪烁校正处理。

[0301] 该处理是经受校正之前图像的信号值(像素值)在乘法部208中乘以图6所示的闪烁校正系数计算部207中计算出的校正系数中的每一个的处理。校正系数是在逐行基础上生成的，并且通过使输入图像的各个行的信号值乘以逐行校正系数来执行校正。

[0302] 应注意，如上所述，该处理可以被配置为：通过针对颜色信号(颜色通道)中的每一个计算独立的校正系数来在每颜色信号基础上执行校正处理，或对形成每一行的所有像素在不在颜色信号间区分的情况下执行使用在逐行基础上设置的共同校正系数的处理。

[0303] 例如，当在每颜色信号基础上执行校正处理时，执行以下处理。积分处理部201针对颜色信号(颜色通道)中的每一个单独地计算逐行信号强度的积分值，闪烁分量计算部205针对各颜色信号中的每一个检测闪烁分量，闪烁校正系数计算部207针对各颜色信号中的每一个计算闪烁校正系数，作为校正部的乘法部208使用由闪烁校正系数计算部207计算出的用于各颜色信号中的每一个的闪烁校正系数来执行校正处理。

[0304] 以此方式，在本发明中，分析真实地再现照明的实际亮度变化的闪烁分量，并且基于该精确的闪烁波形使用闪烁校正系数来执行校正处理。因此，可以更有效地执行闪烁移除处理。

[0305] [4.关于与宽动态范围图像对应的处理]

[0306] 作为用于拍摄具有宽动态范围的图像的处理，合成具有不同曝光时间的多个图像的技术是已知的。

[0307] 在这种宽动态范围成像中，在周期性地改变图像传感器的曝光时间的同时执行成像，并且根据每一像素的亮度级别等通过图像合成处理获得宽动态范围图像。也就是说，通过以下这种图像合成处理来生成具有宽动态范围的图像：长曝光图像中的像素值应用于低亮度像素部分，短曝光图像中的像素值用于高亮度像素部分。应注意，当设置每一像素值时，执行用于保持整体一致性的像素值计算处理。

[0308] 通过该处理，可以获得具有用恒定曝光时间拍摄的图像不能获得的宽动态范围的图像。

[0309] 当执行这种宽动态范围图像生成处理时，通过应用如上所述的闪烁校正作为在具有不同曝光时间的图像的合成之前的处理，可以生成抑制了闪烁的宽动态范围图像。

[0310] 例如，对于具有相同曝光时间的每个图像帧可以检测闪烁，并且可以执行与上述实施例中相同的闪烁校正处理。当用多个曝光时间执行拍摄时，取决于曝光时间，饱和的像素或具有极低值的像素可能有时存在。同样在此情况下，通过在像素值基础上判断每一个提取出的闪烁分量的可靠性并且执行帧之间的闪烁分量的合成处理，可以通过设置优化闪烁校正系数来执行闪烁校正。

[0311] 如上所述，根据本发明的图像处理装置从拍摄的图像中提取与当拍摄图像时使用的照明光对应的闪烁分量，并且合成闪烁波形以根据光源(例如荧光灯)的实际闪烁波形计算校正系数，由此使用计算出的校正系数来实现闪烁校正处理。本发明的构思不仅对于荧光灯有效，而且还对于其它照明环境有效，只要光源是使用商用电源的时变光源。具体地说，在闪烁对图像的影响变得显著的情况下(比如宽动态范围拍摄和高帧速率拍摄)，因为不执行正弦波等的模型近似，所以实现了十分有效的闪烁移除/校正。

[0312] 以上已经参照特定实施例详细描述了本发明。然而，显然在不脱离本发明的范围的情况下，本领域技术人员对于实施例可以进行各种修改和替换。也就是说，本发明已经通过示例的方式公开，并且不应严格地理解。本发明的范围应由通过参照权利要求来确定。

[0313] 此外，硬件、软件或二者的组合配置可以执行说明书中描述的一系列处理。如果由软件执行处理，则处理可以通过把记录处理顺序的程序安装到嵌入在专用硬件中的计算机中的存储器来执行，或可以通过将程序安装到能够执行各种处理的通用计算机中执行。例如，在记录介质上可以预先记录程序。除了从记录介质安装到计算机之外，程序可以经由网络(诸如局域网(LAN)或互联网等)接收，或安装到记录介质比如内置硬盘中。

[0314] 应注意，说明书中描述的各种处理可以不仅以描述的时间序列执行，而且可以根据执行处理的设备的吞吐量并行或单独地执行。此外，该说明书中使用的术语系统指代多个设备的逻辑集合，而不限于其中构成设备存在于同一壳体内的情况。

[0315] 工业应用性

[0316] 如前面已经描述的那样，根据本发明实施例的配置，在具有亮度变化的照明环境(例如荧光灯)下，实现了有效地移除或减少用X-Y地址扫描类型成像设备(比如CMOS)拍摄的图像数据中产生的闪烁的配置。根据本发明的图像处理装置计算要移除闪烁的待校正的图像的逐行信号强度的积分值，并且使用该积分值来检测图像帧的各行中包含的闪烁分量。检测到的闪烁分量表示根据照明的实际闪烁波形的数据。计算由与闪烁分量反相的图案形成的闪烁校正系数，并且执行使用闪烁校正系数的校正处理。通过该处理，根据实际闪烁波形的校正变得可能，并且实现闪烁的有效移除。

[0317] 附图标记列表

[0318] 100成像装置

[0319] 101成像部

[0320] 102信号处理部

[0321] 103编解码器(编码/检测处理部)

[0322] 104记录/再现部

[0323] 120记录介质

[0324] 130显示部

[0325] 150控制部

[0326] 151存储器

[0327] 200闪烁校正处理部

[0328] 201积分处理部

[0329] 202闪烁场景判断部

[0330] 203静止帧检测部

[0331] 204相位偏移量估计部

[0332] 205闪烁分量计算部

[0333] 206闪烁分量合成部

[0334] 207校正系数计算部

[0335] 208乘法部

[0336] 251图像

[0337] 252校正图像