图像处理方法和图像处理装置

摘要

公开了一种图像处理方法和图像处理装置。图像处理方法使用按时间顺序相继的第一静止图像和第二静止图像并且输出经降噪的图像。第二静止图像的运动被逐块地补偿。第一静止图像和经运动补偿的第二静止图像的相加可靠性被逐个像素地判定，并且相对应的加权因子被设定。第一静止图像和经运动补偿的第二静止图像通过所述加权因子被相加或者平均，并获得处理后的图像。

权利要求

1.一种使用按时间顺序相继的第一静止图像和第二静止图像并输出经降噪的图像的图像处理方法，包括以下步骤：逐块地补偿所述第二静止图像的运动；

逐像素地判定所述第一静止图像和所述经运动补偿的第二静止图像的相加可靠性，并且设定相对应的加权因子；以及利用所述加权图子来相加或者平均所述第一静止图像和所述经运动补偿的第二静止图像，并获得处理后的图像，其中，逐像素地执行的所述相加可靠性判定步骤包括以下步骤：提供多个像素值和噪声量的表，并且按照与根据拍摄条件从所述表中选出的一个表，来估计噪声量；

根据所估计的噪声量，生成表示两个图像的空间上相同位置处的两个像素的指标值和加权因子的关系的表；以及根据所述表获得针对所述指标值的加权因子，

其中，所述指标值是所述两个像素的差的绝对值，所述两个像素的移动平均的差的绝对值，或者所述两个像素的移动方差的差的绝对值。

2.一种使用按时间顺序相继的第一静止图像、第二静止图像和第三静止图像并输出经降噪的图像的图像处理方法，包括以下步骤：逐块地补偿所述第二静止图像的运动；

逐像素地判定所述第一静止图像和所述经运动补偿的第二静止图像的相加可靠性，并且设定相对应的第一加权因子；

利用所述第一加权因子来相加或者平均所述第一静止图像和所述经运动补偿的第二静止图像，并获得处理后的图像；

逐块地补偿所述第三静止图像的运动；

逐像素地判定所述处理后的图像和所述经运动补偿的第三静止图像的相加可靠性，并且设定相对应的第二加权因子；以及利用所述第二加权因子来相加或者平均所述处理后的图像和所述经运动补偿的第三静止图像，并获得处理后的图像，其中，逐像素地执行的所述相加可靠性判定步骤包括以下步骤：提供多个像素值和噪声量的表，并且按照与根据拍摄条件从所述表中选出的一个表，来估计噪声量；

根据所估计的噪声量，生成表示两个图像的空间上相同位置处的两个像素的指标值和加权因子的关系的表；以及根据所述表获得针对所述指标值的加权因子，

其中，所述指标值是所述两个像素的差的绝对值，所述两个像素的移动平均的差的绝对值，或者所述两个像素的移动方差的差的绝对值。

3.一种降低以预定时间单位的间隔输入的运动图像中的噪声的图像处理方法，包括以下步骤：逐块地补偿在一个预定时间单位前被处理了的图像的运动；

逐像素地判定当前运动图像和所述经运动补偿的在一个预定时间单位前被处理了的图像的相加可靠性，并且设定相对应的加权因子；以及利用所述加权因子来相加或者平均所述当前运动图像和所述经运动补偿的在一个预定时间单位前被处理了的图像，并获得与所述当前运动图像相对应的处理后的图像，其中，逐像素地执行的所述相加可靠性判定步骤包括以下步骤：提供多个像素值和噪声量的表，并且按照与根据拍摄条件从所述表中选出的一个表，来估计噪声量；

根据所估计的噪声量，生成表示两个图像的空间上相同位置处的两个像素的指标值和加权因子的关系的表；以及根据所述表获得针对所述指标值的加权因子，

其中，所述指标值是所述两个像素的差的绝对值，所述两个像素的移动平均的差的绝对值，或者所述两个像素的移动方差的差的绝对值。

4.一种降低以预定时间单位的间隔输入的运动图像中的噪声的图像处理方法，包括以下步骤：逐块地获得当前运动图像和在一个预定时间单位前被处理了的图像的运动向量；

利用所述运动向量来补偿所述在一个预定时间单位前被处理了的图像和在两个预定时间单位前被处理了的图像的运动；

逐像素地判定所述当前运动图像和所述经运动补偿的在一个预定时间单位前被处理了的图像的相加可靠性，并且设定相对应的第一加权因子；

利用所述第一加权因子来相加或者平均所述当前运动图像和所述经运动补偿的在一个时间单位前被处理了的图像，并获得第一处理后图像；

逐像素地判定所述经运动补偿的在两个预定时间单位前被处理了的图像和所述第一处理后图像的相加可靠性，并且设定相对应的第二加权因子；以及利用所述第二加权因子来相加或者平均所述经运动补偿的在两个预定时间单位前被处理了的图像和所述第一处理后图像，并且获得与所述当前运动图像相对应的第二处理后图像，其中，逐像素地执行的所述相加可靠性判定步骤包括以下步骤：提供多个像素值和噪声量的表，并且按照与根据拍摄条件从所述表中选出的一个表，来估计噪声量；

根据所估计的噪声量，生成表示两个图像的空间上相同位置处的两个像素的指标值和加权因子的关系的表；以及根据所述表获得针对所述指标值的加权因子，

其中，所述指标值是所述两个像素的差的绝对值，所述两个像素的移动平均的差的绝对值，或者所述两个像素的移动方差的差的绝对值。

5.如权利要求1或3所述的图像处理方法，还包括以下步骤：校正所述加权因子，

其中，所述校正步骤通过如下操作执行：检测在所述处理后的图像中出现块畸变的情况；以及校正所述加权因子使得所检测到的块畸变减小。

6.如权利要求2或4所述的图像处理方法，还包括以下步骤：校正所述第一和第二加权因子，

其中，所述校正步骤通过如下操作执行：检测在所述处理后的图像中出现块畸变的情况；以及校正所述第一和第二加权因子使得所检测到的块畸变减小。

7.如权利要求1或3所述的图像处理方法，还包括以下步骤：校正所述加权因子，

其中，所述校正步骤通过如下操作执行：检测在所述处理后的图像的平坦部分中出现的大的色噪声；以及校正所述加权因子使得所检测到的色噪声减小。

8.如权利要求2或4所述的图像处理方法，还包括以下步骤：校正所述第一和第二加权因子，

其中，所述校正步骤通过如下操作执行：检测在所述处理后的图像的平坦部分中出现的大的色噪声；以及校正所述第一和第二加权因子使得所检测到的色噪声减小。

9.一种图像处理装置，所述图像处理装置使用按时间顺序相继的第一静止图像和第二静止图像并输出经降噪的图像，所述装置包括：运动补偿设备，逐块地补偿所述第二静止图像的运动；

判定设备，逐像素地判定所述第一静止图像和所述经运动补偿的第二静止图像的相加可靠性，并且设定相对应的加权因子；以及加法设备，利用所述加权因子来相加或者平均所述第一静止图像和所述经运动补偿的第二静止图像，并获得处理后的图像，其中，所述判定设备逐像素地执行的所述相加可靠性判定包括：提供多个像素值和噪声量的表，并且按照与根据拍摄条件从所述表中选出的一个表，来估计噪声量；根据所估计的噪声量，生成表示两个图像的空间上相同位置处的两个像素的指标值和加权因子的关系的表；以及根据所述表获得针对所述指标值的加权因子，其中，所述指标值是所述两个像素的差的绝对值，所述两个像素的移动平均的差的绝对值，或者所述两个像素的移动方差的差的绝对值。

10.一种图像处理装置，所述图像处理装置使用按时间顺序相继的第一静止图像、第二静止图像和第三静止图像并输出经降噪的图像，所述装置包括：运动补偿设备；

判定设备；以及

加法设备，

其中，所述运动补偿设备逐块地补偿所述第二静止图像的运动，所述判定设备逐像素地判定所述第一静止图像和所述经运动补偿的第二静止图像的相加可靠性，并且设定相对应的第一加权因子，所述加法设备利用所述第一加权因子来相加或者平均所述第一静止图像和所述经运动补偿的第二静止图像，并且获得处理后的图像，所述运动补偿设备逐块地补偿所述第三静止图像的运动，所述判定设备逐像素地判定所述处理后的图像和所述经运动补偿的第三静止图像的相加可靠性，并且设定相对应的第二加权因子，所述加法设备利用所述第二加权因子来相加或者平均所述处理后的图像和所述经运动补偿的第三静止图像，并且获得处理后的图像，并且所述判定设备逐像素地执行的所述相加可靠性判定包括：提供多个像素值和噪声量的表，并且按照与根据拍摄条件从所述表中选出的一个表，来估计噪声量；根据所估计的噪声量，生成表示两个图像的空间上相同位置处的两个像素的指标值和加权因子的关系的表；

以及根据所述表获得针对所述指标值的加权因子，其中，所述指标值是所述两个像素的差的绝对值，所述两个像素的移动平均的差的绝对值，或者所述两个像素的移动方差的差的绝对值。

11.一种降低以预定时间单位的间隔输入的运动图像中的噪声的图像处理装置，包括：运动补偿设备；

判定设备；以及

加法设备，

其中，所述运动补偿设备逐块地补偿在一个预定时间单位前被处理了的图像的运动，所述判定设备逐像素地判定当前运动图像和所述经运动补偿的在一个预定时间单位前被处理了的图像的相加可靠性，并且设定相对应的加权因子，所述加法设备利用所述加权因子来相加或者平均所述当前运动图像和所述经运动补偿的在一个预定时间单位前被处理了的图像，并且获得与所述当前运动图像相对应的处理后的图像，并且所述判定设备逐像素地执行的所述相加可靠性判定包括：提供多个像素值和噪声量的表，并且按照与根据拍摄条件从所述表中选出的一个表，来估计噪声量；根据所估计的噪声量，生成表示两个图像的空间上相同位置处的两个像素的指标值和加权因子的关系的表；

以及根据所述表获得针对所述指标值的加权因子，其中，所述指标值是所述两个像素的差的绝对值，所述两个像素的移动平均的差的绝对值，或者所述两个像素的移动方差的差的绝对值。

12.一种降低以预定时间单位的间隔输入的运动图像中的噪声的图像处理装置，包括：运动补偿设备；

判定设备；以及

加法设备，

其中，所述运动补偿设备逐块地获得当前运动图像和在一个预定时间单位前被处理了的图像的运动向量，并且利用所述运动向量来补偿所述在一个预定时间单位前被处理了的图像和在两个预定时间单位前被处理了的图像的运动，所述判定设备逐像素地判定所述当前运动图像和所述经运动补偿的在一个预定时间单位前被处理了的图像的相加可靠性，并且设定相对应的第一加权因子，所述加法设备相加或者平均所述当前运动图像和所述经运动补偿的在一个时间单位前被处理了的图像，并且获得第一处理后图像，所述判定设备逐像素地判定所述经运动补偿的在两个预定时间单位前被处理了的图像和所述第一处理后图像的相加可靠性，并且设定相对应的第二加权因子，所述加法设备利用所述第二加权因子来相加或者平均所述经运动补偿的在两个预定时间单位前被处理了的图像和所述第一处理后图像，并获得与所述当前运动图像相对应的第二处理后图像，并且所述判定设备逐像素地执行的所述相加可靠性判定包括：提供多个像素值和噪声量的表，并且按照与根据拍摄条件从所述表中选出的一个表，来估计噪声量；根据所估计的噪声量，生成表示两个图像的空间上相同位置处的两个像素的指标值和加权因子的关系的表；

以及根据所述表获得针对所述指标值的加权因子，其中，所述指标值是所述两个像素的差的绝对值，所述两个像素的移动平均的差的绝对值，或者所述两个像素的移动方差的差的绝对值。

说明书

图像处理方法和图像处理装置

技术领域

[0001] 本发明涉及可应用于图像捕捉装置并且降噪的图像处理方法和图像处理装置。

背景技术

[0002] 近些年来，一直存在对如下技术的强烈需求，即在与以前相比较而言更低光强并且更短曝光时间的条件下用于静态相机和视频相机的拍摄技术。然而，当以较低光强并且用较短曝光时间来拍摄图像时，因为入射光的量较小，所以电荷存储量较低。为了获得明亮的图像，必需放大所捕捉到的信号。就这一点而言，在图像传感器和模拟电路中出现的噪声也被放大。因此，获得有噪声的低质量图像。为了解决该问题，用较长的曝光时间来拍摄图像使得电荷存储量增大。随机成分被相对地减少使得S/N比被改善。然而，当用较长的曝光时间来拍摄图像时，由于在曝光期间的手部抖动导致图像模糊(称作曝光模糊)。因此必需用三角架等来固定图像捕捉装置。

[0003] 作为替代方法，可以以不会引起模糊的快门速度(例如，1/30秒)连续拍摄图像，然后对连续拍摄到的多个图像进行平均以降低与时间方向无关的噪声。然而，可能存在像质变坏的问题，例如由于相机和运动物体的运动导致的图像模糊，以及由于运动物体导致的多重曝光残像。

[0004] 此外，日本专利申请特开No.平9-261526(称作专利文献1)公开了一种校正经连续拍摄的手部抖动的图像然后将其重叠的技术。在这种情况下，在曝光时间中(例如在一场或者一帧中)出现手部抖动。类似的，日本专利申请特开No.平11-75105(称作专利文献2)公开了如下的技术：将整个曝光时间划分为多个部分，校正在整个曝光时间的每个部分中获得的手部抖动的图像，并且将经校正的图像相加以获得高质量图像。

发明内容

[0005] 如在前述专利文献1和专利文献2中所描述的，在相加其运动经过校正的多个图像的技术中，从包含不必要的运动物体等的图像以及低对比度图像中检测到的运动向量的精度较低。因此，作为该技术的缺点，图像质量并未得到充分改善。在相加具有经加权因子处理的系数的帧的技术中，合成图像的精度是不够的。此外，当曝光时间变长时，噪声增多。因此，在相同曝光量的情况下，噪声量可能随快门速度而变化。如果不考虑这样的拍摄条件，就不能够以高精度去噪。

[0006] 考虑到前述问题，期望提供一种可以以高精度去噪的图像处理方法和图像处理装置。

[0007] 根据本发明的实施例，提供了一种图像处理方法，其使用按时间顺序相继的第一静止图像和第二静止图像并且输出经降噪的图像。第二静止图像的运动被逐块地补偿。第一静止图像和经运动补偿的第二静止图像的相加可靠性被逐个像素地判定，并且相对应的加权因子被设定。第一静止图像和经运动补偿的第二静止图像利用加权因子被相加或者平均，并且处理后的图像被获得。逐像素地执行的相加可靠性判定包括：提供多个像素值和噪声量的表，并且按照与根据拍摄条件从所述表中选出的一个表，来估计噪声量；根据所估计的噪声量，生成表示两个图像的空间上相同位置处的两个像素的指标值和加权因子的关系的表；以及根据所述表获得针对所述指标值的加权因子，其中，所述指标值是所述两个像素的差的绝对值，所述两个像素的移动平均的差的绝对值，或者所述两个像素的移动方差的差的绝对值。

[0008] 根据本发明的实施例，提供了一种图像处理方法，其使用按时间顺序相继的第一静止图像、第二静止图像和第三静止图像，并且输出经降噪的图像。第二静止图像的运动被逐块地补偿。第一静止图像和经运动补偿的第二静止图像的相加可靠性被逐个像素地判定，并且相对应的第一加权因子被设定。第一静止图像和经运动补偿的第二静止图像利用第一加权因子被相加或者平均，并且处理后的图像被获得。第三静止图像的运动被逐块地补偿。该处理后的图像和经运动补偿的第三静止图像的相加可靠性被逐个像素地判定，并且相对应的第二加权因子被设定。该处理后的图像和经运动补偿的第三静止图像利用第二加权因子被相加或者平均，并且处理后的图像被获得。逐像素地执行的相加可靠性判定包括：提供多个像素值和噪声量的表，并且按照与根据拍摄条件从所述表中选出的一个表，来估计噪声量；根据所估计的噪声量，生成表示两个图像的空间上相同位置处的两个像素的指标值和加权因子的关系的表；以及根据所述表获得针对所述指标值的加权因子，其中，所述指标值是所述两个像素的差的绝对值，所述两个像素的移动平均的差的绝对值，或者所述两个像素的移动方差的差的绝对值。

[0009] 根据本发明的实施例，提供了一种降低以预定时间单位的间隔输入的运动图像中的噪声的图像处理方法。在一个预定时间单位之前被处理了的图像的运动被逐块地补偿。当前运动图像和经运动补偿的在一个预定时间单位之前被处理了的图像的相加可靠性被逐个像素地判定，并且相对应的加权因子被设定。当前运动图像和经运动补偿的在一个预定时间单位之前被处理了的图像利用加权因子被相加或者平均，并且对应于当前运动图像的经处理图像被获得。逐像素地执行的相加可靠性判定包括：提供多个像素值和噪声量的表，并且按照与根据拍摄条件从所述表中选出的一个表，来估计噪声量；根据所估计的噪声量，生成表示两个图像的空间上相同位置处的两个像素的指标值和加权因子的关系的表；
以及根据所述表获得针对所述指标值的加权因子，其中，所述指标值是所述两个像素的差的绝对值，所述两个像素的移动平均的差的绝对值，或者所述两个像素的移动方差的差的绝对值。

[0010] 根据本发明的实施例，提供了一种降低以预定时间单位的间隔输入的运动图像中的噪声的图像处理方法。当前运动图像和在一个预定时间单位之前被处理了的图像的运动向量被逐块地获得。在一个预定时间单位之前被处理了的图像以及在两个预定时间单位之前被处理了的图像的运动通过运动向量被补偿。当前运动图像和经运动补偿的在一个预定时间单位之前被处理了的图像的相加可靠性被逐个像素地判定，并且相对应的第一加权因子被设定。当前运动图像和经运动补偿的在一个时间单位之前被处理了的图像被相加或者平均，并且第一经处理图像被获得。经运动补偿的在两个预定时间单位之前被处理了的图像和第一经处理图像的相加可靠性被逐个像素地判定，并且相对应的第二加权因子被设定。经运动补偿的在两个预定时间单位之前被处理了的图像和第一经处理图像通过第二加权因子被相加或者平均，并且对应于当前运动图像的第二经处理图像被获得。逐像素地执行的相加可靠性判定包括：提供多个像素值和噪声量的表，并且按照与根据拍摄条件从所述表中选出的一个表，来估计噪声量；根据所估计的噪声量，生成表示两个图像的空间上相同位置处的两个像素的指标值和加权因子的关系的表；以及根据所述表获得针对所述指标值的加权因子，其中，所述指标值是所述两个像素的差的绝对值，所述两个像素的移动平均的差的绝对值，或者所述两个像素的移动方差的差的绝对值。

[0011] 根据本发明的实施例，提供了一种图像处理装置，其使用按时间顺序相继的第一静止图像和第二静止图像并且输出经降噪的图像。该图像处理装置包括运动补偿设备、判定设备和加法设备。运动补偿设备逐块地补偿第二静止图像的运动。判定设备逐个像素地判定第一静止图像和经运动补偿的第二静止图像的相加可靠性，并且设定相对应的加权因子。加法设备用加权因子来相加或者平均第一静止图像和经运动补偿的第二静止图像，并且获得处理后的图像。判定设备逐像素地执行的相加可靠性判定包括：提供多个像素值和噪声量的表，并且按照与根据拍摄条件从所述表中选出的一个表，来估计噪声量；根据所估计的噪声量，生成表示两个图像的空间上相同位置处的两个像素的指标值和加权因子的关系的表；以及根据所述表获得针对所述指标值的加权因子，其中，所述指标值是所述两个像素的差的绝对值，所述两个像素的移动平均的差的绝对值，或者所述两个像素的移动方差的差的绝对值。

[0012] 根据本发明的实施例，提供了一种图像处理装置，其使用按时间顺序相继的第一静止图像、第二静止图像和第三静止图像，并且输出经降噪的图像。该图像处理装置包括运动补偿设备、判定设备和加法设备。运动补偿设备逐块地补偿第二静止图像的运动。判定设备逐个像素地判定第一静止图像和经运动补偿的第二静止图像的相加可靠性，并且设定相对应的第一加权因子。加法设备用第一加权因子来相加或者平均第一静止图像和经运动补偿的第二静止图像，并且获得处理后的图像。运动补偿设备逐块地补偿第三静止图像的运动。判定设备逐个像素地判定处理后的图像和经运动补偿的第三静止图像的相加可靠性，并且设定相对应的第二加权因子。加法设备用第二加权因子来相加或者平均处理后的图像和经运动补偿的第三静止图像，并且获得处理后的图像。判定设备逐像素地执行的相加可靠性判定包括：提供多个像素值和噪声量的表，并且按照与根据拍摄条件从所述表中选出的一个表，来估计噪声量；根据所估计的噪声量，生成表示两个图像的空间上相同位置处的两个像素的指标值和加权因子的关系的表；以及根据所述表获得针对所述指标值的加权因子，其中，所述指标值是所述两个像素的差的绝对值，所述两个像素的移动平均的差的绝对值，或者所述两个像素的移动方差的差的绝对值。

[0013] 根据本发明的实施例，提供了一种降低以预定时间单位的间隔输入的运动图像中的噪声的图像处理装置。该图像处理装置包括运动补偿设备、判定设备和加法设备。运动补偿设备逐块地补偿在一个预定时间单位之前被处理了的图像的运动。判定设备逐个像素地判定当前运动图像和经运动补偿的在一个预定时间单位之前被处理了的图像的相加可靠性，并且设定相对应的加权因子。加法设备用所述加权因子来相加或者平均当前运动图像和经运动补偿的在一个预定时间单位之前被处理了的图像，并且获得对应于当前运动图像的处理后的图像。判定设备逐像素地执行的相加可靠性判定包括：提供多个像素值和噪声量的表，并且按照与根据拍摄条件从所述表中选出的一个表，来估计噪声量；根据所估计的噪声量，生成表示两个图像的空间上相同位置处的两个像素的指标值和加权因子的关系的表；以及根据所述表获得针对所述指标值的加权因子，其中，所述指标值是所述两个像素的差的绝对值，所述两个像素的移动平均的差的绝对值，或者所述两个像素的移动方差的差的绝对值。

[0014] 根据本发明的实施例，提供了一种降低以预定时间单位的间隔输入的运动图像中的噪声的图像处理装置。该图像处理装置包括运动补偿设备、判定设备和加法设备。运动补偿设备逐块地获得当前运动图像和在一个预定时间单位之前被处理了的图像的运动向量，并且用运动向量来补偿在一个预定时间单位之前被处理了的图像以及在两个预定时间单位之前被处理了的图像的运动。判定设备逐个像素地判定当前运动图像和经运动补偿的在一个预定时间单位之前被处理了的图像的相加可靠性，并且设定相对应的第一加权因子。加法设备相加或者平均当前运动图像和经运动补偿的在一个时间单位之前被处理了的图像，并且获得第一经处理图像。判定设备逐个像素地判定经运动补偿的在两个预定时间单位之前被处理了的图像和第一经处理图像的相加可靠性，并且设定相对应的第二加权因子。加法设备用第二加权因子相加或者平均经运动补偿的在两个预定时间单位之前被处理了的图像和第一经处理图像，并且获得对应于当前运动图像的第二经处理图像。判定设备逐像素地执行的相加可靠性判定包括：提供多个像素值和噪声量的表，并且按照与根据拍摄条件从所述表中选出的一个表，来估计噪声量；根据所估计的噪声量，生成表示两个图像的空间上相同位置处的两个像素的指标值和加权因子的关系的表；以及根据所述表获得针对所述指标值的加权因子，其中，所述指标值是所述两个像素的差的绝对值，所述两个像素的移动平均的差的绝对值，或者所述两个像素的移动方差的差的绝对值。

[0015] 根据本发明的实施例，当以较低光强拍摄图像时，即使相机移动或者运动物体的图像被拍摄，也可以获得降噪效果。根据本发明的实施例，相加可靠性被逐个像素地判定。因此，可以以高准确度降噪。此外，块畸变可以被抑制。此外，出现在平坦部分中的较大色噪声(color noise)可以被降低。

[0016] 根据以下的对如在附图中所示出的本发明的实施例的最佳模式的详细描述，本发明的这些和其他目的、特征以及优点将变得更加清楚。

附图说明

[0017] 图1是示出本发明的实施例的整体结构的框图；

[0018] 图2是示出根据本发明的实施例的降噪设备的示例的框图；

[0019] 图3是示出根据本发明的实施例的相加可靠性判定设备的示例的框图；

[0020] 图4是示出在被置于相加可靠性判定设备中的噪声量估计设备中所存储的像素值对噪声量表的概念的示意图；

[0021] 图5是示出被置于相加可靠性判定设备中的像素相加可靠性判定设备的示例的框图；

[0022] 图6是示出可以被使用的可靠性判定曲线的若干示例的示意图；

[0023] 图7是示出可靠性判定曲线的示例的示意图；

[0024] 图8是示出被置于相加可靠性判定设备中的加法设备的示例的框图；

[0025] 图9是示出被置于相加可靠性判定设备中的隐藏区域处理设备的示例的框图；

[0026] 图10是描述根据本发明的实施例的静止图像处理的流程图；

[0027] 图11是描述静止图像处理的参考关系的状态转移图；

[0028] 图12是描述根据本发明的实施例的相加两个运动图像的运动图像处理的流程图；

[0029] 图13是描述相加两个运动图像的运动图像处理的参考关系的状态转移图；

[0030] 图14是描述根据本发明的实施例的相加三个运动图像的运动图像处理的流程图；

[0031] 图15是描述相加三个运动图像的运动图像处理的参考关系的状态转移图；

[0032] 图16是描述根据本发明的实施例的相加三个运动图像的运动图像处理(包括隐藏区域处理)的流程图；

[0033] 图17是描述相加三个运动图像的运动图像处理(包括隐藏区域处理)的参考关系的状态转移图；

[0034] 图18是示出根据本发明的实施例的降噪设备的示例的框图；

[0035] 图19是示出根据本发明的另一实施例的加权因子校正设备的结构的示例的框图；

[0036] 图20是描述根据本发明的另一处理的块噪声降低处理的示意图；以及[0037] 图21是描述根据本发明的另一实施例的色噪声降低处理的示意图。

具体实施方式

[0038] 接下来，将参考附图来描述根据本发明的实施例的具有图像处理装置的图像捕捉装置的示例。图1示出根据本发明的实施例的图像捕捉装置的整体结构。来自物体的光线通过图像捕捉光学系统(未示出)进入图像传感器101。

[0039] 图像捕捉光学系统具有放大/缩小物体图像的变焦镜头、调整焦距的聚焦镜头、调整光线量的光圈(光孔)、ND(中性密度)滤镜和驱动这些镜头以及光圈的驱动电路。由驱动器(未示出)来驱动变焦镜头、聚焦镜头、光圈和ND滤镜。

[0040] 图像传感器101是CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等。图像传感器101捕捉对应于物体光线的图像信号。虽然图像捕捉装置的示例是可以拍摄运动图像和静止图像的可携式摄录机(可携式摄录机指相机加录像机)，但是图像捕捉装置可以是静止图像数字相机、PDA(个人数据助理)、手机等。

[0041] 图像传感器101可以具有原色系统或者补色系统。物体图像已经被转换到的RGB原色系统图像信号或者补色系统图像信号的每个颜色信号被采样保持(sample-held)。颜色信号的增益由AGC(自动增益控制)来控制，被转换为数字图像信号(称作原始数据)，然后被输出。将原始数据从图像传感器101供应到被构造为IC(集成电路)的相机信号处理部件102。相机信号处理部件102执行显影处理，亮度和色差信号转换处理等。

[0042] 从相机信号处理部件102输出的图像信号被供应给降噪设备103。降噪设备103对图像信号执行降噪处理并且输出经降噪的图像信号。相机控制部件104(由微型计算机构成)将针对估计噪声量的拍摄条件信息供应给降噪设备103。拍摄条件信息包括关于拍摄模式、曝光时间、增益等的信息。

[0043] 图2示出降噪设备103的示例。降噪设备103具有帧存储器201、运动预测设备202、运动补偿设备203、相加可靠性判定设备204、加法设备205和隐藏区域处理设备206。

[0044] 接下来，将描述降噪设备103的结构元件。标准图像和参考图像被输入运动预测设备202。运动预测设备202将被逐块输入的参考图像与标准图像对准(align)，并输出针对每个块的运动向量MV，所述块是对应于图像尺寸被指定的。运动向量MV表示参考图像相对于标准图像的运动量和运动方向。运动向量MV可以通过例如块匹配方法被检测到。例如，作为块的示例，宏块可以被使用。

[0045] 运动补偿设备203与运动向量MV相应地来补偿输入图像的运动，并且输出经运动补偿的图像(称作MC图像)。就这一点而言，可以通过开关SW来选择输入图像，并且可以与从一组图像获得的运动向量相应地来补偿所选择的图像的运动。开关SW选择参考图像和前一帧的MC图像之一，并且将所选择的图像输入到运动补偿设备203。

[0046] MC图像被供应给相加可靠性判定设备204和加法设备205。标准图像被供应给相加可靠性判定设备204和加法设备205。从相机控制部件中输出的拍摄条件信息被供应给相加可靠性判定设备204。加法设备205通过由相加可靠性判定设备204生成的加权因子来相加MC图像和标准图像。

[0047] 可以将本发明的该实施例针对针对静止图像和运动图像二者进行降噪。当静止图像被拍摄时，以图像捕捉装置的最大速度连续拍摄多个静止图像。当图像传感器101是CCD时，以大约每秒2个图像的速度连续拍摄图像。当图像传感器101是CMOS时，以例如每秒30到60个图像的速度连续拍摄图像。在这种情况下，第一个拍摄图像是标准图像并且第二个拍摄图像是参考图像。与运动向量MC相应地来补偿参考图像的运动，从而生成MC图像。
加法设备205用从相加可靠性判定设备204中供应的加权因子来相加标准图像和MC图像。
结果，经降噪的图像(称作NR图像)被生成。

[0048] 从加法设备205输出的第一NR图像被存储在帧存储器201中。第一NR图像被视为标准图像。第二拍摄图像被视为参考图像。对这两个图像执行与前述操作类似的降噪操作。通过重复降噪操作，随机噪声成分被减少。

[0049] 标准图像和MC图像被供应给隐藏区域处理设备206。当在时间先后顺序上与标准图像分离了一个或多个图像的MC图像被视为参考图像时，隐藏区域处理设备206抑制具有低可靠性的隐藏区域的MC部分的图像质量恶化的传播。经帧存储器201处理的图像被存储在帧存储器201中。

[0050] 在相加可靠性判定设备204中逐个像素地生成在加法设备205中使用的加权因子。加权因子表示加法的可靠性。换言之，在标准图像和MC图像之间的运动补偿的正确性被判定。当标准图像和MC图像相加时，如果经相加的图像的质量没有变坏，但是噪声降低，那么这些像素具有较高的可靠性。具体地，当在不同时间拍摄的图像的相同部分的像素被相加时，因为与时间无关的噪声可以被降低，所以这些像素具有较高的可靠性。换言之，可靠性表示噪声是否在相同图像上叠加或者噪声是否在不同图像上叠加。有必需生成尽可能仅对应于噪声量的加权因子，从而以较高精度来执行降噪处理。假设当相加可靠性较低时加权因子的值是0，并且当相加可靠性较高时加权因子的值是1。如将在下文中描述的，加法设备205计算标准图像和MC图像的平均。该平均的加权因子是加权因子和反馈比的乘积。当反馈比例如是1/3并且加权因子从0到1变化时，MC值的平均的加权因子从0到1/3变化。

[0051] 图3示出相加可靠性判定设备204的示例。相加可靠性判定设备204具有针对亮度信号Y以及色差信号Cb和Cr的相同的判定部件。首先，将描述针对亮度信号Y的判定部件的结构。

[0052] 标准图像和MC图像的在空间上相同位置处的像素数据通过前置滤波器300和301被供应给减法设备302。减法设备302计算像素值的差。绝对值计算设备303将该差转换为其绝对值。前置滤波器300和301去除图像的高频成分，从而改善对相加可靠性的判定效果。换言之，绝对值计算设备303输出输入信号的绝对值。该差的绝对值被供应给像素相加可靠性判定设备304。

[0053] 噪声量估计设备305的输出信号被供应给像素相加可靠性判定设备304。噪声量估计设备305估计对应于像素值的噪声量，输入诸如可能从外部影响图像的噪声量的关于拍摄模式、曝光时间、增益等的信息之类的拍摄条件信息，并且存储在各种条件下测得的亮度值和噪声量的关系的数据表。噪声量估计设备305从该表中获得亮度值和噪声量的关系并且输出对应于输入亮度值的噪声量。

[0054] 例如，随机噪声趋向于与曝光时间成比例地增大。例如，随机噪声趋向于与所捕捉到的图像信号的放大增益成比例地增大。因此，对应于作为拍摄条件的快门速度和/或增益的像素值和噪声量的表被准备。此外，图像捕捉装置的拍摄模式可以被用作拍摄条件。例如，逐帧地设定拍摄条件。

[0055] 图4示出在噪声量估计设备305中存储的像素值对噪声量的表的概念。图4定义对应于拍摄条件1到拍摄条件N的像素值和噪声量的关系。噪声量估计设备305输入拍摄条件信息，即从相机控制部件104影响图像的噪声量的关于拍摄模式、快门速度(曝光时间)、增益等的信息，获得在个别拍摄条件下测得的该条件的亮度值和噪声量的关系，并且输出在该拍摄条件下的对应于输入亮度值的噪声量。

[0056] 从噪声量估计设备305中输出的噪声量和从绝对值计算设备303中输出的像素值(亮度)的差的绝对值被供应给像素相加可靠性判定设备304。该差的绝对值是对像素相加可靠性判定设备304的输入指标值。像素相加可靠性判定设备304输出加权因子作为相对于该指标值的相加可靠性。

[0057] 图5示出像素相加可靠性判定设备的示例。像素相加可靠性判定设备304由转换设备601、可靠性判定曲线生成设备602和相加可靠性判定设备603组成，该转换设备601将从噪声量估计设备305输出的噪声量转换为判定阈值。转换设备601通过使用基于视觉特性而确定的表，将噪声量转换为可靠性判定阈值，并且输出该可靠性判定阈值。基于可靠性判定阈值来确定可靠性判定曲线的形状。可靠性判定曲线表示作为误差量的输入指标值和作为相对于该误差的可靠性的加权因子之间的关系。

[0058] 图6示出可以被使用的可靠性判定曲线的若干示例。在这些曲线图中，横轴表示输入指标值并且纵轴表示对应于指标值的加权因子。在每条曲线中，加权因子是0的指标值和加权因子从1开始改变的指标值是可靠性判定阈值。可靠性判定阈值与噪声量成比例。因此可靠性判定阈值的指标值与噪声量成比例。

[0059] 可靠性判定曲线生成设备602用从转换设备601输出的可靠性判定阈值来决定可靠性判定曲线，并输出可靠性判定曲线。例如，可靠性判定曲线被作为表存储在存储器中。相加可靠性判定设备603基于可靠性判定曲线输入指标值，并且输出对应于该指标值的加权因子。将加权因子从像素相加可靠性判定设备304供应到乘法设备306。因为相加可靠性判定设备304使用根据与每个像素值相对应的噪声量而生成的可靠性判定曲线，所以它逐个像素地执行转换、计算和判定处理。

[0060] 在图7所示的可靠性判定曲线的示例中，当输入指标值小于可靠性判定阈值1时，相对于该指标值的加权因子是1。当输入指标值在从可靠性判定阈值1到可靠性判定阈值2的范围内时，相对于该指标值的加权因子逐渐减小到0。可靠性判定阈值1和可靠性判定阈值2限定了可靠性判定曲线的形状。噪声量与对应于可靠性判定阈值1和可靠性判定阈值2的指标值成比例。输入指标值被转换为对应于图7所示的可靠性判定曲线的加权因子，并且经转换的加权因子被输出。

[0061] 从像素相加可靠性判定设备304输出的加权因子被供应给乘法设备306。乘法设备306将从像素相加可靠性判定设备304输出的加权因子与以相同方式获得的作为关于亮度信号的移动平均的像素差的绝对值的加权因子相乘。从乘法设备306输出的合成加权因子被供应给乘法设备325。乘法设备325将从乘法设备306输出的合成加权因子与以相同方式获得的作为关于亮度信号的移动方差的像素差的绝对值的加权因子相乘。此外，从乘法设备325输出的合成加权因子被供应给乘法设备326。乘法设备326将从325输出的合成加权因子与关于彩色信号的像素、移动平均以及移动方差而获得的加权因子相乘。乘法设备326输出由相加可靠性判定设备204生成的加权因子。合成的加权因子被供应给加法设备205。

[0062] 接下来，将描述指标值是亮度信号的移动平均的差的绝对值以及亮度信号的移动方差的差的绝对值的情况。如图3所示，标准图像和MC图像的在空间上的相同位置处的像素数据分别通过前置滤波器300和301被供应给移动平均计算设备310和311。类似地，标准图像和MC图像的在空间上的相同位置处的像素数据分别通过前置滤波器300和301被供应给移动方差计算设备320和321。

[0063] 移动平均计算设备310和311计算在待计算的像素(中央像素)周围的正方形区域(例如(5×5)的像素区域)中的像素值的移动平均。随着中央像素移动，正方形区域移动使得其与前一像素的计算区域交迭并且移动平均被计算。移动方差计算设备320和321计算在待计算的像素(中央像素)周围的正方形区域中的像素值的方差。随着中央像素移动，正方形区域移动使得其与前一像素的计算区域交迭并且移动方差被计算。

[0064] 关于移动平均和移动方差，加权因子被获得以更精确地降低噪声量。当多个像素的区域的移动平均或者移动方差不同时，更常见地判定图像不同而不是判定像素值的差的绝对值是噪声。

[0065] 移动平均计算设备310和311的输出信号被供应给减法设备312。移动方差计算设备320和321的输出信号被供应给减法设备322。减法设备312和减法设备322分别计算移动平均的差和移动方差的差。绝对值计算设备313和323将这些差转换为它们的绝对值。绝对值计算设备313输出移动平均的差的绝对值。绝对值计算设备323输出移动方差的差的绝对值。这些差的绝对值被供应给移动平均相加可靠性判定设备314和移动方差相加可靠性判定设备324。

[0066] 噪声量估计设备305的输出信号还被供应给移动平均相加可靠性判定设备314和移动方差相加可靠性判定设备324。移动平均相加可靠性判定设备314和移动方差相加可靠性判定设备324的结构与像素相加可靠性判定设备304(参见图5)的相同。移动平均相加可靠性判定设备314和移动方差相加可靠性判定设备324基于由噪声量转换来的可靠性判定阈值，生成可靠性判定曲线(表)。当移动平均的差的绝对值和移动方差的差的绝对值被作为可靠性判定曲线的指标值给出时，加权因子被获得。从移动平均相加可靠性判定设备314输出的针对亮度信号的加权因子被供应给乘法设备306。从移动方差相加可靠性判定设备324输出的针对亮度信号的加权因子被供应给乘法设备325。

[0067] 已经描述了通过亮度信号的像素的差的绝对值、亮度信号的移动平均的差的绝对值以及亮度信号的移动方差的差的绝对值的指标值来获得加权因子的处理。类似地，关于彩色信号，加权因子被获得。对于分量彩色视频信号而言，亮度信号Y的采样频率、色差信号Cb的采样频率以及色差信号Cr的采样频率的比被表示为(4∶2∶0)、(4∶2∶2)和(4∶1∶1)。类似于前述的亮度信号Y，色差信号Cb和Cr的加权因子被获得。

[0068] 对于亮度信号Y以及色差信号Cb和Cr，针对图像的相同区域来执行加权因子生成处理。根据前述的采样频率的比可知，针对色差信号Cr和Cb而获得的加权因子相对于针对亮度信号Y而获得加权因子而言在数目上不足。为了解决该问题，设置了执行插值处理的上采样电路527。从上采样电路527输出的针对色差信号的加权因子被供应给乘法设备326。乘法设备326将从上采样电路527输出的加权因子与针对亮度信号的加权因子相乘。

[0069] 接下来，将描述针对色差信号Cb的处理。标准图像的色差信号Cb通过前置滤波器400被供应给噪声量估计设备405。拍摄条件信息被供应给噪声量估计设备405。类似于针对亮度信号的噪声量估计设备305，噪声量估计设备405基于表示对应于个别拍摄条件的像素值和噪声量的关系的表，输出噪声量的估计值。该噪声量的估计值被输出到像素相加可靠性判定设备404。

[0070] 标准图像的色差信号Cb和MC图像的色差信号Cb分别通过前置滤波器400和前置滤波器401被供应给减法设备402。绝对值计算设备403将减法设备402的相减结果转换为其绝对值。像素相加可靠性判定设备404获得其指标值是像素的差的绝对值的加权因子。像素相加可靠性判定设备404的结构与像素相加可靠性判定设备304(参见图5)的相同。像素相加可靠性判定设备404输出加权因子，即对应于指标值(像素的差的绝对值)的相加可靠性。

[0071] 接下来，将描述指标值是色差信号Cb的移动平均的差的绝对值以及色差信号Cb的移动方差的差的绝对值的情况。标准图像和MC图像的在空间上的相同位置处的像素数据分别通过前置滤波器400和401被供应给移动平均计算设备410和411。类似地，标准图像和MC图像的在空间上的相同位置处的像素数据分别通过前置滤波器400和401被供应给移动方差计算设备420和421。移动平均计算设备410和411计算在待计算的像素(中央像素)周围的正方形区域中的像素值的移动平均。随着中央像素移动，正方形区域移动使得其与前一像素的计算区域交迭并且移动平均被计算。移动方差计算设备420和421计算在待计算的像素(中央像素)周围的正方形区域中的像素值的方差。随着中央像素移动，正方形区域移动使得其与前一像素的计算区域交迭并且移动方差被计算。关于移动平均和移动方差，加权因子被获得以更精确地降低噪声量。

[0072] 移动平均计算设备410和411的输出信号被供应给减法设备412。移动方差计算设备420和421的输出信号被供应给减法设备422。减法设备412和减法设备422分别计算移动平均的差和移动方差的差。绝对值计算设备413和423将这些差转换为它们的绝对值。绝对值计算设备413输出移动平均的差的绝对值。绝对值计算设备423输出移动方差的差的绝对值。这些差的绝对值被供应给移动平均相加可靠性判定设备414和移动方差相加可靠性判定设备424。噪声量估计设备405的输出信号还被供应给移动平均相加可靠性判定设备414和移动方差相加可靠性判定设备424。移动平均相加可靠性判定设备414和移动方差相加可靠性判定设备424的结构与像素相加可靠性判定设备304(参见图5)的相同。移动平均相加可靠性判定设备414和移动方差相加可靠性判定设备424分别输出加权因子，即关于移动平均的差的绝对值和移动方差的差的绝对值的指标值的相加可靠性。

[0073] 从移动平均相加可靠性判定设备414输出的针对色差信号Cb的加权因子被供应给乘法设备406。乘法设备406将从移动平均相加可靠性判定设备414输出的加权因子与从像素相加可靠性判定设备404输出的加权因子相乘。从移动方差相加可靠性判定设备424输出的针对色差信号Cb的加权因子被供应给乘法设备425。乘法设备425将从移动方差相加可靠性判定设备424输出的加权因子与从乘法设备406输出的加权因子相乘。

[0074] 对于另一色差信号Cr，设置了与前述色差信号Cb相同的结构。换言之，前置滤波器500和501、噪声量估计设备505、减法设备502、绝对值计算设备503和像素相加可靠性判定设备504获得其指标值是色差信号Cr的像素的差的绝对值的加权因子。前置滤波器500和501、噪声量估计设备505、移动平均计算设备510和511、减法设备512、绝对值计算设备513和移动平均相加可靠性判定设备514获得其指标值是色差信号Cr的移动平均的差的绝对值的加权因子。前置滤波器500和501、噪声量估计设备505、移动方差计算设备
520和521、减法设备522、绝对值计算设备523和移动方差相加可靠性判定设备524获得其指标值是色差信号Cr的移动方差的差的绝对值的加权因子。

[0075] 乘法设备506将其指标值是像素的差的绝对值的加权因子与其指标值是移动平均的差的绝对值的加权因子相乘。乘法设备525将从乘法设备506输出的加权因子与其指标值是移动方差的差的绝对值的加权因子相乘。乘法设备526将从乘法设备525输出的色差信号Cr的加权因子与前述的色差信号Cb的加权因子相乘。从乘法设备526输出的加权因子被供应给上采样电路527。上采样电路527对与色差格式相对应的色差的加权因子进行插值，并且使色差信号的加权因子的数目与亮度信号的加权因子数目相匹配。乘法设备326将从乘法设备325输出的加权因子与从上采样电路527输出的加权因子相乘。乘法设备326输出表示待考虑的像素的最终可靠性的加权因子。这些加权因子将亮度像素、亮度移动平均、亮度移动方差、色差像素、色差移动平均和色差移动方差表示为在0到1的范围内的连续值。

[0076] 图8示出加法设备205的示例。乘法设备605将从相加可靠性判定设备204输出的加权因子与MC图像的反馈系数W相乘。从乘法设备605输出的系数(α)被供应给乘法设备606。乘法设备606将MC图像与系数α相乘。系数α还被供应给减法设备607。减法设备607生成(1-α)。(1-α)被供应给乘法设备608。乘法设备608将标准图像与(1-α)相乘。加法设备609将从乘法设备606输出的图像与乘法设备608的输出相加。加法设备609获得经去除噪声的NR图像。当通过第0帧、第1帧、第2帧、...、和第k帧来连续表示帧时，用1/(k+1)来表示反馈系数w。当已经判定相同图像包含噪声时，加权因子变为最大值(1)并且α变为1/2。当已经判定图像不同时，加权因子变为最小值(0)并且α变为0。

[0077] 图9示出隐藏区域处理设备206的示例。隐藏区域处理设备206防止当在时间顺序上与标准图像分离了至少一个图像的MC图像被用作参考图像时，在具有较低可靠性的隐藏区域中的MC部分的图像质量恶化传播。

[0078] 如图9所示，减法设备611获得标准图像和MC图像之间的差。减法设备612从该差中减去阈值Thr。相减结果被供应给开关控制器613。在具有较低可靠性的隐藏区域中所包含的像素被检测为大于阈值Thr的像素，表示相减结果为正。

[0079] MC图像的像素数据被供应给开关614的一个端子，而标准图像的像素数据被输入其另一输入端子。开关614使差值大于阈值Thr的像素数据被标准图像的像素数据替代。开关614的输出图像被存储在帧存储器201(参见图2)中。开关614的输出图像在下一帧处理中被用作参考图像。

[0080] 接下来，将描述本发明的前述实施例的处理的具体示例。首先，将参考图10和图11所示的流程图和状态转移图来描述连续拍摄的例如三个静止图像的静止图像处理以及从其中进行降噪的处理。在该示例中，假设用Qrg(t)、Qrg(t+1)和Qrg(t+2)来分别表示在时间t、t+1和t+2拍摄的三个静止图像。

[0081] 在流程图的第一个步骤S1，运动预测设备202预测作为参考图像的Qrg(t+1)相对于作为标准图像的Qrg(t)的运动，从而获得运动向量MV。在图11中，用运动预测ST1来表示获得运动向量MV的处理，该运动向量MV表示参考图像Qrg(t+1)相对于标准图像Qrg(t)的运动。

[0082] 在步骤S2，运动补偿设备203用运动向量MV来补偿参考图像Qrg(t+1)的运动，从而获得MC图像MC(t+1)。在图11中，用运动补偿ST2来表示获得MC图像的处理。

[0083] 在步骤S3，相加可靠性判定设备204用已经通过运动补偿被对准的标准图像Qrg(t)和MC图像MC(t+1)来判定相加可靠性，从而获得加权因子。在图11中，用相加可靠性判定ST3来表示获得加权因子的处理。

[0084] 在步骤S4，加法设备205用加权因子将标准图像Qrg(t)和MC图像MC(t+1)相加。在图11中，用加法ST4来表示加法处理。通过该加法处理，经降噪的NR图像NR(t)被获得。

[0085] 接下来，在步骤S5，运动预测设备202预测作为参考图像的静止图像Qrg(t+2)相对于作为标准图像的NR(t)的运动，从而获得运动向量MV。在图11中，用运动预测ST5来表示获得运动向量MV的处理，该运动向量MV表示参考图像Qrg(t+2)相对于标准图像NR(t)的运动。

[0086] 在步骤S6，运动补偿设备203用运动向量MV来补偿参考图像Qrg(t+2)的运动，从而获得MC图像MC(t+2)。在图11中，用运动补偿ST6来表示获得MC图像的处理。

[0087] 在步骤S7，相加可靠性判定设备204用已经通过运动补偿处理被对准的标准图像NR(t)和MC图像MC(t+2)来判定相加可靠性，从而获得加权因子。在图11中，用相加可靠性判定ST7来表示获得加权因子的处理。

[0088] 在步骤S8，加法设备205用加权因子将标准图像NR(t)和MC图像MC(t+2)相加。在图11中，用加法ST8来表示加法处理。通过该加法处理，经降噪的NR图像NR′(t)被获得。

[0089] 如上所述，通过运动补偿处理将标准图像与另一图像对准，然后将标准图像与MC图像相加。作为加法结果的NR图像在下一处理中用作标准图像。通过类似的处理，NR图像被获得。静止图像被递归地处理。

[0090] 在图10和图11示出的处理中，逐块地(例如，逐个宏块地)执行运动预测处理和运动补偿处理。相反，逐个像素地执行相加可靠性判定处理和加法处理。随后将描述这些处理应用于运动图像处理的情况。在前述示例中，三个静止图像被输入。即使是两个或者四个或者更多个静止图像被输入，也可以执行类似的递归处理。

[0091] 接下来，将参考图12所示的流程图和图13所示的状态转移图来描述相加两个运动图像的处理。假设用Org(t)表示在时间t拍摄的最新图像(帧)并且用NR(t-1)表示在其前一帧的已经被处理的图像。在前述的静止图像处理中，通过同时拍摄它们来获得多个图像。在运动图像处理中，图像被连续拍摄。以预定的帧速率，例如以1/30秒的时间间隔来输入每个帧。

[0092] 在第一个步骤S11，运动预测设备202预测作为参考图像的NR(t-1)相对于作为标准图像的Qrg(t)的运动，从而获得运动向量MV。在图13中，用运动预测ST11来表示获得运动向量MV的处理，该运动向量MV表示参考图像NR(t-1)相对于标准图像Qrg(t)的运动。

[0093] 在步骤S12，运动补偿设备203用运动向量MV来补偿参考图像NR(t-1)的运动，从而获得MC图像MC(t-1)。在图13中，用运动补偿ST12来表示获得MC图像的处理。

[0094] 在步骤S13，相加可靠性判定设备204判定已经通过运动补偿处理被对准的标准图像Qrg(t)和MC图像MC(t-1)的相加可靠性，从而获得加权因子。在图13中，用相加可靠性判定ST13来表示获得加权因子的处理。

[0095] 在步骤S14，加法设备205用加权因子将标准图像Qrg(t)和MC图像MC(t-1)相加。在图13中，用加法ST14来表示加法处理。通过该加法处理，经降噪的NR图像NR(t)被获得。针对下一帧图像Org(t+1)的处理与将NR图像NR(t)用作参考图像的前述处理相同。

[0096] 在运动图像处理中，最新图像和前一图像被对准并且相加。在运动图像处理中，运动预测处理未被执行与待相加的运动图像的数目相对应的次数。作为替代，仅针对紧接着的前一图像来执行运动预测处理。对于分离了两个或多个图像的图像，已经与当前图像的前一图像相加了的MC图像被存储，并且参考当前图像相对于紧接着的前一图像的运动向量来执行运动补偿处理。因此，可以针对一个图像执行一次运动预测处理。

[0097] 图14和图15是示出相加三个运动图像的运动图像处理的流程图和状态转移图。假设用Org(t)表示在时间t拍摄的最新图像(帧)，用NR(t-1)表示在其前一帧的已经被处理的图像，并且用MC(t-2)表示在其前一帧的已经被相加并存储了的MC图像。

[0098] 在第一个步骤S21，运动预测设备202预测作为参考图像的NR(t-1)相对于作为标准图像的Qrg(t)的运动，从而获得运动向量MV。在图15中，用运动预测ST21来表示获得运动向量MV的处理，该运动向量MV表示参考图像NR(t-1)相对于标准图像Qrg(t)的运动。

[0099] 在步骤S22，运动补偿设备203用运动向量MV来补偿参考图像NR(t-1)的运动，从而获得MC图像MC(t-1)。在图15中，用运动补偿ST22来表示获得MC图像MC(t-1)的处理。

[0100] 在步骤S23，相加可靠性判定设备204判定已经通过运动补偿处理被对准的标准图像Qrg(t)和MC图像MC(t-1)的相加可靠性，从而获得加权因子。在图15中，用相加可靠性判定ST23来表示获得加权因子的处理。

[0101] 在步骤S24，加法设备205用加权因子将标准图像Qrg(t)和MC图像MC(t-1)相加。在图15中，用加法ST24来表示加法处理。通过该加法处理，经降噪的NR图像NR(t)被获得。

[0102] 在步骤S25，运动补偿设备203用运动向量MV来补偿MC图像MC(t-2)的运动，从而获得MC图像MC′(t-2)。在图15中，用运动补偿ST25来表示获得MC图像MC′(t-2)的处理。

[0103] 在步骤S26，相加可靠性判定设备204判定作为标准图像的NR图像NR(t)和MC图像MC′(t-2)的相加可靠性，从而获得加权因子。在图15中，用相加可靠性判定ST26来表示获得加权因子的处理。

[0104] 在步骤S27，加法设备205用加权因子将NR图像NR(t)和MC图像MC′(t-2)相加。在图15中，用加法ST27来表示加法处理。通过该加法处理，经降噪的NR图像NR′(t)被获得。

[0105] 类似于前述的处理，在步骤S21(ST21)执行一次运动预测处理。通过用运动向量MV对NR(t-1)和MC(T-2)执行运动补偿处理，三个图像可以被相加而不会较大增加计算量。

[0106] 图16和图17是示出相加三个运动图像的处理以及隐藏区域处理的流程图和状态转移图。假设用Org(t)表示在时间t拍摄的最新图像(帧)，用NR(t-1)表示在其前一帧的已经被处理的图像，并且用MC′(t-2)表示在其前一帧的已经被相加并存储的MC图像。

[0107] 在步骤S31(ST31)的运动预测处理和在步骤S32(ST32)的运动补偿处理对应于在图14和图15所示出的步骤S21(ST21)和步骤S22(ST22)处的那些处理。

[0108] 在步骤S33(ST33)的相加可靠性判定处理和在步骤S34(ST34)的加法处理对应于在图14和图15所示出的步骤S23(ST23)和步骤S24(ST24)处的那些处理。通过该加法处理，经降噪的NR图像NR(t)被获得。

[0109] 在步骤S35，隐藏区域处理设备206针对MC图像MC(t-1)执行隐藏区域处理以降低下一帧的噪声，从而获得MC图像MC′(t-1)。在图17中，用R来表示在运动补偿处理中运动物体所隐藏的隐藏区域的范围，并且用隐藏区域处理ST35来表示隐藏区域处理。

[0110] 在步骤S36，运动补偿设备203用运动向量MV来补偿MC图像MC′(t-2)的运动，从而获得MC图像MC″(t-2)。在图17中，用运动补偿ST36来表示获得MC图像MC″(t-2)的处理。

[0111] 在步骤S37，相加可靠性判定设备204判定作为标准图像的NR图像NR(t)和MC图像MC″(t-2)的相加可靠性，从而获得加权因子。在图17中，用相加可靠性判定ST37来表示获得加权因子的处理。

[0112] 在步骤S38，加法设备205用加权因子将NR图像NR(t)和MC图像MC″(t-2)相加。在图17中，用加法ST38来表示加法处理。通过该加法处理，经降噪的NR图像NR′(t)被获得。

[0113] 在前述的处理中，针对图像MC(t-1)来执行隐藏区域处理，从而生成MC′(t-1)，图像MC(t-1)的图像NR(t-1)已经在此之前一个时间单元被运动补偿。MC′(t-1)被用于下一降噪处理。因此，可以在抑制隐藏区域中的图像变坏的传播的情况下相加三个图像。

[0114] 接下来，将描述本发明的另一实施例。在前述的实施例中，逐块地相对于标准图像来补偿图像运动，从而生成MC图像。逐个像素地判断与MC图像相加是否可靠。因此，可以获得针对手部抖动和运动物体的降噪效果。然而，在特定条件下，图像质量可能由于运动估计处理和运动补偿处理导致变坏。

[0115] 换言之，当多个MC图像被相加时，几乎相同的块畸变出现在相同位置。当畸变的像素值接近标准图像的像素值时，被相加的MC图像导致像质变坏的累积。因此，块畸变出现在处理后的图像中。实际上，当由并未在很大程度上移动的相机拍摄多个图像时，如果运动物体仅存在于标准图像中并且该运动物体并不存在于其他图像中，那么运动物体的运动不能够被正确地估计。因此，相同的块畸变几乎出现在所有的MC图像中。

[0116] 此外，在特定条件下，明显的噪声不能够被充分降低。换言之，出现在平坦部分中的在空间上较大的色噪声具有较大振幅。当在相加可靠性处理中增大该部分的加权因子时，噪声不能够被判定。因此很难降噪。

[0117] 为了解决这些问题，当逐个像素地判断标准图像和MC图像的加法是否可靠时，如下的过程被执行。考虑在MC图像中出现的块畸变，在其中存在噪声的区域中，由于噪声导致块边界不明显。在其中噪声较小的区域中，块边界是明显的。因此其中噪声较小并且平坦的区域(即其中噪声明显的区域)被检测到并且加权因子被校正以在该区域中被减小。该加权因子校正使得在MC图像中出现的块畸变可以被抑制。

[0118] 接下来，将描述降低在平坦部分上出现的在空间上较大的色噪声的处理。当标准图像和MC图像的像素的色差较大时，其中存在色噪声并且色差的平均较小的平坦区域被判定为色噪声，并且将被添加的加权因子被增大。

[0119] 图18示出根据本发明的另一实施例的执行对将被添加的加权因子的校正处理的降噪设备的结构。该降噪设备具有帧存储器201、运动预测设备202、运动补偿设备203、相加可靠性判定设备204、加权因子校正设备207和加法设备205。该降噪设备可以具有与前述实施例相同的隐藏区域处理设备。

[0120] 除校正从相加可靠性判定设备204输出的加权因子的加权因子校正设备207之外，该另一实施例的结构与前述实施例的相同。换言之，该降噪设备是校正从相加可靠性判定设备输出的加权因子的加权因子校正设备(具有在图3中示出的结构)。前述实施例的图像捕捉设备(参见图1)的结构、降噪设备的结构(参见图2)以及相加可靠性判定设备的结构和特性(参见图4)与该另一实施例的相同。

[0121] 图19示出校正从相加可靠性判定设备(具有图3所示的结构)输出的加权因子的加权因子校正设备。从相加可靠性判定设备输出的加权因子被供应给乘法设备332。由相加可靠性判定设备331生成的针对抑制前述色噪声的加权因子被供应给乘法设备332。

[0122] 乘法设备332的输出信号被供应给削波电路333。削波电路333在某个值超过1时将该值切削到1。削波电路333的输出信号被供应给乘法设备334。由相加可靠性判定设备336生成的针对前述MC图像的块噪声的加权因子被供应给乘法设备334。乘法设备334输出相对于噪声进行了校正的加权因子。该加权因子被供应给加法设备205。

[0123] 加法设备335的输出信号被供应给针对块噪声的相加可靠性判定设备336。由移动方差计算设备320获得的针对亮度信号的标准图像的移动方差通过前置滤波器300被供应给加法设备335的一个输入。上采样电路338的输出信号被供应给加法设备335的另一个输入。

[0124] 加法设备337的输出信号被供应给上采样电路338。由色差移动方差计算设备420获得的针对色差信号(Cb)的标准图像的移动方差通过前置滤波器400被供应给加法设备337。由色差移动方差计算设备520获得的针对色差信号(Cr)的标准图像的移动方差通过前置滤波器400被供应给加法设备337的另一个输入。用于计算亮度信号的移动方差的正方形区域的大小与色差信号的相同。设置上采样电路338用于对像素比亮度信号的像素小的色差信号进行插值。

[0125] 如图20所示，相加可靠性判定设备336校正从加法设备335供应的输入信号的加权因子(方差值的和)。当输入信号的值小于阈值TH时，相加可靠性判定设备336增大输入信号的加权因子。当输入信号的值大于阈值TH时，相加可靠性判定设备336输出1作为加权因子。当加权因子为1时，它不影响从相加可靠性判定设备供应的加权因子。

[0126] 可以估计其中标准图像的方差值的和较小的区域是其中噪声较小并且平坦的区域，即其中噪声明显的区域。当加权因子被校正以在该区域中被减小时，在MC图像中出现的块畸变可以被抑制。将小于1的加权因子与从相加可靠性判定设备供应的加权因子相乘。因此，加权因子被减小。

[0127] 从针对亮度信号的移动方差计算设备320输出的针对亮度信号的标准图像的移动方差和从针对色差信号的移动平均计算设备340输出的移动平均被供应给针对色噪声的相加可靠性判定设备331。标准图像的色差信号(Cb)的像素的差的绝对值和标准图像的色差信号(Cr)的像素的差的绝对值被加法设备339相加。针对色差信号的移动平均计算设备340计算从加法设备339输出的色差信号的像素的差的绝对值的移动平均。移动方差计算设备320和移动平均计算设备340获得在待计算的像素周围的正方形区域的移动方差和移动平均。该正方形区域的尺寸大于待去除的色噪声。

[0128] 相加可靠性判定设备331具有执行在图21中示出的处理的硬件或者软件结构。在第一个步骤S41，判断亮度方差值是否在预定的阈值范围内。当亮度方差值在阈值范围内，这意味着该区域较平坦。当区域不平坦时，流程前进到步骤S44，其中加权因子被设定为1。在此之后，处理完成。当加权因子是1时，它不影响与从相加可靠性判定设备供应的加权因子进行的乘法。

[0129] 当在步骤S41的判断结果表示该区域平坦时，判断色差信号的像素的差的绝对值的移动平均是否在预定的阈值范围内。当在步骤S42的判断结果表示移动平均在阈值范围内，那么判定该区域具有色噪声。在此之后，流程前进到步骤S43。当判断结果未表示移动平均在阈值范围内时，流程前进到步骤S44(加权因子＝1)。

[0130] 在步骤S43，加权因子被设定为大于1的值，然后处理完成。将已经被设定为大于1的值的加权因子与从相加可靠性判定设备供应的加权因子相乘。因此，加权因子被增大。
因此，色噪声去除效果被改善。在考虑到视觉影响的情况下设定阈值和加权因子。当乘以大于1的加权因子的乘法结果超过1时，削波电路333将加权因子设定为1。

[0131] 根据该本发明的另一实施例，除降噪效果与前述实施例相同外，块畸变可以被抑制。此外，出现在平坦部分上的在空间上较大的色噪声可以被抑制。

[0132] 本领域中的技术人员应理解，根据设计需求和其他因素可以想到各种修改、组合、子组合和变更，只要它们落入随附权利要求书或者其等价物的范围之内。例如，在前述示例中，用加权因子来平均标准图像和MC图像。作为替代，可以将它们简单地相加。换言之，可以将不受手部抖动和噪声影响的暗的图像对准，判断它们相加的可靠性，并且通过使用加权因子将其相加。最后，可以逐个像素地将它们归一化。

[0133] 相关申请的交叉引用

[0134] 本发明包含与2007年5月23日递交到日本专利局的日本专利申请JP2007-136184相关的主题，该日本专利申请的全部内容通过引用被结合于此。