图像处理装置、具备该图像处理装置的监视系统以及图像处理方法

摘要

一种图像处理装置(103)，通过图像处理来从拍摄图像去除拍摄中的干扰所引起的噪声，该图像处理装置(103)具备：图像输入部(111)，其被输入在时间上连续的多个拍摄图像；图像特征提取部(113)，其提取拍摄图像中的与干扰有关的特征；以及图像清晰化部(116)，其执行同与干扰有关的特征相应的图像处理，由此去除拍摄图像中的噪声。并且，图像处理装置(103)也可以还具备在监视模式与通常模式之间进行切换的模式切换单元，该监视模式是执行同与干扰有关的特征相应的图像处理的模式，该通常模式是使同与干扰有关的特征相应的图像处理不执行的模式。

权利要求

1.一种图像处理装置，通过图像处理来从拍摄图像去除拍摄中的干扰所引起的噪声，该图像处理装置具备：图像输入部，其被输入在时间上连续的多个拍摄图像；

图像特征提取部，其提取所述拍摄图像中的与干扰有关的特征；以及干扰抑制部，其根据所述与干扰有关的特征，来抑制所述干扰对所述拍摄图像的影响，其中，所述干扰是在时间序列的多个拍摄图像中出现的视野妨碍物，所述图像特征提取部具备：

图像保存单元，其保存沿时间序列排列的所述多个拍摄图像；以及运动矢量计算单元，其在所述多个拍摄图像中，以规定的处理对象图像为基准，求出与该处理对象图像接近的多个关联图像各自的运动矢量，所述干扰抑制部具备：

图像运动校正单元，其利用所述运动矢量来对所述多个关联图像进行运动校正；

合成图像生成单元，其对所述运动校正后的所述多个关联图像和所述处理对象图像的像素值进行平均化处理，生成与所述处理对象图像对应的合成图像；

修正区域检测单元，其从所述处理对象图像检测所述运动矢量为阈值以上的修正区域；以及运动矢量修正单元，其对所述修正区域设定小于所述阈值的修正运动矢量。

2.根据权利要求1所述的图像处理装置，其特征在于，还具备在监视模式与通常模式之间进行切换的模式切换单元，该监视模式是执行同所述与干扰有关的特征相应的图像处理的模式，该通常模式是使同所述与干扰有关的特征相应的图像处理不执行的模式。

3.根据权利要求1所述的图像处理装置，其特征在于，所述运动矢量修正单元基于与所述处理对象图像相对的其它所述关联图像的与所述修正区域对应的部分的运动矢量来设定所述修正运动矢量。

4.根据权利要求3所述的图像处理装置，其特征在于，所述修正运动矢量是与所述处理对象图像相对的其它所述关联图像的与所述修正区域对应的部分的运动矢量的中值。

5.根据权利要求1所述的图像处理装置，其特征在于，所述运动矢量修正单元基于所述修正区域的周围的运动矢量来设定所述修正运动矢量。

6.根据权利要求1所述的图像处理装置，其特征在于，所述运动矢量修正单元将所述修正运动矢量设定为0。

7.根据权利要求1所述的图像处理装置，其特征在于，所述多个拍摄图像是由搭载于汽车的车载摄像机拍摄到的图像，所述阈值被设定为使得检测出雨刷装置工作时的雨刮片的运动。

8.根据权利要求7所述的图像处理装置，其特征在于，还具备在监视模式与通常模式之间进行切换的模式切换单元，该监视模式是执行所述雨刷装置工作时的雨刮片的图像去除处理的模式，该通常模式是使所述雨刷装置工作时的雨刮片的图像去除处理不执行的模式。

9.一种图像处理装置，通过图像处理来从拍摄图像去除拍摄中的干扰所引起的噪声，该图像处理装置具备：图像输入部，其被输入在时间上连续的多个拍摄图像；

图像特征提取部，其提取所述拍摄图像中的与干扰有关的特征；以及干扰抑制部，其根据所述与干扰有关的特征，来抑制所述干扰对所述拍摄图像的影响，其中，所述干扰是拍摄中的气象状况，所述图像特征提取部提取所述拍摄图像中的与气象状况有关的图像特征，该图像处理装置还具备：

声音输入部，其被输入在拍摄所述拍摄图像时获取到的周边声音；

声音特征提取部，其提取所述周边声音中的与气象状况有关的声音特征；以及气象状况判定部，其基于所述拍摄图像中的与气象状况有关的图像特征和所述声音特征，来判定拍摄所述拍摄图像时的气象状况，所述干扰抑制部具备图像清晰化部，该图像清晰化部执行与所述气象状况判定部所判定出的所述气象状况相应的图像处理，由此去除所述拍摄图像中的噪声。

10.根据权利要求9所述的图像处理装置，其特征在于，所述声音特征提取部提取所述周边声音中的声音的强度和频率中的至少一方来作为所述声音特征。

11.根据权利要求10所述的图像处理装置，其特征在于，在所述声音特征提取部中提取出降雨的声音特征的情况下，无论所述图像特征如何，所述气象状况判定部都将所述气象状况判定为降雨。

12.根据权利要求10所述的图像处理装置，其特征在于，在所述声音特征提取部中提取出降雹的声音特征的情况下，无论所述图像特征如何，所述气象状况判定部都将所述气象状况判定为降雹。

13.根据权利要求9至12中的任一项所述的图像处理装置，其特征在于，所述图像特征提取部提取所述拍摄图像中的像素的亮度变化来作为所述图像特征，所述气象状况判定部基于所述亮度变化来判定所述气象状况中的雷。

14.根据权利要求13所述的图像处理装置，其特征在于，在所述图像特征提取部中提取出闪电的图像特征的情况下，无论所述声音特征如何，所述气象状况判定部都将所述气象状况判定为雷。

15.根据权利要求9所述的图像处理装置，其特征在于，在所述气象状况判定部所判定出的所述气象状况是特定的气象状况以外的情况下，所述图像清晰化部使所述图像处理不执行。

16.根据权利要求9所述的图像处理装置，其特征在于，还具备在监视模式与通常模式之间进行切换的模式切换单元，该监视模式是执行与所述气象状况判定部所判定出的所述气象状况相应的图像处理由此去除所述拍摄图像中的噪声的模式，该通常模式是使与所述气象状况判定部所判定出的所述气象状况相应的图像处理不执行由此使得不去除所述拍摄图像中的噪声的模式。

17.一种图像处理装置，对在连续地拍摄到的图像中作为干扰而发生的像抖动进行图像移位来生成显现于画面的校正图像，该图像处理装置具备：图像输入部，其被输入在时间上连续地拍摄到的多个拍摄图像；

图像特征提取部，其提取所述拍摄图像中的与干扰有关的特征；以及干扰抑制部，其根据所述与干扰有关的特征，来抑制所述干扰对所述拍摄图像的影响，其中，所述图像特征提取部具备：区域外设定单元，其在通过像抖动校正而相对于原本显现于所述画面的之前的帧的所述校正图像的区域产生了不显现当前的帧的所述校正图像的部分的情况下，将该部分设定为校正图像外区域；以及图像保存单元，其依次保存所述校正图像外区域，所述干扰抑制部具备以下单元来执行所述像抖动校正：渐变设定单元，其对多个所述校正图像外区域实施渐变；以及图像生成单元，其生成由区域外图像和所述校正图像构成的合成图像以将该合成图像显现于所述画面，该区域外图像是对多个所述校正图像外区域实施所述渐变而得到的。

18.根据权利要求17所述的图像处理装置，其特征在于，所述图像保存单元保存所述合成图像，

所述渐变设定单元对所述图像保存单元中保存的之前的帧的所述合成图像进行模糊处理，将进行该模糊处理而得到的模糊图像输出到所述图像生成单元，所述图像生成单元将所述模糊图像的对应的部分用于所述区域外图像。

19.根据权利要求17所述的图像处理装置，其特征在于，所述渐变的变化是与所述校正图像的平均浓度相应地逐渐变明或变暗。

20.根据权利要求19所述的图像处理装置，其特征在于，所述平均浓度是在所述校正图像中以大致固定的浓度存在的规定区域的浓度的平均值。

21.根据权利要求19所述的图像处理装置，其特征在于，所述区域外图像的所述渐变的初始值或目标值是所述平均浓度。

22.根据权利要求17至21中的任一项所述的图像处理装置，其特征在于，还具备在监视模式与通常模式之间进行切换的模式切换单元，该监视模式是执行所述像抖动校正的模式，该通常模式是使所述像抖动校正不执行的模式。

23.一种监视系统，其特征在于，具备：

根据权利要求1至22中的任一项所述的图像处理装置；拍摄装置，其对所述图像输入部输入所述拍摄图像；以及声音输入装置，其对声音输入部输入周边声音。

24.一种图像处理方法，通过图像处理来从拍摄图像去除拍摄中的干扰所引起的噪声，所述干扰是在时间序列的多个拍摄图像中出现的视野妨碍物，该图像处理方法包括以下步骤：

图像输入步骤，输入在时间上连续的多个拍摄图像；

图像特征提取步骤，提取所述拍摄图像中的与干扰有关的图像特征；以及干扰抑制步骤，根据所述与干扰有关的图像特征，来抑制所述干扰对所述拍摄图像的影响，其中，所述图像特征提取步骤包括以下过程：

保存沿时间序列排列的多个图像；以及

在所述多个图像中，以规定的处理对象图像为基准，求出与该处理对象图像接近的多个关联图像各自的运动矢量，所述干扰抑制步骤包括以下过程：

利用所述运动矢量来对所述多个关联图像进行运动校正；

对所述运动校正后的所述多个关联图像和所述处理对象图像的像素值进行平均化处理，生成与所述处理对象图像对应的合成图像；

从所述处理对象图像检测所述运动矢量为阈值以上的修正区域；以及对所述修正区域设定小于所述阈值的修正运动矢量。

25.一种图像处理方法，通过图像处理来从拍摄图像去除拍摄中的干扰所引起的噪声，该图像处理方法包括以下步骤：图像输入步骤，输入在时间上连续的多个拍摄图像；

图像特征提取步骤，提取所述拍摄图像中的与干扰有关的图像特征；以及干扰抑制步骤，根据所述与干扰有关的图像特征，来抑制所述干扰对所述拍摄图像的影响，其中，所述干扰是拍摄中的气象状况，所述图像特征提取步骤提取所述拍摄图像中的与气象状况有关的图像特征，该图像处理方法还包括以下步骤：

声音输入步骤，输入在拍摄所述拍摄图像时获取到的周边声音；

声音特征提取步骤，提取所述周边声音中的与气象状况有关的声音特征；以及气象状况判定步骤，基于所述图像特征和所述声音特征，来判定拍摄所述拍摄图像时的气象状况，所述干扰抑制步骤包括图像清晰化步骤，该图像清晰化步骤执行与通过所述气象状况判定步骤判定出的所述气象状况相应的图像处理，由此去除所述拍摄图像中的噪声。

26.一种图像处理方法，对在连续地拍摄到的图像中作为干扰而发生的像抖动进行图像移位来生成显现于画面的校正图像，该图像处理方法包括以下步骤：图像输入步骤，输入在时间上连续的多个拍摄图像；

图像特征提取步骤，提取所述拍摄图像中的与干扰有关的图像特征；以及干扰抑制步骤，根据所述与干扰有关的图像特征，来抑制所述干扰对所述拍摄图像的影响，所述图像特征提取步骤包括以下过程：

在通过像抖动校正而相对于原本显现于所述画面的之前的帧的所述校正图像的区域产生了不显现当前的帧的所述校正图像的部分的情况下，将该部分设定为校正图像外区域；以及依次保存所述校正图像外区域，

所述干扰抑制步骤包括以下过程：

对多个所述校正图像外区域实施渐变；

生成由所述校正图像以及成为所述校正图像的区域外的区域外图像构成的合成图像以将该合成图像显现于所述画面；以及生成由对多个所述校正图像外区域实施所述渐变而得到的区域外图像以及所述校正图像构成的合成图像以将该合成图像显现于所述画面。

27.根据权利要求24至26中的任一项所述的图像处理方法，其特征在于，还具有在监视模式与通常模式之间进行切换的模式切换步骤，该监视模式是执行同所述与干扰有关的图像特征相应的图像处理的模式，该通常模式是使同所述与干扰有关的图像特征相应的图像处理不执行的模式。

说明书

图像处理装置、具备该图像处理装置的监视系统以及图像处

理方法

技术领域

[0001] 本公开涉及一种图像处理装置、具备该图像处理装置的监视系统以及图像处理方法。

背景技术

[0002] 近年来，逐渐开始在汽车上搭载被称为影像记录型行车记录仪的车载摄像机(camera)。例如拍摄车辆前方的道路状况来进行记录的车载摄像机在不应对室外使用的情况下搭载于前窗的内侧。在像这样搭载于前窗的内侧的车载摄像机中，当使雨刷装置工作时会拍摄到雨刮片(wiper blade)横穿画面的图像。

[0003] 例如，在进行通过图像处理检测道路的白线来使得能够沿行车道行驶的行驶辅助的情况下，有时当雨刮片作为使拍摄对象的白线消失的视野妨碍物而被拍摄时，白线的检测变得困难。另外，在警卫处等重新观看一边巡视一边拍摄到的影像的情况下，存在以下担忧：应该关注的车辆、人物等受雨刮片的运动所干扰，集中力降低。

[0004] 另外，在设置于室外的监视摄像机的情况下，也存在以下问题：在降雪时画面里经过的雪成为使拍摄对象的景色的一部分消失的视野妨碍物，不再能够清晰地显现图像的必要的位置。针对这种降雪时的雪，存在以下技术：使用从作为处理对象的对象帧沿时间轴向前追溯得到的多帧的图像，将从对象帧起的之前的多帧中的图像的各像素的灰度进行比较，例如收集从灰度最高的像素起规定排位的灰度的像素，来构建相当于一个帧的图像数据(例如参照专利文献1)。

[0005] 根据上述专利文献1，在拍摄到视野妨碍物的图像中，在构成视野妨碍物的像素处使用多帧的各像素的规定排位的灰度的像素。由此，不再使用视野妨碍物的像素，能够去除视野妨碍物，因此可以考虑对车载摄像机中的雨刮片的出现应用上述专利文献1的图像处理。

[0006] 然而，在车载摄像机的情况下，因本车的行驶而相对移动的景色、其它车辆等成为移动被摄体。当对这种由车载摄像机拍摄到的图像进行上述专利文献1的图像处理时，在景色、其它车辆等移动被摄体中也产生影响，从而产生作为拍摄对象的移动被摄体处的残像、模糊或者一部分消失的问题。

[0007] 另外，在拍摄室外的被摄体的监视摄像机等中，当在降雪时进行拍摄时，视野会被雪粒遮住从而得到作为监视对象的被摄体不明显的拍摄图像。因此，例如已知以下技术：以在时间上连续的多个拍摄图像为对象来进行时间轴方向的中值滤波处理，由此去除降雪噪声来使图像清晰化(参照专利文献2)。该技术着眼于在时间上连续的多个拍摄图像中同一坐标的像素是拍到雪粒的像素的概率低这一情况，通过将从在时间上连续的多个拍摄图像中提取出的像素值按大小的顺序排序后获取其中间值的时间轴方向的中值滤波处理，来排除拍到雪粒的像素值，因此能够去除降雪噪声。

[0008] 另外，存在不依赖于人为判断地检测室外的降雪等气象状况的技术，例如已知如下的天气显示系统：设置用于得到降雪、降雨、风速等天气信息的多个传感器，对通过这些传感器得到的天气信息进行处理来显示在设置于室内的天气显示单元上(参照专利文献3)。

[0009] 另外，作为在室外的拍摄中能够产生噪声的气象状况，除了上述的降雪以外还存在几个气象状况，例如，在降雨时进行拍摄的情况下，拍摄图像中的噪声的产生状况与降雪时不同，因此存在以下情况：即使原样应用上述专利文献1所记载的用于去除降雪噪声的图像处理，也难以得到与降雪的情况同样的噪声去除效果。因而，为了从拍摄图像更适当地去除因不同的气象状况引起的噪声，期望的是，应用根据拍摄时的气象状况而不同的图像处理(例如，变更与图像处理有关的参数)。

[0010] 因此，例如可以考虑基于用于检测气象状况的多个传感器的检测结果来执行适于各气象状况的图像处理(噪声去除)，但是在该情况下，需要在每个摄像机的设置场所设置各种传感器，因此存在传感器的设置耗费工时、设备成本也增多这样的问题。

[0011] 并且，在拍摄者例如利用手持的摄影机(video camera)来拍摄运动图像的情况下，为了抑制在观看时监视器的画面上显现的影像为抖动的不舒服的影像，已知具备光学方式、电子方式的像抖动校正机构的摄影机。在电子方式像抖动校正机构中，将拍摄到的多个图像进行比较来抵消被摄体的偏移，由此消除像抖动。

[0012] 为了避免像抖动校正后的图像从画面偏离，可以事先使受光元件的拍摄范围比画面上显现的图像的范围大，但是存在以下问题：由于使用高分辨率的受光元件而导致摄像机变得昂贵；或者由于搭载大型的受光元件而导致摄像机大型化。另一方面，警卫员有时将摄像机戴在肩、头处来进行监视，在这种情况下存在促进摄像机的小型化且抑制分辨率的下降的期望，在该情况下，可以想到使用小型的受光元件并使受光元件的分辨率与画面上显现的图像的分辨率大致相同。

[0013] 然而，在受光元件的分辨率与画面上显现的图像的分辨率大致相同的情况下，当生成通过像抖动校正来抵消被摄体的偏移的图像时，图像相对于画面产生偏移，在画面上会产生不进行显现的空白区域。由此，存在以下问题：当图像与空白区域的边界变得清楚时，图像的轮廓成为边缘，该边缘随着像抖动而抖动从而闪烁。对此，存在以下技术：利用一定浓度的掩模(mask)将空白区域与边缘一起遮掩，来不显现边缘的抖动(例如参照专利文献4)。

[0014] 另外，存在以下技术：取出基于像抖动的表示摄像机的运动的平行移动矢量和旋转角矢量，将有意的运动分量与无意的运动分量相分离后进行滤波，确认针对像抖动的校正量是否未超过容许的阈值，如果未超过，则以限于容许范围内的方式进行像抖动校正(例如参照专利文献5)。

[0015] 然而，在以被摄体位于画面的中央部分的方式拍摄的图像发生移位后对该图像进行像抖动校正的情况下，存在以下问题：上述掩模如边框那样显示在画面的周边部，因此校正图像(未被进行掩模而显现在画面上的拍摄图像)的显示区域变小，相对于在整个画面显示图像的情况而言图像的显示效率下降。特别是，在对图像的旋转方向的抖动进行校正的情况下，用于遮掩边缘的掩模的区域扩大，显示效率进一步下降。

[0016] 另外，能够利用之前的帧的图像来填补包括边缘在内的空白区域，由此抑制因用于遮掩边缘的掩模引起的非显示区域的扩大，但是在该情况下，在对这样校正得到的运动图像进行再现时，有时空白区域处显现的之前的帧的图像相对于当前的帧的校正图像产生延迟，由此显现为卡顿的状态，在看整个画面时产生不协调感。

[0017] 针对画面的图像区域变小由此显示效率下降这一问题，能够通过将图像区域放大到整个画面来应对。然而，在将要显示的图像放大来显示在整个画面的情况下，只是对基础的图像进行放大处理，因此存在以下担忧：像抖动校正后的校正图像的像素的清晰度下降。特别是，例如存在在记录影像用于监视用途时边走边拍摄的场景，不适合为了从所记录的该运动图像确认细节部分而对图像的清晰度有要求的情况，另外，被处理为空白区域的部分的图像没有作为记录保留下来。

[0018] 另外，当限制为手抖动校正的校正量(平行移动矢量、旋转角矢量)不超过容许的阈值时，对于超过阈值的手抖动，像抖动校正变得不充分。在该情况下，会显现抖动的图像，该图像成为不舒适的影像。

[0019] 本公开的目的在于，能够去除拍摄中的干扰所引起的噪声，并且抑制图像所显现的噪声以外的移动被摄体处的残像、模糊或者一部分消失。

[0020] 更详细地说，本公开的目的在于，能够去除作为干扰出现的视野妨碍物，并且抑制图像所显现的视野妨碍物以外的移动被摄体处的残像、模糊或者一部分消失。

[0021] 另外，更详细地说，本公开的目的在于，在室外的拍摄中能够通过简易的结构来判定气象状况，并且能够获取通过与所判定出的该气象状况相应的图像处理来适当地去除了噪声的图像。

[0022] 并且，更详细地说，本公开的目的在于，保持通过电子方式像抖动校正得到的校正图像的分辨率，并且避免监视器的画面上显现的影像产生不自然感。

[0023] 专利文献1：日本特开2000-115763号公报

[0024] 专利文献2：日本专利第3439669号公报

[0025] 专利文献3：日本特开平10-206559号公报

[0026] 专利文献4：日本特表2006-510282号公报

[0027] 专利文献5：日本特表2009-505477号公报

发明内容

[0028] 本公开的图像处理装置通过图像处理来从拍摄图像去除拍摄中的干扰所引起的噪声，该图像处理装置具备：图像输入部，其被输入在时间上连续的多个拍摄图像；图像特征提取部，其提取拍摄图像中的与干扰有关的特征；以及干扰抑制部，其根据与干扰有关的特征，来抑制干扰对拍摄图像的影响。

[0029] 另外，本公开的图像处理方法通过图像处理来从拍摄图像去除拍摄中的干扰所引起的噪声，该图像处理方法具有以下步骤：图像输入步骤，输入在时间上连续的多个拍摄图像；图像特征提取步骤，提取拍摄图像中的与干扰有关的图像特征；以及干扰抑制步骤，根据与干扰有关的特征，来抑制干扰对拍摄图像的影响。

[0030] 根据本公开，能够抑制拍摄中的干扰的影响，并且能够抑制图像所显现的噪声以外的移动被摄体处的残像、模糊或者一部分消失。

[0031] 更详细地说，根据本公开，能够去除作为干扰出现的视野妨碍物，并且能够抑制图像所显现的视野妨碍物以外的移动被摄体处的残像、模糊或者一部分消失。

[0032] 另外，更详细地说，根据本公开，在室外的拍摄中能够通过简易的结构来判定气象状况，并且能够获取通过与所判定出的该气象状况相应的图像处理来适当地去除了噪声的图像。

[0033] 并且，更详细地说，根据本公开，能够保持通过电子方式像抖动校正得到的校正图像的分辨率，并且能够避免监视器的画面上显现的影像产生不自然感。

附图说明

[0034] 图1是从车辆前侧观察汽车的前窗的图。

[0035] 图2是表示应用了本公开的车载摄像机的拍摄例的示意图。

[0036] 图3是表示基于第一实施方式的图像处理装置的第一实施例的框图。

[0037] 图4是第一实施方式的第一实施例的流程图。

[0038] 图5是表示画面中的运动矢量的图。

[0039] 图6是第一实施方式的第二实施例的与图3对应的图。

[0040] 图7是第一实施方式的第二实施例的流程图。

[0041] 图8是修正区域的校正要领的说明图。

[0042] 图9是表示修正区域的说明图。

[0043] 图10是表示第二实施方式所涉及的监视系统的概要的结构图。

[0044] 图11是图10中的图像处理装置的功能框图。

[0045] 图12是表示图11中的气象判定部中使用的气象状况判定表的一例的说明图。

[0046] 图13是表示第二实施方式所涉及的监视系统的处理流程的流程图。

[0047] 图14是表示第三实施方式所涉及的监视系统的概要的结构图。

[0048] 图15是图14中的对讲母机132的功能框图。

[0049] 图16是表示第三实施方式所涉及的监视系统的处理流程的流程图。

[0050] 图17是表示图16中的步骤ST208中的图像显示的一例的说明图。

[0051] 图18A是表示应用了第四实施方式的摄影机的拍摄例的示意图。

[0052] 图18B是表示应用了第四实施方式的摄影机的拍摄例的示意图。

[0053] 图19A是表示通过基于本公开的图像处理而显现于画面的影像的连续性变化的示意图。

[0054] 图19B是表示通过基于本公开的图像处理而显现于画面的影像的连续性变化的示意图。

[0055] 图19C是表示通过基于本公开的图像处理而显现于画面的影像的连续性变化的示意图。

[0056] 图20是表示基于第四实施方式的图像处理装置的第一实施例的框图。

[0057] 图21是与图20对应的流程图。

[0058] 图22A是与图19A对应的主要部分放大示意图。

[0059] 图22B是与图19B对应的主要部分放大示意图。

[0060] 图23是表示图像处理装置的第四实施方式的第二实施例的框图。

[0061] 图24是与图23对应的流程图。

[0062] 图25是表示图像处理装置的第四实施方式的第三实施例的框图。

[0063] 图26是与图25对应的流程图。

具体实施方式

[0064] 下面，参照附图来说明本公开的实施方式。

[0065] (第一实施方式)

[0066] 图1是从车辆前侧观察汽车1的前窗2的图。在汽车1的车厢内的适当位置，搭载有隔着前窗2拍摄前方的车载摄像机3。在本实施方式中，在下面说明被用作巡回监视车辆中的监视摄像机的例子，但是本公开不限定于巡回监视车辆的监视摄像机，例如也能够应用于驾驶辅助系统，另外，还能够应用于室外的监视用固定摄像机。

[0067] 图2表示以下情况：将车载摄像机3直接与监视器4连接来将由车载摄像机3拍摄到的图像作为影像显现在监视器4的画面4a上；或者，通过个人计算机PC来读出安装于车载摄像机3的存储介质(存储卡等)3a的图像数据且对该图像数据进行图像处理后输出到与个人计算机PC连接的监视器4(图的虚线的流程)。无论是在哪一个情况下，在画面4a上进行显现的图像处理都可以是公知的图像处理，省略其说明。另外，不限于显现于监视器4的情况，也能够应用于记录到记录器的情况。

[0068] 接着，说明基于本公开的第一实施方式的图像处理的控制要领。该图像处理例如通过计算机程序来实现，但是不限定于计算机程序。此外，通过公知的帧处理来生成显现于监视器4的运动图像，适当进行基于本公开的图像处理。

[0069] 图3是表示基于本公开的第一实施方式的图像处理装置5的第一实施例的框图。如图所示，图像处理装置5包括：输入图像缓存10，其将由车载摄像机3拍摄的图像按时间序列进行保存；图像设定部11，其设定作为本次的处理对象的规定的处理对象图像，从输入图像缓存10读出处理对象图像以及与处理对象图像接近的多个关联图像；运动矢量计算部12，其被输入来自输入图像缓存10的多个关联图像；帧运动校正部13，其被输入由运动矢量计算部12计算出运动矢量的多个关联图像的各运动矢量计算值，并且从输入图像缓存10被输入该多个关联图像；以及图像合成部14，其被输入由帧运动校正部13进行了运动校正后的各校正图像以及来自输入图像缓存10的处理对象图像，将它们进行合成来输出显现于监视器4的合成图像。输入图像缓存10和运动矢量计算部12是图像特征提取部的一例，帧运动校正部13和图像合成部14是干扰抑制部的一例。

[0070] 接着，参照图4的流程图、图5的画面4a的影像说明图来说明第一实施方式的第一实施例的图像处理装置5的控制要领。此外，在输入图像缓存10中，从车载摄像机3直接地、或者借助个人计算机PC地，按时间序列保存有多帧由车载摄像机3拍摄到的图像。将作为本次的处理对象的图像称为处理对象图像，将相对于该处理对象图像在时间序列上为过去的图像称为前图像，将未来的图像称为后图像，来进行说明。

[0071] 在步骤ST1中，通过图像设定部11从输入图像缓存10读出相当于处理对象图像的处理对象帧，输入到运动矢量计算部12和图像合成部14。在步骤ST2中，通过图像设定部11从输入图像缓存10读出相当于前图像的前帧以及相当于后图像的后帧，输入到运动矢量计算部12和帧运动校正部13。这些前图像和后图像是在时间序列上与处理对象图像接近的多个关联图像，但是不限于前图像和后图像这两方，也可以是前图像和后图像中的任意一方，另外，可以是前后分别有多个图像。并且，不限于帧处理中的连续的帧，也可以是相对于处理对象图像在前后分别相离多帧的图像。

[0072] 在步骤ST3中，在运动矢量计算部12中，以处理对象图像为基准，来求出前/后帧的图像各自的运动矢量。例如如图5中部分地示出的箭头(MV1、MV2、MV3)所示那样计算出以像素为单位或以包括任意的像素数的块为单位的运动矢量。关于运动矢量的计算，可以通过公知的块匹配法、梯度法等来求出。此外，图5是汽车1左转弯的情况。

[0073] 在步骤ST4中，在帧运动校正部13中，生成基于从输入图像缓存10读入的前/后帧的通过步骤ST3计算出的各运动矢量来针对各帧分别进行运动校正而得到的图像(下面称为运动校正图像)。

[0074] 在步骤ST5中，由图像合成部14进行图像的合成。在此，使用由帧运动校正部13针对前/后帧生成的各运动校正图像以及从输入图像缓存10读入的处理对象帧(处理对象图像)，在关于时间轴而言对应的像素之间进行中值处理，来生成合成图像。本公开的中值处理可以是使用公知的中值滤波的处理，是平均化处理的一例。平均化处理除了上述中值处理以外，还指以下处理：以与关注像素相邻的多个像素为对象，使用规定排位(例如第4、第5)的亮度、单纯的平均亮度、频度高的亮度等。

[0075] 在处理对象图像照到了雪、关联图像的相应部分没有照到雪的情况下，通过多个运动校正图像的中值处理，合成图像能够成为使雪消失的图像。此外，在定点观察用的固定摄像机的情况下，通过的车辆、人物等成为移动被摄体，而在使用对移动被摄体进行运动校正而得到的运动校正图像来合成得到的合成图像中，能够使雪消失、且抑制移动被摄体处的残像、模糊或者一部分消失。另外，在本实施方式中的车载摄像机3中，由于行驶而移动的风景、其它车辆等成为作为拍摄对象的移动被摄体。通过上述的图像处理，使用处理对象图像以及以处理对象图像为基准来进行运动校正而得到的运动校正图像来生成合成图像，因此在合成图像中，能够抑制移动被摄体处的残像、模糊或者一部分消失。由此，即使在车载摄像机3那样以移动被摄体为拍摄对象的情况下，也能够兼顾去除干扰和抑制图像的紊乱。

[0076] 接着，参照与图3对应的图6来说明第一实施方式的第二实施例。此外，对与上述实施例相同的部分标注相同的标记并省略其详细说明。在该第一实施方式的第二实施例中，如图所示，设置有：修正区域检测部15，其被输入由运动矢量计算部12计算出运动矢量的多个图像的各运动矢量计算值；以及修正区域修正部16，其被输入来自修正区域检测部15的修正区域信息，并且被输入来自运动矢量计算部12的各运动矢量计算值。在修正区域修正部16中，修正针对修正区域的运动矢量，其修正区域运动矢量修正信息被输入到帧运动校正部13，在帧运动校正部13中，基于来自运动矢量计算部12的各运动矢量计算值以及来自修正区域修正部16的运动矢量修正信息来生成运动校正图像，将该运动校正图像输出到图像合成部14。图像合成部14中的图像的合成与第一实施方式的上述第一实施例相同。

[0077] 参照与图4对应的图7的流程图来说明该第一实施方式的第二实施例中的控制要领。步骤ST11～ST13分别与第一实施方式的第一实施例的步骤ST1～ST3相同。

[0078] 在接着步骤ST13的步骤ST14中，基于通过步骤ST3计算出的运动矢量来判别帧的各部分(例如分割为多个而得到的块)是否为修正区域(图8的标记21)。参照图8来说明该修正区域21的判定要领。

[0079] 图8中示出了作为要修正运动矢量的对象的本次帧F(n)、相比于本次的帧F(n)在时间序列上靠前的前帧F(n-1)以及在时间序列上靠后的后帧F(n+1)。它们既可以是相邻的帧，或者也可以是相隔规定的帧数的帧。

[0080] 另外，图中的X轴和Y轴表示画面4a的空间(二维)，T轴表示各帧之间的时间轴。图是使用空间轴的3×3块以及时间轴的3帧的例子，但是并未对空间轴、时间轴的块数和帧数进行限定，也可以是其它块数与帧数的组合。块是以规定的像素数对帧进行分割而得到的，在能够确定为视野妨碍物如本实施方式那样是雨刮片6的情况下，能够通过根据该物体的大小等设定块的大小来使处理高速化。

[0081] 另外，图中示出了以下例子：在本次帧F(n)中，在中央的块计算出规定的阈值(MVr)以上的运动矢量MV1(>＝MVr)，在其周围的块计算出小于阈值的运动矢量MV2(

[0082] 另外，在本实施方式中，阈值MVr为比通常行驶时的景色的运动矢量大、且比雨刮片6的低速时的运动小的值。雨刮片6的移动速度与通常行驶时的经过前窗2的景色的流动速度相比充分高速，以不对驾驶者的视野造成妨碍，从而能够针对运动矢量使用上述阈值MVr来判别雨刮片6的运动与景色的运动。

[0083] 此外，成为与雨刮片6的运动对应的运动矢量MV1的部分例如是图9中的被示为修正区域21的范围。

[0084] 在步骤ST14中通过针对块的运动矢量计算而判定为与修正区域21对应的情况下，在步骤ST15中，通过修正区域修正部16来对修正区域21的各块的运动矢量进行修正。例如，对于本次帧F(n)的修正区域21，使用前/后帧F(n-1)、F(n+1)的对应的区域的运动矢量来进行修正。在图8的块的例子中，对于在本次帧F(n)中计算出运动矢量MV1的块(修正区域21)，以前/后帧F(n-1)、F(n+1)的对应的块21a、21b的各运动矢量MV2为对象来进行平均化处理。

[0085] 作为平均化处理的一例，可以与上述的针对像素的中值处理同样，并将对象设为运动矢量来进行处理。在图示例的情况下，中值为MV2，将该运动矢量MV2设为修正区域21的修正后的修正运动矢量。此外，在图8中，前/后帧F(n-1)、F(n+1)各图示了1帧，但是也可以将前侧和后侧中的任一方的多帧作为对象，并且作为中值处理的对象的帧数也可以是3以上。

[0086] 此外，在修正区域21的运动矢量的修正中，不限于将按时间序列排列的多个关联图像的与修正区域21对应的区域作为对象的处理。例如，也可以将修正区域21的修正运动矢量设定为0，另外，也可以将修正区域21的周边的运动矢量的中值处理后得到的运动矢量设为修正运动矢量。

[0087] 接着步骤ST15、或者在通过上述步骤ST14判定为不存在与修正区域21对应的运动矢量的情况下，进入步骤ST16。在步骤ST16中，通过帧运动校正部13，针对来自输入图像缓存10的前/后帧F(n-1)、F(n+1)，参照通过步骤ST13计算出的各运动矢量(MV2)以及通过步骤ST15修正得到的修正区域21的修正运动矢量(MV2)，来生成各运动校正图像。

[0088] 然后，在步骤ST17中，在图像合成部14中，与第一实施方式的第一实施例同样地将来自输入图像缓存10的处理对象图像与通过步骤ST16进行运动校正得到的各运动校正图像进行合成。在接下来的步骤ST18中，将通过步骤ST17合成得到的合成图像输出到监视器4。

[0089] 雨刮片6的运动矢量对雨刮片6的周围的运动矢量有很大影响。与此相对，将利用修正运动矢量(MV2)对作为雨刮片6的通过区域的修正区域21的运动矢量进行修正后的处理对象图像作为基准来对前/后帧F(n-1)、F(n+1)进行运动校正，因此在前/后帧F(n-1)、F(n+1)的运动校正中，能够不受雨刮片6的大的运动矢量的影响地进行校正。

[0090] 这样，在作为视野妨碍物拍摄到运动矢量大的雨刮片6的情况下，生成如下的合成图像：对于处理对象图像中的照入有雨刮片6的部分，利用对作为移动被摄体的景色进行了运动校正的各运动校正图像的对应的部分的图像来进行补充。该补充部分的图像是为与雨刮片6所通过的区域(修正区域21)的周围相同的运动矢量(伴随汽车1的行驶的运动)的部分，在例如30帧/秒那样帧之间为微小的时间差的情况下，产生时间差的部分不会达到显眼的程度。由此，能够使与处理对象图像对应的合成图像成为雨刮片6消失的图像，并且在注视景色中的一部分时因雨刮片6在画面4a上运动而引起的烦躁感得以消除，能够得到易于观看的运动图像。

[0091] 另外，雨刮片6的运动遍及前窗2的很大范围，因此在由车载摄像机3拍摄到的图像中，雨刮片6的运动矢量会产生很大影响。与此相对，通过上述的图像处理，能够生成不会受雨刮片6的大的运动矢量所影响的合成图像，从而在使雨刮片6消失的图像中，能够避免作为景色显现的部分(因行驶而成为移动被摄体)由于雨刮片6的残像、模糊等而消失。

[0092] 此外，在第一实施方式的上述第二实施例中，根据运动矢量的大小的不同来判别雨刮片6的运动从而求出修正区域21，但是例如在雨刮片6的情况下该雨刮片6被拍摄为黑的物体的像，由此能够根据浓度(亮度)的不同来确定雨刮片6。在该情况下，能够在图7中的修正区域检测部15中判别计算出阈值MVr以上的运动矢量的区域是否具有与雨刮片6相当的浓度(亮度)，将被判定为具有与雨刮片6相当的浓度(亮度)的部分判定为是修正区域21。由此，能够进一步可靠地进行修正区域21的判定。

[0093] 另外，雨刮片6的运动是已决定的，例如在根据上述亮度而被认为是雨刮片6的像素的延伸方向的角度与预先输入的雨刮片6在运动中产生的角度(圆弧处的法线的斜率)大致一致的情况下，能够判定为是雨刮片6。也可以像这样进行修正区域21的判定。

[0094] 此外，在定点观察用的固定摄像机的情况下，通过的车辆、人物等成为移动被摄体。在这种情况下，例如在降雪时在摄像机附近通过的雪对于在远方移动的车辆、人物而言与雨刮片6同样地成为视野妨碍物。对于这种降雪时的雪，也能够同样地进行运动矢量的修正。在处理对象图像照到了雪、而关联图像的相应的部分没有照到雪的情况下，通过多个运动校正图像的中值处理，合成图像能够成为使雪消失的图像。

[0095] 以上说明的第一实施方式的公开内容在后述的第二实施方式～第四实施方式中也能够应用。

[0096] (第二实施方式)

[0097] 图10是表示本公开的第二实施方式所涉及的监视系统101的概要的结构图。如图10所示，监视系统101具备：拍摄室外的被摄体的多个监视摄像机(拍摄装置)102A～102C；
以及图像处理装置103，其获取由监视摄像机102A～102C拍摄到的拍摄图像，进行规定的图像处理。另外，在监视系统101中，监视摄像机102A～102C(下面，总称为监视摄像机102。)分别经由网络104来与图像处理装置103以能够通信的方式连接。在此，网络104由基于公共线路、专用线路的因特网等广域网构成，但是不限于此，监视摄像机102和图像处理装置103也可以是通过LAN(Local Area Network：局域网)、专用线缆等来相互通信的结构。

[0098] 监视摄像机102具有公知的结构，使通过未图示的镜头的影像在图像传感器成像，由此作为变换成电信号的影像信号来输出。在监视摄像机102A～102C分别设置有麦克风(声音输入装置)105A～105C(下面总称为麦克风105。)，能够在拍摄时获取周边声音(在此，特别是与降雨、降雹、雷鸣等拍摄时的气象状况有关的声音)。监视摄像机102A～102C是与室外的多个监视区对应地分别设置的。在图10中，示出了设置有3台监视摄像机102A～102C的例子，但是不限于此，关于监视摄像机102、麦克风105的数量、配置，能够进行各种变更。

[0099] 图像处理装置103由具备以下功能的PC(Personal Computer：个人计算机)构成：基于拍摄中的气象状况，通过图像处理来去除在监视摄像机102的拍摄图像中产生的噪声。
详情虽未图示，但是图像处理装置103具有主体部107以及显示由主体部107处理得到的图像等各种信息的作为监视用监视器的显示部108，其中，该主体部107设置有：CPU(Central Processing Unit：中央处理单元)，其基于规定的控制程序(图像处理程序)来统一执行各种图像处理、周边设备的控制等；RAM(Random Access Memory：随机存取存储器)，其作为CPU的工作区域等发挥功能；ROM(Read Only Memory：只读存储器)，其保存由CPU执行的控制程序、数据；网络接口，其执行经由网络进行的通信处理；输入设备；以及HDD(Hard Disk Drive：硬盘驱动器)等。此外，图像处理装置103不限于PC，也可以由专用的硬件构成。

[0100] 图11是图10中的图像处理装置的功能框图，图12是表示在图11中的气象判定部中使用的气象状况判定表的一例的说明图。

[0101] 如图11所示，在图像处理装置103中，来自监视摄像机102的影像信号经由网络104实时地输入到图像输入部111并被存储。另一方面，来自麦克风105的声音信号经由网络104实时地输入到声音输入部112并被存储。

[0102] 另外，图像处理装置103具有：图像特征提取部113，其在基于所输入的影像信号的在时间上连续的多个拍摄图像(帧图像的数据)中，提取与气象状况有关的图像特征；声音特征提取部114，其在基于所输入的声音信号的拍摄时的周边声音(声音数据)中，提取与气象状况有关的声音特征；气象状况判定部115，其判定进行拍摄图像的拍摄时的气象状况；图像清晰化部116，其执行与该气象状况判定部115所判定出的气象状况相应的图像处理，由此从拍摄图像去除因拍摄中的气象状况引起的噪声；以及图像选择部117，其选择要显示在显示部108上的面向监视员的图像(监视用图像)。图像清晰化部116包含于干扰抑制部。
或者，图像清晰化部116也可以是干扰抑制部本身。

[0103] 图像特征提取部113从被输入到图像输入部111的在时间上连续的多个帧图像(在此，RGB格式的60fps的帧频的图像)中，以关注像素为对象来获取R、G以及B的各通道的像素值，并且根据这些R值、G值以及B值来计算亮度(Y值)。

[0104] 然后，图像特征提取部113提取(检测)处理对象的拍摄图像与在时间上相邻的其它拍摄图像之间的各对应像素(对应的位置的各像素)中的亮度的瞬时变化(比较短的时间内的像素值的变化)，来作为与规定的气象状况(在此，降雪、降雨、降雹)有关的图像特征。另外，图像特征提取部113提取处理对象的拍摄图像中的画面闪光的产生(即，具有既定值以上的亮度的像素的数量在拍摄图像的整个区域占据规定值以上的比例的状态)，来作为与规定的气象状况(在此，雷(闪电))有关的图像特征。

[0105] 声音特征提取部114以规定的周期(例如，与多个拍摄图像的拍摄时间对应的周期)来获取被输入到声音输入部112的周边声音的强度(声压水平)和频率，提取(检测)这些声音的强度和频率来作为与规定的气象状况(在此，降雨、降雹、雷(雷鸣))的声音特征。

[0106] 气象状况判定部115从图像特征提取部113和声音特征提取部114分别获取图像特征(亮度的瞬时变化和画面闪光的产生的信息)和声音特征(周边声音的强度和频率的信息)，基于这些图像特征和声音特征来对气象状况进行预判定。

[0107] 更详细地说，气象状况判定部115基于从图像特征提取部113作为图像特征来获取到的各像素的亮度的瞬时变化的信息，预判定为存在拍摄时的气象状况是降雪、降雨以及降雹中的某一个的可能性。也就是说，在气象状况是降雪、降雨或降雹的情况下，在拍摄图像中产生雪粒、雨滴、雹粒等具有白色或与其类似的颜色的大量的小区域(点、线等)(即，在相互分离的多个像素发生亮度的瞬时变化)，因此，由此气象状况判定部115能够预判定为存在降雪、降雨以及降雹中的某一个的可能性。

[0108] 在本实施方式中，气象状况判定部115不基于拍摄图像(像素值的变化)对降雪、降雨以及降雹进行区分，但是不限于此，也可以基于像素值(R值、G值、B值以及Y值)的大小、拍摄图像中发生像素值的变化的区域(像素的配置)来判定降雪、降雨以及降雹。

[0109] 另外，气象状况判定部115基于从图像特征提取部113作为图像特征来获取到的产生画面闪光的信息，来预判定为存在拍摄时的气象状况是雷(闪电)的可能性。也就是说，在气象状况是雷(闪电)的情况下，在拍摄图像中的整个区域(或者预先设定的一定比例以上的大区域)的像素中产生因闪电引起的像素值的变化(亮度的上升)，因此，由此气象状况判定部115能够预判定为气象状况是雷(闪电)。

[0110] 另外，气象状况判定部115基于从声音特征提取部114作为声音特征来获取到的周边声音的强度和频率的信息(在此，规定频带的声压水平)，来预判定为存在拍摄时的气象状况是降雨、降雹以及雷(雷鸣)中的某一个的可能性。也就是说，在气象状况是降雨、降雹以及雷(雷鸣)中的某一个的情况下，由于落在地面、房屋等的雨滴或雹粒或者雷鸣而产生具有特有的强度、频率的声音，因此，由此气象状况判定部115能够预判定为气象状况是降雨、降雹以及雷(雷鸣)中的某一个。在该情况下，在监视系统101中，预先设定有与降雨、降雹以及雷(雷鸣)分别有关的声音的强度和频率的基准值(用于基于声音特征来判定气象状况的基准范围)，在周边声音的强度和频率与降雨、降雹以及雷(雷鸣)中的某一个的基准值一致的情况下，气象状况判定部115将与该基准值对应的气象状况预判定为拍摄时的气象状况。

[0111] 此外，气象状况判定部115还能够基于周边声音的强度来估计降雨、降雹的强度、雷的产生位置(与拍摄场所(麦克风105)相距的距离)。另外，气象状况判定部115还能够基于周边声音的强度和频率中的至少一方的时间变化来预判定为拍摄时的气象状况是降雨、降雹以及雷(雷鸣)中的某一个。另外，气象状况判定部115不对没有声音特征(几乎不产生声音)的降雪进行预判定。

[0112] 气象状况判定部115根据上述的基于图像特征和声音特征的预判定的结果，参照图12所示的气象状况判定表来对气象状况进行判定(正式判定)。

[0113] 更详细地说，关于图像特征，在气象状况判定部115预判定为存在拍摄时的气象状况是降雪、降雨以及降雹中的某一个的可能性的情况下，图12中的左侧的图像处理结果栏中的判定项目“像素亮度瞬时变化”的结果为“检测出”。另一方面，在气象状况判定部115未预判定为存在降雪、降雨以及降雹中的某一个的可能性(即，未产生像素中的规定的亮度的瞬时变化)的情况下，判定项目“像素亮度瞬时变化”的结果为“未检测出”。另外，在气象状况判定部115预判定为存在拍摄时的雷(闪电)的可能性的情况下，图像处理结果栏中的判定项目“产生画面闪光”的结果为“检测出”。另一方面，在气象状况判定部115未预判定为存在拍摄时的雷(闪电)的可能性(即，未产生画面闪光)的情况下，判定项目“产生画面闪光”的结果为“未检测出”。

[0114] 关于声音特征，在气象状况判定部115预判定为存在气象状况是降雨的可能性的情况下，图12中的中央的声音处理结果栏中的判定项目“降雨特征声音”的结果为“检测出”。另一方面，在气象状况判定部115未预判定为存在降雨的可能性的情况下，判定项目“降雨特征声音”的结果为“未检测出”。另外，在气象状况判定部115预判定存在气象状况是降雹的可能性的情况下，声音处理结果栏中的判定项目“降雹特征声音”的结果为“检测出”。另一方面，在气象状况判定部115未预判定为存在降雹的可能性的情况下，判定项目“降雹特征声音”的结果为“未检测出”。并且，在气象状况判定部115预判定为存在气象状况是雷(雷鸣)的可能性的情况下，声音处理结果栏中的判定项目“雷鸣特征声音”的结果为“检测出”。另一方面，在气象状况判定部115未预判定为存在雷(雷鸣)的可能性的情况下，判定项目“雷鸣特征声音”的结果为“未检测出”。

[0115] 在上述的与图像处理结果有关的判定项目“像素亮度瞬时变化”或者“产生画面闪光”的结果是“未检测出”、且与声音处理结果有关的判定项目“降雨特征声音”、“降雹特征声音”或者“雷鸣特征声音”的结果是“未检测出”的情况下，气象状况判定部115参照图12中的右侧的“气象状况判定结果”栏，判断为降雪、降雨、降雹、雷(闪电)均未检测出(难以产生拍摄图像的噪声的晴、阴等气象状况)。

[0116] 另外，在与声音处理结果有关的判定项目“降雨特征声音”的结果为“检测出”的情况下，无论与图像处理结果有关的判定项目“像素亮度瞬时变化”的结果如何，气象状况判定部115都参照“气象状况判定结果”栏来将气象状况判定为降雨。由此，在监视系统101中，在提取出相对于其它气象状况而言判别比较容易的降雨的声音特征的情况下，能够不受相对于其它气象状况而言判别比较难的降雨的图像特征的影响地、获取通过与降雨相应的图像处理来适当地去除了噪声的图像。

[0117] 另外，在判定项目“像素亮度瞬时变化”的结果为“检测出”、且与声音处理结果有关的判定项目“降雨特征声音”和“降雹特征声音”的结果为“未检测出”的情况下，气象状况判定部115参照“气象状况判定结果”栏，将气象状况判定为降雪。

[0118] 另外，在与声音处理结果有关的判定项目“降雹特征声音”的结果为“检测出”的情况下，无论与图像处理结果有关的判定项目“像素亮度瞬时变化”的结果如何，气象状况判定部115都参照“气象状况判定结果”栏来将气象状况判定为降雹。由此，在监视系统101中，在提取出相对于其它气象状况而言判别比较容易的降雹的声音特征的情况下，能够不受相对于其它气象状况而言判别比较难的降雹的图像特征的影响地、获取通过与降雹相应的图像处理来适当地去除了噪声的图像。

[0119] 另外，在与声音处理结果有关的判定项目“雷鸣特征声音”的结果是“检测出”的情况下，无论与图像处理结果有关的判定项目“产生画面闪光”的结果如何，气象状况判定部115都能够参照“气象状况判定结果”栏来将气象状况判定为雷。但是，即使在与声音处理结果有关的判定项目“雷鸣特征声音”的结果是“检测出”的情况下，也有可能不产生闪电(仅产生不会成为拍摄图像的噪声的雷鸣)，因此也可以是，仅在与图像处理结果有关的判定项目“产生画面闪光”的结果是“检测出”、且与声音处理结果有关的判定项目“雷鸣特征声音”的结果是“检测出”的情况下，气象状况判定部115将气象状况判定为雷。

[0120] 另外，在与图像处理结果有关的判定项目“产生画面闪光”的结果是“检测出”的情况下，无论与声音处理结果有关的判定项目“雷鸣特征声音”的结果如何，气象状况判定部115都能够参照“气象状况判定结果”栏来将气象状况判定为雷。

[0121] 再次参照图11，图像清晰化部116通过时间轴方向的中值滤波处理，来去除拍摄图像中的噪声。更详细地说，图像清晰化部116针对包括处理对象的拍摄图像在内的在时间上连续的多个拍摄图像(帧图像)，在关于时间轴而言对应的像素之间进行像素值的排序处理，获取其中间值。在该情况下，在时间上连续的多个拍摄图像是在时间上位于处理对象的拍摄图像前后的拍摄图像(以处理对象为基准，在时间上位于其之前的拍摄图像或者在时间上位于其之后的拍摄图像、或者这两方)。然后，图像清晰化部116生成基于该各像素的中间值来去除了因气象状况引起的噪声后的拍摄图像(下面称为“噪声去除图像”。)。此外，图像清晰化部116能够与中值滤波处理的执行一起执行有助于图像的清晰化的其它公知的图像处理(例如，灰度校正)。

[0122] 图像清晰化部116根据由气象状况判定部115判定出的特定的气象状况(在此，降雪、降雨、降雹以及雷)来执行多个不同的图像清晰化处理(用于去除噪声的图像处理)。更详细地说，图像清晰化部116在中值滤波处理中，能够根据气象状况来变更要进行排序处理的在时间上连续的拍摄图像的数量。例如，图像清晰化部116能够在降雨的情况下使中值滤波处理中的作为排序处理的对象的在时间上连续的拍摄图像为比在降雪的情况下作为排序处理的对象的拍摄图像的数量n少的数量m(

[0123] 此外，在气象状况判定部115未判定出特定的气象状况(在此，降雪、降雨、降雹以及雷中的某一个)的情况下，图像清晰化部116不执行图像清晰化处理。另外，图像清晰化部116不限于中值滤波处理，能够通过其它公知的图像处理来去除拍摄图像中的噪声。在该情况下，图像清晰化部116也为以下结构：能够根据气象状况，来从多个公知的方法中选择性地执行适于去除因降雪、降雨、降雹以及闪电引起的噪声的公知的噪声去除方法。

[0124] 对图像选择部117输入来自图像输入部111的去除噪声前的拍摄图像(下面称为“输入图像”。)以及来自图像清晰化部116的噪声去除图像。作为图像选择部117的动作模式，图像处理装置103的操作员能够选择对显示部108输出噪声去除图像(监视用图像)的监视模式以及对显示部108输出输入图像(天气确认用图像)的通常模式(天气确认模式)。由此，在需要监视的情况下，操作员能够将噪声去除图像显示在显示部108上，来良好地确认要关注的被摄体，另一方面，在不需要监视的情况下，操作员能够将输入图像显示在显示部108上，通过目视来确认外部(拍摄场所)的天气。另外，操作员通过实时地切换图像选择部
117的动作模式，还具有以下优点：即使是难以通过图像处理来去除噪声的气象状况，也能够确认输入图像和噪声去除图像这两方来提高监视的精度。

[0125] 此外，在图像处理装置103中，也可以为以下结构：省略图像选择部117，从显示部108输出输入图像和噪声去除图像这两方。在该情况下，在显示部108中，能够通过双画面显示来同时显示输入图像和噪声去除图像这两方。

[0126] 图13是表示监视系统101的处理的流程的流程图。在监视系统101中，由监视摄像机102和麦克风105获取到的拍摄图像和周边声音分别被适当输入到图像输入部111和声音输入部112并被存储(ST101)。因此，图像特征提取部113从所存储的拍摄图像提取图像特征，另一方面，声音特征提取部114从所存储的周边声音提取声音特征(ST102)。接着，气象状况判定部115基于提取出的图像特征和声音特征来判定进行拍摄图像的拍摄时的气象状况(ST103)。

[0127] 接着，在图像处理装置103中，在选择了监视模式作为图像选择部117的动作模式的情况下(ST104：“是”)，图像清晰化部116判定在步骤ST103中是否判定出特定的气象状况(在此，降雪、降雨、降雹以及雷中的某一个)(ST105)。因此，在判定出特定的气象状况的情况下(ST105：“是”)，图像清晰化部116执行图像清晰化处理(ST106)，接着，图像选择部117将通过该图像清晰化处理得到的噪声去除图像(运动图像或静止图像)显示在显示部108上(ST107)。由此，图像处理装置103的操作员能够容易地进行被摄体的监视。在步骤ST105中未判定出特定的气象状况的情况下(“否”)，在显示部108上显示输入图像(ST109)。此外，图像处理装置103中设置有扬声器，在步骤ST107中，能够在进行噪声去除图像的显示的同时从扬声器输出与该噪声去除图像对应的周边声音(例如，雨声)。

[0128] 另一方面，在步骤ST104中未选择监视模式(选择了通常模式)的情况下(ST104：“否”)，图像清晰化部116判定是否判定出特定的气象状况(在此，降雪、降雨、降雹以及雷中的某一个)(ST108)。因此，在判定出特定的气象状况的情况下(ST108：“是”)，图像选择部
117将未去除噪声的输入图像(运动图像或静止图像)显示在显示部108上(ST109)。由此，图像处理装置103的操作员能够容易地进行天气的确认。此外，在ST109中，也可以显示在图像清晰化部116中进行了图像处理的拍摄图像(在特定的气象状况以外的气象状况(例如，晴天)下去除了噪声的图像)来代替输入图像。

[0129] 另外，在步骤ST108中未判定出特定的气象状况的情况下(“否”)，图像选择部117使显示部108为关闭状态或者维持关闭状态(ST110)。由此，操作员在通常模式下，能够仅在显示部108处于开启状态的情况下识别出发生了特定的气象状况(例如，在晴天之后开始降雨等天气的变化)。此外，在步骤ST110中，也能够显示预先准备的图像(例如，广告影像、电视节目影像等)来代替使显示部108为关闭状态(或者维持关闭状态)。在监视系统101中，能够重复执行上述的步骤ST101～ST110。

[0130] 这样，根据监视系统101，在室外的拍摄中，能够基于拍摄图像和拍摄时的周边声音来通过简易的结构判定气象状况，另外，能够获取通过与所判定出的该气象状况相应的图像处理来适当地去除了噪声的图像。

[0131] 以上说明的第二实施方式的公开内容在前述的第一实施方式和后述的第四实施方式中也能够应用。特别是，在使用第一实施方式中公开的车载摄像机来进行第二实施方式中的气象状况的判定的情况下，在降雨、降雪时，雨刷也有可能动作。在该情况下，只要除了第二实施方式中的降雨、降雪的噪声去除以外还进行第一实施方式中的雨刷的去除，就能够获取更适当地去除了噪声的图像。

[0132] 另外，为了使第二实施方式中的气象状况的判定更可靠，也可以将实施方式1中的雨刷的动作状况添加为干扰检测条件，来作为气象状况的判定条件之一。雨刷正在进行动作意味着气象状况处于强烈的降雨或降雪的状态的情况多，需要进行降雨或降雪的噪声去除的情况多。反之，在即使气象状况处于降雨或降雪的状态、雨刷也没有进行动作的情况下，降雨或降雪不那么严重的情况多，因此也可以不进行降雨或降雪的噪声去除。

[0133] 即，在图像处理装置103中，在选择了监视模式作为图像选择部117的动作模式的情况下(ST104：“是”)，图像清晰化部116判定在步骤ST103中是否检测出特定的干扰状况(在此，除了降雪、降雨、降雹以及雷中的某一个以外，还有进行动作的雨刷)(ST105)。因此，在检测出特定的干扰的情况下(ST105：“是”)，图像清晰化部116执行图像清晰化处理(ST106)，接着，图像选择部117将通过该图像清晰化处理得到的噪声去除图像(运动图像或静止图像)、即去除了雨刷的图像显示在显示部108上(ST107)。由此，图像处理装置103的操作员能够容易地进行被摄体的监视。在步骤ST105中未检测出特定的干扰的情况下(“否”)，在显示部108上显示输入图像(ST109)。此外，图像处理装置103中设置有扬声器，在步骤ST107中，能够在进行噪声去除图像、即去除了雨刷的图像的显示的同时从扬声器输出与该噪声去除图像对应的周边声音(例如，雨声、雨刷摩擦车窗的声音)。

[0134] 另一方面，在步骤ST104中未选择监视模式(选择了通常模式)的情况下(ST104：“否”)，图像清晰化部116判定是否检测出特定的干扰(在此，除了降雪、降雨、降雹以及雷中的某一个以外，还有雨刷的动作)(ST108)。因此，在检测出特定的干扰的情况下(ST108：
“是”)，图像选择部117将未去除噪声的输入图像(运动图像或静止图像)、即未去除雨刷的图像显示在显示部108上(ST109)。由此，图像处理装置103的操作员能够容易地进行天气的确认。

[0135] 并且，在进行第二实施方式中的气象状况的判定的情况下，在强风雨、暴风雨、强风雪或暴风雪时，也有可能由于暴风或强风而产生像抖动。在该情况下，只要除了第二实施方式中的降雨、降雪的噪声去除以外还进行第四实施方式中的像抖动校正，就能够获取更适当地去除了噪声的图像。

[0136] 即，在图像处理装置103中，在选择了监视模式作为图像选择部117的动作模式的情况下(ST104：“是”)，图像清晰化部116判定在步骤ST103中是否检测出特定的干扰(在此，除了降雪、降雨、降雹以及雷中的某一个以外，还有暴风或强风)(ST105)。因此，在检测出特定的干扰的情况下(ST105：“是”)，图像清晰化部116执行图像清晰化处理(ST106)，接着，图像选择部117将通过该图像清晰化处理得到的噪声去除图像(运动图像或静止图像)、即进行了像抖动校正的图像显示在显示部108上(ST107)。由此，图像处理装置103的操作员能够容易地进行被摄体的监视。在步骤ST105中未判定出特定的干扰的情况下(“否”)，在显示部108上显示输入图像(ST109)。此外，图像处理装置103中设置有扬声器，在步骤ST107中，能够在进行噪声去除图像、即进行了像抖动校正的图像的显示的同时从扬声器输出与该噪声去除图像对应的周边声音(例如，雨声)。

[0137] 另一方面，在步骤ST104中未选择监视模式(选择了通常模式)的情况下(ST104：“否”)，图像清晰化部116判定是否检测出特定的干扰(在此，除了降雪、降雨、降雹以及雷中的某一个以外，还有暴风或强风)(ST108)。因此，在检测出特定的干扰的情况下(ST108：
“是”)，图像选择部117将未去除噪声的输入图像(运动图像或静止图像)、即未进行像抖动校正的图像显示在显示部108上(ST109)。由此，图像处理装置103的操作员能够容易地进行天气的确认。此外，在ST109中，也可以显示在图像清晰化部116中进行了图像处理的拍摄图像(在特定的气象状况以外的气象状况(例如，晴天)下去除了噪声的图像)，来代替输入图像。

[0138] 并且，也可以是，在监视模式下，除了基于天气状况的判定来进行噪声去除以外，还适当进行上述说明的雨刷的去除和像抖动校正，在通常模式下，不进行基于天气状况的判定的噪声去除、雨刷的去除以及像抖动校正中的任一个。

[0139] (第三实施方式)

[0140] 图14是表示本公开的第三实施方式所涉及的监视系统101的概要的结构图。关于第三实施方式所涉及的监视系统101，对于下面未特别提及的事项，认为与第二实施方式的情况相同而省略详细的说明。在图14中，对与上述的第二实施方式所涉及的结构要素相同的结构要素标注相同的标记(后述的图15也同样)。

[0141] 如图14所示，第三实施方式所涉及的监视系统101具备设置于室外(住宅的进门处周边)的对讲子机(拍摄装置)131以及设置于住宅的室内的对讲母机132。另外，在监视系统101中，对讲子机131与对讲母机132以能够相互通信的方式(在此，公知的无线通信)连接，另外，对讲母机132经由网络104来与便携终端133以能够相互通信的方式连接。

[0142] 对讲子机131具有：摄像机(拍摄装置)141，其拍摄室外的被摄体；以及麦克风(声音输入装置)142，其在拍摄时获取周边声音(在此，特别是与降雨、降雹、雷鸣等气象状况有关的声音)。另外，对讲母机132具有：母机监视器(显示部)151，其显示由摄像机141拍摄到的拍摄图像；扬声器152，其输出由麦克风142获取到的周边声音；以及显示选择按钮153，其用于由用户进行对与气象状况有关的信息(例如，由摄像机141拍摄到的拍摄图像、由麦克风142获取到的周边声音、与气象状况有关的消息等)的输出目的地进行选择的操作。此外，在此，关于对讲子机131和对讲母机132，主要说明与第三实施方式关联性高的结构要素，但是能够在它们中设置用于实现公知的对讲功能的其它结构要素。

[0143] 在对讲母机132中，监视系统101的用户能够通过显示选择按钮153的操作，选择外出模式和通常模式(非外出模式)中的任一个来作为对讲母机132的动作模式。在选择了通常模式的情况下，与气象状况有关的信息的输出目的地被设定为对讲母机132(母机监视器151)。另一方面，在选择了外出模式的情况下，与气象状况有关的信息的输出目的地被设定为便携终端133(便携终端监视器155)。但是，在监视系统101中，也能够构成为具有以下的进一步的动作模式：将与由摄像机141拍摄到的气象状况有关的信息的输出目的地设为对讲母机132和便携终端133这两方。

[0144] 便携终端133是对讲母机132的用户(居住者等)所携带的便携型信息设备。在此，便携终端133由具备包括触摸面板的便携终端监视器155的便携电话机(智能电话)构成，另外，具有至少能够与对讲母机132通信的公知的网络通信功能。但是，作为便携终端133，不限于便携电话机，也能够利用具有同样的功能的平板电脑、笔记本电脑等其它信息设备。另外，在便携终端133中安装有能够与对讲母机132之间发送接收图像、声音的专用的应用程序。

[0145] 图15是图14中的对讲母机132的功能框图。如图15所示，第三实施方式所涉及的对讲母机132具备具有与图11所示的第二实施方式所涉及的图像处理装置103相同的功能的图像输入部111、声音输入部112、图像特征提取部113、声音特征提取部114以及气象状况判定部115。

[0146] 在对讲母机132中，对显示选择部161输入来自图像输入部111的拍摄图像(下面称为“输入图像”。)以及来自气象状况判定部115的气象状况的判定结果。关于与气象状况有关的信息的输出目的地，显示选择部161基于通过显示选择按钮153的操作来预先设定的动作模式，选择拍摄图像的输出目的地(在此，对讲母机132的母机监视器151或便携终端133的便携终端监视器155的一方或两方)。另外，显示选择部161能够基于来自气象状况判定部115的气象状况的判定结果，来进行母机监视器151的开启状态/关闭状态的切换、图像显示内容的变更等。另外，气象状况判定部115基于气象状况的判定结果来选择预先准备的与气象状况有关的消息，作为气象状况的判定结果的一部分输入到显示选择部161。

[0147] 此外，在第三实施方式所涉及的对讲母机132中，也能够通过设置与图11所示的第二实施方式的情况相同的结构要素(图像清晰化部116、图像选择部117等)来构成为使母机监视器151或便携终端监视器155显示噪声去除图像。

[0148] 图16是表示第三实施方式所涉及的监视系统的处理的流程的流程图，图17是表示图16中的步骤ST208中的图像显示的一例的说明图。

[0149] 在第三实施方式所涉及的监视系统101中，执行与图13所示的第二实施方式中的步骤ST101～ST103及ST105分别相同的步骤ST201～ST204。

[0150] 在步骤ST205中选择了外出模式来作为对讲母机132的动作模式的情况下(“是”)，显示选择部161向便携终端133通知存在与气象状况有关的信息的意思(ST206)。因此，当便携终端133的用户执行与气象状况有关的信息的获取操作时，在便携终端监视器155上显示与气象状况有关的信息(ST207)。在步骤ST207中，作为与气象状况有关的信息，在便携终端监视器155上显示由摄像机141拍摄到的拍摄图像(运动图像或静止图像)和与气象状况有关的消息中的至少一方。在该情况下，通过仅显示与气象状况有关的消息，能够降低数据量、降低显示所花费的时间。另外，此时，也能够从便携终端133的扬声器输出由麦克风142获取到的周边声音。此外，也可以构成为：无论便携终端133的用户的操作如何，都在便携终端监视器155上弹出与气象状况有关的信息。

[0151] 另外，在步骤ST204中未判定出特定的气象状况的情况下(“否”)，图像选择部117使母机监视器151为关闭状态、或者维持关闭状态(ST209)。由此，用户能够仅在母机监视器151处于开启状态的情况下识别出发生了特定的气象状况(在晴天之后开始降雨等天气的变化)。

[0152] 另外，在步骤ST205中未选择外出模式来作为对讲母机132的动作模式的情况下(“否”)，显示选择部161将与气象状况有关的信息显示在母机监视器151上(ST208)。在步骤ST208中，例如，如图17所示，在母机监视器151的画面上设定显示由摄像机141拍摄到的拍摄图像的图像显示区171以及显示与气象状况有关的消息的消息显示区172。在监视系统101中，能够重复执行上述的步骤ST201～ST209。

[0153] 能够除了应用以上说明的第三实施方式的公开内容以外还应用前述的第二实施方式以及后述的第四实施方式的公开内容。特别是，在第三实施方式的步骤ST205中的外出模式时，也可以进行前述的第二实施方式的监视模式与通常模式的切换。

[0154] 在通常模式的情况下，显示选择部161与上述的第三实施方式中的ST206同样地，向便携终端133通知存在与气象状况有关的信息的意思。因此，当便携终端133的用户执行与气象状况有关的信息的获取操作时，在便携终端监视器155上与ST207同样地显示与气象状况有关的信息。

[0155] 在监视模式的情况下，显示选择部161向便携终端133通知由对讲子机131的摄像机(拍摄装置)141拍摄的室外的被摄体或影像以及在拍摄时由麦克风(声音输入装置)142获取的周边声音(在此，特别是与降雨、降雹、雷鸣等气象状况有关的声音)，来代替ST206中的存在与气象状况有关的信息的意思(ST206)。因此，当便携终端133的用户执行由对讲子机131的摄像机141拍摄的室外的被摄体或影像以及由麦克风(声音输入装置)142获取的周边声音的获取操作时，在便携终端监视器155上显示由对讲子机131的摄像机141拍摄的室外的被摄体或影像，从便携终端所具备的扬声器或耳机插孔输出由麦克风(声音输入装置)142获取的周边声音，来代替ST207中的与气象状况有关的信息。

[0156] 并且，在上述监视模式的情况下，在强风雨、暴风雨、强风雪或暴风雪时，也有可能由于暴风或强风而产生像抖动。在该情况下，只要还进行第二实施方式中的降雨、降雪的噪声去除、后述的第四实施方式中的像抖动校正，就能够获取更适当地去除了噪声的图像来显示在便携终端监视器155上。而且，也可以是，在通常模式中，不进行基于天气状况的判定的噪声去除、雨刷的去除以及像抖动校正中的任一个。

[0157] (第四实施方式)

[0158] 图18A和图18B是表示应用本公开的第四实施方式的摄影机201的拍摄例的示意图。图18A表示本公开的第四实施方式中的以下场面：利用拍摄者(省略图示)手持的摄影机201来拍摄向前走的拍摄对象的被摄体M。此外，摄影机201是数字摄影机，另外不限于手持，也可以佩戴于头部(头盔等)来使用。图18B表示本公开的第四实施方式中的以下情况：将摄影机201与监视器202直接连接来将由摄影机201拍摄到的图像作为影像显现在监视器202的画面202a中；或者，通过个人计算机PC来读出安装于摄影机201的存储介质(存储卡等)
203的图像数据并对该图像数据进行图像处理后输出到与个人计算机PC连接的监视器202(图的虚线的流程)。无论是在哪一个情况下，在画面202a进行显现的图像处理都可以是公知的图像处理，省略其说明。

[0159] 图19A～图19C是表示通过基于本公开的图像处理来显现于监视器202的画面202a的影像的连续性变化的示意图。此外，本实施方式中的像抖动校正可以利用公知的电子方式并使用连续的图像的各帧来进行处理。另外，在说明上，设为画面202a的显示区域与通过摄影机201得到的图像204a(204b/204c/204d)的区域为相同面积的情况来进行图示，但是并不限定于相同，在点数多的高分辨率的画面202a的情况下在其一部分进行显现。

[0160] 图19A的由实线包围的部分是画面202a的显示范围。设在之前的帧处理中第一图像204a整个显示在画面202a中。与此相对，由双点划线包围的与画面202a相同面积的部分是在当前的帧处理中输入的第二图像204b。如上所述，通过像抖动校正，相对于第一图像204a，第二图像204b中的被摄体M发生偏移，在图19A中示出了以下情况的例子：相对于第一图像204a，第二图像204b向图中箭头S1所示的左侧产生了平行移动。在该例中，第二图像
204b的显现于画面202a内的区域为作为校正图像的第二校正图像205b。

[0161] 在通过下一帧处理得到的图19B中，示出了以下情况的例子：相对于虚线所示的第二图像204b，双点划线所示的第三图像204c如图中箭头S2所示那样与上述同样地向左侧进一步产生了移动。像这样进行了图像移位的第三图像204c的显现于画面202a内的区域为第三校正图像205c。在通过再下一帧处理得到的图19C中，示出了以下情况的例子：相对于虚线所示的第三图像204c，双点划线所示的第四图像204d如图中箭头S3所示那样产生了右旋转，像这样进行了图像移位的第四图像204d的显现于画面202a内的区域为第四校正图像205d。

[0162] 通过像抖动校正的帧处理，各图像204a～204d依序如上述那样进行图像移位后显现，由此，在画面202a中，相对于与最初的校正图像相当的第一图像204a，产生显示第二校正图像～第四校正图像205b～205d的区域、以及在各区域处的各校正图像205b～205d以外的各校正图像外区域206a～206c。

[0163] 在图19A中的画面202a中，在作为当前的帧的校正图像即第二校正图像205b以外的区域的图中右侧产生新的校正图像外区域206a(点阴影部分)。在通过下一帧处理得到的图19B中的画面202a中，在当前的帧的校正图像即第三校正图像205c的图中右侧，产生与之前的帧的校正图像外区域206a(线阴影部分)不同的校正图像外区域206b(点阴影部分)。在通过再下一帧处理得到的图19C中，由于当前的帧的校正图像即第四校正图像205d的旋转，在与作为前一帧的校正图像外区域206b(线阴影部分)及作为再前一帧的校正图像外区域206a(交叉线阴影部分)不同的区域产生新的校正图像外区域206c(点阴影部分)。此外，在下面的说明中，在说明对各校正图像外区域206a～206c实施渐变而得到的区域外图像的情况下，标注同一标记来进行说明以表示同一部分。

[0164] 接着，说明用于上述的图像处理的控制要领。该图像处理例如通过计算机程序来实现，但是不限定于计算机程序。另外，与像抖动校正有关的部分是公知的各种电子方式像抖动校正方式中的一例(例如匹配法)，不限定于后述的说明。

[0165] 图20是表示基于本公开的图像处理装置208的第一实施例的框图。如图所示，图像处理装置208具有：图像对准部211，其被输入由摄影机201拍摄到的图像(204a～204d)；抖动图像校正部212，其同样被输入图像(204a～204d)，并且被输入来自后述的抖动校正量计算部214的抖动校正量；输入图像缓存213，其将规定帧数的所输入的图像(204a～204d)按时间序列进行保存；抖动校正量计算部214，其被输入由图像对准部211求出的图像对准信息(帧图像之间的运动)；以及校正量缓存215，其保存由抖动校正量计算部214计算出的抖动校正量。由此构成像抖动校正机构。

[0166] 另外，图像处理装置208中设置有：像素平均值计算部220，其被输入由摄影机201拍摄到的图像(204a～204d)；边界判定部(边界判定单元)216，其被输入在抖动校正量计算部214中基于图像对准信息和之前的帧的抖动校正量来计算出的当前的帧的抖动校正量；区域外图像浓度变换部(渐变设定单元)217，其被输入在边界判定部216中基于当前的帧的抖动校正量来在校正图像以外新产生的校正图像外区域的信息以及由像素平均值计算部
220计算出的图像(204a～204d)的整体或一部分区域的各像素的浓度平均值；区域外图像缓存(图像保存单元)218，其保存由区域外图像浓度变换部217对校正图像外区域实施渐变后得到的区域外图像；以及图像合成部(图像生成单元)219，其基于来自区域外图像缓存
218的区域外图像和来自抖动图像校正部212的校正图像来生成显现于整个画面202a的合成图像。图像对准部211、抖动图像校正部212、输入图像缓存213、抖动校正量计算部214、校正量缓存215、边界判定部216以及区域外图像缓存218是由校正外区域的设定单元及其保存单元构成的图像特征提取部的一例。另外，像素平均值计算部220、区域外图像浓度变换部217以及图像合成部219是干扰抑制部的一例。

[0167] 接着，参照图21的流程图来说明图像处理装置208的第一实施例的控制要领。此外，设在输入图像缓存213中保存有作为之前的帧的图像的第一图像204a，从输入第二图像204b的帧处理起进行说明。

[0168] 在步骤ST301中，将从摄影机201直接输入或者从安装于个人计算机PC的存储介质203输入的第二图像204b分别读入到图像对准部211、抖动图像校正部212、输入图像缓存
213、像素平均值计算部220。在输入图像缓存213中保存第二图像204b。在步骤ST302中，从输入图像缓存213将第一图像204a读入到图像对准部211。

[0169] 在步骤ST303中，在图像对准部211中例如求出包含被摄体M的分割块的局部运动矢量来作为对准处理时的图像对准信息(平行移动量、旋转角度)，进行两个图像204a、204b的对准(参照图19A)。该局部运动矢量被用在接下来的步骤ST304～ST307中的抖动校正量ΔW的计算中。

[0170] 在步骤ST304中，从校正量缓存215将之前的帧的抖动校正量ΔW(n-1)读入到抖动校正量计算部214，在步骤ST305中，由抖动校正量计算部214将来自图像对准部211的对准信息累计到之前的帧的抖动校正量ΔW(n-1)来计算出当前的帧的抖动校正量ΔW(n)，在步骤ST306中，将当前的帧的抖动校正量ΔW(n)保存到校正量缓存215。

[0171] 在步骤ST307中，基于当前的帧的抖动校正量ΔW(n)来进行对由抖动图像校正部212进行了抖动校正而得到的图像的剪切。该剪切的结果即为第二校正图像205b。在步骤ST308中，在边界判定部216中基于当前的帧的抖动校正量ΔW(n)来决定基于第二校正图像
205b而在画面202a中产生的边界(207a)的位置。例如，如图19A所示，在相对于显现于画面
202a的整个范围的第一图像204a而第二图像204b如图的箭头S1所示那样产生了平行移动的情况下，抖动校正量ΔW(n)与平行移动量对应，能够通过使第一图像204a的边缘(在图示例中为右缘)平行移动抖动校正量ΔW(n)来决定边界207a的位置(坐标)。此外，在与图19B对应的帧处理中，同样地决定边界207b，在与图19C对应的帧处理中，同样地决定边界207c。

[0172] 在步骤ST309中，从区域外图像缓存218将之前的帧的区域外图像读出到区域外图像浓度变换部217。此外，在图19A的例子中，第一图像204a是之前的帧的校正图像，相对于该第一图像204a进行了图像移位而得到的第二校正图像205b被显现，由此在画面202a中，在第二校正图像205b以外新产生的第一校正图像外区域206a成为区域外图像。在图19A的例子中未保存之前的帧的区域外图像，因此对第一校正图像外区域206a的各像素例如设定空值。

[0173] 在接下来的步骤ST310中，判别是否变更区域外图像的渐变的初始值。关于渐变，以浓度为代表来在下面的说明中使用，但是设该渐变指包括模糊在内的浓淡的阶段性变化。

[0174] 在步骤ST310中判定为使用当前的帧图像的整体或一部分区域(例如在图19A的边界207a处使用的区域)的浓度平均值来变更渐变的初始值的情况下，进入步骤ST311。此外，在判定为不变更初始值的情况下(使用预先决定的常数值的情况下)，进入步骤ST312。

[0175] 在步骤ST311中，由像素平均值计算部220来计算显现于画面202a的第二校正图像205b的输入图像即第二图像204b的浓度平均值。可以利用公知的各种滤波处理(例如平滑化)来进行浓度平均值的计算。另外，作为彩色图像中的像素的浓度平均值，可以求出各像素的浓度的平均值，但是也可以按红、蓝、绿的各颜色通道分别计算出平均值之后求出像素的平均值。

[0176] 接着，参照图22A、图22B来说明由区域外图像浓度变换部217在步骤ST312中进行的校正图像外区域的浓度的设定要领。图22A是与图19A对应的主要部分放大示意图，图22B是与图19B对应的主要部分放大示意图。图中的四方框内与像素(P1/P2)对应。

[0177] 图22A中的校正图像外区域206a是通过输入第二图像204b时的处理而新产生的，因此对该新产生的校正图像外区域206a的像素P1的浓度设定值Ci设定初始值C1(Ci＝C1)。

[0178] 已输入了第二图像204b的情况下的图22B中的校正图像外区域206b也是通过输入第三图像204c时的像抖动校正处理而新产生的，因此同样对该像素P2的浓度设定值Ci设定初始值C1。而且，图22B中的校正图像外区域206a是之前的帧处理的校正图像外区域，相对于图22B中的通过当前的帧处理而新产生的校正图像外区域206b而言是过去生成的，且相对于第三校正图像205c而言位于与新产生的校正图像外区域206b相比相对远的位置。

[0179] 针对像这样在过去生成的校正图像外区域206a的像素P1的浓度设定值C(n)的设定也通过步骤ST312来进行，其设定要领也以图22B为例来进行说明。

[0180] 在图22B中是以下情况：第三校正图像205c显现于画面202a，由此在画面202a中新产生作为与之前的帧的校正图像外区域206a不同的区域的校正图像外区域206b。新产生的校正图像外区域206b的像素P2的浓度设定值C(1)如上述那样是初始值C1(C(1)＝C1)。然后，在将之前的帧的校正图像外区域206a的像素P1的浓度设定值设为C(n)(n＝2、3、......)、将区域外图像的浓度的目标值设为Co、将浓度的变化率设为系数K(0

[0181] C(n)＝(C(n-1)-Co)*K+Co  (式1)

[0182] 可以适当选择与白天的拍摄对应的值(明侧的浓度)以及与夜间的拍摄对应的值(暗侧的浓度)来设定目标值Co。作为其选择方法，可以是以下方法：针对输入图像的整体或一部分区域来求出浓度的平均值，选择与该浓度平均值之差大(数值化后的浓度的差大)的一方。

[0183] 在校正图像外区域206a的像素P1中，与第1次帧处理对应的图22A中的浓度设定值(C(1))如上述那样是初始值C1，但是根据上述式1，与第2次帧处理对应的图22B中的浓度设定值C(2)为下式。

[0184] C(2)＝(C(1)-Co)*K+Co  (式2)

[0185] 例如将目标值Co设为暗侧的浓度(接近0的值)，由此C1>Co，C(2)中包含系数K，因此C(2)

[0186] 另外，在图19C的情况下，第四图像204d旋转，之前的帧的校正图像外区域206b以及再之前的帧的校正图像外区域206a的一部分被第四校正图像205d所谓覆盖。而且，在画面202a中新产生校正图像外区域206c。对新产生的校正图像外区域206c的像素的浓度设定值设定初始值C1，对之前的帧的校正图像外区域206b以及再之前的帧的校正图像外区域206a的未被覆盖而保留的部分的像素的浓度设定值实施基于上述式1的处理。在该情况下，再之前的帧的校正图像外区域206a的对应的浓度设定值C(3)为下式。

[0187] C(3)＝(C(2)-Co)*K+Co

[0188] 此外，之前的帧的校正图像外区域206b的对应的浓度设定值C(2)为通过上述式2求出的值。这样，当前的帧的浓度设定值C(n)变得小于之前的帧的浓度设定值C(n-1)(C(n)

[0189] 另外，在步骤ST310中判定为变更渐变初始值、在步骤ST312中设定校正图像外区域的浓度的情况下，在图19A中新产生的第一校正图像外区域206a的像素的浓度是基于通过步骤ST311计算出的上述浓度平均值的浓度。在整个画面202a，对第一校正图像外区域206a的像素设定由与第二校正图像205b大致相等的第二图像204b的浓度平均值构成的浓度，因此边界207a变得不显眼。

[0190] 在接下来的步骤ST313中，将设定了浓度设定值C(n)的区域外图像保存到区域外图像缓存218。在步骤ST314中，由图像合成部219读入来自抖动图像校正部212的校正图像以及由区域外图像浓度变换部217设定了浓度的区域外图像，生成将它们进行合成而得到的输出图像(合成图像)。在图19A的情况下，能够如图所示那样将区域外图像缓存218中保存的区域外图像(206a)与第二校正图像205b进行合成。在接下来的步骤ST315中，将从图像合成部219输出的合成图像(205b、206a)输出到监视器202。由此，在监视器202的画面202a中显示如图19A所示的影像。

[0191] 接着，当输入第三图像204c时从步骤ST301起执行上述的处理，下面同样地重复。通过随着帧处理的重复进行而执行的步骤ST312中的上述的浓度设定，在各校正图像外区域206a～206c的浓度中，浓度从初始值C1起且越是过去产生的校正图像外区域浓度越接近目标值Co。由此，例如在图19C中，对画面202a中的区域外图像(206a～206c)的部分施加从第四校正图像205d的边界207c起顺畅地变化的渐变，降低因区域外图像(206a～206c)引起的闪烁等。

[0192] 像这样，对运动图像进行再现时的连续的校正图像205b～205d周围的不同的运动变得不显眼，在画面202a中基于校正图像205b～205d来观察注视对象的情况下不会产生障碍。另外，边界207a～207c变得不显眼，因此无需如以往例那样利用掩模来遮掩边界207a～207c，因此校正图像205b～205d的显示区域不会变小，能够抑制信息量的降低。

[0193] 接着，参照图23的框图和图24的流程图来在下面说明第二实施例。此外，对与上述第一实施例相同的部分标注相同的标记，省略其详细说明。

[0194] 如图23所示，相对于第一实施例，在以下方面不同而其它部分相同，即不同方面在于，省略了边界判定部216，设置有：图像浓度变换部(渐变设定单元)221，其被输入来自像素平均值计算部220的浓度平均值以及来自输出图像缓存222(后述)的合成图像；以及输出图像缓存(图像保存单元)222，其保存从图像合成部219输出的合成图像。从输出图像缓存222对图像浓度变换部221输入之前的帧的合成图像。在图像浓度变换部221中，基于来自像素平均值计算部220的浓度平均值来对之前的帧的合成图像变换浓度，将该进行了浓度变换所得到的浓度变换图像输出到图像合成部219。图像对准部211、抖动图像校正部212、输入图像缓存213、抖动校正量计算部214以及输出图像缓存222是由校正外区域的设定单元及其保存单元构成的图像特征提取部的一例。另外，像素平均值计算部220、图像浓度变换部221以及图像合成部219是干扰抑制部的一例。

[0195] 参照图24的流程来说明该第二实施例。步骤ST301～ST307与第一实施例相同。在接着步骤ST307的步骤ST321中，从输出图像缓存222将之前的帧的合成图像读入到图像浓度变换部221。例如在进行图19B的帧处理的情况下，该之前的帧的合成图像为由图19A的第二校正图像205b和第一区域外图像(206a)构成的图像。此外，之前的帧的合成图像是在后述的步骤ST324中进行之前的帧的帧处理时被保存到输出图像缓存222的，在图19A的情况下，未进行合成，但是第一图像204a相当于该之前的帧的合成图像。

[0196] 在接下来的步骤ST322中，判别是否变更渐变的目标值。渐变的目标值与上述目标值Co相当。此外，步骤ST322中的判别要领可以与上述步骤ST310相同。

[0197] 在变更渐变的目标值的情况下进入的步骤ST323中，与上述步骤ST311同样地计算浓度平均值。在接下来的步骤ST324中，在图像浓度变换部221中变换之前的帧的合成图像的浓度。能够使用上述式1来针对之前的帧的合成图像的各像素计算浓度设定值C(n)，来进行该浓度变换。该情况下的初始值C1是之前的帧的合成图像的各像素的浓度，将通过式1对各像素的浓度进行变换得到的结果的浓度变换图像输出到图像合成部219。

[0198] 在接下来的步骤ST325中，在图像合成部219中，基于来自抖动图像校正部212的校正图像以及进行了上述浓度的变换的之前的帧的合成图像来生成当前的帧的合成图像。在与上述同样地进行图19B的帧处理的情况下，当前的帧的合成图像由第三校正图像205c和第一及第二区域外图像(206a、206b)构成。

[0199] 在接下来的步骤ST326中，将通过步骤ST325生成的合成图像保存到输出图像缓存222，在步骤ST327中，将从图像合成部219输出的合成图像输出到监视器202。然后，与上述实施例同样地重复本流程。

[0200] 例如，在图19B的例子中，从抖动图像校正部212输入第三校正图像205c，从图像浓度变换部221输入对之前的帧的合成图像(205b、206a)进行了浓度变换后得到的图像，基于它们生成当前的帧的合成图像(205c、206a、206b)。在该第二实施例中，基于式1对各像素进行浓度变换，不是如上述第一实施例那样各区域外图像(206a、206b)分别以单一的浓度填充，而是显现各图像204a、204b的对应的部分的形状。此时，相对于第三校正图像205c，第二区域外图像(206b)的浓度对比度例如降低，第一区域外图像(206a)的浓度对比度进一步降低，通过以这种方式显现，第三校正图像205c以外的区域外图像(206a、206b)的部分的图案变淡，因此即使由于是过去的图像204a、204b而使得显现的部分发生时间延迟，也不会在整个画面202a产生大的不协调感。另外，在整个画面202a显现所拍摄的部分，因此画面202a的周围如框那样被遮掩而在中央部分的小区域进行显现的以往例中的图像被缩小化的印象被消除。

[0201] 接着，参照图25的框图和图26的流程图来在下面说明第三实施例。此外，对与上述第一实施例相同的部分标注相同的标记，省略其详细说明。

[0202] 如图25所示，相对于第一实施例，在以下方面不同而在其它部分相同，即不同方面在于，省略了边界判定部216和像素平均值计算部220，设置有保存从图像合成部219输出的合成图像的输出图像缓存(图像保存单元)222以及从输出图像缓存222被输入之前的帧的合成图像的图像模糊部(渐变设定单元)223，并且从图像模糊部223将进行了模糊处理的之前的帧的合成图像输出到图像合成部219。图像对准部211、抖动图像校正部212、输入图像缓存213、抖动校正量计算部214以及输出图像缓存222是由校正外区域的设定单元及其保存单元构成的图像特征提取部的一例。另外，图像模糊部223和图像合成部219是干扰抑制部的一例。

[0203] 参照图26的流程来说明该第三实施例。步骤ST301～ST307与第一实施例相同，步骤ST331也与步骤ST321相同。在接着步骤ST331的步骤ST332中，由图像模糊部223来对从输出图像缓存222读入的之前的帧的图像进行模糊处理。作为模糊处理，可以是利用空间滤波(例如空间平滑化滤波)的处理。另外，步骤ST333～ST335与步骤ST324～ST327相同。然后，与上述实施例同样地重复本流程。

[0204] 这样，对之前的帧的图像实施模糊处理，将该模糊图像与当前的帧的图像移位后的校正图像进行合成，由此，例如在图19A中，模糊处理后的第一图像204a的对应的部分相当于第一区域外图像(206a)。由此，在第一区域外图像(206a)中，原本在第一图像204a中清晰地显现的部分不聚焦而呈失焦感，作为相对于第二校正图像205b而言延迟的影像的部分的清晰度下降。

[0205] 在下一帧处理中的图19B中，对第一区域外图像206a进一步进行模糊处理。与针对新的第二区域外图像206b的模糊处理相比，被更大地进行了模糊处理，因此在相对于第二校正图像205b而言为区域外的第一及第二区域外图像206a、206b中，生成如下的渐变：越是过去生成的图像(第一区域外图像206a)，模糊越大。在图19C中也同样。这样，能够起到与上述各实施例同样的效果，并且即使在进行了像抖动校正、而整个画面202a仍产生少许抖动的情况下，画面整体的影像也不会产生不自然感，能够得到易于观看的运动图像。

[0206] 以上说明的第四实施方式的公开内容在前述的第一实施方式～第三实施方式中也能够应用。特别是，在第一实施方式所公开的车载摄像机中，因车的振动而产生像抖动，因此也可以将第四实施方式所公开的像抖动校正应用于对车载摄像机的图像进行处理的图像处理装置。另外，在第二实施方式～第三实施方式所公开的气象状况的判定中，摄像机由于风、地震等而振动从而产生像抖动，因此也可以将第四实施方式所公开的像抖动校正应用于第二实施方式～第三实施方式所公开的对摄像机的图像进行处理的图像处理装置。

[0207] 为了解决问题而完成的第1公开是一种图像处理装置，用于去除在时间序列的多个图像中作为干扰出现的视野妨碍物，该图像处理装置构成为具有：图像保存单元(10)，其保存沿时间序列排列的多个图像；运动矢量计算单元(12)，其在多个图像中，以规定的处理对象图像为基准，求出与该处理对象图像接近的多个关联图像各自的运动矢量；图像运动校正单元(13)，其利用运动矢量来对多个关联图像进行运动校正；以及合成图像生成单元(14)，其对运动校正后的多个关联图像和处理对象图像的像素值进行平均化处理，生成与处理对象图像对应的合成图像。

[0208] 据此，对运动校正后的关联图像和处理对象图像的像素值进行平均化处理(例如使用中值滤波的处理)来生成合成图像，由此不再使用在处理对象图像中作为干扰出现的视野妨碍物的像素，能够从合成图像消除视野妨碍物，并且，针对不成为干扰的其它移动被摄体，通过对关联图像进行运动校正，能够抑制残像、摇动或者一部分消失。

[0209] 另外，第2公开构成为，在第1公开中，具有：修正区域检测单元(15)，其从处理对象图像检测运动矢量为阈值以上的修正区域；以及运动矢量修正单元(16)，其对修正区域设定小于阈值的修正运动矢量。

[0210] 据此，对计算出阈值以上的运动矢量的修正区域设定小于阈值的运动矢量，因此能够抑制在图像的运动校正中由于修正区域的大的运动矢量而产生图像的紊乱。

[0211] 另外，第3公开构成为，在第2公开中，运动矢量修正单元基于与处理对象图像相对的其它关联图像的与修正区域对应的部分的运动矢量来设定修正运动矢量。

[0212] 据此，根据其它关联图像中的运动矢量来设定修正区域的运动矢量，因此能够使修正区域与关联图像的运动矢量一致，在关联图像中的对应的像素被读入到修正区域的情况下，能够生成不会在修正区域产生时间差的图像。

[0213] 另外，第4公开构成为，在第2公开中，修正运动矢量是与处理对象图像相对的其它关联图像的与修正区域对应的部分的运动矢量的中值。

[0214] 据此，能够使用公知的中值滤波，能够容易地进行处理。

[0215] 另外，第5公开构成为，在第2公开中，运动矢量修正单元基于修正区域的周围的运动矢量来设定修正运动矢量。

[0216] 据此，能够使修正区域的运动矢量与周围的小于阈值的运动矢量一致，能够得到与周围的运动之间没有不协调感的图像。

[0217] 另外，第6公开构成为，在第2公开中，运动矢量修正单元将修正运动矢量设定为0。

[0218] 据此，能够使修正区域的运动矢量的设定简单化，能够使处理高速化。

[0219] 另外，第7公开构成为，在第2公开至第5公开中的任一公开中，多个图像是由搭载于汽车的车载摄像机拍摄到的图像，阈值被设定为使得检测出雨刷装置工作时的雨刮片的运动。

[0220] 据此，虽然在雨刷装置工作时雨刮片的运动对于图像中的景色而言成为噪声，但是检测出其运动来设为修正区域，因此能够生成消除雨刮片的由景色构成的合成图像。

[0221] 另外，第8公开是一种图像处理方法，用于去除在时间序列的多个图像中作为干扰出现的视野妨碍物，该图像处理方法构成为包括以下过程：保存沿时间序列排列的多个图像；在多个图像中，以规定的处理对象图像为基准，求出与该处理对象图像接近的多个关联图像各自的运动矢量；利用运动矢量来对多个关联图像进行运动校正；以及对运动校正后的多个关联图像和处理对象图像的像素值进行平均化处理，生成与处理对象图像对应的合成图像。据此，能够起到与第1公开同样的效果。

[0222] 另外，第9公开是一种图像处理装置，通过图像处理来从拍摄图像去除拍摄中的气象状况所引起的噪声，该图像处理装置的特征在于，具备：图像输入部，其被输入在时间上连续的多个拍摄图像；声音输入部，其被输入在进行拍摄图像的拍摄时获取到的周边声音；图像特征提取部，其提取拍摄图像中的与气象状况有关的图像特征；声音特征提取部，其提取周边声音中的与气象状况有关的声音特征；气象状况判定部，其基于图像特征和声音特征，来判定进行拍摄图像的拍摄时的气象状况；以及图像清晰化部，其执行与气象状况判定部所判定出的气象状况相应的图像处理，由此去除拍摄图像中的噪声。

[0223] 根据该第9公开所涉及的图像处理装置，在室外的拍摄中，能够基于拍摄图像和拍摄时的周边声音，通过简易的结构来判定气象状况，并且，能够获取通过与所判定出的该气象状况相应的图像处理来适当地去除了噪声的图像。

[0224] 另外，在第10公开中，特征在于，在上述第9公开中，声音特征提取部提取周边声音中的声音的强度和频率中的至少一方来作为声音特征。

[0225] 根据该第10公开所涉及的图像处理装置，能够基于周边声音中的声音的强度和频率中的至少一方来简易且高精度地判定气象状况。

[0226] 另外，在第11公开中，特征在于，在上述第10公开中，在声音特征提取部中提取出降雨的声音特征的情况下，无论图像特征如何，气象状况判定部都将气象状况判定为降雨。

[0227] 根据该第11公开所涉及的图像处理装置，在提取出相对于其它气象状况而言判别比较容易的降雨的声音特征的情况下，能够不受相对于其它气象状况而言判别比较难的降雨的图像特征的影响地、获取通过与降雨相应的图像处理来适当地去除了噪声的图像。

[0228] 另外，在第12公开中，特征在于，在上述第10公开或第11公开中，在声音特征提取部中提取出降雹的声音特征的情况下，无论图像特征如何，气象状况判定部都将气象状况判定为降雹。

[0229] 根据该第12公开所涉及的图像处理装置，在提取出相对于其它气象状况而言判别比较容易的降雹的声音特征的情况下，能够不受相对于其它气象状况而言判别比较难的降雹的图像特征的影响地、获取通过与降雹相应的图像处理来适当地去除了噪声的图像。

[0230] 另外，在第13公开中，特征在于，在上述第9公开至第12公开中的任一公开中，图像特征提取部提取拍摄图像中的像素的亮度变化来作为图像特征，气象状况判定部基于亮度变化来判定气象状况中的雷。

[0231] 根据该第13公开所涉及的图像处理装置，能够基于拍摄图像中的亮度变化来简易且高精度地判定雷的产生(闪电)。

[0232] 另外，在第14公开中，特征在于，在上述第13公开中，在图像特征提取部中提取出闪电的图像特征的情况下，无论声音特征如何，气象状况判定部都将气象状况判定为雷。

[0233] 根据该第14公开所涉及的图像处理装置，在提取出相对于其它气象状况而言判别比较容易的闪电的图像特征的情况下，能够不受雷鸣的声音特征的影响(特别是，与图像的噪声无关的不伴有闪电的雷鸣的影响)地、获取通过与雷(闪电)相应的图像处理来适当地去除了噪声的图像。

[0234] 另外，在第15公开中，特征在于，在上述第9公开至第14公开中的任一公开中，在气象状况判定部所判定出的气象状况是特定的气象状况以外的情况下，图像清晰化部不执行图像处理。

[0235] 根据该第15公开所涉及的图像处理装置，在特定的气象状况(例如，降雨、降雪、降雹、雷等)以外的情况下(即，是不产生图像的噪声的气象状况的情况下)，中止图像处理，因此能够防止由于执行不需要的图像处理而使拍摄图像劣化。

[0236] 另外，第16公开是一种监视系统，其具备：上述第9公开至第15公开中的任一公开所涉及的图像处理装置；拍摄装置，其对图像输入部输入拍摄图像；以及声音输入装置，其对声音输入部输入周边声音。

[0237] 另外，第17公开是一种图像处理方法，通过图像处理来从拍摄图像去除拍摄中的气象状况所引起的噪声，该图像处理方法的特征在于，包括以下步骤：图像输入步骤，输入在时间上连续的多个拍摄图像；声音输入步骤，输入在进行拍摄图像的拍摄时获取到的周边声音；图像特征提取步骤，提取拍摄图像中的与气象状况有关的图像特征；声音特征提取步骤，提取周边声音中的与气象状况有关的声音特征；气象状况判定步骤，基于图像特征和声音特征，来判定进行拍摄图像的拍摄时的气象状况；以及图像清晰化步骤，执行与通过气象状况判定步骤判定出的气象状况相应的图像处理，由此去除拍摄图像中的噪声。

[0238] 另外，第18公开是一种图像处理装置，通过像抖动校正对连续地拍摄的图像进行图像移位来生成显现于画面的校正图像，该图像处理装置构成为具有：区域外设定单元，其在通过像抖动校正而相对于原本显现于画面的之前的帧的校正图像的区域产生了不显现当前的帧的校正图像的部分的情况下，将该部分设定为校正图像外区域；保存单元，其依次保存校正图像外区域；渐变设定单元，其对多个校正图像外区域实施渐变；以及图像生成单元，其生成由区域外图像和校正图像构成的合成图像以显现于画面，该区域外图像是对多个校正图像外区域实施渐变而得到的。

[0239] 据此，将对拍摄到的图像进行像抖动校正而得到的校正图像以受光元件的分辨率的大小显现在画面上，由此保持校正图像的分辨率，并且，即使校正图像通过像抖动校正的图像移位而发生偏移、从而产生由不显现于画面的部分构成的校正图像外区域，也对该校正图像外区域实施渐变，由此校正图像外区域变得不显眼，显现于画面的校正图像外区域的不自然感被消除，能够抑制画面中的显示效率的下降。

[0240] 另外，第19公开构成为，在第18公开中，保存单元保存合成图像，渐变设定单元对图像保存单元中保存的之前的帧的合成图像进行模糊处理，将进行该模糊处理而得到的模糊图像输出到图像生成单元，图像生成单元将模糊图像的对应的部分用于区域外图像。

[0241] 据此，区域外图像的与校正图像相近的区域显现与校正图像相比变化不那么大的模糊图像，因此相对于在画面的一部分仅显现校正图像，能够在画面的大的范围中显现图像，并且，在保留之前的帧的校正图像外区域来显现的情况下，模糊的程度增大，因此能够抑制因之前的帧的影像引起的与时间差相伴的不自然感。

[0242] 另外，第20公开构成为，在第18公开中，渐变的变化是与校正图像的平均浓度相应地逐渐变明或变暗。

[0243] 据此，在白天拍摄的情况下校正图像整体明亮，因此在该情况下以变暗到如区域外图像的过去的区域那样的程度的方式变化，相反地，在夜间拍摄的情况下校正图像整体昏暗，因此在该情况下以变亮到如区域外图像的过去的区域那样的程度的方式变化，由此，不会相对于校正图像在区域外图像中产生明暗的急剧变化，能够避免产生影像的不自然感。

[0244] 另外，第21公开构成为，在第20公开中，平均浓度是在校正图像中以大致固定的浓度存在的规定区域的浓度的平均值。

[0245] 据此，在校正图像存在例如如蓝天那样以大致固定的浓度显现的规定区域的情况下，将该规定区域的平均浓度设为校正图像的平均浓度，由此能够不针对整个校正图像求出平均浓度地决定逐渐改变渐变的浓度，因此能够以简单的处理来实施渐变。

[0246] 另外，第22公开构成为，在第20公开或第21公开中，区域外图像的渐变的初始值或目标值是平均浓度。

[0247] 据此，基于当前的帧的校正图像而产生的区域外图像的渐变的初始值或目标值是校正图像的平均浓度，因此与校正图像之间的边界变得不显眼，无需利用掩模来遮掩，因此校正图像的显示区域不会变小，能够抑制信息量的降低。

[0248] 另外，第23公开是一种图像处理方法，通过像抖动校正对连续地拍摄的图像进行图像移位来生成显现于画面的校正图像，该图像处理方法构成为包括以下过程：在通过像抖动校正而相对于原本显现于画面的之前的帧的校正图像的区域产生了不显现当前的帧的校正图像的部分的情况下，将该部分设定为校正图像外区域；依次保存校正图像外区域；对多个校正图像外区域实施渐变；生成由校正图像和成为校正图像的区域外的区域外图像构成的合成图像以将该合成图像显现于画面，该区域外图像；以及生成由对多个校正图像外区域实施渐变而得到的区域外图像以及校正图像构成的合成图像以将该合成图像显现于画面。据此，能够起到与第18公开同样的效果。

[0249] 以上，说明了本公开的优选实施方式的实施例，但是只要是本领域技术人员则能够容易地理解，本公开不限定于这种实施例，能够在不脱离本公开的宗旨的范围内适当进行变更。在上述实施方式中，说明了雨刮片6来作为视野妨碍物，但是不限定于雨刮片6，在消除相对于想要拍摄的景色而言进行不同的运动的视野妨碍物的情况下有效，例如能够将降雨时的雨、沿摄像机的镜头面流下的水滴等作为对象。另外，例如，本实施方式所进行的气象状况的判定不限于以去除拍摄图像的噪声为目的，也能够单纯地用于自动判定室外的天气的目的。并且，例如，在上述实施方式中，说明了被摄体M在校正图像中位于大致中央的像抖动校正的例子，但是在不确定被摄体地进行像抖动校正的情况下也能够应用。在该情况下，也可以是，在校正图像的显示范围相对于整个画面202a变为规定的比例以下的情况下，暂时复位，将此时输入的图像显示在画面202a中，重新进行上述的图像处理。另外，也可以不对连续地输入的图像逐次地进行处理，也可以每隔任意的次数地进行处理。并且，上述实施方式所示的结构要素未必全部都是必需的，只要不脱离本公开的宗旨，就能够适当取舍选择。

[0250] 产业上的可利用性

[0251] 本公开所涉及的图像处理装置和图像处理方法能够得到不具有由比景色的移动更高速地运动的视野妨碍物引起的噪声的影像，在车载摄像机、监视用摄像机等中有用。另外，本公开所涉及的图像处理装置和具备该图像处理装置的监视系统以及图像处理方法在室外的拍摄中能够通过简易的结构来判定气象状况，并且能够获取通过与所判定出的该气象状况相应的图像处理来适当地去除了噪声的图像，作为通过图像处理来从拍摄图像去除拍摄中的降雪等气象状况所引起的噪声(视野妨碍物)的图像处理装置和具备该图像处理装置的监视系统以及图像处理方法等而有用。并且，本公开所涉及的图像处理装置能够避免在将通过电子方式像抖动校正得到的校正图像显现于画面的情况下的影像中产生不自然感，因此作为一边移动一边拍摄的摄影机等有用。

[0252] 附图标记说明

[0253] 1：汽车；4a：画面；5：图像处理装置；6：雨刮片(视野妨碍物)；10：输入图像缓存(图像保存单元)；11：图像设定部；12：运动矢量计算部(运动矢量计算单元)；13：帧运动校正部(图像运动校正单元)；14：图像合成部(合成图像生成单元)；15：修正区域检测部(修正区域检测单元)；16：修正区域修正部(运动矢量修正单元)；101：监视系统；102：监视摄像机(拍摄装置)；103：图像处理装置；105：麦克风(声音输入装置)；111：图像输入部；112：声音输入部；113：图像特征提取部；114：声音特征提取部；115：气象状况判定部；116：图像清晰化部；117：图像选择部；131：对讲子机；132：对讲母机(图像处理装置)；133：便携终端；141：摄像机(拍摄装置)；142：麦克风(声音输入装置)；151：母机监视器；153：显示选择按钮；155：便携终端监视器；161：显示选择部；201：摄影机；202a：画面；204a～204d：第一～第四图像；
205a～205d：第一～第四校正图像；206a～206c：第一～第三校正图像外区域(区域外图像)；207a～207c：边界；208：图像处理装置；211：图像对准部；212：抖动图像校正部；213：输入图像缓存；214：抖动校正量计算部；215：校正量缓存；216：边界判定部(边界判定单元)；
217：区域外图像浓度变换部(渐变设定单元)；218：区域外图像缓存(图像保存单元)；219：
图像合成部(图像合成单元)；220：像素平均值计算部；221：图像浓度变换部(渐变设定单元)；222：输出图像缓存(图像保存单元)；223：图像模糊部(渐变设定单元)。