图像处理装置、图像处理系统和图像处理方法

摘要

本发明能够在用于生成已被除去了雨等的影响的背景图像的图像处理装置中削减图像存储器。在该图像处理装置中，选择部从三个图像信号之中选择在颜色空间中具有较短距离的两个图像信号，该三个图像信号是：在针对分别由输入图像信号构成的各个时间序列帧而执行的处理周期之中的某个关注处理周期的期间内输入的输入图像信号；前一个输出图像信号，其是在比所述关注处理周期提前一个周期的处理周期的期间内生成的输出图像信号；以及已输出图像信号，其是基于在比所述关注处理周期提前两个周期的处理周期的期间内生成的输出图像信号的图像信号。输出图像信号生成部基于预定的混合比率来混合所选择的所述两个图像信号，由此生成输出图像信号。

权利要求

1.一种图像处理装置，所述图像处理装置包括：

选择部，所述选择部从三个图像信号之中选择在颜色空间中具有较短距离的两个图像信号，所述三个图像信号是：在针对分别由输入图像信号构成的各个时间序列帧而执行的处理周期之中的某个关注处理周期的期间内输入的所述输入图像信号；前一个输出图像信号，其是在比所述关注处理周期提前一个周期的处理周期的期间内生成的输出图像信号；

和已输出图像信号，其是基于在比所述关注处理周期提前两个周期的处理周期的期间内生成的所述输出图像信号的图像信号；以及输出图像信号生成部，所述输出图像信号生成部基于预定的混合比率来混合所选择的所述两个图像信号，由此生成所述输出图像信号。

2.根据权利要求1所述的图像处理装置，其中，

所述输出图像信号生成部基于1比1的所述混合比率来进行所述混合。

3.根据权利要求1所述的图像处理装置，其中，

所述输出图像信号生成部基于与所述两个图像信号之间的饱和度比率对应的所述混合比率来进行所述混合。

4.根据权利要求1至3中任一项所述的图像处理装置，其进一步包括：前一个输出图像信号保持部，所述前一个输出图像信号保持部保持所述前一个输出图像信号；以及已输出图像信号保持部，所述已输出图像信号保持部保持所述已输出图像信号。

5.一种图像处理装置，所述图像处理装置包括：

选择部，所述选择部从三个图像信号之中选择在颜色空间中具有较短距离的两个图像信号，所述三个图像信号是：在针对分别由输入图像信号构成的各个时间序列帧而执行的处理周期之中的某个关注处理周期的期间内输入的所述输入图像信号；前一个输出图像信号，其是在比所述关注处理周期提前一个周期的处理周期的期间内生成的输出图像信号；

和已输出图像信号；

输出图像信号生成部，所述输出图像信号生成部基于预定的混合比率来混合所选择的所述两个图像信号，由此生成所述输出图像信号；以及，已输出图像信号生成部，所述已输出图像信号生成部基于预定的第二混合比率来混合在所述关注处理周期的期间内生成的输出图像信号和所述前一个输出图像信号，由此生成所述关注处理周期的下一个周期的期间内使用的已输出图像信号。

6.根据权利要求5所述的图像处理装置，其中，

所述已输出图像信号生成部基于1比1的所述第二混合比率来进行所述混合。

7.根据权利要求5所述的图像处理装置，其中，

所述已输出图像信号生成部基于与在所述关注处理周期的期间内生成的所述输出图像信号和所述前一个输出图像信号之间的饱和度比率对应的所述第二混合比率来进行所述混合。

8.根据权利要求5至7中任一项所述的图像处理装置，其进一步包括：前一个输出图像信号保持部，所述前一个输出图像信号保持部保持所述前一个输出图像信号；以及已输出图像信号保持部，所述已输出图像信号保持部保持所述已输出图像信号。

9.一种图像处理系统，所述图像处理系统包括：

如权利要求1至8中任一项所述的图像处理装置；以及

摄像装置，所述摄像装置提供作为所述输入图像信号的图像信号。

10.一种图像处理方法，所述图像处理方法包括：

选择过程，在该选择过程中，从三个图像信号之中选择在颜色空间中具有较短距离的两个图像信号，所述三个图像信号是：在针对分别由输入图像信号构成的各个时间序列帧而执行的处理周期之中的某个关注处理周期的期间内输入的所述输入图像信号；前一个输出图像信号，其是在比所述关注处理周期提前一个周期的处理周期的期间内生成的输出图像信号；和已输出图像信号，其是基于在比所述关注处理周期提前两个周期的处理周期的期间内生成的所述输出图像信号的图像信号；以及输出图像信号生成过程，在该输出图像信号生成过程中，基于预定的混合比率来混合所选择的所述两个图像信号，由此生成所述输出图像信号。

说明书

图像处理装置、图像处理系统和图像处理方法

技术领域

[0001] 本技术涉及图像处理装置、图像处理系统和图像处理方法。更具体地，本技术涉及能够除去雨等的影响的图像处理装置、图像处理系统、图像处理方法以及使计算机执行该方法的程序。

背景技术

[0002] 安装在户外的监视装置主要用于监视可疑人物、汽车等的侵入。作为这样的用于感测可疑人物等的方法，已知一种根据背景图像计算差异的方法。较佳地，在此时使用的背景图像是已被除去了运动物体图像的图像。例如，在降雨时，所使用的是已经从中除去了雨滴的图像。因此，已经提出了为了除去图像中所反映出来的雨、雪等而进行图像处理的系统(例如，参考专利文献1)。

[0003] 引用列表

[0004] 专利文献

[0005] 专利文献1：日本专利申请特开No.2006-018658

发明内容

[0006] 要解决的技术问题

[0007] 在上述传统技术中，把连续帧的图像保持在图像存储器中，并且计算出它们的平均值，以便减小雨等的影响。然而，为了计算该平均值，必须保持至少三帧的图像，这就导致了需要大容量图像存储器的问题。

[0008] 本技术是鉴于这种情况而被开发的，并且本技术的目的在于，在用于生成已被除去了雨等的影响的背景图像的图像处理装置中削减图像存储器。

[0009] 解决技术问题的技术方案

[0010] 为了解决上述问题而提出了本技术，并且本技术的第一方面为图像处理装置，所述图像处理装置包括选择部以及输出图像信号生成部。所述选择部从三个图像信号之中选择在颜色空间中具有较短距离的两个图像信号，所述三个图像信号是：在针对分别由输入图像信号构成的各个时间序列帧而执行的处理周期之中的某个关注处理周期的期间内输入的所述输入图像信号；前一个输出图像信号，其是在比所述关注处理周期提前一个周期的处理周期的期间内生成的输出图像信号；和已输出图像信号，其是基于在比所述关注处理周期提前两个周期的处理周期的期间内生成的所述输出图像信号的图像信号。所述输出图像信号生成部基于预定的混合比率来混合所选择的所述两个图像信号，由此生成所述输出图像信号。利用这种配置，实现了从输入图像信号、前一个输出图像信号和已输出图像信号之中选择在颜色空间中具有较短距离的两个图像信号并且将这两个图像信号混合的动作。

[0011] 此外，在该第一方面中，所述输出图像信号生成部可以基于1比1的所述混合比率来进行所述混合。利用这种配置，实现了计算所选择的所述两个图像信号的平均值的动作。

[0012] 此外，在该第一方面中，所述输出图像信号生成部可以基于与所述两个图像信号之间的饱和度比率对应的所述混合比率来进行所述混合。利用这种配置，实现了计算通过使用所选择的所述两个图像信号的饱和度来进行加权而获得的加权平均值的动作。

[0013] 此外，在该第一方面中，可以进一步包括：已输出图像信号生成部，所述已输出图像信号生成部基于预定的第二混合比率来混合在所述关注处理周期的期间内生成的所述输出图像信号和所述前一个输出图像信号，由此生成所述已输出图像信号。利用这种配置，实现了使输出图像信号和前一个输出图像信号混合从而生成已输出图像信号的动作。

[0014] 此外，在该第一方面中，所述已输出图像信号生成部可以基于1比1的所述第二混合比率来进行所述混合。利用这种配置，实现了计算输出图像信号和前一个输出图像信号的平均值的动作。

[0015] 此外，在该第一方面中，所述已输出图像信号生成部可以基于与在所述关注处理周期的期间内生成的所述输出图像信号和所述前一个输出图像信号之间的饱和度比率对应的所述第二混合比率来进行所述混合。利用这种配置，实现了计算通过使用所述输出图像信号和所述前一个输出图像信号的饱和度来进行加权而获得的加权平均值的动作。

[0016] 此外，在该第一方面中，可以进一步包括：前一个输出图像信号保持部，所述前一个输出图像信号保持部保持所述前一个输出图像信号；以及已输出图像信号保持部，所述已输出图像信号保持部保持所述已输出图像信号。利用这种配置，实现了单独地保持前一个输出图像信号和已输出图像信号的动作。

[0017] 此外，本技术的第二方面为图像处理系统，所述图像处理系统包括摄像装置、选择部和输出图像信号生成部。所述摄像装置提供作为输入图像信号的图像信号。所述选择部从三个图像信号之中选择在颜色空间中具有较短距离的两个图像信号，所述三个图像信号是：在针对分别由提供过来的所述输入图像信号构成的各个时间序列帧而执行的处理周期之中的某个关注处理周期的期间内输入的所述输入图像信号；前一个输出图像信号，其是在比所述关注处理周期提前一个周期的处理周期的期间内生成的输出图像信号；以及已输出图像信号，其是基于在比所述关注处理周期提前两个周期的处理周期的期间内生成的所述输出图像信号的图像信号。所述输出图像信号生成部基于预定的混合比率来混合所选择的所述两个图像信号，由此生成所述输出图像信号。利用这种配置，实现了从输入图像信号、前一个输出图像信号和已输出图像信号之中选择在颜色空间中具有较短距离的两个图像信号并且将这两个图像信号混合的动作。

[0018] 此外，本技术的第三方面为图像处理方法，所述图像处理方法包括选择过程和输出图像信号生成过程。在所述选择过程中，从三个图像信号之中选择在颜色空间中具有较短距离的两个图像信号，所述三个图像信号是：在针对分别由输入图像信号构成的各个时间序列帧而执行的处理周期之中的某个关注处理周期的期间内输入的所述输入图像信号；前一个输出图像信号，其是在比所述关注处理周期提前一个周期的处理周期的期间内生成的输出图像信号；和已输出图像信号，其是基于在比所述关注处理周期提前两个周期的处理周期的期间内生成的所述输出图像信号的图像信号。在所述输出图像信号生成过程中，基于预定的混合比率来混合所选择的所述两个图像信号，由此生成所述输出图像信号。利用这种配置，实现了从输入图像信号、前一个输出图像信号和已输出图像信号之中选择在颜色空间中具有较短距离的两个图像信号并且将这两个图像信号混合的动作。

[0019] 有益效果

[0020] 根据本技术，在用于生成已被除去了雨等的影响的背景图像的图像处理装置中可以发挥出能够削减图像存储器的优异效果。注意，这里所说明的效果不一定是限制性的，并且可以实现在本公开内容中所说明的任何效果。

附图说明

[0021] 图1是示出了根据本技术的实施例的系统的构造示例的图。

[0022] 图2是示出了根据本技术的第一实施例的图像处理装置200的构造示例的图。

[0023] 图3是示出了根据本技术的第一实施例的前一个输出图像信号保持部230和已输出图像信号保持部240的构造示例的图。

[0024] 图4是示出了根据本技术的第一实施例的选择方法的图。

[0025] 图5是示出了根据本技术的第一实施例的选择部210的构造示例的图。

[0026] 图6是示出了根据本技术的第一实施例的混合方法的图。

[0027] 图7是示出了根据本技术的第一实施例的输出图像信号生成部220的构造示例的图。

[0028] 图8是用于解释根据本技术的第一实施例的图像处理的图。

[0029] 图9是示出了根据本技术的第一实施例的图像处理过程的示例的图。

[0030] 图10是示出了根据本技术的第一实施例的图像处理的效果的图。

[0031] 图11是示出了根据本技术的第二实施例的混合方法的图。

[0032] 图12是示出了根据本技术的第二实施例的输出图像信号生成部220的构造示例的图。

[0033] 图13是示出了根据本技术的第三实施例的图像处理装置200的构造示例的图。

[0034] 图14是用于解释根据本技术的第三实施例的图像处理的图。

[0035] 图15是示出了根据本技术的第三实施例的已输出图像信号生成部250的构造示例的图。

[0036] 图16是示出了根据本技术的第四实施例的已输出图像信号生成部250的构造示例的图。

具体实施方式

[0037] 下面将对实施本技术的方式(在下文中被称为实施例)进行说明。将按照以下顺序进行说明。

[0038] 1.第一实施例(在通过计算所选择的图像信号的平均值来生成输出图像信号的情况下的示例)

[0039] 2.第二实施例(在基于与所选择的图像信号的饱和度对应的混合比率来进行混合以生成输出图像信号的情况下的示例)

[0040] 3.第三实施例(在根据输出图像信号和前一个输出图像信号来生成已输出图像信号的情况下的示例)

[0041] 4.第四实施例(在基于与输出图像信号和前一个输出图像信号的饱和度对应的混合比率来进行混合以生成已输出图像信号的情况下的示例)

[0042] 1.第一实施例

[0043] 系统构造

[0044] 图1是示出了根据本技术的实施例的系统的构造示例的图。图1所示的摄像装置100对场景等进行摄像，并且输出图像信号。此时，摄像装置100生成每帧的图像信号，以便顺序地输出。所述帧具有等同于一个画面的图像信号，并且运动图像由顺序地输出的时间序列帧构成。此外，假设摄像装置100输出由对应于红色光的图像信号(R)、对应于绿色光的图像信号(G)和对应于蓝色光的图像信号(B)构成的图像信号以作为图像信号。

[0045] 图像处理装置200是用于生成已从由摄像装置100输入的输入图像信号中除去了运动物体图像的背景图像并且将该背景图像输出的装置。注意，图像处理装置200对从摄像装置100输出的每个时间序列帧执行上述图像处理。这里，将针对每帧而重复执行的这一图像处理称为处理周期。如稍后将进行说明的，当在某个处理周期中对相应帧执行图像处理时，会参考先前的处理周期中的图像处理的结果。因此，当对由图像处理装置200执行的处理进行说明时，为了将注意力集中于某个处理周期并且为了将这一处理周期与先前的处理周期区分开，将这一处理周期称为关注处理周期。注意，摄像装置100和图像处理装置200构成了图像处理系统。

[0046] 图像处理装置的构造

[0047] 图2是示出了根据本技术的第一实施例的图像处理装置200的构造示例的图。该图像处理装置200包括选择部210、输出图像信号生成部220、前一个输出图像信号保持部230和已输出图像信号保持部240。

[0048] 选择部210从来自摄像装置100的输入图像信号、保持于前一个输出图像信号保持部230中的前一个输出图像信号、和保持于已输出图像信号保持部240中的已输出图像信号之中选择在颜色空间中具有较短距离的两个图像信号。稍后将对选择部210的选择进行详细说明。

[0049] 输出图像信号生成部220通过混合由选择部210选择的两个图像信号201来生成输出图像信号。此时，输出图像信号生成部220基于预定的混合比率来混合这些图像信号。在本技术的第一实施例中，基于1比1的混合比率来进行该混合。稍后将对输出图像信号生成部220中的混合进行详细说明。

[0050] 前一个输出图像信号保持部230保持着作为前一个输出图像信号的、在比关注处理周期提前一个周期的处理周期的期间内由输出图像信号生成部220生成的输出图像信号。稍后将对前一个输出图像信号保持部230的构造进行说明。

[0051] 已输出图像信号保持部240保持着作为已输出图像信号的、基于在比关注处理周期提前两个周期的处理周期的期间内生成的输出图像信号的图像信号。在根据本技术的第一实施例的已输出图像信号保持部240中，把在比关注处理周期提前一个周期的处理周期的期间内保持于前一个输出图像信号保持部230中的前一个输出图像信号作为已输出图像信号而保持着。如上所述，在本技术的第一实施例中，由于前一个输出图像信号是在前一个处理周期的期间内生成的输出图像信号，因此将在比关注处理周期提前两个周期的处理周期的期间内生成的输出图像信号作为已输出图像信号而保持着。稍后将对已输出图像信号保持部240的构造进行说明。

[0052] 前一个输出图像信号保持部和已输出图像信号保持部的构造

[0053] 图3是示出了根据本技术的第一实施例的前一个输出图像信号保持部230和已输出图像信号保持部240的构造示例的图。在图3中，“a”表示了帧的构造。在图3的“a”中，把由640像素×480行构成的帧作为示例。摄像装置100按照图3的“a”中所指示的数字顺序来将图像信号输出至图像处理装置200。为方便起见，该数字被视为输入图像信号的地址。

[0054] 在图3中，“b”表示了前一个输出图像信号保持部230的构造。如图中所示，前一个输出图像信号保持部230由在存储区域的数量上与一帧的图像信号的数量相同的图像存储器构成。如上所述，前一个输出图像信号保持部230保持着作为前一个输出图像信号的、由输出图像信号生成部220生成的输出图像信号。此时，该输出图像信号被保持在地址与对应于该输出图像信号的输入图像信号的地址相同的存储区域中。

[0055] 在图3中，“c”表示了已输出图像信号保持部240的构造。与前一个输出图像信号保持部230一样，已输出图像信号保持部240也由在存储区域的数量上与一帧的图像信号的数量相同的图像存储器构成。如上所述，已输出图像信号保持部240保持着作为已输出图像信号的、被保持于前一个输出图像信号保持部230中的前一个输出图像信号。此时，与前一个输出图像信号保持部230一样，该前一个输出图像信号被保持在地址与对应于原始输出图像信号的输入图像信号的地址相同的存储区域中。

[0056] 选择部中的选择方法

[0057] 图4是示出了根据本技术的第一实施例的选择方法的图。图4表示了选择部210中的选择方法。此外，图4表示了通过将构成图像信号的各个R、G和B信号应用于坐标而得到的颜色空间。图4中的点410为R、G和B全部都具有值“0”并且与对应于黑色的图像信号匹配的点。点420为R、G和B全部都具有最大值并且与对应于白色的图像信号匹配的点，该最大值例如是八位表示(eight-bit representation)中的值“255”。还假定点401至403分别表示输入图像信号、前一个输出图像信号和已输出图像信号。如上所述，选择部210从这三个图像信号(即，输入图像信号、前一个输出图像信号和已输出图像信号)中选择在颜色空间中具有较短距离的两个图像信号。因此，选择部210计算出这三个图像信号相互之间的在颜色空间中的距离。

[0058] 以计算点402和403的距离的情况为例进行说明。假设点402和403处的各个R、G和B信号分别为R1、G1和B1以及R2、G2和B2，它们之间的距离D可以如下式所示那样而被计算。

[0059] 数学公式1

[0060]

[0061] 针对上面提及的三个图像信号分别计算出距离D、然后进行比较，并且选择具有最小D值的两个图像信号。因此，能够从三个图像信号(图4中的点401至403)中选择在颜色空间中具有最短相互距离的两个图像信号。注意，代替距离D的是，可以计算D2并将其用于比较。

[0062] 选择部的构造

[0063] 图5是示出了根据本技术的第一实施例的选择部210的构造示例的图。选择部210包括颜色空间距离计算部211和短距离图像信号选择部212。

[0064] 颜色空间距离计算部211计算输入图像信号、前一个输出图像信号和已输出图像信号相互之间的在颜色空间中的距离。

[0065] 短距离图像信号选择部212基于颜色空间距离计算部211的计算结果从输入图像信号、前一个输出图像信号和已输出图像信号之中选择在位置上相距最短距离的两个图像信号，并将这两个图像信号输出。注意，在上述三个图像信号在位置上相距相等距离的情况下，选择前一个输出图像信号和已输出图像信号并且将这两个图像输出。

[0066] 混合方法

[0067] 图6是示出了根据本技术的第一实施例的混合方法的图。图6表示了把参照图4进行说明的图像信号匹配点402和403混合并且生成输出图像信号的情况。如上所述，在本技术的第一实施例中，基于1比1的混合比率来进行混合。可以通过针对各个坐标计算两个图像信号的平均值来执行该混合。也就是说，如图6所示，可以通过计算两个目标图像信号之间的在颜色空间中的中点404处的图像信号来执行该混合。中点404处的图像信号的计算可以如下式所示那样而被进行。

[0068] R′＝(R1+R2)/2

[0069] B′＝(B1+B2)/2

[0070] G′＝(G1+G2)/2

[0071] 然而，R′、G′和B′分别为中点404处的R、G和B信号。通过该计算，可以基于1比1的比率来混合两个图像信号。

[0072] 输出图像信号生成部的构造

[0073] 图7是示出了根据本技术的第一实施例的输出图像信号生成部220的构造示例的图。该输出图像信号生成部220包括红色图像信号计算部221、绿色图像信号计算部222和蓝色图像信号计算部223。

[0074] 红色图像信号计算部221计算已经被输入的两个图像信号之中的与红色光对应的图像信号的平均值(R′)。绿色图像信号计算部222计算已经被输入的两个图像信号之中的与绿色光对应的图像信号的平均值(G′)。蓝色图像信号计算部223计算已经被输入的两个图像信号之中的与蓝色光对应的图像信号的平均值(B′)。由通过这些图像信号计算部计算出的R′、G′和B′构成的图像信号作为输出图像信号而从输出图像信号生成部220输出。

[0075] 图像处理方法

[0076] 图8是用于解释根据本技术的第一实施例的图像处理的图。在图8中，“a”表示了画面430和像素431之间的关系。假定将对应于该像素431的图像信号#m输入至图像处理装置200的情况。这里，#m表示上述图像信号的地址。在图8中，“b”表示了在图像信号#m被用作输入图像信号的情况下在图像处理装置200中进行的处理。注意，图8的“b”中的处理周期#t与关注处理周期匹配。

[0077] 首先，通过选择部210从输入图像信号#m、前一个输出图像信号#m和已输出图像信号#m中选择在颜色空间中具有较短距离的两个图像信号。注意，前一个输出图像信号#m和已输出图像信号#m分别是对应于像素431的前一个输出图像信号和已输出图像信号。这些输出图像信号分别在前一个输出图像信号保持部230和已输出图像信号保持部240中被保持在地址#m处的存储器区域中。在图8的“b”所示的处理周期#t中，假定前一个输出图像信号#m和已输出图像信号#m是所选择的图像信号。下面，输出图像信号生成部220会混合这两个图像信号，以生成输出图像信号。

[0078] 该输出图像信号从图像处理装置200中输出，并且该输出图像信号也在前一个输出图像信号保持部230中被保持在地址#m处的存储区域中。同样地，将前一个输出图像信号#m在已输出图像信号保持部240中保持在地址#m处的存储区域中。在关注处理周期的下一个处理周期的期间内，这两个输出图像信号将会被用作前一个输出图像信号#m和已输出图像信号#m。同时，在比关注处理周期提前一个周期的处理周期(处理周期#(t-1))的期间内生成的输出图像信号与保持在前一个输出图像信号保持部230中的用于关注处理周期的前一个输出图像信号匹配。另外，在比关注处理周期提前两个周期的处理周期(处理周期#(t-2))期间生成的输出图像信号与保持在已输出图像信号保持部240中的用于关注处理周期的已输出图像信号匹配。以这种方式，在某个处理周期中生成的输出图像信号在后续的处理周期中被用作前一个输出图像信号等。注意，除了图8的“b”所给出的示例之外，也可以假定由选择部210选择了输入图像信号#m和已输出图像信号#m的情况。

[0079] 以下列情况为例来对图像处理进行说明，该情况是：对雨等进行了摄像的图像信号被输入，并且在前一个输出图像信号保持部230和已输出图像信号保持部240中分别保持着在反映有雨等之前的图像信号。诸如雨等水滴通常是白色的，并且对应于水滴的图像信号#m接近于参照图4进行说明的颜色空间中的点420。与此不同地，由于前一个输出图像信号#m和已输出图像信号#m是在反映有雨等之前的图像信号，这两个图像信号在颜色空间中位于远离输入图像信号#m的位置处。因此，选择部210选择前一个输出图像信号#m和已输出图像信号#m。此后，由输出图像信号生成部220对这两个信号进行混合、然后输出。以这种方式，图像处理装置200除去了反映有雨等的图像信号。

[0080] 图像处理过程

[0081] 图9是示出了根据本技术的第一实施例的图像处理过程的示例的图。当图像信号被输入至图像处理装置200时，图9所示的处理开始。首先，由选择部210计算输入图像信号、前一个输出图像信号和已输出图像信号相互之间的在颜色空间中的距离(步骤S901)。然后，判定所计算出的三个距离是否相等(步骤S902)。在三个距离相等的情况下(步骤S902：是)，选择部210就选择前一个输出图像信号和已输出图像信号(步骤S904)。另一方面，在所计算出的三个距离不相等的情况下(步骤S902：否)，选择部210就选择具有最短距离的两个图像信号(步骤S903)。

[0082] 接着，输出图像信号生成部220通过将所选择的两个图像信号混合来生成输出图像信号(步骤S905)。然后，将所生成的输出图像信号重新保持在前一个输出图像信号保持部230中以作为前一个输出图像信号(步骤S906)。最后，将已被保持于前一个输出图像信号保持部230中的前一个输出图像信号重新保持在已输出图像信号保持部240中以作为已输出图像信号(步骤S907)。此后，图像处理装置200结束该处理。

[0083] 图像处理的效果

[0084] 图10是示出了根据本技术的第一实施例的图像处理的效果的图。图10表示了在通过图像处理装置200来处理由摄像装置100在下雨时拍摄到的图像的情况下的示例。如参照图8进行说明的，由于通过图像处理装置200除去了反映有雨滴的图像信号，因此就能够获得已被除去了雨的背景图像。

[0085] 如上所述，根据本技术的第一实施例，通过将针对于前一个输出图像信号保持部和已输出图像信号保持部中的两帧的图像存储器用作图像存储器，能够生成已被除去了雨等的影响的背景图像。

[0086] 2.第二实施例

[0087] 在上面的实施例中，当图像信号被混合时，基于1比1的混合比率来进行混合。与此不同地，在本技术的第二实施例中，基于与图像信号之间的饱和度比率对应的混合比率来进行混合。这能够进一步提高在除去雨等的影响时的能力。

[0088] 输出图像信号生成部中的混合方法

[0089] 图11是示出了根据本技术的第二实施例的混合方法的图。图11表示了基于与由选择部210选择的两个图像信号之间的饱和度比率对应的混合比率来进行混合的示例。此外，图11假定了与参照图6进行说明的情况相同的、由选择部210选择点402和403的情况。通常，雨等是诸如白色之类的无彩色。另一方面，诸如建筑物图像等其他图像通常为彩色。因此，在混合时，以与各图像信号的饱和度对应的混合比率进行混合。具体地，以如下所述的方式进行混合。首先，计算点402和403处的饱和度。该饱和度相当于从经过点410和420的直线到点402和403的距离。该距离C可以如下式所示那样而被计算。

[0090] 数学公式2

[0091]

[0092] 对点402和403分别执行这一计算。将这些计算的结果分别假定为C1和C2。然后，计算混合比率α。该计算可以以如下所述的方式进行。

[0093] α＝C1/(C1+C2)              (C1>C2时)

[0094] α＝C2/(C1+C2)              (C1

[0095] α＝0.5                     (C1＝C2时)

[0096] 接着，使用该α来混合图像信号。该混合可以根据以下情况而分别地进行：

[0097] (a)在C1>C2的情况下

[0098] R′＝α×R1+(1-α)×R2

[0099] B′＝α×B1+(1-α)×B2

[0100] G′＝α×G1+(1-α)×G2

[0101] (b)在C1

[0102] R′＝(1-α)×R1+α×R2

[0103] B′＝(1-α)×B1+α×B2

[0104] G′＝(1-α)×G1+α×G2

[0105] (C)在C1＝C2的情况下

[0106] 可以以与参照图6进行说明的计算平均值的方式相同的方式来执行该计算。

[0107] 注意，这些算术运算等同于通过使用各个图像信号的饱和度进行加权来计算点402和403处的图像信号的加权平均的算术运算。利用这些计算，与本技术的第一实施例中的输出图像信号的情况相比，混合后的输出图像信号会成为饱和度更高的图像信号。该输出图像信号被保持在前一个输出图像信号保持部230中以作为前一个输出图像信号，从而用作选择部210针对下一帧的选择对象。由于该前一个输出图像信号具有更高饱和度，因此与反映有接近于无彩色的雨等的输入图像信号的差异很大。也就是说，颜色空间中的距离增大了。为此，就能够提高用于除去反映有雨等的输入图像信号的能力。

[0108] 输出图像信号生成部的构造

[0109] 图12是示出了根据本技术的第二实施例的输出图像信号生成部220的构造示例的图。输出图像信号生成部220通过对由选择部210选择的两个图像信号执行上述混合来生成输出图像信号。此外，该输出图像信号生成部220包括混合比率计算部224、红色图像信号计算部225、绿色图像信号计算部226和蓝色图像信号计算部227。

[0110] 混合比率计算部224计算出当混合由选择部210选择的图像信号时所使用的混合比率(如上所述的α)。

[0111] 红色图像信号计算部225基于由混合比率计算部224计算出的混合比率(α)来混合已被输入的两个图像信号之中的对应于红色光的图像信号，进而计算出对应于红色光的新图像信号(R′)。绿色图像信号计算部226基于α来混合已被输入的两个图像信号之中的对应于绿色光的图像信号，进而计算出对应于绿色光的新图像信号(G′)。蓝色图像信号计算部227基于α来混合已被输入的两个图像信号之中的对应于蓝色光的图像信号，进而计算出对应于蓝色光的新图像信号(B′)。由这些图像信号计算部计算出的R′、G′和B′构成的图像信号作为输出图像信号而从输出图像信号生成部220输出。

[0112] 由于图像处理装置200的除了上述构造之外的其他构造与参照图2进行说明的图像处理装置200的构造相同，因此，将省略对于相同构造的说明。

[0113] 如上所述，根据本技术的第二实施例，能够获得饱和度更高的输出图像信号，并且能够提高在除去雨等的影响时的能力。

[0114] 3.第三实施例

[0115] 在上面的实施例中，把在比关注处理周期提前一个周期的处理周期的期间内保持于前一个输出图像信号保持部230中的前一个输出图像信号用作已输出图像信号。与此不同地，在本技术的第三实施例中，通过混合该前一个输出图像信号和输出图像信号来生成已输出图像信号。这能够进一步提高在除去雨等的影响时的能力。

[0116] 图像处理装置的构造

[0117] 图13是示出了根据本技术的第三实施例的图像处理装置200的构造示例的图。图13中的图像处理装置200与参照图2进行说明的图像处理装置200的不同之处在于，前者进一步包括已输出图像信号生成部250。

[0118] 已输出图像信号生成部250生成已输出图像信号。该已输出图像信号生成部250基于预定的混合比率来混合保持于前一个输出图像信号保持部230中的前一个输出图像信号和由输出图像信号生成部220生成的输出图像信号，从而生成已输出图像信号。在本技术的第三实施例中，基于1比1的混合比率来进行该混合。所生成的已输出图像信号被保持在已输出图像信号保持部240中。由于图像处理装置200的除了上述构造之外的其他构造与参照图2进行说明的图像处理装置200的构造相同，因此，将省略对于相同构造的说明。

[0119] 图像处理方法

[0120] 图14是用于解释根据本技术的第三实施例的图像处理的图。将关注处理周期(处理周期#t)中的输出图像信号#m和前一个输出图像信号#m混合，从而生成新的已输出图像信号，并且所生成的已输出图像信号在已输出图像信号保持部240中被保持在地址#m处的存储器区域中。作为该混合的方法，可以使用参照图6进行说明的混合方法。也就是说，可以使用计算输出图像信号和前一个输出图像信号的平均值的方法来生成新的已输出图像信号。因此，与参照图8进行说明的图像处理方法相比，会使已输出图像信号和前一个输出图像信号之间的在颜色空间中的距离变短。因此，在下一个处理周期中，增大了已输出图像信号和前一个输出图像信号被选择部210选择的概率，并且提高了在除去反映有雨等的输入图像信号时的能力。

[0121] 已输出图像信号生成部

[0122] 图15是示出了根据本技术的第三实施例的已输出图像信号生成部250的构造示例的图。该已输出图像信号生成部250包括红色图像信号计算部251、绿色图像信号计算部252和蓝色图像信号计算部253。

[0123] 由于红色图像信号计算部251、绿色图像信号计算部252和蓝色图像信号计算部253分别与参照图7进行说明的红色图像信号计算部221、绿色图像信号计算部222和蓝色图像信号计算部223相同，因此将省略它们的说明。由这些图像信号计算部计算出的图像信号作为已输出图像信号而从已输出图像信号生成部250输出。

[0124] 如上所述，根据本技术的第三实施例，能够生成具有与输出图像信号和前一个输出图像信号接近的图像信号的已输出图像信号，并且能够进一步提高在除去雨等的影响时的能力。

[0125] 4.第四实施例

[0126] 在上面的第三实施例中，在生成已输出图像信号时，基于1比1的混合比率来进行混合。与此不同地，在本技术的第四实施例中，基于与图像信号之间的饱和度比率对应的混合比率来进行混合。这能够进一步提高在除去雨等的影响时的能力。

[0127] 已输出图像信号生成部

[0128] 图16是示出了根据本技术的第四实施例的已输出图像信号生成部250的构造示例的图。该已输出图像信号生成部250通过混合保持于前一个输出图像信号保持部230中的前一个输出图像信号和由输出图像信号生成部220生成的输出图像信号来生成已输出图像信号。此时，基于与这两个图像信号之间的饱和度比率对应的混合比率来进行混合。此外，该已输出图像信号生成部250包括混合比率计算部254、红色图像信号计算部255、绿色图像信号计算部256和蓝色图像信号计算部257。

[0129] 混合比率计算部254计算出当混合输出图像信号和前一个输出图像信号时所使用的混合比率。由于混合比率计算部254的构造与参照图12进行说明的混合比率计算部224的构造相同，因此，将省略它的说明。

[0130] 由于红色图像信号计算部255、绿色图像信号计算部256和蓝色图像信号计算部257分别与参照图12进行说明的红色图像信号计算部225、绿色图像信号计算部226和蓝色图像信号计算部227相同，因此将省略它们的说明。由这些图像信号计算部计算出的图像信号作为已输出图像信号而从已输出图像信号生成部250输出。

[0131] 由于图像处理装置200的除了上述构造之外的其他构造与参照图13进行说明的图像处理装置200的构造相同，因此，将省略对于相同构造的说明。

[0132] 如上所述，根据本技术的第四实施例，能够生成饱和度高的已输出图像信号，并且能够进一步提高在除去雨等的影响时的能力。

[0133] 如上所述，根据本技术的各实施例，可以使用针对前一个输出图像信号保持部230和已输出图像信号保持部240中的两帧的图像存储器，以此作为在用于生成已被除去了雨等的影响的背景图像的图像处理装置中所需要的图像存储器。在能够使图像处理装置小型化并且价格降低的同时，还能够削减图像存储器。

[0134] 注意，上述各实施例示出了用于实施本技术的各示例，并且各实施例中的事项与权利要求中的界定了本发明的事项分别具有对应关系。同样地，权利要求中的界定了本发明的事项和本技术的各实施例中的用与权利要求中相同的名称予以命名的事项分别具有对应关系。然而，本技术不限于各实施例，并且在不背离本技术的要旨的情况下还能够通过对各实施例进行各种变型而被实施。

[0135] 此外，上述各实施例中所说明的处理过程可以被认为是具有这一系列过程的方法，此外，也可以被认为是用于使计算机执行这一系列过程的程序，或可以被认为是存储有该程序的记录介质。作为该记录介质，例如，可以使用光盘(CD：compact disc)、迷你盘(MD：mini disc)、数字通用盘(DVD：digital versatile disc)、存储卡或蓝光(Blu-ray注册商标)光盘。

[0136] 注意，在本说明书中说明的效果仅作为示例，而不应被解释为受到限制。也可以存在其他效果。

[0137] 注意，本技术也可以被配置为如下所述的技术方案。

[0138] (1)一种图像处理装置，所述图像处理装置包括：

[0139] 选择部，所述选择部从三个图像信号之中选择在颜色空间中具有较短距离的两个图像信号，所述三个图像信号是：在针对分别由输入图像信号构成的各个时间序列帧而执行的处理周期之中的某个关注处理周期的期间内输入的所述输入图像信号；前一个输出图像信号，其是在比所述关注处理周期提前一个周期的处理周期的期间内生成的输出图像信号；和已输出图像信号，其是基于在比所述关注处理周期提前两个周期的处理周期的期间内生成的所述输出图像信号的图像信号；以及

[0140] 输出图像信号生成部，所述输出图像信号生成部基于预定的混合比率来混合所选择的所述两个图像信号，由此生成所述输出图像信号。

[0141] (2)根据上述(1)的图像处理装置，其中，所述输出图像信号生成部基于1比1的所述混合比率来进行所述混合。

[0142] (3)根据上述(1)的图像处理装置，其中，所述输出图像信号生成部基于与所述两个图像信号之间的饱和度比率对应的所述混合比率来进行所述混合。

[0143] (4)根据上述(1)至(3)任一项的图像处理装置，进一步包括：已输出图像信号生成部，所述已输出图像信号生成部基于预定的第二混合比率来混合在所述关注处理周期的期间内生成的所述输出图像信号和所述前一个输出图像信号，由此生成所述已输出图像信号。

[0144] (5)根据上述(4)的图像处理装置，其中，所述已输出图像信号生成部基于1比1的所述第二混合比率来进行所述混合。

[0145] (6)根据上述(4)的图像处理装置，其中，所述已输出图像信号生成部基于与在所述关注处理周期的期间内生成的所述输出图像信号和所述前一个输出图像信号之间的饱和度比率对应的所述第二混合比率来进行所述混合。

[0146] (7)根据上述(1)至(6)任一项的图像处理装置，进一步包括：

[0147] 前一个输出图像信号保持部，所述前一个输出图像信号保持部保持所述前一个输出图像信号；以及

[0148] 已输出图像信号保持部，所述已输出图像信号保持部保持所述已输出图像信号。

[0149] (8)一种图像处理系统，所述图像处理系统包括：

[0150] 摄像装置，所述摄像装置提供作为输入图像信号的图像信号；

[0151] 选择部，所述选择部从三个图像信号之中选择在颜色空间中具有较短距离的两个图像信号，所述三个图像信号是：在针对分别由提供过来的所述输入图像信号构成的各个时间序列帧而执行的处理周期之中的某个关注处理周期的期间内输入的所述输入图像信号；前一个输出图像信号，其是在比所述关注处理周期提前一个周期的处理周期的期间内生成的输出图像信号；和已输出图像信号，其是基于在比所述关注处理周期提前两个周期的处理周期的期间内生成的所述输出图像信号的图像信号；以及

[0152] 输出图像信号生成部，所述输出图像信号生成部基于预定的混合比率来混合所选择的所述两个图像信号，由此生成所述输出图像信号。

[0153] (9)一种图像处理方法，所述图像处理方法包括：

[0154] 选择过程，从三个图像信号之中选择在颜色空间中具有较短距离的两个图像信号，所述三个图像信号是：在针对分别由输入图像信号构成的各个时间序列帧而执行的处理周期之中的关注处理周期的期间内输入的所述输入图像信号；前一个输出图像信号，其是在比所述关注处理周期提前一个周期的处理周期的期间内生成的输出图像信号；和已输出图像信号，其是基于在比所述关注处理周期提前两个周期的处理周期的期间内生成的所述输出图像信号的图像信号；以及

[0155] 输出图像信号生成过程，基于预定的混合比率来混合所选择的所述两个图像信号，由此生成所述输出图像信号。

[0156] 附图标记列表

[0157] 100 摄像装置

[0158] 200 图像处理装置

[0159] 210 选择部

[0160] 211 颜色空间距离计算部

[0161] 212 短距离图像信号选择部

[0162] 220 输出图像信号生成部

[0163] 221、225、251、255 红色图像信号计算部

[0164] 222、226、252、256 绿色图像信号计算部

[0165] 223、227、253、257 蓝色图像信号计算部

[0166] 224、254 混合比率计算部

[0167] 230 前一个输出图像信号保持部

[0168] 240 已输出图像信号保持部

[0169] 250 已输出图像信号生成部