信号处理方法和信号处理电路

摘要

本发明提出了一种信号处理方法和信号处理电路，产生调整后的信号所共有的公共高频分量，并将所产生的公共高频分量调整为与原始信号的平衡相对应的比率，其中基于采样前的信号幅度的局部相似性进行调整从而抵消其中的重叠分量，来产生所述调整后的信号分量。将调整后的高频分量与每个信号的低频分量相加。

权利要求

1.一种信号处理方法，用于处理通过空间像素移位方法获得的、具有彼此不同的相位的至少两个信号，所述信号处理方法包括：低频分量分离步骤，用于分离各个信号的低频分量；

公共高频分量计算步骤，用于将信号的信号电平调整到各个信号中的均衡状态，然后，从调整后的信号中分离出公共高频分量；

高频分量调整步骤，用于通过将公共高频分量的信号电平调整到各个信号的原始信号电平，产生针对每一信号的调整后的高频分量；以及高频分量叠加步骤，用于将在高频分量调整步骤中进行了调整的调整后的高频分量与在低频分量分离步骤中分离出的低频分量相加。

2.根据权利要求1所述的信号处理方法，进一步包括：第一调整值设置步骤，用于针对每一信号设置第一调整值，所述第一调整值用于将各个信号的信号电平调整到各个信号中的均衡状态；以及第二调整值设置步骤，用于针对每一信号设置第二调整值，所述第二调整值用于将已由第一调整值调整到均衡状态的各个信号的信号电平调整到原始信号电平，其中在公共高频分量计算步骤中，基于第一调整值将各个信号的信号电平调整到各个信号中的均衡状态，以及在高频分量调整步骤中，基于第二调整值将公共高频分量的信号电平调整到各个信号的原始信号电平。

3.根据权利要求2所述的方法，其中

高频分量计算步骤包括：

公共信号计算步骤，用于计算具有已由第一调整值调整到各个信号中的均衡状态的各个信号的共有值的公共信号；以及公共高频分量分离步骤，用于从公共信号中分离公共高频分量。

4.根据权利要求2所述的信号处理方法，进一步包括组元设置步骤，用于设置作为信号之一的第一信号的信号电平、以及作为信号中的另一个的第二信号的信号电平，其中在第一调整值设置步骤中，基于第一和第二信号的信号电平来设置第一调整值，以及在第二调整值设置步骤中，基于第一和第二信号的信号电平来设置第二调整值。

5.根据权利要求4所述的信号处理方法，其中信号电平是第一和第二信号的DC电平。

6.根据权利要求4所述的信号处理方法，其中在组元设置步骤中，将包括用于提取第一和第二信号的空间位置及其邻区在内的空间区域中的信号电平设置为第一和第二信号的信号电平。

7.根据权利要求6所述的信号处理方法，其中在组元设置步骤中，将空间区域中的信号电平的平均值设置为第一和第二信号的信号电平。

8.根据权利要求6所述的信号处理方法，其中在组元设置步骤中，将空间区域中的信号电平的加权平均值设置为第一和第二信号的信号电平。

9.根据权利要求2所述的信号处理方法，其中在第一调整值设置步骤中，基于第一和第二信号的信号电平，设置第一和第二信号的信号电平的参考值，且将使得第一和第二信号的信号电平与参考值一致的调整值设置为第一调整值。

10.根据权利要求9所述的信号处理方法，其中在第一调整值设置步骤中，将第一和第二信号的信号电平中较高的一个设置为参考值。

11.根据权利要求9所述的信号处理方法，其中在第一调整值设置步骤中，将第一和第二信号的信号电平中较低的一个设置为参考值。

12.根据权利要求9所述的信号处理方法，其中在第一调整值设置步骤中，将第一和第二信号的信号电平的中间值设置为参考值。

13.根据权利要求4所述的信号处理方法，其中在组元设置步骤中，基于第一和第二信号的低频分量，设置第一和第二信号的信号电平。

14.根据权利要求4所述的信号处理方法，其中在组元设置步骤中，基于第一和第二信号的任意频带分量，设置第一和第二信号的信号电平。

15.根据权利要求4所述的信号处理方法，其中在组元设置步骤中，从第一和第二信号中移除噪声，且基于从其中移除了噪声的第一和第二信号，设置第一和第二信号的信号电平。

16.根据权利要求9所述的信号处理方法，其中在第一调整值设置步骤中，基于以下计算公式设置第一调整值：第一调整值＝(参考值/每个信号的信号电平)。

17.根据权利要求16所述的信号处理方法，其中在第二调整值设置步骤中，基于以下计算公式设置第二调整值：第二调整值＝(每个信号的信号电平/参考值)。

18.根据权利要求4所述的信号处理方法，其中第一和第二信号的相位彼此相差180度。

19.根据权利要求4所述的信号处理方法，其中第一信号是包括具有彼此相等相位的一个或更多个信号在内的第一组信号，以及第二信号是包括具有彼此相等相位的一个或更多个信号在内的第二组信号。

20.根据权利要求19所述的信号处理方法，其中在第一调整值设置步骤中，根据组成第一组信号的每一个信号来设置第一调整值，以及在第二调整值设置步骤中，根据组成第二组信号的每一个信号来设置第二调整值。

21.根据权利要求19所述的信号处理方法，其中第一和第二信号是图像信号，以及

第一组信号是绿色信号，且第二组信号是红色和蓝色信号。

22.一种信号处理设备，用于处理通过空间像素移位方法获得的、具有彼此不同的相位的至少两个信号，所述信号处理设备包括：低频分量分离装置，用于分离各个信号的低频分量；

公共高频分量计算装置，用于将信号的信号电平调整到各个信号中的均衡状态，然后，从调整后的信号中分离出公共高频分量；

高频分量调整装置，用于通过将公共高频分量的信号电平调整到各个信号的原始信号电平，产生针对每一信号的调整后的高频分量；以及高频分量叠加装置，用于将在高频分量调整装置中进行了调整的调整后的高频分量与在低频分量分离装置中分离出的低频分量相加。

23.根据权利要求22所述的信号处理设备，进一步包括：第一调整值设置装置，用于针对每一信号设置第一调整值，所述第一调整值用于将各个信号的信号电平调整到各个信号中的均衡状态；以及第二调整值设置装置，用于针对每一信号设置第二调整值，所述第二调整值用于将已由第一调整值调整到均衡状态的各个信号的信号电平调整到原始信号电平，其中公共高频分量计算装置基于第一调整值将各个信号的信号电平调整到各个信号中的均衡状态，以及高频分量调整装置基于第二调整值将公共高频分量的信号电平调整到各个信号的原始信号电平。

24.根据权利要求23所述的信号处理设备，其中高频分量计算装置包括：

公共信号计算装置，用于计算具有已由第一调整值调整到各个信号中的均衡状态的各个信号的共有值的公共信号；以及公共高频分量分离装置，用于从公共信号中分离公共高频分量。

25.根据权利要求23所述的信号处理设备，进一步包括组元设置装置，用于设置作为信号之一的第一信号的信号电平、以及作为信号中的另一个的第二信号的信号电平，其中第一调整值设置装置基于第一和第二信号的信号电平来设置第一调整值，以及第二调整值设置装置基于第一和第二信号的信号电平来设置第二调整值。

26.根据权利要求25所述的信号处理设备，其中信号电平是第一和第二信号的DC电平。

27.根据权利要求25所述的信号处理设备，其中组元设置装置将包括用于提取第一和第二信号的空间位置及其邻区在内的空间区域中的信号电平设置为第一和第二信号的信号电平。

28.根据权利要求27所述的信号处理设备，其中组元设置装置将空间区域中的信号电平的平均值设置为第一和第二信号的信号电平。

29.根据权利要求27所述的信号处理设备，其中组元设置装置将空间区域中的信号电平的加权平均值设置为第一和第二信号的信号电平。

30.根据权利要求23所述的信号处理设备，其中第一调整值设置装置基于第一和第二信号的信号电平，设置第一和第二信号的信号电平的参考值，然后，将使得第一和第二信号的信号电平与参考值一致的调整值设置为第一调整值。

31.根据权利要求30所述的信号处理设备，其中第一调整值设置装置将第一和第二信号的信号电平中较高的一个设置为参考值。

32.根据权利要求30所述的信号处理设备，其中第一调整值设置装置将第一和第二信号的信号电平中较低的一个设置为参考值。

33.根据权利要求30所述的信号处理设备，其中第一调整值设置装置将第一和第二信号的信号电平的中间值设置为参考值。

34.根据权利要求25所述的信号处理设备，其中组元设置装置基于第一和第二信号的低频分量，设置第一和第二信号的信号电平。

35.根据权利要求25所述的信号处理设备，其中组元设置装置基于第一和第二信号的任意频带分量，设置第一和第二信号的信号电平。

36.根据权利要求25所述的信号处理设备，其中组元设置装置从第一和第二信号中移除噪声，并基于从其中移除了噪声的第一和第二信号，设置第一和第二信号的信号电平。

37.根据权利要求30所述的信号处理设备，其中第一调整值设置装置基于以下计算公式设置第一调整值：第一调整值＝(参考值/每个信号的信号电平)。

38.根据权利要求37所述的信号处理设备，其中第二调整值设置装置基于以下计算公式设置第二调整值：第二调整值＝(每个信号的信号电平/参考值)。

39.根据权利要求25所述的信号处理设备，其中第一和第二信号的相位彼此相差180度。

40.根据权利要求25所述的信号处理设备，其中第一信号是包括具有彼此相等相位的一个或更多个信号在内的第一组信号，以及第二信号是包括具有彼此相等相位的一个或更多个信号在内的第二组信号。

41.根据权利要求40所述的信号处理设备，其中第一调整值设置装置根据组成第一组信号的每一个信号来设置第一调整值，以及第二调整值设置装置根据组成第二组信号的每一个信号来设置第二调整值。

42.根据权利要求40所述的信号处理设备，其中第一和第二信号是图像信号，以及

第一组信号是绿色信号，且第二组信号是红色和蓝色信号。

说明书

技术领域

本发明涉及一种信号处理方法和信号处理电路，用于获得具有高分辨率的信号，同时控制利用空间像素移位方法的信号处理中所产生的问题，所述问题的示例是在固体成像设备中拍摄具有高色度的对象时所产生的莫尔效应。

背景技术

使用空间像素移位方法的三板型固体成像设备通常包括用于G(绿色)、B(蓝色)、R(红色)信号的固体成像元件(CCD等)，其中按照如下方式放置CCD：例如，用于R和B的CCD相对于用于G的CCD在水平方向上移位半个像素。
根据这种放置方式，可以解释为：与不采用空间像素移位方法的情况相比，空间像素移位方法中以双倍采样频率对对象进行成像。观察从用于各个颜色的CCD所获得的信号，根据采样定理，所包含的频率为采样频率一半(换句话说，大于或等于奈奎斯特频率的频率)的任何高频分量都是伪信号，称作重叠分量。这种放置方式使R和B信号的相位相对于G信号移位180度，并使所包括的重叠分量的相位以类似的方式移位以180度。
作为空间像素移位方法中的高频分量替换处理，在各个信号中，以各个颜色所共有的高频分量(其中减小了重叠分量)替换包括每个颜色的重叠分量在内的高频分量。更具体地，与亮度信号相似，根据各个颜色信号产生各个颜色的公共信号，并将公共信号的高频分量用作各个颜色所共有的高频分量。例如，以R信号表示具有R和B的相位的信号，且对R信号和G信号应用公式((G+R)/2)，来产生公共信号。因此，在G信号中所包括的重叠分量与在R和B信号中所包括的重叠分量反相相加，从而抵消了各个重叠分量。将这样获得的公共信号的高频分量用于高频分量替换处理，在所述高频分量替换处理中，将公共信号的高频分量与每个颜色的低频分量相加。结果，所获得的每一个信号都具有减小了其中的重叠分量的高频分量。
然而，在对象具有高色度的情况下，例如，当拍摄接近绿色的对象(包括其频率大于或等于奈奎斯特频率的高频分量)时，由用于R和B的CCD所获得的信号与由用于G的CCD所获得的信号相比非常小。所以，使用由用于R和B的CCD所获得的信号不能抵消由于用于G的CCD中的采样处理的误操作所产生的高频分量的重叠分量。因此，公共高频分量仍然包括重叠分量，导致莫尔效应的产生。
为了解决这种上述问题，专利文件1所公开的信号处理电路根据来自用于G和R的CCD的、用于产生公共高频分量的信号的电平，在色度较高时，减小要与每个颜色的低频分量相加的公共高频分量的比率，来控制莫尔效应的产生。
专利文件1：日本专利申请未审公开2004-32514

发明内容

本发明所要解决的问题
然而，根据控制莫尔效应的传统方法，当对象的色度较高时，减小信号中包括的高频分量。换句话说，对象的色度越高，高频分量中的分辨率就不可避免地牺牲得越多。
此外，由于公共高频分量与每个颜色的低频分量相加，所以与包括高频分量在内的部分相近的部分更接近于无彩色。
解决问题的手段
为了解决上述问题，本发明主要的特征在于：根据采样处理前各个信号的幅度形状的局部相似性来产生各个信号所共有的公共高频分量，已对所述公共高频分量进行了调整以抵消重叠分量，调整所产生的公共高频分量的比率，以与原始信号的平衡相一致，并将调整后的高频分量与每个信号的低频分量相加。
本发明的效果
根据本发明，可以控制莫尔效应，可以控制高频分量向无彩色的转变，而且即使在对象具有高色度的情况下，也可以提供具有高分辨率的信号。此外，在对象具有低色度的情况下，也可以没有任何问题地提供具有高分辨率的信号，因为在这种情况下，保持了高频分量替换处理(其中使用传统的空间像素移位方法)的效果。
此外，本发明涉及一种简单的信号处理方法，不必根据图像特征等以复杂的方式选择恰当的处理。因此，可以提供构造简单但具有满意效果的信号处理电路。

附图说明

图1是示出了根据本发明优选实施例的信号处理电路的框图。
图2示出了根据优选实施例的信号处理电路中的公共高频分量计算器的构造。
图3示出了根据优选实施例的信号处理电路中的调整值设置器的构造。
图4示出了对象的示例。
图5示出了对象的示例。
图6示出了根据优选实施例的信号处理电路中的信号波形和采样位置。
图7示出了根据优选实施例的信号处理电路中的信号波形和采样位置。
图8示出了根据优选实施例的信号处理电路中的信号波形。
图9示出了根据优选实施例的信号处理电路中的信号波形和采样位置。
图10示出了根据优选实施例的信号处理电路中的信号波形和采样位置。
图11示出了根据优选实施例的信号处理电路中的信号波形和采样位置。
图12示出了根据优选实施例的信号处理电路中的信号波形和采样位置。
图13示出了根据优选实施例的信号处理电路中的信号波形。
参考符号描述
100      高频分量产生器
101      G电平计算器
102      B电平计算器
103      R电平计算器
110      调整值设置器
115      组元设置器
116      公共信号调整值计算器
117      每个颜色调整值计算器
120      公共高频分量计算器
125      公共信号计算器
126      公共高频分量分离器
131      G高频分量调整器
132      B高频分量调整器
133      R高频分量调整器
200      低频分量分离器
201      G低频分量分离器
202      B低频分量分离器
203      R低频分量分离器
300      高频分量加法器
301      G高频分量加法器
302      B高频分量加法器
303      R高频分量加法器
401，501 对象

具体实施方式

以下，将参考附图来描述本发明的优选实施例。
优选实施例
在本发明的优选实施例中，在用于处理视频信号的信号处理电路中实现本发明。图1是示出了根据本发明优选实施例的信号处理电路的框图。图2示出了作为根据优选实施例的信号处理电路一部分的公共高频分量计算器的构造。图3示出了作为根据优选实施例的信号处理电路一部分的调整值设置器的构造。图4和5示出了对象的示例。图6-13示出了每个颜色的信号波形和采样位置。
按照如下方式获得信号分别被称为颜色信号G、B和R：在用于获得视频信息的G(绿色)、B(蓝色)和R(红色)CCD中，空间像素移位方法，将用于R和B的CCD相对于用于G的CCD在水平方向上移位半个像素。
根据本优选实施例的信号处理设备包括低频分量分离器200、高频分量产生器100和高频分量加法器300。低频分量分离器200从各个颜色信号中分离低频分量LG、LB和LR。高频分量产生器100产生高频分量HG、HB和HR，其中各个信号的重叠分量从所述高频分量中移除。高频分量加法器300将所产生的各个颜色的高频分量与低频分量相加，从而产生各个颜色信号outG、outB和outR，在所述颜色信号中高频分量已被替换。在图像信号的情况下，具有大于或等于阈值的频率的分量称作高频分量，而具有小于阈值的频率的分量称作低频分量。阈值的示例是略微低于奈奎斯特频率的频率。然而，所述阈值被有限地用于图像信号。在诸如音频信号之类的任何其他信号中，设置专用的阈值。
高频分量产生器100包括用于各个颜色的电平计算器101、102和103、调整值设置器110、公共高频分量计算器120以及用于各个颜色的高频分量调整器131、132和133。用于各个颜色的电平计算器101、102和103计算各个颜色中的小区域的DC值。从中提取信号R、G和B的高频分量的空间位置被称作目标位置，将包括目标位置及其邻区在内的空间区域称作小区域。各个颜色的小区域的DC值被称作DC_G、DC_B和DC_R。
调整值设置器110设置用于调整各个颜色的信号的第一调整值——增益G1、B1和R1以及第二调整值——增益G2、B2和R2。后文中，第一调整值统称为增益X1，而第二调整值统称为增益X2。公共高频分量计算器120计算各个颜色所共有的公共高频分量HY。高频分量调整器131、132和133根据高频分量HY，产生各个颜色的高频分量HG、HB和HR。
公共高频分量计算器120包括公共信号计算器125和公共高频分量分离器126，如图2所示。公共信号计算器125根据各个颜色的各个颜色信号G、B和R和第一调整值增益X1来计算公共信号Y，所述公共信号Y用作各个颜色的参考值。公共高频分量分离器126从公共信号Y中分离公共高频分量HY。
调整值设置器110包括组元设置器115、公共信号调整值计算器116和每个颜色调整值计算器117，如图3所示。组元设置器115设置根据各个颜色的DC值DC_G、DC_B和DC_R计算第一和第二调整值增益X1和增益X2时所使用的信号。公共信号调整值计算器116计算第一调整值增益X1。每个颜色调整值计算器117计算第二调整值增益X2。第二调整值增益X2是表示公共高频分量HY与每个颜色相加时的相加比率的调整值。
以下描述了这样构造的、根据本优选实施例的信号处理电路的操作。以下给出的描述基于在拍摄图5中所示的对象501时所获得的信号的假设，所述对象501具有高色度，且包括由黑色和绿色构成的色条图案，所述色条图案包括频率大于或等于奈奎斯特频率的高频分量。所述奈奎斯特频率表示在CCD没有被移位的情况下的奈奎斯特频率。
如图9所示，在采样前的信号G、B和R中，信号G的采样点分别标以黑色的三角，信号R和B的采样点分别标以黑色的圆点。在使用空间像素移位方法的三板型固体成像设备中，在其相位彼此移位180度之后，采样各个信号G、B和R。所以，采样后信号G以及信号R和B中的每一个都包括重叠分量的伪信号，如图10所示。
将信号G、B和R提供给用于各个颜色的电平计算器101、102和103以及低频分量分离器200的用于各个颜色的低频分量分离器201、202和203。用于各个颜色的低频分量分离器201、202和203从所提供的信号G、B和R中提取低频分量LG、LB和LR，并将所提取的分量提供给高频分量加法器300的用于各个颜色的高频分量加法器301、302和303。用于各个颜色的电平计算器101、102和103计算所提供的信号R、G和B的信号电平。计算DC值DC_G、DC_B和DC_R，作为信号电平。换句话说，计算信号R、G和B的小区域中的DC值，作为DC值DC_G、DC+B和DC_R，如图11所示。用于各个颜色的电平计算器101、102和103将计算后的DC值DC_G、DC_B和DC_R提供给调整值设置器110。
调整值设置器110的组元设置器115执行以下处理。在通过采用了空间像素移位方法的三板型固体成像设备获得视频信号的情况下，信号G的相位通常与其他信号(R和B)的相位相差180度。所以，具有此特征的三板型固体成像设备中的组元设置器115首先选择信号G的DC值，作为设置第一和第二调整值时所使用的主调整DC值。然后，组元设置器115选择在为其他信号的DC值DC_R和DC_B(其相位相对于信号G的相位移位180度)设置调整值时所使用的副调整DC值。例如，选择其中噪声较小的DC值作为所述副调整DC值。此外，组元设置器115将副调整DC值(在这种情况下为DC值DC_R)的电平与主调整DC值(在这种情况下为DC值DC_G)的电平作比较，并设置电平较大的DC值作为大电平DC值Large，并设置电平较小的DC值作为小电平DC值Small。
在所述选择和设置处理之后，组元设置器115将大电平DC值Large、小电平DC值Small和变量Sel提供给公共信号调整值计算器116，并将大电平DC值Large和小电平DC值Small提供给每个颜色调整值计算器117。此时，组元设置器115在待输出的变量Sel中提供表示所选信号(在这种情况下为R)的标记，作为副调整DC值的来源，以及提供表示大电平DC值Large的信号(在这种情况下为信号G)。当获得了包括大绿色区域且具有高色度的对象501(见图5)的图像时，大电平DC值Large被用作主调整DC值(＝DC值DC_G)，而小电平DC值Small被用作副调整DC值(＝DC值DC_R)。所以，在变量Sel中提供表示选择信号R作为副调整DC值的来源的标记和表示选择G信号作为大电平DC值Large的来源的标记。
公共信号调整值计算器116计算信号R、G和B的第一调整值增益X1。第一调整值增益X1是用于信号计算中的信号电平调整的调整值，类似于低色度时公共信号计算器125计算公共信号Y的情况。通过这样设置的第一调整值增益X1来调整信号R、G和B的信号电平，以便接近无彩色(每个信号的平衡状态)。第一调整值增益X1是基于采样前信号R、G和B的幅度形状中的局部相似性来设置的。更具体地，如下设置第一调整值增益X1。
公共信号调整值计算器116读取从组元设置器115提供的变量Sel中的标记，并由此确认作为主调整DC值、副调整DC值、大电平DC值Large和小电平DC值Small的来源的信号。然后，公共信号调整值计算器116将作为大电平DC值Large的信号的第一调整值增益X1设置为“1”，并将作为小电平DC值Small的信号的DC值的第一调整值增益X1设置为Large/Small。此外，公共信号调整值计算器116将既不用于大电平DC值Large又不用于小电平DC值Small的信号的DC值的第一调整值增益X1设置为“0”。当获得了包括大绿色区域且具有高色度的对象501的图像时，表示主调整DC值的信号G的第一调整值增益G1设置为“1”，表示副调整DC值的信号R的第一调整值增益R1设置为Large/Small，而剩余信号B的第一调整值增益B1设置为“0”。公共信号调整值计算器116将计算后的第一调整值增益X1提供给公共高频分量计算器120。
将第一调整值增益X1和信号G、B和R提供给公共高频分量计算器120的公共信号计算器125。使用所提供的这些值和信号，公共信号计算器125计算用作各个颜色信号的共有值(参考值)的公共信号Y。当获得了包括大绿色区域且具有高色度的对象501(见图5)的图像时，采样前信号G(大电平DC值Large的来源)和信号R(小电平DC值Small的来源)的幅度彼此局部相似，且在小区域中，信号R的幅度小于信号G的幅度。
所以，如图12所示，R信号与第一调整值增益R1(＝“Large/Small”)相乘，G信号与第一调整值增益G1(＝“1”)相乘，而B信号与第一调整值增益B1(＝“0”)相乘，以便产生公共信号Y，所产生的公共信号Y具有与其中重叠分量被抵消的低色度的情况下相同的状态。如前所述，用于提取信号R、G和B的高频分量的空间位置称作目标位置，且包括目标位置及其邻区在内的空间区域称作小区域。公共信号计算器125将所产生的公共信号Y提供给公共高频分量分离器126。公共高频分量分离器126使用滤波器等来提取公共信号Y的高频分量，即公共高频分量HY。
将DC值DC_G、DC_B和DC_R从用于各个颜色的电平计算器101、102和103提供给调整值设置器110的每个颜色调整值计算器117。此外，将大电平DC值Large和小电平DC值Small从用于各个颜色的电平计算器101、102和103经由组元设置器115提供给每个颜色调整值计算器117。每个颜色调整值计算器117根据所提供的这些值来设置第二调整值增益X2。
第二调整值增益X2是施加与第一调整值增益X1相反的作用的调整值，并且设置用于产生调整后的高频分量HG、HB和HR。更具体地，第二调整值增益X2将其电平已经基于第一调整值增益X1增大后的信号的高频分量的比率再次返回到与相关颜色的原始颜色平衡(各个颜色分量的平衡)相对应的比率。
更具体地，当获得了包括大绿色区域且具有高色度的对象501的图像时，每个颜色调整值计算器117基于以下计算公式来计算第二调整值增益X2。
增益G2＝(DC_G/Large)＝1
增益B2＝(DC_B/Large)
增益R2＝(DC_R/Large)＝(Small/Large)
当产生公共高频分量HY时，公共高频分量计算器120使用信号R代替信号B(第一调整值增益B1＝“0”)。然而，在第二调整值增益X2的计算中，假设在信号B中相似地产生公共高频分量(其中增大第一调整值增益B1的信号电平以便抵消重叠分量)，每个颜色调整值计算器117以与计算第二调整值增益R2相似的方式计算第二调整值增益B2。
公共高频分量计算器120的公共高频分量分离器126将所提取的公共高频分量HY提供给用于各个颜色的高频分量调整器131、132和133。调整值设置器110的每个颜色调整值计算器117将所设置的第二调整值增益X2提供给用于各个颜色的高频分量调整器131、132和133。
用于各个颜色的高频分量调整器131、132和133将所提供的公共高频分量HY与第二调整值增益X2相乘，从而计算调整后的高频分量HG、HB和HR。即使在获得了包括大绿色区域且具有高色度的对象501的图像时，也将公共高频分量HY乘以每个颜色的第二调整值增益X2；由此，可以获得各个颜色的调整后高频分量HG、HB和HR(其中保持了原始颜色平衡)。用于各个颜色的高频分量调整器131、132和133将计算出的调整后高频分量HG、HB和HR提供给高频分量加法器300的、与相关颜色相对应的、用于各个颜色的高频分量加法器301、302、303。用于各个颜色的高频分量加法器301、302和303将所提供的调整后高频分量HG、HB和HR与低频分量LG、LB和LR相加，从而产生输出信号outG、outB和outR，将其输出到信号处理电路外部。
如前所述，在根据本优选实施例的信号处理电路中，执行以下处理：
·利用基于第一调整值增益X1进行了调整的各个颜色信号，产生其中重叠分量被抵消的公共信号Y；
·基于第二调整值增益X2来调整所产生的公共信号Y的公共高频分量HY，以具有原始颜色平衡；以及
·将由前述调整而获得的高频分量HG、HB和HR与各个信号G、B和R的低频分量LG、LB和LR相加。
因而，即使当获得了包括大绿色区域且具有高色度的对象501的图像时，根据本优选实施例的信号处理电路也可以获得可控制其中重叠分量的信号，且高频分量在保持高分辨率的同时也不会转变为无彩色，如图13所示。
此外，根据本优选实施例的信号处理电路可以没有任何问题地处理在拍摄图4中所示的对象401时所获得的信号，所述对象401包括由黑色和白色构成的色条图案，且具有低色度，所述色条图案包括频率大于或等于奈奎斯特频率的高频分量。如前所述，所述奈奎斯特频率表示在CCD没有被移位的情况下的奈奎斯特频率。
在对图4中所示的对象401成像时获得的信号还以与前述信号相似的方式进行表示，如图6所示。由此获得的采样后信号G、R和B的每一个都包括重叠分量的伪信号，如图7所示。然而，在本优选实施例的操作中，以与前述方式相同的方式移除伪信号。以下，给出详细描述。
省略了对与前述操作相似的操作的描述，但引述由该操作获得的各个值。小区域中的DC值DC_G、DC_B和DC_R基本相同。所以，假定Large＝DC_G且Small＝DC_R，用于产生公共信号Y的第一调整值增益X1如下：
增益G1＝1；
增益B1＝0；
增益R1＝(Large/Small)＝1。
由此获得的公共信号Y与根据传统方法获得的公共信号Y基本相等。
此外，用于调整从各个颜色的公共信号Y中获得的公共高频分量HY的第二调整值增益X2如下：
增益G2＝(DC_G/Large)＝1；
增益B2＝(DC_B/Large)＝1；
增益R2＝(DC_R/Large)＝1。
由此获得的高频分量与根据传统方法获得的高频分量基本相等。
所以，如图8所示，当对具有低色度的对象401成像时，由传统颜色信号产生其中重叠分量被抵消的公共信号Y，且根据传统方法将公共信号Y的调整后高频分量HG、HB和HR相加。因此，可以获得可控制其中重叠分量的高分辨率信号。更具体地，可以提供高分辨率信号，同时没有任何问题地保持高频分量替换处理(其中使用传统的空间像素移位方法)的效果。
在本优选实施例的描述中，固体成像元件的示例是CCD。然而，也可以使用除CCD以外的成像元件，例如CMOS。此外，在此描述中，由固体成像元件获得的信号是R、G和B；然而，也可以是例如C(青色)、M(品红色)和Y(黄色)之类的补色信号。此描述中的固体成像元件的示例是三板型固体成像元件；然而，只要可以获得相似的效果，固体成像元件也可以具有包括单板、双板、四板或更多板在内的拜耳阵列(Bayerarray)。在此描述中，固体成像元件的移位方向是水平方向；然而，移位方向也可以为垂直方向，或者既包括水平方向也包括垂直方向。在此描述中，固体成像元件移位半个像素。然而，可以重新排列拜耳阵列中的颜色顺序，或者可以使用至少双板，然后固体成像元件以1/n(n是整数)像素移位，以便抵消重叠分量，其中仍可以获得相似的效果。
在图3所示的组元设置器115中，信号R被用作其相位相对于信号G的相位移位180度的信号的示例。然而，也可以使用例如信号B或信号R与B进行组合的混合信号。此外，可以按照根据需要进行切换的方式来使用这些信号。
在图3所示的公共信号调整值计算器116中，参考在拍摄具有高色度的对象501的情况下的第一调整值增益X1，显示出较大值的信号电平被用作参考值(共有值)，如下：
增益G1＝1；
增益B1＝0；
增益R1＝(Large/Small)＝1。
然后，使显示出较小值的信号与大值信号(参考值)相一致。
然而，也可以在将小值信号的信号电平设置为参考值之后，使大值信号的信号电平与小值信号的信号电平(参考值)相一致。此外，可以基于大值信号和小值信号来计算作为参考值的信号电平，以使两信号的信号电平都与计算出的参考值相一致。作为计算参考值的方法，可以计算两信号的中间电平或平均值，作为参考值。在将平均值计算作为参考值的情况下，可以对各个信号进行加权。
在图11所示的示例中，小区域被设置为覆盖五到六个采样位置的区域；然而，也可以具有更多或更少采样位置。此外，不必仅由水平区域组成小区域，也可由垂直区域或水平和垂直两种方向的区域组成小区域。小区域的形状不受限制。
在由于噪声等使得所使用的信号可能不可靠的情况下，可以在用于各个颜色的电平计算器101、102和103中作出将不可靠信号的电平设置为相对低这种调整。
在由于噪声等使得所使用的信号可能不可靠的情况下，可以在调整值设置器110中调整各个调整值。例如，可以调整第一调整值增益X1和第二调整值增益X2，以便减小第一调整值增益X1和第二调整值增益X2对产生公共信号Y的影响，并减小调整后高频分量HG、HB和HR。
在对所使用的信号进行预处理(诸如使用低通滤波器、带通滤波器等的滤波处理)的情况下，可以将滤波后的信号用于各个颜色的电平计算器101、102和103的输入，以便有效地利用所述信号。在对所使用的信号进行后处理(诸如使用低通滤波器、带通滤波器等的滤波处理)的情况下，可以将滤波后的信号用于各个颜色的电平计算器101、102和103的输入，以便有效地利用所述信号，或者将滤波后的信号用作其输出。
用于各个颜色的低频分量分离器201、202和203分别用于不同的颜色；然而，可以使用公用操作设备，所述公用操作设备也可以应用于电平计算器101、102和103、高频分量调整器131、132和133以及高频分量加法器301、302和303。
信号处理电路示出了诸如摄像机之类的成像设备的电路的一部分。因此，并未描述摄像机等中通常执行的各种处理。待输入的信号G、B和R可以是预处理信号G、B和R。作为预处理的示例，在先信号的数据可以按照预保持(pre-hold)的方式用作未进行采样处理的、与空间位置相对应的数据，或者可以使用诸如滤波处理之类的另一种插值处理。所述处理可以是数字处理或模拟处理。
示意性地示出了图1～3所示的操作设备，以便所述操作设备的操作易于理解。只要可以找到适用于本发明的操作和信号，所找到的操作和信号就可应用于本发明。
在上述优选实施例中，在用于处理视频信号的信号处理电路中实施本发明；然而，也可以类似地在用于处理音频信号的信号处理电路中实施本发明。所以，本发明适用于通过摄像机、音频解码器等的音频采集。
当对包括右耳音频信号和左耳音频信号在内的立体声音频信号执行下述处理：对采样和稀疏相位进行移位，并对相移后的音频信号进行合成(等价于空间像素移位方法)时，可以使表观采样间隔和稀疏间隔变窄。在这种情况下，当以各个信号所共有的公共高频分量(其中减小了重叠分量)替代包括这两种音频信号的重叠分量在内的高频分量时，可以控制重叠分量。然而，在音频信号之一的信号电平显著小于另一音频信号的信号电平的情况下，使用信号电平较小的音频信号不能抵消信号电平较大的音频信号中的高频分量的重叠分量，结果，公共高频分量仍然包括重叠分量。因此，在合成后的音频信号中将产生由重叠分量所导致的吱嘎声等。在将专利文件1所公开的信号处理电路应用于音频信号的情况下，可以或多或少地控制这种吱嘎声；然而，信号电平更不平衡的音频信号将导致包括更少高频分量在内的音频信号。当信号电平更加失衡时，高频分量中的分辨率也将牺牲得更多，这将导致音频局部准确性的恶化。在针对不可避免地发生上述不便的这种音频信号，实施本发明时，可以在不牺牲高频分量的分辨率的情况下，控制吱嘎声。在针对2声道音频信号，实施本发明的情况下，优选地，成对配置低频分量分离器200、电平检测器102～103、高频分量调整器131～133和高频分量加法器300，以用于右耳和左耳音频信号。除2声道音频信号以外，本发明也可以类似地应用于5.1声道音频信号之类的多声道音频信号。
工业实用性
在根据本法明的、用于执行高频分量替换处理(其中采用空间像素移位方法)的信号处理方法中，可以提供具有高分辨率的信号，在所述信号中，即使在对象具有高色度的情况下，也可以控制莫尔效应，并控制高频分量向无彩色转变。此外，在具有低色度的对象中，也可以没有任何问题地提供具有高分辨率的信号，因为在这种情况下，保持了高频分量替换处理(其中使用传统的空间像素移位方法)的效果。此外，本发明涉及一种简单的信号处理方法，不必根据图像特征等以复杂的方式选择恰当的处理。因此，根据本发明，可以提供构造简单但具有满意效果的信号处理电路。有利地，此信号处理方法可用于照相机、摄像机等。
在对像素进行稀疏处理的图像压缩编码处理中，当对信号(其中，对稀疏像素的相位进行移位)进行压缩、编码和解码时，根据本发明的信号处理方法同样是适用的。因此，有利地，本发明可用于视频解码器等。
此外，可以将本发明应用于音频信号，并且有效地应用于通过摄像机、音频解码器等的音频采集。