摄像装置以及信号处理方法

摘要

本发明是一种对红色、绿色以及蓝色的每个颜色生成各像素相邻地二维排列的图像信号的摄像装置，具备：红色摄像元件，其对入射光进行感光，输出像素被排列成方格图案状的红色信号(20R)；绿色摄像元件，其对入射光进行感光，输出像素被排列成方格图案状的绿色信号(20G)；蓝色摄像元件，其对入射光进行感光，输出像素被排列成方格图案状的蓝色信号(20B)；插值单元，其利用周边像素对空像素进行插值；以及相关单元，其求出空像素的周边像素的相关关系，其中，相关处理单元根据红色信号、绿色信号以及蓝色信号中的至少任一个颜色信号，对红色信号、绿色信号以及蓝色信号的每个颜色信号求出相关关系，插值单元根据相关关系，对红色信号、绿色信号以及蓝色信号的每个颜色信号对空像素进行插值而生成摄像信号。

权利要求

1.一种摄像装置，对通过开口部入射的光进行感光，对红色、绿色以及蓝色的每个颜色生成各像素相邻地二维排列的图像信号，该摄像装置的特征在于，具备：红色摄像元件，其对上述入射光进行感光，输出像素被排列成方格图案状的红色信号；

绿色摄像元件，其对上述入射光进行感光，输出像素被排列成方格图案状的绿色信号；

蓝色摄像元件，其对上述入射光进行感光，输出像素被排列成方格图案状的蓝色信号；

插值处理单元，其利用排列成方格图案状的各像素间的空像素的周边像素对该空像素进行插值；以及相关处理单元，其求出上述空像素的周边像素的相关关系，

其中，上述红色摄像元件、上述绿色摄像元件以及上述蓝色摄像元件分别输出各像素的位置在空间上匹配的上述红色信号、上述绿色信号以及上述蓝色信号，上述相关处理单元根据上述红色信号、上述绿色信号以及上述蓝色信号中的至少任一种颜色信号，对上述红色信号、上述绿色信号以及上述蓝色信号的每个颜色求出上述相关关系，上述插值单元根据上述相关关系，对上述红色信号、上述绿色信号以及上述蓝色信号的每个颜色信号对上述空像素的像素进行插值，生成上述图像信号。

2.根据权利要求1所述的摄像装置，其特征在于，

上述相关处理单元根据上述红色信号求出上述红色信号中的空像素的周边像素的上述相关关系，根据上述绿色信号求出上述绿色信号中的空像素的周边像素的上述相关关系，根据上述蓝色信号求出上述蓝色信号中的空像素的周边像素的上述相关关系。

3.根据权利要求1所述的摄像装置，其特征在于，

上述相关处理单元合成上述红色信号、上述绿色信号以及上述蓝色信号，求出上述合成的颜色信号中的空像素的周边像素的相关关系。

4.根据权利要求1所述的摄像装置，其特征在于，

上述红色摄像元件、上述绿色摄像元件以及上述蓝色摄像元件分别在将正方格子旋转

45°的二维排列上配置感光元件。

5.一种信号处理方法，对红色、绿色以及蓝色的每个颜色生成各像素相邻地二维排列的图像信号，其特征在于，由三个摄像元件输出像素被排列成方格图案状的红色信号、像素被排列成方格图案状的绿色信号、以及像素被排列成方格图案状的蓝色信号，使各像素的位置在空间上匹配，根据上述红色信号、上述绿色信号以及上述蓝色信号中的至少任一个颜色信号，对上述红色信号、上述绿色信号以及上述蓝色信号的每个颜色信号求出被排列成方格图案状的各像素间的空像素的周边像素中的相关关系，根据上述相关关系，对上述红色信号、上述绿色信号以及上述蓝色信号的每个颜色信号对上述空像素进行插值，生成上述图像信号。

说明书

摄像装置以及信号处理方法

技术领域

[0001] 本发明涉及一种生成由红色、绿色以及蓝色构成的三原色的摄像信号的摄像装置以及信号处理方法。

[0002] 本申请基于2006年6月16日在日本申请的日本专利申请号2006-167885号主张优先权，参照该申请而在本申请中予以引用。

背景技术

[0003] 在数字照相机中，将被摄体取入为图像的摄像处理系统的结构主要有单板式和三板式。单板式照相机具备一个固体摄像元件，利用该一板的固体摄像元件生成三原色RGB的颜色信号。例如，在日本特开平10-150668号公报中记载有一种摄像装置，该摄像装置在一板的CCD图像传感器上将滤色器排列成方格图案状来生成颜色信号R、G、B，通过相关处理和插值处理生成提高了分辨率的图像信号，其中，上述滤色器分别使红色、绿色、以及蓝色透射。在这种提高了分辨率的图像信号中存在产生伪色的问题。

[0004] 另一方面，三板式照相机具备三个固体摄像元件，在该三个固体摄像元件上分别入射通过分光镜进行分光而得到的红色光、绿色光、蓝色光。这些固体摄像元件分别独立地生成红色、绿色以及蓝色的颜色信号。三板式照相机与单板式照相机相比，由于分别独立地利用固体摄像元件对三原色进行感光而得到高分辨率、且高再现性的图像，但是由于电路规模变大，图像处理量也增多，因此从固体摄像元件读出颜色信号会耗费较长的时间。

[0005] 另外，在三板式照相机中，作为根据由各固体摄像元件得到的红色、绿色以及蓝色的颜色信号生成图像信号的处理，存在正方像素对齐处理和正方像素偏移处理。

[0006] 如图13A所示，正方像素对齐处理是使由各固体摄像元件得到的各颜色信号中的像素的位置在空间上一致的处理。即，在正方像素对齐处理中，感光传感器所读出的像素数与输出侧的图像信号的像素数相同。因此，在该处理中需要以与感光传感器侧的像素数相同的倍率来提高图像信号的分辨率。例如，在将输出侧的静止图像的分辨率从3M像素提高至6M像素的情况下，感光传感器侧的像素数必须也同样地从3M像素提高至6M像素。

[0007] 另外，如图13B所示，在正方像素偏移处理中，红色、蓝色的颜色信号的像素排列相对于绿色的颜色信号的像素排列分别在水平方向上偏移像素大小d的一半，即d/2，对偏移后的像素的颜色信号进行插值，由此得到提高了分辨率的摄像信号。通过这种方法，输出侧的摄像信号的像素数成为各固体摄像元件的像素数的两倍。换言之，固体摄像元件的像素数成为输出侧的图像信号的像素数的一半。

[0008] 在此，根据每一帧的分辨率的提高，从固体摄像元件读出颜色信号的时间变长。另外，使这种颜色信号的读出速度高速化在硬件的性能上受到限制。因而，在得到同样的分辨率的图像信号的情况下，即使正方像素偏移处理中的固体摄像元件的像素数为正方像素对齐处理中的固体摄像元件的像素数的一半，也通过插值处理生成具有相同程度的分辨率的图像信号，因此即使读出速度较慢也能够实现相同程度的帧频。

发明内容

[0009] 发明要解决的问题

[0010] 然而，在三板式照相机中，在通过正方像素偏移处理输出图像信号的情况下，被实施插值处理的图像中产生伪色，因此与正方像素对齐处理的情况相比，破坏所生成的图像的再现性。

[0011] 本发明是鉴于这种实际情况而提出的，其作为技术课题提供一种以高帧频生成高像质的图像的摄像装置以及图像信号的处理方法。

[0012] 为了解决上述技术课题而提出的本发明的一个实施方式是一种摄像装置，该摄像装置对通过开口部入射的光进行感光，对红色、绿色以及蓝色的每个颜色生成各像素相邻地二维排列的图像信号，该摄像装置具备：红色摄像元件，其对入射光进行感光，输出像素被排列成方格图案状的红色信号；绿色摄像元件，其对入射光进行感光，输出像素被排列成方格图案状的绿色信号；蓝色摄像元件，其对入射光进行感光，输出像素被排列成方格图案状的蓝色信号；插值处理单元，其利用排列成方格图案状的各像素间的空像素的周边像素对该空像素进行插值；以及相关处理单元，其求出空像素的周边像素的相关关系，其中，红色摄像元件、绿色摄像元件以及蓝色摄像元件分别输出各像素的位置在空间上匹配的红色信号、绿色信号以及蓝色信号，相关处理单元根据红色信号、绿色信号上述蓝色信号中的至少任一种颜色信号，对红色信号、绿色信号以及蓝色信号的每个颜色求出相关关系，插值单元根据相关关系，对红色信号、绿色信号以及蓝色信号的每个颜色信号对空像素的像素进行插值，生成图像信号。

[0013] 另外，本发明的其它的实施方式是对红色、绿色以及蓝色的每个颜色生成各像素相邻地二维排列的图像信号的信号处理方法，在该信号处理方法中，由三个摄像元件输出像素被排列成方格图案状的红色信号、像素被排列成方格图案状的绿色信号、以及像素被排列成方格图案状的蓝色信号，使各像素的位置在空间上匹配，根据红色信号、绿色信号以及蓝色信号中的至少任一个颜色信号，对红色信号、绿色信号以及蓝色信号的每个颜色信号求出被排列成方格图案状的各像素间形成的空像素的周边像素中的相关关系，根据相关关系，对红色信号、绿色信号以及蓝色信号的每个颜色信号对空像素进行插值，生成图像信号。

[0014] 本发明根据像素被分别排列成方格图案状的红色信号、绿色信号以及蓝色信号中的至少任一个颜色信号，对红色信号、绿色信号以及蓝色信号的每个颜色信号求出空像素的周边像素的相关关系，根据相关关系对空像素进行插值，因此输出与从摄像元件读出的像素数相比更高分辨率、且没有伪色的颜色信号，由此不破坏再现性而能够以高帧频生成高分辨率的摄像信号。

[0015] 根据在下面参照附图说明的实施方式会进一步明确本发明的进一步的其它的技术课题、根据本发明得到的具体的优点。

附图说明

[0016] 图1是表示数字照相机的整体结构的框图。

[0017] 图2A和图2B是表示摄像元件的结构的图。

[0018] 图3A、图3B以及图3C是表示进行摄像而得到的红色光、绿色光以及蓝色光的变换处理的框图。

[0019] 图4是表示用像素值对空像素进行插值的插值处理的图。

[0020] 图5A是表示对空像素的水平插值处理的图，图5B是表示垂直插值处理的图。 [0021] 图6是表示对空像素实施二维4像素加权插值处理的示意 图。

[0022] 图7是表示根据相关关系对空像素进行插值的插值处理的图。

[0023] 图8是表示使1/4[fs]左右的频率成分通过的带通滤波器的特性的图。

[0024] 图9是表示去马赛克(demosaic)处理部的结构的框图。

[0025] 图10是表示具体例1所涉及的去马赛克处理部的结构的框图。

[0026] 图11是表示具体例2所涉及的去马赛克处理部的结构的框图。

[0027] 图12是表示施加到各摄像元件的同一坐标上的各像素的噪声的性质的图。

[0028] 图13A和图13B是表示以往的三原色的每个颜色信号的生成工序的图。

具体实施方式

[0029] 下面参照附图详细说明用于实施本发明的较佳方式。下面说明的实施方式是将本发明应用于如下的摄像装置(下面称为数字照相机)的实施方式：对通过开口部入射的光进行感光，对红色、绿色以及蓝色的每一个颜色生成各像素相邻地二维排列的摄像信号。 [0030] 如图1所示，本实施方式所涉及的数字照相机1具备：摄像处理部100，其对被摄体进行摄像，输出由红色、绿色以及蓝色的三原色构成的颜色信号20R、20G、20B；信号处理部200，其对从摄像处理部100输出的颜色信号20R、20G、20B实施规定的信号处理；以及运算处理部300，其控制摄像处理部100和信号处理部200。

[0031] 摄像处理部100是三板式的摄像处理系统，由如下部分构成：光学元件110，其对通过未图示的开口部的来自被摄体的光进行聚光；分光镜120，其将由光学元件110聚集的光分光为红色光10R、绿色光10G、以及蓝色光10B；三个摄像元件130R、130G、130B，该三个摄像元件分别对由分光镜进行分光而得到的红色光10R、绿色光10G以及蓝色光10B进行感光，变换为电信号；A/D变换部140R、140G、140B，其对由摄像元件130R、130G、130B变换得到的三个电信号的增益进行调节，输出数字化的颜色信号20R、20G、20B；以及驱动电路150，其根据来自运算处理部300的控制信号对摄像元件130R、130G、130B的动作进行控制。 [0032] 信号处理部200具备：光学校正部210，其对从摄像处理部100输出的颜色信号20R、20G、20B进行亮度校正、黑色水平校正等光学校正；去马赛克处理部220，其对进行光学校正后的颜色信号20R、20G、20B实施插值处理，输出颜色信号30R、30G、30B；白平衡(WB)调节部230，其调节颜色信号30R、30G、30B的白平衡；γ校正部240，其对调节白平衡后的颜色信号30R、30G、30B进行γ校正；Y校正部250和C校正部260，该Y校正部250和C校
正部260根据γ校正后的颜色信号30R、30G、30B分别输出亮度信号Y以及色差信号Cr、Cb；分辨率转换处理部270，其对亮度信号Y以及色差信号Cr、Cb的分辨率进行转换，输出依据规定的广播标准的影像信号；以及光路差检测部280，其对分别从去马赛克处理部220和γ校正部240输出的颜色信号30R、30G、30B进行积分，检测各颜色信号之间的光路差。 [0033] 运算处理部300根据由光路差检测部280检测出的光路差信息对摄像处理部100和信号处理部200的各处理部提供控制信号。具体地说，运算处理部300根据光路差信息调节从光学元件 110向分光镜120透射的光量，另外，通过驱动电路150控制摄像元件130R、
130G、130B的动作，并且对由A/D变换部140R、140G、140B调节的信号的增益进行控制。 [0034] 接着参照图2详细说明摄像处理部100中的摄像元件130R、130G、130B的结构。 [0035] 摄像元件130R、130G、130B分别在基板上配设有多个感光元件。在摄像元件130R、
130G、130B中，各感光元件通过对红色光10R、绿色光10G、以及蓝色光10B进行感光来将它们变换为电信号，将变换后的电信号输出到A/D变换部140R、140G、140B。在此，构成颜色信号20R、20G、20B的各像素值与被配设在摄像元件130R、130G、130B的基板上的感光元件所输出的电信号相对应。即，颜色信号20R、20G、20B的像素数量分别与各固体摄像元件所具备的感光元件的数量相对应。

[0036] 另外，以往的摄像元件以边长为d的正方格子状配置多个感光元件，与此相对地，1/2
如图2A所示，摄像元件130R、130G、130B将感光元件配置成以边长为(2 )×d并且将上述正方格子旋转45°的二维排列。因此，摄像元件130R、130G、130B与上述以往的摄像元件同样地各感光元件的间隔是d，但是每一像素的感光元件的面积是上述以往的摄像元件的两倍，因此感光特性较高。

[0037] 另外，除了上述图2A所示的结构之外，摄像元件130R、130G、130B也能够如图2B所示那样配置感光元件。具体地说，摄像元件130R、130G、130B将感光元件配置成不变更上述正方格子的边长d而将正方格子旋转45°的二维排列。这种摄像元件130R、130G、130B与上述以往的摄像元件相比感光元件的面积相同，因此感光特性不发生变化，但是各感光1/2 1/2
元件的间隔成为(2 )×d/2，因此水平方向和垂直方向的分辨率分别成为2 倍。

[0038] 另外，如图2A以及图2B所示那样配置了感光元件的摄像元件130R、130G、130B与以往的摄像元件相比，两者的读出的数据数量是以往的摄像元件的一半。因而，如果对相同的帧频的图像进行摄像，则摄像元件130R、130G、130B在每个固定时间从感光元件读出的数据量是以往的摄像元件的一半。

[0039] 此外，摄像元件130R、130G、130B的感光元件不限于上述的正方格子，也可以将例如菱形、正六边形等正多边形的格子形状旋转45°来进行二维排列。

[0040] 另外，如果对像素被排列成方格图案状的颜色信号20R、20G、20B进行输出，则摄像元件130R、130G、130B的结构可以是任意方式，而不限定于CCD方式、CMOS方式中的任一个。

[0041] 接着说明直到由摄像处理部100根据红色光10R、绿色光10G以及蓝色光10B生成颜色信号20R、20G、20B、并且由信号处理部200根据颜色信号20R、20G、20B生成颜色信号30R、30G、30B为止的处理过程。

[0042] 首先，由图3A所示的摄像元件130R、130G、130B所分别具备的感光元件对由分光镜分光得到的红色光10R、绿色光10G以及蓝色光10B分别进行感光，变换为电信号。被变换为电信号的红色光10R、绿色光10G以及蓝色光10B分别通过A/D变换部140R、140G、140B生成图3B所示的颜色信号20R、20G、20B。

[0043] 在此，如上所述，摄像元件130R、130G、130B的每个固定面积的感光元件的数量为以往的摄像元件的一半，因此颜色信号20R、20G、20B成为各像素被排列成方格图案状的信号。因此，在像素被排列成方格图案状的颜色信号20R、20G、20B中，各像素间的区域内不存在像素。在去马赛克处理部220中，根据这种空像素的周边像素的信息对空像素进行插值，生成如图3C所示那样的颜色信号30R、30G、30B。

[0044] 接着在下面示出本实施方式中的空像素的插值方法，接下来示出实现该插值方法的去马赛克处理部220的结构和动作。

[0045] 首先，如图4所示，作为空像素的插值方法，使用以空像素C0为中心的周边像素C1、C2、…、Cn来进行空像素C0的插值。在此，当将各像素的像素值设为P(Ck)(k＝1，2，…，n)时，根据式(1)设定空像素C0的像素值。

[0046] P(C0)＝C1(f)×P(C1)+C2(f)×P(C2)+…+Cn(f)×P(Cn)… 式(1)

[0047] 在此，式(1)中的C1(f)、C2(f)、…、Cn(f)分别是对于周边像素的加权函数。可以任意决定这些加权函数，下面作为根据式(1)所示的插值处理算出空像素的像素值的具体例而说明插值例1和插值例2。

[0048] 在插值例1中，作为一维插值示出了水平插值处理和垂直插值处理。如图5A所示，水平插值处理是如下的式(2)所示的插值处理：对与像素C1h、C2h、C3h、C4h对应的加权系数C1h(f)、C2h(f)、C3h(f)、C4h(f)进行设定，而将与除此以外的像素对应的加权系数设为0，其中，上述像素C1h、C2h、C3h、C4h相邻地排列在与空像素C0相同的水平线上。

[0049] P(C0)＝C1h(f)×P(C1h)+C2h(f)×P(C2h)+C3h(f)×P(C3h)+C4h(f)×P(C4h)… 式(2) [0050] 另外，如图5B所示，垂直插值处理是如下的式(3)所示的插值处理：对与像素C1v、C2v、C3v、C4v对应的加权函数C1v(f)、C2v(f)、C3v(f)、C4v(f)进行设定，而将与其它像素对应的加权函数设为0，其中，上述像素C1v、C2v、C3v、C4v相邻地排列在与空像素C0相同的垂直线上。

[0051] P(C0)＝C1v(f)×P(C1v)+C2v(f)×P(C2v)+C3v(f)×P(C3v)+C4v(f)×P(C4v)… 式(3) [0052] 在此，在进行垂直方向插值的情况下，一般来说由于在水 平方向上扫描和配置颜色信号20R、20G、20B的各像素值，因此需要存储垂直方向的各像素值的缓冲器。与此相对，在进行水平方向插值的情况下，由于不需要使用这种缓冲器，因此与垂直方向插值处理相比，能够使电路规模较小地进行设计。

[0053] 接着，作为与二维插值有关的具体例，参照图6说明插值例2。在插值例2中，作为二维插值，如图6所示，根据分别在水平方向以及垂直方向上与空像素C0相邻的四个像素的各像素值来对空像素C0进行插值。

[0054] 具体地说，导出将上述的式(1)中的加权系数Cn(f)都设为1/n的式(4)。

[0055] P(C0)＝(P(C1)+P(C2)+…+P(Cn))/n… 式(4)

[0056] 并且，由于根据相邻的四个像素的各像素值进行插值，因此将式(4)中的n设为4来导出式(5)。

[0057] P(C0)＝(P(C1)+P(C2)+P(C3)+P(C4))/4… 式(5)

[0058] 如式(5)所示，通过将相邻的四个像素与同一系数相乘，能够用与空像素C0上下左右地相邻的四个像素的像素值的平均像素值对空像素C0进行插值。

[0059] 在此，在如式(5)所示那样将分别在水平方向和垂直方向上相邻的四个像素的各像素值平均化来对空像素进行插值的情况下，当在空像素的周边存在边缘时，该边缘有时会模糊。因而，为了防止边缘模糊，最好求出相邻的像素间的相关关系并根据该相关关系决定加权函数。因此，如式(6)所示，根据各像素C1、C2、C3、C4的相关值来设定各加权系数C1(f)、C2(f)、C3(f)、C4(f)。

[0060] P(C0)＝C1(f)×P(C1)+C2(f)×P(C2)+C3(f)×P(C3)+C4(f)×P(C4)…式(6)

[0061] 与插值例2同样地，在仅在水平方向和垂直方向中的任一方向上进行上述插值例1所示的一维插值处理来对空像素进行 插值的情况下，有时边缘也会模糊而产生像质的劣化。因此，参照图7详细说明考虑到这种像质的劣化而进行插值处理的具体例。

[0062] 根据分别在水平方向上和垂直方向上相邻的两个像素的像素值对空像素P(x，y)进行插值处理(步骤S1)。具体地说，如在插值例1中示出的那样，对于二维排列的任意坐标(x，y)上的空像素，算出与其在水平方向(x方向)上相邻的两个像素以及在垂直方向(y方向)上相邻的两个像素的像素值的平均值。即，如式(7)和式(8)所示，分别算出水平插值像素值GH(x，y)以及垂直插值像素值GV(x，y)。

[0063] GH(x，y)＝(P(x-1，y)+P(x+1，y))/2… 式(7)

[0064] GV(x，y)＝(P(x，y-1)+P(x，y+1))/2… 式(8)

[0065] 此外，为了降低噪声的影响，对算出的GH和GV实施中值滤波处理(步骤S2)。 [0066] 接着为了判断在空像素的周边是否存在像素值的边缘而进行带通滤波处理。在本具体例中，使用检测1/4[fs]的边缘的带通滤波器。如图8所示，该带通滤波器使频率为1/4[fs]左右的频率成分通过，使DC以及1/2[fs]左右的频率成分衰减。

[0067] 此外，并不限于使频率为1/4[fs]左右的频率成分通过的带通滤波器，也可以根据目的而使用使1/2[fs]、1/8[fs]的频率成分通过的带通滤波器。

[0068] 对于空像素P(x，y)，分别利用式(9)和式(10)来表示水平方向和垂直方向上的各自的带通滤波器的增益HBPF(x，y)、VBPF(x，y)。

[0069] HBPF(x，y)＝(-P(x-2，y)+2P(x，y)-P(x+2，y))/4… 式(9)

[0070] VBPF(x，y)＝(-P(x，y-2)+2P(x，y)-P(x，y+2))/4… 式(10)

[0071] 在此，式(9)中的P(x，y)是空像素。另外，各像素排列成方格图案状，因此以P(x，y)为基准平行移动2个像素的P(x-2，y)、P(x+2，y)也同样成为空像素。因此，在进行式(8)所示的带通滤波处理之前，需要通过插值处理求出P(x-2，y)、P(x，y)、P(x+2，y)。

[0072] 在本实施例中，通过上述式(8)使P(x-2，y)、P(x，y)、P(x+2，y)成为垂直插值像素值GV(x-2，y)、GV(x，y)、GV(x+2，y)(步骤S3)。另外，式(7)中的P(x，y-2)、P(x，y)、P(x，y+2)也需要同样的插值处理，分别成为GH(x，y-2)、GH(x，y)、GH(x，y+2)。

[0073] 接着，将算出的插值像素值代入式(9)和式(10)中，分别求出HBPF(x，y)、VBPF(x，y)(步骤S4)。这样，HBPF(x，y)以及VBPF(x，y)分别在垂直方向和水平方向上检测1/4[fs]的频率成分的边缘。

[0074] 因此，如式(11)所示，使用HBPF(x，y)与VBPF(x，y)的比率将坐标(x，y)的空像素中存在的边缘的方向表示为相关值CORR(x，y)(步骤S5)。

[0075] CORR(x，y)＝HBPF(x，y)/(HBPF(x，y)+VBPF(x，y))… 式(11)

[0076] CORR(x，y)表示垂直方向的相关值，该值的变化域是从0至1。即，当CORR(x，y)的值较大时，与VBPF(x，y)相比HBPF(x，y)的值较大，因此在垂直方向上存在边缘的可能性较高。在垂直方向上存在边缘的情况下，空像素的周边像素在垂直方向具有相关性。另一方面，如果CORR(x，y)的值较小，则空像素的周边像素在水平方向具有相关性。

[0077] 然后，在本实施例中，如式(12)所示，基于相关值CORR(x，y)，根据水平插值像素值GH(x，y)和垂直插值像素值GV(x，y)算出坐标(x，y)中的F0的像素值P(C0)(步骤S6)。 [0078] P(x，y)＝CORR(x，y)×GV(x，y)+(1-CORR(x，y))×GH(x，y)… 式(12)

[0079] 例如，如果CORR(x，y)的值较大，则使与GV(x，y)相乘的加权系数大于GH(x，y)，来对空像素进行插值。另一方面，如果CORR(x，y)的值较小，则使与GH(x，y)相乘的加权系数大于GV(x，y)，来对空像素进行插值。

[0080] 在此，式(12)成为与如下情况等价的关系：将在插值例2所示的式(6)中的加权系数C1(f)和C3(f)设为CORR(x，y)，将加权系数C2(f)和C4(f)设为(1-CORR(x，y))，来进行插值处理。

[0081] 根据以上的插值方法，去马赛克处理部220大致进行三个处理。即，去马赛克处理部220进行如下处理：首先是插值处理，对于空像素在水平方向和垂直方向上求出插值像素值GH(x，y)和GV(x，y)；相关处理，求出空像素的周边的相关值CORR(x，y)；以及合成插值处理，基于相关值CORR(x，y)，根据插值像素值GH(x，y)、GV(x，y)对空像素进行插值。

[0082] 另外，在上述插值处理中，关注坐标(x，y)的空像素而示出了该插值处理，但是设为对被二维排列的所有空像素进行该插值处理。这样，能够根据像素被排列成方格图案状的、存在多个空像素的颜色信号生成对空像素进行了插值的颜色信号。

[0083] 在此，为了通过上述插值处理根据颜色信号20R、20G、20B算出颜色信号30R、30G、30B，利用如图9所示的处理模块构成去马赛克处理部220。

[0084] 即，去马赛克处理部220具备插值处理部221R、221G、221B、RGB合成处理部222、相关处理部223R、223G、223B、以及合成插值处理部224R、224G、224B。

[0085] 插值处理部221R对颜色信号20R的空像素进行式(7)以及式(8)所示的插值处理，分别输出水平插值像素值GHR和垂直插值像素值GVR。同样地，插值处理部221G输出水平插值像素值GHG和垂直插值像素值GVG，插值处理部221B分别输出水平插值像素值GHB和垂直插值像素值GVB。

[0086] RGB合成处理部222根据颜色信号20R、20G、20B输出如式(13)～式(15)所示那样的合成信号SR、SG、SB。另外，该合成信号SR、SG、SB分别被输入到相关处理部223R、223G、223B。

[0087] SR＝a1uR+b1uG+c1uB… 式(13)

[0088] SG＝a2uR+b2uG+c2uB… 式(14)

[0089] SB＝a3uR+b3uG+c3uB… 式(15)

[0090] 在此，式(13)～式(15)中表示的uR、uG、uB分别是颜色信号20R、20G、20B。 [0091] 相关处理部223R利用式(9)和式(10)所示的带通滤波器对合成信号SR中的空像素进行相关处理，根据式(11)算出相关值CORRR。同样地，相关处理部223G和相关处理部223B分别算出相关值CORRG以及相关值CORRB。

[0092] 合成插值处理部224R将由插值处理部221R输出的水平插值像素值GHR和垂直插值像素值GVR、以及由相关处理部223R输出的相关值CORRR代入式(12)来对空像素进行插值，输出颜色信号30R。同样地，合成插值处理部224G、224B分别根据式(12)输出颜色信号30G、30B。

[0093] 这样，去马赛克处理部220对像素被排列成方格图案状的颜色信号20R、20G、20B实施上述相关处理以及插值处理，输出对空像素进行了插值的颜色信号30R、30G、30B。 [0094] 具备去马赛克处理部220的数字照相机1输出颜色信号30R、30G、30B，该颜色信号30R、30G、30B与由摄像处理部100输出的颜色信号20R、20G、20B的像素数相比高分辨率且没有伪色。另外，在固定了输出侧的图像信号的分辨率的情况下，摄像处理部100中的摄像元件130R、130G、130B在每个固定时间从感光元件读出的数据量是以往的摄像元件的一半。因而，本实施方式所涉及的数字照相机1不加快从上述感光元件读出数据的速度而能够通过由去马赛克处理部220进行的插值处理生成高分辨率的图像。

[0095] 特别是在以高帧频输出相同分辨率的图像时、需要增大在每 个固定时间从感光元件读出的数据的量。但是，加快数据的读出速度受到硬件上的限制。对于这种限制，本实施方式所涉及的数字照相机1能够不增加摄像元件的像素数而生成高分辨率且再现性较高的图像。即，本实施方式所涉及的数字照相机1与以往的具备三板式的摄像元件的数字照相机相比，不提高摄像元件中的感光元件的读出速度而能够以高帧频输出高像质的图像。

[0096] 如上所述，在去马赛克处理部220中，根据颜色信号20R、20G、20B输出如式(13)～式(15)所示那样的合成信号SR、SG、SB，但是需要具体地决定系数a、b、c各值。下面作为具体例1和具体例2说明将具体的系数应用于这些值的去马赛克处理部220的结构。 [0097] 作为具体例1，图10中示出的去马赛克处理部420将上述RGB合成处理部的各系数中的a1、b2、c3分别设定为1，另外将b1、c1、a2、c2、a3、b3分别设定为0。即，能够省略RGB合成处理部的处理模块来表示作为具体例1而示出的去马赛克处理部420，对于颜色信号
20R、20G、20B分别独立地进行相关处理以及插值处理。

[0098] 接着，在作为具体例2而在图11中示出的去马赛克处理部520中，将RGB合成处理部522的各系数表示为a1＝a2＝a3＝a、b1＝b2＝b3＝b、c1＝c2＝c3＝c。即，具体例2的去马赛克处理部520的相关处理部523仅为一个。在此，RGB合成处理部522生成
式(16)中示出的合成信号S，并将合成信号S提供给相关处理部522。

[0099] S＝auR+buG+cuB… 式(16)

[0100] 相关处理部523求出合成信号S中的各插值对象像素的相关值CORR，并提供给合成插值处理部524R、524G、524B。然后，在合成插值处理部524R、524G、524B中，根据同一相关值CORR分别输出对插值对象像素进行了插值的颜色信号30R、 30G、30B。

[0101] 在此，作为式(16)的具体系数的值，使用根据三原色信号生成亮度信号的比率a＝0.3、b＝0.6、c＝0.1，或者使用以三原色中的绿色信号为基准的比率a＝0、b＝1、c＝0。

[0102] 接着，从电路规模、噪声抵抗能力以及像质三个方面对上述结构上不同的具体例1和具体例2的去马赛克处理部420、520进行比较。

[0103] 首先，从电路规模方面比较具体例1和具体例2。如上所述，具体例1的去马赛克处理部420具备三个相关处理部423R、423G、423B，与此相对地，具体例2的去马赛克处理部520具备一个相关处理部523。在此，一个相关处理部的处理量比与一种颜色信号对应的插值处理部的处理量多很多，因此具体例2的去马赛克处理部520与具体例1相比能够大幅缩小进行相关处理的电路规模。

[0104] 接着，从噪声抵抗能力方面比较具体例1和具体例2。本实施方式所涉及的数字照相机1将红色光10R、绿色光10G、蓝色光10B分别独立地通过三个摄像元件130R、130G、130B的感光元件变换为电信号。因而，摄像元件130R、130G、130B相互独立地产生噪声。例如，如图12所示，由于摄像时产生的噪声的影响，对于同一坐标上的像素，摄像元件130R、
130G中产生横向的边缘，并且摄像元件130B中产生纵向的边缘。

[0105] 在这种情况下，当通过具体例1的去马赛克处理部420对颜色信号20R、20G、20B分别独立地进行相关处理时，在颜色信号20R和颜色信号20G中根据横向的相关关系对空像素进行插值，与此相对地，在颜色信号20B中根据纵向的相关关系对空像素进行插值，因此产生伪色。

[0106] 另一方面，具体例2的去马赛克处理部520使用同一合成信号从不同的方向对空像素进行插值，因此不产生伪色。即，在摄像元件130R、130G、130B中产生了上述如图12所示的噪声的情况下，与具体例1相比，具体例2一方能够抑制由于噪声的影响而造成的像质的劣化。

[0107] 并且，从像质的方面比较具体例1和具体例2。例如，在摄像元件130R、130G、130B中的同一坐标上的像素中，仅在红色光10R中存在边缘。在这种情况下，具体例1的去马赛克处理部420对颜色信号20R、20G、20B分别独立地实施相关处理，因此算出仅与上述红色光10R的边缘相应的相关值CORRR，并根据该相关值CORRR对颜色信号20R的空像素进行插值。

[0108] 另一方面，在具体例2的去马赛克处理部520中，在合成信号S的合成比率为a＝0.3、b＝0.6、c＝0.1的情况下，受到仅在红色光10R中存在的边缘的影响而导致颜色信号20G、20B的空像素被进行插值。另外，在具体例2的去马赛克处理部520中，在合成信号S的合成比率为a＝0、b＝1、c＝0的情况下，考虑到仅在红色光10R中存在的边缘，不对颜色信号20R的空像素进行插值。

[0109] 这样，在具体例1的去马赛克处理部420中，也考虑仅在三原色中的单色光存在边缘，输出各自的颜色信号30R、30G、30B。因而，在具体例1的去马赛克处理部420中，如果没有上述噪声的影响，则与具体例2相比能够输出更高像质的颜色信号30R、30G、30B。 [0110] 如上所述，在本实施方式所涉及的数字照相机1中，能够以高帧频生成高分辨率的摄像信号而不破坏其再现性。

[0111] 此外，当然，本发明不限定于上述实施方式，在不脱离本发明的要旨的范围内可进行各种变更。