摄像装置及摄像装置的控制方法

摘要

本发明提供摄像装置、摄像装置的控制方法及摄像装置的控制程序，与对由摄像元件所拍摄的图像不考虑校正顺序的情况相比，能够防止由校正造成的画质变差。摄像装置（10）构成为包括：光学系统（12）、摄像元件（14）、摄像校正处理部（16）及图像处理部（18）。摄像校正处理部（16）构成为包括：混色校正部（20）、噪声校正部（22）、偏移校正部（24）及增益校正部（26）。混色校正部（20）从摄像元件（14）读出图像数据，实施混色校正处理。噪声校正部（22）对由混色校正部（20）实施了混色校正处理的图像数据实施噪声校正处理。

权利要求

1.一种摄像装置，具有：

摄像元件，包括排列于水平方向及垂直方向上的多个光电转换元件；

滤色器，设于由上述多个光电转换元件构成的多个像素上，重复配置有基本排列图案，上述基本排列图案由与不同的多个颜色分别对应的多个滤光片在上述水平方向及垂直方向上以预先规定的图案配置而成；

混色校正单元，对由上述摄像元件所拍摄的摄像图像的图像数据进行混色校正；及噪声校正单元，对由上述混色校正单元混色校正后的图像数据进行去除随机性的噪声成分的噪声校正处理。

2.根据权利要求1所述的摄像装置，具有：

偏移校正单元，在上述混色校正前，对上述图像数据进行偏移校正；

逆偏移校正单元，在上述混色校正后且上述噪声校正处理前，对上述图像数据进行逆偏移校正。

3.根据权利要求2所述的摄像装置，其中，

上述偏移校正单元在从上述图像数据的各像素值减去偏移值时对小于零的像素值取负值。

4.根据权利要求1所述的摄像装置，其中，

具有在上述混色校正前进行像素缺陷校正的像素缺陷校正单元。

5.根据权利要求1所述的摄像装置，其中，

上述滤色器中，排列有第一滤光片和第二滤光片的上述基本排列图案在水平方向及垂直方向上重复配置，上述第一滤光片与最有助于获得亮度信号的第一颜色对应，上述第二滤光片与上述第一颜色以外的两色以上的第二颜色分别对应，上述第一滤光片进一步在上述基本排列图案内在水平、垂直及倾斜方向的各方向上含有两个以上相邻的部分而配置。

6.根据权利要求5所述的摄像装置，其中，

上述基本排列图案是与N×N像素对应的正方排列图案，N为4以上的整数。

7.根据权利要求5所述的摄像装置，其中

上述滤色器包括与由上述第一滤光片构成的2×2像素对应的正方排列。

8.根据权利要求5所述的摄像装置，其中，

上述第一颜色是绿(G)色，上述第二颜色是红(R)色及蓝(B)色。

9.根据权利要求8所述的摄像装置，其中，

上述滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且，上述滤色器由第一排列和第二排列交替地在水平及垂直方向上排列而构成，上述第一排列与3×3像素对应，在中心配置有R滤光片，在四角配置有B滤光片，隔着中心的R滤光片在上下左右配置有G滤光片，上述第二排列与3×3像素对应，在中心配置有B滤光片，在四角配置有R滤光片，隔着中心的B滤光片在上下左右配置有G滤光片。

10.根据权利要求8所述的摄像装置，其中，上述滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且，上述滤色器由第一排列和第二排列交替地在水平及垂直方向上排列而构成，上述第一排列与3×3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有B滤光片，左右配置有R滤光片，上述第二排列与3×3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有R滤光片，左右配置有B滤光片。

11.根据权利要求5所述的摄像装置，其中，上述滤色器中，隔着上述第二滤光片的任一颜色的滤光片在水平及垂直方向上分别连续配置有上述第一滤光片。

12.根据权利要求5所述的摄像装置，其中，上述滤色器相对于上述基本排列图案的中心而点对称。

13.根据权利要求5所述的摄像装置，其中，上述第一滤光片及与上述第二颜色分别对应的第二滤光片分别在上述基本排列图案内在上述滤色器的水平及垂直方向的各行内配置有一个以上。

14.根据权利要求1～13中任一项所述的摄像装置，其中，具有在上述噪声校正处理后进行白平衡校正的白平衡校正单元。

15.一种摄像装置的控制方法，

上述摄像装置具有：

摄像元件，包括排列于水平方向及垂直方向上的多个光电转换元件；及滤色器，设于由上述多个光电转换元件构成的多个像素上，重复配置有基本排列图案，上述基本排列图案由与不同的多个颜色分别对应的多个滤光片在上述水平方向及垂直方向上以预先规定的图案配置而成，在上述摄像装置的控制方法中，

对由上述摄像元件所拍摄的摄像图像的图像数据进行混色校正，对混色校正后的图像数据进行去除随机性的噪声成分的噪声校正处理。

说明书

摄像装置及摄像装置的控制方法

技术领域

[0001] 本发明涉及摄像装置、摄像装置的控制方法及摄像装置的控制程序，尤其涉及进行混色校正的摄像装置、摄像装置的控制方法及摄像装置的控制程序。

背景技术

[0002] 对于由摄像元件所拍摄的摄像信号，通常进行以下处理：对因摄像元件的特性等引起的画质变差进行改善、校正(例如参照专利文献1～5)。校正处理包括各种种类，考虑进行各校正处理而产生的影响来形成最佳处理顺序很重要。

[0003] 例如，专利文献1公开了在混色校正前进行缺陷校正的技术。

[0004] 并且，专利文献2公开了在混色校正前进行黑电平校正的技术。

[0005] 并且，专利文献3公开了在降噪处理后进行黑电平校正的技术。

[0006] 并且，专利文献4公开了在黑电平校正后进行降噪处理的技术。

[0007] 并且，关于偏移校正和增益校正的关系，优选在偏移校正后进行增益校正。这是因为，增益校正(例如灵敏度校正、白平衡校正、阴影校正等)是对本像素进行增益校正的处理，所以若在偏移校正前进行，则由于增益校正量而使摄像信号的偏移量发生变化。

[0008] 并且，关于偏移校正和噪声校正的关系，优选在噪声校正后进行偏移校正。这是因为，噪声校正是降低(抑制)噪声的处理，所以若在偏移校正后进行，则由于偏移校正而使低亮度侧的噪声特性受到影响，无法进行适当的降噪处理。

[0009] 然而，在具有滤色器的彩色摄像元件的情况下，混色校正变得重要。滤色器由预先规定的基本排列图案重复配置而构成，在使用该基本排列图案与现有的拜耳排列相比尺寸大的滤色器时，混色校正、像素缺陷校正等处理变得尤其重要。

[0010] 专利文献1：日本特开2010-258620号公报

[0011] 专利文献2：日本特开2010-16419号公报

[0012] 专利文献3：日本特开2007-110486号公报

[0013] 专利文献4：日本特开2006-41687号公报

发明内容

[0014] 发明要解决的问题

[0015] 但是，在上述现有技术中存在以下问题：例如对混色校正和噪声校正的关系并未特别考虑，未必能够对由摄像元件所拍摄的图像适当地进行校正。

[0016] 本发明为了解决上述问题而提出，其目的在于提供与对由摄像元件所拍摄的图像不考虑校正顺序的情况相比能够防止由校正造成的画质变差的摄像装置、摄像装置的控制方法及摄像装置的控制程序。

[0017] 用于解决问题的方法

[0018] 为了解决上述问题，本发明的摄像装置的特征在于具有：摄像元件，包括排列于水平方向及垂直方向上的多个光电转换元件；滤色器，设于由上述多个光电转换元件构成的多个像素上，重复配置有基本排列图案，上述基本排列图案由与不同的多个颜色分别对应的多个滤光片在上述水平方向及垂直方向上以预先规定的图案配置而成；混色校正单元，对由上述摄像元件所拍摄的摄像图像的图像数据进行混色校正；及噪声校正单元，对由上述混色校正单元混色校正后的图像数据进行噪声校正处理。

[0019] 根据本发明，由于采用在混色校正单元的后段设置噪声校正单元的构成，因此能够防止混色校正所需的相邻像素间的电平差消失，能够适当地进行混色校正。

[0020] 此外，也可以是以下构成，具有：偏移校正单元，在上述混色校正前，对上述图像数据进行偏移校正；及逆偏移校正单元，在上述混色校正后且上述噪声校正处理前，对上述图像数据进行逆偏移校正。

[0021] 根据本发明，在混色校正前进行偏移校正，在混色校正后且噪声校正处理前进行逆偏移校正，因此能够不受偏移的影响而适当地进行混色校正。

[0022] 并且，也可以是以下构成，上述偏移校正单元在从上述图像数据的各像素值减去偏移值时对小于零的像素值取负值。

[0023] 根据本发明，即便在像素数据是负值的情况下，也不取为零而保持为负值，所以能够防止对之后的噪声校正处理等产生不良影响。

[0024] 并且，也可以是以下构成，具有在上述混色校正前进行像素缺陷校正的像素缺陷校正单元。

[0025] 根据本发明，在混色校正前进行像素缺陷校正，所以能够在像素缺陷被校正后的状态下适当地进行混色校正，能够防止画质下降。

[0026] 此外，也可以是以下构成，上述滤色器中，排列有第一滤光片和第二滤光片的上述基本排列图案在水平方向及垂直方向上重复配置，上述第一滤光片与最有助于获得亮度信号的第一颜色对应，上述第二滤光片与上述第一颜色以外的两色以上的第二颜色分别对应，上述第一滤光片及与上述第二颜色分别对应的第二滤光片分别在上述基本排列图案内在上述滤色器的水平及垂直方向的各行内配置有一个以上，上述第一滤光片进一步在上述基本排列图案内在水平、垂直及倾斜方向的各方向上含有两个以上相邻的部分而配置。

[0027] 根据本发明，与最有助于获得亮度信号的第一颜色对应的第一滤光片在上述基本排列图案内在水平、垂直及倾斜方向的各方向上含有两个以上相邻的部分而配置，因此能够基于各方向上相邻的第一颜色像素的像素值的差值，以最小像素间隔来判别亮度的相关方向位于上述四个方向中的哪一个方向。由此，在算出从自彩色摄像元件输出的马赛克图像中提取的去马赛克算法处理的对象像素的像素位置上的其他颜色的像素值时，如上所述，根据通过最小像素间隔的像素值判别出的亮度的相关方向，使用存在于相关方向上的其他颜色的像素的像素值，由此能够高精度地推定其他颜色的像素的像素值，能够抑制高频部产生伪色。

[0028] 并且，也可以是以下构成，上述基本排列图案是与N×N(N为4以上的整数)像素对应的正方排列图案。

[0029] 并且，也可以是以下构成，上述滤色器包括与由上述第一滤光片构成的2×2像素对应的正方排列。

[0030] 并且，也可以是以下构成，上述第一颜色是绿(G)色，上述第二颜色是红(R)色及蓝(B)色。

[0031] 并且，也可以是以下构成，上述滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且，上述滤色器由第一排列和第二排列交替地在水平及垂直方向上排列而构成，上述第一排列与3×3像素对应，在中心配置有R滤光片，在四角配置有B滤光片，隔着中心的R滤光片在上下左右配置有G滤光片，上述第二排列与3×3像素对应，在中心配置有B滤光片，在四角配置有R滤光片，隔着中心的B滤光片在上下左右配置有G滤光片。

[0032] 根据本发明，在以上述第一排列或第二排列为中心提取了5×5像素(马赛克图像的局部区域)时，隔着上述5×5像素的中心像素(R像素或B像素)，存在在水平及垂直方向上分别相邻的G像素。这些G像素(共八个像素)的像素值能够用于四个方向的相关方向的判别。

[0033] 并且，也可以是以下构成，上述滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且，上述滤色器由第一排列和第二排列交替地在水平及垂直方向上排列而构成，上述第一排列与3×3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有B滤光片，左右配置有R滤光片，上述第二排列与3×3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有R滤光片，左右配置有B滤光片。

[0034] 根据本发明，在以上述第一排列或第二排列为中心提取了5×5像素(马赛克图像的局部区域)时，在上述5×5像素的四角存在2×2像素的G像素。这些2×2像素的G像素的像素值能够用于四个方向的相关方向的判别。

[0035] 并且，也可以是以下构成，上述滤色器中，隔着上述第二滤光片的任一颜色的滤光片在水平及垂直方向上分别连续配置有上述第一滤光片。

[0036] 根据本发明，能够基于与这些连续的第一滤光片对应的像素的像素值的差值，以最小像素间隔来判别亮度的相关方向位于上述四个方向中的哪个方向。

[0037] 并且，也可以是以下构成，上述滤色器相对于上述基本排列图案的中心而点对称。

[0038] 根据本发明，能够减小后段的处理电路的电路规模。

[0039] 本发明的摄像装置的控制方法是由摄像装置执行的摄像方法，该摄像装置具有：摄像元件，包括排列于水平方向及垂直方向上的多个光电转换元件；及滤色器，设于由上述多个光电转换元件构成的多个像素上，重复配置有基本排列图案，上述基本排列图案由与不同的多个颜色分别对应的多个滤光片在上述水平方向及垂直方向上以预先规定的图案配置而成，该摄像装置的控制方法的特征在于，对由上述摄像元件所拍摄的摄像图像的图像数据进行混色校正，对混色校正后的图像数据进行噪声校正处理。

[0040] 本发明的摄像装置的控制程序的特征在于，用于使控制摄像装置的计算机作为混色校正单元及噪声校正单元而发挥功能，该摄像装置具有：摄像元件，包括排列于水平方向及垂直方向上的多个光电转换元件；及滤色器，设于由上述多个光电转换元件构成的多个像素上，重复配置有基本排列图案，上述基本排列图案由与不同的多个颜色分别对应的多个滤光片在上述水平方向及垂直方向上以预先规定的图案配置而成，其中，上述混色校正单元对由上述摄像元件所拍摄的摄像图像的图像数据进行混色校正，上述噪声校正单元对由上述混色校正单元混色校正后的图像数据进行噪声校正处理。

[0041] 发明效果

[0042] 根据本发明，具有能够以适当的顺序对由摄像元件所拍摄的图像实施校正处理的效果。

附图说明

[0043] 图1是第一实施方式涉及的摄像装置的概略框图。

[0044] 图2是第一实施方式涉及的滤色器的构成图。

[0045] 图3是表示第一实施方式涉及的滤色器中含有的基本排列图案的图。

[0046] 图4A是表示第一实施方式涉及的滤色器中含有的6×6像素的基本排列图案分割为3×3像素的A排列和B排列、并将它们在水平及垂直方向上重复配置而成的滤色器的图。

[0047] 图4B是表示图4A的滤色器中的G像素的特征性配置的图。

[0048] 图5是表示滤色器的变形例的图。

[0049] 图6是表示滤色器的变形例的图。

[0050] 图7是表示滤色器的变形例的图。

[0051] 图8是表示滤色器的变形例的图。

[0052] 图9是表示滤色器的变形例的图。

[0053] 图10是第一实施方式涉及的摄像校正处理部所执行的处理的流程图。

[0054] 图11是表示第二实施方式涉及的摄像装置的概略框图。

[0055] 图12是第二实施方式涉及的摄像校正处理部所执行的处理的流程图。

[0056] 图13是第三实施方式涉及的摄像装置的概略框图。

[0057] 图14是第三实施方式涉及的摄像校正处理部所执行的处理的流程图。

[0058] 图15是表示第三实施方式涉及的摄像装置的变形例的概略框图。

[0059] 图16是表示第四实施方式涉及的滤色器中含有的基本排列图案的图。

[0060] 图17是表示第四实施方式涉及的滤色器中含有的6×6像素的基本排列图案分割为3×3像素的A排列和B排列、并将它们在水平及垂直方向上重复配置而成的滤色器的图。

[0061] 图18是表示第四实施方式涉及的滤色器中的G像素的特征性配置的图。

具体实施方式

[0062] 以下，参照附图说明本发明的实施方式。

[0063] (第一实施方式)

[0064] 图1表示本实施方式涉及的摄像装置10的概略框图。摄像装置10构成为包括：光学系统12、摄像元件14、摄像校正处理部16及图像处理部18。

[0065] 光学系统12构成为例如包括：由多个光学镜头组成的镜头组、光圈调节机构、变焦机构及自动调焦机构等。

[0066] 摄像元件14是在包括排列于水平方向及垂直方向上的多个光电转换元件的摄像元件、例如CCD(Charge Coupled Device：电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等摄像元件上配置有滤色器的结构的所谓单板式的摄像元件。

[0067] 图2表示本实施方式涉及的滤色器的一部分。在各像素上配置红(R)、绿(G)、蓝(B)三原色的滤色器中的任一种。

[0068] (滤色器排列的特征)

[0069] 第一实施方式的滤色器具有下述特征(1)、(2)、(3)及(4)。

[0070] (特征(1))

[0071] 图2所示的滤色器包括由6×6像素所对应的正方排列图案构成的基本排列图案P(粗框所示的图案)，该基本排列图案P在水平方向及垂直方向上重复配置。即，该滤色器中，R、G、B各色滤光片(R滤光片、G滤光片、B滤光片)以规定的周期性排列。

[0072] 如此，R滤光片、G滤光片、B滤光片以规定的周期性排列，所以在进行从彩色摄像元件读出的R、G、B信号的去马赛克算法(插值)处理(也称为马赛克处理)等时，能够按照重复图案进行处理。

[0073] 并且，在以基本排列图案P为单位进行间拔处理以缩小图像时，间拔处理后的缩小图像的滤色器排列能够与间拔处理前的滤色器排列相同，能够使用通用的处理电路。

[0074] (特征(2))

[0075] 构成图2所示的滤色器的基本排列图案P中，最有助于获得亮度信号的颜色(在本实施方式中是G色)所对应的G滤光片、G色以外的其他颜色(在本实施方式中是R、B)所对应的R滤光片、B滤光片在基本排列图案内的水平及垂直方向的各行内配置有一个以上。

[0076] R、G、B滤光片分别配置于基本排列图案P内的水平及垂直方向的各行内，所以能够抑制莫尔条纹(伪色)的产生。

[0077] (特征(3))

[0078] 亮度系像素所对应的G滤光片在基本排列图案P内，在水平、垂直及倾斜(NE、NW)方向的各方向上含有两个以上相邻的部分而配置。

[0079] 图3表示将图2所示的基本排列图案P四分为3×3像素的状态。

[0080] 如图3所示，基本排列图案P也能够被视作：由实线框围成的3×3像素的A排列和由虚线框围成的3×3像素的B排列在水平、垂直方向上交替排列而得到的排列。

[0081] A排列中，在中心配置有R滤光片，在四角配置有B滤光片，隔着中心的R滤光片在上下左右配置有G滤光片。另一方面，B排列中，在中心配置有B滤光片，在四角配置有R滤光片，隔着中心的B滤光片在上下左右配置有G滤光片。这些A排列和B排列中，R滤光片和B滤光片的位置关系相反，而其他配置相同。

[0082] 如图4A所示，第一实施方式的滤色器也能够被视作：上述A排列和B排列在水平及垂直方向上交替配置而成的基本排列图案P被重复排列。

[0083] 现在，如图4A所示，在对于从摄像元件14输出的马赛克图像以A排列为中心提取出5×5像素的局部区域(粗框所示的区域)时，该局部区域内的八个G像素如图4B所示，配置为十字状。若将这些G像素按照从左到右的顺序称为G1、G2、G3、G4，按照从上到下的顺序称为G5、G6、G7、G8，则像素G1G2、像素G3G4在水平方向上相邻，像素G5G6、像素G7G8在垂直方向上相邻，像素G6G3、像素G2G7在左上斜方向上相邻，像素G6G2、像素G3G7在右上斜方向上相邻。

[0084] 因此，通过求出这些相邻的像素的像素值的差的绝对值，能够以最小像素间隔来判别水平、垂直及倾斜(NE、NW)方向的各方向中亮度变化最小的方向(相关性大的相关方向)。

[0085] 即，水平方向的差的绝对值之和是|G1－G2|+|G3－G4|，垂直方向的差的绝对值之和是|G5－G6|+|G7－G8|，右上斜方向的差的绝对值之和是|G6-G2|+|G3－G7|，左上斜方向的差的绝对值之和是|G6－G3|+|G2－G7|。

[0086] 能够判别为这四个相关绝对值中取得最小的差的绝对值的方向上存在相关性(相关方向)。此外，判别出的相关方向能够在通过图像处理部18进行去马赛克算法(插值)处理等时使用。

[0087] (特征(4))

[0088] 构成图2所示的滤色器的基本排列图案P相对于该基本排列图案P的中心点对称。

[0089] 如图3所示，基本排列图案内的A排列及B排列分别相对于中心的R滤光片或B滤光片点对称，且上下左右对称(线对称)。

[0090] 通过该对称性，能够减小或简化后段的处理电路的电路规模。此外，滤色器不限于图2所示的构成，例如也可以使用下述滤色器：包括图5所示的由6×6像素所对应的正方排列图案构成的基本排列图案(粗框所示的图案)且该基本排列图案在水平方向及垂直方向上重复配置而成的滤色器(稍后详述)；包括图6所示的由4×4像素所对应的正方排列图案构成的基本排列图案(粗框所示的图案)且该基本排列图案在水平方向及垂直方向上重复配置而成的滤色器；包括图7所示的由5×5像素所对应的正方排列图案构成的基本排列图案(粗框所示的图案)且该基本排列图案在水平方向及垂直方向上重复配置而成的滤色器；包括图8所示的由7×7像素所对应的正方排列图案构成的基本排列图案(粗框所示的图案)且该基本排列图案在水平方向及垂直方向上重复配置而成的滤色器；包括图9所示的由8×8像素所对应的正方排列图案构成的基本排列图案(粗框所示的图案)且该基本排列图案在水平方向及垂直方向上重复配置而成的滤色器。而且，基本排列图案不限于上述N×N(N为2以上的自然数)的正方排列，也可以是N×M(N、M是2以上的自然数)的排列。但是，考虑到去马赛克算法处理、动画摄影时的间拔处理等图像处理的容易性，N及M优选为10以下。

[0091] 摄像校正处理部16构成为包括：混色校正部20、噪声校正部22、偏移校正部24及增益校正部26。

[0092] 混色校正部20例如对各像素的像素数据实施混色校正。混色校正例如是以下的处理：对于各像素的像素数据，通过对关注像素的像素值乘以系数来对混色的影响进行校正，其中所述系数表示来自关注像素周围所存在的像素的混色的影响程度，能够使用各种公知的混色校正处理。

[0093] 噪声校正部22对各像素的像素数据实施噪声校正处理。噪声校正例如是去除随机性的噪声成分等的处理，能够使用各种公知的噪声校正处理。

[0094] 偏移校正部24对各像素的像素数据实施偏移校正处理。偏移校正例如是校正(减去)暗电流成分等一定的偏移成分的处理，能够使用各种公知的偏移校正处理。

[0095] 增益校正部26对各像素的像素数据实施增益校正处理。增益校正例如是灵敏度校正、白平衡校正及阴影校正等处理，能够使用各种公知的增益校正。

[0096] 在此，噪声校正是降低(抑制)噪声的处理，因此若在混色校正前处理，则有时会使混色校正所需的相邻像素间的电平差消失。因此，在进行噪声校正后的混色校正时，可能无法适当地进行混色校正，所以在本实施方式中，设为在混色校正部20的后段设置噪声校正部22的构成。由此，能够防止混色校正所需的相邻像素间的电平差消失这一情况，能够适当地进行混色校正。

[0097] 接着，作为本实施方式的作用，参照图10所示的流程图对由摄像校正处理部16执行的处理进行说明。

[0098] 首先，在步骤100中，混色校正部20从摄像元件14读出图像数据并实施混色校正处理。即，对于各像素的像素数据，通过乘以表示来自周围像素的混色的影响程度的系数来实施对混色的影响进行校正的处理。

[0099] 在步骤102中，噪声校正部22对由混色校正部20实施了混色校正处理的图像数据实施噪声校正处理。即，对各像素的像素数据实施去除随机性的噪声成分等的处理。

[0100] 在步骤104中，偏移校正部24对由噪声校正部22实施了噪声校正处理的图像数据实施偏移校正处理。即，对各像素的像素数据实施校正暗电流成分等一定的偏移成分的处理。

[0101] 在步骤106中，增益校正部26对由偏移校正部24实施了偏移校正处理的图像数据实施增益校正处理。即，对各像素的像素数据实施灵敏度校正、白平衡校正、阴影校正等处理。

[0102] 由增益校正部26实施了增益校正处理的图像数据被输出到图像处理部18。在图像处理部18，对实施了增益校正处理的图像数据实施去马赛克算法处理。即，对于所有像素，根据周围像素的像素数据对所对应的颜色以外的颜色的像素数据进行插值，生成总像素的R、G、B像素数据。此外，在该去马赛克算法处理中，基于通过上述方法判别出的相关方向来实施去马赛克算法(插值)处理。

[0103] 如上所述，在本实施方式中，设为在混色校正部20的后段设置噪声校正部22的构成，因此能够防止混色校正所需的相邻像素间的电平差消失，能够适当地进行混色校正。尤其是，在本实施方式中，配置于摄像元件上的滤色器与现有公知的拜耳排列这样的基本排列图案相比，基本排列图案中含有的像素数较多，相邻配置的像素的图案也较多，所以混色校正、像素缺陷校正等处理变得尤其重要，因而是有效的。例如，在拜耳排列中，水平/垂直方向的相邻配置图案的不同像素的种类是：G像素两种，B、R像素各一种，共计四种，因此即使混色的影响存在变为一样的倾向而使相邻像素间的电平差消失，通过后段的处理也能够在一定程度上进行混色校正，但如本实施方式所示，通过设为在混色校正部20的后段设置噪声校正部22的构成，能够防止混色校正所需的相邻像素间的电平差消失，因此能够更适当地进行混色校正。并且，在图2的排列、图5的排列的情况下分别共计有十八种，因此混色的影响变得多样化，若相邻像素间的电平差消失，则后段的处理变得复杂，难以进行适当的混色校正。因此，如本实施方式所示，在使用了配置有基本排列图案的尺寸大至4×4以上、包含的像素数较多的滤色器的摄像元件的摄像装置中，通过设为在混色校正部20的后段设置噪声校正部22的构成，在防止混色校正所需的相邻像素间的电平差消失方面尤其有效。

[0104] (第二实施方式)

[0105] 接着说明本发明的第二实施方式。此外，对与第一实施方式相同的部分标注同样的附图标记，省略其详细的说明。

[0106] 图11表示本实施方式涉及的摄像装置10A。如该图所示，摄像装置10A与图1所示的摄像装置10的不同点是摄像校正处理部16A的构成。其他构成与摄像装置10相同，因此省略详细说明。

[0107] 如图11所示，摄像校正处理部16A与图1的摄像校正处理部16的不同点是，在混色校正部20的前段设置偏移校正部28，在混色校正部20的后段设置逆偏移校正部30。

[0108] 如上所述，增益校正是对本像素进行增益校正的处理，因此若在偏移校正前进行，则由于增益校正量而使摄像信号的偏移量发生变化，所以优选在偏移校正后进行增益校正。因此，如图1、图11所示，设为在偏移校正部24的后段设置增益校正部26的构成。

[0109] 并且，混色校正与偏移校正的关系也和增益校正与偏移校正的关系相同，若在偏移校正前进行混色校正，则由于混色校正而使摄像信号的偏移量发生变化，所以优选在偏移校正后进行混色校正。

[0110] 但是，如上所述，在偏移校正和噪声校正的关系中，优选在噪声校正后进行偏移校正，所以在本实施方式涉及的摄像校正处理部16A中，设为在混色校正前进行偏移校正且在混色校正后进行逆偏移校正的构成。

[0111] 即，偏移校正部28执行与偏移校正部24相同的偏移校正处理，逆偏移校正部30以偏移校正部28进行了偏移校正时的偏移量来进行逆偏移校正。例如，在偏移校正部28中，在进行了从各像素的像素数据减去偏移量A的处理时，在逆偏移校正部30中，进行对各像素的像素数据加算偏移量A的处理。由此，在混色校正部20中，能够不受偏移影响而适当地进行混色校正。

[0112] 此外，在混色校正前进行偏移校正时，在从各像素的像素数据减去偏移量时，若对小于零的像素数据即负值的像素数据取零，则有时会对之后的噪声校正处理等造成不良影响。

[0113] 因此，在偏移校正部28中，在从各像素的像素数据减去偏移量时，在像素数据变为负值的情况下，也不取零而保持为负值。并且，在混色校正部20中，也执行与负值对应的混色校正。

[0114] 接着，作为本实施方式的作用，参照图12所示的流程图对由摄像校正处理部16A执行的处理进行说明。

[0115] 首先，在步骤200中，偏移校正部24从摄像元件14读出图像数据，实施偏移校正处理。该处理是与图10的步骤104同样的处理。此外，在像素数据变为负值的情况下，也不取零而保持为负值。

[0116] 在步骤202中，混色校正部20对由偏移校正部28实施了偏移校正处理的图像数据实施混色校正处理。该处理是与图10的步骤100相同的处理。

[0117] 在步骤204中，逆偏移校正部30对由混色校正部20实施了混色校正处理的图像数据实施逆偏移校正处理。即，在步骤200中，在进行了从各像素的像素数据减去偏移量A的处理的情况下，在步骤204中，进行对各像素的像素数据加算偏移量A的处理。

[0118] 在步骤206中，噪声校正部22对由逆偏移校正部30实施了逆偏移校正处理的图像数据实施噪声校正处理。该处理是与图10的步骤102相同的处理。

[0119] 在步骤208中，偏移校正部24对由噪声校正部22实施了噪声校正处理的图像数据实施偏移校正处理。该处理是与步骤200相同的处理。

[0120] 在步骤210中，增益校正部26对由偏移校正部24实施了偏移校正处理的图像数据实施增益校正处理。该处理是与图10的步骤106相同的处理。

[0121] 由增益校正部26实施了增益校正处理的图像数据被输出到图像处理部18。在图像处理部18，对实施了增益校正处理的图像数据实施去马赛克算法处理。

[0122] 如上所述，在本实施方式中，在混色校正前进行偏移校正，在混色校正后进行逆偏移校正，因此能够不受偏移的影响而适当地进行混色校正。

[0123] (第三实施方式)

[0124] 接着说明本发明的第三实施方式。对与第一实施方式相同的部分标注同样的附图标记，省略其详细说明。

[0125] 图13表示本实施方式涉及的摄像装置10B。如该图所示，摄像装置10B与图1所示的摄像装置10的不同点在于摄像校正处理部16B的构成。其他构成与摄像装置10相同，因此省略详细说明。

[0126] 如图13所示，摄像校正处理部16B与图1的摄像校正处理部16的不同点是，在混色校正部20的前段设置像素缺陷校正部32。

[0127] 若摄像元件的像素存在损坏等像素缺陷的状态下进行混色校正时，则画质可能下降，因此优选在混色校正前进行像素缺陷校正。因此，在本实施方式涉及的摄像校正处理部16B中，设为在混色校正前进行像素缺陷校正的构成。

[0128] 接着，作为本实施方式的作用，参照图14所示的流程图对由摄像校正处理部16B执行的处理进行说明。

[0129] 首先，在步骤300中，像素缺陷校正部32从摄像元件14读出像素数据，实施像素缺陷校正处理。该像素缺陷校正处理是根据周围像素的像素数据对存在像素缺陷的像素的像素数据进行插值并求出的处理，能够使用各种公知的方法。

[0130] 在步骤302中，混色校正部20对由像素缺陷校正部32实施了像素缺陷校正处理的图像数据实施混色校正处理。该处理是与图10的步骤100相同的处理。

[0131] 在步骤304中，噪声校正部22对由混色校正部20实施了混色校正处理的图像数据实施噪声校正处理。该处理是与图10的步骤102相同的处理。

[0132] 在步骤306中，偏移校正部24对由噪声校正部22实施了噪声校正处理的图像数据实施偏移校正处理。该处理是与图10的步骤104相同的处理。

[0133] 在步骤308中，增益校正部26对由偏移校正部24实施了偏移校正处理的图像数据实施增益校正处理。该处理是与图10的步骤106相同的处理。

[0134] 由增益校正部26实施了增益校正处理的图像数据被输出到图像处理部18。在图像处理部18，对实施了增益校正处理的图像数据实施去马赛克算法处理。

[0135] 如上所述，在本实施方式中，在混色校正前进行像素缺陷校正，因此能够在像素缺陷被校正后的状态下适当地进行混色校正，能够防止画质下降。

[0136] 此外，如图15的摄像装置10C的摄像校正处理部16C所示，也可以设为在第二实施方式中说明的摄像装置10A的摄像校正处理部16A的偏移校正部28的前段设置像素缺陷校正部32的构成。

[0137] 并且，摄像校正处理部16、16A、16B能够构成为包括含有CPU、ROM、RAM、非易失性ROM等的计算机。在这种情况下，能够将在上述各实施方式中使用流程图说明的处理的处理程序例如预先存储于非易失性ROM中，由CPU读入并执行。

[0138] (第四实施方式)

[0139] 接着说明本发明的第四实施方式。在本实施方式中，作为滤色器的变形例，说明图5所示的滤色器的详情。

[0140] 图5表示本实施方式涉及的滤色器。如该图所示，本实施方式涉及的滤色器包括由6×6像素所对应的正方排列图案构成的基本排列图案P(粗框所示的图案)，该基本排列图案P在水平方向及垂直方向上重复配置。即，该滤色器排列中，R、G、B各色滤光片(R滤光片、G滤光片、B滤光片)以规定的周期性排列。

[0141] 并且，构成该滤色器排列的基本排列图案P与第一实施方式同样，R、G、B所有颜色的滤光片在基本排列图案内的水平及垂直方向的各行内配置有一个以上。

[0142] 并且，与亮度系像素对应的G滤光片在基本排列图案P内在水平、垂直及倾斜(NE、NW)方向的各方向上含有两个以上相邻的部分而配置。

[0143] 图16表示将图5所示的基本排列图案P四分为3×3像素的状态。

[0144] 如图16所示，基本排列图案P也能够被视作：由实线框围成的3×3像素的A排列和由虚线框围成的3×3像素的B排列形成在水平、垂直方向上交替排列而得到的排列。

[0145] A排列及B排列中，作为亮度系像素的G滤光片分别配置于四角和中央，配置于两条对角线上。并且，A排列中，R滤光片隔着中央的G滤光片而排列于水平方向上，B滤光片排列于垂直方向上，另一方面，在B排列中，B滤光片隔着中央的G滤光片而排列于水平方向上，R滤光片排列于垂直方向上。即，A排列和B排列中，R滤光片和B滤光片的位置关系相反，而其他配置相同。

[0146] 并且，A排列和B排列的四角的G滤光片如图17所示，A排列和B排列在水平、垂直方向上交替配置，从而成为与2×2像素对应的正方排列的G滤光片。

[0147] 即，图5所示的滤色器排列(基本排列图案P)包括由G滤光片构成的2×2像素所对应的正方排列。

[0148] 现在，如图17所示，在对于从摄像元件14输出的马赛克图像以A排列为中心提取了5×5像素的局部区域时，该局部区域内的四角的2×2像素的G像素变为图18所示的配置。

[0149] 如图18所示，在将2×2像素的G像素的像素值按照从左上到右下的顺序称为G1、G2、G3、G4时，这些G像素的像素值的垂直方向的差的绝对值是(|G1－G3|+|G2－G4|)/2，水平方向的差的绝对值是(|G1－G2|+|G3－G4|)/2，右上斜方向的差的绝对值是|G2－G3|，左上斜方向的差的绝对值是|G1－G4|。

[0150] 能够判别为这四个相关绝对值中取得最小的差的绝对值的方向上存在相关性(相关方向)。

[0151] 现在，如图17或图18所示，以3×3像素的A排列位于中央的方式从马赛克图像中提取了5×5像素的局部区域时，2×2像素的G像素配置于四角。因此，在将上述局部区域内的A排列的3×3像素作为去马赛克算法处理的对象像素时，求出四角的各方向的相关绝对值的总和(或平均值)，将各方向的相关绝对值的总和(或平均值)中取得最小的值的方向判别为去马赛克算法处理的对象像素中的亮度的相关方向。

[0152] 并且，构成图5所示的滤色器排列的基本排列图案P相对于该基本排列图案的中心(四个G滤光片的中心)点对称。并且，如图16所示，基本排列图案内的A排列及B排列也分别相对于中心的G滤光片点对称，且上下左右对称(线对称)。

[0153] 如此，第四实施方式涉及的滤色器具有与第一实施方式涉及的滤色器的特征(1)、(2)、(3)及(4)相同的特征。

[0154] 而且，第四实施方式涉及的滤色器中，G滤光片配置于滤色器排列的倾斜(NE、NW)方向的各行内，具有能够进一步提高高频区域内的去马赛克算法处理的重现精度这一第一实施方式的滤色器所没有的特征。

[0155] 并且，在上述各实施方式中，说明了具有RGB三原色的滤色器的彩色摄像元件，但本发明不限于此，也能够适用于RGB三原色+其他颜色(例如翠绿色(E))的四色滤色器。

[0156] 并且，本发明也能够适用于对由如下彩色摄像元件所拍摄的图像的图像数据进行处理的图像处理装置，该彩色摄像元件具有向作为原色RGB的互补色的C(青色)、M(品红色)、Y(黄色)中加入了G的四色互补色系的滤色器。

[0157] 并且，在上述各实施方式中，说明了使用基本排列图案的尺寸比拜耳排列的尺寸大的滤色器的情况，但本发明也能够适用于使用了拜耳排列的滤色器的摄像装置。

[0158] 而且，本发明不限于上述实施方式，不言而喻能够在不脱离本发明主旨的范围内进行各种变形。

[0159] 附图标记说明

[0160] 10、10A、10B、10C 摄像装置

[0161] 12 光学系统

[0162] 14 摄像元件

[0163] 16、16A、16B、16C 摄像校正处理部

[0164] 18 图像处理部

[0165] 20 混色校正部

[0166] 22 噪声校正部

[0167] 24、28 偏移校正部

[0168] 26 增益校正部

[0169] 30 逆偏移校正部

[0170] 32 像素缺陷校正部