摄像装置、图像处理方法、图像处理程序及半导体集成电路

摘要

本发明提供一种摄像装置、图像处理方法、图像处理程序及半导体集成电路。不将由单板彩色摄像元件得到的原图像、即CCDRAW图像(601)色分离成与拜尔排列对应的R、G、B数据，而利用行单位的滤波处理(602、606)提取出亮度数据和载色数据，在对载色数据实施了色差数据解调处理(607)和中值噪声除去处理(608)的基础上，对亮度数据和色差数据分别实施特性不同的带限滤波处理(603、609)。进而，对亮度数据和色差数据独立地进行调整大小处理(604、610)，经过从调整大小后的色差数据向载色数据的调制处理(611)，实施由载色数据与调整大小后的亮度信号的重新合成实现的色排列再现处理(612)。

权利要求

1.一种摄像装置，用于处理由色排列具有周期性的多种颜色的像素构成的原图像的数字图像信号，该摄像装置包括：通过行单位的滤波处理从所述原图像提取出亮度数据和载色数据的滤波处理部；

将载色数据转换成色差数据的色差数据解调部；

对提取出的亮度数据和所述色差数据分别实施特性不同的带限滤波处理的带限滤波处理部；

对亮度数据和色差数据独立地进行缩小调整大小或放大调整大小的调整大小处理部；

将调整大小后的色差数据重新转换成载色数据的载色调制部；以及将调整大小后的亮度数据与调制后的载色数据重新合成，生成最终的多色排列数据的色排列再现处理部。

2.根据权利要求1所述的摄像装置，其特征在于，

还具有下述功能：基于通过针对所述原图像的行单位的一维处理而仅一个方向被调整大小处理后的多色排列数据，实施再次的调整大小处理，由此生成被二维调整大小处理后的多色排列数据。

3.根据权利要求1所述的摄像装置，其特征在于，

还具有下述功能：将通过针对所述原图像的行单位的一维处理而仅一个方向被调整大小处理后的多色排列数据暂时写入到存储装置中，当从所述存储装置读出所述被调整大小处理后的多色排列数据时，沿着与写入时的行方向正交的方向以行单位读出，并实施再次的调整大小处理，来生成被二维调整大小处理后的多色排列数据。

4.根据权利要求1所述的摄像装置，其特征在于，

还具有下述功能：将通过针对所述原图像的行单位的一维处理而仅一个方向被调整大小处理后的多色排列数据，按每一行写入到由多个行构成的行存储器中，同时读出多个行的数据，通过从该读出的多个行数据的水平方向的同一位置的垂直方向关注数据组中提取出亮度数据和载色数据，实施再次的处理，并且实施使与输入行数相对应的输出行增减的处理，来生成被二维调整大小处理后的多色排列数据。

5.根据权利要求1所述的摄像装置，其特征在于，

所述调整大小处理部具有针对行单位的亮度数据和色差数据，根据行位置连续变更调整大小比率来进行调整大小的功能。

6.根据权利要求5所述的摄像装置，其特征在于，

所述调整大小处理部具有将色差数据相对于亮度数据的任意比率设定成不同的值，并且按照调整大小后的行亮度数据与尺寸不同的行色差数据的中心位置一致的方式来进行行数据的读出输出调整的功能。

7.根据权利要求1所述的摄像装置，其特征在于，

所述原图像是利用下述单板彩色摄像元件取得的图像，所述单板彩色摄像元件具有通过原色滤色器或补色滤色器而被周期性地色排列的多种颜色的像素。

8.根据权利要求1所述的摄像装置，其特征在于，

所述原图像是利用下述单板彩色摄像元件取得的图像，所述单板彩色摄像元件具有通过原色滤色器或补色滤色器而以行单位被周期性地色排列的多种颜色的像素、和在其他行不具备周期性的单一颜色的像素。

9.一种图像处理方法，用于处理由色排列具有周期性的多种颜色的像素构成的原图像的数字图像信号，该图像处理方法包括：通过行单位的滤波处理从所述原图像提取出亮度数据和载色数据的滤波处理步骤；

对所述载色数据进行噪声除去的噪声除去步骤；

将噪声除去后的载色数据转换成色差数据的色差数据解调步骤；

对提取出的亮度数据和所述色差数据分别实施特性不同的带限滤波处理的带限滤波处理步骤；

对亮度数据和色差数据独立地进行缩小调整大小或放大调整大小的调整大小处理步骤；

将调整大小后的色差数据重新转换成载色数据的载色调制步骤；和将调整大小后的亮度数据与调制后的载色数据重新合成，生成最终的多色排列数据的色排列再现处理步骤。

10.根据权利要求9所述的图像处理方法，其特征在于，

还具有下述步骤：基于通过针对所述原图像的行单位的一维处理而仅一个方向被调整大小处理后的多色排列数据，实施再次的调整大小处理，由此生成被二维调整大小处理后的多色排列数据。

11.根据权利要求9所述的图像处理方法，其特征在于，

还具有下述步骤：将通过针对所述原图像的行单位的一维处理而仅一个方向被调整大小处理后的多色排列数据暂时写入到存储装置中，当从所述存储装置读出所述被调整大小处理后的多色排列数据时，沿着与写入时的行方向正交的方向以行单位读出，并实施再次的调整大小处理，来生成被二维调整大小处理后的多色排列数据。

12.根据权利要求9所述的图像处理方法，其特征在于，

还具有下述步骤：将通过针对所述原图像的行单位的一维处理而仅一个方向被调整大小处理后的多色排列数据，按每一行写入到由多个行构成的行存储器中，同时读出多个行的数据，通过从该读出的多个行数据的水平方向的同一位置的垂直方向关注数据组中提取出亮度数据和载色数据，实施再次的处理，并且实施使与输入行数相对应的输出行增减的处理，来生成被二维调整大小处理后的多色排列数据。

13.根据权利要求9所述的图像处理方法，其特征在于，

所述调整大小处理步骤具有针对行单位的亮度数据和色差数据，根据行位置连续变更调整大小比率来进行调整大小的步骤。

14.根据权利要求13所述的图像处理方法，其特征在于，所述调整大小处理步骤具有将色差数据相对于亮度数据的任意比率设定成不同的值，并且按照调整大小后的行亮度数据与尺寸不同的行色差数据的中心位置一致的方式来进行行数据的读出输出调整的步骤。

15.根据权利要求9所述的图像处理方法，其特征在于，

所述原图像是利用下述单板彩色摄像元件取得的图像，所述单板彩色摄像元件具有通过原色滤色器或补色滤色器而被周期性地色排列的多种颜色的像素。

16.根据权利要求9所述的图像处理方法，其特征在于，

所述原图像是利用下述单板彩色摄像元件取得的图像，所述单板彩色摄像元件具有通过原色滤色器或补色滤色器而以行单位被周期性地色排列的多种颜色的像素、和在其他行不具备周期性的单一颜色的像素。

说明书

摄像装置、图像处理方法、图像处理程序及半导体集成电路

技术领域

[0001] 本发明涉及摄像装置、图像处理方法、图像处理程序及安装有图像处理功能的半导体集成电路，尤其涉及适用于对从单板彩色摄像元件得到的原图像的缩小处理、放大处理、形变修正的图像数据尺寸转换处理装置、电子静态图片相机、图像数据尺寸转换处理程序、半导体集成电路等。

背景技术

[0002] 公知有一种利用CCD、MOS传感器等摄像元件对通过摄影镜头的被摄体像进行摄像，然后针对从该摄像元件输出的图像数据进行规定的图像处理的数码相机。一般的数码相机在将从摄像元件得到的图像信号转换成10比特或12比特或14比特的数字数据，实施了各种图像处理之后，根据JPEG编码等压缩方式来压缩图像数据，并将其记录到记录介质中。由于所记录的图像已经被实施了各种图像处理，所以如果用户自身对再生图像实施进一步的图像处理，则有时画质会劣化。

[0003] 另外，在相机内不实施图像处理而对从摄像元件输出的每个像素的模拟信号进行了A/D转换之后，以不施加图像处理的原始(RAW)状态直接记录数字数据的方式，作为单反数码相机的功能已经逐渐普及。作为使用方法，通过在相机侧记录未加工的RAW数据，然后利用个人电脑等外部装置进行图像的再现(显像)处理，来实现高品质的打印、和与用户的目的相符的更高级的图像编辑。

[0004] 在这样的摄像装置中，为了拍摄彩色图像而在摄像元件上设置有色分解滤色器。例如，在拜尔(Bayer)方式的色分解滤色器中，对应于摄像元件的像素，R(红)、G(绿)、B(蓝)原色滤色器被配置成方格图案。即，在拜尔排列中，沿像素排列的水平方向及垂直方向两个方向，相同色成分的滤色器每隔1个像素排列。通过这样的色分解滤色器拍摄的图像数据，需要被处理成保持拜尔排列。其原因在于，如果拜尔排列被破坏，则无法从图像数据再现被摄体的颜色。

[0005] RAW形式的数据与JPEG形式等的数据相比，文件尺寸较大、再生处理相对比较花费时间。对于RAW数据的再生而言，根据针对1个像素只有1个颜色信息的大尺寸原图像数据，施加伽马修正、取得白平衡，同时针对各像素进行得到R/G/B的信息那样的同时化处理，最终必须得到再现图像。在还确认画面内的细节的再现性的情况下，需要对这样的大尺寸的图像进行处理，但例如在使用数码相机的液晶显示器只确认颜色的再现性的情况下(想要确认色调、颜色的感觉时)、或者为了确认明亮度的程度、变更了伽马修正的施加情况时的结果等，即使不使用如此大的图像也能够通过小的图像充分确认。

[0006] 而且，在摄像元件的高像素化和高速读出处理技术进展过程中，当进行被称为小RAW的比原图像小的图像记录模式时的摄影、以HD电影为代表的尺寸被标准化的动态图像摄影时，通过在处理的前阶段缩小RAW图像，进行再生处理或记录处理，能够节省后序处理的冗长处理，因此可以大幅缩短处理时间，还能够实现系统的省电。

[0007] 如上所述，为了高速显示RAW数据的处理结果、或者以预览用图像文件尺寸的最小化或RAW形式数据的小尺寸记录、尺寸被标准化的动态图像记录等为目的，可进行RAW图像的缩小处理。

[0008] 以往，当对作为原图像的RGB的RAW数据调整大小(resize)时，采取了在最初的处理中色分离成独立的R、G、B数据、或者通过同色像素的混合来间隔提取的方法(参照专利文献1～3)。或者，在对实际大小(fullsize)的图像处理后的YCrCb数据施加了LPF(低通滤波)之后，将缩小调整大小后的数据作为1个小RAW文件(参照专利文献4)。

[0009] 专利文献1：特开2003-346143号公报

[0010] 专利文献2：特开2001-245141号公报

[0011] 专利文献3：特开2002-84547号公报

[0012] 专利文献4：特开2007-158509号公报

[0013] 在专利文献1～3的技术中，由于当对作为原图像的RGB的RAW数据调整大小时，采用了在最初的处理中色分离成独立的R、G、B数据、或者通过同色像素的混合来间隔提取的方法，所以，当在RAW数据中对空间配置的RGB数据进行色分离时，由于因通过采样、像素相加实现的间隔提取而折回到低频的奈奎斯特频率附近的高频成分无法通过LPF被除去，所以在缩小后再配置的缩小RAW数据上会产生高频的伪信号。结果，图像出现伪色、发生分辨感的劣化，存在无法得到将原图像的摄像特征充分发挥的缩小RAW图像这一缺点。

[0014] 另外，在专利文献4的技术中，在实际大小的图像处理之后实施了缩小调整大小处理，但缩小调整大小处理是减少记录像素数的处理，图像处理后通过缩小调整大小处理而被间隔提取舍去的数据成为冗长处理，从省电观点出发，效率差。并且，在安装到LSI等硬件的情况下，由于经由外部的存储缓冲器而被处理，所以与处理量成比例地伴随着LSI的I/O缓冲器的耗电。

发明内容

[0015] 本发明鉴于这样的事情而提出，其目的在于，提供在对原图像调整大小时，能够在降低伪亮度信号、伪色的同时保持分辨感的摄像装置及图像处理方法、以及实现该图像处理方法的图像处理程序和半导体集成电路。

[0016] 为了实现上述目的，本发明在根据由色排列具有周期性的多种颜色的像素构成的原图像的数字图像信号，生成缩小或放大的调整大小图像时，将原图像色分离成R、G、B数据之后，不实施调整大小处理，而实施从原图像得到的亮度数据与色差数据这2个系统的调整大小处理。

[0017] 若具体说明，则根据本发明，实施下述的处理：通过行单位的滤波处理从原图像提取出亮度数据和载色数据的滤波处理；对所述载色数据进行噪声除去的噪声除去处理；将噪声除去后的载色数据转换成色差数据的色差数据解调处理；对提取出的亮度数据和所述色差数据分别实施特性不同的滤波处理的带限滤波处理；对亮度数据和色差数据独立地进行调整大小的调整大小处理；将调整大小后的色差数据重新转换成载色数据的载色调制处理；和将调整大小后的亮度数据与调制后的载色数据重新合成，生成最终的多色排列数据的色排列再现处理。

[0018] 如果对行单位的亮度数据和色差数据，根据行位置连续地变更调整大小比率来进行调整大小，则还能够从原图像的数字图像信号以行单位生成调整大小比率不同的图像。

[0019] (发明效果)

[0020] 根据本发明，例如在生成未进行同时化等信号处理的原图像(RAW图像)的缩小图像时，按照不使原图像的亮度信号成分与各色信号成分的再现频带走样的方式，实施具有与亮度信号成分和色差信号成分的二维再现频带相似的频带特性的LPF，并根据LPF处理后的图像进行亮度信号成分与色差信号成分的调整大小处理，来变更像素数，并对2个信号进行叠加处理，得到了调整大小图像。像素的调整大小比率依赖于原图像与最终应该生成的图像的比率而设定。如此得到的调整大小图像反映了调整大小前的原图像的再现特性的特征。由此，不仅可实现再现处理时间的缩短，而且能够防止最终图像中的伪信号的发生，保持各色信号的最大分辨感。

[0021] 更具体而言，根据本发明，由于不将RAW数据中空间配置的RGB数据色分离成R/G/B这3色，而对于亮度数据施加与调整大小后的尺寸对应的亮度LPF，来进行调整大小处理，所以高频亮度成分不折返回低频、并且能够确保分辨度。关于色数据，通过特性不同的滤波处理(高频除去性能高)提取低频成分，进行调整大小后叠加到亮度信号中，可抑制在缩小RAW数据上产生高频的伪信号，能够降低伪色并保持分辨感。

[0022] 而且，当对连续的亮度数据和色差数据实施调整大小处理时，通过使调整大小比率可变，能够以简单的构成降低伪色，同时保持分辨感，来实现形变修正。

[0023] 另外，如果在前处理中实施缩小调整大小处理，则通过针对原图像的尺寸以小的尺寸实现显示处理、记录处理，可减少后段处理量，从省电观点出发效率良好。

附图说明

[0024] 图1是表示本发明的实施方式涉及的摄像装置的构成的框图。

[0025] 图2(a)是表示滤色器的蜂窝排列的例子的概念图，图2(b)是表示拜尔排列的例子的概念图。

[0026] 图3是表示本发明的实施方式涉及的图像处理方法的概略图。

[0027] 图4是表示在图3的两个步骤的调整大小处理中利用帧存储器的例子的概念图。

[0028] 图5是表示在图3的两个步骤的调整大小处理中利用由多个行构成的行存储器的例子的概念图。

[0029] 图6是表示图3中的RAW数据水平方向调整大小处理的详细步骤的图。

[0030] 图7是表示实施图5的例子时的行存储器的写入读出动作的概念图。

[0031] 图8是表示图7的下一个定时下的该行存储器的写入读出动作的概念图。

[0032] 图9是表示利用行存储器时的图3中的RAW数据垂直方向调整大小处理的详细步骤的图。

[0033] 图10是表示滤色器的拜尔排列中的各色的二维再现频带的图。

[0034] 图11(a)是将CZP(圆形波带片：Circular Zone Plate)图像色分离成R、G、B数据后，沿水平方向实施了1/2的调整大小处理时的缩小RAW图像的图，图11(b)是对该图像实施了本发明的亮度数据与色差数据的2个系统的缩小调整大小处理时的缩小RAW图像的图。

[0035] 图12(a)是表示通过广角镜头产生的桶型特性的输入图像的图，图12(b)是表示对该输入图像沿水平方向及垂直方向实施行单位的调整大小处理而产生的修正结果的图。

[0036] 图13是将本发明的调整大小处理功能作为数字电路安装到数字信号处理LSI的输入部时的半导体集成电路的框图。

[0037] 图14是将本发明的调整大小处理功能作为MOS图像传感器的输出前的数字电路进行安装时的半导体集成电路的框图。

[0038] 图15是将本发明的调整大小处理功能作为对MOS图像传感器的模拟输出进行A/D转换的模拟前端LSI的输出前的数字电路进行安装时的半导体集成电路的框图。

[0039] 图中：10-摄像装置；12-摄像部；101-光学透镜；102-光学LPF(低通滤波器)；103-滤色器；104-摄像元件；105-AFE(模拟前端)部；106-前处理部；107-存储器控制部；
108-图像存储器；109-图像信号处理部；110-压缩解压部；111-记录媒介I/F(接口)部；
112-记录媒介；113-操作面板；114-CPU；115-ROM；116-RAM；117-显示处理部；118-显示器I/F部；120-RAW调整大小处理部；131-数字信号处理LSI；141-MOS图像传感器(LSI)；
151-模拟前端LSI；301-CCDRAW图像；302-RAW数据水平方向调整大小处理；303-CCDRAW调整大小图像；304-RAW数据垂直方向调整大小处理；305-CCDRAW调整大小图像；400-帧存储器；500-行存储器；601-行单位的CCDRAW图像；602-载色除去滤波处理；603-亮度用带限滤波处理；604-亮度信号水平方向缩小调整大小处理；605-增益电平调整处理；606-载色提取滤波处理；607-色差数据解调处理；608-中值噪声除去处理；609-色差用带限滤波处理；610-色差信号水平方向缩小调整大小处理；611-载色调制处理；612-色排列再现处理；701-行存储器；702-数据写入循环；703-数据读出循环；704-多个行上的水平方向同一位置的数据；901-由7个像素构成的处理单位；902-载色除去滤波处理；903-亮度用带限滤波处理；904-亮度信号垂直方向缩小调整大小处理；905-载色提取滤波处理；906-色差数据解调处理；907-中值噪声除去处理；908-色差用带限滤波处理；909-色差信号垂直方向缩小调整大小处理；910-载色调制处理；911-色排列再现处理；912-增益电平调整处理。

具体实施方式

[0040] 下面，根据附图，对本发明涉及的图像处理方法及图像处理程序的优选实施方式进行详细说明。

[0041] 图1是本发明的实施方式涉及的摄像装置的构成图。该摄像装置10是将通过摄像部12拍摄的被摄体的光学像转换成数字图像数据，并记录到记录媒介112的单板式数码相机。摄像部12包括：光学透镜101、光学LPF102、滤色器103、摄像元件104、AFE(模拟前端)部105。

[0042] 摄像元件104是以CCD型或CMOS型等为代表的图像传感器。在摄像元件104的受光面二维排列有多个光电二极管(感光像素)，对通过光学透镜101后的被摄体信息进行光电转换。光学LPF102具有将依赖于摄像元件104的像素间距等的采样频率以上的高频成分除去的作用，防止在图像再现(信号处理)后的最终图像中发生混淆。

[0043] 滤色器103具有在与摄像元件104的各像素对应的位置存在R、G、B的其中一种颜色那样的规定色排列，对向作为受光元件的光电二极管入射的光进行色选择。

[0044] 图2(a)及图2(b)表示RGB原色类型的滤色器排列的例子。图2(a)所示的蜂窝排列将受光元件(光电二极管)的几何学形状的中心在行方向及列方向上分别错移1/2间距配置。图2(b)所示的拜尔排列将受光元件在行方向及列方向上分别以一定间距排列成正方行列。需要说明的是，在实际的摄像元件104的成像面中，图2(a)及图2(b)所示的像素排列的构造沿水平方向及垂直方向周期性反复。当然，在本发明的实施上，滤色器103的排列构造不限定于图2(a)及图2(b)所示的例子，还能够采用G条纹等各种排列构造。而且，在本例中使用了原色滤色器，但在实施本发明时并不限定于原色滤色器，也可以采用由黄(Y)、洋红(M)、青(C)、绿(G)构成的补色滤色器、或采用原色与补色的任意组合以及白(W)。

[0045] 通过了图1的光学透镜101的光经过光学LPF102和滤色器103，入射到摄像元件104中。在摄像元件104的受光面成像的被摄体像，被各光电二极管转换成与入射光量对应量的信号电荷，根据从未图示的驱动电路赋予的脉冲，作为与信号电荷对应的电压信号(图像信号)被依次读出。

[0046] 摄像元件104具有根据快门选通脉冲的定时来控制各光电二极管的电荷蓄积时间(快门速度)的电子快门功能。摄像元件104的动作(曝光、读出等)由CPU114控制。

[0047] 从摄像元件104输出的图像信号被发送给AFE部105，在模拟增益、CDS(相关二重采样)等处理后，通过A/D转换处理被转换成数字信号。

[0048] 而且，在以CMOS型为代表的摄像元件104中，还存在作为实现高速读出的机构，在该摄像元件104内安装了噪声处理部和A/D转换器，直接作为数字信号输出的方式。

[0049] 被A/D转换后的图像数据按照摄像装置10的动作模式，经过必要的信号处理、或省略信号处理而记录到记录媒介112中。本例的摄像装置10能够记录JPEG形式的图像，并且能够记录A/D转换之后不做处理的图像(以下称为CCDRAW图像)。

[0050] 在以JPEG形式记录的情况下，A/D转换后的图像数据经过前处理部106被发送到图像信号处理部109。前处理部106与图像信号处理部109是实施同时化处理(对与滤色器排列相伴的色信号的空间错位进行插值，计算各点的颜色的处理)、白平衡(WB)调整、伽马修正、亮度·色差信号生成、轮廓强调、基于电子变焦功能的变倍(放大/缩小)处理、像素数的转换(调整大小)处理等各种处理的处理机构，按照来自CPU114的指令来处理图像信号。上述前处理部106及图像信号处理部109具有能够借助存储器控制部107暂时存储处理中途的图像的图像存储器108，在利用该图像存储器108的同时进行图像信号的处理。

[0051] 在前处理部106与图像信号处理部109中经过了规定的信号处理后的图像数据被发送给压缩解压部110，按照JPEG形式的压缩格式被压缩。另外，压缩形式不限定于JPEG，也可以采用MPEG等其他方式，并采用与所使用的压缩形式对应的压缩引擎。

[0052] 压缩后的图像数据经由记录媒介I/F(接口)部111被记录到记录媒介112中。记录媒介112不限定于以存储卡为代表的半导体存储器，还可以使用磁盘、光盘、光磁盘等各种介质。而且，不限定于可移动媒介，也可以是摄像装置10中内置的记录介质(内部存储器)。

[0053] 另一方面，在是记录CCDRAW图像的模式的情况下，被AFE部105的A/D转换而数字化后的图像数据，不经过同时化等其他信号处理而经由存储器控制部107、记录媒介I/F部111记录到记录媒介112中。即，CCDRAW图像是未被进行伽马修正、白平衡调整、同时化等信号处理的图像，是对应于滤色器103的排列图案，按每个像素只保持一个不同的色信息的镶嵌状图像。当然，由于也未进行压缩处理，所以具有大的文件尺寸。另外，在将CCDRAW图像向记录媒介112记录时，可以进行可逆的压缩来记录，也可以记录非压缩的数据。

[0054] CPU114是按照规定的程序统一控制本摄像装置10的控制部，根据来自操作面板113的指示信号，控制摄像装置10内的各电路的动作。ROM115中保存有CPU114所执行的程序及控制所必要的各种数据等，RAM116被作为CPU114的工作用区域而利用。

[0055] 操作面板113是用于由用户对摄像装置10输入各种指示的机构，例如包括：用于选择摄像装置10的动作模式的模式选择开关、输入菜单项目的选择操作(光标移动操作)或再生图像的快进/倒退等指示的方向键、指示选择项目的确定(登记)或动作的执行的执行键、用于消去选择项目等所希望的对象或取消指示的取消键、电源开关、变焦开关、释放开关(release switch)等各种操作机构。

[0056] CPU114根据从操作面板113输入的指示信号，按照各种摄影条件(曝光条件、闪光灯发光有无、摄影模式等)，控制摄像元件104等的摄像部12，并且进行自动曝光(AE)控制、自动焦点调节(AF)控制、自动白平衡(AWB)控制、透镜驱动控制、图像处理控制、记录媒介112的读写控制等。

[0057] 例如，CPU114在检测到释放开关的半按压时，进行自动焦点调节(AF)控制，当检测到释放开关的完全按压时，开始用于取入记录用图像的曝光及读出控制。而且，CPU114根据需要，向未图示的闪光灯控制电路发送指令，控制氙管等闪光发光管(发光部)的发光。

[0058] 前处理部106包括进行AE控制及AF控制所必要的运算的自动运算部，根据响应于释放开关的半按压而取入的图像信号，进行焦点评价值运算、AE运算等，并将该运算结果传递给CPU114。若检测到释放开关的完全按压，则CPU114根据焦点评价值运算的结果，控制未图示的透镜驱动用马达，使光学透镜101移动到对焦位置，并且控制光圈、电子快门，进行曝光控制。如此取入的图像数据按照记录模式被记录到记录媒介112中。其中，117是显示处理部，118是显示器I/F部。

[0059] 接着，说明对由如上述那样构成的摄像装置10记录的CCDRAW图像进行处理的图像处理装置及其图像处理方法。由摄像装置10记录的CCDRAW图像通过专用的图像处理装置或个人电脑等进行再现(显像)处理。或者，也能够利用图1中的前处理部106及图像信号处理部109实施再现(显像)处理。

[0060] 图3是表示由CCDRAW图像生成缩小图像的图像处理的概略步骤的图。下面，对由图1中的前处理部106及图像信号处理部109实施本图像处理的情况进行说明。

[0061] 如图3所示，将对作为单板式的原图像(1面)的CCDRAW图像301进行缩小调整大小的处理，作为RAW数据水平方向调整大小处理302和RAW数据垂直方向调整大小处理304这两个步骤的处理来进行。CCDRAW图像301通过水平方向调整大小处理302，成为水平方向被调整大小后的CCDRAW调整大小图像303，并通过垂直方向调整大小处理304进而成为垂直方向被调整大小后的CCDRAW调整大小图像305。

[0062] 在实施上述两个步骤的调整大小处理302、304时有两个方式。图4及图5分别表示其概要。

[0063] 在图4中，作为两个步骤的调整大小处理302、304的缓冲器，使用了帧存储器400。将水平方向调整大小处理302之后的CCDRAW调整大小图像303暂时全部写入到帧存储器
400中，当读出该CCDRAW调整大小图像303时，沿纵方向读出，进行垂直方向调整大小处理
304，得到最终的CCDRAW调整大小图像305。此时，垂直方向调整大小处理304是与水平方向调整大小处理302相同的处理。

[0064] 在图5中，作为两个步骤的调整大小处理302、304的缓冲器，使用了由多个行构成的行存储器500。一边实施水平方向调整大小处理302，一边将其输出写入到行存储器500中，同时从行存储器500中读出CCDRAW调整大小图像303中归纳的多个行量的CCDRAW调整大小数据，对多个行上的水平方向的同一位置的数据沿纵方向进行垂直方向调整大小处理304，得到最终的CCDRAW调整大小图像305。此时，垂直方向调整大小处理304与水平方向调整大小处理302成为不同的处理，根据是否以行单位利用多个行单位的动作输出的判定处理来进行输出。

[0065] 利用图6，对水平方向调整大小处理302的细节进行说明。水平方向调整大小处理302是一维的流水线处理，包括：通过行单位的滤波处理从CCDRAW图像601提取出亮度数据的载色除去滤波处理602；提取出载色数据的载色提取滤波处理606；对调制后的载色数据进行色反转解调，输出连续的色差数据的色差数据解调处理607；针对连续的色差数据进行噪声除去的中值(median)噪声除去处理608；对提取出的所述亮度数据和所述色差数据分别实施特性不同的滤波处理的亮度用带限滤波处理603及色差用带限滤波处理609；
对亮度数据和色差数据独立进行缩小调整大小的亮度信号水平方向缩小调整大小处理604及色差信号水平方向缩小调整大小处理610；将调整大小后的色差数据再转换成载色数据，进行增益电平调整的载色调制处理611；调整大小后的亮度数据的增益电平调整处理
605；和将调整大小后电平被调整了的亮度数据与调制后的载色数据重新合成，形成最终的多色排列数据的色排列再现处理612。

[0066] 说明利用在图6中表示了详细内容的水平方向调整大小处理功能，对拜尔排列的图像进行处理的情况。该处理步骤例如在对CCDRAW处理结果进行预览显示的情况、对缩小RAW图像进行摄影的情况、或对以比摄像元件104的像素数小的标准尺寸记录的动态图像进行摄影而使用。

[0067] 如图6所示，作为原图像的CCDRAW图像601是反映了拜尔排列的像素配置的镶嵌状图像，通常从摄像元件104以行单位被读出。该原图像的行单位的输入数据为R与G的信息按每个像素反复的RG行、和B与G的信息按每个像素反复的BG行这两种。这两种行数据经过将以2个像素周期变化的奈奎斯特频率附近的载色除去的载色除去滤波处理602，对于RG行而言，输出成为R与G的平均值的亮度数据{α(R+G)}，对于BG行而言，输出B与G的平均值的亮度数据{α(B+G)}。

[0068] 而且，所述两种行数据经过将以2个像素周期变化的奈奎斯特频率附近的载色提取出的载色提取滤波处理606，对于RG行而言，输出以奈奎斯特频率被调制后的R-G成分数据，对于BG行而言，输出以奈奎斯特频率被调制后的B-G成分数据。所述以奈奎斯特频率被调制后的R-G成分数据及B-G成分数据，通过按每1个像素使符号反转的色差数据解调处理607，作为连续的R-G数据、B-G数据被输出。通过对这些连续的R-G数据及B-G数据进一步实施中值噪声除去处理608，将摄像元件输出中含有的随机噪声成分除去。

[0069] 当针对提取出的所述两种亮度数据和色差数据分别实施同一比率的水平方向的缩小调整大小时，为了抑制缩小后的返回噪声，对亮度数据用及色差数据用分别实施特性不同的亮度用带限滤波处理603、和色差用带限滤波处理609。此时，作为色差用带限，在设想最终记录格式为JPEG或TIFF、MPEG的情况下，优选设定为亮度用带限的2分之1以下。被带限的亮度数据通过亮度信号水平方向缩小调整大小处理604，与缩小比率对应地进行线性插值间隔提取。另一方面，被带限的色差数据通过色差信号水平方向缩小调整大小处理610，与缩小比率对应地进行线性插值间隔提取。

[0070] 对于在水平方向被调整大小后的色差数据{β(R-G)、β(B-G)}，作为用于按照以2个像素周期变化的奈奎斯特频率进行调制的等效处理，实施按每1个像素使符号反转的载色调制处理611。结果，成为{β(R-G)、-β(R-G)}、{β(B-G)、-β(B-G)}。

[0071] 另一方面，被调整大小后的亮度数据在实施了增益电平调整处理605之后，通过与被调整大小后的载色数据的相加处理、即色排列再现处理612中的重新合成，作为R与G的信息按每个像素反复的被调整大小后的RG行、及B与G的信息按每个像素反复的被调整大小后的BG行输出。

[0072] 利用数学式表示RG行的重新合成。首先，若在亮度数据{α(R+G)}、载色数据{β(R-G)、-β(R-G)}中设α＝0.5、β＝0.5，则变为亮度数据{0.5(R+G)}、载色数据{0.5(R-G)、-0.5(R-G)}。若对每个像素加上亮度数据，则重复0.5{(R+G)+(R-G)}、0.5{(R+G)-(R-G)}、……。即，将RG行数据再生为R、G、R、G、……。

[0073] 在BG行中也同样，若在亮度数据{α(B+G)}、载色数据{β(B-G)、-β(B-G)}中设α＝0.5、β＝0.5，则变为亮度数据{0.5(B+G)}、载色数据{0.5(B-G)、-0.5(B-G)}。若对每个像素加上亮度数据，则重复0.5{(B+G)+(B-G)}、0.5{(B+G)-(B-G)}、……。即，将BG行数据再生为B、G、B、G、……。

[0074] 另外，虽然针对亮度数据和色差数据将系数设为α、β，在相加处理前进行增益调整，按照合成数据的增益与输入同等的方式进行了处理，但由于目的在于从亮度信号和色差信号这两种信号成分产生RGB独立的1个色成分，所以不是必须在运算前进行增益调整，也可以在成为RGB独立的色成分之后进行增益调整。

[0075] 而且，关于中值噪声除去处理608，虽然对连续的R-G数据和B-G数据进行了实施，但也可以对载色提取滤波处理606之前的每隔1个像素的同色像素实施。

[0076] 并且，在利用图6所示的水平方向调整大小处理功能实施放大处理的情况下，也成为处理的流程与上述同样的处理。其中，由于放大处理时输出数据数比输入数据数多，所以通过高速实施调整大小处理604、610的后段处理、或使连续的输入数据暂时停止，并且调整大小处理604、610的前段处理也同步停止，来实现放大处理。

[0077] 另外，说明了RGB拜尔排列中的水平方向调整大小处理功能，但在蜂窝排列中也能实施本发明。具体而言，当在蜂窝排列中提取了行单位的数据时，基于图2(a)的蜂窝排列，使得奇数行周期性重复R与B、偶数行成为连续的G信号。关于偶数行，不存在颜色的调制成分，但通过本发明的方法能够将G信号当作亮度数据来实施处理。而且，对于只有不存在调制成分的G信号的偶数行，通过载色调制处理611使输出的增益为0，基于色排列再现处理612中的重新合成，作为R与B的信息按每个像素重复的被调整大小后的RB行、和G的信息连续排列的被调整大小后的G行输出。

[0078] 图6所示的水平方向调整大小处理功能能够在实施图4中表示的两个步骤的调整大小处理302、304时使用。此时，垂直方向调整大小处理304成为与水平方向调整大小处理302相同的处理。

[0079] 接着，对如图5所示，使用由多个行构成的行存储器500来作为两个步骤的调整大小处理302、304的缓冲器时的细节进行说明。

[0080] 图7表示此时的行存储器的写入读出动作。图8表示图7的下一个定时下的该行存储器的写入读出动作。在图7及图8中，701是由8行构成的行存储器。702表示针对行存储器701的数据写入循环，作为对8行的写入控制，一边按每1行依次以环状巡回、一边不断写入。703表示针对行存储器701的数据读出循环，一边汇总选择8行中的7行存储器数据，一边与写入控制同样地按顺序以环状巡回并不断读出。

[0081] 在图7及图8的例子中，为了使所使用的行存储器701的容量为最小限度，使相对环状的巡回写入的、7行同时巡回读出的开头行的位置成为比写入行慢1行的位置。而且，通过划分写入行和读出行，还能够使写入与读出不同步地动作。

[0082] 这样，通过从图7及图8所示的行存储器701中汇总读出CCDRAW调整大小图像303中的汇集的多个行量的CCDRAW调整大小数据，能够对多个行上的水平方向的同一位置的数据704沿纵方向进行垂直方向调整大小处理304，来得到CCDRAW调整大小图像305。此时，垂直方向调整大小处理304成为与水平方向调整大小处理302不同的处理，根据是否基于下述判定处理进行输出，来变更与输入行数相对应的输出行数，实现垂直方向调整大小处理304，所述判定处理用于判定是否以行单位利用多个行单位的任意处理输出。

[0083] 图9表示了利用图7及图8的行存储器701时的图3中的垂直方向调整大小处理304的详细步骤。该垂直方向调整大小处理304将沿垂直方向实施的基本处理作为1行量的流水线处理来实施，相对于输入行数，根据是否作为有效行在后段使用的判断处理来控制输出行数。

[0084] 图9的垂直方向调整大小处理304也与图6的水平方向调整大小处理302同样，作为亮度信号处理和色差信号处理这2个系统处理而实施。其中，在图9中，作为输入数据，将相对于7行量的CCDRAW图像在垂直方向成为同一水平位置的7像素作为1个处理单位901，来实施处理。

[0085] 图9的垂直方向调整大小处理304包括：从所述7行量的CCDRAW图像提取出垂直方向的亮度数据的载色除去滤波处理902；提取出垂直方向的载色数据的载色提取滤波处理905；针对在垂直方向被调制后的载色数据进行色反转解调，输出在垂直方向连续的色差数据的色差数据解调处理906；针对在垂直方向连续的色差数据进行噪声除去的中值噪声除去处理907；对提取出的所述亮度数据和所述色差数据分别沿垂直方向实施特性不同的滤波处理的亮度用带限滤波处理903及色差用带限滤波处理908；对亮度数据和色差数据独立地进行缩小调整大小的亮度信号垂直方向缩小调整大小处理904及色差信号垂直方向缩小调整大小处理909；将调整大小后的色差数据再次转换成载色数据，进行增益电平调整的载色调制处理910；调整大小后的亮度数据的增益电平调整处理912；以及将调整大小后被调整电平的亮度数据和调制后的载色数据重新合成，生成最终的多色排列数据的色排列再现处理911。

[0086] 说明利用图9中表示了详细内容的垂直方向调整大小处理功能，对拜尔排列的图像进行缩小调整大小处理的情况。该处理步骤例如在进行CCDRAW处理结果的预览显示的情况、进行缩小RAW图像摄影的情况、或进行以比摄像元件104的像素数小的标准尺寸记录的动态图像摄影而使用。

[0087] 如图9的处理单位901所示，水平调整大小处理后的CCDRAW图像保持着反映了拜尔排列的像素配置的镶嵌状排列，如图7及图8所示，被以行单位巡回写入到行存储器701中，并将多个行汇总后巡回读出。在本说明中，利用由8行构成的行存储器701，将7行的输出汇总后输出。

[0088] 水平调整大小处理后的7行单位的输入数据、即图9的处理单位901，成为相对于行上的水平方向的同一位置的垂直方向关注数据，沿垂直方向按每个像素重复R与G的信息的RG行；和沿垂直方向按每个像素重复B与G的信息的BG行这两种。

[0089] 这两种垂直方向的行数据具有在垂直方向以2个像素周期变化的奈奎斯特频率附近的载色信息，通过除去所述载色的载色除去滤波处理902的Y1～Y5被实施处理，生成亮度数据。本实施方式中，在Y1～Y5的滤色器中分别利用3像素的数据，输出5种亮度数据。关于垂直方向的RG行，输出成为R与G的平均值的亮度数据，关于接下来的垂直方向的BG行，输出成为B与G的平均值的亮度数据。

[0090] 而且，所述两种垂直方向的行数据，通过对在垂直方向以2个像素周期变化的奈奎斯特频率附近的载色进行提取的载色提取滤波处理905的色差1～色差6被处理，关于RG行，输出被以奈奎斯特频率调制后的R-G成分数据，关于BG行，输出被以奈奎斯特频率调制后的B-G成分数据。

[0091] 在垂直方向被以奈奎斯特频率调制后的各6个R-G成分数据及B-G成分数据，通过在垂直方向按每1个像素进行符号反转的色差数据解调处理906，作为在垂直方向连续的R-G数据、B-G数据被输出。这里，为了使垂直方向的重心与亮度数据对齐，使行数与Y1～Y5相同，所以将2行的平均值输出作为C1～C5的输出。

[0092] 关于这些在垂直方向连续的5个R-G数据及B-G数据，通过进一步实施中值噪声除去处理907，来除去摄像元件输出中含有的随机噪声成分。

[0093] 在对沿垂直方向提取出的所述两种亮度数据和色差数据分别实施同一比率的垂直方向的缩小调整大小时，为了抑制缩小后的返回噪声，按亮度数据用及色差数据用分别实施特性不同的亮度用带限滤波处理903、和色差用带限滤波处理908。此时，作为色差用带限，设想最终记录格式为JPEG、TIFF或MPEG的情况，优选设定为亮度用带限的2分之1以下。在垂直方向被带限后的亮度数据，通过亮度信号垂直方向缩小调整大小处理904，按照缩小比率被进行CCDRAW调整大小图像303的7行输入在垂直方向的线性插值，以行单位并对应缩小比率被进行行间隔提取输出。另一方面，在垂直方向被带限的色差数据，通过色差信号垂直方向缩小调整大小处理909，按照缩小比率被进行CCDRAW调整大小图像303的7行输入在垂直方向的与亮度数据同样的线性插值，以行单位并对应缩小比率被进行行间隔提取输出。

[0094] 通过垂直方向的行间隔提取而被调整大小的色差数据，作为用于按照以垂直方向的2个像素周期变化的奈奎斯特频率进行调制的等效处理，实施按每一个行输出使符号反转的载色调制处理910。另一方面，通过垂直方向的行间隔提取而被调整大小的亮度数据，在实施了增益电平调整处理912之后，通过与基于垂直方向的行间隔提取而被调整大小的载色数据的相加处理、即色排列再现处理911中的重新合成，作为在垂直方向按每个像素重复R与G的信息的水平垂直都被调整大小的RG行、及在垂直方向按每个像素重复B与G的信息的水平垂直都被调整大小的BG行而输出。

[0095] 另外，关于中值噪声除去处理907，针对连续的R-G数据和B-G数据进行了实施，但也可以对载色提取滤波处理905之前的每隔1个像素的同色像素实施。

[0096] 而且，在本实施方式中说明了缩小调整大小，但在利用图9所示的垂直方向调整大小处理功能实施放大处理的情况下，处理的流程也成为与上述同样的处理。其中，由于放大处理时相对输入数据的行数而言输出数据的行数变多，所以通过高速实施调整大小处理904、909的后段处理、或使连续的输入数据暂时停止，并且调整大小处理904、909的前段处理也同步停止，来实现放大处理。

[0097] 将如以上所述那样得到的CCDRAW调整大小图像305输入到图1的图像信号处理部109，进行信号处理，转换成最终的图像、例如预览显示图像、或以比摄像元件104的像素数小的标准尺寸记录的动态图像摄影图像。

[0098] 接着，针对图6及图9中的带限滤波处理603、609；903、908的细节进行说明。如上所述，在考虑将CCDRAW图像301缩小调整大小，进行规定的处理时，重要的是按照缩小率来设计带限滤色器。该带限滤色器的频带特性在亮度数据的情况下，只要设为缩小率×fs(其中，fs为采样频率)即可，但对于色差数据，优选按照成为亮度数据的1/2的方式设为缩小率×fs/2。与之相反，如果划一地实施滤波处理，则对于原来采样频率高的亮度数据而言，在分辨感方面发生劣化，对于原来采样频率低的色差数据而言，在伪信号方面产生劣化。

[0099] 鉴于此，在本发明的实施方式中，成为对CCDRAW图像301实施针对亮度数据和色差数据分别独立设定的带限滤波处理603、609；903、908的构成，对于应该对各信号实施的带限滤色器的频带特性，将亮度数据设为缩小率×fs、将色差数据设为缩小率×fs/2，并且使该二维的特性与原来的亮度数据和色差数据的再现频带相似。

[0100] 图10表示拜尔排列中的各色的二维的再现频带。是在拜尔排列的情况下，将基于采样定理的各色的再现频带表示在空间频率坐标(没有标准化的绝对空间频率的坐标系)上的图。R、B信号的二维再现频带成为矩形，G信号的二维再现频带成为菱形。

[0101] 另外，由图10可知，拜尔排列中的R、B信号的再现频带、与G信号的再现频带成为相互旋转了45度的关系。大小的不同是因为G信号的采样点的多少不同。

[0102] 通过采用以上那样的带限滤波处理603、609；903、908，能够在不牺牲各色的采样频率的情况下，将图像再现后的伪色发生抑制为最小限度。

[0103] 图11(a)及图11(b)表示作为实际的拜尔排列的CCDRAW图像，对CZP(圆形波带片)图像沿水平方向实施了1/2的调整大小处理时的缩小RAW数据结果。图11(a)的处理图像是在将CCDRAW图像中被空间配置的拜尔排列的RGB数据色分离成R/G/B这3色之后，实施了缩小调整大小的结果。图11(b)的处理图像是本发明的对亮度数据和色差数据这2个系统实施了缩小调整大小处理的结果。

[0104] 通过图11(a)与图11(b)的比较可知，根据本发明的实施方式，可以从大尺寸的CCDRAW图像生成具有相同再现频带的特征的缩小RAW图像，能够防止最终图像中的伪色的发生，并且可保持亮度信号的最大分辨感。

[0105] 接着，对利用了本发明的CCDRAW图像的调整大小处理的图像的形变修正进行说明。

[0106] 图12(a)是表示通过广角镜头产生的桶型特性的CCDRAW图像的图。图12(b)是对该CCDRAW图像沿水平方向及垂直方向实施了行单位的调整大小处理的结果的图。

[0107] 当从具有桶型特性地被摄像的原图像的数字图像信号以行单位实施调整大小处理时，可以通过以行单位变更调整大小的比率，来修正形变。行单位的处理与上述实施方式同样，包括：从原图像基于行单位的滤波处理来提取亮度数据和载色数据的滤波处理步骤；对所述载色数据进行噪声除去的噪声除去步骤；将噪声除去后的载色数据转换成色差数据的色差数据解调步骤；对提取出的亮度数据和所述色差数据分别实施特性不同的带限滤波处理的带限滤波处理步骤；针对行单位的亮度数据和色差数据，根据行位置连续地变更调整大小比率，来进行调整大小的连续任意比率可变调整大小处理步骤；将调整大小后的行单位的色差数据再次转换成载色数据的载色调制步骤；和将调整大小后的行单位的亮度数据与调制后的载色数据重新合成，生成最终的多色排列数据的色排列再现处理步骤。

[0108] 在进行处理时，需要根据行位置连续变更调整大小比率，由于调整大小比率依赖于光学透镜101的特性，所以预先将光学透镜101的特性数据登记到图1的ROM115中等，对应于摄像元件104的像素数由CPU114对图3的RAW数据水平方向调整大小处理302及RAW数据垂直方向调整大小处理304设定修正数据，实施两个步骤的调整大小处理302、304。

[0109] 而且，作为由光学透镜101的特性引起的现象，有被称为倍率色像差的现象。当对CCDRAW图像实施调整大小处理时，在图像处理的针对按每一行提取出的色差数据对应于行位置连续变更调整大小比率，来进行调整大小的连续任意比率可变调整大小处理步骤中，能够将色差数据相对于亮度数据的任意比率设定为对与伴随色像差的亮度数据的偏差进行修正的值，并且通过按照调整大小后的行亮度数据与调整大小处理后尺寸不同的行色差数据的中心位置一致的方式，实施行数据的读出，来进行修正。

[0110] 另外，在将实施本发明的机构设为专用的图像处理装置时，作为其方式，可以安装到半导体集成电路的内部来实现。在安装到半导体集成电路的情况下，有代表性的3种安装方式和其复合方式。图13、图14及图15中表示了其概略图。

[0111] 图13中的131是以基于本发明的图像处理方法的体系结构(architecture)实现的数字电路、即安装了RAW调整大小处理部120的数字信号处理LSI，是在该数字信号处理LSI131的输入部安装了所述数字电路的半导体集成电路。

[0112] 图14中的141是以基于本发明的图像处理方法的体系结构实现的数字电路、即安装了RAW调整大小处理部120的MOS图像传感器，在以CMOS型为代表的摄像元件104中，作为实现高速读出的机构，有在该摄像元件104内安装了噪声处理部和A/D转换器，直接作为数字信号而输出的方式，是在内置A/D转换器的能够数字输出的该MOS图像传感器141的输出部安装了所述数字电路的半导体集成电路。

[0113] 图15中的151是以基于本发明的图像处理方法的体系结构实现的数字电路、即安装了RAW调整大小处理部120的模拟前端LSI，是在内置有A/D转换器并能够数字输出的该模拟前端LSI151的输出部安装了所述数字电路的半导体集成电路。

[0114] 而且，实现本发明的机构不限于专用的图像处理装置(图像再生装置或图像加工装置、半导体集成电路)，也可以是个人电脑。并且，图像处理并不限于其处理的一部分或全部由硬件(信号处理电路)实现，也可以通过软件实现。

[0115] 另外，本发明的图像处理程序可以构成为单独的应用程序软件，也可以作为图像加工软件、文件管理用软件等应用程序的一部分而组入。此外，本发明的图像处理程序不限定于在个人电脑等计算机系统中应用的情况，也可以作为组装在数码相机、移动电话机等信息设备的中央处理装置(CPU)的动作程序来应用。

[0116] (产业上的可利用性)

[0117] 如以上说明那样，本发明涉及的摄像装置、图像处理方法、图像处理程序及半导体集成电路由于在对原图像调整大小时，能够在降低伪亮度信号、伪色的同时保持分辨感，所以尤其作为从单板彩色摄像元件得到的原图像的缩小处理、放大处理、或是用于形变修正的图像数据尺寸转换处理装置、电子静态图片相机、图像数据尺寸转换处理程序、半导体集成电路等是有用的。