成像装置和成像方法

摘要

一种照相机1具有CCD16，其中，离散地放置相位差像素G*、R*,和B*。照相机1在视差优先开放光阑控制下使一对视点图像成像，并且从一对视点图像获取视差信息。然后照相机1基于视差信息来确定要执行模糊处理的2D图像的一部分，并且对该部分执行模糊处理。由此，光瞳分割型成像装置通过将模糊施加到对应于指示例如被摄体的距离和视差量大小等信息的视差信息的适当位置，可同时获得平面图像和视差图像。

权利要求

1.一种成像装置，包括：

成像单元，具有第一像素和第二像素，所述第一像素被配置成通过使用光电转换元件组来光电转换利用拍摄镜头所成像的被摄体图像并且输出第一图像信号，所述第二像素被配置成在所述第一像素之间离散地放置以通过使用所述光电转换元件组来光电转换来自通过分割所述拍摄镜头的光瞳区域而形成的分割光瞳区域的多个被摄体图像中的各个并且输出具有相位差的第二图像信号；

成像控制单元，被配置成控制所述成像单元以便使所述第一图像信号和第二图像信号同时成像；

视差信息计算单元，被配置成基于从所述成像单元输出的所述第二图像信号来计算视差信息；

平面图像生成单元，被配置成基于从所述成像部输出的所述第一图像信号来生成平面图像；以及模糊处理单元，被配置成基于由所述视差信息计算单元所计算的所述视差信息来确定将要经受模糊处理的所述平面图像中的目标像素，并且对所述平面图像中所确定的目标像素执行模糊处理。

2.根据权利要求1所述的成像装置，还包括

记录单元，被配置成彼此相关联地记录所述第一图像信号和所述视差信息，其中，所述模糊处理单元基于由所述记录单元与所述第一图像信号相关联地记录的所述视差信息来确定将经受模糊处理的所述平面图像中的目标像素，并且对所述平面图像中所确定的目标像素执行模糊处理。

3.根据权利要求1所述的成像装置，其中，

所述视差信息包括视差图，所述视差图指示在所述成对的第一图像信号和第二图像信号中对应点之间的视差量；以及所述模糊处理单元确定构成对应点的像素为将经受所述模糊处理的目标像素，在所述对应点之间的视差量等于或大于指定值，并且对所述目标像素执行所述模糊处理。

4.一种成像装置，包括：

成像单元，具有第一像素和第二像素，所述第一像素被配置成通过使用光电转换元件组来光电转换利用拍摄镜头所成像的被摄体图像并且输出第一图像信号，所述第二像素被配置成在所述第一像素之间离散地放置，以通过使用所述光电转换元件组来光电转换来自通过分割所述拍摄镜头的光瞳区域而形成的、分割光瞳区域的多个被摄体图像中的各个，并且输出具有相位差的第二图像信号；

成像控制单元，被配置成控制所述成像单元以便使所述第一图像信号和第二图像信号同时成像；

视差信息计算单元，被配置成基于从所述成像单元输出的所述第二图像信号来计算视差信息；

平面图像生成单元，被配置成基于从所述成像部输出的所述第一图像信号来生成平面图像；

轮廓信息提取单元，被配置成至少从所述第一图像信号提取轮廓信息；以及模糊处理单元，被配置成基于由所述轮廓信息提取单元所提取的轮廓信息来确定将经受模糊处理的所述目标像素，并且对所确定的目标像素执行模糊处理。

5.根据权利要求1所述的成像装置，其中，

所述视差信息包括各个像素的距离信息，以及

所述模糊处理单元确定其距离信息大于第一指定距离的远景像素和/或其距离信息小于第二指定距离的近景像素为将经受模糊处理的所述平面图像的目标像素，并且对所述目标像素执行模糊处理。

6.一种成像装置，包括：

成像单元，具有第一像素和第二像素，所述第一像素被配置成通过使用光电转换元件组来光电转换利用拍摄镜头所成像的被摄体图像并且输出第一图像信号，所述第二像素被配置成在所述第一像素之间离散地放置，以通过使用所述光电转换元件组来光电转换来自通过分割所述拍摄镜头的光瞳区域而形成的、分割光瞳区域的多个被摄体图像中的各个，并且输出具有相位差的第二图像信号；

成像控制单元，被配置成控制所述成像单元以便使所述第一图像信号和第二图像信号同时成像；

视差信息计算单元，被配置成基于从所述成像单元输出的所述第二图像信号来计算视差信息；

平面图像生成单元，被配置成基于从所述成像部输出的所述第一图像信号来生成平面图像；以及模糊处理单元，被配置成确定构成由使用者操作指定的区域的像素为将经受所述模糊处理的所述平面图像的目标像素并且对所述目标像素执行模糊处理。

7.根据权利要求1所述的成像装置，其中，

所述视差信息包括视差图，所述视差图指示在所述成对的第一图像信号和第二图像信号中对应点之间的视差量；以及所述模糊处理单元以对应于所述对应点之间的视差量的程度对构成各个对应点的像素执行模糊处理。

8.根据权利要求1所述的成像装置，其中，

所述模糊处理单元以由使用者操作所指定的程度对所述目标像素执行所述模糊处理。

9.根据权利要求1所述的成像装置，其中，

所述第二像素以指定间隔放置于对应于指定布置的一个或多个滤色器的像素组中。

10.根据权利要求9所述的成像装置，其中，

所述第二像素以指定间隔放置于对应于根据拜耳阵列布置的绿色、红色或蓝色滤色器的像素组中。

11.根据权利要求1所述的成像装置，还包括：

光阑单元，其能调整在所述成像单元的光电转换元件组上形成图像的光通量的量；以及光阑控制单元，被配置成控制所述光阑单元的打开量使得能获取从所述成像单元输出的所述第二图像信号的相位差。

12.一种由包括成像单元的成像装置执行的成像方法，所述成像装置具有第一像素和第二像素，所述第一像素被配置成通过使用光电转换元件组来光电转换利用拍摄镜头所成像的被摄体图像并且输出第一图像信号，所述第二像素被配置成在所述第一像素之间离散地放置以通过使用所述光电转换元件组来光电转换来自通过分割所述拍摄镜头的光瞳区域而形成的分割光瞳区域的多个被摄体图像中的各个并且输出具有相位差的第二图像信号，所述成像方法包括：控制所述成像单元以便使所述第一图像信号和所述第二图像信号同时成像的步骤；

基于从所述成像单元输出的所述第二图像信号来计算视差信息的步骤；

基于从所述成像单元输出的所述第一图像信号生成平面图像的步骤；以及基于所计算的视差信息来确定将要经受模糊处理的所述平面图像中的目标像素并且对所述平面图像中所确定的目标像素执行模糊处理的步骤。

说明书

成像装置和成像方法

技术领域

[0001] 本发明涉及一种成像装置和用于在图像传感器上形成被摄体图像的成像方法，被摄体图像分别在两个或更多方向上通过拍摄镜头的不同区域以获取不同视点图像。本发明更特定而言涉及使具有视差的立体图像和平面图像同时成像的成像装置和成像方法。

背景技术

[0002] 常规地，存在被配置成在图像传感器上形成被摄体图像的立体成像装置，被摄体图像分别在两个方向上通过拍摄镜头的不同区域，以获取不同的视点图像。

[0003] 图10所示的光学系统被配置成使得反射镜4将通过主透镜1和中继透镜2的不同水平区域的被摄体图像光瞳分割并且通过图像形成镜头5和6在图像传感器7和8上形成各个被摄体图像。

[0004] 图11（A）至图11（C）部分为示出在前焦点、合焦（最佳焦点）和后焦点状态的情况下形成于图像传感器上的图像分离状态的视图。应当指出的是在图11中，省略了图10所示的反射镜4以便根据焦点状态来比较图像分离的差异。

[0005] 在光瞳分割后的图像之中，如图11（B）部分所示，在图像传感器上的相同位置形成合焦图像（对准），而如图11（A）和11（C）部分所示，前焦点和后焦点图像形成于图像传感器上的不同位置（分离）。

[0006] 因此，通过图像传感器7和8获取在水平方向上被光瞳分割的被摄体图像，变得能根据被摄体距离获取具有不同视点的左视点图像和右视点图像（3D图像）。

[0007] 根据专利文献1，电子照相机具有成像单元、光量分布检测单元、图像偏移量检测单元和图像处理单元。成像单元被配置成将通过拍摄光学系统得到的被摄体图像光电转换以生成拍摄图像数据。光量分布检测单元检测来自被摄体并且通过不同的光学路径的光通量的各个光量分布。图像偏移量检测单元基于光量分布来检测在拍摄屏幕内的多个点的图像偏移量。图像处理单元被配置成基于在多个点的图像偏移量在水平方向上改变拍摄图像数据中被摄体的位置关系，以生成体视图像数据。图像处理单元也被配置成基于自输入单元的输入在水平方向上改变体视图像数据中被摄体的位置关系以校正体视图像数据。由于能校正体视图像数据，变得能获取自然体视图像，这向使用者造成更少的不适感。

[0008] 专利文献2公开了一种生成多视点图像的方法，包括：使用立体图像之一作为参考，在利用在左侧和右侧的两个照相机拍摄的左眼立体图像和右眼立体图像之间执行图案匹配；指定各个像素的匹配的图像；通过在左右像素中每一个的匹配的图像之间内插像素间距离来计算中间位置图像；以及，通过在左右像素中每一个的匹配的图像之间外插像素间距离来计算右外图像和左外图像。

[0009] 在专利文献3中，立体匹配处理单元9（对象检测机构）在各由图像处理单元处理并且存储于存储部中的两个图像数据A和B中，在由前述空间设置单元设置的搜索空间中，检测彼此对应的一个或多个对应点（对象）。距离计算单元（位置计算机构）计算由上述立体匹配处理单元所检测的对应点的三维坐标值（位置信息）。在拍摄单元中的拍摄镜头的配置不同。拍摄镜头包括变焦镜头和驱动变焦镜头的未图示的变焦镜头驱动单元（驱动器件），同时拍摄镜头包括定焦镜头，定焦镜头具有等于拍摄镜头的变焦镜头的广角端的视角。这种配置用于实现成本降低。

[0010] 专利文献4至6为使用单个光学系统的三维图像生成技术的示例。例如，专利文献4公开了一种固态图像传感器，固态图像传感器被配置成包括在相同图像表面上排列的大量像素并且将光电转换形成于成像表面上的被摄体图像以便生成图像信号。在固态图像传感器中，大量像素被分成两组，并且使各个组中的像素具有不同的光入射角。

[0011] 专利文献7至11公开了用于在不同的视点图像之间搜索对应点的方法的示例，一种通过立体匹配来获取深度信息的技术，和涉及使用二维图像和距离信息（深度信息）的三维图像生成技术。

[0012] 在专利文献12中，仅对主被摄体进行对焦并且意图对除了主被摄体之外的部分散焦。因此，通过连续地拍摄图像同时离散地移动焦点位置预定移动量得到多个图像，并且因此，合成所得到的图像从而得到模糊-强调的图像。

[0013] 在专利文献13中，将待拍摄的图像分成多个区域，该多个区域为主被摄体的前景和背景，且被利用从对应于所述区域的距离的焦点位置偏移的焦点位置来成像。从为各个区域成像的图像独立地提取各个区域的图像，并且合成这些图像以形成一个图像。这使得能容易地以所希望的模糊量来拍摄图像。

[0014] 专利文献14示出了用于生成视差图的方法的一个示例。

[0015] 在专利文献15中，在视差值分布图像中的视差值被线性或非线性地转换以用于视差值调整，使得视差值配置改变为多视点立体图像的深度值配置，其适于同时满足立体图像设计的两个条件，即，“采取有效地使用最大突出量和最大下陷量同时限制这些量在某个最大视差范围内的视点”和“在图像中在主被摄体位置处使视差尽可能趋于零”并且有效地使用最大视差值范围。通过使用修改的视差值分布图像和视点位置，即，通过使用输入的左右立体图像对中各个图像与对应于视点位置的这些图像之间的视差的比率r，生成各个观察位置的虚拟视点图像，由此生成全部像素有效的新视点图像。该处理被重复视点数量的次数，作为多视点图像序列。由多视点图像序列合成三维条图像。在此情况下，合成三维图像使得根据图像的视点放置，将多视点图像序列中的各个图像中相同坐标处的像素布置为相邻像素。在合成处理中，在垂直方向将每个视点的图像逐线切成条，并且以视点位置的相反次序对条进行视点数的组合。此处，以视点位置布置的相反次序来合成图像，因为当通过柱状透镜栅（lenticular）板观察图像时，在一个柱状透镜栅间距中相反地观察左右图像。如果柱状透镜栅板与通过这种处理印刷的图像重叠，能观察到成功的立体图像。

[0016] 根据专利文献16的3D图像输出设备根据3D显示器的屏幕大小或观察距离来选择视差调整参数，通过使用选定的转换表来转换各个特征点的视差量，生成对应于所转换成的视差量的视差图像，并且向显示装置输出包括生成的视差图像的多个视差图像。由设置于3D显示器上或者与3D显示器相邻的距离测量机构来自动地获取观察距离或者手动输入观察距离。3D图像输出设备向具有各种屏幕大小的立体显示装置、生成立体显示印刷品的打印机等输出视差图像。

[0017] {引用列表}

[0018] {专利文献}

[0019] {专利文献1}日本专利申请特开No.2007-104248

[0020] {专利文献2}日本专利申请特开No.2009-124308

[0021] {专利文献3}日本专利申请特开No.2008-92007，段落0047至0048和0071[0022] {专利文献4}日本专利申请特开No.2003-7994

[0023] {专利文献5}日本专利申请特开No.2001-12916

[0024] {专利文献6}日本专利申请特开No.2001-016611

[0025] {专利文献7}日本专利申请特开No.08-331607

[0026] {专利文献8}日本专利申请特开No.2008-141666

[0027] {专利文献9}日本专利申请特开No.2009-14445

[0028] {专利文献10}日本专利申请特开No.2008-116309

[0029] {专利文献11}日本专利申请特开No.2000-102040

[0030] {专利文献12}日本专利申请特开No.2008-271241

[0031] {专利文献13}日本专利申请特开No.2003-209727

[0032] {专利文献14}日本专利申请特开No.2010-226500

[0033] {专利文献15}日本专利申请特开No.2003-209858

[0034] {专利文献16}日本专利申请特开No.2010-206774

发明内容

[0035] {技术问题}

[0036] 如专利文献4至6中，在被配置成通过选择性地获取通过图像形成机构中不同光瞳位置的图像信息来使视差图像成像，生成立体图像的光瞳分割型立体成像装置中，视差在合焦位置变为0，而在离焦位置，生成对应于模糊（散焦量）的视差。

[0037] 因此，为了在立体成像装置中得到无模糊的平面图像，需要利用变窄的光阑孔径和较深的焦深来拍摄图像。但是，如果利用变窄的光阑孔径来执行拍摄，不能相对于主被摄体使前景和背景模糊。在光瞳分割型立体成像装置中，由于利用变窄的光阑孔径来执行拍摄以便得到清楚的平面图像，限制了创造性图像形成。

[0038] 本发明提供一种光瞳分割型立体成像装置，其能同时获取平面图像和立体图像，其中所希望的部分，例如前景和背景，相对于主被摄体模糊，并且本发明提供一种在光瞳分割型立体成像装置中使平面图像和立体图像同时成像的方法。

[0039] {问题的解决方案}

[0040] 本发明的第一方面提供一种成像装置，包括：成像单元，具有第一像素和第二像素，第一像素被配置成通过使用光电转换元件组来光电转换利用拍摄镜头所成像的被摄体图像并且输出第一图像信号，第二像素被配置成在第一像素之间离散地放置以通过使用光电转换元件组来光电转换来自通过分割拍摄镜头的光瞳区域形成的分割光瞳区域的多个被摄体图像中的各个并且输出具有相位差的第二图像信号；成像控制单元，被配置成控制成像单元以便使第一图像信号和第二图像信号同时成像；视差信息计算单元，被配置成基于从成像单元输出的第二图像信号来计算视差信息；平面图像生成单元，被配置成基于从成像部输出的第一图像信号来生成平面信号；以及，模糊处理单元，被配置成基于由视差信息计算单元所计算的视差信息来确定经受模糊处理的平面图像中的目标像素，并且对平面图像中确定的目标像素执行模糊处理。

[0041] 本发明的第二方面提供一种成像装置，还包括：记录单元，被配置成彼此相关联地记录第一图像信号与视差信息，其中，模糊处理单元基于由记录单元与第一图像信号相关联地记录的视差信息来确定将经受模糊处理的平面图像中的目标像素，并且对平面图像中确定的目标像素执行模糊处理。

[0042] 本发明的第三方面提供一种成像装置，其中视差信息包括视差图，视差图指示在一对视点图像中对应点之间的视差量；以及模糊处理单元确定构成对应点的像素为将经受模糊处理的目标像素，在对应点之间的视差量等于或大于指定值，并且对目标像素执行模糊处理。

[0043] 本发明的第四方面提供一种成像装置，还包括：轮廓信息提取单元，被配置成至少从第一图像信号提取轮廓信息，其中，模糊处理单元基于由轮廓信息提取单元所提取的轮廓信息来确定将经受模糊处理的目标像素，并且对确定的目标像素执行模糊处理。

[0044] 本发明的第五方面提供一种成像装置，其中视差信息包括各个像素的距离信息，以及模糊处理单元确定距离信息大于第一指定距离的远景像素和/或距离信息小于第二指定距离的近景像素为将经受模糊处理的平面图像的目标像素，并且对目标像素执行模糊处理。

[0045] 本发明的第六方面提供一种成像装置，其中模糊处理单元确定构成由使用者操作指定的区域的像素为将经受模糊处理的平面图像的目标像素并且对目标像素执行模糊处理。

[0046] 本发明的第七方面提供一种成像装置，其中视差信息包括视差图，视差图指示在成对的视点图像中对应点之间的视差量；并且模糊处理单元以对应于对应点之间的视差量的程度对构成各个对应点的像素执行模糊处理。

[0047] 本发明的第八方面提供一种成像装置，其中模糊处理单元以使用者操作所指定的程度对目标像素执行模糊处理。

[0048] 本发明的第九方面提供一种成像装置，其中相位差像素以指定间隔放置于对应于指定布置的一个或多个滤色器的像素组中。

[0049] 本发明的第十方面提供一种成像装置，其中相位差像素以指定间隔放置于对应于根据拜耳阵列布置的绿色、红色或蓝色滤色器的像素组中。

[0050] 本发明的第十一方面提供一种成像装置，还包括：光阑单元，其能调整在成像单元的光电转换单元组上形成图像的光通量的量；以及光阑控制单元，被配置成控制光阑单元的打开量使得能获取从成像单元输出的第二图像信号的相位差。

[0051] 本发明的第十二方面提供由成像装置执行的成像方法，成像装置包括成像单元，成像单元具有第一像素和第二像素，第一像素被配置成通过使用光电转换元件组来光电转换利用拍摄镜头所成像的被摄体图像并且输出第一图像信号，第二像素被配置成在第一像素之间离散地放置以通过使用光电转换元件组来光电转换来自通过分割拍摄镜头的光瞳区域形成的分割光瞳区域的多个被摄体图像中的各个并且输出具有相位差的第二图像信号，该成像方法包括：控制成像单元以便使第一图像信号和第二图像信号同时成像的步骤；基于从图像单元输出的第二图像信号来计算视差信息的步骤；基于从成像单元输出的第一图像信号生成平面图像的步骤；以及基于所计算的视差信息来确定将经受模糊处理的平面图像中的目标像素并且对平面图像中确定的目标像素执行模糊处理的步骤。

[0052] {发明的有益效果}

[0053] 根据本发明，在同时输出的第一图像信号和第二图像信号中，从第一图像信号生成平面图像，同时基于第二图像信号计算视差信息。然后，基于所计算的视差信息，确定将要经受模糊处理的平面图像中的目标像素，并且对平面图像中确定的目标像素执行模糊处理。因此，在光瞳分割型成像装置中，能将模糊施加于对应于指示例如被摄体的距离和视差量大小等信息的视差信息的适当位置。此外，能通过一次拍摄同时得到具有视差的立体图像和平面图像。

附图说明

[0054] 图1为根据第一实施例的照相机的框图。

[0055] 图2为示出根据第一实施例用于获取光瞳分割视差图像的CCD图像传感器的配置示例的视图。

[0056] 图3为示出第一像素和第二像素中的一个像素的视图。

[0057] 图4为示出图3的主要部分的扩大图。

[0058] 图5为2D/3D同时成像处理的流程图。

[0059] 图6为示出根据第二实施例用于获取光瞳分割视差图像的CCD图像传感器(G*像素)的配置示例的视图。

[0060] 图7为示出根据第二实施例用于获取光瞳分割视差图像的CCD图像传感器(R*,G*和B*像素)的配置示例的视图。

[0061] 图8为示出根据第二实施例用于获取光瞳分割视差图像的CCD图像传感器(垂直/水平四间距R*,G*和B*像素)的配置示例的视图。

[0062] 图9为示出根据第三实施例用于获取光瞳分割视差图像的CCD图像传感器(微透镜)的配置示例的视图。

[0063] 图10为示出常规单眼立体成像装置的一个示例的视图。

[0064] 图11为示出形成于图像传感器上的图像的分离状态的视图。具体实施例

[0065] <第一实施例>

[0066] 图1为示出根据第一实施例用于实施照相机1的模式的框图。

[0067] 照相机1被配置成在存储卡54上记录成像的图像，并且整个装置的操作总体上受到中央处理单元（CPU）40控制。

[0068] 照相机1包括操作单元38，例如快门按钮、模式转盘、再现按钮、MENU(菜单)/OK键、十字键和BACK（后退）键。将来自操作单元38的信号输入到CPU40内，并且CPU40基于输入的信号来控制照相机1的各个电路。例如，操作单元38执行诸如下列的控制：镜头驱动控制、光阑驱动控制、拍摄操作控制、图像处理控制、图像数据记录/再现控制和用于立体显示的LCD监视器（LCD）30的显示控制。

[0069] ROM10储存由CPU40执行的程序和执行控制所需的各种数据、CCD16的像素缺陷信息、与照相机操作有关的各种常数/信息等。

[0070] 由二级冲程型开关制成快门按钮，其为被配置成输入拍摄开始指令的手动操作按钮，二级冲程型开关具有在半按时接通的S1开关和在全按时接通的S2开关。模式转盘为选择机构，其选择下列模式中的任一模式：用于拍摄静态图像的自动拍摄模式，手动拍摄模式，例如人、风景和夜景等场景位置，以及拍摄动态图像的动态图像模式。

[0071] 再现按钮为用于切换到再现模式的按钮，在再现模式，在LCD30上以静态模式或动态模式显示所拍摄/记录的立体图像（3D图像）和平面图像（2D图像）。MENU（菜单）/OK键为操作键，其被配置成用作指示将在LCD30的屏幕上显示的菜单的菜单按钮以及用作指示选择内容的确认和执行的OK按钮等。十字键为输入上下左右方向的四个方向指令的操作单元并且充当用于从菜单屏幕选择项目或者指示来自各个菜单的各个设置项目的选择的按钮（光标移动控制机构）。十字键的上/下键在拍摄时充当调焦开关或者在再现模式时充当再现调焦距开关，而左/右键在再现模式时充当逐帧重放（向前/向后重放）按钮。BACK（后退）键用于删除所希望的目标例如选择项目，以取消指令内容，撤销先前操作等。

[0072] 在拍摄模式，表示被摄体的图像光在固态图像传感器（在下文中被称作“CCD”，但“CMOS”也是适用的）16的光接收表面上形成图像，固态图像传感器16为能够通过成像镜头12和光阑14获取光瞳分割视差图像的相位差图像传感器。成像镜头12由受CPU40控制的镜头驱动单元36驱动并且经受聚焦控制、调焦（焦距）控制等。例如，光阑16由五个光圈片制成并且由受CPU40控制的光阑驱动单元34驱动，使得在以AV为单位的F2.8至F11的光阑值（F值）范围内以五级执行光阑控制。

[0073] CPU40经由光阑驱动单元34控制光阑14，同时执行诸如下列的控制：例如对读取CCD16中的电荷储存时间（快门速度）和经由CCD控制单元32从CCD16读取图像信号的控制。

[0074]

[0075] 图2为示出CCD16的配置示例的视图。

[0076] 如图2（A）部所示，CCD16具有包括奇数线A1，A2……的线A的像素和包括偶数线B1，B2……的线B的像素，各排列成矩阵形式。可独立地读出各由这两线A和B的像素光电转换的用于两个表面的图像信号。对应于各个像素组的多个光接收元件形成用于获取有效成像信号的有效像素区和用于获取黑电平基准信号的光学黑区（在下文中，被称作“OB区”）。OB区实际上被形成为包围有效像素区的周围。

[0077] 如图2的（B）部所示，CCD16的奇数线A包括在具有R（红）、G（绿）和B（蓝）滤色器的像素中以交替方式设置的具有GRGR……像素布置的线和具有BGBG……像素布置的线。作为全体奇数线A的滤色器的颜色布置为所谓的拜耳阵列，其中“G”和“B”在一个方向上重复，并且“G”和“R”在与这个方向正交的方向上重复。

[0078] 具有GRGR……像素布置的线包括每四个像素设置的相位差像素G*和R*。例如，具有G1R1G1R1……的像素布置的线包括相位差像素G1*和R1*。

[0079] 具有BGBG……的像素布置的线包括每四个像素设置的相位差像素B*。例如，具有B2G2B2G2……像素布置的线包括相位差像素B2*。

[0080] 相位差像素G*、R*和B*中每一个上形成有像素屏蔽部，并且在利用横向放置的照相机1成像的情况下，由屏蔽构件来遮蔽像素的光电二极管PD的光接收表面的右半部。

[0081] 如在图2的（C）部所示，在CCD16的偶数线B中的像素包括以如奇数线A中的交替方式设置的具有GRGR……的像素布置的线和具有BGBG……像素布置的线，但这些偶数线的像素被定位成以半间距朝向线方向的右侧从奇数线A的像素偏移。作为全体偶数线B的滤色器的颜色布置为所谓的拜耳阵列。由于通过将两个拜耳阵列组合为整体而形成CCD16的滤色器的布置，这种布置也被称作双拜耳阵列。

[0082] 具有GRGR……像素布置的线包括每四个像素设置的相位差像素G*和R*。例如，具有G1R1G1R1……像素布置的线包括相位差像素G1*和R1*。

[0083] 具有BGBG……像素布置的线包括每四个像素设置的相位差像素B*。例如，具有B2G2B2G2……像素布置的线包括相位差像素B2*。

[0084] 相位差像素G*、R*和B*中的每一个上形成有像素屏蔽部，并且在利用横向放置的照相机1成像的情况下，由屏蔽构件遮蔽像素的光电二极管PD的光接收表面的左半部。

[0085] 如果在CCD16上形成被摄体图像的成像镜头12合焦，来自奇数线A中的相位差像素G*、R*和B*的图像信号与来自偶数线B中的相位差像素G*、R*和B*的图像信号匹配。如果合焦点在CCD16的光接收表面的前侧或后侧上，在这些图像信号之间生成相位差。图像形成点在前侧上的情况的相位差方向与图像形成点在后侧上的情况的方向相反。

[0086] 图3为示出图2（A）部中的CCD16的成像镜头12、光阑14和相位差像素的视图。图4为示出图3的主要部分的扩大图。

[0087] 如图4（A）部所示，经过出射光瞳的光通量通过微透镜L进入一般CCD像素（光电二极管PD）而不受限制。

[0088] 相反，如图4（B）部所示，屏蔽构件16A形成于CCD16的相位差像素上。在利用横向放置的照相机1成像的情况下，由屏蔽构件16A遮蔽相位差像素（光电二极管PD）的光接收表面的右半部或左半部。另一方面，在利用纵向放置的照相机1成像的情况下，由屏蔽构件16A遮蔽相位差像素（光带二极管PD）的光接收表面的上半部或下半部。屏蔽构件16A的开口16B设置在从微透镜L的光轴1c以指定量Δ向右、向左、向上或向下（例如，从图4（B）部中的光轴线向左）偏离的位置。光通量经过开口16B并且到达光电二极管PD的光接收表面。即，屏蔽构件16A充当光瞳分割构件。

[0089] 应当指出的是在奇数线中的相位差像素和偶数线中的相位差像素在光通量受到屏蔽构件16A限制的区域（右半部/左半部区域，或上半部/下半部区域）上不同。例如，如果在偶数线的相位差像素中限制光通量的左半部并且在奇数线的相位差像素中限制光通量的右半部，从偶数线得到右视点图像并从奇数线得到左视点图像。或者，如果在偶数线的相位差像素中限制光通量的上半部并且在奇数线的相位差像素中限制光通量的下半部，从偶数线得到下视点图像并且从奇数线得到上视点图像。

[0090] 因此，如图11所示，根据后焦点、合焦和前焦点状态，第一像素（左视点像素）和第二像素（右视点像素）的输出在相位上不对准或对准。由于在奇数线与偶数线的输出信号之间的相位差对应于成像镜头12的散焦量，变得能通过检测相位差执行成像镜头12的AF控制（相位差AF）。

[0091] 再次参考图1，基于由CCD控制单元32所加的读出信号来将CCD16中储存的信号电荷读出为对应于信号电荷的电压信号。从CCD16读出的电压信号施加到模拟信号处理单元18，其中用于各个像素的R、G和B信号被取样保持和放大，之后施加到A/D转换器20。A/D转换器20转换R、G和B信号（其被顺序输入）为数字R、G和B信号并且将它们输出到图像输入控制器22。

[0092] 数字信号处理单元24对经由图像输入控制器22输入的数字图像信号执行指定信号处理，例如增益控制处理，包括偏移处理、白平衡校正和感光度校正，伽马校正处理，和YC处理。

[0093] 此处，如图2（B）和2（C）部所示，从CCD16的奇数线中的相位差像素读出的图像数据被处理为左视点图像数据，而从偶数线中的相位差像素读出的图像数据处理为右视点图像数据。

[0094] 在数字信号处理单元24中处理的左视点图像数据和右视点图像数据（3D图像数据）被输入到VRAM50内。VRAM50包括储存各表示一帧的3D图像的3D图像数据的区域A和区域B。在VRAM50中，表示一帧的3D图像的3D图像数据交替地重写到区域A和区域B上。从VRAM50的区域A和区域B之一读出写入的3D图像数据，这个区域并非当前重写3D图像数据的区域。从VRAM50读出的3D图像数据在视频编码器28中进行编码并且输出到设置于照相机的后表面上用于立体显示的LCD监视器（LCD）30。由此，3D被摄体图像显示于LCD30的显示屏上。

[0095] LCD30为立体显示机构，其能以视差屏障将立体图像（左视点图像和右视点图像）显示为各具有指定指向性的指向性图像。但是LCD30的立体显示系统并不限于此，其可使用柱状栅透镜并且可涉及佩戴专用眼镜，例如偏光眼镜和液晶快门眼镜，以能允许观察者以个别方式观看左视点图像和右视点图像。

[0096] 在第一级按压（半按）操作单元38的快门按钮时，CPU40开始AF操作和AE操作，并且执行控制使得在成像镜头12中的聚焦镜头经由镜头驱动单元36到达合焦位置。当半按快门按钮时从A/D转换器20输出的图像数据被捕获于AE检测单元44内。

[0097] AE检测单元44对整个屏幕的G信号进行积分，或者求加权的G信号的积分，加权的G信号在屏幕的中部与外围部之间不同地加权，并且向CPU40输出所得到的积分值。CPU40从AE检测单元44输入的积分值计算被摄体的亮度（拍摄Ev），根据指定的程序图基于拍摄Ev确定光阑44的光阑值和CCD16的电子快门（快门速度）以便能得到正确曝光，并且基于确定的光阑值经由光阑驱动单元34控制光阑14（平面图像的光阑控制），同时经由CCD控制单元32基于确定的快门速度来控制在CCD16中的电荷储存时间。应当注意，可基于外部光度传感器来计算被摄体的亮度。

[0098] 指定的程序图示出了对应于被摄体的亮度（拍摄EV）的、由光阑14的光阑值与CCD16的快门速度的组合或者这些参数与拍摄感光度（ISO感光度）的组合所设计的拍摄（曝光）条件。

[0099] 应当指出的是如果使F值更大，视差变得更小，而如果F值固定为更小值，视差变得更大。响应于由使用者经由操作单元38指示的视差，可改变F值和程序图。如果F值固定为较大常数值，变得能在整个图像合焦的状态下拍摄图像。在本实施例中，由于在得到一对具有视差的图像的同时得到平面图像，F值固定为常数小值（视差优先的程序图）。

[0100] 视差优先的程序图使用固定为小常数值的F值。通过在根据程序图确定的拍摄条件下进行拍摄，变得能拍摄具有所希望视差的主图像和副图像，无论被摄体的亮度如何。

[0101] 例如，视差优先的程序图也被设计成使得F值采取1.4（AV=1）的固定值，并且拍摄EV在7至12的范围内（更亮），仅快门速度根据拍摄EV从1/60秒（TV=6）到1/2000（TV=11）变化。另外，视差优先的程序图也被设计成使得拍摄EV小于7（更暗），在拍摄EV变得小了1EV，在F值=1.4和快门速度=1/60秒的固定状态下，ISO感光度从100至200、400、800、
1600和3200变化。换言之，即使在被摄体明亮时，光阑14并未变窄，但快门速度减缓以调整被摄体亮度。

[0102] AF处理单元42为执行对比度AF处理或相位差AF处理的单元。在执行对比度AF处理的情况下，至少在从左视点图像数据和右视点图像数据中的一个图像数据中的指定聚焦区（在屏幕中部的矩形区等）中的图像数据提取高频分量，并且求高频分量的积分以计算指示合焦状态的AF评估值。通过控制在成像镜头12中的聚焦镜头使得AF评估值最大来实施AF控制。在执行相位差AF处理的情况下，检测在左视点图像数据和右视点图像数据中的指定聚焦区内的相位差像素之间的相位差，并且基于指示相位差的信息来计算散焦量。通过控制成像镜头12中的聚焦镜头使得散焦量变为0来实施AF控制。

[0103] 在完成AE操作和AF操作并且执行快门按钮的第二级按压（全按）后，响应于按压从A/D转换器20输出的包括分别对应于第一像素和第二像素的左视点图像（第一图像）和右视点图像（第二图像）的两个图像的图像数据从图像输入控制器22输入到存储器（SDRAM）48，在该存储器中暂时地存储图像数据。

[0104] 由数字信号处理单元24合适地读出暂时地存储于存储器48中的两个图像的图像数据，数字信号处理单元24然后执行指定的信号处理，包括生成图像数据的照度数据和色差数据的处理（YC处理）。经受YC处理的图像数据（YC数据）再次存储于存储器48中。之后，用于两个图像的YC数据各被输出到压缩/扩展处理单元26，其中，执行根据JPEG（联合图像专家组）等的指定压缩处理，并且然后将数据再次存储于存储器48中。

[0105] 从存储于存储器48的两个图像的YC数据（压缩后的数据）生成多画面文件（MP文件：呈多个图像连接的格式的文件）。MP文件由媒体控制器52读出并且存储于存储卡54中。

[0106] 散焦图生成单元61计算在奇数线与偶数线之间的对应相位差像素之间的相位差。

[0107] 散焦图生成单元61基于在各个相位差像素之间的计算的相位差来计算散焦量。对应于各个对应相位差像素的一组散焦量被称作散焦图。散焦图生成单元61具有易失性存储介质，例如RAM，以暂时存储所得到的散焦图。散焦图生成单元61可在立体匹配处理单元83中检测各个相位差像素之间的对应点，并且基于在那些对应点之间的位置信息的差异来生成散焦图。

[0108] 另外，基于在各个相位差像素之间的计算的散焦量，散焦图生成单元61也计算其对应点起初并未被计算的像素的散焦量和其对应点无法计算的非相位差像素的散焦量。更具体而言，可通过使用与非相位差像素相邻的相位差像素的散焦量通过执行内插处理以得到致密的散焦图。用于内插特定非相位差像素的散焦量的像素为相同颜色的相邻像素。

[0109] 恢复滤波存储单元62由例如ROM的非易失性存储介质制成，并且存储对应于各个视点图像中各个小区域中的图像高度（离图像中心的距离，通常离成像镜头12的光轴中心L的距离）和散焦量（或被摄体距离）的恢复滤波。

[0110] 恢复单元63对各个视点图像中的小区域利用为各个小区域选择的恢复滤波器执行去卷积，以便恢复对应视点图像中的小区域。此信号处理消除光学系统中的模糊，更特定而言，消除对应于发生光通量不平衡入射的光接收表面周围中的像素的图像模糊。能通过合成这些去模糊的两个视点图像来得到不太模糊的平面图像。

[0111] 立体匹配处理单元（对象检测机构）83被配置成在相同的时序检测对应于存储于存储器48中的两块图像数据A与B之间彼此对应的一个或多个对应点（对象）。应当指出的是，对于立体匹配处理单元83中的处理方法，可采用公知的技术，使用例如基于区域的方法、基于区段的方法和等照度线方法等。此外，可使用无源立体匹配和有源立体匹配。在像素数量方面不同的图像之间的立体匹配可基于如例如在专利文献3、7至11中所公开的公知技术来执行。

[0112] 距离计算单元84计算由上述立体匹配处理单元83所检测的对应点的三维坐标值（距离信息）。在距离计算单元84中用于计算距离信息的方法中，可使用公知的技术，其涉及基于三角原理的计算。应当指出的是，立体匹配处理单元83和距离计算单元84可由程序、或IC、LSI等配置。

[0113] 视差图（其中，在基准视点图像例如图像数据A的对应点与另一视点图像例如图像数据B的对应点之间的视差量表达其它视点图像）在技术上等效于距离信息或散焦图，并且使得下面关于距离信息或散焦图的处理也可适用于视差图。另外，关于到被摄体的距离、散焦图或视差图的信息被统称作视差信息。视差信息的计算也可不在照相机1中执行，而是也可在如个人计算机的其它信息处理设备和其控制程序中执行。

[0114] 在第一图像数据中得到的像素和在第二图像数据中得到的像素的配置可相同或不同。尽管第一图像数据具有颜色信息和亮度信息，第二图像数据可仅具有亮度信息。或者，第二像素可为单色CCD，其能接收红外区域的信号，并且也可如专利文献7采用与红外光的有源立体匹配。

[0115] 在下文中，为了允许进行立体匹配，第一图像数据和第二图像数据两者被配置成包括至少亮度信息。为了向二维图像添加颜色信息，第一图像数据和第二图像数据两者优选地被配置成包括颜色信息。在本文中，为了简化解释，第一图像数据和第二图像数据两者被配置成包括亮度信息和颜色信息。

[0116] 三维图像处理单元85能从CCD16获取的一对视点图像生成三维图像。这类似于专利文献2中的配置。也应当指出的是可基于从专利文献7至11中了解的已知技术执行从视差信息生成三维图像。当拍摄模式被设置为“三维静态图像记录”时执行三维图像生成，由此，具有所希望的视差量的立体图像显示于LCD30上。

[0117] 由三维图像处理单元45生成的三维图像的视差量可为固定值或任意设置值。

[0118] 模糊处理单元86执行低通滤波，其消除在具有预定频率或更高频率的范围中的图像信号分量。

[0119] 图5示出了根据本发明的优选第一实施例2D/3D同时成像处理的流程图。响应于被设置为“2D/3D同时记录”的拍摄模式来开始这种处理。这种处理在由CPU40执行的程序中指定并且存储于存储器（ROM）48等中。

[0120] 在S1，CPU40判断是否执行了操作单元38的快门按钮的第一级按压（半按）。如果为是，过程继续到S2，而如果为否，重复判断处理。在这些过程期间，从CCD16获取的图像可作为2D或3D直通图像（through image）。在操作单元38中可任意选择显示哪种直通图像，2D或3D。

[0121] 在S2，响应于被设置为“2D/3D同时记录”的拍摄模式，CPU根据视差优先的程序图来确定光阑值X和快门速度。

[0122] 在S3，CPU40判断是否执行了操作单元38的快门按钮的第二级按压（全按）。若为是，过程继续至S4，而若为否，重复判断处理。在这些过程中，从CCD16获取的图像可作为2D或3D直通图像显示于LCD30上。

[0123] 在S4，CPU40经由光阑驱动单元34基于在S2中确定的光阑值X来控制光阑14（视差优先的光阑控制），同时经由CCD控制单元32基于所确定的快门速度来控制CCD16中的电荷储存时间。由此，从CCD16获取左右图像数据A和B（一对视点图像），其中，视差像素R*G*B*具有视差，而其它像素并不具有视差。CPU40在VRAM50中存储左右图像数据A和B为3D图像数据。

[0124] CPU40对于对应于左右图像数据A和B的一个光瞳分割的光通量的每2个像素加算图像信号。因此，生成具有高分辨率的2D图像。CPU40在VRAM50中存储加算的图像信号作为2D图像数据。应当指出的是，对于2D图像数据中与相位差像素相对应的图像信号，优选地，基于来自非相位差像素的图像信号通过内插执行去模糊处理，所述非相位差像素设置于相关的相位差像素周围并且具有与相位差像素相同的颜色等。

[0125] 2D图像数据可以是作为2D贴图图像显示于LCD30上的图像之一，或者可不同于2D贴图图像。

[0126] 在S5，CPU40使得立体匹配处理单元83和距离计算单元84计算立体匹配和距离信息（视差信息）。立体匹配处理单元83基于在S3中获取的3D图像数据A和B执行立体匹配。距离计算单元84计算由立体匹配处理单元83所检测的各个对应点的距离信息。然后，基于这样计算的距离信息，也计算关于其中在图像数据A与B之间的对应点起初并未计算的点（像素）和关于其中可不计算对应点的非对应点（象素）的距离信息。可如在专利文献15的情况下使用计算的相邻视差信息通过内插处理来实施这种计算。由此，获取对应于2D图像数据中各个像素的致密视差信息的分布。

[0127] 在S6，模糊处理单元86基于在S5计算的各个对应点的距离信息（视差信息）来确定在2D图像数据中的模糊目标像素。在下文中描述确定模糊目标像素的细节。

[0128] 在S7，恢复单元63调整在2D图像数据中除了模糊目标像素之外的每个像素使得其视差（散焦量）变为0。可根据如在专利文献2和15中公开的方法，根据公知技术来执行视差调整。通过视差调整，恢复在除了模糊目标像素之外的像素之中相对应像素之间的模糊。模糊处理单元86对将经受模糊处理的确定的目标像素执行模糊处理。在下文中描述模糊处理的细节。

[0129] 在S8，CPU40在存储卡54中压缩并且记录在S7中处理后的2D图像数据。CPU40也可在存储卡54中与2D图像数据一起或者与2D图像数据分离地压缩和记录3D图像数据或视差信息。另外，在存储卡54中彼此相关联地压缩和记录2D图像数据和视差信息的情况下，信息处理设备，例如照相机1和个人计算机，可从存储卡54读出2D图像数据和视差信息，并且基于与所读取的2D图像数据相关联的视差信息来执行模糊处理，模糊处理类似于由模糊处理单元86执行的以下模糊处理。

[0130] 另外，视频编码器28能在LCD30上显示具有视差的3D图像，可基于3D图像数据和视差信息来将视差调整到所希望的范围（强、中或小）。根据公知的技术来执行对应于视觉条件的视差调整。例如，如专利文献16中，基于LCD30的横向宽度大小和观察距离来调整视差。

[0131] 在此情况下，自动做出在S6中模糊目标像素的确定。但是，可基于使用者操作额外地确定目标像素。例如，如下文所示将像素确定为模糊处理的目标。

[0132] 示例1：模糊处理单元86参考各个像素的距离信息来确定距离大于第一指定距离的远景像素（例如，距离为5m或更远的被摄体图像的像素）或者距离小于第二指定距离的近景像素（例如，距离为50cm或更近的被摄体图像的像素）为模糊目标像素。

[0133] 示例2：模糊处理单元86参考各个像素的视差图将构成对应点的像素确定为模糊目标像素，在对应点之间的视差量等于或大于指定值（例如，等于两个像素的值）。

[0134] 示例3：除了示例1和/或示例2之外，模糊处理单元86从2D图像数据提取轮廓信息（图像信号的高频分量）并且将构成在轮廓分量之外的背景区域的像素确定为模糊目标像素。应当指出的是当被摄体的边缘分量集中在相位差像素附近时，可能阻碍轮廓信息的准确提取。由此，优选地离散地放置相位差像素。

[0135] 示例4：除了示例1、示例2和/或示例3之外，模糊处理单元86确定包括于使用者操作所指定的区域中的每个像素为模糊处理目标像素。

[0136] 另外，可基于使用者操作来确定或者可自动地确定在S7的模糊处理的程度。

[0137] 例如，当使用者指定强模糊时，模糊处理单元86将α设置为在模糊目标像素的对应点之间的视差量。当指定中模糊时，β被设置为视差量，并且当指定小模糊时，γ被设置为视差量。此处，建立关系α<β<γ。

[0138] 或者，模糊处理单元86可根据在视差图中指示的视差量来改变模糊程度。简言之，如果在特定对应点之间的视差量较大，则通过使用低通滤波器等根据该程度增加在这些对应点中的模糊程度。

[0139] 如前文所描述的那样，照相机1在视差优先的光阑控制下使一对视点图像成像，并且从这对视点图像获取视差信息。照相机1然后基于视差信息来确定执行模糊处理的2D图像的一部分，并且对该部分执行模糊处理。以此方式，通过向对应于指示例如被摄体的距离和视差量的大小等信息的视差信息的适当位置施加模糊化，光瞳分割型成像装置能同时得到平面图像和视差图像。此外，由于在开放光圈侧执行拍摄，变得能以高拍摄感光度在暗场景中成像。

[0140] <第二实施例>

[0141] 相位差像素的布置并不限于图2所示的布置，而是可采用各种类型的布置。例如，如图6所示，在各个第一对奇数线和偶数线A1和B1中的G像素包括每四个像素的相位差像素并且在各个下对的线A2和B2中的G像素不包括相位差像素。而且，在各个下对的线A3和B3中，像素包括每四个像素的相位差像素。以类似方式重复这个图案使得每隔一对线A和B包括相位差像素G。在此情况下，用于内插为非相位差G像素的G像素的散焦量的像素为相同颜色的相邻相位差G像素。此外，用于内插为非相位差像素的BG像素的散焦量的像素为相邻相位差像素G。

[0142] 或者，在奇数线和偶数线中的所有R、G和B像素可包括每四个像素放置的相位差像素，如图7所示。

[0143] 或者，相位差像素的分布范围并不延伸到全部有效像素，而是可为局部区域，例如在屏幕中心周围的区域和除去屏幕周围的区域。

[0144] 另外，在相位差像素之间的间距数量并不限于四个像素，而是可多于或少于四个像素。但是，当相位差像素之间的间距数量为四个像素时，像素RGB通常存在于相位差像素之间，并且相位差像素的图像信号可利用周围一般像素进行内插。因此，最佳间距数量为四个像素。

[0145] 因此，例如，相位差像素可在垂直方向和水平方向两者上以四个像素的间距来放置，如图8所示。在图8中，线A3、B3、A4和B4具有一般像素布置，而在以四个像素与线A1、B1、A2和B2水平分开的线A5、B5、A6和B6中，相位差像素G*、R*和B*在水平方向每四个像素地放置，如图2的线A1、B1、A2和B2。尽管在附图中未图示，在图6和图7中的水平线中的相位差像素也可放置于每个线中，每个线以四个像素从水平线垂直分开。

[0146] 随着用作相位差像素的像素的颜色增加，能成比例地提高相对于各个颜色的相位差检测的准确度。此外，随着在相位差像素之间的间距数量增加，关于相位差的内插处理成比例地减小，并且因此能提高检测对应点之间相位差的准确度。

[0147] 但是，由于增加的相位差像素可能影响2D图像的图像品质，优选地考虑2D图像和3D图像的图像品质两者来确定相位差像素的放置。

[0148] <第三实施例>

[0149] 在上述配置的CCD16中，尽管在奇数线和偶数线中的相位差像素被配置成在由屏蔽构件16A限制光通量的区域（右半部和左半部）中不同，CCD16的配置并不限于此。作为提供屏蔽构件16A的替代，微透镜L和光电二极管PD可在水平方向相对偏移，并且入射到光电二极管PD内的光通量可根据偏移方向受到限制。另外，入射至每个像素内的光通量可由被设置用于奇数线和偶数线中的两个或更多个相位差像素的一个微透镜限制（图9）或者可由反射镜来实现光瞳分割（例如图10）。

[0150] {附图标记列表}

[0151] 30：LCD

[0152] 40：CPU

[0153] 83：立体匹配处理单元

[0154] 84：距离计算单元

[0155] 85：三维图像处理单元

[0156] 86：模糊处理单元