图像拾取装置、系统和控制方法以及图像处理装置

摘要

本发明涉及图像拾取装置、系统和控制方法以及图像处理装置。一种能够通过重构输入图像来产生具有不同的焦点位置的多个输出图像的图像拾取装置（10），包括：被配置为获得输入图像的输入图像获得单元（100）；被配置为从输入图像产生显示图像的图像处理单元（105）；和被配置为显示所述显示图像的显示单元（106），并且，图像处理单元（105）获得可控制焦点位置的焦点控制范围，并且通过使用输入图像的至少一部分产生包含关于焦点控制范围的信息的显示图像。

权利要求

1.一种能够通过重构输入图像来产生具有不同的焦点位置的多个输出图像的图像拾取装置，该图像拾取装置包括：输入图像获得单元，所述输入图像获得单元被配置为获得输入图像；

图像处理单元，所述图像处理单元被配置为从所述输入图像产生显示图像；和显示单元，所述显示单元被配置为显示所述显示图像，其特征在于，所述图像处理单元获得可控制焦点位置的焦点控制范围，并且通过使用输入图像的至少一部分产生包含关于焦点控制范围的信息的显示图像，其中所述显示图像的焦点控制范围中包括的被照体的边缘被加亮显示。

2.根据权利要求1所述的图像拾取装置，其特征在于，

所述输入图像是通过从多个视点拍摄被照体空间获得的视差图像，并且，所述输出图像是通过在视差图像上执行重新聚焦处理获得的组合图像。

3.根据权利要求1所述的图像拾取装置，其特征在于，

所述图像处理单元根据所述输入图像获得单元的图像获得条件改变焦点控制范围。

4.根据权利要求3所述的图像拾取装置，其特征在于，

所述图像处理单元根据输入图像的视角区域改变焦点控制范围。

5.根据权利要求1所述的图像拾取装置，其特征在于，

所述图像处理单元根据输出图像的像素的数量改变焦点控制范围。

6.根据权利要求5所述的图像拾取装置，还包括：像素数量指定单元，所述像素数量指定单元被配置为指定输出图像的像素的数量。

7.根据权利要求1所述的图像拾取装置，其特征在于，

所述显示单元在拍摄操作之前显示所述显示图像。

8.根据权利要求1所述的图像拾取装置，还包括：距离信息获得单元，所述距离信息获得单元被配置为获得被照体空间的距离信息，其特征在于，所述图像处理单元通过使用距离信息来产生显示图像。

9.根据权利要求8所述的图像拾取装置，其特征在于，

所述距离信息获得单元通过使用输入图像的视差信息获得距离信息。

10.根据权利要求1～9中的任一项所述的图像拾取装置，其特征在于，所述图像处理单元通过在焦点控制范围之内和之外执行不同的图像处理来产生显示图像。

11.根据权利要求1～9中的任一项所述的图像拾取装置，还包括：显示指示单元，所述显示指示单元被配置为指示显示单元来显示所述显示图像。

12.根据权利要求1～9中的任一项所述的图像拾取装置，还包括：对焦被照体指定单元，所述对焦被照体指定单元被配置为指定要聚焦的被照体，其特征在于，所述图像处理单元在指定要聚焦的被照体之后产生显示图像。

13.根据权利要求1～9中的任一项所述的图像拾取装置，还包括：图像记录单元，所述图像记录单元被配置为将图像记录为输出图像或者将图像记录为输入图像的至少一部分，其特征在于，所述图像记录单元记录图像和与图像对应的焦点控制范围。

14.根据权利要求1～9中的任一项所述的图像拾取装置，还包括：曝光状态预测单元，所述曝光状态预测单元被配置为预先预测拍摄操作期间的曝光状态，其特征在于，所述图像处理单元根据预先预测的曝光状态改变焦点控制范围。

15.根据权利要求1～9中的任一项所述的图像拾取装置，其中，所述输入图像获得单元从物侧起包含被配置为在像侧共轭面上形成来自物面的光束的图像的成像光学系统、设置在像侧共轭面上的透镜阵列、以及包含多个像素的图像拾取元件，其中，所述透镜阵列被配置为使来自物面的同一位置的光束根据光束通过的成像光学系统的光瞳区域入射到图像拾取元件的不同的像素，并且，其特征在于，当经由所述成像光学系统与焦点控制范围共轭的像侧范围被设定为像侧焦点控制范围时，满足下式：这里，drefocus表示像侧共轭面与像侧焦点控制范围的两端之一之间的距离，σ表示透镜阵列的像侧主面与图像拾取元件之间的距离，Rsynth表示输出图像的像素数量，以及Rtotal表示图像拾取元件的有效像素的数量。

16.根据权利要求1～9中的任一项所述的图像拾取装置，其中，所述输入图像获得单元从物侧起包含被配置为在像侧共轭面上形成来自物面的光束的图像的成像光学系统、透镜阵列、以及包含多个像素的图像拾取元件，其中，所述透镜阵列被设置为使得像侧共轭面与所述图像拾取元件具有共轭关系，并被配置为使得来自物面的同一位置的光束根据光束通过的成像光学系统的光瞳区域入射到图像拾取元件的不同的像素，并且，其特征在于，当经由所述成像光学系统与焦点控制范围共轭的像侧范围被设定为像侧焦点控制范围时，满足下式：这里，drefocus表示像侧共轭面与像侧焦点控制范围的两端之一之间的距离，σ1表示透镜阵列的像侧主面与像侧共轭面之间的距离，ΔLA表示透镜阵列的间距，Δ表示图像拾取元件的像素间距，Rsynth表示输出图像的像素数量，以及Rtotal表示图像拾取元件的有效像素的数量。

17.根据权利要求1～9中的任一项所述的图像拾取装置，其中，所述输入图像获得单元从物侧起包含在像侧共轭面上形成来自被照体空间的光束的图像的多个成像光学系统和包含多个像素的至少一个图像拾取元件，其中，所述多个成像光学系统被二维地布置，并且，其特征在于，当经由所述成像光学系统与焦点控制范围共轭的像侧范围被设定为像侧焦点控制范围时，满足下式：这里，drefocus表示像侧共轭面与像侧焦点控制范围的两端之一之间的距离，Fmono表示成像光学系统的F数，Δ表示图像拾取元件的像素间距，Rsynth表示输出图像的像素数量，以及Rmomo表示通过使用F数作为Fmono由所述成像光学系统形成的图像的像素数量。

18.一种能够通过重构输入图像来产生具有不同的焦点位置的多个输出图像的图像拾取系统，该图像拾取系统包括：输入图像获得装置，所述输入图像获得装置被配置为获得输入图像；

图像处理装置，所述图像处理装置被配置为从所述输入图像产生显示图像；和显示装置，所述显示装置被配置为显示所述显示图像，其特征在于，所述图像处理装置获得可控制焦点位置的焦点控制范围，并且通过使用所述输入图像的至少一部分产生包含关于所述焦点控制范围的信息的显示图像，其中所述显示图像的焦点控制范围中包括的被照体的边缘被加亮显示。

19.一种能够通过重构输入图像来产生具有不同的焦点位置的多个输出图像的图像处理装置，该图像处理装置包括：存储单元，所述存储单元被配置为存储输入图像的图像拾取条件信息；

图像处理单元，所述图像处理单元被配置为从输入图像产生显示图像；和显示单元，所述显示单元被配置为显示所述显示图像，其特征在于，所述图像处理单元获得可控制焦点位置的焦点控制范围，并且通过使用所述输入图像的至少一部分产生包含关于所述焦点控制范围的信息的显示图像，其中所述显示图像的焦点控制范围中包括的被照体的边缘被加亮显示。

20.一种能够通过重构输入图像来产生具有不同的焦点位置的多个输出图像的图像拾取装置的控制方法，该方法包括以下的步骤：经由成像光学系统和图像拾取元件获得输入图像；

获得可控制焦点位置的焦点控制范围；

通过使用所述输入图像的至少一部分产生包含关于所述焦点控制范围的信息的显示图像；和在显示单元上显示所述显示图像，

其中所述显示图像的焦点控制范围中包括的被照体的边缘被加亮显示。

说明书

图像拾取装置、系统和控制方法以及图像处理装置

技术领域

[0001] 本发明涉及能够通过重构输入图像来产生具有不同的焦点位置的多个输出图像的图像拾取装置。

背景技术

[0002] 近年，提出了计算通过图像拾取元件获得的数据并且执行与其对应的数字图像处理以输出各种图像的图像拾取装置。日本专利No.4752031公开了通过使用“光场照相”同时获得被照体空间的光束的二维强度分布和光束的角度信息即视差信息的图像拾取装置。光束的二维强度分布和光束的角度信息被称为光场，并且，可通过获得光场来获得被照体空间的三维信息。通过用获得的光场在图像上执行重构处理，能够执行称为重新聚焦的图像焦点位置控制、视点改变控制和场深控制等。

[0003] 并且，PCT国际公开No.WO2008/050904公开了通过使用照相机阵列获得光场并且执行重新聚焦的配置。

[0004] 但是，在日本专利No.4752031和PCT国际公开No.WO2008/050904公开的图像拾取装置中，用户不能在拍摄被照体或者编辑图像时识别可重新聚焦的范围（重新聚焦范围）。出于这种原因，用户难以根据用户的意图拍摄希望的被照体或者编辑图像。

发明内容

[0005] 本发明提供允许用户容易地识别重新聚焦范围的图像拾取装置、图像拾取系统和图像处理装置，并且提供图像拾取装置的控制方法。

[0006] 作为本发明的一个方面的图像拾取装置能够通过重构输入图像来产生具有不同的焦点位置的多个输出图像，该图像拾取装置包括：被配置为获得输入图像的输入图像获得单元；被配置为从输入图像产生显示图像的图像处理单元；和被配置为显示所述显示图像的显示单元，并且，图像处理单元获得可控制焦点位置的焦点控制范围，并且通过使用输入图像的至少一部分产生包含关于焦点控制范围的信息的显示图像。

[0007] 作为本发明的另一方面的图像拾取系统能够通过重构输入图像来产生具有不同的焦点位置的多个输出图像，该图像拾取系统包括：被配置为获得输入图像的输入图像获得装置；被配置为从输入图像产生显示图像的图像处理装置；和被配置为显示所述显示图像的显示装置，该图像处理装置获得可控制焦点位置的焦点控制范围，并且该图像处理装置通过使用输入图像的至少一部分产生包含关于焦点控制范围的信息的显示图像。

[0008] 作为本发明的另一方面的图像处理装置能够通过重构输入图像来产生具有不同的焦点位置的多个输出图像，该图像处理装置包括：被配置为存储输入图像的图像拾取条件信息的存储单元；被配置为从输入图像产生显示图像的图像处理单元；和被配置为显示所述显示图像的显示单元，并且，图像处理单元获得可控制焦点位置的焦点控制范围，并且通过使用输入图像的至少一部分产生包含关于焦点控制范围的信息的显示图像。

[0009] 作为本发明的另一方面的图像拾取装置的控制方法能够通过重构输入图像来产生具有不同的焦点位置的多个输出图像，该方法包括以下的步骤：通过成像光学系统和图像拾取元件获得输入图像；获得可控制焦点位置的焦点控制范围；通过使用输入图像的至少一部分产生包含关于焦点控制范围的信息的显示图像；和在显示单元上显示所述显示图像。

[0010] 从参照附图对示例性实施例的以下描述，本发明的其它特征和方面将变得清晰。

附图说明

[0011] 图1是示出实施例1～3的图像拾取装置的框图。

[0012] 图2是示出实施例1的视差图像获得单元的示意配置图。

[0013] 图3是示出实施例2的视差图像获得单元的示意配置图。

[0014] 图4是示出实施例2的不同的视差图像获得单元的示意配置图。

[0015] 图5是示出实施例3的视差图像获得单元的示意配置图。

[0016] 图6是示出实施例1的视差图像获得单元的截面图。

[0017] 图7是示出实施例1的重新聚焦图像的产生的说明图。

[0018] 图8是示出实施例1的焦点控制范围的说明图。

[0019] 图9是示出实施例1～4中的在执行拍摄操作时（在执行拍摄操作之前）向用户提供焦点控制范围的情况的流程图。

[0020] 图10是示出实施例1～4中的在编辑图像时向用户提供焦点控制范围的情况的流程图。

[0021] 图11是示出实施例1的视差图像获得单元的光学布置的说明图。

[0022] 图12是示出实施例1～4中的拍摄场景的例子的示图。

[0023] 图13A～13E是示出实施例1～4中的显示图像的说明图。

[0024] 图14是示出实施例2的视差图像获得单元的截面图。

[0025] 图15A和图15B是示出实施例2的重新聚焦图像的产生的说明图。

[0026] 图16是示出实施例2的焦点控制范围的说明图。

[0027] 图17是示出从物侧观察的实施例3的视差图像获得单元的截面图。

[0028] 图18是示出实施例3的成像光学系统的截面图。

[0029] 图19是示出实施例3的焦点控制范围的说明图。

[0030] 图20是示出实施例4的图像拾取装置（图像拾取系统）的框图。

[0031] 图21是示出实施例4的图像拾取装置（图像拾取系统）的示意性配置图。

[0032] 图22是示出实施例4的单视点图像获得单元的框图。

[0033] 图23是示出实施例4的成像光学系统的截面图。

具体实施方式

[0034] 以下将参照附图描述本发明的示例性实施例。在各附图中，相同的附图标记将被赋予相同的部件，并且，将省略其描述。

[0035] 实施例的图像拾取装置是能够通过重构输入图像来产生具有不同的焦点位置的多个输出图像的图像拾取装置。实施例的视差图像获得单元（输入图像获得单元）获得视差图像（输入图像）即通过从多个视点拍摄被照体空间获得的光场。作为实施例的视差图像获得单元的例子，例示图2～4所示的在成像光学系统的像侧设置透镜阵列的配置或图5所示的布置多个成像光学系统的配置。同时，作为获得视差图像（光场）的方法，考虑通过使用包含成像光学系统和图像拾取元件的图像拾取装置在改变图像拾取装置的位置的同时多次执行拍摄操作的方法。通过这种方法获得的视差图像是通过在不同的时刻捕获被照体空间而获得的图像。出于这种原因，当移动被照体存在于被照体空间中时，不能获得正确的视差信息。因此，希望采用视差图像获得单元可如图2～5所示的那样同时获得整个视差图像（多个视差图像）的配置。

[0036] 通过在通过图2～5的配置获得的视差图像上执行像素提取处理、次序重新布置处理或组合处理，可以执行重新聚焦或场深控制、以及视点改变控制等。在实施例中，这种处理（用于通过使用输入图像的至少一部分获得输出图像的处理）被称为重构处理。并且，通过重构处理产生的图像被称为重构图像（输出图像）。特别地，通过在视差图像上执行重新聚焦处理获得的图像（输出图像）被称为组合图像。可通过噪声减少处理或诸如场深控制的重构处理，获得组合图像。并且，可重新聚焦范围即可在被照体空间中控制焦点位置的范围被称为焦点控制范围（重新聚焦范围）。如后面将描述的那样，通过图像处理单元获得焦点控制范围。并且，图像处理单元通过使用输入图像的至少一部分产生包含与焦点控制范围有关的信息的显示图像。

[0037] 在实施例中，人物或被照体可能未必存在于图2～5的物面201上。这是由于，焦点位置可被控制，以通过在拍摄操作之后执行的重新聚焦处理（重构处理）聚焦在存在于物面201的内侧或前侧的人物或被照体上。并且，在以下的各实施例中，可为了简化描述使用一维系统，但是，在各实施例中，这同样适于二维系统。

[0038] [实施例1]

[0039] 首先，将描述本发明的实施例1的图像拾取装置。图1是示出实施例的图像拾取装置10的框图。图2是示出图像拾取装置10的视差图像获得单元（输入图像获得单元）100的示意性配置图。

[0040] 如图2所示，视差图像获得单元100从物侧（物面侧）依次包含成像光学系统101、透镜阵列102和图像拾取元件103。成像光学系统101在像侧共轭面上形成来自物面201的光束的图像。透镜阵列102被设置在像侧共轭面上。图像拾取元件103包含多个像素。并且，透镜阵列102被配置为使得来自物面201的同一位置的光束根据光束通过的成像光学系统101的光瞳区域入射到图像拾取元件103的不同像素。

[0041] 通过这种配置，视差图像获得单元100获得视差图像（输入图像）。图像拾取元件103是诸如CCD（电荷耦合器件）或CMOS（互补金属氧化物半导体）的二维图像拾取元件。穿过成像光学系统101和透镜阵列102并入射到图像拾取元件103的光束的能量通过图像拾取元件103的光电转换被转换成模拟电信号（模拟信号）。A/D转换器104将模拟信号转换成数字信号并且将数字信号输出到图像处理单元105。图像处理单元105通过在数字信号上施加预先确定的处理来产生显示图像。通过图像处理单元105产生的显示图像被输出到诸如液晶显示器的显示单元106以在其上被显示。用户观察显示单元106的显示图像，并由此可在检查图像的同时执行拍摄操作。

[0042] 图像处理单元105在产生显示图像时使用图像获取条件、从曝光状态预测单元113或存储单元109获得的信息、以及从距离信息获得单元105a获得的信息等。这里，图像获取条件包含关于获得模拟信号（视差图像）时的视差图像获得单元100的信息（关于视差图像获得单元100的配置的信息）、孔径的曝光状态、焦点位置和变焦透镜的焦距等。状态检测单元108可直接从系统控制器111获得图像获取条件。并且，也可从控制单元107获得关于视差图像获得单元100的信息。在实施例中，关于视差图像获得单元100的配置的信息被存储于存储单元109中。曝光状态预测单元113事先基于从测光单元112获得的信息预测曝光状态。图像处理单元105根据事先预测的曝光状态改变焦点控制范围。并且，图像处理单元105中的距离信息获得单元105a从输入的视差信息（视差图像）获得被照体空间的距离信息。

[0043] 系统控制器111包含指示在显示单元106上显示所述显示图像的显示指示单元111c。显示单元106根据从显示指示单元111c输出的信号接通和关断显示器并且切换显示图像。例如，在图像拾取装置10配有释放按钮的情况下，显示指示单元111c输出预先确定的信号，使得在用户将释放按钮按压到第一位置的同时（在执行拍摄操作之前）在显示单元
106上显示所述显示图像。当释放按钮在这种状态下被按压到比第一位置深的第二位置时，执行拍摄操作。但是，实施例不限于此，并且，显示指示单元111c可通过其它方法传送信号。

[0044] 并且，系统控制器111包含指定要通过视差图像获得单元100聚焦的被照体的对焦被照体指定单元111b。根据从对焦被照体指定单元111b输出的信号，控制单元107驱动视差图像获得单元100的聚焦机构以在被照体（指定的被照体）上执行对焦控制。当通过图像拾取指示单元111d执行拍摄操作时，控制单元107基于来自测光单元112的信息调整视差图像获得单元100的曝光。此时，通过图像拾取元件103获得的图像被输入到图像处理单元105，使得如上面描述的那样在图像上执行预先确定的处理。以预先确定的格式在诸如半导体存储器的图像记录介质110（图像记录单元）上记录图像。并且，在拍摄操作中从状态检测单元108获得的图像获取条件还被记录于图像记录介质110上。记录于图像记录介质110上的图像可以是经过重构处理的图像。以这种方式，图像记录介质110记录视差图像（输入图像）的至少一部分或重构图像（输出图像）。并且，图像记录介质110不仅记录视差图像的至少一部分或重构图像（图像），而且记录与记录图像对应的焦点控制范围。

[0045] 在记录于图像记录介质110上的图像在显示单元106上被显示的情况下，图像处理单元105基于拍摄操作中的图像获取条件在图像上执行处理。结果，显示单元106显示通过希望的设定（像素数量、视点、焦点位置和场深等）重构的图像（重构图像）。重构图像的像素的数量由组合图像像素数量指定单元（像素数量指定单元）111a指定。并且，为了提高处理速度，可以采用事先在存储单元109中存储希望的设定并且在不使用图像记录介质110的情况下在显示单元106上显示重构图像的配置。通过系统控制器111执行上述的一系列的控制。

[0046] 下面，将参照图2，描述实施例的视差图像获得单元100的配置。透镜阵列102被设置在成像光学系统101的相对于物面201的像侧共轭面上。并且，透镜阵列102具有基本上在成像光学系统101的出射光瞳与图像拾取元件103之间设定共轭关系的配置。这里，基本共轭关系不仅指精确共轭关系，而且指基本上评价为共轭关系的关系（基本共轭关系）。来自物面201的光束通过成像光学系统101和透镜阵列102根据光束在物面201上的角度和位置入射到图像拾取元件103的多个不同的像素。通过这种配置，获得光场。这里，透镜阵列102用于防止穿过物面201上的不同位置的光束入射到图像拾取元件103的同一像素。结果，通过布置从多个视点通过图像拾取元件103拍摄物面201上的同一区域的像素组，获得图像。

[0047] 图6是示出实施例的视差图像获得单元100的截面图。在图6中，成像光学系统101是单焦点透镜（固定焦距透镜）。焦点组IF在光轴OA上移动以执行聚焦操作。孔径SP控制曝光状态。透镜阵列102在实施例中形成为单个固体透镜，但本发明不限于此。透镜阵列102可包含多个透镜，并且可通过使用液体透镜、液晶透镜或衍射光学元件等形成。并且，在实施例中，形成透镜阵列102的小透镜在其两个表面上具有凸面形状，但本发明不限于此。例如，可以按平面形状或非球面形状形成一个表面。

[0048] 并且，希望形成透镜阵列102的小透镜的像侧（图像拾取元件103侧）的面具有凸面形状。因此，透镜阵列102的像散减少，由此，在图像拾取元件103上获得的图像变得锐利（sharp）。相反，在不以凸面形状形成像侧面的情况下，像散增加，由此，通过各个小透镜形成的图像的周边变模糊。当在重构处理中使用图像的模糊部分时，不能获得锐利的重构图像。并且，更希望小透镜的物侧（成像光学系统101侧）的面具有平面形状或凸面形状。因此，小透镜的曲率低并且像差减少。因此，可进一步提高图像的锐利度。

[0049] 下面将描述实施例的重新聚焦处理。由于在“Fourier Slice Photography”（参见Ren Ng,2005ACM Trans.Graph.24,735-744）中详细描述了重新聚焦，但是，这里将简单描述重新聚焦。重新聚焦的基本原理在图2～5所示的任何配置中是共通的。这里，将通过例示图2的配置描述这一点。

[0050] 在图2中，由于成像光学系统101的光瞳在二维上被分成9个区段（在一维上是3个区段），因此，获得9视点图像。这里，与某个分割的光瞳对应的图像被称为单视点图像。由于9个单视点图像具有视差，因此，图像上的被照体的相对位置关系根据被照体距离改变。当单视点图像相互组合使得某些被照体相互重叠（叠加）时，位于不同的被照体距离上的被照体以不对准的状态相互组合。由于这种不对准，位于不同的被照体距离上的被照体变模糊。
此时的模糊由与对于组合使用的单视点图像对应的光瞳限定，并且，当所有的9个图像被相互组合时，由成像光学系统101捕获的图像的模糊会被再现。由于通过单视点图像的组合相互重叠的被照体被任意设定，因此可再现通过在成像光学系统101中聚焦任意的被照体捕获的图像。这是拍摄操作之后的焦点控制即重新聚焦的原理。

[0051] 下面将描述实施例的单视点图像的生成方法。图7是示出实施例中的重新聚焦图像的生成的说明图，并且是示出图2的透镜阵列102与图像拾取元件103之间的关系的示图。图7的虚线圆表示穿过一个小透镜的光束入射到的区域。图7示出以格子形状布置小透镜的情况，但是小透镜的布置不限于此。例如，可以六重对称地布置小透镜，或者各小透镜可从规则的布置轻微偏移。在图7中，斜线部分表示穿过成像光学系统101的同一光瞳区域的光束入射到的像素。出于这种原因，能够通过提取斜线部分的像素产生从成像光学系统101的光瞳的下部观看被照体空间的单视点图像。类似地，还能够通过提取相对于由虚线表示的各圆形的相对位置相同的像素来产生其它的单视点图像。

[0052] 下面将描述执行重新聚焦的焦点控制范围（重新聚焦范围）。由于通过相互重叠单视点图像来执行重新聚焦，因此不能再一次重新聚焦在各单视点图像中变模糊的被照体。这是由于，即使当相互重叠变模糊的图像时，也不能获得高频率分量，并且，图像仍然模糊。
即，焦点控制范围依赖于成像光学系统101的分割的光瞳。由于当光瞳被分成更多的区段时各单视点图像的场深变得更深，因此，焦点控制范围加宽。但是，单视点图像的场深未必匹配焦点控制范围。这是由于焦点控制范围根据单视点图像与通过组合这些图像获得的组合图像的像素数量比改变。例如，当组合图像的像素的数量比各视点的图像的像素数量少时，组合图像的空间分量的采样间距相对于单视点图像增加。出于这种原因，组合图像的场深变得比单视点图像场深要深，由此，其焦点控制范围也加宽。相反，当组合图像的像素的数量比单视点图像的像素的数量多时，焦点控制范围变得小于单视点图像的场深。这里，作为与单视点图像相比进一步增加组合图像的像素的数量的方法，考虑通过像素偏移使用超分辨率的方法。如上所述，通过在偏移状态中组合单视点图像执行重新聚焦。当此时的偏移量是单视点图像的像素间距的非整数倍时，可通过像素偏移提高分辨率，并可由此提高分辨率。出于这种原因，可以提高组合图像的像素数量。

[0053] 从到此为止的讨论，可以理解，为了获得组合图像的精确焦点控制范围，需要另外使用用于组合单视点图像的条件。并且，单视点图像的场深根据视角改变。这是因为，由于成像光学系统101的渐晕（vignette），F值根据视角改变。出于这种原因，用户可通过根据视角计算焦点控制范围来识别更精确的值。

[0054] 下面，将参照图8，描述组合图像的焦点控制范围的计算方法。图8是示出实施例的焦点控制范围的说明图。首先，考虑与组合图像的场深对应的焦点深度。这里，焦点深度的可允许的模糊圆（confusion circle）的尺寸由ε表示并且光束的角度分量的采样间距由Δu表示。此时，重新聚焦系数α±由下式（1）给出。

[0055]

[0056] 如图8所示，由式（1）表达的像侧重新聚焦范围α+S2～α-S（2 像侧焦点控制范围）相对于成像光学系统101的共轭范围是作为物侧重新聚焦范围的焦点控制范围。这里，S2表示成像光学系统101的像侧主面与相对于物面201的成像光学系统101的像侧共轭面（透镜阵列102）之间的距离。式（1）的关系在图2～5的任意配置中成立。这里，像侧焦点控制范围表示焦点控制范围（重新聚焦范围）和通过成像光学系统101共轭的范围。并且，Δy表示光束的二维强度分布的采样间距，并且在图2的配置中与透镜阵列102的间距ΔLA相同。相对于成像光学系统101的出射光瞳距离P，图像拾取元件103的像素间距Δ足够小。出于这种原因，式（1）可被近似为下式（2）。

[0057]

[0058] 这里，成像光学系统101的出射光瞳距离P表示成像光学系统101的出射光瞳面与相对于物面201的成像光学系统101的像侧共轭面（透镜阵列102）之间的距离。并且，N表示成像光学系统101的光瞳的一维分割区段的数量，F表示成像光学系统101的F数。

[0059] 下面，将参照图9和图10，描述向用户提示实施例的焦点控制范围的处理。图9是在执行拍摄操作时（在执行拍摄操作之前）向用户提示焦点控制范围的情况的流程图。图10是当编辑图像时向用户提示焦点控制范围的情况的流程图。在图9和图10中，步骤S105和S205分别表示焦点控制范围获得步骤，步骤S106和S107以及步骤S206和S207分别表示显示图像产生步骤。并且，基于系统控制器111的指令由图像处理单元105执行图9和图10中的各步骤。

[0060] 首先，将参照图9，描述在执行拍摄操作时向用户提示焦点控制范围的情况。这里，显示焦点控制范围的图像（包括关于焦点控制范围的信息的图像）被称为显示图像。在图9的步骤S101中，图像处理单元105以使得由视差图像获得单元100获得的视差图像被输入到图像处理单元105的方式获得视差图像。

[0061] 随后，在步骤S102中，图像处理单元105确定是否产生显示图像的显示指令。例如，在图像拾取装置10配有用于显示焦点控制范围的开关的情况下，当用户按压开关时，从显示指示单元111c输出显示指令。但是，显示指令不限于此，并且，可通过其它的方法产生显示指令。当图像处理单元105接收显示指令时，流程前进到步骤S104。同时，当图像处理单元没有接收显示指令时，流程前进到步骤S103。

[0062] 以这种方式，图像处理单元105在指定要被聚焦的被照体之后产生显示图像。但是，实施例不限于此，并且，显示指令可与对焦被照体指定单元111b联动（interlocked）。例如，可以在用户指定对焦被照体（被聚焦的被照体）的同时输出显示指令。因此，能够通过减少无用的过程的数量仅在用户希望拍摄被照体的状态下提示焦点控制范围。并且，在实施例中，可通过跳过步骤S102并直接从步骤S101前进到步骤S104在所有的时间输出显示焦点控制范围的显示图像。

[0063] 当图像处理单元105在步骤S102中没有接收显示指令时，在步骤S103中，图像处理单元产生视差图像中的最接近成像光学系统101的光瞳中心的视点的单视点图像，并且将单视点图像输出到显示单元106。因此，用户可在显示单元106上实时检查当前由图像拾取元件103获得的图像。输出到显示单元106的图像是通过简单处理获得的单视点图像，但实施例不限于此。例如，可以输出重构图像。并且，当输出单视点图像时，视点可被设到成像光学系统101的光瞳的任意位置。

[0064] 同时，当图像处理单元105在步骤S102中接收显示指令时，在步骤S104中，图像处理单元获得用于产生显示图像的信息。用于产生显示图像的信息包含在步骤S101中通过视差图像获得单元100输入的视差图像的图像获取条件、拍摄操作期间的曝光状态预测结果、被照体空间的距离信息和组合图像的像素的数量等。这里，基于输入的视差图像的视差信息计算被照体空间的距离信息。但是，可通过使用诸如DFD（Depth From Defocus，散焦深度测量）的方法或使用红外线等的距离测量单元获得距离信息。并且，可在步骤S102之前执行步骤S104。

[0065] 随后，在步骤S105中，图像处理单元105通过使用在步骤S104中获得的信息获得组合图像的焦点控制范围。如上所述，焦点控制范围根据各单视点图像与组合图像之间的像素数量比改变。出于这种原因，图像处理单元105根据在步骤S104中获得的信息改变焦点控制范围。这里，为了简化描述，将首先考虑像素数量比为1的情况。

[0066] 当像侧焦点控制范围落在式（2）的范围内时，获得可执行重新聚焦的区域。出于这种原因，相对于物面201的成像光学系统101的像侧共轭面（透镜阵列102）与像侧焦点控制范围的两端之一之间的距离drefocus可满足下式（3）。

[0067] drefocus≤NFε　　…　　(3)

[0068] 图11是示出视差图像获得单元100的光学布置的说明图，并且示出图2的配置中的各参数的关系。从图11可以理解NF=σ/Δ的关系得到满足。σ表示透镜阵列102的像侧主面与图像拾取元件103之间的距离。图11的虚线表示与一个小透镜对应的图像拾取元件103的区域。并且，斜线部分的像素表示不入射光束的死区。在实施例中，透镜阵列102被配置为使得不在图像拾取元件103中出现死区，并且，在这种情况下，ΔLA=NΔ的关系成立。但是，实施例不限于此，并且，可在图像拾取元件103中存在死区。

[0069] 当用于限定焦点深度的可允许的模糊圆的尺寸被规定为空间分量的采样间距Δy＝ΔLA时，式（3）可重新表达为下式（4）。

[0070]

[0071] 下面，将考虑单视点图像与组合图像的像素数量比不同的一般情况。组合图像的视角与用于组合的单视点图像的视角相同。出于这种原因，在像素数量比不同的情况下，采样间距Δy相互不同。一般地，可允许的模糊圆在采样间距Δy变小时变小，并在采样间距Δy变大时变大。出于这种原因，通过采用单视点图像与组合图像的采样间距Δy的比，式（4）可扩展到下式（5）。

[0072]

[0073] 这里，Rmono表示用于组合的单视点图像的像素数量，Rsynth表示组合图像的像素的数量。通过采用Rmono与Rsynth之间的比的平方根，获得Δy的比。

[0074] 从图11可以理解，单视点图像的像素的数量Rmono表达为下式（6）。

[0075]

[0076] 这里，Rtotal表示图像拾取元件103的有效像素的数量。

[0077] 从式（5）和式（6），作为下式（7）获得像侧焦点控制范围满足的条件式。

[0078]

[0079] 通过在式（7）的范围中确定像侧焦点控制范围，可以获得在拍摄操作之后执行重新聚焦的范围。在理论上，式（7）不能取负值。并且，由于式（7）为0的情况表示不能执行焦点控制，因此，该值不超过式（7）的下限。式（7）的上限表示组合图像的焦点位置处的放大的点图像，并且，当上限变小时，可执行更锐利的重新聚焦。当该值超过式（7）的上限时，点图像的倍率增加，由此甚至在焦点位置处也出现模糊。即，在这种情况下不能执行重新聚焦。

[0080] 希望可通过在下式（7a）的范围内设定像侧焦点控制范围来获得更锐利的组合图像。

[0081]

[0082] 希望可通过在下式（7b）的范围内设定像侧焦点控制范围来获得更锐利的对焦图像。

[0083]

[0084] 在表1中示出实施例的式（7）的值。并且，在实施例中，图像拾取元件103的有效像素的数量被设为Rtotal=46.7×10（6 pix），并且，透镜阵列102的像侧主面与图像拾取元件103之间的距离被设为σ=0.0374（mm）。这里，pix表示代表像素数量的单位。图像拾取元件103的像素间距被设为Δ=0.0043（mm），并且，透镜阵列102的间距被设为ΔLA=0.0129（mm）。成像光学系统101的焦距被设为f=14.0（mm），并且F数被设为F=2.9，并且，一维分割光瞳的数量被设为N＝3。可通过组合图像像素数量指定单元111a从三种类型8.0×106pix、5.2×106pix和2.0×106pix选择组合图像的像素数量Rsynth。在表1中示出drefocus关于各像素数量Rsynth的值。这里，由于各单视点图像的像素数量被设为5.2×106pix，因此，为了产生8.0×106pix的组合图像，需要通过像素偏移通过使用超分辨率提高分辨率。并且，组合图像的像素数量可被设为上述值以外的值，并且，其类型不必需是三种类型。但是，此时，drefocus被确定以满足式（7）。

[0085] 可通过使用像侧焦点控制范围、成像光学系统101的焦距和焦点位置等根据图像形成式计算焦点控制范围。并且，获得的焦点控制范围可在作为标签信息被添加到视差图像的至少一部分或重构图像上的同时记录于图像记录介质110上。作为替代方案，可以采用事先在存储单元109上存储图像获取条件的焦点控制范围的表并且作为计算焦点控制范围的替代读出相应数据的配置。

[0086] 并且，作为获得其它的焦点控制范围的方法，考虑实际产生重新聚焦的组合图像并且评价存在于焦点位置处的被照体的对比度等的方法。但是，在该方法中，由于需要通过在移动焦点位置的同时产生组合图像来依次确定是否执行重新聚焦，因此处理花费一些时间。并且，在重新聚焦焦点位置处不存在被照体的情况下，不能执行评价，并由此不能获得精确的焦点控制范围。出于这种原因，希望在获得焦点控制范围时使用上述的方法。

[0087] 随后，在图9的步骤S106中，图像处理单元105从单视点图像标记位于在步骤S105中获得的焦点控制范围外面的被照体。将参照图12和图13A～13E描述该标记。图12是示出实施例的拍摄场景的例子的示图。并且，图13A～图13E是示出实施例的显示图像的说明图。

[0088] 例如，假定图12所示的被照体空间被拍摄。此时，在图13A中示出从获得的视差图像产生的单视点图像。这里以使得成像光学系统101聚焦被照体B的方式执行拍摄操作。如图12所示，被照体C存在于焦点控制范围内，但被照体A位于焦点控制范围外面。例如，当假定组合图像与单视点图像的像素数量比是1的情况时，焦点控制范围约等于单视点图像的场深。出于这种原因，在图13A中，存在于焦点控制范围外面的被照体A变模糊。

[0089] 图像处理单元105从图13A的图像通过使用在图9的步骤S104中获得的被照体空间的距离信息提取存在于焦点控制范围外面的被照体。如果在步骤S106之前获得距离信息，那么可在步骤S104以外的定时处获得距离信息。以这种方式提取的图像是图13B和图13C。图13B示出存在于焦点控制范围内的被照体，并且，图13C示出存在于焦点控制范围外面的被照体。通过斜线在提取的被照体上执行标记。但是，标记不限于此，并且可通过其它方法执行该标记。例如，可以执行着色处理、亮度校正处理或提取被照体闪烁处理等。并且，可以执行加亮显示所提取的被照体的边缘的处理。并且，关于诸如标记的图像处理，由于仅仅焦点控制范围内外之间的差异作为图像处理是足够的，因此可以按相反的方式标记焦点控制范围内的被照体。并且，用于提取被照体的图像可以是重构图像。

[0090] 随后，在步骤S107中，图像处理单元105产生上面显示焦点控制范围的显示图像。即，图像处理单元105通过组合在步骤S106中标记的焦点控制范围外面的图像与焦点控制范围内的图像来产生图13D所示的显示图像。但是，只要向用户提示焦点控制范围，就可通过其它的方法产生显示图像。例如，如图13E所示，可在显示图像内在数值上指示在步骤S105中获得的焦点控制范围。在这种情况下，由于不需要在步骤S106中提取被照体，因此不需要距离信息，并由此减少处理的数量。

[0091] 随后，在步骤S108中，图像处理单元105将显示图像输出到显示单元106。在通过图像拾取元件103获得视差图像的同时，以预先确定的间隔执行图9所示的一系列的操作。因此，用户可实时检查可通过图像拾取装置10拍摄的图像。

[0092] 下面，将参照图10，描述当在拍摄操作之后编辑图像时向用户提示焦点控制范围的情况。并且，在图10中，将不重复与图9相同的点的描述。首先，在步骤S201中，图像处理单元105获得通过视差图像获得单元100拍摄的视差图像或记录于图像记录介质110上的视差图像。随后，在步骤S202中，与图9的步骤S104同样，图像处理单元105获得用于产生代表焦点控制范围的显示图像的信息。并且，图像处理单元105获得输出到显示单元106的图像的重构设定（焦点位置、F数和视点等）。但是，图像处理单元105可在不获得重构设定的情况下通过使用预先确定的缺省值产生图像。

[0093] 然后，在步骤S203中，图像处理单元105确定是否产生显示图像的显示指令。当产生显示指令时，流程前进到步骤S205。同时，当不产生显示指令时，流程前进到步骤S204。在步骤S204中，图像处理单元105根据获得的重构设定来产生重构图像，并且将重构图像输出到显示单元106。

[0094] 随后，在步骤S205中，图像处理单元105获得组合图像的焦点控制范围。方法与图9的步骤S105相同。随后，在步骤S206中，图像处理单元105从通过指定的设定重构的图像（重构图像）标记位于焦点控制范围外面的被照体。然后，在步骤S207中，图像处理单元105产生代表焦点控制范围的显示图像。该方法中的步骤S206和S207与图9的步骤S106和S107相同。

[0095] 随后，在步骤S208中，图像处理单元105将显示图像输出到显示单元106。作为替代方案，图像处理单元105可在图像记录介质110上存储显示图像。并且，当在步骤S204之后产生显示指令时，可开始从步骤S205的处理。此时，为了增加处理速度，可在步骤S205～S207之前产生显示图像。因此，能够在产生显示指令时迅速输出显示图像。

[0096] 根据实施例，能够提供在拍摄被照体或者编辑图像时通过向用户提示重新聚焦范围以允许用户容易地根据用户的意图拍摄用户的希望的被照体或者编辑图像的图像拾取装置和图像拾取装置控制方法。

[0097] [实施例2]

[0098] 下面将描述本发明的实施例2的图像拾取装置。由于实施例的图像拾取装置的基本配置与通过参照图1描述的实施例1的图像拾取装置10相同，因此将不重复其描述。

[0099] 将参照图3和图14，描述实施例的视差图像获得单元100a的配置。图3是示出视差图像获得单元100a的示意性配置图。图14是示出视差图像获得单元100a的截面图。在图14中，成像光学系统101是变焦透镜。成像光学系统101从物侧依次包含具有正折光力的第一透镜单元L1、具有正折光力的第二透镜单元L2、具有负折光力的第三透镜单元L3、具有正折光力的第四透镜单元L4和具有正折光力的第五透镜单元L5。在改变倍率时，第一透镜单元L1和第五透镜单元L5被固定，并且第二透镜单元L2、第三透镜单元L3和第四透镜单元L4在光轴OA上移动。当执行聚焦时，第二透镜单元L2被驱动。

[0100] 如图3所示，视差图像获得单元100a从物侧（物面侧）包含成像光学系统101、透镜阵列102和图像拾取元件103。成像光学系统101在像侧共轭面202上形成来自物面201的光束的图像。透镜阵列102相对于成像光学系统101的物面201的像侧共轭面202被设置在物侧。并且，像侧共轭面202和图像拾取元件103被设置为使得通过透镜阵列102满足共轭关系。换句话说，透镜阵列102被设置为使得像侧共轭面202和图像拾取元件103具有共轭关系。来自物面201的光束穿过成像光学系统101和透镜阵列102，并且根据物面201上的光束的角度和位置入射到图像拾取元件103的不同的像素中，由此获得光场。

[0101] 根据图3所示的配置，图像拾取元件103获得系列地布置具有不同的拍摄视点和不同的拍摄范围的多个小图像的图像。图4是示出实施例的不同的视差图像获得单元100b的示意性配置图。除了透镜阵列102关于像侧共轭面202被设置在像侧以外，图4所示的配置（视差图像获得单元100b）与图3所示的配置（视差图像获得单元100a）相同。图4的视差图像获得单元100b与图3的视差图像获得单元100a的不同在于，透镜阵列102将通过成像光学系统101形成的图像重新在图像拾取元件103上形成为实物体。但是，由于透镜阵列102将通过成像光学系统101形成的图像视为物体并且在图像拾取元件103上形成图像，因此图3和图4的配置基本上相同。出于这种原因，关于图3的配置的讨论也与图4的配置的讨论相同。

[0102] 下面，将参照图15A和图15B，描述实施例的重新聚焦图像的生成方法（重新聚焦处理）。实施例的重新聚焦处理在定性上与实施例1相同，并且，成像光学系统101的分割光瞳的图像可按与对焦被照体距离对应的偏移量相互重叠（叠加）。

[0103] 图15A和图15B是具体示出图3所示的成像光学系统的配置中的透镜阵列102和图像拾取元件103的示图。在实施例中，透镜阵列102具有物侧面形成为平面并且通过凸的小透镜形成像侧面的配置。但是，与实施例1类似，透镜阵列102的形状不限于此。

[0104] 图15A和图15B的点划线表示各个小透镜的视角。当通过图像拾取元件103获得的像素值在通过与像素对应的小透镜被投影到虚像形成面203的同时被组合时，可产生聚焦于虚像形成面203上的重新聚焦图像。这里，虚像形成面203表示通过重新聚焦所聚焦的物侧面和通过成像光学系统101共轭的面。例如，为了产生聚焦在图3的物面201上的图像，可在像侧共轭面202上形成虚像形成面203。在图15A和图15B中，当产生重新聚焦图像时投影的像素由虚线示出，并且，在示出时相互偏移，使得可以容易地理解像素。可通过上述的投影像素的方法和在水平移动的同时组合各像素使得相同的像素相互重叠的方法来产生重新聚焦图像。此时，当入射到像素的光束穿过的透镜阵列102的区域相同时，像素的水平移动量相同。在这种状态中，根据入射到像素的光束穿过的透镜阵列102的区域确定在图3和图4的配置中产生重新聚焦图像时的像素的操作。

[0105] 下面，将参照图16，描述可重新聚焦范围（重新聚焦范围）。图16是示出实施例的重新聚焦范围（焦点控制范围）的说明图。甚至实施例的重新聚焦范围也如实施例1那样表达为式（1），并且，在图16中示出其关系。

[0106] 图16的Δy表示图3和图4中的光束的二维强度分布的采样间距，并且，Δy=Δσ1/σ2的关系成立。这是由于，通过成像光学系统101形成的图像被视为虚物体，并且，在尺寸按σ1/σ2倍减小的同时在图像拾取元件103上形成。这里，σ1表示像侧共轭面202与透镜阵列102的物侧主面之间的距离，并且，σ2表示透镜阵列102的像侧主面与图像拾取元件103之间的距离。即使在实施例中，由于Δ<

[0107] 由于实施例中的当拍摄被照体或者编辑图像时产生显示图像的方法示为图9和图10的流程图，因此与实施例1相同的点的描述将不被重复。

[0108] 在图9的步骤S105中，图像处理单元105获得组合图像的焦点控制范围。此时，图像处理单元105通过与实施例1相同的构思计算像侧焦点控制范围。从图16，在几何上NF=σ1/ΔLA的关系成立。并且，由于如上面描述的那样Δy=Δσ1/σ2的关系成立，因此下式（8）成立。

[0109]

[0110] 通过使用这些关系，获得下式（9）作为drefoucs要满足的条件。

[0111]

[0112] 式（9）的上限和下限的意思与式（7）相同。

[0113] 希望可通过在下式（9a）的范围内设定像侧焦点控制范围来获得更锐利的组合图像。

[0114]

[0115] 希望可通过在下式（9b）的范围内设定像侧焦点控制范围来获得更锐利的组合图像。

[0116]

[0117] 在表1中示出实施例的式（9）的值。并且，在实施例中，图像拾取元件103的有效像素的数量被设为Rtotal=150.0×10（6 pix）。并且，设定σ1=0.3712（mm）和σ2=0.0740（mm）的关系。图像拾取元件103的像素间距被设为Δ=0.0024（mm），并且，透镜阵列102的间距被设为ΔLA=0.0256（mm）。成像光学系统101的广角端的焦距被设为fW=72.2（mm），并且，望远端的焦距被设为fT＝194.0（mm）。从广角端到望远端的F数被设为F=2.9，并且，一维分割光瞳数量6
被设为N＝5。可通过组合图像像素数量指定单元111a从三种类型10.0×10 pix、6.0×
106pix和3.0×106pix选择组合图像的像素数量Rsynth。在表1中示出各像素数量的drefocus。这里，由于各单视点图像的像素数量被设为6.0×106pix，因此，为了产生10.0×106pix的组合图像，需要通过像素偏移通过使用超分辨率提高分辨率。并且，即使在图10的步骤S205中，也可根据与图9的步骤S105相同的过程获得焦点控制范围。

[0118] 根据实施例，能够提供在拍摄被照体或者编辑图像时通过向用户提示重新聚焦范围允许用户容易地根据用户意图拍摄用户的希望的被照体或者编辑图像的图像拾取装置和图像拾取装置控制方法。

[0119] [实施例3]

[0120] 下面将描述本发明的实施例3的图像拾取装置。由于实施例的图像拾取装置的基本配置与通过参照图1描述的实施例1的图像拾取装置10相同，因此将不重复其描述。

[0121] 将参照图5和图17，描述实施例的视差图像获得单元100c的配置。图5是示出视差图像获得单元100c的示意性配置图。图17是当从物侧观看视差图像获得单元100c时获得的截面图。

[0122] 在图5中，视差图像获得单元100c从物侧（物面侧）包含多个成像光学系统101a～101c和多个图像拾取元件103a～103c。多个成像光学系统101a～101c形成为使得在像侧共轭面上形成来自被照体空间的光束的图像，并且被二维设置。并且，多个图像拾取元件103a～103c分别包含多个像素。但是，实施例不限于此，并且，可以使用包含多个像素的一个图像拾取元件。

[0123] 如图7所示，视差图像获得单元100c关于成像光学系统101b的光轴的旋转轴具有六重对称性。但是，实施例不限于此，并且，成像光学系统的布置的数量可适当地改变。图像拾取元件103a～103g分别设置在成像光学系统101a～101g的像侧。但是，图像拾取元件可以不被设置为多个，并且，当不能获得由成像光学系统101a～101g形成的图像时，可使用单个图像拾取元件。被成像光学系统101a～101g折射的光束分别被相应的图像拾取元件103a～103g接收。通过图像拾取元件103a～103g获得的多个图像变为通过从不同的视点观看被照体空间获得的视差图像。通过组合这些多个图像，可以获得被照体空间的光场。

[0124] 图18是示出实施例的成像光学系统101a（和图像拾取元件103a）的截面图。由于其它的成像光学系统101b～101g和图像拾取元件103b～103g的截面图相同，因此将不重复其描述。但是，各成像光学系统可具有不同的配置。图18的成像光学系统101a是单个聚焦透镜，并且配有孔径SP。通过改变成像光学系统101a与图像拾取元件103a之间的距离，执行聚焦操作。

[0125] 下面，将参照图19描述可重新聚焦范围（重新聚焦范围）。图19是示出实施例的重新聚焦范围（焦点控制范围）的说明图。甚至实施例的重新聚焦范围也如实施例1那样由式（1）表达，并且，在图19中示出关系。

[0126] 在实施例中，Δy=Δ和Δu=Pmono/Fmono的关系成立。这里，Fmono表示成像光学系统101a～101g中的一个的F数，Pmono表示成像光学系统的出射光瞳距离。由于Δ<

[0127]

[0128] 由于实施例的当拍摄被照体或者编辑图像时产生显示图像的方法示为图9和图10的流程图，因此将不重复与实施例1相同的点的描述。在图9的步骤S104中，图像处理单元105获得对于获得焦点控制范围所需要的信息。构成实施例的视差图像获得单元100c的多个成像光学系统101a～101g分别包含可改变孔径值的开口孔径。图像处理单元105获得曝光状态预测单元113基于测光单元112的信息预测的用于拍摄操作的成像光学系统101a～
101g的各孔径值作为曝光状态的预测。可通过分别从图像拾取元件103a～103g获得的信号执行曝光状态的预测。并且，图像处理单元105获得成像光学系统101～101g的各渐晕信息项作为图像获取条件。在图18所示的成像光学系统101a～101g中，光束在视角变高时被遮蔽，由此有效F数增加。以这种方式，由于场深根据视角变得不同，因此，在步骤S105中，图像处理单元105单独地从渐晕信息计算各视角的焦点控制范围。

[0129] 随后，在图9的步骤S105中，图像处理单元105获得组合图像的焦点控制范围。此时，图像处理单元105通过与实施例1相同的构思计算像侧焦点控制范围。即，图像处理单元105通过将通过曝光状态的预测获得的拍摄操作的成像光学系统101a～101g的F数应用于Fmono来获得焦点控制范围。当通过成像光学系统101a～101g中的F数为Fmono的成像光学系统形成的图像的像素的数量由Rmono表示时，获得作为drefocus满足的条件的式（11）。

[0130]

[0131] 式（11）的上限和下限的意思与式（7）相同。

[0132] 希望可通过在下式（11a）的范围内设定像侧焦点控制范围来获得更锐利的组合图像。

[0133]

[0134] 希望可通过在下式（11b）的范围内设定像侧焦点控制范围来获得更锐利的组合图像。

[0135]

[0136] 在表1中示出作为实施例的条件式的式（11）的值。图像拾取元件103a～103g的各有效像素数量被设为Rmono=19.3×10（6 pix），并且，像素间距被设为Δ=0.0012（mm）。成像光学系统101a～101g的各焦距被设为f=50.0（mm），并且，开放F数被设为F＝1.8。在表1中，拍摄操作的F数被设为Fmono＝1.8。当F数不同时，drefocus被确定为满足式（11）。并且，在高视角的区域中，焦点控制范围根据光束的渐晕改变。例如，当图像的某个视角区域的焦点深度为轴上区域的焦点深度的两倍时，视角区域的焦点控制范围被设为轴上的焦点控制范围的两倍。可通过组合图像像素数量指定单元111a从三种类型19.3×106pix、10.0×106pix和5.0×106pix选择组合图像的像素数量Rsynth。在表1中示出各像素数量的drefocus。并且，即使在图10的步骤S202和S205中，也可根据与图9的步骤S104和S105相同的过程获得信息和焦点控制范围。

[0137] 根据实施例，能够提供在拍摄被照体或者编辑图像时通过向用户提示重新聚焦范围允许用户容易地根据用户意图拍摄用户的希望的被照体或者编辑图像的图像拾取装置和图像拾取装置控制方法。

[0138] [实施例4]

[0139] 下面，将参照图20～23，描述本发明的实施例4的图像拾取装置（图像拾取系统）。图20是示出实施例的图像拾取装置（图像拾取系统）30的框图。图21是示出图像拾取装置30的示意性配置图。

[0140] 如图21所示，视差图像获得单元（输入图像获得装置）300包含二维配置的4个单视点图像获得单元400a～400d，并且在定性上与通过参照图5描述的实施例3相同。图像处理单元（图像处理装置）301是执行图9和图10的流程图所示的处理的计算机（图像处理装置）。由图像处理单元301处理的图像被输出到显示单元（显示装置）302、记录介质（存储单元）
303和输出单元（输出装置）304中的任一个或一些。显示单元（显示装置）302例如是液晶显示器或投影仪。记录介质303是例如半导体存储器、硬盘或网络上的服务器等。输出单元304是打印机等。

[0141] 用户可在拍摄被照体或编辑图像时在通过显示单元302检查图像的同时执行操作。如果必要的话，除了图9和图10的处理或重构处理以外，图像处理单元301执行显影处理或其它的图像处理。各部件的控制由诸如PC的系统控制器305执行。系统控制器305包括组合图像像素数量指定单元305a、对焦被照体指定单元305b、显示指示单元305c和图像拾取指示单元305d。

[0142] 下面，将参照图22，描述单视点图像获得单元400a～400d的各配置。图22是示出单视点图像获得单元400的框图。在图22中，将不重复与图1相同的点的描述。

[0143] 由成像光学系统401形成的图像通过图像拾取元件403和A/D转换器404被转换成数字信号。数字信号通过图像处理单元405经受预先确定的处理，并被输出到单视点图像获得单元400内的各单元（显示单元406、存储单元409和图像记录介质（图像记录单元）410）和图像处理单元301。系统控制器411通过从系统控制器305接收信号控制单视点图像获得单元400的各单元（控制单元407、状态检测单元408、图像处理单元405和显示单元406）。曝光状态预测单元413基于从测光单元412获得的信息预测拍摄操作的曝光状态。

[0144] 图23是示出实施例的成像光学系统401a（和图像拾取元件403a）的截面图。图23所示的成像光学系统401a是具有焦点组IF和孔径SP的单焦点透镜，并且，通过驱动焦点组IF执行聚焦。甚至其它的单视点图像获得单元400b～400d也具有与单视点图像获得单元400a相同的配置。但是，各单视点图像获得单元可具有不同的配置，并且，其数量或配置不被限制。

[0145] 实施例的拍摄被照体或编辑图像时的显示图像的生成和重新聚焦处理与实施例3相同。并且，在表1中示出实施例的式（11）的值。实施例的图像拾取元件403a～403d中的每一个的有效像素的数量被设为Rmono=32.0×106(pix)，并且像素间距被设为Δ=0.0052(mm)。成像光学系统401a～401d中的每一个的焦距被设为F=200.0（mm），并且开放F数被设为F＝
2.0。表1给出通过将对于拍摄操作预测的F数设为Fmono=2.0获得的值.可通过组合图像像素数量指定单元305a从三种类型64.0×106pix、32.0×106pix和8.0×106pix选择组合图像的像素数量Rsynth。在表1中示出各像素数量的drefocus。这里，为了产生64.0×106pix的组合图像，需要通过像素偏移通过使用超分辨率提高分辨率。

[0146] 并且，在实施例被应用于图像处理装置的情况下，图像处理装置可包括存储输入图像（视差图像）的拍摄条件信息的存储单元。

[0147] 根据实施例，能够提供在拍摄被照体或者编辑图像时通过向用户提示重新聚焦范围允许用户容易地根据用户意图拍摄用户的希望的被照体或者编辑图像的图像拾取系统和图像处理装置。

[0148] 虽然已参照示例性实施例说明了本发明，但应理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽的解释以包含所有这样的修改以及等同的结构和功能。

[0149] [表1]

[0150]