一种用于产生物体的图像的光场成像系统和方法

摘要

全光系统中的视差。光场成像系统捕获不同图像，其提供相互偏移子像素量的视图。这些视图可以组合以产生物体的更高分辨率的数字图像。

权利要求

1.一种用于产生物体的图像的光场成像系统，所述光场成像系统包括：初级光学子系统，其形成物体的光学图像，所述光学图像位于所述初级光学子系统的像平面；

光场传感器模块，其包括次级成像阵列和传感器阵列，所述次级成像阵列将所述初级光学子系统的光瞳成像到所述传感器阵列上，所述次级成像阵列从所述像平面位移，使得所述传感器阵列配置为捕获所述物体的复用视图的阵列；

处理模块，配置为确定一个或多个光学参数，以实现希望的分辨率增强值，其中所述初级光学子系统和/或光场传感器模块可根据所述一个或多个光学参数调节；以及自动散焦模块，用于根据所述一个或多个光学参数自动调节所述初级光学子系统和/或光场传感器模块；并且其中所述处理模块进一步配置为将复用视图的第二捕获阵列组合为具有比所述复用视图的任一的分辨率更高分辨率的所述物体的数字图像，其中在通过所述自动散焦模块的自动调节之后，捕获所述复用视图的第二捕获阵列。

2.如权利要求1所述的光场成像系统，其中所述一个或多个光学参数包括所述初级光学子系统的有效焦距f，并且所述初级光学子系统在有效焦距上可调节。

3.如权利要求1所述的光场成像系统，其中所述一个或多个光学参数包括从所述初级光学子系统到所述次级成像阵列的距离di，并且所述光场成像系统在距离di上可调节。

4.如权利要求1所述的光场成像系统，其中所述希望的分辨率增强值是大于1的整数值。

5.如权利要求1所述的光场成像系统，其中所述处理模块进一步配置为：确定所述复用视图的第一捕获阵列中的感兴趣区域；

计算所述感兴趣区域的初始视差；

使用所述初始视差，确定所述感兴趣区域的深度范围；以及确定服从确定的深度范围的所述希望的分辨率增强值。

6.如权利要求1所述的光场成像系统，其中所述处理模块进一步配置为确定符合以下方程式的所述一个或多个光学参数其中f是所述初级光学子系统的有效焦距，

do是从所述初级光学子系统到物平面的距离，

df是视差为零时从所述初级光学子系统到物平面的距离，fμ是所述次级成像阵列的焦距，

α是以解释图像处理的因子，

wp是所述传感器阵列中传感器的尺寸，以及

是视图中相邻像素之间的距离。

7.如权利要求1所述的光场成像系统，还包括：

自动散焦模块，用于根据所述一个或多个光学参数自动调节所述初级光学子系统和/或光场传感器模块。

8.如权利要求7所述的光场成像系统，其中所述自动散焦模块接收来自所述处理模块的反馈，并且使用所述反馈以调节所述一个或多个光学参数，以实现所述希望的分辨率增强值。

9.如权利要求1所述的光场成像系统，其中所述处理模块进一步配置为将复用视图的捕获阵列组合为具有比所述复用视图的任一的分辨率更高分辨率的所述物体的数字图像。

10.如权利要求1所述的光场成像系统，其中所述初级光学子系统包括具有分辨率环的可调节镜头，其中所述分辨率环可旋转以调节所述镜头，并且指示用户所述光场成像系统的分辨率增强值。

11.如权利要求10所述的光场成像系统，其中所述可调节镜头还包括对焦环，所述对焦环可旋转以调节所述镜头，并且指示用户所述初级光学子系统的有效焦距。

12.如权利要求10所述的光场成像系统，其中所述可调节镜头还包括对焦环，所述对焦环可旋转以调节所述镜头，并且指示用户所述初级光学子系统的对焦共轭。

13.如权利要求1所述的光场成像系统，还包括电子显示器，配置为：为所述光场成像系统的用户呈现分辨率指示器，其中所述分辨率指示器为用户指示所述光场成像系统的分辨率增强值。

14.一种用于使用光场成像系统产生物体的图像的方法，所述光场成像系统包括初级光学子系统和具有次级成像阵列和传感器阵列的光场传感器模块，所述方法包括：为确定一个或多个光学参数，以实现希望的分辨率增强值；

根据所述一个或多个光学参数调节所述初级光学子系统；

利用根据所述一个或多个光学参数调节的所述光场成像系统，捕获所述物体的复用视图的阵列；以及根据所述一个或多个光学参数自动调节所述初级光学子系统和/或光场传感器模块；

并且

将复用视图的第二捕获阵列组合为具有比所述复用视图的任一的分辨率更高分辨率的所述物体的数字图像，其中在通过自动调节之后，捕获所述复用视图的第二捕获阵列。

15.如权利要求14所述的方法，其中调节所述光场成像系统包括根据所述一个或多个光学参数自动调节所述光场成像系统。

16.如权利要求14所述的方法，还包括：

将复用视图的捕获阵列组合为具有比所述复用视图的任一的分辨率更高分辨率的所述物体的数字图像。

说明书

一种用于产生物体的图像的光场成像系统和方法

技术领域

[0001] 本公开一般地涉及光场成像系统。

背景技术

[0002] 光场相机可以同时收集物体的多个图像。然而，由于捕获图像的分辨率典型地由微透镜阵列中的小透镜的数目而不是由传感器阵列中传感器的数目确定的事实，光场成像系统的分辨率降低。因此，需要用于提高由光场成像系统捕获的图像的分辨率的方法。

发明内容

[0003] 通过提供一种方法以使用视差和其他光学参数发现物体距全光相机的距离，并且使用距离和其他光学参数发现视差，本公开克服了现有技术的限制。

[0004] 在一个方面中，光场成像系统包括初级光学子系统、光场传感器模块和处理模块。初级光学子系统形成物体的光学图像，所述光学图像位于所述初级光学子系统的像平面。
光场传感器模块包括次级成像阵列和传感器阵列。所述次级成像阵列将所述初级光学子系统的光瞳成像到所述传感器阵列上，使得所述传感器阵列捕获所述物体的视图的阵列。所述次级成像阵列不位于所述像平面。而是，所述次级成像阵列从所述像平面位移(例如，散焦)，使得捕获的视图展现子像素视差。影响子像素视差的一个或多个光学参数可调节，以实现不同的分辨率增强值。处理模块使用一个或多个光学参数和具有子像素视差的视图的第一阵列，确定分辨率增强值。

[0005] 其他方面包括设备、方法、计算机可读介质、系统、组件、应用、改进以及与以上的任何相关的其他技术。

附图说明

[0006] 本公开实施例其他优点和特征，当结合附图时这些优点和特征从以下详细描述和权利要求更加显而易见，附图中：

[0007] 图1A-1B是图示根据实施例的光场成像系统的图。

[0008] 图2A是图示根据实施例的光场成像系统中的视差的图。

[0009] 图2B是根据实施例的图2A的物体区域的放大率(magnification)。

[0010] 图3A-3B是图示根据实施例的光场成像系统中的视差的图。

[0011] 图4是根据实施例的处理模块的框图。

[0012] 图5是图示根据实施例的用于实现希望程度的分辨率增强的光场成像系统的主动控制的框图。

[0013] 图6A-6E是图示根据实施例的使用用于分辨率增强的视差的不同方法的图。

[0014] 图7A是根据实施例的包括初级成像光学器件的光场成像系统的一部分的简化光学图。

[0015] 图7B是根据实施例的包括用于do>df的情况的微成像阵列的光场成像系统的简化光学图。

[0016] 图7C是根据实施例的包括用于do

[0017] 图8是根据实施例的用于执行超分辨的处理的流程图。

[0018] 图9是根据实施例的用于执行超分辨的处理的流程图。

[0019] 图10是根据实施例的适于在光场成像系统中使用的可调镜头的图。

[0020] 图11是根据实施例的光场成像系统的电子显示器。

[0021] 附图仅为了说明的目的描绘各种实施例。本领域的技术人员将容易从以下讨论认识到可以采用在此说明的结构和方法的替代实施例，而不背离在此描述的原理。

具体实施方式

[0022] 附图和以下描述仅作为说明涉及优选实施例。应该注意，从以下描述，将容易认识到在此公开的结构和方法的替代实施例作为可以采用的变化替代，而不背离要求保护的原理。

[0023] 图1A-1B是图示光场成像系统110的示例的图。光场成像系统110包括初级成像光学器件112(由图1A中的单个透镜表示)、次级成像阵列114(微透镜的阵列115)和传感器阵列180。次级成像阵列114可以称为微成像阵列。次级成像阵列114和传感器阵列180一起可以称为光场传感器模块。这些组件形成两个重叠的成像子系统，示出为图1A中的子系统1和子系统2。

[0024] 为了方便，成像光学器件112在图1A中描绘为单个物镜，但是应该理解其可以包含多个元件。在图1A中，物镜112在像平面IP形成物体150的光学图像155。当运行在“对焦”状态下，微成像阵列114位于像平面IP。系统整体上在传感器平面SP形成空间复用和交织光学图像170。次级成像阵列114的示例包括微透镜阵列、针孔的阵列、微镜阵列、棋盘格和波导/通道阵列。微成像阵列114可以是矩形阵列、六边形阵列或其他类型的阵列。图 1A中还示出传感器阵列180。

[0025] 为了说明的目的，假设图1A中的微成像阵列114是在正方形网格上的 3x3微透镜阵列。物体150分为3x3的区域阵列，其如在图1A的下部所示标记为1-9。这些区域对应于微透镜。也就是说，物体区域1通过物镜112成像到微透镜之一上，物体区域2成像到另一微透镜上等等。传感器阵列180显示为6x6的矩形传感器阵列。也就是说，在每个微透镜下存在2x2的传感器排列。光阑125分为2x2的矩形区域A-D阵列。这些区域对应于2x2的传感器排列。也就是说，光阑区域A通过每个微透镜成像到用于该微透镜的2x2 传感器的相应传感器上，光阑区域B、C、D也如此。在一些系统中，光阑区域A-D例如可以通过不同光谱滤波器滤波。

[0026] 处理模块190收集来自检测器阵列180的数据，并且相应地处理。作为简单示例，处理模块190可以重排序一起收集的数据，以便对于通过光阑125 的光形成整个物体150的图像。还可以执行其他类型的处理，因为捕获的光场包括关于光瞳面和物体150两者的信息。下面例如参照图4、5、8和9进一步讨论处理模块190。

[0027] 图1B概念性地图示如何在传感器阵列180产生和交织空间复用的光学图像170A-D。物体150产生光线。传播通过光阑区域A的光线将在IP处产生光学图像155A。为了标识光学图像155A，3x3物体区域标记有后缀A： 1A-9A。类似地，传播通过光阑区域B、C、D的来自物体150的光线将产生标记有1B-9B、1C-9C和1D-9D的3x3物体区域的相应光学图像155B、C、 D。这四个光学图像155A-D的每个由进行通过不同光阑区域A-D的光线产生，但是它们都由光场成像系统110同时产生，并且它们在IP处重叠。

[0028] 在IP处重叠的四个光学图像155A-D由微成像阵列114分离。图像 155A-D在传感器平面交织，如图1B所示。使用图像155A作为示例，来自光学图像155A的3x3物体区域1A-9A在光学图像170中的3x3块中不相邻。而是来自四个不同光学图像的区域1A、1B、1C和1D以2x2方式排列在光学图像170的左上(为了清楚忽略图像170的反向)。对象区域2-9类似地排列。因此，构成光学图像170A的区域1A-9A分散遍布合成光学图像170，由其他光学图像170B-D的各部分分隔。以另一方式，如果传感器是各个传感器元件的矩形阵列，那么总体阵列可以分隔为传感器元素的矩形子阵列171 (1)-(9)(虚线轮廓示出一个子阵列171(1))。对于每个物体区域1-9，所有来自每个图像的相应区域成像在子阵列上。例如，对象区域1A、1B、1C 和1D都成像在子阵列171(1)上。注意，因为光阑125和传感器阵列180 位于共轭平面，所以阵列114中的每个微透镜115在传感器平面SP形成光瞳面的图像(与SP’相同平面)。因为存在多个微透镜115，所以形成多个图像 171。

[0029] 进一步注意到，在图1A-1B示出的系统中，光学图像155A-D相互对齐。也就是说，光学图像155A与光学图像155B、C、D捕获相同区域。这是因为物体“对焦”，意味着对于物体的物平面与微透镜阵列114的位置一致。现在考虑当物体“失焦”时出现什么，如图2A-2B所图示的。

[0030] 在图2A中，考虑传感器平面中的两个点：180A和180B。点180A共轴位于中间微透镜之下，并且点180B从中心点180A偏移但是仍在同一微透镜之下。首先从点180A向后跟踪光线。这些光线由实线示出。还从点180B向后跟踪光线。这些光线由虚线示出。这些光线代表将由各个传感器点180收集的光线的锥体。落入微成像阵列114与传感器阵列180之间的实线锥体的光线将由传感器点180A收集，并且落入虚线锥体的光线将由传感器点180B 收集。这些光线与物体相交的位置代表由各个传感器点180收集的物体区域。

[0031] 例如，首先考虑对于点180A的实线光线。图2B示出图2A的物体区域的放大视图。如果物体位于平面O(例如，“对焦”状态)，那么传感器点180A 将收集来自物体区域255A-O的光线，如由图2B中的粗实线所表示的。如果物体“失焦”，这意味着不再精确地在平面IP形成图像，或者等价地，意味着物体不再精确地位于平面O。而是，物体可能位于平面O前面或者后面，例如，位于平面O’或者O”。如果物体位于平面O’(例如，“失焦”)，那么传感器点180A将收集来自物体区域255A-O’的光线。类似地，如果物体位于平面O”(例如，也“失焦”)，那么传感器点180A将收集来自物体区域255A- O”的光线。

[0032] 对于传感器点180B可以进行类似分析。虚线光线限定由传感器点180B 收集的光线的锥体。如果物体位于“对焦”平面O，那么传感器点180B将收集来自物体区域255B-O的光线，如由图2B中的粗实线所表示的。对于处于平面O’或者O”的物体，传感器点180B将分别收集来自物体区域255B-O’或 255B-O”的光线。可以对于同一微透镜下的传感器平面上的任何点重复这种类型的分析，并且也可以对其他微透镜重复。

[0033] 注意，当物体对焦时，物体区域255A-O和255B-O一致。也就是说，每个传感器点180收集来自相同物体区域的光。然而，当物体失焦时，不同传感器点收集来自相互偏移的物体区域的光。在物体平面O’，传感器180A收集来自物体区域255A-O’的光，传感器180B收集来自物体区域255B-O’的光，并且两个物体区域255A-O’和255B-O’不一致。而是，它们相互偏移。该偏移也称为视差(disparity)。类似地，对于物体平面O”，两个物体区域255A-O”和255B-O”也相互偏移，但是视差在其他方向。

[0034] 如果复用图像170包括同一物体的偏移图像，那么复用图像170可以由处理模块190处理以重建物体的更高分辨率数据图像。处理可以是解交织和解复用。还可以包括更复杂的图像处理，包括各种超分辨技术。

[0035] 在图3A-3B中进一步示出视差的概念。图3A示出当物体150“对焦”时的情况。标记1-9的九个方形代表图1中的物体。在图3A中，图像155A 和155D表示为虚线方形。然而，这些虚线方形不可见，因为它们与物体150 的粗外框一致。

[0036] 在图3B中，对象150“失焦”。也就是说，对象形成不与微透镜阵列114 的位置一致的图像。失焦的一个效果是图像155A和155D相互偏移。为了清晰，没有示出图像155B和155C。在图3B中，图像155A和155D相互偏移。四个图像155A-D然后形成一组图像，其在x和y方向偏移半个像素。然后可以使用超分辨技术组合这四个图像以形成更高分辨率图像。

[0037] 更一般地，不同的子像素偏移可以用于构造各种类型的更高分辨率图像。例如，如果像素到像素偏移是1/4像素，那么可以构造4倍更高分辨率图像。子像素偏移有效地添加更高分辨率信息到收集的数据。这可以用于重建更高分辨率图像。注意，由微透镜尺寸而不是传感器像素尺寸确定“像素”尺寸。也就是说，在典型的光场安排中，一个“像素”是一个微透镜的尺寸(其典型地是许多传感器)。

[0038] 图4是处理模块190的一个实施方式的框图。在该示例中，复用和交织图像155由视图提取模块492接收，视图提取模块492将传感器数据分为分离的图像155(或者视图)。如上所述，这些视图相互偏移。也就是说，它们呈现视差。优选地，从一个视图到下一个视图的视差小于一个像素。也就是说，视图与视图的视差是子像素。模块494确定视差。例如，可以通过比较不同视图155进行。可替代地，模块494可以从其他源(例如，用户输入) 获得视差。模块496然后应用超分辨技术以组合具有子像素视差的多个视图为具有比原始视图更高分辨率的视图。因此，处理的结果是增强图像。还可以应用诸如去模糊498的可选额外处理。

[0039] 图5图示光场成像系统110的主动控制以实现希望水平的分辨率增强的框图。在图5中，框110代表例如来自图1A的光场成像系统。仅仅明确示出处理模块190。在该示例中，希望特定水平的分辨率增强。例如，可能用户希望4倍分辨率增强。为了方便，这可以称为4的分辨率增强值。自动散焦 510确定散焦的正确量，以实现对应于希望的分辨率增强值的子像素视差。例如，对于4倍分辨率增强，自动散焦510可以移动物镜(或者另外调整对焦条件)以获得1/4像素视差。在一些实施例中，自动散焦510是光场成像系统110的一部分。

[0040] 可选地，来自处理模块190的反馈可以用于控制自动散焦510。如果由处理模块190确定的实际散焦是大于或小于1/4像素，那么自动散焦510进一步驱动光场成像系统直到实现希望的视差。

[0041] 图1A的示例使用3x3微透镜阵列，其中在每个微透镜下是2x2传感器阵列。这是为了说明的目的。真实世界光场成像系统典型地将具有更多微成像元件和传感器元件。例如，典型的设计可以具有每侧200-300微透镜的微透镜阵列(对于总共50,000到100,000微透镜)，并且每个微透镜下的传感器阵列具有每侧10-20传感器(对于每个微透镜总共100-500传感器)。典型的传感器尺寸可以是大约每侧5微米。

[0042] 对于以下示例，假设5μmx5μm的传感器元件，每个微透镜下16x16个传感器，其中每个微透镜是80μm x 80μm，并且200x200微透镜阵列具有总共 16mm x 16mm的尺寸。该示例中的像素尺寸是微透镜尺寸：80μm x 80μm，这是该光场系统的原始分辨率。

[0043] 图6A-6E是图示根据实施例的使用视差用于分辨率增强的不同方法的图。图6A是一个微透镜下16x16传感器区域。该区域包含16x16＝256个传感器，每个传感器对应于不同图像或视图。在图1B中，这些图像由后缀A-D代表。图6A使用两个字母后缀：AA-PP。如果对象对焦，那么视图之间将不存在视差。也就是说，视图AA到PP将全部对齐。然而，如果初级成像系统失焦，那么可能引入视差。

[0044] 如果视图到视图视差是1/16像素(例如，从视图AA到视图AB的视差是1/16像素)，那么可以组合256个视图以产生具有16倍更高分辨率的单个图像。这在图6B中图示，其将不同视图映射到它们相应的视差量。图像AA 是用于测量视差的基准，图像AB提供相对于图像AA的1/16像素视差的视图，图像AC提供相对于图像AA的2/16像素视差的视图等。

[0045] 为了清楚，图6B仅示出沿着一个方向的分辨率增强，尽管这些技术可以应用于水平和垂直方向两者。此外，分辨率增强量和/或最终分辨率可能在水平和垂直方向不同。例如，在机器视觉应用的情况下，一个尺度上分辨率的增加可能比其他尺度上更加重要。其中可以使用非方形采样的另一情况是在多光谱滤波器的几何设计中，其中滤波器可以是矩形的以容纳更高水平或垂直分辨率。

[0046] 此外，该示例解决对于位于一个二维平面的物体的分辨率增强。对于三维物体，视差随着深度变化(如由图4的块494确定)，并且图像的不同区域将具有不同视差水平。例如，考虑平滑的三维对象。在一个深度的视图到视图视差可能是0.25像素。随着z位置物体移动接近焦点，视差可能减少到0.24 像素并且然后减少到0.22像素等。随着z位置物体移动远离焦点，视差可能增加到0.27像素甚至到0.33像素。具有处于各种深度的物体的屏幕可能在相邻区域具有0.25和0.10像素的视差变化。在这些情况下，模块494可以确定深度属性以便确定局部视差。块494可以可选地还解决遮挡和显露。

[0047] 可替代地，在图6C中，每个其他视图用于产生具有8倍更高分辨率的图像。跨越所有视图的视图到视图视差是1/16像素。然而，视图AA、AC、 AE等形成用于产生8倍分辨率数字图像的一组视图。该组内视图到视图视差是1/8像素，如图6C所示，其使用视图AA作为该组的基准。通过每N个视图(N＝2在此)选择形成该组。然而，这仅仅使用总共传感器的1/4。剩余传感器可以用于产生3个额外组，每个组也可以产生具有8倍分辨率的数字图像。存在一个组AB、AD、AF等。在图6C中，对于该组示出相对于视图 AB的视差。类似地，存在分别从图像BA和BB开始的两个其他组。如果希望，不同滤波器可以放置在光阑125的平面中，使得产生总共4个图像，每个具有8倍分辨率并且分别滤波。四个滤波器例如可以是红色、绿色、蓝色和透明。图6C示出分为四个8倍分辨率图像的头两行的16个传感器。

[0048] 还可以产生不同分辨率的图像。例如，可以产生图6B的16倍分辨率图像和图6C的8倍分辨率图像。视图AA可以包括在图6B的组中，以产生16 倍分辨率图像，并且其还可以包括在图6C的组中，以产生8倍的分辨率图像。

[0049] 如图6D所示，可以通过使用1/8像素的视图到视图视差实现类似的结果。在该示例中，视图AA-AH是用于产生8倍分辨率图像的一组(示出相对于视图AA的视差)，并且视图AI-AP是用于产生另一8倍分辨率图像的第二组 (示出相对于视图AI的视差)。第三和第四组视图也从图6D中未示出的传感器可用。此外，可以独立滤波每个图像，尽管该滤波模式更容易产生，因为与图6C相比滤波器较不精细地交织。图6C和6D之间的一个不同在于在图6D中，一个组中的视图所有连续，而它们在图6C中交织。另一不同在于跨越所有视图在一个尺度上的总视差在图6D中大于一个像素，但是在图6C 中小于一个像素。

[0050] 在图6E中，视图到视图视差是3/16像素。这也可以用于产生16倍分辨率图像，尽管具有一些像素的重排序。这仅仅是一些示例。其他组合是显而易见的。此外，视图到视图视差不必精确匹配超分辨的希望程度。例如，如果视图到视图视差是1/6像素，并且希望4倍分辨率增强，那么视图可以交织或另外组合以产生4倍增强。类似地，如果微透镜放置在六边形网格上，矩形网格上的值可以从六边形网格内插。

[0051] 现在转向公式的示例推导的讨论，光场成像系统110可以在计算视差中使用，例如以便设置图5中的正确自动散焦510。该示例基于薄透镜傍轴光学器件，尽管也可以使用更复杂的方法。图7A是根据实施例的包括初级成像光学器件112的光场成像系统110的一部分的简化光学图700。图700包括初级成像光学器件112和微成像阵列114。

[0052] 初级成像光学器件112与微成像阵列114相隔距离di，为了方便将其称为阵列距离。物体150位于物体平面710，其与微成像阵列114相隔物体距离do。初级成像光学器件112具有有效焦距f。这些量中的一些是可调的。例如，如果透镜是变焦透镜，那么有效焦距f是可调的。可替代地，阵列距离 di可以通过机械移动可调。如果选择f、di和do以满足透镜制造者方程，也称为薄透镜方程，那么物体150将对焦并且将存在零视差。

[0053] 然而，自动散焦510的目的是散焦初级成像光学器件112，以便实现受控的视差量。在此情况下，f、di和do将不满足薄透镜方程。所以让df是对于 di满足薄透镜方程的物体距离。图700还包括零视差平面720，其与初级成像光学器件112相隔零视差距离df。

[0054] 此外，让d是对于do满足薄透镜方程的图像距离。图700图示当物体150 处于do时的图像平面705。图像平面705与微透镜阵列114相隔δ从图700，

[0055] δ＝d-di  (1)

[0056] -δ＝di-d  (2)

[0057] 指示当do

[0058] 在do>df的情况下，方程式正好相同除了在符号改变情况下负视差变为正视差。

[0059] δ＝di-d  (3)

[0060] 使用薄透镜方程替换di和d，对于do>df时的情况，δ可以进一步推导为：

[0061]

[0062] 图7B是根据实施例的对于do>df的情况的光场成像系统110的简化光学图750，光场成像系统110包括微成像阵列114。图750包括微成像阵列114 和传感器阵列180。传感器阵列180包括多个传感器，每个传感器具有wp的尺寸。例如，参照图6A的16x16传感器阵列，wp是传感器像素尺寸的尺寸。传感器阵列180与微成像阵列114相隔微成像阵列114的有效焦距(fμ)。当 do>df时，实际图像平面705位于微成像阵列114前面距离δ。

[0063] 同样地，图7C是根据实施例的对于do114之后距离δ

[0064] 回想相邻传感器(例如，图6A中的传感器AA和AB)对应于相邻视图。如图7B和7C所示，以点721为中心的传感器将“看到”以751为中心的图像的一部分，并且以点722为中心的传感器将“看到”以752为中心的图像的一部分。因此，代表相邻视图的这些相邻传感器看到分隔标记“视差”的距离的图像的各部分。这是视图到视图视差，其从各图可以推导为：

[0065]

[0066] 其中α是添加以解释图像处理的因子。在模式化和测量视差之间可能存在微小差别，并且α解释这些差别。在一些实施例中，在模式化和测量视差不存在差别和/或差别非常小，可以设为1的值。对于δ替换方程式(5)得到

[0067]

[0068] 方程式(7)表示在图像平面705以距离为单位的视差。让 是给定视图的两个像素之间的距离。参照图6A，是从一个微透镜之下的传感器AA到相邻微透镜之下的协同定位AA的距离。可替代地，是一个微透镜的长度。将方程式(7)除以 得到以像素表示的视差，其由Δ表示：

[0069]

[0070] 注意在方程式(8)中， 其中K是沿着微透镜的一个维度的传感器的数目。在图6A中，K＝16。

[0071] 以像素为单位的视差(Δ)代表两个相邻视图之间的视差。相邻视图可能是水平或垂直的。假设系统的光轴沿着z轴，两个视图在x轴上水平相隔M个视图，并且在y轴上垂直相隔N个视图，由以下给出：

[0072] z(x，y)＝(Δ*M，Δ*N)  (9)

[0073] 注意，方程式(6)-(9)部分使用薄透镜方程式得到以简化数学运算。在其他实施例中，可以替代薄透镜方程式使用其他更精确的模型。例如，在一些实施例中，在方程式(6)-(9)的推导中可以使用厚透镜方程式。

[0074] 现在转向使用上述用于视差的方程式的实施方式，图8是根据实施例的用于执行超分辨的处理800的流程图。在一个实施例中，图8的处理800由光场成像系统110(例如，经由处理模块190)执行。在其他实施例中，其他组件或模块可以执行一些或全部步骤。同样地，实施例可以包括不同和/或额外步骤，或者以不同顺序执行步骤。

[0075] 光场成像系统110捕获805空间复用图像170。在一些实施例中，光场成像系统110在捕获805空间复用图像170时对于一个或多个光学参数使用默认值。光学参数是影响视差值的参数。光学参数可以包括例如f、do、df、d、 di、f、wp、 及其组合。光学参数的值可以存储为光学参数的校准数据库的部分。校准数据库存储f、di和/或do的各种组合的分辨率增强值之间的映射。如上参照图1A讨论的，成像子系统1在初级光学子系统1的图像平面形成物体150的光学图像，并且成像子系统2将成像子系统1的光瞳成像在传感器阵列180上，使得传感器阵列180捕获物体的图像阵列。视图阵列称为空间复用图像。

[0076] 光场成像系统110从空间复用图像提取810不同视图。光场成像系统110 确定815提取视图中的感兴趣区域(ROI)。在一些实施例中，自动选择ROI，例如，光场成像系统110选择提取视图的中心部分作为ROI。在其他实施例中，用户可以使用提取视图的一部分作为ROI。

[0077] 光场成像系统110对于ROI计算820初始视差值，例如，通过匹配不同视图中的相应特征。可以使用各种方法(例如，块匹配、自动关联、PPC、光场规模和深度(Lisad)等)计算初始视差值。

[0078] 光场成像系统110确定825ROI的深度范围(例如，物体距离的范围)。通过在方程式(8)中使用计算的视差Dint(以像素为单位)来这样做以解决深度do：

[0079]

[0080] 光场成像系统110可以使用方程式(10)确定do的最小值do(min)和do的最大值do(max)。ROI的深度范围从do(max)到do(min)。

[0081] 光场成像系统110然后考虑ROI的深度范围，确定830希望的分辨率增强值。深度范围可以限制可实现的分辨率增强值。在一个方法中，光场成像系统110对于范围do(min)到do(max)内的物体距离do-adjusted选择分辨率增强值。还使用校准数据库是识别对焦设置fadjusted的相应值。该值fadjusted是对于深度 do-adjusted将导致希望的分辨率增强值的对焦设置。在一些实施例中，光场成像系统110识别与最高可实现的分辨率增强值相关联的do(min)到do(max)范围内的do-adjusted。光场成像系统110还可以计算对应于选择的分辨率增强值的调整的视差值Dadjusted。

[0082] 光场成像系统110调整835一个或多个光学参数，以便实施在步骤830 中进行的选择。例如，可以调整初级成像光学器件112以实施有效焦距fadjusted。作为另一示例，如果需要，则还可以调节阵列距离di。在一个方法中，光场成像系统110使用对于do-adjusted、fadjusted和Dadjusted确定的值以经由下面方程式计算调节的df-adjusted：

[0083]

[0084] 这经由薄透镜方程式确定初级成像光学器件112和传感器阵列180之间的距离di-adjusted。光场成像系统110可以根据需要调整该间隔。

[0085] 在一些实施例中，光场成像系统110还为了最大传感器利用率设置初级成像光学器件112的光阑(例如，光场成像系统110设置初级成像光学器件 112的光阑，使得其光圈值匹配微成像阵列114的光圈值)。

[0086] 光场成像系统110基于调整的光学参数捕获第二空间复用图像。光场成像系统110以与上面对于步骤810描述的类似方式从捕获图像提取845视图。

[0087] 光场成像系统110使用从第二空间复用图像提取的视图执行850分辨率增强。在一些实施例中，调整光学参数，以便对于给定ROI实现可能的最高分辨率增强。因此，在一些实施例中提取的视图使得光场成像系统110能够获得提取视图的最大分辨率增强。

[0088] 图9是根据实施例的用于执行超分辨的另一处理900的流程图。在一个实施例中，图9的处理900由光场成像系统110(例如，经由处理模块190) 执行。在其他实施例中，其他组件或模块可以执行一些或全部步骤。同样地，实施例可以包括不同和/或额外步骤，或者以不同顺序执行步骤。

[0089] 在图9中，一些框旨在包括来自图8的多个步骤。例如，框“805-825”包括来自图8的步骤805、810、815、820和825。在步骤820中，计算ROI 的视差，并且在步骤825中，对于ROI确定深度范围(例如，物体距离的范围)。光场成像系统110然后确定捕获的空间复用图像的分辨率增强值，并且决定924分辨率增强值是否足够高，例如，大于或等于阈值。在一个设计中，决定924可以是当前视差是否大约等于一半像素(例如，分辨率增强值大约为2)。如果满足条件924，那么光场成像系统110对已经提取的视图执行850 分辨率增强。如果不满足条件924，那么光场成像系统110继续来自图8的剩余处理。在此情况下，基于使用调整的光学参数捕获的第二空间复用图像执行850分辨率增强。

[0090] 现在转向光场成像系统110的实施方式的讨论，图10是根据实施例的适于在光场成像系统中使用的可调镜头1000的图。镜头1000包括主体1005，其包围光学组件1010，并且包括用于将镜头1000耦合到剩余光场成像系统 110的底座1015。光学组件1010是上面参照图1A描述的初级成像光学器件 112。主体1005还包括对焦环1020和分辨率环1030。

[0091] 光学组件1010可以通过旋转对焦环1020和/或分辨率环1030来调节。在该示例中，对于.5m、1m、2m和无限远的物体距离标记对焦环1020。在其他实施例中，可以在对焦环1020上标记其他距离值。对焦指示器1025指示到物体的距离(例如，图7A中的do)。例如，对焦指示器1025对于大约0.75m 远的物体设置用于光学组件1010的对焦设置。在传统变焦镜头和其他可调镜头中，设置物体距离典型地确定有效焦距和对于镜头共轭。然而，在此情况下，分辨率增强因子也将影响这些量。

[0092] 分辨率环1030用于设置光场成像系统110的分辨率增强值。在该示例中，对于x2、x3和x4的分辨率增强值标记分辨率环1030。在其他实施例中，可以在分辨率环1030上标记其他分辨率增强值。分辨率指示器1035指示选择的分辨率增强。例如，在图10中，将分辨率环1030设置为x3分辨率增强值。注意，0.75m物理距离和x2分辨率增强的设置是与0.75m物理距离和x3分辨率增强的设置不同的光学设置。

[0093] 尽管没有示出，但是在一些实施例中，镜头1000还可以包括光阑环以控制光学镜头组件1010中的光阑的尺寸。光阑环将呈现多个不同光圈值(例如， 2、2.8、4、5.6、8、11、16、22等)并且指示器识别选择的光圈值。在一些实施例中，光场成像系统110配置为对于例如正确曝光、最大传感器利用率、特定景深或其一些组合自动选择光圈值。

[0094] 图11是根据实施例的光场成像系统110的电子显示器。电子显示器1100 呈现分辨率增强屏幕1110。分辨率增强屏幕1110包括对焦条1120、分辨率条1130和图像1140。对焦条1120和分辨率条1130可调节，使得用户可以对于一个或两个条修改设置。光场成像系统110基于对焦条1120和分辨率条 1130的设置修改图像1140。在图11中，分辨率条1130设为x2分辨率增强，并且以x2分辨率增强显示图像1140。在一些实施例中，在显示更高分辨率增强(例如，x3)的图像的情况下，该图像将显示大于x2图像1140。同样地，更低分辨率增强(例如，x1)的图像将显示为小于图像1140的图像。在一些实施例中，可以以不同分辨率同时显示图像1140的多个版本。

[0095] 此外，在一些实施例中，光场成像系统110基于对分辨率条1130的用户调节来调节对焦条1120的设置，或者反之亦然。光场成像系统110还可以基于分辨率条1130的当前设置限制对焦条1120的特定设置，或者反之亦然。例如，对于对焦条1120的特定设置，光场成像系统110可能不允许x4分辨率增强。

[0096] 在此公开的方法和系统具有多个优点。一个优点是通过增加一个或多个特征到光场成像系统(诸如计算视差和调节分辨率增强值，其与光场成像系统调节对焦的能力一起使用以提供分辨率增强)，提供分辨率增强。此外，使用包括以上的方程式确定视差，其提供跨越多个视图的子像素的粒度。另一优点是通过增加物理分辨率环到光场成像系统以调节分辨率增强值是易于使用的，因为其与对焦环类似地运作，用户对于此是熟悉的。类似地，在光场成像系统显示中与交互对焦环一起增加交互分辨率环的优点是易于使用。

[0097] 额外的配置信息

[0098] 尽管具体描述包含了许多细节，但是这些不应理解为限制本公开的范围，而是仅仅理解为说明本公开实施例的不同示例和方面。应该理解，本公开的范围包括上面没有详细讨论的其他实施例。可以对在此公开的实施例的方法和装置的安排、操作和细节上进行对于本领域技术人员显而易见的各种其他修改、改变和变化，而不背离如权利要求限定的实施例的精神和范围。因此，要求保护的实施例的范围应该由所附权利要求及其等级物确定。

[0099] 在替代实施例中，以计算机硬件、固件、软件和/或其组合实施本公开的各方面。可以以非暂时计算机可读存储介质和/或有形地体现在计算机可读存储设备中用于由可编程处理器执行的计算机程序产品，实施本公开的装置的实施例；并且通过操作输入数据并且生成输出，可由执行指令的程序的可编程处理器执行本公开实施例的方法步骤，以执行本公开实施例的功能。本公开实施例可以由一个或多个计算机程序有利地实施，一个或多个计算机程序可在可编程系统上执行，可编程系统至少包括耦合至少一个可编程处理器，用于从数据存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并且发送数据和指令到数据存储系统、至少一个输入设备和至少一个输出设备。如果需要，每个计算机程序可以以高级过程或面向对象变成语言、或者以汇编或机器语言实施；并且在任何情况下，语言可以是编译的或解释的语言。作为示例，适当的处理器包括通用和专用微处理器两者。通常，处理器将从只读存储器和/或随机存取存储器接收指令和数据。通常，计算机将包括用于存储数据文件的一个或多个大容量存储设备；这样的设备包括磁盘，诸如内部硬盘和可移除盘；磁光盘；以及光盘。适于有形地体现计算机程序指令和数据的存储设备包括所有形式的非易失性存储器，作为示例包括半导体存储器设备，诸如EPROM、EEPROM和闪速存储器设备；磁盘，诸如内部硬盘和可移除盘；磁光盘；以及CD-ROM盘。前述的任何可以由ASIC(专用集成电路)和其他形式的硬件补充或并入。

[0100] 术语“模块”不意味着限制到具体物理形式。取决于具体应用，模块可以实施为硬件、固件、软件和/或其组合。此外，不同模块可以共享公共组件或者甚至由相同组件实施。不同模块之间可能有或可能没有清楚的边界。取决于模块的形式，模块之间的“耦合”也可能采取不同形式。专用电路例如可以通过硬布线或者通过访问公共寄存器或存储器位置相互耦合。软件“耦合”可以通过多种方式出现，以在软件组件之间(或者在软件和硬件之间，如果是在此情况下)传送信息。术语“耦合”意味着包括所有这些，而不意味着限制为两个组件之间硬布线的永久连接。