用于超分辨率成像的三轴OIS方法及系统

摘要

本发明提供用于使用3轴OIS进行超分辨率成像的系统和方法。可通过以下操作创建超分辨率图像：使用图像捕获设备的摄像机上的OIS系统实现三个轴中的光学图像稳定(OIS)；使用摄像机的图像传感器捕获场景的图像；将图像传感器上的图像移位预定子像素量；捕获子像素移位图像；以及使用该图像和该子像素移位图像构造场景的超分辨率图像。在一个特定实施方式中，位置传感器可以测量图像传感器在捕获图像之后的位置漂移。使用该测量的位置漂移，可以确定足以将图像传感器移位预定子像素量的时间。随后可以在所确定的时间内在一个或两个轴上禁用OIS。

权利要求

1.一种方法，包括：

使用图像捕获设备的摄像机上的光学图像稳定系统即OIS系统实现三个轴中的光学图像稳定即OIS，其中所述三轴OIS通过在三个自由度中移动所述图像传感器而使所述摄像机的所述图像传感器上的图像稳定；

使用所述摄像机的图像传感器捕获场景的图像；

通过沿一个或两个自由度禁用所述OIS并等待用户的手的自然抖动移位光学路径来完成将所述图像传感器上的所述图像移位预定子像素量；

捕获所述子像素移位图像；以及

使用所述图像和所述子像素移位图像构造所述场景的超分辨率图像，其中当所述图像和所述子像素移位图像被捕获时，在三个轴中实现所述OIS。

2.根据权利要求1所述的方法，其中所述图像捕获设备为手持移动设备。

3.根据权利要求1所述的方法，其中所述OIS系统包括MEMS致动器，所述MEMS致动器被配置为在所述三个自由度中移动所述图像传感器。

4.根据权利要求1所述的方法，进一步包括：使所述摄像机的镜头变形，以在所述摄像机镜头的具体区域内优化点扩展函数即PSF；

以及

数字地放大所述摄像机镜头的所述区域中对应于所优化的PSF的场景，其中所放大的场景是对应于所述图像的场景。

5.根据权利要求4所述的方法，进一步包括，通过对所述场景多次取样来构造所述场景的超分辨率图像，其中在每次对所述场景取样时实现三个轴中的所述OIS，其中构造所述场景的所述超分辨率图像包括在超分辨率图像构造期间应用反卷积算法，以移除与所述PSF关联的模糊。

6.一种方法，包括：

使用图像捕获设备的摄像机上的光学图像稳定系统即OIS系统实现三个轴中的光学图像稳定即OIS；

使用所述摄像机的图像传感器捕获场景的图像；

使用一个或多个位置传感器来测量所述图像传感器在捕获所述图像之后的位置漂移；

通过以下操作将所述图像传感器上的所述图像移位预定子像素量：基于所述图像传感器的所测量的位置漂移，确定足以将所述图像传感器移位所述预定子像素量的时间；以及在所确定的时间内停用一个或两个轴中的所述OIS，并等待用户的手的自然抖动来移位光学路径；

捕获所述子像素移位图像；以及

使用所述图像和所述子像素移位图像构造所述场景的超分辨率图像，其中当所述图像和所述子像素移位图像被捕获时，在三个轴中实现所述OIS。

7.根据权利要求6所述的方法，其中所述三轴OIS通过在三个自由度中移动所述摄像机的镜头而使所述摄像机的所述图像传感器上的图像稳定。

8.根据权利要求6所述的方法，其中所述一个或多个位置传感器中的一个是陀螺仪。

9.根据权利要求6所述的方法，其中所述三个轴由俯仰轴、偏航轴和横摇轴组成，并且其中停用一个或两个轴中的所述OIS包括停用所述俯仰轴、所述偏航轴或者所述俯仰轴及偏航轴中的所述OIS。

10.一种图像捕获设备，包括：

摄像机，其包括图像传感器和OIS系统以用于实现三轴OIS，其中所述三轴OIS通过在三个自由度中移动所述图像传感器而使所述摄像机的所述图像传感器上的图像稳定；

一个或多个处理器；以及

一个或多个非暂时性计算机可读介质，其可操作地耦合到所述一个或多个处理器中的至少一个处理器并且具有存储于其上的指令，当由所述一个或多个处理器中的至少一个处理器执行时，所述指令促使所述一个或多个处理器中的至少一个处理器：使用所述摄像机捕获场景的图像；

通过沿一个或两个自由度禁用所述OIS并等待用户的手的自然抖动移位光学路径来完成将所述图像传感器上的所述图像移位预定子像素量；

使用所述摄像机捕获所述子像素移位图像；以及使用所述图像和所述子像素移位图像构造所述场景的超分辨率图像，其中当所述图像和所述子像素移位图像被捕获时，在三个轴中实现所述OIS。

11.根据权利要求10所述的设备，其中所述图像捕获设备为手持移动设备。

12.根据权利要求10所述的设备，其中所述OIS系统包括MEMS致动器，所述MEMS致动器被配置为在所述三个自由度中移动所述图像传感器。

13.根据权利要求10所述的设备，其中当由所述一个或多个处理器中的至少一个处理器执行时，所述指令进一步促使所述一个或多个处理器：使所述摄像机的镜头变形，以在所述摄像机镜头的具体区域内优化点扩展函数即PSF；

以及

数字地放大所述摄像机镜头的所述区域中对应于所优化的PSF的场景，其中所放大的场景是对应于所述图像的场景。

14.一种图像捕获设备，包括：

摄像机，其包括图像传感器和OIS系统以用于实现三轴OIS；

一个或多个位置传感器，所述位置传感器被配置为测量所述图像传感器的位置漂移；

一个或多个处理器；以及

一个或多个非暂时性计算机可读介质，其可操作地耦合到所述一个或多个处理器中的至少一个处理器并且具有存储于其上的指令，当由所述一个或多个处理器中的至少一个处理器执行时，所述指令促使所述一个或多个处理器中的至少一个处理器：使用所述摄像机捕获场景的图像；

通过执行以下操作来将所述图像传感器上的所述图像移位预定子像素量：基于所述图像传感器的所测量的位置漂移，确定足以将所述图像传感器移位所述预定子像素量的时间；以及在所确定的时间内停用一个或两个轴中的所述OIS，并等待用户的手的自然抖动来移位光学路径；

使用所述摄像机捕获所述子像素移位图像；以及使用所述图像和所述子像素移位图像构造所述场景的超分辨率图像，其中当所述图像和所述子像素移位图像被捕获时，在三个轴中实现所述OIS。

15.根据权利要求14所述的设备，其中所述三轴OIS通过在三个自由度中移动所述摄像机的镜头而使所述摄像机的所述图像传感器上的图像稳定。

16.根据权利要求14所述的设备，其中所述一个或多个位置传感器中的一个是陀螺仪。

17.根据权利要求14所述的设备，其中所述三个轴由俯仰轴、偏航轴和横摇轴组成，并且其中停用一个或两个轴中的所述OIS包括停用所述俯仰轴、所述偏航轴或者所述俯仰轴及偏航轴中的所述OIS。

说明书

用于超分辨率成像的三轴OIS方法及系统

技术领域

[0001] 本公开总体涉及电子机械设备和系统，诸如微机电系统(MEMS)。更具体地，本文公开的技术的各种实施例涉及使用3轴OIS系统的图像分辨率增强技术。

背景技术

[0002] 当前的图像缩放方法包括数字缩放和光学缩放。在数字缩放中，图片被裁成感兴趣的区域，并且该区域的像素被扩大。虽然感兴趣的区域被“放大 (zoom in)”，但分辨率显著地小于图像传感器的物理像素分辨率。数字缩放的一种替代方案是光学缩放，其中马达移动摄像机镜头的光学元件以改变镜头的焦距，即镜头的中心与图像传感器之间的距离。虽然光学缩放以图像的物理分辨率对实际缩放的图像取样，但其硬件要求仍不适合微型摄像机，例如在移动设备中发现的那些微型摄像机。

[0003] 在实践中，可以应用超分辨率技术以在执行数字缩放时实现更高的分辨率。超分辨率可以指代从同一场景的多个低分辨率(LR)图像构造该场景的高分辨率(HR)图像的各种图像处理技术。在图像捕获期间，同一场景的不同LR图像是通过在每次图像捕获之后稍微移动图像传感器的光学路径进行的。随后，通过将来自参考LR图像的信息与来自其他移位LR图像的信息进行组合来构造HR图像(即超分辨率图像)。

[0004] 图像的超分辨率重构中的关键步骤是图像配准。在图像配准期间，LR 图像的运动参数被估计，然后LR图像被几何地对准。为了实现准确的超分辨率图像重构，图像对准必须是精确的。相应地，多个LR输入图像之间的准确配准参数的可用性对于实现图像超分辨率的良好性能是至关重要的。一般来说，具有子像素准确度的配准是重构过程的成功所必需的。

[0005] 超分辨率重构中的另一个重要考量是运动模糊。避免在图像捕获期间由摄像机的运动引起的模糊是期望的。如果运动模糊的量接近或超过一个像素，则如果有的话，可能对参考LR图像作出小的分辨率增强。运动模糊是在手持移动设备中使用的摄像机的特别关切点。

[0006] 手持移动设备中的超分辨率技术的当前实施方式依赖于沿着两个正交轴即俯仰轴和偏航轴的光学图像稳定(OIS)。2轴OIS试图消除由摄像机的运动导致的图像模糊。此外，在移动设备中实现的当前超分辨率技术依赖于OIS 自身来命令致动器的移动以在图像取样期间导致光学路径的特定子像素移动。

发明内容

[0007] 在各种实施例中提供了用于使用3轴OIS系统的图像分辨率增强技术的系统和方法。在本文公开的技术的一个实施例中，图像捕获设备包括摄像机，该摄像机包括图像传感器和OIS系统以用于实现3轴OIS。在该实施例中，图像捕获设备包括一个或多个处理器和一个或多个非暂时性计算机可读介质，所述非暂时性计算机可读介质可操作地耦合到所述一个或多个处理器中的至少一个并且具有存储于其上的指令，当由一个或多个处理器中的至少一个执行时，所述指令使一个或多个处理器中的至少一个：使用摄像机捕获场景的图像；将图像传感器上的图像；使用摄像机捕获子像素移位图像；以及使用所述图像和子像素移位图像捕获场景的超分辨率图像。在该实施例中，当捕获所述图像和子像素移位图像时，在三个轴中实现OIS。

[0008] 在本文公开的技术的另一个实施例中，OIS系统通过在三个自由度中移动图像使摄像机的图像传感器上的图像稳定。在该实施例的实施方式中，OIS 系统包括MEMS致动器，该MEMS致动器在三个自由度中移动图像传感器。在该实施例的进一步实施方式中，图像捕获设备是移动设备。

[0009] 在本文公开的技术的另一个实施例中，图像捕获设备包括一个或多个位置传感器，所述位置传感器被配置为测量图像传感器在捕获图像之后的位置漂移。在该实施例的实施方式中，所述指令促使一个或多个处理器通过执行以下操作来将图像传感器上的图像：基于图像传感器的所测量的位置漂移来确定足以将图像传感器移位预定子像素量的时间；以及在所确定的时间内停用一个或两个轴中的OIS。在该实施例的进一步实施方式中，一个或多个位置传感器中的一个是陀螺仪。

[0010] 在本文公开的技术的另一个实施例中，3轴OIS通过在三个自由度中移动摄像机的镜头使摄像机的图像传感器上的图像稳定。

[0011] 在本文公开的技术的另一个实施例中，指令进一步促使一个或多个处理器：使摄像机的镜头变形，以在摄像机镜头的具体区域内优化点扩展函数 (PSF)；以及数字地放大对应于所优化的PSF的摄像机镜头的区域中的场景，其中放大的场景是对应于图像的场景。

[0012] 在本文公开的技术的另一个实施例中，一种方法包括：使用图像捕获设备的摄像机上的OIS系统实现三个轴中的光学图像稳定(OIS)；使摄像机的镜头变形，以在摄像机镜头的具体区域内优化点扩展函数(PSF)；以及数字地放大对应于所优化的PSF的摄像机镜头的区域中的场景；以及通过对场景多次取样构造场景的超分辨率图像，其中在每次对场景取样时实现三个轴中的OIS。在该实施例的实施方式中，构造场景的高分辨率图像包括在超分辨率图像构造期间应用反卷积算法以移除与PSF关联的模糊。

[0013] 本公开的其他特征和方面将从以下结合附图的详细描述中变得明显，所述附图通过示例的方式示出根据各种实施例的特征。本发明内容不旨在限制本发明的范围，其由随附的权利要求唯一地限定。

附图说明

[0014] 参考以下附图详细描述根据一个或多个各种实施例的本文公开的技术。提供附图仅用于图示说明的目的并且仅仅描绘所公开的技术的典型或示例实施例。提供这些附图是为了促进读者理解所公开的技术，而不应被视为限制所公开的技术的宽度、范围或适用性。应注意的是，出于清楚和易于说明的目的，这些附图不必按比例绘制。

[0015] 图1A是其中可实现本文公开的技术的各种实施例的示例移动设备的透视图。

[0016] 图1B是图1A的示例移动设备的分解透视图。

[0017] 图2A是根据本文公开的技术的各种实施例可在图1A的移动设备中实现的示例摄像机模块的透视图。

[0018] 图2B是图2A的示例摄像机模块的分解透视图。

[0019] 图3A是根据本文公开的技术的各种实施例可在图1A的移动设备中实现的另一个示例摄像机模块的透视图。

[0020] 图3B是图3A的示例摄像机模块的分解透视图。

[0021] 图4是根据本文公开的技术的各种实施例所利用的示例MEMS致动器的俯视图。

[0022] 图5是根据本文公开的技术的各种实施例所利用的示例图像传感器封装件的分解透视图。

[0023] 图6是可用于实现本文公开的技术的实施例的示例超分辨率成像设备的框图。

[0024] 图7是根据各种实施例示出使用3轴OIS系统对多个图像取样以用于超分辨率成像的示例方法的操作流程图。

[0025] 图8是根据各种实施例示出使用3轴OIS系统对多个图像取样以用于超分辨率成像的另一个示例方法的操作流程图。

[0026] 图9A-图9C示出其中通过移动摄像机的镜头筒改变到图像传感器的光学路径的实施例中的示例图像移位。

[0027] 图10A-图10C示出其中通过移动图像传感器而不是摄像机的镜头筒改变到图像传感器的光学路径的实施例中的示例图像移位。

[0028] 图11根据本文公开的技术的各种实施例示出可用于实现3D成像的体系结构和方法的示例芯片组。

[0029] 附图不旨在是详尽的或者将本发明局限于所公开的精确形式。应理解的是，可以通过修改和改变实践本发明，并且所公开的技术仅通过权利要求及其等效物限制。

具体实施方式

[0030] 手持移动设备中的超分辨率成像技术的当前实施方式存在两个问题，其阻止参考图片的子像素移位的准确捕获。第一，此类实施方式依赖于未能在图像捕获期间校正成像设备的横摇的2轴OIS系统。然而，图像的2轴(俯仰和横摇)OIS不能稳定/补偿摄像机的横摇方向。因此，图像传感器的光学路径未被完全地稳定并且存在来自旋转孔径的变化的运动模糊。该运动模糊沿着其中旋转孔径存在最大可变性的图像的边缘尤为明显。因此，基于俯仰和偏航(2轴)OIS的技术不能用于有效地使图像稳定到小于手持移动设备中的一个像素。

[0031] 第二，当前的实施方式依赖于OIS本身在图像取样期间完成摄像机镜头的具体子像素移动。在此类技术中，OIS处理器命令致动器移动一个子像素距离(例如，1/2像素)。然而，向致动器发出命令将花费时间(例如，10ms)，在此期间，2轴OIS必须补偿真实移动的多个像素(例如，5个)。由于对致动器和2轴OIS运动传感器两者的精度限制，因此测量的像素位置中的大误差可能在该阶段发生。这些误差被一起传递到图像配准过程的运动参数，从而在配准过程期间导致LR图像的未对准。

[0032] 因此，本文公开的技术的各种实施例涉及基于3轴OIS系统的超分辨率成像。所公开的技术使用OIS系统对多个图像取样，所述OIS系统在三个自由度(例如，俯仰、偏航和横摇)中稳定每个图像。通过应用这种技术，可能导致运动模糊的所有运动得到补偿，从而允许图像配准期间的子像素精度。

[0033] 在进一步的实施例中，所公开的技术依赖于用户的手的自然抖动在图像取样期间实现图像传感器的光学路径的子像素移位。在这些实施例的实施方式中，在图像捕获中间，在OIS系统的一个或两个自由度(例如，X、X-Y或 Y)中禁用OIS。跟随用户抖动引发的子像素移位，在所有的三个自由度中使能运动稳定，并且移位图像被捕获。因此，这种技术避免由对OIS系统和致动器的依赖引起的像素移位误差，以用于制造子像素移位。

[0034] 本文公开的技术的应用可显著地增强通过具有受限图像传感器尺寸、受限像素密度或两者(例如，手持移动电话摄像机)的摄像机捕获的图像的分辨率。进一步地，所公开的技术的应用可以用于以超过图像捕获设备的物理分辨率的分辨率数字地放大图像的一个区域。

[0035] 图1A示出包含在其中可实现各种实施例的微型摄像机12的示例移动设备11(例如，移动电话)的透视图。微型摄像机12可以采用图像传感器封装件，诸如移动图像传感器封装件。微型摄像机12的尺寸设计可以被优化以促进微型摄像机12合并在移动设备11内或作为移动设备11的一部分。例如，微型摄像机12的总厚度可以小于移动设备11的总厚度，使得微型摄像机12 可以被合并在移动设备11内，以呈现消费者友好型设计。此外，微型摄像机 12的其他尺度也可以被适当地设计尺寸，以允许其他部件配合在例如移动设备11的壳体或外壳内。微型摄像机12可以实现与图像传感器移动相关的各种功能，诸如OIS、自动聚焦(AF)、镜头与图像传感器之间的对准等。

[0036] 图1B根据本文公开的技术的一个实施例示出图1A的移动设备10，其中壳体/外壳被部分地暴露以展现微型摄像机12。应当指出的是，虽然在用于诸如移动电话、平板个人计算机(PC)、便携式PC等的移动设备中的微型摄像机模块的背景中呈现了本文公开的各种实施例，但所公开的技术可以适于在其他设备或背景中使用，诸如较大型的摄像机、医学成像、大规模成像、视频等等。

[0037] 图2A示出微型摄像机12的透视图。微型摄像机12可以包括电磁干扰 (EMI)屏蔽件13、镜头筒14和移动图像传感器封装件15。可以使用商业主动对准装置使镜头筒14对准移动图像传感器封装件15并安装到移动图像传感器封装件15。EMI屏蔽件13可以在筒组装之后附接，或者可以在移动图像传感器封装件15的组装之前安装到镜头筒14。在摄像机模块设计和制造期间，镜头筒14可以被修改以实现期望的光学性能，诸如但不限于：视野；光学传递函数；杂散光；重影；色差；失真；以及聚焦范围。此外，并且进一步在摄像机模块设计和制造期间，镜头筒14可以被修改以实现期望的机械性能，诸如但不限于：厚度；宽度；以及形状。可以基本上独立于移动图像传感器封装件15做出上述镜头筒修改。相反，可以基本上独立于镜头筒14对移动图像传感器封装件15做出改变。

[0038] 图2B示出具有移动图像传感器封装件15的微型摄像机12的局部分解图。EMI屏蔽件13被示出为附接到镜头筒14并与移动图像传感器封装件15 分离。移动图像传感器封装件15是相对薄的并且具有与常规非移动图像传感器封装件大致相同的厚度。

[0039] 图3A根据另一个实施例示出未合并EMI屏蔽件的另一个示例微型摄像机12’的透视图。例如，EMI屏蔽件可能已经被移除或者作为微型摄像机12’的设计选项被完全忽略。类似于微型摄像机12，微型摄像机12’可以包括镜头筒14’、自动聚焦(AF)致动器16和移动图像传感器封装件15’。AF致动器 16可以是音圈马达(VCM)类型的致动器、MEMS致动器、压电致动器、形状记忆合金致动器或任何其他类型的致动器。还可以使用诸如液体镜头、液晶镜头、可变形聚合物镜头等的可调镜头来实现AF功能。

[0040] 本文公开的技术的各种实施例采用OIS功能，诸如三轴OIS，其补偿涉及横摇、俯仰和偏航的摄像机移动。应当指出的是，可以将此类OIS功能添加到微型摄像机12’，而无需对AF致动器16或镜头筒14做出任何改变。移动图像传感器封装件15内部的图像传感器的运动可用于补偿摄像机定点时间变化。应当指出的是，摄像机尺寸可能受限于镜头筒14的尺寸或AF致动器 16的尺寸以及移动图像传感器封装件15的厚度。此外，AF致动器16可以电连接到移动图像传感器封装件15。

[0041] 图3B示出具有图3A的移动图像传感器封装件15’的微型摄像机12’的局部分解图。镜头筒14’被示出为附接到AF致动器16并与移动图像传感器封装件15分离。移动图像传感器封装件15可以是相对薄的并且与其中图像传感器不移动的常规图像传感器封装件具有大致相同的厚度。

[0042] 图4根据本文公开的技术的各种实施例示出可用于实现前述3轴OIS功能的示例MEMS致动器17的顶部平面图。MEMS致动器17可以用于移动在移动图像传感器封装件(例如，图3A和图3B的移动图像传感器封装件15’) 内部的图像传感器。在一个实施例中，MEMS致动器17被设计为在三个自由度中移动图像传感器，以便在所有的三个旋转自由度中实现微型摄像机模块 (诸如图3A和图3B的微型摄像机12’)中的OIS。

[0043] 美国专利申请序列号61/975,617中描述了适用于移动图像传感器的 MEMS致动器的一些示例，其通过引用全部并入本文。在一个实施例中， MEMS致动器17可以包括具有接触焊盘19的中间框架18、被分离成两个电气杆(electrical bar)20的外部框架、四个致动区域21、具有胶孔24的中心锚件23以及多个电连接挠性件22。由于根据相关电连接需求可能存在多个孔，因此胶孔24的数目不限于一个。胶孔24可以具有多个目的，包括例如使得结构粘合能够通过应用热环氧树脂将MEMS致动器17安装到载体基底，以及通过应用导电性环氧树脂、焊料、金属膏状物或其他电连接方法实现从 MEMS致动器17到导电迹线或基底的电连接。外部电气杆20可以提供在 MEMS致动器17与移动图像传感器封装件的剩余部分之间的连接。中间框架 18上的接触焊盘19可以提供图像传感器(未示出)与MEMS致动器17之间的电连接。

[0044] 每个致动区域21可以包含在一个线性方向上提供动力的静电梳驱动器。四个致动区域21一起提供在X和Y方向上的移动以及绕Z轴的旋转。因此 MEMS致动器17可以在两个线性自由度中和一个旋转自由度中移动，以实现微型摄像机在所有的三个旋转自由度中的OIS。致动区域21通过平行运动控制挠性件43连接到中心锚件23，并且通过连接挠性件44连接到中间框架18，所述连接挠性件44在运动自由度中为刚性的且在其他自由度中为柔软的。在一个实施例中，致动区域21包括限制掉落或冲击期间的机械移动的特征件，以减小平行运动控制挠性件43和连接挠性件44上的应力。在一个实施例中，图像传感器附接到外部框架20和中心锚件23，而中间框架18附接到移动图像传感器封装件的剩余部分。

[0045] 应当指出的是，MEMS致动器17的X/Y尺寸与移动图像传感器封装尺寸相关。在一个实施例中，中间框架18的外形尺寸基本上匹配图像传感器的尺寸。在另一个实施例中，外部框架20的外形尺寸基本上匹配图像传感器的尺寸。在另一个实施例中，MEMS致动器17的厚度大约为150微米，并且平面内尺度在X维度中为大约8毫米，在Y维度中为大约6毫米。

[0046] 图5是根据本文公开的技术的一个实施例的移动图像传感器封装件15的分解透视图。移动图像传感器封装件15可以包括但不限于以下部件：基底33；多个电容器或其他无源电气部件28；MEMS致动器驱动器29；MEMS致动器 17；图像传感器30；图像传感器盖31；以及红外(IR)截止滤波器32。基底33可以包括具有开口25和平面内移动限制特征件27的刚性电路板34，以及用作背板26的柔性电路板。刚性电路板34可以由陶瓷或复合材料诸如用于制造普通电路板(PCB)的那些材料或者一些其他适当的材料构造成。移动图像传感器封装件15可以包括一个或多个驱动器29。应当注意的是，开口25 的形状被设计为匹配MEMS致动器
17，并且可以根据需要在角落上提供平面内移动限制特征件27，以便改善平面内掉落性能。
开口25的尺寸是基于图像传感器30的尺寸可调节的。

[0047] 背板26可包括嵌入式铜迹线和特征件，除了传送电信号以外，其也可以用作间隔件以控制背板26与MEMS致动器17之间的z间隙。由于空气的热传导与间隙大致成反比，并且图像传感器30可能消耗100mW与1W之间的大量功率，因此图像传感器30、MEMS致动器17的静止部分、MEMS致动器17的移动部分以及背板26之间的间隙被维持在小于大约50微米。在一个实施例中，背板26可以由具有良好热传导性的材料(诸如铜)制造，以进一步改善图像传感器30的散热。在一个实施例中，背板26具有大约50微米至 100微米的厚度，并且刚性电路板34具有大约150微米至200微米的厚度。在一个实施例中，MEMS致动器固定部分23由热环氧树脂通过胶孔24附接到背板26。

[0048] 如上所述，各种实施例使用3轴OIS系统(例如，具有MEMS致动器17 的系统)对多个图像取样。3轴OIS的优点是在图像取样过程期间补偿摄像机横摇的能力。因此，3轴OIS确保捕获的图像中不存在运动模糊。可以在美国专利号8,768,157、美国专利申请序列号14/586,307和美国专利申请序列号 62/003,421中找到可在本文公开的技术中实现的OIS的示例，这些专利和专利申请均通过引用全部并入本文。应当指出的是，本文公开的技术不必局限于或唯一地依赖于三轴OIS，而是也可以在其他OIS系统/方法的背景中操作。然而，通过OIS在三个自由度中对摄像机移动的补偿促进子像素移动，其是准确的超分辨率成像所必需的。

[0049] 图6是可用于实现本文公开的技术的实施例的示例超分辨率成像设备100 的框图。超分辨率成像设备100可以是任何手持成像设备(例如，智能电话、平板电脑、便携式电脑、DSLR摄像机、傻瓜摄像机(point-and-shoot camera) 等)，其可操作以捕获场景的多个图像并基于被取样的图像构造场景的超分辨率图像。如图所示，超分辨率成像设备100包括具有3轴OIS系统102的摄像机101、连接接口103、具有超分辨率成像应用105的存储设备104、处理器106以及显示器107。

[0050] 摄像机101包括3轴OIS系统102，该3轴OIS系统被配置为沿三个轴线(例如，俯仰、偏航和横摇)使捕获的图像稳定。在一个实施例中，OIS 系统102通过移动图像传感器封装件例如图像传感器封装件16来改变图像传感器的光学路径。在这些实施例中，图像传感器封装件包括致动器(例如， MEMS致动器17)，该致动器被配置为在三个自由度中移动图像传感器。在可替代的实施例中，OIS系统102通过在三个自由度中移动摄像机101的镜头来改变图像传感器的光学路径。在上述实施例中，OIS系统102可以包括一个或多个位置传感器(例如，陀螺仪、加速计或磁强计)，以便检测成像设备 100的相对位置和移动。在进一步的实施例中，OIS系统102可以包括用于3 轴OIS的专用集成电路(ASIC)。例如，该ASIC可以被配置为控制图像传感器或摄像机镜头的移位，以及以其他方式跟踪成像设备的运动。

[0051] 存储设备104可以包括易失性存储器(例如，RAM)、非易失性存储器 (例如，闪存)或其某种组合。在各种实施例中，存储设备104可以存储超分辨率成像应用105，当由处理器(例如，处理器106)执行时，其根据本文公开的实施例实现超分辨率成像处理。例如，超分辨率成像应用105可以被整合作为移动设备的摄像机应用的一部分。此外，存储设备104可操作以存储所捕获的多个图像样本以及使用超分辨率成像应用105构造的超分辨率图像。

[0052] 显示器107将信息图形化地呈现给超分辨率成像设备100的用户。例如，显示器107可以图形化地呈现所捕获的图像样本、构造的超分辨率图像以及与超分辨率成像应用105相关联的用户界面。在各种实施例中，显示器107 可以包括触摸屏用户界面，其允许用户与超分辨率成像应用105交互。

[0053] 图7是根据各种实施例示出使用3轴OIS系统102对多个图像取样以用于超分辨率成像的一种示例方法200的操作流程图。应当指出的是，可以通过具有3轴OIS系统102的设备100实现方法200，所述3轴OIS系统102 被配置为通过移动摄像机镜头或图像传感器(例如，具有MEMS致动器17 的图像传感器)来改变图像传感器的光学路径。可以使用超分辨率成像应用 106诸如例如整合在移动设备的摄像机应用中的应用来实现方法200。在各种实施例中，用户可以与设备100的显示器105交互，以选择图像捕获的超分辨率模式或者实现超分辨率数字缩放功能。在该类实施例中，当用户捕获特定场景的图像或者以数字方式放大特定场景时，可以执行方法200。

[0054] 为了实现组合多个较低分辨率图像以产生较高分辨率图像的超分辨率成像方法200，需要消除模糊或将模糊减小到小于一个像素。因此，在操作201 处，三轴OIS被启用以便为图像捕获做准备。在一个实施例中，可以响应于启动移动设备上的摄像机应用而启用三轴OIS。在该实施例中，当没有正在捕获图像时，可以禁用三轴OIS以节省电池寿命。在启用三轴OIS后，在三个自由度(例如，俯仰、偏航和横摇)中使任何随后捕获的图像稳定。

[0055] 在操作202处，通过设备的摄像机捕获场景的第一图像。在各种实施例中，第一图像可以用作场景的参考图像，可以使用超分辨率配准技术将随后的图像与所述参考图像组合。应当指出的是，第一图像(以及每个随后取样的图像)可以被暂时地缓存或永久地存储在成像设备的存储设备中。与操作 202关联，OIS系统102可以使用一个或多个位置传感器来确定摄像机的初始位置。因此，当随后的图像被捕获时，可以相对于该参考位置确定它们的子像素移位。

[0056] 在捕获第一图像后，在操作203处，将图像传感器的光学路径移位期望的子像素量。例如，取决于期望的超分辨率图像细节，可以将光学路径移位 1/8像素、1/4像素、1/2像素等。在一些实施例中，光学路径被移位以使得随后取样的图像与第一图像保持共面。

[0057] 在一个实施例中，可以通过3轴OIS系统102的致动器完成该子像素移位。在下面参考图8进一步描述的可替代实施例中，通过沿一个或两个自由度禁用OIS并等待用户的手的自然抖动移位光学路径来完成所述子像素移位。在该可替代实施例中，一旦完成移位，则启用3轴OIS。

[0058] 在操作204处，通过摄像机捕获场景的子像素移位图像。与操作204关联，OIS系统102可以使用一个或多个位置传感器来确定摄像机的位置。因此，所捕获的图像的子像素移位被存储以便在超分辨率图像构造期间使用。应当指出的是，一个或多个位置传感器可以在图像取样期间连续地确定摄像机的位置，或者可替代地，可以在离散时间(例如，当捕获每个图像时)确定摄像机的位置。

[0059] 在判定205处，确定是否需要采用附加的图像取样来构造超分辨率图像。在各种实施例中，取样图像的数目可以是用户选择的值、预定值(例如，由超分辨率成像应用预定)或者其某种组合。例如，取样图像的数目可以取决于参数，诸如所构造的超分辨率图像的期望分辨率、计算限制、内存缓冲限制、存储限制、子像素移位偏移、OIS系统准确度限制等。如果需要附加的图像取样，则操作203-204可以被重复用于随后的取样。否则，方法200进行到操作206。

[0060] 在操作206处，使用所取样的图像构造超分辨率图像。作为超分辨率图像构造的初始步骤，配准发生。在图像配准期间，所捕获的图像之一(例如，第一图像)被选择作为参考图像。随后，基于图像的子像素移位和其他参数将其他的取样图像匹配到参考图像的坐标系。在该参考坐标系上构建最终的超分辨率图像。在配准之后，可以通过应用超分辨率处理算法诸如多信道恢复算法、图像融合和去噪算法、图像内插算法等来构造超分辨率图像。

[0061] 图8是根据各种实施例示出使用3轴OIS系统102对多个图像取样以用于超分辨率成像的另一种示例方法300的操作流程图。如下面将进一步描述的，方法300依赖于用户的手的自然抖动，以在图像取样期间作出图像传感器上的图像的子像素移位。因此，方法300避免与使用致动器、OIS系统或两者进行子像素移位相关联的像素移位误差。如前所述，应当指出的是，可以通过具有3轴OIS系统102的设备100实现方法300，所述3轴OIS系统102 被配置为通过移动摄像机镜头或图像传感器(例如，具有MEMS致动器17 的图像传感器)来改变图像传感器的光学路径。

[0062] 在操作301处，启用3轴(例如，俯仰、偏航和横摇)OIS。在操作302 处，通过摄像机捕获场景的第一图像。如以上所讨论，第一图像可以被用作参考图像。在捕获期间，通过使用3轴OIS补偿由用户的手的自然移动导致的抖动运动而使第一图像稳定。在该补偿期间，可以在俯仰、偏航和横摇方向上改变图像传感器的光学路径。

[0063] 在操作303处，在完成捕获的图像的曝光之后，通过一个或多个位置传感器(例如，陀螺仪、加速计或磁强计)测量由OIS系统补偿的俯仰、偏航和横摇方向上的位置漂移。在一个实施例中，测量基本上在完成捕获的图像的曝光的同时发生。可以通过OIS系统102的一个或多个位置传感器(例如，陀螺仪、加速计、磁强计)、设备100的独立的位置传感器或者其某种组合来测量位置漂移。在各种实施例中，位置传感器被配置为以足够的精度测量位置漂移，以准确地检测子像素移位(例如，1/8像素、1/4像素、1/2像素等)。在可替代的实施例中，仅在其中将在随后操作中禁用OIS以导致光学路径的子像素移位的方向上测量位置漂移。

[0064] 基于所测量的光学路径的位置漂移，在操作304处，将OIS禁用足够的时间量，以将成像器上的图像移位期望的子像素量。例如，考虑具有7000像素对角线图像传感器和70度视野的摄像机。如果陀螺仪在第一曝光完成时测量5度/秒的摄像机转动，那么其将需要1ms以移位1/2像素、需要0.5ms以移位1/4像素，并且需要0.25ms以移位1/8像素。因此，在第一曝光结束时的陀螺仪转动信号可被用于估计为了沿一个或两个轴线将图像移位期望的子像素量而需要在一个或两个方向上禁用OIS的时间量。应当指出的是，在本文描述的实施例中，在所述轴线的一个中未禁用OIS。

[0065] 在各种实施例中，可以沿任何一个或两个轴线(例如，俯仰、横摇或者俯仰和横摇)禁用OIS，以基于所测量的位置漂移导致所期望的子像素移位。在这些实施例的优选实施方式中，在图像取样期间绝不沿所述轴线中的一个 (例如，俯仰、偏航或横摇)禁用OIS，从而确保沿共同平面移位所有的取样图像。根据这些实施例，图9A-图9C示出在通过移动镜头筒400来改变图像传感器410的光学路径的实施例中的示例图像移位。在图9A中，镜头筒400 是在轴线上的(即，没有移位)。在图9B中，镜头筒400被横向移动(沿一个轴线)，从而移位所述图像。可替代地，在图9C中，镜头筒400被倾斜(沿一个轴线)，从而移位所述图像。

[0066] 图10A-图10C示出在通过移动图像传感器510而不是镜头筒500来改变图像传感器510的光学路径的实施例中的示例图像移位。在图10A中，图像传感器510没有被移位。图像
520位于图像传感器的平面530的中心处。在图10B中，沿y轴移动图像传感器510，从而导致图像传感器的平面530上的图像520的第一子像素移位。在图10C中，随后沿z轴和y轴移动图像传感器510，从而导致图像传感器的平面530上的图像520的第二子像素移位。

[0067] 在期望的子像素移位后，在操作305处，在所有三个轴中启用OIS，并且捕获所述场景的子像素移位图像。随后，在判定306处，确定是否需要进行附加的图像取样以构造超分辨率图像。取样图像的数目可以取决于参数，诸如所构造的超分辨率图像的期望分辨率、计算限制、内存缓冲限制、存储限制、子像素移位偏移等。如果需要附加的图像取样，则操作303-305可以被重复用于随后的取样。否则，方法300进行到操作307。

[0068] 在操作307处，使用所取样的图像构造超分辨率图像。作为初始步骤，配准发生。传统上，图像配准方法要求在计算上昂贵的图像到图像特征的比较。然而，由于方法300利用位置传感器来测量摄像机的实际子像素移动量，因此在一个实施例中，这些测量的移动可以被用于执行图像配准而无需比较图像到图像特征。因此，与传统方法相比，可以极大地降低与图像配准相关联的计算负担。在可替代实施例中，也可以在图像配准期间作出图像到图像特征的比较。在配准之后，可以通过应用超分辨率处理算法诸如多信道恢复算法、图像融合和去噪算法、图像内插算法等来构造超分辨率图像。

[0069] 在各种实施例中，可以在超分辨率图像构造期间应用反卷积算法，以去除与摄像机镜头的点扩展函数(PSF)相关联的模糊。在这些实施例的实施方式中，反卷积算法的应用可以包括确定PSF的形状和位置，以及将PSF的逆/ 逆函数(inverse)与在配准期间创建的较高分辨率图像进行反卷积。

[0070] 在各种实施例中，超分辨率成像设备100的摄像机101可以包括具有可配置PSF的可变镜头。例如，摄像机101的镜头可以被变形/调整，使得在镜头的中心上、镜头的边缘上或镜头的一些其他位置优化PSF。在这些实施例中，可以通过调整摄像机镜头以在图像的选定部分中优化PSF并且之后根据本文公开的超分辨率成像方法(例如，方法300)创建图像的该部分的超分辨率图像，从而在图像的选定部分中执行超分辨率数字缩放。

[0071] 图11示出在其中可实现本文公开的技术的实施例的芯片集/计算模块90。芯片集90可以包括例如处理器、存储器以及被合并在一个或多个物理封装件中的附加图像部件。
通过示例的方式，物理封装件包括一种或多种材料、部件和/或结构组装件(例如，基板)上的电线的布置，以提供一个或多个特征，诸如物理强度、尺寸节省和/或电交互的限制。

[0072] 在一个实施例中，芯片集90包括诸如总线92的通信机制，以用于在芯片集90的部件之间传递信息。诸如图像处理器的处理器94具有到总线92的连通性，以执行存储在存储器96中的指令和进程信息。处理器可以包括一个或多个处理核，其中每个核被配置为独立地执行。可替代地或另外，处理器可以包括一个或多个微处理器，所述微处理器经由总线92串联地配置以实现指令、流水线和多线程的独立执行。处理器94还可伴随有一个或多个专用部件以执行某些处理功能和任务，诸如一个或多个数字信号处理器，例如，DSP 98如OIS DSP、图像传感器、OIS陀螺仪，以及/或者一个或多个专用集成电路(IC)(ASIC)100，诸如可用于例如驱动MEMS致动器以实现OIS、缩放和/或AF功能的ASIC。DSP 98通常可以被配置为独立于处理器94实时地处理现实信号(例如，声音)。类似地，ASIC 100可以被配置为执行不容易由通用数字处理器执行的专门功能。用于帮助执行本文描述的发明性功能的其他专门部件包括一个或多个现场可编程门阵列(FPGA)(未示出)、一个或多个控制器(未示出)，或者一个或多个其他专用计算机芯片。

[0073] 上述部件具有经由总线到存储器96的连通性。存储器96包括动态存储器(例如，RAM)和静态存储器(例如，ROM)，以用于存储可执行指令，当由处理器94、DSP 98和/或ASIC 100执行时，所述可执行指令执行如本文描述的示例实施例的过程。存储器96还存储与该过程的执行关联或由该过程的执行产生的数据。

[0074] 如本文所使用，术语“模块”可以描述给定的功能单元，其可以根据本申请的一个或多个实施例来执行。如本文所使用，可以利用任何形式的硬件、软件或其组合来实现模块。例如，一个或多个处理器、控制器、ASIC、PLA、 PAL、CPLD、FPGA、逻辑部件、软件例程或其他机制可以被实现以组成模块。在实施方式中，本文描述的各种模块可以被实现为离散模块，或者所描述的功能和特征可以部分或全部在一个或多个模块中共享。换句话说，如本领域技术人员在阅读本说明书之后所显而易见的，本文描述的各种特征和功能可以在任何给定的应用中实现，并且可以以各种组合和排列在一个或多个分离的或共享的模块中实现。虽然可能作为分离的模块独立地描述或要求保护各种特征或功能元素，但本领域技术人员将理解的是，这些特征和功能可以在一个或多个共同的软件和硬件元件中共享，并且此类描述不应要求或暗示分离的硬件或软件部件被用于实现此类特征或功能。

[0075] 在使用软件整体或部分实现本申请的部件或模块的情况下，在一个实施例中，这些软件元件可以被实现为与能够执行相对于此描述的功能的计算或处理模块一起操作。图11中示出一个此类示例计算模块。借助于该示例计算模块90描述了各种实施例。在阅读本说明书之后，如何使用其他计算模块或体系结构实现本申请对相关领域技术人员将是显而易见的。

[0076] 在该文档中，术语“计算机程序介质”和“计算机可用介质”通常用于指代暂时性或非暂时性媒介，例如存储器96或其他存储器/存储单元。这些和其他各种形式的计算机程序媒介或计算机可用媒介可涉及将一个或多个指令的一个或多个序列传送到处理设备以用于执行。在介质上体现的该类指令通常被称为“计算机程序代码”或“计算机程序产品”(其可以以计算机程序或其他分组的方式分组)。当被执行时，该类指令可以使计算模块90能够执行如本文讨论的本申请的特征或功能。

[0077] 虽然以上已经描述了所公开的方法和装置的各种实施例，但应当理解的是，它们仅通过示例的方式呈现，并且不是限制性的。同样，各种示图可以描绘所公开的方法和装置的示例体系结构或其他配置，这么做有助于理解可被包括在所公开的方法和装置中的特征和功能。所公开的方法和装置不限于示出的示例体系结构或配置，而是可使用各种可替代的体系结构和配置实现期望的特征。事实上，如何实现可替代功能、逻辑或物理分区和配置以实现所公开的方法和装置的期望特征对本领域技术人员将是显而易见的。此外，除了本文描绘的那些以外的大量不同的组成模块名称可以应用于各种分区。此外，关于流程图、操作描述和方法权利要求，在本文呈现的步骤顺序不应要求以相同的顺序实现各种实施例以执行所引述的功能，除非上下文中另外指出。

[0078] 虽然借助于各种示例性实施例和实施方式在上面描述了所公开的方法和装置，但应当理解的是，在单独实施例中的一个或多个中描述的各种特征、方面和功能在它们的适用性方面不限于描述它们的特定实施例，而是相反可以单独或以各种组合应用于所公开的方法和装置的其他实施例中的一个或多个，无论是否描述了该类实施例以及无论该类特征是否被呈现为所描述的实施例的一部分。因此，所要求保护的发明的宽度和范围不应由以上所述的示例性实施例中的任一个限制。

[0079] 除非另外明确地陈述，否则用于该文档中的术语和短语及其变型应被解释为是开放式的而不是限制性的。如前述的示例：术语“包括”应被理解为意味着“包括但不限制”等等；术语“示例”用于提供讨论中的项目的示例性实例，而不是其穷举的或限制性的列表；术语“一”或“一个”应被理解为意味着“至少一个”、“一个或多个”等等；以及诸如“常规的”、“传统的”、“一般的”、“标准的”、“已知的”等形容词以及具有类似意义的术语不应被解释为将所描述的项目限制到给定时间周期或限制到自给定时间起可用的项目，而是相反应被理解为包含目前或未来任何时间可用的或已知的传统的、常规的、一般的或标准的技术。同样，在该文档指示将对本领域技术人员显而易见或已知的技术的情况下，该类技术包含目前或未来任何时间对技术人员显而易见或已知的那些技术。

[0080] 用连接词“和”连结的一组项目不应被理解为要求这些项目中的每个和每一个存在于该集合中，而是相反地应被理解为“和/或”，除非另外明确陈述。类似地，用连接词“或”连结的一组项目不应被理解为要求该集合当中的互斥性，而是相反地也应被理解为“和/或”，除非另外明确陈述。此外，虽然可能以单数描述或要求保护所公开的方法和装置的项目、元件或部件，但复数也被考虑在其范围内，除非明确声明局限于单数。

[0081] 一些实例中存在的诸如“一个或多个”、“至少”、“但不限于”的扩展词语和术语以及其他相似术语不应被理解为意味着该类扩展短语可存在的实例中打算或要求范围更窄的实例。术语“模块”的使用不暗示作为该模块的一部分描述或要求保护的部件或功能被全部配置在相同封装件中。实际上，模块的各种部件中的任一个或全部(无论是控制逻辑还是其他部件)都可以被组合在单个封装件中或被分离地维持，并且可以进一步分布在多个集合或封装件中或多个位置处。

[0082] 此外，借助于示例性方框图、流程图和其他图示说明阐述了本文提出的各种实施例。如在本领域技术人员阅读该文档之后显而易见的，可以不受所示示例的限制实现所示实施例和它们的各种替代物。例如，方框图以及它们的随附描述不应被解释为要求特定体系结构或配置。