用于厚样本的EPI照明傅立叶重叠关联成像转让专利

申请号 : CN201580067354.0

文献号 : CN107111118A

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 罗克·W·霍斯特迈耶杨昌辉

申请人 : 加州理工学院

摘要 :

某些方面涉及用于对厚样本高分辨率成像的epi‑照明傅立叶重叠关联成像系统和方法。本文公开的示例系统包括:可变照明源,其被配置为以多个入射角依次提供辐射;第一偏振器系统,其被配置为将来自可变照明源的辐射偏振到入射在样本上的第一偏振状态;集光器件,其被配置为接收从样本发出的辐射;第二偏振器系统,其被配置为接收通过集光器件传递的辐射;辐射检测器,其被配置为接收来自第二偏振器系统的辐射;以及处理器,其被配置为根据第一强度图像序列和第二强度图像序列来确定去散射的表面强度图像序列。

权利要求 :

1.一种用于对厚样本高分辨率成像的epi-照明傅立叶重叠关联成像系统,所述系统包括:可变照明源,所述可变照明源被配置为以多个入射角依次提供辐射;

第一偏振器系统,所述第一偏振器系统被配置为将来自所述可变照明源的辐射偏振到入射在样本上的第一偏振状态;

集光器件,所述集光器件被配置为接收从所述样本发出的辐射,其中,所述集光器件位于所述样本的所述可变照明源从其提供辐射的同一侧;

第二偏振器系统,所述第二偏振器系统被配置为接收通过所述集光器件传递的辐射,并且其中,所述第二偏振器系统具有(A)处于第一取向的第一偏振器和处于与所述第一取向正交的第二取向的第二偏振器,或者(B)在所述第一取向和所述第二取向之间旋转的偏振器,所述第二取向与所述第一取向正交;

辐射检测器,所述辐射检测器被配置为接收来自所述第二偏振器系统的辐射,所述辐射检测器被配置为获取所述样本的通过所述第一偏振器的第一强度图像序列并获取所述样本的通过所述第二偏振器的第二强度图像序列,其中,每个强度图像对应于所述多个入射角中的不同入射角;以及处理器,所述处理器被配置为根据所述第一强度图像序列和所述第二强度图像序列来确定去散射的表面强度图像序列。

2.如权利要求1所述的系统,其中,所述处理器还被配置为通过确定所述第一序列中的每个强度图像与所述第二序列中的每个对应的强度图像之间的差来确定所述去散射的表面强度图像序列。

3.如权利要求1所述的系统,其中,所述处理器还被配置为通过在傅立叶空间中迭代地组合所述去散射的表面强度图像序列来构建所述样本的更高分辨率图像。

4.如权利要求3所述的系统,其中,所述处理器使用傅立叶重叠关联重建处理来构建所述样本的所述更高分辨率图像。

5.如权利要求1所述的系统,其中,所述第一偏振器系统是设置在所述可变照明源上的偏振膜。

6.如权利要求1所述的系统,其中,从所述样本发出的所述辐射是衍射辐射。

7.如权利要求1所述的系统,其中,来自所述可变照明源的所述辐射是可见光、红外光、微波辐射、声辐射和x射线辐射中的一种。

8.如权利要求1所述的系统,其中,所述第一取向中的所述第一偏振器传递处于所述第一偏振状态的辐射,并且所述第二取向中的所述第二偏振器传递处于所述第二偏振状态的辐射。

9.如权利要求8所述的系统,

其中,所述第一偏振器包括多个第一偏振器元件,并且所述第一偏振器包括多个第一偏振器元件,以及其中,所述第二偏振器系统包括交错的第一偏振器元件和第二偏振器元件的图案。

10.如权利要求9所述的系统,其中,所述第二偏振器系统是设置在所述辐射检测器上的偏振膜。

11.如权利要求10所述的系统,其中,所述图案是棋盘图案。

12.一种用于对厚样本高分辨率成像的epi-照明傅立叶重叠关联成像系统,所述系统包括:照明源,所述照明源被配置为提供入射到所述样本上的第一偏振状态的辐射;

第一光学元件,所述第一光学元件被配置为接收来自所述样本的辐射,其中,所述第一光学元件位于所述样本的所述照明源从其提供辐射的同一侧;

第二光学元件;

孔径扫描仪,所述孔径扫描仪被配置为在中间平面中的多个孔径位置处产生孔径,所述孔径被配置为经由孔径将来自所述第一光学元件的辐射传递至所述第二光学元件;

第二偏振器系统,所述第二偏振器系统被配置为接收通过所述集光器件传递的辐射,并且其中,所述第二偏振器系统具有(A)处于第一取向的第一偏振器和处于与所述第一取向正交的第二取向的第二偏振器,或者(B)在所述第一取向和所述第二取向之间旋转的偏振器,所述第二取向与所述第一取向正交;

辐射检测器,所述辐射检测器被配置为接收来自所述第二偏振器系统的辐射,所述辐射检测器被配置为获取所述样本的通过所述第一偏振器的第一强度图像序列并获取所述样本的通过所述第二偏振器的第二强度图像序列,其中,每个强度图像对应于所述多个孔径位置中的不同孔径位置;以及处理器,所述处理器被配置为根据所述第一强度图像序列和所述第二强度图像序列来确定去散射的表面强度图像序列。

13.如权利要求12所述的系统,其中,所述处理器还被配置为通过确定所述第一序列中的每个强度图像与所述第二序列的每个对应的强度图像之间的差来确定所述去散射的表面强度图像序列。

14.如权利要求12所述的系统,其中,所述处理器还被配置为通过在傅立叶空间中迭代地组合所述去散射的表面强度图像序列来构建所述样本的更高分辨率图像。

15.如权利要求14所述的系统,其中,所述处理器使用傅立叶重叠关联重建处理来构建所述样本的所述更高分辨率图像。

16.如权利要求12所述的系统,还包括设置在所述照明源上的偏振膜,所述偏振膜用于提供所述第一偏振状态的辐射。

17.如权利要求12所述的系统,其中,从所述样本发出的所述辐射是衍射辐射。

18.如权利要求12所述的系统,其中,来自所述照明源的所述辐射是可见光、红外光、微波辐射、声辐射和x射线辐射中的一种。

19.如权利要求12所述的系统,其中,所述第一取向中的所述第一偏振器传递处于所述第一偏振状态的辐射,并且所述第二取向中的所述第二偏振器传递处于所述第二偏振状态的辐射。

20.如权利要求19所述的系统,

其中,所述第一偏振器包括多个第一偏振器元件,并且所述第一偏振器包括多个第一偏振器元件,以及其中,所述第二偏振器系统包括交错的第一偏振器元件和第二偏振器元件的图案。

21.如权利要求20所述的系统,其中,所述第二偏振器系统是设置在所述辐射检测器上的偏振膜。

22.如权利要求21所述的系统,其中,所述图案是棋盘图案。

23.一种用于对厚样本高分辨率成像的epi-照明傅立叶重叠关联成像方法,所述方法包括:用第一偏振状态的辐射来照明样本;

在辐射检测器处接收在集光器件处从所述样本发出的辐射,所述集光器件位于所述样本的从其向所述样本提供辐射的同一侧;

利用所述辐射检测器,基于具有处于第一取向的一个或更多个偏振器的第二偏振器系统,获取所述样本的第一强度图像序列;

利用所述辐射检测器,基于具有处于第二取向的一个或更多个偏振器的第二偏振器系统,获取所述样本的第二强度图像序列;

根据所述第一强度图像序列和所述第二强度图像序列来确定去散射的表面强度图像序列;以及通过在傅立叶空间中迭代地组合所述去散射的表面强度图像序列来构建所述样本的更高分辨率图像。

24.如权利要求23所述的方法,其中,以多个入射角提供入射辐射。

25.如权利要求23所述的方法,还包括在对应于样本平面的傅立叶平面上产生多个孔径。

说明书 :

用于厚样本的EPI照明傅立叶重叠关联成像

[0001] 相关申请的交叉引用
[0002] 本申请要求题为“Epi-illumination Fourier Ptychographic Microscopy for Thick Biological Samples”且于2014年12月22日提交的美国临时专利申请号为62/095,648的优先权,该专利申请在此通过引用以其整体并入并用于所有目的。
[0003] 领域
[0004] 某些方面通常涉及数字成像,更具体地涉及用于对厚样本成像的epi-照明傅立叶重叠关联成像系统和方法,其可用在诸如例如工业检查和生物医学成像的应用中。
[0005] 背景
[0006] 傅立叶重叠关联(ptychographic)成像是用于从在不同照明条件下捕获的一系列较低分辨率强度图像获取高分辨率样本的振幅和相位测量结果的技术。更常规地,傅立叶重叠关联成像系统使用位于感兴趣的薄的半透明样本下方的发光二极管(LED)的阵列作为可变照明源。来自每个LED的光穿过薄样本并进入成像透镜(例如,显微镜物镜),以形成由成像传感器获取的每个唯一的傅立叶重叠关联图像。然后通过相位恢复算法将这组所获取的傅立叶重叠关联图像组合成高分辨率复合测量值。由这些常规傅立叶重叠关联成像系统使用的重建过程的细节可以在Guoan Zheng、Roarke Horstmeyer和Changhuei Yang的“Wide-field,high-resolution Fourier ptychographic microscopy”,Nature Photonics(2013年)中找到,该文献由此通过引用以其整体并入。
[0007] 概述
[0008] 某些方面涉及用于对厚样本高分辨率成像的epi-照明傅立叶重叠关联成像系统和方法。
[0009] 某些方面涉及epi-照明傅立叶重叠关联成像系统,该系统包括:可变照明源,该可变照明源被配置为以多个入射角依次地提供辐射;第一偏振器系统,其被配置为将来自可变照明源的辐射偏振到入射到样本上的第一偏振状态。epi-照明傅立叶重叠关联成像系统还包括被配置为接收从样本发出的辐射的集光器件(collection optics)。集光器件位于样本的可变照明源从其提供辐射的同一侧。epi-照明傅立叶重叠关联成像系统还包括被配置为接收通过集光器件传递的辐射的第二偏振器系统,第二偏振器系统具有处于第一取向的第一偏振器和处于与第一取向正交的第二取向的第二偏振器。epi-照明傅立叶重叠关联成像系统还包括辐射检测器,辐射检测器被配置为接收来自第二偏振器系统的辐射,辐射检测器被配置为通过第一偏振器获取样本的第一强度图像序列并通过第二偏振器获取样本的第二强度图像序列,其中,每个强度图像对应于多个入射角中的不同入射角。epi-照明傅立叶重叠关联成像系统还包括处理器,该处理器被配置为根据第一强度图像序列和第二强度图像序列来确定去散射的表面强度图像序列。
[0010] 某些方面涉及epi-照明傅立叶重叠关联成像系统,该系统包括:可变照明源,该可变照明源被配置为以多个入射角依次地提供辐射;以及第一偏振器系统,其被配置为将从可变照明源接收的辐射偏振到入射到样本上的第一偏振状态。epi-照明傅立叶重叠关联成像系统还包括集光器件,该集光器件被配置为接收从样本发出的辐射,其中,集光器件位于样本的可变照明源从其提供辐射的同一侧。epi-照明傅立叶重叠关联成像系统还包括被配置为接收通过集光器件传递的辐射的第二偏振器系统,该第二偏振器系统具有在第一取向和与第一取向正交的第二取向之间旋转的偏振器。epi-照明傅立叶重叠关联成像系统还包括辐射检测器,该辐射检测器被配置为接收来自第二偏振器系统的辐射,辐射检测器被配置为通过处于第一取向的偏振器获取样本的第一强度图像序列并通过处于第二取向的偏振器获取样本的第二强度图像序列,其中,每个强度图像对应于多个入射角中的不同入射角。epi-照明傅立叶重叠关联成像系统还包括处理器,该处理器被配置为根据第一强度图像序列和第二强度图像序列来确定去散射的表面强度图像序列。
[0011] 某些方面涉及epi-照明傅立叶重叠关联成像系统,该系统包括被配置为提供入射在样本上的第一偏振状态的辐射的照明源和被配置为接收来自样本的辐射的第一光学元件,其中,第一光学元件位于样本的照明源从其提供辐射的同一侧。epi-照明傅立叶重叠关联成像系统还包括第二光学元件和孔径扫描仪,孔径扫描仪被配置为在中间平面中的多个孔径位置处产生孔径,该孔径被配置成经由孔径将来自第一光学元件的辐射传递至第二光学元件。epi-照明傅立叶重叠关联成像系统还包括:第二偏振器系统,其被配置为接收通过集光器件传递的辐射,第二偏振器系统具有处于第一取向的第一偏振器和处于与第一取向正交的第二取向的第二偏振器;以及辐射检测器,辐射检测器被配置为接收来自第二偏振器系统的辐射,辐射检测器被配置为通过第一偏振器获取样本的第一强度图像序列和通过第二偏振器获取样本的第二强度图像序列,其中,每个强度图像对应于多个孔径位置中的不同孔径位置。epi-照明傅立叶重叠关联成像系统还包括处理器,处理器被配置为根据第一强度图像序列和第二强度图像序列来确定去散射的表面强度图像序列。
[0012] 某些方面涉及epi-照明傅立叶重叠关联成像系统,该系统包括被配置为提供入射在样本上的第一偏振状态的辐射的照明源和被配置为接收来自样本的辐射的第一光学元件,其中,第一光学元件位于样本的照明源从其提供辐射的同一侧。epi-照明傅立叶重叠关联成像系统还包括第二光学元件和孔径扫描仪,孔径扫描仪被配置为在中间平面中的多个孔径位置处产生孔径,孔径被配置为经由孔径将来自第一光学元件的辐射传递至第二光学元件。epi-照明傅立叶重叠关联成像系统还包括:第二偏振器系统,其被配置为接收通过集光器件传递的辐射,第二偏振器系统具有在第一取向和与第一取向正交的第二取向之间旋转的偏振器;以及辐射检测器,辐射检测器被配置为接收来自第二偏振器系统的辐射,辐射检测器被配置为通过处于第一取向的偏振器获取样本的第一强度图像序列和通过处于第二取向的偏振器获取样本的第二强度图像序列,其中,每个强度图像对应于多个孔径位置中的不同孔径位置。epi-照明傅立叶重叠关联成像系统还包括处理器,处理器被配置为根据第一强度图像序列和第二强度图像序列来确定去散射的表面强度图像序列。
[0013] 某些方面涉及epi-照明傅立叶重叠关联成像方法,其包括用第一偏振状态的辐射来照明样本。这些方法还包括在辐射检测器处接收在集光器件处从样本发出的辐射,该集光器件位于样本的从其向样本提供辐射的同一侧。这些方法还包括利用辐射检测器,基于具有处于第一取向的一个或更多个偏振器的第二偏振器系统,获取样本的第一强度图像序列。这些方法还包括利用辐射检测器,基于具有处于第二取向的一个或更多个偏振器的第二偏振器系统,获取样本的第二强度图像序列。这些方法还包括根据第一强度图像序列和第二强度图像序列来确定去散射的表面强度图像序列。这些方法还包括通过在傅立叶空间中迭代地组合去散射的表面强度图像序列来构建样本的更高分辨率图像。
[0014] 这些和其它特征在下面参照有关的附图更详细地进行描述。
[0015] 附图简述
[0016] 图1A是图示根据实施例的与输入平面波相关联的薄样本的输出衍射场的图。
[0017] 图1A是图示根据实施例的与输入平面波相关联的薄样本的输出衍射场的“角度偏移”的图。
[0018] 图2A是图示根据实施例的由epi-照明傅立叶重叠关联成像系统用于照明厚样本的技术的示意图。
[0019] 图2B是图示根据实施例的由epi-照明傅立叶重叠关联成像系统用于测量来自厚样本的表面反射的光的技术的示意图。
[0020] 图3是根据某些实施例的具有根据配置A布置的组件的epi-照明傅立叶重叠关联成像系统的图。
[0021] 图4是根据实施例的具有根据配置A布置的组件的epi-照明傅立叶重叠关联成像系统的组件的横截面视图的图。
[0022] 图5是根据实施例的具有根据配置A布置的组件的epi-照明傅立叶重叠关联成像系统的组件的横截面视图的图。
[0023] 图6是根据实施例的具有根据配置B布置的组件的epi-照明傅立叶重叠关联成像系统的示意图。
[0024] 图7A是根据实施例的具有根据配置B布置的组件的epi-照明傅立叶重叠关联成像系统的示意图。
[0025] 图7B是根据实施例的在图7A中所示的epi-照明傅立叶重叠关联成像系统的空间光调制器的显示器的横截面视图的示意图。
[0026] 图8是描绘根据实施例的epi-照明傅立叶重叠关联成像方法的操作的流程图。
[0027] 图9A是根据实施例的在图8中描绘的epi-照明傅立叶重叠关联成像方法的操作的子操作的流程图。
[0028] 图9B是根据实施例的在图8中描绘的epi-照明傅立叶重叠关联成像方法的操作的子操作的流程图。
[0029] 图10是描绘根据实施例的epi-照明傅立叶重叠关联成像方法的操作的流程图。
[0030] 图11是根据实施例的具有根据配置A布置的组件的epi-照明傅立叶重叠关联成像系统的重建过程的示例的流程图。
[0031] 图12是根据实施例的具有根据配置A布置的组件的epi-照明傅立叶重叠关联成像系统的重建过程的示例的流程图。
[0032] 图13是根据实施例的具有根据配置B布置的组件的epi-照明傅立叶重叠关联成像系统的重建过程的示例的流程图。
[0033] 图14是根据实施例的具有根据配置B布置的组件的epi-照明傅立叶重叠关联成像系统的重建过程的示例的流程图。
[0034] 图15是根据实施例的可能存在于用于对厚样本进行高分辨率成像的某些epi-照明傅立叶重叠关联成像系统中的一个或更多个子系统的框图。
[0035] 详细描述
[0036] 本发明的实施例将在下面参照附图进行描述。
[0037] I.介绍
[0038] 本文描述的某些实施例涉及用于对厚样本进行高分辨率成像的epi-照明傅立叶重叠关联成像系统(“EPI-FP-THICK”)和方法。每个EPI-FP-THICK系统被配置为通过对来自同一侧(即在epi-照明成像配置中)的感兴趣的样本进行照明和成像来获取傅立叶重叠关联图像序列。在该配置中,从样本反射的光被用于形成每个唯一的傅立叶重叠关联图像。为了实现这一点,从样本的集光器件所在的同一侧提供入射照明。在一个示例中,EPI-FP-THICK成像系统具有LED阵列,该LED阵列以入射在样本上的多个角度提供不同的照明,并且以每个入射角从样本反射的照明被收集并用于形成每个唯一的傅立叶重叠关联图像。在该示例中,LED阵列位于样本的与诸如成像透镜的集光器件相同的侧面上。例如在图3和图4中示出了具有位于样本的与集光器件相同的侧面上的LED阵列的EPI-FP-THICK成像系统的所示示例。EPI-FP-THICK系统被配置,使得不再需要将由常规傅立叶重叠关联成像技术所需的薄样本约束用于高分辨率成像。如下面更详细讨论的,常规傅立叶重叠关联成像技术要求成像的样本是薄的,以避免在表面以下的大量散射,这将阻止“角度偏移”条件得到满足。EPI-FP-THICK系统被配置为使用一个或更多个技术,使得不再需要薄样本约束。在一方面,通过添加第一偏振器系统以确保入射样本的照明具有单(线性)偏振并添加第二偏振器系统以分析从样本发出的光的线性偏振来实现对薄样本约束的删除。在本文中描述了其它技术。
[0039] EPI-FP-THICK成像方法通常包括在IV节中详细描述的傅立叶重叠关联重建过程。一般来说,该傅立叶重叠关联重建过程将来自与照明的入射角对应的傅立叶空间的不同区域的傅立叶重叠关联图像拼接在一起。为获得最佳结果,傅立叶重叠关联重建过程要求满足某种条件:入射照明场的偏移角(即,入射平面波与光轴之间的角度)必须映射到输出反射场中的等效角偏移(即,从样本表面出射的场倾斜相同角度)。这种“角度偏移”条件在图
1A和图1B中示出。最可能满足这种“角度偏移”条件的样本对象是那些主要是“反射的”或具有反射表面的样本对象。通常满足“角度偏移”条件的一些类型的样本是半导体芯片、复杂的互连电路板以及计量检查中的某些样本。对象不需要是平坦的(宏观上或微观上平坦的)来满足“角度偏移”条件。
[0040] 如上文所介绍的,图1A和图1B包括图示根据实施例的由薄样本20满足的“角度偏移”条件的图。在图1A和图1B中,薄样本20由输入平面波δ(θ0)31照明。在图1A和图1B中,从由输入平面波δ(θ0)31照明的样本20衍射的光被示为输出衍射场f(θ)41。为了使得傅立叶重叠关联重建过程最有效地操作,如果入射光旋转到新的入射角,则在一个照明下从样本衍射的任何光必须偏移、不变。为了说明“角度偏移”条件,图1B示出了对于输入平面波δ(θ0)31的到偏移的输入平面波 32的的角偏移 如图所示,偏移的输出衍射场42偏移了角偏移 该角偏移 等于施加到输入场的角偏移的量。在图示中,满足
“角度偏移”条件。
[0041] 常规epi-照明傅立叶重叠关联系统的一些示例在以下专利申请中进行描述:题为“VARIABLE-ILLUMINATION FOURIER PTYCHOGRAPHIC IMAGING DEVICES,SYSTEMS,AND METHODS”并在2014年8月22日提交的美国专利申请14/466,481和题为“Alternative Optical Implementations for Fourier Ptychographic Microscopy”并在2013年8月22日提交的美国临时申请61/868,967,这两个申请由此通过引用以其整体并入。当对厚样本进行成像时,这些常规的epi-照明傅立叶重叠关联系统可能不能够成功地提高图像的分辨率超过成像透镜或其他集光器件的截止空间频率。这是因为厚样本可能不满足“角度偏移”条件。对于厚样本,入射照明可以以不可忽略的量透入到样本中(即,在表面之下),其中可能发生次表面散射。次表面散射可以使输出光以不可预测的方式响应偏移入射照明的角度(即,不遵守角度偏移条件)。
[0042] 在一些方面,EPI-FP-THICK系统使用检测光的偏振状态来隔离输出衍射场的贡献,其仅从样本表面反射而不散射。也就是说,光散射可导致光去偏振,或转变成随机偏振状态。这个在以下文献中进行讨论:Guoan Zheng、Roarke Horstmeyer和Changhuei Yang的“Wide-field,high resolution Fourier ptychographic microscopy”Nature Photonics(2013);Y.Y.Shechner、S.G.Narasimhan和S.K.Nayar的“Polarization-based vision through haze”,Applied Optics 42(3),2003年;X.Gan、S.P.Schilders和M.Gu的“Image enhancement through turbid media under a microscope by use of polarization gating methods”,JOSA A 16(9),,1999年;以及O.Emile、F.Bretenaker和A.Le Floch的“Rotating polarization imaging in turbid media”,Optics Letters 21(20),1996年;所有这些在此通过引用并入以用于本讨论。另一方面,表面反射主要保持入射照明的偏振状态。
[0043] 在某些方面,EPI-FP-THICK系统被配置成使用一种技术,该技术基于从次表面去偏振的光来估计并去除从所捕获的图像散射的分量,以便隔离从样本表面直接反射的分量。使用这种技术,EPI-FP-THICK系统能够对厚样本的表面进行高分辨率傅立叶重叠关联成像。用于配置EPI-FP-THICK系统以检测表面反射的光的一种直接技术是包括被定位(例如,在照明源处)以使得入射照明在第一偏振状态(在某些示例中为了简单起见而被称为“H”)下被偏振的第一偏振器系统。使用偏振光照明样本的两个示例可在A.Ghosh等人的“Multiview face capture using polarized spherical gradient illumination”,ACM Transactions on Graphics30(6)(2011年)和S.K.Nayar、G.Krishnan、M.D.Grossberg和R.Raskar的“Fast separation of direct and global components of a scene using high frequency illumination”,ACM Transactionson Graphics 25(3)(2006年)中找到,其由此通过引用并入以用于这些示例。EPI-FP-THICK系统还包括位于例如辐射检测器(例如,成像传感器)处的第二偏振器系统。第二偏振器系统使得辐射检测器能够捕获两个图像:通过根据第一偏振状态(为了简单起见,在某些示例中称为“H”)而沿着第一方向取向的第二偏振器的第一图像I1;以及通过根据第二偏振状态(为了简单起见在某些示例中称为“V”)而沿着第二方向取向的第二偏振器的第二图像I2。第一方向与第二方向正交。例如,对于线性偏振器,第一偏振状态H可以是以零度取向的偏振器,并且第二偏振状态V可以是以九十度取向的偏振器。为了使用这种技术,光的随机去偏振的分量被估计以对H图像I1和V图像I2有同等贡献。基于该估计,取第一图像I1和第二图像I2之间的图像强度的差(即,从I1减去I2)有效地消除了去偏振光的贡献,并因此从图像强度中消除了大部分次表面散射的光。从人体组织中去除去偏振光的次表面贡献的示例可以在A.Ghosh等人的“Multiview face  capture using polarized  spherical gradient illumination”,ACM Transactions on Graphics 30(6),2011年中找到,其由此通过引用并入以用于该示例。去除去偏振光的示例的细节可以在T.Chen等人的“Polarization and phase shifting for3D scanning of translucent objects”,Proc.CVPR,2007和A.Ghosh等人的
“Multiview face capture using polarized spherical gradient illumination”,ACM Transactions on Graphics 30(6),2011年中找到,其由此通过引用并入以用于该隔离技术。
[0044] 在一方面,EPI-FP-THICK方法通过根据公式1取第一图像I1和第二图像I2之间的差来估计从样本表面直接反射的光的强度分布来确定仅厚样本表面的图像,而不是厚样本的表面下方的任何部分的图像。
[0045] Is=I1-I2   (公式1)
[0046] 如果在EPI-FP-THICK系统中使用理想的线性偏振器,那么强度图像的总和等同于在偏振器不位于辐射检测器处的时候所捕获的图像,如公式2中提供的。
[0047] I总=I1+I2   (公式2)
[0048] 图2A和图2B是图示根据实施例的由EPI-FP-THICK系统100用于测量来自厚样本120的表面反射光的技术的示意表示。该技术估计并去除去偏振的光分量,以便隔离从样本表面直接反射的分量。EPI-FP-THICK系统100在照明源处具有第一偏振器,其用于使光在第一方向上偏振(“H偏振”)。在图2A和图2B中,厚样本120被示出为由以第一方向偏振(“H偏振”)的输入光131照明。厚样本120的表面反射光141。表面反射的光141保持其在第一方向上的偏振(由实线描绘),“H偏振”。在样本120的表面下方散射的光(散射光150)变成随机偏振(由虚线描绘)的光151。EPI-FP-THICK系统100在辐射检测器处配置有一个或更多个附加的偏振器,以能够捕获强度图像I1 160和I2 170。在一个示例中,EPI-FP-THICK系统在辐射检测器处具有第二偏振器。第二偏振器在“H”取向和垂直于“H”取向的“V”取向之间偏移(例如,旋转)。当第二偏振器处于“H”取向时,捕获第一强度分布I1 160,而当第二偏振器处于“V”取向时,捕获第二强度分布I2 170。在另一示例中,EPI-FP-THICK系统在“H”取向上具有第二偏振器并在“V”取向上具有第三偏振器。在该示例中,辐射检测器可以在同一采样时间捕获强度分布I1和I2(即,在辐射检测器处在曝光时间内进行的强度测量)。本文讨论了其他示例。
[0049] 返回参考图2A和图2B,分别基于在辐射检测器处的偏振器的“H”取向和“V”取向,捕获两个图像I1 160和I2 170。EPI-FP-THICK系统100估计去偏振的光分量对图像I1 160和I2 170两者有相等贡献。基于该估计,EPI-FP-THICK系统100可以通过取图像I1 160和I2 170的强度之间的差来从第一图像I1 160去除去偏振的光分量。也就是说,EPI-FP-THICK系统100可以在辐射检测器的每个离散的光检测元件处确定图像I1 160和I2 170之间的强度差,以基于从样本120的表面反射的光来确定表面图像的强度分布。
[0050] 在某些方面,EPI-FP-THICK成像方法包括一种技术,该技术估计并去除去偏振的光分量,以便隔离从样本表面直接反射的分量。在某些情况下,这种技术对隔离表面反射的光可能不是完全有效。首先,次表面散射的光子的某一部分可能保持其原始偏振,导致差值图像还包含其错误贡献。然而,预期这些保留偏振的光子中的较大比例源自表面顶部附近,因此更接近地满足我们所需的角度偏移特性。因此,由于这种效应,与epi-FPM平台的失败相反,预期性能下降缓慢。在某些方面,可以通过捕获多个唯一图像、从样本反射的光的唯一偏振分量的每个并然后相应地对该组图像进行处理来提高性能。例如,可以使用以0度、45度、90度取向的线性偏振器和圆偏振器来捕获4个唯一的图像(通过每个偏振器捕获一个图像)。第一图像将为在公式1和2中的I1,且这些图像中的最后3个可以是I2,这将导致3个唯一的公式。例如,可以将这些公式中的每一个的解相加在一起,或者以另一种唯一的方式组合,以提高性能。
[0051] 在某些方面,样本在其表面上涂覆有材料(例如,水),以在反射时保持偏振。涂覆表面可以防止样本或成像几何结构上的去偏振,其中反射光可以以其他方式去偏振,并导致差值图像包含很少的信号。在一方面,EPI-FP-THICK成像方法还可以包括用于使用该材料(例如,水)涂覆样本表面的涂覆操作,以在反射时保持偏振。这种涂覆操作发生在图像获取之前。
[0052] 尽管在许多示例中使用偏振技术来分离表面反射的光分量与次表面散射的光分量,但EPI-FP-THICK系统/方法可以使用将提高性能的替代技术。在一个示例中,EPI-FP-THICK系统/方法可以使用偏移的高频强度图案到物体上的投影以有效地分离表面反射的光分量和次表面散射的光分量。使用这些技术的其他系统的一些示例可以在T.Chen等人的“Polarization and phase shifting for 3D scanning of translucent objects”,Proc.CVPR(2007)和S.K.Nayar、G.Krishnan、M.D.Grossberg以及R.Raskar的“Fast separation of direct and global components of a scene using high frequency illumination”,ACM Transactionson Graphics 25(3)(2006)中找到,这些文献由此通过引用以其整体并入。当光作为正弦图案投射到样本上时,(作为正弦图案)反射光的对比度将取决于物体的反射程度。例如,对于其中所有入射光都从表面反射的物体,如镜子,检测到的正弦波的对比度将是最大的。对于反射性较差的物体,如组织,检测到的正弦波的对比度将小于镜子。通过投射稍微偏移的正弦图案序列并相应地对它们进行处理,可能的是将从样本表面反射并保持正弦波形状的光分量与在表面下方散射并对正弦波对比度的损失起作用的光分量进行隔离。在另一个示例中,EPI-FP-THICK系统/方法可以基于以下预期:次表面散射的光比源自表面的反射性更强的分量更均匀地散射到所有方向上。EPI-FP-THICK系统/方法可以使用一种技术,该技术根据照明角度检查从所有图像的表面出射的光的主要分量,这可以有助于进一步隔离任何次表面散射的光子。例如,可以从N个稍微不同的角度将光照射到样本上,并检测N个相应的图像,每个图像包含m个像素。这些N个图像可各自被认为是在m维空间中的唯一向量。与这组N个向量相关联的最大主分量可以被认为是由次表面散射引起的每个图像的共享分量。可以通过计算N个最初检测到的原始图像的k个最大主分量并然后从每个最初检测到的原始图像中减去这些主分量来形成主要包含从样本表面反射的光的一组N个图像。
[0053] 根据某些方面,EPI-FP-THICK系统/方法可以提供可以在许多成像场景中获得应用的某些益处。首先,其将成像元件的分辨率增强超过其光学极限的能力表明可以利用具有更宽的视场(更低放大倍数)的透镜来实现给定的分辨率目标。这种更低放大倍数的透镜自然地提供增加的景深和增加的工作距离。此外,EPI-FP系统/方法还可以恢复从样本反射的光场的相位。该相位内容可以反过来用于将检测到的图像数字重新聚焦到不同的轴向平面。这不仅增加了系统的有效景深(在常规FP成像系统中大约增加10倍),而且还有助于对高度弯曲表面的图像的清晰重建,从而有效地消除了在图像获取之前手动对焦相机的需要。除了集成到传统显微镜平台的能力之外,这些上述益处表明EPI-FP-THICK系统/方法可以在皮肤病学应用诸如例如跟踪黑素瘤中获得可靠应用。作为另一个示例,EPI-FP-THICK系统/方法可以用于对大胚胎(具有显著弯曲的表面)的高分辨率成像。为了使用常规显微镜来对大胚胎进行成像,显微镜采用一系列穿过焦点(through-focus)的图像或采取横向偏移、重新聚焦和捕获方式。EPI-FP-THICK系统的可重新聚焦性和大的工作距离可以加快、提高准确性并简化这种胚胎成像。
[0054] 在某些方面,EPI-FP-THICK系统使用允许光学布置对来自厚生物样本的表面反射光(即,的确遵守角度偏移特性的光)进行成像的技术。使用EPI-FP-THICK方法,该系统可以操作以捕获图像并恢复样本表面处的复杂光场的高分辨率图。这种EPI-FP-THICK方法还将允许跨越扩展景深进行成像,并且还重建非平坦的样本表面的清晰图像。可能受益于使用EPI-FP-THICK系统/方法的应用的一些示例包括黑素瘤检测和跟踪胚胎并对其成像。
[0055] 虽然EPI-FP-THICK系统的某些方面在本文中被描述为传播可见光,但是在其他方面,可以使用其它类型的电磁辐射,诸如x射线辐射、红外辐射、紫外线辐射等。
[0056] II.系统配置
[0057] 本文描述的EPI-FP-THICK系统具有被布置成通常被描述为两种配置的配置的组件:配置A和配置B。配置A和配置B两者的EPI-FP-THICK系统具有光学组件,该光学组件针对epi-照明布置,使得到达辐射检测器的偏移辐射(即,在不同入射角之间偏移的辐射)从样本的表面反射。本节提供了配置A和配置B中的EPI-FP-THICK系统的一些示例。针对epi-照明布置的光学组件的细节可以在以下专利申请中找到:题为“VARIABLE-ILLUMINATION FOURIER PTYCHOGRAPHIC IMAGING DEVICES,SYSTEMS AND METHODS”并于2014年8月22日提交的美国专利申请14/466,481;题为“APERTURE SCANNING FOURIER PTYCHOGRAPHIC IMAGING”并于2014年7月31日提交的美国专利申请14/448,850;题为“Alternative Optical Implementations for Fourier Ptychographic Microscopy”并在2013年8月22日提交的美国临时申请61/868,967;题为“Generalized Ptychographic Imaging with Optical Transfer Function Modulation”并在2013年7月31日提交的美国临时申请61/860,786;题为“Increasing Numerical Aperture of Dry Objective to Unity via Fourier Ptychographic Microscopy”并在2013年11月4日提交的美国临时申请61/899,
715;以及题为“Ultra-High NA microscope Fourier Ptychographic Microscopy”并在
2014年5月20日提交的美国临时申请62,000,722;所有这些专利申请在此通过引用以其整体并入。
[0058] 配置A
[0059] 图3是根据某些方面的EPI-FP-THICK系统300的图,其中该EPI-FP-THICK系统的组件根据配置A布置。EPI-FP-THICK系统300具有提供电磁辐射(例如,可见光、紫外光、x射线辐射等)的可变照明源310和从可变照明源310接收电磁辐射并将电磁辐射偏振到第一偏振状态311的第一偏振器系统305。在图像获取过程的运行期间,可变照明源310随时间依次提供来自N个入射角的电磁辐射。
[0060] 如本文所用,偏振器通常是指使特定偏振的电磁波通过并阻挡其它偏振的电磁波的光学滤波器。在某些方面,偏振器是以材料的层(例如,薄膜)的形式,其可以施加到诸如LED阵列的表面的表面。
[0061] 返回参考图3,第一偏振器系统305包括使第一偏振状态的电磁波通过并阻挡其它偏振的电磁波的第一偏振器。如为了简单起见而在厚样本320处由一组箭头所指示的,由实线箭头311描绘的处于第一偏振状态的电磁辐射被提供为在图像获取过程期间以数量为N的多个入射角顺序地入射到厚样本320。厚样本320的表面反射处于第一偏振状态的电磁辐射,其由实线箭头312所描绘。表面反射的辐射通常保持第一偏振状态。在厚样本320的表面下方散射的辐射变成去偏振的,其由虚线箭头313所描绘。
[0062] EPI-FP-THICK系统300还包括:第一光学系统330;第二偏振器系统335,其接收来自第一光学系统330的辐射;以及辐射检测器340,其接收来自第二偏振器系统335的辐射。第一光学系统330包括被配置为收集从厚样本320发出的辐射并将辐射传播到第二偏振器系统335的一个或更多个组件。第一光学系统330包括集光器件,诸如例如,成像透镜(例如,物镜)。
[0063] 如本文所使用的,第二偏振器系统通常是指可以分析电磁辐射的偏振的组件集合。在某些方面,第二偏振器系统被配置为使得辐射检测器可以根据针对每个入射角或针对每个孔径位置分别根据第一偏振状态的入射电磁辐射和第二偏振状态的入射电磁辐射测量单独的强度分布I1和I2。第二偏振器系统通过将第一偏振状态的辐射传递到辐射检测器使得其可以基于第一偏振状态捕获强度图像来分析所接收的辐射。第二偏振器系统还分析所接收的辐射以将第二偏振状态的辐射传递到辐射检测器,使得其可以基于第二偏振状态捕获强度图像。在一个方面,第二偏振器系统具有处于与第一偏振状态相关联的第一取向的第一偏振器和处于与第一取向正交的第二取向的第二偏振器。在其他方面,第二偏振系统是在正交取向上的第一偏振器元件和第二偏振器元件的交织布置。在其他方面,第二偏振系统具有在两个正交取向之间旋转的单个偏振器,使得当偏振器处于第一取向时它传递处于第一偏振状态的辐射,并且当偏振器处于第二取向时它传递处于第二偏振状态的辐射。
[0064] 在某些方面,第二偏振器系统可以包括一个或更多个偏振器,该一个或更多个偏振器被配置成传递至少第一偏振状态和与第一偏振状态正交的第二偏振状态的电磁辐射。尽管在许多示例中将第二偏振器系统描述为传递两个正交偏振状态的辐射,但是在其它示例中,第二偏振系统可以传递三个或更多个偏振状态的辐射。在一个方面,第二偏振器系统包括一个或更多个偏振器,该一个或更多个偏振器被配置为传递至少三个偏振状态的电磁辐射。例如,第二偏振器系统可以包括以0度、45度、90度取向的一个或更多个偏振器,使得第二偏振器系统可以用于允许辐射检测器捕获4个唯一的图像(通过每个偏振器捕获一个图像)。第一图像将为在公式1和公式2中的I1,且这些图像中的最后3个可以是I2,这将导致3个唯一的公式。例如,可以将这些公式中的每一个公式的解相加在一起,或者以另一种唯一的方式组合,以提高性能。
[0065] 返回参考图3,第二偏振器系统335通过将第一偏振状态的辐射传递到辐射检测器340来分析所接收的辐射。辐射检测器340接收被传递以基于每个入射角的第一偏振状态测量第一强度分布I1的辐射。第二偏振器系统335还通过将第二偏振状态的辐射传递到辐射检测器340来分析所接收的辐射,以基于每个入射角的第二偏振状态捕获第二强度分布I2。
如图所示,第二偏振器系统335接收从第一光学系统330传播的电磁辐射。第二偏振器系统
335被配置为将第一偏振状态的电磁辐射传递到辐射检测器340。辐射检测器340在以N个入射角连续照明期间测量N个强度分布I1的序列。第二偏振器系统335还被配置为将第二偏振状态的电磁辐射传递到辐射检测器340。辐射检测器340在由N个入射角连续照明期间测量N个强度分布I2的序列。第二偏振器系统335被配置为使得辐射检测器340可以针对每个入射角分别测量第一偏振状态和第二偏振状态的电磁辐射的单独的强度分布I1和I2。在图像获取过程期间,辐射检测器340随时间推移测量强度分布I1和I2以获得N个低分辨率强度测量值(图像)的两个序列:I1,i=1至N和I2,i=1至N。
[0066] 在图3中,EPI-FP-THICK系统300还包括诸如一个或更多个微处理器的处理器350、与处理器350通信的计算机可读介质(CRM)360以及也与处理器350通信的可选的(由虚线表示)显示器330。处理器350与辐射检测器340电子通信,以接收与两个低分辨率强度测量值序列对应的具有图像数据的信号。该图像数据可以包括,例如,强度分布、相关联的获取时间和/或关于成像的其他数据。处理器350与CRM 360(例如,存储器)电子通信,以便能够传输带图像数据的信号以存储到CRM 360并从其获取图像数据。处理器350与可选显示器330电子通信,以能够发送图像数据和指令以在显示器330上显示图像和其它输出。如虚线所描绘的,可变照明源310可选地与处理器350电子通信,例如,以发送用于控制可变照明源310的指令。在一种情况下,实施这些控制指令以使不同入射角处的照明时间与辐射检测器340的图像获取时间同步。在该EPI-FP-THICK系统300的某些组件与其他系统之间的电子通信在一个示例中为有线形式,在另一示例中为无线形式,或者在另一示例中为有线和无线的组合。
[0067] 处理器350获取并执行存储在CRM 360上的指令以执行系统300的一个或更多个功能,诸如例如:1)解译图像数据,2)根据图像数据生成更高分辨率的图像,以及3)在可选显示器330上显示来自EPI-FP-THICK方法的一个或更多个图像或其它输出。在某些方面,处理器350执行指令以执行EPI-FP-THICK方法的一个或更多个操作。在另一方面,处理器350执行用于照明可变照明源310的指令。CRM(例如,存储器)360存储用于执行系统300的一个或更多个功能的指令。这些指令是可由处理器360或系统300的其它处理组件执行。CRM 360还可以存储由系统300使用和产生的图像数据和其他数据。EPI-FP-THICK系统300还包括可选显示器330,其与处理器350电子通信,以接收数据(例如,图像数据),并将显示数据提供给显示器330以用于由EPI-FP-THICK系统300的操作者观看。
[0068] 在某些方面,EPI-FP-THICK成像系统执行EPI-FP-THICK方法,该方法包括测量(图像获取)过程、重建过程和可选显示过程。在图像获取过程中,使用可变照明源310和第一偏振器系统305来从具有第一偏振状态的数量为N的多个入射角照明厚样本320。厚样本320的表面反射电磁辐射,其通常保持其第一偏振状态。在厚样本320的表面下方散射的辐射变成随机偏振(由虚线描绘)的辐射313。第二偏振器系统335被配置为使得电磁辐射被传递到辐射检测器340,使得辐射检测器340可针对每个入射角分别测量第一偏振状态和第二偏振状态的电磁辐射的单独的强度分布I1和I2。在图像获取过程中,辐射检测器340测量数量为N的多个入射角处的强度分布I1和I2,以捕获两个N个低分辨率强度测量值(图像)的序列I1,i和I2,i,其中i=1至N。处理器350接收具有N个低分辨率图像的两个序列的图像数据。对于每个入射角,处理器350确定强度分布之间的值的差:Is,i=I1,i-I2,i,以估计该入射角处的表面强度图像。对于N个入射角,处理器350基于从厚样本320的表面反射的辐射来确定N个表面图像的序列Is,i=1至N。在恢复过程中,N个表面图像Is,i=1至N在傅立叶空间中迭代组合以产生更高分辨率的图像数据(强度和/或相位)。在可选显示过程期间,将更高分辨率图像和/或其他数据作为显示数据提供给可选显示器330。
[0069] 虽然EPI-FP-THICK系统和方法通常在本文中参考厚样本的成像来描述,但是将理解,这些系统和方法也可用于对薄样本进行成像。如本文所用,厚样本通常是指具有在50μm至10mm范围内的标称厚度的样本。在一种情况下,厚样本具有在50μm至100μm的范围内的标称厚度。在另一种情况下,厚样本具有在100μm至200μm的范围内的标称厚度。在又一种情况下,厚样本具有在2mm至3mm的范围内的标称厚度。
[0070] 在某些方面,样本包括一个或更多个对象和/或对象中的一个或更多个部分。对象可以是例如生物实体或无机实体。生物实体的一些示例是全细胞、细胞成分、微生物如细菌或病毒和细胞成分如蛋白质。无机实体的示例是半导体晶片。在某些情况下,被成像的样本在诸如液体的介质中具有一个或更多个对象。尽管在所示示例中未示出,但EPI-FP-THICK系统可以具有用于接收样本的容器。例如,容器可以具有一个或更多个透明壁,诸如载玻片。
[0071] 在某些方面,EPI-FP-THICK系统包括处理器(例如,一个或更多个微处理器)、与处理器进行通信的计算机可读介质(CRM)和与处理器进行通信的可选显示器。处理器与CRM通信以获取所存储的指令。处理器执行这些指令以实施EPI-FP-THICK系统的一个或更多个功能,诸如例如:1)解译图像数据,2)根据图像数据来产生更高分辨率图像,以及3)在可选显示器上显示来自EPI-FP-THICK方法的一个或更多个图像或其它输出。在某些方面,处理器执行指令以实施EPI-FP-THICK方法的一个或更多个操作。例如,处理器可以执行指令以确定每个入射角处的强度差I1-I2,以确定N个图像的序列Ii=1至N。在恢复过程中,处理器可以执行指令以在傅立叶空间中迭代地组合N个表面图像Is,以产生更高分辨率的图像数据(强度和/或相位)。在可选显示过程中,处理器还可以执行指令以将图像数据传递到显示器。CRM(例如,存储器)存储用于执行系统的一个或更多个功能的指令。这些指令是可由处理器或系统的其它处理组件执行的。CRM还可以存储由系统使用和产生的图像数据和其他数据。可选显示器与处理器电子通信以接收数据(例如,图像数据),并向显示器提供显示数据,例如,向EPI-FP-THICK系统的操作者提供显示数据。在一个示例中,显示器是彩色显示器或黑白显示器。在一方面,显示器是二维显示器或三维显示器。在另一方面,显示器能够显示多个视图。
[0072] 配置A中的EPI-FP-THICK系统包括具有一个或更多个辐射源的可变照明源,该一个或更多个辐射源被配置为提供近似于以N个入射角的序列的平面波照明的电磁辐射。通常,N为2至1000的范围内的值。在某些方面,可变照明源激活其辐射源中的一个或更多个,以便例如在获取I1和I2两者的强度图像期间从单个入射角提供近似平面波的辐射。在图像获取过程的运行中,可变照明源依次激活不同位置处的不同辐射源,以从N个入射角的序列提供近似平面波的辐射。每个入射角对应于傅立叶空间中的相应所获取图像数据的位置。空间域中的相邻入射角对应于傅立叶空间中的相邻区域。
[0073] 在某些方面,可变照明源被设计成以入射角提供辐射,其提供在傅立叶空间中的图像数据的相邻区域的重叠区域,其中重叠区域至少具有一定的最小量(例如,75%重叠、70%重叠、80%重叠等)。
[0074] 在某些方面,配置A中的EPI-FP-THICK系统的可变照明源在不同的空间位置处具有离散的固定照明元件。每个照明元件具有一个或更多个辐射源(例如,RGB源)。提供可见光的离散的固定照明元件的示例是液晶显示器(LCD)像素和LED。在一个方面,离散的固定照明元件被布置在线性阵列中。在另一方面,离散的固定照明元件被布置在矩形网格(即二维阵列)中。在一方面,离散的固定照明元件布置在一个或更多个同心圆(环)中,诸如同心LED阵列环。在另一方面,离散的固定照明元件布置在曲线网格中。
[0075] 在某些方面,可变照明源具有照明元件,其使用诸如光栅扫描仪的机构被移动到数量为N的多个空间位置。在另外其他方面,可变照明源具有固定的照明元件,而该系统的其他组件被移动到不同的空间位置以提供相对运动。基于在固定照明元件和系统的其他组件之间的这种相对运动,照明元件可从数量为N的多个入射角提供照明。
[0076] 如果可变照明源具有离散的固定照明元件,则依次照明离散的照明元件。使用单个元件的照明时间来定义在照明指令中照明的顺序。在其中离散照明元件的二维矩阵为矩形阵列的一个示例中,确定中心离散照明元件。照明指令首先指示照明中心离散照明元件,然后逆时针照明围绕中心照明元件的8个照明元件,然后逆时针照明围绕先前的照明元件的16个照明元件,依此类推,直到可变照明源已经提供来自数量为N的多个入射角(θxi,j,θyi,j),i=1至N的照明。在其中照明元件的二维矩阵是诸如一个或更多个同心环的环形矩阵的另一示例中,照明指令首先指示(例如,按照顺时针、逆时针或随机顺序)照明最小半径处的照明元件,然后照明更大半径处的任何照明元件,依此类推,直到所有可变照明源已经提供来自数量为N的多个入射角(θxi,j,θyi,j),i=1至N的辐射。在其中照明元件的二维阵列是矩形或环形阵列的另一个示例中,确定最接近样本的照明元件。照明指令指示照明最接近样本的照明元件,且然后照明下一个最接近样本的照明元件,且然后照明下一个最接近的照明元件等等,直到已经从数量为N的多个入射角照明N个离散的照明元件。在另一示例中,将离散的照明元件以随机顺序照明。在另一个示例中,遵循顺序的逐列顺序,诸如例如(X1,Y1)、(X1,Y2)、(X1,Y3)、..、(X1,Yn)、(X2,Y1)。
[0077] 配置A或配置B的EPI-FP-THICK系统包括用于提供电磁辐射的一个或更多个辐射源。尽管在许多示例中辐射源通常是相干辐射源,但在某些情况下也可以使用非相干辐射源,并应用计算校正。在某些情况下,辐射源提供可见光。在其他情况下,辐射源提供x射线辐射。在其他情况下,辐射源提供微波辐射。在其他情况下,辐射源提供红外辐射。在其他情况下,辐射源提供太赫兹辐射。在其他情况下,辐射源提供声辐射。在使用可见光辐射的情况下,辐射源是可见光源。可见光的辐射源的一些示例包括液晶显示器(LCD)像素和发光二极管(LED)显示器像素。在使用X射线辐射的情况下,辐射源包括X射线管和金属靶。在使用微波辐射的情况下,辐射源包括真空管。在使用声辐射的情况下,辐射源包括声致动器。在使用太赫兹辐射的情况下,辐射源包括耿氏二极管。在使用太赫兹辐射的情况下,由辐射源所提供的辐射的频率可以是在约0.3至约3THz的范围内。在一种使用微波辐射的情况下,由辐射源所提供的辐射的频率是在约100MHz至约300GHz的范围内。在一种使用X射线辐射的情况下,由辐射源所提供的辐射的波长是在约0.01nm至约10nm的范围内。在一种使用声辐射的情况下,由辐射源所提供的辐射的频率是在约10Hz至约100MHz的范围内。为了简单起见,可见光在许多系统的描述中使用,但是应当理解,可以使用其他类型的电磁辐射。
[0078] 在配置A或配置B的EPI-FP-THICK系统中,来自激活的辐射源的辐射的性质是均匀的或接近均匀的。在一些情况下,性质在不同时间处变化,例如,通过在图像获取过程期间提供n个不同的波长λ1、…、λn。在其他情况下,辐射源提供提供分别对应于红色、绿色、蓝色的三个波长λ1、λ2和λ3的RGB照明。在使用太赫兹辐射的示例中,由辐射源所提供的辐射的频率可以是在约0.3至约3THz的范围内。在使用微波辐射的示例中,由辐射源所提供的辐射的频率是在约100MHz至约300GHz的范围内。在使用X射线辐射的示例中,由辐射源所提供的辐射的波长是在约0.01nm至约10nm的范围内。在使用声辐射的示例中,由辐射源所提供的辐射的频率是在约10Hz至约100MHz的范围内。
[0079] 如本文所使用的,辐射检测器通常是指测量在特定曝光时间内在检测器平面处接收的辐射的强度分布以获取每个强度图像的设备。在图像获取过程期间,辐射检测器测量每个入射角处的强度分布I1和I2,以获得N个低分辨率强度测量值(图像)的两个序列I1,i和I2,i,其中i=1至N。如果可见光被测量,则辐射检测器是电荷耦合器件(CCD)、CMOS成像传感器、雪崩光电二极管(APD)阵列、光电二极管(PD)阵列、光电倍增管(PMT)阵列或类似设备中的一个。如果使用THz辐射,则辐射检测器是成像辐射热测量计。如果使用微波辐射,则辐射检测器是天线。如果X射线辐射被使用,则辐射检测器是X射线敏感的CCD。如果使用声辐射,则辐射检测器是压电换能器阵列。辐射检测器和其它检测器的这些示例是市售的。在一些情况下,辐射检测器是彩色检测器,例如RGB检测器。在其它情况下,辐射检测器不需要是彩色检测器。在某些情况下,辐射检测器是单色检测器。在某些方面,辐射检测器具有离散的检测元件(例如,像素)。在一些情况下,离散的检测元件具有在1至10μm的范围内的尺寸。在一个情况下,辐射检测元件是具有5.5μm的大小的正方形像素。在一些情况下,离散的检测元件是圆形、矩形、正方形或其他几何形状。在一个示例中,辐射检测器是CMOS或CCD传感器。在一个示例中,辐射检测器具有尺寸在1-4mm范围内的离散的APD或PMT检测元件。
[0080] 如本文所使用的,获取时间是指辐射检测器开始测量入射辐射的强度以在曝光时间内捕获强度图像的时刻。辐射检测器具有用于获取图像的采样率。在一个情况下,采样率的范围为每秒0.1至1000个图像。在示例性图像获取过程期间,辐射检测器测量N个低分辨率强度图像的两个序列I1和I2。在一个示例中,每个序列中的图像数在2到10000的范围内。在另一示例中,每个序列中的图像数为100。在另一示例中,每个序列中的图像数为200。在另一示例中,每个序列中的图像数为225。
[0081] 如本文所使用的,傅立叶空间指的是由EPI-FP-THICK创建的空间图像的二维傅立叶变换驻留其中的作为坐标的空间的由波矢量kx和ky所跨越的数学空间。傅立叶空间指由辐射传感器收集的空间图像的二维傅立叶变换驻留其中的由波矢量kx和ky所跨越的数学空间。
[0082] 在EPI-FP-THICK成像方法的示例性图像获取过程中,辐射检测器测量不同入射角或孔径位置处的强度分布I1和I2,以获得N个低分辨率强度测量值(图像)的两个序列I1,i=1至N和I2,i=1至N。处理器确定每个I1和I2之间的差,以确定N个表面图像IS,i=1至N。在重叠关联恢复过程中,N个表面图像在傅立叶空间中迭代组合以产生更高分辨率的图像数据(强度和/或相位)。图像数据包括低分辨率强度测量值、更高分辨率图像、获取时间,曝光时间以及与EPI-FP-THICK成像方法相关的其它数据中的一个或更多个。
[0083] N个表面图像中的每一个与傅立叶空间中与配置A的入射角对应的和与配置B的孔径位置对应的区域相关联。在傅立叶空间中,相邻区域可以共享重叠区,在该重叠区上它们对相同的傅立叶域数据进行采样。在傅立叶空间中的这种重叠区对应于孔径位置的相邻入射角的位置。在一方面,在傅立叶域数据中的重叠区是在区域中的一个区域的面积的约2%至约99.5%的范围内。在另一方面,相邻区域之间的重叠区具有区域中的一个区域的面积的约65%至约75%的范围内的区。在另一方面,相邻区域之间的重叠区具有在区域中的一个区域的面积的约65%的区。在另一方面,相邻区域之间的重叠区具有在区域中的一个区域的面积的约70%的区。在另一情况下,相邻区域之间的重叠区具有在区域中的一个区域的面积的约75%的区。
[0084] 如本文所使用的,低分辨率图像通过辐射检测器在每个获取时间开始的曝光时间内测量的强度分布。辐射检测器测量用于配置A的每个入射角以及用于配置B的每个孔径位置处的强度分布I1和I2。处理器在每个采集时间或孔径位置基于Ii=I1,i-I2,i确定强度差,以使用EPI-FP-THICK方法确定N个表面图像的序列Is,i=1至N。如本文所使用的,高分辨率图像是使用傅立叶重叠关联重建过程从N个表面图像的序列Is,i=1至N确定的图像。
[0085] 如本文所使用的,第一图像I1通常指由辐射检测器测量的处于第一偏振状态的入射辐射的强度分布,以及第二图像I2是指处于第二偏振状态的入射辐射的强度分布。根据某些方面,第一偏振状态是单线性偏振,且第二偏振状态是单线性偏振。
[0086] 配置A中的EPI-FP-THICK系统包括第一光学系统,其具有配置成收集从样本发出的辐射的光学组件。第一光学系统包括集光器件,诸如例如成像透镜(例如,物镜)。在某些方面,集光器件基于其接收角来过滤其收集的辐射。也就是说,在接收角以外的辐射将不会被收集。物镜的接收角对应于傅立叶空间中圆形光瞳区域的直径。在一个示例中,集光器件是具有约0.50的NA的物镜。
[0087] 配置A或配置B的EPI-FP-THICK系统包括第一偏振器系统和第二偏振器系统。在某些方面,第一偏振系统和第二偏振系统中的每一个包括一个或更多个线性偏振器,每个偏振器被设计成使单个线性偏振的电磁波通过。
[0088] 在某些方面,第一偏振器系统具有使第一偏振状态的电磁波通过并阻挡其它偏振的电磁波的偏振器。在一个示例中,第一偏振器是放置在LED阵列的表面上的膜。在某些示例中,第一偏振器具有第一取向。
[0089] 在某些方面,第二偏振器系统是指分析入射辐射以将处于第一偏振状态的辐射与处于第二偏振状态的辐射分离的组件集合(assembly)。第二偏振器系统位于辐射检测器和被成像的样本之间。在某些方面,第二偏振系统位于辐射检测器附近。第二偏振器系统分析所接收的辐射以将第一偏振状态的辐射传递到辐射检测器,使得其可以测量强度分布以基于第一偏振状态捕获第一强度图像I1。第二偏振器系统也分析所接收的辐射以将第二偏振状态的辐射传递到辐射检测器,使得其可以测量强度分布以基于第二偏振状态捕获第二强度图像I2。第二偏振器系统通常被配置为使得辐射检测器可以根据第一偏振状态和第二偏振状态的所接收电磁辐射来分别测量单独的强度分布I1和I2。第一偏振状态是指从第一偏振系统发出的辐射的偏振。
[0090] 在某些方面,第二偏振器系统包括单个偏振器和使偏振器在第一取向和正交于第一取向的第二取向(两个正交取向)之间旋转的机构。在一些情况下,确定第一取向,使得当偏振器处于第一取向时,第二偏振器系统使处于第一偏振状态的辐射通过并阻挡其它偏振的电磁波。另外,确定第二取向,使得当偏振器处于第二取向时,第二偏振器系统使处于第二偏振状态的辐射通过并阻挡其它偏振的电磁波。在这些情况下,当偏振器处于第一取向时,辐射检测器可以在第一曝光时间期间测量第一强度分布I1,并且当偏振器处于第二取向时,可以在第二曝光时间期间测量第二强度分布I1。在一些情况下,第二偏振器系统的第一取向是第一偏振系统的第一取向。在一个示例中,单个偏振器在水平“H”取向和垂直“V”取向之间旋转。
[0091] 在某些方面,第二偏振器系统包括偏振器元件的交错布置。某些偏振器元件处于第一取向,而其它偏振器元件处于与第一取向正交的第二取向。在一个示例中,交错布置是在第一取向和第二取向中的偏振元件的棋盘(checkerboard)。在一些情况下,偏振元件与辐射检测器的离散的辐射检测元件一一对应地对准。在一个方面,偏振器元件的交错布置在覆盖LED阵列的材料层中,使得每个LED被偏振器元件覆盖。具有以交错布置的第二偏振系统的EPI-FP-THICK系统可以在相同的曝光时间内捕获单独的强度分布I1和I2。在一些情况下,第二偏振器系统的第一取向是第一偏振系统的第一取向。在一个示例中,第一取向和第二取向分别是水平“H”和垂直“V”取向或水平“H”和垂直“V”取向。
[0092] 在某些方面,第二偏振器系统包括处于第一取向的第一偏振器和处于第二取向的第二偏振器。在这些方面,偏振器不改变位置。第一偏振器使处于第一偏振状态的辐射通过并阻挡其它偏振的电磁波,以及第二偏振器使第二偏振状态的辐射通过并阻挡其它偏振的电磁波。在一个示例中,第一偏振器位于第二偏振器旁边。在该示例中,辐射检测器可以在相同的曝光时间内测量第一强度分布I1和第二强度分布I2。在一方面,第一偏振器是水平“H”取向,且第二偏振器处于垂直“V”取向。在另一方面,第二偏振器是水平“H”取向,且第一偏振器处于垂直“V”取向。在一些情况下,第二偏振器系统的第一取向是第一偏振系统的第一取向。
[0093] 在某些示例中,第二偏振器系统被描述为具有处于“H”取向和“V”取向的两个正交偏振器或者在“H”取向和“V”取向之间旋转的单个偏振器,“H”取向和“V”取向分别指水平方向和垂直方向。为了简单起见,使用“H”和“V”取向来描述这些示例,并且应理解,可以使用其它正交取向。例如,某些第二偏振系统的偏振器可以具有正交偏振,它们是右旋圆/左旋圆。这些右旋圆/左旋圆偏振器通常包含线性偏振器,线性偏振器后面是四分之一波片,后者将来自第一线性偏振器的线性偏振的辐射转换成圆偏振的辐射。圆偏振器通常阻挡比“H”和“V”取向的偏振器更少的电磁辐射,因此在效率是问题时可能特别有用。
[0094] 图4和图5描绘了具有在配置A中布置的组件的EPI-FP-THICK系统的示例。尽管在这些附图中未示出,但是这些EPI-FP-THICK系统包括处理器和与处理器通信的CRM。在一个方面,可选显示器与处理器通信。处理器还与辐射检测器通信以接收图像数据。在一方面,处理器还与可变照明源通信,以将不同入射角处的辐射与辐射检测器的获取时间进行同步。
[0095] 图4是根据实施例的具有在配置A中布置的组件的EPI-FP-THICK系统400的组件的横截面视图的图。EPI-FP-THICK系统400包括图像获取组件集合,其包括圆形可变照明源410、第一偏振系统405、具有成像透镜437的光学系统430、第二偏振系统435和具有检测器平面442的辐射检测器440。样本420被示出在样本表面426上。成像透镜437具有焦距f、半径r和接收角2θA。在一方面,成像透镜437具有在约0.60至约0.75的范围内的NA。横截面视图穿过图像获取组件集合的第一光学系统430的中心线。
[0096] 图4中所示的圆形可变照明源410是以同心圆形LED环的形式。圆形可变照明源410具有离散的照明元件412(例如,LED),离散的照明元件412布置在每个环之间等距间隔并以中心轴线为中心并围绕成像透镜437的12个同心的LED环中。其他数量的同心环可用于其他示例中,如1、2、3、4、5、6、...20。在图4中,离散的照明元件412位于成像透镜437的样本平面处。在其他示例中,照明元件位于偏移平面处,并且仍然保持在样本的与成像透镜相同的侧面上,以提供epi-照明。同心环彼此等间距,其中均匀的径向间隔被定义为Δr。圆形可变照明源410位于样本420上方的等于工作距离do的距离处。
[0097] 在图4中,第一偏振系统405是位于圆形可变照明源410的照明元件和样本420之间的圆形环的形状。在一方面,第一偏振系统405是设置在辐射检测器440的表面上的偏振膜(例如,LED阵列)。第二偏振系统435位于辐射检测器440附近并且位于辐射检测器440和成像透镜437之间。所示示例包括在成像透镜437和辐射检测器440之间的距离di和在成像透镜437和样本20之间的工作距离do。虽然所示的EPI-FP-THICK系统400的尺寸为f=5cm、di=7.02cm、do=17.3、r=.25cm、θB=30度以及θA=3度,但是在其他示例中可使用其他尺寸。在所示示例中,成像透镜437以大型相机镜头的比例示出,使得工作距离do大,诸如例如在约
10-20cm的范围内。在其他示例中,可以使用较小的透镜,例如显微镜透镜,在这种情况下,工作距离do将是更小的,诸如例如在约2-3cm的范围内。
[0098] 在图4中,EPI-FP-THICK系统400被示出为在图像获取过程期间的单个获取时间(即时刻)处。在该获取时间处,可变照明源410的照明元件412被激活,以便以具有(kx,ky)的波矢量的θB的入射角提供辐射。第一偏振系统405将来自照明元件412的辐射偏振到第一偏振状态。在获取过程的单次运行期间,可变照明源410与第一偏振系统405一起从数量为N的多个入射角依次地产生处于第一偏振状态的辐射414。
[0099] 在每个入射角下,成像透镜437在其接收角内接收从样本420发出的辐射。成像透镜437将经过滤的辐射传播到第二偏振系统435。对于每个入射角,第二偏振系统435分析所接收的辐射以将第一偏振状态的辐射传递到辐射检测器440,以基于第一偏振状态捕获强度图像I1,并将第二偏振状态的辐射传递到辐射检测器440以基于第二偏振状态捕获强度图像I2。在获取过程的单次运行期间,辐射检测器440在N次获取时间测量强度分布I1和I2,以获得N个低分辨率强度测量值(图像)的两个序列:I1,i=1至N和I2,i=1至N。处理器(未示出)接收具有N个低分辨率图像的两个序列的图像数据。对于每个入射角,处理器确定强度分布之间的值的差:Is=I1,i-I2,i,以估计该入射角处的表面强度图像。对于N个入射角,处理器基于从厚样本420的表面反射的辐射来确定N个表面图像的序列Is,i=1至N。在恢复过程期间,N个表面图像Is,i=1至N在傅立叶空间中迭代组合以产生更高分辨率的图像数据(强度和/或相位)。在可选显示过程期间,将更高分辨率图像和/或其他数据作为显示数据提供给可选显示器(未示出)。
[0100] 图4的可变照明源410在成像透镜437所在的中心处没有离散元件。在中心处的没有离散照明元件的情况下,由辐射检测器440获取的强度图像将不包括低空间频率。在一些应用中,例如慢变相位对象的特征化,或者当需要准确掌握来自整个对象表面的反射时,该低空间频率信息可能是有价值的。图4中所示的EPI-FP-THICK系统400具有忽略低空间频率的大的工作距离以及具有很少组件的简单设计。由于EPI-FP-THICK系统400不在低空间频率下收集信息,所以EPI-FP-THICK系统400非常适合于高分辨率特性或缺陷的成像,例如在芯片检查应用中。
[0101] 图5是根据实施例的具有根据配置A布置的组件的EPI-FP-THICK系统500的组件的横截面视图的图。EPI-FP-THICK系统500的某些组件类似于图4中所示的EPI-FP-THICK系统400的那些组件。EPI-FP-THICK系统500包括图像获取组件集合,该图像获取组件集合包括:
可变照明源,其具有第一组十二(12)个同心环(例如,LED环)510和第二组八(8)个同心环(例如,LED环)514;第一偏振系统,其具有第一偏振器505和第二偏振器506;光学系统538,其具有成像透镜537;分束器539;第二偏振系统535;以及辐射检测器540,其具有检测器平面542。样本520被示出在样本表面526上。
[0102] 在图5中,第一偏振系统包括以圆形环形状的第一偏振器505,该第一偏振器505位于第一组十二(12)个同心环(例如,LED环)510的离散元件512和样本520之间。第一偏振系统还包括以圆形环形状的第二偏振器506,该第二偏振器506位于第二组八(8)个同心环(例如,LED环)514的离散元件515和分束器539之间。在一方面,第一偏振器和/或第二偏振器是膜。第二偏振系统535位于辐射检测器540附近并且位于辐射检测器540和分束器539之间。
[0103] 在图5中,EPI-FP-THICK系统500被配置为捕获可以被图4中所示的配置省略的低空间频率。EPI-FP-THICK系统500被配置为通过在成像透镜538的另一侧上包括分束器539和具有更小半径的第二同心环514来捕获低空间频率。第二同心环514的离散的离散元件515指向成像光学器件的图像平面,并通过成像光学器件聚焦以照明厚样本520。所示示例示出了在成像透镜538和样本520之间的工作距离do。所示示例还包括在成像透镜538和辐射检测器540之间的距离di。分束器539被配置为将以45度角入射到分束器539并不被分束器539吸收的辐射的一半透射。入射辐射的剩余一半(未被吸收的)被分束器539反射。在一方面,分束器539由具有涂层的玻璃或其他基板的片材组成,其中涂层被设计成相应地控制辐射。在另一示例中,分束器539是具有反射材料(例如,金属)的连续的薄涂层的半镀银反射镜。在又一个示例中,分束器539是瑞士奶酪式分束器,其具有不连续的带有孔的涂层以获得期望的反射与透射的比例。
[0104] 成像透镜537具有焦距f、半径r和接收角2θA。在所示示例中,成像透镜138接受在其接收角2θA内的辐射。虽然所示的EPI-FP-THICK系统400的尺寸为f=6cm、NA~0.16、di=12cm、do=12、r=2cm、θB=30度、θA=5度,但是可使用其他尺寸。为了保持大的透镜-样本距离,成像透镜138具有在约0.1至约0.3范围内的相对低的NA。在所示示例中,成像透镜538具有约0.16的NA,其是相对低的NA。在具有低NA的系统的其它示例中,NA在一个示例中为约
0.08,在另一个示例中为约0.09,在另一个示例中为约0.10,在另一个示例中在约0.07至约
0.20的范围内。
[0105] 在所示示例中,成像透镜538可以例如是具有6cm的焦距f以及2cm的半径r的大相机镜头。如果使用大相机镜头,则EPI-FP-THICK系统400将具有相应的大的工作距离do,诸如例如约10-20cm。在其他示例中,使用较小的透镜,例如显微镜透镜,在这种情况下,工作距离do将更小,诸如例如约2-3cm。
[0106] 图5中所示的示例具有大的工作距离,并且可以捕获所有的空间频率。也就是说,从图4中所示的示例缺失的离散照明元件由放置在光学器件后面的第二组同心环514提供。
[0107] 在图5中,分束器539和第二组同心环514之间的光路距离被指定为b,以及分束器539与成像透镜538之间的光路距离被指定为a。在所示示例中,光学系统538被配置成使得成像透镜537位于距离第二组同心环514的组合的光路距离a+b=f处。
[0108] 在图5中,可变照明源包括两组同心环(例如,圆形LED阵列):第一组十二(12)个等间隔的同心环510(例如,第一LED阵列);以及第二组八(8)个等间隔的同心环514(例如,第二LED阵列)。可以在其它示例中使用的同心环的其它数量是1、2、3、4、5、6等。第一组同心环510包括位于成像透镜538的平面上并且以成像透镜538为中心的离散的离散元件512。在其他情况下,离散的离散元件512处于厚样本520的与成像透镜538相同侧上的一个或更多个偏移平面上。第一组同心环510以Δr1的均匀径向间距等间隔。第二组同心环514以Δr2的均匀径向间距等间隔。第一组同心环514位于样本520上方的等于工作距离do的距离处。在该所示的示例中,第一组同心环510以成像透镜538的中心轴为中心,使得该第一组不具有穿过成像透镜538的中心的离散元件512。第二组的第一组同心环514具有提供由分束器539反射通过成像透镜538的辐射的离散元件515。第二组同心环510包括位于处于距成像透镜
538的焦距f的组合的光路(a+b)的平面上的离散元件512。
[0109] 在图5中,当来自第一组同心环510的单个离散元件512被示出为以具有(kx,ky)的波矢量的θB的入射角提供辐射514时,EPI-FP-THICK 500被示出在单一获取时间(即,时刻)。在图像获取过程中的某些图像获取时间处,来自第一组同心环510的离散元件512中的一个以具有(kx,ky)的波矢量的θB的入射角提供辐射514。第一偏振器505将来自第一组同心环510的离散元件512的辐射偏振至第一偏振状态。在相同图像获取过程的其他图像获取时间,来自第二组同心环514的离散元件515中的一个提供辐射。第二偏振器506将来自第二组同心环514的离散照明元件512的辐射偏振至第一偏振状态。如果离散的照明元件515中的一个被照明,则由分束器539接收第一偏振状态的入射辐射。在分束器539处接收的入射辐射的一半(而未被吸收)被反射到成像透镜538,成像透镜538向样本520传播辐射。由于分束器539传递入射辐射的一半,在某些方面,第二组同心环514的离散元件515的每个具有强度约为第一组同心环510的离散照明元件512中的每个的照明源的强度的两(2)倍(2x)的照明源。
[0110] 第一偏振系统将到样本520的入射辐射偏振至第一偏振状态。在图像获取过程的运行期间,可变照明源与第一偏振系统一起从数量为N的多个入射角依次地产生处于第一偏振状态的辐射。在成像透镜538处接收从样本520发出的辐射。成像透镜538接收在其接收角内的辐射以过滤辐射。成像透镜538将入射辐射传播到分束器538。来自成像透镜538的一半入射辐射通过分束器538透射并被传播至第二偏振系统535。对于每个入射角,第二偏振系统535分析所接收的辐射以将第一偏振状态的辐射传递到辐射检测器540以基于第一偏振状态捕获强度图像I1,并将第二偏振状态的辐射传递到辐射检测器540以基于第二偏振状态捕获强度图像I2。在图像获取过程的单次运行期间,辐射检测器540在N个获取时间测量强度分布I1和I2,以获得N个低分辨率强度测量值(图像)的两个序列:I1,i=1至N和I2,i=1至N。处理器(未示出)接收具有N个低分辨率图像的两个序列的图像数据。对于每个入射角,处理器确定强度分布之间的值的差:Is=I1,i-I2,i,以估计该入射角处的表面强度图像。对于N个入射角,处理器基于从厚样本520的表面反射的辐射来确定N个表面图像的序列Is,i=1至N。在恢复过程期间,N个表面图像Is,i=1至N在傅立叶空间中迭代组合以产生更高分辨率的图像数据(强度和/或相位)。在可选显示过程期间,将更高分辨率的图像和/或其他数据作为显示数据提供给可选显示器(未示出)。
[0111] 配置B
[0112] 具有以配置B布置的组件的EPI-FP-THICK系统包括孔径扫描仪。在某些方面,孔径扫描仪在光学装置的中间平面中在不同时间产生在数量为N的多个孔径位置处的孔径。在其它方面,孔径扫描仪在光学装置的中间平面中在不同时间产生作为整体移位至数量为N的多个位置的多个孔径。在大多数情况下,中间平面是与样本平面共轭的傅立叶平面。EPI-FP-THICK系统还包括在检测器平面上的被配置成获取样本的强度图像的辐射检测器。
[0113] 如本文所使用的,孔径扫描仪是指被配置为在中间平面的不同N个位置处依次产生孔径(或多个孔径)的一个或更多个设备。如本文中所使用的,孔径扫描仪的孔径通常指在平面中的允许入射辐射传递至在光学装置中的下一个光学元件的区。在一方面,围绕在该平面上的孔径的区阻止/反射入射辐射或以其它方式防止入射辐射传递至下一个光学元件。在某些方面,孔径是光学透明的或基本上光学透明的区。在这些方面,围绕的区反射或吸收入射辐射。在一个示例中,孔径是在不透明板中的透辐射区域(例如,孔洞)。在其它方面,孔径是反射区(例如,在显示器中的一个或更多个微镜或一个或更多个反射像素),其将入射辐射反射至下一个光学元件。在这些方面,围绕的区要么吸收入射辐射要么将入射辐射反射远离下一个光学元件。在一个示例中,孔径由以将入射辐射反射至下一个光学元件的角度定向的一个或更多个微镜组成。在该示例中,在围绕的区中的一个或更多个微镜以不同角度定向,以便将辐射反射远离下一个光学元件。在一些情况下,孔径位置对应于孔径的区的质心。
[0114] 尽管某些示例将孔径扫描仪的孔径描述为在形状上是具有宽度为l和高度为h的尺寸的矩形,但是在其他示例中可以使用诸如具有半径r的圆形、三角形等的其它形状。此外,不同位置处的孔径在示例中被描述为具有恒定的形状和大小。然而,将理解的是,在其他示例中,孔径的大小和形状在不同的孔径位置处可以是变化的。在一种情况下,孔径的区具有0.5mm×0.5mm的尺寸。在另一种情况下,孔径的区具有5mm×5mm的尺寸。例如,孔径位置可以布置在一维或二维阵列中。在一种情况下,孔径位置以线性阵列布置。在另一种情况下,孔径位置以二维网格布置。在另一种情况下,孔径位置被以对角阵列布置。在另一种情况下,孔径位置以曲线网格布置。在某些方面,数量为N的多个孔径位置包括在其相邻孔径(即,在相邻的孔径位置处的孔径)中的两个或更多个之间的重叠区。在一个示例中,该重叠区为孔径面积的约70%。在另一个示例中,该重叠区为孔径面积的约75%。在另一个示例中,该重叠区为在孔径面积的约2%和90%之间。
[0115] 在一些方面,基于机械方式的孔径扫描仪机械地将孔径移位至不同的孔径位置。例如,基于机械方式的孔径扫描仪可以包括X-Y平台,其用于在物理上平移和/或旋转具有孔径的结构(例如,具有以诸如在板中的孔洞的透射区域的形式的孔径的不透明材料板),以在不同的孔径位置处产生孔径。在一个示例中,带有孔径的板被固定至X-Y平台,并且X-Y平台在中间平面中平移和/或旋转该板以在相应的获取时间将孔径定位在适当的孔径位置处。在一种情况下,该板具有表面,该表面具有被定位成与该表面正交的孔径。X-Y平台平移/旋转该板,使得该表面保持在中间平面中。
[0116] 在其他方面,基于显示器的孔径扫描仪数字地显示在中间平面中的不同孔径位置处的孔径。基于显示器的孔径扫描仪的示例是空间光调制器(SLM)。如本文使用的,SLM指可以在其显示器上产生孔径的设备。在某些情况下,SLM使用来自SLM照明源的电信号和/或光学信号以对光的相位 和/或振幅进行调制。在一些情况下,SLM照明源是准直的光源,诸如激光器(例如, 532SM)。在其它情况下,SLM光源不提供准直光。例如,光可以是被在空间上过滤的来自发光二极管(近似1mm的空间相干长度,20nm的频谱带宽)的光,或者来自激光源(例如,532nm准单色激光,多米的空间相干长度)的光。SLM光源可以是系统的组件或者可以是单独的组件。某些SLM可以是商购的。在某些方面,SLM包括具有多个SLM显示元件的SLM显示器。每个SLM显示元件可以被设置成用作孔径(孔径设置)或用作围绕孔径的区(场设置)。在一些配置中,在孔径设置中的SLM显示元件是透明的或几乎透明的,以传递入射辐射,而在场设置中的显示元件可以阻止/反射或几乎阻止/反射入射辐射。在其它配置中,某些SLM显示元件是反射性的。在这些情况下,在孔径设置中的显示元件以将入射辐射反射至在光学装置中的下一个光学元件的(第一)角度定向并且在场设置中的显示元件以将入射辐射反射远离下一个光学元件的不同的(第二)角度定向。在这些配置中,SLM显示器可以通过在孔径设置中设置这些显示元件和/或在场设置中设置周边的显示元件来在一个或更多个SLM显示元件处产生孔径。在不同的获取时间ti,不同组的一个或更多个显示元件是在适当的设置,以在相应的孔径位置处产生孔径。在一些情况下,SLM显示器具有在每秒30至每秒100的范围内的刷新速率。
[0117] 在包括SLM形式的孔径扫描仪的配置B中的EPI-FP-THICK系统中,可以使用不同类型的SLM显示器,诸如例如,反射式硅基液晶(LCoS)显示器、数字微镜装置(DMD)等。反射式硅基液晶(LCoS)显示器是具有多个反射显示元件的反射式显示器。市售的LCoS显示器的示例是反射型 SLM、Pluto、仅相位的LCoS、8μm的像素大小、1080x1920像素显示器。DMD可以指在其表面上具有多个微观的微镜的光学半导体芯片。在某些方面,每个微镜单独地旋转到角度α。以这种方式,每个微镜被转变为在角度α的孔径设置或者转变为没有旋转的场设置,或反之亦然。尽管这些微镜通常以矩形阵列(尺寸o x p)布置,但其它布置可以被使用。在某些方面,DMD中的每个微镜对应于一个或更多个离散的检测器元件(例如,像素)。在一种情况下,在孔径设置中的微镜中的一个或更多个被定向成使得正交于微镜的表面的光学轴以与傅立叶平面成角度α来定向。
[0118] 在包括以SLM的形式的孔径扫描仪的EPI-FP-THICK系统中,SLM显示器被定位,使得其显示平面在中间平面(例如,傅立叶平面)上。在一些情况下,SLM显示器是以在显示平面上的显示元件(例如,像素)的二维矩阵的形式。该二维矩阵具有Pix1x Pix2的尺寸,其中Pix1是在第一方向上的像素数并且Pix2是在正交于第一方向的第二方向上的像素数。在一个示例中,SLM显示器是1920×1080像素的显示器,其中Pix1为1920并且Pix2为1080。在某些方面,SLM的显示元件被编程以根据照明指示而在不同的获取时间具有特别的设置。
[0119] 具有以配置B布置的组件的EPI-FP-THICK系统具有在图像获取过程中从单个入射角提供辐射的照明源。在一些情况下,照明是单色的。在另一种情况下,如下面所讨论的,照明源在不同的获取时间提供不同的波长(例如,与RGB相关联的波长)的辐射。尽管照明源可以是相干源,但非相干源也可以被使用,并且计算校正可以被应用。可见光的源的一些示例包括LCD像素和LED显示器的像素。在使用其它形式的辐射的情况下,其它辐射源可以被使用。例如,在使用X射线辐射的实施例中,辐射源可以包括X射线管和金属靶。作为另一个示例,在使用微波辐射的情况下,辐射源可以包括真空管。作为另一个示例,在使用声辐射的情况下,辐射源可以是声致动器。作为另一个示例,在使用太赫兹辐射的情况下,辐射源可以是耿氏二极管。
[0120] 在彩色成像实施方式中,如果EPI-FP-THICK系统配置B,照明源可以提供分别对应于红色、绿色、蓝色的三个波长λ1、λ2和λ3的RGB照明。在一种使用太赫兹辐射的情况下,由照明源所提供的辐射的频率可以是在0.3至3THz的范围内。在一种使用微波辐射的情况下,由可变照明器所提供的辐射的频率可以是在100MHz至300GHz的范围内。在一种使用X射线辐射的情况下,由可变照明器所提供的辐射的波长可以是在0.01nm至10nm的范围内。在一种使用声辐射的情况下,由可变照明器所提供的辐射的频率可以是在10Hz至100MHz的范围内。
[0121] 图6是根据实施例的具有以配置B布置的组件的EPI-FP-THICK系统600的示意图。EPI-FP-THICK系统600包括提供相干辐射的照明源610和将从照明源610接收到的辐射偏振到第一偏振状态的第一偏振器系统605。照明源610和第一偏振器系统605一起向厚样本620提供处于第一偏振的辐射。EPI-FP-THICK系统600还包括:第一光学系统630(例如,第一物镜),其被配置为接收从样本620发出的辐射;孔径扫描仪632,其被配置为在中间平面(例如,样本620的傅立叶面)中的数量为N的多个孔位置处产生孔径;第二光学系统635(例如,第二物镜),其用于接收通过孔径的辐射;第二偏振器系统637;以及检测器640,其用于测量通过第二偏振器系统637接收的辐射的强度分布。EPI-FP-THICK系统600还包括处理器650(例如,一个或更多个微处理器)、与处理器650进行电通信的计算机可读介质(CRM)660和与处理器650进行电通信的可选显示器670。处理器650也与检测器640电通信。可选地,处理器
650与孔径扫描仪632电通信,例如,以使在不同位置处的孔径生成与图像获取同步。
[0122] 在图像获取过程期间,孔径扫描仪632在平面(例如,光学布置的傅立叶平面)中的数量为N的多个孔径位置处产生孔径。第一光学系统630接收从样本620发出的入射辐射。第二光学系统635接收由孔径所调制的辐射。第二偏振器系统637接收来自第二光学系统635的辐射。第二偏振器系统637分析所接收的辐射以将第一偏振状态的辐射传递到辐射检测器640。辐射检测器640接收被传递以基于每个孔径位置的第一偏振状态来测量第一强度分布I1的辐射。第二偏振器系统637将第二偏振状态的辐射传递到辐射检测器640,以基于每个孔径位置的第二偏振状态捕获第二强度分布I2。辐射检测器640测量对应于N个孔径位置的N个强度分布I1的序列和N个强度分布I2的序列。第二偏振器系统640被配置为使得辐射检测器640可以针对每个孔径位置分别测量第一偏振状态和第二偏振状态的电磁辐射的单独的强度分布I1和I2。在图像获取过程中,辐射检测器640随时间测量强度分布I1和I2以获得N个低分辨率强度测量值(图像)的两个序列:I1,i=1至N和I2,i=1至N。
[0123] 处理器650接收具有N个低分辨率图像的两个序列的图像数据。对于每个孔径位置,处理器650确定强度分布之间的值的差:Is,i=I1,i-I2,i来估计与该孔径位置相关联的表面强度图像。对于N个孔径位置,处理器650基于从厚样本320的表面反射的辐射来确定N个表面图像的序列Is,i=1至N。在恢复过程期间,处理器650可以将在傅立叶空间中的数量为N的多个强度图像迭代地“拼接”在一起,以恢复在样本平面上的样本620的宽场、复合的更高分辨率图像。在某些方面,处理器650以数字方式重新聚焦复合图像,以适应在系统中的样本的任何散焦和/或像差。在某些方面,处理器650将复合图像传播至一个或更多个平面。来自这些在不同的平面上所传播的复合图像的图像数据被用来产生三维图像。在某些方面,处理器650产生以不同的照明波长(RGB)的复合图像,以产生复合的彩色图像。在可选显示过程期间,将更高分辨率图像和/或其他数据作为显示数据提供给可选显示器670。
[0124] 通常,在处于样本的傅立叶平面中的数量为N的多个孔径位置处产生孔径。然而,将理解的是,孔径可以被产生在与该样本共轭的诸如,例如,复合透镜系统的孔径平面或显微镜物镜的后焦平面之类的另一中间平面中。
[0125] 图7A是根据实施例的配置B中的EPI-FP-THICK系统700的组件的示意图。EPI-FP-THICK系统700包括:第一光学系统(例如,透镜)711,其具有第一焦距f1(其中,f1=f);第二光学系统(例如,透镜)712,其具有第二焦距f2(其中,f1=f);以及孔径扫描仪770,其以空间光调制器的形式。孔径扫描仪770被配置成在诸如样本750的傅立叶平面的中间平面上将孔径771移动至数量为N的多个位置。在其他示例中,可以使用其他类型的孔径扫描仪。EPI-FP-THICK系统700还包括照明源730和提供入射到样本750的第一偏振状态的平面波辐射734的第一偏振系统732。尽管未示出,但EPI-FP-THICK系统700还包括处理器、与处理器通信的CRM以及可选地与处理器通信的显示器。EPI-FP-THICK系统700还包括检测器760和第二偏振器系统762,检测器760具有检测器平面处的(有效)检测表面。该图示示出该系统在与被成像的样本750的图像获取过程期间位于样本平面上。该系统的组件的一些细节可以在Horstmeyer,Roarke等人的“Overlapped Fourier coding for optical aberration removal”(2014年)中找到,该文献在此通过引用以其整体并入。
[0126] 在图7A中,EPI-FP-THICK系统700的光学组件是在4f光学布置中,其中第一光学系统711位于距第二光学系统712的等于它们被合并的焦距2f的距离处。样本750的样本平面位于距第一光学系统702的第一焦距(f1=f)处并且检测器760的检测器平面位于距第二光学系统712的第二焦距(其中f2=f)的光路距离处。样本的傅立叶平面位于远离第一光学系统711的第一光学系统711的第一焦距(其中f1=f)的光路距离处并且位于远离第二光学系统712的第二光学系统712的第二焦距(其中f2=f)的光路距离处。
[0127] 图7B是图7A中所示的空间光调制器770的SLM显示器773的横截面视图的示意图。该横截面视图是在SLM显示器773的显示平面上。图7B包括在显示平面上的x'轴和y'轴。SLM显示器773是具有宽度L和高度H的尺寸的矩形显示器。
[0128] 空间光调制器770被配置为以等间隔的孔径位置(即相邻孔径之间的相等间距)的2-D正方形网格(n×n)在其显示器773上数字地产生孔径。空间光调制器770被配置为在其显示器773上数字地产生在数量为N的多个位置处的孔径771,其中N=n2。在图7B中,孔径
771(1)和孔径771(2)都具有恒定的矩形,该矩形具有宽度l和高度h。在其它实施例中,相邻的孔径位置之间的间距是等间距的和/或孔径在不同位置具有不同的大小。
[0129] 在图7B中,显示器773被示出为在获取时间,此时孔径771(1)(以实线示出)在SLM显示器773上产生。该图示还包括相邻的孔径771(2)(以虚线示出),其将在如由虚线所表示的随后的获取时间(例如,t2)被显示以说明在相邻的孔径之间的空间重叠关系。如所示的,相邻的孔径771(1)和771(2)具有在x’方向上的距离“c”的重叠772。在某些情况下,重叠772为孔径771的面积的至少约70%。在其它情况下,重叠772可以为孔径771的面积的至少约75%。在其它情况下,重叠772可以在孔径771的面积的2-90%之间。显示指令可以由SLM 
770用来在直线网格中的显示器773上产生孔径。在一方面,相邻(邻近)的孔径之间的重叠
772对应于设置n>L/l。例如,如果n=9,则设置L/l=2.5将在相邻孔径之间产生超过75%的重叠。
[0130] SLM显示器770具有2-D网格,其具有正方形的尺寸(n x n尺寸)。在这种情况下,N个孔径位置被描述为在显示平面中的(Xi,Yj),i=1至n,j=1至n,并且孔径位置数N=n2。在某些方面,孔径771从该2-D直线网格的原点移位二维向量cj=(cxj,cyj),1
[0131] 在示例性图像获取过程期间,孔径扫描仪770在EPI-FP-THICK系统700的傅立叶平面上产生数量为N的多个孔径位置处的孔径。第一光学系统711接收从样本750发出的辐射。第二光学系统712接收由孔径所调制的辐射。第二偏振器系统762接收来自第二光学系统
712的辐射。第二偏振器系统762分析所接收的辐射以将第一偏振状态的辐射传递到辐射检测器760。辐射检测器760接收被传递以基于每个孔径位置的第一偏振状态测量第一强度分布I1的辐射。第二偏振器系统762将第二偏振状态的辐射传递到辐射检测器760,以基于每个孔径位置的第二偏振状态捕获第二强度分布I2。辐射检测器760测量对应于N个孔径位置的N个强度分布I1的序列和N个强度分布I2的序列。第二偏振器系统762被配置为使得辐射检测器760可以针对每个孔径位置分别测量第一偏振状态和第二偏振状态的电磁辐射的单独的强度分布I1和I2。在图像获取过程中,辐射检测器760随时间测量强度分布I1和I2以获得N个低分辨率强度测量值(图像)的两个序列:I1,i=1至N和I2,i=1至N。
[0132] 处理器接收具有N个低分辨率图像的两个序列的图像数据。对于每个孔径位置,处理器确定强度分布之间的值的差:Is,i=I1,i-I2,i来估计与该孔径位置相关联的表面强度图像。对于N个孔径位置,处理器基于从厚样本750的表面反射的辐射来确定N个表面图像的序列Is,i=1至N。在恢复过程期间,处理器可以将在傅立叶空间中的数量为N的多个强度图像迭代地“拼接”在一起,以恢复在样本平面上的样本760的宽场、复合的更高分辨率图像。在某些方面,处理器以数字方式重新聚焦复合图像,以适应在系统中的样本的任何散焦和/或像差。在某些方面,处理器将复合图像传播至一个或更多个平面。来自这些在不同的平面上所传播的复合图像的图像数据被用来产生三维图像。在某些方面,处理器产生以不同的照明波长(RGB)的复合图像,以产生复合的彩色图像。在可选显示过程期间,将更高分辨率图像和/或其他数据作为显示数据提供给可选显示器。
[0133] III.EPI-FP-THICK成像方法
[0134] EPI-FP-THICK方法在本节中通常被描述为由配置A或配置B的EPI-FP-THICK系统执行。配置A或配置B中的EPI-FP-THICK系统的几个示例在以上的章节II中提供。EPI-FP-THICK方法通常包括图像获取过程、傅立叶重叠关联重建过程和可选的显示过程。在以下章节IV中提供了傅立叶重叠关联重建过程的某些细节。
[0135] 图8是描绘根据实施例的EPI-FP-THICK方法的操作的流程图。EPI-FP-THICK方法从操作802开始。当使用这种方法时,EPI-FP-THICK系统具有第二偏振系统,该第二偏振系统被配置有在每个曝光时间位于一个取向的偏振器。在该系统中,当偏振器处于第一取向时,辐射检测器在曝光时间期间测量第一强度分布I1,并且当偏振器处于第二取向时,在另一曝光时间期间测量第二强度分布I1。在一个示例中,第二偏振器系统是单个偏振器和使偏振器在第一取向和正交于第一取向的第二取向之间旋转的机构。
[0136] 在操作810中,从样本的与集光器件所在的同一侧向样本提供也被称为“偏振状态1”的第一偏振状态的辐射(epi-照明)。厚样本的表面反射辐射,同时主要维持偏振状态1(即在第一方向上偏振)。在样本表面下方散射的辐射变得随机偏振的,并且不保持偏振状态1。
[0137] 在根据配置A布置EPI-FP-THICK系统的组件的情况下,操作810包括图9A中所示的流程图中所描绘的子操作。在子操作802,可变照明源和第一偏振系统一起提供以偏振状态1入射到样本的辐射。以N个入射角向样本提供顺序照明。可变照明源可以基于定义入射角的顺序和相关联的照明时间的照明指令来控制顺序照明。这些指令可以用处理器来实现,并且可以被存储在计算机可读介质上。在某些方面,可变照明源以数量为N的多个入射角中的每个入射角提供平面波照明。在空间域中具有波矢量kx,ky的平面波照明等价于在傅立叶域中将图像频谱的中心移位(kx,ky)。在这方面,傅立叶域中的强度图像数据从垂直入射的图像数据移位(kx,ky),其对应于由可变照明源施加的入射角(θx,θy)。在子操作804,第一光学系统收集从样本发出的辐射,并经由第二偏振系统将其传播到辐射检测器。光学系统通常包括对辐射进行过滤的过滤光学元件。在一个示例中,过滤光学元件是收集从所照明的样本发出的辐射的物镜。在这种情况下,物镜通过仅接受以其数值孔径(NA)内的角度范围入射的辐射来对从样本发出的辐射进行过滤。在傅立叶空间中,诸如物镜的过滤光学元件的过滤函数可以由半径为NA x k0的圆形光瞳表示,其中k0=2π/λ是真空中的波数。IV节中描述的傅立叶重叠关联重建过程在傅立叶空间中更新由该过滤函数和入射角中限定的区域。在某些情况下,过滤光学元件及其相关的过滤函数省略了圆形光瞳区域外的数据。
[0138] 在根据配置B布置EPI-FP-THICK系统的组件的情况下,操作810包括图9B中所示的流程图中所描绘的子操作。在子操作806,照明源向样本提供epi照明。第一光学系统接收从样本发出的入射辐射。在子操作808,孔径扫描仪在EPI-FP-THICK系统的光学装置的中间(例如,傅立叶)平面上的数量为N的多个孔径位置(Xi,Yj)处产生孔径(或多个孔径),i=1至m,j=1至n。孔径扫描仪可以基于限定孔径位置的顺序的指令来产生在不同的位置处的孔径。这些指令可以用处理器来实现,并且可以被存储在计算机可读介质上。x和y方向上的波矢量表示为kxi和kyi。第二光学系统可接收由孔径所调制的入射辐射。
[0139] 在操作820,辐射检测器测量强度分布以获取N个强度图像的第一序列:I1,i=1至N。在操作830,辐射检测器测量强度分布以获得N个强度图像的第二序列:I2,i=1至N。在图8中所述的方法中,辐射检测器在与其间辐射检测器获取N个强度图像的第二序列:I2,i=1至N的获取时间不同的获取时间处获取N个强度图像的第一序列:I1,i=1至N。当EPI-FP-THICK系统具有配置有在每个曝光时间内处于一个取向的偏振器组的第二偏振器系统时,情况就是这样。在一个示例中,第二偏振器系统具有单个偏振器和使偏振器在第一取向和正交于第一取向的第二取向之间旋转的机构。当偏振器处于第一取向时,第二偏振器系统仅传递处于第一偏振状态的辐射(阻挡其它偏振的电磁波),并且当偏振器处于第二取向时,第二偏振器系统仅传递第二偏振中的辐射。在这些情况下,当偏振器处于第一取向时,辐射检测器在第一曝光时间期间测量第一强度分布I1,并且当偏振器处于第二取向时,在第二曝光时间期间测量第二强度分布I1。在一个情况下,单个偏振器在水平“H”取向和垂直“V”取向之间旋转。
[0140] 在根据配置A布置EPI-FP-THICK系统的组件的情况下,在操作820和830期间获取的强度分布对I1和I2的每个与不同的入射角相关联。在根据配置B布置EPI-FP-THICK系统的组件的情况下,在操作820和830期间获取的强度分布对I1和I2的每个与不同的孔径位置相关联。
[0141] 在操作840,处理器确定去散射的图像组I2,i=1至N。基于辐射的随机去偏振分量对第一图像I1和第二图像I2有同等贡献的估计,第一图像I1和第二图像I2之间的差有效地消除去偏振辐射的贡献以产生去散射的表面图像Is。如果使用配置A,针对每个入射角或者如果使用配置B,针对每个孔径位置,处理器取第一图像I1和第二图像I2之间的差。处理器采用该差来确定去散射的图像组I2,i=1至N。
[0142] 在操作1000,处理器使用傅立叶重叠关联重建过程来基于在操作840中确定的去散射的图像组I2,i=1至N来恢复样本的更高(即改进的)分辨率的复合图像。该操作的细节在章节IV中描述。在该操作中,更高分辨率的复合图像在空间域中初始化,并且傅立叶变换被应用到初始值,以获得初始化的傅立叶变换的图像。通过在傅立叶空间中迭代地组合来自去散射的图像组I2,i=1至N的强度测量值,计算地构建更高分辨率的图像。参考图11和图12描述了如果EPI-FP-THICK系统的组件按照配置A布置则适用的操作1000的细节。参考图13和图14描述了如果EPI-FP-THICK系统的组件按照配置B布置则适用的操作1000的细节。
[0143] 在可选的操作850,显示器可以从处理器接收图像数据诸如更高分辨率的复合图像数据和/或其它数据,并且在显示器上显示该数据。在操作860,该方法确定是否存在另一循环。如果有另一个循环(是),则方法返回到810。如果没有另一循环(否),则该方法结束(870)。
[0144] 图10是描绘根据实施例的EPI-FP-THICK方法的操作的流程图。当使用这种方法时,EPI-FP-THICK系统被配置成使得辐射检测器可以同时获取在两个偏振处的图像I1和I2。在这种EPI-FP-THICK系统的一个示例中,第二偏振器系统具有偏振器元件的交错布置。在该示例中,某些偏振器元件处于第一取向,而其它偏振器元件处于与第一取向正交的第二取向。在一种情况下,交错布置可以在第一取向和第二取向上形成偏振元件的棋盘图案。在一方面,偏振元件与辐射检测器的离散的辐射检测元件一一对应地对准。例如,偏振器元件的交错布置可以在覆盖LED阵列的材料层中,使得每个LED被偏振器元件覆盖。
[0145] EPI-FP-THICK方法从操作902开始。在操作910中,从样本的与集光器件所在的同一侧向样本提供也被称为“偏振状态1”的第一偏振状态的辐射(epi-照明)。厚样本的表面主要反射保持偏振状态1(即在第一方向上偏振)的辐射。在样本表面下方散射的辐射变得随机偏振的,并且不保持偏振状态1。
[0146] 在根据配置A布置EPI-FP-THICK系统的组件的情况下,操作910包括图9A中所示的流程图中所描绘的子操作。在子操作802,可变照明源和第一偏振系统一起提供以偏振状态1入射到样本的辐射。以N个入射角向样本提供顺序照明。在子操作804,第一光学系统收集从样本发出的辐射,并经由第二偏振系统将其传播到辐射检测器。参考操作810更详细地描述子操作802和804。
[0147] 在根据配置B布置EPI-FP-THICK系统的组件的情况下,操作910包括图9B中所示的流程图中所描绘的子操作。在子操作806,照明源向样本提供epi照明。第一光学系统接收从样本发出的入射辐射。在子操作808,孔径扫描仪产生在EPI-FP-THICK系统的光学装置的中间(例如,傅立叶)平面上的数量为N的多个孔径位置(Xi,Yj)处的孔径(或多个孔径),i=1至m,j=1至n。参考操作810更详细地描述子操作806和808。
[0148] 在操作920,辐射检测器测量强度分布以同时获取N个强度图像的第一序列:I1,i=1至N并获取N个强度图像的第二个序列:I2,i=1至N。也就是说,在获取第二序列的相应强度图像的同时获取第一序列的强度图像。例如,在从第二获取时间t2开始的同一曝光时间期间获取I1,2和I2,2。为了同时获取,系统具有带有偏振器元件的第二偏振器系统,其被配置为使得辐射检测器可以在相同的曝光时间基于第一偏振状态和第二偏振状态来采取单独的图像I1和I2。在一个示例中,第二偏振器系统具有偏振器元件的交错布置,其中某些偏振器元件处于第一取向并且其它偏振器元件处于与第一取向正交的第二取向。例如,交错布置可以是以处于第一取向和第二取向的偏振元件的棋盘图案的形式。在一方面,偏振元件与辐射检测器的离散的辐射检测元件一一对应地对准。例如,偏振器元件的交错布置可以在覆盖LED阵列的材料层中,使得每个LED被偏振器元件覆盖。
[0149] 在根据配置A布置EPI-FP-THICK系统的组件的情况下,在操作920期间获取的强度分布对I1和I2的每个与不同的入射角相关联。在根据配置B布置EPI-FP-THICK系统的组件的情况下,在操作920期间获取的强度分布对I1和I2的每个与不同的孔径位置相关联。
[0150] 在操作940,处理器确定去散射的图像组I2,i=1至N。基于辐射的随机去偏振分量对第一图像I1和第二图像I2有同等贡献的估计,第一图像I1和第二图像I2之间的差有效地消除去偏振辐射的贡献以产生去散射的表面图像Is。如果使用配置A,针对每个入射角或者如果使用配置B,针对每个孔径位置,处理器取第一图像I1和第二图像I2之间的差。处理器采用该差来确定去散射的图像组I2,i=1至N。
[0151] 在操作1000,处理器使用傅立叶重叠关联重建过程来基于在操作940中确定的去散射的图像组I2,i=1至N来恢复样本的更高(即改进的)分辨率的复合图像。该操作的细节在IV章节中描述。在该操作中,更高分辨率的复合图像在空间域中初始化,并且傅立叶变换被应用到初始值,以获得初始化的傅立叶变换的图像。通过在傅立叶空间中迭代地组合来自去散射图像组I2,i=1至N的强度测量值,计算地构建更高分辨率图像。参考图11和图12描述了如果EPI-FP-THICK系统的组件按照配置A布置则适用的操作1000的细节。参考图13和图14描述了如果EPI-FP-THICK系统的组件按照配置B布置则适用的操作1000的细节。
[0152] 在可选的操作950,显示器可以从处理器接收图像数据诸如更高分辨率的复合图像数据和/或其它数据,并且在显示器上显示该数据。在操作960,该方法确定是否存在另一循环。如果有另一个循环(是),则该方法返回到910。如果没有另一循环(否),则该方法结束(970)。
[0153] IV.傅立叶重叠关联重建过程
[0154] 重建过程的一些细节可以在Zheng,Guoan、Horstmeyer,Roarke和Yang,Changhuei的“Wide-field,high-resolution Fourier ptychographic microscopy”,Nature Photonics,第7卷,第739页-第745页(2013年)以及题为“Fourier Ptychographic Imaging Systems,Devices,and Methods”并在2013年10月28日提交的美国专利申请14/065,280中找到。在重建操作期间,利用更低分辨率的强度图像数据来迭代地更新傅立叶域中的重叠区域以产生更高分辨率的图像。
[0155] 图11和图12是适用于具有根据配置A布置的组件的EPI-FP-THICK系统的重叠关联重建过程的两个示例的细节。图13和图14是适用于具有根据配置B布置的组件的EPI-FP-THICK系统的重叠关联重建过程的两个示例的细节。
[0156] 图11是根据实施例的具有根据配置A布置的组件的EPI-FP-THICK系统的重建过程的示例的流程图。在该过程中,样本的高分辨率图像可以根据去散射的图像组I2,i=1至N来在计算上进行重建。
[0157] 在1501,高分辨率图像: 在空间域中初始化,且傅立叶变换被应用到初始值,以获得初始化的傅立叶变换的图像 初始化的高分辨率的解可以是初始猜测。该初始猜测可基于样本位于离焦平面z=z0的假设来确定。在一些情况下,初始猜测可以被确定为(对于强度和相位二者的)随机复矩阵。在其它情况下,可将初始猜测确定为具有随机相位的低分辨率强度测量结果的内插。初始猜测的示例是 以及从样本区的任何低分辨率图像内插的Ih。初始猜测的另一个示例是恒定值。初始猜测的傅立叶变换可以是在傅立叶域中的广谱。
[0158] 在1510、1520、1530、1540、1550、1560和1570的迭代操作中,通过使用处理器来在傅立叶空间中迭代地组合低分辨率强度测量值来对样本的高分辨率图像进行计算上的重建。如果样本离焦量为z0,则可选的操作1520和1540可以被执行。
[0159] 在1510,处理器在傅立叶域中执行对高分辨率图像 的低通过滤以针对具i i i i
有波矢量(kx ,ky)的特定平面波入射角(θx ,θy)产生低分辨率图像 高分辨率图像的傅立叶变换是 且特定的平面波入射角的低分辨率图像的傅立叶变换是 在傅立叶域中,重建过程从高分辨率图像 的频谱 中滤除低通区域。在用以物镜形式的光学
元件的情况下,该区域是具有半径为NA*k0圆形孔径,其中k0等于由物镜的相干传递函数给定的2π/λ(在真空中的波数)。在傅立叶空间中,该区域的位置对应于入射角。对于具有波矢量(kxi,kyi)的倾斜平面波入射,该区域以 的傅立叶域中的位置(-kxi,-kyi)为中心。
[0160] 在可选操作1520,使用处理器,低分辨率图像 在傅立叶域中传播到在光学元件的z=0的对焦平面,以确定在聚焦位置的低分辨率图像: 在一个实施例中,
操作1520通过对低分辨率图像 进行傅立叶变换、乘以傅立叶域中的相位因子以及
傅立叶逆变换来执行以获得 在另一个实施例中,操作1520通过用散焦的点扩散
函数来卷积低分辨率图像 的数学上等效的操作来执行。在另一个实施例中,操作
1520通过在执行傅立叶逆变换来产生 之前使 乘以傅立叶域中的相位因子,来作
为操作1510的可选的子操作来执行。可选的操作1520不需要被包括,如果样本位于光学元件的对焦平面(z=0)上的话。
[0161] 在操作1530,使用处理器,在对焦平面处的低分辨率图像 的计算的振幅分量 用由辐射检测器测量的低分辨率强度测量值的平方根 替代。这就形成了更
新的低分辨率的目标:
[0162] 在可选操作1540,使用处理器,更新的低分辨率图像 反向传播到样本平面(z=z0)以确定 可选的操作1540不需要被包括,如果样本位于光学元件的对
焦平面上,也就是其中z0=0的话。在一方面,操作1540通过利用更新的低分辨率图像的傅立叶变换以及在傅立叶空间中乘以相位因子并随后对其进行傅立叶逆变
换来执行。在另一个实施例中,通过用散焦的点扩散函数卷积更新的低分辨率图像
来执行操作1540。在另一个实施例中,通过在对更新的目标图像执行傅立叶变
化后乘以相位因子,操作1540作为操作1550的子操作来执行。
[0163] 在操作1550,使用处理器,傅立叶变换应用于传播到样本平面的更新的目标图像:并且该数据在对应于入射波矢量(kxi,kyi)的傅立叶空间中的高分辨率解
的相应区域中被更新。
[0164] 在操作1560,处理器确定操作1510到1560是否针对第二组图像的所有图像已经完成。如果操作1510到1560尚未完成所有的图像,则对下一个图像重复操作1510到1560。
[0165] 在操作1570,处理器确定高分辨率解是否收敛(操作1570)。例如,处理器可确定高分辨率解是否可能已经收敛到自洽解。在一种情况下,处理器将先前迭代或初始猜测的先前高分辨率解与当前高分辨率解进行比较,且如果差值小于某一值,则解可能已经收敛到自洽解。如果处理器确定解还未收敛,则重复操作1510到1570。在一个实施例中,操作1510至1560被重复一次。在其它实施例中,操作1510至1560被重复两次或更多次。如果解已经收敛,则处理器将在傅立叶空间中的收敛的解变换至空间域,以恢复高分辨率的图像如果处理器确定解在操作1570已收敛,则过程返回。
[0166] 图12是根据实施例的具有根据配置A布置的组件的EPI-FP-THICK系统的重建过程的示例的流程图。在该过程中,样本的高分辨率图像可以根据去散射的图像组I2,i=1至N进行计算方面重建。该重建处理包括数字波前校正。该过程将数字波前补偿并入在两个乘法操作1605和1645中。具体地,操作1605通过由处理器乘以光瞳函数: 来模拟实际样本轮廓和捕获的强度数据(其包括像差)之间的连接。操作1645反转这种连接,以实现无像差重建图像。样本散焦实质上等同于将散焦相位因子(即,散焦像差)引入到光瞳平面:
[0167]
[0168] 其中,kx和ky是光瞳平面处的波数,z0为散焦距离,且NA是光学元件的数值孔径。
[0169] 在1601,高分辨率图像: 在空间域中初始化,且将傅立叶变换应用到初始值,以获得初始化的傅立叶变换的图像 初始化的高分辨率的解可以是初始猜测。该初始猜测可基于样本位于离焦平面z=z0的假设来确定。在一些情况下,初始猜测可以被确定为(对于强度和相位二者的)随机复矩阵。在其它情况下,可将初始猜测确定为具有随机相位的低分辨率强度测量结果的内插。初始猜测的示例是 以及从样本区的任何低分辨率图像内插的Ih。初始猜测的另一个示例是恒定值。在一方面,初始猜测的傅立叶变换是在傅立叶域中的广谱。
[0170] 在1605、1610、1630、1645、1650、1660和1670的迭代操作中,通过使用处理器来在傅立叶空间中迭代地组合低分辨率强度测量值来对样本的高分辨率图像进行计算上的重建。
[0171] 在操作1605,处理器乘以在傅立叶域中的相位因子 在操作1610,处理器在傅立叶域中执行对高分辨率图像 的低通过滤以针对具有波矢量(kxi,kyi)的
特定平面波入射角(θxi,θyi)产生低分辨率图像 高分辨率图像的傅立叶变换是
且对于特定的平面波入射角的低分辨率图像的傅立叶变换是 在傅立叶域中,该过程从高分辨率图像 的频谱 中滤除低通区域。在用以物镜形式的光学元件的情况下,
该区域是具有半径为NA*k0圆形孔径,其中k0等于由物镜的相干传递函数给定的2π/λ(在真空中的波数)。在傅立叶空间中,该区域的位置对应于入射角。对于具有波矢量(kxi,kyi)的倾斜平面波入射,该区域以 的傅立叶域中的位置(-kxi,-kyi)为中心。
[0172] 在操作1630,使用处理器,在对焦平面的低分辨率图像 的计算的振幅分量 用由辐射检测器测量的低分辨率强度测量结果的平方根 替代。这就形成了更
新的低分辨率的目标:
[0173] 在操作1645,处理器乘以在傅立叶域中的逆相位因子
[0174] 在操作1650,使用处理器,将傅立叶变换应用于传播到样本平面的更新的目标图像: 并且该数据在对应于入射波矢量(kxi,kyi)的傅立叶空间中的高分辨率解的相应区域中被更新。
[0175] 在操作1660,处理器确定操作1605到1650是否针对第二组中的所有图像完成。如果操作1605至1650还未完成所有图像,则对第二组图像中的下一图像重复操作1605至1650。
[0176] 在操作1670,处理器确定高分辨率解是否收敛。例如,处理器可确定高分辨率解是否可能已经收敛到自洽解。在一种情况下,处理器将先前迭代或初始猜测的先前高分辨率解与当前高分辨率解进行比较,且如果差值小于某一值,则解可能已经收敛到自洽解。如果处理器确定解还未收敛,则重复操作1605到1670。在一个实施例中,操作1605至1670被重复一次。在其它实施例中,操作1605至1670被重复两次或更多次。如果该解已经收敛,则处理器将在傅立叶空间中的收敛的解变换至空间域,以恢复高分辨率的图像 如果处理器确定解在操作1670已收敛,则过程返回。
[0177] 图13是根据实施例的具有根据配置B布置的组件的EPI-FP-THICK系统的重建处理的示例的流程图。在该过程中,样本的高分辨率图像可以根据去散射的图像组I2,i=1至N进行计算方面重建。示出的流程图包括可选的数字波前校正操作1705和1745。操作1705通过乘以光瞳函数: 提供在实际的样本轮廓和所捕获的强度数据(其可以包括像差)之间的连接。操作1745使该连接反转,以确定样本的无像差重建的复合图像。样本散焦可以通过根据公式3将散焦相位因子引入到光瞳平面(即,散焦像差)来实现。
[0178] 在操作1705,初始的复合的、更高分辨率的傅立叶变换的图像 乘以在傅立叶域中的相位因子 或 在操作1710,在傅立叶域中的更高分辨率的图像的低通过滤被执行,以产生与波矢量(kxi,kyi)相关联的孔径位置的更低分辨率的
强度图像 或 更高分辨率的图像的傅立叶变换为 并且对于特定孔
径位置的更低分辨率的强度图像的傅立叶变换为 在傅立叶域中,从高分辨率图像
的频谱 中滤除低通区域。在某些情况下,这种低通区域可以是具有NA*k0的半径
的圆形孔径,其中k0等于2π/λ(在真空中的波数),由光学系统(例如,第一光学系统和/或第二光学系统)的相干光学传递函数给出。在傅立叶空间中,低通区域的位置对应于在空间域中的特定孔径位置。
[0179] 在操作1730,在对焦平面上的强度图像 的计算的振幅分量 用由辐射检测器测量的强度测量结果的平方根 替代。这就形成了更新的更低分辨率的目
标:
[0180] 在操作1745,更新的更低分辨率目标: 乘以在傅立叶域中的逆相位因子 或 在操作1750,将傅立叶变换应用于传播到样本平面的更
新的目标图像: 并且该数据在对应于入射波矢量(kxi,kyi)的傅立叶空间中的更高
分辨率解 的相应区域中被更新。在操作1760,确定操作1705至1750是否已针对全
部N个孔径位置完成。如果操作1705至1750尚未完成全部N个孔径位置,则对下一个孔径位置重复操作1705至1750。
[0181] 在操作1770,确定更高分辨率的图像的解是否收敛。如果确定该解还没有收敛,则操作1705至1770被重复。在一个实施例中,操作1705至1770被重复一次。在其它实施例中,操作1705至1770被重复两次或更多次。如果该解已经收敛,则在傅立叶空间中的收敛的解被变换至空间域,以恢复更高分辨率的图像 如果在操作1770确定解已经收敛,则该方法继续进行。
[0182] 如果散焦距离是未知的,则EPI-FP-THICK方法可以基于来自公式3的自动聚焦索引的计算来将“z”参数数字地调节到不同的值。然后,EPI-FP-THICK方法可构造相应的图像,并选择最清晰的图像。这种方法也可以被扩展以对平铺的样本进行成像。在这种情况下,EPI-FP-THICK方法可数字地调节“z”参数以实现对整个图像的每个分块区域的锐度,并结合对焦区域以形成全视场的完全聚焦的图像。
[0183] 在其它实施例中,替代的数字乘法相位因子被包括在乘法操作1705和1745中以校正各种像差,只要该因子正确地模拟所采用的光学系统。
[0184] 在一些情况下,样本的z位置可能不是已知先验的。在一方面,该过程可以包括数字自动聚焦操作,其确定样本的z位置并且使用这个z位置来以数字方式重新聚焦。为了计算样本的z位置,EPI-FP-THICK方法确定自动聚焦索引参数。通过以下的公式定义自动聚焦索引:
[0185] 自动聚焦索引:
[0186] 其中: 是来自低通过滤的振幅图像,且
[0187] 是实际强度测量
[0188] 公式4中的求和用于所有孔径位置。在计算样本的估计的z位置之后,该过程可数字重聚焦于所估计的z位置。在一些情况下,已经发现更高分辨率的图像的恢复的解在使用准确的z位置时更迅速地收敛。
[0189] 图14是根据实施例的具有根据配置B布置的组件的EPI-FP-THICK系统的重建处理的示例的流程图。在该过程中,样本的高分辨率图像可以根据去散射的图像组I2,i=1至N进行计算方面重建。
[0190] 在操作1810,在傅立叶域中的更高分辨率的图像 的低通过滤被执行,以产生针对与波矢量(kxi,kyi)相关联的特定孔径位置的低分辨率图像 更高分辨率
的图像的傅立叶变换为 并且对于特定孔径位置的低分辨率的图像的傅立叶变换为 在傅立叶域中,EPI-FP-THICK方法从更高分辨率图像 的频谱 滤除低通区域。在用
以物镜的形式的光学元件的情况下,此区域可以是半径为NA*k0的圆形孔径,其中k0等于2π/λ(在真空中的波数),由物镜的相干传递函数给出。在傅立叶空间中,低通区域的位置对应i i
于孔径位置。该区域可以以在傅立叶域 中的位置(-kx ,-ky)为中心。
[0191] 在可选操作1820,低分辨率图像 在傅立叶域中传播到在光学元件的z=0的对焦平面,以确定在聚焦位置的低分辨率图像: 在一个实施例中,操作1820通
过对低分辨率图像 进行傅立叶变换、乘以在傅立叶域中的相位因子以及傅立叶逆
变换来执行以获得 在另一个实施例中,操作1820通过用散焦的点扩散函数来卷
积低分辨率图像 的在数学上等效的操作来执行。在另一个实施例中,操作1820通过在执行傅立叶逆变换来产生 之前使 乘以傅立叶域中的相位因子,来作为操作
1810的可选的子操作执行。可选的操作1820不需要被包括,如果样本位于光学元件的对焦平面(z=0)上的话。
[0192] 在操作1830,在对焦平面的低分辨率图像 的计算的振幅分量 用由EPI-FP-THICK系统的辐射检测器测量的低分辨率强度测量结果的平方根 替代。这就形成了更新的低分辨率的目标:
[0193] 在可选的操作1840,更新的低分辨率图像 可以被反向传播至样本平面(z=z0),以确定 可选的操作1840不需要被包括,如果样本位于光学元件的对焦
平面上,也就是其中z0=0的话。在一种情况下,操作1840通过利用更新的低分辨率图像的傅立叶变换以及在傅立叶空间中乘以相位因子并且然后对其进行傅立叶逆
变换来执行。在另一个情况下,通过用散焦的点扩散函数卷积更新的低分辨率图像
来执行操作1840。在另一个情况下,操作1840通过在对更新的目标图像执行傅
立叶变换后乘以相位因子来作为操作1850的子操作执行。
[0194] 在操作1850,将傅立叶变换应用于传播到样本平面的更新的目标图像:并且该数据在对应于入射波矢量(kxi,kyi)和相关联的孔径位置的傅立叶空间中的更高分辨率解 的相应区域中被更新。
[0195] 在操作1860,确定操作1810至1860是否已针对全部的N个孔径位置完成。如果操作1810至1860尚未完成全部N个孔径位置,则对下一个孔径位置重复操作1810至1860。
[0196] 在操作1870,确定更高分辨率的图像的解是否收敛。例如,如果更高分辨率的复合图像为自洽解,则可以确定收敛。在一种情况下,先前迭代或初始猜测的先前的更高分辨率的复合图像与当前更高分辨率的解进行比较,并且如果差小于某个值,则该解可能已经收敛至自洽解。如果确定该解还没有收敛,则操作1810至1870被重复。在一个实施例中,操作1810至1860被重复一次。在其它实施例中,操作1810至1860被重复两次或更多次。如果该解已经收敛,则处理器将在傅立叶空间中的收敛的解变换至空间域,以恢复更高分辨率的图像 如果处理器确定解在操作1870已收敛,则过程可继续进行。
[0197] V.子系统
[0198] 图15是根据实施例的可存在于某些EPI-FP-THICK系统中的一个或更多个子系统的框图。在某些方面,处理器可以是辐射检测器的组件。
[0199] 先前在图中所描述的各种组件可以使用子系统中的一个或更多个来操作,以促进本文中所描述的功能。任何在图中的组件可以使用任何合适数量的子系统,以促进本文中所描述的功能。这样的子系统和/或组件的示例被示于图15中。在图15中所示的子系统经由系统总线2425互连。诸如打印机2430、键盘2432、固定磁盘2434(或其它存储器,其包括计算机可读介质)、被耦合至显示适配器2438的显示器2456和其它设备之类的附加的子系统被示出。耦合至I/O控制器2440的外围设备和输入/输出(I/O)设备可以通过现有技术中已知的任何数量的装置,诸如串行端口2442,来连接。例如,串行端口2442或外部接口2444可以被用来将组件连接到诸如因特网之类的广域网、鼠标输入设备或扫描仪。经由系统总线2425的互连允许处理器与每个子系统进行通信,并且控制来自系统存储器2446或固定磁盘
2434的指令的执行,以及在子系统之间的信息交换。系统存储器2446和/或固定磁盘2434在一些情况下可以包括CRM 2454。这些元件的任何元件可以存在于先前所描述的装置中。
[0200] 在一些实施例中,EPI-FP-THICK系统的输出设备诸如打印机2430或显示器能够输出各种形式的数据。例如,EPI-FP-THICK系统可以输出2D彩色/单色图像(强度和/或相位)、与图像相关的数据或其他数据。
[0201] 可以对上述实施例中的任何实施例做出修改、添加或省略,而不脱离本公开的范围。上述实施例中的任何实施例可以包括更多、更少或其它特征,而不脱离本公开的范围。此外,所描述的方法的操作可以以任何合适的顺序来执行,而不脱离本公开的范围。
[0202] 应当理解的是,如上所述的本发明可以按照模块化或集成的方式使用计算机软件来以控制逻辑的形式实现。基于本文所提供的公开和教导,本领域的普通技术人员将知道并且理解用于使用硬件以及硬件和软件的组合来实现本发明的其它方式和/或方法。
[0203] 任何在本申请中所描述的软件组件或功能可以被实现为要由处理器使用任何合适的计算机语言,诸如,例如,使用,例如,传统的或面向对象的技术的Java,C++或Perl,来执行的软件代码。软件代码可以被存储为一系列指令,或在CRM上的命令,诸如随机存取存储器(RAM)、只读存储器(ROM)、诸如硬盘驱动器或软盘等的磁性介质或者诸如CD-ROM的光学介质。任何这样的CRM可以驻留在单个计算设备之上或之内,并且可以存在于系统或网络内的不同计算装置之上或之内。
[0204] 尽管前述所公开的实施例已经被相当详细地进行了描述以便于理解,但所描述的实施例应当被认为是说明性的而不是限制性的。对于本领域的普通技术人员将明显的是,某些变化和修改可以在所附权利要求的范围内实践。
[0205] 来自任何实施例的一个或更多个特征可以与任何其它实施例的一个或更多个特征进行组合,而不脱离本公开的范围。此外,可以对任何实施例做出修改、添加或省略,而不脱离本公开的范围。任何实施例的组件可以根据特定需要进行集成或分离,而不脱离本公开的范围。