用于获得对象的超分辨率图像的成像方法和系统

摘要

用于基于光学显微镜(21)获得对象(5)的超分辨率图像(22)的方法，该光学显微镜包括用于支承对象的支撑板(6)、用于将照射光束(14)聚焦到支撑板的目标区域上的照射源(1)、包括传感器矩阵的数码相机(9)，该方法包括：通过数码相机捕捉目标区域的第一图像；从第一图像提取由传感器矩阵的子矩阵(B0)提供的第一像素值块；通过移动块将支撑板沿着移动轴线移动亚衍射极限距离；通过数码相机捕捉目标区域的第二图像；从第二图像提取由传感器矩阵的子矩阵(B0)提供的第二像素值块；将所述第一像素值块和所述第二像素值块存储成沿着对应于移动轴线的图像轴线(X，Y)互相紧邻地置于超分辨率图像中的第一像素值块和第二像素值块。

权利要求

1.一种用于基于光学显微镜(21)和移动块(11)获得对象(5)的超分辨率图像(22)的成像方法，所述光学显微镜(21)适于捕捉所述对象(5)的图像，所述光学显微镜(21)包括：·支撑板(6)，用于支承所述对象(5)，

·照射源(1)，适于产生用于照射所述对象(5)的照射光束(14)，

·光学元件(4)，用于将所述照射光束聚焦到所述支撑板上，位于支撑平面上的所述对象的当前被聚焦的照射光束(14)照射的部分被称为目标区域，以及·数码相机(9)，包括用于捕捉所述目标区域的图像的传感器矩阵，每个传感器提供相应的像素值，所述移动块(11)适于相对于聚焦的照射光束和所述数码相机(9)沿着彼此垂直的三个轴线x、y、z中的至少两个移动轴线移动所述支撑板(6)，其中轴线x和y限定所述支撑板(6)的平面，所述至少两个移动轴线(x，y)限定所述超分辨率图像(22)的两个对应的垂直图像轴线(X，Y)；

所述方法的特征在于，重复以下一组步骤：

-通过所述数码相机(9)捕捉当前被聚焦的照射光束(14)照射的所述目标区域的第一图像，所述目标区域的第一图像对应于所述目标区域的衍射斑图像；

-从捕捉的第一图像提取由所述传感器矩阵的子矩阵(B0)提供的第一像素值块，所述传感器矩阵的所述子矩阵(B0)被选择为使得所述子矩阵(B0)位于所述目标区域的衍射斑图像内；

-将所述第一像素值块存储成所述超分辨率图像的第一像素值块；

-通过所述移动块(11)将所述支撑板(6)沿着一个移动轴线移动亚衍射极限距离；

-通过所述数码相机(9)捕捉当前被聚焦的照射光束(14)照射的所述目标区域的第二图像，所述目标区域的第二图像对应于所述目标区域的衍射斑图像；

-从捕捉的第二图像提取由所述传感器矩阵的所述子矩阵(B0)提供的第二像素值块；

-将所述第二像素值块存储成所述超分辨率图像的第二像素值块，所述第二像素值块沿着与所述一个移动轴线(x，y)对应的图像轴线(X，Y)与所述第一像素值块紧邻地置于所述超分辨率图像中。

2.根据权利要求1所述的成像方法，其中所述子矩阵(B0)仅包括一个传感器。

3.根据权利要求1所述的成像方法，其中在初始步骤中，仅当所述传感器矩阵中的传感器捕捉到所述支撑板(6)上聚焦的照射光束(14)的图像中的一部分时，所述传感器矩阵中的该传感器被选择为所述子矩阵(B0)的传感器。

4.根据权利要求3所述的成像方法，其中在初始步骤中，当所述传感器矩阵的传感器中的一个或多个传感器捕捉到所述支撑板上聚焦的照射光束(14)的图像中的一部分时，所述传感器矩阵中的所述一个或多个传感器被选择为所述子矩阵(B0)的传感器，其中所述图像位于几何焦点。

5.根据权利要求1至4中任一项所述的成像方法，包括：

-将背景去除应用于所述超分辨率图像的像素值的步骤和/或包括对位于上强度值的至少一个特定范围之外的所述像素值进行剪辑的步骤，以从与各个荧光、透射、散射或吸收对象相关的像素值中去除相邻的荧光、透射、散射或吸收对象的重叠强度。

6.根据权利要求1至4中任一项所述的成像方法，其中所述对象包括至少一个荧光、透射、散射或吸收源，所述照射源(1)适于产生用于从照射对象生成荧光、透射、散射或吸收的照射光束，由所述数码相机(9)捕捉的所述目标区域的图像是由所述照射对象生成的荧光、透射、散射或吸收的图像，所获得的超分辨率图像是超分辨率荧光、透射、散射或吸收图像。

7.一种用于获得对象(5)的超分辨率图像(22)的成像系统(20)，所述成像系统(20)包括控制器(10)、光学显微镜(21)和移动块(11)，所述光学显微镜(21)包括：-支撑板(6)，用于支承待成像的所述对象(5)，

-照射源(1)，适于产生用于照射所述对象(5)的照射光束，

-光学元件(4)，用于将所述照射光束聚焦到所述支撑板(6)上，位于支撑平面上的所述对象的当前被聚焦的照射光束(14)照射的部分被称为目标区域，以及-数码相机(9)，包括用于捕捉所述目标区域的图像的传感器矩阵，每个传感器提供相应的像素值，所述移动块(11)适于相对于聚焦的照射光束和所述数码相机沿着彼此垂直的三个轴线x、y、z中的至少两个移动轴线移动所述支撑板，其中轴线x和y限定所述支撑板的平面，所述至少两个移动轴线(x，y)限定所述超分辨率图像(22)的两个对应的垂直图像轴线；

所述成像系统(20)的特征在于，所述控制器(10)适于重复以下一组操作：

-命令所述数码相机(9)捕捉当前被聚焦的照射光束(14)照射的所述目标区域的第一图像，所述目标区域的第一图像对应于所述目标区域的衍射斑图像，-从捕捉的第一图像提取由所述传感器矩阵的子矩阵(B0)提供的第一像素值块，所述传感器矩阵的所述子矩阵(B0)被选择为使得所述子矩阵(B0)位于所述目标区域的衍射斑图像内，-将所述第一像素值块存储成所述对象的超分辨率图像的第一像素值块，

-命令所述移动块(11)将所述支撑板(6)沿着一个移动轴线移动亚衍射极限距离，-命令所述数码相机(9)捕捉当前被聚焦的照射光束(14)照射的所述目标区域的第二图像，所述目标区域的第二图像对应于所述目标区域的衍射斑图像；

-从捕捉的第二图像提取由所述传感器矩阵的所述子矩阵(B0)提供的第二像素值块；以及-将所述第二像素值块存储成所述超分辨率图像的第二像素值块，所述第二像素值块沿着与所述一个移动轴线(x，y)对应的图像轴线(X，Y)与所述第一像素值块紧邻地置于所述超分辨率图像中。

8.根据权利要求7所述的成像系统，其中所述子矩阵(B0)仅包括一个传感器。

9.根据权利要求7所述的成像系统，其中所述控制器(10)适于仅当所述传感器矩阵中的传感器捕捉到所述支撑板(6)上聚焦的照射光束(14)的图像中的一部分时，将所述传感器矩阵中的该传感器作为所述子矩阵(B0)的传感器。

10.根据权利要求9所述的成像系统，其中所述控制器(10)适于在初始步骤中，当所述传感器矩阵的传感器中的一个或多个传感器捕捉到所述支撑板(6)上聚焦的照射光束(14)的图像中的一部分时，将所述传感器矩阵中的所述一个或多个传感器选择为所述子矩阵(B0)的传感器，其中所述图像最大程度地对准焦点。

11.根据权利要求7至10中任一项所述的成像系统，其中所述控制器(10)适于将背景去除应用于所述超分辨率图像的像素值和/或对位于上强度值的至少一个特定范围之外的所述像素值进行剪辑，以从与各个荧光、透射、散射或吸收对象相关的像素值中去除相邻的荧光、透射、散射或吸收对象的重叠强度。

12.根据权利要求7至10中任一项所述的成像系统，所述成像系统适于对包括至少一个荧光、透射、散射或吸收源的对象(5)成像，并获得超分辨率荧光、透射、散射或吸收图像，其中所述照射源(1)适于产生用于从照射对象生成荧光、透射、散射或吸收的照射光束，由所述数码相机(9)捕捉的所述目标区域的图像是由所述照射对象生成的荧光、透射、散射或吸收的图像。

说明书

用于获得对象的超分辨率图像的成像方法和系统

技术领域

[0001] 本发明总体上涉及使用光学显微镜产生小对象的放大图像的领域。

[0002] 更具体地，本发明涉及一种用于基于光学显微镜获得对象的超分辨率图像的成像方法，该光学显微镜适于捕捉该对象的图像，所述光学显微镜包括：

[0003] 用于支承对象的支撑板，

[0004] 适于产生用于照射对象的照射光束的照射源，

[0005] 用于将照射光束聚焦到支撑板上的光学元件，位于支撑平面上的对象的当前被聚焦的照射光束照射的部分在下文中被称为目标区域，

[0006] 包括用于捕捉目标区域的图像的传感器矩阵的数码相机，每个传感器提供相应的像素值，以及

[0007] 移动块，用于相对于聚焦的照射光束和数码相机沿着彼此垂直的三个轴线x、y、z之中的至少两个移动轴线移动支撑板，其中轴线x和y限定支撑板的平面，所述至少两个移动轴线限定超分辨率图像的两个对应的垂直图像轴线。

背景技术

[0008] 光学显微镜的分辨率与显微镜显示相邻的细节的能力截然不同。与透镜的瑕疵无关地，光学显微镜的分辨率与透镜的缺陷无关，而受限于光的衍射。

[0009] 实际上，由于光的衍射，一个点的图像不是一个点，而是呈现为由衍射围绕的模糊斑，称为“艾里斑”或“点扩散函数”。因此，对象的相邻但不同的两个点会有两个斑作为图像点，这两个斑的重叠可阻止对这两个图像点进行区分：进而无法分辨细节。

[0010] 根据阿贝衍射极限，通过光学显微镜分辨单独的点的极限(被称为衍射极限)表述为 其中λ是照射源的波长，NA是光学显微镜的物镜的数值孔径。一般来说，对于可见光波长区域，使用常规物镜可获得的衍射极限的最小值约为150纳米(nm)。

[0011] 存在已知的处理来产生具有比仅使用衍射受限的光学器件所允许的分辨率更高的分辨率的图像：例如，受激发射损耗显微镜(Stimulated Emission Depletion microscopy，STED)、空间结构照明显微镜(Spatially Structured Illumination Microscopy，SSIM)、光激活定位显微镜(Photoactivated Localization microscopy，PALM)、随机光学重建显微镜(Stochastic Optical Reconstruction Microscopy，STORM)。

[0012] 涉及这种技术的文献是例如WO 2013/153294 A1，或者Klar等人在Proc Natl Acad Sci USA.2000 97，8206-8210上的“具有由受激发射破坏的衍射分辨率屏障的荧光显微镜(Fluorescence microscopy with diffraction resolution barrier broken by stimulated emission)”。

[0013] 这些技术中共同的思路在于，它们能够分辨例如PALM中的衍射极限之外的细节，这是通过及时地顺序地开启和关闭荧光团使得信号可被连续地记录来实现的。

[0014] 可惜，这些超分辨率方法需要购买昂贵的光学平台(例如，对于STED来说，超过1百万欧元)和/或进一步需要重大的信号数据后处理，这两项超过了大部分细胞生物学实验室的财力。

[0015] 图像扫描显微镜(image scanning microscopy，ISM)目前的最新技术可体现在如下出版物的集合中：

[0016] ·Sheppard，Optik，2013，80，53-54，其论述了点检测器的使用；

[0017] ·MOiier和Enderlein，Phys Rev Letts，2010，104，198101，其涉及使用CCD器件的改进的数据收集，以及

[0018] ·MOiier和Enderlein，Phys Rev Letts，2010，104，198101，其论述了像素再分配(Sheppard等人，Optics Letts，2013，38，2889-2892)。

[0019] 在数据采集和信号后处理期间，这些出版物在对检测区域进行积分时需要数学密集型程序，该检测区域是整个CCD或更小的感兴趣区域(ROI)。

[0020] 因此，需要一种更容易实现的超分辨率成像方法。

发明内容

[0021] 根据第一方面，本发明提出如上文提到的一种用于获得对象的超分辨率图像的成像方法，所述方法的特征在于，重复以下一组步骤：

[0022] -通过数码相机捕捉当前被聚焦的照射光束照射的目标区域的第一图像；

[0023] -从捕捉的第一图像提取由传感器矩阵的子矩阵提供的第一像素值块；

[0024] -将所述第一像素值块存储成超分辨率图像的第一像素值块；

[0025] -通过移动块将支撑板沿着一个移动轴线移动亚衍射极限距离；

[0026] -通过数码相机捕捉当前被聚焦的照射光束照射的目标区域的第二图像；

[0027] -从捕捉的第二图像提取由传感器矩阵的所述子矩阵提供的第二像素值块；

[0028] -将所述第二像素值块存储成超分辨率图像的第二像素值块，所述第二像素值块沿着对应于所述一个移动轴线的图像轴线与所述第一像素值块紧邻地置于超分辨率图像中。

[0029] 本文与前面提到的技术类似的方法提供一种简单的方式来通过有限的计算和处理得到对象的超分辨率图像。

[0030] 根据本发明的一些实施例，用于获得对象的超分辨率图像的成像方法进一步包括如下特征：

[0031] -子矩阵仅包括一个传感器；

[0032] -在初始步骤中，只有在矩阵的传感器捕捉到支撑板上聚焦的照射光束的图像中的一部分时，该传感器才被选择为子矩阵的传感器；

[0033] -在初始步骤中，当矩阵的传感器中的一个或多个传感器捕捉到支撑板上聚焦的照射光束的图像中的一部分时，矩阵的该传感器被选择为子矩阵的传感器，其中图像最大程度地对准焦点；

[0034] -在初始步骤中，当矩阵的传感器中的一个或多个传感器捕捉打牌支撑板上聚焦的照射光束的图像中的一部分时，矩阵的该传感器被选择为子矩阵的传感器，其中图像位于几何焦点；

[0035] -该方法包括将背景去除应用于超分辨率图像的像素值的步骤和/或包括剪辑位于上强度值的至少一个特定范围之外的所述像素值的步骤，以从与各个荧光团(当考虑荧光显微镜时)相关的像素值中去除相邻荧光团的重叠强度；

[0036] -对象包括至少一个荧光源，照射源适于产生用于从照射对象生成荧光的照射光束，由数码相机捕捉的目标区域的图像是由照射对象生成的荧光的图像，获得的超分辨率图像是超分辨率荧光图像；

[0037] 根据第二方面，本发明提出一种用于获得对象的超分辨率图像的系统，所述成像系统包括控制器和光学显微镜，所述光学显微镜包括：

[0038] -用于支承待成像的对象的支撑板，

[0039] -适于产生用于照射对象的照射光束的照射源，

[0040] -用于将照射光束聚焦到支撑板上的光学元件，位于支撑平面上的对象的当前被聚焦的照射光束照射的部分在下文中被称为目标区域，

[0041] -包括用于捕捉目标区域的图像的传感器矩阵的数码相机，每个传感器提供相应的像素值，以及

[0042] -移动块，用于相对于聚焦的照射光束和数码相机沿着彼此垂直的三个轴线x、y、z中的至少两个移动轴线移动支撑板，其中轴线x和y限定支撑板的平面，所述至少两个移动轴线限定超分辨率图像的两个对应的垂直图像轴线；

[0043] 所述成像系统的特征在于，控制器适于重复以下一组操作：命令数码相机捕捉当前被聚焦的照射光束照射的目标区域的第一图像，从捕捉的第一图像提取由传感器矩阵的子矩阵提供的第一像素值块，将所述第一像素值块存储成对象的超分辨率图像的第一像素值块，然后命令移动块将支撑板沿着一个移动轴线移动亚衍射极限距离，然后命令数码相机捕捉当前被聚焦的照射光束照射的目标区域的第二图像，从捕捉的第二图像提取由传感器矩阵的所述子矩阵提供的第二像素值块，以及将所述第二像素值块存储成超分辨率图像的第二像素值块，所述第二像素值块沿着对应于所述一个移动轴线的图像轴线与所述第一像素值块紧邻地置于超分辨率图像中。

附图说明

[0044] 通过示例的方式而非通过限制的方式在附图的各图中说明本发明，在附图中相同的附图标记指示相似的元件，在附图中：

[0045] -图1示出了在本发明的实施例中的用于获得对象的超分辨率荧光图像的系统的示意性侧视图；

[0046] -图2是支撑样品的平台的俯视图；

[0047] -图3的相机传感器矩阵的仰视图；

[0048] -图4是根据本发明的实施例获得的超分辨率图像的视图；

[0049] -图5表示在本发明的实施例中的用于获得对象的超分辨率荧光图像的方法的步骤；

[0050] -图6是普通荧光扫描显微镜的示意图；

[0051] -图7是普通共焦荧光扫描激光显微镜的示意图；

[0052] -图8是根据本发明的荧光扫描显微镜的示意图；

[0053] -图9示出了在用于两个单点荧光源的检测器平面中的归一化强度的截面；

[0054] -图10至15是在STORM成像(Wang，Science 2011.333，1445-1449)和根据本发明的超分辨率成像技术之间的比较测量的示意图，以及

[0055] -图16是通过15nm的更小位移测量的且通过给核酸着色的 Gold(lnvitrogen)标记的大肠杆菌细胞的荧光图像的示意图。

[0056] 在不同的图中使用的相同的标记对应于相似的参考元件。

具体实施方式

[0057] 普通荧光扫描显微镜

[0058] 在普通荧光扫描显微镜(Ordinary fluorescence scanning microscopy，OFSM)中，激光聚焦到衍射受限的光斑中，从而激发位于该光斑内部的对象的荧光。作为荧光发射的光被光电检测器收集。然后，激光束扫描样品的表面；通常通过x-y-(z)移动台使样品相对于激光束移动。最终的荧光图像根据逐步测量的荧光强度进行重建。OFSM技术设置的广义方案在图6中示出，图6示出了一种荧光扫描显微镜，其包括样品平面31、衍射受限的激光斑32、诸如滤光器、立方体和/或反射镜之类的光学元件33、检测器平面34、衍射受限的激光斑在检测器平面上的图像35。

[0059] 假设在样品平面上存在两个单点(无限小的)荧光源，光的波长为500nm以及系统的数值孔径(NA)为1.45，因此基于阿贝衍射极限，在理想条件下这种系统的横向分辨率约等于176nm(0.51×500nm/1.45)。注意的是，根据一般规则，由两个独立的荧光源发射的光不是相干的。这两个对象在检测器平面上产生的图像将表示为两个圆形光斑，其周围的同心圆具有小得多的强度(称为艾里图样)。因此，这些荧光源中的每一个将在检测器平面上产生单点源典型的衍射图像，该图像包括中央明亮部分和周围的同心环。

[0060] 荧光的主强度将积聚在中央明亮部分内，通常可以在名义上描述为高斯分布。在下面的描述中，将忽略同心环的影响，只考虑中央部分。此外，在如经常使用的OFSM小尺寸检测器的情况下，大体上仅收集图像的中央部分，以用于逐步的荧光图像重建。

[0061] 在OFSM的情况下针对单个扫描步骤所收集的信号将是在测量该点的同时入射到检测器的总荧光信号的积分荧光强度。在理想情况下，该点仅是衍射图像的中心。在考虑的假设(光的波长为500nm，NA＝1.45)下且在理想的试验条件下，收集的信号的中央部分的截面可表示为其半最大值全宽度(fwhm)为176nm的高斯分布。因此，在未来荧光图像中的单点的总信号强度是由fwhw＝176nm高斯分布限制的信号。为了确定系统在这些理想条件下的分辨率，可检验两个高斯分布的行为，以确定它们何时不再被区分成独立的对象。

[0062] 为了实现这种操作，可以检查重叠高斯的二阶导数(这是更精确的方法)。在更简化的方法中，可着眼于荧光信号配准的区域如何重叠。直观的是，常规OFSM显微镜从未达到上述176nm的理论分辨率(除非检测器小且被正确地定位)。另外，从两个单点源在用于OFSM配准条件的检测器平面上的横截面可看到的是，在针对OFSM的理想情况下，即使在200nm距离处，仍不存在简单的方式来分辨两个单点源。

[0063] 共焦荧光扫描激光显微镜

[0064] 共焦荧光扫描激光显微镜与前面提到的OFSM的主要区别在于插入额外小尺寸的针孔(pinhole)，该针孔去除/阻止由于来自艾里斑的其他环的存在而导致的光谱污染的部分，因此检测器仅接收由入射激光束激发的荧光的中央部分。根据一般规则，在使用等于一艾里单位的针孔的情况下，获得最佳分辨率。

[0065] 图7示出了示意性共焦荧光扫描激光显微镜，与图6的显微镜相比，该共焦荧光扫描激光显微镜包括额外的针孔36，从而在检测器平面34上提供衍射受限的激光斑图像39。如图所示，衍射受限的激光斑图像39仅仅是通过图6的显微镜获得的衍射受限的激光斑图像35的一部分。

[0066] 针对在光路中插入有一艾里单位的针孔(针孔越大，产生的图像质量和分辨率越小)的OFSM，现对上述通过这种OFSM观察到的两个单点荧光源的示例进行再次检查。信号的配准强度主要是限制在光条之间的积分强度区域，其中光条之间的距离等于fwhm。因此，与OFSM相比，在具有一艾里单位的针孔的共焦状态下，相隔200nm的两个单点荧光源应该是易于分辨的。因此，可实现理论上预计的分辨率。

[0067] 根据本发明的超分辨率显微镜

[0068] 本发明进一步执行以下步骤：

[0069] i)对于图像重建，使用单个像素(或单个像素块)，单个像素(或单个像素块)位于检测器平面上衍射受限的光斑的中央区域内且比检测器平面上衍射受限的光斑小。

[0070] ii)在实施例中去除(平坦的)背景。因此，源自位于像素的几何光轴中的对象的大部分荧光信号(当考虑荧光显微镜时)用于图像重建。

[0071] 使用这两个步骤实现了明显更高的分辨率，并避免使用复杂的数据采集方法和随后的分析程序。显而易见的是，不仅一个像素可用于图像重建，还可成功地使用几个像素，从而产生可用于求平均的移动图像。此外，由于每个像素在受调查的三维对象内的不同几何点处探测，因而可以根据单次扫描恢复三维图像。图8示出了该技术设置的广义方案。图8示出了根据本发明的示意性显微镜，其示出了位于检测器平面34中的衍射受限的激光斑图像35内部的用于重建最终图像的单个像素37，还示出了检测器的像素37在样品平面31上的几何投影38。

[0072] 另外，执行精确度高且步骤少的扫描是必需的。然而，在使用从多个像素获得的图像以求平均(通过必需的校正)的情况下，步长可相对较大，从而使整个扫描更快。

[0073] 例如，观察上述在荧光显微镜的示例的情况，并参照图9(图9示出了在两个单点荧光源在检测器平面中的归一化强度的截面)，通过应用小于50nm(～50nm)的“检测器”像素尺寸(在本文中假设是圆形的)和30％的平坦背景去除，能够分辨相隔100nm距离的两个单点荧光源。更大的背景去除通常更好，但是背景去除总是与信噪比进行权衡。更小的像素尺寸导致更小的背景去除尺寸以及更好的分辨率和信噪比。

[0074] 因此，本发明类似于其他超分辨率成像技术，但并不基于它们。

[0075] 与其他已知的技术相比，本发明能够在高放大率下获得超分辨率图像。

[0076] 本发明能够增加任何图像的分辨率，而与样品的放大率值无关。因此，本发明能够改善目前为止被认为不适于高分辨率成像的低放大率的图像。

[0077] 在下文中描述本发明的具体实施例。

[0078] 图1示意性地表示在本发明的实施例中用于获得对象的超分辨率荧光图像的系统20。

[0079] 系统20包括光学显微镜21。

[0080] 光学显微镜21包括照射源1、空间滤光器2、二向色镜3、物镜4、平台6、发射滤光器7、例如消色差的透镜的组合8以及数码相机9。

[0081] 可选地，光学显微镜21进一步包括滤光器1a。

[0082] 光学显微镜21可以是通常用于捕捉荧光图像的显微镜，诸如例如Nikon  Ti[0083] 系统20进一步包括控制器10和移动块11。

[0084] 待成像的样品5附着到通过样品保持器刚性地固定到平台6上的标准盖玻片或其他合适的支撑件。

[0085] 平台6上的样品的表面位于由垂直轴线x，y限定的平面上。

[0086] 平台6上的样品的俯视图在图2中表示。

[0087] 根据经典荧光成像，微小的荧光源例如基于单光子荧光物理现象的荧光团已附着到样品5。这些荧光源可以是样品固有的。

[0088] 照射源的波长选择为从附着的荧光源诱发荧光：当由照射源照亮时，荧光源吸收照射源的波长的能量并发射荧光，荧光的波长高于照射源的波长。

[0089] 控制器10适于定义移动命令并向移动块11提供移动命令。

[0090] 移动命令由控制器10根据样品5预定的感兴趣区域(ROI)进行定义。移动命令命令移动块11使平台6移动且规定该命令的移动沿轴线x，y，z，z是垂直于轴线x，y的轴线。

[0091] 控制器10进一步适于通过向数码相机9发送捕捉命令来触发数码相机9对图像的捕捉，控制器10适于根据由数码相机9捕捉的连续的荧光图像构建样品ROI的超分辨率图像，如下文详细说明的。

[0092] 在实施例中，控制器10包括微处理器和存储器(未示出)。存储器存储软件指令10，当由微处理器执行时，软件指令10产生控制器10的操作。

[0093] 数码相机9例如包括二维(2D)传感器矩阵，其中每个传感器适于在确定的时段内检测局部荧光强度。

[0094] 数码相机9适于在从控制器10接收到捕捉命令时捕捉图像。

[0095] 当数码相机9捕捉当前被照射源1照射的样品的图像时，每个传感器检测相应的局部荧光强度，然后相机9根据传感器所检测到的局部荧光强度为对应于每个传感器的每个像素确定相应的像素强度。

[0096] 然后，数码相机9适于提供由像素矩阵组成的图像(在像素矩阵中的像素的位置与在传感器矩阵中对应传感器的位置相同)。

[0097] 图3表示相机9的传感器矩阵的仰视图。所述传感器矩阵具有L排平行于轴线x的传感器和l列平行于轴线y的传感器。图3的该视图还被认为表示由相机9捕捉的图像的L×l像素矩阵，其中l是沿着对应于轴线x的图像维度X的矩阵尺寸，L是沿着对应于轴线y的图像维度Y的矩阵尺寸。

[0098] 移动块11适于从控制器10接收移动命令，以及在接收到对命令的移动进行定义的这种命令时，使平台6移动该命令的移动。

[0099] 在下文中解释光学显微镜21的操作。

[0100] 照射源1发射单色光。

[0101] 如果必要的话，根据来自样品的荧光的波长(激发波长)，发射光由可选的LASER(Light Amplification by Stimulated Emission of Radiation，受激辐射光放大)滤光器1a净化，以从发射光中摒弃与激发波长不同的波长。

[0102] 通过使用空间滤光器2获得光的准直。

[0103] 由此准直的入射光的激发光束穿过二向色镜3(如已知的，二向色镜3使激发光束落在平台6上并使荧光反射到数码相机9)且穿过物镜4，以在由平台6支撑的样品5上产生聚焦的衍射受限的光斑14。

[0104] 由样品5的被光斑14覆盖的区域发射的荧光沿着入射光路返回，经过放大样品图像的物镜4，到达二向色镜3，并继续向前到达发射滤光器7，发射滤光器7仅保持感兴趣的荧光波长。

[0105] (可选的)透镜组合8进一步放大被提供给相机传感器矩阵9的荧光。

[0106] 相机9的传感器矩阵相对于光斑14放置，使得由光斑14中的样品区域发射的荧光朝着传感器矩阵被收集。

[0107] 如已知的，荧光测量需要入射光的脉冲到达样品。这通过将快门(未示出)置于源1的出口处来获得。

[0108] 待成像的样品表面必须在z轴线中对准焦点。

[0109] 这种焦点初始例如通过附着到物镜4的压电装置获得，或者通过控制器10命令移动块10沿着平台6的轴线z移动而获得。

[0110] 在实施例中，LASER用作照射源1，其是恒定强度的(连续波-CW)或是脉冲式的。

[0111] 在实施例中，根据需要，用于荧光的物镜4的放大率在由数码相机的规格和透镜组合8的变焦限定的范围内。

[0112] 数码相机9例如是2D检测器，例如(电子倍增)电荷耦合器件((EM)CCD)类型或者CMOS(互补金属氧化物半导体)。如果需要则2D检测器可被1D检测器或点检测器替代。在后一种情况下，在下面描述的说明中，B0等于l×L。

[0113] 数量L和l例如在[128，512]的范围内。

[0114] 在实施例中，每个EMCCD像素是s×sμm2的方块，其中s在[6μm，15μm]的范围内。

[0115] 例如，当使用NA＝1.45的物镜时，在平面(x，y)中的光斑14的直径在[150nm，350nm]的范围内。

[0116] 当然，上述的这些值仅作为示例给出且取决于使用的相机的类型。

[0117] 在实施例中，可使用照射源的组合，使得所有准直的光束在到达二向色镜3时具有相同的轨迹。为了去除由于激光束的不同极性导致的任何潜在伪影，激光束被去极化地入射到二向色镜3。首先，通过线性偏振器1b使所有激光束的极性定向到同一方向。其次，耦合到消色差消偏振镜1c的圆形偏振器组件1c被插入到光路中，紧接在空间滤光器2之后。可选地，如果波长和激光输出功率的组合差别太大，则每个激光束在到达消偏振镜1c之前将具有它自己的空间滤光器2。因此，光束将在空间滤光器2之后会聚。如果认为使用完全去极化的光束不是必需的，则可从光路去除该选择，而仅保留空间滤光器2。

[0118] 根据本发明的实施例，基于系统21实现如下步骤。

[0119] 在考虑的实施例中，在根据本发明的超分辨率图像的构建期间，光斑14不会相对于相机9移动。

[0120] 在第一步骤101中，在相机9的l×L传感器中选择传感器块B0。B0内部的传感器的数量n严格小于l×L。

[0121] 块B0的传感器在传感器矩阵中形成正方形。

[0122] 块B0的传感器形成任何形状(正方形、矩形、椭圆形、线性阵列、单点等)的传感器矩阵。在此，将考虑块B0是尺寸为n的正方形的情况。

[0123] 例如，n等于1或者被认为是合适的任何其他尺寸。n的值例如小于4、16、25。

[0124] 进一步选择选择传感器块B0，使得对应于传感器块B0的像素块位于任何捕捉的图像中的光斑14的图像(在图3中标记为A)内。这意味着，对应于传感器块B0的像素块的尺寸小于衍射光斑14的图像的尺寸(实际上，对应于传感器块B0的像素块位于衍射斑14的图像内)。

[0125] 在下文中，n＝1被认为是：B0仅包括传感器矩阵的(n0，m0)传感器，即在传感器矩阵中的位置是(n0，m0)的传感器。

[0126] 在步骤102中，限定样品5的ROI，例如，由图2的俯视图的平面中的矩形O1、O2、O3、O4限定的ROI，该ROI的定义被提供给控制器10。

[0127] 例如，ROI限定整个原核生物或更大的生物样品5中相较肌动蛋白丝更小的亚细胞结构。

[0128] 定义步长的值，在下文中称为d。例如d由操作者选择。

[0129] d的值严格小于光学显微镜21的衍射极限： 其中λ是照射源1的波长，NA是物镜4中的透镜的数值孔径。

[0130] 例如，在衍射极限是200nm的情况下，d在[15nm，50nm]的范围内选择。

[0131] 然后，在迭代步骤103和104中，控制器10将命令沿着轴线x或沿着轴线y从ROI的初始点以步长d渐进扫描ROI，如下文描述的。

[0132] 首先，相对于平台6的当前位置，由控制器10确定平台6的初始位移。

[0133] 在考虑的实施例中，由控制器10确定平台6的初始位移，以首先将聚焦的衍射受限的光斑14引导到点O1上。

[0134] 由控制器10向移动块11提供移动命令，该移动命令指示确定的初始位移。

[0135] 在接收到该移动命令时，通过移动块定位平台6，使得光斑14覆盖点O1。

[0136] 在步骤103的第一次迭代中，控制器10通过给相机9发送图像命令来触发图像的捕捉，同时光斑14覆盖点O1。

[0137] 在接收到该捕捉命令时，相机9根据当前由传感器矩阵收集的荧光来捕捉图像。

[0138] 在该第一次迭代时，控制器10从捕捉的图像中提取对应于B0的像素块。因此，在考虑的实施例中，控制器10提取对应于(n0，m0)传感器的像素P(n0，m0)(即，在像素矩阵中的位置是(n0，m0)的像素)的强度。

[0139] 该提取的强度称为Int(n0,m0)1,1。

[0140] 所述强度Int(n0,m0)1,1存储为在超分辨率图像22的像素矩阵中的位置是(1，1)的像素的强度，参见图4。

[0141] 然后，在步骤104的第一次迭代中，控制器10命令移动块11沿着轴线x从当前位置移动d，使得光斑14相对于平台6上的样品5，沿着x在由[O2，O3]限定的ROI的极限方向上移动。

[0142] 在接收到移动命令时，移动块11根据所接收的移动命令移动平台6。

[0143] 然后，在步骤103的第二次迭代中，控制器10通过给相机9发送图像命令来触发图像的捕捉。

[0144] 在接收到该捕捉命令时，相机9根据当前由传感器矩阵收集的(从O1沿着轴线x移动了距离d的样品区域发射的)荧光来捕捉图像。

[0145] 在步骤103的该第二次迭代中，控制器10从捕捉的图像中提取对应于B0的像素块，因此，在考虑的实施例中，控制器10提取对应于(n0，m0)传感器的像素P(n0，m0)的强度。

[0146] 该强度称为Int(n0,m0)1,2。

[0147] 所述强度Int(n0,m0)1,2存储为在超分辨率图像22的像素矩阵中的位置是(1，2)的像素的强度，参见图4。

[0148] 在超分辨率图像22中，该像素根据轴线X与之前存储的强度Int(n0,m0)1,1的像素相邻。

[0149] 然后，在步骤104的第二次迭代中，控制器10命令移动块沿着轴线x从当前位置移动d，使得光斑14相对于平台6上的样品5，沿着x在由[O2，O3]限定的ROI的极限方向上移动。

[0150] 在接收到移动命令时，移动块11根据所接收的移动命令移动平台6。

[0151] 一组步骤103和104沿着轴线x重复迭代，直到其中平台的位置使得光斑14指向点O2的第N次迭代。

[0152] 在步骤103的所述第N次迭代时，像素P(n0，m0)的强度Int(n0,m0)1,N存储为在超分辨率图像22的像素矩阵中的位置是(1，N)的像素的强度。在超分辨率图像22中，该像素根据轴线X与之前存储的强度Int(n0,m0)1,N-1的像素相邻。

[0153] 在步骤104的第N次迭代时，控制器10检测到已到达沿着轴线x的ROI极限，此时控制器10向移动块11发出沿着轴线y从当前位置移动d的移动命令，使得光斑14从O2相对于平台6上的样品5，沿着y在由(O3，O4)限定的ROI的极限方向上移动。

[0154] 在接收到移动命令时，移动块11根据所接收的移动命令移动平台6。

[0155] 然后，在步骤103的第N+1次迭代时，像素P(n0，m0)的强度Int(n0,m0)2,N存储为在超分辨率图像22的像素矩阵中的位置是(2，N)的像素的强度。

[0156] 在超分辨率图像22中，该像素根据轴线Y与之前存储的强度Int(n0,m0)1,N的像素相邻。

[0157] 然后，在步骤104的第N+1次迭代时，由控制器10向移动块11发出沿着轴线x从当前位置移动d的移动命令，使得光斑14相对于平台6上的样品5，沿着x在由(O1，O4)限定的ROI的极限方向上移动。

[0158] 在接收到移动命令时，移动块11根据所接收的移动命令移动平台6。

[0159] 应用一组步骤103和104的连续迭代，使光斑14以步长d沿着轴线x朝着ROI的(O1，O4)侧移动，从而根据Int(n0,m0)2,N至在步骤103的第2N次迭代时到达的Int(n0,m0)2,1来构建超分辨率图像22的第二排像素。

[0160] 然后，在步骤104的第2N次迭代时，类似于如下的说明，控制器10随后检测到已到达沿着轴线x的ROI极限，因此在步骤104的第2N次迭代时，控制器10向移动块11发出沿着轴线y从当前位置移动d的移动命令，使得光斑14从当前位置沿着y在由(O3，O4)限定的ROI的极限方向上移动。

[0161] 在接收到移动命令时，移动块11根据所接收的移动命令移动平台6。

[0162] 进行类似的迭代，直到光斑14通过每一次连续移动距离d已对所有ROI进行扫描。

[0163] 在考虑的ROI为矩形的实例中，产生的超分辨率图像22包括M排和N列像素，其中其中E是函数“整数部分”，||PP'||是提供两个点P和P’之间的距离的函数。

[0164] 但是在其他实施例中，ROI可具有各种形状，控制器10适于扫描整个ROI并为该ROI构建超分辨率图像。

[0165] 在实施例中，根据本发明的在平面(x，y)中通过亚衍射移动(sub diffraction displacement)的扫描和通过连续提取的像素块对超分辨率图像的构建，针对在收集情况下的每个平面z被重复执行(即，对于穿过样品的连续层，从而构建3D超分辨率图像)。

[0166] 在下文中，提供的超分辨率图像对应于在由轴线x和y限定的平面中的扫描。在另一实施例中，超分辨率图像的扫描和构建在由轴线x和z限定的平面中实现，或在由轴线y和z限定的平面中实现。然后，沿着考虑的轴线x和z或y和z而非轴线x和y实现亚衍射移动，如下文描述的。

[0167] 在下文公开的详细描述的实施例中，块B0中的数量n被认为等于1。

[0168] 在n大于1的实例中，过程是类似的。

[0169] 因此，当在连续的步骤103中捕捉第一图像和第二图像时，通过在沿着轴线x(分别地，沿y)的方向上移动小于衍射极限的位移d，针对第一图像的平台6的位置与针对第二图像的平台6的位置分开，超分辨率图像将包括第一像素块，所述第一像素块是在第一图像中对应于n个传感器的块B0的像素块。超分辨率图像进一步包括在沿着轴线X(分别地，沿Y)的方向上与所述第一像素块相邻的第二像素块，所述第二像素块是在第二图像中对应于n个传感器的块B0的像素块，等等：通过在每个亚衍射移动之后由块B0连续捕捉的像素块来构建超分辨率图像。在一系列图像被收集且荧光图像如上所述被重建(步骤103-104)之后，在一些实施例中，如果需要则实施去除(平坦)背景的另一步骤；然后在实施例中，(当考虑荧光显微镜时)荧光图像的数据被剪辑，使得仅绘制特定范围的上荧光强度值。这使得能够通过去除/减少来自相邻发射器的荧光信号的重叠来更好地区分各个荧光团。

[0170] 为了清楚起见，考虑的是，已从采集方案重建(步骤103-104)的荧光图像具有从0(最小)到1(最大)的归一化强度范围。在最简单的实例中，简单的背景可被去除，例如，对于超分辨率图像的每个2D子图像，在实施例中根据从非荧光区域获得的图像估计的背景噪声强度的估计值被消减到2D子图像的像素强度。然后，产生的荧光图像可从1缩放到X％，其中X表示用户定义的小于1的归一化强度值：小于X％的强度值被等于零的值替代，超过X％的强度值V转换成(1-X％)V。

[0171] 这导致仅表示重建信号的X％以上(例如，30％)的绘图，其中不同的荧光被认为不会较大程度地互相干涉，如图9中示出的示例那样。去除背景，尤其是X的值特定于每个感兴趣的样品。在初始阶段对这样的值进行估计。

[0172] 可选地，可重构范围从1到Xa、从Xa到Xb、从Xb到Xc等的一系列归一化强度段，其中a、b、c等表示用户定义的强度值。

[0173] 在下文详细描述的实施例中考虑的样品是生物样品，但是在另一实施例中，样品可以是非生物样品。

[0174] 根据下文详细描述的实施例，待成像的样品相对于准直光的固定光束和固定相机移动。但是在另一实施例中，样品是固定的，而将移动施加到准直光束和固定相机的组件上。

[0175] 位移可通过逐步的移动或通过恒定的移动来施加。

[0176] 在实施例中，考虑到块B0的尺寸n，根据如下方式选择步骤101中块B0的传感器：移动样品5，使得光斑14被引导到样品5)的包含荧光珠的测试区域上(或者使用包含荧光珠的不同的测试样品)。图像由相机9捕捉。对由光斑14的图像内的所有n个像素块提供的图像的多个部分进行分析，以通过检查信号的质量例如参考已知样品的荧光属性来确定最大程度地对准焦点的部分。通常，提供荧光强度的近似完美高斯分布(当未聚集时)的荧光显微镜(具有在大约50nm和2000nm之间的限定直径)用于确定最大程度地对准焦点的部分。然后选择与具有最佳焦点的像素块对应的传感器块作为块B0。

[0177] 该设置防止会破坏超分辨率图像的任何额外的散射光。

[0178] 如果样品5的荧光源导致离散的发射源，且不是集中的而导致片状荧光强度，则将改善超分辨率图像的质量。

[0179] 根据本发明的方法应用于大肠埃希氏杆菌(Escherichia(E.)coli)细胞中的作为样品的H-nS蛋白质、DNA结合蛋白质，该样品通过荧光GFP(绿色荧光蛋白)标记。与使用根据Wang等人，Science(2011)333，1445-1449公布的结果的超分辨率技术(称为STORM)获得的图像相比，根据本发明结果获得的图像呈现更高的分辨率。

[0180] 作为说明，图10至15能够将根据本发明获得的图像的性能与当观察H-NS-GFP融合并在活的细胞中形成两个焦点时的STORM图像进行比较。

[0181] 在描述执行的过程并将根据本发明获得的图像的性能与STORM图像进行比较之前，对这些图进行简要描述。

[0182] 图10是来自Wang等人(2011)通过GPF标记的大肠埃希氏杆菌细胞的重建的STORM图像。STORM图像叠加在经典共焦荧光图像上。因此，正方形是EMCCD相机(Ixon DV897DCS-BV，Andor公司)的像素。轮廓表示细菌细胞的界限。两个强烈的插值光斑表示GFP标记的H-NS蛋白质的位点。

[0183] 图11是由在本发明中使用的EMCCD相机(Ixon 987Ultra，Andor公司)捕捉的、通过GFP标记的大肠埃希氏杆菌细胞的经典共焦荧光图像。正方形对应于EMCCD相机的像素。在本发明中使用的相机的像素尺寸与STORM图像(图10)的像素尺寸相同，因此，根据本发明的共焦荧光图像类似于在Wang等人(2011)的文章中表示的共焦荧光图像。

[0184] 图12是使用本发明的、叠加在经典共焦荧光图像上的、通过GPF标记的大肠埃希氏杆菌细胞的重建图像。根据本发明，正方形表示50nm的单位(即，移动增量)。两个强斑包含显著的信号强度信息并表示GFP标记的H-NS蛋白质的空间分布。可清楚地观察细菌细胞的轮廓。(a)和(b)是如下位置，在该位置处已经绘制直方图，以尤其在与图13中的经典共焦荧光图像进行比较时强调增强的信号信息(参见图14和15)。

[0185] 图13是由EMCCD相机(Ixon 987 Ultra，Andor公司)捕捉的、通过GFP标记的大肠埃希氏杆菌细胞的经典共焦荧光图像。x，y坐标系给定相机像素位置(在本实例中是512×512阵列)。黑色十字线标记强度截面(直方图)的位置。CCD中的强度按照500nm的比例尺进行计数。

[0186] 图14是使用本发明获得的、如图12中的截面(a)证实的空间分辨率和信噪比的汇总。x，y的单位是纳米并与未在图中观察到的原点相关。直方图中的数据未进行插值且表示来自本文描述的成像方法的输出，在本实例中，在X和Y平面中移动距离是50nm。

[0187] 图15是使用本发明获得的、如图12中的截面(b)证实的空间分辨率和信噪比的汇总。x，y的单位是纳米并与未在图中观察到的原点相关。直方图中的数据未进行插值且表示来自本文描述的成像方法的输出，在本实例中，在X和Y平面中移动距离是50nm。

[0188] 图10示出了由Wang等人获得的对应图像。图11示出了表示为H-NS-GFP的大肠埃希氏杆菌的明视场图像，以及图12表示通过本发明获得的超分辨率荧光图像。得到了表示为H-NS-GFP的大肠埃希氏杆菌MG1655Z1的培养基，细胞以磷酸盐缓冲液冲洗，通过甲醛固定(Sigma公司，圣路易斯，美国)，然后分层堆积在夹在玻璃盖玻片之间的琼脂糖(Invitrogen，Carlabad，美国)床上(Xiao等人，2007年，Single Molecule technics：A laboratory Manual(单分子技术：实验室手册)，P.Selvin，T.Ha，Eds.5cold Spring Harbor Laboratory Press，149-170页)。由OBIS激光器(Coherent，Les Ulis，法国)提供488nm的激发波长，通过安装在Nikon-Ti显微镜中的59904-ET-488/561nm激光双频装置(Chroma技术公司，Bellows Falls，美国)收集荧光数据，该显微镜安装有100×CFI平面复消色差物镜并耦合到EMCCD相机(Ixon 987 Ultra，Andor公司)。通过20ms的采集时间记录各个图像，如本文描述的重建的图像。

[0189] 这些图像的比例是相同的。这使得能够执行定性比较。当观察这些图时，可以看到，通过本发明的方法在视觉上更容易地区分两个焦点。

[0190] 图13至15能够在图11和12之间进行定量比较。例如，假设分辨率由在半最大强度处对两个光分布之间进行区分的能力限定，则两个光分布仍然是可区分的，本发明的方法的分辨率足以区分两个焦点，而根据图11的方法的分辨率不足以区分两个焦点。

[0191] 这在实验上示出了本发明的方法提供有更好的分辨率。

[0192] 图16示出了能够由本发明中描述的设备以优于上述示例的分辨率产生的图像。该图像是被着色以示出总的核酸含量的大肠埃希氏杆菌细胞的图像。

[0193] 更确切地，图16是为了检测核酸(DNA和RNA)而通过 gold (Invitogen)着色的大肠埃希氏杆菌MG1655Z1细胞的荧光图像。细胞经历细胞分裂，如由两个主位点证实的。直方图表示沿着竖直线的荧光强度。图像和直方图中的数据未进行插值且表示来自本文描述的成像方法的输出。根据本发明，在X和Y平面中移动距离是15nm；重建的图像中的每个像素表示15nm×15nm的单位尺寸。

[0194] 产生的XY(Z)图像的分辨率取决于亚衍射受限的机械移动的增量d以及2D检测器的像素尺寸。例如，如由Donnert等人在Proc Natl Acad Sci USA.2006，103，11440-11445上限定的优于40nm的分辨率，可通过如下硬件利用488nm的激发波长获得：光学显微镜(21)-Nikon Ti；物镜(4)-Nikon 100×CFI平面复消色差；移动块(11)-Physik Instrumente；纳米定位平台P-733和数码相机(9)-Andor iXon Ultra 897。

[0195] 根据本发明的该实施例的超分辨率基本上通过使(安装在无振动环境中的)普通落射荧光显微镜与处于与经典荧光显微镜相同的试验条件下的高精度移动平台以及用于重建图像的合适软件相结合来实现：因此，能够使大量实验室得到超分辨率。

[0196] 上文已描述了与荧光显微镜相关的具体实施例。

[0197] 当然，本发明可实现为基于不同类型的显微镜产生超分辨率图像：例如透射、散射或吸收显微镜。

[0198] 在这种情况下，步骤ii)可解释为背景的去除，其旨在使焦点发射器和/或散射器外部的影响最小化。

[0199] 在荧光显微镜中，照射光(激发波长)和捕捉光(发射波长)不相同，而在透射T显微镜和吸收A显微镜中，二者相同。透射光的能力用吸收率A表示，其通常写成 其中I和I0分别定义为照射光(称为入射辐射)和捕捉光(称为透射辐射)的强度(单位面积上的功率)。在散射显微镜中，照射光由对象反射(弹性地或非弹性地)，并作为由2D检测器记录的捕捉光。

[0200] 因此，本发明能够在以聚焦光源照射研究对象的同时，通过二维(x，y)或三维(x，y，z)的亚衍射长度移动，以优于阿贝衍射极限的分辨率获得样品的图像。在数据采集期间，研究的样品容置在相对于准直光的固定光束移动的xy(z)台上。可选地，xy(z)台可在x和y轴线上固定，同时激光束通过诸如谐振扫描镜之类的适应性光学器件扫描研究对象。

[0201] 本发明利用从单色辐射的(聚焦的、衍射受限的)光斑内发射的光的不均匀分布。