利用正方晶格结构光照明的超分辨成像方法及系统转让专利

申请号 : CN202010397842.0

文献号 : CN111458318B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 汪召军雷铭

申请人 : 西安交通大学

摘要 :

本发明公开了一种利用正方晶格结构光照明的超分辨成像方法及系统,其主要包括以下步骤:在样品平面形成晶格结构光场,通过控制光场调制器件进行相移;获取晶格结构光照明的荧光图像;利用频率域重构算法获得超分辨图像;与普通的条纹结构光相比,正方晶格结构光在相同的峰值强度下具有更低的光剂量,可以大大降低系统的光毒性,能够对活体细胞进行更长时间的观察,另外,成像过程中仅需对照明图案进行相移,无需旋转,从而很大程度地简化了成像过程中的偏振控制,因此可以降低系统的复杂度,并有效降低系统的搭建成本。

权利要求 :

1.一种利用正方晶格结构光照明的超分辨成像方法,在线性激发响应的情况下,其特征在于,包括以下步骤:

步骤1)正方晶格结构光场的产生和相移:由光源照明,经光场调制器件调制后,在样品平面形成正方晶格结构光场;所述正方晶格结构光场的强度可以表示为两个正交方向上的正弦条纹相乘的形式,满足公式1的分布:式中r为二维平面的坐标,I(r)代表正方晶格结构光场的强度分布,I0表示晶格结构光场的平均光强,m为单个方向上的调制度,k1与k2分别代表两个正交方向的波矢量, 与为光场分别在两个正交方向上的相位;

设定光场的初始相位为 通过控制光场调制器件进行相移,使得上述正方晶格结构光场在样品平面内沿两个正交方向上移动,每个方向均为三步相移,相移量可以任意选择,共产生3×3个不同相移的晶格状结构光场,用于照明并激发样品产生荧光信号;

步骤2)面阵数字相机采集荧光图像:样品被多个不同相移的正方晶格结构光场激发后,在成像面上所成的荧光图像被数字相机sCMOS或EMCCD依次记录,共获得9幅正方晶格结构光场照明的荧光图像;

步骤3)利用频率域重构算法获得超分辨图像:对步骤2)所拍摄的9幅荧光图像分别进行傅里叶变换得到它们各自的频谱,再根据结构光场的光强平均值I0,调制度m,空间频率k0,分离得到频谱,假定系统的光学传递函数为H(k),将分离得到的频谱分量进行平移、叠加,得到扩展频谱 再将系统的光学传递函数为H(k)进行平移、叠加,得到扩展的光学传递函数 之后利用获得的扩展频谱和扩展的光学传递函数 完成维纳去卷积运算,获得最终的超分辨图像:其中,ImageSR表示利用频率域重构算法得到的超分辨图像,ifft表示逆傅里叶变换操作,A(k)为切趾函数,k代表频谱空间的二维坐标,α为维纳滤波参数,假定kd为扩展频谱的最大范围对应的频率,切趾函数的表达式为所述步骤3)具体为:

步骤3.1)对步骤2)所拍摄的9幅荧光图像分别进行傅里叶变换得到他们各自的频谱,分别记为

其中k代表频谱空间的二维坐标;

步骤3.2)根据结构光场的光强平均值I0,调制度m,空间频率k0,可以分离得到公式2所示的频谱,分别记为:

其中

公式2中的矩阵P为9×9的矩阵,每一行的形式相似,只有其中的相位项不同,依次按照步骤1)的方法取值,一共有9个不同取值,分别可记为步骤3.3)假定系统的光学传递函数为H(k),将步骤3.2)中获得的9个频谱分量进行平移、叠加,得到扩展频谱 表示为:步骤3.4)将系统光学传递函数进行平移、叠加,得到扩展的光学传递函数表示为:

步骤3.5)、利用步骤3.3)与步骤3.4)中获得的扩展频谱 和扩展的光学传递函数完成维纳去卷积运算,获得最终的超分辨图像:其中,α为维纳滤波参数,A(k)为切趾函数,假定kd为扩展频谱的最大范围对应的频率,那么切趾函数的表达式为

2.根据权利要求1所述的利用正方晶格结构光照明的超分辨成像方法,其特征在于,步骤1)中通过控制光场调制器件进行相移,具体为:晶格状光栅通过使用移动高精度二维压电平移台来完成平移操作。

3.根据权利要求1所述的利用正方晶格结构光照明的超分辨成像方法,其特征在于,步骤1)具体为:

步骤1.1)由激光光源或LED照明,利用四光束干涉或者投影方法,经空间光调制器SLM或者数字微镜器件DMD调制后,在焦面处相互干涉并形成正方晶格结构光场,所述正方晶格结构光场的强度可以表示为两个正交方向上的正弦条纹相乘的形式,满足公式1的分布:式中r为二维平面的坐标,I0表示正方晶格结构光场的平均光强,m为单个方向上的调制度,k1与k2分别代表两个正交方向的波矢量, 与 为光场分别在两个正交方向上的相位;

步骤1.2)通过控制空间光调制器SLM或者数字微镜器件DMD进行等间隔相移或非等间距相移。

4.一种利用正方晶格结构光照明的超分辨成像系统,其特征在于:包括处理器及存储器,其特征在于:所述存储器中存储计算机程序,计算机程序在处理器中运行时,执行权利要求1利用正方晶格结构光照明的超分辨成像方法中步骤3)所述的方法。

5.一种计算机可读存储介质,其特征在于:储存有计算机程序,计算机程序被执行时实现权利要求1利用正方晶格结构光照明的超分辨成像方法中步骤3)所述的方法。

说明书 :

利用正方晶格结构光照明的超分辨成像方法及系统

技术领域

[0001] 本发明属于光学技术领域,特别涉及一种利用正方晶格结构光照明的超分辨成像方法及系统,可广泛应用于生物学、医学、微电子学及材料科学等领域的研究。

背景技术

[0002] 传统光学显微镜的空间分辨率受限于光的衍射极限,仅能达到半个光波长量级,极大地限制了光学显微镜的应用范围。如何实现更高空间分辨率的成像一直是光学显微领
域的重要研究课题之一。二十世纪末,超分辨荧光显微成像技术打破了光学衍射极限的桎
梏,使人类得以窥探纳米级别的微观生物世界,为人类探索生命的奥秘提供了一套前所未
有的工具。克服衍射极限的本质在于使系统能够区分衍射极限区域内的荧光分子,一般可
通过两类方法实现。第一类方法通过在不同时间点随机激活并定位衍射极限区域内的单个
荧光分子来达到区分不同荧光分子的目的,包括光激活定位显微(Photoactivated 
Localization  Microscopy,PALM)和随机光学重建显微(Stochastic Optical 
Reconstruction Microscopy,STORM),二者统称为单分子定位显微(Single Molecule 
Localization Microscopy,SMLM)。第二类则是利用特殊的照明光场对衍射受限的区域内
的荧光分子的发射信号进行调制,从而对这些分子进行区分,包括受激发射损耗显微
(Stimulated Emission Depletion,STED)[5]以及超分辨结构光照明显微(Super‑
resolution Structured Illumination Microscopy,SR‑SIM)。目前超分辨荧光显微成像
技术的最高分辨率已接近电子显微镜的分辨水平,为现代生物医学提供强有力的工具,同
时将相关研究推向新的深度。在众多超分辨成像方法中,SIM具有最高的成像速率和最低的
2
激发功率密度(~1W/cm),故可以进行较长时间的动态超分辨观测。另外,线性SIM与传统
的荧光分子、荧光染料兼容,无需特殊的光开关染料或蛋白,大大扩展了超分辨成像的应用
范围。这些优势使得SIM在细胞器、生物大分子及其组装体的动态行为观测中备受青睐。然
而,现有的SIM普遍采用条纹结构光,这种照明方式在成像过程中进行了大量的冗余照明,
因此大大增加了系统的光毒性,从而对活体成像十分不利。另外,基于条纹结构光照明的
SIM在成像过程中不仅需要对条纹进行平移、旋转,还需要在切换过程中对光束的偏振态进
行快速、精密的控制,从而大大增加了系统的搭建成本。

发明内容

[0003] 针对当前条纹结构光照明超分辨显微方法所存在的光毒性高、系统复杂、搭建成本高昂等问题,本发明提出了一种利用正方晶格结构光照明的超分辨成像方法(简称正方
晶格SIM方法),其光毒性相较传统方法降低了一倍,且成像过程中无需进行旋转以及偏振
控制,可以大大降低系统的搭建成本与搭建难度。
[0004] 同时,本发明还提供了一种实现上述利用正方晶格结构光照明的超分辨成像方法的系统及计算机可读存储介质。
[0005] 本发明的技术解决方案是:
[0006] 一种利用正方晶格结构光照明的超分辨成像方法,在线性激发响应的情况下,其包括以下步骤:
[0007] 步骤1)晶格结构光场的产生和相移:
[0008] 由光源照明,经光场调制器件调制后,在样品平面形成正方晶格状的结构光场;所述正方晶格状的结构光场的强度可以表示为两个正交方向上的正弦条纹相乘的形式,满足
公式(1)的分布:
[0009]
[0010] 式中r为二维平面的坐标,I0表示晶格结构光场的平均光强,m为单个方向上的调制度,k1与k2分别代表两个正交方向的波矢量, 与 为光场分别在两个正交方向上的相
位;
[0011] 设定光场的初始相位为 通过控制光场调制器件进行相移,使得上述正方晶格状的结构光场在样品平面内沿两个正交方向上移动,每个方向均为三步相移,相
移量可以任意选择,共产生3×3个不同相移的晶格状结构光场,用于照明并激发样品产生
荧光信号;
[0012] 步骤2)面阵数字相机采集荧光图像:
[0013] 样品被多个不同相移的晶格结构照明光场激发后,在成像面上所成的荧光图像被数字相机sCMOS或EMCCD依次记录,共获得9幅晶格结构光照明的荧光图像;
[0014] 步骤3)利用频率域重构算法获得超分辨图像:
[0015] 对步骤2)所拍摄的9幅荧光图像分别进行傅里叶变换得到它们各自的频谱,再根据结构光场的光强平均值I0,调制度m,空间频率k0,分离得到频谱,假定系统的光学传递函
数为H(k),将分离得到的频谱分量进行平移、叠加,得到扩展频谱 再将系统的光学传
递函数为H(k)进行平移、叠加,得到扩展的光学传递函数 之后利用获得的扩
展频谱 和扩展的光学传递函数 完成维纳去卷积运算,获得最终的超分
辨图像:
[0016]
[0017] 其中,A(k)为切趾函数,k代表频谱空间的二维坐标,α为维纳滤波参数,假定kd为扩展频谱的最大范围对应的频率,切趾函数的表达式为
[0018]
[0019] 进一步限定,所述步骤(3)具体为:
[0020] 步骤3.1)对步骤2)所拍摄的9幅荧光图像分别进行傅里叶变换得到他们各自的频谱,分别记为
其中k代表频谱空间的二维坐标;
[0021] 步骤3.2)根据结构光场的光强平均值I0,调制度m,空间频率k0,可以分离得到公式(2)所示的频谱,分别记为:
[0022]
[0023] 其中
[0024]
[0025] 公式(2)中的矩阵P为9×9的矩阵,每一行的形式相似,只有其中的相位项不同,依次按照步骤1)的方法取值,一共有9个不同取值,分别可记为
[0026] 步骤3.3)假定系统的光学传递函数为H(k),将步骤3.2)中获得的9个频谱分量进行平移、叠加,得到扩展频谱 表示为:
[0027]
[0028]
[0029] 步骤3.4)将系统光学传递函数进行平移、叠加,得到扩展的光学传递函数表示为:
[0030]
[0031] 步骤3.5)、利用步骤3.3)与步骤3.4)中获得的扩展频谱 和扩展的光学传递函数 完成维纳去卷积运算,获得最终的超分辨图像:
[0032]
[0033] 其中,α为维纳滤波参数,A(k)为切趾函数,假定kd为扩展频谱的最大范围对应的频率,那么切趾函数的表达式为
[0034]
[0035] 进一步限定,步骤(1)中通过控制光场调制器件进行相移,具体为:晶格状光栅通过使用移动高精度二维压电平移台来完成平移操作。
[0036] 进一步限定,步骤(1)具体为:
[0037] (1.1)由激光光源或LED照明,利用四光束干涉或者投影方法,经空间光调制器SLM或者数字微镜器件DMD调制后,在焦面处相互干涉并形成正方晶格状的结构光场,所述晶格
状的结构光场的强度可以表示为两个正交方向上的正弦条纹相乘的形式,满足公式(1)的
分布:
[0038]
[0039] 式中r为二维平面的坐标,I0表示晶格状的结构光场的平均光强,m为单个方向上的调制度,k1与k2分别代表两个正交方向的波矢量, 与 为光场分别在两个正交方向上
的相位;
[0040] (1.2)通过控制空间光调制器SLM或者数字微镜器件DMD进行等间隔相移或非等间距相移。
[0041] 本申请还提供了一种利用正方晶格结构光照明的超分辨成像系统,其包括处理器及存储器,所述存储器中存储计算机程序,计算机程序在处理器中运行时,执行上述利用正
方晶格结构光照明的超分辨成像方法中步骤3)所述的方法。
[0042] 本申请还提供了一种计算机可读存储介质,其储存有计算机程序,计算机程序被执行时实现上述利用正方晶格结构光照明的超分辨成像方法中步骤3)所述的方法。
[0043] 与现有技术相比,本发明的优点为:
[0044] 本发明公开了一种利用正方晶格结构光照明的超分辨成像方法及实现该方法的系统,与普通的条纹结构光相比,正方晶格结构光在相同的峰值强度下具有更低的光剂量,
因此可以大大降低系统的光毒性,因此能够对活体细胞进行更长时间的观察。另外,成像过
程中仅需对照明图案进行相移,无需旋转,从而很大程度地简化了成像过程中的偏振控制,
因此可以降低系统的复杂度,并有效降低系统的搭建成本。

附图说明

[0045] 图1为基于空间光调制器SLM调制和激光照明的干涉式晶格SIM超分辨显微系统光路图;
[0046] 图中附图标记为:1‑激光照明光源、2‑偏振光分束器,3‑半波片,4‑空间光调制器SLM,5‑四分之一波片,6,8,9‑透镜,7‑特殊设计的空间滤波器,10‑二向色镜,11‑反射镜,
12‑物镜,13‑样品及载物台,14‑发射滤光片,15‑筒透镜,16‑面阵数字相机。
[0047] 图2为基于格点衍射光栅和激光照明的干涉式晶格SIM超分辨显微系统光路图;
[0048] 图中附图标记为:1‑激光照明光源,2‑格点衍射光栅,3‑四分之一波片,4,6,7‑透镜,5‑特殊设计的空间滤波器,8‑二向色镜,9‑反射镜,10‑物镜,11‑样品及载物台,12‑发射
滤光片,13‑筒透镜,14‑面阵数字相机。
[0049] 图3为基于数字微镜DMD调制和LED照明的投影式晶格SIM超分辨显微系统光路图;
[0050] 图中附图标记为:1‑LED照明光源,2‑聚光镜,3‑全内反射分光棱镜,4‑数字微镜器件,5‑准直透镜,6‑激发光滤光片,7‑二向色镜,8‑反射镜,9‑显微物镜,10‑样品及载物台,
11‑发射光滤光片,12‑筒透镜,13‑面阵数字相机。
[0051] 图4为基于格点衍射光栅和LED照明的投影式晶格SIM超分辨显微系统光路图;
[0052] 图中附图标记为:1‑LED照明光源,2‑聚光镜,3‑格点衍射光栅,4‑准直透镜,5‑激发光滤光片,6‑二向色镜,7‑反射镜,8‑显微物镜,9‑样品及载物台,10‑发射光滤光片,11‑
筒透镜,12‑面阵数字相机。
[0053] 图5为条纹结构光场和正方晶格结构光场的强度分布对比图;(a)条纹光场的强度分布;(b)正方晶格光场的强度分布。
[0054] 图6为正方晶格结构照明下的原始图像及扩展频谱;(a)正方晶格结构照明下采集的原始图像;(b)原始图像对应的频谱;(c)进行频谱分离、移动、拼接后所能得到的扩展频
谱的范围。
[0055] 图7为相同系统拍摄的宽场照明图像和正方晶格SIM超分辨图像对比图;(a)宽场照明图像;(b)利用正方晶格SIM得到的超分辨图像。

具体实施方式

[0056] 以下结合附图及具体实施例对本发明作进一步的描述。
[0057] 本发明方法可对主流SIM超分辨显微系统进行改进后实施,包括基于SLM调制和激光照明的干涉式正方晶格SIM超分辨显微系统、基于DMD调制和LED照明的投影式正方晶格
SIM超分辨显微系统、基于格点衍射光栅和LED照明的投影式正方晶格SIM超分辨显微系统
等。
[0058] 基于空间光调制器SLM调制和激光照明的干涉式晶格照明SIM超分辨显微系统如图1所示:包括光束扩束准直后的激光照明光源1、设置在扩束准直激光束后的分束器2、依
次设置在偏振光分束器2透射光路上的半波片3和空间光调制器4、设置在偏振光分束器2反
射光路上的四分之一波片5以及透镜6、设置在透镜6后端的空间滤波器7、设置在空间滤波
器7后由透镜8和透镜9组成的望远系统、设置在望远系统后的二向色镜10、设置在二向色镜
10透射光路上的显微物镜12和样品及载物台13、设置在二向色镜10反射光路上的发射光滤
光片14和筒透镜15、设置在筒镜15后方的面阵数字相机16。其中激光光源可以为连续激光
器、脉冲激光器;可以为单波长激光器、多波长激光器、超连续谱激光器等。空间光调制器6
为反射式铁电液晶空间光调制器。该光路由主流的基于条纹结构照明显微镜改进而来,与
传统基于条纹结构照明显微的主要差异在于:空间光调制器上加载的是点阵图案,而不是
条纹图案;成像过程中无需进行偏振状态的切换;成像过程中无需进行条纹旋转;空间滤波
器上小孔的分布不同(如图1中插图所示)。无需偏振切换与无需条纹旋转这两大优势为光
路的进一步简化提供了可能。
[0059] 作为可选光路配置,采用图2所示的基于格点衍射光栅和激光照明的干涉式晶格SIM超分辨显微系统可以大大降低系统的复杂性与搭建成本,且不会显著牺牲系统的成像
速度以及成像效果。基于基于格点衍射光栅和激光照明的干涉式晶格SIM超分辨显微系统
如图2所示:包括光束扩束准直后的激光照明光源1、设置在扩束准直激光束后的二维格点
状光栅2、依次设置在格点状光栅2后的四分之一波片3以及透镜4、设置在透镜4后端的空间
滤波器5、设置在空间滤波器5后由透镜6和透镜7组成的望远系统、设置在望远系统后的二
向色镜8、设置在二向色镜8透射光路上的反射银镜9显微物镜10和样品及载物台11、设置在
二向色镜8反射光路上的发射光滤光片12和筒透镜13、设置在筒透镜13后方的面阵数字相
机14。其中二维格点状光栅2可以为振幅光栅,也可以为相位光栅,它的振幅或者相位分布
如图(2)中插图所示。激光光源可以为连续激光器、脉冲激光器;可以为单波长激光器、多波
长激光器、超连续谱激光器等。
[0060] 此外,还有两种基于投影产生晶格照明光场的光路配置,包括:基于数字微镜DMD调制和LED照明的投影式晶格SIM超分辨显微系统(如图3所示)以及基于格点衍射光栅和
LED照明的投影式晶格SIM超分辨显微系统(如图4所示)。
[0061] 其中,基于数字微镜器件DMD调制和LED照明的投影式晶格SIM超分辨显微系统如图3所示:包括LED光源1、设置在光源之后的聚光镜2、设置在聚光镜2后方的由全内反射分
光棱镜3和数字微镜器件4组成的结构光产生模块、依次设置在结构光产生模块透射光路上
的准直透镜5和激发光滤光片6、设置在激发光滤光片5后的二向色镜7、设置在二向色镜7透
射光路上的反射镜8、设置在反射镜8后方的显微物镜9和样品及载物台10、依次设置在二向
色镜7反射光路上的发射光滤光片11和筒透镜12、设置在筒透镜12后方的面阵数字相机13。
其中,LED光源1可选择单波段或者多波段的LED光源,而由激发光滤光片6、二向色镜7以及
发射光滤光片11构成的滤光片组的波段需要与LED光源1的波段匹配。另外,通过移除激发
光滤光片6与发射光滤光片11,并将二向色镜7更换为分束器,可以进行反射式成像。
[0062] 基于格点衍射光栅和LED照明的投影式晶格SIM超分辨显微系统光路如图4所示:包括LED光源1、设置在光源之后的聚光镜2、设置在聚光镜2后方的格点衍射光栅3、依次设
置在格点衍射光栅3后面的准直透镜4和激发光滤光片5、设置在激发光滤光片5后的二向色
镜6、设置在二向色镜6透射光路上的反射镜7、设置在反射镜7后方的显微物镜8和样品及载
物台9、依次设置在二向色镜6反射光路上的发射光滤光片10和筒透镜11、设置在筒透镜11
后方的面阵数字相机12。其中,LED光源1可选择单波段或者多波段的LED光源,而由激发光
滤光片5、二向色镜6以及发射光滤光片10构成的滤光片组的波段需要与LED光源1的波段匹
配。另外,通过移除激发光滤光片5与发射光滤光片10,并将二向色镜6更换为分束器,可以
进行反射式成像。
[0063] 此外,通过实验证明,在相同的照明峰值下,晶格照明光场的光照剂量是传统的条纹结构照明的一半,它们的强度分布如图5所示。通过对比不难发现,传统条纹结构照明在
沿着条纹的方向被均匀照明,而晶格结构照明则会发生亮暗起伏,因此总的光照剂量明显
低于条纹照明。对于调制深度为1的情形,条纹结构照明与晶格结构照明的光场分布分别可
以表示为如下形式:
[0064]
[0065]
[0066] 二者的照明峰值均为I0。在焦面上对上述两式进行积分,可以得到二者的比值为2:1。也就是说,在相同照明峰值下,晶格结构照明的光照剂量是条纹结构照明的一半,因
此,与普通的条纹结构光相比,本申请的正方晶格结构光在相同的峰值强度下具有更低的
光剂量,可以大大降低系统的光毒性,能够对活体细胞进行更长时间的观察,可广泛应用于
生物学、医学、微电子学及材料科学等领域的深入研究。
[0067] 实施例1
[0068] 本实施例基于空间光调制器SLM调制和激光照明的干涉式晶格照明SIM超分辨显微系统获取超分辨图像的方法,具体由以下步骤实现:
[0069] 步骤1、使用图1所示的基于空间光调制器SLM调制和激光照明的干涉式晶格SIM超分辨显微系统,以准直扩束后的488nm波长激光入射偏振分束器2,透过半波片、垂直照射空
间光调制器SLM4并原路返回,在偏振分束器的反射光路产生垂直线偏振的衍射光束。垂直
偏振的光束被四分之一波片5转换为圆偏振光并被透镜6汇聚,汇聚的多级衍射的零级和其
他高阶衍射光束被定制的空间滤波器7(如图1插图所示)阻挡,只有±1级衍射光束能够透
过,包含四束光。随后,这四束光被望远系统中继到物镜后瞳,并进入显微物镜12,四束倾斜
的圆偏振光在焦面处相互干涉并形成正方晶格状的照明光场,用于照明样品。
[0070] 该晶格结构光场的强度可以表示为两个正交方向上的正弦条纹相乘的形式,满足公式(1)的分布:
[0071]
[0072] 式中r为二维平面的坐标,I0表示晶格结构光场的平均光强,m为单个方向上的调制度,k1与k2分别代表两个正交方向的波矢量, 与 为光场分别在两个正交方向上的相
位。
[0073] 步骤2、将海拉细胞样品置于载物台并调整至物镜焦平面,利用晶格结构光照明,激发被标记的微管发出荧光;荧光被物镜收集后,透过发射光滤光片14、筒透镜15,最后成
像于面阵数字相机16的传感器上。
[0074] 假定光场的初始相位为 控制空间光调制器(SLM)通过加载、刷新平移后的9幅正方分布的点阵照明图案使得上述晶格结构光场在样品平面内沿两个正交方向上
移动,每个方向均为三步相移,对于等间隔相移,移动量记为 9幅照明图案的
相移量依次设置为(0,0)、(2π/3,0)、(4π/3,0)、(0,2π/3)、(2π/3,2π/3)、(4π/3,2π/3)、(0,4
π/3)、(2π/3,4π/3)、(4π/3,4π/3),用于照明并激发样品产生荧光信号。
[0075] 步骤3、面阵数字相机分别采集对应的9幅荧光图像,记为D11,D12,D13,D21,D22,D23,D31,D32,D33,如图6(a)所示,按两个正交方向的相移坐标(3×3)进行排列,每个方向含3个不
同相位。假定物空间和像空间之间的放大比例为1,那么相机拍摄的图像可以分别记为:D11
(r),D12(r),D13(r)、D21(r),D22(r),D23(r)、D31(r),D32(r),D33(r);这些图像被存储在计算机
内存、硬盘或软盘中。
[0076] 步骤4、首先对拍摄到的9幅原始荧光图像进行傅里叶变换,得到它们的原始图像对应的频谱频谱
其中k代表频谱空间的二维坐标;其分布如图6(b)
所示。其次,根据晶格结构光场的平均光强I0,调制度m,两个正交方向上的空间频率k1和k2,
两个正交方向上的初相位 和相移量2π/3,计算得到公式(2)所示的9个空间频谱,分
别记为:
[0077]
[0078] 其中
[0079]
[0080] 公式(2)中的矩阵P为9×9的矩阵,每一行的形式相似,只有其中的相位项不同。依次按照步骤1)的方法取值,一共有9个不同取值,分别可记为
对于 等 间隔 相 移 ,
[0081] 接下来,假定系统的光学传递函数为H(k),将(1)式中获得的9个频谱分量进行平移、叠加,得到如下形式的扩展频谱 表示为:
[0082]
[0083] 扩展频谱对应的频谱范围如图6(c)所示。然后,将光学传递函数进行平移、叠加,得到扩展的光学传递函数 为维纳去卷积做准备:
[0084]
[0085] 最后,利用前面获得的扩展频谱 和扩展的光学传递函数 完成维纳去卷积运算,获得微管样品的超分辨图像:
[0086]
[0087] 其中,α为维纳滤波参数,取决于图像的信噪比,A(k)为切趾函数,假定kd为扩展频谱的最大范围对应的频率,那么切趾函数的表达式为
[0088]
[0089] 图7为基于空间光调制器SLM调制和激光照明的干涉式晶格照明SIM超分辨显微系统获得的海拉细胞内微管的宽场照明图像和正方晶格SIM超分辨图像对比图。实验使用100
×显微物镜,数值孔径NA为1.49。图7(a)是普通宽场荧光图像,图7(b)是使用本发明的方法
获得的晶格结构光照明超分辨图像。通过对比可以看出,本发明的方法的所得图像的分辨
率明显高于普通的宽场图像。
[0090] 实施例2
[0091] 本实施例是基于格点衍射光栅和激光照明的干涉式晶格SIM超分辨显微系统,获取超分辨图像的方法,具体由以下步骤实现:
[0092] 步骤1、使用图2所示的基于格点衍射光栅和激光照明的干涉式晶格SIM超分辨显微系统。准直扩束后的488nm波长激光入射二维格点状光栅2,光栅将入射激光分为四束,垂
直偏振的光束被四分之一波片3转换为圆偏振光并被透镜4汇聚,汇聚的多级衍射的零级和
其他高阶衍射光束被定制的空间滤波器5(如图2插图所示)阻挡,只有±1级衍射光束能够
透过,包含四束光。随后,这四束光被望远系统中继到物镜后瞳,并进入显微物镜10,四束倾
斜的圆偏振光在焦面处相互干涉并形成正方晶格状的照明光场,用于照明样品。
[0093] 该晶格结构光场的强度可以表示为两个正交方向上的正弦条纹相乘的形式,满足公式(1)的分布:
[0094]
[0095] 式中r为二维平面的坐标,I0表示晶格结构光场的平均光强,m为单个方向上的调制度,k1与k2分别代表两个正交方向的波矢量, 与 为光场分别在两个正交方向上的相
位。
[0096] 步骤2、将样品置于载物台并调整至物镜焦平面,利用晶格结构光照明,激发被标记的微管发出荧光;荧光被物镜收集后,透过发射光滤光片12、筒透镜13,最后成像于面阵
数字相机14的传感器上。假定光场的初始相位为 控制压电精密平移台移动格
点状光栅,使得晶格结构光场在样品平面内沿两个正交方向上移动,每个方向均为三步相
移,对于等间隔相移,移动量记为 9次相移量依次设置为(0,0)、(2π/3,0)、(4
π/3,0)、(0,2π/3)、(2π/3,2π/3)、(4π/3,2π/3)、(0,4π/3)、(2π/3,4π/3)、(4π/3,4π/3),用于
照明并激发样品产生荧光信号。假定空间光调制器SLM或者数字微镜器件DMD上加载的晶格
图案的周期为6个像素,那么以2为步长,分别沿着两个方向移动晶格图案,移动的像素数依
次为(0,0)、(2,0)、(4,0)、(0,2)、(2,2)、(4,2)、(0,4)、(2,4)、(4,4)。
[0097] 步骤3、面阵数字相机分别采集对应的9幅荧光图像,记为D11,D12,D13,D21,D22,D23,D31,D32,D33,如图6(a)所示,按两个正交方向的相移坐标(3×3)进行排列,每个方向含3个不
同相位。假定物空间和像空间之间的放大比例为1,那么相机拍摄的图像可以分别记为:D11
(r),D12(r),D13(r)、D21(r),D22(r),D23(r)、D31(r),D32(r),D33(r);这些图像被存储在计算机
内存、硬盘或软盘中。
[0098] 步骤4、首先对拍摄到的9幅原始荧光图像进行傅里叶变换,得到它们的原始图像对应的频谱频谱
其中k代表频谱空间的二维坐标;其分布如图6(b)
所示。其次,根据晶格结构光场的平均光强I0,调制度m,两个正交方向上的空间频率k1和k2,
两个正交方向上的初相位 和相移量2π/3,计算得到公式(2)所示的9个空间频谱,分
别记为:
[0099]
[0100] 其中
[0101]
[0102] 公式(2)中的矩阵P为9×9的矩阵,每一行的形式相似,只有其中的相位项不同。依次按照步骤1)的方法取值,一共有9个不同取值,分别可记为
对于 等 间隔 相 移 ,
[0103] 接下来,假定系统的光学传递函数为H(k),将(1)式中获得的9个频谱分量进行平移、叠加,得到如下形式的扩展频谱 表示为:
[0104]
[0105] 扩展频谱对应的频谱范围如图6(c)所示。然后,将光学传递函数进行平移、叠加,得到扩展的光学传递函数 为维纳去卷积做准备:
[0106]
[0107]
[0108] 最后,利用前面获得的扩展频谱 和扩展的光学传递函数 完成维纳去卷积运算,获得微管样品的超分辨图像:
[0109]
[0110] 其中,α为维纳滤波参数,取决于图像的信噪比,A(k)为切趾函数,假定kd为扩展频谱的最大范围对应的频率,那么切趾函数的表达式为
[0111]
[0112] 实施例3
[0113] 本实施例是基于数字微镜器件和LED照明的投影式晶格SIM超分辨显微系统。另外,本实施例将说明非等间隔相移的实施以及相应的获取超分辨图像的方法,具体由以下
步骤实现:
[0114] 步骤1、使用图3所示的基于数字微镜器件DMD调制和LED照明的投影式晶格SIM超分辨显微系统,LED发出的光经聚光镜2聚焦,入射至全内反射分光棱镜3和数字微镜器件4
组成的结构光产生模块,经准直透镜5准直和激发光滤光片6过滤后、透过二向色镜7,入射
到显微物镜9的后瞳。准直透镜5和显微物镜9构成投影系统,将DMD上加载的图案投影到物
镜焦平面,形成正方晶格状的照明光场,用于照明样品。
[0115] 该晶格结构光场的强度可以表示为两个正交方向上的正弦条纹相乘的形式,满足公式(1)的分布:
[0116]
[0117] 式中r为二维平面的坐标,I0表示晶格结构光场的平均光强,m为单个方向上的调制度,k1与k2分别代表两个正交方向的波矢量, 与 为光场分别在两个正交方向上的相
位。
[0118] 步骤2、将海拉细胞样品置于载物台并调整至物镜焦平面,利用晶格结构光照明,激发被标记的微管发出荧光;荧光被物镜收集后,透过发射光滤光片11、筒透镜12,最后成
像于面阵数字相机13的传感器上。
[0119] 假定光场的初始相位为 控制数字微镜器件(DMD)通过加载、刷新平移后的9幅正方分布的点阵照明图案使得上述晶格结构光场在样品平面内沿两个正交方向上
移动,每个方向均为三步相移,对于非等间隔相移,移动量记为 9幅照明图案
的相移量依次设置为(0,0)、(π/2,0)、(π,0)、(0,π/2)、(π/2,π/2)、(π,π/2)、(0,π)、(π/2,
π)、(π,π),用于照明并激发样品产生荧光信号。假定空间光调制器SLM或者数字微镜器件
DMD上加载的晶格图案的周期为4个像素,那么以1为步长,分别沿着两个方向移动晶格图
案,移动的像素数依次为(0,0)、(1,0)、(2,0)、(0,1)、(1,1)、(2,1)、(0,2)、(1,2)、(2,2)。
[0120] 步骤3、面阵数字相机分别采集对应的9幅荧光图像,记为D11,D12,D13,D21,D22,D23,D31,D32,D33,如图6(a)所示,按两个正交方向的相移坐标(3×3)进行排列,每个方向含3个不
同相位。假定物空间和像空间之间的放大比例为1,那么相机拍摄的图像可以分别记为:D11
(r),D12(r),D13(r)、D21(r),D22(r),D23(r)、D31(r),D32(r),D33(r);这些图像被存储在计算机
内存、硬盘或软盘中。
[0121] 步骤4、首先对拍摄到的9幅原始荧光图像进行傅里叶变换,得到它们的原始图像对应的频谱频谱
其中k代表频谱空间的二维坐标;其分布如图6(b)
所示。其次,根据晶格结构光场的平均光强I0,调制度m,两个正交方向上的空间频率k1和k2,
两个正交方向上的初相位 和相移量,计算得到公式(2)所示的9个空间频谱,分别
记为:
[0122]
[0123] 其中
[0124]
[0125] 公式(2)中的矩阵P为9×9的矩阵,每一行的形式相似,只有其中的相位项不同。依次按照步骤1)的方法取值,一共有9个不同取值,分别可记为
[0126] 对于非等间隔相移,相移量可能有多种取值,以1:1:2的相移间隔为例,
[0127] 接下来,假定系统的光学传递函数为H(k),将(1)式中获得的9个频谱分量进行平移、叠加,得到如下形式的扩展频谱 表示为:
[0128]
[0129] 扩展频谱对应的频谱范围如图6(c)所示。然后,将光学传递函数进行平移、叠加,得到扩展的光学传递函数 为维纳去卷积做准备:
[0130]
[0131] 最后,利用前面获得的扩展频谱 和扩展的光学传递函数 完成维纳去卷积运算,获得微管样品的超分辨图像:
[0132]
[0133] 其中,α为维纳滤波参数,取决于图像的信噪比,A(k)为切趾函数,假定kd为扩展频谱的最大范围对应的频率,那么切趾函数的表达式为
[0134]
[0135] 本申请还提供一种利用正方晶格结构光照明的超分辨成像系统,包括处理器及存储器,所述存储器中存储计算机程序,计算机程序在处理器中运行时,执行上述步骤4的超
分辨图像重构处理方法。
[0136] 本申请还提供一种计算机可读存储介质,用于存储程序,程序被执行时实现上述超分辨图像重构处理方法。在一些可能的实施方式中,本发明还可以实现为一种程序产品
的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述
终端设备执行本说明书上述方法部分中描述的根据本发明各种示例性实施方式的步骤。
[0137] 用于实现上述方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD‑ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于
此,在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以
被指令执行系统、装置或者器件使用或者与其结合使用。
[0138] 程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导
体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列
表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储
器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD‑
ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。