利用正方晶格结构光照明的超分辨成像方法及系统转让专利
申请号 : CN202010397842.0
文献号 : CN111458318B
文献日 : 2021-06-22
发明人 : 汪召军 , 雷铭
申请人 : 西安交通大学
摘要 :
权利要求 :
1.一种利用正方晶格结构光照明的超分辨成像方法,在线性激发响应的情况下,其特征在于,包括以下步骤:
步骤1)正方晶格结构光场的产生和相移:由光源照明,经光场调制器件调制后,在样品平面形成正方晶格结构光场;所述正方晶格结构光场的强度可以表示为两个正交方向上的正弦条纹相乘的形式,满足公式1的分布:式中r为二维平面的坐标,I(r)代表正方晶格结构光场的强度分布,I0表示晶格结构光场的平均光强,m为单个方向上的调制度,k1与k2分别代表两个正交方向的波矢量, 与为光场分别在两个正交方向上的相位;
设定光场的初始相位为 通过控制光场调制器件进行相移,使得上述正方晶格结构光场在样品平面内沿两个正交方向上移动,每个方向均为三步相移,相移量可以任意选择,共产生3×3个不同相移的晶格状结构光场,用于照明并激发样品产生荧光信号;
步骤2)面阵数字相机采集荧光图像:样品被多个不同相移的正方晶格结构光场激发后,在成像面上所成的荧光图像被数字相机sCMOS或EMCCD依次记录,共获得9幅正方晶格结构光场照明的荧光图像;
步骤3)利用频率域重构算法获得超分辨图像:对步骤2)所拍摄的9幅荧光图像分别进行傅里叶变换得到它们各自的频谱,再根据结构光场的光强平均值I0,调制度m,空间频率k0,分离得到频谱,假定系统的光学传递函数为H(k),将分离得到的频谱分量进行平移、叠加,得到扩展频谱 再将系统的光学传递函数为H(k)进行平移、叠加,得到扩展的光学传递函数 之后利用获得的扩展频谱和扩展的光学传递函数 完成维纳去卷积运算,获得最终的超分辨图像:其中,ImageSR表示利用频率域重构算法得到的超分辨图像,ifft表示逆傅里叶变换操作,A(k)为切趾函数,k代表频谱空间的二维坐标,α为维纳滤波参数,假定kd为扩展频谱的最大范围对应的频率,切趾函数的表达式为所述步骤3)具体为:
步骤3.1)对步骤2)所拍摄的9幅荧光图像分别进行傅里叶变换得到他们各自的频谱,分别记为
其中k代表频谱空间的二维坐标;
步骤3.2)根据结构光场的光强平均值I0,调制度m,空间频率k0,可以分离得到公式2所示的频谱,分别记为:
其中
公式2中的矩阵P为9×9的矩阵,每一行的形式相似,只有其中的相位项不同,依次按照步骤1)的方法取值,一共有9个不同取值,分别可记为步骤3.3)假定系统的光学传递函数为H(k),将步骤3.2)中获得的9个频谱分量进行平移、叠加,得到扩展频谱 表示为:步骤3.4)将系统光学传递函数进行平移、叠加,得到扩展的光学传递函数表示为:
步骤3.5)、利用步骤3.3)与步骤3.4)中获得的扩展频谱 和扩展的光学传递函数完成维纳去卷积运算,获得最终的超分辨图像:其中,α为维纳滤波参数,A(k)为切趾函数,假定kd为扩展频谱的最大范围对应的频率,那么切趾函数的表达式为
2.根据权利要求1所述的利用正方晶格结构光照明的超分辨成像方法,其特征在于,步骤1)中通过控制光场调制器件进行相移,具体为:晶格状光栅通过使用移动高精度二维压电平移台来完成平移操作。
3.根据权利要求1所述的利用正方晶格结构光照明的超分辨成像方法,其特征在于,步骤1)具体为:
步骤1.1)由激光光源或LED照明,利用四光束干涉或者投影方法,经空间光调制器SLM或者数字微镜器件DMD调制后,在焦面处相互干涉并形成正方晶格结构光场,所述正方晶格结构光场的强度可以表示为两个正交方向上的正弦条纹相乘的形式,满足公式1的分布:式中r为二维平面的坐标,I0表示正方晶格结构光场的平均光强,m为单个方向上的调制度,k1与k2分别代表两个正交方向的波矢量, 与 为光场分别在两个正交方向上的相位;
步骤1.2)通过控制空间光调制器SLM或者数字微镜器件DMD进行等间隔相移或非等间距相移。
4.一种利用正方晶格结构光照明的超分辨成像系统,其特征在于:包括处理器及存储器,其特征在于:所述存储器中存储计算机程序,计算机程序在处理器中运行时,执行权利要求1利用正方晶格结构光照明的超分辨成像方法中步骤3)所述的方法。
5.一种计算机可读存储介质,其特征在于:储存有计算机程序,计算机程序被执行时实现权利要求1利用正方晶格结构光照明的超分辨成像方法中步骤3)所述的方法。
说明书 :
利用正方晶格结构光照明的超分辨成像方法及系统
技术领域
背景技术
域的重要研究课题之一。二十世纪末,超分辨荧光显微成像技术打破了光学衍射极限的桎
梏,使人类得以窥探纳米级别的微观生物世界,为人类探索生命的奥秘提供了一套前所未
有的工具。克服衍射极限的本质在于使系统能够区分衍射极限区域内的荧光分子,一般可
通过两类方法实现。第一类方法通过在不同时间点随机激活并定位衍射极限区域内的单个
荧光分子来达到区分不同荧光分子的目的,包括光激活定位显微(Photoactivated
Localization Microscopy,PALM)和随机光学重建显微(Stochastic Optical
Reconstruction Microscopy,STORM),二者统称为单分子定位显微(Single Molecule
Localization Microscopy,SMLM)。第二类则是利用特殊的照明光场对衍射受限的区域内
的荧光分子的发射信号进行调制,从而对这些分子进行区分,包括受激发射损耗显微
(Stimulated Emission Depletion,STED)[5]以及超分辨结构光照明显微(Super‑
resolution Structured Illumination Microscopy,SR‑SIM)。目前超分辨荧光显微成像
技术的最高分辨率已接近电子显微镜的分辨水平,为现代生物医学提供强有力的工具,同
时将相关研究推向新的深度。在众多超分辨成像方法中,SIM具有最高的成像速率和最低的
2
激发功率密度(~1W/cm),故可以进行较长时间的动态超分辨观测。另外,线性SIM与传统
的荧光分子、荧光染料兼容,无需特殊的光开关染料或蛋白,大大扩展了超分辨成像的应用
范围。这些优势使得SIM在细胞器、生物大分子及其组装体的动态行为观测中备受青睐。然
而,现有的SIM普遍采用条纹结构光,这种照明方式在成像过程中进行了大量的冗余照明,
因此大大增加了系统的光毒性,从而对活体成像十分不利。另外,基于条纹结构光照明的
SIM在成像过程中不仅需要对条纹进行平移、旋转,还需要在切换过程中对光束的偏振态进
行快速、精密的控制,从而大大增加了系统的搭建成本。
发明内容
晶格SIM方法),其光毒性相较传统方法降低了一倍,且成像过程中无需进行旋转以及偏振
控制,可以大大降低系统的搭建成本与搭建难度。
公式(1)的分布:
位;
移量可以任意选择,共产生3×3个不同相移的晶格状结构光场,用于照明并激发样品产生
荧光信号;
数为H(k),将分离得到的频谱分量进行平移、叠加,得到扩展频谱 再将系统的光学传
递函数为H(k)进行平移、叠加,得到扩展的光学传递函数 之后利用获得的扩
展频谱 和扩展的光学传递函数 完成维纳去卷积运算,获得最终的超分
辨图像:
其中k代表频谱空间的二维坐标;
状的结构光场的强度可以表示为两个正交方向上的正弦条纹相乘的形式,满足公式(1)的
分布:
的相位;
方晶格结构光照明的超分辨成像方法中步骤3)所述的方法。
因此可以大大降低系统的光毒性,因此能够对活体细胞进行更长时间的观察。另外,成像过
程中仅需对照明图案进行相移,无需旋转,从而很大程度地简化了成像过程中的偏振控制,
因此可以降低系统的复杂度,并有效降低系统的搭建成本。
附图说明
12‑物镜,13‑样品及载物台,14‑发射滤光片,15‑筒透镜,16‑面阵数字相机。
滤光片,13‑筒透镜,14‑面阵数字相机。
11‑发射光滤光片,12‑筒透镜,13‑面阵数字相机。
筒透镜,12‑面阵数字相机。
谱的范围。
具体实施方式
SIM超分辨显微系统、基于格点衍射光栅和LED照明的投影式正方晶格SIM超分辨显微系统
等。
次设置在偏振光分束器2透射光路上的半波片3和空间光调制器4、设置在偏振光分束器2反
射光路上的四分之一波片5以及透镜6、设置在透镜6后端的空间滤波器7、设置在空间滤波
器7后由透镜8和透镜9组成的望远系统、设置在望远系统后的二向色镜10、设置在二向色镜
10透射光路上的显微物镜12和样品及载物台13、设置在二向色镜10反射光路上的发射光滤
光片14和筒透镜15、设置在筒镜15后方的面阵数字相机16。其中激光光源可以为连续激光
器、脉冲激光器;可以为单波长激光器、多波长激光器、超连续谱激光器等。空间光调制器6
为反射式铁电液晶空间光调制器。该光路由主流的基于条纹结构照明显微镜改进而来,与
传统基于条纹结构照明显微的主要差异在于:空间光调制器上加载的是点阵图案,而不是
条纹图案;成像过程中无需进行偏振状态的切换;成像过程中无需进行条纹旋转;空间滤波
器上小孔的分布不同(如图1中插图所示)。无需偏振切换与无需条纹旋转这两大优势为光
路的进一步简化提供了可能。
速度以及成像效果。基于基于格点衍射光栅和激光照明的干涉式晶格SIM超分辨显微系统
如图2所示:包括光束扩束准直后的激光照明光源1、设置在扩束准直激光束后的二维格点
状光栅2、依次设置在格点状光栅2后的四分之一波片3以及透镜4、设置在透镜4后端的空间
滤波器5、设置在空间滤波器5后由透镜6和透镜7组成的望远系统、设置在望远系统后的二
向色镜8、设置在二向色镜8透射光路上的反射银镜9显微物镜10和样品及载物台11、设置在
二向色镜8反射光路上的发射光滤光片12和筒透镜13、设置在筒透镜13后方的面阵数字相
机14。其中二维格点状光栅2可以为振幅光栅,也可以为相位光栅,它的振幅或者相位分布
如图(2)中插图所示。激光光源可以为连续激光器、脉冲激光器;可以为单波长激光器、多波
长激光器、超连续谱激光器等。
LED照明的投影式晶格SIM超分辨显微系统(如图4所示)。
光棱镜3和数字微镜器件4组成的结构光产生模块、依次设置在结构光产生模块透射光路上
的准直透镜5和激发光滤光片6、设置在激发光滤光片5后的二向色镜7、设置在二向色镜7透
射光路上的反射镜8、设置在反射镜8后方的显微物镜9和样品及载物台10、依次设置在二向
色镜7反射光路上的发射光滤光片11和筒透镜12、设置在筒透镜12后方的面阵数字相机13。
其中,LED光源1可选择单波段或者多波段的LED光源,而由激发光滤光片6、二向色镜7以及
发射光滤光片11构成的滤光片组的波段需要与LED光源1的波段匹配。另外,通过移除激发
光滤光片6与发射光滤光片11,并将二向色镜7更换为分束器,可以进行反射式成像。
置在格点衍射光栅3后面的准直透镜4和激发光滤光片5、设置在激发光滤光片5后的二向色
镜6、设置在二向色镜6透射光路上的反射镜7、设置在反射镜7后方的显微物镜8和样品及载
物台9、依次设置在二向色镜6反射光路上的发射光滤光片10和筒透镜11、设置在筒透镜11
后方的面阵数字相机12。其中,LED光源1可选择单波段或者多波段的LED光源,而由激发光
滤光片5、二向色镜6以及发射光滤光片10构成的滤光片组的波段需要与LED光源1的波段匹
配。另外,通过移除激发光滤光片5与发射光滤光片10,并将二向色镜6更换为分束器,可以
进行反射式成像。
沿着条纹的方向被均匀照明,而晶格结构照明则会发生亮暗起伏,因此总的光照剂量明显
低于条纹照明。对于调制深度为1的情形,条纹结构照明与晶格结构照明的光场分布分别可
以表示为如下形式:
此,与普通的条纹结构光相比,本申请的正方晶格结构光在相同的峰值强度下具有更低的
光剂量,可以大大降低系统的光毒性,能够对活体细胞进行更长时间的观察,可广泛应用于
生物学、医学、微电子学及材料科学等领域的深入研究。
间光调制器SLM4并原路返回,在偏振分束器的反射光路产生垂直线偏振的衍射光束。垂直
偏振的光束被四分之一波片5转换为圆偏振光并被透镜6汇聚,汇聚的多级衍射的零级和其
他高阶衍射光束被定制的空间滤波器7(如图1插图所示)阻挡,只有±1级衍射光束能够透
过,包含四束光。随后,这四束光被望远系统中继到物镜后瞳,并进入显微物镜12,四束倾斜
的圆偏振光在焦面处相互干涉并形成正方晶格状的照明光场,用于照明样品。
位。
像于面阵数字相机16的传感器上。
移动,每个方向均为三步相移,对于等间隔相移,移动量记为 9幅照明图案的
相移量依次设置为(0,0)、(2π/3,0)、(4π/3,0)、(0,2π/3)、(2π/3,2π/3)、(4π/3,2π/3)、(0,4
π/3)、(2π/3,4π/3)、(4π/3,4π/3),用于照明并激发样品产生荧光信号。
同相位。假定物空间和像空间之间的放大比例为1,那么相机拍摄的图像可以分别记为:D11
(r),D12(r),D13(r)、D21(r),D22(r),D23(r)、D31(r),D32(r),D33(r);这些图像被存储在计算机
内存、硬盘或软盘中。
其中k代表频谱空间的二维坐标;其分布如图6(b)
所示。其次,根据晶格结构光场的平均光强I0,调制度m,两个正交方向上的空间频率k1和k2,
两个正交方向上的初相位 和相移量2π/3,计算得到公式(2)所示的9个空间频谱,分
别记为:
对于 等 间隔 相 移 ,
×显微物镜,数值孔径NA为1.49。图7(a)是普通宽场荧光图像,图7(b)是使用本发明的方法
获得的晶格结构光照明超分辨图像。通过对比可以看出,本发明的方法的所得图像的分辨
率明显高于普通的宽场图像。
直偏振的光束被四分之一波片3转换为圆偏振光并被透镜4汇聚,汇聚的多级衍射的零级和
其他高阶衍射光束被定制的空间滤波器5(如图2插图所示)阻挡,只有±1级衍射光束能够
透过,包含四束光。随后,这四束光被望远系统中继到物镜后瞳,并进入显微物镜10,四束倾
斜的圆偏振光在焦面处相互干涉并形成正方晶格状的照明光场,用于照明样品。
位。
数字相机14的传感器上。假定光场的初始相位为 控制压电精密平移台移动格
点状光栅,使得晶格结构光场在样品平面内沿两个正交方向上移动,每个方向均为三步相
移,对于等间隔相移,移动量记为 9次相移量依次设置为(0,0)、(2π/3,0)、(4
π/3,0)、(0,2π/3)、(2π/3,2π/3)、(4π/3,2π/3)、(0,4π/3)、(2π/3,4π/3)、(4π/3,4π/3),用于
照明并激发样品产生荧光信号。假定空间光调制器SLM或者数字微镜器件DMD上加载的晶格
图案的周期为6个像素,那么以2为步长,分别沿着两个方向移动晶格图案,移动的像素数依
次为(0,0)、(2,0)、(4,0)、(0,2)、(2,2)、(4,2)、(0,4)、(2,4)、(4,4)。
同相位。假定物空间和像空间之间的放大比例为1,那么相机拍摄的图像可以分别记为:D11
(r),D12(r),D13(r)、D21(r),D22(r),D23(r)、D31(r),D32(r),D33(r);这些图像被存储在计算机
内存、硬盘或软盘中。
其中k代表频谱空间的二维坐标;其分布如图6(b)
所示。其次,根据晶格结构光场的平均光强I0,调制度m,两个正交方向上的空间频率k1和k2,
两个正交方向上的初相位 和相移量2π/3,计算得到公式(2)所示的9个空间频谱,分
别记为:
对于 等 间隔 相 移 ,
步骤实现:
组成的结构光产生模块,经准直透镜5准直和激发光滤光片6过滤后、透过二向色镜7,入射
到显微物镜9的后瞳。准直透镜5和显微物镜9构成投影系统,将DMD上加载的图案投影到物
镜焦平面,形成正方晶格状的照明光场,用于照明样品。
位。
像于面阵数字相机13的传感器上。
移动,每个方向均为三步相移,对于非等间隔相移,移动量记为 9幅照明图案
的相移量依次设置为(0,0)、(π/2,0)、(π,0)、(0,π/2)、(π/2,π/2)、(π,π/2)、(0,π)、(π/2,
π)、(π,π),用于照明并激发样品产生荧光信号。假定空间光调制器SLM或者数字微镜器件
DMD上加载的晶格图案的周期为4个像素,那么以1为步长,分别沿着两个方向移动晶格图
案,移动的像素数依次为(0,0)、(1,0)、(2,0)、(0,1)、(1,1)、(2,1)、(0,2)、(1,2)、(2,2)。
同相位。假定物空间和像空间之间的放大比例为1,那么相机拍摄的图像可以分别记为:D11
(r),D12(r),D13(r)、D21(r),D22(r),D23(r)、D31(r),D32(r),D33(r);这些图像被存储在计算机
内存、硬盘或软盘中。
其中k代表频谱空间的二维坐标;其分布如图6(b)
所示。其次,根据晶格结构光场的平均光强I0,调制度m,两个正交方向上的空间频率k1和k2,
两个正交方向上的初相位 和相移量,计算得到公式(2)所示的9个空间频谱,分别
记为:
分辨图像重构处理方法。
的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述
终端设备执行本说明书上述方法部分中描述的根据本发明各种示例性实施方式的步骤。
此,在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以
被指令执行系统、装置或者器件使用或者与其结合使用。
体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列
表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储
器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD‑
ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。