超分辨率显微镜图像的自适应校正方法及SIM-ODT双模态系统转让专利
申请号 : CN202110386643.4
文献号 : CN113112405B
文献日 : 2022-04-12
发明人 : 莫燕权 , 陈良怡 , 毛珩 , 范骏超 , 丰帆 , 梁林涛 , 屠锐 , 杜珂 , 杨宏润
申请人 : 广州超视计生物科技有限公司
摘要 :
权利要求 :
1.一种超分辨率显微镜图像的自适应校正方法,其特征在于,包括:利用通过样本的ODT模态的原始相位图像获得的三维折射率分布,从成像探测路径对SIM超分辨图像进行自适应校正的方法包括:步骤1a,根据光学传递函数以及所述样本的SIM模态的原始荧光图像,重建获得带伪影的初始SIM超分辨图像;
步骤2a,将所述初始SIM超分辨图像按照第一种划分方式分割成若干第一SIM超分辨子图像,将所述原始荧光图像按照所述第一种划分方式分割成若干原始荧光子图像,并且,相邻所述子图像的边缘彼此重叠;
步骤3a,通过所述三维折射率分布,沿所述SIM模态的光轴z轴找出含有荧光信号的各所述原始荧光子图像对应的成像焦平面及其对应的样本层数,并在含有荧光信号的各所述原始荧光子图像的中心及该中心的相邻区域的选定点处设置点光源;
步骤4a,根据所述三维折射率分布,计算所述点光源从所述原始荧光子图像对应的成L1
像焦平面传播到样本表面的第一光场分布U (ρ),ρ=(x,y)为与z垂直的二维空间坐标,L为所述样本从所述原始荧光子图像对应的成像焦平面到所述样本外表面的总层数;
L1
步骤5a,根据U (ρ),计算所述原始荧光子图像对应的成像焦平面的第一相干传递函数1
并由 更新第一光学传递函数H (ξ),ξ为频域中的二维坐标;
1
步骤6a,根据H (ξ)及相应的所述原始荧光子图像,再次重建获得所述原始荧光子图像的第二SIM超分辨子图像;
步骤7a,将步骤6a重建得到的第二SIM超分辨子图像、以及未含有荧光信号的所述原始荧光子图像所在区域对应的所述第一SIM超分辨子图像,拼接成最终完整的SIM超分辨图像。
2.如权利要求1所述的超分辨率显微镜图像的自适应校正方法,其特征在于,所述步骤
5a中的 通过如下两种方法之一得到:L1
方法一,根据第二物镜的焦距,将U (ρ)利用菲涅尔衍射公式正向传播到瞳面位置,获得 其中,所述第二物镜用于接收经过样本后的ODT模态激光、供SIM超分辨激光照明模块所生成的激光通过后照射样本、以及样本产生的SIM模态的原始荧光;其中,所述第二物镜用于接收经过所述样本后的ODT模态激光、供所述SIM模态激光通过并照射所述样本、以及所述样本产生的SIM模态的原始荧光;
L1
方法二,利用式(1)提供的重聚焦反向传播计算U (ρ),获得L1
式中,UPSF(ρ)为U (ρ)反向传播回到成像焦平面的光场分布,即相干点扩散函数,ρL为所述样本外表面任意处的坐标,zL为成像焦平面到样本外表面的物理距离,P(·)表征瞳函L
数,U (ρL)为样本外表面的光场分布,j为虚数单位,km为所述SIM模态的照明激光的光场在环境中的波矢量,Ft{.}为傅里叶变换,λ0为所述SIM模态的照明激光的波长。
3.如权利要求2所述的超分辨率显微镜图像的自适应校正方法,其特征在于,所述步骤L1
4a中的U (ρ)获取方法具体包括:步骤41a,将所述点光源设置为理想球面波;
步骤42a,根据所述三维折射率分布n(r),利用式(3)计算散射势f(r);
式中,nm为所述样本所在环境的平均折射率,km为SIM模态的照明激光的光场在环境中的波矢量;
L1
步骤43a,依据f(r),计算U (ρ)。
4.如权利要求3所述的超分辨率显微镜图像的自适应校正方法,其特征在于,所述步骤L1
43a中的U (ρ)通过使用积分形式的Lippmann‑Schwinger模型、或者使用如下式(5)至式(7)提供的多层光束传播模型求解得到:l ‑1 l
U(ρ,(l+1)Δz)=Ft {Pprop(ξ,Δz)·Ft{U(ρ,lΔz)}} (5)l
式中,U (ρ,(l+1)Δz)为所述点光源从所述原始荧光子图像对应的成像焦平面未经样l
本作用而直接传播到所述样本第l层的光场分布,U (ρ,lΔz)为所述点光源从所述原始荧光子图像对应的成像焦平面传播到所述样本第l‑1层的总光场分布, 为l l+1
U(ρ,(l)Δz)经过所述样本第l层后与样本作用所产生的散射光场,U (ρ,(l+1)Δz)为所述点光源从所述原始荧光子图像对应的成像焦平面传播到所述样本第l层的总光场分布,l为所述点光源从所述原始荧光子图像对应的成像焦平面到所述样本外表面的层数,l=
1……,L,z为SIM模态的光轴的坐标分布,Δz为所述样本每一层的厚度,Ft{·}表示傅里叶‑1
变换,Ft {·}表示反傅里叶变换,Pprop(ξ,Δz)为由式(8)表示的角谱传播函数,G(ξ,Δz)l
为由式(9)表示的格林函数,f (ρ)为所述点光源从所述原始荧光子图像对应的成像焦平面1
传播到所述样本第l层的散射势,当l=1时,U(ρ,Δz)取USPH(ρ,Δz)。
5.一种超分辨率显微镜图像的自适应校正方法,其特征在于,包括:利用通过样本的ODT模态的原始相位图像获得的三维折射率分布,从照明路径对SIM超分辨图像进行自适应校正的方法包括:步骤1b,根据所述样本的SIM模态的原始荧光图像,估计求解各照明模式的照明参数;
步骤2b,根据照明模式呈正弦分布的先验信息和第一模块获得的照明参数,生成均匀的位于样本外表面位置的理想正弦照明模式分布;
步骤3b,根据所述三维折射率分布,计算沿SIM模态的光轴z轴的所述原始荧光图像对应的成像焦平面到所述样本外表面的总层数L、以及理想正弦分布光源从样本外表面传播L2
到所述原始荧光图像的成像焦平面的第二光场分布U (ρ),ρ=(x,y)为与z轴垂直的二维空间坐标;
L2
步骤4b,根据U (ρ),获得散射畸变后的照明模式;
步骤5b,利用式(10)表示的优化模型,迭代所述散射畸变后的照明模式,重建得到最优SIM超分辨图像
式中,num为所述照明模式的每个周期内所述原始荧光图像的总帧数,Di为第i帧所述原2
始荧光图像,h为第二光学传递函数H(ξ)反傅里叶变换后得到的点扩散函数,gi为:gi(ρ)=I′i(ρ)·o(ρ),I′i(ρ)和I′i为Di对应的所述散射畸变后的照明模式,Hess(o)表示海森矩阵,||·||1表示矩阵的L1范数,o和o(ρ)为待重建的SIM超分辨图像,λ为数据保真项系数,α为海森连续性约束系数,β为稀疏项约束系数,ξ为频域中的二维坐标。
6.如权利要求5所述的超分辨率显微镜图像的自适应校正方法,其特征在于,所述步骤L2
3b中的U (ρ)获取方法具体包括:步骤31b,根据所述三维折射率分布n(r),利用式(3)计算散射势f(r);
式中,nm为所述样本所在环境的平均折射率,km为SIM模态的照明激光的光场在环境中的波矢量,λ0为所述SIM模态的照明激光的波长;
L2
步骤32b,依据f(r),计算U (ρ)。
7.如权利要求6所述的超分辨率显微镜图像的自适应校正方法,其特征在于,所述步骤L2
32b中的U (ρ)通过使用积分形式的Lippmann‑Schwinger模型或使用如下式(5)至式(7)提供的多层光束传播模型求解得到:l ‑1 l
U(ρ,(l+1)Δz)=Ft {Pprop(ξ,Δz)·Ft{U(ρ,lΔz)}} (5)l
式中,U (ρ,(l+1)Δz)为所述理想正弦照明模式分布从所述样本的外表面未经样本作l
用而直接传播到所述样本第l层的光场分布,U (ρ,lΔz)为所述理想正弦照明模式分布从l
所述样本的外表面传播到所述样本第l‑1层的总光场分布, 为U (ρ,(l)l+1
Δz)经过所述样本第l层后与样本作用所产生的散射光场,U (ρ,(l+1)Δz)为所述理想正弦照明模式分布从所述样本的外表面传播到所述样本第l层的总光场分布,l为所述理想正弦照明模式分布从所述样本的SIM模态的原始荧光图像对应的成像焦平面的层数,l=
1……,L,z为SIM模态的光轴的坐标分布,Δz为所述样本每一层的厚度,Ft{·}表示傅里叶‑1
变换,Ft {·}表示反傅里叶变换,Pprop(ξ,Δz)为由式(8)表示的角谱传播函数,G(ξ,Δz)l
为由式(9)表示的格林函数,f (ρ)为所述理想正弦照明模式分布从所述样本的SIM模态的1
原始荧光图像对应的成像焦平面传播到所述样本第l层的散射势,当l=1时,U (ρ,Δz)取所述步骤2b生成的理想正弦照明模式。
8.如权利要求5至7中任一项所述的超分辨率显微镜图像的自适应校正方法,其特征在2
于,所述步骤5b中的H(ξ)通过如下两种方式之一得到:方式一,使用理想模型构建光学传递函数获得;
2 2
方式二,通过荧光微珠拍摄得到点扩散函数h(ρ),再利用h(ρ)获得H (ξ),H (ξ)=Ft{h(ρ)},Ft为傅里叶变换。
9.如权利要求5所述的超分辨率显微镜图像的自适应校正方法,其特征在于,所述步骤2
5b中的H(ξ)的获得方法包括:步骤51b,利用通过样本的ODT模态的原始相位图像获得的三维折射率分布;
步骤52b,根据光学传递函数以及所述样本的SIM模态的原始荧光图像,重建获得带伪影的初始SIM超分辨图像;
步骤53b,将所述原始荧光图像按照第一种划分方式分割成若干原始荧光子图像,并且,相邻所述子图像的边缘彼此重叠;
步骤54b,通过所述三维折射率分布,沿SIM模态的光轴z轴找出含有荧光信号的各所述原始荧光子图像对应的成像焦平面及其对应的样本层数,并在含有荧光信号的各所述原始荧光子图像的中心及该中心的相邻区域的选定点出设置点光源;
步骤55b,根据所述三维折射率分布,计算所述点光源从所述原始荧光子图像对应的成L1
像焦平面传播到样本表面的第一光场分布U (ρ),ρ=(x,y)为与z垂直的二维空间坐标,L为所述样本从所述原始荧光子图像对应的成像焦平面到所述样本外表面的总层数;
L1
步骤56b,根据U (ρ),计算所述原始荧光子图像对应的成像焦平面的第一相干传递函2
数 并由 更新第二光学传递函数H (ξ), ξ为频域中的二维坐标,★表示自相关计算。
10.一种SIM‑ODT双模态系统,其特征在于,包括:ODT照明模块,其用于产生ODT模态激光;
SIM超分辨激光照明模块,其用于产生呈正弦分布的SIM模态激光;
第一物镜,其置于所述样本的一侧与所述ODT照明模块的出光口之间,用于供所述ODT照明模块所生成的激光照射所述样本;
第二物镜,其置于所述样本的另一侧,用于接收经过所述样本后的ODT模态激光、供所述SIM模态激光通过并照射所述样本、以及供所述样本产生的SIM模态的原始荧光通过;
SIM超分辨图像采集模块,其用于采集所述SIM模态的原始荧光图像;
ODT图像采集模块,其用于采集ODT模态的原始相位图像;
样本三维折射率分布计算模块,其用于利用衍射层析成像的重建算法,对所述原始相位图像进行处理,重建得到无标记的所述样本的三维折射率分布;
自适应图像校正模块,其用于利用如权利要求1或5或9所述的超分辨率显微镜图像的自适应校正方法对SIM模态的光学传递函数和/或畸变照明模式进行自适应校正;
2D/3D‑SIM超分辨图像重建模块,其用于根据所述自适应图像校正模块校正后的光学传递函数和/或畸变照明模式,将所述原始荧光图像与所述光学传递函数进行图像重建,获得自适应校正后的SIM超分辨图像;
双模态图像融合模块,其用于将自适应校正后的SIM超分辨图像与所述三维折射率分布按照空间位置关系融合,同时对所述样本进行三维高分辨动态成像以及深层的特异性二维或三维超分辨动态成像。
说明书 :
超分辨率显微镜图像的自适应校正方法及SIM‑ODT双模态
系统
技术领域
背景技术
率(super‑resolution)成像的目的。同时,SIM相比受激辐射损耗显微镜STED、单分子定位
显微镜PALM/STROM等其它超分辨技术,具有对样本特异性需求小,光子数少,光毒性小和成
像速度快等优点,成为了活细胞研究中应用最为广泛的超分辨技术之一。然而,SIM虽有诸
多优势,却容易受到重建伪影的影响:参数估计不准确,图像信噪比低,光学传递函数误差
大,离焦面背景荧光不可忽略等都会给重建SIM超分辨图像带来困难。对于厚度大的样本而
言,因为细胞器分布不均匀,所以样本内部折射率分布差异非常显著。这些结构差异将导致
SIM照明激光和受激荧光发生散射,进而给显微镜带来成像像差,这也是限制SIM成像深度
的最重要因素,因此目前的SIM还是局限在薄样本或者细胞浅层区域的范围之内成像。
使用的光学传递函数(optical transfer function,OTF)基本来源于理想物理模型构造的
OTF或者使用荧光微珠拍摄得到的OTF,对于实际生物样本来说,都是过于理想化且不匹配
的OTF。在以往的解决超分辨图像伪影的方法中,有直接通过在图像重建算法模型中加入正
则项进而约束过程的方法,也有利用自适应光学手段,通过在光路中增加波前传感器来探
测像差,再使用变形镜校正波前像差,或者直接使用无波前传感的方法来校正光路中像差
的方法。然而,在重建模型加入正则项的方法,其要求显微镜采集到的SIM模态的原始荧光
图像和重建使用的参数,如OTF是无差别的,而这显然对厚样本而言,是难以达到的。而利用
自适应光学校正的方法,仅能校正全局像差,无法校正局部像差。
发明内容
校正的方法包括:
且,相邻所述子图像的边缘彼此重叠;
所述原始荧光子图像的中心及该中心的相邻区域的选定点处设置点光源;
的成像焦平面传播到样本表面的第一光场分布U (ρ),ρ=(x,y)为与z垂直的二维空间坐
标,L为所述样本从所述原始荧光子图像对应的成像焦平面到所述样本外表面的总层数;
函数 并由 更新第一光学传递函数H (ξ),ξ为频域中的二维坐标;
图像。
光照明模块所生成的激光通过后照射样本、以及样本产生的SIM模态的原始荧光;其中,所
述第二物镜用于接收经过所述样本后的ODT模态激光、供所述SIM模态激光通过并照射所述
样本、以及所述样本产生的SIM模态的原始荧光;
L
瞳函数,U(ρL)为样本外表面的光场分布,j为虚数单位,km为所述SIM模态的照明激光的光
场在环境中的波矢量,Ft{·}为傅里叶变换。
经样本作用而直接传播到所述样本第l层的光场分布,U (ρ,lΔz)为所述点光源从所述原
始荧光子图像对应的成像焦平面传播到所述样本第l‑1层的总光场分布,
l
为U (ρ,(l)Δz)经过所述样本第l层后与样本作用所产生的散射光场,
l+1
U (ρ,(l+1)Δz)为所述点光源从所述原始荧光子图像对应的成像焦平面传播到所述样本
第l层的总光场分布,l为所述点光源从所述原始荧光子图像对应的成像焦平面到所述样本
外表面的层数,l=1……,L,z为SIM模态的光轴的坐标分布,Δz为所述样本每一层的厚度,
‑1
Ft{·}表示傅里叶变换,Ft {·}表示反傅里叶变换,Pprop(ξ,Δz)为由式(8)表示的角谱传
l
播函数,G(ξ,Δz)为由式(9)表示的格林函数,f (ρ)为所述点光源从所述原始荧光子图像
1
对应的成像焦平面传播到所述样本第l层的散射势,当l=1时,U(ρ,Δz)取USPH(ρ,Δz)。
L2
传播到所述原始荧光图像的成像焦平面的第二光场分布U (ρ),ρ=(x,y)为与z轴垂直的二
维空间坐标;
所述原始荧光图像,h为第二光学传递函数H (ξ)反傅里叶变换后得到的点扩散函数,gi为:
gi(ρ)=I′i(ρ)·o(ρ),I′i(ρ)和I′i为Di对应的所述散射畸变后的照明模式,Hess(o)表示海
森矩阵,||·||1表示矩阵的L1范数,o和o(ρ)为待重建的SIM超分辨图像,λ为数据保真项系
数,α为海森连续性约束系数,β为稀疏项约束系数,ξ为频域中的二维坐标。
本作用而直接传播到所述样本第l层的光场分布,U (ρ,lΔz)为所述理想正弦照明模式分
l
布从所述样本的外表面传播到所述样本第l‑1层的总光场分布, 为U (ρ,
l+1
(l)Δz)经过所述样本第l层后与样本作用所产生的散射光场,U (ρ,(l+1)Δz)为所述理
想正弦照明模式分布从所述样本的外表面传播到所述样本第l层的总光场分布,l为所述理
想正弦照明模式分布从所述样本的SIM模态的原始荧光图像对应的成像焦平面的层数,l=
1……,L,z为SIM模态的光轴的坐标分布,Δz为所述样本每一层的厚度,Ft{·}表示傅里叶
‑1
变换,Ft {·}表示反傅里叶变换,Pprop(ξ,Δz)为由式(8)表示的角谱传播函数,G(ξ,Δz)
l
为由式(9)表示的格林函数,f (ρ)为所述理想正弦照明模式分布从所述样本的SIM模态的
1
原始荧光图像对应的成像焦平面传播到所述样本第l层的散射势,当l=1时,U (ρ,Δz)取
所述步骤2b生成的理想正弦照明模式。
原始荧光子图像的中心及该中心的相邻区域的选定点出设置点光源;
的成像焦平面传播到样本表面的第一光场分布U (ρ),ρ=(x,y)为与z垂直的二维空间坐
标,L为所述样本从所述原始荧光子图像对应的成像焦平面到所述样本外表面的总层数;
递函数 并由 更新第二光学传递函数H (ξ), ξ为
频域中的二维坐标,★表示自相关计算。
激光;第一物镜,其置于所述样本的一侧与所述ODT照明模块的出光口之间,用于供所述ODT
照明模块所生成的激光照射所述样本;第二物镜,其置于所述样本的另一侧,用于接收经过
所述样本后的ODT模态激光、供所述SIM模态激光通过并照射所述样本、以及供所述样本产
生的SIM模态的原始荧光通过;SIM超分辨图像采集模块,其用于采集所述SIM模态的原始荧
光图像;ODT图像采集模块,其用于采集ODT模态的原始相位图像;样本三维折射率分布计算
模块,其用于利用衍射层析成像的重建算法,对所述原始相位图像进行处理,重建得到无标
记的所述样本的三维折射率分布;自适应图像校正模块,其用于利用如上所述的超分辨率
显微镜图像的自适应校正方法对SIM模态的光学传递函数和/或畸变照明模式进行自适应
校正;2D/3D‑SIM超分辨图像重建模块,其用于根据所述自适应图像校正模块校正后的光学
传递函数和/或畸变照明模式,将所述原始荧光图像与所述光学传递函数进行图像重建,获
得自适应校正后的SIM超分辨图像;双模态图像融合模块,其用于将自适应校正后的SIM超
分辨图像与所述三维折射率分布按照空间位置关系融合,同时对所述样本进行三维高分辨
动态成像以及深层的特异性二维或三维超分辨动态成像。
二维或三维结构光超分辨图像。
附图说明
具体实施方式
维折射率分布计算模块、自适应图像校正模块、2D/3D‑SIM超分辨图像重建模块和双模态图
像融合模块,其中:
内。
了实现SIM超分辨成像,第二物镜选用高倍物镜,第二物镜的数值孔径大于等于第一物镜的
数值孔径,这样可以保证ODT模态经过第一物镜的激光都能被第二物镜接收到。
建得到无标记的所述样本的三维折射率分布。
荧光在样本中传播并被第二物镜接收,再被SIM超分辨图像采集模块采集的过程。照明路径
指的是SIM超分辨激光照明模块发出激光,经过第二物镜照射到样本成像焦平面形成正弦
分布的照明模式的过程。
适应校正后的SIM超分辨图像。
量和高频分量整合,获得超分辨图像;也可以是将照明模式整体迭代,利用优化方法找到最
优的超分辨图像。
维或三维超分辨动态成像。其中,“融合”可以理解为将ODT模态和SIM模态的单个像素的尺
寸大小插值到相同的值,然后将两个模态的结果叠加,在一幅图像中显示不同通道颜色的
效果。
者荧光微珠拍摄得到的光学传递函数。重建方法可以利用传统的维纳解卷积图像重建方
法,即:首先,利用频谱相关性估计各照明方向的照明频率、照明相位及照明调制深度系数
等照明参数;然后,将原始荧光图像中的高频和低频分量解耦,并将高频分量移动到照明频
率对应的位置;最后,将低频分量和高频分量整合,获得带伪影的初始SIM超分辨图像。
且,相邻所述子图像的边缘彼此重叠。其中,第一种划分方式可以是采用均匀的分割方式,
也可以理解为:将被分割图像按照网格划分方式划分成若干个横纵方向的像素数相等且不
小于64个像素。相邻所述子图像的边缘彼此重叠的部分的像素数不少于单个子图像像素数
的10%,这样可以保证之后图像拼接的连续性。
原始荧光子图像的中心及该中心的相邻区域的选定点出设置点光源。其中,中心的相邻区
域的选定点可以设置为图像中心点的八邻域对角点,但不限于此,本领域技术人员可以根
据实际需求进行选取设置。为便于计算,该点光源可用理想球面波替代,如式(1):
的成像焦平面传播到样本表面的第一光场分布U (ρ),ρ=(x,y)为与z垂直的二维空间坐
标,L为样本从所述原始荧光子图像对应的成像焦平面到所述样本外表面的总层数。
函数 并由 更新第一光学传递函数H (ξ),ξ为频域中的二维坐标。优选地,
1
★表示自相关计算。当然,H (ξ)也可以采用现有的其它方式获
得。
光照明模块所生成的激光通过后照射样本、以及样本产生的SIM模态的原始荧光。
L1
L
数,U (ρL)为样本外表面的光场分布,j为虚数单位,km为SIM模态的照明激光的光场在环境
中的波矢量,Ft{.}为傅里叶变换。
得的相干传递函数进行算数平均,也可以利用聚类方法对各个点源获得的泽尼克多项式分
解结果进行聚类,或者利用其它方法获得平均的相干传递函数。
SIM模态的照明激光的光场在环境中的波矢量,λ0为SIM模态的照明激光的波长。
可以通过现有的其它公式获得:
本作用而直接传播到所述样本第l层的光场分布,U (ρ,lΔz)为所述理想正弦照明模式分
l
布从所述样本的外表面传播到所述样本第l‑1层的总光场分布, 为U (ρ,
l+1
(l)Δz)经过所述样本第l层后与样本作用所产生的散射光场,U (ρ,(l+1)Δz)为所述理
想正弦照明模式分布从所述样本的外表面传播到所述样本第l层的总光场分布,l=1……,
L,z为SIM模态的光轴的坐标分布,Δz为所述样本每一层的厚度,Ft{·}表示傅里叶变换,
‑1
Ft {·}表示反傅里叶变换,Pprop(ξ,Δz)为由式(8)表示的角谱传播函数,G(ξ,Δz)为由
l
式(9)表示的格林函数,f (ρ)为所述点光源从所述原始荧光子图像对应的成像焦平面传播
到所述样本第l层的散射势。
的成像焦平面到所述样本外表面的总层数L,且当l=1时,U(ρ,Δz)取USPH(ρ,Δz)。
法,也可以是迭代优化方法。
图像。在拼接过程中,相邻子图像的边缘融合可以使用加权融合或者其它融合方法,使重叠
部分由前一子图像对应的区域平缓过渡到后一子图像对应的区域,保证图像连续性。对于
SIM超分辨图像内剩余没有荧光信号分布的各个区域,直接使用对应的所述第一SIM超分辨
子图像,可以减少计算量。
化过程。
图像的高频和低频的分量;然后,计算所得的高频和低频分量的相关性,并利用频谱的相关
性估计各照明方向的照明频率、照明相位及照明调制深度系数等照明参数,其中,照明模式
的相位差矩阵根据显微镜硬件设计时所用的照明模式获得。
L2
面传播到所述原始荧光图像的成像焦平面的第二光场分布U (ρ),ρ=(x,y)为与z轴垂直的
二维空间坐标。
解得到,还可以使用其它现有方法获得。
本作用而直接传播到所述样本第l层的光场分布,U (ρ,lΔz)为所述理想正弦照明模式分
l
布从所述样本的外表面传播到所述样本第l‑1层的总光场分布, 为U (ρ,
l+1
(l)Δz)经过所述样本第l层后与样本作用所产生的散射光场,U (ρ,(l+1)Δz)为所述理
想正弦照明模式分布从所述样本的外表面传播到所述样本第l层的总光场分布,l为所述理
想正弦照明模式分布从所述样本的SIM模态的原始荧光图像对应的成像焦平面的层数,l=
1……,L,z为SIM模态的光轴的坐标分布,Δz为所述样本每一层的厚度,Ft{·}表示傅里叶
‑1
变换,Ft {·}表示反傅里叶变换,Pprop(ξ,Δz)为由式(8)表示的角谱传播函数,G(ξ,Δz)
l
为由式(9)表示的格林函数,f (ρ)为所述理想正弦照明模式分布从所述样本的SIM模态的
1
原始荧光图像对应的成像焦平面传播到所述样本第l层的散射势,当l=1时,U (ρ,Δz)取
所述步骤2b生成的理想正弦照明模式。
所述原始荧光图像,h为第二光学传递函数H (ξ)反傅里叶变换后得到的点扩散函数,gi为:
gi(ρ)=I′i(ρ)·o(ρ),I′i(ρ)和I′i为Di对应的所述散射畸变后的照明模式,Hess(o)表示海
森矩阵,||·||1表示矩阵的L1范数,o和o(ρ)为待重建的SIM超分辨图像,λ为数据保真项系
数,其数值范围一般在200(低信噪比)到300(高信噪比)之间,β为稀疏项约束系数,其数值
一般为λ的1/20~1/5的倍数关系,α为海森连续性约束系数,其数值设置原则是:如果是间
隔时间采集数据,则取较小值,如0.1或0.01,如果是连续时间采集数据,则取较大值,如5、
10、20,且如果处理后的图像过于平滑,则减小α的取值。
2 2
H(ξ),H(ξ)=Ft{h(ρ)},Ft为傅里叶变换。
方法的主要思路是将图2示出的探测路径校正方法中获得的第一光学传递函数与图3示出
的照明路径校正方法获得的畸变照明模式两者同时代入到式(10)表示的优化模型中。
图像的高频和低频的分量;然后,计算所得的高频和低频分量的相关性,并利用频谱的相关
性估计各照明方向的照明频率、照明相位及照明调制深度系数等照明参数,其中,照明模式
的相位差矩阵根据显微镜硬件设计时所用的照明模式获得。
L2
面传播到所述原始荧光图像的成像焦平面的第二光场分布U (ρ),ρ=(x,y)为与垂直的二
维空间坐标。
使用其它现有方法获得。
本作用而直接传播到所述样本第l层的光场分布,U (ρ,lΔz)为所述理想正弦照明模式分
l
布从所述样本的外表面传播到所述样本第l‑1层的总光场分布, 为U (ρ,
l+1
(l)Δz)经过所述样本第l层后与样本作用所产生的散射光场,U (ρ,(l+1)Δz)为所述理
想正弦照明模式分布从所述样本的外表面传播到所述样本第l层的总光场分布,l为所述理
想正弦照明模式分布从所述样本的SIM模态的原始荧光图像对应的成像焦平面的层数,l=
1……,L,z为SIM模态的光轴的坐标分布,Δz为所述样本每一层的厚度,Ft{·}表示傅里叶
‑1
变换,Ft {·}表示反傅里叶变换,Pprop(ξ,Δz)为由式(8)表示的角谱传播函数,G(ξ,Δz)
l
为由式(9)表示的格林函数,f (ρ)为所述理想正弦照明模式分布从所述样本的SIM模态的
1
原始荧光图像对应的成像焦平面传播到所述样本第l层的散射势,当l=1时,U (ρ,Δz)取
所述步骤2b生成的理想正弦照明模式。
所述原始荧光图像,h为第二光学传递函数H (ξ)反傅里叶变换后得到的点扩散函数,gi为:
gi(ρ)=I′i(ρ)·o(ρ),I′i(ρ)和I′i为Di对应的所述散射畸变后的照明模式,Hess(o)表示海
森矩阵,||·||1表示矩阵的L1范数,o和o(ρ)为待重建的SIM超分辨图像,λ为数据保真项系
数,其数值范围一般在200(低信噪比)到300(高信噪比)之间,β为稀疏项约束系数,其数值
一般为λ的1/20~1/5的倍数关系,α为海森连续性约束系数,其数值设置原则是:如果是间
隔时间采集数据,则取较小值,如0.1或0.01,如果是连续时间采集数据,则取较大值,如5、
10、20,且如果处理后的图像过于平滑,则减小α的取值。
原始荧光子图像的中心及该中心的相邻区域的选定点出设置点光源。
的成像焦平面传播到样本表面的第一光场分布U (ρ),ρ=(x,y)为与z垂直的二维空间坐
标,L为样本从所述原始荧光子图像对应的成像焦平面到所述样本外表面的总层数。
递函数 并由 更新第二光学传递函数H (ξ), ξ为
频域中的二维坐标,★表示自相关计算。
pattern)畸变和探测路径各处的光学传递函数,再将畸变校正后的照明模式和光学传递函
数信息引入到重建模型中,设计更准确的图像重建方法,本发明可以自适应校正样本中各
处的局部像差,并且不以牺牲成像速度为代价的方法来实现厚样本深层位置的较少伪影甚
至无伪影的超分辨成像。
其中部分技术特征进行等同替换;这些修改或者替换,并不使相应技术方案的本质脱离本
发明各实施例技术方案的精神和范围。