一种基于非均等采样图像序列的定量数字相衬成像方法

摘要

一种基于非均等采样图像序列的定量数字相衬成像方法，它是在普通数字光学显微镜平台和普通个人用计算机上实现的。该方法有四大步骤：步骤一：光强度数据采集；步骤二：估计轴向强度导数；步骤三：用快速傅里叶变换方法求解光强传播方程；步骤四：定量相位成像。本发明不需要增加复杂的光学部件，基于多个非均等采样的错焦强度和相位恢复数值算法实现相位成像。本方法考虑到了错焦距离的误差对相位恢复精度的影响，便于实际应用。它可以用于提高透明或半透明相位样本成像的衬度，快速实现定量显微相衬成像和定量相位分析。本发明还适用于其他模态的显微成像系统，它在显微光学成像技术领域内具有广泛的实用价值和应用前景。

权利要求

1.一种基于非均等采样图像序列的定量数字相衬成像方法，它是在数字光学显微镜平台和计算机上实现的，其特征在于：该方法具体步骤如下：步骤一：光强度数据采集；

在光学明场透射光学显微镜平台上，对厚度小于显微镜物镜景深的样本成像，采集焦平面和正负错焦平面上的多幅强度图像；焦平面的图像通过自动聚焦算法实现，错焦图像的记录通过载物台的移动实现，同时需要记录所有强度图像的错焦距离；这里定义I0表示焦平面的图像， ，m=1,2,..表示错焦平面上的图像，zm表示错焦距离；这里，图像序列采用非均等采样方法获取；

步骤二：估计轴向光强度导数；

在显微镜中，假设样本处于空间坐标系(r,z)中，其中r=(x,y)是平面x-y上的矢量，垂直于光轴Z；那么轴向光强度导数的表达式写成 ，而在焦平面上光强度导数则表示成 ；为了提高相位恢复精度，这里采用一种用多个非均等间隔采样的光强度估计高阶强度导数方法，具体叙述如下：

首先，将焦平面zm上的光强度Iz(r)在z=0焦平面处做Taylor级数展开：其中n！表示n(n=2,3,...,M)的阶乘， 表示强度在焦平面的n阶轴向导数；对每幅错焦图像 ，m=1,2,..，上述方程都成立；于是得到：假设A表示如方程（2）所示的线性方程组的系数矩阵，B表示其逆矩阵；因为A是典型的范德蒙德矩阵，因此其逆矩阵B的表达式为：根据线性方程的求解原理，在方程（2）等式两边分别乘以矩阵B，得到方程（2）的解为：根据方程（4），得到方程（1）中的高阶轴向强度导数 ，n=2,3,...,M；从而得到轴向强度导数 的估计式为当M=2,3,4时cm，m=1,2,...,M的表达式如下列表所示：步骤三：利用快速傅里叶变换方法即FFT求解光强传播方程；

在傍轴近似条件下，建立光强度传播方程并用FFT算法求解；先定义一些符号：λ表示波长；k=2π/λ是波数；φz(r)为光的相位； 是平面x-y上梯度算子； 是平面-1x-y上的逆拉普拉斯算子； ；F[·]表示傅里叶变换；F [·]表示逆傅里叶变换；

q=(qx,qy)表示与空间坐标r=(x,y)相对应的空间频率；N表示图像中x或者y方向的像元个数，Δx=Δy表示图像中每个像元的物理尺寸；

在傍轴近似情况下，光强度传播方程表示为：

设Ρ是平面x-y中具有光滑边界 的一个区域，假设在区域Ρ内，Iz(r)＞0，同时假设φz(r)是连续的，那么在给定Iz(r)和 时，TIE具有唯一解，即获取光强度沿光轴的变化率，通过求解TIE得到唯一的φz(r)；

TIE的形式解写成如下形式：

采用FFT方法求解此方程，由导数的傅里叶变换性质，即：得到：

从而求得相位φz(r)的表达式为：

(1) (2)

φz=φz +φz

步骤四：定量相位成像；基于上述采集的多幅非均等间隔错焦图像，设计了一种计算强度在光轴方向的变化率的方法，利用FFT算法求解光强度传播方程（7），实现定量相位成像；同时，采用均方根误差即RMSE衡量恢复相位的精度：其中，X×Y为采集图像的像素个数，φ0′(x,y)和φ0(x,y)分别表示焦平面上估计的相位分布和真实相位分布。

说明书

一种基于非均等采样图像序列的定量数字相衬成像方法

（一）技术领域

[0001] 本发明涉及一种数字相位成像方法，尤其涉及一种基于非均等采样图像序列的定量数字相衬成像方法，具体地说，就是利用数字光学显微镜平台上非均等间距采样的多幅图像，实现数字相位成像。本发明突破了现有技术“等间距采样”的限制条件，不需要增加复杂的光学部件，基于数值算法实现相位成像。根据相位信息可以提高透明或半透明样本成像的衬度，属于显微光学技术领域。（二）背景技术

[0002] 在生物医学和材料科学研究中，很多待观察样本是相位样本。光通过这类样本以后，光的强度不发生显著变化，而光的相位会发生偏移。普通透射显微镜无法清晰地观察到样本的结构。相衬显微镜能够把光通过相位样本后光的相位变化转换为强度信息，从而方便观察相位样本的结构信息，因此在生物学、医学、材料学和晶体学等领域得到广泛应用。但是，相衬显微镜需要昂贵、复杂的光学部件，且不同倍数的物镜需要不同相衬器件，调整困难；另外，利用相衬显微镜虽可以观察相位样本，却不能直接从观测样本图像定量地分析出相位信息。一种更好的方法就是把光通过相位样本后相位的变化转换为强度信息来观察相位样本的结构信息，这就是光学显微镜应用中的相位恢复问题。

[0003] 定量相位恢复是数字显微相衬成像的关键技术。根据获取方式，显微相位恢复方法可以分为直接法和间接法。直接法是经典的、传统的相位恢复方法，如M.弗朗松著（张炳勋译）“相衬显微镜与干涉显微镜”文中所介绍的泽尔尼克相衬法。直接法是在显微镜上安装特定的光学部件，把相位样本结构所引起的相差信息转化为光强度信息，直接显示出来。该方法的缺点是这些光学部件昂贵、复杂，且不同倍数的物镜需要不同相衬器件，调整困难；另外，直接法虽可以提供好的相位样本的观察图像，但是不能直接地从观测样本图像定量地分析出相位信息。随着信息光学技术的发展，由光强度来恢复光相位的间接方法受到研究人员的重视，与直接相位恢复方法相比较，该类方法不需要复杂的光学部件，而且也不需要强的光源相干性。在定量显微相位恢复及相衬成像领域，一般采用基于光强度传播方程(Transport of Intensity Equation,简称TIE)的方法来恢复光的相位信息，如C.J.,贝拉尔、C.L.柯尔、B.E.阿尔曼等所著的“定量相位幅值显微镜IV：厚样本成像.”文中通过建立并求解光强度传送方程恢复相位信息。TIE通过一个椭圆型偏微分方程建立了轴向强度导数和光穿过样本产生的相位变化之间的关系。其中，轴向导数估计的精度是决定恢复相位的精度的关键因素。现在常用的数值方法如T.E.古热逸夫,K.A.纽根特所著的“利用光强度传播方程实现快速定量相位成像”文中所描述的离散的傅里叶分析方法或薛斌党，郑世玲，姜志国所著的“完全多重网格法求解光强度传播方程的相位恢复方法”文中所描述的多重网格方法，在求解光强度传输方程时，均采用有限差分的方法估计强度导数，及利用测量焦平面图像的上下两个错焦平面的强度图像的差值除以他们之间的距离得到强度导数的估计值。这种方法的精度取决于错焦图像的错焦距离和图像的噪声水平。一方面，从理论分析的观点来看，选择的错焦距离越小，用这种方法估计的导数精度越高。
另一方面，由于图像中不可避免的存在测量噪声，而错焦距离越小，强度导数精度受噪声的影响越大，为了抑制噪声，需要选择比较大的错焦距离。因此错焦距离的选择需要权衡两方面的因素。M.索托，E.阿克斯塔和S.罗伊斯所著的“曲率传感精度分析：光强平面位置优化”文中给出了一种计算最优错焦距离的方法，但是这种方法需要已知相位的部分信息，如相位二阶导数的平均值等。D.帕盖因,A.巴尔特,P.J.麦克马洪和K.A.纽根特所著的“定量显微相位-振幅成像技术III.噪声效应”文中提出用融合的方法即融合两幅由比较大错焦距离恢复的相位图像和比较小的错焦图像恢复的相位图像，实现抑制噪声并提高相位恢复精度。但是，该方法的精度受错焦距离和融合决策的影响较大。为了避免上述问题，可以测量多个错焦面上的图像来估计强度导数。M.索托和E.阿克斯塔所著的“利用多平面上光强改进相位成像精度”文中提出用多个等间距采样错焦图像抑制噪声的影响；L.沃勒,L田和G.巴贝斯塔斯所著的“高阶强度导数的光强传播相位-振幅成像”文中提出用多个等间距的错焦图像估计高阶导数，抑制噪声并提高相位恢复精度。但是，在上述工作中，用理想的等间距采用错焦图像并没有考虑到测量的错焦距离的误差对最终导数估计的影响，并且“等间距采样”的条件严格限制了其实用性。

[0004] 目前，国内在显微成像领域，薛斌党和郑世玲所发明的专利“一种定量数字显微相衬成像方法”（专利号为ZL200910086592.2）中利用焦平面上显微样本的图像和上下错焦平面上采集的显微样本图像，实现定量相位恢复和显微相衬成像。但是该专利技术只能适用于“等间距采用”的两幅错焦图像。在国外，IATIA公司（www.iatia.org.au）2002年推出了一个具有一定的定量相差分析功能的显微成像系统，并申请了专利,如K．A.纽根特,D.帕盖因,A.巴尔特.“辐射波场的相位测定”。但是，该系统仍然需要一个结构复杂、价格昂贵的相差管来获取显微图像序列，而且也只能适用于“等间距采用”的两幅错焦图像；另外，该系统求解光强度传送方程时需要做严格的先验假设条件，定量相位恢复算法对噪声鲁棒性比较差。（三）发明内容

[0005] 1、目的：本发明的目的是提供一种基于非均等采样图像序列的定量数字相衬成像方法。它克服了现有技术的缺点，对错焦距离误差的鲁棒性高，且不需要特殊光学部件的定量显微相衬成像技术，在光学明场透射光学显微镜平台上，通过本发明的轴向导数估计方法和相位恢复解法，快速实现定量相位成像。

[0006] 2、技术方案：

[0007] 本发明一种基于非均等采样图像序列的定量数字相衬成像方法，该方法的具体步骤如下：

[0008] 步骤一：光强度数据采集；

[0009] 在光学明场透射光学显微镜平台上，对厚度小于显微镜物镜景深的样本成像，采集焦平面和正负错焦平面上的多幅强度图像。焦平面的图像可以通过自动聚焦算法实现，错焦图像的记录通过载物台的移动实现，同时需要记录所有强度图像的错焦距离。这里定义I0表示焦平面的图像， ，m=1,2,..表示错焦平面上的图像，zm表示错焦距离。本发明方法中，图像序列可以采用非均等采样方法获取。

[0010] 步骤二：估计轴向光强度导数；

[0011] 在显微镜中，假设样本处于空间坐标系(r,z)中，其中r=(x,y)是平面x-y上的矢量，垂直于光轴Z。那么轴向光强度导数的表达式可以写成 ，而在焦平面上光强度导数则可以表示成 。为了提高相位恢复精度，本发明设计了一种用多个非均等间隔采样的光强度估计高阶强度导数方法。具体叙述如下：

[0012] 首先，将焦平面zm上的光强度Iz(r)在z=0即焦平面处做Taylor级数展开：

[0013]

[0014] 其中n!表示n(n=2,3,...,M)的阶乘. 表示强度在焦平面的n阶轴向导数。对每幅错焦图像 ，m=1,2,..，上述方程都成立。于是可以得到：

[0015]

[0016] 假设A表示如方程（2）所示的线性方程组的系数矩阵，B表示其逆矩阵。因为A是典型的范德蒙德矩阵，因此其逆矩阵B的表达式为：

[0017]

[0018] 根据线性方程的求解原理，在方程（2）等式两边分别乘以矩阵B，可以得到方程（2）的解为：

[0019]

[0020] 根据方程（4），可以得到方程（1）中的高阶轴向强度导数 ，n=2,3,...,M。从而可以得到轴向强度导数 的估计式为

[0021]

[0022]

[0023] 当M=2,3,4时cm，m=1,2,...,M的表达式如后述表1所示。

[0024] 步骤三：利用快速傅里叶变换方法（FFT）求解光强传播方程；

[0025] 在傍轴近似条件下，建立光强度传播方程并用FFT算法求解。先定义一些符号：λ表示波长；k=2π/λ是波数；φz(r)为光的相位； 是平面x-y上梯度算子； 是-1平面x-y上的逆拉普拉斯算子； ；F[i]表示傅里叶变换；F [i]表示逆傅里叶变换。q=(qx,qy)表示与空间坐标r=(x,y)相对应的空间频率。N表示图像中x或者y方向的像元个数，Δx=Δy表示图像中每个像元的物理尺寸。

[0026] 在傍轴近似情况下，光强度传播方程可以表示为：

[0027]

[0028] 设Ρ是平面x-y中具有光滑边界 的一个区域（对于显微镜成像系统，Ρ是视场大小， 是视场边界)，假设在区域P内，／z(r)＞0，同时假设φz(r)是连续的，那么在给定／z(r)和 时，TIE具有唯一解，即获取光强度沿光轴的变化率，通过求解TIE可以得到唯一的φz(r)。

[0029] TIE的形式解可以写成如下形式：

[0030]

[0031] 本发明采用FFT方法求解此方程。由导数的傅里叶变换性质，即：

[0032]

[0033]

[0034] 可以得到：

[0035]

[0036] 从而求得相位φz(r)的表达式为：

[0037] φz=φz(1)+φz(2)

[0038]

[0039] 步骤四：定量相位成像；

[0040] 本发明基于上述采集的多幅非均等间隔错焦图像，设计了一种计算强度在光轴方向的变化率的方法，利用FFT算法求解光强度传播方程(7)，实现定量相位成像。同时，采用均方根误差(RMSE)衡量恢复相位的精度：

[0041]

[0042] 其中X×Y为采集图像的像素个数，φ0′(x，y)和φ0(x，y)分别表示焦平面上估计的相位分布和真实相位分布。

[0043] 3、优点及效果：本发明的定量显微相位成像技术与国外现有技术相比的优点在于：①突破了现有技术“等间距采样”的限制，可以根据多幅非均等间距的错焦平面图像高精度恢复相位；②不需要特殊的光学部件如相位环、相位板或相差管等，可直接应用于明场光学显微镜平台的定量相衬成像；③可以处理复合光条件下的相位成像；④适用于部分相干光源成像系统。（四）附图说明

[0044] 图1本发明中实验用成像明场光学显微镜及定量相位恢复计算机系统示意图；

[0045] 图2本发明中基于多个非均等采样强度估计轴向强度导数及用FFT算法求解TIE实现定量相位恢复流程图；

[0046] 图3本发明中基于测试用模拟实验数据，用不同个数的错焦图像恢复相位精度曲线。（实验1表示应用的错焦图像的错焦距离分别是4.02,8.03,12.00,16.00,20.03,24.07微米，实验2表示应用的错焦图像的错焦距离分别是4,7,9,13,15,16微米）[0047] 图中符号说明如下：

[0048] 1 普通明场光学透射数码显微镜；

[0049] 2 普通计算机主机；

[0050] 3 普通计算机显示器。（五）具体实施方式

[0051] 本发明具体实施所需设备条件是：①一台明场光学透射数码显微镜系统；②数字相位恢复用计算机为PⅣ3.4Ghz2.5G RAM微机，如图1所示；③数码显微镜的物理参数为：物镜40X，摄像头型号M1500，摄像头CCD芯片像素尺寸4.65微米，三目摄像接头0.65X，图像分辨率为696X520，比例尺为0.35微米/像素。

[0052] 本发明具体实施所需环境条件是：明场光学透射数码显微镜成像环境。

[0053] 本发明在光学明场透射光学显微镜平台上，不需要特殊光学部件，用户只需要采集样本的多幅亮背景图像，而且不要求等间距采样，通过本发明即可实现快速定量相位成像。

[0054] 本发明一种基于非均等采样图像序列的定量数字相衬成像方法，该方法中定量相位恢复的流程如图2所示。

[0055] 该方法具体实施步骤如下：

[0056] 步骤一：光强度数据采集；

[0057] 在光学明场透射光学显微镜平台上，对厚度小于显微镜物镜景深的样本成像，采集焦平面和正负错焦平面上的多幅强度图像。焦平面的图像可以通过自动聚焦算法实现，错焦图像的记录通过载物台的移动实现，同时需要记录所有强度图像的错焦距离。这里定义I0表示焦平面的图像， ，m=1,2,..表示错焦平面上的图像，zm表示错焦距离。

[0058] 步骤二：估计轴向强度导数；

[0059] 在显微镜中，假设样本处于空间坐标系(r,z)中，其中r=(x,y)是平面x-y上的矢量，垂直于光轴Z。那么轴向强度导数的表达式可以写成 ，而在焦平面上强度导数则可以表示成 。为了提高相位恢复精度，本发明设计了一种用多个非均等间隔采样的光强度估计高阶强度导数的方法。具体叙述如下。

[0060] 首先，将焦平面zm上的光强度Iz(r)在z=0即焦平面处做Taylor级数展开：

[0061]

[0062] 其中n!表示n(n=2,3,...,M)的阶乘. 表示强度在焦平面的n阶轴向导数。对每幅错焦图像 ，m=1,2,..，上述方程都成立。于是可以得到：

[0063]

[0064] 假设A表示如方程（2）所示的线性方程组的系数矩阵，B表示其逆矩阵。因为A是典型的范德蒙德矩阵，因此其逆矩阵B的表达式为：

[0065]

[0066] 根据线性方程的求解原理，在方程（2）等式两边分别乘以矩阵B，可以得到方程（2）的解为：

[0067]

[0068] 根据方程(4)，可以估计得到方程(1)中的高阶轴向强度导数 ，n=2，3，．．．，M。从而可以得到轴向强度导数 的估计式，可以写成

[0069]

[0070]

[0071] 当M=2，3，4时cm，m=l，2，．．．，M的表达式如后述表1所示。

[0072] 步骤三：用快速傅里叶变换方法即FFT求解光强传播方程；

[0073] 在傍轴近似条件下，建立光强度传播方程并用FFT算法求解。先定义一些符号：λ表示波长；k=2π／λ是波数；φz(r)为光的相位； 是平面x-y上梯度算子；-1
是平面x-y上的逆拉普拉斯算子； ；F[·]表示傅里叶变换；F [·]表示逆傅里叶变换。q=(qx，qy)表示与空间坐标r=(x,y)相对应的空间频率。N表示图像中x或者y方向的像元个数，Δx=Δy表示图像中每个像元的物理尺寸。

[0074] 在傍轴近似情况下，光强度传播方程可以表示为：

[0075]

[0076] 设P是平面x-y中具有光滑边界的一个区域(对于显微镜成像系统，P是视场大小， 是视场边界)，假设在区域P内，Iz(r)＞0，同时假设φz(r)是连续的，那么在给定Iz(r)和 时，TIE具有唯一解，即获取光强度沿光轴的变化率，通过求解TIE可以得到唯一的φz(r)。

[0077] TIE的形式解可以写成如下形式：

[0078]

[0079] 本发明采用FFT方法求解此方程。由导数的傅里叶变换性质，即：

[0080]

[0081]

[0082] 可以得到：

[0083]

[0084] 从而求得相位φz(r)的表达式为：

[0085] φz=φz(1)+φz(2)

[0086]

[0087] 步骤四：定量相位成像；

[0088] 本发明基于上述采集的多幅非均等间隔错焦图像，设计了一种计算强度在光轴方向的变化率的方法，利用FFT算法求解光强度传播方程（7），实现定量相位成像。同时，采用均方根误差(RMSE)衡量恢复相位的精度：

[0089]

[0090] 其中X×Y为采集图像的像素个数，φ0′(x,y)和φ0(x,y)分别表示焦平面上估计的相位分布和真实相位分布。

[0091] 基于仿真实验数据进行定量相位恢复能够准确测试本发明的相位恢复效率及准确度。本发明采用仿真实验数据验证本发明的设计方法。在PⅣ3.4Ghz2.5G RAM微机上做模拟相位恢复实验。分别用两组仿真非均等间隔错焦平面上强度定量测试相位恢复的准确度。这两组仿真实验数据的错焦距离分别是：第一组：0,4.02,8.03,12.00,16.00,20.03,24.07（单位：微米）；第二组：0,4,7,9,13,15,16（单位：微米）。称用第一组仿真数据进行相位恢复时为实验1，称用第二组仿真数据进行相位恢复时为实验2。由方程（13）分别计算了两种情况下应用不同个数的错焦平面进行相位恢复的精度，并绘制两种情况下RMSE的曲线，如图3所示。由图中可见，在两种情况下，相位恢复的误差都是随着强度个数的增加而减小的，说明用多个强度可以提高相位恢复的精度。下列表1为本发明中用多个错焦图像估计轴向强度导数的系数；

[0092] 表1

[0093]