快速三维折射率显微成像的系统和方法

摘要

本发明公开了一种快速三维折射率显微成像的系统和方法，该系统包括：光照产生模块，用于产生带有光强编码的显微光照，所述光强编码为提供的具有纹理的参考图像；显微样本，位于所述光源产生模块后端；显微成像模块，位于显微样本后端，用于从多个视角对出射光线进行成像采集；计算控制模块，用于提供所述参考图像、控制采集流程，并对采集的图像进行处理，还原重构出显微样本的三维折射率信息。本发明具有如下优点：通过拍摄各个视角下不含有样本的未扭曲参考图像以及含有样本的扭曲动态视频，即可精确、高分辨率且较快速地对显微样本的三维折射率信息进行采集。

权利要求

1.一种快速三维折射率显微成像的系统，其特征在于，包括：

光照产生模块，用于产生带有光强编码的显微光照，所述光强编码为提供的具有纹理的参考图像；

显微样本，位于所述光照产生模块后端；

显微成像模块，位于显微样本后端，用于从多个视角对出射光线进行成像采集，所述显微成像模块的对焦位置在所述光照产生模块的对焦位置上，所述光照产生模块的对焦位置在所述显微样本附近几十至几百微米处，所述显微成像模块的数值孔径小于所述光照产生模块的数值孔径；

计算控制模块，用于提供所述参考图像、控制采集流程，并对采集的图像进行处理，还原重构出显微样本的三维折射率信息。

2.根据权利要求1所述的快速三维折射率显微成像的系统，其特征在于，所述光照产生模块包括：光源模块，用于产生显微成像中所需的视角光照；

参考图案，所述参考图案由所述计算控制模块控制，用于提供任意所需的纹理的静态图案，放置于所述光源模块产生的像面上，对光照进行强度调制。

3.根据权利要求1所述的快速三维折射率显微成像的系统，其特征在于，所述显微样本对带有参考图案的光照进行相位编码，且各个视角下编码互不相同，以具有所需采集的样本的三维折射率场信息。

4.根据权利要求1所述的快速三维折射率显微成像的系统，其特征在于，所述显微成像模块包括依次设置的物镜、镜筒透镜、微透镜阵列和相机传感器。

5.一种快速三维折射率显微成像的方法，其特征在于，包括权利要求1-4任一项所述的快速三维折射率显微成像的系统，所述方法包括以下步骤：将系统视野调整至无样本区域，使用所述快速三维折射率显微成像系统拍摄，获得各视角下无扭曲的参考图像；

保持所述快速三维折射率显微成像系统的原有结构、参数以及光照不变，将所述系统视野调整至动态观察目标样本的位置，拍摄获得各视角下带有扭曲的样本动态视频；

根据预设算法计算出各视角下视频帧与所述参考图像每个像素之间的匹配关系，并根据建立的光路模型重构还原出动态的三维折射率场视频。

6.根据权利要求5所述的快速三维折射率显微成像的方法，其特征在于，所述根据预设算法计算出各视角下视频帧与参考图像每个像素之间的匹配关系，并根据建立的光路模型以及层析成像原理，重构还原出动态的三维折射率场视频进一步包括：根据传感器拍摄的视频图像序列和事先拍摄获得的静态参考图像，产生对应的各个视角下的动态扭曲的视频帧图像以及静态参考图像；

使用光流算法计算获得各个视角下每帧视频图像与参考图像之间各个视角下每个像素点的扭曲偏移角；

根据各个视角下每个像素点的偏移角，使用层析成像算法，重构还原出动态的样本三维折射率场信息。

说明书

快速三维折射率显微成像的系统和方法

技术领域

[0001] 本发明涉及显微成像技术、计算机视觉和计算摄像学技术领域，特别涉及一种快速三维折射率显微成像的系统和方法。

背景技术

[0002] 样本物体的三维折射率分布信息是样本固有的一个重要光学属性，对于透明生物样本而言，它可以提供样本物体的密度、结构等信息，从而为无标记的三维细胞成像提供了
可能。

[0003] 在现有的生命科学或者医学研究中，往往使用荧光成像来进行特异性的标记，从而进行相关研究，但这一标记的过程，仍然会对样本本身的性质产生一定的影响，从而影响
最终的实验结果。而三维折射率成像可以非侵入式地观测到样本的三维折射率场信息，从
而提供了样本不同区域的性质，因此它也是近年来的一个研究热点。

[0004] 近年来，各种三维折射率显微成像被相继提出，大部分工作的思路都是在不同方向上对样本进行相干光照，测量出样本在不同方向上的相位信息，从而使用层析成像的方
法计算出样本的三维折射率场信息。但这些方法既对设备要求较高，都需要较为复杂的装
置，而且每次成像过程时，都需要对样本拍摄多次，很难做到单次拍照即可恢复样本的三维
折射率信息，对其快速动态拍摄提出了挑战。

[0005] 因此，如何能够快速动态且高分辨率地对三维折射率显微信息进行采集，仍然是一个亟待解决并有重大意义的难题。

发明内容

[0006] 本发明旨在至少解决上述技术问题之一。

[0007] 为此，本发明的一个目的在于提出一种快速三维折射率显微成像的系统，该系统能够精确高分辨率且快速地对显微样本的三维折射率场进行动态采集，并且简单易行。

[0008] 为了实现上述目的，本发明的实施例公开了一种快速三维折射率显微成像的系统，包括：光照产生模块，用于产生带有光强编码的显微光照，所述光强编码为提供的具有
纹理的参考图像；显微样本，位于所述光源产生模块后端；显微成像模块，位于显微样本后
端，用于从多个视角对出射光线进行成像采集；计算控制模块，用于提供所述参考图像、控
制采集流程，并对采集的图像进行处理，还原重构出显微样本的三维折射率信息。

[0009] 根据本发明实施例的快速三维折射率显微成像的系统，通过拍摄各个视角下不含有样本的未扭曲参考图像以及含有样本的扭曲动态视频，即可精确、高分辨率且较快速地
对显微样本的三维折射率信息进行采集。

[0010] 另外，根据本发明上述实施例的快速三维折射率显微成像的系统，还可以具有如下附加的技术特征：

[0011] 进一步地，所述光照产生模块包括：光源模块，用于产生显微成像中所需的视角光照；参考图案，所述参考图案由所述计算控制模块控制，用于提供任意所需的纹理丰富的静
态图案，放置于所述光源模块产生的像面上，对光照进行强度调制。

[0012] 进一步地，所述光照产生模块的对焦位置在显微样本附近几十至几百微米处。

[0013] 进一步地，所述显微样本对带有参考图案的光照进行相位编码，且各个视角下编码互不相同，以具有所需采集的样本的三维折射率场信息。

[0014] 进一步地，所述显微成像模块包括依次设置的物镜、镜筒透镜、微透镜阵列和相机传感器。

[0015] 进一步地，所述显微成像模块的对焦位置在所述光照产生模块的对焦位置上。

[0016] 进一步地，所述显微成像模块的数值孔径小于所述光照产生模块的数值孔径。

[0017] 本发明的另一个目的在于提出一种快速三维折射率显微成像的方法，该方法能够精确高分辨率且快速地对显微样本的三维折射率场进行动态采集，并且简单易行。

[0018] 为了实现上述目的，本发明的实施例公开了一种快速三维折射率显微成像的方法，包括上述实施例的快速三维折射率显微成像的系统，该方法包括以下步骤：将系统视野
调整至无样本区域，使用所述快速三维折射率显微成像系统拍摄，获得各视角下无扭曲的
参考图像；保持所述快速三维折射率显微成像系统的原有结构、参数以及光照不变，将所述
系统视野调整至动态观察目标样本的位置，拍摄获得各视角下带有扭曲的样本动态视频；
根据预设算法计算出各视角下视频帧与所述参考图像每个像素之间的匹配关系，并根据建
立的光路模型重构还原出动态的三维折射率场视频。

[0019] 根据本发明实施例的快速三维折射率显微成像的方法，使用上述快速三维折射率显微成像系统，拍摄各个视角下不含有样本的未扭曲参考图像以及含有样本的扭曲动态视
频，从而从中恢复出显微样本的高分辨率动态三维折射率场视频。

[0020] 另外，根据本发明上述实施例的快速三维折射率显微成像的方法，还可以具有如下附加的技术特征：

[0021] 进一步地，所述根据预设算法计算出各视角下视频帧与参考图像每个像素之间的匹配关系，并根据建立的光路模型以及层析成像原理，重构还原出动态的三维折射率场视
频进一步包括：根据传感器拍摄的视频图像序列和事先拍摄获得的静态参考图像，产生对
应的各个视角下的动态扭曲的视频帧图像以及静态参考图像；使用光流算法计算获得各个
视角下每帧视频图像与参考图像之间各个视角下每个像素点的扭曲偏移角；根据各个视角
下每个像素点的偏移角，使用层析成像算法，重构还原出动态的样本三维折射率场信息。

[0022] 本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

[0023] 本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

[0024] 图1是本发明实施例的快速三维折射率显微成像的系统的结构框图；

[0025] 图2是本发明一个实施例的快速三维折射率显微成像的系统的结构示意图；

[0026] 图3是本发明实施例的快速三维折射率显微成像的方法的流程图。

具体实施方式

[0027] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附
图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

[0028] 在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对
本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

[0029] 在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本
发明中的具体含义。

[0030] 参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施
例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的
实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

[0031] 以下结合附图描述本发明。

[0032] 图1是本发明实施例的快速三维折射率显微成像的系统的结构框图。如图1所示，根据本发明实施的快速三维折射率显微成像的系统，包括光照产生模块110、显微样本120、
显微成像模块130和计算控制模块140。其中，光照产生模块110用于产生带有光强编码的显
微光照，其光强编码为提供的纹理丰富的参考图像112；显微样本120位于光源产生模块后
端，用于提供所需采集的显微样本；显微成像模块130位于显微样本后端，用于从多个视角
对出射光线进行成像采集；计算控制模块140用于提供参考图像、控制采集流程，并对采集
的图像进行处理，还原重构出显微样本的三维折射率信息。

[0033] 在本发明的一个实施例中，光照产生模块110包括：光源模块111和参考图案112。其中，光源模块111可以产生显微成像中所需的大视角光照；参考图案112由计算控制模块
控制，提供任意所需的纹理丰富的静态图案，放置于光源模块产生的大视角光照的像面上，
对光照进行强度调制。

[0034] 具体地，在本发明的一个实施例中，光源模块111包括：氙灯、毛玻璃、4f系统、孔径光阑、视场光阑等，可以通过控制孔径光阑大小控制其光照的视角大小，使其尽可能的满足
大视角要求。

[0035] 具体地，在本发明的一个实施例中，参考图案112为打印的带有丰富纹理信息的胶卷。

[0036] 具体地，在本发明的另一个实施例中，参考图案112为由计算机同步控制的LCOS或DMD。

[0037] 在本发明的一个实施例中，光照产生模块110的对焦位置在显微样本附近几十至几百微米处，具体大小视具体样本大小及相机参数设置。

[0038] 在本发明的一个实施例中，显微样本120对带有参考图案120的光照进行相位编码，且各个视角下编码互不相同，使其带有所需采集的样本的三维折射率场信息。

[0039] 具体地，如图2所示，光照端的光线聚焦于显微样本120附近，该聚焦面即为参考图案112的像面，然后光线再经过采集样本122进行相位调制，从而对光线进行了偏移扭曲。为
了提高算法恢复的精度，参考图案112为特殊设计的带有丰富纹理的图案。

[0040] 在本发明的一个实施例中，显微成像模块130包括依次设置的物镜、镜筒透镜、微透镜阵列和相机传感器。其中，物镜、镜筒透镜用于将参考图案112以及显微样本120放大成
像于传感器上；微透镜阵列放置于镜筒透镜的像面上，用于对各个视角下的出射光进行分
离，从而对各个视角下的图像进行采集；相机用于对输出的光线进行动态成像。

[0041] 在本发明的一个实施例中，显微成像模块130的对焦位置在光照产生模块的对焦位置上，且与显微样本120不共面，从而可以对扭曲角进行采集。

[0042] 在本发明的一个实施例中，显微成像模块130的数值孔径(NA)很小，且远小于光照产生模块110的数值孔径(NA)，即可以近似认为显微样本上的出射采集成像光线束为多组
不同视角的平行光束。

[0043] 进一步地，在本发明的实施例中，计算控制模块130包括计算机、参考图案控制装置、样本移动控制装置等。其中，计算机可以对采集获得的视频图像信息进行处理，重构获
得动态的相位信息；参考图案控制装置可以控制提供各种纹理丰富的静态参考图案112；样
本移动控制装置可以控制参考图案112的像面以及显微样本120在各个方向进行移动。

[0044] 本发明还公开了一种快速三维折射率显微成像的方法。图3是本发明实施例的快速三维折射率显微成像的方法的流程图。如图3所示，方法包括以下步骤：

[0045] S310：将系统视野调整至无样本区域，使用快速三维折射率显微成像系统拍摄，获得各视角下无扭曲的参考图像。

[0046] 具体地，如图2所示，图2中虚线光线为视野内无样本时，一像素点对应的光路图，由于光路中不存在进行相位调制的样本，因此拍摄获得的图像即为被无扭曲参考图像112
在各个视角下的观察图像。该步骤为采集前的预先准备工作，拍摄时相机的对焦位置与参
考图案的对焦位置重合。

[0047] S320：保持快速三维折射率显微成像系统的原有结构、参数以及光照不变，将系统视野调整至动态观察目标样本的位置，拍摄获得各视角下带有扭曲的样本动态视频。

[0048] 具体地，如图2所示，图2中实线光线为视野内有目标样本时，一个微透镜区域对应的光路图，光路中既经过了参考图案112进行了强度调制，也经过了显微样本120进行了相
位调制，因此拍摄获得的视频图像即为各个视角下经过相位调制的扭曲图像，只与各自视
角下的拍摄到的参考图像相差一个所需重构的相位信息。该步骤中采集系统的器件空间分
布位置以及器件参数均不能发生改变，且除了显微样本120，均需与步骤S320中的位置与参
数保持一致，显微样本120的空间位置在相机的对焦位置附近几十到几百微米处。

[0049] S330：根据预设算法计算出各视角下视频帧与参考图像每个像素之间的匹配关系，并根据建立的光路模型重构还原出动态的三维折射率场视频。

[0050] 在本发明的一个实施例中，步骤S330进一步包括：

[0051] 步骤S331，根据传感器拍摄的视频图像序列和事先拍摄获得的静态参考图像，产生对应的各个视角下的动态扭曲的视频帧图像以及静态参考图像。

[0052] 步骤S332，使用光流算法，计算获得各个视角下每帧视频图像与参考图像之间每个像素之间的匹配图，即各个视角下每个像素点的扭曲偏移角。

[0053] 具体地，在本发明的一个实施例中，由于拍摄采集每帧视频图像与参考图像时，光照基本没有发生变化，且两者之间的扭曲变化并不大，因此可以使用光流算法对每个视角
下的匹配对应关系进行独立求解，问题的优化目标函数为：

[0054] J(w(x,t))＝Ed(w(x,t))+αEm(w(x,t))

[0055] 其中，J(s(x),w(x,t))为最小化的优化目标函数，Ed(w(x,t))为优化目标函数的数据项，Em(w(x,t))为扭曲的正则化项。进一步地，优化目标函数的数据项为：

[0056]

[0057] 其中，T为求解的视频帧数， 表示像素坐标x的取值范围，I(x,t)为t时刻下某个视角下模糊扭曲的视频帧图像，0时刻该视角下对应的拍摄到的参考图像，w(x,t)＝[u
(x,t),v(x,t)]为t时刻该视角下散焦扭曲视频帧与清晰无扭曲图像之间的扭曲大小，
为凸的近似L1范数先验，ε为一个人为给定的很小的正数。

[0058] 优化目标函数的扭曲的正则化项为：

[0059]

[0060] 步骤S333，根据各个视角下每个像素点的偏移角，使用层析成像算法，重构还原出动态的样本三维折射率场信息。

[0061] 另外，本发明实施例的快速三维折射率显微成像的系统和方法的其它构成以及作用对于本领域的技术人员而言都是已知的，为了减少冗余，不做赘述。

[0062] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不
一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何
的一个或多个实施例或示例中以合适的方式结合。

[0063] 尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本
发明的范围由权利要求及其等同限定。