大视场光学显微图像成像装置及方法

摘要

本发明涉及一种大视场光学显微图像成像装置及方法，两个光学显微成像通路分别用于获取成像物体和参照标板的光学显微图像，利用第二成像通路获取的参照标板的光学显微图像计算对应位置的第一成像通路获取成像物体的光学显微图像的像素坐标，合成所述成像物体的大视场显微图像；能够形成鲁棒的大视场光学显微图像的快速成像能力，其成像结果的正确性和实时性不受成像物体表面形貌特征和所选择的成像模态影响，满足生命科学等领域对不同模态下物体的大视场快速光学显微成像需求。

权利要求

1.一种大视场光学显微图像成像装置，包括：第一成像通路和第二成像通路，其特征在于，所述装置还包括：所述第一成像通路用于获取成像物体的光学显微图像，所述第二成像通路用于获取参照标板的光学显微图像，载物位移台：用于同步移动所述成像物体与所述参照标板；

数据处理装置：用于根据第二成像通路获取的参照标板的光学显微图像计算对应位置的第一成像通路获取成像物体的光学显微图像的像素坐标，合成所述成像物体的大视场显微图像。

2.根据权利要求1所述的成像装置，其特征在于，所述数据处理装置包括：匹配模块：用于将第二成像通路获取的参照标板的光学显微图像与参照标板全图的预设范围匹配；

计算模块，用于根据模板匹配算法计算对应位置成像物体的像素坐标；

合成模块：用于利用像素坐标合成大视场显微图像。

3.根据权利要求2所述的成像装置，其特征在于，所述数据处理装置还包括：拼接模块，用于将参照标板的光学显微图像拼接为参照标板的全图。

4.根据权利要求1所述的成像装置，其特征在于，所述第一成像通路与所述第二成像通路的相对位置固定。

5.根据权利要求1所述的成像装置，其特征在于，所述第一成像通路与第二成像通路为相同的成像装置，所述成像装置包括：图像控制器、目镜、镜筒及物镜。

6.根据权利要求1所述的成像装置，其特征在于，所述第一成像通路为明场成像、暗场成像或荧光成像中的任意一种；所述第二成像通路为明场成像。

7.一种大视场光学显微图像成像方法，其特征在于，所述方法包括：同步移动成像物体与参照标板到预设位置；

获取成像物体的光学显微图像与参照标板的光学显微图像；

根据参照标板的光学显微图像计算对应位置的成像物体的光学显微图像的像素坐标；

合成所述成像物体的大视场显微图像。

8.根据权利要求7所述的成像方法，其特征在于，所述同步移动成像物体与参照标板到预设位置的方法包括：设定成像物体的成像区域；

计算覆盖成像区域的图像及所述覆盖成像区域的图像对应的位置；

按照对应的位置同步移动所述成像物体与参照标板。

9.根据权利要求7所述的成像方法，其特征在于，根据参照标板的光学显微图像计算对应位置的成像物体的光学显微图像的像素坐标的方法包括：将所述参照标板的光学显微图像与参照标板全图的预设范围进行模板匹配，获得参照标板的光学显微图像的像素坐标；

所述参照标板的光学显微图像的像素坐标与对应位置的成像物体的光学显微图像的像素坐标相同。

10.一种服务器，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求7-9中任一所述的方法。

说明书

大视场光学显微图像成像装置及方法

技术领域

[0001] 本发明涉及图片处理邻域，具体涉及大视场的光学显微图像成像装置及方法。

背景技术

[0002] 光学显微镜作为一种观察样品表面微观物貌的仪器设备，具有放大范围广、分辨率高等优点；但由于其成像视场有限，对于大目标场景，如生物组织光学显微成像和集成电路芯片的光学显微成像，则需要通过图像拼接的方式，将成像设备采集的多幅部分重叠的图像合成为一幅大幅面的高分辨率图像。

[0003] 现有技术中，通过图像拼接的方式获得大视场光学显微图像，要求光学显微图像在拼接区域具有区分度高的纹理特征。如果相邻图像在重叠区域处没有明显的可以用来进行匹配的特征，如图1所示，或是相邻图像在重叠区域处用来匹配的特征具有高度相似性，如图2所示，容易造成误匹配。此外，对于生物组织的荧光图像，由于荧光信号较为微弱，图像中大部分区域没有区分度高的纹理信息，一般采用在完成荧光成像后，通过原位切换成像模块，再完成明场图像的成像的方法，如图3所示；但这种增加了成像时间以及进行自动化成像的难度，不适于应用。

[0004] 因此，研发一种可适用于不同成像模态，且能够具有高度自动化能力的、鲁棒的快速大视场光学显微图像成像装置及方法十分必要。

发明内容

[0005] 为了解决现有技术中的上述问题，即为了解决不同成像模态下光学显微镜获得大视场显微图像的鲁棒性和实时性问题，提供一种大视场光学显微图像成像装置、方法及服务器。

[0006] 本发明一方面提供一种大视场光学显微图像成像装置，所述装置包括：

[0007] 第一成像通路：用于获取成像物体的光学显微图像；

[0008] 第二成像通路：用于获取参照标板的光学显微图像；

[0009] 载物位移台：用于同步移动所述成像物体与所述参照标板；

[0010] 数据处理装置：用于根据第二成像通路获取的参照标板的光学显微图像计算对应位置的第一成像通路获取成像物体的光学显微图像的像素坐标，合成所述成像物体的大视场显微图像。

[0011] 进一步优选的，所述数据处理装置包括：

[0012] 匹配模块：用于将第二成像通路获取的参照标板的光学显微图像与参照标板全图的预设范围匹配；

[0013] 计算模块，用于根据模板匹配算法计算对应位置成像物体的像素坐标；

[0014] 合成模块：用于利用像素坐标合成大视场显微图像。

[0015] 进一步优选的，所述数据处理装置还包括：

[0016] 拼接模块，用于将参照标板的光学显微图像拼接为参照标板的全图。

[0017] 进一步优选的，所述第一成像通路与所述第二成像通路的相对位置固定。

[0018] 进一步优选的，在一个实施例中，所述第一成像通路与第二成像通路为相同的成像装置，所述成像装置包括：图像控制器、目镜、镜筒及物镜。

[0019] 进一步优选的，所述第一成像通路为明场成像、暗场成像或荧光成像中的任意一种；所述第二成像通路为明场成像。

[0020] 作为本发明的又一方面，提供一种大视场光学显微图像成像方法，所述方法包括：

[0021] 同步移动成像物体与参照标板到预设位置；

[0022] 获取成像物体的光学显微图像与参照标板的光学显微图像；

[0023] 根据参照标板的光学显微图像计算对应位置的成像物体的光学显微图像的像素坐标；

[0024] 合成所述成像物体的大视场显微图像。

[0025] 进一步优选的，所述同步移动成像物体与参照标板到预设位置的方法包括：

[0026] 设定成像物体的成像区域；

[0027] 计算覆盖成像区域的图像及所述覆盖成像区域的图像对应的位置；

[0028] 按照对应的位置同步移动所述成像物体与参照标板。

[0029] 进一步优选的，根据参照标板的光学显微图像计算对应位置的成像物体的光学显微图像的像素坐标的方法包括：

[0030] 将所述参照标板的光学显微图像与参照标板全图的预设范围进行模板匹配，获得参照标板的光学显微图像的像素坐标；

[0031] 所述参照标板的光学显微图像的像素坐标与对应位置的成像物体的光学显微图像的像素坐标相同。

[0032] 本发明的第三方面提供一种服务器，包括：

[0033] 一个或多个处理器；

[0034] 存储装置，用于存储一个或多个程序，

[0035] 当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一大视场光学显微图像成像的方法。

[0036] 本发明实施例至少实现了如下技术效果：本发明通过双成像通路同步对成像物体与参照标板成像，通过参照标板确定成像物体成像位置的像素坐标，使其成像物体的成像结果不受成像物体表面形貌特征和所选择的成像模态影响，具有非常高的准确性和实时性；能够形成鲁棒的大视场光学显微图像的快速成像能力，满足生命科学等领域对不同模态下物体的大视场快速光学显微成像需求。

附图说明

[0037] 图1为现有技术中目标场景存在空白区域的示意图；

[0038] 图2为现有技术中目标场景存在重复性结构的示意图；

[0039] 图3为现有技术中具有相同视场的荧光图像和明场图像；

[0040] 图4是本发明一实施例的大视场光学显微图像成像装置示意图；

[0041] 图5是覆盖成像物体所需要的图像及其成像位置的示意图；

[0042] 图6是本发明一实施例的数据处理装置的示意图；

[0043] 图7是本发明一实施例成像方法流程图。

[0044] 图8是本发明一实施例中移动成像物体与参照标板到预设位置的方法示流程图；

[0045] 图9是本发明一实施例中大视场光学显微图像成像的具体方法流程图。

具体实施方式

[0046] 下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

[0047] 当目标场景存在空白区域时，相邻两幅图像的重叠区域则没有可以用来进行匹配的特征，如图1；当目标场景存在重复性结构区域时，相邻两幅图像在重叠区域处用来匹配的特征具有高度相似性，如图2；当生物组织的图像为荧光图像，则会没有区分度高的纹理信息，如图3；在以上几种或者更多情况下，很容易造成图像的误匹配，影响大视场光学显示图像的拼接。

[0048] 本发明提供一种大视场光学显微图像成像装置，如图4，所述装置包括：

[0049] 第一成像通路1：用于获取成像物体5的光学显微图像；

[0050] 第二成像通路2：用于获取参照标板6的光学显微图像；

[0051] 载物位移台3：用于同步移动所述成像物体5与所述参照标板6；

[0052] 数据处理装置4：用于根据第二成像通路2获取的参照标板6的光学显微图像计算对应位置的第一成像通路1获取成像物体5的光学显微图像的像素坐标，合成所述成像物体的大视场显微图像。

[0053] 所述装置中的第一成像通路1与第二成像通路2为光学显微图像采集装置，在光学显微图像采集过程中，光学显微装置中的显微镜固定在载物位移台3的上方，光学显微镜的光轴与拍摄物体表面垂直，载物位移台3在二维平面内移动，其中，成像物体5与参照标板6同步移动，其具体的移动顺序及位置根据预先设定好的路径及位置确定，覆盖成像物体所需要的图像及其成像位置可以如图5所示，根据成像物体获得每张光学显微图像7最终合成成像物体的大视场显微图像8；本方法有效克服普通成像设备在视场上的局限性，获得比单幅图像更高的分辨率和更大的视场范围。

[0054] 其中，第一、第二成像通路均指一套完整的成像装置，能够获取目标物体的显微图像，可以购买商用设备，也可以自行搭建。

[0055] 在所述成像装置中也可以包括不止一个第一成像通路1或第二成像通路2，例如，可以包括多个第一成像通路1，同时对多个成像物体5进行采集图像及大视场显微图像的合成。

[0056] 所述数据处理装置4可以是计算机，也可以是其他具有对应功能的计算装置、图像处理装置或智能设备，第一成像通路1及第二成像通路2通过电连接将采集的光学显微图像传输到所述数据处理装置3。

[0057] 所述参照标板6具有明显的区分度高的纹理特征，保证拼接的准确性，可以预先获得整个参照标板6的显微图像，通过拼接的方式，得到参照标板6的全图；也可以通过采购或其他形式直接获得参照标板6的全图。参照标板6可以购买，其全图可以自行定制，也可以利用已有参照标板6的全图。

[0058] 所述载物位移台3优选的采用高精度载物位移台，根据用户设计的位置进行x方向或y方向的移动。成像物体5与参照标板6可以固定同一载物位移台3上，保证同步移动。

[0059] 本实施例装置的成像效果不受成像物体5的表面特征及成像方式的限制，当成像物体5的关系显微图像存在空白区域(如图1)或重复结构(如图3)，或为荧光图像(如图3)等没有明显纹理特征的图像时也可以快速准确的获得其大视场显微图像。

[0060] 在一个实施例中，如图6，所述数据处理装置4包括：

[0061] 匹配模块41，用于将第二成像通路2获取的参照标板6的光学显微图像与参照标板全图的预设范围匹配；

[0062] 计算模块42，用于根据模板匹配算法计算对应位置成像物体5的像素坐标；

[0063] 合成模块43：用于利用像素坐标合成大视场显微图像。

[0064] 在本实施例中，可以预先获得参照标板6的全图，匹配模块41将所获得的参照标板图像与参照标板6的全图进行匹配计算模块42通过模板匹配得到当前参照标板成像位置的像素坐标；最后合成模块43根据成像物体各幅图像的像素坐标合成为一整幅大视场显微图像。

[0065] 计算模块42以当前参照标板所成图像为模板，平方误差为模板匹配的度量，在预先拍摄的参照标板全图的预设范围进行模板匹配，寻找匹配误差最小的位置，作为当前成像位置在参照标板全图中的像素坐标，即当前参照标板所成图像在预先拍摄的参照标板全图中的位置；由于成像物体与参照标板同步移动，参照标板当前位置的像素坐标即是成像物体当前位置的像素坐标。

[0066] 通过该方法获得所述成像物体5全部光学显微图像的像素坐标，合成模块43将成像物体的各幅光学显微图像根据其像素位置进行叠加，获得成像物体成像区域的整图。

[0067] 其中，参照标板全图的预设范围可以根据高精度载物位移台在当前位置的物理坐标，截取参照标板全图的一部分；也可以所述参照标板全部的全部范围。

[0068] 在一个实施例中，如图6，所述数据处理装置4还包括：

[0069] 拼接模块44，用于将参照标板6的光学显微图像拼接为参照标板的全图。

[0070] 在本实施例中，参照标板的全图可以通过自行拼接获得，由于参照标板具有区分度比较高的纹理特征，所以可以采用图像拼接方法进行拼接。所述数据处理装置中也可以不包括拼接模块，而直接预存通过其他渠道获得参照标板全图。

[0071] 在一个实施例中，所述第一成像通路1与所述第二成像通路2的相对位置固定。

[0072] 所述第一成像通路1与所述第二成像2可以通过固定的夹持部进行固定；也可以通过可调节位置的固定装置进行固定，在同一成像物体采集的过程中，保持二者的相对位置固定不变。

[0073] 在一个实施例中，所述第一成像通路1与第二成像通路2为相同的成像装置，所述成像装置包括：图像控制器CCD、目镜、镜筒及物镜。其中各个部件均采用相同设备，可以购买商用设备，也可以自行搭建。

[0074] 在一个实施例中，所述第一成像通路为明场成像、暗场成像或荧光成像中的任意一种；所述第二成像通路为明场成像。

[0075] 其中，明场成像获得的图像，由于光线充足，成像内容清晰，有利于精确匹配与定位；第二成像通路也可以采用其他可获得准确图像的成像方式。

[0076] 基于同一发明构思，本发明实施例还提供了一种大视场光学显微图像成像方法及服务器，由于该方法及服务器所解决问题的原理与前述实施例的成像装置相似，因此具体的实施可以参见前述实施例的方法的实施，重复之处不再赘述。

[0077] 本发明还提供一种大视场光学显微图像成像方法，如图7，所述方法包括：

[0078] S100同步移动成像物体与参照标板到预设位置；

[0079] S200获取成像物体的光学显微图像与参照标板的光学显微图像；

[0080] S300根据参照标板的光学显微图像计算对应位置的成像物体的光学显微图像的像素坐标；

[0081] S400合成所述成像物体的大视场显微图像。

[0082] 当按照预设位置完成采样，即完成所有成像位置的成像后，由于所述成像物体与参照标板同步移动，每幅参照标板的光学显微图像在参照标板全图中的像素坐标可以作为成像物体显微图像的像素坐标；将成像物体的各幅显微图像根据其像素位置进行叠加，获得成像物体成像区域的整图。光学显微图像的采集也可以与像素坐标同时进行，当图像采集完成后，所有采集图像的像素坐标即可获得，从而可以加快获得大视场显微图像的速度。

[0083] 在一个实施例中，S100中，如图8，所述同步移动成像物体与参照标板到预设位置的方法包括：

[0084] S101设定成像物体的成像区域；

[0085] S102计算覆盖成像区域的图像及所述覆盖成像区域的图像对应的位置；

[0086] S103按照对应的位置同步移动所述成像物体与参照标板。

[0087] 在S101中，用户确定成像物体中需要进行成像的区域，在S102中，可以根据用户设定的成像区域和光学显微图像的视场，计算覆盖用户设定的成像区域所需要的图像及成像位置，如图5所示。

[0088] 在一个实施例中，在S300中，根据参照标板的光学显微图像计算对应位置的成像物体的光学显微图像的像素坐标的方法包括：

[0089] 将所述参照标板的光学显微图像与参照标板全图的预设范围进行模板匹配，获得参照标板的光学显微图像的像素坐标；

[0090] 所述参照标板的光学显微图像的像素坐标与对应位置的成像物体的光学显微图像的像素坐标相同。

[0091] 其中，可以采用模板匹配的方法，将当前参照标板所成光学显微图像作为模板，与预先拍摄的参照标板全图预设范围进行匹配，获得当前成像位置在参照标板全图中的像素坐标；预设范围可以是参照标板的全图；为了减少计算量，也可以根据高精度载物位移台在当前位置的物理坐标，截取参照标板全图的一部分，与当前参照标板所成图像进行匹配。

[0092] 在一个实施例中，如图9，所述大视场光学显微图像成像的具体方法包括：

[0093] S1用户设定成像区域；

[0094] S2计算覆盖成像区域所需要的成像位置；

[0095] S3移动载物位移台到成像位置；

[0096] S4在当前成像位置同时获取参照标板和成像物体的图像；

[0097] S5将当前参照标板所成图像与预存的参照标板全图预设范围进行匹配，获得当前成像位置的像素坐标；

[0098] S6判断是否已完成所有成像位置的成像，如是，则转至S7，若否，则返回S3；

[0099] S7在完成所有成像位置的成像后，根据成像物体各幅图像的像素位置合成为整图。

[0100] 所述S1中“用户设定成像区域”是指，用户确定成像物体中需要进行成像的区域。

[0101] 所述S2中“计算覆盖成像区域所需要的成像位置”是指，根据用户设定的成像区域和光学显微图像的视场，计算覆盖用户设定的成像区域所需要的图像及其成像位置，如图5所示。

[0102] 所述S4中“在当前成像位置同时获取参照标板和成像物体的图像”是指，在当前成像位置，利用两个光学显微成像通路同时获取成像物体和参照标板的光学显微图像。

[0103] 所述S5中“将当前参照标板所成图像与预存的参照标板全图预设范围进行匹配，获得当前成像位置的像素坐标”是指，采用模板匹配的方法，将当前参照标板所成图像作为模板，与预存的参照标板全图进行匹配，获得当前成像位置在参照标板全图中的像素坐标。为了减少计算量，可以根据高精度载物位移台在当前位置的物理坐标，截取参照标板全图的一部分，与当前参照标板所成图像进行匹配。

[0104] 所述S7中的“在完成所有成像位置的成像后，根据成像物体各幅图像的像素位置合成为整图”是指，在完成所有成像位置的成像后，两个光学显微成像通路之间的位置关系是固定不变的，每幅参照标板的显微图像在参照标板全图中的像素坐标可以作为成像物体显微图像的像素坐标。将成像物体的各幅显微图像根据其像素位置进行叠加，获得成像物体成像区域的整图。

[0105] 本发明实施例提供一种服务器，包括：

[0106] 一个或多个处理器；

[0107] 存储装置，用于存储一个或多个程序，

[0108] 当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一大视场光学显微图像成像的方法。

[0109] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编

[0110] 程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0111] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0112] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0113] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

[0114] 至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。