基于单张玻片多个样品的图像范围识别对焦方法及其应用

摘要

本发明涉及基于单张玻片多个样品的图像范围识别对焦方法及其应用，该方案包括以下步骤：S00、获取玻片宏观图并识别区分该玻片宏观图中的彩色区域和空白区域，其中该空白区域为透明的区域；S10、删除空白区域，以彩色区域作为病人信息区并用颜色标记覆盖；S20、分别对每个病人信息区分布对焦点；S30、根据设定顺序，依次对每个病人信息区进行对焦高度重置，然后分别对每个病人信息区的所有对焦点拟合生成对焦拟合曲面；S40、依据对焦拟合曲面，扫描玻片拼接成像。本申请具有图像更清晰、对焦扫描时间、降低以及存储量减小的效果。

权利要求

1.基于单张玻片多个样品的图像范围识别对焦方法，其特征在于，包括以下步骤：S00、获取玻片宏观图并识别区分该玻片宏观图中的彩色区域和空白区域，其中该空白区域为透明的区域；

S10、删除所述空白区域，以所述彩色区域作为病人信息区并用颜色标记覆盖；

S20、分别对每个所述病人信息区分布对焦点；

S30、根据设定顺序，依次对每个所述病人信息区进行对焦高度重置，然后分别对每个所述病人信息区的所有对焦点拟合生成对焦拟合曲面；

S40、依据对焦拟合曲面，扫描玻片拼接成像；

其中，步骤S40的具体步骤为：

S41、设定电机的移动距离并驱动电机，其中该电机用于驱动获取玻片宏观图的相机移动；

S42、获取相机移动产生的重叠区域，并计算出该重叠区域中相同信息之间的距离，以该距离作为图像偏移距离；

S43、以该图像偏移距离作为补偿，截取已设定的图像面积进行拼接；

S44、在两个所述对焦拟合曲面之间生成一个接近两个所述对焦拟合曲面边缘的颜色模块，以该颜色模块作为缝合线区域；

S45、在该缝合线区域内，使用差异图像加权的最佳缝合线搜索准则构建准则值图像，基于动态规划思维搜索得到最佳缝合线；

S46、基于该最佳缝合线生成掩码图像，并对缝合线区域中的重叠区域图像进行扩展，采用多分辨率融合算法对缝合线区域中的非严格重叠区域融合；

S47、采用加权平均算法消除缝合线区域中过渡区域的缝合线。

2.根据权利要求1所述的基于单张玻片多个样品的图像范围识别对焦方法，其特征在于，步骤S00中，采用图像实例分割算法识别区分该玻片宏观图中的彩色区域和空白区域。

3.根据权利要求2所述的基于单张玻片多个样品的图像范围识别对焦方法，其特征在于，步骤S10中，若两个或两个以上的彩色区域存在部分重叠或接近重叠状态，则将该部分所有的彩色区域统一作为一个病人信息区。

4.根据权利要求1所述的基于单张玻片多个样品的图像范围识别对焦方法，其特征在于，步骤S30中，所述设定顺序为从左到右或从右到左或从上到下或从下到上。

5.根据权利要求1‑4任意一项所述的基于单张玻片多个样品的图像范围识别对焦方法，其特征在于，步骤S10中，颜色标记选用能够区分于底色和病变信息的颜色进行标记。

6.一种基于单张玻片多个样品的图像范围识别对焦装置，其特征在于，包括：相机，用于获取玻片宏观图；

驱动机构，用于驱动该相机在X‑Y‑Z空间方向移动；

计算模块，用于执行权利要求1‑5任一所述的基于单张玻片多个样品的图像范围识别对焦方法。

7.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1‑5任一所述的基于单张玻片多个样品的图像范围识别对焦方法。

8.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1‑5任一所述的基于单张玻片多个样品的图像范围识别对焦方法。

说明书

基于单张玻片多个样品的图像范围识别对焦方法及其应用

技术领域

[0001] 本发明涉及玻片扫描数字化技术领域，具体涉及一种基于单张玻片多个样品的图像范围识别对焦方法及其应用。

背景技术

[0002] 现如今玻片扫描数字化已经成为趋势，数字化玻片有利于保存，不用担心时间长久而导致玻片上的信息褪色。玻片数字化需要准确地将玻片上的信息扫描出来变成电脑上
可查看的高清晰图像。

[0003] 通常有玻片是一整张玻片上分左右两块甚至是多块区域。如图2所示，现有技术是将玻片上多块区域合并成一块大区域定位，然后在一大块区域位置设置多个对焦点，在对
焦前进行一个初始对焦高度重置，从一大块区域中找到对焦最清晰的位置作为初始对焦
点，再根据初始对焦点的高度信息来根据对焦点对焦。但实际玻片上的病人信息不是肉眼
所看见的一个平面而是存在高低起伏。因此玻片最左边的病人信息与玻片上最右边病人信
息的高度是不一致的，会导致最后扫描出来的图像一块清晰一块模糊，而且中间无病人信
息的空白区域也会别扫描出来，这样也会导致存储量大并且不能够辅助用户做出诊断。

[0004] 因此，亟待一种能够解决玻片数字化后一块清晰一块模糊的问题以及减少扫描时间，降低图像大小减少存储空间的基于单张玻片多个样品的图像范围识别对焦方法及其应
用。

发明内容

[0005] 本发明的目的是针对现有技术中存在的上述问题，提供了一种基于单张玻片多个样品的图像范围识别对焦方法及其应用，可以去掉玻片上空白区域以及在多个病人信息的
玻片上分别识别出来，并且在下一步对焦扫描时，针对每一块病人信息进行自动调整对焦
高度进行对焦扫描。

[0006] 为了实现上述发明目的，本发明采用了以下技术方案：基于单张玻片多个样品的图像范围识别对焦方法包括以下步骤：

[0007] S00、获取玻片宏观图并识别区分该玻片宏观图中的彩色区域和空白区域，其中该空白区域为透明的区域；

[0008] S10、删除空白区域，以彩色区域作为病人信息区并用颜色标记覆盖；

[0009] S20、分别对每个病人信息区分布对焦点；

[0010] S30、根据设定顺序，依次对每个病人信息区进行对焦高度重置，然后分别对每个病人信息区的所有对焦点拟合生成对焦拟合曲面；

[0011] S40、依据对焦拟合曲面，扫描玻片拼接成像。

[0012] 工作原理及有益效果：与现有技术相比，本申请能够先去掉玻片上的空白区域，并将每个病人信息区(病人的部分身体组织或病变组织)识别标记出来，并且在下一步对焦扫
描时，针对每一块病人信息进行自动调整对焦高度进行对焦扫描，最后根据扫描得到的对
焦拟合曲面拼接即可，如此就节省了空白区域的数据，也大大减少了扫描时间(因为不用像
现有技术要对一大块区域进行对焦扫描)，也能够针对每一块病人信息的高度条件，解决了
玻片数字化后一块清晰一块模糊的问题，两者结合，使得最终的成像更加清晰。

[0013] 进一步地，步骤S00中，采用图像实例分割算法识别区分该玻片宏观图中的彩色区域和空白区域。图像实例分割(Instance Segmentation)是在语义检测(Semantic 
Segmentation)的基础上进一步细化，分离对象的前景与背景，实现像素级别的对象分离。
并且图像的语义分割与图像的实例分割是两个不同的概念，语义分割仅仅会区别分割出不
同类别的物体，而实例分割则会进一步的分割出同一个类别的不同实例的物体。因此，本申
请采用该算法能够精准地区分玻片宏观图中的彩色区域和空白区域，因为病人信息区通常
是有色彩的，而空白区域是透明的。

[0014] 进一步地，步骤S10中，若两个或两个以上的彩色区域存在部分重叠或接近重叠状态，则将该部分所有的彩色区域统一作为一个病人信息区。这个部分的目的在于针对特殊
情况，多个病人组织存在部分重叠的情况，因为将病人的部分身体组织或病变组织放在玻
片上的操作是人工操作的。

[0015] 进一步地，步骤S30中，设定顺序为从左到右或从右到左或从上到下或从下到上。一般玻片的面积有限，一个玻片上的病人信息区域数量不会太多，通常为个位数，因此按照
最简单的从左到右或从右到左或从上到下或从下到上即可，无需复杂的其他顺序。

[0016] 进一步地，步骤S40中，依据对焦拟合曲面，扫描玻片拼接成像的具体步骤为：

[0017] S41、设定电机的移动距离并驱动电机，其中该电机用于驱动获取玻片宏观图的相机移动；

[0018] S42、获取相机移动产生的重叠区域，并计算出该重叠区域中相同信息之间的距离，以该距离作为图像偏移距离；

[0019] S43、以该图像偏移距离作为补偿，截取已设定的图像面积进行拼接。

[0020] 此步骤的目的在于减少机械误差，从而提高最终成像的质量。

[0021] 进一步地，步骤S43中，拼接的具体步骤为：

[0022] S44、在两个对焦拟合曲面之间生成一个接近两个对焦拟合曲面边缘的颜色模块，以该颜色模块作为缝合线区域；

[0023] S45、在该缝合线区域内，使用差异图像加权的最佳缝合线搜索准则构建准则值图像，基于动态规划思维搜索得到最佳缝合线；

[0024] S46、基于该最佳缝合线生成掩码图像，并对缝合线区域中的重叠区域图像进行扩展，采用多分辨率融合算法对缝合线区域中的非严格重叠区域融合；

[0025] S47、采用加权平均算法消除缝合线区域中过渡区域的缝合线。

[0026] 此步骤中最佳缝合线算法能够有效地避免缝合线通过运动物体、配准不准确的区域，将多分辨率图像融合算法应用于非严格重叠图像融合，能够合成高质量的全景图像。

[0027] 进一步地，步骤S10中，颜色标记选用能够区分于底色和病变信息的颜色进行标记。

[0028] 一种基于单张玻片多个样品的图像范围识别对焦装置，包括：

[0029] 相机，用于获取玻片宏观图；

[0030] 驱动机构，用于驱动该相机在X‑Y‑Z空间方向移动；

[0031] 计算模块，用于执行上述的基于单张玻片多个样品的图像范围识别对焦方法。

[0032] 采用本申请方法的装置也具有相同的技术效果。

[0033] 一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述的基于单张玻片多个样品的图像范围识别对焦方法。

[0034] 采用本申请方法的电子装置也具有相同的技术效果。

[0035] 一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据上述的一种基于单张玻片多个样品的图像范
围识别对焦方法。

[0036] 采用本申请方法的可读存储介质用在现有的电脑等设备上运行，也具有相同的技术效果。

附图说明

[0037] 图1是本发明方法的流程图；

[0038] 图2是现有技术中组织病理玻片未按照病人信息区域进行识别的示意图；

[0039] 图3是本发明组织病理玻片按照病人信息区域进行识别的示意图；

[0040] 图4是图2的成像图；

[0041] 图5是图3的成像图；

[0042] 图6是本发明中现有技术与实施例1的对照图；

[0043] 图7是根据本申请实施例的电子装置的硬件结构示意图。

具体实施方式

[0044] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的
范围。

[0045] 本领域技术人员应理解的是，在本发明的披露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是
指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述
术语不能理解为对本发明的限制。

[0046] 实施例1，

[0047] 如图1所示，本基于单张玻片多个样品的图像范围识别对焦方法包括以下步骤：

[0048] S00、获取玻片宏观图并识别区分该玻片宏观图中的彩色区域和空白区域，其中该空白区域为透明的区域；

[0049] 其中，采用图像实例分割算法识别区分该玻片宏观图中的彩色区域和空白区域；

[0050] S10、删除空白区域，以彩色区域作为病人信息区并用颜色标记覆盖；

[0051] 其中，若两个或两个以上的彩色区域存在部分重叠或接近重叠状态，则将该部分所有的彩色区域统一作为一个病人信息区。这个部分的目的在于针对特殊情况，多个病人
组织存在部分重叠的情况，因为将病人的部分身体组织或病变组织放在玻片上的操作是人
工操作的；

[0052] 其中，颜色标记选用黄色进行标记，当然不仅限于此颜色，也可以是其他颜色，本身其中颜色是尽量区分于底色和病变信息颜色。如HE染色的玻片，病变信息是偏红色的。玻
片扫描出来显示的底色是白色。液基细胞的玻片，病变信息是大部分偏绿色等。

[0053] S20、分别对每个病人信息区分布对焦点；

[0054] S30、根据设定顺序，依次对每个病人信息区进行对焦高度重置，然后分别对每个病人信息区的所有对焦点拟合生成对焦拟合曲面；

[0055] 其中，设定顺序为从左到右或从右到左或从上到下或从下到上。一般玻片的面积有限，一个玻片上的病人信息区域数量不会太多，通常为个位数，因此按照最简单的从左到
右或从右到左或从上到下或从下到上即可，无需复杂的其他顺序。

[0056] S40、依据对焦拟合曲面，扫描玻片拼接成像；

[0057] S41、设定电机的移动距离并驱动电机，其中该电机用于驱动获取玻片宏观图的相机移动；电机部分的驱动机构为现有技术，采用的设备和现有技术是一一的，这里不再对其
进行赘述。

[0058] S42、获取相机移动产生的重叠区域，并计算出该重叠区域中相同信息之间的距离，以该距离作为图像偏移距离；

[0059] S43、以该图像偏移距离作为补偿，截取已设定的图像面积进行拼接；

[0060] S44、在两个对焦拟合曲面之间生成一个接近两个对焦拟合曲面边缘的颜色模块，以该颜色模块作为缝合线区域；

[0061] 其中，缝合线区域指的是后面扫描后的相机小视野图像(对焦拟合曲面)之间的拼接会有一个过渡的缝合带，缝合带的颜色是吸取两张图片相接边缘的颜色，简称缝合线；

[0062] S45、在该缝合线区域内，使用差异图像加权的最佳缝合线搜索准则构建准则值图像，基于动态规划思维搜索得到最佳缝合线；

[0063] S46、基于该最佳缝合线生成掩码图像，并对缝合线区域中的重叠区域图像进行扩展，采用多分辨率融合算法对缝合线区域中的非严格重叠区域融合；

[0064] 其中，重叠区域图像为步骤S40‑S43中的重叠区域的图像。更为具体的就是根据定位范围就能根据算法设定一整张玻片按照相机视野分成多少行多少列的多个小视野，进行
小视野的扫描，然后进行拼接。但实际上扫描时，假设分成10*10的视野图，一行一行的扫
描，第一张图从左到右距离是1‑100的话，第二张图设定的从左到右的距离是90‑190。这样
就会产生90‑100距离之间的重叠区域，是为了拼接缝合。列与列之间也是一样的。

[0065] 而非严格重叠区域的意思是整个缝合线。完全融合指的是两张同一个视野拍摄的图片进行融合，这里的非严格重叠区域，是指两张相邻的图像进行边缘相同地方进行融合
(非严格重叠区域)。

[0066] S47、采用加权平均算法消除缝合线区域中过渡区域的缝合线。

[0067] 在本实施例中，如图2和图4所示，采用现有技术操作方法(具体方法见背景技术)对患者病理组织进行识别，如图3和图5所示，采用本申请方法组织病理玻片按照病人信息
区域进行识别。可见，采用本申请方法的图像左边和右边都很清晰，而图4中是左边模糊，右
边清晰。图5中是拼接后的图像，空白部分是计算机填充的，实际上没有扫描进去数据，因此
图5整体的数据量要明显小于图4，因为图4中把空白部分也扫描进去。

[0068] 在本实施例中，如图6所示，还采用本申请方法分别对三个切片(切片1，切片2，切片3)进行扫描，扫描方式分为现有技术的未去除空白区域和本申请方法的去除空白区域。
可见，采用本申请方法的时间明显更短，且文件大小更小，随着不断进行使用，最终节省的
时间和数据空间会越来越多，可显著降低实验室或者医院的成本。玻片扫描仪重要参数之
一有时间，且仪器本来扫描速度就极快，几秒的速度也是很大突破的。

[0069] 如此本申请能够先去掉玻片上的空白区域，并将每个病人信息区(病人的部分身体组织或病变组织)识别标记出来，并且在下一步对焦扫描时，针对每一块病人信息进行自
动调整对焦高度进行对焦扫描，最后根据扫描得到的对焦拟合曲面拼接即可，如此就节省
了空白区域的数据，也大大减少了扫描时间(因为不用像现有技术要对一大块区域进行对
焦扫描)，也能够针对每一块病人信息的高度条件，解决了玻片数字化后一块清晰一块模糊
的问题，两者结合，使得最终的成像更加清晰。在一张玻片上多个病人信息的情况下创新了
多个病人信息区域分别进行范围识别以及分别进行初始对焦高度重置进行对焦扫描的方
法，最后再拼接成一张高清晰的全景玻片。通过解决单张玻片上多块病人信息范围进行统
一进行框选而产生的空白区域对焦扫描的时间和最后扫描存储量的增大以及因多块区域
高度不同而导致扫描出来的图像一块清晰一块模糊的问题，使得图像更清晰、对焦扫描时
间、降低以及存储量减小。

[0070] 实施例2，

[0071] 一种基于单张玻片多个样品的图像范围识别对焦装置，包括：

[0072] 相机，用于获取玻片宏观图；

[0073] 驱动机构，用于驱动该相机在X‑Y‑Z空间方向移动；如常见的三轴线性驱动模块。

[0074] 计算模块，用于执行实施例1的基于单张玻片多个样品的图像范围识别对焦方法。

[0075] 实施例3，

[0076] 请参阅图7，一种电子装置，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行实施例1的基于单张玻片多个样品
的图像范围识别对焦方法。

[0077] 具体地，上述处理器402可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecificIntegratedCircuit，简称为ASIC)，或者可以被配置成实施本申请实施例的
一个或多个集成电路。

[0078] 其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器(HardDiskDrive，简称为HDD)、软盘驱动器、固态驱动器
(SolidStateDrive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线
(UniversalSerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情
况下，存储器404可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器404可
在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性(Non‑Volatile)存
储器。在特定实施例中，存储器404包括只读存储器(Read‑OnlyMemory，简称为ROM)和随机
存取存储器(RandomAccessMemory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的
ROM、可编程ROM(ProgrammableRead‑OnlyMemory，简称为PROM)、可擦除PROM
(ErasableProgrammableRead‑OnlyMemory，简称为EPROM)、电可擦除PROM(ElectricallyE
rasableProgrammableRead‑OnlyMemory，简称为EEPROM)、电可改写ROM
(ElectricallyAlterableRead‑OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多
个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(StaticRandom‑
AccessMemory，简称为SRAM)或动态随机存取存储器(DynamicRandomAccessMemory，简称为
DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器404(FastPageModeDynamicRand
omAccessMemory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDateOut
DynamicRandomAccessMemory，简称为EDODRAM)、同步动态随机存取内存
(SynchronousDynamicRandom‑AccessMemory，简称SDRAM)等。

[0079] 存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。

[0080] 处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现实施例1的基于单张玻片多个样品的图像范围识别对焦方法。

[0081] 可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。

[0082] 传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网
络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相
连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频(Radio Frequency，
简称为RF)模块，其用于通过无线方式与互联网进行通讯。

[0083] 输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是设定的参数，输出的信息可以是最终的全景图像等。

[0084] 实施例4，

[0085] 一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据实施例1的一种基于单张玻片多个样品的图
像范围识别对焦方法。

[0086] 需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

[0087] 通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算
设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出
和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文
中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬
件或控制器或其他计算设备或其某种组合来实现。

[0088] 本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括
软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可
读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包
括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机
可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的
逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻
辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等
物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。
物理介质是非瞬态介质。

[0089] 本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这
些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

[0090] 以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不
脱离本申请构思的前提下，还可以作出若干变形和改进，这些都属于本申请的保护范围。因
此，本申请的保护范围应以所附权利要求为准。