医学图像的目标元素分割方法、模型、电子设备

摘要

本申请公开了一种医学图像的目标元素分割方法、模型、电子设备。该方法包括：获取待分割的医学图像，并进行增强和扩增处理，作为输入数据；将输入数据输入分割模型，由分割模型输出对应的分割结果，其中，分割模型具有多尺度特征激活模块，残余标签模块以及距离图加权模块；根据分割结果对医学图像中的目标元素进行分割。解决了相关技术中在对医学图像中的血管进行分割时，由于模型结构不佳，导致血管分割结果准确率低的问题。

权利要求

1.一种医学图像的目标元素分割方法，其特征在于，所述方法包括：获取待分割的医学图像，并进行增强和扩增处理，作为输入数据；

将所述输入数据输入分割模型，由所述分割模型输出对应的分割结果，其中，所述分割模型具有多尺度特征激活模块，残余标签模块以及距离图加权模块；

根据所述分割结果对所述医学图像中的目标元素进行分割；

将所述输入数据输入分割模型，由所述分割模型输出对应的分割结果包括：将预设尺寸大小的图像特征，输入所述分割模型，其中，所述分割模型的主干网络为UNet分割网络，所述UNet分割网络包括多层编码模块和解码模块；每层的解码模块和编码模块之间通过跳跃连接结构相连，下层的编码模块输入为上层的编码模块输出进行下采样得到的数据，上层的解码模块输入包括本层的编码模块的输出，以及下层的解码模块输出进行上采样得到的数据；

将多层编码模块的输出数据输入至所述多尺度特征激活模块进行特征激活处理，将处理后的融合特征数据发送给每层编码模块对应的解码模块；

将多层解码模块的输出数据输入至所述残余标签模块，计算残余标签；

将所述残余标签输入所述距离图加权模块，将所述距离图加权模块的输出作为各层解码模块上采样的输入；

通过所述UNet分割网络输出最终的分割结果。

2.根据权利要求1所述的方法，其特征在于，获取待分割的医学图像，并进行增强和扩增处理，作为输入数据包括：获取所述医学图像，其中，所述医学图像中包括所述目标元素的感兴趣区域；

对所述目标元素进行增强，得到增强图像；

对所述医学图像和所述增强图像进行通道合并，得到合并图像；

对所述合并图像通过重采样，强度调整以及归一化处理；

对处理后的合并图像，进行数据扩增，得到多个预设尺寸大小的图像特征集，作为所述输入数据。

3.根据权利要求1述的方法，其特征在于，将多层编码模块的输出数据输入至所述多尺度特征激活模块进行特征激活处理，将处理后的融合特征数据发送给每层编码模块对应的解码模块包括：在所述多尺度特征激活模块中，将多层编码模块的输出数据通过各自对应的通道输入压缩激励单元，对各层编码模块的输出数据进行特征融合，并进行筛选，得到各通道的融合特征；

将各通道的融合特征发送给每层编码模块对应的解码模块。

4.根据权利要求1所述的方法，其特征在于，将多层解码模块的输出数据输入至所述残余标签模块，计算残余标签包括：在所述残余标签模块中，根据所述医学图像中元素标签的切片，通过残余标签计算公式，计算所述残余标签，其中，所述残余标签计算公式如下：式中， 和 代表的第 层和第 层两张相邻切片，切片大小为 ， 为残余标签， ，为切片中每个体素的元素标签值。

5.根据权利要求1所述的方法，其特征在于，将所述残余标签输入所述距离图加权模块，将所述距离图加权模块的输出作为各层解码模块上采样的输入包括：在所述距离图加权模块中，根据所述残余标签进行距离图计算，得到近似距离加权图；

将所述近似距离加权图输出作为各层解码模块的上采样输入，其中，在解码模块，根据所述上采样前的特征图，和所述近似距离加权图进行像素相乘，作为上采样的输入。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过所述残余标签模块计算残余损失；

通过深度监督模块计算分割结果与金标准的误差损失；

通过各层解码模块的输出，计算连通性损失；

根据所述残余损失，误差损失和连通性损失，以及各自对应的权重，确定分割结果的总损失。

7.一种医学图像的目标元素分割模型，其特征在于，包括：UNet分割网络，深度监督模块，多尺度特征激活模块，残余标签模块以及距离图加权模块；

所述UNet分割网络包括多层编码模块和解码模块，用于确定医学图像的目标元素的分割结果，其中，每层的解码模块和编码模块之间通过跳跃连接结构相连，下层的编码模块输入为上层的编码模块输出进行下采样得到的数据，上层的解码模块输入包括本层的编码模块的输出，以及下层的解码模块输出进行上采样得到的数据；

所述多尺度特征激活模块的输入与所述多层编码模块的输出相连，所述多尺度特征激活模块的输出与多层解码模块的输入相连，用于将多层编码模块的输出数据输入至所述多尺度特征激活模块进行特征激活处理，将处理后的融合特征数据发送给每层编码模块对应的解码模块；

所述残余标签模块的输入与所述多层解码模块的输出相连，用于将多层解码模块的输出数据输入至所述残余标签模块，计算残余标签，确定残余损失；

所述距离图加权模块输入与所述残余标签模块的输出相连，所述距离图加权模块输出与各层解码模块的输入相连，用于将所述残余标签模块输出的所述残余标签输入所述距离图加权模块，输出近似距离加权图作为各层解码模块上采样的输入；

所述深度监督模块的输入与各层解码模块的输出相连，用于根据各层编码模块的输出，确定分割结果的误差损失。

8.一种计算机可读存储介质，其特征在于，所述存储介质用于存储程序，其中，所述程序执行权利要求1至6中任意一项所述的医学图像的目标元素分割方法。

9.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至6中任意一项所述的医学图像的目标元素分割方法。

说明书

医学图像的目标元素分割方法、模型、电子设备

技术领域

[0001] 本申请涉及图像分割领域，具体而言，涉及一种医学图像的目标元素分割方法、模型、电子设备。

背景技术

[0002] 传统的医学图像分割，虽然体处理了利用UNet分割网络作为模型的主干网络，但是由于医学图像中的血管体积较小，与其他的器官组织相比，更难被有效的识别和发现，导致现有的UNet分割网络也无法进行有效的分割。

[0003] 针对相关技术中在对医学图像中的血管进行分割时，由于模型结构不佳，导致血管分割结果准确率低的问题，目前尚未提出有效的解决方案。

发明内容

[0004] 本申请的主要目的在于提供一种医学图像的目标元素分割方法、模型、电子设备，以解决相关技术中在对医学图像中的血管进行分割时，由于模型结构不佳，导致血管分割结果准确率低的问题。

[0005] 为了实现上述目的，根据本申请的一个方面，提供了一种医学图像的目标元素分割方法，所述方法包括：获取待分割的医学图像，并进行增强和扩增处理，作为输入数据；将所述输入数据输入分割模型，由所述分割模型输出对应的分割结果，其中，所述分割模型具有多尺度特征激活模块，残余标签模块以及距离图加权模块；根据所述分割结果对所述医学图像中的目标元素进行分割。

[0006] 可选的，获取待分割的医学图像，并进行增强和扩增处理，作为输入数据包括：获取所述医学图像，其中，所述医学图像中包括所述目标元素的感兴趣区域；对所述目标元素进行增强，得到增强图像；对所述医学图像和所述增强图像进行通道合并，得到合并图像；对所述合并图像通过重采样，强度调整以及归一化处理；对处理后的合并图像，进行数据扩增，得到多个预设尺寸大小的图像特征集，作为所述输入数据。

[0007] 可选的，将所述输入数据输入分割模型，由所述分割模型输出对应的分割结果包括：将预设尺寸大小的图像特征，输入所述分割模型，其中，所述分割模型的主干网络为UNet分割网络，所述UNet分割网络包括多层编码模块和解码模块；每层的解码模块和编码模块之间通过跳跃连接结构相连，下层的编码模块输入为上层的编码模块输出进行下采样得到的数据，上层的解码模块输入包括本层的编码模块的输出，以及下层的解码模块输出进行上采样得到的数据；将多层编码模块的输出数据输入至所述多尺度特征激活模块进行特征激活处理，将处理后的融合特征数据发送给每层编码模块对应的解码模块；将多层解码模块的输出数据输入至所述残余标签模块，计算残余标签；将所述残余标签输入所述距离图加权模块，将所述距离图加权模块的输出作为各层解码模块上采样的输入；通过所述UNet分割网络输出最终的分割结果。

[0008] 可选的，将多层编码模块的输出数据输入至所述多尺度特征激活模块进行特征激活处理，将处理后的融合特征数据发送给每层编码模块对应的解码模块包括：在所述多尺度特征激活模块中，将多层编码模块的输出数据通过各自对应的通道输入压缩激励单元，对各层编码模块的输出数据进行特征融合，并进行筛选，得到各通道的融合特征；将各通道的融合特征发送给每层编码模块对应的解码模块。

[0009] 可选的，将多层解码模块的输出数据输入至所述残余标签模块，计算残余标签包括：在所述残余标签模块中，根据所述医学图像中元素标签的切片，通过残余标签计算公式，计算所述残余标签，其中，所述残余标签计算公式如下： ，式中， 和 代表的第 层和第 层两张相邻切片，切片大小为 ， 为
残余标签， ，为切片中每个体素的元素
标签值。

[0010] 可选的，将所述残余标签输入所述距离图加权模块，将所述距离图加权模块的输出作为各层解码模块上采样的输入包括：在所述距离图加权模块中，根据所述残余标签进行距离图计算，得到近似距离加权图；将所述近似距离加权图输出作为各层解码模块的上采样输入，其中，在解码模块，根据所述上采样前的特征图，和所述近似距离加权图进行像素相乘，作为上采样的输入。

[0011] 可选的，所述方法还包括：通过所述残余标签模块计算残余损失；通过深度监督模块计算分割结果与金标准的误差损失；通过各层解码模块的输出，计算连通性损失；根据所述残余损失，误差损失和连通性损失，以及各自对应的权重，确定分割结果的总损失。

[0012] 为了实现上述目的，根据本申请的另一方面，提供了一种医学图像的目标元素分割模型，包括：UNet分割网络，深度监督模块，多尺度特征激活模块，残余标签模块以及距离图加权模块；所述UNet分割网络包括多层编码模块和解码模块，用于确定医学图像的目标元素的分割结果，其中，每层的解码模块和编码模块之间通过跳跃连接结构相连，下层的编码模块输入为上层的编码模块输出进行下采样得到的数据，上层的解码模块输入包括本层的编码模块的输出，以及下层的解码模块输出进行上采样得到的数据；所述多尺度特征激活模块的输入与所述多层编码模块的输出相连，所述多尺度特征激活模块的输出与所述多层解码模块的输入相连，用于将多层编码模块的输出数据输入至所述多尺度特征激活模块进行特征激活处理，将处理后的融合特征数据发送给每层编码模块对应的解码模块；所述残余标签模块的输入与所述多层解码模块的输出相连，用于将多层解码模块的输出数据输入至所述残余标签模块，计算残余标签，确定残余损失；所述距离图加权模块输入与所述残余标签模块的输出相连，所述距离图加权模块输出与各层解码模块的输入相连，用于将所述残余标签模块输出的所述残余标签输入所述距离图加权模块，输出近似距离加权图作为各层解码模块上采样的输入；所述深度监督模块的输入与各层解码模块的输出相连，用于根据各层编码模块的输出，确定分割结果的误差损失。

[0013] 为了实现上述目的，根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质用于存储程序，其中，所述程序执行上述中任意一项所述的医学图像的目标元素分割方法。

[0014] 为了实现上述目的，根据本申请的另一方面，提供了一种电子设备，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述中任意一项所述的医学图像的目标元素分割方法。

[0015] 本申请在进行医学图像中的目标元素的分割时，通过分割模型的多尺度特征激活模块将多层编码的数据进行融合和激活，充分利用各层编码的输出。通过残余标签模块，计算目标元素的残余标签，来表征方向连续性等形态学特征，通过距离图加权模块将残余标签通过加权方式反馈给各层解码模块，以将上述形态学特征融入分割模型，使得分割模型在分割目标元素时，具有更强的识别能力，和更准确的分割结果。达到了对目标元素进行更准确的分割的目的，实现了提高目标元素的分割结果的准确性的技术效果，进而解决了相关技术中在对医学图像中的血管进行分割时，由于模型结构不佳，导致血管分割结果准确率低的问题。

附图说明

[0016] 构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

[0017] 图1是根据本申请实施例提供的一种医学图像的目标元素分割方法的流程图；

[0018] 图2是根据本申请实施方式提供的分割模型整体架构的示意图；

[0019] 图3是根据本申请实施方式提供的多尺度特征激活模块的示意图；

[0020] 图4根据本申请实施方式提供的残余标签的示意图；

[0021] 图5是根据本申请实施例提供的一种医学图像的目标元素分割模型的示意图；

[0022] 图6是根据本申请实施例提供的一种电子设备的示意图。

具体实施方式

[0023] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

[0024] 为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

[0025] 需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

[0026] 下面结合优选的实施步骤对本发明进行说明，图1是根据本申请实施例提供的一种医学图像的目标元素分割方法的流程图，如图1所示，该方法包括如下步骤：

[0027] 步骤S101，获取待分割的医学图像，并进行增强和扩增处理，作为输入数据；

[0028] 步骤S102，将输入数据输入分割模型，由分割模型输出对应的分割结果，其中，分割模型具有多尺度特征激活模块，残余标签模块以及距离图加权模块；

[0029] 步骤S103，根据分割结果对医学图像中的目标元素进行分割。

[0030] 上述步骤在进行医学图像中的目标元素的分割时，通过分割模型的多尺度特征激活模块将多层编码的数据进行融合和激活，充分利用各层编码的输出。通过残余标签模块，计算目标元素的残余标签，来表征方向连续性等形态学特征，通过距离图加权模块将残余标签通过加权方式反馈给各层解码模块，以将上述形态学特征融入分割模型，使得分割模型在分割目标元素时，具有更强的识别能力，和更准确的分割结果。达到了对目标元素进行更准确的分割的目的，实现了提高目标元素的分割结果的准确性的技术效果，进而解决了相关技术中在对医学图像中的血管进行分割时，由于模型结构不佳，导致血管分割结果准确率低的问题。

[0031] 上述步骤的执行主体可以为医学图像分割系统，该分割系统可以包括处理装置，来执行上述步骤中的数据处理操作，例如步骤S101‑步骤S103。上述分割系统可以与医学成像设备相连，接收医学成像设备生成的医学图像，进行增强和扩增处理，作为分割模型的输入数据。

[0032] 上述分割模型为UNet主干网络搭建的分割模型，UNet主干网络具有5层编码和解码结构，每一个的解码和编码之间具有跳跃连接结构，下层的编码模块输入为上层的编码模块输出进行下采样得到的数据，上层的解码模块输入包括本层的编码模块的输出，以及下层的解码模块输出进行上采样得到的数据。并且在UNet主干网络中设置有多尺度特征激活模块，残余标签模块以及距离图加权模块。

[0033] 多尺度特征激活模块的输入与多层编码模块的输出相连，多尺度特征激活模块的输出与多层解码模块的输入相连，用于将多层编码模块的输出数据输入至多尺度特征激活模块进行特征激活处理，将处理后的融合特征数据发送给每层编码模块对应的解码模块。

[0034] 多尺度特征激活模块可以充分利用编码器侧各层的信息，提高分割模型的分割精度和准确度。具体的，将各层上采样到编码器侧第一层的尺寸大小之后进行通道的拼接生成融合特征，并对融合特征进行激活，也就是信息筛选过程。最后，将筛选过后的融合特征传递到对应的解码器层。

[0035] 残余标签模块的输入与多层解码模块的输出相连，用于将多层解码模块的输出数据输入至残余标签模块，计算残余标签，确定残余损失。

[0036] 残余标签可以理解为相邻切片的体素点相减得到的标签，体现了相邻切片之间的目标元素的器官组织的走向，进而可以确定目标元素的连续性等形态学信息。将得到的形态学信息输入距离图加权模块，通过加权的方式将心态学信息融入分割模型，得到分割模型可以注意到目标元素的形态学信息，进而提高目标元素分割的准确率和分割精度。

[0037] 距离图加权模块输入与残余标签模块的输出相连，距离图加权模块输出与各层解码模块的输入相连，用于将残余标签模块输出的残余标签输入距离图加权模块，输出近似距离加权图作为各层解码模块上采样的输入。

[0038] 上述距离图为残余标签生成的距离图，可以表征残余标签中的形态学信息，进而根据其距离图进行加权，来使解码器注意到目标元素的形态学信息，进而提高目标元素分割的准确率和分割精度。

[0039] 通过上述多尺度特征激活模块，残余标签模块以及距离图加权模块，分割模型的配合，达到了对目标元素进行更准确的分割的目的，实现了提高目标元素的分割结果的准确性的技术效果，进而解决了相关技术中在对医学图像中的血管进行分割时，由于模型结构不佳，导致血管分割结果准确率低的问题。

[0040] 可选的，获取待分割的医学图像，并进行增强和扩增处理，作为输入数据包括：获取医学图像，其中，医学图像中包括目标元素的感兴趣区域；对目标元素进行增强，得到增强图像；对医学图像和增强图像进行通道合并，得到合并图像；对合并图像通过重采样，强度调整以及归一化处理；对处理后的合并图像，进行数据扩增，得到多个预设尺寸大小的图像特征集，作为输入数据。

[0041] 在将医学图像输入分割模型之前，需要进行增强和扩增处理，使得医学图像转变为UNet分割网络可以识别的格式和尺寸，并进行输入，来对医学图像进行分割。图像增强和通道合并，都可以提高医学图像中目标元素的特征提取的准确性，重采样，强度调整和归一化都是为了使得提取的图像特征可以作为UNet的输入。数据扩增是为了增强医学图像的多样性，得到更准确的分割精度和准确率。

[0042] 可选的，将输入数据输入分割模型，由分割模型输出对应的分割结果包括：将预设尺寸大小的图像特征，输入分割模型，其中，分割模型的主干网络为UNet分割网络，UNet分割网络包括多层编码模块和解码模块；每层的解码模块和编码模块之间通过跳跃连接结构相连，下层的编码模块输入为上层的编码模块输出进行下采样得到的数据，上层的解码模块输入包括本层的编码模块的输出，以及下层的解码模块输出进行上采样得到的数据；将多层编码模块的输出数据输入至多尺度特征激活模块进行特征激活处理，将处理后的融合特征数据发送给每层编码模块对应的解码模块；将多层解码模块的输出数据输入至残余标签模块，计算残余标签；将残余标签输入距离图加权模块，将距离图加权模块的输出作为各层解码模块上采样的输入；通过UNet分割网络输出最终的分割结果。

[0043] 具体的，将多层编码模块的输出数据输入至多尺度特征激活模块进行特征激活处理，将处理后的融合特征数据发送给每层编码模块对应的解码模块包括：在多尺度特征激活模块中，将多层编码模块的输出数据通过各自对应的通道输入压缩激励单元，对各层编码模块的输出数据进行特征融合，并进行筛选，得到各通道的融合特征；将各通道的融合特征发送给每层编码模块对应的解码模块。

[0044] 如图3所示，多尺度特征激活模块包括压缩激励单元SE，将各层上采样到编码模块输入第一层的尺寸大小之后进行通道的拼接进行特征融合，再利用SE单元对融合特征进行筛选，将筛选过后的融合特征传递到对应的解码模块。

[0045] 可选的，将多层解码模块的输出数据输入至残余标签模块，计算残余标签包括：在残余标签模块中，根据医学图像中元素标签的切片，通过残余标签计算公式，计算残余标签，其中，残余标签计算公式如下： ，式中， 和 代表的第 层和第 层两张相邻切片，切片大小为 ， 为残余标签，
，为切片中每个体素的元素标签值。

[0046] 残余标签中有正负值之分，正值到负值的指向可以近似的看作切片间目标元素的器官组织的走向。考虑到残余标签代表相邻层体素的位置变化，所得的残余标签中前景体素数量并不大，这可以显示出相邻层中是连续缓慢变化的，所以不会有体素数量的剧变。

[0047] 上述残余标签体现了相邻切片之间的目标元素的器官组织的走向，进而可以确定目标元素的连续性等形态学信息。将得到的形态学信息输入距离图加权模块，通过加权的方式将心态学信息融入分割模型，得到分割模型可以注意到目标元素的形态学信息，进而提高目标元素分割的准确率和分割精度。

[0048] 可选的，将残余标签输入距离图加权模块，将距离图加权模块的输出作为各层解码模块上采样的输入包括：在距离图加权模块中，根据残余标签进行距离图计算，得到近似距离加权图；将近似距离加权图输出作为各层解码模块的上采样输入，其中，在解码模块，根据上采样前的特征图，和近似距离加权图进行像素相乘，作为上采样的输入。

[0049] 残余标签 中前景的体素位置靠近血管的边缘，故残余标签可以近似为血管体素的边缘距离图。为使网络对边缘达到较高的敏感度，将残余标签 距离图计算，形成近似距离加权图 。在解码器侧将生成的近似距离加权图 和进行上采样前的特征图进行像素级的相乘 ，达到边缘敏感的目的。公式如下：
，其中 代表解码器侧某一层， 表示解码器某一层上采样前
的特征图， 表示进行加权后的特征图。

[0050] 可选的，方法还包括：通过残余标签模块计算残余损失；通过深度监督模块计算分割结果与金标准的误差损失；通过各层解码模块的输出，计算连通性损失；根据残余损失，误差损失和连通性损失，以及各自对应的权重，确定分割结果的总损失。

[0051] 对于残余损失 ，根据网络预测的概率图生成残余标签 ，同样，也生成金标准残余标签 ，使用二值交叉熵损失 ，其输入为预测的残余标签
和金标准残余标签 ，进行残余损失的计算。公式如下：

[0052]

[0053] 其中， 为解码器的某一层， 和 分别对应网络预测的残余标签和金标准残余标签。 为解码器各层生成的残余标签对应的权重值，设定为[1，0.75，0.5，
0.25]。网络预测的输出共有三个通道， 是各通道对应的权重值，具体计算方法为，其中 为该通道中的总体素数量， 是该通道中属于前景的体素数量。
是二值交叉熵损失函数。

[0054] 对于连通性误差 ，为了约束血管的连通性，就要强制网络在训练时关注容易断裂的、难分的血管体素。易断裂的血管在网络预测的概率图中可以体现，即那些预测概率接近0.5的体素。不关心概率大于0.5的体素，因为概率图在转换为二值标签后，概率值大于0.5的体素都会被认为是前景，而血管断裂的原因就是预测概率值低于0.5造成的。首先，将网络预测的概率图中范围在0.4至0.5之间的值置1，其余值都置零，那么可以得到网络预测的难分血管的二值标签 。将 与对应的金标准相乘，得到难分
的金标准血管标签 。然后，将网络预测的难分血管的二值标签 和难分的
金标准血管标签 进行连续性损失 的计算，使用的损失函数为 损
失函数。

[0055]  ，连续性损失 使用 损失函数进行计算。 和 为残余标签和连续性损失函数的权重值， 和 分别设定为0.08和0.1。

[0056] 最终的损失函数公式如下：

[0057]

[0058] 式 中 ， ，Lossdice为Dice损失函数，Lossfocal为Focal损失函数，perd为网络预测，GT为金标准。

[0059] 为误差损失，有深度监督模块可以根据各层解码模块的输出得到，其属于UNet主干网络常见的误差确定方式。

[0060] 需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以不同于此处的顺序执行所示出或描述的步骤。

[0061] 需要说明的是，本申请还提供了一种可选的实施方式，下面对该实施方式进行详细说明。

[0062] 本实施方式提供了一种血管分割方法，以及分割模型。主要在于血管分割网络结构，尤其是多尺度特征激活模块、残余损失模块和距离图加权模块的结构、及其与主干网络之间的连接方式。

[0063] 图2是根据本申请实施方式提供的分割模型整体架构的示意图，如图2所示，本实施方式提供的分割模型主要包含一下内容：

[0064] dynUNet主干网络。dynUNet主干网络具有5层编码和解码结构；每一个的解码和编码之间具有跳跃连接结构（skip connection）。

[0065] 多尺度特征激活模块（MSFA），图2中所示为1。多尺度特征激活模块位于dynUNet的编码层和解码层之间；dynUNet主干网络的1 4层编码层的输出，作为多尺度特征激活模块~的输入；多尺度特征激活模块的输出数据作为dynUNet主干网络1 4层解码层的输入。
~

[0066] 残余损失模块：图2中所示为2。dynUNet主干网络的1 4层编码层的输出用于构造~残差标签。

[0067] 距离图加权模块，图2中所示为3。距离图加权模块的输入为残余损失模块的输出；距离图加权模块的输出反馈到dynUNet主干网络的1 4层编码层，在每一编码层中以张量拼~
接的方式合并dynUNet主干网络的各层编码层输出的结果，并以此作为上采样（up sampling）的输入。

[0068] 对于多尺度特征激活模块，图3是根据本申请实施方式提供的多尺度特征激活模块的示意图，多尺度特征激活模块的框架如图3所示，随着网络层数的增加，网络已经能捕捉到不同视场的信息，浅层（例如编码器层1和2）提取了更多的细节，但是噪声更多，深层（例如解码器层3和4）贡献了更抽象且整体性的信息，然而对细节的感知力较差，所以每个阶段都有对于血管分割有用的特征。为了充分利用编码器侧各层的信息，将各层上采样到编码器侧第一层的size大小之后进行通道的拼接。其次，再利用SE模块对融合特征进行激活，也就是信息筛选过程。最后，将筛选过后的融合特征传递到对应的解码器层。

[0069] 另外，在传统方法中，可以描述血管复杂的表面几何形状，包括纵向和轴向曲率、截面偏心和偏心方向，分割结果具有较高的精度，然而耗时长，效率低。在深度学习方法中，输入图像的每个点都具有一定的强度信息，网络只能从每个像素点的强度值来判断其是否为前景点，或者根据领域点信息来判断当前点是否是前景点。因此深度学习方法无法将血管的方向、连续性等形态学信息融入到训练中。为了解决这个问题，引入残余损失。

[0070] 对于残余损失模块。图4根据本申请实施方式提供的残余标签的示意图，如图4所示，使用上面第一张图中的横断位CT扫描层面来生成残余标签。残余标签中有正负值之分，正值到负值的指向可以近似的看作切片间血管的走向。考虑到残余标签代表相邻层血管体素的位置变化，所得的残余标签中前景体素数量并不大，这可以显示出相邻层中血管是连续缓慢变化的，所以不会有血管体素数量的剧变。

[0071] 若一副标签有 张切片，每张切片大小为 ，则该标签对应的残余标签公式如下：

[0072]

[0073] 其中， 和 代表的第 层和第 层两张相邻切片，切片大小为。每个体素的标签值为 。
若 ，则说明相邻切片上的相同位置的体素属于同一类别，反之亦然。本实施方式还设计了一个残余损失，根据网络预测的概率图生成残余标签 ，同样，也生成金标准残余标签 ，使用二值交叉熵损失 ，其输入为预测的残余标签
和金标准残余标签 ，进行残余损失的计算。公式如下：

[0074]

[0075] 其中， 为解码器的某一层， 和 分别对应网络预测的残余标签和金标准残余标签。 为解码器各层生成的残余标签对应的权重值，设定为[1，0.75，
0.5，0.25]。网络预测的输出共有三个通道， 是各通道对应的权重值，具体计算方法为，其中 为该通道中的总体素数量， 是该通道中属于前景的体素数
量。 是二值交叉熵损失函数。

[0076] 此外，为了约束血管的连通性，就要强制网络在训练时关注容易断裂的、难分的血管体素。易断裂的血管在网络预测的概率图中可以体现，即那些预测概率接近0.5的体素。不关心概率大于0.5的体素，因为概率图在转换为二值标签后，概率值大于0.5的体素都会被认为是前景，而血管断裂的原因就是预测概率值低于0.5造成的。首先，将网络预测的概率图中范围在0.4至0.5之间的值置1，其余值都置零，那么可以得到网络预测的难分血管的二值标签 。将 与对应的金标准相乘，得到难分的金标准血管标签
。然后，将网络预测的难分血管的二值标签 和难分的金标准血管标签
进行连续性损失 的计算，使用的损失函数为 损失函数。

[0077]   ，连 续 性 损 失使用 损失函数进行计算。 和 为残余标签和连续性损失函数的
权重值， 和 分别设定为0.08和0.1。

[0078] 最终的损失函数公式如下：

[0079]

[0080] 式中，，Lossdice为
Dice损失函数，Lossfocal为Focal损失函数，perd为网络预测，GT为金标准。

[0081] 对于距离图加权模块。残余标签 中前景的体素位置靠近血管的边缘，故残余标签可以近似为血管体素的边缘距离图。为使网络对边缘达到较高的敏感度，将残余标签 距离图计算，形成近似距离加权图 。在解码器侧将生成的近似距离加权图 和进行上采样前的特征图进行像素级的相乘，达到边缘敏感的目的。公式如下：

[0082]

[0083] 其中 代表解码器侧某一层， 表示解码器某一层上采样前的特征图，表示进行加权后的特征图。

[0084] 需要说明的是，在将医学图像输入分割模型之前，需要执行以下步骤：

[0085] 提取原始图像的感兴趣区域；使用Frangi滤波进行血管增强，得到血管增强图像；原始图像和血管增强图像进行通道合并输入深度学习网络，其中原始图像作为第一通道，血管增强图像作为第二个通道，输入网络。

[0086] 将图像重采样调整至（400，320，320），对图像强度调整至（‑1000，500），随后进行归一化。数据扩增方法包括添加高斯噪声、裁剪前景、按阴阳性比例进行随机裁剪、随机翻转、旋转和仿射变换。

[0087] 采用大小为80的滑动窗口进行训练和推理，spacing（间距）调整为（1，1，1）。

[0088] 然后，通过深度学习的方式对分割模型进行训练、测试和检验。直至上述总损失满足要求。

[0089] 另外，在分割模型输出分割结果后，可以使用最大连通域对分割模型的网络输出进行处理，仅保留连通数最大的分割目标。来进一步提高分割模型的分割结果的准确率。

[0090] 图5是根据本申请实施例提供的一种医学图像的目标元素分割模型的示意图，如图5所示，本申请实施例还提供了一种医学图像的目标元素分割模型，包括：UNet分割网络51，深度监督模块52，多尺度特征激活模块53，残余标签模块54以及距离图加权模块55，具体如下：

[0091] UNet分割网络51包括多层编码模块和解码模块，用于确定医学图像的目标元素的分割结果，其中，每层的解码模块和编码模块之间通过跳跃连接结构相连，下层的编码模块输入为上层的编码模块输出进行下采样得到的数据，上层的解码模块输入包括本层的编码模块的输出，以及下层的解码模块输出进行上采样得到的数据；多尺度特征激活模块53的输入与多层编码模块的输出相连，多尺度特征激活模块53的输出与多层解码模块的输入相连，用于将多层编码模块的输出数据输入至多尺度特征激活模块进行特征激活处理，将处理后的融合特征数据发送给每层编码模块对应的解码模块；残余标签模块54的输入与多层解码模块的输出相连，用于将多层解码模块的输出数据输入至残余标签模块，计算残余标签，确定残余损失；距离图加权模块55输入与残余标签模块54的输出相连，距离图加权模块55输出与各层解码模块的输入相连，用于将残余标签模块输出的残余标签输入距离图加权模块，输出近似距离加权图作为各层解码模块上采样的输入；深度监督模块52的输入与各层解码模块的输出相连，用于根据各层编码模块的输出，确定分割结果的误差损失。

[0092] 在进行医学图像中的目标元素的分割时，通过上述分割模型的多尺度特征激活模块将多层编码的数据进行融合和激活，充分利用各层编码的输出。通过残余标签模块，计算目标元素的残余标签，来表征方向连续性等形态学特征，通过距离图加权模块将残余标签通过加权方式反馈给各层解码模块，以将上述形态学特征融入分割模型，使得分割模型在分割目标元素时，具有更强的识别能力，和更准确的分割结果。达到了对目标元素进行更准确的分割的目的，实现了提高目标元素的分割结果的准确性的技术效果，进而解决了相关技术中在对医学图像中的血管进行分割时，由于模型结构不佳，导致血管分割结果准确率低的问题。

[0093] 所述医学图像的目标元素分割模型可以设置在处理器和存储器，上述UNet分割网络51，深度监督模块52，多尺度特征激活模块53，残余标签模块54以及距离图加权模块55等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

[0094] 处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决了相关技术中非电容屏原配的电容笔在使用时，用户无法确定是否适配的问题。

[0095] 存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

[0096] 本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现所述医学图像的目标元素分割方法。

[0097] 本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述医学图像的目标元素分割方法。

[0098] 图6是根据本申请实施例提供的一种电子设备的示意图，如图6所示，本申请实施例提供了一种电子设备60，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现上述医学图像的目标元素分割方法的步骤：

[0099] 本文中的设备可以是服务器、PC、PAD、手机等。

[0100] 本申请还提供了一种计算机程序产品，当在医学图像的目标元素分割设备上执行时，适于执行初始化有上述任一方法步骤的程序。

[0101] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD‑ROM、光学存储器等）上实施的计算机程序产品的形式。

[0102] 本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程医学图像的目标元素分割设备的处理器以产生一个机器，使得通过计算机或其他可编程医学图像的目标元素分割设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

[0103] 这些计算机程序指令也可存储在能引导计算机或其他可编程医学图像的目标元素分割设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

[0104] 这些计算机程序指令也可装载到计算机或其他可编程医学图像的目标元素分割设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

[0105] 在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

[0106] 存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

[0107] 计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD‑ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

[0108] 还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

[0109] 本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD‑ROM、光学存储器等）上实施的计算机程序产品的形式。

[0110] 以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。