基于注意力及边界约束的息肉图像分割方法、装置、设备及介质

摘要

本发明实施例公开了一种基于注意力及边界约束的息肉图像分割方法、装置、设备及介质。本发明涉及图像处理技术领域，其包括：获取待分割息肉图像及Ground Truth图像；将待分割息肉图像进行特征提取，得到多个低层特征及多个高层特征；将扩大感受野及上采样后的多个高层特征叠加得到全局映射图；根据第二低层特征及Ground Truth图像生成边缘映射图，并通过第一预设损失函数对边缘映射图进行监督以更新第二低层特征；对多个高层特征、全局映射图以及更新后的第二低层特征进行平衡注意力学习得到多个预测图，并根据第二预设损失函数对多个预测图及Ground Truth图像进行监督约束，得到息肉分割图。本申请实施例可提高息肉图像的分割准确率。

权利要求

1.一种基于注意力及边界约束的息肉图像分割方法，应用于构建的息肉分割模型，其特征在于，包括：获取待分割息肉图像及与所述待分割息肉图像相对应的Ground Truth图像；

将所述待分割息肉图像进行特征提取，得到多个低层特征及多个高层特征，其中，所述多个低层特征包括第一低层特征及由所述第一低层特征卷积后的第二低层特征；

对所述多个高层特征扩大感受野得到多个目标特征图，并将上采样后的所述多个目标特征图进行特征叠加得到全局映射图；

根据所述第二低层特征及所述Ground Truth图像生成边缘映射图，并通过第一预设损失函数对所述边缘映射图进行监督以更新所述第二低层特征；

将所述全局映射图及所述多个高层特征中的最高层特征分别作为当前上层预测图及当前高层特征；

对所述当前上层预测图、所述当前高层特征以及更新后的所述第二低层特征进行平衡注意力学习得到预测图；

根据第二预设损失函数对所述预测图及所述Ground Truth图像进行监督约束以更新所述预测图；

将更新后的所述预测图及下一层所述高层特征分别作为所述当前上层预测图及所述当前高层特征，并返回执行所述对所述当前上层预测图、所述当前高层特征以及更新后的所述第二低层特征进行平衡注意力学习得到预测图的步骤，直至输出息肉分割图为止；

其中，所述对所述当前上层预测图、所述当前高层特征以及更新后的所述第二低层特征进行平衡注意力学习得到预测图的步骤包括：对所述当前上层预测图及所述当前高层特征进行计算得到前景注意力图、边界注意力图以及背景注意力图；

将拼接后的所述前景注意力图、所述边界注意力图以及所述背景注意力图输入SENet网络中的SE模块进行通道学习得到第一注意力特征；

将所述第一注意力特征进行卷积之后与所述当前高层特征相加得到第二注意力特征，并将所述第二注意力特征作为注意力特征；

将所述注意力特征、更新后的所述第二低层特征以及所述当前上层预测图相加得到预测图。

2.根据权利要求1所述的方法，其特征在于，所述对所述多个高层特征扩大感受野得到多个目标特征图，包括：针对每一所述高层特征，将其进行下采样得到多个第一特征图；

对所述多个第一特征图进行卷积，并对卷积后的所述多个第一特征图进行上采样得到多个第二特征图；

将所述多个第二特征图与输入的所述高层特征相叠加得到第三特征图，并对所述第三特征图进行卷积得到目标特征图。

3.根据权利要求1所述的方法，其特征在于，所述边缘映射图包括第一边缘映射图及第二边缘映射图，所述根据所述第二低层特征及所述Ground Truth图像生成边缘映射图，并通过第一预设损失函数对所述边缘映射图进行监督以更新所述第二低层特征，包括：对所述第二低层特征进行卷积得到所述第一边缘映射图；

对所述Ground Truth图像进行边界提取得到所述第二边缘映射图；

通过第一预设损失函数对所述第一边缘映射图及所述第二边缘映射图进行监督以更新所述第二低层特征。

4.根据权利要求3所述的方法，其特征在于，所述对所述Ground Truth图像进行边界提取得到所述第二边缘映射图，包括：将所述Ground Truth图像作为原始Ground Truth图像，并对所述原始Ground Truth图像进行膨胀及腐蚀得到膨胀Ground Truth图像及腐蚀Ground Truth图像；

将所述膨胀Ground Truth图像减去所述原始Ground Truth图像得到第一边界环；

将所述腐蚀Ground Truth图像减去所述原始Ground Truth图像得到第二边界环；

将所述第一边界环及所述第二边界环进行叠加得到第二边缘映射图。

5.根据权利要求1所述的方法，其特征在于，所述对所述当前上层预测图及所述当前高层特征进行计算得到前景注意力图、边界注意力图以及背景注意力图，包括：根据所述当前上层预测图通过第一预设公式pred、第二预设公式 以

及第三预设公式1‑pred分别计算出第一前景注意力图、第一边界注意力图以及第一背景注意力图，其中，pred为对所述当前上层预测图通过Sigmoid计算得到的；

将所述第一前景注意力图、所述第一边界注意力图以及所述第一背景注意力图分别与所述当前高层特征相乘得到第二前景注意力图、第二边界注意力图以及第二背景注意力图；

将所述第二前景注意力图、所述第二边界注意力图以及所述第二背景注意力图进行卷积得到第三前景注意力图、第三边界注意力图以及第三背景注意力图，并将所述第三前景注意力图、所述第三边界注意力图以及所述第三背景注意力图分别作为前景注意力图、边界注意力图以及背景注意力图。

6.一种基于注意力及边界约束的息肉图像分割装置，应用于构建的息肉分割模型，其特征在于，包括：获取处理单元，用于获取待分割息肉图像及与所述待分割息肉图像相对应的Ground Truth图像；

特征提取单元，用于将所述待分割息肉图像进行特征提取，得到多个低层特征及多个高层特征，其中，所述多个低层特征包括第一低层特征及由所述第一低层特征卷积后的第二低层特征；

特征聚合单元，用于对所述多个高层特征扩大感受野得到多个目标特征图，并将上采样后的所述多个目标特征图进行特征叠加得到全局映射图；

边界约束单元，用于根据所述第二低层特征及所述Ground Truth图像生成边缘映射图，并通过第一预设损失函数对所述边缘映射图进行监督以更新所述第二低层特征；

作为单元，用于将所述全局映射图及所述多个高层特征中的最高层特征分别作为当前上层预测图及当前高层特征；

第四计算单元，用于对所述当前上层预测图、所述当前高层特征以及更新后的所述第二低层特征进行平衡注意力学习得到预测图；

第五计算单元，用于根据第二预设损失函数对所述预测图及所述Ground Truth图像进行监督约束以更新所述预测图；

返回执行单元，用于将更新后的所述预测图及下一层所述高层特征分别作为所述当前上层预测图及所述当前高层特征，并返回执行所述对所述当前上层预测图、所述当前高层特征以及更新后的所述第二低层特征进行平衡注意力学习得到预测图的步骤，直至输出息肉分割图为止；

其中，所述第四计算单元具体用于对所述当前上层预测图及所述当前高层特征进行计算得到前景注意力图、边界注意力图以及背景注意力图；将拼接后的所述前景注意力图、所述边界注意力图以及所述背景注意力图输入SENet网络中的SE模块进行通道学习得到第一注意力特征；将所述第一注意力特征进行卷积之后与所述当前高层特征相加得到第二注意力特征，并将所述第二注意力特征作为注意力特征；将所述注意力特征、更新后的所述第二低层特征以及所述当前上层预测图相加得到预测图。

7.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1‑5中任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1‑5中任一项所述的方法。

说明书

基于注意力及边界约束的息肉图像分割方法、装置、设备及

介质

技术领域

[0001] 本发明涉及图像处理技术领域，尤其涉及一种基于注意力及边界约束的息肉图像分割方法、装置、设备及介质。

背景技术

[0002] 结直肠癌包括结肠癌和直肠癌，是一种高发的恶性肿瘤，而大多数结直肠癌是由结肠或直肠上的息肉演变而来，因此，息肉的早期筛查对结直肠癌的预防至关重要。现有技术中，内窥镜检查因利于医生直观地观察病灶的形态特征，被认为是诊断结息肉的金标准，但内窥镜检查高度依赖经验丰富的临床医生，临床医师诊断一个病人的待分割息肉图像需要花费较长时间，极大地降低了息肉的筛查效率，而且息肉通常呈现出各种形状、大小和纹理特征，甚至边界不清晰且难定位，极大地降低了息肉图像分割的准确率。

发明内容

[0003] 本发明实施例提供了一种基于注意力及边界约束的息肉图像分割方法、装置、设备及介质，旨在解决现有息肉图像分割准确率不高的问题。

[0004] 第一方面，本发明实施例提供了一种基于注意力及边界约束的息肉图像分割方法，应用于构建的息肉分割模型，其包括：

[0005] 获取待分割息肉图像及与所述待分割息肉图像相对应的Ground Truth图像；

[0006] 将所述待分割息肉图像进行特征提取，得到多个低层特征及多个高层特征，其中，所述多个低层特征包括第一低层特征及由所述第一低层特征卷积后的第二低层特征；

[0007] 对所述多个高层特征扩大感受野得到多个目标特征图，并将上采样后的所述多个目标特征图进行特征叠加得到全局映射图；

[0008] 根据所述第二低层特征及所述Ground Truth图像生成边缘映射图，并通过第一预设损失函数对所述边缘映射图进行监督以更新所述第二低层特征；

[0009] 根据所述第二预设损失函数及所述Ground Truth图像对所述多个高层特征、所述全局映射图以及更新后的所述第二低层特征进行平衡注意力学习得到多个预测图，并根据第二预设损失函数对所述多个预测图及所述Ground Truth图像进行监督约束，得到息肉分割图。

[0010] 第二方面，本发明实施例还提供了一种基于注意力及边界约束的息肉图像分割装置，应用于构建的息肉分割模型，其包括：

[0011] 获取处理单元，用于获取待分割息肉图像及与所述待分割息肉图像相对应的Ground Truth图像；

[0012] 特征提取单元，用于将所述待分割息肉图像进行特征提取，得到多个低层特征及多个高层特征，其中，所述多个低层特征包括第一低层特征及由所述第一低层特征卷积后的第二低层特征；

[0013] 特征聚合单元，用于对所述多个高层特征扩大感受野得到多个目标特征图，并将上采样后的所述多个目标特征图进行特征叠加得到全局映射图；

[0014] 边界约束单元，用于根据所述第二低层特征及所述Ground Truth图像生成边缘映射图，并通过第一预设损失函数对所述边缘映射图进行监督以更新所述第二低层特征；

[0015] 平衡注意力单元，用于对所述多个高层特征、所述全局映射图以及更新后的所述第二低层特征进行平衡注意力学习得到多个预测图，并根据第二预设损失函数对所述多个预测图及所述Ground Truth图像进行监督约束，得到息肉分割图。

[0016] 第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

[0017] 第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。

[0018] 本发明实施例提供了一种基于注意力及边界约束的息肉图像分割方法、装置、设备及介质。其中，所述方法包括：获取待分割息肉图像及与所述待分割息肉图像相对应的Ground Truth图像；将所述待分割息肉图像进行特征提取，得到多个低层特征及多个高层特征，其中，所述多个低层特征包括第一低层特征及由所述第一低层特征卷积后的第二低层特征；对所述多个高层特征扩大感受野得到多个目标特征图，并将上采样后的所述多个目标特征图进行特征叠加得到全局映射图；根据所述第二低层特征及所述Ground Truth图像生成边缘映射图，并通过第一预设损失函数对所述边缘映射图进行监督以更新所述第二低层特征；对所述多个高层特征、所述全局映射图以及更新后的所述第二低层特征进行平衡注意力学习得到多个预测图，并根据第二预设损失函数对所述多个预测图及所述Ground Truth图像进行监督约束，得到息肉分割图。本发明实施例的技术方案，先对多个高层特征扩大感受野并进行特征聚合得到全局映射图，可确保从多尺度观察待分割息肉图像；再对低层特征及Ground Truth图像进行边界约束生成边缘映射图，可对息肉边界信息进行监督学习；最后通过边缘注意力方法生成息肉分割图，可建立区域和边界之间的关系，进而提高息肉图像的分割准确率。

附图说明

[0019] 为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0020] 图1是本发明实施例提供的一种基于注意力及边界约束的息肉图像分割方法的模型整体示意图；

[0021] 图2为本发明实施例提供的一种基于注意力及边界约束的息肉图像分割方法的流程示意图；

[0022] 图3为本发明实施例提供的一种基于注意力及边界约束的息肉图像分割方法的特征聚合单元的示意图；

[0023] 图4为本发明实施例提供的一种基于注意力及边界约束的息肉图像分割方法的子流程示意图；

[0024] 图5为本发明实施例提供的一种基于注意力及边界约束的息肉图像分割方法的子流程示意图；

[0025] 图6为本发明实施例提供的一种基于注意力及边界约束的息肉图像分割方法的第二边缘映射图的提取效果图；

[0026] 图7为本发明实施例提供的一种基于注意力及边界约束的息肉图像分割方法的子流程示意图；

[0027] 图8为本发明实施例提供的一种基于注意力及边界约束的息肉图像分割方法的平衡注意力单元的示意图；

[0028] 图9为本发明实施例提供的一种基于注意力及边界约束的息肉图像分割装置的示意性框图；以及

[0029] 图10为本发明实施例提供的一种计算机设备的示意性框图。

具体实施方式

[0030] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0031] 应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

[0032] 还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

[0033] 还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

[0034] 如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

[0035] 请参阅图1，图1是本发明实施例提供的一种基于注意力及边界约束的息肉图像分割方法的模型整体结构示意图。本发明实施例的基于注意力及边界约束的息肉图像分割方法可应用于构建的息肉分割模型中，例如可通过配置于与所述息肉分割模型相对应的软件程序来实现所述基于注意力及边界约束的息肉图像分割方法，从而提高息肉图像的分割准确率。如图1所述，所述息肉分割模型包括特征提取模块、多分支特征聚合模块(MFAM，Multi‑branch Feature Aggregation Module)、边缘注意力模块(EA，Edge Attention Module)以及强化平衡注意模块(EBAM，Enhanced Balance Attention Module)，可理解地，所述特征提取模块、所述多分支特征聚合模块、所述边缘注意力模块以及所述强化平衡注意模块分别对应于基于注意力及边界约束的息肉图像分割装置中的特征提取单元、特征聚合单元、边界约束单元以及平衡注意力单元，在本发明实施例中，先将待分割息肉图像及Ground Truth图像输入特征提取模块进行特征提取，得到f1、f2、f3、f4、f5五个特征，再通过多分支特征聚合模块将f3、f4、f5进行特征聚合得到全局映射图Sg，然后利用损失函数对f2及Ground Truth图像GT生成的边缘映射图进行深监督，最后根据f2、f3、f4、f5以及全局映射图Sg通过强化平衡注意模块输出息肉分割图。

[0036] 请参阅图2，图2是本发明实施例提供的一种基于注意力及边界约束的息肉图像分割方法的流程示意图。如图2所示，该方法包括以下步骤S100‑S140。

[0037] S100、获取待分割息肉图像及与所述待分割息肉图像相对应的Ground Truth图像。

[0038] 在本发明实施例中，在对息肉图像进行分割之前，需要先获取待分割息肉图像及与所述待分割息肉图像相对应的Ground Truth图像，其中，所述Ground Truth图像为由专业内窥镜医生进行手动标注得到，用白色代表息肉区域，用黑色代表背景区域。在实际应用中，将获取到的所述待分割息肉图像输入训练好的所述息肉分割模型以执行后续步骤。

[0039] 需要说明的是，在本发明实施例中，在使用所述息肉分割模型对所述待分割的结肠息肉图像进行分割之前，还需要先对所述息肉分割模型进训练、验证以及测试，而进行训练、验证以及测试的数据集来源于五个公开的息肉数据集，所述息肉数据集分别为ETIS数据集、CVC‑ClinicDB数据集、CVC‑ColonDB数据集、CVC‑300数据集以及Kvasir数据集。其中，Kvasir数据集包含1000张息肉图像；CVC‑ColonDB数据集包含380张息肉图像；ETIS数据集包含196张用于结直肠癌的早期诊断的息肉图像；CVC‑ClinicDB数据集包含612张结肠镜检查图像；CVC‑300数据集包含300张结肠镜检查图像。可理解地，上述五个息肉数据集的待分割息肉图像均有与其相对应的Ground Truth图像。在实际应用中，将CVC‑ClinicDB数据集和Kvasir数据集按预设比例划分为训练数据集、验证数据集以及第一测试数据集，其中，所述预设比例为8:1:1。将CVC‑300数据集、CVC‑ColonDB数据集以及ETIS数据集作为第二测试数据集，并将所述第一测试数据集及所述第二测试数据集作为测试数据集。需要说明的是，在本发明实施例中，所述训练数据集及所述验证数据集用于所述息肉分割模型的训练阶段，所述测试数据集用于对优化后的所述息肉分割模型进行测试。

[0040] 还需要说明的是，在本发明实施例中，所有输入所述息肉分割模型的图像均需要先将其调整为预设尺寸大小，其中，所述预设尺寸大小为352×352；并采用多尺度训练策略替代数据增强，例如将预设尺寸大小缩放为{0.75，1，1.25}。进一步地，所述息肉分割模型是在PyTorch深度学习框架下实现，由Tesla K80GPU加速，并使用Adam优化器，学习率设定为4e‑5，整个网络以端到端的方式进行训练，训练批大小batchsize为16，epoch设置为20。

[0041] S110、将所述待分割息肉图像进行特征提取，得到多个低层特征及多个高层特征，其中，所述多个低层特征包括第一低层特征及由所述第一低层特征卷积后的第二低层特征。

[0042] 在本发明实施例中，获取所述待分割息肉图像所述Ground Truth图像之后，会将所述待分割息肉图像进行特征提取，得到多个低层特征及多个高层特征，其中，所述多个低层特征包括第一低层特征及由所述第一低层特征卷积后的第二低层特征，可理解地，所述第一低层特征卷积得到所述第二低层特征，所述第二低层特征卷积得到所述第一高层特征，依次类推，得到所述第三高层特征。需要说明的是，在本发明实施例中，所述特征提取模块为Res2Net模型，所述Res2Net模型输出网络层如表1所示，第一层至第五层输出图像信息分别对应所述第一低层特征、第二低层特征、第一高层特征、第二高层特征以及第三高层特征。还需要说明的是，低层特征分辨率高，保留着丰富的边界信息，但是由于经过的卷积更少，其语义性更低，噪声更多；高层特征由于编码过程多次卷积，损失了较多的细节信息，但是保留了一致的语义特征和清晰的背景。

[0043] 表1

[0044]

[0045]

[0046] S120、对所述多个高层特征扩大感受野得到多个目标特征图，并将上采样后的所述多个目标特征图进行特征叠加得到全局映射图。

[0047] 在本发明实施例中，所述多分支特征聚合模块具体操作如图3所示，先将所述多个高层特征输入所述多分支特征聚合模块扩大感受野得到多个目标特征图，再将所述多个目标特征图进行上采样，最后将上采样后的所述多个目标特征图进行特征叠加得到全局映射图。可理解地，通过所述多分支特征聚合模块可降低上采样导致的混叠效应，从多尺度观察待分割息肉图像。需要说明的是，在本发明实施例中，若假设所述多个目标特征图为F3、F4以及F5，将所述多个目标特征图进行上采样的具体操作为，先将目标特征图F4与上采样4倍后的目标特征图F5相加，相加之后进行2倍数的上采样得到临时目标特征图，将所述临时目标特征图与目标特征图F3相加得到全局映射图。

[0048] 请参阅图4，在一实施例中，例如在本发明实施例中，所述步骤S120包括如下步骤S121‑S123。

[0049] S121、针对每一所述高层特征，将其进行下采样得到多个第一特征图；

[0050] S122、对所述多个第一特征图进行卷积，并对卷积后的所述多个第一特征图进行上采样得到多个第二特征图；

[0051] S123、将所述多个第二特征图与输入的所述高层特征相叠加得到第三特征图，并对所述第三特征图进行卷积得到目标特征图。

[0052] 在本发明实施例中，针对每一所述高层特征，将其输入所述多分支特征聚合模块中的公式(1)中扩大感受野得到目标特征图，在公式(1)中，{fi,i＝3,4,5}分别表示第一高层特征、第二高层特征以及第三高层特征；Down2、Down4以及Down8分别表示2、4、8倍数的下采样，Up2，Up4以及Up8分别表示2、4、8倍数的上采样；Conv3表示3×3卷积，所述目标特征图为Fi。具体地，先将第一高层特征f3进行2、4、8倍数的下采样得到h1、h2以及h3，之后再将h1、h2以及h3进行3×3卷积，并将3×3卷积后的h1、h2以及h3进行2、4、8倍数的上采样得到多个特征k3，之后再将多个k3与f3相加得到目标特征图F3，依次类推，得到F4和F5。需要说明的是，在本发明实施例中，得到多个目标特征图F3、F4以及F5之后，会将所述多个目标特征图F3、F4以及F5进行特征叠加得到全局映射图。

[0053] Fi＝Conv3(fi+Up2(Conv3(Down2(fi)))+Up4(Conv3(Down4(fi)))+Up8(Conv3(Down8(fi))))                         (1)

[0054] S130、根据所述第二低层特征及所述Ground Truth图像生成边缘映射图，并通过第一预设损失函数对所述边缘映射图进行监督以更新所述第二低层特征。

[0055] 在本发明实施例中，通过所述边缘注意力模块对所述第二低层特征及所述Ground Truth图像进行边界约束生成边缘映射图，其中，所述边缘映射图包括第一边缘映射图及第二边缘映射图；生成所述第一边缘映射图及所述第二边缘映射图之后，通过第一预设损失函数对所述第一边缘映射图及所述第二边缘映射图进行监督以更新所述第二低层特征。需要说明的是，在本发明实施例中，之所以采用所述第二低层特征生成所述第一边缘映射图，是因为所述第二低层特征较所述第一低层边缘特征保留了足够的边缘信息。

[0056] 请参阅图5，在一实施例中，例如在本发明实施例中，所述步骤S130包括如下步骤S131‑S133。

[0057] S131、对所述第二低层特征进行卷积得到所述第一边缘映射图；

[0058] S132、对所述Ground Truth图像进行边界提取得到所述第二边缘映射图；

[0059] S133、通过第一预设损失函数对所述第一边缘映射图及所述第二边缘映射图进行监督以更新所述第二低层特征。

[0060] 在本发明实施例中，所述边缘注意力模块对所述第二低层特征进行卷积得到所述第一边缘映射图Se，需要说明的是，此处的卷积操作如表2所示；再将所述Ground Truth图像输入所述EA模块进行边界提取得到所述第二边缘映射图Ge，具体地，所述第二边缘映射图的提取过程如图6所示，将所述Ground Truth图像作为原始Ground Truth图像(如图6中的(a)所示)，进行膨胀及腐蚀得到膨胀Ground Truth图像及腐蚀Ground Truth图像；将所述膨胀Ground Truth图像减去所述原始Ground Truth图像得到第一边界环(如图6中的(b)所示))；将所述腐蚀Ground Truth图像减去所述原始Ground Truth图像得到第二边界环(如图6中的(c)所示)；将所述第一边界环及所述第二边界环进行叠加得到第二边缘映射图(如图6中的(d)所示)；通过第一预设损失函数对所述第一边缘映射图及所述第二边缘映射图进行监督以更新所述第二低层特征，其中，所述第一预设损失函数如公式(2)所示，在公式(2)中，Ledge为二值交叉熵，(x，y)、w以及h分别表示所述第一边缘映射图Se及所述第二边缘映射图Ge的像素坐标、边缘映射图的长以及边缘映射图的宽。需要说明的是，在本发明实施例中，对所述Ground Truth图像进行膨胀及腐蚀均为2×2。

[0061]

[0062] 表2

[0063]网络层名称 卷积核 输入通道 输出通道
edge_conv1 1×1 256 64
edge_conv2 3×3 64 64
edge_conv3 3×3 64 64
edge_conv4 3×3 64 1

[0064] S140、对所述多个高层特征、所述全局映射图以及更新后的所述第二低层特征进行平衡注意力学习得到多个预测图，并根据第二预设损失函数对所述多个预测图及所述Ground Truth图像进行监督约束，得到息肉分割图。

[0065] 在本发明实施例中，根据所述多个高层特征、所述全局映射图以及更新后的所述第二低层特征通过所述强化平衡注意模块及预测图生成方法得到息肉分割图，在实际应用中，先将所述第三高层特征及所述全局映射图输入所述强化平衡注意模块得到注意力特征，然后根据所述注意力特征、所述全局映射图以及所述第二低层特征得到与所述第三高层特征对应的预测图，依次类推，得到与所述第一高层特征相对应的预测图，并将与所述第一高层特征相对应的所述预测图输入Sigmoid函数获得息肉分割图。

[0066] 请参阅图7，在一实施例中，例如在本发明实施例中，所述步骤S140包括如下步骤S141‑S144。

[0067] S141、将所述全局映射图及所述多个高层特征中的最高层特征分别作为当前上层预测图及当前高层特征；

[0068] S142、对所述当前上层预测图、所述当前高层特征以及更新后的所述第二低层特征进行平衡注意力学习得到预测图；

[0069] S143、根据第二预设损失函数对所述预测图及所述Ground Truth图像进行监督约束以更新所述预测图；

[0070] S144、将更新后的所述预测图及下一层所述高层特征分别作为所述当前上层预测图及所述当前高层特征，并返回执行所述对所述当前上层预测图、所述当前高层特征以及更新后的所述第二低层特征进行平衡注意力学习得到预测图的步骤，直至输出息肉分割图为止。

[0071] 在本发明实施例中，先将所述全局映射图Sg及所述第三高层特征f5分别作为当前上层预测图及当前高层特征；再将所述当前高层特征及所述当前上层预测图输入所述强化平衡注意模块进行计算学习得到注意力特征，具体地，所述强化平衡注意模块的计算学习过程如图8所示，将所述当前上层预测图输入所述强化平衡注意模块通过第一预设公式pred、第二预设公式1‑|pred‑0.5|/0.5以及第三预设公式1‑pred分别计算出第一前景注意力图、第一边界注意力图以及第一背景注意力图，其中，pred为对所述当前上层预测图通过Sigmoid计算得到；将所述第一前景注意力图、所述第一边界注意力图以及所述第一背景注意力图分别与所述当前高层特征相乘，相乘之后再进行卷积得到前景注意力图Fforground、边界注意力图Fboundary以及背景注意力图Fbackgroud，所述前景注意力图Fforground、所述边界注意力图Fboundary以及所述背景注意力图Fbackgroud的计算公式如公式(3)至公式(5)所示，其中，Conv1/3表示减少三分之一通道信息卷积操作；得到所述前景注意力图Fforground、所述边界注意力图Fboundary以及所述背景注意力图Fbackgroud之后，将拼接后的所述前景注意力图、所述边界注意力图以及所述背景注意力图输入SENet网络中的SE模块进行通道学习，通道学习后再进行卷积操作，卷积操作之后与所述当前高层特征进行相加输出注意力特征；将所述注意力特征、更新后的所述第二低层特征以及所述当前上层预测图相加得到与所述第三高层特征相对应的预测图S5，具体如公式(6)所示，在公式(6)中，Bout为输出的预测图，Cat为拼接操作，SE为通过SENet网络中的SE模块进行通道学习，可重新注意前景、边界以及背景三个区域，在得到预测图S5之后，还会根据第二预设损失函数对所述预测图S5及所述Ground Truth图像进行监督约束更新预测图S5，其中，所述第二预设损失函数如公式(7)所示，在公式(7)中，Ledge为二值交叉熵，G为所述Ground Truth图像， 表示所述全局映射图的上采样，及 分别表示与所述多个高层特征相对应的预测图的上采样。依次类推，得到与所述第二高层特征及所述第一高层特征相对应的预测图S4及S3，并将所述预测图S3输入Sigmoid函数获得息肉分割图。需要说明的是，在本发明实施例中，三个预测图S3,S4,S5和全局映射图Sg与所述Ground Truth图像采用监督策略，损失函数定义为 其中， 表示基于全局约束和局部约束的加权IoU损失， 表示二进制交叉熵(BCE)损失。在实际应用中，使用mean IoU和mean Dice作为定量评估，其中，mean IoU用于衡量检测物体准确度；
mean Dice用于衡量样本之间的相似度，表3为使用所述息肉分割模型对结肠息肉图像的进行训练、验证以及测试的定量结果，由此可知，所述息肉分割模型的学习能力、泛化能力均较高。

[0072] Fforeground＝Conv1/3(pred×fi)                                (3)[0073] Fboundary＝Conv1/3((1‑|pred‑0.5|/0.5)×fi)                      (4)[0074] Fbackground＝Conv1/3((1‑pred)×fi)                             (5)[0075] Bout＝Conv3(SE(Cat(Fforeground,Fboundary,Fbackground)))+fi+f2+Si+1        (6)[0076]

[0077] 表3

[0078] Datasets meanDice meanIoUCVC‑ClinicDB 0.923 0.869
Kvasir 0.887 0.830
CVC‑ColonDB 0.743 0.668
ETIS 0.731 0.655
CVC‑300 0.901 0.835

[0079] 图9是本发明实施例提供的一种基于注意力及边界约束的息肉图像分割装置200的示意性框图。如图9所示，对应于以上基于注意力及边界约束的息肉图像分割方法，本发明还提供一种基于注意力及边界约束的息肉图像分割装置200。该基于注意力及边界约束的息肉图像分割装置200包括用于执行上述基于注意力及边界约束的息肉图像分割方法的单元，该装置可以被配置于服务器中。具体地，请参阅图9，该基于注意力及边界约束的息肉图像分割装置200包括获取处理单元201、特征提取单元202、特征聚合单元203、边界约束单元204以及平衡注意力单元205。

[0080] 其中，所述获取处理单元201用于获取待分割息肉图像及与所述待分割息肉图像相对应的Ground Truth图像；所述特征提取单元202用于将所述待分割息肉图像进行特征提取，得到多个低层特征及多个高层特征，其中，所述多个低层特征包括第一低层特征及由所述第一低层特征卷积后的第二低层特征；所述特征聚合单元203用于对所述多个高层特征扩大感受野得到多个目标特征图，并将上采样后的所述多个目标特征图进行特征叠加得到全局映射图；所述边界约束单元204用于根据所述第二低层特征及所述Ground Truth图像生成边缘映射图，并通过第一预设损失函数对所述边缘映射图进行监督以更新所述第二低层特征；所述平衡注意力单元205用于对所述多个高层特征、所述全局映射图以及更新后的所述第二低层特征进行平衡注意力学习得到多个预测图，并根据第二预设损失函数对所述多个预测图及所述Ground Truth图像进行监督约束，得到息肉分割图。

[0081] 在某些实施例，例如本实施例中，所述特征聚合单元203包括上采样单元、下采样单元以及第一卷积单元。

[0082] 其中，所述上采样单元用于针对每一所述高层特征，将其进行下采样得到多个第一特征图；所述下采样单元用于对所述多个第一特征图进行卷积，并对卷积后的所述多个第一特征图进行上采样得到多个第二特征图；所述第一卷积单元用于将所述多个第二特征图与输入的所述高层特征相叠加得到第三特征图，并对所述第三特征图进行卷积得到目标特征图。

[0083] 在某些实施例，例如本实施例中，所述边界约束单元204包括第二卷积单元、边界提取单元以及第一计算单元。

[0084] 其中，所述第二卷积单元用于对所述第二低层特征进行卷积得到所述第一边缘映射图；所述边界提取单元用于对所述Ground Truth图像进行边界提取得到所述第二边缘映射图；所述第一计算单元用于通过第一预设损失函数对所述第一边缘映射图及所述第二边缘映射图进行监督以更新所述第二低层特征。

[0085] 在某些实施例，例如本实施例中，所述边界提取单元包括膨胀腐蚀单元、第二计算单元、第三计算单元以及叠加单元。

[0086] 其中，所述膨胀腐蚀单元用于将所述Ground Truth图像作为原始Ground Truth图像，并对所述原始Ground Truth图像进行膨胀及腐蚀得到膨胀Ground Truth图像及腐蚀Ground Truth图像；所述第二计算单元用于将所述膨胀Ground Truth图像减去所述原始Ground Truth图像得到第一边界环；所述第三计算单元用于将所述腐蚀Ground Truth图像减去所述原始Ground Truth图像得到第二边界环；所述叠加单元用于将所述第一边界环及所述第二边界环进行叠加得到第二边缘映射图。

[0087] 在某些实施例，例如本实施例中，所述平衡注意力单元205包括作为单元、第四计算单元、第五计算单元以及返回执行单元。

[0088] 其中，所述作为单元用于将所述全局映射图及所述多个高层特征中的最高层特征分别作为当前上层预测图及当前高层特征；所述第四计算单元用于对所述当前上层预测图、所述当前高层特征以及更新后的所述第二低层特征进行平衡注意力学习得到预测图；所述第五计算单元用于根据第二预设损失函数对所述预测图及所述Ground Truth图像进行监督约束以更新所述预测图；所述返回执行单元用于将更新后的所述预测图及下一层所述高层特征分别作为所述当前上层预测图及所述当前高层特征，并返回执行所述对所述当前上层预测图、所述当前高层特征以及更新后的所述第二低层特征进行平衡注意力学习得到预测图的步骤，直至输出息肉分割图为止。

[0089] 在某些实施例，例如本实施例中，所述第四计算单元包括第一计算子单元、第二计算子单元、第三卷积单元、通道学习单元、第三计算子单元以及第四计算子单元。

[0090] 其中，所述第一计算子单元用于根据所述当前上层预测图通过第一预设公式、第二预设公式以及第三预设公式分别计算出第一前景注意力图、第一边界注意力图以及第一背景注意力图；所述第二计算子单元用于将所述第一前景注意力图、所述第一边界注意力图以及所述第一背景注意力图分别与所述当前高层特征相乘得到第二前景注意力图、第二边界注意力图以及第二背景注意力图；所述第三卷积单元用于将所述第二前景注意力图、所述第二边界注意力图以及所述第二背景注意力图进行卷积得到第三前景注意力图、第三边界注意力图以及第三背景注意力图，并将所述第三前景注意力图、所述第三边界注意力图以及所述第三背景注意力图分别作为前景注意力图、边界注意力图以及背景注意力图；所述通道学习单元用于将拼接后的所述前景注意力图、所述边界注意力图以及所述背景注意力图输入SENet网络中的SE模块进行通道学习得到第一注意力特征；所述第三计算子单元用于将所述第一注意力特征进行卷积之后与所述当前高层特征进行相加得到第二注意力特征，并将所述第二注意力特征作为注意力特征；所述第四计算子单元用于将所述注意力特征、更新后的所述第二低层特征以及所述当前上层预测图相加得到预测图。

[0091] 本发明实施例的基于注意力及边界约束的息肉图像分割装置200的具体实现方式与上述基于注意力及边界约束的息肉图像分割方法相对应，在此不再赘述。

[0092] 上述基于注意力及边界约束的息肉图像分割装置可以实现为一种计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。

[0093] 请参阅图10，图10是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备300为服务器，具体地，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

[0094] 参阅图10，该计算机设备300包括通过系统总线301连接的处理器302、存储器和网络接口305，其中，存储器可以包括存储介质303和内存储器304。

[0095] 该存储介质303可存储操作系统3031和计算机程序3032。该计算机程序3032被执行时，可使得处理器302执行一种基于注意力及边界约束的息肉图像分割方法。

[0096] 该处理器302用于提供计算和控制能力，以支撑整个计算机设备300的运行。

[0097] 该内存储器304为存储介质303中的计算机程序3032的运行提供环境，该计算机程序3032被处理器302执行时，可使得处理器302执行一种基于注意力及边界约束的息肉图像分割方法。

[0098] 该网络接口305用于与其它设备进行网络通信。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备300的限定，具体的计算机设备300可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0099] 其中，所述处理器302用于运行存储在存储器中的计算机程序3032，以实现如下步骤：获取待分割息肉图像及与所述待分割息肉图像相对应的Ground Truth图像；将所述待分割息肉图像进行特征提取，得到多个低层特征及多个高层特征，其中，所述多个低层特征包括第一低层特征及由所述第一低层特征卷积后的第二低层特征；对所述多个高层特征扩大感受野得到多个目标特征图，并将上采样后的所述多个目标特征图进行特征叠加得到全局映射图；根据所述第二低层特征及所述Ground Truth图像生成边缘映射图，并通过第一预设损失函数对所述边缘映射图进行监督以更新所述第二低层特征；对所述多个高层特征、所述全局映射图以及更新后的所述第二低层特征进行平衡注意力学习得到多个预测图，并根据第二预设损失函数对所述多个预测图及所述Ground Truth图像进行监督约束，得到息肉分割图。

[0100] 在某些实施例，例如本实施例中，处理器302在实现所述对所述多个高层特征扩大感受野得到多个目标特征图步骤时，具体实现如下步骤：针对每一所述高层特征，将其进行下采样得到多个第一特征图；对所述多个第一特征图进行卷积，并对卷积后的所述多个第一特征图进行上采样得到多个第二特征图；将所述多个第二特征图与输入的所述高层特征相叠加得到第三特征图，并对所述第三特征图进行卷积得到目标特征图。

[0101] 在某些实施例，例如本实施例中，处理器302在实现所述根据所述第二低层特征及所述Ground Truth图像生成边缘映射图，并通过第一预设损失函数对所述边缘映射图进行监督以更新所述第二低层特征步骤时，具体实现如下步骤：对所述第二低层特征进行卷积得到所述第一边缘映射图；将所述Ground Truth图像作为原始Ground Truth图像，并对所述原始Ground Truth图像进行膨胀及腐蚀得到膨胀Ground Truth图像及腐蚀Ground Truth图像；将所述膨胀Ground Truth图像减去所述原始Ground Truth图像得到第一边界环；将所述腐蚀Ground Truth图像减去所述原始Ground Truth图像得到第二边界环；将所述第一边界环及所述第二边界环进行叠加得到第二边缘映射图；通过第一预设损失函数对所述第一边缘映射图及所述第二边缘映射图进行监督以更新所述第二低层特征。

[0102] 在某些实施例，例如本实施例中，处理器302在实现所述对所述多个高层特征、所述全局映射图以及更新后的所述第二低层特征进行平衡注意力学习得到多个预测图，并根据第二预设损失函数对所述多个预测图及所述Ground Truth图像进行监督约束，得到息肉分割图步骤时，具体实现如下步骤：将所述全局映射图及所述多个高层特征中的最高层特征分别作为当前上层预测图及当前高层特征；对所述当前上层预测图、所述当前高层特征以及更新后的所述第二低层特征进行平衡注意力学习得到预测图；根据第二预设损失函数对所述预测图及所述Ground Truth图像进行监督约束以更新所述预测图；将更新后的所述预测图及下一层所述高层特征分别作为所述当前上层预测图及所述当前高层特征，并返回执行所述对所述当前上层预测图、所述当前高层特征以及更新后的所述第二低层特征进行平衡注意力学习得到预测图的步骤，直至输出息肉分割图为止。

[0103] 在某些实施例，例如本实施例中，处理器302在实现所述对所述当前上层预测图、所述当前高层特征以及更新后的所述第二低层特征进行平衡注意力学习得到预测图步骤时，具体实现如下步骤：根据所述当前上层预测图通过第一预设公式、第二预设公式以及第三预设公式分别计算出第一前景注意力图、第一边界注意力图以及第一背景注意力图；将所述第一前景注意力图、所述第一边界注意力图以及所述第一背景注意力图分别与所述当前高层特征相乘得到第二前景注意力图、第二边界注意力图以及第二背景注意力图；将所述第二前景注意力图、所述第二边界注意力图以及所述第二背景注意力图进行卷积得到第三前景注意力图、第三边界注意力图以及第三背景注意力图，并将所述第三前景注意力图、所述第三边界注意力图以及所述第三背景注意力图分别作为前景注意力图、边界注意力图以及背景注意力图；将拼接后的所述前景注意力图、所述边界注意力图以及所述背景注意力图输入SENet网络中的SE模块进行通道学习得到第一注意力特征；将所述第一注意力特征进行卷积之后与所述当前高层特征进行相加得到第二注意力特征，并将所述第二注意力特征作为注意力特征；将所述注意力特征、更新后的所述第二低层特征以及所述当前上层预测图相加得到预测图。

[0104] 应当理解，在本申请实施例中，处理器302可以是中央处理单元(Central Processing Unit，CPU)，该处理器302还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field‑Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

[0105] 本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

[0106] 因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序被处理器执行时使处理器执行上述基于注意力及边界约束的息肉图像分割方法的任意实施例。

[0107] 所述存储介质可以是U盘、移动硬盘、只读存储器(Read‑Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

[0108] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

[0109] 在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

[0110] 本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

[0111] 该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

[0112] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。

[0113] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

[0114] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。