基于位置先验和特征感知的肿瘤病变区域检测方法及装置

摘要

本发明公开了一种基于位置先验和特征感知的肿瘤病变区域检测方法及装置，涉及医学图像处理领域，包括：获取乳腺超声图像并预处理，得到预处理后的乳腺超声图像；构建基于改进的YOLOv5网络的乳腺肿瘤病变区域检测模型并训练，得到经训练的乳腺肿瘤病变区域检测模型，该模型包括骨干网络、颈部结构和头部结构，将YOLOv5网络中的骨干网络和颈部结构中的CBS模块改为DBS模块，将C3模块中的CBS模块改为DBS模块，CBM模块改为DBM模块，在SPPF模块后面增加一个位置注意力模块，将头部结构中检测模块改为特征感知模块；将预处理后的乳腺超声图像输入经训练的乳腺肿瘤病变区域检测模型，得到病变区域、对应的肿瘤良恶性类别及置信度，解决易受散斑噪声影响导致准确低的问题。

权利要求

1.一种基于位置先验和特征感知的肿瘤病变区域检测方法，其特征在于，包括以下步骤：获取待识别的乳腺超声图像，对所述乳腺超声图像进行预处理，得到预处理后的乳腺超声图像；

构建基于改进的YOLOv5网络的乳腺肿瘤病变区域检测模型并训练，得到经训练的乳腺肿瘤病变区域检测模型，所述基于改进的YOLOv5网络包括骨干网络、颈部结构和头部结构，将YOLOv5网络中的所述骨干网络和颈部结构中的CBS模块改为DBS模块，将C3模块中的CBS模块改为DBS模块，CBM模块改为DBM模块，以得到D3模块，在所述骨干网络中的SPPF模块后面增加一个位置注意力模块，将所述头部结构中检测模块改为特征感知模块；

将所述预处理后的乳腺超声图像输入所述经训练的乳腺肿瘤病变区域检测模型，预测得到所述乳腺超声图像中的病变区域、对应的肿瘤良恶性类别及置信度；

所述DBS模块包括依次连接的动态卷积层、批量归一化层和Sigmoid激活函数层，所述DBM模块包括依次连接的动态卷积层、批量归一化层和Mish激活函数层；所述动态卷积层的计算过程如下：其中，R定义了感受野的大小和扩张，其值为R＝{(‑1，‑1)，(‑1,0)，...，(0,1)，(1,1)}，p0为中心点的位置，pn是在R范围内的9个位置，△pn是学习偏移量，x为所述动态卷积层的输入，y为所述动态卷积层的输出，w为权重；

所述位置注意力模块的计算过程具体包括：

将所述位置注意力模块的输入分别沿水平方向和垂直方向对每个通道进行平均池化，得到水平方向感知特征图和垂直方向感知特征图；

将所述水平方向感知特征图和垂直方向感知特征图进行拼接，得到第一特征图；

将所述第一特征图依次输入第一卷积层、第一BN层和非线性激活函数层，得到第二特征图；

将所述第二特征图分别在水平方向和垂直方向分割，得到水平方向关注特征图和垂直方向关注特征图；

将所述水平方向关注特征图和垂直方向关注特征图分别依次输入第二卷积层和Sigmoid函数层，得到水平注意力权重值和垂直注意力权重值；

将所述位置注意力模块的输入与所述水平注意力权重值和垂直注意力权重值相乘，得到所述位置注意力模块的输出；

所述特征感知模块的计算过程具体包括：

将所述颈部结构的输出的三张不同尺寸的特征图先经过第一CBS模块调整通道数，而后分别经过第二CBS模块和Repvgg模块，将所述第二CBS模块的输出输入第三卷积层，得到对应的肿瘤良恶性类别；

所述Repvgg模块的输出再分别输入第四卷积层和第五卷积层，分别得到所述乳腺超声图像中的病变区域及置信度；其中，所述第三卷积层、第四卷积层、第五卷积层以及所述第一CBS模块中的卷积层的卷积核大小均为1×1，所述第二CBS模块中的卷积层的卷积核大小为3×3；

所述Repvgg模块的计算过程具体包括：

将所述Repvgg模块的输入分别经过第三分支、第四分支和第五分支，分别得到第一特征、第二特征和第三特征，其中，所述第三分支包括依次连接的第六卷积层和第二BN层，所述第四分支包括依次连接的第七卷积层和第三BN层，所述第五分支为第四BN层，所述第六卷积层的卷积核大小为3×3，所述第七卷积层的卷积核大小为1×1；

将所述第一特征、第二特征和第三特征相加后输入Relu激活函数层，得到所述Repvgg模块的输出。

2.根据权利要求1所述的基于位置先验和特征感知的肿瘤病变区域检测方法，其特征在于，所述对所述乳腺超声图像进行预处理，具体包括：对所述乳腺超声图像的四周的标注信息去除和增强对比度，所述增强对比度的计算公式如下：*

k＝C log[k+1]；

其中，k为乳腺超声图像的像素值，k*为对应增强处理后的像素值，log表示对数函数，C表示常数。

3.一种基于位置先验和特征感知的肿瘤病变区域检测装置，其特征在于，包括：图像预处理模块，被配置为获取待识别的乳腺超声图像，对所述乳腺超声图像进行预处理，得到预处理后的乳腺超声图像；

模型构建模块，被配置为构建基于改进的YOLOv5网络的乳腺肿瘤病变区域检测模型并训练，得到经训练的乳腺肿瘤病变区域检测模型，所述基于改进的YOLOv5网络包括骨干网络、颈部结构和头部结构，在所述骨干网络和颈部结构中，将YOLOv5网络中的所述骨干网络和颈部结构中的CBS模块改为DBS模块，将C3模块中的CBS模块改为DBS模块，CBM模块改为DBM模块，以得到D3模块，在所述骨干网络中的SPPF模块后面增加一个位置注意力模块，将所述头部结构中检测模块改为特征感知模块；

预测模块，被配置为将所述预处理后的乳腺超声图像输入所述经训练的乳腺肿瘤病变区域检测模型，预测得到所述乳腺超声图像中的病变区域、对应的肿瘤良恶性类别及置信度；

所述DBS模块包括依次连接的动态卷积层、批量归一化层和Sigmoid激活函数层，所述DBM模块包括依次连接的动态卷积层、批量归一化层和Mish激活函数层；所述动态卷积层的计算过程如下：其中，R定义了感受野的大小和扩张，其值为R＝{(‑1，‑1)，(‑1,0)，...，(0,1)，(1,1)}，p0为中心点的位置，pn是在R范围内的9个位置，△pn是学习偏移量，x为所述动态卷积层的输入，y为所述动态卷积层的输出，w为权重；

所述位置注意力模块的计算过程具体包括：

将所述位置注意力模块的输入分别沿水平方向和垂直方向对每个通道进行平均池化，得到水平方向感知特征图和垂直方向感知特征图；

将所述水平方向感知特征图和垂直方向感知特征图进行拼接，得到第一特征图；

将所述第一特征图依次输入第一卷积层、第一BN层和非线性激活函数层，得到第二特征图；

将所述第二特征图分别在水平方向和垂直方向分割，得到水平方向关注特征图和垂直方向关注特征图；

将所述水平方向关注特征图和垂直方向关注特征图分别依次输入第二卷积层和Sigmoid函数层，得到水平注意力权重值和垂直注意力权重值；

将所述位置注意力模块的输入与所述水平注意力权重值和垂直注意力权重值相乘，得到所述位置注意力模块的输出；

所述特征感知模块的计算过程具体包括：

将所述颈部结构的输出的三张不同尺寸的特征图先经过第一CBS模块调整通道数，而后分别经过第二CBS模块和Repvgg模块，将所述第二CBS模块的输出输入第三卷积层，得到对应的肿瘤良恶性类别；

所述Repvgg模块的输出再分别输入第四卷积层和第五卷积层，分别得到所述乳腺超声图像中的病变区域及置信度；其中，所述第三卷积层、第四卷积层、第五卷积层以及所述第一CBS模块中的卷积层的卷积核大小均为1×1，所述第二CBS模块中的卷积层的卷积核大小为3×3；

所述Repvgg模块的计算过程具体包括：

将所述Repvgg模块的输入分别经过第三分支、第四分支和第五分支，分别得到第一特征、第二特征和第三特征，其中，所述第三分支包括依次连接的第六卷积层和第二BN层，所述第四分支包括依次连接的第七卷积层和第三BN层，所述第五分支为第四BN层，所述第六卷积层的卷积核大小为3×3，所述第七卷积层的卷积核大小为1×1；

将所述第一特征、第二特征和第三特征相加后输入Relu激活函数层，得到所述Repvgg模块的输出。

4.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1‑2中任一所述的方法。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1‑2中任一所述的方法。

说明书

基于位置先验和特征感知的肿瘤病变区域检测方法及装置

技术领域

[0001] 本发明涉及医学图像处理领域，具体涉及一种基于位置先验和特征感知的肿瘤病变区域检测方法及装置。

背景技术

[0002] 目前乳腺超声图像存在许多问题，如存在散斑噪声、对比度低等，同时超声科医生在诊断过程中会受到经验和知识水平限制的影响，易导致误诊和漏诊问题。因此，结合计算机的分析计算，辅助医生发现病变区域，在乳腺癌临床诊疗中具有重要的意义和应用价值。

[0003] 近年来，基于深度学习的乳腺CAD研究有了较大进展。Zhang等人将蒙克卡罗引入YOLOv4网络结构中，以缓解乳腺超声肿瘤图像易受到噪声影响的问题，使用随机可变权值替代固定值，将不确定信息融合并传播到卷积神经网络中，从而有效提高检测能力(Zhang Z,Li Y,Wu W,et al.Tumor detection using deep learning method in automated breast ultrasound[J].Biomedical signal processing and control,2021,68:102677.)。Wang等人在yolov5的基础上将特征融合策略替换为密集连接的特征金字塔网络，以提高乳腺肿瘤特征提取能力，并且引入了通道注意模块，减少假阳性，进一步提高了肿瘤检测性能，召回率达到了89.80％(Wang Y,Chen H,Li Y.DM‑YOLOv5 for ABUS Detection[C]//2022International Conference on Image Processing,Computer Vision and Machine Learning(ICICML).IEEE,2022:229‑235.)。但由于乳腺超声图像背景灰度值与病变区特征区分度小，容易受到散斑噪声的影响，且乳腺肿瘤病变区域具有形态多样和边缘模糊等特点，导致对乳腺超声肿瘤图像检测的不准确。

发明内容

[0004] 针对上述提到的技术问题。本申请的实施例的目的在于提出了一种基于位置先验和特征感知的肿瘤病变区域检测方法及装置，来解决以上背景技术部分提到的技术问题。

[0005] 第一方面，本发明提供了一种基于位置先验和特征感知的肿瘤病变区域检测方法，包括以下步骤：

[0006] 获取待识别的乳腺超声图像，对乳腺超声图像进行预处理，得到预处理后的乳腺超声图像；

[0007] 构建基于改进的YOLOv5网络的乳腺肿瘤病变区域检测模型并训练，得到经训练的乳腺肿瘤病变区域检测模型，基于改进的YOLOv5网络包括骨干网络、颈部结构和头部结构，将YOLOv5网络中的骨干网络和颈部结构中的CBS模块改为DBS模块，将C3模块中的CBS模块改为DBS模块，CBM模块改为DBM模块，以得到D3模块，在骨干网络中的SPPF模块后面增加一个位置注意力模块，将头部结构中检测模块改为特征感知模块；

[0008] 将预处理后的乳腺超声图像输入经训练的乳腺肿瘤病变区域检测模型，预测得到乳腺超声图像中的病变区域、对应的肿瘤良恶性类别及置信度。

[0009] 作为优选，对乳腺超声图像进行预处理，具体包括：

[0010] 对乳腺超声图像的四周的标注信息去除和增强对比度，增强对比度的计算公式如下：

[0011] k*＝C log[k+1]；

[0012] 其中，k为乳腺超声图像的像素值，k*为对应增强处理后的像素值，log表示对数函数，C表示常数。

[0013] 作为优选，DBS模块包括依次连接的动态卷积层、批量归一化层和Sigmoid激活函数层，DBM模块包括依次连接的动态卷积层、批量归一化层和Mish激活函数层。

[0014] 作为优选，动态卷积层的计算过程如下：

[0015]

[0016] 其中，R定义了感受野的大小和扩张，其值为R＝{(‑1，‑1)，(‑1，0)，...，(0，1)，(1，1)}，p0为中心点的位置，pn是在R范围内的9个位置，Δpn是学习偏移量，x为动态卷积层的输入，y为动态卷积层的输出，w为权重。

[0017] 作为优选，位置注意力模块的计算过程具体包括：

[0018] 将位置注意力模块的输入分别沿水平方向和垂直方向对每个通道进行平均池化，得到水平方向感知特征图和垂直方向感知特征图；

[0019] 将水平方向感知特征图和垂直方向感知特征图进行拼接，得到第一特征图；

[0020] 将第一特征图依次输入第一卷积层、第一BN层和非线性激活函数层，得到第二特征图；

[0021] 将第二特征图分别在水平方向和垂直方向分割，得到水平方向关注特征图和垂直方向关注特征图；

[0022] 将水平方向关注特征图和垂直方向关注特征图分别依次输入第二卷积层和Sigmoid函数层，得到水平注意力权重值和垂直注意力权重值；

[0023] 将位置注意力模块的输入与水平注意力权重值和垂直注意力权重值相乘，得到位置注意力模块的输出。

[0024] 作为优选，特征感知模块的计算过程具体包括：

[0025] 将颈部结构的输出的三张不同尺寸的特征图先经过第一CBS模块调整通道数，而后分别经过第二CBS模块和Repvgg模块，将第二CBS模块的输出输入第三卷积层，得到对应的肿瘤良恶性类别；

[0026] Repvgg模块的输出再分别输入第四卷积层和第五卷积层，分别得到乳腺超声图像中的病变区域及置信度；其中，第三卷积层、第四卷积层、第五卷积层以及第一CBS模块中的卷积层的卷积核大小均为1×1，第二CBS模块中的卷积层的卷积核大小为3×3。

[0027] 作为优选，Repvgg模块的计算过程具体包括：

[0028] 将Repvgg模块的输入分别经过第三分支、第四分支和第五分支，分别得到第一特征、第二特征和第三特征，其中，第三分支包括依次连接的第六卷积层和第二BN层，第四分支包括依次连接的第七卷积层和第三BN层，第五分支为第四BN层，第六卷积层的卷积核大小为3×3，第七卷积层的卷积核大小为1×1；

[0029] 将第一特征、第二特征和第三特征相加后输入Relu激活函数层，得到Repvgg模块的输出。

[0030] 第二方面，本发明提供了一种基于位置先验和特征感知的肿瘤病变区域检测装置，包括：

[0031] 图像预处理模块，被配置为获取待识别的乳腺超声图像，对乳腺超声图像进行预处理，得到预处理后的乳腺超声图像；

[0032] 模型构建模块，被配置为构建基于改进的YOLOv5网络的乳腺肿瘤病变区域检测模型并训练，得到经训练的乳腺肿瘤病变区域检测模型，基于改进的YOLOv5网络包括骨干网络、颈部结构和头部结构，在骨干网络和颈部结构中，将YOLOv5网络中的骨干网络和颈部结构中的CBS模块改为DBS模块，将C3模块中的CBS模块改为DBS模块，CBM模块改为DBM模块，以得到D3模块，在骨干网络中的SPPF模块后面增加一个位置注意力模块，将头部结构中检测模块改为特征感知模块；

[0033] 预测模块，被配置为将预处理后的乳腺超声图像输入经训练的乳腺肿瘤病变区域检测模型，预测得到乳腺超声图像中的病变区域、对应的肿瘤良恶性类别及置信度。

[0034] 第三方面，本发明提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。

[0035] 第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

[0036] 相比于现有技术，本发明具有以下有益效果：

[0037] (1)本发明提出的基于位置先验和特征感知的肿瘤病变区域检测方法中通过乳腺肿瘤病变区域检测模型的骨干网络中的D3模块与DBM模块交替提取乳腺超声肿瘤图像的特征信息，扩大了检测模型的接受域，使检测模型更好地学习长程空间关系，建立隐式空间模型，在采样过程中拟合带病变区域的形状，以学习完整的病变区域特征。

[0038] (2)本发明提出的基于位置先验和特征感知的肿瘤病变区域检测方法在骨干网络中嵌入位置注意力模块，强化位置信息的传播，引导网络聚焦于病灶区域，增强对乳腺肿瘤病变区域特有的位置信息的关注，加强乳腺病变区域远程位置依赖，提高对乳腺肿瘤位置特征的感知能力。

[0039] (3)本发明提出的基于位置先验和特征感知的肿瘤病变区域检测方法在头部结构中采用特征感知模块，该模块采用双支路的形式，消除不同任务之间的耦合性，缓解了任务之间的差异性导致的预测偏差，同时扩展了网络的感受野，以增强病变区边缘的采样能力，增强对乳腺肿瘤病变区域局部特征表达的灵活度，为乳腺病变区域边缘细节提供强有力线索，从而提高乳腺病变区域的检测的准确度。

附图说明

[0040] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0041] 图1是本申请的一个实施例可以应用于其中的示例性装置架构图；

[0042] 图2为本申请的实施例的基于位置先验和特征感知的肿瘤病变区域检测方法的流程示意图；

[0043] 图3为本申请的实施例的基于位置先验和特征感知的肿瘤病变区域检测方法的乳腺肿瘤病变区域检测模型的结构示意图；

[0044] 图4为本申请的实施例的基于位置先验和特征感知的肿瘤病变区域检测方法的D3模块的结构示意图；

[0045] 图5为本申请的实施例的基于位置先验和特征感知的肿瘤病变区域检测方法的位置注意力模块的结构示意图；

[0046] 图6为本申请的实施例的基于位置先验和特征感知的肿瘤病变区域检测方法的特征感知模块的结构示意图；

[0047] 图7为本申请的实施例的基于位置先验和特征感知的肿瘤病变区域检测方法的Repvgg模块的结构示意图；

[0048] 图8为本申请的实施例的基于位置先验和特征感知的肿瘤病变区域检测装置的示意图；

[0049] 图9是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。

具体实施方式

[0050] 为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

[0051] 图1示出了可以应用本申请实施例的基于位置先验和特征感知的肿瘤病变区域检测方法或基于位置先验和特征感知的肿瘤病变区域检测装置的示例性装置架构100。

[0052] 如图1所示，装置架构100可以包括终端设备一101、终端设备二102、终端设备三103，网络104和服务器105。网络104用以在终端设备一101、终端设备二102、终端设备三103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

[0053] 用户可以使用终端设备一101、终端设备二102、终端设备三103通过网络104与服务器105交互，以接收或发送消息等。终端设备一101、终端设备二102、终端设备三103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。

[0054] 终端设备一101、终端设备二102、终端设备三103可以是硬件，也可以是软件。当终端设备一101、终端设备二102、终端设备三103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备一101、终端设备二102、终端设备三103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

[0055] 服务器105可以是提供各种服务的服务器，例如对终端设备一101、终端设备二102、终端设备三103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。

[0056] 需要说明的是，本申请实施例所提供的基于位置先验和特征感知的肿瘤病变区域检测方法可以由服务器105执行，也可以由终端设备一101、终端设备二102、终端设备三103执行，相应地，基于位置先验和特征感知的肿瘤病变区域检测装置可以设置于服务器105中，也可以设置于终端设备一101、终端设备二102、终端设备三103中。

[0057] 应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。

[0058] 图2示出了本申请的实施例提供的一种基于位置先验和特征感知的肿瘤病变区域检测方法，包括以下步骤：

[0059] S1，获取待识别的乳腺超声图像，对乳腺超声图像进行预处理，得到预处理后的乳腺超声图像。

[0060] 具体的，对所述乳腺超声图像进行预处理，具体包括：

[0061] 对乳腺超声图像的四周的标注信息去除和增强对比度，所述增强对比度的计算公式如下：

[0062] k*＝C log[k+1]；

[0063] 其中，k为乳腺超声图像的像素值，k*为对应增强处理后的像素值，log表示对数函数，C表示常数。

[0064] 具体的，常数C用于使预处理后的乳腺超声图像的灰度动态范围符合要求。

[0065] S2，构建基于改进的YOLOv5网络的乳腺肿瘤病变区域检测模型并训练，得到经训练的乳腺肿瘤病变区域检测模型，基于改进的YOLOv5网络包括骨干网络、颈部结构和头部结构，在骨干网络和颈部结构中，将YOLOv5网络中的骨干网络和颈部结构中的CBS模块改为DBS模块，将C3模块中的CBS模块改为DBS模块，CBM模块改为DBM模块，以得到D3模块，在骨干网络中的SPPF模块后面增加一个位置注意力模块，将头部结构中检测模块改为特征感知模块。

[0066] 在具体的实施例中，DBS模块包括依次连接的动态卷积层、批量归一化层和Sigmoid激活函数层，DBM模块包括依次连接的动态卷积层、批量归一化层和Mish激活函数层。

[0067] 在具体的实施例中，动态卷积层的计算过程如下：

[0068]

[0069] 其中，R定义了感受野的大小和扩张，其值为R＝{(‑1，‑1)，(‑1，0)，...，(0，1)，(1，1)}，p0为中心点的位置，pn是在R范围内的9个位置，Δpn是学习偏移量，x为动态卷积层的输入，y为动态卷积层的输出，w为权重。

[0070] 在具体的实施例中，位置注意力模块的计算过程具体包括：

[0071] 将位置注意力模块的输入分别沿水平方向和垂直方向对每个通道进行平均池化，得到水平方向感知特征图和垂直方向感知特征图；

[0072] 将水平方向感知特征图和垂直方向感知特征图进行拼接，得到第一特征图；

[0073] 将第一特征图依次输入第一卷积层、第一BN层和非线性激活函数层，得到第二特征图；

[0074] 将第二特征图分别在水平方向和垂直方向分割，得到水平方向关注特征图和垂直方向关注特征图；

[0075] 将水平方向关注特征图和垂直方向关注特征图分别依次输入第二卷积层和Sigmoid函数层，得到水平注意力权重值和垂直注意力权重值；

[0076] 将位置注意力模块的输入与水平注意力权重值和垂直注意力权重值相乘，得到位置注意力模块的输出。

[0077] 具体的，在乳腺肿瘤病变区域检测模型的骨干网络采用设计的D3模块和DBS模块相互交替来对预处理后的乳腺超声图像逐层提取特征信息，通过缩小图像尺寸并加深图像维度，生成高维语义的特征图，进一步增强特征融合能力；结合乳腺肿瘤浅表病征的临床先验知识，在乳腺肿瘤区域的深层特征中嵌入位置注意力模块，聚合病变位置表征，以引导特征关注方向，从而使网络更聚焦于乳腺超声图像的上半部分，在检测过程中能够有效地与血管等组织结构区分开，提高网络对病变区域的定位能力。

[0078] 进一步的，参考图3，本申请的实施例的乳腺肿瘤病变区域检测模型采用改进的YOLOv5网络，该改进的YOLOv5网络是在传统的YOLOv5网络的基础上进行改进的，主要体现在：将传统的YOLOv5网络中的骨干网络和颈部结构中的CBS模块改为DBS模块，DBS模块用于提取乳腺超声图像中的肿瘤特征信息。将C3模块中的CBS模块也改为DBS模块，CBM模块改为DBM模块，即可得到D3模块，也就是将传统的YOLOv5网络中的骨干网络和颈部结构中的C3模块改为D3模块，D3模块通过跨阶段层次结构，加强对特征的提取与特征融合能力。另外，在SPPF模块与其后的DBS模块之间增加一个位置注意力模块(CA)。SPPF模块在不同尺寸上对特征信息和进行提取。

[0079] 具体的，DBS模块为标准卷积结构，包括动态卷积层(DConv)、批量归一化层(BN)和Sigmoid激活函数层。DBS模块通过融合可变形的动态卷积层，扩展了乳腺肿瘤病变区域特征提取网络的接受域，从而能够更加契合乳腺肿瘤病变区域不同形状大小的特征。参考图4，D3模块主要是将输入的特征图分成两部分，一部分经过DBS模块和CSP模块进行处理，另一部分则通过一个DBM模块直接进行下一层的处理。然后将两部分处理得到的特征图拼接起来，作为下一个DBS模块的输入，这不仅能够在更小的细粒度上表示多尺度特征，同时增加块内感受野，使得网络能够更好地适应病变区域内不同形状大小；DBM模块为标准卷积结构，包括动态卷积层(DConv)、批量归一化层(BN)和Mish激活函数层。其中，CSP模块用于构建骨干网络(backbone)，可以有效地减少网络参数和计算量，同时提高特征提取的效率。
CSP模块的核心思想是将输入特征图分成两部分，一部分经过CBM模块、RESunit结构、CBM模块进行处理，另一部分则通过一个CBM模块直接进行下一层的处理。然后将两部分特征图拼接起来，作为下一层的输入。因此可以将低层次的细节特征和高层次的抽象特征结合起来，提高特征提取的效率。其中，RESunit结构分成两部分，一部分经过两个CBL模块，另一部分则直接进行下一层的处理，再将两部分特征图拼接起来；CBL模块为标准卷积结构，包括普通卷积层(Conv)、批量归一化层(BN)和LeakyRelu激活函数层；CBM模块为标准卷积结构，包括普通卷积层(Conv)、批量归一化层(BN)和Mish激活函数层。动态卷积层的计算公式中的学习偏移量，使采样点扩散到一个非网格结构中。

[0080] 参考图5，位置注意力模块采用坐标注意力机制，增强对乳腺肿瘤病变区域特有的位置信息的关注，增强乳腺病变区域远程位置依赖。主要步骤如下：对位置注意力模块的输入使用平均池化操作分别沿水平坐标方向和垂直坐标方向对每个通道进行池化，两个方向的变换产生水平方向感知特征图和垂直方向感知特征图；将水平方向感知特征图和垂直方向感知特征图拼接得到的第一特征图输入第一卷积层、BN层和非线性激活函数层，得到第二特征图；对第二特征图分割开来分别输入第二卷积层和Sigmoid函数层，也就是同时在水平和垂直方向对第二特征图进行关注，生成水平注意力权重值和垂直注意力权重值；将位置注意力模块的输入与水平注意力权重值和垂直注意力权重值相乘，将不同方向的注意力应用于特征图上。

[0081] 进一步的，在乳腺肿瘤病变区域检测模型的颈部结构通过PANet网络自下而上的对全局信息特征图上采样融合多个低维度特征图，增加每个维度上特征信息的表达，再通过多层卷积融合位置注意力模块输出的特征图在空间与通道上的特征信息；通过FPN网络自下而上的对PANet的输出特征图与多个高维特征图再次融合得到多个维度特征图。具体过程如下：

[0082] 1、获取位置注意力模块的输出经过一个DBS模块得到高维特征图，并作为FPN网络中的输入；

[0083] 2、将该高维特征图经过一次上采样扩大空间尺度，缩减维度数量，再与骨干网络中的第三个D3模块的输出匹配后进行维度拼接，再通过D3模块和DBS模块完成特征融合，得到第一融合特征图；

[0084] 3、将第一融合特征图继续上采样扩大空间尺度，缩减维度数量，与骨干网络中的第二个D3模块的输出匹配后进行维度拼接，再通过D3模块完成特征融合，得到第二融合特征图，并作为P3输入到特征感知模块(FP)中；

[0085] 4、将第二融合特征图经过DBS模块，扩大特征图的通道数与第一融合特征图匹配后进行维度拼接，再采用D3模块完成特征融合，得到第三融合特征图，并作为P4输入到特征感知模块(FP)中；

[0086] 5、将第三融合特征图经过DBS模块，扩大特征图的通道数与高维特征图匹配后进行维度拼接，再采用D3模块完成特征融合，得到第四融合特征图，并作为P5输入到特征感知模块(FP)中。

[0087] 在具体的实施例中，特征感知模块的计算过程具体包括：

[0088] 将颈部结构的输出的三张不同尺寸的特征图先经过第一CBS模块调整通道数，而后分别经过第二CBS模块和Repvgg模块，将第二CBS模块的输出输入第三卷积层，得到对应的肿瘤良恶性类别；

[0089] Repvgg模块的输出再分别输入第四卷积层和第五卷积层，分别得到乳腺超声图像中的病变区域及置信度；其中，第三卷积层、第四卷积层、第五卷积层以及第一CBS模块中的卷积层、的卷积核大小均为1×1，第二CBS模块中的卷积层的卷积核大小为3×3。

[0090] 在具体的实施例中，Repvgg模块的计算过程具体包括：

[0091] 将Repvgg模块的输入分别经过第三分支、第四分支和第五分支，分别得到第一特征、第二特征和第三特征，其中，第三分支包括依次连接的第六卷积层和第二BN层，第四分支包括依次连接的第七卷积层和第三BN层，第五分支为第四BN层，第六卷积层的卷积核大小为3×3，第七卷积层的卷积核大小为1×1；

[0092] 将第一特征、第二特征和第三特征相加后输入Relu激活函数层，得到Repvgg模块的输出。

[0093] 具体的，在乳腺肿瘤病变区域检测模型的头部结构采用设计的特征感知模块(Feature Perception，FP)，将特征解耦成分类和定位两种不同任务的分支，增强乳腺肿瘤病变区域局部特征表达的灵活度，为乳腺病变区域边缘细节提供强有力线索再通过卷积层输出基于位置先验和特征感知的乳腺肿瘤病变区域预测的图像。

[0094] 进一步的，参考图6和图7，该特征感知模块的计算过程如下：

[0095] 1、通过第一CBS模块将通道数调整一致，该第一CBS模块中的卷积层的卷积核大小为1×1。

[0096] 2、采取双支路形式，分别使用第二CBS模块和Repvgg模块，对信道进行扩展并实现对相应任务所需要的特征信息进行提取，加强对病变区域边缘特征的获取，其中第二CBS模块中的卷积层的卷积核大小为3×3。

[0097] 3、分别使用卷积核大小为1×1的卷积层输出预测结果。其中，head_cls、head_reg和head_iou分别用于输出特征所属乳腺肿瘤类别、回归框所属位置和置信度；

[0098] 其中，Repvgg模块包括3个分支，其中两个分支采用卷积层和批量规范化(BatchNorm，BN)层融合。其中，卷积层和BatchNorm层操作如下公式所示：

[0099] Conv(x)＝W(x)；

[0100]

[0101] 其中，x为Repvgg模块的输入，W表示为卷积核，μ、σ、γ和β分别表示均值、标准差和可学习的倍率、偏差。卷积层与BN层融合后公式如下：

[0102]

[0103] 二者结合后可以看作为一个简单的卷积操作，卷积核W以及偏置b分别为：

[0104]

[0105] 因此，经过上述转换，将各分支和BN层转换为权重和偏置，并将各分支的权重和偏置相加，再输入Relu激活函数层，得到Repvgg模块的输出，相当于一个3×3卷积层的参数。由此易知，Repvgg模块能够将多分支结构等效转换成一个3×3卷积层结构。然而，多分支结构能够有效地增大感受野，增强病变区域边缘的采样能力，从而提高检测网络的能力。

[0106] 在乳腺肿瘤病变区域检测模型的训练过程中，先获取乳腺超声肿瘤图像数据集，标注出数据集中肿瘤良恶性类别以及位置，生成标注图像数据集并作图像预处理，图像预处理过程如上述的待识别的乳腺超声图像的预处理过程一致，以标注图像数据集作为乳腺肿瘤病变区域检测模型的训练样本输入，最终得到经训练的乳腺肿瘤病变区域检测模型。

[0107] S3，将预处理后的乳腺超声图像输入经训练的乳腺肿瘤病变区域检测模型，预测得到乳腺超声图像中的病变区域、对应的肿瘤良恶性类别及置信度。

[0108] 具体的，将待识别的乳腺超声图像所对应的预处理后的乳腺超声图像输入经训练的乳腺肿瘤病变区域检测模型，即可预测得到乳腺超声图像中的病变区域、对应的肿瘤良恶性类别及置信度。

[0109] 以上步骤S1‑S3并不仅仅代表步骤之间的顺序，而是步骤符号表示。

[0110] 进一步参考图8，作为对上述各图所示方法的实现，本申请提供了一种基于位置先验和特征感知的肿瘤病变区域检测装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

[0111] 本申请实施例提供了一种基于位置先验和特征感知的肿瘤病变区域检测装置，包括：

[0112] 图像预处理模块1，被配置为获取待识别的乳腺超声图像，对乳腺超声图像进行预处理，得到预处理后的乳腺超声图像；

[0113] 模型构建模块2，被配置为构建基于改进的YOLOv5网络的乳腺肿瘤病变区域检测模型并训练，得到经训练的乳腺肿瘤病变区域检测模型，基于改进的YOLOv5网络包括骨干网络、颈部结构和头部结构，在骨干网络和颈部结构中，将YOLOv5网络中的骨干网络和颈部结构中的CBS模块改为DBS模块，将C3模块中的CBS模块改为DBS模块，CBM模块改为DBM模块，以得到D3模块，在骨干网络中的SPPF模块后面增加一个位置注意力模块，将头部结构中检测模块改为特征感知模块；

[0114] 预测模块3，被配置为将预处理后的乳腺超声图像输入经训练的乳腺肿瘤病变区域检测模型，预测得到乳腺超声图像中的病变区域、对应的肿瘤良恶性类别及置信度。

[0115] 下面参考图9，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置900的结构示意图。图9示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

[0116] 如图9所示，计算机装置900包括中央处理单元(CPU)901和图形处理器(GPU)902，其可以根据存储在只读存储器(ROM)903中的程序或者从存储部分909加载到随机访问存储器(RAM)904中的程序而执行各种适当的动作和处理。在RAM 904中，还存储有计算机装置900操作所需的各种程序和数据。CPU 901、GPU902、ROM 903以及RAM 904通过总线905彼此相连。输入/输出(I/O)接口906也连接至总线905。

[0117] 以下部件连接至I/O接口906：包括键盘、鼠标等的输入部分907；包括诸如、液晶显示器(LCD)等以及扬声器等的输出部分908；包括硬盘等的存储部分909；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分910。通信部分910经由诸如因特网的网络执行通信处理。驱动器911也可以根据需要连接至I/O接口906。可拆卸介质912，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器911上，以便于从其上读出的计算机程序根据需要被安装入存储部分909。

[0118] 特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分910从网络上被下载和安装，和/或从可拆卸介质912被安装。在该计算机程序被中央处理单元(CPU)901和图形处理器(GPU)902执行时，执行本申请的方法中限定的上述功能。

[0119] 需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD‑ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

[0120] 可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，也可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

[0121] 附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，该模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。

[0122] 描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。

[0123] 作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待识别的乳腺超声图像，对乳腺超声图像进行预处理，得到预处理后的乳腺超声图像；构建基于改进的YOLOv5网络的乳腺肿瘤病变区域检测模型并训练，得到经训练的乳腺肿瘤病变区域检测模型，基于改进的YOLOv5网络包括骨干网络、颈部结构和头部结构，将YOLOv5网络中的骨干网络和颈部结构中的CBS模块改为DBS模块，将C3模块中的CBS模块改为DBS模块，CBM模块改为DBM模块，以得到D3模块，在骨干网络中的SPPF模块后面增加一个位置注意力模块，将头部结构中检测模块改为特征感知模块；将预处理后的乳腺超声图像输入经训练的乳腺肿瘤病变区域检测模型，预测得到乳腺超声图像中的病变区域、对应的肿瘤良恶性类别及置信度。

[0124] 以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。