COVID-19胸部CT图像识别方法、装置及电子设备转让专利

申请号 : CN202110841119.1

文献号 : CN113284149B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 王威许玉燕王新胡亿洋黄文迪

申请人 : 长沙理工大学

摘要 :

本申请涉及一种COVID‑19胸部CT图像识别方法、装置及电子设备。所述方法获取COVID‑19的胸部CT图像,并针对胸部CT图像的特点,构建新冠肺炎CT识别网络,对该网络进行训练得到COVID‑19胸部CT图像识别模型,并利用该模型对待测CT图像进行分类。采用空洞卷积、深度卷积以及点卷积算子,减少冗余参数;采用并行结构连接方式,实现多尺度特征融合、降低模型复杂度;采用下采样方式,使用最大模糊池化以减少锯齿效应,保持信号的平移不变性;采用通道混洗操作,减少参数量与计算量,提高分类准确率,引入坐标注意力机制,使空间坐标信息与通道信息被关注,抑制不重要的信息,以解决资源匹配问题。

权利要求 :

1.一种COVID‑19胸部CT图像识别方法,其特征在于,所述方法包括:获取COVID‑19的胸部CT图像;并将所述胸部CT图像作为训练样本;

构建新冠肺炎CT识别网络;所述新冠肺炎CT识别网络包括输入网络、特征提取网络以及分类网络;所述特征提取网络包括PCS‑D‑CA模块、PCS‑D模块、PCS‑S‑CA模块、PCS‑S模块以及自适应池化层;所述输入网络采用空洞卷积方式提取所述训练样本的空洞卷积特征;

所述特征提取网络采用最大模糊池化、通道混洗操作并引入坐标注意力机制对所述空洞卷积特征进行特征提取,得到融合坐标注意力的特征;所述分类网络根据所述融合坐标注意力的特征对胸部CT图像进行分类,得到COVID‑19胸部CT图像的类别;

根据所述训练样本对所述新冠肺炎CT识别网络进行训练,得到COVID‑19胸部CT图像识别模型;

获取COVID‑19的待测胸部CT图像,并将所述待测胸部CT图像输入到所述COVID‑19胸部CT图像识别模型中,得到COVID‑19胸部CT图像的类别;

其中:PCS‑D模块用于对输入的特征进行最大模糊池化,将得到的池化特征进行通道切分,切分为通道相同的两路,并对切分结果进行空洞卷积操作,将得到的两路空洞卷积结果进行拼接,并对拼接结果进行通道混洗,得到通道拼接特征;

PCS‑S模块用于输入的特征进行通道切分,切分为通道相同的两路,并对得到的两路切分特征进行空洞卷积操作,将得到的两路空洞卷积结果进行元素相加,得到元素加和特征;

PCS‑D‑CA模块是在PCS‑D模块中引入坐标注意力机制得到的,用于采用坐标注意力机制对PCS‑D模块输出的通道拼接特征进行特征提取,获取包含精准坐标信息、纹理信息的特征;

PCS‑S‑CA模块是在PCS‑S模块中引入坐标注意力机制得到的,用于采用坐标注意力机制对PCS‑S模块输出的元素加和特征进行特征提取,获取包含精准坐标信息、纹理信息的特征;

其中,所述输入网络包括1层空洞卷积层;

步骤:根据所述训练样本对所述新冠肺炎CT识别网络进行训练,得到COVID‑19胸部CT图像识别模型,包括:

将所述训练样本输入到所述输入网络的空洞卷积层中,得到空洞卷积特征;

将所述空洞卷积特征输入到所述特征提取网络中,得到融合坐标注意力的特征;

将所述融合坐标注意力的特征输入到所述分类网络中,输出分类预测结果,并根据所述分类预测结果和所述训练样本进行反向训练,得到COVID‑19胸部CT图像识别模型;

其中,所述特征提取网络由2个PCS‑D‑CA模块、3个PCS‑D模块、1个PCS‑S‑CA模块、2个PCS‑S模块、1层自适应池化层、1层Dropout层以及1层点卷积层组成;

步骤:将所述空洞卷积特征输入到所述特征提取网络中,得到融合坐标注意力的特征,包括:

将所述空洞卷积特征输入到第一个所述PCS‑D‑CA模块,并将得到的第一融合坐标注意力的特征输入到第二个所述PCS‑D‑CA模块中,得到第二融合坐标注意力的特征;

将所述第二融合坐标注意力的特征输入到第一个所述PCS‑D模块,并将得到的第一通道拼接特征输入到第二个所述PCS‑D模块,将输出的第二通道拼接特征输入到第三个所述PCS‑D模块中,得到第三通道拼接特征;

将所述第三通道拼接特征输入到所述PCS‑S‑CA模块中,得到第三融合坐标注意力的特征;

将所述第三融合坐标注意力的特征输入到第一个所述PCS‑S模块,并将得到的第一元素加和特征输入到第二个所述PCS‑S模块中,得到第二元素加和特征;

将所述第二元素加和特征输入到所述自适应池化层,得到自适应池化特征;

将所述自适应池化特征输入到所述Dropout层中,并将得到的输出特征输入到所述点卷积层中,得到融合坐标注意力的特征。

2.根据权利要求1所述的方法,其特征在于,所述PCS‑D模块包括最大模糊池化层、通道切分模块、两条空洞卷积支路、通道拼接模块以及通道混洗模块;两条所述空洞卷积支路均包括依次连接的3个空洞卷积模块,所述空洞卷积模块由空洞卷积核、批归一化模块和H‑swish激活函数组成;第一条空洞卷积支路的3个空洞卷积模块的空洞卷积核分别为:空洞率为1的点卷积、空洞率为2卷积核为3×3的空洞卷积、空洞率为1的点卷积;第二条空洞支路的3个空洞卷积模块的空洞卷积核分别为:空洞率为1的点卷积、空洞率为1卷积核为3×3的空洞卷积、空洞率为1的点卷积;

将所述第二融合坐标注意力的特征输入到第一个所述PCS‑D模块,并将得到的第一通道拼接特征输入到第二个所述PCS‑D模块,将输出的第二通道拼接特征输入到第三个所述PCS‑D模块中,得到第三通道拼接特征,包括:将所述第二融合坐标注意力的特征输入到第一个所述PCS‑D模块的最大模糊池化层,并将得到的最大模糊池化特征输入到第一个所述PCS‑D模块的通道切分模块中,得到两路切分特征;

将两路所述切分特征分别输入到第一个所述PCS‑D模块的两条空洞卷积支路中,得到第一空洞卷积支路特征和第二空洞卷积支路特征;

将所述第一空洞卷积支路特征和所述第二空洞卷积支路特征输入到第一个所述PCS‑D模块的通道拼接模块中进行通道拼接,得到拼接特征;

将所述拼接特征输入到第一个所述PCS‑D模块的通道混洗模块中进行通道混洗操作,得到第一通道拼接特征;

将所述第一通道拼接特征输入到所述第二个所述PCS‑D模块,将得到的第二通道拼接特征输入到第三个所述PCS‑D模块中,得到第三通道拼接特征。

3.根据权利要求2所述的方法,其特征在于,所述PCS‑S模块是在所述PCS‑D模块的基础上,将最大模糊池化层和所述通道混洗模块去掉,并将所述通道拼接模块替换为元素加和模块得到的;所述元素加和模块用于将输入的两个特征进行元素加和,得到元素加和特征;

将所述第三融合坐标注意力的特征输入到第一个所述PCS‑S模块,并将得到的第一元素加和特征输入到第二个所述PCS‑S模块中,得到第二元素加和特征,包括:将所述第三融合坐标注意力的特征输入到第一个PCS‑S模块的通道切分模块中,得到两路第二切分特征;

将两路所述第二切分特征分别输入到第一个所述PCS‑S模块的两条空洞卷积支路中,得到第三空洞卷积支路特征和第四空洞卷积支路特征;

将所述第三空洞卷积支路特征和所述第四空洞卷积支路特征输入到第一个所述PCS‑S模块的元素加和模块中,得到第一元素加和特征;

将所述第一元素加和特征输入到第二个所述PCS‑S模块中,得到第二元素加和特征。

4.根据权利要求2所述的方法,其特征在于,所述PCS‑D‑CA模块是在PCS‑D模块中引入坐标注意力机制得到的;

将所述空洞卷积特征输入到第一个所述PCS‑D‑CA模块,并将得到的第一融合坐标注意力的特征输入到第二个所述PCS‑D‑CA模块中,得到第二融合坐标注意力的特征,包括:将所述空洞卷积特征输入到第一个所述PCS‑D‑CA模块的PCS‑D模块中,得到第四通道拼接特征;

并将所述第四通道拼接特征输入到第一个所述PCS‑D‑CA模块的坐标注意力模块中,得到第一坐标注意力特征;

将所述第四通道拼接特征与所述第一坐标注意力特征进行融合,得到第一融合坐标注意力的特征;

将所述融合坐标注意力的特征输入到第二个所述PCS‑D‑CA模块中,得到第二融合坐标注意力的特征。

5.根据权利要求3所述的方法,其特征在于,所述PCS‑S‑CA模块是在PCS‑S模块中引入坐标注意力机制得到的;

将所述第三通道拼接特征输入到所述PCS‑S‑CA模块中,得到第三融合坐标注意力的特征,包括:

将所述第三通道拼接特征输入到所述PCS‑S‑CA模块的PCS‑S模块中,得到第三元素加和特征;

将所述第三元素加和特征输入到所述PCS‑S‑CA模块的坐标注意力模块中,得到第二坐标注意力特征;

将所述第三元素加和特征与所述第二坐标注意力特征进行融合,得到第三融合坐标注意力的特征。

6.根据权利要求1所述的方法,其特征在于,所述分类网络包括:全连接层和Softmax分类层;

将所述融合坐标注意力的特征输入到所述分类网络中,输出分类预测结果,并根据所述分类预测结果和所述训练样本进行反向训练,得到COVID‑19胸部CT图像识别模型,包括:将所述融合坐标注意力的特征输入到所述全连接层中,整合类间区分特征,得到全连接特征;

将所述全连接特征输入到所述Softmax分类层,使用Softmax进行计算,输出分类预测结果;

根据所述分类预测结果和所述训练样本进行反向训练,得到COVID‑19胸部CT图像识别模型。

7.一种COVID‑19胸部CT图像识别装置,其特征在于,所述装置包括:数据获取模块,用于获取COVID‑19的胸部CT图像;并将所述胸部CT图像作为训练样本;

新冠肺炎CT识别网络构建模块,用于构建新冠肺炎CT识别网络;所述新冠肺炎CT识别网络包括输入网络、特征提取网络以及分类网络;所述特征提取网络包括PCS‑D‑CA模块、PCS‑D模块、PCS‑S‑CA模块、PCS‑S模块以及自适应池化层;所述输入网络采用空洞卷积方式提取所述训练样本的空洞卷积特征;所述特征提取网络采用最大模糊池化、通道混洗操作并引入坐标注意力机制对所述空洞卷积特征进行特征提取,得到融合坐标注意力的特征;

所述分类网络根据所述融合坐标注意力的特征对胸部CT图像进行分类,得到COVID‑19胸部CT图像的类别;

新冠肺炎CT识别网络训练模块,用于根据所述训练样本对所述新冠肺炎CT识别网络进行训练,得到COVID‑19胸部CT图像识别模型;

COVID‑19胸部CT图像分类模块,用于获取COVID‑19的待测胸部CT图像,并将所述待测胸部CT图像输入到所述COVID‑19胸部CT图像识别模型,得到COVID‑19胸部CT图像的类别;

其中:PCS‑D模块用于对输入的特征进行最大模糊池化,将得到的池化特征进行通道切分,切分为通道相同的两路,并对切分结果进行空洞卷积操作,将得到的两路空洞卷积结果进行拼接,并对拼接结果进行通道混洗,得到通道拼接特征;

PCS‑S模块用于输入的特征进行通道切分,切分为通道相同的两路,并对得到的两路切分特征进行空洞卷积操作,将得到的两路空洞卷积结果进行元素相加,得到元素加和特征;

PCS‑D‑CA模块是在PCS‑D模块中引入坐标注意力机制得到的,用于采用坐标注意力机制对PCS‑D模块输出的通道拼接特征进行特征提取,获取包含精准坐标信息、纹理信息的特征;

PCS‑S‑CA模块是在PCS‑S模块中引入坐标注意力机制得到的,用于采用坐标注意力机制对PCS‑S模块输出的元素加和特征进行特征提取,获取包含精准坐标信息、纹理信息的特征;

其中,所述输入网络包括1层空洞卷积层;

新冠肺炎CT识别网络训练模块,还用于根据所述训练样本对所述新冠肺炎CT识别网络进行训练,得到COVID‑19胸部CT图像识别模型,包括:将所述训练样本输入到所述输入网络的空洞卷积层中,得到空洞卷积特征;

将所述空洞卷积特征输入到所述特征提取网络中,得到融合坐标注意力的特征;

将所述融合坐标注意力的特征输入到所述分类网络中,输出分类预测结果,并根据所述分类预测结果和所述训练样本进行反向训练,得到COVID‑19胸部CT图像识别模型;

其中,所述特征提取网络由2个PCS‑D‑CA模块、3个PCS‑D模块、1个PCS‑S‑CA模块、2个PCS‑S模块、1层自适应池化层、1层Dropout层以及1层点卷积层组成;

新冠肺炎CT识别网络训练模块,还用于将所述空洞卷积特征输入到第一个所述PCS‑D‑CA模块,并将得到的第一融合坐标注意力的特征输入到第二个所述PCS‑D‑CA模块中,得到第二融合坐标注意力的特征;

将所述第二融合坐标注意力的特征输入到第一个所述PCS‑D模块,并将得到的第一通道拼接特征输入到第二个所述PCS‑D模块,将输出的第二通道拼接特征输入到第三个所述PCS‑D模块中,得到第三通道拼接特征;

将所述第三通道拼接特征输入到所述PCS‑S‑CA模块中,得到第三融合坐标注意力的特征;

将所述第三融合坐标注意力的特征输入到第一个所述PCS‑S模块,并将得到的第一元素加和特征输入到第二个所述PCS‑S模块中,得到第二元素加和特征;

将所述第二元素加和特征输入到所述自适应池化层,得到自适应池化特征;

将所述自适应池化特征输入到所述Dropout层中,并将得到的输出特征输入到所述点卷积层中,得到融合坐标注意力的特征。

8.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

说明书 :

COVID‑19胸部CT图像识别方法、装置及电子设备

技术领域

[0001] 本申请涉及图像识别技术领域,特别是涉及一种COVID‑19胸部CT图像识别方法、装置及电子设备。

背景技术

[0002] 目前诊断新型冠状病毒感染的肺炎(COVID‑19)的主要医学手段有胸部计算机断层扫描(胸部CT)、胸部X射线图像检测、磁共振成像(MRI)等。COVID‑19放射学检查,首选容
积 CT 扫描,扫描层厚 5 mm(16 层 CT 以上均可以达到),重建为 1.0~1.5 mm 薄层。基
于薄层 CT 重建,在横断面、矢状面和冠状面观察,有利于病灶早期检出,评估病变性质和
范围,发现直接数字化X射线摄影系统(DR)不易观察的细微变化。但是对于放射科医生来
说,通过人工阅片来检阅肺部CT图像中的病灶信息是一项极具挑战性的工作。该工作需要
耗费医生大量的时间,而且可能由于视觉疲劳等原因导致误诊、漏诊的情况。因此,计算机
辅助诊断(CAD)系统应运而生,并且被广泛应用于医学图像处理领域,能够解决医学图像领
域中复杂的计算机视觉问题。
[0003] 基于深度学习技术识别COVID‑19胸部CT图像的技术已经有较多的研究,也取得的一定的研究成果。但是现有的识别方法网络结构复杂、参数量较大、计算量较大,胸部CT图
像不重要的信息对分类结果产生负面影响。

发明内容

[0004] 基于此,有必要针对上述技术问题,提供一种COVID‑19胸部CT图像识别方法、装置及电子设备。
[0005] 一种COVID‑19胸部CT图像识别方法,所述方法包括:
[0006] 获取COVID‑19的胸部CT图像;并将所述胸部CT图像作为训练样本。
[0007] 构建新冠肺炎CT识别网络;所述新冠肺炎CT识别网络包括输入网络、特征提取网络以及分类网络;所述特征提取网络包括PCS‑D‑CA模块、PCS‑D模块、PCS‑S‑CA模块、PCS‑S
模块以及自适应池化层;所述输入网络采用空洞卷积方式提取所述训练样本的空洞卷积特
征;所述特征提取网络采用最大模糊池化、通道混洗操作并引入坐标注意力机制对所述空
洞卷积特征进行特征提取,得到融合坐标注意力的特征;所述分类网络根据所述融合坐标
注意力的特征对胸部CT图像进行分类,得到COVID‑19胸部CT图像的类别。
[0008] 根据所述训练样本对所述新冠肺炎CT识别网络进行训练,得到COVID‑19胸部CT图像识别模型。
[0009] 获取COVID‑19的待测胸部CT图像,并将所述待测胸部CT图像输入到所述COVID‑19胸部CT图像识别模型,得到COVID‑19胸部CT图像的类别。
[0010] 一种COVID‑19胸部CT图像识别装置,所述装置包括:
[0011] 数据获取模块,用于获取COVID‑19的胸部CT图像;并将所述胸部CT图像作为训练样本。
[0012] 新冠肺炎CT识别网络构建模块,用于构建新冠肺炎CT识别网络;所述新冠肺炎CT识别网络包括输入网络、特征提取网络以及分类网络;所述特征提取网络包括PCS‑D‑CA模
块、PCS‑D模块、PCS‑S‑CA模块、PCS‑S模块以及自适应池化层;所述输入网络采用空洞卷积
方式提取所述训练样本的空洞卷积特征;所述特征提取网络采用最大模糊池化、通道混洗
操作并引入坐标注意力机制对所述空洞卷积特征进行特征提取,得到融合坐标注意力的特
征;所述分类网络根据所述融合坐标注意力的特征对胸部CT图像进行分类,得到COVID‑19
胸部CT图像的类别。
[0013] 新冠肺炎CT识别网络训练模块,用于根据所述训练样本对所述新冠肺炎CT识别网络进行训练,得到COVID‑19胸部CT图像识别模型。
[0014] COVID‑19胸部CT图像分类模块,用于获取COVID‑19的待测胸部CT图像,并将所述待测胸部CT图像输入到所述COVID‑19胸部CT图像识别模型,得到COVID‑19胸部CT图像的类
别。
[0015] 上述一种COVID‑19胸部CT图像识别方法、装置及电子设备,所述方法通过获取COVID‑19的胸部CT图像,并针对胸部CT图像的特点,构建新冠肺炎CT识别网络,对该网络进
行训练得到COVID‑19胸部CT图像识别模型,并利用该模型对待测胸部CT图像进行分类。采
用空洞卷积、深度卷积,点卷积等算子,以减少冗余参数;连接方式采用并行结构,实现多尺
度特征融合同时降低模型复杂度;采用下采样方式,使用最大模糊池化以减少锯齿效应,保
持信号的平移不变性,采用通道混洗操作,从而减少参数量与计算量,提高分类准确率,并
引入坐标注意力机制,使得空间坐标信息与通道信息得以被关注,抑制不重要的信息,以解
决资源匹配问题。

附图说明

[0016] 图1为一个实施例中COVID‑19胸部CT图像识别方法的流程示意图;
[0017] 图2为另一个实施例中PCS‑D模块组成结构图;
[0018] 图3为另一个实施例中PCS‑S模块组成结构图;
[0019] 图4为另一个实施例中PCS‑D‑CA模块组成结构图;
[0020] 图5为另一个实施例中PCS‑S‑CA模块组成结构图;
[0021] 图6为另一个实施例中新冠肺炎CT识别网络组成结构图;
[0022] 图7为另一个实施例中实验数据集中部分COVID‑19胸部CT图像,其中(a)、(b)为COVID‑19胸部CT图像,(c)、(d)为未感染COVID‑19胸部CT图像;
[0023] 图8为另一个实施例中消融实验分类准确率示意图;
[0024] 图9为一个实施例中COVID‑19胸部CT图像识别装置的结构框图;
[0025] 图10为一个实施例中电子设备的内部结构图。

具体实施方式

[0026] 为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不
用于限定本申请。
[0027] 并行通道混洗(parallel channel shuffle 简称:PCS)模块。
[0028] PCS‑D模块:并行通道混洗下采样(parallel channel shuffle‑Downsample 简PCS‑D称)模块。
[0029] PCS‑S模块:标准并行通道混洗(parallel channel shuffle‑standard简称:PCS‑S)模块。
[0030] PCS‑D‑CA模块:并行通道混洗下采样坐标注意力(parallel channel shuffle‑Downsample‑Coordinate attention简称:PCS‑D‑CA)模块。
[0031] PCS‑S‑CA模块:标准并行通道混洗采样坐标注意力(parallel channel shuffle‑standard‑Coordinate attention简称:PCS‑S‑CA)模块。
[0032] 在一个实施例中,如图1所示,提供了一种COVID‑19胸部CT图像识别方法,该方法包括以下步骤:
[0033] 步骤100:获取COVID‑19的胸部CT图像;并将胸部CT图像作为训练样本。
[0034] 步骤102:构建新冠肺炎CT识别网络。
[0035] 新冠肺炎CT识别网络包括输入网络、特征提取网络以及分类网络。
[0036] 特征提取网络包括PCS‑D‑CA模块、PCS‑D模块、PCS‑S‑CA模块、PCS‑S模块以及自适应池化层。
[0037] 输入网络采用空洞卷积方式提取所述训练样本的空洞卷积特征。
[0038] 特征提取网络采用最大模糊池化、通道混洗操作并引入坐标注意力机制对所述空洞卷积特征进行特征提取,得到融合坐标注意力的特征。
[0039] 分类网络根据融合坐标注意力的特征对胸部CT图像进行分类,得到COVID‑19胸部CT图像的类别。
[0040] PCS‑D模块用于对输入的特征进行最大模糊池化,将得到的池化特征进行通道切分,切分为通道相同的两路,并对切分结果进行空洞卷积操作,将得到的两路空洞卷积结果
进行拼接,并对拼接结果进行通道混洗,得到通道拼接特征;最大模糊池化是为了消除锯齿
效应,增强模型的移位等变性,在最大池化中引入模糊滤波器得到的。
[0041] PCS‑S模块用于输入的特征进行通道切分,切分为通道相同的两路,并对得到的两路切分特征进行空洞卷积操作,将得到的两路空洞卷积结果进行元素相加,得到元素加和
特征。
[0042] PCS‑D‑CA模块是在PCS‑D模块中引入坐标注意力机制得到的。
[0043] PCS‑S‑CA模块是在PCS‑S模块中引入坐标注意力机制得到的。
[0044] 步骤104:根据训练样本对新冠肺炎CT识别网络进行训练,得到COVID‑19胸部CT图像识别模型。
[0045] 步骤106:获取COVID‑19的待测胸部CT图像,并将待测胸部CT图像输入到COVID‑19胸部CT图像识别模型,得到COVID‑19胸部CT图像的类别。
[0046] 上述COVID‑19胸部CT图像识别方法中,所述方法通过获取COVID‑19的胸部CT图像,并针对胸部CT图像的特点,构建新冠肺炎CT识别网络,对该网络进行训练得到COVID‑19
胸部CT图像识别模型,并利用该模型对待测胸部CT图像进行分类。采用空洞卷积、深度卷
积,点卷积等算子,以减少冗余参数;连接方式采用并行结构,实现多尺度特征融合同时降
低模型复杂度;采用下采样方式,使用最大模糊池化以减少锯齿效应,保持信号的平移不变
性,采用通道混洗操作,从而减少参数量与计算量,提高分类准确率,并引入坐标注意力机
制,使得空间坐标信息与通道信息得以被关注,抑制不重要的信息,以解决资源匹配问题。
[0047] 在其中一个实施例中,输入网络包括1层空洞卷积层。步骤104还包括:将训练样本输入到输入网络的空洞卷积层中,得到空洞卷积特征;将空洞卷积特征输入到特征提取网
络中,得到融合坐标注意力的特征;将融合坐标注意力的特征输入到分类网络中,输出分类
预测结果,根据分类预测结果和训练样本进行反向训练,得到COVID‑19胸部CT图像识别模
型。
[0048] 在其中一个实施例中,特征提取网络由2个PCS‑D‑CA模块、3个PCS‑D模块、1个PCS‑S‑CA模块、2个PCS‑S模块、1层自适应池化层、1层Dropout层以及1层点卷积层组成。步骤104
还包括:将空洞卷积特征输入到第一个PCS‑D‑CA模块,并将得到的第一融合坐标注意力的
特征输入到第二个PCS‑D‑CA模块中,得到第二融合坐标注意力的特征;将第二融合坐标注
意力的特征输入到第一个PCS‑D模块,并将得到的第一通道拼接特征输入到第二个PCS‑D模
块,将输出的第二通道拼接特征输入到第三个PCS‑D模块中,得到第三通道拼接特征;将第
三通道拼接特征输入到PCS‑S‑CA模块中,得到第三融合坐标注意力的特征;将第三融合坐
标注意力的特征输入到第一个PCS‑S模块中,并将得到的第一元素加和特征输入到第二个
PCS‑S模块中,得到第二元素加和特征;将第二元素加和特征输入到自适应池化层,得到自
适应池化特征;将自适应池化特征输入到Dropout层中,并将得到的输出特征输入到点卷积
层中,得到融合坐标注意力的特征。
[0049] 在其中一个实施例中,PCS‑D模块包括最大模糊池化层、通道切分模块、两条空洞卷积支路、通道拼接模块以及通道混洗模块;两条空洞卷积支路均包括依次连接的3个空洞
卷积模块,空洞卷积模块由空洞卷积核、批归一化模块和H‑swish激活函数组成;第一条空
洞卷积支路的3个空洞卷积模块的空洞卷积核分别为:空洞率为1的点卷积、空洞率为2卷积
核为3×3的空洞卷积、空洞率为1的点卷积;第二条空洞支路的3个空洞卷积模块的空洞卷
积核分别为:空洞率为1的点卷积、空洞率为1卷积核为3×3的空洞卷积、空洞率为1的点卷
积。步骤104还包括:将第二融合坐标注意力的特征输入到第一个PCS‑D模块的最大模糊池
化层,并将得到的最大模糊池化特征输入到第一个PCS‑D模块的通道切分模块中,得到两路
切分特征;将两路切分特征分别输入到第一个PCS‑D模块的两条空洞卷积支路中,得到第一
空洞卷积支路特征和第二空洞卷积支路特征;将第一空洞卷积支路特征和第二空洞卷积支
路特征输入到第一个PCS‑D模块的通道拼接模块中进行通道拼接,得到拼接特征;将拼接特
征输入到第一个PCS‑D模块的通道混洗模块中进行通道混洗操作,得到第一通道拼接特征;
将第一通道拼接特征输入到第二个PCS‑D模块,将得到的第二通道拼接特征输入到第三个
PCS‑D模块中,得到第三通道拼接特征。
[0050] 在其中一个实施例中,PCS‑S模块是在PCS‑D模块的基础上,将最大模糊池化层和通道混洗模块去掉,并将通道拼接模块替换为元素加和模块得到的;元素加和模块用于将
输入的两个特征进行元素加和,得到元素加和特征。步骤104还包括:将第三融合坐标注意
力的特征输入到第一个PCS‑S模块的通道切分模块中,得到两路第二切分特征;将两路第二
切分特征分别输入到第一个PCS‑S模块的两条空洞卷积支路中,得到第三空洞卷积支路特
征和第四空洞卷积支路特征;将第三空洞卷积支路特征和第四空洞卷积支路特征输入到第
一个PCS‑S模块的元素加和模块中,得到第一元素加和特征;将第一元素加和特征输入到第
二个PCS‑S模块中,得到第二元素加和特征。
[0051] 在另一个实施例中,PCS‑D模块PCS‑S模块通称PCS模块。如图2与图3所示分别为PCS‑D模块组成结构图和PCS‑S模块组成结构图。
[0052] PCS‑D模块使用最大模糊池化减小特征空间分辨率,实现模型尺寸减小。最大模糊池化能克服信号叠加产生的锯齿效应,增强模型鲁棒性。PCS‑D模块使用通道混洗操作关联
支路间的信息,增强模型识别性能。
[0053] PCS‑S模块是将PCS‑D模块中最大模糊池化层移去,并使用元素相加操作替换通道拼接操作,解决网络退化问题。元素相加与通道拼接的前提条件均是:特征空间分辨率需一
样;但元素相加后,输出特征图的通道数不变;通道拼接后,输出特征图的通道数增加。
[0054] 设置PCS‑D模块与PCS‑S模块的增长率均为24,即输入特征图通过一个PCS‑D模块或一个PCS‑S模块得到的输出特征图的通道数增加24。在PCS‑D模块与PCS‑S模块引入坐标
注意力机制,得到PCS‑D‑CA模块与PCS‑S‑CA模块,PCS‑D‑CA模块的组成结构图如图4所示,
PCS‑S‑CA模块组成结构图如图5所示。
[0055] PCS模块中运用了通道混洗、坐标注意力机制以及最大模糊池化几种高效的计算方式。其中通道混洗是用以解决群卷积中不同群组的特征的通道信息互不关联引起的模型
性能损失。群卷积后的输出特征通过通道混洗后,使不同群组的特征的通道信息进行了混
合,使得输送至下一层的输入包含各个群组通道的信息。
[0056] 注意力机制能有效解决计算资源十分有限或信息量过大带来的信息超载问题。坐标注意力 (coordination attention, CA)机制通过将2D全局池化操作分解为两个一维编
码过程,能更有效地捕捉位置信息和信道信息关系,从而获取更好的性能。坐标注意力机制
是基于关注通道信息的SE注意力机制改进的,把坐标信息引入SE注意力。
[0057] 给定输入特征张量 ,通过坐标注意力机制处理变成跟输入特征张量 尺寸一样的 。输入 的第一维度为通道数C,第二维度为
高H,第三维度为宽W。分别对输入进行X坐标方向与Y坐标方向的平均池化,得到中间输出
与 ,此时得到X坐标上的全局信息与Y坐标上的全局信息,同时保留Y坐标
上与X坐标上的精确信息,再经过空间维度上的拼接操作得到中间特征 ,经过一
层卷积操作得到特征 ,再经过批归一化与非线性变换得到中间特征
,相比SE块中的全连接,卷积操作具有稀疏性,能降低复杂度。对中间特征实行
空间维度的切分,得到特征 与 ,再使用Sigmoid激活函数对两者进行处
理,增强有效的坐标信息与通道信息,抑制无关或冗余的坐标信息与通道信息。
[0058] 在其中一个实施例中,PCS‑D‑CA模块是在PCS‑D模块中引入坐标注意力机制得到的。步骤104还包括:将空洞卷积特征输入到第一个PCS‑D‑CA模块的PCS‑D模块中,得到第四
通道拼接特征;并将第四通道拼接特征输入到第一个PCS‑D‑CA模块的坐标注意力模块中,
得到第一坐标注意力特征;将第四通道拼接特征与第一坐标注意力特征进行融合,得到第
一融合坐标注意力的特征;将融合坐标注意力的特征输入到第二个PCS‑D‑CA模块中,得到
第二融合坐标注意力的特征。
[0059] 在其中一个实施例中,PCS‑S‑CA模块是在PCS‑S模块中引入坐标注意力机制得到的。步骤104还包括:将第三通道拼接特征输入到PCS‑S‑CA模块的PCS‑S模块中,得到第三元
素加和特征;并将第三元素加和特征输入到PCS‑S‑CA模块的坐标注意力模块中,得到第二
坐标注意力特征;将第三元素加和特征与第二坐标注意力特征进行融合,得到第三融合坐
标注意力的特征。
[0060] 在其中一个实施例中,分类网络包括:全连接层和Softmax分类层。步骤104还包括:将融合坐标注意力的特征输入到全连接层中,整合类间区分特征,得到全连接特征;将
全连接特征输入到Softmax分类层,使用Softmax进行计算,输出分类预测结果;根据分类预
测结果和训练样本进行反向训练,得到COVID‑19胸部CT图像识别模型。
[0061] 应该理解的是,虽然图1的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的
执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分
步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行
完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,
而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0062] 在一个具体的验证性实施例中,具体涉及:网络构建、实验数据准备和模型分析。
[0063] (1)网络构建
[0064] 基于PCS模块,构建了一种识别COVID‑19胸部CT图像的新冠肺炎CT识别网络。调整了模型超参数,改变了激活函数种类与CA位置。PSC‑D‑CA模块中坐标注意力机制使用的非
线性变换为h‑swish激活函数。新冠肺炎CT识别网络的第一层为膨胀率为2的3×3空洞卷
积, 增加局部感受野;经过2个PSC‑D‑CA模块,获取包含精准坐标信息、纹理信息等;经过3
个PSC‑D模块,一个PSC‑S‑CA模块,两个PSC‑S模块;经过一层PyTorch提供的窗口大小为
的自适应池化层,丢弃率为0.3的Dropout,避免过拟合。经过1层点卷积层,该层使用
的激活函数是Sigmoid激活函数。经过1层全连接层,整合类间区分信息,最后利用分类器输
出分类标签。新冠肺炎CT识别网络的组成结构如图6所示。
[0065] (2)实验数据准备
[0066] 实验数据选自Yang等构建的开源数据集COVID‑CT,其素材源于medRxiv2和bioRxiv3网址。截至5月11日COVID‑CT数据集包含来自216位患者的349幅COVID‑19阳性的
CT图像和397幅未感染COVID‑19的CT图像。未感染COVID‑19的CT图像包括正常的CT图像与
其他病毒性或细菌性的肺部疾病CT图像。从COVID‑CT数据集随机选取300幅COVID‑19阳性
的CT图像和336幅未感染COVID‑19的CT图像作为训练集。剩余49幅COVID‑19阳性的CT图像
和61幅未感染COVID‑19的CT图像为作为测试集。COVID‑19胸部CT图像的整体特点为双肺多
发斑片状渗出影为主。图7为实验的数据集的部分示例,其中(a)、(b)为COVID‑19胸部CT图
像,(c)、(d)为未感染COVID‑19胸部CT图像。
[0067] (3)模型分析
[0068] PCS‑D模块与PCS‑S模块的参数量与计算量低于 标准卷积的参数量与计算量。表1呈现ResNet50、VGG19、ShuffleNet、新冠肺炎CT识别网络等网络模型的计算量与参
数量。
[0069] 表1模型计算量与参数量
[0070]
[0071] 从表1可以看出,新冠肺炎CT识别网络模型的计算量与参数量最少。可见,PCS模块能减少内存占用空间与计算开销,新冠肺炎CT识别网络的结构设计具有高效性。
[0072] 为了体现新冠肺炎CT识别网络模型在COVID‑CT数据集上的识别效果,使用ResNet50网络模型与ShuffleNet网络模型进行对比实验。表2为每隔10个epoch记录的
ResNet50网络模型、ShuffleNet网络模型与新冠肺炎CT识别网络模型在测试集上的平均准
确率。
[0073] 表2 模型的准确率(%)
[0074]
[0075] 由表2看出新冠肺炎CT识别网络模型的分类准确率比ResNet50网络模型高出的分类准确率2%左右,比ShuffleNet网络模型高出4%左右。
[0076] 可以发现新冠肺炎CT识别网络模型的准确率的数值平稳性优于ResNet50网络模型和ShuffleNet网络模型。同时,可以通过计算得出这三种网络的其他模型评价指标的值,
如灵敏度,特异度,精度, 值等,最后10个epoch的指标平均值如表3所示。 值越大,模
型稳定性越好。
[0077] 表3测试集上各项指标结果对比
[0078]
[0079] 综上所述,新冠肺炎CT识别网络模型的综合性能是最好的,且新冠肺炎CT识别网络模型的分类效果与鲁棒性优于ResNet50网络模型和ShuffleNet网络模型。
[0080] 由图8可知,新冠肺炎CT识别网络模型的分类准确率比Conv‑Net模型高了8%左右。因此,相比普通卷积,PCS模块能提升模型性能。noBlur‑Net模型与noCA‑Net模型的分类准
确率均比新冠肺炎CT识别网络模型低了1%左右。可知,在PCS模块中应用最大模糊池化与CA
能提升模型性能。
[0081] 如表4所示。可知,人工分析CT图像的准确率为60% 80%,可知新冠肺炎CT识别网络~
检测COVID‑19的CT图像,比人工更加准确。新冠肺炎CT识别网络模型是值得推荐的识别
COVID‑19的CT图像的智能手段。
[0082] 表4 新冠肺炎CT识别网络模型的灵敏度、特异性
[0083]
[0084] 上述结果表明新冠肺炎CT识别网络模型在COVID‑CT数据集上的最佳准确率可达92.31%,识别COVID‑19的特异性与灵敏度分别为92.00%与93.88%. 相比其他方法,新冠肺
炎CT识别网络网络模型能更快速地从CT图像中检测出COVID‑19,能帮助提升人工阅片的准
确率,节省影像科医生的精力。新冠肺炎CT识别网络模型的分类效果能很好地泛化在自然
图像上。
[0085] 在一个实施例中,如图9所示,提供了一种COVID‑19胸部CT图像识别装置,包括:数据获取模块、新冠肺炎CT识别网络构建模块、新冠肺炎CT识别网络训练模块和COVID‑19胸
部CT图像分类模块,其中:
[0086] 数据获取模块,用于获取COVID‑19的胸部CT图像;并将胸部CT图像作为训练样本。
[0087] 新冠肺炎CT识别网络构建模块,用于构建新冠肺炎CT识别网络;新冠肺炎CT识别网络包括输入网络、特征提取网络以及分类网络;特征提取网络包括PCS‑D‑CA模块、PCS‑D
模块、PCS‑S‑CA模块、PCS‑S模块以及自适应池化层;输入网络采用空洞卷积方式提取训练
样本的空洞卷积特征;特征提取网络采用最大模糊池化、通道混洗操作并引入坐标注意力
机制对空洞卷积特征进行特征提取,得到融合坐标注意力的特征;分类网络根据融合坐标
注意力的特征对胸部CT图像进行分类,得到COVID‑19胸部CT图像的类别。
[0088] 新冠肺炎CT识别网络训练模块,用于根据训练样本对新冠肺炎CT识别网络进行训练,得到COVID‑19胸部CT图像识别模型。
[0089] COVID‑19胸部CT图像分类模块,用于获取COVID‑19的待测胸部CT图像,并将待测胸部CT图像输入到COVID‑19胸部CT图像识别模型,得到COVID‑19胸部CT图像的类别。
[0090] 在其中一个实施例中,输入网络包括1层空洞卷积层;新冠肺炎CT识别网络训练模块,还用于将训练样本输入到输入网络的空洞卷积层中,得到空洞卷积特征;将空洞卷积特
征输入到特征提取网络中,得到融合坐标注意力的特征;将融合坐标注意力的特征输入到
分类网络中,输出分类预测结果,根据分类预测结果和训练样本进行反向训练,得到COVID‑
19胸部CT图像识别模型。
[0091] 在其中一个实施例中,特征提取网络由2个PCS‑D‑CA模块、3个PCS‑D模块、1个PCS‑S‑CA模块、2个PCS‑S模块、1层自适应池化层、1层Dropout层以及1层点卷积层组成;新冠肺
炎CT识别网络训练模块,还用于将空洞卷积特征输入到第一个PCS‑D‑CA模块,并将得到的
第一融合坐标注意力的特征输入到第二个PCS‑D‑CA模块中,得到第二融合坐标注意力的特
征;将第二融合坐标注意力的特征输入到第一个PCS‑D模块,并将得到的第一通道拼接特征
输入到第二个PCS‑D模块,将输出的第二通道拼接特征输入到第三个PCS‑D模块中,得到第
三通道拼接特征;将第三通道拼接特征输入到PCS‑S‑CA模块中,得到第三融合坐标注意力
的特征;将第三融合坐标注意力的特征输入到第一个PCS‑S模块中,并将得到的第一元素加
和特征输入到第二个PCS‑S模块中,得到第二元素加和特征;将第二元素加和特征输入到自
适应池化层,得到自适应池化特征;将自适应池化特征输入到Dropout层中,并将得到的输
出特征输入到点卷积层中,得到融合坐标注意力的特征。
[0092] 在其中一个实施例中,PCS‑D模块包括最大模糊池化层、通道切分模块、两条空洞卷积支路、通道拼接模块以及通道混洗模块;两条空洞卷积支路均包括依次连接的3个空洞
卷积模块,空洞卷积模块由空洞卷积核、批归一化模块和H‑swish激活函数组成;第一条空
洞卷积支路的3个空洞卷积模块的空洞卷积核分别为:空洞率为1的点卷积、空洞率为2卷积
核为3×3的空洞卷积、空洞率为1的点卷积;第二条空洞支路的3个空洞卷积模块的空洞卷
积核分别为:空洞率为1的点卷积、空洞率为1卷积核为3×3的空洞卷积、空洞率为1的点卷
积;新冠肺炎CT识别网络训练模块,还用于将第二融合坐标注意力的特征输入到第一个
PCS‑D模块的最大模糊池化层,并将得到的最大模糊池化特征输入到第一个PCS‑D模块的通
道切分模块中,得到两路切分特征;将两路切分特征分别输入到第一个PCS‑D模块的两条空
洞卷积支路中,得到第一空洞卷积支路特征和第二空洞卷积支路特征;将第一空洞卷积支
路特征和第二空洞卷积支路特征输入到第一个PCS‑D模块的通道拼接模块中进行通道拼
接,得到拼接特征;将拼接特征输入到第一个PCS‑D模块的通道混洗模块中进行通道混洗操
作,得到第一通道拼接特征;将第一通道拼接特征输入到第二个PCS‑D模块,将得到的第二
通道拼接特征输入到第三个PCS‑D模块中,得到第三通道拼接特征。
[0093] 在其中一个实施例中,PCS‑S模块是在PCS‑D模块的基础上,将最大模糊池化层和通道混洗模块去掉,并将通道拼接模块替换为元素加和模块得到的;元素加和模块用于将
输入的两个特征进行元素加和,得到元素加和特征。新冠肺炎CT识别网络训练模块,还用于
将第三融合坐标注意力的特征输入到第一个PCS‑S模块的通道切分模块中,得到两路第二
切分特征;将两路第二切分特征分别输入到第一个PCS‑S模块的两条空洞卷积支路中,得到
第三空洞卷积支路特征和第四空洞卷积支路特征;将第三空洞卷积支路特征和第四空洞卷
积支路特征输入到第一个PCS‑S模块的元素加和模块中,得到第一元素加和特征;将第一元
素加和特征输入到第二个PCS‑S模块中,得到第二元素加和特征。
[0094] 在其中一个实施例中,新冠肺炎CT识别网络训练模块,还用于将空洞卷积特征输入到第一个PCS‑D‑CA模块的PCS‑D模块中,得到第四通道拼接特征;并将第四通道拼接特征
输入到第一个PCS‑D‑CA模块的坐标注意力模块中,得到第一坐标注意力特征;将第四通道
拼接特征与第一坐标注意力特征进行融合,得到第一融合坐标注意力的特征;将融合坐标
注意力的特征输入到第二个PCS‑D‑CA模块中,得到第二融合坐标注意力的特征。
[0095] 在其中一个实施例中,新冠肺炎CT识别网络训练模块,还用于将第三通道拼接特征输入到PCS‑S‑CA模块的PCS‑S模块中,得到第三元素加和特征;并将第三元素加和特征输
入到PCS‑S‑CA模块的坐标注意力模块中,得到第二坐标注意力特征;将第三元素加和特征
与第二坐标注意力特征进行融合,得到第三融合坐标注意力的特征。
[0096] 在其中一个实施例中,分类网络包括:全连接层和Softmax分类层;新冠肺炎CT识别网络训练模块,还用于将融合坐标注意力的特征输入到全连接层中,整合类间区分特征,
得到全连接特征;将全连接特征输入到Softmax分类层,使用Softmax进行计算,输出分类预
测结果;根据分类预测结果和训练样本进行反向训练,得到COVID‑19胸部CT图像识别模型。
[0097] 关于COVID‑19胸部CT图像识别装置的具体限定可以参见上文中对于COVID‑19胸部CT图像识别方法的限定,在此不再赘述。上述COVID‑19胸部CT图像识别装置中的各个模
块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立
于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于
处理器调用执行以上各个模块对应的操作。
[0098] 在一个实施例中,提供了一种电子设备,该电子设备可以是终端,其内部结构图可以如图10所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和
输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括
非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存
储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络
接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种
COVID‑19胸部CT图像识别方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示
屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置
的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
[0099] 本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设
备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0100] 在一个实施例中,提供了一种电子设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现上述方法实施例中的步骤。
[0101] 以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛
盾,都应当认为是本说明书记载的范围。
[0102] 以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来
说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护
范围。因此,本申请专利的保护范围应以所附权利要求为准。