本发明公开了一种用于预测新冠肺炎预后的基于深度学习‑影像组学融合特征的CT影像图像处理方法，包括以下步骤：S1、基于K‑means的自动肺分割算法；S2、肺部影像组学特征提取；S3、深度学习特征提取；S4、深度学习和影像组学差异性特征学习；S5、基于融合特征的不良预后预测模型图像处理。本发明方法保留了影像组学特征的可解释性以及深度学习特征的数据自适应性这两种方法的优势。同时，本发明提出了差异性特征学习方式，使深度学习特征与影像组学特征互补，减少两种特征的冗余性，可进一步提升预后预测的精度。
1.一种用于预测新冠肺炎预后的基于深度学习-影像组学融合特征的CT影像图像处理方法，其特征在于：包括以下步骤：S1、基于K-means的自动肺分割算法
使用K-means无监督聚类算法将CT影像中的灰度值聚集为2类，并选取2类的聚类中心的平均值作为最优阈值，然后使用该阈值从CT影像中分割出肺部区域；
对自动分割出的肺部CT影像提取高维纹理特征，然后，将影像组学特征拼接为一维特征向量，记为Fradiomics；
构建基于Dense连接的三维卷积神经网络，对自动分割出的肺部CT影像提取深度学习特征；
在提取了肺部影像的影像组学特征和深度学习特征后，为了避免两种特征存在较大的冗余性，提出特征差异性损失函数对两种特征的差异性进行度量，使两种特征间的差异性尽量大，以减少特征冗余；
将步骤S2所得到的影像组学特征和步骤S3所得到的深度学习特征使用全连接层进行融合，然后使用步骤S4所提出的特征差异性损失函数对两种特征的差异进行约束，使用交叉熵损失函数对模型的预测性能进行度量，并将两种损失函数进行加权，作为最终的损失函数对模型进行训练。
2.根据权利要求1所述的CT影像图像处理方法，其特征在于：在所述S2中，所述高维纹理特征包括GLCM、小波特征和LoG特征。
3.根据权利要求1所述的CT影像图像处理方法，其特征在于：所述S3具体包括以下步骤：特征提取网络由多个Dense块堆叠而成，Dense块之间使用大小为2 x 2 x 2的最大值池化层进行特征降维，在每一个Dense块内部，包含堆叠的多个3 x 3 x 3的卷积层和批量归一化层，并且每一个卷积层的输入均与其前面所有的卷积层的输出相连，即为Dense连接，在卷积神经网络的最后一层后，使用全局池化层将深度学习特征压缩为一维向量，记为FDL。
4.根据权利要求3所述的CT影像图像处理方法，其特征在于：使用其他卷积神经网络作为特征提取网络代替基于Dense连接的三维卷积神经网络作为深度学习特征提取网络。
5.根据权利要求1所述的CT影像图像处理方法，其特征在于：所述S4具体包括以下步骤：将公式1所示的特征差异性损失函数 用于度量影像组学特征Fradiomics和深度学习特征FDL之间的差异性，公式1
公式1同时使用余弦距离和欧式距离对特征差异性进行度量，当两种特征差异性很大时，则公式产生很小的损失值，当两种特征相似时，公式1将产生较大的损失值，说明所提取的特征冗余度太高，需要继续优化。
6.根据权利要求1所述的CT影像图像处理方法，其特征在于：所述S5具体包括以下步骤：在进行模型训练时，使用交叉熵损失函数对模型的预测性能进行度量，并将其与公式1所示的特征差异性损失函数进行加权求和，作为最终的损失函数对模型进行训练，如公式2所示， 公式2
其中，N为训练集的样本数量， 和 分别表示两部分损失函数的权重，表示样本xi对应的特征差异性损失函数， 表示样本xi对应的交叉熵损失函数，其计算公式如公式3所示： 公式3
其中，yi表示样本xi真实的患者预后情况，1代表患者出现了不良预后，0代表患者没有出现不良预后； 表示模型预测的样本xi的预后情况，其取值在（0,1）范围内，最后，使用Adam优化算法对公式2所示的损失函数进行优化，直至模型收敛。
一种用于预测新冠肺炎预后的CT影像图像处理方法
技术领域
[0001] 本发明涉及一种医疗技术，尤其涉及一种用于预测新冠肺炎预后的基于深度学习-影像组学融合特征的CT影像图像处理方法。
背景技术
[0002] 不同新冠肺炎患者的预后情况差异较大，经过及时的治疗后，大部分新冠肺炎患者具有较好的预后，但7%左右的新冠肺炎患者在确诊后会出现不良预后，即需要机械通气或出现死亡。针对这部分具有不良预后的新冠肺炎患者，若能在诊断初期将其预测出来，则可提前进行干预或规划新的治疗方案，以减少不良预后出现的概率。因此，在新冠肺炎诊断初期预测出具有不良预后的患者对于新冠肺炎的治疗方案规划和患者管理具有重要意义。
[0003] 目前的新冠肺炎预后分析方法基本依赖临床指标（例如，年龄、并发症等）或一些量化的CT影像特征分析（例如，影像组学分析、深度学习模型等）。不同的分析方式各有优势，如果能将多种预后分析方法的优势结合起来，则可进一步提升模型的预测精度。但是，在实践中发现，如果只对不同特征进行简单的拼接融合，则可能会纳入很多冗余特征，造成模型过拟合。
[0004] 因此，本发明人设计了一种用于预测新冠肺炎预后的CT影像图像处理特征差异性学习机制，让深度学习特征和影像组学特征在融合时能够互补，发挥各自的优势，避免纳入冗余特征，进而提升融合模型的预测精度。
发明内容
[0005] 本发明的目的是提供一种用于预测新冠肺炎预后的基于深度学习-影像组学融合特征的CT影像图像处理方法，设计端到端的卷积神经网络，实现对影像组学特征和深度学习特征的融合，并且通过特征差异性损失函数让深度学习特征在训练过程中自适应地与影像组学特征互补，避免了融合后引入太多冗余特征，进而提升融合模型的预测精度。
[0006] 这样，采用该CT影像图像处理方案可实现个体化的新冠肺炎不良预后事件的预测，有助于在新冠肺炎确诊初期筛选出未来可能出现不良预后的患者，便于对其进行个体化的治疗和管理。
[0007] 为实现上述目的，本发明提供了一种用于预测新冠肺炎预后的基于深度学习-影像组学融合特征的CT影像图像处理方法，包括以下步骤：
[0008] S1、基于K-means的自动肺分割算法
[0009] 使用K-means无监督聚类算法将CT影像中的灰度值聚集为2类，并选取2类的聚类中心的平均值作为最优阈值，然后使用该阈值从CT影像中分割出肺部区域。
[0010] S2、肺部影像组学特征提取
[0011] 对自动分割出的肺部CT影像提取高维纹理特征，然后，将影像组学特征拼接为一维特征向量，记为Fradiomics。
[0012] 优选地，在所述S2中，所述高维纹理特征包括GLCM、小波特征和LoG特征。
[0013] S3、深度学习特征提取
[0014] 构建基于Dense连接的三维卷积神经网络，对自动分割出的肺部CT影像提取深度学习特征。
[0015] 在一个优选的实施方式中，所述S3具体包括以下步骤：
[0016] 特征提取网络由多个Dense块堆叠而成，Dense块之间使用大小为2 x 2 x 2的最大值池化层进行特征降维，在每一个Dense块内部，包含堆叠的多个3 x 3 x 3的卷积层和批量归一化层，并且每一个卷积层的输入均与其前面所有的卷积层的输出相连，即为Dense连接，在卷积神经网络的最后一层后，使用全局池化层将深度学习特征压缩为一维向量，记为FDL。
[0017] 在其他优选的实施方式中，可以使用其他卷积神经网络作为特征提取网络代替基于Dense连接的三维卷积神经网络作为深度学习特征提取网络。
[0018] S4、深度学习和影像组学差异性特征学习
[0019] 在提取了肺部影像的影像组学特征和深度学习特征后，为了避免两种特征存在较大的冗余性，提出特征差异性损失函数对两种特征的差异性进行度量，使两种特征间的差异性尽量大，以减少特征冗余。
[0020] 在一个优选的实施方式中，所述S4具体包括以下步骤：
[0021] 将公式1所示的特征差异性损失函数 用于度量影像组学特征Fradiomics和深度学习特征FDL之间的差异性，
公式1
[0022] 公式1同时使用余弦距离和欧式距离对特征差异性进行度量，当两种特征差异性很大时，则公式产生很小的损失值，当两种特征相似时，公式1将产生较大的损失值，说明所提取的特征冗余度太高，需要继续优化。
[0023] S5、基于融合特征的不良预后预测模型图像处理
[0024] 将步骤S2所得到的影像组学特征和步骤S3所得到的深度学习特征使用全连接层进行融合，然后使用步骤S4所提出的特征差异性损失函数对两种特征的差异进行约束，使用交叉熵损失函数对模型的预测性能进行度量，并将两种损失函数进行加权，作为最终的损失函数对模型进行训练。
[0025] 在一个优选的实施方式中，所述S4具体包括以下步骤：
[0026] 在进行模型训练时，使用交叉熵损失函数对模型的预测性能进行度量，并将其与公式1所示的特征差异性损失函数进行加权求和，作为最终的损失函数对模型进行训练，如公式2所示，
[0027] 公式2
[0028] 其中，N为训练集的样本数量， 和 分别表示两部分损失函数的权重，表示样本xi对应的特征差异性损失函数， 表示样本xi对应的交叉熵损失函数，其计算公式如公式3所示：
[0029] 公式3
[0030] 其中，yi表示样本xi真实的患者预后情况，1代表患者出现了不良预后，0代表患者没有出现不良预后； 表示模型预测的样本xi的预后情况，其取值在（0,1）范围内，最后，使用Adam优化算法对公式2所示的损失函数进行优化，直至模型收敛。
[0031] 下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0032] 图1为基于K-means聚类的肺部CT影像分割流程。
[0033] 图2为基于深度学习-影像组学特征融合的新冠肺炎预后预测模型流程图。
具体实施方式
[0034] 以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
[0035] 本发明包括以下步骤：
[0036] S1、基于K-means的自动肺分割
[0037] 为了提取CT影像中的肺部特征，首先将肺区从CT影像中自动分割出来。在CT影像中，肺区与人体肌肉、骨骼等组织的CT值差异较大，可使用阈值进行肺区分割。但由于扫描机器的差异，每个患者的CT影像中最优的肺分割阈值有所不同，此外，若使用较大的分割阈值，会导致过度分割，将肺内的炎症组织和支气管、血管等组织漏掉；若分割阈值较小，则会导致包含部分肌肉组织在内。因此，如何自适应的选取适合每个患者的最优阈值对于肺分割的性能影响较大。
[0038] 本发明使用无监督的K-means算法自动确定每个患者的最优分割阈值，如图1所示。
[0039] S2、肺部影像组学特征提取
[0040] 对于步骤S1中分割出的肺部CT影像，对其提取量化的影像组学特征，包括GLCM、小波特征、LoG特征等高维纹理特征；然后，将影像组学特征拼接为一维特征向量，记为Fradiomics。
[0041] S3、深度学习特征提取
[0042] 构建基于Dense连接的三维卷积神经网络，对自动分割出的肺部CT影像提取深度学习特征。该特征提取网络由多个Dense块堆叠而成，Dense块之间使用大小为2 x 2 x 2的最大值池化层进行特征降维。在每一个Dense块内部，包含堆叠的多个3 x 3 x 3的卷积层和批量归一化层，并且每一个卷积层的输入均与其前面所有的卷积层的输出相连，即为Dense连接。该发明中使用基于Dense连接的三维卷积神经网络作为深度学习特征提取网络，但不限于该网络，可使用任意卷积神经网络作为特征提取网络。在卷积神经网络的最后一层后，使用全局池化层将深度学习特征压缩为一维向量，记为FDL。
[0043] S4、深度学习和影像组学差异性特征学习
[0044] 在通过步骤S2提取了肺部CT影像的影像组学特征和通过步骤S3提取了深度学习特征后，为了避免两种特征存在较大的冗余性，在模型训练过程中需要对两种特征间的差异性进行约束。本发明提出特征差异性损失函数对两种特征的差异性进行度量，使两种特征间的差异性尽量大，以减少特征冗余。
[0045] 公式1
[0046] 将如公式1所示的特征差异性损失函数 用于度量影像组学特征Fradiomics和深度学习特征FDL之间的差异性。该式同时使用余弦距离和欧式距离对特征差异性进行度量，当两种特征差异性很大时，则公式1产生很小的损失值，当两种特征相似时，公式1将产生较大的损失值，则说明所提取的特征冗余度太高，需要继续优化。
[0047] S5、基于融合特征的不良预后预测模型图像分析
[0048] 将步骤S2所得到的深度学习特征和步骤S3所得到的深度学习特征使用全连接层进行融合，然后使用步骤S4所提出的特征差异性损失函数对两种特征的差异性进行约束，并将融合后的特征通过全连接层连接至输出层，预测该患者会出现不良预后的概率。
[0049] 该流程如图2所示。在进行模型训练时，使用交叉熵损失函数对模型的预测性能进行度量，并将其与公式1所示的特征差异性损失函数进行加权求和，作为最终的损失函数对模型进行训练，如公式2所示。
[0050] 公式2
[0051] 其中，N为训练集的样本数量， 和 分别表示两部分损失函数的权重，表示样本xi对应的特征差异性损失函数， 表示样本xi对应的交叉熵损失函数，其计算公式如公式3所示：
[0052] 公式3
[0053] 其中，yi表示样本xi真实的患者预后情况（1代表患者出现了不良预后，0代表患者没有出现不良预后）；表示模型预测的样本xi的预后情况，其取值在（0,1）范围内。最后，使用Adam优化算法对公式2所示的损失函数进行优化，直至模型收敛。
[0054] 最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
