基于尺度均衡耦合卷积架构的脑神经影像特征提取方法

摘要

本发明涉及一种基于尺度均衡耦合卷积架构的脑神经影像特征提取方法，属于图像特征提取技术领域，包括步骤：分别对sMRI图像与fMRI图像进行不同的预处理，得到3D大脑图像和2D脑功能网络图像；利用基于膨胀卷积的尺度均衡金字塔卷积网络分别对3D大脑图像和2D脑功能网络图像进行卷积特征提取操作，得到时间‑空间尺度均衡特征；将所得到的时间‑空间尺度均衡特征进行随机匹配耦合计算，得到耦合矩阵，该耦合矩阵用于作为提取的融合特征输入到分类器中。本发明特征提取方法既充分考虑了单一模态中多尺度语义关联性，也能对模态间耦合特征进行提取，使模型的准确性和鲁棒性进一步提升，同时适用多种不同模态的特征提取，可扩展性强。

权利要求

1.一种基于尺度均衡耦合卷积架构的脑神经影像特征提取方法，其特征在于，包括以下步骤：步骤一、获取包括sMRI图像与fMRI图像的脑神经影像，并分别对sMRI图像与fMRI图像进行不同的预处理，得到3D大脑图像和2D脑功能网络图像；

步骤一中对sMRI图像进行预处理的过程包括以下步骤：将sMRI图像导入到SPM12软件中，首先通过头动校正筛去头动过大的图像，然后将头动校正后的功能像文件归一化到MNI空间，剥离颅骨和去除小脑后，最终得到3D大脑图像；

步骤一中对fMRI图像进行预处理的过程包括以下步骤：

将fMRI图像导入到SPM12软件中，首先进行时间点去除操作；接下来进行时间层校正，保证一个扫描周期内各层扫描时间的统一；然后进行头动校正，评估被试头动状况，并调整因此造成的不同时刻的图像错位；之后直接将个体极限平面图像配准到标准的EPI模板上；

最后进行脑网络构建，利用AAL90模板将fMRI数据分成90个ROI节点构建脑功能网络；

步骤二、利用基于膨胀卷积的尺度均衡金字塔卷积网络分别对3D大脑图像和2D脑功能网络图像进行卷积特征提取操作，得到3D大脑图像和2D脑功能网络图像的时间‑空间尺度均衡特征；

步骤二包括以下步骤：

将每一个输入基于膨胀卷积的尺度均衡金字塔卷积网络的输入数据都划分为不同的尺度；

根据划分的尺度选用相应的均衡膨胀卷积策略，计算得到不同尺度的输出特征，计算方法是每一个尺度的输出特征都等于其自身的输出特征与相邻尺度的输出特征的权重相加，全部尺度的输出特征之和为总体多尺度输出特征；

利用特征提取网络对总体多尺度输出特征进行特征提取后，最终得到输入数据的时间‑空间尺度均衡特征；

步骤三、将步骤二所得到的时间‑空间尺度均衡特征进行随机匹配耦合计算，得到耦合矩阵，所述耦合矩阵用于作为提取的融合特征输入到分类器中。

2.根据权利要求1所述的基于尺度均衡耦合卷积架构的脑神经影像特征提取方法，其特征在于，特征提取网络采用ResNet或ResNeXt残差网络或Res2Net残差网络。

3.根据权利要求1所述的基于尺度均衡耦合卷积架构的脑神经影像特征提取方法，其特征在于，在步骤三中，利用余弦相似度、spearman相关系数、kendall秩相关系数和皮尔逊相关系数中的任意一种计算耦合矩阵。

说明书

基于尺度均衡耦合卷积架构的脑神经影像特征提取方法

技术领域

[0001] 本发明属于图像特征提取技术领域，特别是涉及一种基于尺度均衡耦合卷积架构的脑神经影像特征提取方法。

背景技术

[0002] 深度学习在整合信息以及挖掘信息内部关联的能力已经远超人类，在医学领域得到了广泛的应用。多模态数据因为可以多方位的展示病患的临床状态而被广泛的应用在阿尔兹海默病(Alzheimer's disease，AD)诊断当中并取得了不错的效果。但是多模态数据的利用也存在着很大的挑战，比如多模态数据数据获取难度大，很难形成足够的规模用来训练模型；再比如多模态参数庞大，训练难度大，需要模型具有十分强大的复杂特征提取能力。使用结构性磁共振成像(structural magnetic resonance imaging，sMRI)和功能性磁共振成像(functional magnetic resonance imaging，fMRI)通过时序‑结构手段观察病患脑区的萎缩情况和脑区活动变化一直是研究AD病理的常用手段，两者可以相互补充，从时间‑空间多个角度表征AD在大脑的多尺度特征。

[0003] AD早期患者在脑组织明显萎缩之前，大脑只会发生一些微观结构的变化，这就导致AD脑神经影像的分类难度相比于传统图像分类难度更大。但是目前研究对尺度特征的卷积操作都是独立的，尺度之间缺少关联性导致语义信息存在丢失的问题从而限制了分类性能。同时对于多模态特征的融合策略，常用的融合手段有平行输入、通道拼接、对应位置融合等操作。但是这些操作只是简单的将各个模态数据累加在一起，缺少对于模态之间的相关性的挖掘，这也是利用多模态数据对AD进行分类准确率无法满足临床应用的又一大问题。

[0004] 目前，AD多模态诊断模型使用的多尺度特征提取方法，缺少对于尺度间语义关联性的考虑，使得不同尺度间语义缺失，影响了提升准确率的效果，同时对于AD多模态数据的使用只是简单的将模态进行累加，没有对模态之间的耦合关系进行进一步挖掘，多模态特征差异并不明显，导致多模态诊断准确率并不理想。因此迫切需要一种特征提取方法，让模型既能将模态中多尺度特征语义关联性考虑在内，也能将模态间耦合关系进行充分的挖掘。

发明内容

[0005] 为解决现有的AD多模态诊断模型所使用的多尺度特征提取方法存在的缺少对于尺度间语义关联性的考虑，也没有对模态之间的耦合关系进行进一步挖掘的问题，提供一种基于尺度均衡耦合卷积架构的脑神经影像特征提取方法，该特征提取方法采用一种新型的尺度均衡耦合卷积架构，既可以充分的考虑单一模态中多尺度语义关联性，也能对模态间耦合特征进行提取，使得模型的准确和鲁棒性可以进一步的提升，同时该架构能够适用多种不同模态的特征提取，可扩展性强。

[0006] 为实现上述目的，本发明采取如下的技术方案：

[0007] 一种基于尺度均衡耦合卷积架构的脑神经影像特征提取方法，包括以下步骤：

[0008] 步骤一、获取包括sMRI图像与fMRI图像的脑神经影像，并分别对sMRI图像与fMRI图像进行不同的预处理，得到3D大脑图像和2D脑功能网络图像；

[0009] 步骤一中对sMRI图像进行预处理的过程包括以下步骤：将sMRI图像导入到SPM12软件中，首先通过头动校正筛去头动过大的图像，然后将头动校正后的功能像文件归一化到MNI空间，剥离颅骨和去除小脑后，最终得到3D大脑图像；

[0010] 步骤一中对fMRI图像进行预处理的过程包括以下步骤：

[0011] 将fMRI图像导入到SPM12软件中，首先进行时间点去除操作；接下来进行时间层校正，保证一个扫描周期内各层扫描时间的统一；然后进行头动校正，评估被试头动状况，并调整因此造成的不同时刻的图像错位；之后直接将个体极限平面图像配准到标准的EPI模板上；最后进行脑网络构建，利用AAL90模板将fMRI数据分成90个ROI节点构建脑功能网络；

[0012] 步骤二、利用基于膨胀卷积的尺度均衡金字塔卷积网络分别对3D大脑图像和2D脑功能网络图像进行卷积特征提取操作，得到3D大脑图像和2D脑功能网络图像的时间‑空间尺度均衡特征；

[0013] 步骤二包括以下步骤：

[0014] 将每一个输入基于膨胀卷积的尺度均衡金字塔卷积网络的输入数据都划分为不同的尺度；

[0015] 根据划分的尺度选用相应的均衡膨胀卷积策略，计算得到不同尺度的输出特征，计算方法是每一个尺度的输出特征都等于其自身的输出特征与相邻尺度的输出特征的权重相加，全部尺度的输出特征之和为总体多尺度输出特征；

[0016] 利用特征提取网络对总体多尺度输出特征进行特征提取后，最终得到输入数据的时间‑空间尺度均衡特征；

[0017] 步骤三、将步骤二所得到的时间‑空间尺度均衡特征进行随机匹配耦合计算，得到耦合矩阵，所述耦合矩阵用于作为提取的融合特征输入到分类器中。

[0018] 与现有技术相比，本发明具有以下有益效果：

[0019] (1)使用尺度均衡卷积充分的考虑了特征提取中多尺度间的语义关联性，使得采用本发明特征提取方法的模型可以充分的学习到大脑结构以及时序间的信息特征，减少卷积感受野间关联性的数据损失；

[0020] (2)使用特征耦合操作，将sMRI图像与fMRI图像的时间‑空间尺度均衡特征进行随机匹配耦合计算，得到耦合矩阵，可以将不同模态的数据映射到相同的语义空间当中，提高特征的扰动性；此外，使用耦合特征可以将不匹配的sMRI和fMRI数据进行融合，减少数据融合成本，同时能达到数据增强的目的，提高模型的泛化能力。

附图说明

[0021] 图1为本发明基于尺度均衡耦合卷积架构的脑神经影像特征提取方法的流程示意图。

具体实施方式

[0022] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0023] 在其中一个实施例中，如图1所示，本发明提供了一种脑神经影像特征提取方法，该方法基于尺度均衡耦合卷积架构实现，主要包括预处理步骤、特征提取步骤和特征耦合步骤，下面分别对各个步骤进行详细说明。

[0024] 步骤一、首先获取由磁共振成像得到的脑神经影像，其中脑神经影像包括sMRI图像与fMRI图像，然后分别对sMRI图像与fMRI图像进行不同的预处理，以去掉干扰因素，对应得到3D大脑图像和2D脑功能网络图像。

[0025] 进一步的，步骤一中步对sMRI图像进行预处理的过程包括以下步骤：

[0026] sMRI图像的预处理是应用SPM12软件完成的。首先将sMRI图像导入到SPM12软件中，通过Realign头动校正，筛去头动过大的图像，头动过大标准为2mm和2°；然后将头动校正后的功能像文件归一化到MNI空间，剥离颅骨和去除小脑后，最终得到大小为121×145×121的3D大脑图像。

[0027] 进一步的，步骤一中对fMRI图像进行预处理的过程包括以下步骤：

[0028] fMRI图像的预处理也是应用SPM12软件完成的。首先将fMRI图像导入到SPM12软件中，进行时间点去除操作，例如去掉前10个由于机器因素不稳定的时间点；接下来进行Slice Timing时间层校正，保证一个扫描周期内各层扫描时间的统一；然后进行头动校正，评估被试头动状况，并调整因此造成的不同时刻的图像错位；之后直接将个体极限平面图像(epipolar plane image，EPI)配准到标准的EPI模板上；最后进行脑网络构建，利用AAL90模板将fMRI数据分成90个ROI节点构建脑功能网络。

[0029] 步骤二、利用基于膨胀卷积的尺度均衡金字塔卷积网络分别对3D大脑图像和2D脑功能网络图像进行卷积特征提取操作，得到3D大脑图像和2D脑功能网络图像的时间‑空间尺度均衡特征。

[0030] 本发明利用不同大小的卷积核进行卷积特征提取操作，来提取不同感受野的脑神经影像的时间空间特征。同时为了将不同感受野的特征关联性考虑在内，本发明利用尺度均衡的思想，将相邻感受野尺度的特征进行权重赋值相加的操作，让每个尺度输出的特征都考虑到了相邻尺度间的语义关联性，完成时间‑空间尺度均衡特征提取。

[0031] 在使用尺度均衡金字塔卷积网络进行卷积特征提取操作时，本发明没有像传统的3D卷积那样使用3×3×3，5×5×5，7×7×7那样的传统卷积策略来实现多尺度特征提取，因为这种策略会使得整个网络的参数大幅的增加，从而导致模型训练变得困难。为了降低整个模型的运算参数，本发明选用膨胀卷积来替换传统的卷积策略。使用膨胀卷积的好处是可以在保持参数个数不变的情况下增大卷积核的感受野，让每个卷积输出都包含较大范围的信息。使用3×3×3dilation＝3膨胀卷积核，可以得到相当于7×7×7的卷积核大小的感受野，而参数量只有其7.9％。

[0032] 等效感受野K'计算公式如下：

[0033] K'＝K+(K‑1)×(d‑1)   (1)

[0034] 其中，K表示卷积核大小，d表示膨胀系数。

[0035] 在确定好每个尺度的卷积策略之后，需要进一步将多尺度特征进行融合。

[0036] 具体过程如下：

[0037] 令{F1,F2,F3,...,Fn,...,FN}∈S表示包含N个样本的数据集，{Y1,Y2,Y3,...,Yn,...,YN}∈Y表示数据对应的标签。

[0038] 步骤二具体包括以下步骤：

[0039] 首先，为了获得多尺度输入数据，每一个输入基于膨胀卷积的尺度均衡金字塔卷积网络的输入数据Fn都需要被划分为不同的尺度(level)，即

[0040] 在将输入数据分为不同的level后，根据划分的尺度选用相应的均衡膨胀卷积策略，计算得到不同尺度的输出特征，计算方法是每一个尺度的输出特征都等于其自身的输出特征与相邻尺度的输出特征的权重相加，公式如下：

[0041]

[0042] 其中，Wk表示尺度level＝k的权重，Conk表示尺度level＝k的卷积操作，式中每一个尺度level的输出都等于自身与相邻level输出特征的权重相加。

[0043] 全部尺度的输出特征之和即为总体多尺度输出特征yn，计算公式如下：

[0044]

[0045] 利用特征提取网络对多尺度特征进行融合后，最终得到输入数据的时间‑空间尺度均衡特征。

[0046] 最后，将总体多尺度输出特征输入到特征提取网络当中进行进一步的特征提取，例如通过ResNet对时间和空间特征进行提取得到特征fn，然后通过矩阵矫正将时间空间特征转化为64*32的特征图g。其中的特征提取网络可以采用现有的ResNet实现，也可以采用ResNeXt或者Res2Net两种残差结构替代ResNet。

[0047] 步骤三、将步骤二所得到的时间‑空间尺度均衡特征进行随机匹配耦合计算，得到耦合矩阵，该耦合矩阵用于作为提取的融合特征输入到分类器中。

[0048] 特征提取操作之后，得到sMRI图像和fMRI图像的时间‑空间尺度均衡特征。为了使模型能够充分的学习到时间、空间特征并考虑到两者之间的耦合关系，将两者的时间‑空间尺度均衡特征进行随机匹配耦合计算后得到的耦合矩阵作为融合特征输入到分类器中，用分类器对融合特征进行分类并输出分类结果。

[0049] 对于耦合矩阵的计算，可以选用余弦相似度来计算时间‑空间尺度均衡特征的耦合矩阵，也可以用spearman相关系数、kendall秩相关系数和皮尔逊相关系数中的任意一种替代余弦相似度来计算。

[0050] 当选用余弦相似度来计算时间‑空间尺度均衡特征的耦合矩阵时，计算公式如下：

[0051]

[0052] 其中，g'n、g”m分别表示经过尺度均衡金字塔卷积后的sMRI和fMRI的特征图，dk表示特征图的列数。

[0053] 时间‑空间尺度均衡特征融合采用随机匹配的方式，使得每个结构特征都有时序特征进行匹配，充分考虑结构与时序匹配的所有可能性。同时扩增数据量，让耦合数据域可以充分的表征其标签域，例如可以将同一个人不同年份采集的数据纳入其中，尽可能多的考虑时‑空特征组合可能性。通过计算时间‑空间尺度均衡特征耦合矩阵，将其投影到标签语义空间，也解决了因数据维度不同存在的融合困难的问题。

[0054] 本发明的特征提取方法利用时‑空尺度均衡金字塔卷积，学习MRI脑神经影像多尺度特征之间的语义关系，并利用模态特征之间的耦合关系，实现对多模态数据更为高效的融合，有益效果如下：

[0055] (1)使用尺度均衡卷积充分的考虑了特征提取中多尺度间的语义关联性，使得采用本发明特征提取方法的模型可以充分的学习到大脑结构以及时序间的信息特征，减少卷积感受野间关联性的数据损失；

[0056] (2)使用特征耦合操作，将sMRI图像与fMRI图像的时间‑空间尺度均衡特征进行随机匹配耦合计算，得到耦合矩阵，可以将不同模态的数据映射到相同的语义空间当中，提高特征的扰动性；此外，使用耦合特征可以将不匹配的sMRI和fMRI数据进行融合，减少数据融合成本，同时能达到数据增强的目的，提高模型的泛化能力。

[0057] 以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

[0058] 以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。