一种基于多模态融合的脑部胶质瘤分割方法

摘要

本发明公开了一种基于多模态融合的脑部胶质瘤分割方法，包括如下步骤：S1、通过MRI获取多模态脑部胶质瘤数据集，将数据预处理成深度学习模型的输入；S2、对数据进行数据增强、增加训练样本丰富性，包括随机旋转、随机翻转、随机缩放和随机裁剪等；S3、基于Transformer设计融合模块以融合多模态特征；S4、结合TransUnet和融合模块构建多模态脑部胶质瘤分割模型；S5、设计特征解耦模块，解耦前景和背景特征，提高分割模型的性能；S6、对分割模型进行评估验证和测试。本发明采用上述的一种基于多模态融合的脑部胶质瘤分割方法，通过对多模态的脑部MRI图像提取特征，实现对脑部肿瘤的有效分割。

权利要求

1.一种基于多模态融合的脑部胶质瘤分割方法，其特征在于：包括如下步骤：S1、通过MRI获取多模态脑部胶质瘤数据集，将数据预处理成深度学习模型输入；

S2、对数据进行数据增强、增加训练样本丰富性，包括随机旋转、随机翻转、随机缩放和随机裁剪；

S3、基于Transformer设计融合模块以融合多模态特征；

S4、结合TransUnet和融合模块构建多模态脑部胶质瘤分割模型；

S5、设计特征解耦模块，解耦前景和背景特征，提高分割模型的性能；

S6、对分割模型进行评估验证和测试

所述步骤S1中对数据进行预处理，包括如下步骤：

S1‑1、中心裁剪图片数据：原始图片数据尺寸为1×240×240，分别表示图片的通道数、高和宽，裁剪掉图片边缘区域，裁剪后图片尺寸为1×144×176；

S1‑2、拼接多模态数据：来自MRI脑部胶质瘤数据包含四个模态：Flair、T1、T1ce和T2，经过所述步骤S1‑1的处理，将Flair和T2沿着通道拼接成2×144×176作为一组模态数据、T1和T1ce沿着通道拼接成2×144×176作为另一组模态数据；

S1‑3、数据归一化：将原本数据范围[0,255]归一化到[0,1]范围内以加速模型的训练速度；

所述步骤S3中，融合模块借鉴Transformer的交叉注意力机制设计了基于局部窗口的交叉注意力机制，使得交叉注意力的运算仅限于局部区域；将所述步骤S1‑2其中一组模态特征作为查询向量q、另一组模态特征作为关键字向量k和值向量v，q与k计算相似度矩阵，然后通过softmax生成注意力矩阵，然后与v相乘，建立两组模态之间的关联，显式引导不同模态特征之间的融合。

2.根据权利要求1所述的一种基于多模态融合的脑部胶质瘤分割方法，其特征在于：所述步骤S4中，使用两个独立的TransUnet作为特征提取网络，分别从两组模态提取特征，融合模块被使用在TransUnet的每一层以融合多尺度特征。

3.根据权利要求1所述的一种基于多模态融合的脑部胶质瘤分割方法，其特征在于：所述步骤S5中，将模型的编码器的最后一层特征，分别映射成前景特征和背景特征，顺时针旋转前景特征再结合背景特征，重构修改后的输入图片。

说明书

一种基于多模态融合的脑部胶质瘤分割方法

技术领域

[0001] 本发明涉及计算机深度学习图像分割技术领域，尤其是涉及一种基于多模态融合的脑部胶质瘤分割方法。

背景技术

[0002] 目前，脑部胶质瘤主要通过MRI技术诊断。脑部肿瘤区域包含水肿区、增强肿瘤区和坏死区，用计算机从脑部MRI图像中自动的分割出肿瘤区域可以帮助医生诊断疾病、加快诊断效率、降低误诊风险、减轻医生负担。此外，一些区域较小的肿瘤，需要医生依据经验主观的来判断，不同专家可能有不同的看法，通过计算机技术自动分割肿瘤，可以减少主观因素的影响。

[0003] 脑部MRI图像包含四种模态，Flair、T1、T1ce和T2。这四种模态反映不同的信息。T1可以反映脑部的解剖结构，T2对病变区域更加敏感，T1ce则对血流较快的区域敏感，Flair在T2的基础上可以把病灶的边缘细节显现。有效的融合这些模态的特征可以大大提升分割效果，然而现有的方法很少关注不同模态特征之间的融合。

发明内容

[0004] 本发明的目的是提供一种基于多模态融合的脑部胶质瘤分割方法，使用TransUnet作为特征提取网络，设计了一个基于交叉注意力机制的融合模块，在特征层面有效的融合了多模态特征，显式的引导了模型融合不同模态特征的过程；同时，设计了特征解耦模块，提升分割模型区分前景和背景的能力。

[0005] 为实现上述目的，本发明提供了一种基于多模态融合的脑部胶质瘤分割方法，包括如下步骤：

[0006] S1、通过MRI获取多模态脑部胶质瘤数据集，将数据预处理成深度学习模型的输入；

[0007] S2、对数据进行数据增强、增加训练样本丰富性，包括随机旋转、随机翻转、随机缩放和随机裁剪等；

[0008] S3、基于Transformer设计融合模块以融合多模态特征；

[0009] S4、结合TransUnet和融合模块构建多模态脑部胶质瘤分割模型；

[0010] S5、设计特征解耦模块，解耦前景和背景特征，提高分割模型的性能；

[0011] S6、对分割模型进行评估验证和测试。

[0012] 优选的，所述步骤S1中对数据进行预处理，包括如下步骤：

[0013] S1‑1、中心裁剪图片数据：原始图片数据尺寸为1×240×240，分别表示图片的通道数、高和宽，裁剪掉图片边缘区域，裁剪后图片尺寸为1×144×176；

[0014] S1‑2、拼接多模态数据：来自MRI脑部胶质瘤数据包含四个模态：Flair、T1、T1ce和T2，经过所述步骤S1‑1的处理，Flair和T2包含的信息更加相似，T1和T1ce包含的信息更加相似，将Flair和T2沿着通道拼接成2×144×176作为一组模态数据、T1和T1ce沿着通道拼接成2×144×176作为另一组模态数据；

[0015] S1‑3、数据归一化：将原本数据范围[0,255]归一化到[0,1]范围内以加速模型的训练速度。

[0016] 优选的，所述步骤S3中，融合模块借鉴Transformer的交叉注意力机制设计了基于局部窗口的交叉注意力机制，使得交叉注意力的运算仅限于局部区域；将所述步骤S1‑2其中一组模态特征作为查询向量（q）、另一组模态特征作为关键字向量（k）和值向量（v），q与k计算相似度矩阵，然后通过softmax生成注意力矩阵，然后与v相乘，建立两组模态之间的关联，显式引导不同模态特征之间的融合。

[0017] 优选的，所述步骤S4中，使用两个独立的TransUnet作为特征提取网络，分别从两组模态提取特征，融合模块被使用在TransUnet的每一层以融合多尺度特征。

[0018] 优选的，所述步骤S5中，将模型的编码器的最后一层特征，分别映射成前景特征和背景特征，顺时针旋转前景特征再结合背景特征，重构修改后的输入图片。

[0019] 因此，本发明采用上述的一种基于多模态融合的脑部胶质瘤分割方法，从脑部MRI图像中自动的分割脑部胶质瘤，可以充分的利用脑部MRI图像的多模态信息，借助交叉注意机制设计局部窗口的注意力机制以有效的融合不同模态之间的信息，并且设计了特征解耦模块，通过多任务学习的方式提升模型的分割性能，在所有2D方法中能取得最佳的效果。

[0020] 下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

[0021] 图1为本发明一种基于多模态融合的脑部胶质瘤分割方法的局部窗口的融合模块结构示意图；

[0022] 图2为本发明一种基于多模态融合的脑部胶质瘤分割方法中脑部胶质瘤分割模型；

[0023] 图3为本发明一种基于多模态融合的脑部胶质瘤分割方法中特征解耦模块结构示意图；

[0024] 图4为本发明一种基于多模态融合的脑部胶质瘤分割方法中有无融合模块性能比较；

[0025] 图5为本发明一种基于多模态融合的脑部胶质瘤分割方法中不同融合模块数量的性能比较；

[0026] 图6为本发明一种基于多模态融合的脑部胶质瘤分割方法中融合模块中不同尺寸的融合窗口的性能比较；

[0027] 图7为本发明一种基于多模态融合的脑部胶质瘤分割方法中有无特征解耦模块的性能比较；

[0028] 图8为本发明一种基于多模态融合的脑部胶质瘤分割方法与经典的分割方法的性能比较。

具体实施方式

[0029] 以下通过附图和实施例对本发明的技术方案作进一步说明。

[0030] 除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

[0031] 实施例

[0032] 一种基于多模态融合的脑部胶质瘤分割方法，包括如下步骤：

[0033] S1、通过MRI获取多模态脑部胶质瘤数据集，将数据预处理成深度学习模型的输入。数据集使用Brats 2020挑战赛的数据集，其包含369张训练数据，125张验证数据，均为MRI数据，且包含四种模态：Flair、T1、T1ce和T2。验证集没有标签，获取评估结果需要通过Brats在线评估系统。

[0034] 本发明是2D方法，所以需要将MRI数据的每张切片作为一个样本。此外，数据需要经过预处理以减轻模型的学习负担。首先，通过中心裁剪以裁剪图片数据，原始图片数据尺寸为1×240×240，分别表示图片的通道数、高和宽。因为脑部区域仅仅在图片中心区域显示，所以裁剪掉图片边缘区域，裁剪后图片尺寸为1×144×176。其次，需要拼接多模态数据。经过剪裁后Flair和T2包含的信息更加相似，T1和T1ce包含的信息更加相似。所以将Flair和T2沿着通道拼接成2×144×176作为一组模态数据、T1和T1ce沿着通道拼接成2×144×176作为另一组模态数据。最后，需要对数据进行归一化。将原本数据范围[0,255]归一化到[0,1]范围内以加速模型的训练速度。

[0035] S2、对数据进行数据增强、增加训练样本丰富性，包括随机旋转、随机翻转、随机缩放和随机裁剪等，其中触发每个增强的概率均为50%。

[0036] S3、基于Transformer设计融合模块以融合多模态特征，融合模块被叫做LAF block。融合模块借鉴Transformer的交叉注意力机制设计了基于局部窗口的交叉注意力机制，使得交叉注意力的运算仅限于局部区域。融合模块结构示意图如图1所示，左边是其内部结构图。LAF block将其中一组模态特征映射成查询向量（q）、另一组模态特征映射为关键字向量（k）和值向量（v）。q与k计算相似度矩阵，然后通过softmax生成注意力矩阵，然后与v相乘。最后将加权的特征和原始模态特征通过加法结合。通过这种方式，融合模块可以建立两组模态之间的关联，显式的引导不同模态特征之间的融合。图1右半部分是LAF block内部窗口滑动的过程，其类似于卷积的滑动方式，通过这种局部窗口的融合，减少了计算量和硬件消耗。

[0037] S4、结合TransUnet和融合模块构建多模态脑部胶质瘤分割模型。使用步骤S2处理完成的图片数据作为模型的输入，然后基于TransUnet构建多模态特征融合模型。多模态特征融合模型如图2所示，使用两个独立的TransUnet作为特征提取网络，分别从两组模态提取特征，然后在TransUnet的每一层都使用LAF block建立不同模态特征之间的关联以融合模态信息。最后通过解码器恢复到输入图像的分辨率，实现对脑部胶质瘤的分割。

[0038] S5、设计特征解耦模块，解耦前景和背景特征，提高分割模型的性能。特征解耦模块被叫做FDE block，其内部结构图如图3所示，FDE block将模型的编码器的最后一层特征，通过1×1卷积分别映射成前景特征和背景特征，顺时针90度旋转前景特征再结合背景特征，通过重构解码器重构修改后的输入图片。通过这种多任务学习的方式，可以提升模型区分前景和背景的能力。

[0039] S6、对分割模型进行评估验证和测试。本发明采用Dice、Sensitivity、Specificity和HD95作为评估指标。

[0040] 实验测试

[0041] 1.测试融合模块的性能。如图4所示，w/o表示without，w表示with。加上融合模块，模型在Dice、Sensitivity和HD95均有提升。这表明融合模块的有效性。

[0042] 2.测试融合模块的数量对模型的影响。如图5所示、数量为1表示仅仅在模型编码器的最后一层添加LAF block，数量递增表示逐层添加LAF block。随着LAF block数量的递增，模型的Dice从88.68逐渐提升到89.46，Sensitivity从88.17提升到88.38，HD95从6.02降低到5.02。这表明多尺度的融合是有效的。

[0043] 3.测试融合模块窗口尺寸对模型的影响。如图6所示，窗口大小从3到13，模型在大小为11时取得最佳效果。这表明融合窗口太大，可能带来更多的冗余信息，对于融合反而不利。融合窗口太小则不能充分利用领域信息。所以本发明默认使用窗口尺寸为11。

[0044] 4.测试特征解耦模块的性能。如图7所示，模型没有FDE block，Dice为89.46，添加FDE block则可以实现89.61的效果。Sensitivity和HD95均有提升。此外，FDE block不会增加很多参数量。FDE block是一个即插即用的模块，具有很强的灵活性。

[0045] 5.测试融合模型整体的性能。本发明的方法与经典的分割方法的比较被展示在图8。本发明的方法在三种融合方式中能取得最佳的效果，并且在同等级的融合方式下也能取得最佳的性能。

[0046] 因此，本发明采用上述的一种基于多模态融合的脑部胶质瘤分割方法，从脑部MRI图像中自动的分割脑部胶质瘤，；可以充分的利用脑部MRI图像的多模态信息，借助交叉注意机制设计局部窗口的注意力机制以有效的融合不同模态之间的信息，并且设计了特征解耦模块，通过多任务学习的方式提升模型的分割性能，在所有2D方法中能取得最佳的效果。

[0047] 最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。