一种基于上下文级联注意力的心脏MRI分割方法转让专利
申请号 : CN202311231297.8
文献号 : CN117078941B
文献日 : 2024-03-01
发明人 : 刘瑞霞 , 胡盼盼 , 舒明雷 , 刘照阳 , 陈永健 , 王琦
申请人 : 齐鲁工业大学(山东省科学院) , 山东省人工智能研究院 , 青岛海信医疗设备股份有限公司
摘要 :
权利要求 :
1.一种基于上下文级联注意力的心脏MRI分割方法,其特征在于,包括如下步骤:
a)收集n个受试者的心脏MRI数据,得到MRI数据集s,s={s1,s2,...,si,...,sn},si为第i名受试者的心脏MRI数据,i∈{1,2,...,n};
b)对MRI数据集s进行预处理操作,得到预处理后的数据集F,F={F1,F2,...,Fi,...,Fn},Fi为第i个预处理后的二维图像数据;
c)将预处理后的数据集F划分为训练集、测试集、验证集;
d)建立由编码器和解码器构成的分割网络模型;
e)将预处理后的二维图像数据Fi输入到分割网络模型的编码器中,输出得到特征图特征图 特征图 特征图
f)将特征图 特征图 特征图 特征图 输入到分割网络模型的解码器中,
输出得到预测分割图像
g)训练分割网络模型,得到优化后的分割网络模型;
步骤e)包括如下步骤:
e‑1)分割网络模型的编码器由第一残差初始模块、第一最大池化层、第二残差初始模块、第二最大池化层、第三残差初始模块、第三最大池化层、第四残差初始模块构成;
e‑2)第一残差初始模块由第一分支、第二分支、第三分支、第四分支、第五分支构成,第一分支由卷积层构成、第二分支依次由平均池化层、卷积层构成,第三分支依次由卷积层、BN层构成,第四分支依次由第一卷积层、第二卷积层、BN层构成,第五分支依次由第一卷积层、第二卷积层、第一BN层、第三卷积层、第二BN层构成,将预处理后的二维图像数据Fi输入到第一分支中,输出得到特征图 将预处理后的二维图像数据Fi输入到第二分支中,输出得到特征图 将预处理后的二维图像数据Fi输入到第三分支中,输出得到特征图将预处理后的二维图像数据Fi输入到第四分支中,输出得到特征图 将预处理后的二维图像数据Fi输入到第五分支中,输出得到特征图 将特征图 特征图特征图 特征图 进行拼接操作得到特征图 将特征图 与特征图 相加
操作得到特征图
e‑3)将特征图 输入到第一最大池化层中,输出得到特征图
e‑4)第二残差初始模块由第一分支、第二分支、第三分支、第四分支、第五分支构成,第一分支由卷积层构成、第二分支依次由平均池化层、卷积层构成,第三分支依次由卷积层、BN层构成,第四分支依次由第一卷积层、第二卷积层、BN层构成,第五分支依次由第一卷积层、第二卷积层、第一BN层、第三卷积层、第二BN层构成,将特征图 输入到第一分支中,输出得到特征图 将特征图 输入到第二分支中,输出得到特征图 将特征图输入到第三分支中,输出得到特征图 将特征图 输入到第四分支中,输出得到特征图 将特征图 输入到第五分支中,输出得到特征图 将特征图 特征图特征图 特征图 进行拼接操作得到特征图 将特征图 与特征图
相加操作得到特征图
e‑5)将特征图 输入到第二最大池化层中,输出得到特征图
e‑6)第三残差初始模块由第一分支、第二分支、第三分支、第四分支、第五分支构成,第一分支由卷积层构成、第二分支依次由平均池化层、卷积层构成,第三分支依次由卷积层、BN层构成,第四分支依次由第一卷积层、第二卷积层、BN层构成,第五分支依次由第一卷积层、第二卷积层、第一BN层、第三卷积层、第二BN层构成,将特征图 输入到第一分支中,输出得到特征图 将特征图 输入到第二分支中,输出得到特征图 将特征图输入到第三分支中,输出得到特征图 将特征图 输入到第四分支中,输出得到特征图 将特征图 输入到第五分支中,输出得到特征图 将特征图 特征图特征图 特征图 进行拼接操作得到特征图 将特征图 与特征图
相加操作得到特征图
e‑7)将特征图 输入到第三最大池化层中,输出得到特征图
e‑8)第四残差初始模块由第一分支、第二分支、第三分支、第四分支、第五分支构成,第一分支由卷积层构成、第二分支依次由平均池化层、卷积层构成,第三分支依次由卷积层、BN层构成,第四分支依次由第一卷积层、第二卷积层、BN层构成,第五分支依次由第一卷积层、第二卷积层、第一BN层、第三卷积层、第二BN层构成,将特征图 输入到第一分支中,输出得到特征图 将特征图 输入到第二分支中,输出得到特征图 将特征图输入到第三分支中,输出得到特征图 将特征图 输入到第四分支中,输出得到特征图 将特征图 输入到第五分支中,输出得到特征图 将特征图 特征图特征图 特征图 进行拼接操作得到特征图 将特征图 与特征图
相加操作得到特征图
2.根据权利要求1所述的基于上下文级联注意力的心脏MRI分割方法,其特征在于:步骤a)中从ACDC2017公共数据中,收集包含LV、RV、MYO三种结构的n个受试者的心脏MRI数据,得到MRI数据集s。
3.根据权利要求1所述的基于上下文级联注意力的心脏MRI分割方法,其特征在于:步骤a)中n=100。
4.根据权利要求1所述的基于上下文级联注意力的心脏MRI分割方法,其特征在于,步骤b)包括如下步骤:
b‑1)对第i名受试者的心脏MRI数据si沿z轴进行逐个切片的重采样,重采样为x轴方向的像素间距为1.5,y轴方向的像素间距为1.5;
b‑2)将重采样后的心脏MRI数据si执行裁剪大小为224×224的2D中心剪裁操作,得到剪裁后的数据Fi′,将剪裁后的数据Fi′进行归一化处理,得到预处理后的二维图像数据Fi。
5.根据权利要求1所述的基于上下文级联注意力的心脏MRI分割方法,其特征在于:步骤c)中将预处理后的数据集F按7:2:1的比例划分为训练集、测试集、验证集。
6.根据权利要求1所述的基于上下文级联注意力的心脏MRI分割方法,其特征在于:步骤e‑2)中第一分支的卷积层的卷积核大小为1×1,第二分支的卷积层的卷积核大小为1×
1,第三分支的卷积层的卷积核大小为1×1,第四分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为5×5,padding为2,第五分支的第一卷积层的卷积核大小为1×
1、第二卷积层的卷积核大小为3×3、第三卷积层的卷积核大小为3×3;步骤e‑4)中第一分支的卷积层的卷积核大小为1×1,第二分支的卷积层的卷积核大小为1×1,第三分支的卷积层的卷积核大小为1×1,第四分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为5×5,padding为2,第五分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为3×3、第三卷积层的卷积核大小为3×3;步骤e‑6)中第一分支的卷积层的卷积核大小为1×1,第二分支的卷积层的卷积核大小为1×1,第三分支的卷积层的卷积核大小为1×1,第四分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为5×5,padding为2,第五分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为3×
3、第三卷积层的卷积核大小为3×3;步骤e‑8)中第一分支的卷积层的卷积核大小为1×1,第二分支的卷积层的卷积核大小为1×1,第三分支的卷积层的卷积核大小为1×1,第四分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为5×5,padding为2,第五分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为3×3、第三卷积层的卷积核大小为3×3;步骤e‑3)中第一最大池化层的卷积核大小为2×2;步骤e‑5)中第二最大池化层的卷积核大小为2×2;步骤e‑7)中第三最大池化层的卷积核大小为2×2。
7.根据权利要求1所述的基于上下文级联注意力的心脏MRI分割方法,其特征在于,步骤f)包括如下步骤:
f‑1)分割网络模型的解码器由Conv‑block1、第一注意力门控模块、第一上采样层、第一上下文注意力模块、第一卷积层、Conv‑block2、第二注意力门控模块、第二上采样层、第二上下文注意力模块、第二卷积层、Conv‑block3、第三注意力门控模块、第三上采样层、第三上下文注意力模块、第三卷积层、Conv‑block4、第四注意力门控模块、第四上下文注意力模块、第四卷积层构成;
f‑2)Conv‑block4依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图 输入到Conv‑block4中,输出得到特征图 第四注意力门控模块由第一卷积层、第一BN层、第二卷积层、第二BN层、ReLU激活函数、第三卷积层、第三BN层、sigmoid函数构成,将特征图依次输入到第四注意力门控模块的第一卷积层、第一BN层中,输出得到特征图 将特征图 依次输入到第四注意力门控模块的第二卷积层、第二BN层中,输出得到特征图将特征图 与特征图 相加得到特征图 将特征图 依次输入到第四注意力门控模块的ReLU激活函数、第三卷积层、第三BN层、sigmoid函数中,输出得到特征图 将特征图 与特征图 相乘得到特征图 第四上下文注意力模块由第一卷积层、第二卷积层、全局最大池化层、第三卷积层、第四卷积层、sigmoid函数构成,将特征图 依次输入到第四上下文注意力模块的第一卷积层、第二卷积层中,输出得到特征图将特征图 输入到第四上下文注意力模块的全局最大池化层中,输出得到特征图将特征图 依次输入到第四上下文注意力模块的第三卷积层、第四卷积层中,输出得到特征图 将特征图 与特征图 相乘得到特征图 将特征图 与特征图 相加得到特征图 将特征图 输入到第四上下文注意力模块的
sigmoid函数中,输出得到特征图 将特征图 输入到第四卷积层中得到特征图f‑3)Conv‑block3依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图 输入到Conv‑block3中,输出得到特征图 将特征图 输入到第三上采样层中,输出得到特征图 第三注意力门控模块由第一卷积层、第一BN层、第二卷积层、第二BN层、ReLU激活函数、第三卷积层、第三BN层、sigmoid函数构成,将特征图 依次输入到第三注意力门控模块的第一卷积层、第一BN层中,输出得到特征图 将特征图 依次输入到第三注意力门控模块的第二卷积层、第二BN层中,输出得到特征图 将特征图 与特征图相加得到特征图 将特征图 依次输入到第三注意力门控模块的ReLU激活函数、第三卷积层、第三BN层、sigmoid函数中,输出得到特征图 将特征图 与特征图 相乘得到特征图 将特征图 与特征图 级联得到特征图 第三上下文注意力模块由第一卷积层、第二卷积层、全局最大池化层、第三卷积层、第四卷积层、sigmoid函数构成,将特征图 依次输入到第三上下文注意力模块的第一卷积层、第二卷积层中,输出得到特征图 将特征图 输入到第三上下文注意力模块的全局最大池化层中,输出得到特征图 将特征图 依次输入到第三上下文注意力模块的第三卷积层、第四卷积层中,输出得到特征图 将特征图 与特征图 相乘得到特征图 将特征图 与特征图 相加得到特征图 将特征图 输入到第三上下文注意力模块的sigmoid函数中,输出得到特征图 将特征图 输入到第三卷积层中得到特征图
f‑4)Conv‑block2依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图 输入到Conv‑block2中,输出得到特征图 将特征图 输入到第二上采样层中,输出得到特征图 第二注意力门控模块由第一卷积层、第一BN层、第二卷积层、第二BN层、ReLU激活函数、第三卷积层、第三BN层、sigmoid函数构成,将特征图 依次输入到第二注意力门控模块的第一卷积层、第一BN层中,输出得到特征图 将特征图 依次输入到第二注意力门控模块的第二卷积层、第二BN层中,输出得到特征图 将特征图 与特征图相加得到特征图 将特征图 依次输入到第二注意力门控模块的ReLU激活函数、第三卷积层、第三BN层、sigmoid函数中,输出得到特征图 将特征图 与特征图相乘得到特征图 将特征图 与特征图 级联得到特征图 第二上下文注意力模块由第一卷积层、第二卷积层、全局最大池化层、第三卷积层、第四卷积层、sigmoid函数构成,将特征图 依次输入到第二上下文注意力模块的第一卷积层、第二卷积层中,输出得到特征图 将特征图 输入到第二上下文注意力模块的全局最大池化层中,输出得到特征图 将特征图 依次输入到第二上下文注意力模块的第三卷积层、第四卷积层中,输出得到特征图 将特征图 与特征图 相乘得到特征图将特征图 与特征图 相加得到特征图 将特征图 输入到第二上下文注
意力模块的sigmoid函数中,输出得到特征图 将特征图 输入到第二卷积层中得到特征图
f‑5)Conv‑block1依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图 输入到Conv‑block1中,输出得到特征图 将特征图 输入到第一上采样层中,输出得到特征图 第一注意力门控模块由第一卷积层、第一BN层、第二卷积层、第二BN层、ReLU激活函数、第三卷积层、第三BN层、sigmoid函数构成,将特征图 依次输入到第一注意力门控模块的第一卷积层、第一BN层中,输出得到特征图 将特征图 依次输入到第一注意力门控模块的第二卷积层、第二BN层中,输出得到特征图 将特征图 与特征图相加得到特征图 将特征图 依次输入到第一注意力门控模块的ReLU激活函数、第三卷积层、第三BN层、sigmoid函数中,输出得到特征图 将特征图 与特征图 相乘得到特征图 将特征图 与特征图 级联得到特征图 第一上下文注意力模块由第一卷积层、第二卷积层、全局最大池化层、第三卷积层、第四卷积层、sigmoid函数构成,将特征图 依次输入到第一上下文注意力模块的第一卷积层、第二卷积层中,输出得到特征图 将特征图 输入到第一上下文注意力模块的全局最大池化层中,输出得到特征图 将特征图 依次输入到第一上下文注意力模块的第三卷积层、第四卷积层中,输出得到特征图 将特征图 与特征图 相乘得到特征图将特征图 与特征图 相加得到特征图 将特征图 输入到第一上下文注意力模块的sigmoid函数中,输出得到特征图 将特征图 输入到第一卷积层中得到特征图
f‑6)将特征图 特征图 特征图 特征图 进行残差相加得到特征图
8.根据权利要求7所述的基于上下文级联注意力的心脏MRI分割方法,其特征在于:步骤f‑2)中Conv‑block4的卷积层的卷积核大小为3×3,padding为1;第四注意力门控模块的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为1×1;第四上下文注意力模块的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为3×3,padding为1,第四上下文注意力模块的第四卷积层的卷积核大小为1×1;解码器的第四卷积层的卷积核大小为1×1;步骤f‑3)中Conv‑block3的卷积层的卷积核大小为3×3,padding为1;第三注意力门控模块的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为1×1;第三上采样层的卷积核大小为2×2;第三上下文注意力模块的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为
3×3,padding为1,第三上下文注意力模块的第四卷积层的卷积核大小为1×1;解码器的第三卷积层的卷积核大小为1×1;f‑4)中Conv‑block2的卷积层的卷积核大小为3×3,padding为1;第二注意力门控模块的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为1×1;第二上采样层的卷积核大小为2×2;第二上下文注意力模块的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为3×3,padding为1,第二上下文注意力模块的第四卷积层的卷积核大小为1×1;解码器的第二卷积层的卷积核大小为1×1;f‑5)中Conv‑block1的卷积层的卷积核大小为3×3,padding为1;第一注意力门控模块的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为1×1;第一上采样层的卷积核大小为2×2;第一上下文注意力模块的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为3×3,padding为1,第一上下文注意力模块的第四卷积层的卷积核大小为1×1;解码器的第一卷积层的卷积核大小为1×1。
9.根据权利要求1所述的基于上下文级联注意力的心脏MRI分割方法,其特征在于:步骤g)中将Dice损失及交叉熵损失求和得到总损失,使用Adam优化器利用总损失训练分割网络模型,得到优化后的分割网络模型,训练时批次大小设为32,迭代周期设为200,学习率设为0.001。
说明书 :
一种基于上下文级联注意力的心脏MRI分割方法
技术领域
背景技术
发明内容
征图 特征图 特征图 进行拼接操作得到特征图 将特征图 与特
征图 相加操作得到特征图 e‑5)将特征图 输入到第二最大池化层中,输出得到特征图 e‑6)第三残差初始模块由第一分支、第二分支、第三分支、第四分支、第五分支构成,第一分支由卷积层构成、第二分支依次由平均池化层、卷积层构成,第三分支依次由卷积层、BN层构成,第四分支依次由第一卷积层、第二卷积层、BN层构成,第五分支依次由第一卷积层、第二卷积层、第一BN层、第三卷积层、第二BN层构成,将特征图 输入到第一分支中,输出得到特征图 将特征图 输入到第二分支中,输出得到特征图 将特征图 输入到第三分支中,输出得到特征图 将特征图 输入到第四分支中,输出得到特征图 将特征图 输入到第五分支中,输出得到特征图 将特征图
特征图 特征图 特征图 进行拼接操作得到特征图 将特征图 与
特征图 相加操作得到特征图 e‑7)将特征图 输入到第三最大池化层中,输出得到特征图 e‑8)第四残差初始模块由第一分支、第二分支、第三分支、第四分支、第五分支构成,第一分支由卷积层构成、第二分支依次由平均池化层、卷积层构成,第三分支依次由卷积层、BN层构成,第四分支依次由第一卷积层、第二卷积层、BN层构成,第五分支依次由第一卷积层、第二卷积层、第一BN层、第三卷积层、第二BN层构成,将特征图 输入到第一分支中,输出得到特征图 将特征图 输入到第二分支中,输出得到特征图 将特征图 输入到第三分支中,输出得到特征图 将特征图 输入到第四分支中,输出得到特征图 将特征图 输入到第五分支中,输出得到特征图 将特征图
特征图 特征图 特征图 进行拼接操作得到特征图 将特征图
与特征图 相加操作得到特征图 优选的,步骤e‑2)中第一分支的卷积层的卷积核大小为1×1,第二分支的卷积层的卷积核大小为1×1,第三分支的卷积层的卷积核大小为1×1,第四分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为5×5,padding为2,第五分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为3×
3、第三卷积层的卷积核大小为3×3;步骤e‑4)中第一分支的卷积层的卷积核大小为1×1,第二分支的卷积层的卷积核大小为1×1,第三分支的卷积层的卷积核大小为1×1,第四分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为5×5,padding为2,第五分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为3×3、第三卷积层的卷积核大小为3×3;步骤e‑6)中第一分支的卷积层的卷积核大小为1×1,第二分支的卷积层的卷积核大小为1×1,第三分支的卷积层的卷积核大小为1×1,第四分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为5×5,padding为2,第五分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为3×3、第三卷积层的卷积核大小为3×
3;步骤e‑8)中第一分支的卷积层的卷积核大小为1×1,第二分支的卷积层的卷积核大小为
1×1,第三分支的卷积层的卷积核大小为1×1,第四分支的第一卷积层的卷积核大小为1×
1、第二卷积层的卷积核大小为5×5,padding为2,第五分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为3×3、第三卷积层的卷积核大小为3×3;步骤e‑3)中第一最大池化层的卷积核大小为2×2;步骤e‑5)中第二最大池化层的卷积核大小为2×2;步骤e‑7)中第三最大池化层的卷积核大小为2×2。
由第一卷积层、第二卷积层、全局最大池化层、第三卷积层、第四卷积层、sigmoid函数构成,将特征图 依次输入到第四上下文注意力模块的第一卷积层、第二卷积层中,输出得到特征图 将特征图 输入到第四上下文注意力模块的全局最大池化层中,输出得到特征图 将特征图 依次输入到第四上下文注意力模块的第三卷积层、第四卷积层中,输出得到特征图 将特征图 与特征图 相乘得到特征图 将特征图
与特征图 相加得到特征图 将特征图 输入到第四上下文注意力模块
的sigmoid函数中,输出得到特征图 将特征图 输入到第四卷积层中得到特征图f‑3)Conv‑block3依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图 输入到Conv‑block3中,输出得到特征图 将特征图 输入到第三上采样层中,输出得到特征图 第三注意力门控模块由第一卷积层、第一BN层、第二卷积层、第二BN层、ReLU激活函数、第三卷积层、第三BN层、sigmoid函数构成,将特征图 依次输入到第三注意力门控模块的第一卷积层、第一BN层中,输出得到特征图 将特征图 依次输入到第三注意力门控模块的第二卷积层、第二BN层中,输出得到特征图 将特征图 与特征图相加得到特征图 将特征图 依次输入到第三注意力门控模块的ReLU激活
函数、第三卷积层、第三BN层、sigmoid函数中,输出得到特征图 将特征图 与特征图 相乘得到特征图 将特征图 与特征图 级联得到特征图 第三上下文
注意力模块由第一卷积层、第二卷积层、全局最大池化层、第三卷积层、第四卷积层、sigmoid函数构成,将特征图 依次输入到第三上下文注意力模块的第一卷积层、第二卷积层中,输出得到特征图 将特征图 输入到第三上下文注意力模块的全局最大池化层中,输出得到特征图 将特征图 依次输入到第三上下文注意力模块的第三卷积层、第四卷积层中,输出得到特征图 将特征图 与特征图 相乘得到特征图 将特征图 与特征图 相加得到特征图 将特征图 输入到第三上
下文注意力模块的sigmoid函数中,输出得到特征图 将特征图 输入到第三卷积层中得到特征图 f‑4)Conv‑block2依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图 输入到Conv‑block2中,输出得到特征图 将特征图 输入到第二上采样层中,输出得到特征图 第二注意力门控模块由第一卷积层、第一BN层、第二卷积层、第二BN层、ReLU激活函数、第三卷积层、第三BN层、sigmoid函数构成,将特征图 依次输入到第二注意力门控模块的第一卷积层、第一BN层中,输出得到特征图 将特征图 依次输入到第二注意力门控模块的第二卷积层、第二BN层中,输出得到特征图 将特征图与特征图 相加得到特征图 将特征图 依次输入到第二注意力门控模块的
ReLU激活函数、第三卷积层、第三BN层、sigmoid函数中,输出得到特征图 将特征图与特征图 相乘得到特征图 将特征图 与特征图 级联得到特征图
第二上下文注意力模块由第一卷积层、第二卷积层、全局最大池化层、第三卷积层、第四卷积层、sigmoid函数构成,将特征图 依次输入到第二上下文注意力模块的第一卷积层、第二卷积层中,输出得到特征图 将特征图 输入到第二上下文注意力模块的全局最大池化层中,输出得到特征图 将特征图 依次输入到第二上下文注意力模块的第三卷积层、第四卷积层中,输出得到特征图 将特征图 与特征图 相乘得到特征图 将特征图 与特征图 相加得到特征图 将特征图 输入到
第二上下文注意力模块的sigmoid函数中,输出得到特征图 将特征图 输入到第二卷积层中得到特征图 f‑5)Conv‑block1依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图 输入到Conv‑block1中,输出得到特征图 将特征图 输入到第一上采样层中,输出得到特征图 第一注意力门控模块由第一卷积层、第一BN层、第二卷积层、第二BN层、ReLU激活函数、第三卷积层、第三BN层、sigmoid函数构成,将特征图 依次输入到第一注意力门控模块的第一卷积层、第一BN层中,输出得到特征图 将特征图 依次输入到第一注意力门控模块的第二卷积层、第二BN层中,输出得到特征图 将特征图与特征图 相加得到特征图 将特征图 依次输入到第一注意力门控模
块的ReLU激活函数、第三卷积层、第三BN层、sigmoid函数中,输出得到特征图 将特征图 与特征图 相乘得到特征图 将特征图 与特征图 级联得到特征图
第一上下文注意力模块由第一卷积层、第二卷积层、全局最大池化层、第三卷积层、第四卷积层、sigmoid函数构成,将特征图 依次输入到第一上下文注意力模块的第一卷积层、第二卷积层中,输出得到特征图 将特征图 输入到第一上下文注意力模块的全局最大池化层中,输出得到特征图 将特征图 依次输入到第一上下文注意力模块的第三卷积层、第四卷积层中,输出得到特征图 将特征图 与特征图 相乘得到特征图 将特征图 与特征图 相加得到特征图 将特征图 输入到
第一上下文注意力模块的sigmoid函数中,输出得到特征图 将特征图 输入到第一卷积层中得到特征图 f‑6)将特征图 特征图 特征图 特征图 进行残差相加
得到特征图
3,padding为1,第一上下文注意力模块的第四卷积层的卷积核大小为1×1;解码器的第一卷积层的卷积核大小为1×1。进一步的,步骤g)中将Dice损失及交叉熵损失求和得到总损失,使用Adam优化器利用总损失训练分割网络模型,得到优化后的分割网络模型,训练时批次大小设为32,迭代周期设为200,学习率设为0.001。
附图说明
具体实施方式
征图 特征图 特征图 进行拼接操作得到特征图 将特征图 与特
征图 相加操作得到特征图 e‑5)将特征图 输入到第二最大池化层中,输出得到特征图 e‑6)第三残差初始模块由第一分支、第二分支、第三分支、第四分支、第五分支构成,第一分支由卷积层构成、第二分支依次由平均池化层、卷积层构成,第三分支依次由卷积层、BN层构成,第四分支依次由第一卷积层、第二卷积层、BN层构成,第五分支依次由第一卷积层、第二卷积层、第一BN层、第三卷积层、第二BN层构成,将特征图 输入到第一分支中,输出得到特征图 将特征图 输入到第二分支中,输出得到特征图 将特征图 输入到第三分支中,输出得到特征图 将特征图 输入到第四分支中,输出得到特征图 将特征图 输入到第五分支中,输出得到特征图 将特征图 特
征图 特征图 特征图 进行拼接操作得到特征图 将特征图 与特
征图 相加操作得到特征图 e‑7)将特征图 输入到第三最大池化层中,输出得到特征图 e‑8)第四残差初始模块由第一分支、第二分支、第三分支、第四分支、第五分支构成,第一分支由卷积层构成、第二分支依次由平均池化层、卷积层构成,第三分支依次由卷积层、BN层构成,第四分支依次由第一卷积层、第二卷积层、BN层构成,第五分支依次由第一卷积层、第二卷积层、第一BN层、第三卷积层、第二BN层构成,将特征图 输入到第一分支中,输出得到特征图 将特征图 输入到第二分支中,输出得到特征图 将特征图 输入到第三分支中,输出得到特征图 将特征图 输入到第四分支中,输出得到特征图 将特征图 输入到第五分支中,输出得到特征图 将特征图
特征图 特征图 特征图 进行拼接操作得到特征图 将特征图 与
特征图 相加操作得到特征图 在该实施例中,优选的,步骤e‑2)中第一分支的卷积层的卷积核大小为1×1,第二分支的卷积层的卷积核大小为1×1,第三分支的卷积层的卷积核大小为1×1,第四分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为5×5,padding为2,第五分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为3×3、第三卷积层的卷积核大小为3×3;步骤e‑4)中第一分支的卷积层的卷积核大小为1×1,第二分支的卷积层的卷积核大小为1×1,第三分支的卷积层的卷积核大小为1×1,第四分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为5×5,padding为
2,第五分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为3×3、第三卷积层的卷积核大小为3×3;步骤e‑6)中第一分支的卷积层的卷积核大小为1×1,第二分支的卷积层的卷积核大小为1×1,第三分支的卷积层的卷积核大小为1×1,第四分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为5×5,padding为2,第五分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为3×3、第三卷积层的卷积核大小为3×3;步骤e‑8)中第一分支的卷积层的卷积核大小为1×1,第二分支的卷积层的卷积核大小为1×1,第三分支的卷积层的卷积核大小为1×1,第四分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为5×5,padding为2,第五分支的第一卷积层的卷积核大小为1×1、第二卷积层的卷积核大小为3×3、第三卷积层的卷积核大小为3×3;步骤e‑
3)中第一最大池化层的卷积核大小为2×2;步骤e‑5)中第二最大池化层的卷积核大小为2×2;步骤e‑7)中第三最大池化层的卷积核大小为2×2。在本发明的一个实施例中,步骤f)包括如下步骤:
由第一卷积层、第二卷积层、全局最大池化层、第三卷积层、第四卷积层、sigmoid函数构成,将特征图 依次输入到第四上下文注意力模块的第一卷积层、第二卷积层中,输出得到特征图 将特征图 输入到第四上下文注意力模块的全局最大池化层中,输出得到特征图 将特征图 依次输入到第四上下文注意力模块的第三卷积层、第四卷积层中,输出得到特征图 将特征图 与特征图 相乘得到特征图 将特征图
与特征图 相加得到特征图 将特征图 输入到第四上下文注意力模块
的sigmoid函数中,输出得到特征图 将特征图 输入到第四卷积层中得到特征图f‑3)Conv‑block3依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图 输入到Conv‑block3中,输出得到特征图 将特征图 输入到第三上采样层中,输出得到特征图 第三注意力门控模块由第一卷积层、第一BN层、第二卷积层、第二BN层、ReLU激活函数、第三卷积层、第三BN层、sigmoid函数构成,将特征图 依次输入到第三注意力门控模块的第一卷积层、第一BN层中,输出得到特征图 将特征图 依次输入到第三注意力门控模块的第二卷积层、第二BN层中,输出得到特征图 将特征图 与特征图相加得到特征图 将特征图 依次输入到第三注意力门控模块的ReLU激活
函数、第三卷积层、第三BN层、sigmoid函数中,输出得到特征图 将特征图 与特征图 相乘得到特征图 将特征图 与特征图 级联得到特征图 第三上下文
注意力模块由第一卷积层、第二卷积层、全局最大池化层、第三卷积层、第四卷积层、sigmoid函数构成,将特征图 依次输入到第三上下文注意力模块的第一卷积层、第二卷积层中,输出得到特征图 将特征图 输入到第三上下文注意力模块的全局最大池化层中,输出得到特征图 将特征图 依次输入到第三上下文注意力模块的第三卷积层、第四卷积层中,输出得到特征图 将特征图 与特征图 相乘得到特征图将特征图 与特征图 相加得到特征图 将特征图 输入到第三上
下文注意力模块的sigmoid函数中,输出得到特征图 将特征图 输入到第三卷积层中得到特征图 f‑4)Conv‑block2依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图 输入到Conv‑block2中,输出得到特征图 将特征图 输入到第二上采样层中,输出得到特征图 第二注意力门控模块由第一卷积层、第一BN层、第二卷积层、第二BN层、ReLU激活函数、第三卷积层、第三BN层、sigmoid函数构成,将特征图 依次输入到第二注意力门控模块的第一卷积层、第一BN层中,输出得到特征图 将特征图 依次输入到第二注意力门控模块的第二卷积层、第二BN层中,输出得到特征图 将特征图 与特征图 相加得到特征图 将特征图 依次输入到第二注意力门控模块的ReLU激活函数、第三卷积层、第三BN层、sigmoid函数中,输出得到特征图 将特征图 与特征图 相乘得到特征图 将特征图 与特征图 级联得到特征图 第二上
下文注意力模块由第一卷积层、第二卷积层、全局最大池化层、第三卷积层、第四卷积层、sigmoid函数构成,将特征图 依次输入到第二上下文注意力模块的第一卷积层、第二卷积层中,输出得到特征图 将特征图 输入到第二上下文注意力模块的全局最大池化层中,输出得到特征图 将特征图 依次输入到第二上下文注意力模块的第三卷积层、第四卷积层中,输出得到特征图 将特征图 与特征图 相乘得到特征图将特征图 与特征图 相加得到特征图 将特征图 输入到第二上
下文注意力模块的sigmoid函数中,输出得到特征图 将特征图 输入到第二卷积层中得到特征图 f‑5)Conv‑block1依次由卷积层、BatchNorm层、ReLU激活函数构成,将特征图 输入到Conv‑block1中,输出得到特征图 将特征图 输入到第一上采样层中,输出得到特征图 第一注意力门控模块由第一卷积层、第一BN层、第二卷积层、第二BN层、ReLU激活函数、第三卷积层、第三BN层、sigmoid函数构成,将特征图 依次输入到第一注意力门控模块的第一卷积层、第一BN层中,输出得到特征图 将特征图 依次输入到第一注意力门控模块的第二卷积层、第二BN层中,输出得到特征图 将特征图与特征图 相加得到特征图 将特征图 依次输入到第一注意力门控模块的
ReLU激活函数、第三卷积层、第三BN层、sigmoid函数中,输出得到特征图 将特征图与特征图 相乘得到特征图 将特征图 与特征图 级联得到特征图
第一上下文注意力模块由第一卷积层、第二卷积层、全局最大池化层、第三卷积层、第四卷积层、sigmoid函数构成,将特征图 依次输入到第一上下文注意力模块的第一卷积层、第二卷积层中,输出得到特征图 将特征图 输入到第一上下文注意力模块的全局最大池化层中,输出得到特征图 将特征图 依次输入到第一上下文注意力模块的第三卷积层、第四卷积层中,输出得到特征图 将特征图 与特征图 相乘得到特征图 将特征图 与特征图 相加得到特征图 将特征图 输入到
第一上下文注意力模块的sigmoid函数中,输出得到特征图 将特征图 输入到第一卷积层中得到特征图 f‑6)将特征图 特征图 特征图 特征图 进行残差相
加得到特征图