一种基于UNet的肺部X光图像分割方法转让专利

申请号 : CN202110589697.0

文献号 : CN113223021B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 王英立崔艺龄

申请人 : 哈尔滨理工大学

摘要 :

本发明公开了一种基于UNet的肺部X光图像分割方法,包括:对Kaggle数据集中肺部X光图像进行预处理获得训练集;利用迁移学习及添加残差块的方法构建改进UNet框架;将步骤1得到训练样本和Kaggle数据集中肺部X光分割图像作为改进UNet的输入数据,训练改进UNet分割模型;将待分割的肺部X光图像测试数据引入训练好的改进UNet模型,得到分割后的结果;将分割后的结果做后期处理,得到最终分割结果。实验结果表明,本发明能够有效地解决肺部X光图像的分割问题,获得了比基于UNet的肺部X光图像分割方法准确度更高的分割方法,可进一步应用于其他医学X光图像分割。

权利要求 :

1.基于UNet的肺部X光图像分割方法,其特征在于,包括如下步骤:

S1,对Kaggle数据集中肺部X光图像进行预处理获得训练集;

S2,利用迁移学习、改变卷积方式及添加残差块的方法构建改进UNet框架;

S3,将步骤S1得到训练样本和Kaggle数据集中肺部X光分割图像作为改进UNet的输入数据,训练改进UNet分割模型;

S4,将待分割的肺部X光图像测试数据引入训练好的改进UNet模型,得到分割后的结果;

S5,将分割后的结果做后期处理,得到最终分割结果;

步骤S1中利用图像边缘填充、高斯滤波、限制对比度的区域直方图均衡化CLAHE及数据增强的方法对原始的肺部X光图像进行预处理,预处理方法具体为:A1,根据图像的长度和宽度,将原始肺部X光图像和对应标签图像扩充为正方形图像具体为:当原始肺部X光图像的长度与宽度不同时,通过添加像素值为0的像素点,使得图像的宽度和长度相同,从而获得边缘填充后的肺部X光图像和与其对应的标签图像;

A2,将A1中处理后的原始肺部图像做高斯滤波,获得去噪后的肺部X光图像,其中高斯核为标准差为1,大小为3×3的高斯模板矩阵;

A3,将A2中处理后的图像做CLAHE,获得对比度较高的肺部X光图像,其中图像划分的小区域数为8×8,修剪限制度为图像所有像素点的像素值累加和的2%;

A4,将A3中处理后的肺部X光图像与A1中处理后的标签图像做数据增强具体为:将A3中处理后的肺部X光图像与A1中处理后的标签图像一一对应,组成数据集N1,将N1中的图像和标签经上下翻转获得数据集N2、经角度值为angle1和angle2的两次旋转获得数据集N3和N4,其中 最后将N1、N2、N3和N4共同组成的数据集作为训练神经网络的数据集;

步骤S2中利用迁移学习、改变卷积方式及添加残差块的方法构建改进UNet框架具体为:B1,利用迁移学习的方法改进UNet具体为:

以UNet分割模型为基础,迁移MobileNet网络模型的编码部分,获得Mobile_UNet模型;

所述Mobile_UNet模型中编码部分为5层:第一层包括2个卷积块convblock1和convblock2,其中convblock1由32个步长为2、大小为3×3的标准卷积核组成,convblock2由64个步长为

1、大小为3×3的深度可分离卷积核组成;第二层包括2个卷积块convblock3和convblock4,其中convblock3由128个步长为2、大小为3×3的深度可分离卷积核组成,convblock4由128个步长为1、大小为3×3的深度可分离卷积核组成;第三层包括2个卷积块convblock5和convblock6,其中convblock5由256个步长为2、大小为3×3的深度可分离卷积核组成,convblock6由256个步长为1、大小为3×3的深度可分离卷积核组成;第四层包括6个卷积块convblock7‑convblock12,其中convblock7由512个步长为2、大小为3×3的深度可分离卷积核组成,其余5个卷积块均由512个步长为1、大小为3×3的深度可分离卷积核组成;第五层包括2个卷积块convblock13‑convblock14,其中convblock13由1024个步长为2、大小为3×3的深度可分离卷积核组成,convblock14由1024个步长为1、大小为3×3的深度可分离卷积核组成;Mobile_UNet模型中解码部分为5层:前四层均由一个上采样模块、一个标准卷积模块和一个深度可分离卷积模块组成,各层各模块中核的个数分别为(512,512,512)、(256,256,256)、(128,128,128)、(64,64,64),且核大小均为3×3;第五层包括一个含有2个卷积块;

B2,利用改变卷积方式的方法改进UNet具体为:

将B1中获得的Mobile_UNet的解码部分中每层第二个卷积块换成深度可分离卷积块;

B3,通过添加残差块的方法改进UNet具体为:

在B1中获得的Mobile_UNet中添加两个并行残差块,第一个残差块由一个3×3的深度可分离卷积块组成,第二个残差块由两个串行的膨胀率分别为2和3的空卷积块组成。

2.如权利要求1所述的基于UNet的肺部X光图像分割方法,其特征在于,步骤S5将S4中分割后的结果做后期处理,得到最终分割结果具体为:对于S4中分割后图片做后期处理,除去连通区域面积小于认定为肺实质区域面积1/5大小的部分,获得最终的肺部分割图像并计算肺部X光图像的分割准确度。

说明书 :

一种基于UNet的肺部X光图像分割方法

技术领域

[0001] 本发明属于图像分割领域,涉及适用于肺部X光图像分割,可用于医学图像分割、肺部疾病识别等领域。

背景技术

[0002] 近年来,随着人计算机性能不断完善,深度学习逐渐成为常见的图像处理手段。深度学习可以应用于医学图像分割和识别领域中,较医生经验判断而言,具有更高的识别准确度,成为当前研究的热点。肺炎是比较常见的肺部疾病,多发病于儿童当中,而肺部图像分割是肺炎识别技术中一个主要步骤,分割的效果直接影响后续识别的准确度。
[0003] 在实际应用中,肺部X光图像中的肺实质与背景之间的对比度不高、仪器拍摄过程中会产生噪声都会对肺部X光图像分割和识别产生影响。虽然有很多深度学习网络可以解决图像分割、识别和分类等问题,且均获得了显著成效,但应用于肺部X光图像分割领域的方法很少,此外公开的肺部X光图像数据集较小,都加大了肺部分割和肺部疾病识别的难度。在医学图像分割领域,UNet分割模型是常用的分割方法,加入跳跃连接的连接方式提高了模型分割准确度,此外,UNet对输入图片尺寸的包容性很强,是很好的图像分割方法。

发明内容

[0004] 本发明提供一种基于UNet的肺部X光图像分割方法,在保留UNetU型结构的基础上,通过使用迁移学习、改变卷积方式及添加并行残差块的方法,提高肺部X光图像的分割准确度。
[0005] 为解决上述技术问题,本发明的技术方案如下:
[0006] 一种基于UNet的肺部X光图像分割方法,包括以下步骤:
[0007] S1,对Kaggle数据集中肺部X光图像进行预处理获得训练集;
[0008] S2,利用迁移学习、改变卷积方式及添加残差块的方法构建改进UNet框架;
[0009] S3,将步骤S1得到训练样本和Kaggle数据集中肺部X光分割图像作为改进UNet的输入数据,训练改进UNet分割模型;
[0010] S4,将待分割的肺部X光图像测试数据引入训练好的改进UNet模型,得到分割后的图像;
[0011] S5,将分割后的结果做后期处理,得到最终分割结果。
[0012] 优选地,步骤S1中利用图像边缘填充、高斯滤波、限制对比度的区域直方图均衡化(CLAHE)及数据增强的方法对原始的肺部X光图像进行预处理,预处理方法具体为:
[0013] A1,根据图像的长度和宽度,将原始肺部X光图像和对应标签图像扩充为正方形图像具体为:
[0014] 当原始肺部X光图像的长度与宽度不同时,通过添加像素值为0的像素点,使得图像的宽度和长度相同,从而获得边缘填充后的肺部X光图像和与其对应的标签图像;
[0015] A2,将A1中处理后的原始肺部图像做高斯滤波,获得去噪后的肺部X光图像,其中高斯核为标准差为1,大小为3×3的高斯模板矩阵;
[0016] A3,将A2中处理后的图像做CLAHE,获得对比度较高的肺部X光图像,其中图像划分的小区域数为8×8,修剪限制度为图像所有像素点的像素值累加和的2%;
[0017] A4,将A3中处理后的肺部X光图像与A1中处理后的标签图像做数据增强具体为:
[0018] 将A3中处理后的肺部X光图像与A1中处理后的标签图像一一对应,组成数据集N1,将N1中的图像和标签经上下翻转获得数据集N2、经角度值为angle1和angle2的两次旋转获得数据集N3和N4,其中 最后将N1、N2、N3和N4共同组成的数据集作为训练神经网络的数据集。
[0019] 优选地,步骤S2中利用迁移学习、改变卷积方式及添加残差块的方法构建改进UNet框架具体为:
[0020] B1,利用迁移学习的方法改进UNet具体为:
[0021] 以UNet分割模型为基础,迁移MobileNet网络模型的编码部分,获得Mobile_UNet模型。该模型中编码部分为5层:第一层包括2个卷积块convblock1和convblock2,其中convblock1由32个步长为2、大小为3×3的标准卷积核组成,convblock2由64个步长为1、大小为3×3的深度可分离卷积核组成;第二层包括2个卷积块convblock3和convblock4,其中convblock3由128个步长为2、大小为3×3的深度可分离卷积核组成,convblock4由128个步长为1、大小为3×3的深度可分离卷积核组成;第三层包括2个卷积块convblock5和convblock6,其中convblock5由256个步长为2、大小为3×3的深度可分离卷积核组成,convblock6由256个步长为1、大小为3×3的深度可分离卷积核组成;第四层包括6个卷积块convblock7‑convblock12,其中convblock7由512个步长为2、大小为3×3的深度可分离卷积核组成,其余5个卷积块均由512个步长为1、大小为3×3的深度可分离卷积核组成;第五层包括2个卷积块convblock13‑convblock14,其中convblock13由1024个步长为2、大小为3×3的深度可分离卷积核组成,convblock14由1024个步长为1、大小为3×3的深度可分离卷积核组成。Mobile_UNet模型中解码部分为5层:前四层均由一个上采样模块、一个标准卷积模块和一个深度可分离卷积模块组成,各层各模块中核的个数分别为(512,512,512)、(256,256,256)、(128,128,128)、(64,64,64),且核大小均为3×3;第五层包括一个含有2个卷积块;
[0022] B2,利用改变卷积方式的方法改进UNet具体为:
[0023] 将B1中获得的Mobile_UNet的解码部分中每层第二个卷积块换成深度可分离卷积块;
[0024] B3,通过添加残差块的方法改进UNet具体为:
[0025] 在B1中获得的Mobile_UNet中添加两个并行残差块,第一个残差块由一个3×3的深度可分离卷积块组成,第二个残差块由两个串行的膨胀率分别为2和3的空卷积块组成。
[0026] 优选地,步骤S5将S4中分割后的结果做后期处理,得到最终分割结果具体为:
[0027] 对于S4中分割后图片做后期处理,除去连通区域面积小于认定为肺实质区域面积1/5大小的部分,获得最终的肺部分割图像并计算肺部X光图像的分割准确度。
[0028] 与现有技术相比,本发明技术方案的有益效果是:
[0029] 通过使用迁移学习、改变卷积方式及添加并行残差块的方法,提高了肺部X光图像的分割准确度。

附图说明

[0030] 图1为实施例提供的基于UNet的肺部X光图像分割方法的流程图;
[0031] 图2为实施例提供的肺部原始X光图像和标签图像;
[0032] 图3为实施例提供的经预处理后的肺部原始X光图像和标签图像;
[0033] 图4为实施例提供的改进UNet分割模型;
[0034] 图5为实施例提供的经改进UNet分割后的图像;
[0035] 图6为实施例提供的后期处理后的分割图像。

具体实施方式

[0036] 为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
[0037] 下面结合附图,对本发明实施例作进一步阐述。
[0038] 图1为实施例提供的基于UNet的肺部X光图像分割方法的流程图。图1所示,本实施例提供的基于UNet的肺部X光图像分割方法包括以下步骤:
[0039] S1,对Kaggle数据集中肺部X光图像进行预处理获得训练集;
[0040] S2,利用迁移学习、改变卷积方式及添加残差块的方法构建改进UNet框架;
[0041] S3,将步骤S1得到训练样本和Kaggle数据集中肺部X光分割图像作为改进UNet的输入数据,训练改进UNet分割模型;
[0042] S4,将待分割的肺部X光图像测试数据引入训练好的改进UNet模型,得到分割后图像;
[0043] S5,将分割后的结果做后期处理,得到最终分割结果。
[0044] 图2为实施例提供的Kaggle数据集中肺部X光图像和标签图像,图3为实施例提供的经预处理后的肺部原始X光图像和标签图像。图3所示,本实施例提供的肺部X光图像的预处理方法包括图像边缘填充、高斯滤波、CLAHE及数据增强四部分具体为:
[0045] A1,根据图像的长度和宽度,将原始肺部X光图像和对应标签图像扩充为正方形图像具体为:
[0046] 当原始肺部X光图像的长度与宽度不同时,通过添加像素值为0的像素点,使得图像的宽度和长度相同,从而获得边缘填充后的肺部X光图像和与其对应的标签图像;
[0047] A2,将A1中处理后的原始肺部图像做高斯滤波,获得去噪后的肺部X光图像,其中高斯核为标准差为1,大小为3×3的高斯模板矩阵;
[0048] A3,将A2中处理后的图像做CLAHE,获得对比度较高的肺部X光图像,其中图像划分的小区域数为8×8,修剪限制度为图像所有像素点的像素值累加和的2%;
[0049] A4,将A3中处理后的肺部X光图像与A1中处理后的标签图像做数据增强具体为:
[0050] 将A3中处理后的肺部X光图像与A1中处理后的标签图像一一对应,组成数据集N1,将N1中的图像和标签经上下翻转获得数据集N2、经角度值为angle1和angle2的两次旋转获得数据集N3和N4,其中 最后将N1、N2、N3和N4共同组成的数据集作为训练神经网络的数据集。
[0051] 图4为实施例提供的改进UNet分割模型。图4所示,利用迁移学习、改变卷积方式及添加残差块的方法构建改进UNet框架具体为:
[0052] B1,利用迁移学习的方法改进UNet具体为:
[0053] 以UNet分割模型为基础,迁移MobileNet网络模型的编码部分,获得Mobile_UNet模型。该模型中编码部分为5层:第一层包括2个卷积块convblock1和convblock2,其中convblock1由32个步长为2、大小为3×3的标准卷积核组成,convblock2由64个步长为1、大小为3×3的深度可分离卷积核组成;第二层包括2个卷积块convblock3和convblock4,其中convblock3由128个步长为2、大小为3×3的深度可分离卷积核组成,convblock4由128个步长为1、大小为3×3的深度可分离卷积核组成;第三层包括2个卷积块convblock5和convblock6,其中convblock5由256个步长为2、大小为3×3的深度可分离卷积核组成,convblock6由256个步长为1、大小为3×3的深度可分离卷积核组成;第四层包括6个卷积块convblock7‑convblock12,其中convblock7由512个步长为2、大小为3×3的深度可分离卷积核组成,其余5个卷积块均由512个步长为1、大小为3×3的深度可分离卷积核组成;第五层包括2个卷积块convblock13‑convblock14,其中convblock13由1024个步长为2、大小为3×3的深度可分离卷积核组成,convblock14由1024个步长为1、大小为3×3的深度可分离卷积核组成。Mobile_UNet模型中解码部分为5层:前四层均由一个上采样模块、一个标准卷积模块和一个深度可分离卷积模块组成,各层各模块中核的个数分别为(512,512,512)、(256,256,256)、(128,128,128)、(64,64,64),且核大小均为3×3;第五层包括一个含有2个卷积块;
[0054] B2,利用改变卷积方式的方法改进UNet,将B1中获得的Mobile_UNet的解码部分中每层第二个卷积块换成深度可分离卷积块;
[0055] B3,通过添加残差块的方法改进UNet具体为:
[0056] 在B1中获得的Mobile_UNet中添加两个并行残差块,第一个残差块由一个3×3的深度可分离卷积块组成,第二个残差块由两个串行的膨胀率分别为2和3的空卷积块组成。
[0057] 图5为实施例提供的经改进UNet分割后的图像。图5所示,输出图像大小与原图像相同,图像中只有黑白两色,白色为识别出的肺实质区域。图6为实施例提供的后期处理后的分割图像。图6所示,经改进UNet分割后的结果做后期处理,除去连通区域面积小于认定为肺实质区域面积1/5大小的部分,获得最终的肺部分割图像并计算肺部X光图像的分割准确度。
[0058] 本发明的效果可以通过以下实验来进行验证:
[0059] 1.实验条件
[0060] 在GPU为NVIDIA GeForce 930M,WINDOWS 10系统上配置实验环境,如表1所示。
[0061] 表1实验环境设置
[0062]环境 版本
Anaconda 4.7.12
Pyhton 3.7.4
Tensorflow‑GPU 1.13.2
Cuda 10.0
Cudnn 7.4.1.5
VSCode 1.56.2
[0063] 2.实验内容
[0064] 分别利用改进UNet和UNet对同一测试数据分割,将处理后的图像输入到训练好的分割模型中,图像尺寸为192*192*3。实验结果显示改进后的UNet分割精度有一定提升,由UNet97.98%的分割精度提升至98.06%。
[0065] 本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。