一种基于深度学习的肋骨提取方法及装置转让专利
申请号 : CN201911243888.0
文献号 : CN111080592B
文献日 : 2021-06-01
发明人 : 钱东东 , 刘守亮 , 魏军
申请人 : 广州柏视医疗科技有限公司 , 广州柏视数据科技有限公司
摘要 :
权利要求 :
1.一种基于深度学习的肋骨提取方法,其特征在于:包括以下步骤:S1:训练样本预处理;
S2:建立用于肋骨提取的第一深度卷积神经网络,通过训练样本对第一深度卷积神经网络进行训练;
其中,所述第一深度卷积神经网络的损失函数为:其中,y′为医学图像中每个像素点输出的概率值,y为对应的像素点在预先标记出的医学图像上的标签(取值为1或0),α、γ的取值分别为0.25、2,m为预处理样本的特征图经隔行
2倍、4倍、8倍采样得到的医学图像m1、m2、m3,e为步骤S2中得到的医学图像特征图e1,f为经过第一深度神经网络处理最终输出的特征图和概率图;ω(m,e)的取值为:当y属于m1点时,ω(m,e)=0.8,当y属于m2点时,ω(m,e)=0.6,当y属于m3点时,ω(m,e)=0.5,当y属于e1点时,ω(m,e)=1.0;
S3:建立用于对第一深度卷积神经网络进行判别优化的第二深度卷积神经网络;通过训练样本及第一深度卷积神经网络对训练样本的输出结果,对第一深度卷积神经网络进行优化;
其中,所述第二深度卷积神经网络的损失函数的设计方法为:将训练样本预处理输入第一深度卷积神经网络,输出的每个像素点的标签为True,基于交叉熵的方法计算损失函数;将第一深度卷积神经网络输出的肋骨概率图输入第二深度卷积神经网络,输出的每个像素点的标签为False,基于交叉熵的方法计算损失函数;
S4:通过训练后的第一深度卷积神经网络,提取医学图像中的肋骨图像。
2.根据权利要求1所述的基于深度学习的肋骨提取方法,其特征在于:所述步骤S1中训练样本预处理的方法包括:
S11:对预先标记出肋骨区域的医学图像样本,执行旋转、水平翻转、垂直翻转和/或弹性形变处理,实现样本增广;
S12:计算步骤S11获得的医学图像的水平梯度和垂直梯度图像;
S13:将医学图像灰度值及步骤S12获得的水平梯度、垂直梯度附加到医学图像数据中,得到预处理后的训练样本。
3.根据权利要求2所述的基于深度学习的肋骨提取方法,其特征在于:所述步骤S2中对第一深度卷积神经网络进行训练时,对同一个batch的输入,把困难样本单独提取出来,重复进行训练;
其中,所述困难样本是指一次训练结束后损失最大的若干个输入数据。
4.一种基于深度学习的肋骨提取装置,其特征在于:基于权利要求1‑3中任一权利要求所述方法,包括:
医学图像预处理模块,用于对训练样本进行预处理;
肋骨提取模块,采用第一深度卷积神经网络结构,用于获得医学图像中每个像素点是否属于肋骨的概率;
其中,所述肋骨提取模块采用的第一深度卷积神经网络的损失函数为:其中,y′为医学图像中每个像素点输出的概率值,y为对应的像素点在预先标记出的医学图像上的标签(取值为1或0),α、γ的取值分别为0.25、2,m为预处理样本的特征图经隔行
2倍、4倍、8倍采样得到的医学图像m1、m2、m3,e为步骤S2中得到的医学图像特征图e1,f为经过第一深度神经网络处理最终输出的特征图和概率图;ω(m,e)的取值为:当y属于m1点时,ω(m,e)=0.8,当y属于m2点时,ω(m,e)=0.6,当y属于m3点时,ω(m,e)=0.5,当y属于e1点时,ω(m,e)=1.0;
判别优化模块,采用第二深度卷积神经网络结构,用于对肋骨提取模块采用的第一深度卷积神经网络进行优化;
其中,所述判别优化模块采用的第二深度卷积神经网络的损失函数的设计方法为:将训练样本预处理输入第一深度卷积神经网络,网络输出的每个像素点的标签为True,基于交叉熵的方法计算损失函数;
将提取出的肋骨概率图输入第二深度卷积神经网络,网络输出的每个像素点的标签为False,基于交叉熵的方法计算损失函数。
5.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至3任一项所述方法的步骤。
6.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至3任一项所述方法的步骤。
说明书 :
一种基于深度学习的肋骨提取方法及装置
技术领域
背景技术
题,可以预先将医学图像中的肋骨分离出来,从而将肋骨从医学图像中去掉,从而形成一张
仅显示肺部组织结构的医学图像,减少肋骨对疾病诊断带来的不良影响。另一方面,提取出
的肋骨图像,可为分析肋骨解剖结构、诊断各种相关疾病提供基础。然而,现有的肋骨提取
工作通常采用人工标记的方法,该方法一是主要占用医生的大量时间,二是标记的肋骨区
域精度较低,一旦标注错误,难以及时发现并纠正。
发明内容
进行优化;
隔行2倍、4倍、8倍采样得到的医学图像m1、m2、m3,e为步骤S2中得到的医学图像特征图e1,f
为经过第一深度神经网络处理最终输出的特征图和概率图;ω(m,e)的取值为:当y属于m1
点时,ω(m,e)=0.8,当y属于m2点时,ω(m,e)=0.6,当y属于m3点时,ω(m,e)=0.5,当y属
于e1点时,ω(m,e)=1.0。
隔行2倍、4倍、8倍采样得到的医学图像m1、m2、m3,e为步骤S2中得到的医学图像特征图e1,f
为经过第一深度神经网络处理最终输出的特征图和概率图;ω(m,e)的取值为:当y属于m1
点时,ω(m,e)=0.8,当y属于m2点时,ω(m,e)=0.6,当y属于m3点时,ω(m,e)=0.5,当y属
于e1点时,ω(m,e)=1.0。
的方法的步骤。
卷积神经网络,针对医学图像的肋骨和背景的差异较小的问题,能够取得较高的识别率;三
是在做特征融合时,同时考虑了相邻两个尺度的特征层的影响,即损失函数的设计在同一
个尺度上同时考虑了边界的损失和区域的损失,同时在不同的尺度上设计损失函数,更加
有利于网络的收敛;四是在网络的训练部分,对同一个batch的输入,把困难样本单独提取
出来,做二次训练,加大了模型对困难样本的关注,网络能更好的收敛,得到更好的效果。
附图说明
明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根
据这些附图获得其他的附图。
具体实施方式
本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员
在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
进行优化;
模块的工作过程如下:
行标记的方式,例如将肋骨区域标记为1,其他区域标记为0。可采用随机的方式选择不同的
样本进行不同的上述处理;对于旋转操作,可限定在‑30°至﹢30°的范围内进行随机旋转,从
而获得不同角度的医学图像样本;从而实现样本数据增广。优选的,对处理后的医学图像执
行直方图归一化操作。为平衡输出分辨率和处理速度,可将增广后的图像缩放为统一尺寸,
例如512x512像素。
判别优化模块,用于对肋骨提取模块采用的第一深度卷积神经网络进行优化。下面分别对
这两个模块进行介绍.
图执行kernel为3x3,stride为1,膨胀系数为2,padding为2的膨胀卷积,然后执行BN和
ReLU。
图执行1x1x256x1的卷积模块操作,得到一个256x256x256的特征图,将该特征图更新为e2。
所述残差模块的结构如图2所示。
行1x1x512x1的操作,得到一个128x128x512的特征图,将该特征图更新为e3。将e3执行
kernel为2,步长为2,输出通道为256的反卷积操作,得到一个128x128x256的特征图。将该
特征图与e2依通道进行连接,得到一个256x256x512的特征图。对该特征图执行1x1x256x1
的卷积模块操作,得到一个256x256x256的特征图,将该特征图更新为e2。
1x1x1024x1的操作,得到一个64x64x1024的特征图,并将该特征图更新为e4。将e4执行
kernel为2,步长为2,输出通道为512的反卷积操作,得到一个128x128x512的特征图,将该
特征图与e3依通道进行连接,得到一个128x128x1024的特征图,对该特征图执行1x1x512x1
的卷积模块操作,得到一个128x128x512的特征图,将该特征图更新为e3。
1x1x2048x1的操作,得到32x32x2048的特征图,并将该特征图更新为e5。将e5执行kernel为
2,步长为2,输出通道为1024的反卷积操作,得到一个64x64x1024的特征图,将该特征图与
e4依通道进行连接,得到一个128x128x2048的特征图,对该特征图执行1x1x1024x1的卷积
模块操作,得到一个128x128x1024的特征图,将该特征图更新为e4。
模块操作,得到64x64x1024的特征图,将d4更新为这个特征图。
道数),然后执行一个BN的操作)得到特征图d1,将e1和d1依通道相加,得到新的特征图,以
该特征图更新e1。
3x3x512x1的卷积模块操作,得到一个64x64x512的特征图,将d3更新为该特征图。
的卷积模块操作,得到一个256x256x256的特征图,将d2更新为该特征图。
更新为该特征图。将e1和d1依通道连接,得到512x512x256的特征图,对该通道执行
3x3x256x1的卷积模块操作,得到一个512x512x128的特征图,将d1更新为该特征图。
fe。
的医学图像样本)的肋骨区域尽量一致、肋骨边缘更加平滑,从而获得更好地识别效果。具
体的,所述判别优化模块的一个具体的处理过程如下:
的卷积模块操作得到64x64x256的特征图,将该特征图更新为d4。
的卷积模块操作得到128x128x128的特征图,将该特征图更新为d3。
卷积模块操作得到256x256x64的特征图,将该特征图更新为d2。
卷积模块操作得到512x512x1的特征图,经过经过一个Sigmoid函数输出,得到一个512x512
的概率图f。
的特征图经隔行2倍、4倍、8倍采样得到的医学图像,e为e1,即肋骨提取模块步骤1中得到的
512x512x64特征图;f为经过第一深度神经网络处理最终输出的特征图和概率图f1、f2、f3、
fe,即取肋骨提取模块步骤15中得到的特征图和概率图。
络更加关注于边界(往往是肋骨的边界比较难分),同时f1作为最终我们需要的输出,给的
权重大一点。
器(memory)703和通信总线704,其中,处理器701,通信接口702,存储器703通过通信总线
704完成相互间的通信。处理器701可以调用存储在存储器703上并可在处理器701上运行的
计算机程序,以执行上述各实施例提供的方法,例如包括:训练样本预处理;建立用于肋骨
提取的第一深度卷积神经网络,通过训练样本对第一深度卷积神经网络进行训练;建立用
于对第一深度卷积神经网络进行判别优化的第二深度卷积神经网络;通过训练样本及第一
深度卷积神经网络对训练样本的输出结果,对第一深度卷积神经网络进行优化;通过训练
后的第一深度卷积神经网络,提取医学图像中的肋骨图像。
发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分
可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指
令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各
个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器
(ROM,Read‑Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘
等各种可以存储程序代码的介质。
预处理;建立用于肋骨提取的第一深度卷积神经网络,通过训练样本对第一深度卷积神经
网络进行训练;建立用于对第一深度卷积神经网络进行判别优化的第二深度卷积神经网
络;通过训练样本及第一深度卷积神经网络对训练样本的输出结果,对第一深度卷积神经
网络进行优化;通过训练后的第一深度卷积神经网络,提取医学图像中的肋骨图像。
元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其
中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性
的劳动的情况下,即可以理解并实施。
述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该
计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指
令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施
例或者实施例的某些部分所述的方法。
以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;
而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和
范围。