图像分割、模型的训练方法及装置,电子设备及存储介质转让专利
申请号 : CN202010752149.0
文献号 : CN111899245B
文献日 : 2021-03-09
发明人 : 刘恩佑 , 郝智 , 张欢 , 赵朝炜 , 王瑜 , 李新阳 , 王少康 , 陈宽
申请人 : 推想医疗科技股份有限公司
摘要 :
权利要求 :
1.一种图像分割方法,其特征在于,包括:根据包括背景、纵膈、动脉和静脉的待分割图像,获取所述待分割图像的纵膈区域的所述纵膈、所述动脉、所述静脉和所述背景的第一分割结果;
根据所述待分割图像,获取所述待分割图像的外延区域的血管与所述背景的第二分割结果;
根据所述第一分割结果和所述第二分割结果,获取所述待分割图像的所述纵膈、所述动脉、所述静脉和所述背景的分割结果,其中,所述根据所述第一分割结果和所述第二分割结果,得到所述待分割图像的所述纵膈、所述动脉、所述静脉和所述背景的分割结果,包括:以所述第一分割结果中的所述动脉和所述静脉为起点,将所述第一分割结果中的所述动脉和所述静脉沿所述第二分割结果中的所述血管,以预设血管生长长度,进行区域增长,以获得所述待分割图像的所述纵膈、所述动脉、所述静脉和所述背景的分割结果。
2.根据权利要求1所述的方法,其特征在于,还包括:将所述待分割图像输入网络模型,其中,所述根据包括背景、纵膈、动脉和静脉的待分割图像,获取所述待分割图像的纵膈区域的所述纵膈、所述动脉、所述静脉和所述背景的第一分割结果,包括:根据所述待分割图像,通过所述网络模型,获取所述待分割图像的纵膈区域的所述纵膈、所述动脉、所述静脉和所述背景的第一分割结果。
3.根据权利要求2所述的方法,其特征在于,所述将所述待分割图像输入网络模型,包括:
将所述待分割图像的纵膈区域进行切块操作,获得多个切块图像,其中,所述多个切块图像中的每个切块图像均包括所述纵膈;
将所述多个切块图像输入所述网络模型,其中,所述根据所述待分割图像,通过所述网络模型,获取所述待分割图像的纵膈区域的所述纵膈、所述动脉、所述静脉和所述背景的第一分割结果,包括:根据所述多个切块图像,通过所述网络模型,获取所述多个切块图像对应的所述纵膈区域的所述纵膈、所述动脉、所述静脉和所述背景的多个子分割结果;
通过高斯平滑处理,对所述多个子分割结果进行组合操作,以获得组合后的分割结果;
通过连通域算法,对所述组合后的分割结果进行后处理,获得所述第一分割结果。
4.根据权利要求3所述的方法,其特征在于,所述通过连通域算法,对所述组合后的分割结果进行后处理,获得所述第一分割结果,包括:通过所述连通域算法,获取所述组合后的分割结果中的静脉最大连通域和动脉最大连通域;
根据所述静脉最大连通域和所述动脉最大连通域,去除所述组合后的分割结果中的噪点,以获得所述第一分割结果,其中,所述噪点包括同时为所述动脉和所述静脉的点以及假阳点。
5.根据权利要求1所述的方法,其特征在于,还包括:将所述待分割图像输入分割模型,其中,所述根据所述待分割图像,获取所述待分割图像的外延区域的血管与所述背景的第二分割结果,包括:
根据所述待分割图像,通过所述分割模型,获取所述外延区域的血管与所述背景的第二分割结果。
6.一种图像分割模型的训练方法,其特征在于,包括:确定样本图像,所述样本图像包括纵膈区域的纵膈、背景、动脉和静脉的第一标签以及外延区域的背景和血管的第二标签;
基于所述样本图像训练神经网络,以生成用于获得所述纵膈区域的所述纵膈、所述背景、所述动脉和所述静脉的第一分割结果的网络模型,其中,所述神经网络为3D神经网络;
基于所述样本图像训练级联的神经网络,以生成用于获得所述外延区域的所述背景和所述血管的第二分割结果的分割模型,其中,所述级联的神经网络包括用于特征提取的第一神经网络以及用于生成所述第二分割结果的第二神经网络,其中,所述基于所述样本图像训练级联的神经网络,以生成用于获得所述外延区域的背景和血管的第二分割结果的分割模型,包括:通过所述第一神经网络,对所述样本图像进行下采样操作,以获得多个第一特征图;
通过所述第二神经网络,对所述多个第一特征图进行上采样和融合操作,以获得第二特征图;
利用分类器对所述第二特征图进行激活,以获得所述外延区域的所述背景和所述血管的第二分割结果;
根据所述第二分割结果和所述第二标签,获得所述级联的神经网络的损失函数值;
根据所述损失函数值,更新所述级联的神经网络的参数,其中,所述第一神经网络为深度残差网络,所述第二神经网络为特征金字塔网络,其中,所述训练方法还包括:将所述第二标签中的血管所在区域进行最大池化操作,获得所述第二标签中的血管所在区域膨胀后的所述样本图像的目标区域,其中,所述根据所述第二分割结果和所述第二标签,获得所述级联的神经网络的损失函数值,包括:
根据所述目标区域对应的第二分割结果和所述第二标签,获取所述级联的神经网络的损失函数值。
7.根据权利要求6所述的训练方法,其特征在于,还包括:将所述样本图像的纵膈区域进行切块操作,获得多个切块图像,其中,所述多个切块图像中的每个切块图像均包括所述纵膈,其中,所述基于所述样本图像训练神经网络,以生成用于获得所述纵膈区域的纵膈、背景、动脉和静脉的第一分割结果的网络模型,包括:基于所述多个切块图像训练所述神经网络,以生成所述网络模型。
8.一种图像分割装置,其特征在于,包括:第一分割模块,配置为根据包括背景、纵膈、动脉和静脉的待分割图像,获取所述待分割图像的纵膈区域的所述纵膈、所述动脉、所述静脉和所述背景的第一分割结果;
第二分割模块,配置为根据所述待分割图像,获取所述待分割图像的外延区域的血管与所述背景的第二分割结果;
获取模块,配置为根据所述第一分割结果和所述第二分割结果,获取所述待分割图像的所述纵膈、所述动脉、所述静脉和所述背景的分割结果,其中,所述获取模块以所述第一分割结果中的所述动脉和所述静脉为起点,将所述第一分割结果中的所述动脉和所述静脉沿所述第二分割结果中的所述血管,以预设血管生长长度,进行区域增长,以获得所述待分割图像的所述纵膈、所述动脉、所述静脉和所述背景的分割结果。
9.一种图像分割模型的训练装置,其特征在于,包括:确定模块,配置为确定样本图像,所述样本图像包括纵膈区域的纵膈、背景、动脉和静脉的第一标签以及外延区域的背景和血管的第二标签;
第一训练模块,配置为基于所述样本图像训练神经网络,以生成用于获得所述纵膈区域的所述纵膈、所述背景、所述动脉和所述静脉的第一分割结果的网络模型,其中,所述神经网络为3D神经网络;
第二训练模块,配置为基于所述样本图像训练级联的神经网络,以生成用于获得所述外延区域的所述背景和所述血管的第二分割结果的分割模型,其中,所述级联的神经网络包括用于特征提取的第一神经网络以及用于生成所述第二分割结果的第二神经网络,其中,所述第二训练模块进一步配置为:将所述第二标签中的血管所在区域进行最大池化操作,获得所述第二标签中的血管所在区域膨胀后的所述样本图像的目标区域,其中,所述第二训练模块在基于所述样本图像训练级联的神经网络时,配置为:通过所述第一神经网络,对所述样本图像进行下采样操作,以获得多个第一特征图;
通过所述第二神经网络,对所述多个第一特征图进行上采样和融合操作,以获得第二特征图;
利用分类器对所述第二特征图进行激活,以获得所述外延区域的所述背景和所述血管的第二分割结果;
根据所述目标区域对应的第二分割结果和所述第二标签,获取所述级联的神经网络的损失函数值;
根据所述损失函数值,更新所述级联的神经网络的参数,其中,所述第一神经网络为深度残差网络,所述第二神经网络为特征金字塔网络。
10.一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于执行上述权利要求1至7中任一项所述的方法。
11.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1至7中任一项所述的方法。
说明书 :
图像分割、模型的训练方法及装置,电子设备及存储介质
技术领域
背景技术
静脉的分类可以更好地评估肺栓塞,而动脉树的变化与慢性血栓栓塞性肺动脉高压的发展
相关。此外,肺实质内动脉的改变与右心室功能障碍有关。为了检测两棵血管树的变化,医
生手动分析患者的胸部CT图像以寻找异常。这个过程是耗时的,难以标准化,因此不适合大
型临床研究或在现实世界的临床决策。因此,在CT图像中实现动静脉的自动分离成为人们
关注的热点,它可以帮助医生准确诊断病变。
发明内容
所述静脉和所述背景的第一分割结果;根据所述待分割图像,获取所述待分割图像的外延
区域的血管与所述背景的第二分割结果;根据所述第一分割结果和所述第二分割结果,获
取所述待分割图像的所述纵膈、所述动脉、所述静脉和所述背景的分割结果。
和血管的第二标签;基于所述样本图像训练神经网络,以生成用于获得所述纵膈区域的纵
膈、背景、动脉和静脉的第一分割结果的网络模型,其中,所述神经网络为3D神经网络;基于
所述样本图像训练级联的神经网络,以生成用于获得所述外延区域的背景和血管的第二分
割结果的分割模型,其中,所述级联的神经网络包括用于特征提取的第一神经网络以及用
于生成所述第二分割结果的第二神经网络。
所述纵膈、所述动脉、所述静脉和所述背景的第一分割结果;第二分割模块,配置为根据所
述待分割图像,获取所述待分割图像的外延区域的血管与所述背景的第二分割结果;获取
模块,配置为根据所述第一分割结果和所述第二分割结果,获取所述待分割图像的所述纵
膈、所述动脉、所述静脉和所述背景的分割结果。
外延区域的背景和血管的第二标签;第一训练模块,配置为基于所述样本图像训练神经网
络,以生成用于获得所述纵膈区域的纵膈、背景、动脉和静脉的第一分割结果的网络模型,
其中,所述神经网络为3D神经网络;第二训练模块,配置为基于所述样本图像训练级联的神
经网络,以生成用于获得所述外延区域的背景和血管的第二分割结果的分割模型,其中,所
述级联的神经网络包括用于特征提取的第一神经网络以及用于生成所述第二分割结果的
第二神经网络。
法,或者用于执行上述任一实施例所述的模型的训练方法。
用于执行上述任一实施例所述的模型的训练方法。
分割结果和外延区域的血管与背景的第二分割结果,再根据第一分割结果与第二分割结
果,来获得待分割图像的纵膈、动脉、静脉和背景的分割结果,能够避免直接对动脉、静脉和
背景进行分割时外延区域的血管与纵膈区域的血管的尺寸不一致而影响不同尺寸血管的
分割,从而能够提高动脉与静脉的分割的准确性和分割的效率。
附图说明
书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,
相同的参考标号通常代表相同部件或步骤。
具体实施方式
申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实
施例,都属于本申请保护的范围。
征学习能力,可以实现端到端的监督学习和非监督学习。深度学习所使用的阶层结构的人
工神经网络具有多种形态,其阶层的复杂度被通称为“深度”,按构筑类型,深度学习的形式
包括多层感知器、卷积神经网络、循环神经网络、深度置信网络和其它混合构筑。深度学习
使用数据对其构筑中的参数进行更新以达成训练目标,该过程被通称为“学习”,深度学习
提出了一种让计算机自动学习出模式特征的方法,并将特征学习融入到了建立模型的过程
中,从而减少了人为设计特征造成的不完备性。
之为权重。神经网络一般包括多个神经网络层,上下网络层之间相互级联,第i个神经网络
层的输出与第i+1个神经网络层的输入相连,第i+1个神经网络层的输出与第i+2个神经网
络层的输入相连,以此类推。训练样本输入级联的神经网络层后,通过每个神经网络层输出
一个输出结果,该输出结果作为下一个神经网络层的输入,由此,通过多个神经网络层计算
获得输出,比较输出层的输出的预测结果与真正的目标值,再根据预测结果与目标值之间
的差异情况来调整每一层的权重矩阵和策略函数,神经网络利用训练样本不断地经过上述
调整过程,使得神经网络的权重等参数得到调整,直到神经网络输出的预测结果与真正的
目标结果相符,该过程就被称为神经网络的训练过程。神经网络经过训练后,可得到神经网
络模型。
的区分度来进行计算的,这种方案在无病灶的CT图像上效果尚可接受,但是,一旦在肺炎和
有结节或者肿瘤的CT图像上,就会将与血管HU值相近的病变切割出来。因此,这种方案的鲁
棒性很难匹配现有产品使用场景的要求。
这种改进的算法很难满足线上产品的实时性和资源调度的需求。
像,同时,计算机设备110还可以与服务器120之间通过通信网络相连。可选的,通信网络是
有线网络或无线网络。
者也可以是个人计算机(Personal Computer,PC),比如膝上型便携计算机和台式计算机等
等。本领域技术人员可以知晓,上述计算机设备110的数量可以一个或多个,其类型可以相
同或者不同。比如上述计算机设备110可以为一个,或者上述计算机设备110为几十个或几
百个,或者更多数量。本申请实施例对计算机设备110的数量和设备类型不加以限定。计算
机设备110中可以部署有网络模型和分割模型,网络模型用于对肺部医学图像的纵膈区域
的纵膈、动脉、静脉和背景的进行分割,以获得第一分割结果,分割模型用于对肺部医学图
像的外延区域的血管和背景的进行分割,以获得第二分割结果。计算机设备110可以利用其
上部署的网络模型和分割模型将其从CT扫描仪130获取的肺部医学图像进行图像分割,从
而获得第一分割结果以及第二分割结果,进而获得肺部医学图像的纵膈、动脉、静脉和背景
的分割结果。这样,通过将纵膈区域的血管分割任务与外延区域的血管分割任务分离开来,
能够避免直接对动脉、静脉和背景进行分割时外延区域的血管与纵膈区域的血管的尺寸不
一致而影响不同尺寸血管的分割,从而能够提高动脉与静脉的分割的准确性和分割的效
率。
的训练图像,并通过训练图像对神经网络进行训练,以得到用于对肺部医学图像的纵膈区
域的纵膈、动脉、静脉和背景的进行分割的网络模型和用于对肺部医学图像的外延区域的
血管和背景的进行分割的分割模型。计算机设备110可以将其从CT扫描仪130获取到的肺部
医学图像发送给服务器,服务器120利用其上训练得到的网络模型和分割模型进行肺部医
学图像的纵膈区域的纵膈、动脉、静脉和背景的分割和外延区域的血管和背景的分割,进而
获得肺部医学图像的纵膈、动脉、静脉和背景的分割结果,并将该分割结果发送给计算机设
备110,以供医护人员查看。这样,通过将纵膈区域的血管分割任务与外延区域的血管分割
任务分离开来,能够避免直接对动脉、静脉和背景进行分割时外延区域的血管与纵膈区域
的血管的尺寸不一致而影响不同尺寸血管的分割,从而能够提高动脉与静脉的分割的准确
性和分割的效率。
者由若干台服务器组成,或者是一个虚拟化平台,或者是一个云计算服务中心,本申请实施
例对此不作限定。如图2所示,该方法包括以下内容。
数字放射成像(Digital radiography,DR)等医学影像,本申请实施例对此不作具体限定。
血管通过区域划分的方式区分开即可,例如,本申请实施例中的纵膈区域和外延区域。本申
请实施例也并不限定待分割图像的具体形式,可以是原始医学图像,也可以是经过预处理
后的医学图像,还可以是原始医学图像的一部分。
管的区域。例如,对于肺部医学图像而言,纵膈区域是指靠近左右纵膈胸膜附近的区域,外
延区域是指纵膈区域以外的肺内区域。纵膈区域内的血管尺寸比外延区域内的血管尺寸
大。
不限定第一分割的具体实施手段。
割开来即可。
以先执行第一分割,也可以先执行第二分割,还可以同时执行第一分割和第二分割,只要可
以得到各自的分割结果即可。
结果进行处理,只要可以获得最后的背景、动脉和静脉的分割结果即可。
叠加,以得到待分割图像的纵膈、动脉、静脉和背景的分割结果;也可以将第一分割结果和
第二分割结果仅作为一个中间结果,然后对该中间结果进行处理,来获得纵膈、动脉、静脉
和背景的分割结果。
景的第二分割结果,再根据第一分割结果与第二分割结果,来获得待分割图像的纵膈、动
脉、静脉和背景的分割结果,能够避免直接对动脉、静脉和背景进行分割时外延区域的血管
与纵膈区域的血管的尺寸不一致而影响不同尺寸血管的分割,从而能够提高动脉与静脉的
分割的准确性和分割的效率。
CNN)、深度神经网络(Deep Neural Network,DNN)或循环神经网络(Recurrent Neural
Network,RNN)等。该网络模型可以包括输入层、卷积层、池化层、连接层等神经网络层,本申
请实施例对此不作具体限定。另外,本申请实施例对每一种神经网络层的个数也不作限定。
得待分割图像的纵膈区域的纵膈、动脉、静脉和背景的第一分割结果更加准确。
将多个切块图像输入网络模型,其中,根据待分割图像,通过网络模型,获取待分割图像的
纵膈区域的纵膈、动脉、静脉和背景的第一分割结果,包括:根据多个切块图像,通过网络模
型,获取多个切块图像对应的纵膈区域的纵膈、动脉、静脉和背景的多个子分割结果;通过
高斯平滑处理,对多个子分割结果进行组合操作,以获得组合后的分割结果;通过连通域算
法,对组合后的分割结果进行后处理,获得第一分割结果。
(即,原始医学图像)输入3D分割网络模型中,训练3D分割网络模型所需要的显存会非常大。
个切块图像,多个切块图像可以为相互重叠的切块图像,然后将其输入到网络模型中进行
分割。但是需要说明的是,本申请实施例并不限定将待分割图像分割为多少个切块图像,也
并不限定相邻两个切块图像之间相互重叠的尺寸为多少。
类别判断。
一个切块图像对应一个子分割结果,那么多个切块图像对应多个子分割结果,多个子分割
结果对应待分割图像的纵膈区域的纵膈、动脉、静脉和背景的分割结果。
到的第一分割结果的边界平滑性,可以只保留中心位置的分割结果,将中心位置的分割结
果进行组合操作。即,为了获得边界平滑的待分割图像的纵膈区域的纵膈、动脉、静脉和背
景的第一分割结果,可以通过高斯平滑处理,对多个子分割结果进行组合操作,以获得边界
平滑的纵膈区域的纵膈、动脉、静脉和背景的第一分割结果。
当两个相邻切块图像对应的切割结果组合在一起时,会出现明显的组合痕迹)。由于网络模
型在切块图像的中心位置的分割结果更可信,表现更好,所以可以只保留切块图像靠近中
心位置的分割结果,例如,切块图像的尺寸为192*192*64,但是可以只保留中心位置附近的
尺寸为160*160*48区域的分割结果。为了进一步缓解栅栏效应,使得网络模型的分割结果
更加平滑,可以在直接拼接的组合操作的基础上,修改切块的步长,将两个160*160*48区域
的分割结果的重叠区域求均值,但该组合操作的缺点在于没有使用前面的先验假设,因此,
可以采用高斯平滑处理的组合操作来克服这一缺点,从而使得分割结果的精确度更高。
可以更好的平滑经过组合操作所得到的第一分割结果。
果。但是本申请实施例并不限定后处理的具体实施手段,只要能够将假阳和交界处表现不
一致的点去除即可。
连通域;根据静脉最大连通域和动脉最大连通域,去除组合后的分割结果中的噪点,以获得
第一分割结果,其中,噪点包括同时为动脉和静脉的点以及假阳点。
和静脉最大连通域,以获得组合后的分割结果中的噪点。最后,从组合后的分割结果中去除
该噪点,可以获得第一分割结果。这样所得到的第一分割结果中就不包含同时为动脉和静
脉的点或者假阳点等不符合要求的点。
CNN)、深度神经网络(Deep Neural Network,DNN)或循环神经网络(Recurrent Neural
Network,RNN)等。该分割模型可以包括输入层、卷积层、池化层、连接层等神经网络层,本申
请实施例对此不作具体限定。另外,本申请实施例对每一种神经网络层的个数也不作限定。
像的外延区域的血管和背景的第二分割结果更加准确。
2D分割模型,但是本申请实施例对此并不作具体限定,本领域技术人员可以根据实际应用
需求来设计网络模型的具体类型。同时,本申请实施例也并不具体限定分割模型的具体模
型结构,本领域技术人员可以根据实际应用需求来设计分割模型的具体模型结构,例如,分
割模型可以由Resnet18和特征金字塔网络构成。
尺寸较小的血管进行分割时的分割效果和分割性能不平衡的缺点。
地,切块图像的CT物理分辨率(即,Pixelspacing分辨率,Pixelspacing分辨率越高对现实
物理世界还原度越高,Pixelspacing分辨率越低对现实物理空间还原度越低)会影响到外
延区域的尺寸较小的血管的分割,即,切块图像的CT物理分辨率越高,越有助于外延区域的
尺寸较小的血管的分割。在理论上,切块图像的物理体积越大,其CT物理分辨率越大,3D网
络模型对尺寸较小的血管的分割以及对动脉和静脉的分类的表现就会越好。然而,在切块
图像的尺寸大小不变的情况下,物理体积和CT物理分辨率成反比的关系,如果想同时提高
物理体积和CT物理分辨率,即,提高3D网络模型对尺寸较小的血管的分割以及对动脉和静
脉的分类的准确性,就需要增大切块图像的尺寸大小。例如,在切块图像的物理体积不变的
情况下,假设将切块图像的CT物理分辨率放缩0.5,切块图像的每个边会放大2倍,这样,切
块图像的尺寸大小和3D网络模型的大小都会放大到原来的8倍。也就是说,此时如果提高切
块图像的物理体积的话,切块图像的尺寸大小的增长就需要超过原来的8倍,这显然会增加
训练3D分割网络模型时所需要的显存,从而导致3D网络模型对待分割图像的分割效率。
较大的血管的分类和分割的正确性。这样,可以降低切块图像的尺寸大小,即,可以简化3D
网络模型的分割任务;同时,也可以保证纵膈和靠近纵膈区域的血管的分割和分类的准确
性,即,只需要保证切块图像的物理体积足够大,就可以得到一个较好的纵膈和靠近纵膈区
域的血管的分割效果和分类效果。例如,将CT物理空间分辨率增大为原来的1.3倍,在获得
相同的纵膈和靠近纵膈区域的血管的分割效果和分类效果的情况下,显存缩减为原来的2
倍,从而提高了3D网络模型对待分割图像的分割效率。
结果和第二分割结果结合在一起,以得到待分割图像的纵膈、动脉、静脉和背景的分割结
果。为了使得RegionGrowth的速度达到要求,可以采取cuda实现。
种子具有相同或相似性质的像素(根据事先确定的生长或相似准则来确定)合并到种子像
素所在的区域中。而新的像素继续作为种子向四周生长,直到再没有满足条件的像素可以
包括进来,一个最终的区域生长完成。
一分割结果沿第二分割结果以预设血管生长长度进行区域增长,以获得待分割图像的纵
膈、动脉、静脉和背景的分割结果。
区域的血管会有重合,而在肺内区域的血管不重合,因此,可以将第一分割结果作为区域增
长的起点,而第二分割结果作为区域增长的轨道,通过区域增长算法,使得第一分割结果沿
着第二分割结果向外延区域进一步延伸,即,使第一分割结果沿着第二分割结果增长。
脉是两个完整的连通域,而第二分割结果中的假阳不会与这两个完整的连通域相结合,所
以通过区域增长,还可以去除第二分割结果中的假阳。
像而言,预设血管生长长度为预设肺内血管生长长度)。在分割后图像的显示上,可以通过
调节每次迭代过程中的预设血管生长长度,来动态显示血管的粒度。这样可以避免医护人
员在查看分割后图像的VR时一些病灶被血管遮挡的情况,从而增加用户的使用体验。
割结果,可以降低任务的复杂度,进而可以采用一些简单模型结构来降低显存和加快预测
速度,以满足线上产品的实时性和资源调度的需求。
或者由若干台服务器组成,或者是一个虚拟化平台,或者是一个云计算服务中心,本申请实
施例对此不作限定。如图5所示,该方法包括如下内容。
签,该第二标签中的血管不具体划分动脉和静脉。
Network,DNN)或循环神经网络(Recurrent Neural Network,RNN)等,本申请实施例对被训
练的神经网络的具体类型不作限定。被训练的神经网络可以包括输入层、卷积层、池化层、
连接层等神经网络层,本申请实施例对此不作具体限定。另外,本申请实施例对每一种神经
网络层的个数也不作限定。优选地,被训练的神经网络为3D神经网络。
以及用于生成第二分割结果的第二神经网络。
网络(Deep Neural Network,DNN)或循环神经网络(Recurrent Neural Network,RNN)等,
本申请实施例对第一神经网络和第二神经网络的具体类型不作限定。第一神经网络和第二
神经网络可以包括输入层、卷积层、池化层、连接层等神经网络层,本申请实施例对此不作
具体限定。另外,本申请实施例对每一种神经网络层的个数也不作限定。
络的具体结构,该级联的神经网络还可以包括其他的神经网络。
训练完成的网络模型和分割模型即可。
本图像训练神经网络,以生成用于获得纵膈区域的纵膈、背景、动脉和静脉的第一分割结果
的网络模型,包括:基于多个切块图像训练神经网络,以生成网络模型。
用于获得纵膈区域的纵膈、动脉、静脉和背景的第一分割结果的网络模型即可。
度损失,可以得到3D神经网络的第一损失函数值。第一损失函数值越小,代表预测出的第一
分割结果越接近目标结果,预测正确的准确率越高。相反,第一损失函数值越大,代表预测
正确的准确率越低。将该第一损失函数值进行梯度反传,以更新该3D神经网络的参数,例如
权重,偏值等,本申请对此不做限定。
行下采样操作,以获得多个第一特征图;通过第二神经网络,对多个第一特征图进行上采样
和融合操作,以获得第二特征图;利用分类器对第二特征图进行激活,以获得外延区域的背
景和血管的第二分割结果;根据第二分割结果和第二标签,获得级联的神经网络的损失函
数值;根据损失函数值,更新级联的神经网络的参数,其中,第一神经网络为深度残差网络,
第二神经网络为特征金字塔网络。
特征图的个数不作具体限定,本申请实施例也并不限定下采样的倍数。
一特征图3进行降维后输入到特征金字塔网络中,使其与第一特征图4进行融合操作,以获
得融合后的特征图1;再将第一特征图2进行降维后输入特征金字塔网络中,使其与融合后
的特征图1进行融合操作,以获得融合后的特征图2;再对融合后的特征图2进行上采样操
作,以获得与样本图像尺寸相同的第二特征图;最后利用分类器对第二特征图进行激活,以
获得外延区域的背景和血管的第二分割结果。
代表预测出的第二分割结果越接近目标结果,预测正确的准确率越高。相反,损失函数值越
大,代表预测正确的准确率越低。
二分割结果和第二标签,获得级联的神经网络的损失函数值,包括:根据目标区域对应的第
二分割结果和第二标签,获取级联的神经网络的损失函数值。
于学习数量大的样本,也就是负样本(背景)。
域为血管,其余黑色区域为背景;右图为经过“膨胀”后的标记结果,其中,整个白色区域为
带有白色标签的区域经膨胀后得到的目标区域,其包括左图中的带有白色标签的区域和与
该区域临近的黑色区域(即,背景)。这样,可以有效的降低正负样本不平衡问题,使得血管
分割的更加细致,同时,还可以加速分割模型的收敛。
“膨胀”后的目标区域)。该目标区域包括血管标签以及与血管标签临近的背景标签。
样本的损失,即,只计算目标区域内的像素值的损失函数,这样可以有效的克服类不平衡问
题。
征提取的第一神经网络以及用于生成第二分割结果的第二神经网络。
储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性
存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以
存储一个或多个计算机程序指令,处理器1010可以运行所述程序指令,以实现上文所述的
本申请的各个实施例的图像分割方法、模型的训练方法以及/或者其他期望的功能。在所述
计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
备等等。
1000还可以包括任何其他适当的组件。
“示例性方法”部分中描述的根据本申请各种实施例的图像分割方法、模型的训练方法中的
步骤。
Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程
序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软
件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备
或服务器上执行。
法”部分中描述的根据本申请各种实施例的图像分割方法、模型的训练方法中的步骤。
磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的
例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储
器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘
只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
术人员将认识到其某些变型、修改、改变、添加和子组合。