图像分割、模型的训练方法及装置,电子设备及存储介质转让专利

申请号 : CN202010752149.0

文献号 : CN111899245B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 刘恩佑郝智张欢赵朝炜王瑜李新阳王少康陈宽

申请人 : 推想医疗科技股份有限公司

摘要 :

本申请公开了一种图像分割、模型的训练方法及装置,电子设备及存储介质。该图像分割方法包括:根据包括背景、纵膈、动脉和静脉的待分割图像,获取所述待分割图像的纵膈区域的所述纵膈、所述动脉、所述静脉和所述背景的第一分割结果;根据所述待分割图像,获取所述待分割图像的外延区域的血管与所述背景的第二分割结果;根据所述第一分割结果和所述第二分割结果,获取所述待分割图像的所述纵膈、所述动脉、所述静脉和所述背景的分割结果,能够提高动脉与静脉的分割的准确性和分割的效率。

权利要求 :

1.一种图像分割方法,其特征在于,包括:根据包括背景、纵膈、动脉和静脉的待分割图像,获取所述待分割图像的纵膈区域的所述纵膈、所述动脉、所述静脉和所述背景的第一分割结果;

根据所述待分割图像,获取所述待分割图像的外延区域的血管与所述背景的第二分割结果;

根据所述第一分割结果和所述第二分割结果,获取所述待分割图像的所述纵膈、所述动脉、所述静脉和所述背景的分割结果,其中,所述根据所述第一分割结果和所述第二分割结果,得到所述待分割图像的所述纵膈、所述动脉、所述静脉和所述背景的分割结果,包括:以所述第一分割结果中的所述动脉和所述静脉为起点,将所述第一分割结果中的所述动脉和所述静脉沿所述第二分割结果中的所述血管,以预设血管生长长度,进行区域增长,以获得所述待分割图像的所述纵膈、所述动脉、所述静脉和所述背景的分割结果。

2.根据权利要求1所述的方法,其特征在于,还包括:将所述待分割图像输入网络模型,其中,所述根据包括背景、纵膈、动脉和静脉的待分割图像,获取所述待分割图像的纵膈区域的所述纵膈、所述动脉、所述静脉和所述背景的第一分割结果,包括:根据所述待分割图像,通过所述网络模型,获取所述待分割图像的纵膈区域的所述纵膈、所述动脉、所述静脉和所述背景的第一分割结果。

3.根据权利要求2所述的方法,其特征在于,所述将所述待分割图像输入网络模型,包括:

将所述待分割图像的纵膈区域进行切块操作,获得多个切块图像,其中,所述多个切块图像中的每个切块图像均包括所述纵膈;

将所述多个切块图像输入所述网络模型,其中,所述根据所述待分割图像,通过所述网络模型,获取所述待分割图像的纵膈区域的所述纵膈、所述动脉、所述静脉和所述背景的第一分割结果,包括:根据所述多个切块图像,通过所述网络模型,获取所述多个切块图像对应的所述纵膈区域的所述纵膈、所述动脉、所述静脉和所述背景的多个子分割结果;

通过高斯平滑处理,对所述多个子分割结果进行组合操作,以获得组合后的分割结果;

通过连通域算法,对所述组合后的分割结果进行后处理,获得所述第一分割结果。

4.根据权利要求3所述的方法,其特征在于,所述通过连通域算法,对所述组合后的分割结果进行后处理,获得所述第一分割结果,包括:通过所述连通域算法,获取所述组合后的分割结果中的静脉最大连通域和动脉最大连通域;

根据所述静脉最大连通域和所述动脉最大连通域,去除所述组合后的分割结果中的噪点,以获得所述第一分割结果,其中,所述噪点包括同时为所述动脉和所述静脉的点以及假阳点。

5.根据权利要求1所述的方法,其特征在于,还包括:将所述待分割图像输入分割模型,其中,所述根据所述待分割图像,获取所述待分割图像的外延区域的血管与所述背景的第二分割结果,包括:

根据所述待分割图像,通过所述分割模型,获取所述外延区域的血管与所述背景的第二分割结果。

6.一种图像分割模型的训练方法,其特征在于,包括:确定样本图像,所述样本图像包括纵膈区域的纵膈、背景、动脉和静脉的第一标签以及外延区域的背景和血管的第二标签;

基于所述样本图像训练神经网络,以生成用于获得所述纵膈区域的所述纵膈、所述背景、所述动脉和所述静脉的第一分割结果的网络模型,其中,所述神经网络为3D神经网络;

基于所述样本图像训练级联的神经网络,以生成用于获得所述外延区域的所述背景和所述血管的第二分割结果的分割模型,其中,所述级联的神经网络包括用于特征提取的第一神经网络以及用于生成所述第二分割结果的第二神经网络,其中,所述基于所述样本图像训练级联的神经网络,以生成用于获得所述外延区域的背景和血管的第二分割结果的分割模型,包括:通过所述第一神经网络,对所述样本图像进行下采样操作,以获得多个第一特征图;

通过所述第二神经网络,对所述多个第一特征图进行上采样和融合操作,以获得第二特征图;

利用分类器对所述第二特征图进行激活,以获得所述外延区域的所述背景和所述血管的第二分割结果;

根据所述第二分割结果和所述第二标签,获得所述级联的神经网络的损失函数值;

根据所述损失函数值,更新所述级联的神经网络的参数,其中,所述第一神经网络为深度残差网络,所述第二神经网络为特征金字塔网络,其中,所述训练方法还包括:将所述第二标签中的血管所在区域进行最大池化操作,获得所述第二标签中的血管所在区域膨胀后的所述样本图像的目标区域,其中,所述根据所述第二分割结果和所述第二标签,获得所述级联的神经网络的损失函数值,包括:

根据所述目标区域对应的第二分割结果和所述第二标签,获取所述级联的神经网络的损失函数值。

7.根据权利要求6所述的训练方法,其特征在于,还包括:将所述样本图像的纵膈区域进行切块操作,获得多个切块图像,其中,所述多个切块图像中的每个切块图像均包括所述纵膈,其中,所述基于所述样本图像训练神经网络,以生成用于获得所述纵膈区域的纵膈、背景、动脉和静脉的第一分割结果的网络模型,包括:基于所述多个切块图像训练所述神经网络,以生成所述网络模型。

8.一种图像分割装置,其特征在于,包括:第一分割模块,配置为根据包括背景、纵膈、动脉和静脉的待分割图像,获取所述待分割图像的纵膈区域的所述纵膈、所述动脉、所述静脉和所述背景的第一分割结果;

第二分割模块,配置为根据所述待分割图像,获取所述待分割图像的外延区域的血管与所述背景的第二分割结果;

获取模块,配置为根据所述第一分割结果和所述第二分割结果,获取所述待分割图像的所述纵膈、所述动脉、所述静脉和所述背景的分割结果,其中,所述获取模块以所述第一分割结果中的所述动脉和所述静脉为起点,将所述第一分割结果中的所述动脉和所述静脉沿所述第二分割结果中的所述血管,以预设血管生长长度,进行区域增长,以获得所述待分割图像的所述纵膈、所述动脉、所述静脉和所述背景的分割结果。

9.一种图像分割模型的训练装置,其特征在于,包括:确定模块,配置为确定样本图像,所述样本图像包括纵膈区域的纵膈、背景、动脉和静脉的第一标签以及外延区域的背景和血管的第二标签;

第一训练模块,配置为基于所述样本图像训练神经网络,以生成用于获得所述纵膈区域的所述纵膈、所述背景、所述动脉和所述静脉的第一分割结果的网络模型,其中,所述神经网络为3D神经网络;

第二训练模块,配置为基于所述样本图像训练级联的神经网络,以生成用于获得所述外延区域的所述背景和所述血管的第二分割结果的分割模型,其中,所述级联的神经网络包括用于特征提取的第一神经网络以及用于生成所述第二分割结果的第二神经网络,其中,所述第二训练模块进一步配置为:将所述第二标签中的血管所在区域进行最大池化操作,获得所述第二标签中的血管所在区域膨胀后的所述样本图像的目标区域,其中,所述第二训练模块在基于所述样本图像训练级联的神经网络时,配置为:通过所述第一神经网络,对所述样本图像进行下采样操作,以获得多个第一特征图;

通过所述第二神经网络,对所述多个第一特征图进行上采样和融合操作,以获得第二特征图;

利用分类器对所述第二特征图进行激活,以获得所述外延区域的所述背景和所述血管的第二分割结果;

根据所述目标区域对应的第二分割结果和所述第二标签,获取所述级联的神经网络的损失函数值;

根据所述损失函数值,更新所述级联的神经网络的参数,其中,所述第一神经网络为深度残差网络,所述第二神经网络为特征金字塔网络。

10.一种电子设备,包括:

处理器;

用于存储所述处理器可执行指令的存储器;

所述处理器,用于执行上述权利要求1至7中任一项所述的方法。

11.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1至7中任一项所述的方法。

说明书 :

图像分割、模型的训练方法及装置,电子设备及存储介质

技术领域

[0001] 本申请涉及图像处理技术领域,具体涉及一种图像分割方法及装置,模型的训练方法及装置,电子设备及存储介质。

背景技术

[0002] 图像分割在影像学诊断中大有用处。例如,将肺血管分为动脉/静脉可能有助于医生准确诊断可能以特定方式影响动脉或静脉树的肺部疾病。例如,最近的研究表明,动脉/
静脉的分类可以更好地评估肺栓塞,而动脉树的变化与慢性血栓栓塞性肺动脉高压的发展
相关。此外,肺实质内动脉的改变与右心室功能障碍有关。为了检测两棵血管树的变化,医
生手动分析患者的胸部CT图像以寻找异常。这个过程是耗时的,难以标准化,因此不适合大
型临床研究或在现实世界的临床决策。因此,在CT图像中实现动静脉的自动分离成为人们
关注的热点,它可以帮助医生准确诊断病变。

发明内容

[0003] 有鉴于此,本申请的实施例致力于提供一种图像分割方法及装置,模型的训练方法及装置,电子设备及存储介质,能够提高动脉与静脉的分割的准确性和分割的效率。
[0004] 根据本申请实施例的第一方面,提供了一种图像分割方法,包括:根据包括背景、纵膈、动脉和静脉的待分割图像,获取所述待分割图像的纵膈区域的所述纵膈、所述动脉、
所述静脉和所述背景的第一分割结果;根据所述待分割图像,获取所述待分割图像的外延
区域的血管与所述背景的第二分割结果;根据所述第一分割结果和所述第二分割结果,获
取所述待分割图像的所述纵膈、所述动脉、所述静脉和所述背景的分割结果。
[0005] 根据本申请实施例的第二方面,提供了一种模型的训练方法,包括:确定样本图像,所述样本图像包括纵膈区域的纵膈、背景、动脉和静脉的第一标签以及外延区域的背景
和血管的第二标签;基于所述样本图像训练神经网络,以生成用于获得所述纵膈区域的纵
膈、背景、动脉和静脉的第一分割结果的网络模型,其中,所述神经网络为3D神经网络;基于
所述样本图像训练级联的神经网络,以生成用于获得所述外延区域的背景和血管的第二分
割结果的分割模型,其中,所述级联的神经网络包括用于特征提取的第一神经网络以及用
于生成所述第二分割结果的第二神经网络。
[0006] 根据本申请实施例的第三方面,提供了一种图像分割装置,包括:第一分割模块,配置为根据包括背景、纵膈、动脉和静脉的待分割图像,获取所述待分割图像的纵膈区域的
所述纵膈、所述动脉、所述静脉和所述背景的第一分割结果;第二分割模块,配置为根据所
述待分割图像,获取所述待分割图像的外延区域的血管与所述背景的第二分割结果;获取
模块,配置为根据所述第一分割结果和所述第二分割结果,获取所述待分割图像的所述纵
膈、所述动脉、所述静脉和所述背景的分割结果。
[0007] 根据本申请实施例的第四方面,提供了一种模型的训练装置,包括:确定模块,配置为确定样本图像,所述样本图像包括纵膈区域的纵膈、背景、动脉和静脉的第一标签以及
外延区域的背景和血管的第二标签;第一训练模块,配置为基于所述样本图像训练神经网
络,以生成用于获得所述纵膈区域的纵膈、背景、动脉和静脉的第一分割结果的网络模型,
其中,所述神经网络为3D神经网络;第二训练模块,配置为基于所述样本图像训练级联的神
经网络,以生成用于获得所述外延区域的背景和血管的第二分割结果的分割模型,其中,所
述级联的神经网络包括用于特征提取的第一神经网络以及用于生成所述第二分割结果的
第二神经网络。
[0008] 根据本申请实施例的第五方面,提供了一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器用于执行上述任一实施例所述的图像分割方
法,或者用于执行上述任一实施例所述的模型的训练方法。
[0009] 根据本申请实施例的第六方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述任一实施例所述的图像分割方法,或者
用于执行上述任一实施例所述的模型的训练方法。
[0010] 本申请的实施例所提供的一种图像分割方法,通过将纵膈区域的血管分割任务与外延区域的血管分割任务分离开来,以分别获得纵膈区域的纵膈、动脉、静脉和背景的第一
分割结果和外延区域的血管与背景的第二分割结果,再根据第一分割结果与第二分割结
果,来获得待分割图像的纵膈、动脉、静脉和背景的分割结果,能够避免直接对动脉、静脉和
背景进行分割时外延区域的血管与纵膈区域的血管的尺寸不一致而影响不同尺寸血管的
分割,从而能够提高动脉与静脉的分割的准确性和分割的效率。

附图说明

[0011] 通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明
书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,
相同的参考标号通常代表相同部件或步骤。
[0012] 图1所示为本申请实施例所提供的一种实施环境的示意图。
[0013] 图2所示为本申请一个实施例提供的图像分割方法的流程示意图。
[0014] 图3所示为本申请另一个实施例提供的图像分割方法的流程示意图。
[0015] 图4所示为本申请一个实施例提供的区域增长的实现过程的示意图。
[0016] 图5所示为本申请一个实施例提供的模型的训练方法的流程示意图。
[0017] 图6所示为本申请一个实施例提供的级联的神经网络的训练过程的示意图。
[0018] 图7所示为本申请一个实施例提供的标记的样本图像的示意图。
[0019] 图8所示为本申请一个实施例提供的图像分割装置的框图。
[0020] 图9所示为本申请一个实施例提供的模型的训练装置的框图。
[0021] 图10所示为本申请一个实施例提供的电子设备的结构框图。

具体实施方式

[0022] 下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本
申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实
施例,都属于本申请保护的范围。
[0023] 申请概述
[0024] 深度学习通过建立具有阶层结构的人工神经网络,在计算系统中实现人工智能。由于阶层结构的人工神经网络能够对输入信息进行逐层提取和筛选,因此深度学习具有表
征学习能力,可以实现端到端的监督学习和非监督学习。深度学习所使用的阶层结构的人
工神经网络具有多种形态,其阶层的复杂度被通称为“深度”,按构筑类型,深度学习的形式
包括多层感知器、卷积神经网络、循环神经网络、深度置信网络和其它混合构筑。深度学习
使用数据对其构筑中的参数进行更新以达成训练目标,该过程被通称为“学习”,深度学习
提出了一种让计算机自动学习出模式特征的方法,并将特征学习融入到了建立模型的过程
中,从而减少了人为设计特征造成的不完备性。
[0025] 神经网络是一种运算模型,由大量的节点(或称神经元)之间相互连接构成,每个节点对应一个策略函数,每两个节点间的连接代表一个对于通过该连接信号的加权值,称
之为权重。神经网络一般包括多个神经网络层,上下网络层之间相互级联,第i个神经网络
层的输出与第i+1个神经网络层的输入相连,第i+1个神经网络层的输出与第i+2个神经网
络层的输入相连,以此类推。训练样本输入级联的神经网络层后,通过每个神经网络层输出
一个输出结果,该输出结果作为下一个神经网络层的输入,由此,通过多个神经网络层计算
获得输出,比较输出层的输出的预测结果与真正的目标值,再根据预测结果与目标值之间
的差异情况来调整每一层的权重矩阵和策略函数,神经网络利用训练样本不断地经过上述
调整过程,使得神经网络的权重等参数得到调整,直到神经网络输出的预测结果与真正的
目标结果相符,该过程就被称为神经网络的训练过程。神经网络经过训练后,可得到神经网
络模型。
[0026] 现有的血管分割方案主要分为基于深度学习的血管分割和基于传统学习的血管分割。特别地,对于肺血管分割任务来说,现有的血管分割方案大多都是利用血管在HU值上
的区分度来进行计算的,这种方案在无病灶的CT图像上效果尚可接受,但是,一旦在肺炎和
有结节或者肿瘤的CT图像上,就会将与血管HU值相近的病变切割出来。因此,这种方案的鲁
棒性很难匹配现有产品使用场景的要求。
[0027] 而对于基于深度学习的血管分割方案来说,目前主流的方向都是利用基于图结构的一些改进,这种改进包括使用图卷积和图割。但是在预测速度和显存内存等资源占用上,
这种改进的算法很难满足线上产品的实时性和资源调度的需求。
[0028] 在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
[0029] 示例性系统
[0030] 图1是本申请实施例所提供的一种实施环境的示意图。该实施环境包括CT扫描仪130、服务器120和计算机设备110。计算机设备110可以从CT扫描仪130处获取肺部医学图
像,同时,计算机设备110还可以与服务器120之间通过通信网络相连。可选的,通信网络是
有线网络或无线网络。
[0031] CT扫描仪130用于对人体组织进行X线扫描,得到人体组织的CT图像。在一实施例中,通过CT扫描仪130对肺部进行扫描,可以得到肺部医学图像。
[0032] 计算机设备110可以是通用型计算机或者由专用的集成电路组成的计算机装置等,本申请实施例对此不做限定。例如,计算机设备110可以是平板电脑等移动终端设备,或
者也可以是个人计算机(Personal Computer,PC),比如膝上型便携计算机和台式计算机等
等。本领域技术人员可以知晓,上述计算机设备110的数量可以一个或多个,其类型可以相
同或者不同。比如上述计算机设备110可以为一个,或者上述计算机设备110为几十个或几
百个,或者更多数量。本申请实施例对计算机设备110的数量和设备类型不加以限定。计算
机设备110中可以部署有网络模型和分割模型,网络模型用于对肺部医学图像的纵膈区域
的纵膈、动脉、静脉和背景的进行分割,以获得第一分割结果,分割模型用于对肺部医学图
像的外延区域的血管和背景的进行分割,以获得第二分割结果。计算机设备110可以利用其
上部署的网络模型和分割模型将其从CT扫描仪130获取的肺部医学图像进行图像分割,从
而获得第一分割结果以及第二分割结果,进而获得肺部医学图像的纵膈、动脉、静脉和背景
的分割结果。这样,通过将纵膈区域的血管分割任务与外延区域的血管分割任务分离开来,
能够避免直接对动脉、静脉和背景进行分割时外延区域的血管与纵膈区域的血管的尺寸不
一致而影响不同尺寸血管的分割,从而能够提高动脉与静脉的分割的准确性和分割的效
率。
[0033] 服务器120是一台服务器,或者由若干台服务器组成,或者是一个虚拟化平台,或者是一个云计算服务中心。在一些可选的实施例中,服务器120接收计算机设备110采集到
的训练图像,并通过训练图像对神经网络进行训练,以得到用于对肺部医学图像的纵膈区
域的纵膈、动脉、静脉和背景的进行分割的网络模型和用于对肺部医学图像的外延区域的
血管和背景的进行分割的分割模型。计算机设备110可以将其从CT扫描仪130获取到的肺部
医学图像发送给服务器,服务器120利用其上训练得到的网络模型和分割模型进行肺部医
学图像的纵膈区域的纵膈、动脉、静脉和背景的分割和外延区域的血管和背景的分割,进而
获得肺部医学图像的纵膈、动脉、静脉和背景的分割结果,并将该分割结果发送给计算机设
备110,以供医护人员查看。这样,通过将纵膈区域的血管分割任务与外延区域的血管分割
任务分离开来,能够避免直接对动脉、静脉和背景进行分割时外延区域的血管与纵膈区域
的血管的尺寸不一致而影响不同尺寸血管的分割,从而能够提高动脉与静脉的分割的准确
性和分割的效率。
[0034] 示例性方法
[0035] 图2是本申请一个实施例提供的图像分割方法的流程示意图。图2所述的方法由计算设备(例如,服务器)来执行,但本申请实施例不以此为限。服务器可以是一台服务器,或
者由若干台服务器组成,或者是一个虚拟化平台,或者是一个云计算服务中心,本申请实施
例对此不作限定。如图2所示,该方法包括以下内容。
[0036] S210:根据包括背景、纵膈、动脉和静脉的待分割图像,获取待分割图像的纵膈区域的纵膈、动脉、静脉和背景的第一分割结果。
[0037] 待分割图像可以为电子计算机断层成像(Computed Tomography,CT)、核磁共振成像(Magnetic Resonance Imaging,MRI)、计算机放射成像(Computed Radiography,CR)或
数字放射成像(Digital radiography,DR)等医学影像,本申请实施例对此不作具体限定。
[0038] 待分割图像可以为肺部医学图像,但是本申请实施例对此不作具体限定,待分割图像还可以为其他器官的医学图像,该医学图像只要可以将尺寸较大的血管和尺寸较小的
血管通过区域划分的方式区分开即可,例如,本申请实施例中的纵膈区域和外延区域。本申
请实施例也并不限定待分割图像的具体形式,可以是原始医学图像,也可以是经过预处理
后的医学图像,还可以是原始医学图像的一部分。
[0039] 在一实施例中,纵膈区域是指靠近左右纵膈胸膜附近的区域,其间有心脏及出入心脏的大血管、食管、气管、胸腺、神经及淋巴组织等;外延区域是指纵膈区域以外的包含血
管的区域。例如,对于肺部医学图像而言,纵膈区域是指靠近左右纵膈胸膜附近的区域,外
延区域是指纵膈区域以外的肺内区域。纵膈区域内的血管尺寸比外延区域内的血管尺寸
大。
[0040] 在一实施例中,可以对包括背景、动脉和静脉的待分割图像进行第一分割,以获取纵膈区域的纵膈、动脉、静脉和背景的第一分割结果,但是需要说明的是,本申请实施例并
不限定第一分割的具体实施手段。
[0041] S220:根据待分割图像,获取待分割图像的外延区域的血管与背景的第二分割结果。
[0042] 在一实施例中,可以对待分割图像进行第二分割,以获取外延区域的血管与背景的第二分割结果,但是需要说明的是,本申请实施例并不限定第二分割的具体实施手段。
[0043] 对待分割图像进行第二分割可以将待分割图像的外延区域的血管与背景分割开来,但是并不对血管进行分类,即,不区分血管是动脉还是静脉,只要可以将血管和背景分
割开来即可。
[0044] 本申请实施例也并不限定第一分割和第二分割的具体实施手段是否相同,二者可以相同,也可以不同;且本申请实施例也并不限定执行第一分割和第二分割的先后顺序,可
以先执行第一分割,也可以先执行第二分割,还可以同时执行第一分割和第二分割,只要可
以得到各自的分割结果即可。
[0045] S230:根据第一分割结果和第二分割结果,获取待分割图像的纵膈、动脉、静脉和背景的分割结果。
[0046] 在一实施例中,可以对第一分割结果和第二分割结果进行处理,来获取纵膈、动脉、静脉和背景的分割结果,但是本申请实施例并不限定如何对第一分割结果和第二分割
结果进行处理,只要可以获得最后的背景、动脉和静脉的分割结果即可。
[0047] 第一分割结果是指待分割图像的纵膈区域的分割结果,第二分割结果是指待分割图像的外延区域的分割结果。例如,可以直接将第一分割结果和第二分割结果进行简单的
叠加,以得到待分割图像的纵膈、动脉、静脉和背景的分割结果;也可以将第一分割结果和
第二分割结果仅作为一个中间结果,然后对该中间结果进行处理,来获得纵膈、动脉、静脉
和背景的分割结果。
[0048] 由此可见,通过将纵膈区域的血管分割任务与外延区域的血管分割任务分离开来,以分别获得纵膈区域的纵膈、动脉、静脉和背景的第一分割结果和外延区域的血管与背
景的第二分割结果,再根据第一分割结果与第二分割结果,来获得待分割图像的纵膈、动
脉、静脉和背景的分割结果,能够避免直接对动脉、静脉和背景进行分割时外延区域的血管
与纵膈区域的血管的尺寸不一致而影响不同尺寸血管的分割,从而能够提高动脉与静脉的
分割的准确性和分割的效率。
[0049] 在本申请另一个实施例中,如图3所示的方法是图2所示的方法的示例,如图3所示的方法还包括以下内容。
[0050] S310:将待分割图像输入网络模型。
[0051] 为了对待分割图像进行分割,可以将待分割图像输入到用于获得纵膈区域的纵膈、动脉、静脉和背景的第一分割结果的网络模型中进行分割。
[0052] 本申请实施例对网络模型的具体类型不作限定,该网络模型可以由任意类型的神经网络构成。可选地,该网络模型可以为卷积神经网络(Convolutional Neural Network,
CNN)、深度神经网络(Deep Neural Network,DNN)或循环神经网络(Recurrent Neural 
Network,RNN)等。该网络模型可以包括输入层、卷积层、池化层、连接层等神经网络层,本申
请实施例对此不作具体限定。另外,本申请实施例对每一种神经网络层的个数也不作限定。
[0053] S320:根据待分割图像,通过网络模型,获取待分割图像的纵膈区域的纵膈、动脉、静脉和背景的第一分割结果。
[0054] 将待分割图像直接输入到网络模型中,以获得待分割图像的纵膈区域的纵膈、动脉、静脉和背景的第一分割结果。通过将待分割图像输入到该网络模型中进行分割,可以使
得待分割图像的纵膈区域的纵膈、动脉、静脉和背景的第一分割结果更加准确。
[0055] 在一个实施例中,将待分割图像输入网络模型,包括:将待分割图像的纵膈区域进行切块操作,获得多个切块图像,其中,多个切块图像中的每个切块图像均包括所述纵膈;
将多个切块图像输入网络模型,其中,根据待分割图像,通过网络模型,获取待分割图像的
纵膈区域的纵膈、动脉、静脉和背景的第一分割结果,包括:根据多个切块图像,通过网络模
型,获取多个切块图像对应的纵膈区域的纵膈、动脉、静脉和背景的多个子分割结果;通过
高斯平滑处理,对多个子分割结果进行组合操作,以获得组合后的分割结果;通过连通域算
法,对组合后的分割结果进行后处理,获得第一分割结果。
[0056] 该网络模型可以为3D网络模型,也可以为2D网络模型,本申请实施例对此并不作具体限定,本领域技术人员可以根据实际应用需求来设计网络模型的具体类型。
[0057] 例如,对于3D网络模型,由于其精度高,3D表现优异的原因,被广泛使用于医疗图像分割领域。但是3D分割网络模型会对计算资源消耗极大,如果直接将完整的待分割图像
(即,原始医学图像)输入3D分割网络模型中,训练3D分割网络模型所需要的显存会非常大。
[0058] 为了兼顾计算资源的消耗与最终分割精度,可以将将待分割图像的纵膈区域进行切块操作,即,对与纵膈区域对应的待分割图像进行切块操作,以获得与纵膈区域对应的多
个切块图像,多个切块图像可以为相互重叠的切块图像,然后将其输入到网络模型中进行
分割。但是需要说明的是,本申请实施例并不限定将待分割图像分割为多少个切块图像,也
并不限定相邻两个切块图像之间相互重叠的尺寸为多少。
[0059] 切块图像包含纵膈,有助于纵膈区域内的血管的类别判断,即,纵膈可以作为3D网络模型进行动脉和静脉的分类学习的参考物,使3D网络模型可以更好地对动脉和静脉进行
类别判断。
[0060] 在一实施例中,当得到了多个切块图像后,再将多个切块图像输入到网络模型中进行图像分割。此时,每将一个切块图像输入到网络模型,就可以输出一个子分割结果,即,
一个切块图像对应一个子分割结果,那么多个切块图像对应多个子分割结果,多个子分割
结果对应待分割图像的纵膈区域的纵膈、动脉、静脉和背景的分割结果。
[0061] 在一实施例中,将多个子分割结果组合成为与待分割图像的尺寸大小相当的mask作为第一分割结果。由于多个切块图像为相互重叠的切块图像,因此,为了保证组合后所得
到的第一分割结果的边界平滑性,可以只保留中心位置的分割结果,将中心位置的分割结
果进行组合操作。即,为了获得边界平滑的待分割图像的纵膈区域的纵膈、动脉、静脉和背
景的第一分割结果,可以通过高斯平滑处理,对多个子分割结果进行组合操作,以获得边界
平滑的纵膈区域的纵膈、动脉、静脉和背景的第一分割结果。
[0062] 应当理解,最简单的组合操作可以是将多个切块图像直接拼接在一起,其简单快捷,但是会带来栅栏效应(即,由于网络模型在切块图像的边界附近表现不好,一致性较差,
当两个相邻切块图像对应的切割结果组合在一起时,会出现明显的组合痕迹)。由于网络模
型在切块图像的中心位置的分割结果更可信,表现更好,所以可以只保留切块图像靠近中
心位置的分割结果,例如,切块图像的尺寸为192*192*64,但是可以只保留中心位置附近的
尺寸为160*160*48区域的分割结果。为了进一步缓解栅栏效应,使得网络模型的分割结果
更加平滑,可以在直接拼接的组合操作的基础上,修改切块的步长,将两个160*160*48区域
的分割结果的重叠区域求均值,但该组合操作的缺点在于没有使用前面的先验假设,因此,
可以采用高斯平滑处理的组合操作来克服这一缺点,从而使得分割结果的精确度更高。
[0063] 可以采用高斯函数,以切块图像的中心位置作为高斯核的均值,利用高斯加权的方式来进行平滑,这样,正好契合网络模型在切块图像的中心位置的置信度高的先验知识,
可以更好的平滑经过组合操作所得到的第一分割结果。
[0064] 但是需要说明的是,本申请实施例并不限定高斯平滑处理所采用的函数,可以采用高斯函数,也可以采用其他钟形函数。
[0065] 在一实施例中,为了去掉一些体外假阳和使组合在一起的各切块图像之间的交界处表现的一致,可以通过连通域算法,对组合后的分割结果进行后处理,以获得第一分割结
果。但是本申请实施例并不限定后处理的具体实施手段,只要能够将假阳和交界处表现不
一致的点去除即可。
[0066] 在一个实施例中,通过连通域算法,对组合后的分割结果进行后处理,以获得第一分割结果,包括:通过连通域算法,获取组合后的分割结果中的静脉最大连通域和动脉最大
连通域;根据静脉最大连通域和动脉最大连通域,去除组合后的分割结果中的噪点,以获得
第一分割结果,其中,噪点包括同时为动脉和静脉的点以及假阳点。
[0067] 首先,对组合后的分割结果进行连通域处理,以获得最大连通域,该最大连通域包括动脉最大连通域和静脉最大连通域。其次,去除组合后的分割结果中的动脉最大连通域
和静脉最大连通域,以获得组合后的分割结果中的噪点。最后,从组合后的分割结果中去除
该噪点,可以获得第一分割结果。这样所得到的第一分割结果中就不包含同时为动脉和静
脉的点或者假阳点等不符合要求的点。
[0068] 该噪点可以包括同时为动脉和静脉的点以及假阳点,本申请实施例对此并不作具体限定,噪点还可以为其他不符合要求的点。
[0069] S330:将待分割图像输入分割模型。
[0070] 为了对待分割图像进行分割,可以将待分割图像输入到用于获得外延区域的血管和背景的第二分割结果的分割模型中进行分割。
[0071] 本申请实施例对分割模型的具体类型不作限定,该分割模型可以由任意类型的神经网络构成。可选地,该分割模型可以为卷积神经网络(Convolutional Neural Network,
CNN)、深度神经网络(Deep Neural Network,DNN)或循环神经网络(Recurrent Neural 
Network,RNN)等。该分割模型可以包括输入层、卷积层、池化层、连接层等神经网络层,本申
请实施例对此不作具体限定。另外,本申请实施例对每一种神经网络层的个数也不作限定。
[0072] S340:根据待分割图像,通过分割模型,获取外延区域的血管与背景的第二分割结果。
[0073] 将待分割图像直接输入到分割模型中,以获得待分割图像的外延区域的血管和背景的第二分割结果。通过将待分割图像输入到该分割模型中进行分割,可以使得待分割图
像的外延区域的血管和背景的第二分割结果更加准确。
[0074] 分割模型可以将待分割图像的外延区域的血管与背景分割开来,但是并不对血管进行分类,即,不区分血管是动脉还是静脉,只要可以将血管和背景分割开来即可。
[0075] 例如,针对肺部医学图像,外延区域是指肺内区域,由于血管在肺内区域比较容易识别,因此,分割模型可以采用一些轻量化的模型结构。在一实施例中,该分割模型可以为
2D分割模型,但是本申请实施例对此并不作具体限定,本领域技术人员可以根据实际应用
需求来设计网络模型的具体类型。同时,本申请实施例也并不具体限定分割模型的具体模
型结构,本领域技术人员可以根据实际应用需求来设计分割模型的具体模型结构,例如,分
割模型可以由Resnet18和特征金字塔网络构成。
[0076] 综上,通过利用网络模型对纵膈区域的尺寸较大的血管进行分割,再利用分割模型对外延区域的尺寸较小的血管进行分割,可以避免仅使用单个模型对尺寸较大的血管和
尺寸较小的血管进行分割时的分割效果和分割性能不平衡的缺点。
[0077] 例如,如果使用单个3D网络模型对纵膈区域的血管和外延区域的血管进行分割,包含纵膈的切块图像的尺寸大小与外延区域的动脉和静脉的分类正确性具有关联性。具体
地,切块图像的CT物理分辨率(即,Pixelspacing分辨率,Pixelspacing分辨率越高对现实
物理世界还原度越高,Pixelspacing分辨率越低对现实物理空间还原度越低)会影响到外
延区域的尺寸较小的血管的分割,即,切块图像的CT物理分辨率越高,越有助于外延区域的
尺寸较小的血管的分割。在理论上,切块图像的物理体积越大,其CT物理分辨率越大,3D网
络模型对尺寸较小的血管的分割以及对动脉和静脉的分类的表现就会越好。然而,在切块
图像的尺寸大小不变的情况下,物理体积和CT物理分辨率成反比的关系,如果想同时提高
物理体积和CT物理分辨率,即,提高3D网络模型对尺寸较小的血管的分割以及对动脉和静
脉的分类的准确性,就需要增大切块图像的尺寸大小。例如,在切块图像的物理体积不变的
情况下,假设将切块图像的CT物理分辨率放缩0.5,切块图像的每个边会放大2倍,这样,切
块图像的尺寸大小和3D网络模型的大小都会放大到原来的8倍。也就是说,此时如果提高切
块图像的物理体积的话,切块图像的尺寸大小的增长就需要超过原来的8倍,这显然会增加
训练3D分割网络模型时所需要的显存,从而导致3D网络模型对待分割图像的分割效率。
[0078] 因此,为了避免上述提到的矛盾,采用两个模型来分别进行不同的分割,即,2D分割模型负责对外延区域的尺寸较小的血管的分割精度,而3D网络模型负责纵膈区域的尺寸
较大的血管的分类和分割的正确性。这样,可以降低切块图像的尺寸大小,即,可以简化3D
网络模型的分割任务;同时,也可以保证纵膈和靠近纵膈区域的血管的分割和分类的准确
性,即,只需要保证切块图像的物理体积足够大,就可以得到一个较好的纵膈和靠近纵膈区
域的血管的分割效果和分类效果。例如,将CT物理空间分辨率增大为原来的1.3倍,在获得
相同的纵膈和靠近纵膈区域的血管的分割效果和分类效果的情况下,显存缩减为原来的2
倍,从而提高了3D网络模型对待分割图像的分割效率。
[0079] S350:根据第一分割结果和第二分割结果,通过区域增长算法,得到待分割图像的纵膈、动脉、静脉和背景的分割结果。
[0080] 图4示出了区域增长的实现过程,如图4所示,在获得了第一分割结果和第二分割结果后,对第一分割结果和第二分割结果进行区域增长(RegionGrowth),可以将第一分割
结果和第二分割结果结合在一起,以得到待分割图像的纵膈、动脉、静脉和背景的分割结
果。为了使得RegionGrowth的速度达到要求,可以采取cuda实现。
[0081] 应当理解,区域生长算法是将具有相似性的像素集合起来构成最终的区域。首先对每个需要分割的区域找出一个种子像素作为生长的起点,然后将种子像素周围邻域中与
种子具有相同或相似性质的像素(根据事先确定的生长或相似准则来确定)合并到种子像
素所在的区域中。而新的像素继续作为种子向四周生长,直到再没有满足条件的像素可以
包括进来,一个最终的区域生长完成。
[0082] 在本申请另一实施例中,根据第一分割结果和第二分割结果,通过区域增长算法,得到待分割图像的纵膈、动脉、静脉和背景的分割结果,包括:以第一分割结果为起点,将第
一分割结果沿第二分割结果以预设血管生长长度进行区域增长,以获得待分割图像的纵
膈、动脉、静脉和背景的分割结果。
[0083] 由于第一分割结果对纵膈区域的动脉和静脉进行了分类,而第二分割结果对外延区域的血管并未进行动脉和静脉的分类,同时,由于第一分割结果和第二分割结果在纵膈
区域的血管会有重合,而在肺内区域的血管不重合,因此,可以将第一分割结果作为区域增
长的起点,而第二分割结果作为区域增长的轨道,通过区域增长算法,使得第一分割结果沿
着第二分割结果向外延区域进一步延伸,即,使第一分割结果沿着第二分割结果增长。
[0084] 由于动脉与静脉是两个完整的连通域,所以以确定的动脉和静脉作为起点,通过连通域的分析,可以将区域增长后的外延区域的动脉和静脉进行分类;同时,由于动脉与静
脉是两个完整的连通域,而第二分割结果中的假阳不会与这两个完整的连通域相结合,所
以通过区域增长,还可以去除第二分割结果中的假阳。
[0085] 由于区域增长算法是一种迭代式的算法,因此,可以在每一次迭代过程中,设置第一分割结果沿第二分割结果进行区域增长时的预设血管生长长度(例如,对于肺部医学图
像而言,预设血管生长长度为预设肺内血管生长长度)。在分割后图像的显示上,可以通过
调节每次迭代过程中的预设血管生长长度,来动态显示血管的粒度。这样可以避免医护人
员在查看分割后图像的VR时一些病灶被血管遮挡的情况,从而增加用户的使用体验。
[0086] 但是本申请实施例并不限定每一次迭代过程中的预设血管生长长度的具体取值,可以根据不同的应用需求进行选择。
[0087] 综上,通过将第一分割结果按照第二分割结果向外延区域进一步延伸,可以使动脉和静脉的分割任务拆解为三个子任务,采用两个模型来分别得到第一分割结果和第二分
割结果,可以降低任务的复杂度,进而可以采用一些简单模型结构来降低显存和加快预测
速度,以满足线上产品的实时性和资源调度的需求。
[0088] 图5是本申请一个实施例提供的模型的训练方法的流程示意图。图5所述的方法由计算设备(例如,服务器)来执行,但本申请实施例不以此为限。服务器可以是一台服务器,
或者由若干台服务器组成,或者是一个虚拟化平台,或者是一个云计算服务中心,本申请实
施例对此不作限定。如图5所示,该方法包括如下内容。
[0089] S510:确定样本图像,样本图像包括纵膈区域的纵膈、背景、动脉和静脉的第一标签以及外延区域的背景和血管的第二标签。
[0090] 该第一标签是指对样本图像的纵膈区域中的纵膈、背景、动脉和静脉进行标注所得到的标签;该第二标签是指对样本图像的外延区域中的背景和血管进行标注所得到的标
签,该第二标签中的血管不具体划分动脉和静脉。
[0091] 本实施例中提到的样本图像与上述实施例中的待分割图像属于同一种类型的图像。该样本图像经过了人工的标记,从而得到了第一标签和第二标签。
[0092] 但是,需要说明的是,本申请实施例并不限定样本图像的具体形式,可以是一个原始医学图像,也可以是经过预处理后的医学图像,还可以是原始医学图像的一部分。
[0093] 本实施例所提到的纵膈区域和外延区域与上述实施例中的纵膈区域和外延区域相同,具体细节在此不再赘述,请参见上述实施例。
[0094] S520:基于样本图像训练神经网络,以生成用于获得纵膈区域的纵膈、背景、动脉和静脉的第一分割结果的网络模型,其中,神经网络为3D神经网络。
[0095] 在一实施例中,将样本图像输入到神经网络中,对神经网络进行训练,以生成该网络模型。
[0096] 被训练的神经网络可以为任意类型的神经网络。可选地,被训练的神经网络可以为卷积神经网络(Convolutional Neural Network,CNN)、深度神经网络(Deep Neural 
Network,DNN)或循环神经网络(Recurrent Neural Network,RNN)等,本申请实施例对被训
练的神经网络的具体类型不作限定。被训练的神经网络可以包括输入层、卷积层、池化层、
连接层等神经网络层,本申请实施例对此不作具体限定。另外,本申请实施例对每一种神经
网络层的个数也不作限定。优选地,被训练的神经网络为3D神经网络。
[0097] S530:基于样本图像训练级联的神经网络,以生成用于获得外延区域的背景和血管的第二分割结果的分割模型,其中,级联的神经网络包括用于特征提取的第一神经网络
以及用于生成第二分割结果的第二神经网络。
[0098] 在一实施例中,将样本图像输入到级联的神经网络中,对级联的神经网络进行训练,以生成该分割模型。
[0099] 第一神经网络和第二神经网络可以为任意类型的神经网络。可选地,第一神经网络和第二神经网络可以为卷积神经网络(Convolutional Neural Network,CNN)、深度神经
网络(Deep Neural Network,DNN)或循环神经网络(Recurrent Neural Network,RNN)等,
本申请实施例对第一神经网络和第二神经网络的具体类型不作限定。第一神经网络和第二
神经网络可以包括输入层、卷积层、池化层、连接层等神经网络层,本申请实施例对此不作
具体限定。另外,本申请实施例对每一种神经网络层的个数也不作限定。
[0100] 该级联的神经网络包括用于特征提取的第一神经网络以及位于第一神经网络后的用于生成第二分割结果的第二神经网络。但是本申请实施例并不具体限定级联的神经网
络的具体结构,该级联的神经网络还可以包括其他的神经网络。
[0101] 本申请实施例并不限定训练网络模型和训练分割模型的先后顺序,可以先训练网络模型,也可以先训练分割模型,还可以同时训练网络模型和训练分割模型,只要可以得到
训练完成的网络模型和分割模型即可。
[0102] 在本申请另一实施例中,所述方法还包括:将样本图像的纵膈区域进行切块操作,获得多个切块图像,其中,多个切块图像中的每个切块图像均包括纵膈,其中,基于所述样
本图像训练神经网络,以生成用于获得纵膈区域的纵膈、背景、动脉和静脉的第一分割结果
的网络模型,包括:基于多个切块图像训练神经网络,以生成网络模型。
[0103] 本实施例所提到的切块操作与上述实施例中的切块操作相同,具体细节在此不再赘述,请参见上述实施例。
[0104] 在一实施例中,将多个切块图像分别输入到3D神经网络中,对3D神经网络进行训练,以生成该网络模型。但是本申请实施例并不限定3D神经网络的训练过程,只要能够形成
用于获得纵膈区域的纵膈、动脉、静脉和背景的第一分割结果的网络模型即可。
[0105] 例如,利用第一损失函数,计算3D神经网络输出的每个切块图像对应的第一分割结果和每个切块图像对应的第一标签(即,纵膈、背景、动脉和静脉的目标结果)之间的相似
度损失,可以得到3D神经网络的第一损失函数值。第一损失函数值越小,代表预测出的第一
分割结果越接近目标结果,预测正确的准确率越高。相反,第一损失函数值越大,代表预测
正确的准确率越低。将该第一损失函数值进行梯度反传,以更新该3D神经网络的参数,例如
权重,偏值等,本申请对此不做限定。
[0106] 在本申请另一实施例中,基于样本图像训练级联的神经网络,以生成用于获得外延区域的背景和血管的第二分割结果的分割模型,包括:通过第一神经网络,对样本图像进
行下采样操作,以获得多个第一特征图;通过第二神经网络,对多个第一特征图进行上采样
和融合操作,以获得第二特征图;利用分类器对第二特征图进行激活,以获得外延区域的背
景和血管的第二分割结果;根据第二分割结果和第二标签,获得级联的神经网络的损失函
数值;根据损失函数值,更新级联的神经网络的参数,其中,第一神经网络为深度残差网络,
第二神经网络为特征金字塔网络。
[0107] 图6示出了该级联的神经网络的训练过程的一个示例,具体如下。
[0108] 将样本图像输入到深度残差网络中,对其进行下采样操作,生成多个第一特征图,即,第一特征图1、第一特征图2、第一特征图3以及第一特征图4,但是本申请实施例对第一
特征图的个数不作具体限定,本申请实施例也并不限定下采样的倍数。
[0109] 再将多个第一特征图分别输入到特征金字塔网络中,对多个第一特征图进行上采样和融合操作,生成第二特征图。具体地,将第一特征图4输入到特征金字塔网络中,并对第
一特征图3进行降维后输入到特征金字塔网络中,使其与第一特征图4进行融合操作,以获
得融合后的特征图1;再将第一特征图2进行降维后输入特征金字塔网络中,使其与融合后
的特征图1进行融合操作,以获得融合后的特征图2;再对融合后的特征图2进行上采样操
作,以获得与样本图像尺寸相同的第二特征图;最后利用分类器对第二特征图进行激活,以
获得外延区域的背景和血管的第二分割结果。
[0110] 但是本申请实施例也并不限定上采样的倍数。图5所示的训练过程只是级联的神经网络的训练过程的一个示例,不用于限制本申请。
[0111] 在一实施例中,利用损失函数,计算第二分割结果与第二标签(即,背景与血管的目标结果)之间的相似度损失,可以得到级联的神经网络的损失函数值。损失函数值越小,
代表预测出的第二分割结果越接近目标结果,预测正确的准确率越高。相反,损失函数值越
大,代表预测正确的准确率越低。
[0112] 在一实施例中,将该级联的神经网络的损失函数值进行梯度反传,以更新该级联的神经网络的参数,例如权重,偏值等,本申请对此不做限定。
[0113] 在本申请另一实施例中,所述方法还包括:将第二标签中的血管所在区域进行最大池化操作,获得第二标签中的血管所在区域膨胀后的样本图像的目标区域,其中,根据第
二分割结果和第二标签,获得级联的神经网络的损失函数值,包括:根据目标区域对应的第
二分割结果和第二标签,获取级联的神经网络的损失函数值。
[0114] 在现有的分割网络中,正样本(动脉与静脉)的像素点数量远远小于负样本(背景)的像素点数量,在深度学习中,这种状况被称之为类不平衡。类不平衡会导致模型更加倾向
于学习数量大的样本,也就是负样本(背景)。
[0115] 为了缓解这一问题,可以通过最大值池化(max pooling)操作,将正样本所在的标记区域进行“膨胀”,如图7所示,左图为第二标签的原始标记结果,其中,带有白色标签的区
域为血管,其余黑色区域为背景;右图为经过“膨胀”后的标记结果,其中,整个白色区域为
带有白色标签的区域经膨胀后得到的目标区域,其包括左图中的带有白色标签的区域和与
该区域临近的黑色区域(即,背景)。这样,可以有效的降低正负样本不平衡问题,使得血管
分割的更加细致,同时,还可以加速分割模型的收敛。
[0116] 本实施例中,将第二标签中的血管所在区域(即,带有白色标签的区域)进行最大池化操作,可以获得第二标签中的血管所在区域经膨胀后的样本图像的目标区域(即,经过
“膨胀”后的目标区域)。该目标区域包括血管标签以及与血管标签临近的背景标签。
[0117] 利用损失函数,计算目标区域对应的第二分割结果与样本图像的第二标签之间的相似度损失,可以得到级联的神经网络的损失函数值。这样,可以只计算目标区域中的正负
样本的损失,即,只计算目标区域内的像素值的损失函数,这样可以有效的克服类不平衡问
题。
[0118] 示例性装置
[0119] 本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
[0120] 图8所示为本申请一个实施例提供的图像分割装置的框图。如图8所示,该装置800包括:
[0121] 第一分割模块810,配置为根据包括背景、纵膈、动脉和静脉的待分割图像,获取待分割图像的纵膈区域的纵膈、动脉、静脉和背景的第一分割结果;
[0122] 第二分割模块820,配置为根据待分割图像,获取待分割图像的外延区域的血管与背景的第二分割结果;
[0123] 获取模块830,配置为根据第一分割结果和第二分割结果,获取待分割图像的纵膈、动脉、静脉和背景的分割结果。
[0124] 在一个实施例中,所述装置800还包括:用于执行上述实施例提及的图像分割方法中的各个步骤的模块。
[0125] 图9所示为本申请一个实施例提供的模型的训练装置的框图。如图9所示,该装置900包括:
[0126] 确定模块910,配置为确定样本图像,样本图像包括纵膈区域的纵膈、背景、动脉和静脉的第一标签以及外延区域的背景和血管的第二标签;
[0127] 第一训练模块920,配置为基于样本图像训练神经网络,以生成用于获得纵膈区域的纵膈、背景、动脉和静脉的第一分割结果的网络模型,其中,所述神经网络为3D神经网络;
[0128] 第二训练模块930,配置为基于所述样本图像训练级联的神经网络,以生成用于获得外延区域的背景和血管的第二分割结果的分割模型,其中,级联的神经网络包括用于特
征提取的第一神经网络以及用于生成第二分割结果的第二神经网络。
[0129] 在一个实施例中,所述装置900还包括:用于执行上述实施例提及的网络模型的训练方法中的各个步骤的模块。
[0130] 示例性电子设备
[0131] 下面,参考图10来描述根据本申请实施例的电子设备。图10图示了根据本申请实施例的电子设备的框图。
[0132] 如图10所示,电子设备1000包括一个或多个处理器1010和存储器1020。
[0133] 处理器1010可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备1000中的其他组件以执行期望的功能。
[0134] 存储器1020可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存
储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性
存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以
存储一个或多个计算机程序指令,处理器1010可以运行所述程序指令,以实现上文所述的
本申请的各个实施例的图像分割方法、模型的训练方法以及/或者其他期望的功能。在所述
计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
[0135] 在一个示例中,电子设备1000还可以包括:输入装置1030和输出装置1040,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0136] 例如,该输入装置1030可以是上述的麦克风或麦克风阵列,用于捕捉声源的输入信号。在该电子设备是单机设备时,该输入装置1030可以是通信网络连接器。
[0137] 此外,该输入设备1030还可以包括例如键盘、鼠标等等。
[0138] 该输出装置1040可以向外部输出各种信息,包括确定出的征象类别信息等。该输出设备1040可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设
备等等。
[0139] 当然,为了简化,图10中仅示出了该电子设备1000中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备
1000还可以包括任何其他适当的组件。
[0140] 示例性计算机程序产品和计算机可读存储介质
[0141] 除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述
“示例性方法”部分中描述的根据本申请各种实施例的图像分割方法、模型的训练方法中的
步骤。
[0142] 所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如
Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程
序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软
件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备
或服务器上执行。
[0143] 此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方
法”部分中描述的根据本申请各种实施例的图像分割方法、模型的训练方法中的步骤。
[0144] 所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电
磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的
例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储
器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘
只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0145] 为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技
术人员将认识到其某些变型、修改、改变、添加和子组合。