一种基于解剖先验知识的头颈部危及器官的分割方法转让专利

申请号 : CN202011424075.4

文献号 : CN112419338B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 黄炳升蔡宗佑黄斌叶裕丰钟张楠吴绮婷何艳邹国荣陈汉威刘凌湘曾伟华

申请人 : 深圳大学

摘要 :

本申请公开了一种基于解剖先验知识的头颈部危及器官的分割方法,所述方法包括基于预设的模板图像以及该模板图像对应的OAR模板图像,确定待分割图像对应的OAR图像;基于所述OAR图像确定所述待分割图像对应的若干ROI区域;根据若干ROI区域确定所述待分割图像对应的分割图像。本申请利用头颈部OAR的解剖结构信息和上下文信息,可以快速、准确对头颈部OAR进行三维分割以得到分割图像,这样可以提高头颈部OAR的勾画速度,并减少医生在颈部OAR的勾画所花费的时间和精力。

权利要求 :

1.一种基于解剖先验知识的头颈部危及器官的分割方法,其特征在于,所述方法包括:基于预设的模板图像以及该模板图像对应的OAR模板图像,确定待分割图像对应的OAR图像;

基于所述OAR图像确定所述待分割图像对应的若干ROI区域;

根据若干ROI区域确定所述待分割图像对应的分割图像,其中,所述分割图像标注有各危及器官区域;

所述模板图像的确定过程包括:

获取若干头颈部图像;

对于每个头颈部图像,将若干头颈部图像中的除该头颈部图像外的各头颈部图像分别与该头颈部图像配准;

确定该头颈部图像与各配准后的头颈部图像的相似性,以得到该头颈部图像对应的相似度;

基于各头颈部图像各自对应的相似度确定模板图像,其中,所述模板图像包含于所述若干头颈部图像;

所述分割方法应用于经过训练的头颈部分割网络模型;所述头颈部分割网络模型包括配准网络模型;所述基于预设的模板图像以及该模板图像对应的OAR模板图像,确定待分割图像对应的OAR图像具体包括:所述配准网络模型基于所述模板图像以及待分割图像,确定待分割图像对应的形变场;

所述配准网络模型基于所述形变场以及所述OAR模板图像,确定所述待分割图像对应的OAR图像;

所述配准网络模型包括3个编码块、3个解码块和1个三维空间形变层,每个所述编码块后面都连接1个下采样层,每个所述解码块后都连接1个上采样层,所述三维空间形变层用于根据所述形变场中的偏移量计算每个体素点变换后的位置;

所述分割方法应用于经过训练的头颈部分割网络模型;所述头颈部分割网络模型包括ROI分割层;所述基于所述OAR图像确定所述待分割图像对应的若干ROI区域具体包括:所述ROI分割层根据预设的若干ROI类别,确定所述OAR图像对应的若干ROI重心,其中,若干ROI重心与若干ROI类别一一对应;

对于若干ROI类别中的每个ROI类别,所述ROI分割层根据该ROI类别对应的区域尺寸以及该ROI类别对应的ROI重心,确定该ROI类别对应的ROI区域,以得到若干ROI区域;

所述获取若干头颈部图像具体包括:获取若干候选头颈部图像;

对于每个候选头颈部图像,基于该候选头颈部图像的横断面积变化曲线确定所述候选头颈部图像中的头部区域,并将该头部区域作为头颈部图像,以得到若干头颈部图像;

所述配准网络模型为经过训练的网络模型,并且所述配准网络模型在训练过程中所采用的总损失包括MSE损失函数、Dice损失函数和重心距离损失函数;

所述分割方法应用于经过训练的头颈部分割网络模型;所述分割网络模型的输入项基于定位结果裁剪后的所述ROI图像;所述头颈部分割网络模型包括分割网络模型,所述根据若干ROI区域确定所述待分割图像对应的分割图像具体包括:对于每个ROI区域,所述分割网络模型获取该ROI区域的三维图像特征和二维横断面特征;

所述分割网络模型基于所述三维图像特征和二维横断面特征,确定该ROI区域对应的特征图;

所述分割网络模型基于所述特征图,确定该ROI区域对应的危及器官区域,以得到候选分割图像;

将所述候选分割图像与待分割图像输入分割网络模型,通过所述分割网络模型得到所述待分割图像对应的分割图像,其中,所述候选分割图像为作为上下文信息。

2.根据权利要求1或所述基于解剖先验知识的头颈部危及器官的分割方法,其特征在于,所述根据若干ROI区域确定所述待分割图像对应的分割图像之后,所述方法还包括:分别将所述分割图像中的视交叉和视神经以及OAR模板图像的视交叉和视神经进行重力方向投影,以得到分割图像对应的第一投影图像和OAR模板图像对应的第二投影图像;

以所述第一投影图像为配准图像,将所述第二投影图像与所述第二投影图像配准,并将配准后的第一投影图像;

基于配置后的第一投影图像对所述第二投影图像进行修正,以得到修正所述分割图像。

3.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1‑2任意一项所述的基于解剖先验知识的头颈部危及器官的分割方法中的步骤。

4.一种终端设备,其特征在于,包括:处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;

所述通信总线实现处理器和存储器之间的连接通信;

所述处理器执行所述计算机可读程序时实现如权利要求1‑2任意一项所述的基于解剖先验知识的头颈部危及器官的分割方法中的步骤。

说明书 :

一种基于解剖先验知识的头颈部危及器官的分割方法

技术领域

[0001] 本申请涉及CT技术领域,特别涉及一种基于解剖先验知识的头颈部危及器官的分割方法。

背景技术

[0002] 头颈部癌症是常见的癌症类型,每年发病人数超过50万,为全球人民的健康带来了威胁。头颈部癌症包括在鼻旁窦、鼻腔、口腔以及咽和喉中出现的上皮恶性肿瘤,这些上
皮恶性肿瘤几乎都是头颈部的鳞状细胞癌。由于头颈部癌症对放射线较敏感,所以放射治
疗是目前最有效的治疗手段。头颈部的重要器官较多,高剂量的放射线会损伤重要器官,导
致患者放疗后的生活质量降低。目前,临床上常用图像引导的放射治疗(image guided 
radiation therapy,IGRT)进行头颈部癌症的治疗,IGRT包括调强放射治疗和容积旋转调
强治疗。IGRT根据医生制定的放疗计划对靶区进行精确的放射线治疗,在对肿瘤进行高剂
量辐射的同时,尽可能减少重要器官所受到的辐射,能够很好地保护重要器官。
[0003] 但是,在采用图像引导的放射治疗的过程中,需要医生手动勾画OAR(organ‑at‑risk,危及器官)区域,这需要花费医生大量的时间,例如,一例患者的9种OAR大约需要20
~
30分钟。此外,不同的医生勾画同一个患者的OAR区域可以也可能存在差异,且长时间的连
续工作可能因疲劳导致勾画误差。

发明内容

[0004] 本申请要解决的技术问题在于,针对现有技术的不足,提供一种基于解剖先验知识的头颈部危及器官的分割方法。
[0005] 为了解决上述技术问题,本申请实施例第一方面提供了一种基于解剖先验知识的头颈部危及器官的分割方法,所述方法包括:
[0006] 基于预设的模板图像以及该模板图像对应的OAR模板图像,确定待分割图像对应的OAR图像;
[0007] 基于所述OAR图像确定所述待分割图像对应的若干ROI区域;
[0008] 根据若干ROI区域确定所述待分割图像对应的分割图像,其中,所述分割图像标注有各危及器官区域。
[0009] 所述基于解剖先验知识的头颈部危及器官的分割方法,其中,所述模板图像的确定过程包括:
[0010] 获取若干头颈部图像;
[0011] 对于每个头颈部图像,将若干头颈部图像中的除该头颈部图像外的各头颈部图像分别与该头颈部图像配准;
[0012] 确定该头颈部图像与各配准后的头颈部图像的相似性,以得到该头颈部图像对应的相似度;
[0013] 基于各头颈部图像各自对应的相似度确定模板图像,其中,所述模板图像包含于所述若干头颈部图像。
[0014] 所述基于解剖先验知识的头颈部危及器官的分割方法,其中,所述获取若干头颈部图像具体包括:
[0015] 获取若干候选头颈部图像;
[0016] 对于每个候选头颈部图像,基于该候选头颈部图像的横断面积变化曲线确定所述候选头颈部图像中的头部区域,并将该头部区域作为头颈部图像,以得到若干头颈部图像。
[0017] 所述基于解剖先验知识的头颈部危及器官的分割方法,其中,所述分割方法应用于经过训练的头颈部分割网络模型;所述头颈部分割网络模型包括配准网络模型;所述基
于预设的模板图像以及该模板图像对应的OAR模板图像,确定待分割图像对应的OAR图像具
体包括:
[0018] 所述配准网络模型基于所述模板图像以及待分割图像,确定待分割图像对应的形变场;
[0019] 所述配准网络模型基于所述形变场以及所述OAR模板图像,确定所述待分割图像对应的OAR图像。
[0020] 所述基于解剖先验知识的头颈部危及器官的分割方法,其中,所述配准网络模型为经过训练的网络模型,并且所述配准网络模型在训练过程中所采用的总损失包括MSE损
失函数、Dice损失函数和重心距离损失函数。
[0021] 所述基于解剖先验知识的头颈部危及器官的分割方法,其中,所述分割方法应用于经过训练的头颈部分割网络模型;所述头颈部分割网络模型包括ROI分割层;所述基于所
述OAR图像确定所述待分割图像对应的若干ROI区域具体包括:
[0022] 所述ROI分割层根据预设的若干ROI类别,确定所述OAR图像对应的若干ROI重心,其中,若干ROI重心与若干ROI类别一一对应;
[0023] 对于若干ROI类别中的每个ROI类别,所述ROI分割层根据该ROI类别对应的区域尺寸以及该ROI类别对应的ROI重心,确定该ROI类别对应的ROI区域,以得到若干ROI区域。
[0024] 所述基于解剖先验知识的头颈部危及器官的分割方法,其中,所述分割方法应用于经过训练的头颈部分割网络模型;所述头颈部分割网络模型包括分割网络模型,所述根
据若干ROI区域确定所述待分割图像对应的分割图像具体包括:
[0025] 对于每个ROI区域,所述分割网络模型获取该ROI区域的三维图像特征和二维横断面特征;
[0026] 所述分割网络模型基于所述三维图像特征和二维横断面特征,确定该ROI区域对应的特征图;
[0027] 所述分割网络模型基于所述特征图,确定该ROI区域对应的危及器官区域,以得到候选分割图像;
[0028] 将所述候选分割图像与待分割图像输入分割网络模型,通过所述分割网络模型得到所述待分割图像对应的分割图像,其中,所述候选分割图像为作为上下文信息。
[0029] 所述基于解剖先验知识的头颈部危及器官的分割方法,其中,所述根据若干ROI区域确定所述待分割图像对应的分割图像之后,所述方法还包括:
[0030] 分别将所述分割图像中的视交叉和视神经以及OAR模板图像的视交叉和视神经进行重力方向投影,以得到分割图像对应的第一投影图像和OAR模板图像对应的第二投影图
像;
[0031] 以所述第一投影图像为配准图像,将所述第二投影图像与所述第二投影图像配准,并将配准后的第一投影图像;
[0032] 基于配置后的第一投影图像对所述第二投影图像进行修正,以得到修正所述分割图像。
[0033] 本申请实施例第二方面提提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以
实现如上任一所述的基于解剖先验知识的头颈部危及器官的分割方法中的步骤。
[0034] 本申请实施例第三方面提提供了一种终端设备,其包括:处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
[0035] 所述通信总线实现处理器和存储器之间的连接通信;
[0036] 所述处理器执行所述计算机可读程序时实现如上任一所述的基于解剖先验知识的头颈部危及器官的分割方法中的步骤。
[0037] 有益效果:与现有技术相比,本申请提供了一种基于解剖先验知识的头颈部危及器官的分割方法,所述方法包括基于预设的模板图像以及该模板图像对应的OAR模板图像,
确定待分割图像对应的OAR图像;基于所述OAR图像确定所述待分割图像对应的若干ROI区
域;根据若干ROI区域确定所述待分割图像对应的分割图像。本申请利用头颈部OAR的解剖
结构信息和上下文信息,基于轻量化的网络模型,可以快速、准确对头颈部OAR进行三维分
割以得到分割图像,这样可以提高头颈部OAR的勾画速度,并减少医生在颈部OAR的勾画所
花费的时间和精力。

附图说明

[0038] 为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于
本领域普通技术人员而言,在不符创造性劳动的前提下,还可以根据这些附图获得其他的
附图。
[0039] 图1为本申请提供的基于解剖先验知识的头颈部危及器官的分割方法的流程图。
[0040] 图2为本申请提供的基于解剖先验知识的头颈部危及器官的分割方法的流程示例图。
[0041] 图3为本申请提供的基于解剖先验知识的头颈部危及器官的分割方法的原理示例图。
[0042] 图4为本申请提供的基于解剖先验知识的头颈部危及器官的分割方法中的带有标注的CT图像的一个示例图。
[0043] 图5为图4对应的三维标注示例图。
[0044] 图6为本申请提供的基于解剖先验知识的头颈部危及器官的分割方法中的带有标注的CT图像的一个示例图。
[0045] 图7为图6对应的三维标注示例图。
[0046] 图8为本申请提供的基于解剖先验知识的头颈部危及器官的分割方法中的头颈部图像的选取过程的流程示意图。
[0047] 图9为本申请提供的基于解剖先验知识的头颈部危及器官的分割方法中的配准网络模型的原理示意图。
[0048] 图10为本申请提供的基于解剖先验知识的头颈部危及器官的分割方法中的重心、边框和距离的关系的一个示例图。
[0049] 图11为本申请提供的基于解剖先验知识的头颈部危及器官的分割方法中的重心、边框和距离的关系的一个示例图。
[0050] 图12为本申请提供的基于解剖先验知识的头颈部危及器官的分割方法中的重心、边框和距离的关系的一个示例图。
[0051] 图13为本申请提供的基于解剖先验知识的头颈部危及器官的分割方法中的重心与边框距离的示例图。
[0052] 图14为本申请提供的基于解剖先验知识的头颈部危及器官的分割方法中的分割网络模型的原理示意图。
[0053] 图15为本申请提供的基于解剖先验知识的头颈部危及器官的分割方法中的分割图像修改过程的流程示例图。
[0054] 图16为本申请提供的终端设备的结构原理图。

具体实施方式

[0055] 本申请提供一种基于解剖先验知识的头颈部危及器官的分割方法,为使本申请的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本申请进一步详细说
明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
[0056] 本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措
辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加
一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元
件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在
中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措
辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
[0057] 本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该
理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的
意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义
来解释。
[0058] 发明人经过研究发现,头颈部癌症是常见的癌症类型,每年发病人数超过50万,为全球人民的健康带来了威胁。头颈部癌症包括在鼻旁窦、鼻腔、口腔以及咽和喉中出现的上
皮恶性肿瘤,这些上皮恶性肿瘤几乎都是头颈部的鳞状细胞癌。由于头颈部癌症对放射线
较敏感,所以放射治疗是目前最有效的治疗手段。头颈部的重要器官较多,高剂量的放射线
会损伤重要器官,导致患者放疗后的生活质量降低。目前,临床上常用图像引导的放射治疗
(image guided radiation therapy,IGRT)进行头颈部癌症的治疗,IGRT包括调强放射治
疗和容积旋转调强治疗。IGRT根据医生制定的放疗计划对靶区进行精确的放射线治疗,在
对肿瘤进行高剂量辐射的同时,尽可能减少重要器官所受到的辐射,能够很好地保护重要
器官。
[0059] 临床医生基于患者治疗前的计算机断层(computed tomography,CT)图像或磁共振(magnetic resonance,MR)图像制定放疗计划。放疗计划制定的关键步骤是勾画放疗靶
区。放疗靶区包括4个部分,分别为:大体肿瘤区(gross tumor volume,GTV)、危及器官
(organ‑at‑risk,OAR)、临床靶区(clinical target volume,CTV)和计划靶区(planning 
target volume,PTV)。其中,GTV为肿瘤病灶区,是需要进行高剂量放射以杀死肿瘤细胞的
区域;OAR为被保护的重要器官,需要尽可能减少该区域受到的放射剂量;CTV包括GTV以及
肿瘤可能侵犯的区域,是需要接受高剂量放射的区域;PTV为实际放疗的靶区,为了避免放
疗的实际摆位与计划摆位存在差异导致边缘的癌细胞未受到高剂量辐射或OAR暴露在高剂
量放射线下,物理师将CTV外扩3‑5mm作为PTV,如靠近OAR则只外扩1mm。
[0060] 为了勾画头颈部的OAR区域,已有研究者尝试应用各种图像处理方法来实现OAR的自动分割。目前普遍采用的方法包括传统图像处理方法、传统机器学习方法和深度学习方
法。下面从传统图像处理方法、传统机器学习方法和深度学习方法方面介绍头颈部OAR分割
的研究现状。
[0061] 1、基于传统图像处理方法的头颈部危及器官分割
[0062] 基于传统图像处理方法进行头颈部OAR分割的研究报道,主要基于头颈部CT图像,少数基于头颈部MR图像。已有研究者基于图谱法实现了头颈部OAR的分割。例如,Zhang等应
用基于图谱的方法实现了脑干、左右腮腺、下颌骨、脊髓和淋巴结的自动分割,在7个患者的
数据集中的平均Dice相关系数(Dice similarity coefficient,DSC)为0.8。Isambert等对
基于图谱法分割得到的头颈部OAR进行了评估,以判断该方法得到的OAR能否用于放射治疗
计划制定,作者在11个患者的T1加权MR图像上应用图谱法得到眼球、视神经、视交叉、腮腺、
脑干和小脑的自动分割图像,大体积结构的平均DSC超过0.8,小体积结构的平均DSC低于
0.41,分割一个患者的OAR需要约7‑8分钟。Commowick等利用图谱法实现了脑干、脊髓、下颌
骨和淋巴结的自动分割,平均误差、敏感度和特异度分别为0.25、0.82和0.86。Leavens等基
于图谱法实现了头颈部OAR自动分割,分割图像与金标准的均方差距离为9.5±0.6mm。Han
等提出了一种基于阶级式图谱配准的方法,实现了头颈部CT图像中7种组织和淋巴结的自
动分割,该方法的平均Dice系数为0.65,实现一个OAR的分割大约需要7分钟。Levendag等和
Sims等对基于图谱法得到的部分头颈部OAR的分割图像进行了评估,结果表明临床医生虽
然对下颌骨的分割图像表示认可,但是腮腺或脑干等软组织的分割性能仍需提高。
[0063] 单纯基于图谱法难以实现准确的OAR分割,所以有研究者尝试将图谱法与其他方法结合以进一步提高分割精度。Chen等结合图谱法和主动形状模型实现了头颈部CT图像的
淋巴结区域自动分割,该方法的平均DSC比单纯用图谱法高0.107。Voet等应用图谱法实现
了颈部腺体的分割。Qazi等结合形变配准模型和形状统计表达的方法,实现了部分OAR和淋
巴结的准确分割,10个患者的平均DSC为0.81,完成1例患者5种器官的分割大约需10分钟。
Fortunati等结合图割法和图谱法实现了11种OAR的自动分割,平均DSC为0.70。Fritscher
等结合多图谱法、统计学表示模型和测地线主动轮廓法实现了脑干和左右腮腺的自动分
割,在18个患者的留一验证中的平均DSC为0.836。Duc等将图谱法得到的6种OAR的自动分割
图像和临床医生勾画的结果进行对比,结果表明自动分割图像与临床医生勾画的结果的差
异不具有统计学意义。Wachinger等基于轮廓驱动的图谱法实现了腮腺的自动分割,平均
DSC约为0.82。Fortunati等在MR图像上利用位置权重融合的强度模型实现了头颈部OAR的
自动分割。Mannion‑Haworth等设计了一个主动外观模型,主动外观模型通过形变适应不同
的目标实现了OAR分割,该方法在2015年国际医学图像计算和计算机辅助介入大会
(International Conference on Medical Image Computing and Computer Assisted 
Intervention,MICCAI)的头颈部自动分割挑战数据集中的平均DSC为0.73。
[0064] 以上传统方法利用了分割目标的解剖结构信息,以图谱法为主,少部分应用了主动轮廓或图割法等。虽然传统方法很好地利用了先验知识且应用广泛,但是有较多限制:性
能很大程度上由图谱的构建质量和配准性能决定,构建图谱的数据质量差或者配准误差
大,都可能会导致分割图像不准确;因图谱是已固定的OAR,不能很好地解决不同患者的器
官差异;传统配准算法耗时较长,分割一个患者需要约7‑10分钟。
[0065] 2、基于传统机器学习的头颈部危及器官分割
[0066] 由于以图谱法为代表的传统方法过于依赖图谱的质量和配准性能,于是有研究者考虑采用基于机器学习的方法实现OAR的自动分割。Wang等提出了一种基于阶层顶点回归
的分割方法,应用了一个新的可学习机制来定位复杂的顶点,再用一个可迭代的随机森林
框架将顶点进行连接,实现了脑干、下颌骨和左右腮腺的自动分割。该方法将形状知识与学
习模型进行结合提高了算法的鲁棒性,平均DSC为0.89,但是需要的计算时间较长,完成一
个脑干的分割需时36分钟。Tam等基于方向直方图和医生勾画的金标准提取形状特征,并利
用多个输出的支持向量回归实现了OAR的自动分割,平均DSC为0.826,分割一个器官大约需
要2.75分钟。Wu等描述了自动器官识别(automatic anatomy recognition,AAR)的整个流
程,主要包括模型构建、目标识别和目标勾画三个步骤,作者在模型的构建中加入了边界关
系、纹理和强度作为特征,并在目标识别步骤中对先验的解剖信息进行编码,最后经过目标
勾画阶段实现了OAR的自动分割,其平均Dice系数约为0.80。Tong等应用层次模型进行目标
定位,实现了OAR的自动分割,该方法主要针对AAR中的目标识别进行了改进,作者在AAR中
引进了纹理和强度特征,利用最佳生成树实现层次的识别,以减少误差,该方法在298例患
者数据集中的位置误差小于4 mm。
[0067] 以上基于机器学习的方法相对于传统图谱法,能够更好地解决不同患者之间的差异,提高了分割性能。然而,基于机器学习的方法需要人工设计特征,特征泛化性较差,鲁棒
性甚至不如传统图谱法,同时基于机器学习的方法需要复杂的数据处理步骤,算法运算也
相对较长。
[0068] 3、基于深度学习的头颈部危及器官分割
[0069] 近年来深度学习在图像领域的优异表现吸引了许多研究者的注意,已有许多研究者基于深度学习方法实现了头颈部OAR的分割。Fritscher等基于伪三维的CNN实现了OAR的
自动分割,作者结合了横断面、矢状面和冠状面二维块的信息提高分割性能。该方法在2015
年MICCAI头颈部分割挑战赛数据集中的平均DSC为0.65。Ibragimov等基于CNN和马尔科夫
随机场提出了一种半自动的方法实现了OAR的分割,该方法首先手动定位各个器官的位置,
再基于各个器官的感兴趣区(region of interest,ROI)训练了13个CNN,实现了多个OAR的
分割,该方法的平均DSC大约为0.75,完成一例患者的分割大约需要4分钟。
[0070] 虽然以上方法能够实现较准确的OAR分割,但是对视神经、视交叉和垂体等小体积的软组织分割性能较差。Ren等针对体积较小的器官设计了一个交错式的级联三维CNN对小
器官进行自动分割,作者首先利用多图谱法定位出各个器官的ROI,再基于不同器官的ROI
训练多个交错式的CNN以避免类别不均衡问题,该方法在2015年MICCAI头颈部分割挑战赛
数据集中,视交叉和视神经的平均DSC分别为0.58和0.71。Hansch等对比了二维U‑Net、二维
集成U‑Net和三维U‑Net在头颈部CT图像上分割腮腺的性能,最终实验结果表明二维集成U‑
Net的分割图像最好,在2015年MICCAI头颈部分割挑战赛数据集中,腮腺分割的平均DSC为
0.86。Tong等结合CNN和形状表示模型,作者利用形状表示模型学习形状信息,再利用深度
CNN实现了OAR的自动分割,该方法在2015年MICCAI头颈部分割挑战赛数据集上的平均DSC
为0.77,完成一个患者的9种OAR分割需要约9.5秒。Liang等利用一个检测网络对各个器官
进行定位,再基于所检测的ROI实现了头颈部OAR的自动分割,该方法的平均DSC为0.86。
[0071] 以上方法大多基于二维图像或者将图像裁成多个小块进行分割,容易丢失三维层面的全局信息。为了使网络能够获得三维层面的全局信息,Zhu等应用了AnatomyNet实现了
OAR的分割,该网络能够直接输入整个三维CT图,为了提高小体积器官的分割性能,作者减
少了网络的下采样次数并设计了focal dice损失。该网络在2015年MICCAI头颈部分割挑战
赛公共数据集中的平均DSC为0.75,分割一个患者只需要0.12秒。
[0072] 以上研究主要是基于CNN的方法,从结果可以看出CNN方法对大体积的器官如下颌骨、腮腺、脑干等器官的分割性能已较好,但是小体积器官的分割性能仍有待提高。同时现
有技术中的基于深度学习技术所设计的方法都没有利用头颈部OAR自身的解剖先验知识,
解剖先验知识的缺少导致模型的可解释性降低,分割图像可能与正确的解剖结构差异较
大,导致临床医生对深度学习方法的可信度表示质疑。
[0073] 为了解决上述问题,在本申请实施例中,基于预设的模板图像以及该模板图像对应的OAR模板图像,确定待分割图像对应的OAR图像;基于所述OAR图像确定所述待分割图像
对应的若干ROI区域;根据若干ROI区域确定所述待分割图像对应的分割图像。本申请利用
头颈部OAR的解剖结构信息,可以快速、准确对头颈部OAR进行三维分割以得到分割图像,这
样可以提高头颈部OAR的勾画速度,并减少医生在颈部OAR的勾画所花费的时间和精力。
[0074] 下面结合附图,通过对实施例的描述,对申请内容作进一步说明。
[0075] 本实施例提供的一种基于解剖先验知识的头颈部危及器官的分割方法,所述方法可以由分割装置来执行,所述装置可以由软件实现,应用于诸如PC机、平板电脑或个人数字
助理等之类的智能终端上。参见图1、图2和图3所示,本实施例提供的基于解剖先验知识的
头颈部危及器官的分割方法具体包括:
[0076] S10、基于预设的模板图像以及该模板图像对应的OAR模板图像,确定待分割图像对应的OAR图像。
[0077] 具体地,所述待分割图像可以为通过配置有该基于解剖先验知识的头颈部危及器官的分割方法的终端设备采集得到,也可以是外部设备采集并发送给终端设备的,还可以
是存储于终端设备本地的。所述待分割图像为头颈部图像,例如,所述待分割图像为头颈部
CT图像。本实施例的应用场景可以为:通过CT设备采集患者的头颈部CT图像,并将采集到头
颈部CT图像发送给配置有该基于解剖先验知识的头颈部危及器官的分割方法的终端设备,
以得到该终端设备可以获取到待分割图像。
[0078] 所述模板图像与待分割图像相对应,当待分割图像为头颈部图像时,模板图像也为头颈部图像。例如,待分割图像为头颈部CT图像,模板图像也为头颈部CT图像。所述OAR模
板图像为所述模板图像对应的OAR金标图像,所述OAR模板图像中的图像内容与所述模板图
像的图像内容相同,所述OAR模板图像与所述模板图像的区别在于所述OAR模板图像中携带
有OAR区域的标注信息,例如,OAR模板图像中的标注有OAR区域框等。
[0079] 在本实施例的一个实现方式中,所述模板图像的确定过程包括:
[0080] A10、获取若干头颈部图像;
[0081] A20、对于每个头颈部图像,将若干头颈部图像中的除该头颈部图像外的各头颈部图像分别与该头颈部图像配准;
[0082] A30、确定该头颈部图像与各配准后的头颈部图像的相似性,以得到该头颈部图像对应的相似度;
[0083] A40、基于各头颈部图像各自对应的相似度确定模板图像,其中,所述模板图像包含于所述若干头颈部图像。
[0084] 具体地,在所述步骤A10中,所述若干头颈部图像中的每个头颈部图像对应一个头颈部癌症患者,并且各头颈部图像各自对应的头颈部癌症患者互不相同。例如,如图4和5所
示,若干头颈部图像来自广州市番禺区中心医院的95例鼻咽癌患者的95张头颈部CT图像,
其中,每张头颈部CT图像对应一个鼻咽癌患者,并且每张头颈部CT图像的成像视野均为从
3
胸部到头顶,若干头颈部CT图像中每张头颈部CT图像的分辨率均包含于0.85×0.85×3mm
3
到1.19×1.19×3mm之间。每张头颈部CT图像对应的OAR金标图像可以为临床医生手动勾
画的用于制定放疗计划的OAR,包括左右下颌骨、左右腮腺、垂体、左右颞叶、左右视神经、视
交叉、左右眼球、左右晶状体、脑干、脊髓、左右内耳、左右中耳以及左右颞下颌关节,共22种
器官。再如,如图6和图7所示,若干头颈部CT图像可以为2015年MICCAI的头颈部自动分割挑
战赛公共数据集,简称为MICCAI 2015数据集,该数据集包括48例头颈部CT图像,每张头颈
部CT图像的成像视野从胸部到头顶,若干头颈部CT图像中每张头颈部CT图像的分辨率均包
3 3
含于0.76×0.76×1.25mm到1.25×1.25×3mm之间。每张头颈部CT图像对应的OAR金标图
像可以为临床医生手动勾画,包括左右腮腺、视交叉、左右视神经、脑干、下颌骨和左右颌下
腺,共9种器官。
[0085] 在本实施例的一个实现方式中,由上述可知,若干头颈部图像的分辨率可能不相同,从而在确定模板图像之前需要对若干头颈部图像进行重采样,以使得若干头颈部图像
中的各头颈部图像的分辨率相同。在对若干头颈部图像进行重采样的过程具体可以包括:
获取各头颈部图像的分辨率,按照分辨率将若干头颈部图像进行分组,以得到若干头颈部
图像组,其中,若干头颈部图像组中的每组头颈部图像组中的各头颈部图像的分辨率相同;
获取各头颈部图像组包括的头颈部头像的数量,选取数量最大的头颈部图像组中的头颈部
图像的分辨率作为目标分辨率;将若干头颈部图像中的候选头颈部图像的分辨率重采样值
至该目标分辨率,其中,候选头颈部图像的分辨率与目标分辨率不相同,这样可以减少重采
样头颈部图像的数量。此外,在对头颈部图像进行重采样后,对头颈部图像对应的OAR金标
图像进行重采样,以使得OAR金标图像的分辨率与头颈部图像的分辨率相同。在本实施例的
一个具体实现方式中,头颈部图像可以采用三线性插值方法,而为了保证金标准不会出现0
和1以外的值,所以金标准采用最近邻插值。
[0086] 在本实施例的一个实现方式中,为了由于OAR区域集中在头部,从而可以提取头颈部图像中的头部区域,以减少算法运算量和冗余信息。相应的,如图8所示,所述获取若干头
颈部图像具体包括:
[0087] 获取若干候选头颈部图像;
[0088] 对于每个候选头颈部图像,基于该候选头颈部图像的横断面积变化曲线确定所述候选头颈部图像中的头部区域,并将该头部区域作为头颈部图像,以得到若干头颈部图像。
[0089] 具体地,所述横断面积变化曲线为头颈部图像的各横断面层中的对象区域的区域面积形成的曲线。由于头部与胸部有颈部连接,又因为颈部在横断面上的面积最小,由此,
可以在横断面积变化曲线中最小面积对应的横断面层以确定颈部位置,并选取颈部位置以
上的区域作为头部区域,以得到候选头颈部图像中的头部区域。在获取到头部区域后,将头
部区域作为头颈部图像,以得到若干头颈部图像。
[0090] 进一步,在所述步骤A20中,对于每个头颈部图像,若干头颈部图像中除该头颈部图像外的其余头颈部图像记为头颈部图像A,将该头颈部图像记为目标头颈部图像,以该目
标头颈部图像为基准,将每张头颈部图像A与该目标头颈部图像进行配准。可以理解的是,
假设若干头颈部图像的数量为P,那么对于每张头颈部图像,均会进行P‑1次配准,从而若干
头颈部图像会进行 次配准。此外,所述将每张头颈部图像A与该头颈部图像进行配
准的配准方法可以采用单模态配准算法,该单模态配准算法采用均方差(mean square 
error,MSE)作为代价函数,以规则的逐步梯度下降法作为优化器,学习率为1.0。在本实施
‑4
例中,为了减少配准时间,将最大迭代次数设置为30次,最小步长为1×10 ,变换方式采用
三维相似性变换。此外,在对头颈部图像进行配准后,需要对头颈部对应的OAR金标图像进
行配准,两例患者的CT图像经过配准算法得到形变场后,利用相同的形变场对OAR金标图像
进行配准,其中CT图像采用三线性插值,OAR金标图像采用最近邻插值。
[0091] 进一步,所述相似性用于反映目标头颈部图像与各头颈部图像A对应的配置后的头颈部图像的相似程度,所述相似度可以为各相似性的平均值。其中,所述相似性可以表示
为(1‑DSC)+0.5×MSE,相似性指标为非负数,越接近0说明两数据的相似程度越高,其中,
MSE(mean square error,均方差)的权重相对DSC(Dice similarity coefficient,平均
Dice相关系数)较低,主要原因是定位任务中器官的重叠程度更重要。此外,所述MSE为目标
头颈部图像与头颈部图像A对应的配置后的头颈部图像的MSE,DSC为基于配准后的OAR金标
图像计算头颈部图像A对应的配置后的头颈部图像与目标头颈部图像同一器官的DSC,其
中,目标头颈部图像和头颈部图像A对应的配置后的头颈部图像均为经过Z变换标准化后的
图像,两患者数据间的DSC越高,MSE越低,说明配准效果越好。
[0092] 进一步,在所述步骤A40中,所述模板图像包含于所述若干头颈部图像,并且所述模板图像为所述若干头颈部图像中相似度最小的头颈部图像,并且该头颈部图像的OAR金
标图像为OAR模板图像。
[0093] 在本实施例的一个实现方式中,所述分割方法应用于经过训练的头颈部分割网络模型;如图9所示,所述头颈部分割网络模型包括配准网络模型;所述基于预设的模板图像
以及该模板图像对应的OAR模板图像,确定待分割图像对应的OAR图像具体包括:
[0094] 所述配准网络模型基于所述模板图像以及待分割图像,确定待分割图像对应的形变场;
[0095] 所述配准网络模型基于所述形变场以及所述OAR模板图像,确定所述待分割图像对应的OAR图像。
[0096] 具体地,所述配准网络模型3个编码块、3个解码块和1个三维空间形变层,每个编码块后面都连接1个下采样层,每个解码块后都连接1个上采样层。编码块的主要功能是对
输入图像提取特征以及降低图像分辨率,编码块包括2个卷积核为3×3×3的三维卷积块,1
个卷积核为1×1×1的三维卷积层,1个压缩和激励块(squeeze and excitation,SE)构成。
其中,三维卷积块包含1个3×3×3的卷积核,1个可切换归一化层(switchable 
normalization,SN)和1个带泄露线性激活单元(leaky rectified linear unit,leaky 
ReLU)层,卷积过程中会在图像周边进行零填充以保证卷积前后的特征图大小不变。SN层能
够自适应的根据数据特征调整归一化的方式,通常SN层会自动分配批归一化、实例归一化
(instance normalization,IN)的归一化权重。在本实施例中,SN层只分配IN和层归一化的
权重。leaky ReLU激活层能够避免特征图中的负数导致梯度消失,有助于网络收敛。SE块能
够降低冗余特征的权重,导致有效特征的权重相对增加。所述编码块的工作过程可以为:特
征图被输入编码块后,首先经过两层三维卷积块进行特征提取,再通过SE块给不同的通道
的特征图赋予不同的权重,并利用残差连接将新产生的特征图与输入的特征图相加,最后
经过1个卷积核为1×1×1的三维卷积层增加特征维度,并输出新的特征图。
[0097] 所述解码块用于对特征进行降维,并通过上采样放大特征图,最后一个解码块的输出的图像尺寸与最前的编码块的输入项的图像尺寸相同,以实现点到点的配准。所述解
码块可以包括1个卷积核为3×3×3的三维卷积块和1个卷积核为1×1×1的三维卷积层。解
码块输入的特征图结合了高低层次的特征,是前一层特征图与编码块相应大小的特征图在
通道维级联而成的,特征图经过简单的三维卷积块和残差连接结构后,直接通过1×1×1的
三维卷积层进行特征降维,最后输出新的特征图。
[0098] 在本实施例中,所述配准网络模型的输入项包括三通道的待分割图像、三通道的模板图像以及N通道的OAR模板图像,其中,N为待分割图像需要定位的OAR种类。待分割图像
的三个通道的窗宽窗位互不相同,第一个通道为原始窗宽窗位,第二个通道突出骨骼信息
(窗宽1500HU,窗位300HU),第三个通道突出软组织信息(窗宽500HU,窗位50HU),并且待分
割图像的标准化方式为分通道的Z变换。此外,模板图像的三个通道的窗宽窗与待分割图像
的三个通道的窗宽窗位相匹配。
[0099] 进一步,在将三通道的待分割图像、三通道的模板图像以及N通道的OAR模板图像输入配准网络模型后,配准网络模型将三通道的待分割图像和三通道的模板图像在通道维
度级联,构成六通道的输入图像,输入图像经过1个分组卷积(其中,分组卷积的组数设置为
2)输出2个特征图,分组卷积能够使卷积核在提取特征时能够分别提取目标图像的特征和
模板图像的特征。分组卷积的输出项将作为最前的编码块的输入项依次通过三个编码块和
三个下采样层,经过三个编码块和三次下采样后特征图再经过卷积块得到编码特征图;编
码特征图经过三个解码块和三次上采样,得到图像尺寸与输入图像的图像尺寸相同,以实
现体素点级别的精确配准。
[0100] 在本实施例的一个实现方式中,下采样层采用最大值池化,上采样为三线性插值,采用该上下采样方式能够在保证模型性能的同时,减少网络计算量和显存占用。编码块与
解码块采用跳跃连接,有助于梯度的传递,以及高低层次特征的融合。此外,最后的解码块
输出的特征图经过1×1×1的卷积层,将通道数降维至3以得到形变场,其中,3个通道分别
代表x、y、z三个坐标轴的坐标偏移量。
[0101] 在本实施例的一个实现方式中,三维空间形变层将根据形变场中的偏移量计算每个体素点变换后的位置,形变场与形变图像的关系如下公式所示:
[0102]
[0103] 其中,P为形变图像,x’,y’,z’是变换后的坐标点,能够通过变换前的坐标x,y,z加上形变场中相应的偏移量得到;D为形变场,c为形变场矩阵的通道数,不同坐标轴的偏移量
体现在形变场的不同通道上。
[0104] 在本实施例的一个实现方式中,所述配准网络模型为经过训练的网络模型,并且所述配准网络模型在训练过程中所采用的总损失包括MSE损失函数、Dice损失函数和重心
距离损失函数。其中,MSE损失能够保证整体配准效果;Dice损失使网络能够针对不同器官
进行准确的配准;重心距离损失是配准后OAR重心与金标准OAR重心的距离,该损失能够保
证OAR器官不会偏离正确的位置,有助于提高OAR的定位准确度。
[0105] 损失函数可以通过对MSE损失函数、Dice损失函数和重心距离损失函数进行加权求和等。在本实施例中,由于OAR的定位准确度最为关键,需要配准后的模板OAR和目标OAR
重叠度较高,所以Dice损失权重设置为1;整体配准性能的重要性相对较低,所以MSE损失仅
作为辅助损失,权重设置为0.5;重心距离损失因本身数值较大的原因,权重设置为0.1。所
述MSE损失函数、Dice损失函数、重心距离损失函以及所述配准网络模型在训练过程中所采
用的总损失分别可以表示为:
[0106]
[0107]
[0108]
[0109]
[0110] 其中,predict表示配准网络模型输出的配准后的模板图像;label表示待分割图像;C代表图像通道数;S代表图像体素总数;predict_OAR表示配准网络模型输出的OAR模板
图像;label_OAR表示待分割图像对应的OAR金标图像;predict_center表示配准网络模型
输出的OAR模板图像的重心;label_center表示待分割图像对应的OAR金标图像的重心;N表
示需要定位的器官的种类数;epsilon设置为1×10‑7,防止除零错误。
[0111] S20、基于所述OAR图像确定所述待分割图像对应的若干ROI区域。
[0112] 具体地,所述若干ROI区域中的每个ROI区域对应一个ROI类别,并且各ROI区域各自对应的ROI类别互不相同。其中,若干ROI类别为预先确定,所述若干ROI类别为根据器官
的位置与器官间的相关程度确定。在本实施例中,若干ROI类别包括8个类别,8个类别中的
一个类别为下颌骨区域类别,下颌骨区域类别包括下颌骨和颞下颌关节,这是由于下颌骨
与颞下颌关节紧密相连;8个类别中的一个类别为神经垂体区域类别,神经垂体区域类别包
括左右视神经、视交叉和垂体,这样由于这些器官都为软组织,体积较小,且都处于一个邻
近的区域;8个类别中的一个类别为眼球区域类别,眼球区域类别包括眼球和晶状体,这是
由于晶状体在眼球的边缘;8个类别中的一个类别为耳区类别,耳区类别包括中耳和内耳;8
个类别中的一个类别为颞叶类别;8个类别中的一个类别为腮腺类别;8个类别中的一个类
别为脑干类别;8个类别中的一个类别为颌下腺类别,这样由于颞叶、腮腺、脑干以及颌下腺
的位置相对其他器官独立且体积较大,所以分别独自作为一个ROI类别。
[0113] 在实施例的一个实现方式中,如图3所示,所述分割方法应用于经过训练的头颈部分割网络模型;所述头颈部分割网络模型包括ROI分割层;所述基于所述OAR图像确定所述
待分割图像对应的若干ROI区域具体包括:
[0114] 所述ROI分割层根据预设的若干ROI类别,确定所述OAR图像对应的若干ROI重心,其中,若干ROI重心与若干ROI类别一一对应;
[0115] 对于若干ROI类别中的每个ROI类别,所述ROI分割层根据该ROI类别对应的区域尺寸以及该ROI类别对应的ROI重心,确定该ROI类别对应的ROI区域,以得到若干ROI区域。
[0116] 具体地,所述若干ROI重心中的每个ROI重心均为其对应的ROI类别所包括的所有器官的重心。所述区域尺寸为预先设置的ROI重心到其对应的ROI区域的区域边框的距离,
其中,ROI区域的区域边框为长方体形状。例如,耳区类别对应的ROR重心为耳和内耳的共同
重心,耳区类别对应的ROI区域的区域边框能够同时包含中耳和内耳两种器官。
[0117] 在本实施例的一个实现方式中,如图10‑12所示,所述ROI类别对应的区域尺寸的确定过程可以为:获取若干头颈部图像,对于每个头颈部图像,确定该ROI类别包括的所有
器官的共同重心,并确定包含所有器官的边界框的x、y和z坐标,在确定共同重心与边界框
后,计算共同重心在x、y、z三个坐标轴方向上到边界框的距离(例如,如图13所示,可以得到
6个数值‑x,+x,‑y,+y,‑z,+z),根据该距离确定该ROI类别在该头颈部图像中的候选ROI区
域尺寸,以得到该ROI类别在各头颈部图像中的候选ROI区域尺寸。在获取到该ROI类别在各
头颈部图像中的候选ROI区域尺寸后,分别计算该ROI类别在各头颈部图像中的候选ROI区
域尺寸中的‑x,+x,‑y,+y,‑z以及+z的平均值和标准差,以确定该ROI类别对应的ROI区域尺
寸,其计算公式可以为:
[0118]
[0119] 其中,D(x,y,z)表示重心至边界框在x、y、z方向上的距离,R(x,y,z)表示确定的ROI重心至边界框在x、y、z方向上的距离(即,ROI区域尺寸),mean表示均值,std表示标准
差。这样将ROI进行了外扩,可以使得ROI的大小能够包括器官的周边信息用于分割,以及避
免不同患者OAR的误差。
[0120] S30、根据若干ROI区域确定所述待分割图像对应的分割图像,其中,所述分割图像标注有各危及器官区域。
[0121] 具体地,所述分割图像的图像内容与待分割图像相同,所述分割图像与所述待分割图像的区别在于所述分割图像中携带有OAR区域的标注信息,其中,所述OAR区域的标注
信息指的OAR区域包括的各器官各自对应的标注信息,例如,分割图像中的标注有OAR区域
包括的各器官各自对应的标注框等。
[0122] 在本实施例的一个实现方式中,如图14所示,所述分割方法应用于经过训练的头颈部分割网络模型;所述头颈部分割网络模型包括分割网络模型,所述根据若干ROI区域确
定所述待分割图像对应的分割图像具体包括:
[0123] 对于每个ROI区域,所述分割网络模型获取该ROI区域的三维图像特征和二维横断面特征;
[0124] 所述分割网络模型基于所述三维图像特征和二维横断面特征,确定该ROI区域对应的特征图;
[0125] 所述分割网络模型基于所述特征图,确定该ROI区域对应的危及器官区域,以得到候选分割图像;
[0126] 将所述候选分割图像与待分割图像输入分割网络模型,通过所述分割网络模型得到所述待分割图像对应的分割图像,其中,所述候选分割图像为作为上下文信息
[0127] 具体地,所述分割网络模型包括编码阶段和解码阶段,其中,编码阶段包括9个编码块,解码阶段包括4个解码块。分割网络模型的编码块的模型结构与配准网络模型的编码
块的模型结构基本相同,分割网络模型的解码块的模型结构与配准网络模型的解码块的模
型结构基础相同,所述分割网络模型的编码块与配准网络模型的编码块的区别在于以下几
点;
[0128] 第一点:分割网络模型的编码块和分割网络模型的解码块中用于提取特征的卷积核均包括3×3×3的卷积和3×3×1的卷积核,3×3×3的卷积和3×3×1的卷积核并行,3×
3×3的卷积用于提取三维图像特征,3×3×1的卷积核用于针对图像的二维横断面提取二
维横断面特征,卷积过程同样在图像周围进行零填充以保证卷积前和卷积后的特征图大小
不变,在获取到三维图像特征和二维横断面特征后,将三维图像特征和二维横断面特征相
加得到该ROI区域对应的特征图。
[0129] 第二点:分割网络模型仅设置一个下采样层一个上,因为下采样层的减少能够提高小器官的分割精度。下采样和上采样分别为三维最大值池化和三线性插值,有助于减少
显存的占用,且能够保证分割的精度。分割网络模型中的跳跃连接能够在解码阶段利用编
码阶段的高分辨率信息,有利于提高分割精度,同时有助于避免梯度消失。由于该分割网络
需要对多种不同大小的ROI分割多种器官,不同类别的ROI所包含的器官类别也不同,又因
为所设计网络参数量较少,直接用单个网络实现多种器官的分割性能较差。为了提高网络
分割多类器官的分割精度,在网络中增加了一个ROI分类支路,对输入的ROI进行分类,以提
高不同ROI间的特征辨识度,使网络能够根据ROI所包含的内容针对性地分割相应的器官。
此外,将编码结构的最后一层经过一个全局平均池化、全连接层和Softmax激活函数输出相
应器官的分类结果,对ROI区域的类别进行分类。
[0130] 分割网络模型的输入项是基于定位结果裁剪后的ROI图像,且为三通道的三维图像,分别包括原始窗宽窗位图像、突出骨骼信息的图像和突出软组织信息的图像。该输入方
式使网络能够结合不同的图像信息进行OAR分割。网络对输入进行了编码解码操作后,经过
Sigmoid激活函数输出N通道的分割概率图,通道数N根据分割器官类别决定。同时,网络根
据编码层最后一层的特征输出分类结果,进行ROI区域的分类。训练中,分割任务的损失函
数为Dice损失函数,相对于交叉熵损失,Dice损失对器官大小不敏感,不会因器官太小而导
致损失较小,有助于提高小器官的分割精度。分类支路的损失函数采用经典分类任务常用
的交叉熵损失。
[0131] 在本实施例中,为了避免配准阶段的产生的偏差,同时进一步提高分割精度,在分割阶段将候选分割图像作为上下文信息。这种利用上下文信息的方式与马尔科夫过程相
似,将分割网络的分割图像作为当前状态,将分割图像以额外通道与原图同时输入分割网
络,得到一个新的分割图像,新的分割图像再作为当前状态与原图再次输入分割网络。在此
过程中,新的分割图像将作为新的配准结果,以减少定位偏差。通过此过程,分割图像能够
修正配准定位的结果,同时给网络提供上下文信息以提高分割精度,且不会增加网络的数
量以及网络的参数量。
[0132] 在本实施例的一个实现方式中,如图15所示,所述根据若干ROI区域确定所述待分割图像对应的分割图像之后,所述方法还包括:
[0133] 分别将所述分割图像中的视交叉和视神经以及OAR模板图像的视交叉和视神经进行重力方向投影,以得到分割图像对应的第一投影图像和OAR模板图像对应的第二投影图
像;
[0134] 以所述第一投影图像为配准图像,将所述第二投影图像与所述第二投影图像配准,并将配准后的第一投影图像;
[0135] 基于配置后的第一投影图像对所述第二投影图像进行修正,以得到修正所述分割图像。
[0136] 具体地,视交叉是软组织,其周围组织也是密度相近的软组织,从而边缘信息不明显。临床医生在勾画时往往依据头部组织的解剖结构进行定位后(一般会依据视神经的相
对位置),根据视交叉的形状先验知识勾画一个×的形状。虽然勾画精确度不高,但是放疗
靶区最重要的是保护器官,所以只要能包括视交叉区域即可。与临床医生利用先验知识进
行分割不同,分割网络模型基于图像灰度信息进行像素级别的分割,对于边缘信息不明显
的软组织(如视交叉),难以提取到足够的边缘信息。
[0137] 基于此,在获取到分割图像后,将分割图像的视交叉和视神经在z轴方向进行投影,可得到第一投影图,其中,视交叉和视神经的灰度值分别设置为1和2。对OAR模板图像的
视交叉和视神经在z轴方向进行投影,可得到第二投影图。然后,第二投影图像利用相似性
变换配准至第一投影图像上,所用代价函数为MSE。
[0138] 在第一投影图像和第二投影图像配准后,分别计算第一投影图像和第二投影图像中的视交叉的Hu矩以及两者的DSC,以评价OAR模板图像的视交叉和分割图像的视交叉的形
状相似度。其中,Hu矩有7个特征值,由归一化中心距的不同的线性组合计算得到,能够表示
图像的形状信息,且具有旋转不变性、平移不变性、缩放不变性、镜像不变性等性质,用于进
行形状的对比。矩的本质是数学期望,在二维图像中常用像素值的求和表示,二维图像矩的
计算公式如下:
[0139]
[0140] 其中,I(x,y)为图像在坐标点x,y处的灰度值;p和q为距的阶数,如p和q都为0,则为0阶距,即图像的面积。
[0141] 矩只能描述灰度图像的期望,而不能反应其分布情况,所以常利用中心距描述灰度的分布情况。中心距类似于图像的方差,归一化中心距是归一化后的中心矩,使中心距不
受目标大小的影响对图像灰度分布进行描述。归一化中心距的计算公式如下:
[0142]
[0143] 基于此,可以计算2阶到3阶的归一化中心距的线性组合,得到Hu矩的7个表示形状特征的值:
[0144]
[0145]  然后,用对数函数对其进行规范化后再对比两个形状的特征值差异,差异越小说明两个形状越相似,差异值按照如下公式计算:
[0146]
[0147] 通过计算配准后的OAR模板图像的视交叉和分割图像的视交叉在二维平面投影的DSC以及两者轮廓差异值,分为三种情况进行分割图像的优化:1)当DSC小于60.0%,形状差
异值大于1时,说明分割图像的视交叉与OAR模板图像的视交叉形状差异非常大,且出现严
重的漏分割,可直接用配准后的OAR模板图像的视交叉替换掉分割图像的视交叉,替换掉分
割图像的视交叉面积最大的一层,删除其余面积较小的层;2)当DSC大于60.0%,形状差异值
大于1时,说明分割图像与OAR模板图像的重叠性满足要求,但是形状差异为满足要求,将利
用OAR模板图像的视交叉乘以分割图像视交叉进行形状修正;3)其余情况说明分割图像的
视交叉乘与模板视交叉的形状较相似,可不对分割图像进行修改。
[0148] 此外,对于分割图像中出现的边缘锯齿明显、空洞等问题,以二维横断面为单位,逐层对器官内的空洞进行填充和中值滤波。中值滤波的滤波器大小为3×3,该滤波方法能
够平滑边缘,同时一定程度上去除较小的离散点。对于体积较小的器官如视交叉、视神经和
垂体,因为像素点较少容易在滤波过程中删去正确的分割图像,所以不进行滤波处理。
[0149] 在本实施例中,为了说明本实施例的效果进行了实验对比,实验对比包括:
[0150] 在MICCAI 2015数据集上对比基于配准结果进行定位与基于金标准进行定位对分割性能的影响,并探究上下文信息对分割性能的影响。我们将对分割图像进行后处理,对比
后处理前后的DSC和95%HD,并对结果进行统计学分析,说明后处理对分割图像的作用。
[0151] 在MICCAI 2015数据集和番禺数据集中验证所设计的三维级联分割网络的分割性能,并基于MICCAI 2015数据集的分割图像与文献中的其他方法进行性能的对比。
[0152] 基于分割图像勾画MICCAI 2015数据集的9种OAR,并与完全人工勾画的时间对比,以说明我们的方法能够辅助医生提高勾画OAR的速度。
[0153] 实验结果:
[0154] 1)上下文信息对分割性能的影响
[0155] 在MICCAI 2015数据集上对基于手动选取ROI和基于配准结果定位ROI的分割结果进行对比。前者的平均DSC为76.2%,平均95%HD为3.9 mm;后者的平均DSC为75.5%,平均95%
HD为4.2 mm。配对Wilcoxon符号秩和检验的P值为0.041,说明差异具有统计学意义。这表明
配准结果的偏差可能会影响分割网络的分割精度。
[0156] 在利用了上下文信息后,基于配准结果定位ROI的平均DSC提高至78.6%,平均95%HD降低至3.6 mm。与基于手动选取ROI分割结果的DSC进行配对Wilcoxon符号秩检验,P值为
0.003,表明差异具有统计学意义。此外,经过上下文信息对配准定位结果的修正,所有OAR
的定位敏感度提高至100.0%±0.0%,表明所有OAR都能完全包括在相应的ROI内。以上结果
表明,上下文信息能够有效地提高分割精度,降低定位误差。
[0157] )后处理对分割性能的影响
[0158] 对分割结果进行了后处理,经过后处理后的平均DSC为79.1%,平均95%HD为3.5 mm。经过与未进行后处理的分割结果的DSC(78.6%)进行配对Wilcoxon符号秩检验,P值为
0.005,说明差异具有统计学意义。图15为进行形状修正前后的视交叉示例图,由图中可以
看出,虽然修正后的视交叉与金标准仍存在差异,但是形状已与金标准基本相似,形状已符
合正确的解剖结构。此外,测试集中视交叉的平均DSC由61.7%提高至64.3%。结果表明,所提
出的后处理算法能够提高分割性能。
[0159] )三维级联分割网络在两个数据集上的分割结果
[0160] 表1所提出方法在两个数据集中的分割结果
[0161]
[0162] 本实施例提供的分割方法在两个数据集上分别进行了实验,实验结果为番禺数据集的平均DSC为72.7%,平均95%HD为4.9 mm。MICCAI 2015数据集的平均DSC为79.1%,95%HD
为3.5 mm。
[0163] )所提出分割方法与现有分割方法的对比
[0164] 在MICCAI 2015数据集上与现有文献中的方法进行了分割性能的对比,本实施例提供的方法的模型参数量相对较少,只有160万参数,且速度非常快,仅需3.5秒即可完成一
例患者的OAR分割。同时,经验较少的医生基于所提出方法的分割结果勾画MICCAI 2015数
据集的9种头颈部OAR,只需约3分钟即可完成1例患者9种OAR的勾画,完全人工勾画9种OAR
需要约20‑30分钟,表明所提出方法能够辅助医生提高勾画OAR的速度。
[0165] 综上所述本实施例提供了一种基于解剖先验知识的头颈部危及器官的分割方法,所述方法该方法利用了头颈部OAR的解剖结构信息,基于简单的网络结构和较少的网络参
数实现快速、准确、全自动的头颈部OAR三维分割,能够辅助医生提高头颈部OAR的勾画速
度。本文所提出的分割方法首先需要通过模板配准的方法定位出图像中的OAR大致位置,基
于定位结果裁出各个OAR的ROI,将ROI输入到分割网络进行OAR分割,最后再对分割结果进
行后处理。
[0166] 对配准后的两个患者数据计算相似性指标,在若干头颈部图像中选择一个相似性指标最好的患者的OAR数据作为OAR模板图像,该OAR模板图像与若干头颈部图像中若干头
颈部图像的OAR相似性最高,并通过实验验证该方法选择的模板是较为合适的。此外,为确
保所确定的ROI大小能包括整个器官,统计了不同OAR的大小,基于统计结果确定各个ROI的
大小。为利用若干头颈部图像进行OAR的定位,采用了三维配准网络将若OAR模板图像配准
至需要进行分割的待分割图像,以此实现待分割图像的OAR的定位。此外,还引入了重心距
离损失以提高定位的精确度,并通过实验验证了重心距离损失能够提高定位的精度。
[0167] 同时,在对待分割图像进行定位外,采用三维多视角分割网络基于定位得到的ROI区域进行多类OAR的分割。该三维多视角分割网络的三维信息和横断面二维信息,有效地提
高了分割精度。在本方法中横断面信息相对于冠状面和矢状面信息更能提高分割性能,图
像的三维信息比二维信息更有助于提高分割精度。此外,为利用单个模型实现多类OAR的分
割,减少训练模型的时间和资源,在三维多视角分割网络中加入了ROI分类支路以提高不同
ROI的特征辨识度。
[0168] 将配准网络模型和分割网络模型通过ROI分割层进行级联,实现了快速准确的OAR自动分割。为进一步提高分割精度与定位精度,在分割阶段利用了上下文信息,将分割结果
作为辅助信息再次输入分割网络以提高分割精度,并利用分割结果修正配准结果,以避免
定位偏差。为进一步提高分割结果的准确度,我们应用模板的形状信息对分割结果中的视
交叉进行了修正,并通过空洞填充算法填充了分割结果中的空洞,中值滤波算法去除了部
分离散点和平滑分割边缘。与文献中的方法对比表明,本文所提出的分割方法利用最少的
模型参数量与最少的模型数量实现了最快的头颈部OAR准确分割,并通过实验验证我们的
分割结果能够辅助医生提高OAR的勾画速度。
[0169] 基于上述基于解剖先验知识的头颈部危及器官的分割方法,本实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者
多个程序可被一个或者多个处理器执行,以实现如上述实施例所述的基于解剖先验知识的
头颈部危及器官的分割方法中的步骤。
[0170] 基于上述基于解剖先验知识的头颈部危及器官的分割方法,本申请还提供了一种终端设备,如图16所示,其包括至少一个处理器(processor)20;显示屏21;以及存储器
(memory)22,还可以包括通信接口(Communications Interface)23和总线24。其中,处理器
20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为
显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用
存储器22中的逻辑指令,以执行上述实施例中的方法。
[0171] 此外,上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
[0172] 存储器22作为一种计算机可读存储介质,可设置为存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器
22中的软件程序、指令或模块,从而执行功能应用以及数据处理,即实现上述实施例中的方
法。
[0173] 存储器22可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此
外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器。例如,U盘、移动
硬盘、只读存储器(Read‑Only Memory,ROM)、随机存取存储器(Random Access Memory,
RAM)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
[0174] 此外,上述存储介质以及移动终端中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明,在这里就不再一一陈述。
[0175] 最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可
以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;
而这些修改或者替换,并不使相应技术方案的·本质脱离本申请各实施例技术方案的精神
和范围。