一种基于深度学习的乳腺癌临床靶区自动勾画方法和系统转让专利

申请号 : CN202210937016.X

文献号 : CN115187577B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 邓秀文蔡文培江萍赵红梅王俊杰贺树荫赵紫婷

申请人 : 北京大学第三医院(北京大学第三临床医学院)深圳市联影高端医疗装备创新研究院北京联影智能影像技术研究院

摘要 :

一种基于深度学习的乳腺癌临床靶区自动勾画方法和系统,方法包括:获取患者CT图像和对应的临床靶区掩膜,基于所述CT图像和对应的临床靶区掩膜生成训练样本集;基于形态差异对训练样本集中的CT图像的每个层面进行分类,得到每个CT图像中每个层面的类型;基于样本集中每个CT图像及图像中每个层面的类型训练分类神经网络模型得到CT图像层面分类模型;基于样本集中每个CT图像、CT图像中每个层面的类型和CT图像对应的掩膜训练多通道神经网络模型得到临床靶区分割模型;将待勾画CT图像输入CT图像层面分类模型得到待勾画CT图像每个层面的类型;根据待勾画CT图像每个层面的类型将待勾画CT图像输入临床靶区分割模型得到CT图像的临床靶区掩膜。

权利要求 :

1.一种基于深度学习的乳腺癌临床靶区自动勾画方法,其特征在于,包括以下步骤:获取患者CT图像和对应的临床靶区掩膜,基于所述CT图像和对应的临床靶区掩膜生成训练样本集;

基于形态差异对训练样本集中的CT图像的每个层面进行分类,得到每个CT图像中每个层面的类型;

基于样本集中每个CT图像及图像中每个层面的类型训练分类神经网络模型得到CT图像层面分类模型;

基于样本集中每个CT图像、CT图像中每个层面的类型和CT图像对应的掩膜训练多通道神经网络模型得到临床靶区分割模型;

将待勾画CT图像输入CT图像层面分类模型得到待勾画CT图像每个层面的类型;根据待勾画CT图像每个层面的类型将待勾画CT图像输入临床靶区分割模型得到CT图像的临床靶区掩膜;

基于形态差异对训练样本集中的CT图像的每个层面进行分类,包括:对于每一个CT图像,将第一个有对应掩膜的层面作为第一类;依次遍历每个层面,基于CT图像对应的临床靶区掩膜计算当前层面和前一个层面间的中心偏移距离和尺寸变化率;

若中心偏移距离或尺寸变化率大于阈值,则当前层面与前一层面为不同的类型;否则,当前层面与前一层面为同一类型。

2.根据权利要求1所述的基于深度学习的乳腺癌临床靶区自动勾画方法,其特征在于,所述尺寸变化率包括长度变化率和宽度变化率;

基于CT图像对应的临床靶区掩膜计算当前层面和前一个层面间的中心偏移距离和尺寸变化率,包括:计算CT图像的每个层面对应掩膜的最小外接长方形;

采用以下公式计算当前层面和前一个层面间的中心偏移距离和尺寸变化率:长度变化率=(li‑li‑1)/li

宽度变化率=(wi‑wi‑1)/wi

其中,(xi,yi)表示当前层面对应掩膜的最小外接长方形的中心点坐标,(xi‑1,yi‑1)表示当前层面的前一层面对应掩膜的最小外接长方形的中心点,li表示当前层面对应掩膜的最小外接长方形的长度,wi表示当前层面对应掩膜的最小外接长方形的宽度,li‑1表示当前层面的前一层面对应掩膜的最小外接长方形的长度,wi‑1表示当前层面的前一层对应掩膜的最小外接长方形的宽度。

3.根据权利要求1所述的基于深度学习的乳腺癌临床靶区自动勾画方法,其特征在于,所述多通道神经网络模型的输入通道数与层面类型数相同;

基于样本集中每个CT图像、CT图像中每个层面的类型和CT图像对应的掩码训练多通道神经网络模型得到靶区分割模型,包括:将每个CT图像中类型相同的层面输入同一输入通道训练多通道神经网络模型。

4.根据权利要求1所述的基于深度学习的乳腺癌临床靶区自动勾画方法,其特征在于,采用以下公式计算多通道神经网络模型的损失:L=αLdice+βLce

其中,Pk表示模型预测的第k个层面类型对应的掩膜矩阵,Gk表示第k个层面类型对应的金标准掩膜矩阵,C表示层面类别数,α和β表示权重参数,L表示样本总损失。

5.根据权利要求1所述的基于深度学习的乳腺癌临床靶区自动勾画方法,其特征在于,基于所述CT图像和对应的临床靶区掩膜生成训练样本集,包括:采用线性差值法将CT图像和对应的临床靶区掩膜重采样至标准体素;

对CT图像的体素值进行归一化;

对归一化后的CT图像进行图像分割得到身体掩膜,计算身体掩膜的最小外接长方体,提取最小外接长方体中的CT图像和对应的临床靶区掩膜,生成训练样本集。

6.根据权利要求1所述的基于深度学习的乳腺癌临床靶区自动勾画方法,其特征在于,所述多通道神经网络模型包括依次连接的多通道卷积层、下采样卷积模块和上采样卷积模块;

所述多通道卷积层用于采用卷积从多个输入通道中提取多通道特征图像;所述下采样卷积模块用于对多通道特征图像进行不同层级的特征提取,上采样卷积模块用于对提取的特征进行上采样并输出分割结果;

所述下采样卷积模块包括多个下采样卷积单元,每个所述下采样卷积单元包括依次连接的三维卷积层、LeakyReLU层、批量归一化层和最大池化层;

所述上采样卷积模块包括多个上采样卷积单元,每个所述上采样卷积单元包括依次连接的三维卷积层、LeakyReLU层、批量归一化层和转置卷积层。

7.一种基于深度学习的乳腺癌临床靶区自动勾画系统,其特征在于,包括以下模块:样本集生成模块,用于获取患者CT图像和对应的临床靶区掩膜,基于所述CT图像和对应的临床靶区掩膜生成训练样本集;

层面分类模块,用于基于形态差异对训练样本集中的CT图像的每个层面进行分类,得到每个CT图像中每个层面的类型;

分类模型训练模块,用于基于样本集中每个CT图像中每个层面的类型训练分类神经网络模型得到CT图像层面分类模型;

分割模型训练模块,用于基于样本集中每个CT图像、CT图像中每个层面的类型和CT图像对应的掩膜训练多通道神经网络模型得到临床靶区分割模型;

自动勾画模块,用于将待勾画CT图像输入CT图像层面分类模型得到待勾画CT图像每个层面的类型;根据待勾画CT图像每个层面的类型将待勾画CT图像输入临床靶区分割模型得到CT图像的临床靶区掩膜;

所述层面分类模块采用以下步骤对训练样本集中的CT图像的每个层面进行分类:对于每一个CT图像,将第一个有对应掩膜的层面作为第一类;依次遍历每个层面,基于CT图像对应的临床靶区掩膜计算当前层面和前一个层面间的中心偏移距离和尺寸变化率;

若中心偏移距离或尺寸变化率大于阈值,则当前层面与前一层面为不同的类型;否则,当前层面与前一层面为同一类型。

8.根据权利要求7所述的基于深度学习的乳腺癌临床靶区自动勾画系统,其特征在于,所述尺寸变化率包括长度变化率和宽度变化率;

基于CT图像对应的临床靶区掩膜计算当前层面和前一个层面间的中心偏移距离和尺寸变化率,包括:计算CT图像的每个层面对应掩膜的最小外接长方形;

采用以下公式计算当前层面和前一个层面间的中心偏移距离和尺寸变化率:长度变化率=(li‑li‑1)/li

宽度变化率=(wi‑wi‑1)/wi

其中,(xi,yi)表示当前层面对应掩膜的最小外接长方形的中心点坐标,(xi‑1,yi‑1)表示当前层面的前一层面对应掩膜的最小外接长方形的中心点,li表示当前层面对应掩膜的最小外接长方形的长度,wi表示当前层面对应掩膜的最小外接长方形的宽度,li‑1表示当前层面的前一层面对应掩膜的最小外接长方形的长度,wi‑1表示当前层面的前一层对应掩膜的最小外接长方形的宽度。

说明书 :

一种基于深度学习的乳腺癌临床靶区自动勾画方法和系统

技术领域

[0001] 本发明涉及临床靶区勾画技术领域,尤其涉及一种基于深度学习的乳腺癌临床靶区自动勾画方法和系统。

背景技术

[0002] 乳腺癌是女性最常见的恶性肿瘤,也是女性癌症死亡的首位原因。近年来乳腺癌患者的预期寿命不断延长,放射治疗在其中发挥了重要作用。过去20年计算机技术及影像技术的高速发展推动放疗技术从二维放疗时代全面进入三维放疗时代。对于乳腺癌术后患者,由于病灶周围及淋巴结引流区内可能存在肉眼不可见的亚临床病灶,大部分患者术后仍需行辅助放疗,该亚临床病灶的三维区域定义为放疗的临床靶区(clinical target volume,CTV)。基于定位CT图像对CTV进行准确勾画是放疗医生的核心工作。标准的CT定位图像通常含有几十张切面,医生需要单独在每个切面中勾画出CTV,勾画过程耗时费力。除此之外,不同经验水平的医生勾画的靶区差异大,影响治疗效果。
[0003] 近十年,随着机器学习的发展,计算机辅助的靶区勾画方法已开始应用于临床。现有的自动勾画方法主要有两种:第一种是基于地图集的方法。这种方法需医生提前选择模板图像和靶区作为地图集。勾画时,医生先挑选出与待勾画图像最接近的模板图像进行配准,然后将模板的靶区通过形变场矩阵生成待勾画图像靶区。第二种是基于深度学习的靶区自动勾画,这种技术需提前收集一定数量的图像和靶区数据,基于数据训练自动勾画网络模型,利用训练好的模型进行靶区自动勾画。
[0004] 接受乳腺切除手术的乳腺癌患者,CTV包括胸壁及相邻的淋巴结引流区。靶区体积大、形态不规则且易受体位影响。基于地图集的方法受限于选定的模板和匹配的准确性。现有的基于深度学习的乳腺癌临床靶区勾画方法主要通过收集医生手动勾画的胸壁及各淋巴结引流区的分靶区轮廓或者掩膜,分别训练模型后再整合成完整的CTV。缺点在于数据收集困难、勾画效率低且易忽略整体靶区的连续性。

发明内容

[0005] 鉴于上述的分析,本发明实施例旨在提供一种基于深度学习的乳腺癌临床靶区自动勾画方法和系统,用以解决现有方法效率低并且准确度低的问题。
[0006] 一方面,本发明实施例提供了一种基于深度学习的乳腺癌临床靶区自动勾画方法,包括以下步骤:
[0007] 获取患者CT图像和对应的临床靶区掩膜,基于所述CT图像和对应的临床靶区掩膜生成训练样本集;
[0008] 基于形态差异对训练样本集中的CT图像的每个层面进行分类,得到每个CT图像中每个层面的类型;
[0009] 基于样本集中每个CT图像及图像中每个层面的类型训练分类神经网络模型得到CT图像层面分类模型;
[0010] 基于样本集中每个CT图像、CT图像中每个层面的类型和CT图像对应的掩膜训练多通道神经网络模型得到临床靶区分割模型;
[0011] 将待勾画CT图像输入CT图像层面分类模型得到待勾画CT图像每个层面的类型;根据待勾画CT图像每个层面的类型将待勾画CT图像输入临床靶区分割模型得到CT图像的临床靶区掩膜。
[0012] 基于上述技术方案的进一步改进,基于形态差异对训练样本集中的CT图像的每个层面进行分类,包括:
[0013] 对于每一个CT图像,将第一个有对应掩膜的层面作为第一类;依次遍历每个层面,基于CT图像对应的临床靶区掩膜计算当前层面和前一个层面间的中心偏移距离和尺寸变化率;
[0014] 若中心偏移距离或尺寸变化率大于阈值,则当前层面与前一层面为不同的类型;否则,当前层面与前一层面为同一类型。
[0015] 进一步地,所述尺寸变化率包括长度变化率和宽度变化率;
[0016] 基于CT图像对应的临床靶区掩膜计算当前层面和前一个层面间的中心偏移距离和尺寸变化率,包括:
[0017] 计算CT图像的每个层面对应掩膜的最小外接长方形;
[0018] 采用以下公式计算当前层面和前一个层面间的中心偏移距离和尺寸变化率:
[0019]
[0020] 长度变化率=(li‑li‑1)/li
[0021] 宽度变化率=(wi‑wi‑1)/wi
[0022] 其中,(xi,yi)表示当前层面对应掩膜的最小外接长方形的中心点坐标,(xi‑1,yi‑1)表示当前层面的前一层面对应掩膜的最小外接长方形的中心点,li表示当前层面对应掩膜的最小外接长方形的长度,wi表示当前层面对应掩膜的最小外接长方形的宽度,li‑1表示当前层面的前一层面对应掩膜的最小外接长方形的长度,wi‑1表示当前层面的前一层对应掩膜的最小外接长方形的宽度。
[0023] 进一步地,所述多通道神经网络模型的输入通道数与层面类型数相同;
[0024] 基于样本集中每个CT图像、CT图像中每个层面的类型和CT图像对应的掩码训练多通道神经网络模型得到靶区分割模型,包括:
[0025] 将每个CT图像中类型相同的层面输入同一输入通道训练多通道神经网络模型。
[0026] 进一步地,采用以下公式计算多通道神经网络模型的损失:
[0027] L=αLdice+βLce
[0028]
[0029]
[0030] 其中,Pk表示模型预测的第k个层面类型对应的掩膜矩阵,Gk表示第k个层面类型对应的金标准掩膜矩阵,C表示层面类别数,α和β表示权重参数,L表示样本总损失。
[0031] 进一步地,基于所述CT图像和对应的临床靶区掩膜生成训练样本集,包括:
[0032] 采用线性差值法将CT图像和对应的临床靶区掩膜重采样至标准体素;
[0033] 对CT图像的体素值进行归一化;
[0034] 对归一化后的CT图像进行图像分割得到身体掩膜,计算身体掩膜的最小外接长方体,提取最小外接长方体中的CT图像和对应的临床靶区掩膜,生成训练样本集。
[0035] 进一步地,所述多通道神经网络模型包括依次连接的多通道卷积层、下采样卷积模块和上采样卷积模块;
[0036] 所述多通道卷积层用于采用卷积从多个输入通道中提取多通道特征图像;所述下采样卷积模块用于对多通道特征图像进行不同层级的特征提取,上采样卷积模块用于对提取的特征进行上采样并输出分割结果;
[0037] 所述下采样卷积模块包括多个下采样卷积单元,每个所述下采样卷积单元包括依次连接的三维卷积层、LeakyReLU层、批量归一化层和最大池化层;
[0038] 所述上采样卷积模块包括多个上采样卷积单元,每个所述上采样卷积单元包括依次连接的三维卷积层、LeakyReLU层、批量归一化层和转置卷积层。
[0039] 另一方面,本发明实施例提供了一种基于深度学习的乳腺癌临床靶区自动勾画系统,包括以下模块:
[0040] 样本集生成模块,用于获取患者CT图像和对应的临床靶区掩膜,基于所述CT图像和对应的临床靶区掩膜生成训练样本集;
[0041] 层面分类模块,用于基于形态差异对训练样本集中的CT图像的每个层面进行分类,得到每个CT图像中每个层面的类型;
[0042] 分类模型训练模块,用于基于样本集中每个CT图像中每个层面的类型训练分类神经网络模型得到CT图像层面分类模型;
[0043] 分割模型训练模块,用于基于样本集中每个CT图像、CT图像中每个层面的类型和CT图像对应的掩膜训练多通道神经网络模型得到临床靶区分割模型;
[0044] 自动勾画模块,用于将待勾画CT图像输入CT图像层面分类模型得到待勾画CT图像每个层面的类型;根据待勾画CT图像每个层面的类型将待勾画CT图像输入临床靶区分割模型得到CT图像的临床靶区掩膜。
[0045] 进一步地,所述层面分类模块采用以下步骤对训练样本集中的CT图像的每个层面进行分类:
[0046] 对于每一个CT图像,将第一个有对应掩膜的层面作为第一类;依次遍历每个层面,基于CT图像对应的临床靶区掩膜计算当前层面和前一个层面间的中心偏移距离和尺寸变化率;
[0047] 若中心偏移距离或尺寸变化率大于阈值,则当前层面与前一层面为不同的类型;否则,当前层面与前一层面为同一类型。
[0048] 进一步地,所述尺寸变化率包括长度变化率和宽度变化率;
[0049] 基于CT图像对应的临床靶区掩膜计算当前层面和前一个层面间的中心偏移距离和尺寸变化率,包括:
[0050] 计算CT图像的每个层面对应掩膜的最小外接长方形;
[0051] 采用以下公式计算当前层面和前一个层面间的中心偏移距离和尺寸变化率:
[0052]
[0053] 长度变化率=(li‑li‑1)/li
[0054] 宽度变化率=(wi‑wi‑1)/wi
[0055] 其中,(xi,yi)表示当前层面对应掩膜的最小外接长方形的中心点坐标,(xi‑1,yi‑1)表示当前层面的前一层面对应掩膜的最小外接长方形的中心点,li表示当前层面对应掩膜的最小外接长方形的长度,wi表示当前层面对应掩膜的最小外接长方形的宽度,li‑1表示当前层面的前一层面对应掩膜的最小外接长方形的长度,wi‑1表示当前层面的前一层对应掩膜的最小外接长方形的宽度。
[0056] 与现有技术相比,本发明通过基于形态差异对训练集中的CT图像的层面进行分类,在收集样本时只需要收集CT图像的整体乳腺癌临床靶区,不需要医生对子靶区进行勾画,减少了样本处理时间,提高了效率,通过训练好的分类模型,可以自动对CT图像的层面进行分类,基于层面类型进行多通道神经网络模型训练,从而结合形态特点,使得模型分割更加准确。
[0057] 本发明中,上述各技术方案之间还可以相互组合,以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述,并且,部分优点可从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。

附图说明

[0058] 附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。
[0059] 图1为本发明实施例基于深度学习的乳腺癌临床靶区自动勾画方法的流程图;
[0060] 图2为本发明实施例基于深度学习的乳腺癌临床靶区自动勾画系统的框图;
[0061] 图3为本发明实施例的CT层面类型示意图;
[0062] 图4为本发明实施例的多通道神经网络模型结构示意图;
[0063] 图5为本发明实施例的不同方法的层面Dice指标变化示意图。

具体实施方式

[0064] 下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理,并非用于限定本发明的范围。
[0065] 本发明的一个具体实施例,公开了一种基于深度学习的乳腺癌临床靶区自动勾画方法,如图1所示,包括以下步骤:
[0066] S1、获取患者CT图像和对应的临床靶区掩膜,基于所述CT图像和对应的临床靶区掩膜生成训练样本集;
[0067] S2、基于形态差异对训练样本集中的CT图像的每个层面进行分类,得到每个CT图像中每个层面的类型;
[0068] S3、基于样本集中每个CT图像中每个层面的类型训练分类神经网络模型得到CT图像层面分类模型;
[0069] S4、基于样本集中每个CT图像、CT图像中每个层面的类型和CT图像对应的掩膜训练多通道神经网络模型得到临床靶区分割模型;
[0070] S5、将待勾画CT图像输入CT图像层面分类模型得到待勾画CT图像每个层面的类型;根据待勾画CT图像每个层面的类型将待勾画CT图像输入临床靶区分割模型得到CT图像的临床靶区掩膜。
[0071] 通过基于形态差异对训练集中的CT图像的层面进行分类,在收集样本时只需要收集CT图像的整体乳腺癌临床靶区,不需要医生对子靶区进行勾画,减少了样本处理时间,提高了效率,通过训练好的分类模型,可以自动对CT图像的层面进行分类,基于层面类型进行多通道神经网络模型训练,从而结合形态特点,使得模型分割更加准确。
[0072] 通过训练好的CT图像层面分类模型,对待勾画CT图像可直接进行层面类型分类,基于层面类型使得自动分割更加准确。同时,层面分类的结果可反馈至医生,医生可根据经验通过直接调整层面类型,达到快速修改勾画的目的,实现了医生与自动勾画模型的交互,提高了自动勾画的效率、可解释性和可靠性。
[0073] 实施时,获取患者CT图像和对应的临床靶区掩膜,临床靶区掩膜为乳腺根治术后放疗的整体靶区掩膜。CT图像是定位CT图像,为三维图像数据,靶区掩膜为与CT图像等大小的三维图像数据,表示CT图像上对应点的列表,例如0表示该点不属于靶区,1表示该点属于靶区。CT图像的层面为CT图像的截位面图(头脚方向上的层)。
[0074] 具体的,步骤S1中基于所述CT图像和对应的临床靶区掩膜生成训练样本集,包括:
[0075] S11、采用线性差值法将CT图像和对应的临床靶区掩膜重采样至标准体素;
[0076] 由于不同CT图像可能存在体素不一致的问题,为了分割更加准确,因此,首先对CT图像和对应的临床靶区掩膜进程重采样,从而归一化图像体素。实施时,采用线性差值法进行重采样,标准体素为所有CT样本数据的体素间距的中位数。体素间距即图像两个体素间的距离。
[0077] S12、对CT图像的体素值进行归一化;
[0078] 为了便于数据,对CT图像的体素值进行归一化。首先根据样本集合中的CT图像和对应的临床靶区掩膜,将CT图像的靶区部分的体素值按照升序排序,为了消除极值对归一化的影响,取体素值排序序列中的5千分位数为体素值的下限lim_down,995千分位数为体素值的上限lim_up。
[0079] 根据公式归一化后体素值=(归一化前体素值‑lim_down)/(lim_up‑lim_down)对CT图像的体素值进行归一化处理。
[0080] S13、对归一化后的CT图像进行图像分割得到身体掩膜,计算身体掩膜的最小外接长方体,提取最小外接长方体中的CT图像和对应的临床靶区掩膜,生成训练样本集。
[0081] 实施时,采用基于阈值的分割方法对归一化后的CT图像进行分割得到身体掩膜,采用最大连通域算法计算身体掩膜的三维最大连通域,根据身体掩膜的三维最大连通域得到身体掩膜的最小外接长方体,提取身体掩膜的最小外接长方体内的CT图像和对应的临床靶区掩膜,得到预处理后的样本数据,生成训练样本集。
[0082] 具体的,步骤S2中基于形态差异对训练样本集中的CT图像的每个层面进行分类,包括:
[0083] 对于每一个CT图像,将第一个有对应掩膜的层面作为第一类;依次遍历每个层面,基于CT图像对应的临床靶区掩膜计算当前层面和前一个层面间的中心偏移距离和尺寸变化率;
[0084] 若中心偏移距离或尺寸变化率大于阈值,则当前层面与前一层面为不同的类型;否则,当前层面与前一层面为同一类型。
[0085] 即,对于一个CT图像,从第一个层面到最后一个层面依次进行遍历,第一个有对应靶区掩膜的层面为第一类,例如标记为形态类别1,计算第二个层面和第一个层面的形体差异,即中心偏移距离和尺寸变化率。若中心偏移距离大于预先设置的阈值或者尺寸变化率大于预先设置的阈值,说明第二个层面和第一个层面差异较大,因此将第二个层面标记为形态类别2,否则说明第二个层面和第一个层面形态差异不大,为同一类层面,将第二个层面标记为形态类别1,采用该方法依次对每个层面进行分类标记。如图3所示,根据形态差异将CT层面分为4类。
[0086] 通过计算层面间的形态差异对CT图像的层面进行分类,从而避免医生手动标注,节省了时间,特别是对于一些小区域,手动勾画标准误差较大,影响分割效果,根据形态差异进行分类,避免了小区域的标注误差,提高了分割准确性。
[0087] 具体的,所述尺寸变化率包括长度变化率和宽度变化率;
[0088] 基于CT图像对应的临床靶区掩膜计算当前层面和前一个层面间的中心偏移距离和尺寸变化率,包括:
[0089] 计算CT图像的每个层面对应掩膜的最小外接长方形;
[0090] 采用以下公式计算当前层面和前一个层面间的中心偏移距离和尺寸变化率:
[0091]
[0092] 长度变化率=(li‑li‑1)/li
[0093] 宽度变化率=(wi‑wi‑1)/wi
[0094] 其中,(xi,yi)表示当前层面对应掩膜的最小外接长方形的中心点坐标,(xi‑1,yi‑1)表示当前层面的前一层面对应掩膜的最小外接长方形的中心点,li表示当前层面对应掩膜的最小外接长方形的长度,wi表示当前层面对应掩膜的最小外接长方形的宽度,li‑1表示当前层面的前一层面对应掩膜的最小外接长方形的长度,wi‑1表示当前层面的前一层对应掩膜的最小外接长方形的宽度。
[0095] 即通过中心偏移距离、长度变化率、宽度变化率进行形态差异衡量,若任一指标查过阈值则认为当前层面和前一层面为形态差异较大的层面,反之为形态相似的层面。实施时,中心偏移距离、长度变化率和宽度变化率对应的阈值可通过统计临床靶区中分别属于不同子靶区的相邻两个层面间对应数据得到。例如中心偏移距离对应的阈值可统计临床靶区中分别属于不同子靶区的相邻两个层面间的中心偏移距离,剔除异常值后求取均值和标准差,阈值可设定为均值+3*标准差。
[0096] 对样本中每个CT图像的层面进行分类后,基于样本集中每个CT图像及图像中每个层面的类型训练分类神经网络模型得到CT图像层面分类模型。实施时,分类模型可使用随机森林、XGboost、Adaboost等机器学习方法,也可以使用卷积神经网络。本专利使用unet网络的编码器部分,在编码器后加全连接层构建的分类网络。使用交叉熵损失。
[0097] 通过训练好的CT图像层面分类模型,对待勾画CT图像可直接进行层面类型分类,基于层面类型使得自动分割更加准确。同时,层面分类的结果可反馈至医生,医生可根据经验直接调整层面的类型,达到快速修改靶区的目的,实现了医生与自动勾画模型的交互,提高了自动勾画的效率、可解释性和可靠性。
[0098] 通过形态学差异得到CT图像的每个层面的类型,基于样本集中每个CT图像、CT图像中每个层面的类型和CT图像对应的掩膜训练多通道神经网络模型得到临床靶区分割模型。
[0099] 具体的,所述多通道神经网络模型的输入通道数与层面类型数相同;
[0100] 基于样本集中每个CT图像、CT图像中每个层面的类型和CT图像对应的掩模训练多通道神经网络模型得到靶区分割模型,包括:
[0101] 将每个CT图像中类型相同的层面输入同一输入通道训练多通道神经网络模型。
[0102] 需要说明的,将每个CT图像中类型相同的层面输入同一输入通道训练多通道神经网络模型,是指每个输入通道只保留对应类型的层面,将其他层面的像素值置0。即,每个输入通道的数据规模CT图像样本相同。例如,第一输入通道对应形态类型1的层面,第二输入通道对应形态类型2的层面,因此,对于一个CT图像样本,保留形态类型1的层面的像素值不变,将其他类型的层面的像素值置为0,得到第一输入通道的输入数据,保留形态类型2的层面的像素值不变,将其他类型的层面的像素值置为0,得到第二输入通道的输入数据。
[0103] 构建的多通道神经网络模型包括依次连接的多通道卷积层、下采样卷积模块和上采样卷积模块;
[0104] 所述多通道卷积层用于采用卷积从多个输入通道中提取多通道特征图像;通过多通道卷积层将多通道输入数据进行相连。多通道卷积层分别对每个通道的输入数据进行卷积操作,在将多个通道卷积的结果进行加权相加得到多通道特征图像,通道的权重由网络训练得到。在反向传播中逐渐对不同通道分配不同的权重,从而确定相关位置的空间信息、形态信息之间的相关性。
[0105] 所述下采样卷积模块用于对多通道特征图像进行不同层级的特征提取,上采样卷积模块用于对提取的特征进行上采样输出分割结果;
[0106] 所述下采样卷积模块包括多个下采样卷积单元,每个所述下采样卷积单元包括依次连接的三维卷积层、LeakyReLU层、批量归一化层和最大池化层;
[0107] 所述上采样卷积模块包括多个上采样卷积单元,每个所述上采样卷积单元包括依次连接的三维卷积层、LeakyReLU层、批量归一化层和转置卷积层。
[0108] 如图4所示,下采样卷积模块包括4个下采样卷积单元,上采样卷积模块包括4个上采样卷积单元,下采样卷积单元和上采样卷积单元一一对应,一个上采样卷积单元连接上一层上采样卷积单元和下采样卷积模块中与上一层卷积单元的特征通道维数相同的下采样卷积单元,将上一层上采样卷积单元提取的特征和下采样卷积单元提取的特征在通道维度上的拼接,从而保留了更多的维度/位置信息,使得分割更加准确。
[0109] 用过采用LeakyReLU和批量归一化层加快模型收敛速度,减少梯度消失问题。
[0110] 根据多通道神经网络模型的预测结果,计算模型损失,根据模型损失进行反向传播调整模型参数。当模型损失小于阈值并且稳定后,结束训练,得到临床靶区分割模型。
[0111] 具体的,采用以下公式计算多通道神经网络模型的损失:
[0112] L=αLdice+βLce
[0113]
[0114]
[0115] 其中,Pk表示模型预测的第k个层面类型对应的掩膜矩阵,Gk表示第k个层面类型对应的金标准掩膜矩阵,C表示层面类别数,α和β表示权重参数,L表示样本总损失。其中,L表示一个样本的总损失,计算所有训练样本的总损失的均值得到训练总损失,以此来调节模型参数。
[0116] 其中,Ldice表示Dice损失函数,用于衡量模型预测的掩膜和金标准掩膜的相似度,Lce表示交叉熵损失函数,用于衡量模型预测的掩膜的统计学分布与金标准掩膜分布是否一致,采用Dice损失函数和交叉熵损失函数结合,使得损失计算更加准确,提高了预测准确性和训练效率。
[0117] 需要说明的是,第k个层面类型对应的金标准掩膜矩阵Gk,是在CT图像对应的临床靶区掩膜中,保留第k个层面类型对应的掩膜值,其他类型层面对应的掩膜值取0,得到的掩膜矩阵。
[0118] 为了有效利用样本数据,提高分割准确率,在进行多通道神经网络模型训练前,可对样本数据进行数据增广,例如:对样本中的CT图像和对应的掩膜进行相同比例的缩放,比例范围可为0.7~1.4;采用gamma变换调节CT图像的对比图;对CT图像和对应的掩膜进行相同角度的旋转,例如在三维空间的三个方向上分别旋转0~30°;在完成数据增广的数据和掩膜上随机裁剪尺寸为[28,256,256]的感兴趣区域,如数据小于[28,256,256],则在数据周围补0。如果感兴趣区域不包括靶区,则重新裁剪直至感兴趣区域包含靶区。
[0119] 训练好临床靶区分割模型后,将待勾画CT图像输入CT图像层面分类模型得到待勾画CT图像每个层面的类型;根据待勾画CT图像每个层面的类型将待勾画CT图像输入临床靶区分割模型得到CT图像的临床靶区掩膜。实施时,若待勾画CT图像的体素与标准体素不一致,或体素值不在归一化的数值范围内,首先可按照步骤S11‑S13的处理过程对待勾画CT图像进行归一化等预处理,对归一化后的CT图像进行图像分割得到身体掩膜,计算身体掩膜的最小外接长方体,提取最小外接长方体中的CT图像得到待勾画CT图像对应的模型输入图像,将得到的模型输入图像输入分类模型进行层面分类,根据层面分类结果将对应的CT层面图像输入临床靶区分割模型的对应通道,得到分割结果,即临床靶区掩膜,取掩膜的最大连通域去除碎点,得到模型输入图像对应的临床靶区掩膜。将临床靶区掩膜进行重采样到其原始CT图像的体素大小,将重采样后的临床靶区掩膜根据身体掩膜的大小恢复到原始CT图像的大小,从而得到原始待勾画CT图像对应的临床靶区掩膜。
[0120] 以下通过实验数据说明本发明临床靶区分割模型的效果。
[0121] 如图5所示,展示了采用二维unet模型、三维unet模型和本发明的乳腺癌临床靶区自动勾画方法在头脚方向上的层面Dice指标的变化,由图中可看出本申请的模型在头脚方向的层面的Dice更接近1,特别是显著提升了头部方向层面的效果。
[0122] Dice指标:取值范围在[0,1],反应两张输入二值图(通常应用于预测掩膜和金标准掩膜)之间的重合度,越接近于1则说明二者重合度越高,效果越好。
[0123] 表1显示了不同方法得到掩膜预测结果和金标准掩膜(即医生勾画的原始掩膜)间的DICE均值、95豪斯多夫距离和平均表面距离,相比于二维unet和三维unet,使用本发明的自动勾画方法的dice值平均值更大,95豪斯多夫距离和平均表面距离更小,这说明本发明的自动勾画方法效果更好,标准差更小,本发明的自动勾画方法效果更稳定。
[0124] 表1不同方法的DICE均值、95豪斯多夫距离和平均表面距离
[0125]
[0126]
[0127] 本发明的一个实施时公开了一种基于深度学习的乳腺癌临床靶区自动勾画系统,如图2所示,包括以下模块:
[0128] 样本集生成模块,用于获取患者CT图像和对应的临床靶区掩膜,基于所述CT图像和对应的临床靶区掩膜生成训练样本集;
[0129] 层面分类模块,用于基于形态差异对训练样本集中的CT图像的每个层面进行分类,得到每个CT图像中每个层面的类型;
[0130] 分类模型训练模块,用于基于样本集中每个CT图像中每个层面的类型训练分类神经网络模型得到CT图像层面分类模型;
[0131] 分割模型训练模块,用于基于样本集中每个CT图像、CT图像中每个层面的类型和CT图像对应的掩膜训练多通道神经网络模型得到临床靶区分割模型;
[0132] 自动勾画模块,用于将待勾画CT图像输入CT图像层面分类模型得到待勾画CT图像每个层面的类型;根据待勾画CT图像每个层面的类型将待勾画CT图像输入临床靶区分割模型得到CT图像的临床靶区掩膜。
[0133] 优选的,所述层面分类模块采用以下步骤对训练样本集中的CT图像的每个层面进行分类:
[0134] 对于每一个CT图像,将第一个有对应掩膜的层面作为第一类;依次遍历每个层面,基于CT图像对应的临床靶区掩膜计算当前层面和前一个层面间的中心偏移距离和尺寸变化率;
[0135] 若中心偏移距离或尺寸变化率大于阈值,则当前层面与前一层面为不同的类型;否则,当前层面与前一层面为同一类型。
[0136] 优选的,所述尺寸变化率包括长度变化率和宽度变化率;
[0137] 基于CT图像对应的临床靶区掩膜计算当前层面和前一个层面间的中心偏移距离和尺寸变化率,包括:
[0138] 计算CT图像的每个层面对应掩膜的最小外接长方形;
[0139] 采用以下公式计算当前层面和前一个层面间的中心偏移距离和尺寸变化率:
[0140]
[0141] 长度变化率=(li‑li‑1)/li
[0142] 宽度变化率=(wi‑wi‑1)/wi
[0143] 其中,(xi,yi)表示当前层面对应掩膜的最小外接长方形的中心点坐标,(xi‑1,yi‑1)表示当前层面的前一层面对应掩膜的最小外接长方形的中心点,li表示当前层面对应掩膜的最小外接长方形的长度,wi表示当前层面对应掩膜的最小外接长方形的宽度,li‑1表示当前层面的前一层面对应掩膜的最小外接长方形的长度,wi‑1表示当前层面的前一层对应掩膜的最小外接长方形的宽度。
[0144] 上述方法实施例和系统实施例,基于相同的原理,其相关之处可相互借鉴,且能达到相同的技术效果。具体实施过程参见前述实施例,此处不再赘述。
[0145] 本领域技术人员可以理解,实现上述实施例方法的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读存储介质中。其中,所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
[0146] 以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。