一种基于深度神经网络的VMAT放疗计划的预测装置转让专利
申请号 : CN202111065646.4
文献号 : CN113517072B
文献日 : 2022-01-28
发明人 : 张蕾 , 李光俊 , 章毅 , 胡婷 , 谢立章 , 刘文杰 , 柏森
申请人 : 四川大学
摘要 :
权利要求 :
1.一种基于深度神经网络的VMAT放疗计划的预测装置,其特征在于:包括数据准备模块,用于收集所有训练数据并明确数据的格式以及数据的集合划分,同时对数据进行预处理以保证输入格式;
模型设计模块,用于在模型训练前,通过多个卷积层、池化层、全连接层、残差结构的结合设计出预测模型的完整网络结构;
模型训练模块,用于模型设计好后,使用设计好的模型从每个放疗计划中的每张通量图上提取特征并进行训练,训练出网络结构中的所有参数,以获取一个完整的模型用于预测;
放疗计划预测模块,用于将实时的放疗计划数据放入训练好的模型以获取一个预测的gamma通过率;
其中,模型设计模块包括以下步骤:步骤2.1:卷积层设计,通过每个卷积层从对应卷积核大小的区域中提取特征并将数值输入到下一层卷积层用于计算;
步骤2.2:池化层设计,包括一个最大池化层和一个平均池化层,通过最大池化层从设定参数的空间大小中搜索最大的数值并输入到下一层卷积层中作为该层的输入,通过平均池化层从设定参数的空间大小中求取所有参数的平均值并输入到下一层卷积层中作为该层输入;
步骤2.3:全连接层设计,通过全连接层转化数据的维度,将前一层卷积层的输出维度转化为全连接层想要获取的维度;
步骤2.4:残差结构设计,包括直接残差连接和间接残差连接,通过直接残差连接将上一层卷积层训练获得的数值直接传递到对应层以提升模型的特征提取能力,通过间接残差连接在获取数值之后,将这些数值再次输入到一个单独的卷积层进行一层卷积操作,随后将得到的值再传递到对应层卷积层。
2.根据权利要求1所述的一种基于深度神经网络的VMAT放疗计划的预测装置,其特征在于:数据准备模块包括以下步骤:步骤1.1:获取数据及标签,每张通量图的标签由三种误差容忍度计算而来,最终每个放疗计划将得到三个标签,作为最终的预测目标;
步骤1.2:数据预处理,使用的放疗计划具有91个控制点,同时每次测量会正向旋转一圈,负向旋转一圈,所以每个放疗计划最终得到了182张通量图,一个放疗计划的182张通量图按顺序排列并调整成相同大小;
步骤1.3:数据集划分,数据预处理后,将整个训练过程的数据分为训练集和测试集,训练集用于模型训练,测试集用于模型测试。
3.根据权利要求2所述的一种基于深度神经网络的VMAT放疗计划的预测装置,其特征在于:所述训练集的数据与测试集的数据比例为4:1。
4.根据权利要求1所述的一种基于深度神经网络的VMAT放疗计划的预测装置,其特征在于:模型训练模块包括以下步骤:步骤3.1:数据编码,将数据转化为计算机模型能够识别的模式,对于每一张图片采用RGB三通道编码方式将其转化为对应的数值,同时压缩每张图片为同一大小以适应网络输入;
步骤3.2:特征提取,数据编码后,将编码后的数据输入到模型用于训练;
步骤3.3:回归模块,特征提取后,采用一个逻辑回归层将最终提取到的特征映射到0到
1之间,以反应每个放疗计划的通过率,并输出最终的结果;
步骤3.4:误差反向传播:回归模块输出结果后,将预测值与真实标签相减得到预测误差。
5.根据权利要求4所述的一种基于深度神经网络的VMAT放疗计划的预测装置,其特征在于:步骤3.1中,每个放疗计划包含182张图片,每个放疗计划xi为4维向量,其维度的表示方法为:图片通道数×图片长度×图片宽度×图片张数,其对应标签yi介于0到1之间,且越靠近1,则表示该放疗计划的通过率越高,其中,xi表示输入的变量图片,i为计划的编号;yi表示对应放疗计划x的医学标签,i为计划编号。
6.根据权利要求4所述的一种基于深度神经网络的VMAT放疗计划的预测装置,其特征在于:步骤3.2中,整个模型包括17个3d卷积层,一个最大池化层,多个非线性激活函数ReLu函数,一个全局平均池化层和一个全连接层。
7.根据权利要求4所述的一种基于深度神经网络的VMAT放疗计划的预测装置,其特征在于:步骤3.4中,运用BP算法预测误差反向传播以更新深度神经网模型中每一层的权值,最终通过不断地迭代训练出稳定的分类网络,其中,预测误差的计算公式如下:其中,a表示真实值与预测值之间的差值,|a|表示真实值与预测值之间差值的绝对值,2
θ表示整个模型的所有参数值,||θ|| 表示对整个模型的所有参数进行平方和相加;λ表示控制模型复杂度的参数,δ为控制预测误差的经验参数,其值被设定为1;otherwise表示如果不满足第一个if条件的其他值,则都将用第二行的公式计算误差值。
8.根据权利要求7所述的一种基于深度神经网络的VMAT放疗计划的预测装置,其特征在于:通过反向传播的迭代公式不断迭代计算出模型中每一层参数,从而训练出可用于预测的模型,其中,反向传播的迭代公式为:l
其中,w 为模型中第l层的参数权值,lr为模型训练时的学习率,Lδ为预测误差值, 为求偏导数。
9.根据权利要求1所述的一种基于深度神经网络的VMAT放疗计划的预测装置,其特征在于:放疗计划预测模块包括以下步骤:步骤4.1:放疗计划通过率预测,将测试集中的所有放疗计划放入到已经训练好的模型中计算出所有放疗计划的通过率;
步骤4.2:判断是否符合临床标准,判断每个放疗计划的通过率,筛选出不合格的放疗计划,将不合格的放疗计划进行重新设计。
10.根据权利要求9所述的一种基于深度神经网络的VMAT放疗计划的预测装置,其特征在于:步骤4.1中,通过率分为三类,分别为2%/2mm、3%/2mm和3%/3mm;步骤4.2中,放疗计划的通过率大于等于90%时为合格,小于90%时为不合格。
说明书 :
一种基于深度神经网络的VMAT放疗计划的预测装置
技术领域
背景技术
疗,现代放疗技术主要包括强度调制放射治疗(intensity modulated radiation
therapy,IMRT)和容积调控电弧治疗(volumetric modulated arc therapy,VMAT),这些放
疗技术不仅复杂,而且对放疗剂量精度测试具有不确定性,所以患者在接收手术之前必须
进行全面、安全的放疗计划质量控制,从而让医生精心设计的放疗计划符合临床标准。
的放疗计划,但是这种设计存在不确定性,而且辐射照射的剂量不太容易控制,于是出现了
一些尝试进行质量控制的方法,主要包括两种方法:基于放疗计划参数的质量控制和基于
通量图的质量控制。
疗计划符合要求,否则就重新做放疗计划;基于通量图的质量控制需要模拟放疗计划加速
器的执行,测量出每个放疗计划的通量图,之后使用神经网络模型提取通量图中的特征,最
后将这些特征进行逻辑回归操作得到一个gamma通过率,从而判断该计划是否合格。
制的技术只有使用参数的质量控制,但是每个医院的参数复杂度不同,而且这些参数是由
特定软件提取的,不一定能够表示出放疗计划的全部信息,现有的使用神经网络来进行质
量控制技术的只能在IMRT计划上进行,没有能够在VMAT计划上进行的,最重要的是神经网
络的输入是通量图,VMAT通过旋转测试能产生多张通量图,且这些通量图之间存在顺序关
系,目前没有任何文献以及系统考虑到了这个顺序关系。
一种能够快速预测VMAT放疗计划是否合格的方法,从而可以辅助医生判断放疗计划的好
坏,决定是否需要重新设计计划,进而能够进一步提高患者的治疗效果,保证患者的生命安
全。
发明内容
放疗计划的好坏,进而影响到对患者的治疗效果和生命安全问题。本发明中通过使用VMAT
放疗计划的通量图以及每张通量图的剂量作为输入来构造模型,采用3D卷积核以及残差结
构,在稳定训练的同时还提取了图片与图片之间的序列关系,并通过对每个放疗计划给出
一个gamma通过率,从而可以对放疗计划是否合格能更快速准确的得到预测,进而可以更好
的辅助医生判断放疗计划的好坏,能够进一步提高对患者的治疗效果和保证患者的生命安
全。
预测;
平均池化层从设定参数的空间大小中求取所有参数的平均值并输入到下一层卷积层中作
为该层输入;
残差连接在获取数值之后,将这些数值再次输入到一个单独的卷积层进行一层卷积操作,
随后将得到的值再传递到对应层卷积层。
通量图按顺序排列并调整成相同大小;
络输入;
且越靠近1,则表示该放疗计划的通过率越高,其中,xi表示输入的变量图片,i为计划的编
号;yi表示对应放疗计划x的医学标签,i为计划编号。
对值,θ表示整个模型的所有参数值,||θ||表示对整个模型的所有参数进行平方和相加;λ
表示控制模型复杂度的参数,δ为控制预测误差的经验参数,其值被设定为1;otherwise表
示如果不满足第一个if条件的其他值,则都将用第二行的公式计算误差值。
列关系,并通过对每个放疗计划给出一个gamma通过率,从而可以对放疗计划是否合格能更
快速准确的得到预测,节省医生时间,进而可以更好的辅助医生判断放疗计划的好坏,能够
进一步提高对患者的治疗效果和保证患者的生命安全。
方法中,进一步提升了结果,通过通量图来判断VMAT放疗计划质量的方法,且这种方法是直
接基于计划本身的,不用使用其他软件提取参数。
系更加紧密,提取特征的效果更好,同时也更能够提取到图片之间的序列特征。
附图说明
具体实施方式
差范围。误差的容忍范围越大,则表明该放疗计划越容易通过,所以其gamma通过率越高。所
以最终每个计划将得到三个标签,作为最终的预测目标;
划最终得到了182张通量图,为探究其连续性,一个放疗计划的182张通量图按顺序排列并
调整成相同大小;
1,练集的数据与测试集的数据是随机的,可以避免偶然性。
次用于计算;
最大池化层和一个平均池化层,分别对应于图2中的maxpool操作和avgpool操作,最大池化
层能够从设定参数的空间大小中搜索最大的数值并输入到箭头指向的卷积层中作为该层
输入,平均池化层能够从设定参数的空间大小中求取所有参数的平均值并输入到箭头指向
的卷积层中作为该层输入;
采用了一个全连接层,对应于图2中的FC操作,全连接层能够改变数据的维度,将前一层卷
积层的输出维度转化为全连接层想要获取的维度;
的8次层与层之间的跳跃连接,残差分为直接残差连接和间接残差连接,分别为图中的实线
箭头跳跃和虚线箭头跳跃,直接残差连接能将箭头起点层训练获得的数值通过箭头方向直
接传递到箭头终点层以提升模型的特征提取能力,间接残差连接则是会在获取数值之后,
将这些值再次输入到一个单独的卷积层进行一层卷积操作,随后将得到的值再通过虚线方
向传递到箭头终点层。
层,FC为全连接层;1×1×1、3×3×3、7×7×7为卷积层中卷积核的大小,方框中最后一个
数字代表卷积层的输出通道数,箭头的含义为两层之间相互连接运行,其中,层次之间的实
线跨越连接箭头表示该次网络向前运算时会跳过中间层计算一次,虚线的跨越连接表示跳
过中间层计算时会多计算一层对应方框的卷积层操作;
神经网络由神经元以及神经元之间的连接组成,神经网络分为输入层、隐藏层和输出层,隐
层神经元本质上是在逼近输入数据与其特征之间的高度非线性关系,深度神经网络与浅层
神经网络相比,“深度”体现在隐层数量更多,连接方式更加灵活和复杂,能够用相比浅层网
络少得多的参数获得输入数据到其特征之间的映射关系,也就是说,深度神经网络学习到
输入数据特征的能力更加强大,为了提取到更多的通量图之间的序列特征,整个神经网络
全部采用3D的卷积核,所以在提取特征时不会局限于一张图的二维平面上,而是直接以一
种三维的角度来提取信息,这样能一定程度上考虑到图片之间的序列特点;
的结构,这种结构能够让特征直接跳跃多层,从而避免模型梯度消失或者爆炸的出现,这种
跳跃连接使得层与层之间的联系更加紧密,提取特征的效果更好,同时也更能够提取到图
片之间的序列特征,整个模型训练过程包括以下步骤:
络输入,每个放疗计划包含182张图片,每个放疗计划xi为4维向量,其维度的表示方法为:
图片通道数×图片长度×图片宽度×图片张数,其对应标签yi介于0到1之间,且越靠近1,
则表示该放疗计划的通过率越高,其中,xi表示输入的变量图片,i为计划的编号;yi表示对
应放疗计划x的医学标签,i为计划编号;
池化层和一个全连接层;
不断地迭代训练出稳定的分类网络,其中,预测误差的计算公式如下:
对值,θ表示整个模型的所有参数值,||θ||表示对整个模型的所有参数进行平方和相加;λ
表示控制模型复杂度的参数,,在这里设置为0.00001;δ为控制预测误差的经验参数,其值
被设定为1;otherwise表示如果不满足第一个if条件的其他值,则都将用第二行的公式计
算误差值。
3mm标准;由于在不同的误差容忍情况下,同一个放疗计划的标签通过率不同,所以我们会
训练三个不同的模型以适应三种不同的情况,在测试数据集上,结果如下表所示:
2%/2mm 94.20 1.89 2.12 7.82
3%/2mm 97.37 1.12 1.23 4.46
3%/3mm 98.68 0.74 0.70 3.28
采取90%的通过率作为临床指导,即小于90%则为不通过,通过判断每个放疗计划的通过
率即可筛选出不合格的放疗计划,这些不合格的放疗计划将会被放疗医师重新设计以更好
的适应患者的病情,从而辅助性地检验了放疗计划设计的好坏,从而提升临床治疗效果。
并通过对每个放疗计划给出一个gamma通过率,从而可以对放疗计划是否合格能更快速准
确的得到预测,节省医生时间,进而可以更好的辅助医生判断放疗计划的好坏,能够进一步
提高对患者的治疗效果和保证患者的生命安全。
权利要求书为准。