结节识别模型训练方法、结节识别方法及装置转让专利
申请号 : CN202010137630.9
文献号 : CN111369524B
文献日 : 2021-07-27
发明人 : 刘恩佑 , 张欢 , 赵朝炜 , 李新阳 , 陈宽 , 王少康
申请人 : 推想医疗科技股份有限公司
摘要 :
权利要求 :
1.一种结节识别模型训练方法,其特征在于,包括:根据已标记正样本标识对应的像素点数量和正负样本比例范围确定检测窗;将所述检测窗内未标记的像素点设置负样本标识;将所述检测窗外未标记的像素点设置非样本标识;
获取样本图像,其中,所述样本图像中各像素点设置有标识,所述标识包括正样本标识、负样本标识和非样本标识;
将所述样本图像输入至待训练的结节识别模型中,基于所述待训练的结节识别模型的识别结果确定各像素点的损失函数;
根据所述样本图像中各像素点标识和所述标识为正样本标识和所述负样本标识的各像素点的损失函数,确定所述样本图像对应的损失函数;
基于所述样本图像对应的损失函数对所述待训练的结节识别模型进行训练,生成结节识别模型。
2.根据权利要求1所述的方法,其特征在于,所述根据已标记正样本标识对应的像素点数量和正负样本比例范围确定检测窗,包括:根据已标记正样本标识对应的像素点数量和正负样本比例范围确定预设形状的检测窗的尺寸;
根据所述已标记正样本标识对应的像素点区域位置,确定所述检测窗的位置,所述已标记正样本标识对应的像素点区域位置位于所述检测窗的中心区域。
3.根据权利要求1所述的方法,其特征在于,所述根据所述样本图像中各像素点的标识和各像素点的损失函数,确定所述样本图像对应的损失函数,包括:根据预设处理规则,将标识为正样本标识和负样本标识的像素点的损失函数进行处理,得到所述样本图像对应的损失函数。
4.根据权利要求1所述的方法,其特征在于,所述样本图像包括由三维肺部数据切片得到的多个二维样本图像,其中,所述将所述样本图像输入至待训练的结节识别模型中,包括:
对于当前二维样本图像,将所述当前二维样本图像、所述当前二维样本图像之前的第一预设数量的二维样本图像和所述当前二维样本图像之后的第二预设数量的二维样本图像,输入至待训练的结节识别模型中。
5.根据权利要求1所述的方法,其特征在于,所述结节识别模型包括特征提取模块、空洞卷积模块和解码模块,其中,所述特征提取模块包括残差块子网络和特征金字塔子网络,所述残差块子网络和特征金字塔子网络横向连接,所述解码模块包括依次连接的第一数量的反卷积块和第二数量的卷积块。
6.一种结节识别方法,其特征在于,包括:获取待识别的肺部图像,将所述肺部图像输入至预先训练的结节识别模型中,得到所述肺部图像的结节识别结果,其中,所述结节识别模型基于如权利要求1‑5任一所述结节识别模型训练方法训练得到。
7.根据权利要求6所述的方法,其特征在于,所述将所述肺部图像输入至预先训练的结节识别模型中,得到所述肺部图像的结节识别结果,包括:将待识别的三维肺部图像切片处理为多个二维肺部图像;
对于任一待识别的二维肺部图像,将待识别的二维肺部图像、待识别的二维肺部图像之前的第一预设数量的二维肺部图像和所述待识别的二维肺部图像之后的第二预设数量的二维肺部图像,输入至预先训练的结节识别模型中,得到所述待识别的二维肺部图像的结节识别结果;
将各二维肺部图像的结节识别结果进行对齐和拼接处理,得到所述肺部图像的结节识别结果。
8.一种结节识别模型训练装置,其特征在于,包括:样本获取模块,用于获取样本图像,其中,所述样本图像中各像素点设置有标识,所述标识包括正样本标识、负样本标识和非样本标识;
第一损失函数确定模块,用于将所述样本图像输入至待训练的结节识别模型中,基于所述待训练的结节识别模型的识别结果确定各像素点的损失函数;
第二损失函数确定模块,用于根据所述样本图像中各像素点的标识和所述标识为正样本标识和所述负样本标识的各像素点的损失函数,确定所述样本图像对应的损失函数;
模型训练模块,用于基于所述样本图像对应的损失函数对所述待训练的结节识别模型进行训练,生成结节识别模型;
其中,样本获取模块包括:检测窗确定单元,用于根据已标记正样本标识对应的像素点数量和正负样本比例范围确定检测窗;负样本标识设置单元,用于将所述检测窗内未标记的像素点设置负样本标识;非样本标识设置单元,用于将所述检测窗外未标记的像素点设置非样本标识。
9.一种结节识别装置,其特征在于,包括:肺部图像获取模块,用于获取待识别的肺部图像;
结节识别模块,用于将所述肺部图像输入至预先训练的结节识别模型中,得到所述肺部图像的结节识别结果,其中,所述结节识别模型基于如权利要求1‑5任一所述结节识别模型训练方法训练得到。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1‑5中任一项所述的结节识别模型训练方法或者如权利要求6或7所述的结节识别方法。
11.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时实现如权利要求1‑5中任一项所述的结节识别模型训练方法或者如权利要求6或7所述的结节识别方法。
说明书 :
结节识别模型训练方法、结节识别方法及装置
技术领域
背景技术
测精度。
在不同环境中造成的不同程度的影响。但是,由于结节的大小、形状以及密度等特征的不确
定性,目前训练得到的深度神经网络对结节的识别精度低,无法适应不同的结节。
发明内容
施例提供的结节识别模型训练方法训练得到。
识别模型训练方法训练得到。
如本发明任意实施例提供的一种结节识别模型训练方法或者结节识别方法。
节识别模型训练方法或者结节识别方法。
素点对待训练的结节识别模型进行监督训练,由于正负样本标识的设置数量满足比例范
围,保证了正负样本平衡,避免了肺部结节大小不确定性导致的结节识别模型训练难度大,
识别精度差的问题,同时通过设置非样本标识,并在训练过程中忽略非样本标识的监督作
用,可避免在像素点标记过程中对结节区域遗漏导致的对模型训练的错误干扰,减少人为
操作的失误。
附图说明
具体实施方式
于描述,附图中仅示出了与本发明相关的部分而非全部结构。
节识别模型训练装置来执行,该装置可通过软件和/或硬件的方式实现,该装置可以集成与
诸如服务器或者计算机等电子设备中。该方法具体包括如下步骤:
节的样本和不存在样本的样本图像,通过不同类型人物的样本数据对结节识别模型进行训
练,以提高结节识别模型的鲁棒性。
标识和非样本标识,其中,样本图像中的结节区域中像素点设置有正样本标识,样本图像中
除结节区域以外的区域中部分像素点设置有负样本标识,部分像素点设置有非样本标识,
示例性的,正样本标识可以是1,负样本标识可以是0,非样本标识可以是‑1。
区域的大量无效计算以及正负样本数量不平衡的问题,本实施例中,通过设置有正样本标
识、负样本标识的像素点对结节识别模型的预测结果进行监督训练,不对非样本标识对应
的图像区域进行监督训练。同时由于存在结节区域很小,不易观察的情况,且同一样本图像
中可以是包括至少一个结节区域,通过设置非样本标识,以半监督的方式进行结节识别模
型的训练,避免在设置标识时遗漏结节区域,影响结节识别模型的训练精度的情况。
例如,正负样本标识的数量级的比例可以是0:2‑0:3,相应的,数量比例可以是1:100至1:
1000。
将所述检测窗外未标记的像素点设置非样本标识。其中,正样本标识为用户手动设置,获取
的样本图像中已标记有正样本标识。检测窗为尺寸可调、可移动的窗口,用于区分样本区域
和非样本区域,检测窗的形状可以是矩形或圆形,本实施例中不做限定。其中,检测窗以内
的区域为样本区域,检测窗以外的区域为非样本区域。检测窗以内的区域包括正样本区域
和负样本区域,即检测窗以内的区域中设置有正样本标识以外的像素点为负样本,设置负
样本标识,相应的,检测窗以外的区域中各像素点设置非样本标识。
状的检测窗的尺寸;根据所述已标记正样本标识对应的像素点区域位置,确定所述检测窗
的位置,所述已标记正样本标识对应的像素点区域位置位于所述检测窗的中心区域。
节区域的中心位置确定检测窗的中心位置,例如,可以是将结节区域的中心位置确定为检
测窗的中心位置,或者检测窗的中心位置可以是在结节区域的中心位置的预设范围内。保
持检测窗的中心位置不变,调节检测窗的尺寸,以使检测窗内正负样本数量满足预设比例
范围即可。
识,检测窗20以内且结节区域10以外的像素点设置负样本标识,肺部图像30中,检测窗20以
外的像素点设置非样本标识。通过检测窗快速划分样本区域和非样本区域,提高负样本标
识和非样本标识的设置效率,简化了像素点的标识设置过程,避免了人工设置标识的大量
工作量。
部数据可以是三维肺部数据,示例性的,可以是521×512×400的三维数据,可以将三维肺
部数据进行切片处理,得到400张521×512的二维样本图像,基于二维样本图像对结节识别
模型进行训练。
图像和所述当前二维样本图像之后的第二预设数量的二维样本图像,输入至待训练的结节
识别模型中。
高结节区域的预测精度。其中,第一预设数量和第二预设数量可以相同或不同,示例性的,
第一预设数量和第二预设数量可以是4。当前二维样本图像之前和之后的样本图像数量小
于第一预设数量或第二预设数量时,例如第一个样本图像,可以是通过像素点均为0或者
255的图像进行替代。
节识别模型,基于反向梯度下降法调节结节识别模型中的网络参数,其中结节识别模型可
以是神经网络模型,调节的参数可以是但不限于权重。
的像素点的损失函数进行处理,得到所述样本图像对应的损失函数。本实施例中,可以是将
正样本标识和负样本标识的像素点的损失函数的累加值确定为样本图像的损失函数,还可
以是将正样本标识和负样本标识的像素点的损失函数的均值确定为样本图像的损失函数。
值为0;训练mask在对应pixel的标记类别为i,Softmax(f)i为通过soft max函数对(f)i的处
理,其中f为标记类别为i的特征信息。对于本发明而言,这个类别为2个分别是前景和背景。
其中,mask表征的是整图对应的区域,N是图中有效像素点的数量。
扰,同时减少了训练过程中计算量,提高训练效率。
识别模型。
对待训练的结节识别模型进行监督训练,由于正负样本标识的设置数量满足比例范围,保
证了正负样本平衡,避免了肺部结节大小不确定性导致的结节识别模型训练难度大,识别
精度差的问题,同时通过设置非样本标识,并在训练过程中忽略非样本标识的监督作用,可
避免在像素点标记过程中对结节区域遗漏导致的对模型训练的错误干扰,减少人为操作的
失误。
所述特征提取模块包括残差块子网络和特征金字塔子网络,所述残差块子网络和特征金字
塔子网络横向连接,所述解码模块包括依次连接的第一数量的反卷积块和第二数量的卷积
块。
金字塔子网络将浅层网络提取的特征与深层网络提取的特征进行融合后进一步处理,提高
了特征提取的全面性。
率的空洞卷积提取的特征不同,扩展率小,可提取细节特征,扩展率大,可提取轮廓特征。特
征提取模块的输出结果分别输入至各空洞卷积中,并对各空洞卷积的结果进行融合,可实
现对细节特征和轮廓特征的提取和融合,提高了特征提取的全面性和准确性,避免特征信
息的遗漏。
训练得到。
任一待识别的二维肺部图像,将待识别的二维肺部图像、待识别的二维肺部图像之前的第
一预设数量的二维肺部图像和所述待识别的二维肺部图像之后的第二预设数量的二维肺
部图像,输入至预先训练的结节识别模型中,得到所述待识别的二维肺部图像的结节识别
结果。
行切片处理,得到多个二维肺部图像,并对每一个二维肺部图基于结节识别模型进行结节
处理。其中,对于每一个二维肺部图像,同时将该二维肺部图像和之前、之后的二维肺部图
像同时输入至训练好的结节识别模型中,通过该二维肺部图像之前、之后的二维肺部图像
提供辅助,以提高二维肺部图像的结节识别精度。
像素值为0,非结节区域的像素点的像素值为255,通过将每一个二维肺部图像的识别结果
进行对齐和拼接,得到目标对象的三维肺部结节,便于用户进行直观的查看。
本图像,输入至待训练的结节识别模型中。
塔子网络横向连接,所述解码模块包括依次连接的第一数量的反卷积块和第二数量的卷积
块。
节识别模型训练方法训练得到。
应对本发明实施例的功能和使用范围带来任何限制。
系统存储器28和处理单元16)的总线18。
例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)
总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可
移动的、非易失性磁介质(图7未显示,通常称为“硬盘驱动器”)。尽管图7中未示出,可以提
供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光
盘(例如CD‑ROM,DVD‑ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器
可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产
品,该程序产品具有一组程序模块,这些程序模块被配置以执行本发明各实施例的功能。
些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块46通常执行本发明所
描述的实施例中的功能和/或方法。
子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)
通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,电子设备12还可以通过网络适
配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)
通信。如图所示,网络适配器20通过总线18与电子设备12的其它模块通信。应当明白,尽管
图中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设
备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系
统等。
方法。
结节识别方法。
关操作。
存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、系统或
器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具
有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器
(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD‑
ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储
介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、系统或者器件
使用或者与其结合使用。
编码、各视频片段的特征编码等形式。计算机可读的信号介质还可以是计算机可读存储介
质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执
行系统、系统或者器件使用或者与其结合使用的程序。
括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全
地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在
用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及
远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域
网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商
来通过因特网连接)。
单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行
了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还
可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。