一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统转让专利
申请号 : CN201910527716.X
文献号 : CN110232383B
文献日 : 2021-07-02
发明人 : 不公告发明人
申请人 : 湖南省华芯医疗器械有限公司
摘要 :
权利要求 :
1.一种基于深度学习模型的病灶图像识别方法,其特征在于,包括如下步骤:S101.获取待检测医疗图像;
S102.对所述待检测医疗图像进行图像分割处理,得到若干个互不相交的待检测区域图像;
S300.获取多种不同器官组织的标准医疗图像,然后针对每种器官组织的标准医疗图像,分别提取出对应的标准图像轮廓特征;
S103.针对每个待检测区域图像,先提取图像轮廓特征,然后将所述图像轮廓特征逐一地与各种器官组织的标准图像轮廓特征进行相似度计算,将相似度最高且相似度超过第二阈值的器官组织作为识别出的对应器官组织,若根据提取的图像轮廓特征识别出对应的器官组织,则依次执行步骤S301~S302:S301.根据器官组织识别结果确定适用的且已完成病灶图像识别训练的深度学习模型,然后将待检测区域图像导入到该深度学习模型中进行预测运算,得到对应的病灶图像识别类型和病灶图像识别准确率,其中,所述病灶图像识别类型包括无病灶类型和有病灶类型;
S302.若得到的病灶图像识别类型为有病灶类型且病灶图像识别准确率不小于第一阈值,则在所述待检测医疗图像上且与待检测区域图像对应的位置标记得到的病灶图像识别类型和病灶图像识别准确率;
S104.输出完成病灶标记的医疗图像。
2.如权利要求1所述的一种基于深度学习模型的病灶图像识别方法,其特征在于:在所述步骤S101中,所述待检测医疗图像为血管摄影图像、心血管造影图像、电脑断层扫描图像、乳房摄影图像、正子发射断层扫描图像、核磁共振成像图像和医学超音波检查图像。
3.如权利要求1所述的一种基于深度学习模型的病灶图像识别方法,其特征在于:在所述步骤S102中,所述进行图像分割处理的方式为基于阈值的图像分割方式、基于区域生长法的图像分割方式、基于变形模型的图像分割方式、基于图论的图像分割方式、基于聚类的图像分割方式或基于分类的图像分割方式。
4.如权利要求1所述的一种基于深度学习模型的病灶图像识别方法,其特征在于:采用基于点分布模型的ASM算法提取图像中的图像轮廓特征。
5.如权利要求1所述的一种基于深度学习模型的病灶图像识别方法,其特征在于,在所述步骤S301之前,按照如下步骤S201~S203对适用于某个器官组织的深度学习模型进行病灶图像识别训练:
S201.获取该器官组织的样本医疗图像以及与各个样本医疗图像绑定的已标注病灶图像识别类型,其中,针对各种病灶图像识别类型,对应样本医疗图像的数目不少于1000张;
S202.将各个样本医疗图像及对应的已标注病灶图像识别类型作为一次训练样本,导入到深度学习模型中进行病灶图像识别训练,其中,将样本医疗图像作为样本输入数据,将与样本医疗图像对应的已标注病灶图像识别类型作为样本校验数据;
S203.在病灶图像识别训练过程中,根据训练所得的病灶图像识别类型与样本校验数据的匹配结果,不断优化深度学习模型,直到完成训练或者直到训练所得的病灶图像识别类型与样本校验数据的匹配率达到第三阈值。
6.如权利要求1所述的一种基于深度学习模型的病灶图像识别方法,其特征在于,在所述步骤S301中且将待检测区域图像导入到确定的深度学习模型之前:对该待检测区域图像进行缩放处理,使处理后的图像尺寸长度或宽度与样本医疗图像一致。
7.如权利要求1所述的一种基于深度学习模型的病灶图像识别方法,其特征在于:在所述步骤S301中,所述深度学习模型采用基于CNN架构的卷积神经网络模型。
8.一种基于深度学习模型的病灶图像识别系统,其特征在于:包括图像获取模块、图像分割模块、器官识别模块、深度学习模块、病灶标记模块和图像输出模块;
所述图像获取模块,用于获取待检测医疗图像;
所述图像分割模块,通信连接所述图像获取模块,用于对获取的待检测医疗图像进行图像分割处理,得到若干个互不相交的待检测区域图像;
所述器官识别模块,通信连接所述图像分割模块,用于获取多种不同器官组织的标准医疗图像,然后针对每种器官组织的标准医疗图像,分别提取出对应的标准图像轮廓特征,以及用于针对每个待检测区域图像,先提取图像轮廓特征,然后将所述图像轮廓特征逐一地与各种器官组织的标准图像轮廓特征进行相似度计算,将相似度最高且相似度超过第二阈值的器官组织作为识别出的对应器官组织;
所述深度学习模块,通信连接所述器官识别模块,用于根据器官组织识别结果确定适用的且已完成病灶图像识别训练的深度学习模型,然后将待检测区域图像导入到该深度学习模型中进行预测运算,得到对应的病灶图像识别类型和病灶图像识别准确率,其中,所述病灶图像识别类型包括无病灶类型和有病灶类型;
所述病灶标记模块,分别通信连接所述图像获取模块和所述深度学习模块,用于当发现得到的病灶图像识别类型为有病灶类型且病灶图像识别准确率大于第一阈值时,在所述待检测医疗图像上且与待检测区域图像对应的位置标记得到的病灶图像识别类型和病灶图像识别准确率;
所述图像输出模块,通信连接所述病灶标记模块,用于输出完成病灶标记的医疗图像。
说明书 :
一种基于深度学习模型的病灶图像识别方法及病灶图像识别
系统
技术领域
背景技术
Computerized tomography)、乳房摄影图像(Mammography)、正子发射断层扫描图像(PET,
Positron emission tomography)、核磁共振成像图像(NMRI,Nuclear magnetic
resonance imaging)和医学超音波检查图像(Medical ultrasonography)等。但是对于病
灶的发现或识别,仍是医生凭借专业知识用肉眼去判断是否有发生病变问题,如此在病变
初期,由于病灶往往比较微小,很容易被忽略,同时在诸如支气管等器官组织的观察中,由
于需要察看部位比较多,而医生需要每一个部位仔细观察,大大增强了医生的工作强度。因
此,如何减轻医生的工作强度并快速及早地发现病情,是一个急需解决的问题。
发明内容
像识别类型和病灶图像识别准确率,其中,所述病灶图像识别类型包括无病灶类型和有病
灶类型;
识别类型和病灶图像识别准确率;
超音波检查图像。
分割方式、基于聚类的图像分割方式或基于分类的图像分割方式。
特征进行相似度计算,将相似度最高且相似度超过第二阈值的器官组织作为识别出的对应
器官组织。
张;
据,将与样本医疗图像对应的已标注病灶图像识别类型作为样本校验数据;
识别类型与样本校验数据的匹配率达到第三阈值。
一致。
度学习模型中进行预测运算,得到对应的病灶图像识别类型和病灶图像识别准确率,其中,
所述病灶图像识别类型包括无病灶类型和有病灶类型;
所述待检测医疗图像上且与待检测区域图像对应的位置标记得到的病灶图像识别类型和
病灶图像识别准确率;
影像的分割以及对应器官组织的影像识别、深度学习模型预测和预测结果图上标记,可以
替代医生发现医疗图像中的潜在病情,并自动地在医疗图像上进行病灶组织的识别标记,
以便提醒医生做进一步的诊断,及时确诊病情,进而能够减轻医生的工作强度,及时确诊是
否有病变发生,避免耽搁病情的治疗时机,尤其有助于早期病变的发现。
附图说明
发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以
根据这些附图获得其他的附图。
具体实施方式
开的特定结构和功能细节仅用于描述本发明的示例实施例。然而,可用很多备选的形式来
体现本发明,并且不应当理解为本发明限制在本文阐述的实施例中。
一单元称作第二单元,并且类似地可以将第二单元称作第一单元,同时不脱离本发明的示
例实施例的范围。
在A和B三种情况;对于本文中可能出现的术语“/和”,其是描述另一种关联对象关系,表示
可以存在两种关系,例如,A/和B,可以表示:单独存在A,单独存在A和B两种情况;另外,对于
本文中可能出现的字符“/”,一般表示前后关联对象是一种“或”关系。
另一个单元“直接相连”或“直接耦合”时,表示不存在中间单元。另外,应当以类似方式来解
释用于描述单元之间的关系的其他单词(例如,“在……之间”对“直接在……之间”“, 相邻”
对“直接相邻”等等)。
明确指示相反意思。还应当理解,若术语“包括”、“包括了”、“包含”和/或“包含了”在本文中
被使用时,指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性,并且不排除一个
或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。
可以以相反的顺序来执行连续示出的两个图。
例如可以在框图中示出系统,以避免用不必要的细节来使得示例不清楚。在其他实例中,可
以不以不必要的细节来示出众所周知的过程、结构和技术,以避免使得示例实施例不清楚。
摄影图像、心血管造影图像、电脑断层扫描图像、乳房摄影图像、正子发射断层扫描图像、核
磁共振成像图像和医学超音波检查图像等。
待检测区域图像中可能还没有器官组织的影像),以便后续对单个器官组织是否为病灶组
织进行有效识别。具体的,所述进行图像分割处理的方式可以但不限于为基于阈值的图像
分割方式、基于区域生长法的图像分割方式、基于变形模型的图像分割方式、基于图论的图
像分割方式、基于聚类的图像分割方式或基于分类的图像分割方式等,前述图像分割处理
方式均为现有技术,于此不在赘述。
模型(Point Distribution Model,PDM)的算法,在PDM中,对于外形相似的物体,例如心脏、
肺部等的几何形状可以通过由若干关键特征点的坐标依次串联形成一个形状向量来表示,
如此在采用ASM算法对所述待检测区域图像进行处理后,可以提取到对应的图像轮廓特征。
括有如下步骤:S300.获取多种不同器官组织的标准医疗图像,然后针对每种器官组织的标
准医疗图像,分别提取出对应的标准图像轮廓特征。其中,仍然可以但不限于采用基于点分
布模型的ASM算法提取标准医疗图像中的图像轮廓特征。
似度计算,将相似度最高且相似度超过第二阈值的器官组织作为识别出的对应器官组织。
其中,所用到的相似度计算算法为现有算法,所述第二阈值既可是预先设定的门限值,也可
以是默认值,例如50%。由于存在不能识别出对应器官组织的情况,即所有相似度都低于所
述第二阈值或所述待检测区域图像中就没有器官组织的影像,如此可跳过步骤S301~
S302。
像识别类型和病灶图像识别准确率,其中,所述病灶图像识别类型包括无病灶类型和有病
灶类型。
象不同,它们的图像识别特征也必然不同,因此需要选择不同的且已完成对应病灶图像识
别训练的深度学习模型来进行预测。所述深度学习模型是一种应用类似于大脑神经突触联
接的结构进行信息化处理的数学计算模型,其由大量的节点(或称神经元)和之间相互联接
构成,且每个节点代表一种特定的输出函数,称为激励函数(activation function);每两
个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神
经网络的记忆;网络的输出则依赖神经网络的连接方式、权重值和激励函数的不同而不同。
由此所述深度学习模型可以通过一个基于数学统计学类型的学习方法(Learning Method)
得以优化,具有自学习功能、联想存储功能和高速寻找优化解的功能等特点和优越性。具体
的,所述深度学习模型可以但不限于采用基于CNN架构的卷积神经网络模型,其中,CNN
(Convolutional Neural Networks,卷积神经网络)是一类神经网络的总称,可以通过
Caffe(CNN架构的一种具体实现)来实现,使预测模型具有上手快、速度快、可模块化、开放
性好和社区性好等特点。在通过深度学习模型进行预测运算后,会自动输出与待检测区域
图像对应的病灶图像识别类型和病灶图像识别准确率。另外,所述有病灶类型还可以根据
病情种类和严重程度进行进一步地细分,例如针对肺部,还可以细分为肺结核早期、肺结核
中期、肺结核晚期、肺肿瘤早期、肺肿瘤中期和肺肿瘤晚期等。
病灶图像识别训练:S201.获取该器官组织的样本医疗图像以及与各个样本医疗图像绑定
的已标注病灶图像识别类型,其中,针对各种病灶图像识别类型,对应样本医疗图像的数目
不少于1000张;S202.将各个样本医疗图像及对应的已标注病灶图像识别类型作为一次训
练样本,导入到深度学习模型中进行病灶图像识别训练,其中,将样本医疗图像作为样本输
入数据,将与样本医疗图像对应的已标注病灶图像识别类型作为样本校验数据;S203.在病
灶图像识别训练过程中,根据训练所得的病灶图像识别类型与样本校验数据的匹配结果,
不断优化深度学习模型,直到完成训练或者直到训练所得的病灶图像识别类型与样本校验
数据的匹配率达到第三阈值。在所述步骤S203中,所述第三阈值既可是预先设定的门限值,
也可以是默认值,例如99%。当所述深度学习模型采用基于Caffe架构(即CNN架构的一种具
体实现形式)的卷积神经网络模型时,可以利用由accuracy层得来的识别准确率作为训练
所得的病灶图像识别类型与样本校验数据的匹配率,识别准确率越高,即匹配率越高,匹配
性越好。此外,为了进一步提升预测准确性,优化的,在所述步骤S301中且将待检测区域图
像导入到确定的深度学习模型之前:对该待检测区域图像进行缩放处理,使处理后的图像
尺寸长度或宽度与样本医疗图像一致。
识别类型和病灶图像识别准确率。
醒医生进行进一步的诊断,及时确诊病情。
以及对应器官组织的影像识别、深度学习模型预测和预测结果图上标记,可以替代医生发
现医疗图像中的潜在病情,并自动地在医疗图像上进行病灶组织的识别标记,以便提醒医
生做进一步的诊断,及时确诊病情,进而能够减轻医生的工作强度,及时确诊是否有病变发
生,避免耽搁病情的治疗时机,尤其有助于早期病变的发现。
学习模块、病灶标记模块和图像输出模块;所述图像获取模块,用于获取待检测医疗图像;
所述图像分割模块,通信连接所述图像获取模块,用于对获取的待检测医疗图像进行图像
分割处理,得到若干个互不相交的待检测区域图像;所述器官识别模块,通信连接所述图像
分割模块,用于提取待检测区域图像的图像轮廓特征,然后根据提取的图像轮廓特征识别
出对应的器官组织;所述深度学习模块,通信连接所述器官识别模块,用于根据器官组织识
别结果确定适用的且已完成病灶图像识别训练的深度学习模型,然后将待检测区域图像导
入到该深度学习模型中进行预测运算,得到对应的病灶图像识别类型和病灶图像识别准确
率,其中,所述病灶图像识别类型包括无病灶类型和有病灶类型;所述病灶标记模块,分别
通信连接所述图像获取模块和所述深度学习模块,用于当发现得到的病灶图像识别类型为
有病灶类型且病灶图像识别准确率大于第一阈值时,在所述待检测医疗图像上且与待检测
区域图像对应的位置标记得到的病灶图像识别类型和病灶图像识别准确率;所述图像输出
模块,通信连接所述病灶标记模块,用于输出完成病灶标记的医疗图像。
可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实
际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员
在不付出创造性的劳动的情况下,即可以理解并实施。
例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。而这些修改或者
替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
制,本发明的保护范围应当以权利要求书中界定的为准,并且说明书可以用于解释权利要
求书。