一种内窥镜荧光图像的分割方法、装置及存储介质转让专利

申请号 : CN201711304683.X

文献号 : CN107977969B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 迟崇巍王丽

申请人 : 北京数字精准医疗科技有限公司

摘要 :

本发明提供了一种内窥镜荧光图像的分割方法、装置及存储介质。所述方法包括:获取卷积神经网络,卷积神经网络是通过将采集到的荧光图像,随机选取其中的一部分图像作为训练集,在选取的图像中,分割出感兴趣的目标图像并添加标签,将训练集中以超过设定阈值的像素点为中心的图像块及其标签输入到神经网络中进行训练得到的;获取待处理的内窥镜荧光图像,将待处理的内窥镜荧光图像输入到卷积神经网络中,得到图像分割结果。本发明利用卷积神经网络,将光学手术导航内窥镜荧光图像的分割问题转化为了图像像素点的二分类问题,通过对整个系统的不断训练和优化,有效克服了光学手术导航内窥镜荧光图像的非匀质性,准确地提取出了图像中的感兴趣目标。

权利要求 :

1.一种内窥镜荧光图像的分割方法,其特征在于,包括:获取卷积神经网络,所述卷积神经网络是通过将采集到的荧光图像,随机选取其中的一部分图像作为训练集,在选取的图像中,分割出感兴趣的目标图像并添加标签,将所述训练集中以超过设定阈值的像素点为中心的图像块及其标签输入到神经网络中进行训练得到的;

获取待处理的内窥镜荧光图像,将所述待处理的内窥镜荧光图像输入到所述卷积神经网络中,得到图像分割结果;

其中,所述卷积神经网络是通过将采集到的荧光图像,随机选取其中的一部分图像作为训练集,在选取的图像中,分割出感兴趣的目标图像并添加标签,将所述训练集中以超过设定阈值的像素点为中心的图像块及其标签输入到神经网络中进行训练得到的,包括:采集一系列荧光图像,随机选取所述荧光图像中的其中一部分图像作为训练集,在每张训练集的图像中,随机选取子图像;

分割出所述子图像中的感兴趣的图像作为目标图像,并给分割出的目标图像和背景图像添加标签;

从分割出的所述背景图像中,随机选取一些像素值,将其中像素值的最大值设为图像分割的设定阈值;

将所述训练集中以超过所述设定阈值的像素点为中心的图像块及其标签值输入到神经网络中进行训练,得到所述卷积神经网络。

2.根据权利要求1所述的内窥镜荧光图像的分割方法,其特征在于,所述训练得到的卷积神经网络通过最小化交叉熵损失使分类结果正确的概率达到最大,其中损失函数的定义为:其中,N表示输入所述卷积神经网络的训练像素的编号,yn表示实际标签值,包括0和1,表示所述卷积神经网络的输出。

3.根据权利要求1至2任一项所述的内窥镜荧光图像的分割方法,其特征在于,获取的卷积神经网络包括卷积层、最大池化层以及全连接层;

在所述卷积层,将输入的所述待处理的内窥镜荧光图像经卷积运算变成为输出特征图;

在所述最大池化层,在所述输出特征图中选取特征子集;

在所述全连接层,获取所述特征子集之间的相互关系,得到每一特征子集属于目标图像或者背景图像的概率值。

4.根据权利要求3所述的内窥镜荧光图像的分割方法,其特征在于,所述获取待处理的内窥镜荧光图像,将所述待处理的内窥镜荧光图像输入到所述卷积神经网络中,得到图像分割结果,具体包括:步骤1:以一个像素点为中心选取33*33的图像块,将所述选取的图像块输入到第一卷积层,所述第一卷积层的卷积核大小为16@5*5,卷积运算定义如下:Fj=PReLu(∑Cij*Fi+Bj);

其中,符号*代表二维的卷积运算,Fi和Fj分别表示第i张输入特征图和第j张输出特征图,Cij表示Fi和Fj之间的卷积核,Bj表示Fj的偏差;

参数修正线性单元PReLu作为非线性激活函数,定义如下:其中,f为一个泛函变量,α表示可训练参数,初始值为0.2;

步骤2:经过步骤1的运算之后,将所述第一卷积层的输出输入到第一最大池化层进行最大池化,以获取特征子集,定义如下:Pj(r,c)=maxw∈{0,1}Fj(r.s+w,c.s+w);

其中,Pj(r,c)表示第j张特征图中坐标(r,c)处的像素值,w表示方形池化窗的尺寸,池化步骤s的值设置为2;

步骤3:将所述第一最大池化层的输出输入到第二卷积层,所述第二卷积层的卷积核大小为32@5*5;

步骤4:将所述第二卷积层的输出输入到第二最大池化层,进行最大池化;

步骤5:将所述第二最大池化层的输出输入到第三卷积层,所述第三卷积层的卷积核大小为64@5*5;

步骤6:将所述第三卷积层的输出输入到全连接层,以获取特征子集之间的相互关系;

所述全连接层包括两层,第一层含有64个单元,第二层含有128个单元;

使用PReLu作为激活函数,输出值与输入值之间的关系为:其中,uj表示第二个全连接层中的第j个输出值,ui表示第一个全连接层中的第i个输入值,wij表示uj和ui之间的权重,θj表示uj的偏差;

使用一个二值的softmax函数将激活函数值uj转化为分类标签的概率值,该函数的定义为:其中,pk表示属于第k个分类的概率,k=1表示属于感兴趣区域,即目标图像。

5.一种内窥镜荧光图像的分割装置,其特征在于,包括:获取模块,用于获取卷积神经网络,所述卷积神经网络是通过将采集到的荧光图像,随机选取其中的一部分图像作为训练集,在选取的图像中,分割出感兴趣的目标图像并添加标签,将所述训练集中以超过设定阈值的像素点为中心的图像块及其标签输入到神经网络中进行训练得到的;

处理模块,用于获取待处理的内窥镜荧光图像,将所述待处理的内窥镜荧光图像输入到所述卷积神经网络中,得到图像分割结果;

其中,所述获取模块包括:

获取子图像单元,用于采集一系列荧光图像,随机选取所述荧光图像中的其中一部分图像作为训练集,在每张训练集的图像中,随机选取子图像;

分割单元,用于分割出所述子图像中的感兴趣的图像作为目标图像,并给分割出的目标图像和背景图像添加标签;

获取设定阈值单元,用于从分割出的所述背景图像中,随机选取一些像素值,将其中像素值的最大值设为图像分割的设定阈值;

生成卷积神经网络单元,用于将所述训练集中以超过所述设定阈值的像素点为中心的图像块及其标签值输入到神经网络中进行训练,得到所述卷积神经网络。

6.根据权利要求5所述的内窥镜荧光图像的分割装置,其特征在于,所述获取模块获取的卷积神经网络包括卷积层、最大池化层以及全连接层;

在所述卷积层,将输入的所述待处理的内窥镜荧光图像经卷积运算变成为输出特征图;

在所述最大池化层,在所述输出特征图中选取特征子集;

在所述全连接层,获取所述特征子集之间的相互关系,得到每一特征子集属于目标图像或者背景图像的概率值。

7.根据权利要求6所述的内窥镜荧光图像的分割装置,其特征在于,所述处理模块用于获取待处理的内窥镜荧光图像,将所述待处理的内窥镜荧光图像输入到所述卷积神经网络中,得到图像分割结果,具体包括:所述卷积神经网络包括第一卷积层、第二卷积层、第三卷积层、第一最大池化层、第二最大池化层以及全连接层;其中,在所述第一卷积层,以一个像素点为中心选取33*33的图像块,将所述选取的图像块输入到所述第一卷积层,所述第一卷积层的卷积核大小为16@5*5,卷积运算定义如下:Fj=PReLu(∑Cij*Fi+Bj);

其中,符号*代表二维的卷积运算,Fi和Fj分别表示第i张输入特征图和第j张输出特征图,Cij表示Fi和Fj之间的卷积核,Bj表示Fj的偏差;

参数修正线性单元PReLu作为非线性激活函数,定义如下:其中,f为一个泛函变量,α表示可训练参数,初始值为0.2;

在所述第一最大池化层,将所述第一卷积层的输出输入到第一最大池化层进行最大池化,以获取特征子集,定义如下:Pj(r,c)=maxw∈{0,1}Fj(r.s+w,c.s+w);

其中,Pj(r,c)表示第j张特征图中坐标(r,c)处的像素值,w表示方形池化窗的尺寸,池化步骤s的值设置为2;

在所述第二卷积层,将所述第一最大池化层的输出输入到第二卷积层,所述第二卷积层的卷积核大小为32@5*5;

在所述第二最大池化层,将所述第二卷积层的输出输入到第二最大池化层,进行最大池化;

在所述第三卷积层,将所述第二最大池化层的输出输入到第三卷积层,所述第三卷积层的卷积核大小为64@5*5;

在所述全连接层,将所述第三卷积层的输出输入到全连接层,以获取特征子集之间的相互关系;

所述全连接层包括两层,第一层含有64个单元,第二层含有128个单元;

使用PReLu作为激活函数,输出值与输入值之间的关系为:其中,uj表示第二个全连接层中的第j个输出值,ui表示第一个全连接层中的第i个输入值,wij表示uj和ui之间的权重,θj表示uj的偏差;

使用一个二值的softmax函数将激活函数值uj转化为分类标签的概率值,该函数的定义为:其中,pk表示属于第k个分类的概率,k=1表示属于感兴趣区域,即目标图像。

8.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的内窥镜荧光图像的分割方法。

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1至4任一项所述的内窥镜荧光图像的分割方法的计算机程序。

说明书 :

一种内窥镜荧光图像的分割方法、装置及存储介质

技术领域

[0001] 本发明涉及医学分子影像领域,尤其涉及一种内窥镜荧光图像分割方法、装置及存储介质。

背景技术

[0002] 医学影像处理与分析是近年来兴起的交叉学科,使医学影像逐渐由胶片向数字化发展。传统的医学影像技术只是获得人体某一断层的影像数据,然后医生通过胶片进行诊断或显示器进行观测。但是,医生所能观测到的仅仅是二维图像,并且只能以固定的方式对图像进行观察,所得到的诊断结果带有主观性的经验判断,很大程度上取决于医生的临床经验。而通过图形图像技术,可以对影像数据进行任意放大、缩小、旋转、三维重建等处理,使得医生可以从多方位、多层次的观察角度对影像数据进行详细的观察,从而极大地提高了诊断水平。医学影像处理与分析涉及的研究内容主要包括医学图像分割、医学图像配准、三维可视化部分。
[0003] 随着医学影像技术在临床医学的成功应用,图像分割在医学影像应用中正扮演着越来越重要的作用。图像分割不仅是从特定组织图像中提取定量信息不可或缺的手段,也是后处理和可视化实现的基础。图像分割的目的是将有特定含义的区域区分开来,且任意两个区域不存在交集,而每一个区域都满足特定区域的一致性。然而,由于医学图像自身的复杂性和多样性,至今医学图像分割也没有找到一个统一完美的解决方案。由于医学图像成像原理和生物组织本身的特异性,图像生成时不可避免地受到诸如噪声、局部体效应和组织运动形变等影响,而造成医学图像具有模糊、不均匀等特点。另外,人的解剖结构非常复杂,并且因人而异,这些都给医学图像分割带来了很大困难。
[0004] 应该注意,上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明,并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

[0005] 本发明实施例提出了一种基于卷积神经网络的内窥镜荧光图像分割方法、装置及存储介质,通过卷积神经网络的结构设计和训练,有效地提取出了图像中的感兴趣目标。
[0006] 在本发明一实施例中,提出一种内窥镜荧光图像的分割方法,包括:获取卷积神经网络,所述卷积神经网络是通过将采集到的荧光图像,随机选取其中的一部分图像作为训练集,在选取的图像中,分割出感兴趣的目标图像并添加标签,将所述训练集中以超过设定阈值的像素点为中心的图像块及其标签输入到神经网络中进行训练得到的;获取待处理的内窥镜荧光图像,将所述待处理的内窥镜荧光图像输入到所述卷积神经网络中,得到图像分割结果。
[0007] 在本发明另一实施例中,提出一种内窥镜荧光图像的分割装置,包括:获取模块,用于获取卷积神经网络,所述卷积神经网络是通过将采集到的荧光图像,随机选取其中的一部分图像作为训练集,在选取的图像中,分割出感兴趣的目标图像并添加标签,将所述训练集中以超过设定阈值的像素点为中心的图像块及其标签输入到神经网络中进行训练得到的;处理模块,用于获取待处理的内窥镜荧光图像,将所述待处理的内窥镜荧光图像输入到所述卷积神经网络中,得到图像分割结果。
[0008] 在本发明另一实施例中,提出一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的内窥镜荧光图像的分割方法。
[0009] 在本发明另一实施例中,提出一种计算机可读存储介质,所述计算机可读存储介质存储有执行所述的内窥镜荧光图像的分割方法的计算机程序。
[0010] 本发明实施例提出的内窥镜荧光图像的分割方法、装置及存储介质,利用卷积神经网络,将光学手术导航内窥镜荧光图像的分割问题转化为了图像像素点的二分类问题,通过对整个系统的不断训练和优化,有效地克服了光学手术导航内窥镜荧光图像的非匀质性,准确地提取出了图像中的感兴趣目标;并且,在最后一次卷积运算中,利用Dropout运算和Batch Normalization提高了整个神经网络的运算速度,而且在卷积神经网络的训练过程中,利用泽维尔算法对神经网络进行初始化,同时使用随机梯度下降算法对参数进行更新,有效地提高了训练速度。
[0011] 参照后文的说明和附图,详细公开了本发明的特定实施方式,指明了本发明的原理可以被采用的方式。应该理解,本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内,本发明的实施方式包括许多改变、修改和等同。
[0012] 针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
[0013] 应该强调,术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在,但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

[0014] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0015] 图1为本发明实施例的内窥镜荧光图像的分割方法的处理流程图;
[0016] 图2为本发明实施例的卷积神经网络的训练方法的处理流程图;
[0017] 图3为本发明的内窥镜荧光图像的分割方法的一具体实施例的处理流程图;
[0018] 图4为本发明实施例的内窥镜荧光图像的分割装置的结构示意图;
[0019] 图5为本发明实施例的卷积神经网络的结构示意图。

具体实施方式

[0020] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0021] 本领域技术技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
[0022] 下面参考本发明的若干代表性实施方式,详细阐释本发明的原理和精神。
[0023] 本发明实施例基于分子影像中的荧光图像分割技术,提出了一种基于卷积神经网络的内窥镜荧光图像分割方法。该方法采用了卷积神经网络,将光学手术导航内窥镜荧光图像的分割问题转化为图像像素点的分类问题,即将图像的像素点分为背景和前景两个类,最终给出这个像素点是背景和前景的概率,如果某个像素点是背景的概率大于是前景的概率,那么它就是背景,反之是前景。本发明所公开的内窥镜荧光图像分割方法,克服了图像强度的非匀质性,能够有效地提取出荧光图像中的感兴趣目标。
[0024] 图1为本发明实施例的内窥镜荧光图像的分割方法的处理流程图。如图1所述,包括:
[0025] 步骤S101,获取卷积神经网络,所述卷积神经网络是通过将采集到的荧光图像,随机选取其中的一部分图像作为训练集,在选取的图像中,分割出感兴趣的目标图像并添加标签,将所述训练集中以超过设定阈值的像素点为中心的图像块及其标签输入到神经网络中进行训练得到的;
[0026] 步骤S102,获取待处理的内窥镜荧光图像,将所述待处理的内窥镜荧光图像输入到所述卷积神经网络中,得到图像分割结果。
[0027] 具体实施时,在步骤S101中,所述卷积神经网络是通过将采集到的荧光图像,随机选取其中的一部分图像作为训练集,并将所述训练集中超过阈值的像素点为中心的图像块及其标签输入到神经网络中进行训练得到的,如图2所示,其具体训练过程包括以下步骤:
[0028] 步骤S21:采集一系列荧光图像,随机选取所述荧光图像中的其中一部分图像作为训练集,在每张训练集的图像中,随机选取子图像,例如500*500的子图像;
[0029] 步骤22:分割出所述子图像中的感兴趣的图像作为目标图像,并给分割出的目标图像和背景图像添加标签;
[0030] 步骤23:从分割出的背景图像中,随机选取一些像素值,将其中像素值的最大值设为图像分割的设定阈值;
[0031] 步骤24:将所述训练集中以超过所述设定阈值的像素点为中心的图像块及其标签值输入到神经网络中进行训练,得到所述卷积神经网络。
[0032] 本实施例中,可以通过最小化交叉熵损失使分类结果正确的概率达到最大,损失函数的定义为:
[0033]
[0034] 其中,N表示输入所述卷积神经网络的训练像素的编号,yn表示实际标签值,包括0和1, 表示所述卷积神经网络的输出。
[0035] 本发明实施例中,在进行卷积神经网络的训练时,可以使用泽维尔算法对该卷积神经网络的参数进行初始化,同时,利用随机梯度下降算法对该卷积神经网络的参数进行更新,以有效的提高训练速度。
[0036] 本发明实施例中,得到的卷积神经网络包括:
[0037] 卷积层,用于将输入特征图经卷积运算变为输出特征图。其中,卷积核的大小表示为:卷积滤波器数量@滤波器宽*滤波器高;
[0038] 最大池化层,用于选取特征子集;
[0039] 全连接层,用于获取特征值之间的相互关系,得到所述每一特征值属于目标图像或者背景图像的概率值。
[0040] 为了增加分割的准确率,可以将卷积神经网络设计为包括第一卷积层、第二卷积层、第三卷积层、第一最大池化层、第二最大池化层以及全连接层。
[0041] 具体实施时,如图3所示,在步骤S102中,所述获取待处理的内窥镜荧光图像,将所述待处理的内窥镜荧光图像输入到所述卷积神经网络中,得到图像分割结果,具体包括以下步骤:
[0042] 步骤S1021:以一个像素点为中心选取33*33的图像块,将这个图像块输入到第一卷积层。第一卷积层的卷积核大小为16@5*5,卷积运算定义如下:
[0043] Fj=PReLu(∑Cij*Fi+Bj);
[0044] 其中,符号*代表二维的卷积运算;Fi和Fj分别表示第i张输入特征图和第j张输出特征图;Cij表示Fi和Fj之间的卷积核;Bj表示Fj的偏差;
[0045] 参数修正线性单元(PReLu)作为非线性激活函数,定义如下:
[0046]
[0047] 其中,f为一个泛函变量,α表示可训练参数,初始值为0.2;
[0048] 步骤S1022:经过步骤S1021的运算之后,将所述第一卷积层的输出输入到第一最大池化层进行最大池化,以获取特征子集,定义如下:
[0049] Pj(r,c)=maxw∈{0,1}Fj(r.s+w,c.s+w);
[0050] 其中,Pj(r,c)表示第j张特征图中坐标(r,c)处的像素值,w表示方形池化窗的尺寸,池化步骤s的值设置为2;
[0051] 步骤S1023:将所述第一最大池化层的输出输入到第二卷积层,所述第二卷积层的卷积核大小为32@5*5;
[0052] 步骤S1024:将所述第二卷积层的输出输入到第二最大池化层,进行最大池化;
[0053] 步骤S1025:将所述第二最大池化层的输出输入到第三卷积层,所述第三卷积层的卷积核大小为64@5*5,并进行Dropout运算和Batch Normalization运算,以加快运算速度,并规范化第三卷积层的输出;
[0054] 步骤S1026:将第三卷积层的输出值输入到全连接层,以获取特征值之间的相互关系。所述全连接层包括两层,第一层含有64个单元,第二层含有128个单元;
[0055] 使用PReLu作为激活函数,输出值与输入值之间的关系为:
[0056]
[0057] 其中,uj表示第二个全连接层中的第j个输出值,ui表示第一个全连接层中的第i个输入值,wij表示uj和ui之间的权重,θj表示uj的偏差。
[0058] 使用一个二值的softmax函数将激活函数值uj转化为分类标签的概率值,该函数的定义为:
[0059]
[0060] 其中,pk表示属于第k个分类的概率,k=1表示属于感兴趣区域,即目标图像。
[0061] 本发明上述实施例提出的内窥镜荧光图像的分割方法,利用卷积神经网络,将光学手术导航内窥镜荧光图像的分割问题转化为了图像像素点的二分类问题,通过对整个系统的不断训练和优化,有效地克服了光学手术导航内窥镜荧光图像的非匀质性,准确地提取出了图像中的感兴趣目标;并且,在最后一次卷积运算中,利用Dropout运算和Batch Normalization提高了整个神经网络的运算速度,而且在卷积神经网络的训练过程中,利用泽维尔算法对神经网络进行初始化,同时使用随机梯度下降算法对参数进行更新,有效地提高了训练速度。
[0062] 具体实施时,本实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意一种内窥镜荧光图像的分割方法。
[0063] 具体实施时,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述任意一种内窥镜荧光图像的分割方法的计算机程序。
[0064] 基于同一发明构思,本发明实施例中还提供了一种内窥镜荧光图像的分割装置,如下面的实施例所述。由于内窥镜荧光图像的分割装置解决问题的原理与前述的内窥镜荧光图像的分割方法相似,因此内窥镜荧光图像的分割装置的实施可以参见内窥镜荧光图像的分割方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
[0065] 图4为本发明实施例的内窥镜荧光图像的分割装置的结构示意图。如图4所示,包括:
[0066] 获取模块101,用于获取卷积神经网络,所述卷积神经网络是通过将采集到的荧光图像,随机选取其中的一部分图像作为训练集,在选取的图像中,分割出感兴趣的目标图像并添加标签,将所述训练集中以超过设定阈值的像素点为中心的图像块及其标签输入到神经网络中进行训练得到的;
[0067] 处理模块102,用于获取待处理的内窥镜荧光图像,将所述待处理的内窥镜荧光图像输入到所述卷积神经网络中,得到图像分割结果。
[0068] 在本实施例中,所述获取模块101获取的卷积神经网络包括卷积层、最大池化层以及全连接层;
[0069] 在所述卷积层,将输入的所述待处理的内窥镜荧光图像经卷积运算变成为输出特征图;
[0070] 在所述最大池化层,在所述输出特征图中选取特征子集;
[0071] 在所述全连接层,获取所述特征值之间的相互关系,得到所述每一特征值属于目标图像或者背景图像的概率值。
[0072] 如图5所示,本发明一具体实施例的卷积神经网络包括第一卷积层、第二卷积层、第三卷积层、第一最大池化层、第二最大池化层以及全连接层;其中,
[0073] 在所述第一卷积层,以一个像素点为中心选取33*33的图像块,将所述选取的图像块输入到所述第一卷积层,所述第一卷积层的卷积核大小为16@5*5,卷积运算定义如下:
[0074] Fj=PReLu(∑Cij*Fi+Bj);
[0075] 其中,符号*代表二维的卷积运算,Fi和Fj分别表示第i张输入特征图和第j张输出特征图,Cij表示Fi和Fj之间的卷积核,Bj表示Fj的偏差;
[0076] 参数修正线性单元PReLu作为非线性激活函数,定义如下:
[0077]
[0078] 其中,f为一个泛函变量,α表示可训练参数,初始值为0.2;
[0079] 在所述第一最大池化层,将所述第一卷积层的输出输入到第一最大池化层进行最大池化,以获取特征子集,定义如下:
[0080] Pj(r,c)=maxw∈{0,1}Fj(r.s+w,c.s+w);
[0081] 其中,Pj(r,c)表示第j张特征图中坐标(r,c)处的像素值,w表示方形池化窗的尺寸,池化步骤s的值设置为2;
[0082] 在所述第二卷积层,将所述第一最大池化层的输出输入到第二卷积层,所述第二卷积层的卷积核大小为32@5*5;
[0083] 在所述第二最大池化层,将所述第二卷积层的输出输入到第二最大池化层,进行最大池化;
[0084] 在所述第三卷积层,将所述第二最大池化层的输出输入到第三卷积层,所述第三卷积层的卷积核大小为64@5*5;
[0085] 在所述全连接层,将所述第三卷积层的输出输入到全连接层,以获取特征值之间的相互关系;
[0086] 所述全连接层包括两层,第一层含有64个单元,第二层含有128个单元;
[0087] 使用PReLu作为激活函数,输出值与输入值之间的关系为:
[0088]
[0089] 其中,uj表示第二个全连接层中的第j个输出值,ui表示第一个全连接层中的第i个输入值,wij表示uj和ui之间的权重,θj表示uj的偏差;
[0090] 使用一个二值的softmax函数将激活函数值uj转化为分类标签的概率值,该函数的定义为:
[0091]
[0092] 其中,pk表示属于第k个分类的概率,k=1表示属于感兴趣区域,即目标图像。
[0093] 本发明提出的上述内窥镜荧光图像的分割方法及装置,利用卷积神经网络,将光学手术导航内窥镜荧光图像的分割问题转化为了图像像素点的二分类问题,通过对整个系统的不断训练和优化,有效地克服了光学手术导航内窥镜荧光图像的非匀质性,准确地提取出了图像中的感兴趣目标;并且,在最后一次卷积运算中,利用Dropout运算和Batch Normalization提高了整个神经网络的运算速度,而且在卷积神经网络的训练过程中,利用泽维尔算法对神经网络进行初始化,同时使用随机梯度下降算法对参数进行更新,有效地提高了训练速度。
[0094] 本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0095] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0096] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0097] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0098] 本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。