本发明公开了一种基于三维区域生成网络的肺结节检测方法，属于医疗图像检测领域。该发明方法包括：首先，对包含肺实质的图像数据集进行划分和预处理；其次，在肺结节检测网络结构设计上，构建了SRI模块和SI模块，用于图像编码和解码操作；在训练数据集上，采用交叉熵和Smooth L1函数损失，以随机梯度下降法来优化网络。在测试阶段，将预处理后的测试数据集输入优化后的网络来检测候选肺结节，然后使用非极大值抑制进一步确定肺结节。本发明方法针对肺结节大小差异较大特点，在网络构建和训练上充分利用空间和通道信息，改善了网络对肺结节检测的能力，通过实验表明能够获得较好的肺结节检测精度和检测的有效性。
1.一种基于三维区域生成网络的肺结节检测方法，其特征在于，该方法包括以下步骤：步骤S1：构建包含肺实质的图像数据集，并将包含肺实质的图像数据集划分为训练集和测试集；
步骤S2：图像数据预处理，首先提取肺实质，然后进行图像归一化，之后对数据集切取固定大小的立方体块，最终得到网络的输入数据集；
步骤S3：面向肺结节检测的三维区域生成网络构建，具体过程如下输入数据集通过步骤S3构建的网络对肺结节进行检测，在训练过程中，损失函数由交叉熵和smooth L1函数组成，用于计算网络的误差，然后采用随机梯度下降法对网络不断的进行优化，直到达到最优；对于每个锚点来说，损失函数定义为：L＝λLcls+pLreg (1)
在公式(1)中，λ＝0.5，p是锚点为正样本的情况下为1，其他情况下为0；交叉熵损失函数表示为：其中，y为预选框的实际标签，a为预测的概率，x表示样本，n表示样本的总数；
公式(3)中，t＝(tx,ty,tz,td)为结节的实际边框，即肺结节在x,y,z轴上的位置和其直径d，为预测的肺结节的边框；其中Smooth L1函数的数学表达式为：S3中面向肺结节检测的三维区域生成网络构建具体包括以下过程：一、编码阶段
首先使用3×3×3卷积，然后交错堆叠四个SRI模块和SI模块，最后再使用3×3×3卷积；在解码阶段，使用解卷积、SRI模块和Dropout操作，并采用Concat层弥补了高层特征的损失，然后使用锚点anchor来构造肺结节的预选框，最后分类层和回归层给出预选框的置信度分数和坐标；
(1)Inception结构：包括一个3×3×3卷积，带有1×1×1卷积的3×3×3卷积，和带有1×1×1卷积的两个3×3×3卷积，这三个分支级联，然后，使用1×1×1的卷积恢复特征图的个数；
(2)挤压激励结构，通过全局平均池化，全连接层(FC)，ReLU激活函数、Sigmod函数，通过SE模块对特征层加权重；
(3)ResNet结构，主要利用残差网的shortcut原理；
(4)将这三个部分进行组合，得到最终的SRI模块；
最后将得到的特征层与上一级的特征图进行加操作，最终得到本层的特征图并输入到下一层；
(1)Inception结构：包括1×1×1的卷积与带有1×1×1卷积的3×3×3卷积，带有1×1×1卷积的5×5×5卷积，带有1×1×1卷积的2×2×2最大池化层，这四个分支级联，其中卷积操作中的步长为2；
(2)挤压激励结构，通过SE模块对特征层进行加权；
(3)将步骤(2)中计算值与步骤(1)中的特征图进行乘法操作，最终得到本层的特征图并输入到下一层；
步骤S5：面向肺结节检测的三维区域生成网络测试，具体包括以下过程：将采用滑窗方式对预处理的测试数据集切取的立方体块输入到优化后的网络来检测肺结节，然后使用非极大值抑制NMS进一步确定肺结节，其阈值设置为0.1。
2.根据权利要求1所述的一种基于三维区域生成网络的肺结节检测方法，其特征在于：所述的步骤3所述的挤压激励结构，具体结构如下：
假设输入到SE层的特征U，其大小为w×h×d×C，其中C表示通道数，w×h×d为特征的大小；对于挤压操作，它主要利用了网络的全局信息，即采用了全局平均池化操作实现，以第2c层的特征uc为例，其表示为：式中：uc经过全局平均池化操作后的输出zc，是U经过挤压操作之后的特征z中的一个元素，其中z∈RC；对于激励操作，主要用于捕捉通道间的相关性，其函数表示为：s＝Fex(z ,W)＝σ(W2δ(z ,W1z)) (5)式中：s∈RC,δ是ReLU激活函数，σ表示Sigmoid函数，W为全连接层的参数，用于减少特征维度，用于增加特征维度，这里用到的r大小为16；
一种基于三维区域生成网络的肺结节检测的方法
技术领域
[0001] 本发明涉及医疗图像检测领域，更具体地说，涉及一种基于三维区域生成网络的肺结节检测的方法。
背景技术
[0002] 肺癌是造成人口死亡率增加的主要原因之一。但由于早期肺癌没有明显的症状，当人们发现时，肺癌就已经到了晚期，因此早发现、早治疗对降低肺癌的死亡率的具有重要的意义。
[0003] 随着医疗影像技术的提高，高分辨率扫描使得图像数量增加，开发计算机辅助检测技术能够有效的提高肺结节诊断的效率。然而，由于肺结节和周围组织较相似，且肺结节大小差异较大等特点，肺结节的自动检测研究仍然是一项艰巨的任务。近年来，深度卷积神经网络在图像分类和目标检测等任务上表现出了优异的性能。随着大量肺部图像数据集的公开，深度卷积网络也逐渐成为肺结节检测的主流方法。
[0004] 本发明考虑肺结节大小差异较大的特点，从充分利用网络中卷积层间的空间和通道间的信息着手，以三维区域卷积神经网络(RCNN)结构为基础，将挤压激励网络(SENet)、残差网络(ResNet)和Inception网络相结合，在网络中堆叠挤压激励‑残差‑Inception(SRI)模块和挤压激励‑Inception(SI)模块，并通过端到端训练方式来优化肺结节检测网络，在数据集上的实验结果表明了本发明方法用于肺结节检测的有效性。
发明内容
[0005] 针对现有技术的局限性，本发明的目的是提出一种基于三维区域生成网络的肺结节检测的方法，即在三维卷积神经网络架构中引入SRI模块和SI模块，SRI模块和SI模块利用了挤压激励网络、残差网络、Inception网络原理，更好的利用了网络中卷积层间的空间和通道间的信息，从而提高网络整体检测性能。
[0006] 本发明所提出的一种基于三维区域生成网络的肺结节检测的方法包括以下步骤：
[0007] 步骤S1：构建包含肺实质的图像数据集，并将包含肺实质的图像数据集划分为训练集和测试集，比例设置为9:1；
[0008] 步骤S2：图像数据预处理，具体包括以下过程：首先提取肺实质，然后进行图像归一化，之后对数据集切取固定大小的立方体块，最终得到网络的输入数据集；
[0009] 步骤S3：面向肺结节检测的基于三维区域生成网络构建，具体包括以下过程：
[0010] 一、编码阶段，首先使用3×3×3卷积，然后交错堆叠四个SRI模块和SI模块，最后再使用3×3×3卷积；在解码阶段，使用解卷积、SRI模块和Dropout操作，并采用Concat层弥补了高层特征的损失，然后使用锚点(anchor)来构造肺结节的预选框，最后分类层和回归层给出预选框的置信度分数和位置坐标。
[0011] 二、构建SRI模块，它首先一个3×3×3卷积，带有1×1×1卷积的3×3×3卷积，和带有1×1×1卷积的两个3×3×3卷积，这三个分支级联，然后，使用1×1×1的卷积恢复特征图的个数。之后，通过全局平均池化，2个全连接层(FC)，ReLU激活函数、Sigmoid函数得到的向量，对特征图加权重，最后将得到的特征图与上一层特征图进行加操作，最终得到本层的特征图并输入到下一层。
[0012] 三、构建SI模块，一个1×1×1的卷积与带有1×1×1卷积的3×3×3卷积，带有1×1×1卷积的5×5×5卷积，带有1×1×1卷积的2×2×2最大池化层，这四个分支级联，然后，它通过SE模块对特征层进行加权，最终得到本层的特征图并输入到下一层。
[0013] 以下具体介绍SE原理：
[0014] 本发明在SRI和SI中采用了挤压激励模块(Squeeze and Excitation Block)，用于模拟通道之间的相互依赖性并重新对特征加权，强调了重要特征并抑制通道之间的无用特征，使网络更加强大。它包括挤压和激励两个操作。具体原理如下：
[0015] 假设输入到SE模块的特征U，其大小为w×h×d×C。其中C表示通道数，w×h×d为特征的大小。
[0016] 对于挤压操作，它主要利用了网络的全局信息，即采用了全局平均池化操作实现。以第c层的特征uc为例，其可以表示为：
[0017]
[0018] 式中：uc经过全局平均池化操作后的输出zc,是U经过挤压操作之后的特征z中的一C个元素，其中z∈R。
[0019] 对于激励操作，主要用于捕捉通道间的相关性，其函数可以表示为：
[0020] s＝Fex(z,W)＝σ(W2δ(z,W1z)) (2)
[0021] 式中：s∈RC,δ是ReLU激活函数，σ表示Sigmoid函数，W为全连接层的参数，用于减少特征维度， 用于增加特征维度，这里用到的r大小为16。
[0022] 最后，经过SE模块后的特征Y可以表示为：
[0023]
[0024] 式中：表示通道乘法。
[0025] 步骤S4：面向肺结节检测的基于三维区域生成网络训练，具体包括以下过程：
[0026] 输入数据集通过步骤3构建的网络对肺结节进行检测，在训练过程中，损失函数由交叉熵和smooth L1函数组成，用于计算网络的误差，然后采用随机梯度下降法对网络不断的进行优化，直到达到最优。
[0027] 对于每个锚点(anchor)来说，损失函数可以定义为：
[0028] L＝λLcls+pLreg (4)
[0029] 在公式(4)中，λ＝0.5，p是anchor为正样本的情况下为1，其他情况下为0。
[0030] 交叉熵损失函数可表示为：
[0031]
[0032] 其中，y为预选框的实际标签，a为预测的概率，x表示样本，n表示样本的总数。
[0033] Smooth L1损失函数可以表示为：
[0034]
[0035] 公式(6)中，t＝(tx,ty,tz,td)为结节的实际边框，即肺结节在x,y,z轴上的位置和其直径
[0036] d， 为预测的肺结节的边框。
[0037] 其中Smooth L1函数的数学表达式为:
[0038]
[0039] 步骤S5：面向肺结节检测的基于三维区域生成网络测试，具体包括以下过程：将采用滑窗方式对预处理的测试数据集切取的立方体块输入到优化后的网络来检测肺结节，得到候选肺结节，使用非极大值抑制(NMS)进一步确定肺结节，其阈值设置为0.1。
[0040] 本发明的有益效果：从肺结节大小的差异和网络的空间和通道间的信息这两个问题着手，改善了网络对肺结节检测的能力，在实验结果上表明了本发明方法用于肺结节检测的有效性。
附图说明
[0041] 图1是本发明所涉及的基于三维区域生成网络的肺结节检测的方法的流程示意图；
[0042] 图2是本发明基于三维区域生成网络框架示意图；
[0043] 图3是本发明方法中构建的SRI模块结构示意图；
[0044] 图4是本发明方法中构建的SI模块结构示意图；
[0045] 图5是本发明方法中构建的SE模块结构示意图。
具体实施方式
[0046] 下面结合附图和实施例对本发明作进一步说明。
[0047] 本发明采用LUNA16数据集，包含10份数据，共有888个病例包含肺结节的个数为1186个，它具有的特点如下：
[0048] (1)每个切片的厚度均不大于2.5mm
[0049] (2)每个结节的直径均不小于3mm
[0050] (3)至少有3名放射医师进行标注
[0051] 本发明的评价指标：自由响应受试者操作特性曲线(FROC)表示每个病例中假阳性结节在0.125、0.25、0.5、1.0、2.0、4.0、8.0这七个点下的平均灵敏度。使用FROC指标对测试集中预测得到的结节进行评估。
[0052] 本发明网络模型如图2所示，本发明解决其技术问题的具体步骤如下：
[0053] 步骤S1：构造数据库
[0054] 本发明将数据集划分为训练集与测试集，他们的比例设置为9:1，用于十折交叉验证；
[0055] 步骤S2：图像数据预处理
[0056] 首先，使用肺实质掩码，与图像进行乘法，然后将数据集加窗到[‑1200,600]，之后，将像素处理到[0,255]，由于GPU的限制，将训练数据切成固定大小的立方体小块，最后，进行数据增强，即随机翻转等操作。
[0057] 步骤S3：肺结节检测的基于三维区域生成网络的构建
[0058] 一、构建SRI模块，如图3所示，(1)Inception结构：包括一个3×3×3卷积，带有1×1×1卷积的3×3×3卷积，和带有1×1×1卷积的两个3×3×3卷积，这三个分支级联，然后，使用1×1×1的卷积恢复特征图的个数，其中卷积层操作的步长为1，padding为1，并且每个卷积层后面都添加了批量归一化和ReLU函数；(2)挤压激励(SE)结构，如图5所示，包括全局平均池化，2个全连接层(FC)，ReLU激活函数、Sigmoid函数。经过(1)后的特征通过SE结构得到的向量，用于对其加权重；(3)ResNet结构，主要利用残差网的shortcut原理；(4)将以上三个部分进行组合，得到最终的SRI模块。
[0059] 二、构建SI模块，如图4所示，(1)Inception结构：包括1×1×1的卷积与带有1×1×1卷积的3×3×3卷积，带有1×1×1卷积的5×5×5卷积，带有1×1×1卷积的2×2×2最大池化层，这四个分支级联，其中卷积操作中的步长为2，每个卷积层后面都添加了批量归一化和ReLU函数；(2)挤压激励(SE)结构，如图5所示，经过(1)后的特征通过SE结构得到的向量对其进行加权。(3)将以上两个步骤进行组合得到SI模块。
[0060] 网络架构如图2，在编码阶段，首先使用3×3×3卷积，然后交错堆叠四个SRI模块和SI模块，最后再使用3×3×3卷积；在解码阶段，使用解卷积、SRI模块和Dropout操作，并采用Concat层弥补了高层特征的损失，然后使用5，10，20三个锚点来构造肺结节的预选框，最后分类层和回归层给出预选框的置信度分数和位置坐标。
[0061] 步骤S4：肺结节检测的基于三维区域生成网络的训练
[0062] 如图2网络结构，输入数据(图像大小为96×96×96)经过步骤S3构建的网络得到了大小为24×24×24×5×3的输出，其中3代表锚点(anchor)的个数，5代表预测的区域信息参数的个数，即区域的位置及概率。然后经过交叉熵函数，计算对anchor分类预测的概率与真实标签之间的误差，使用smooth L1函数用于计算预测位置与实际肺结节的位置之间的误差，之后，利用随机梯度下降法优化网络参数。
[0063] 网络参数初始化，设置训练的学习率为(10‑5～10‑3)，权重衰减为0.0001，设置训练批次为12，训练代数为150。
[0064] 步骤S5：肺结节检测的基于三维区域生成网络的测试
[0065] 在测试阶段，采用滑窗方式对预处理的测试数据集切取的立方体块输入到优化后的网络来检测肺结节，然后使用非极大值抑制(NMS)进一步确定肺结节。在这个过程中，检测概率阈值设置为‑2，具有IoU阈值的NMS设置为0.1。
[0066] 对测试得到的肺结节求取每个病例中假阳性结节在0.125、0.25、0.5、1.0、2.0、4.0、8.0这七个点下的平均灵敏度。表1给出了最终结果。
[0067] 表1 LUNA16数据集上得到的实验结果
[0068]方法 FROC 灵敏度(％)
本发明方法 0.850 94.8
[0069] 综上所述，本发明提出的基于三维区域生成网络的肺结节检测的方法，在三维CNN中使用两个SRI和SI模块来提取不同尺度感受野的特征，并重新加权到不同通道的特征上，以提高网络的性能。所提出的方法在公开可用的LUNA16数据集中得到验证。实验结果表明，该方法的是可行的，提升的网络的性能。
[0070] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围内。
