一种基于医学图像的结节检测方法、装置及电子设备

摘要

一种基于医学图像的结节检测方法，该方法以基于医学图像的图像序列作为输入，通过粗检测网络对候选结节进行定位并输出第一预测分数；以经粗检测网络定位的候选结节所对应的图像序列，通过假阳性抑制网络进行分类训练，得到待定结节及其第二预测分数；构建待定结节的单个特征，基于多个所述待定结节的单个特征构建全局特征，将所述单个特征及所述全局特征拼接为融合特征，进行回归训练后输出第三预测分数，完成结节检测结果。解决了现有技术中针对磨玻璃结节及特殊位置的效果不佳的问题。

权利要求

1.一种基于医学图像的结节检测方法，其特征在于，包括以下步骤：

以基于医学图像的图像序列作为输入，通过粗检测网络对候选结节进行定位并输出第一预测分数；

以经粗检测网络定位的候选结节所对应的图像序列，通过假阳性抑制网络进行分类训练，得到待定结节及其第二预测分数；

构建待定结节的单个特征，基于多个所述待定结节的单个特征构建全局特征，将所述单个特征及所述全局特征拼接为融合特征，进行回归训练后输出第三预测分数；

所述全局特征通过如下方法构造：选择所有待定结节的前n个单个特征进行拼接，构成全局特征，若病例待定结节少于n，则在空位以0填充，保证与全局特征长度相等；

所述待定结节的单个特征以其在假阳性抑制网络中的特征参数，结合人工特征而构建；

所述待定结节的所述人工特征包含待定结节经粗检测网络的所述第一预测分数、经假阳性抑制网络的所述第二预测分数、结节形态特征中的一种或多种参数。

2.根据权利要求1所述的基于医学图像的结节检测方法，其特征在于，所述粗检测网络采用特征金字塔网络进行特征提取，分类训练中采用焦点损失函数作为损失函数。

3.根据权利要求1所述的基于医学图像的结节检测方法，其特征在于，所述假阳性抑制网络采用3D卷积神经网络。

4.根据权利要求1至3中任一项所述的基于医学图像的结节检测方法，其特征在于，构建全局特征通过以下的方式进行：选择所有待定结节的前n个单个特征进行拼接，若病例的待定结节少于n，则在空位以0填充；对于融合特征采用梯度提升决策树进行回归训练。

5.根据权利要求4所述的基于医学图像的结节检测方法，其特征在于，所述n为20-30。

6.根据权利要求1至3中任一项所述基于医学图像的结节检测方法，其特征在于，还包括使用分割网络对检测到的结节提取轮廓信息以计算形态特征，所述形态特征包含结节的长径、短径、等效直径、体积、Hu值中的一中或多种。

7.根据权利要求6所述的基于医学图像的结节检测方法，其特征在于，所述分割网络为

3D U-Net分割网络。

8.根据权利要求1至3中任一项所述基于医学图像的结节检测方法，其特征在于，还包括随访配准步骤，所述随访匹配步骤通过对同一病例不同时期医学图像进行图像配准，通过计算不同时期的肺结节间的欧氏距离，将满足阈值设定的结节间连边建图，选取连通分量之中距离最小的结节对作为最终的配对结果，建立不同时期的图像中结节对应关系，辅助医生对于旧结节的变化和新结节进行识别和分析。

9.根据权利要求1至3中任一项所述基于医学图像的结节检测方法，其特征在于，所述医学图像来自肺部CT图像。

10.根据权利要求4中所述基于医学图像的结节检测方法，其特征在于，所述医学图像来自肺部CT图像。

11.根据权利要求6中所述基于医学图像的结节检测方法，其特征在于，所述医学图像来自肺部CT图像。

12.根据权利要求8中所述基于医学图像的结节检测方法，其特征在于，所述医学图像来自肺部CT图像。

13.一种基于医学图像的结节检测装置，其特征在于，包括图像获取单元，获取待处理的医学图像；检测单元，根据权利要求1至12中任一项所述基于医学图像的结节检测方法，对所述待处理的医学图像进行结节检测。

14.一种计算机可读介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至12中任一项所述基于医学图像的结节检测方法。

15.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器上存储一条或多条可读指令，所述一条或多条可读指令被所述处理器执行时，实现权利要求1至12中任一项所述基于医学图像的结节检测方法。

说明书

一种基于医学图像的结节检测方法、装置及电子设备

技术领域

[0001] 本发明涉及计算机技术领域，特别涉及一种基于医学图像的结节检测方法和装置、计算机可读存储介质以及电子设备。

背景技术

[0002] 肺癌是当今对人类生命健康威胁最大的恶性肿瘤之一。肺癌早期诊断与治疗能够可将病人的五年生存率从14％上升到49％，因此，尽早的对肺癌进行检测和诊断是提升患者生存几率的关键。通说认为，结节是癌症最重要的早期征象之一，根据结节的病变特征能够推断出病灶特性，而CT检查对肺结节被认为是发现和诊断肺结节最佳的诊断工具。由于结节的大小、形状以及密度等特征的不确定性，传统的人工识别在工作量以及精度均难以满足检测要求。对计算机辅助检测(Computer Aided Detection，CAD)的需求变得迫切。

[0003] 早期，研究者主要通过人工提取特征，然后使用各种机器学习方法对特征化向量进行分类。然而，人工提取的特征表达能力低，还需要额外的预处理以降低无关区域的影响，使得无法应用于实际环境。近年来，随着人工智能和深度学习算法的发展，医疗诊断中的图像处理也越来越多的涉足其中，受以CNN为代表的深度神经网络在图像分类任务上的突破影响，研究者开始尝试使用CNN从原始CT图像中提取特征，能够更客观的表征图像自身的特性，渐渐成为结节检测方法的主流。

[0004] 目前基于肺部CT影像的肺结节常规检测算法，对孤立性肺结节的检测上表现良好，但是对于处于特殊位置的结节以及磨玻璃影等类型结节的检出效果并不理想。孤立性肺结节边界清晰且位置明显，较易检出；肺门区结节因与血管、支气管、淋巴结组织混杂，容易产生假阳性判定。而对于另一类别的肺结节，如以磨玻璃影为主要特点的磨玻璃结节(GGN)，利用常规检测算法检测效果较差。从组织病理学的角度看，GGN的出现多提示病变仍处于早期、活动期或进展期，因此及时、正确地判定GGN其形态和性质对指导治疗十分重要。另一方面，肺结节种类繁多、形态各异，肺内其它部分组织例如血管增粗也会呈现类球形，与肺结节在CT影像中的呈现状态相似，也为检测算法应解决的难点之一。

[0005] 目前常用的一些以深度学习CAD方法中，例如对原始CT图像做目标提取，之后采用基于区域的卷积神经网络(Region-based Convolutional NeuralNetwork，RCNN)系列进行目标检测的算法等，普遍存在的问题是目标检测易被大量负样本影响，在应对磨玻璃结节与其它类似形态组织的分类时，对假阳性的结果抑制效果不佳,检测位于特殊位置的结界时效果不佳。如何解决上述检测算法中所面临的问题，对于充分利用医疗资源、缓解医生诊断压力有着重大意义。

发明内容

[0006] 针对现为了解决相关技术中针对磨玻璃结节及特殊位置的效果不佳的问题，本发明提出一种基于医学图像的结节检测方法，主要包括以下三个阶段：

[0007] S1.粗检测阶段，以基于医学图像的图像序列作为输入，通过粗检测网络对候选结节进行定位并输出第一预测分数；

[0008] S2假阳性抑制阶段以经粗检测网络定位的候选结节所对应的图像序列，通过假阳性抑制网络进行分类训练，得到待定结节及其第二预测分数；

[0009] S3全局判定阶段，构建待定结节的单个特征，基于多个所述待定结节的单个特征构建全局特征，将所述单个特征及所述全局特征拼接为融合特征，进行回归训练后输出第三预测分数，完成结节检测；其中所述待定结节的单个特征以其在假阳性抑制网络的特征参数，结合人工特征而构建。

[0010] 其中，在粗检测阶段，为了整合多尺度信息而采用特征金字塔网络。特征金字塔网络浅层网络输出的特征图包含了更多的几何信息，目标位置更准确；深层网络的特征图包含更多语义信息，但尺寸较小目标位置粗略。特征金字塔网络结合语义信息及几何信息/细节信息，适合于本医学图像场景中结节大小不同的实际情况。

[0011] 此外，另一样本特点是简单负样本的绝对数量较多，且负样本中的易分样本多于难分样本的情况。通过采用焦点损失函数(Focal Loss)，针对在目标检测任务中正负样本极度不均衡且目标检测的损失极容易被大量的简单负样本所左右的情况。该函数可以通过减少易分样本的权重，使得模型在训练时更专注于难分样本。此种难例挖掘机制更为关注难分样本，提高对于磨玻璃结节等复杂类型的结节的检测准确度。

[0012] 在假阳性抑制阶段，对粗检测网络得到的候选结节起到精细分类的作用。3D卷积神经网络进而可对粗检测阶段的输出结果起到良好的假阳性抑制效果，尽可能消除粗检测阶段粗检测输出结果中的非结节区域。一种典型的3D卷积神经网络包括输入层、卷积层、池化层、Dropout层、全连接层及输出层，其中卷积层为3D卷积核。经过3D卷积神经网络后，给出第二输出分数，代表肺结节的判定结果，通过第二输出分数的判定选择的待定结节，比粗检测阶段所确定的候选结节，其非结节区域有了明显的减少。

[0013] 前两个阶段框架的设计已较大程度上满足肺结节高检出率与低假阳性的要求，但依据单一结节特征而进行结果判定可能出现检测偏差。通过全局信息通过结合病例内所有结节的全局信息，进一步弥补了假阳性抑制阶段仅依靠单一结节进行判定的问题。

[0014] 可采用ContextNet的结构来实现利用全局信息的综合判定，一个典型的ContextNet的具体实施方式为：

[0015] S301：提取待定结节在假阳性抑制阶段的特征参数，结合人工特征构成待定结节的单个特征；其中假阳性抑制阶段的特征参数可选择所述阶段采用的3D卷积神经网络中全连接层的特征，以构成单个特征的基础特征向量。人工特征可由待定结节经粗检测网络第一输出分数、假阳性抑制网络第二输出分数、结节形态特征中的一种或多种参数组成，形态特征可包括长径、短径、密度等。

[0016] S302：构建多个待定结节的全局特征；其中全局特征通过如下方法构造：选择所有待定结节的前n个单个特征进行拼接，构成全局特征，若病例待定结节少于n，则在空位以0填充，保证与全局特征长度相等。

[0017] S303：对单个特征及全局特征进行融合；对于每一个待定区域结节，将其S301中构建的单个特征及S302构建的全局特征构成融合，形成待定结节的融合特征。

[0018] S304：对融合特征进行分类，得到第三预测分数，一种分类方法是采用梯度提升决策树GBDT(Gradient Boosting Decision Tree)进行回归训练。

[0019] 根据第三预测分数所进行分类后，完成本发明中通过三阶段框架的结节检测。

[0020] 在本发明的另一方面，还包括使用分割网络对检测到的结节图像提取轮廓信息以计算形态特征，包含结节的长径、短径、等效直径、体积、Hu值中的一个或多个，在实际场景中供医生使用。分割网络可以采用任何效果较好的模型，例如3D U-Net。

[0021] 在本发明的另一方面还包括随访匹配步骤。由于每次扫描时，病人的姿势，呼吸会对图像采集的角度和形状产生明显的影响，不同时期的医学图像无法通过像素位置进行匹配，因此本发明中通过3D全卷积网络进行图像配准。图像配准的基础上，通过计算不同时期的肺结节间的欧氏距离，将满足阈值设定的结节间连边建图，选取连通分量之中距离最小的结节对作为最终的配对结果，可建立不同时期的图像中结节对应关系，辅助医生对于旧结节的变化和新结节进行识别和分析。

[0022] 典型的，本发明的方法用于处理肺部CT图像，检测目标为肺部病灶。

[0023] 另外，本发明上述基于医学图像的结节检测方法，可以涉及疾病的辅助诊断目的，同时也可涉及非疾病诊断目的的医学统计研究等。另外，当作为辅助诊断目的是，该方法通常并不足以直接诊断疾病，仅作为一种中间结果供医生参考。

[0024] 本发明内容还包括一种基于医学图像的结节检测装置，包括：获取单元，获取待处理的医学图像；检测模块，根据前述基于医学图像的结节检测方法对所述待处理的医学图像进行结节检测。

[0025] 一种计算机可读介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现前述基于医学图像的结节检测方法。

[0026] 一种电子设备，其特征在于，包括处理器，以及存储器，所述存储器上存储计算机一条或多条可读指令，所述一条或多条可读指令被所述处理器执行时，实现前述基于医学图像的结节检测方法。

[0027] 本发明的有益技术效果：

[0028] 本发明为了提出了一种三阶段肺结节检测方法，通过优化算法框架、针对假阳性进行移植以及综合全局信息进行判定，解决相关技术中针对磨玻璃结节及特殊位置的效果不佳的问题。此外，在检测出结节后，利用分割网络分析结节的定量形态指标，结合病灶随访模块，对同一患者多次检查的病灶配对以及分析比较。实现病人多次检测图像中结节对应关系的计算机辅助建立，辅助医生更好地进行判定。

[0029] 本发明方法整体具有检测准确性高、假阳性率低、可量化结节和可随访跟踪等诸多优势。

附图说明

[0030] 图1为本发明三阶段检测方法的示意图；

[0031] 图2为多尺度信息检测肺门区域结节的实际场景示意图；

[0032] 图3为使用特征金字塔网络粗进行检测阶段示意图；

[0033] 图4为假阳性抑制网络示意图；

[0034] 图5为ContextNet的典型架构图；

[0035] 图6为肺结节候选区域第二输出及第三输出分数示意图；

[0036] 图7为磨玻璃结节检测示意图；

[0037] 图8为分割网络提取结节轮廓示意图；

[0038] 图9为3D U-Net网络结构示意图图10为图像配准网络示意图；

[0039] 图11为通过随访步骤对结节建立关系示意图。

具体实施方式

[0040] 结合附图以及实施例，对本发明进行进一步详细说明。应当理解，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例。

[0041] 本申请描述基于医学图像的结节检测装置/方法，在此，医学图像可以包括由各种成像系统获得的投影图像数据。成像系统可为单模成像系统，例如计算机断层摄影(Computed Tomography，CT)系统、超声成像系统、X射线光学成像系统、正电子发射断层摄影(Positron Emission Tomography，PET)系统等。成像系统也可为多模成像系统，例如正电子发射断层-计算机断层摄影(PET-CT)、正电子发射断层摄影-磁共振成像(PET-MRI)系统、单光子发射断层摄影-计算机断层摄影(SPECT-CT)系统、数字减影血管造影-计算机断层摄影(DSA-CT)系统等。医学图像可以包括将投影数据重建后得到的重建图像。

[0042] 计算机可以被用于实现实施本发明一些实施例中披露的特定方法和装置。在一些实施例中，计算机可以通过其硬件设备、软件程序、固件以及它们的组合来实现本发明一些实施例的具体实施。在一些实施例中，计算机可以是一个通用目的的计算机，或一个有特定目的的计算机。在一些实施例中，计算机可以是移动终端、个人电脑、服务器、云计算平台等。

[0043] 计算机可以包括内部通信总线、处理器、只读存储器、随机存取存储器、通信端口、输入/输出组件、硬盘以及用户界面。内部通信总线可以实现计算机组件间的数据通信。处理器可以进行判定和发出提示。在一些实施例中，处理器可以由一个或多个处理器组成。通信端口可以实现计算机与其他部件例如：外接设备、图像采集设备、数据库、外部存储以及图像处理工作站等之间进行数据通信。在一些实施例中，计算机可以通过通信端口从网络发送和接受信息及数据。输入/输出组件支持计算机与其他部件之间的输入/输出数据流。作为举例，输入/输出组件可以包括以下的组件的一种或多种：鼠标、轨迹球、键盘、触控组件、声音接收器等。用户界面可以实现计算机和用户之间的交互和信息交换。计算机还可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘，只读存储器(ROM)和随机存取存储器(RAM)，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器所执行的可能的程序指令。

[0044] 需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

[0045] 另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

[0046] 在详细阐述本发明的实施例的技术方案之前，首先介绍关于卷积神经网络(Convolutional Neural Network，CNN)的相关原理。

[0047] CNN是一种多层的监督学习神经网络，常用来处理图像相关的机器学习问题。典型的CNN由卷积层(Convolution)、池化层(Pooling)和全连接层(FullyConnection)组成。其中，低层一般由卷积层和池化层交替组成，卷积层的作用是通过卷积运算使图像的原信号特征增强并降低噪音，池化层的作用在于根据图像局部相关性的原理减少计算量同时保持图像旋转不变性。全连接层位于CNN的高层，其输入是由卷积层和池化层进行特征提取得到的特征图像，输出可连接分类器，通过采用逻辑回归、Softmax回归、或者是支持向量机(SupportVector Machine，SVM)对输入图像进行分类。

[0048] CNN的训练过程一般采用梯度下降法最小化损失函数，通过全连接层后连接的损失层，对网络中各层的权重参数逐层反向调节，并通过频繁的迭代训练提高网络的精度。

[0049] 在本发明一个典型的实施例中，对肺结节的检测通过三个阶段进行，三阶段的原理示意如图1所示：

[0050] S1粗检测阶段

[0051] 以CT图像中的肺结节检测为例，作为医学图像里的检测目标，其尺寸大小和形态差异较大，很难由数据集覆盖所有的尺度，同时由于采集设备来源和参数不同，对于常规的CNN算法其鲁棒性造成挑战。因此，整合多尺度信息是粗检测阶段所需要的解决的问题，本发明的实施例中，采用特征金字塔网络(Feature Pyramid Networks，FPN)解决这一问题。

[0052] 在传统的图像处理方法中，金字塔是比较常用的一种手段，如尺度不变特征变换(Scale-invariant Feature Transform，SIFT)基于金字塔做了多层的特征采集，对于深度网络来讲，其原生的卷积网络特征决定了天然的金字塔结构。不断卷积的过程,其深层的特征图(Feature Map)的尺寸(Size)越小，其含有的语义信息丰富，但由于其尺寸越小的特点，检出小目标较为困难，同时也较为耗时。而若通过上采样,再一步步进行还原,其特征图(Feature Map)的尺寸(Size)变大，可以关注更多细节信息，从而解决小目标难以检测的问题。

[0053] 因此，特征金字塔网络为这样一种网络:由自下而上和自上而下两部分构成。自下而上的就是传统的卷积网络做特征提取,随着卷积的深入,空间分辨率减少,空间信息丢失，语义信息更多被检测到；而FPN还提供了自上而下的路径,构建出同时保留高精度的层，同时提供了侧向连接，是将原始的特征信息整合到上采样特征层，原始特征代表了准确的位置信息，将两个方向的路径结果融合到一起，从而得到不同尺寸或分辨率的含有语义信息的特征图，从而在检测器中针对结节病灶的特点适应性调整检测框的分布。

[0054] 在一个实施例中，为了消除极端尺度的目标区域(太大或太小)，训练只在落到想要的尺度范围内进行，即仅选择在特定大小范围之内的候选，其余超出尺度的候选在反向传播的时候被忽略，从而在训练和回归时生成检测目标，即采用类似于Scale Normalization for Image Pyramids(SNIP)算法的思想。

[0055] 图2示意出肺门区域结节在不同尺度下的检测效果：浅层网络的特征图包含了更多的几何信息，目标位置更准确；深层网络的特征图包含更多语义信息，但尺寸较小目标位置粗略。因此粗检测阶段中采用特征金字塔网络，能更好的同时满足检测和分类的需求。

[0056] 另一方面，结节检测简单负样本的绝对数量较多，且负样本中的易分样本多于难分样本，本实施例中引入难例挖掘机制，使得模型更为关注难分样本，从而提高对于磨玻璃结节等复杂类型的结节的检测准确度。

[0057] 在模型训练过程中，损失函数(Loss Function)是用来评估模型的预测值与真实值不一致的程度，神经网络训练或者优化的过程就是最小化损失函数的过程。典型的损失函数在使用CNN进行分类任务的训练时，全连接层后连接的损失层往往使用交叉熵损失函数。交叉熵损失函数：

[0058] L1(py)＝-logpy

[0059] 但是为了进行难例挖掘，在典型的交叉熵损失函数中加入指数式系数，从而自动调节正负样本对损失函数的贡献，实现对难分样本的聚焦。

[0060] 焦点损失函数(Focal Loss)的引入即是了解决目标检测中类别样本比例严重失衡的问题，旨在通过降低内部加权(简单样本)来解决类别不平衡问题，这样即使简单样本的数量很大，但它们对总损失的贡献却很小。该函数可以通过减少易分样本的权重，使得模型在训练时更专注于难分样本，避免目标检测的损失极容易被大量的简单负样本所左右的问题。

[0061] 对于二分类的焦点损失函数(Focal Loss)：

[0062] L2(py)＝-αy(1-py)γlogpy

[0063] 其中py为模型概率预测值，其值介于0-1之间，αy用以控制正负样本数量的平衡，其值介于0-1之间。这是在交叉熵损失函数的基础上改进的损失函数，调制项(1-Py)γ可以使得易分样本的损失变小，难分样本的损失变大，从而使模型集中于对难分样本的学习。可以根据标准数据集在神经网络模型上的表现，动态调节αy的值，当模型的检出率和平均假阳率达到一个可接受的平衡时，则可选择在此结果下的αy。同时，可根据检出率和假阳性率的高低走向来确定是否需要设定更高的γ值，检出率高平均假阳率低的情况下，可保持此结果下的γ值不变，若两者数值均较小，则适当增大γ值。

[0064] 在一个本发明的实施例中，选择αy＝1，γ＝2。

[0065] 一个典型的粗检测阶段的网络如图3所示。在粗检测阶段将CT图像作为输入，采用特征金字塔作为特征提取网络，并在反向传播时忽略掉指定范围以外的候选，在训练分类中采用焦点损失函数，及Smooth L1模型进行回归进行训练，输出候选结节的定位位置及其第一预测分数。

[0066] S2假阳性抑制阶段

[0067] 本阶段旨在通过卷积神经网络对粗检测阶段的输出结果，进一步进行假阳性抑制，消除粗检测阶段粗检测输出结果中的非结节区域，达到进行精细分类。

[0068] 假阳性抑制网络可采用典型的CNN网络模型结构。传统中的CNN方法采用二维模型，首先结节周围由各种切片方式得到3D结构的2D视角，然后使用CNN模型进行特征提取在采用2D CNN模型提取特征，得到检测结果。这种方法基于将切片转换为2D视图的方法，未充分利用到扫描的3D环境信息，在检测精度和效果方面具有均具有局限性。而基于3D CNN模型直接从立体空间提取特征，其步骤和思路与2D CNN基本一致，区别在于将前者使用的二维卷积核替换为三维卷积核。

[0069] 在本实施例中，采取了一种典型的3D CNN网络，如图4所示的假阳性抑制网络，其包括输入层、卷积层、池化层、Dropout层、全连接层及Softmax层组成。其中卷积层为3D卷积核，一个典型的实施例中如输入3D图像后，在训练过程中采用多个3×3×3的卷积核，其后可接修正线性单元(Rectified linear unit，ReLU)等激活函数进行网络激活。卷积层、池化层、Droupout层、全连接层及Softmax层均为经典CNN网络中的经典网络模型单元，本实施例中不再详细描述。

[0070] 在一个实施例中，可以将获取的多幅结节影像直接作为训练样本；或使用公开病例数据库，例如肺部CT影像公开数据库，来构建训练样本。在另一个实施例中，采用预训练好的3D CNN作为假阳线消除网络的参数。

[0071] 经过3D卷积神经网络后，给出第二输出分数，代表肺结节的判定结果，通过第二输出分数的判定选择的待定结节，比粗检测阶段所确定的候选结节，其非结节区域有了明显的减少。

[0072] S3全局判定阶段

[0073] 前两个阶段框架的设计已较大程度上满足肺结节高检出率与低假阳性的要求，但是实际医生在诊断过程中，往往一个病例中往往存在不止一个病灶部位，假阳性抑制阶段消除网络输入的特征为单一结节特征而进行结果判定，在病灶的表现形态与结节极为相似是会出现偏差的情况。若结合病例图像的整体特点，综合全局信息，避免孤立地看待检测出的结节，更进一步实现对假阳性结节的抑制。

[0074] 因此，本实施例中在前两个阶段结束后，加入了全局判定阶段，其主要思想为结合病例内所有结节的全局信息，进一步弥补了S2假阳性抑制阶段仅依靠单一结节进行判定的偏差性，帮助医生消除难以判定的假阳性结节。

[0075] 为了解决上述问题，可采用ContextNet的结构来实现利用全局信息的综合判定。一个典型的ContextNet的具体实施方式如图5所示。其基本包含以下几个步骤：

[0076] S301：提取待定结节在假阳性抑制阶段的特征参数，结合人工特征构成待定结节的单个特征；

[0077] 其中假阳性抑制阶段的特征参数可选择3D CNN全连接层的特征，构成单个特征的基础特征向量。

[0078] 人工特征可由待定结节经粗检测网络第一输出分数、假阳性抑制网络第二输出分数、结节形态特征中的一种或多种参数组成，形态特征可包括长径、短径、密度等。这是考虑到，在判定结节的问题上引入医生的个人经验，例如结节的长径、短径、平均密度等参数作为人工特征的构成要素，引入粗检测阶段的第一预测分数和假阳性抑制阶段的第二预测分数的引入同样有利于构建层次丰富的单个特征。

[0079] S302：基于多个待定结节的单个特征构建全局特征；

[0080] 其中全局特征以以下的方法构造：选择所有待定结节的前n个单个特征进行拼接，构成全局特征，若病例待定结节少于n，则在空位以0填充，以保证以全局特征长度相等。

[0081] S303：对单个特征及全局特征进行融合；

[0082] 对于每一个待定区域结节，将其S302中的单个特征及S302构建的全局特征构成融合，形成待定结节的融合特征。

[0083] S304：对融合特征进行分类，一个实施例是采用梯度提升决策树GBDT(Gradient Boosting Decision Tree)进行回归训练，得到第三预测分数。

[0084] 经过以ContextNet网络后，对于待定候选区域的第三预测分数，其对于第二预测分数进行了修正，进一步抑制了假阳性候选区域。在实际应用中，一个病例的多个待定结节中，其中一个待定结节的可能有较高的第二预测分数，但经过全局判定后，其第三预测分数较低，医生经判定为类球形的血管增粗影，将其人工归类为假阳性病灶。全局信息判定阶段对于类似结节形态的假阳性组织具有较好的抑制作用。

[0085] 以如下实施例描述利用上述三个阶段的方法，对于识别肺部CT图像中结节的一个典型流程。

[0086] 在粗检测阶段将预处理后的图像序列作为输入，采用特征金字塔作为特征提取网络，并在反向传播时忽略掉指定范围以外的Proposal，采用焦点损失函数做分类，Smooth L1进行回归进行训练并输出第一预测分数。网络建立了特征图和原始CT图像之间的映射关系，其中候选结节区域在对应CT图像中的位置记作(x,y,z)，其特征图上的每个点都对应输出预测该点是否为结节的概率以及一个4维的表示该点相对于标记结节中心的偏移向量。

[0087] 经过假阳性抑制网络进行分类，在原始CT图像中以粗检测阶段输出的结节候选区域的中心为基点裁剪三维图像块，例如64×64×64或36×36×36大小的图像块作为输入。而一个实施例中，3D CNN网络可由六组卷积层，三组池化层，三组全连接层及最后的Softmax输出层组成；其中每层卷积层后可接ReLU激活函数，每层池化层及输出层后均输入Dropout层以避免过拟合。最终第二输出分数作为第二阶段结节的分类预测结果。

[0088] 全局判定阶段：将每个待定结节假阳性抑制网络最后一层全连接层的特征作为基础向量，粗检测阶段输出分数，假阳性抑制阶段输出分数，结节的长径、短径、平均密度等作为人工特征，共同构建待定结节的单个特征。每个病例在假阳性抑制网络中输出的第二预测分数，取前n个，n为20-30，优选为24，将其对应的待定结节单个特征进行拼接，如果该病例的经假阳性抑制阶段所分类的待定结节数量少于24个，则在空位用0填充，构成全局特征。将上述单个特征和全局特征拼接，将每个待定结节的融合特征用GBDT(Gradient Boosting Decision Tree)进行回归训练，得到其第三预测分数。通过第三预测分数，来给出最终检测结节结果。

[0089] 图6示意出了对于一个病例中结节经过假阳性抑制阶段的第二预测分数，以及经过全局判定阶段修正后的第三预测分数，其中第三预测分数的结果是医生更应关注的，其相比其第二预测分数具有更高的准确度。

[0090] 为了评价上述方法的效果。选择在公开数据集LUNA16上进行测试，同时与两个公开方法进行结果的对比。

[0091] 方法1：DingJ.,Li,A.,Hu,Z.,Wang,L:Accurate pulmonary nodule detection in computed tomography images using deep convolutional neural networks In:MICCAI.(2017)559-567

[0092] 方法2：Dou,Q.,Chen,H.,Jin,e,:Automated pulmonary nodule detection via 3d convnets with  online sample filtering and hybrid-loss residual learning.In:MICCAI.(2017)630-638

[0093] 采用采用机器学习算法中常用的FROC(Free-Response Receiver Operating Characteristic)准则来进行评价。具体的，FROC准则刻画的是召回率(测试集所有CT数据中实际是结节的检测出来个数/测试集所有CT数据中实际是结节个数)和每个CT扫描件的平均假阳性数目(测试集中所有不是实际结节预测成结节的个数/测试集扫描件的个数，FPs/scan)之间的关系。

[0094] 表1公开数据集测试结果

[0095]  0.125 0.250 0.500 1.000 2.000 4.000 8.000 Mean
方法1 0.659 0.745 0.819 0.865 0.906 0.933 0.946 0.839
方法2 0.748 0.853 0.887 0.922 0.938 0.944 0.946 0.891
本发明 0.793 0.853 0.902 0.944 0.958 0.972 0.975 0.9138

[0096] 由此可见，本发明结节检测方法在平均每个CT扫描件的假阳性数目在一个及其以上的时候结节的召回率达到了不错的结果。

[0097] 本方法的中引入的特征金字塔、难例挖掘机制，以及全局信息判定阶段都针对复杂类型结节优化了算法，因此提升了对例如磨玻璃结节等难例检测中的准确度。

[0098] 图7中示意了一个实际场景中的例子，从图中标记框可以看出本发明对磨玻璃结节能够实现准确识别。而该磨玻璃结节相较周围的背景区域并不突出，且其边界模糊，在目前现有技术中检测难度很大。

[0099] 在另一个实施例中，对于本发明中检测到的结节的形态特征进行计算，给出形态特征结果，即根据识别结节的轮廓，计算结节的长径、短径、等效直径、体积、Hu值等，其效果示意图参见图8。

[0100] 可以采用效果较好的分割网络进行对结节轮廓的识别，例如U-Net、FCN、DeepLab V1等，本发明采用了3D U-Net分割网络。3D U-Net原理如图9所示，左侧可视为一个编码器，右侧可视为一个解码器。编码器逐渐较少池化层的空间维度，解码器逐步修复物体的细节和空间维度。编码器和解码器之间存在快捷连接，因此能帮助解码器更好地修复目标的细节。

[0101] 结节区域经分割网络输出区域的mask信息，其中mask中属于结节区域的像素值为1，属于背景区域的像素值为0，得到结节候选区域的精细轮廓。在此基础上，进行最长径、等效直径、平均HU值、最大HU值、最小HU值以及体积值等，将上述指标提供给医生，辅助医生对该结节进行判定。

[0102] 在本发明的另一个方面，还设计了随访配准的步骤，以匹配病人在不同时期的肺部CT图像中肺结节对应关系。由于每次扫描时，病人的姿势，呼吸会对肺部的角度和形状产生明显的影响，无法通过像素位置进行匹配。

[0103] 利用图像配准网络学习两个相似图像之间的形状和位置差异，可进行图像的校准和对应。如图10所示，利用CNN网络来学习一种参数化的配准变形场(参数函数)，然后通过空间变换实现变化图像(Moving image)和固定图像(Fixed image)之间的配准。对于给定的待配准的图像对，直接利用学习的参数函数进行配准即可。配准网络的输入端为一组由变化图像和固定图像组成的图像对，输出端为基于参数θ(CNN网络中卷积层的核函数)的配准区域 该配准区域是一个位移向量场，为每个体素(三维图像中可分割出的最小单位)指定从Fixed image到Moving image的位移偏移量。之后通过空间变换将变化图像(Moving image)转换成变化图像配准结果(Moved image)。网络训练过程中的损失函数包括两部分：相似性损失和平滑损失，其中相似性损失是衡量Moved image和Fixed image之间的相似性，平滑损失则是为了保证配准区域具有平滑性。

[0104] 损失函数可描述为：

[0105]

[0106] 其中，I(F,M,φ)＝Isim(F,M(φ))+λIsmooth(φ)，这里的F为fixed image，M为moving image，M(φ)是指moved image，Isim(.)即相似性损失，Ismooth(.)即平滑损失，λ为正则化系数。

[0107] 因此在一个实施例中，通过3D全卷积网络进行图像配准，具体的，本实施例采用了Voxel-Morph网络，其网络结构为类似3DUnet的全卷积结构，输入为两幅图像大小为H*W*D，分别是变化图像和固定图像，网络输出为H*W*D*3的变换矩阵。该变换矩阵的第(i,j,k)位置的3元组(dh,dw,dd)与变化图像第(i,j,k)位置的像素一一对应，通过将变化图像每一个位置的像素按照其对应的三元组的方向进行平移，即可生成与固定图像形状接近的配准变化图像。

[0108] 在对两次扫描图像配准后的基础上，通过计算两个不同扫描时期利用检测算法所得结节间的欧式距离，将满足阈值设定(例如1cm)的结节间连边建图，选取连通分量之中距离最小的结节对作为最终的配对结果，可以得到不同时间扫描的结节对应关系。

[0109] 图11示出基于本发明方法的同一患者不同时期拍摄的CT影像在随访方法下，建立的同一结节的对应。

[0110] 通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

[0111] 应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行，实际执行的顺序有可能根据实际情况改变。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。

[0112] 本发明的范围仅由所附的权利要求来限制。以上实施方式仅适于说明本公开，而并非对本公开的限制，有关技术领域的普通技术人员，在不脱离本公开的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本公开的范畴。