一种医学影像识别训练方法

摘要

本发明的一种医学影像识别训练方法，在医学图像处理领域基于强化学习理念设计多种训练策略，建立医学图像自动化识别机制。本发明提出的优化框架打破了以往深度学习方法的单一化，能从结构和参数两个方面联合优化共同提高模型性能。可用于少样本识别任务的子网络由控制器动态生成，可节省人为设计花费的时间和精力。网络架构的生成策略直接由数据集中的任务分布决定，使子网络熟悉复杂而多变的任务环境，更加适合运用在少量标注数据的分类场景。

权利要求

1.一种医学影像识别训练方法，其特征在于，包括如下步骤：

S100、数据收集，从特征样本库准备训练数据集，将其分为训练集、验证集和测试集；

S200、数据筛选，对收集的数据范围进行规定，去除无关的数据，再对候选样本进行审核；

S300、数据处理，对筛选后的数据进行归一化、旋转、扩增预处理；

S400、搭建算法框架，通过循环网络RNN构成的控制器来搭建算法框架，所述算法框架还包括循环网络RNN构成的控制器从搜索域中选择不同大小的卷积核以及池化层来定义子网络，由控制器生成的子模型架构通过Reptile算法在元数据集上进行训练，并返回准确性作为奖励来评估控制器的体系结构选择策略，奖励函数的评估在验证集上进行；

S500、建立优化搜索目标，设计损失函数，损失函数为

，其中 和 分别代表任务τ上的训练集和

测试集，L为损失，  是在 上的训练过程， 是测试样本 在更

新后的参数 上计算而得的损失值；

S600、建立可迁移框架，运用LSTM网络作为控制器来搭建可迁移的框架，所述控制器旨在生成四层子模型体系结构，分别为 K1、K2、K3和K4层，创建每一层时需要做出两步决策：(1)控制器从搜索域中选择出当前层所需的操作符，如卷积、池化；(2)要选择哪层进行跳跃连接，搜索域包括：内核大小为3*3、5*5和7*7的卷积，内核大小为3*3、5*5 和7*7的深度可分卷积，以及内核大小为3*3的平均池化和最大池化；

S700、网络训练，在控制器网络输入训练集进行控制网络训练，提高高精度模型的生成概率，同时减少低精度模型的生成概率；

S800、训练子模型，输入训练集进行子模型训练，将每种任务都视为一个独立的学习问题，不断地对任务进行采样，并对其进行训练，然后将初始化移向该任务的更新后权重，完成了子模型的训练过程；

S900、检测模型收敛，当完成收敛后，选取在元数据集中表现最好的架构准确率重新训练，获得最终准确率，保存网络模型；

所述步骤S100中的特征样本库为包含有大量正常人医学影像以及患者的医学影像数据的数据库；

所述步骤S300中的扩增处理的方式包括对图像进行旋转、剪裁、饱和度调节、色调调节和曝光时间调节，对扩增处理后的背景图像进行图像类别标注，并对标注后的背景图像进行归一化处理；

所述步骤S700中将当前生成模型与历史模型的平均水平相比较， ， blj为第j个生成架构精度的指数移动平均值，其中 代表由控制器选择的第j个架构字符串，代表第j个架构在验证集上计算的准确度；

所述步骤S400中，控制器在搜索域中进行搜索时，通过经验回放机制来减少控制器与环境的交互次数，并鼓励控制器利用其在不断变化的环境中积累的经验，所述S700中，将系列 存储在经验池中，其中 代表由控制器选择的第j个架构字符串， 表示控制器的输入状态， 代表第j个架构在验证集上计算的准确度，经验将会根据 的优劣，判断是否将其存放进经验池内。

说明书

一种医学影像识别训练方法

技术领域

[0001] 本发明属于医学图像识别技术领域，具体来说是一种医学影像识别训练方法。

背景技术

[0002] 在医疗影像方面，人工智能已经证明了它有能力通过快速准确地标记特定异常结构来提高图像分析的效率，以供放射科医师参考。2011年，纽约大学LangoneHealth的研究人员发现，这种类型的自动分析在找到并匹配特定的肺结节(胸部CT图像)方面，可以比放射学家们快62％到97％。研究结果表明，这种人工智能带来的图像分析效率，可以让放射学家腾出更多的时间聚焦在需要更多解读或判断的内容审阅上，从而每年节省30亿美元。近来最新的研究还探索了人工智能在制药、分子结构和生物蛋白质方面的探索，这些令人激动的研究都在证明着AI的能力，拓展着AI的疆界。

[0003] 近年来，人工智能技术取得了飞跃般的进步，如AlphaGO在象棋游戏中击败了人类冠军，ResNet在图像分类方面超越了人类表现，微软的语音系统在语音翻译种接近人类水平。然而这些人工智能技术的成功应用还未实现全自动化，即无法通过经验自动改进。在人工智能技术和医学应用全面结合的时候，当算法没有在实际问题上取得良好的性能时候，需要医学专家和人工智能专家共同解决这一问题，需要丰富的专家知识并消耗大量时间，专家知识是稀缺资源，人工智能在医学领域应用需要付出昂贵的代价。

发明内容

[0004] 1.发明要解决的技术问题

[0005] 本发明的目的在于解决现有的医学影像识别难以自动化且识别效果差的问题。

[0006] 2.技术方案

[0007] 为达到上述目的，本发明提供的技术方案为：

[0008] 本发明的一种医学影像识别训练方法，包括如下步骤：

[0009] S100、数据收集，从特征样本库准备训练数据集，将其分为训练集、验证集和测试集；

[0010] S200、数据筛选，对收集的数据范围进行规定，去除无关的数据，再对候选样本进行审核；

[0011] S300、数据处理，对筛选后的数据进行归一化、旋转、扩增等预处理；

[0012] S400、搭建算法框架，通过循环网络RNN构成的控制器来搭建算法框架；

[0013] S500、建立优化搜索目标，设计损失函数，损失函数为minθ,A∑τL(D′τ,θ′τ)＝∑τL(D′τ,T(Dτ,θ))，其中Dτ和D′τ分别代表任务τ上的训练集和测试集，Lτ为loss，(T(Dτ,θ)是在Dτ上的训练过程，L(D′τ,T(Dτ,θ))是测试样本D′τ在更新后的参数θ’上计算而得的损失值；

[0014] S600、建立可迁移框架，运用LSTM网络作为控制器来搭建可迁移的框架；

[0015] S700、网络训练，在控制器网络输入训练集进行控制网络训练，提高高精度模型的生成概率，同时减少低精度模型的生成概率；

[0016] S800、训练子模型，输入训练集进行子模型训练，将每种任务都视为一个独立的学习问题，不断地对任务进行采样，并对其进行训练，然后将初始化移向该任务的更新后权重，完成了子模型的训练过程；

[0017] S900、检测模型收敛，当完成收敛后，选取在元数据集中表现最好的架构准确率重新训练，获得最终准确率，保存网络模型。

[0018] 优选的，所述步骤S100中的特征样本库为包含有大量正常人医学影像以及患者的医学影像数据的数据库。

[0019] 优选的，所述步骤S300中的扩增处理的方式包括对图像进行旋转、剪裁、饱和度调节、色调调节和曝光时间调节，对扩增处理后的背景图像进行图像类别标注，并对标注后的背景图像进行归一化处理。

[0020] 优选的，所述步骤S400中算法框架还包括循环网络RNN构成的控制器从搜索域中选择不同大小的卷积核以及池化层来定义子网络，由控制器生成的子模型架构通过Reptile算法在元数据集上进行训练，并返回准确性作为奖励来评估控制器的体系结构选择策略，奖励函数的评估在验证集上进行。

[0021] 优选的，所述步骤S600中控制器旨在生成四层子模型体系结构，分别为K1、K2、K3和K4层，创建每一层时需要做出两步决策：(1)控制器从搜索域中选择出当前层所需的操作符，如卷积、池化；(2)要选择哪层进行跳跃连接，搜索域包括：内核大小为3x3、5x5和7x7的卷积，内核大小为3x3、5x5和7x7的深度可分卷积，以及内核大小为3x3的平均池化和最大池化。

[0022] 优选的，所述步骤S700中将当前生成模型与历史模型的平均水平相比较，Aj＝Rj-blj，blj为j个生成架构精度的指数移动平均值，其中Aj代表由控制器选择的第j个架构字符串，Rj代表第j个架构在验证集上计算的准确度。

[0023] 优选的，所述步骤S400中，控制器在搜索域中进行搜索时，通过经验回放机制来减少控制器与环境的交互次数，并鼓励控制器利用其在不断变化的环境中积累的经验，所述S700中，将系列(Sj,Aj,Rj)存储在经验池中，其中Aj代表由控制器选择的第j个架构字符串，Sj表示控制器的输入状态，Rj代表第j个架构在验证集上计算的准确度，经验将会根据Rj的优劣，判断是否将其存放进经验池内。

[0024] 3.有益效果

[0025] 采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：

[0026] 本发明的一种医学影像识别训练方法，在医学图像处理领域基于强化学习理念设计多种训练策略，建立医学图像自动化识别机制。本发明提出的优化框架打破了以往深度学习方法的单一化，能从结构和参数两个方面联合优化共同提高模型性能。可用于少样本识别任务的子网络由控制器动态生成，可节省人为设计花费的时间和精力。网络架构的生成策略直接由数据集中的任务分布决定，使子网络熟悉复杂而多变的任务环境，更加适合运用在少量标注数据的分类场景。

附图说明

[0027] 图1为本发明采用的网络拓扑结构图；

[0028] 图2为本发明采用的整体算法功能展示框架图；

[0029] 图3为本发明采用基于LSTM网络的控制器神经网络图；

[0030] 图4为本发明采用的控制器输出预测流程示意图；

[0031] 图5为本发明采用的控制器经验流程回放示意图；

[0032] 图6为本发明采用的子模型训练过程参数更新示意图；

[0033] 图7为本发明的方法流程图。

具体实施方式

[0034] 为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述，附图中给出了本发明的若干实施例，但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例，相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

[0035] 需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件；当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件；本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

[0036] 除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同；本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明；本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

[0037] 实施例1

[0038] 参照附图1-附图7，本实施例的一种医学影像识别训练方法，包括如下步骤：

[0039] S100、数据收集，从特征样本库准备训练数据集，将其分为训练集、验证集和测试集；

[0040] S200、数据筛选，对收集的数据范围进行规定，去除无关的数据，再对候选样本进行审核；

[0041] S300、数据处理，对筛选后的数据进行归一化、旋转、扩增等预处理；

[0042] S400、搭建算法框架，通过循环网络RNN构成的控制器来搭建算法框架；

[0043] S500、建立优化搜索目标，设计损失函数，损失函数为minθ,A∑τL(D′τ,θ′τ)＝∑τL(D′τ,T(Dτ,θ))，其中Dτ和D′τ分别代表任务τ上的训练集和测试集，Lτ为loss，(T(Dτ,θ)是在Dτ上的训练过程，L(D′τ,T(Dτ,θ))是测试样本D′τ在更新后的参数θ’上计算而得的损失值；

[0044] S600、建立可迁移框架，运用LSTM网络作为控制器来搭建可迁移的框架；

[0045] S700、网络训练，在控制器网络输入训练集进行控制网络训练，提高高精度模型的生成概率，同时减少低精度模型的生成概率；

[0046] S800、训练子模型，输入训练集进行子模型训练，将每种任务都视为一个独立的学习问题，不断地对任务进行采样，并对其进行训练，然后将初始化移向该任务的更新后权重，完成了子模型的训练过程；

[0047] S900、检测模型收敛，当完成收敛后，选取在元数据集中表现最好的架构准确率重新训练，获得最终准确率，保存网络模型。

[0048] 本实施例的方法在医学图像处理领域基于强化学习理念设计多种训练策略，建立医学图像自动化识别机制。设计了具有模型交叉重组和随机微调功能的经验池，将高精度的历史架构放在其中进行交叉组合，形成新的候选模型。将两个阶段交替训练，最终训练出能够进行高性能的，进行小数据量图像类的子网络，以及一个能够产生这种子网络的控制网络。在训练阶段，参数的优化和结构的动态改善交替进行相互促进，保证了训练所得的模型具有丰富的表达能力和很高的泛化性。

[0049] 其次，本发明提出的优化框架打破了以往深度学习方法的单一化，能从结构和参数两个方面联合优化共同提高模型性能。可用于少样本识别任务的子网络由控制器动态生成，可节省人为设计花费的时间和精力。网络架构的生成策略直接由数据集中的任务分布决定，使子网络熟悉复杂而多变的任务环境，更加适合运用在少量标注数据的分类场景。

[0050] 具体的，所述步骤为：

[0051] 步骤S100：从特征样本库准备训练数据集，将其分为训练集，验证集和测试集，特征样本库包含有大量正常人医学影像以及患者的医学影像数据，在标注时首先从历史样本数据中筛选出候选样本；

[0052] 步骤S200：将数据的范围进行规定，去除无关的数据，再对候选样本进行审核，提高了特征样本库资料的全面性，增加了神经元网络学习模块以及深度卷积神经网络学习模块的学习深度，保障了检查结果的精准性；

[0053] 步骤S300：对医学图像数据进行归一化、旋转、扩增等预处理，其中所述扩增处理的方式包括对图像进行旋转、剪裁、饱和度调节、色调调节和曝光时间调节，对扩增处理后的背景图像进行图像类别标注，并对标注后的背景图像进行归一化处理；

[0054] 步骤S400：搭建算法框架，如图2所示，左侧是一个由循环网络RNN构成的控制器，从搜索域中选择不同大小的卷积核以及池化层来定义子网络。由控制器生成的子模型架构通过Reptile算法在元数据集上进行训练，并返回准确性作为奖励来评估控制器的体系结构选择策略。为了避免过拟合，奖励函数的评估在验证集上进行。最终，控制器可以优化控制器的生成策略，产生良好的通用模型。为了提高搜索过程的效率，我们引入经验回放(Experiencereplay)机制来减少控制器与环境的交互次数，并鼓励控制器利用其在不断变化的环境中积累的经验。通过这种方法，不但可以节省计算资源，而且可以充分研究珍贵和优秀的经验。在挑选出最优架构之后，这个架构将会被重新训练，使之可以在每个任务上仅用少量样本通过几步梯度下降来推广任务；

[0055] 步骤S500：建立优化搜索目标，设计损失函数，建立训练方式，具体操作如下：数据集里包含的每种任务都被视为独立的学习问题。为了降低任务τ的损失，设计的损失函数公式如下：

[0056] minθ,A∑τL(D′τ,θ′τ)＝∑τL(D′τ,T(Dτ,θ))(1-1)

[0057] 其中，Dτ和D′τ分别代表任务τ上的训练集和测试集，Lτ为loss，(T(Dτ,θ)是在Dτ,上的训练过程，L(D′τ,T(Dτ,θ))是测试样本D′τ在更新后的参数θ’上计算而得的损失值。算法的目标即最小化Lτ。

[0058] 步骤S600：建立可迁移框架，运用LSTM网络作为控制器来搭建可迁移的框架，如图3所示为网络架构，在控制器的初始输入为随机变量，之后t时间步的输入是t-1时间步的输出。如图4所示，控制器旨在生成四层子模型体系结构，创建每一层时需要做出两步决策：1)控制器从搜索域中选择出当前层所需的操作符，如卷积、池化；2)要选择哪层进行跳跃连接。搜索域包括：内核大小为3x3，5x5和7x7的卷积，内核大小为3x3，5x5和7x7的深度可分卷积，以及内核大小为3x3的平均池化和最大池化。每个操作符都有一组由所有子模型共享的参数。

[0059] 跳跃连接以第k层为例，首先对先前k-1层的索引进行采样，即控制器拥有2k-1种可能的选择。对应于图4，在层k＝3时，控制器选择索引{1,2}，这表示层1和层2的输出将沿着通道维度合并，并结合层3的输出一并发送到层4，完成了以LSTM网络为控制器的可迁移框架搭建；

[0060] 步骤S700：控制器网络训练过程，输入训练集进行控制网络训练，基于策略梯度的强化学习方法优化训练器的参数Φ，在训练控制器时，需要固定子模型的参数。控制器的输出时一系列字符串a1…T。策略梯度算法目标时最大化预期的奖励值E，m表示当前策略采样的m架构，T表示控制器预测的次数，R是奖励值控制生成器策略更新的方向和步长，本专利中引入了一种基线奖励来减少方差。bl被定义为生成架构精度的指数移动平均值，通过减去基线bl值，控制器可以将当前生成模型与历史模型的平均水平相比较。我们将公式(1-2)的A称为优势函数，优势函数有助于策略往更明确的方向更新。训练目标是提高高精度模型的生成概率，同时减少低精度模型的生成概率，如公式(1-3)所示。

[0061] Aj＝Rj-blj(1-2)

[0062]

[0063] 训练过程中控制器可能会出现难以收敛的问题，因此为提高控制器的学习效率，加快收敛速度，引入一组可存储性数据结构—架构经验池来保存较优秀的架构数据，间接性地回放以充分学习过往的宝贵经验，同时通过组件内插和随机微调组合的功能形成新的架构。如图5所示，为了执行经验回放机制，本发明中将系列(Sj,Aj,Rj)存储在经验池中，其中Aj代表由控制器选择的第j个架构字符串，Sj表示控制器的输入状态，Rj代表第j个架构在验证集上计算的准确度。由于不是所有的经验都值得被反复学习，经验将会根据Rj的优劣，判断是否将其存放进经验池内；

[0064] 步骤S800：训练子模型，输入训练集进行子模型训练，如图6所示为子模型训练过程中的参数更新示意图，本发明中选择固定控制器的策略参数Φ。子模型需要从有限的图像中学习，因此在可扩展的学习算法Reptile上构建算法模型。假设p(T)是任务的分布概率，我们从p(T)批量采样任务T，特定任务的损失采用标准交叉熵来构建。为了使模型参数θ易于微调，采用的基准元学习方法为Reptile，它使得学习者不仅关注于数据层面，还能在任务层面上获取知识。如图6所示，将每种任务都视为一个独立的学习问题，不断地对任务进行采样，并对其进行训练，然后将初始化移向该任务的更新后权重，完成了子模型的训练过程；

[0065] 步骤S900：检测模型收敛，当完成收敛后，选取在元数据集中表现最好的架构准确率重新训练，获得最终准确率，保存网络模型。

[0066] 以上所述实施例仅表达了本发明的某种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围；因此，本发明专利的保护范围应以所附权利要求为准。