一种融合特征分类方法

摘要

本发明公开了一种融合特征分类方法，特征融合网络为原始网络的特征融合，它由原始网络的后半段网络修改而来，并融合了原始特征的图像的最后一层特征图谱。特征融合网络训练时，首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，进行特征融合网络的训练。最后的预测同样需要将首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，特征融合网络的输出最终的预测。本发明利用卷积神经网络的中间层特征，提高卷积神经网络的分类效率。

权利要求

1.一种融合特征分类方法，其特征在于包含以下步骤：步骤一：训练原始网络；原始网络为普通的卷积神经网络，采用以下两种方式对其进行训练：

1）在目标图像数据集上进行训练；

2）采用相同的卷积神经网络结构在大规模图像数据集上训练；

深度学习工具包支持原始网络的训练；

步骤二：构建特征融合网络；特征融合网络为原始网络的特征融合，它由原始网络的后半段网络修改而来，并融合了原始网络的最后一层特征图谱；

特征融合网络中从特征图谱复制了原始网络中的特征图谱f5，采用与原始网络相同的结构，重新获得特征图谱f6'，f6'所产生的下一层特征图谱f7'，f7'与原始网络中的特征图谱f7进行连接得到特征图谱f8，f8经过全连接操作得到与原始网络相同数目的特征；特征融合网络从f5开始，除了f8之外，与原始网络的结构相同，最后进行分类产生新的决策；

步骤三：训练特征融合网络；

首先将样本图像数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，进行特征融合网络的训练；

步骤四：进行分类预测；

将首先将样本图像数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，特征融合网络的输出最终的预测。

说明书

一种融合特征分类方法

技术领域

[0001] 本发明设计一种特征分类方法，特别是一种融合特征分类方法。

背景技术

[0002] 人工智能作为计算机领域的一个重要研究领域，已广泛应用于人们的日常生活中，并影响到社会的方方面面。深度学习作为机器学习的一个热点，以数据为驱动，从样本中自动学习特征，现已成为人工智能内一个广受珍视、研究非常活跃的课题，它被广泛应用于物体检测、商品推荐、文本翻译等领域。深度学习的存在两个主要矛盾，一是保留尽可能多的信息和获得精简的特征之间的矛盾，二是在有限的计算能力与获得高度抽象特征之间的矛盾。

[0003] 为提高深度学习中卷积神经网络的精度与节约计算力，文献(Niu X,Suen C Y.A Novel Hybrid CNN-SVM Classifier for Recognizing Handwritten Digits[J].Pattern Recognition,2012,45(4):1318-1325)，提出一种将支持向量机与卷积神经网络相结合的方法，在手写字符集MINIST上取得了良好的效果。但同时文献(Zeiler M D,Fergus R.Visualizing and Understanding Convolutional Networks[C].European Conference on Computer Vision.Springer,Cham,2014:818-833.)采用反卷积层对卷积神经网络的特征图谱做了研究，在比较不同层级的特征后发现，越靠后的层级的特征变动性越大，特征主要聚焦于图像的区分度。低层级的特征与高层级的特征相比相对简单，这侧面反映出低层级的特征能很好表示简单的图像，高层级的特征相对能够表示复杂的图像，也就是低层级的特征关注点在于图像的某个小区域，而高层级的特征关注图像中的大区域。基于此，本发明旨在融合本发明旨在融合卷积神经网络中间层特征与高层特征融合的方式，提高卷积神经网络的表现效果。

发明内容

[0004] 本发明所要解决的技术问题是提供一种融合特征分类方法，利用卷积神经网络的中间层特征，提高卷积神经网络的分类效率。

[0005] 为解决上述技术问题，本发明所采用的技术方案是：

[0006] 一种融合特征分类方法，其特征在于包含以下步骤：

[0007] 步骤一：训练原始网络；

[0008] 步骤二：构建特征融合网络；

[0009] 步骤三：训练特征融合网络；

[0010] 步骤四：进行分类预测。

[0011] 进一步地，所述步骤一中原始网络为普通的卷积神经网络，采用以下两种方式对其进行训练：

[0012] 1)在目标数据集上进行训练；

[0013] 2)采用相同的卷积神经网络结构在大规模数据集上训练。

[0014] 进一步地，所述步骤二中特征融合网络为原始网络的特征融合，它由原始网络的后半段网络修改而来，并融合了原始网络的最后一层特征图谱。

[0015] 进一步地，所述步骤二具体过程为特征融合网络中从特征图谱复制了原始网络中的特征图谱f5，采用与原始网络相同的结构，重新获得特征图谱f6'，f6'所产生的下一层特征图谱f7'，f7'与原始网络中的特征图谱f7进行连接得到特征图谱f8，f8经过全连接操作得到与原始网络相同数目的特征；特征融合网络从f5开始，除了f8之外，与原始网络的结构相同，最后进行分类产生新的决策。

[0016] 进一步地，所述步骤三具体过程为首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，进行特征融合网络的训练。

[0017] 进一步地，所述步骤四具体过程为将首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，特征融合网络的输出最终的预测。

[0018] 本发明与现有技术相比，具有以下优点和效果：本发明利用卷积神经网络的中间层特征，提高卷积神经网络的分类效率，特别适用于复杂特征与简单特征并存的任务。

附图说明

[0019] 图1是现有技术的卷积神经网络结构示意图。

[0020] 图2是卷积神经网络与支持向量机混合方法示意图。

[0021] 图3是本发明的一种融合特征分类方法的示意图。

[0022] 图4是本发明的一种融合特征分类方法的推广方式示意图。

具体实施方式

[0023] 下面结合附图并通过实施例对本发明作进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。

[0024] 一个标准的卷积神经网络的结构如图1所示。

[0025] 基于图1的卷积神经网络与支持向量机混合方法如图2所示，它只采用了卷积神经网络最后一层的特征，基于此，本发明的一种卷积神经网络特征融合模型，在原有网络的基础上进行二次训练，其结构图如图3所示。

[0026] 网络框架分为两部分，第一部分为原始网络，第二部分为特征融合网络。

[0027] 一种融合特征分类方法，包含以下步骤：

[0028] 步骤一：训练原始网络；

[0029] 原始网络部分为普通的卷积神经网络，可以采用两种训练方式对其训练，一是在目标数据集上进行训练，二是直接采用相同的卷积神经网络结构在大规模数据集上训练。一般深度学习工具包支持原始网络的训练。

[0030] 步骤二：构建特征融合网络；

[0031] 特征融合网络为原始网络的特征融合，它由原始网络的后半段网络修改而来，并融合了原始网络的最后一层特征图谱。图3中，特征融合网络中从特征图谱复制了原始网络中的特征图谱f5，采用与原始网络相同的结构，重新获得特征图谱f6'，f6'所产生的下一层特征图谱f7'，f7'与原始网络中的特征图谱f7进行连接得到特征图谱f8，f8经过全连接操作得到与原始网络相同数目的特征。特征融合网络从f5开始，除了f8之外，与原始网络的结构相同。最后进行分类产生新的决策。

[0032] 步骤三：训练特征融合网络；

[0033] 特征融合网络训练时，首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，进行特征融合网络的训练。

[0034] 步骤四：进行分类预测。

[0035] 最后的预测同样需要将首先将样本数据输入已经训练好的原始网络，得到对应层级的特征，而后将对应层级的特征作为特征融合网络的输入，特征融合网络的输出最终的预测。

[0036] 两部分的网络功能可以概括为：原始网络负责特征的提取，特征融合网络负责特征的进一步加工与分类。

[0037] 本发明所提出的融合特征分类方法不仅能够运用与简单的自定义卷积神经网络上，同样可以运用于复杂的深度卷积神经网络，图4为本专利所提出的方法在GoogLeNet(一种深度卷积神经网络)上的应用方式。具体操作方式为将inception(5a)作为特征融合网络的输入得到inception(5b'),inception(5b')与inception(5b)相连接产生新的特征图谱，接下来的特征融合网络结构与GoogLeNet对应的网络结构相同。其训练应用方式与简单的自定义卷积神经网络相同。

[0038] 总的来说特征融合网络主要有以下两个功能：当原始网络训练集为目标任务的训练集时，在原始网络不做变动的情况下，提高分类精度；当原始网络的训练集不为目标训练集时，此时的原始网络只能作为数据的特征提取器来使用，特征融合网络的任务则为任务的实现的主体。

[0039] 本说明书中所描述的以上内容仅仅是对本发明所作的举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代，只要不偏离本发明说明书的内容或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。