基于多特征融合卷积神经网络的浮游生物图像分类方法

摘要

本发明提供了一种基于多特征融合卷积神经网络的浮游生物图像分类方法，首先采集大量清晰的浮游生物图像，构建大规模多类别的浮游生物图像数据集，随后使用图像变换及边缘提取算法，提取全局特征与局部特征，将原始特征图像、全局特征图像与局部特征图像一起放进深度学习的多特征融合卷积神经网络中训练，得到多特征融合的卷积神经网络模型，最后，将浮游生物图像输入到该多特征融合卷积神经网络模型中，根据最终输出的概率分数，即可实现分类。本发明将生物形态学角度、计算机视觉方法与深度学习技术相结合，尤其对于大规模多类别浮游生物图像具有非常高的分类准确率。

权利要求

1.一种基于多特征融合卷积神经网络的浮游生物图像分类方法，其特征在于，包括如下步骤：S1：采集清晰的浮游生物图像，构建大规模多类别的浮游生物图像数据集，其中，该数据集中的浮游生物图像作为原始特征图像；

S2：处理原始特征图像，提取浮游生物的全局特征，得到全局特征图像，具体处理步骤为：S21：利用图像分割Scharr算子对原始特征图像进行转换,转换后的图像包括全局特征和局部特征；

S22：利用双边滤波法移除转换图像中的局部特征；

S23：增强对比度来突出转换图像中的全局特征；

S3：通过计算机视觉的Canny边缘检测算法对原始特征图像进行处理，提取浮游生物的边缘纹理特征，即浮游生物的局部特征，得到局部特征图像；

S4：构建基于原始特征、全局特征及局部特征的多特征融合卷积神经网络模型，该多特征融合卷积神经网络包括三个相互独立的基础子网络，每个基础子网络分别训练原始特征图像、全局特征图像及局部特征图像，其中，该多特征融合卷积神经网络的1到5层为卷积层，6到8层为全连接层，在所述全连接层采用全连接交叉混合方法融合三个基础子网络训练得到的特征映射图；

S5：将步骤S1、步骤S2及步骤S3得到的全部的原始特征图像、全局特征图像及局部特征图像输入到该多特征融合卷积神经网络中进行训练，最终得到优化后的多特征融合卷积神经网络模型：S51：首先设置初始状态信息，包括迭代次数、学习率及初始化方式；

S52：对该多特征融合卷积神经网络模型进行前向传输与后向反馈，使该多特征融合卷积神经网络模型根据输入的浮游生物图像进行训练和学习；

S53：输出损失函数值及准确率；

S54：通过降低损失函数值来提升该多特征融合卷积神经网络模型的性能；

S54：判断是否达到设置的迭代次数，如果是，则训练完毕，得到优化后的多特征融合卷积神经网络模型，否则，继续跳转执行步骤S52；

S6：将待分类的浮游生物图像输入到优化后的多特征融合卷积神经网络模型中，根据最终输出的概率分数，判断浮游生物图像所对应的类别。

2.根据权利要求1所述的基于多特征融合卷积神经网络的浮游生物图像分类方法，其特征在于，所述基础子网络使用AlexNet、VGGNet或者GoogLeNet中的任意一种卷积神经网络。

说明书

基于多特征融合卷积神经网络的浮游生物图像分类方法

技术领域

[0001] 本发明涉及生物形态学分析、计算机视觉与深度学习技术领域，具体涉及一种基于多特征融合卷积神经网络的浮游生物图像分类方法。

背景技术

[0002] 由于浮游生物在生态系统中的重要性，浮游生物图像的处理与分析变得越来越重要。然而，由于浮游生物的种类数量庞大，且各个种类的浮游生物在形态特征等方面也存在非常大的差异。对于浮游生物图像，同一种类的浮游生物，其外形并非一定完全相同，可能具有很大差异，而对于不同种类的浮游生物，其外形等特征也可能具有极高的相似度。这种类内差异性与类间相似性，给浮游生物图像分类带来巨大难题。传统的图像分类方法主要采用特征提取与分类器设计相结合的方法，但普通的特征提取方法并不适用于复杂的浮游生物图像，而特殊的特征提取方法需要耗费大量的时间与精力进行研究设计，且对于大规模多类别的浮游生物图像的分类并不能取得良好效果。

发明内容

[0003] 本申请通过提供一种基于多特征融合卷积神经网络的浮游生物图像分类方法，以解决现有技术中大规模多类别的浮游生物图像分类难的技术问题。

[0004] 为解决上述技术问题，本申请采用以下技术方案予以实现：

[0005] 一种基于多特征融合卷积神经网络的浮游生物图像分类方法，包括如下步骤：

[0006] S1：采集清晰的浮游生物图像，构建大规模多类别的浮游生物图像数据集，其中，该数据集中的浮游生物图像作为原始特征图像；

[0007] S2：处理原始特征图像，提取浮游生物的全局特征，得到全局特征图像，具体处理步骤为：

[0008] S21：利用图像分割Scharr算子对原始特征图像进行转换,转换后的图像包括全局特征和局部特征；

[0009] S22：利用双边滤波法移除转换图像中的局部特征；

[0010] S23：增强对比度来突出转换图像中的全局特征；

[0011] S3：通过计算机视觉的Canny边缘检测算法对原始特征图像进行处理，提取浮游生物的边缘纹理特征，即浮游生物的局部特征，得到局部特征图像；

[0012] S4：构建基于原始特征、全局特征及局部特征的多特征融合卷积神经网络模型，该多特征融合卷积神经网络包括三个相互独立的基础子网络，每个基础子网络分别训练原始特征图像、全局特征图像及局部特征图像，其中，该多特征融合卷积神经网络的1到5层为卷积层，6到8层为全连接层；

[0013] S5：将步骤S1、步骤S2及步骤S3得到的全部的原始特征图像、全局特征图像及局部特征图像输入到该多特征融合卷积神经网络模型中进行训练，最终得到优化后的多特征融合卷积神经网络模型：

[0014] S51：首先设置初始状态信息，包括迭代次数、学习率及初始化方式；

[0015] S52：对该多特征融合卷积神经网络模型进行前向传输与后向反馈，使该多特征融合卷积神经网络模型根据输入的浮游生物图像进行训练和学习；

[0016] S53：输出损失函数值及准确率；

[0017] S54：通过降低损失函数值来提升该多特征融合卷积神经网络模型的性能；

[0018] S54：判断是否达到设置的迭代次数，如果是，则训练完毕，得到优化后的多特征融合卷积神经网络模型，否则，继续跳转执行步骤S52；

[0019] S6：将待分类的浮游生物图像输入到优化后的多特征融合卷积神经网络模型中，根据最终输出的概率分数，判断浮游生物图像所对应的类别。

[0020] 进一步地，根据实际情况和需求，所述基础子网络可以使用AlexNet、VGGNet或者GoogLeNet中的任意一种卷积神经网络。基于多特征融合卷积神经网络模型最终的分类准确率会根据所选择基础子网络的不同而逐步提升，相应地，模型训练的时间代价也会逐步增加。

[0021] 现有技术中大多是将多个特征映射图直接合并,为了使三种特征更好地融合，充分挖掘跟高维度与层次的信息，作为一种优选的技术方案，在所述全连接层采用全连接交叉混合方法融合三个子网络训练得到的特征映射图。

[0022] 考虑到全局特征图像与局部特征图像之间有极大的不同，这种全连接交叉融合方法与普通全连接层直接融合相比，有效减少了全局特征图像与局部特征图像融合所带来的误差，实现多特征的充分融合，提升浮游生物图像分类准确率。

[0023] 与现有技术相比，本申请提供的技术方案，具有的技术效果或优点是：从生物形态学角度与计算机视觉方法出发，与深度学习技术相结合，实现大规模多类别的浮游生物图像的分类，极大地提高了分类的准确率。

附图说明

[0024] 图1为本发明的方法流程图；

[0025] 图2为本发明的多特征融合卷积神经网络模型图。

具体实施方式

[0026] 本申请实施例通过提供一种基于多特征融合卷积神经网络的浮游生物图像分类方法，以解决现有技术中大规模多类别的浮游生物图像分类难的技术问题。

[0027] 为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式，对上述技术方案进行详细的说明。

[0028] 实施例

[0029] 一种基于多特征融合卷积神经网络的浮游生物图像分类方法，如图1所示，包括如下步骤：

[0030] S1：采集清晰的浮游生物图像，构建大规模多类别的浮游生物图像数据集，其中，该数据集中的浮游生物图像作为原始特征图像，采集的图像数量大约在30,000至90,000张，浮游生物的类别大约在30至50类；

[0031] S2：处理原始特征图像，提取浮游生物的全局特征，得到全局特征图像，具体处理步骤为：

[0032] S21：利用图像分割Scharr算子对原始特征图像进行转换,转换后的图像包括全局特征和局部特征；

[0033] S22：利用双边滤波法移除转换图像中的局部特征；

[0034] S23：增强对比度来突出转换图像中的全局特征；

[0035] S3：通过计算机视觉的Canny边缘检测算法对原始特征图像进行处理，提取浮游生物的边缘纹理特征，即浮游生物的局部特征，得到局部特征图像；

[0036] S4：构建基于原始特征、全局特征及局部特征的多特征融合卷积神经网络模型，该多特征融合卷积神经网络包括三个相互独立的基础子网络，每个基础子网络分别训练原始特征图像、全局特征图像及局部特征图像，根据实际情况和需求，所述基础子网络可以使用AlexNet、VGGNet或者GoogLeNet中的任意一种卷积神经网络，基于多特征融合卷积神经网络模型最终的分类准确率会根据所选择基础子网络的不同而逐步提升，相应地，模型训练的时间代价也会逐步增加，在本实施例中，基础子网络采用了AlexNet卷积神经网络，其中，该多特征融合卷积神经网络的1到5层为卷积层，6到8层为全连接层；

[0037] 如图2所示，该模型中每个基础子网络相互独立，互不相干，每个基础子网络都是一个卷积神经网络，且结构配置相同：每个基础子网络都包含5个卷积层，而且每个卷积层的卷积核逐渐变小，卷积核数量增多，每一层的卷积核大小分别为11x11,11x11,5x5,3x3和3x3，而卷积核数量分类为96,,96,384,384和256。

[0038] 现有技术中大多是将多个特征映射图直接合并,在本发明中，为了使三种特征更好地融合，充分挖掘跟高维度与层次的信息，作为一种优选的技术方案，在三个基础子网络之后，是一个全连接层的交叉融合，在所述全连接层采用全连接交叉混合方法融合三个基础子网络训练得到的特征映射图，总共有3层全连接层，呈金字塔状分布，每层全连接的个数逐步递减，而每层的全连接神经元个数固定为2048。

[0039] 考虑到全局特征图像与局部特征图像之间有极大的不同，这种全连接交叉融合方法与普通全连接层直接融合相比，有效减少了全局特征图像与局部特征图像融合所带来的误差，实现多特征的充分融合，提升浮游生物图像分类准确率。

[0040] S5：将步骤S1、步骤S2及步骤S3得到的全部的原始特征图像、全局特征图像及局部特征图像输入到该多特征融合卷积神经网络模型中进行训练，最终得到优化后的多特征融合卷积神经网络模型：

[0041] S51：首先设置初始状态信息，包括迭代次数、学习率及初始化方式；

[0042] S52：对该多特征融合卷积神经网络模型进行前向传输与后向反馈，使该多特征融合卷积神经网络模型根据输入的浮游生物图像进行训练和学习；

[0043] S53：输出损失函数值及准确率；

[0044] S54：通过降低损失函数值来提升该多特征融合卷积神经网络模型的性能；

[0045] S54：判断是否达到设置的迭代次数，如果是，则训练完毕，得到优化后的多特征融合卷积神经网络模型，否则，继续跳转执行步骤S52；

[0046] S6：将待分类的浮游生物图像输入到优化后的多特征融合卷积神经网络模型中，根据最终输出的概率分数，判断浮游生物图像所对应的类别。

[0047] 该发明在基于大量训练数据的前提下，在多类别浮游生物图像的分类准确率高达95％。

[0048] 本申请的上述实施例中，通过提供一种基于多特征融合卷积神经网络的浮游生物图像分类方法，首先采集大量清晰的浮游生物图像，构建大规模多类别的浮游生物图像数据集，随后使用图像变换及边缘提取算法，提取全局特征与局部特征，将原始特征图像、全局特征图像与局部特征图像一起放进深度学习的多特征融合卷积神经网络中训练，得到多特征融合的卷积神经网络模型，最后，将浮游生物图像输入到该多特征融合卷积神经网络模型中，根据最终输出的概率分数，即可实现分类。本发明将生物形态学角度、计算机视觉方法与深度学习技术相结合，尤其对于大规模多类别浮游生物图像具有非常高的分类准确率。

[0049] 应当指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改性、添加或替换，也应属于本发明的保护范围。