图像处理方法、装置及服务器

摘要

本发明实施例公开了一种图像处理方法、装置及服务器，包括下述步骤：将样本图像和派生于所述样本图像的增强图像分别输入到多通道卷积神经网络模型的不同输入通道内，以获取所述样本图像和所述增强图像的特征图样；将所述样本图像的特征图样与所述增强图像的特征图样进行拼接生成拼接图样；以及将所述拼接图样输入到所述多通道卷积神经网络模型的共享通道内，以使所述多通道卷积神经网络模型学习所述样本图像和所述增强图像之间的关联性。将该拼输入到接图样多通道卷积神经网络模型的共享通道内进行进一步的特征提取与分类，由于共享通道学习的是样本图像与增强图像的特征图样拼合的图形，因此，能够学习到样本图像与增强图像特征的关联性。

权利要求

1.一种图像处理方法，其特征在于，包括下述步骤：

获取样本图像；

对所述样本图像进行图像增强处理，生成至少一种派生于所述样本图像的增强图像，其中，所述图像增强处理包括：增加随机噪声处理；

将样本图像和派生于所述样本图像的增强图像分别输入到多通道卷积神经网络模型的不同输入通道内，以获取所述样本图像和所述增强图像的特征图样；

将所述样本图像的特征图样与所述增强图像的特征图样进行拼接生成拼接图样；以及将所述拼接图样输入到所述多通道卷积神经网络模型的共享通道内，以使所述多通道卷积神经网络模型学习所述样本图像和所述增强图像之间的关联性，其中，所述共享通道提取所述样本图像的特征图样与所述增强图像的特征图样中的共性特征。

2.根据权利要求1所述的图像处理方法，其特征在于，所述将样本图像和派生于所述样本图像的增强图像分别输入到多通道卷积神经网络模型的不同输入通道内，以获取所述样本图像和所述增强图像的特征图样的步骤，具体包括下述步骤：将样本图像和派生于所述样本图像的增强图像分别输入到多通道卷积神经网络模型的不同输入通道内；

在所述不同输入通道的输出位置分别获取所述样本图像的第一特征图样和所述增强图像的第二特征图样。

3.根据权利要求2所述的图像处理方法，其特征在于，所述样本图像的特征图样与所述增强图像的特征图样进行拼接生成拼接图样的步骤，具体包括下述步骤：获取所述样本图像的特征图样与所述增强图像的特征图样；

将所述第二特征图样的第一维拼接在所述第一特征图样的最后一维之后。

4.根据权利要求1～3任意一项所述的图像处理方法，其特征在于，所述拼接图样的形状特征描述为：其中，shape表示为拼接图样的形状，W表示为拼接图样的宽度，H表示为拼接图样的高度，Ci表示特征图样的通道长度，i∈1、2、3…n表示构成拼接图样的特征图样的数量。

5.根据权利要求1所述的图像处理方法，其特征在于，所述将所述拼接图样输入到所述多通道卷积神经网络模型的共享通道内，以使所述多通道卷积神经网络模型学习所述样本图像和所述增强图像之间的关联性的步骤之后，还包括下述步骤：获取所述多通道卷积神经网络模型输出的分类数据；

将所述分类数据转化为二值向量集，并将所述二值向量集标记为所述样本图像和增强图像的索引标签。

6.一种图像处理装置，其特征在于，包括：

第一获取子模块，用于获取样本图像；

第一图像处理子模块，用于对所述样本图像进行图像增强处理，生成至少一种派生于所述样本图像的增强图像，其中，所述图像增强处理包括：增加随机噪声处理；

输入模块，用于将样本图像和派生于所述样本图像的增强图像分别输入到多通道卷积神经网络模型的不同输入通道内，以获取所述样本图像和所述增强图像的特征图样；

拼接模块，用于将所述样本图像的特征图样与所述增强图像的特征图样进行拼接生成拼接图样；

处理模块，用于将所述拼接图样输入到所述多通道卷积神经网络模型的共享通道内，以使所述多通道卷积神经网络模型学习所述样本图像和所述增强图像之间的关联性，其中，所述共享通道提取所述样本图像的特征图样与所述增强图像的特征图样中的共性特征。

7.根据权利要求6所述的图像处理装置，其特征在于，所述图像处理装置还包括：第二输入子模块，用于将样本图像和派生于所述样本图像的增强图像分别输入到多通道卷积神经网络模型的不同输入通道内；

第二获取子模块，用于在所述不同输入通道的输出位置分别获取所述样本图像的第一特征图样和所述增强图像的第二特征图样。

8.根据权利要求7所述的图像处理装置，其特征在于，所述图像处理装置还包括：第三获取子模块，用于获取所述样本图像的特征图样与所述增强图像的特征图样；

第二图像处理子模块，用于将所述第二特征图样的第一维拼接在所述第一特征图样的最后一维之后。

9.根据权利要求6～8任意一项所述的图像处理装置，其特征在于，所述拼接图样的形状特征描述为：其中，shape表示为拼接图样的形状，W表示为拼接图样的宽度，H表示为拼接图样的高度，Ci表示特征图样的通道长度，i∈1、2、3…n表示构成拼接图样的特征图样的数量。

10.根据权利要求6所述的图像处理装置，其特征在于，所述图像处理装置还包括：第四获取子模块，用于获取所述多通道卷积神经网络模型输出的分类数据；

第一处理子模块，用于将所述分类数据转化为二值向量集，并将所述二值向量集标记为所述样本图像和增强图像的索引标签。

11.一种服务器，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-5任意一项所述的图像处理方法。

说明书

图像处理方法、装置及服务器

技术领域

[0001] 本发明实施例涉及图像处理领域，尤其是一种图像处理方法、装置及服务器。

背景技术

[0002] 近来，深度学习在视频图像、语音识别、自然语言处理等相关领域得到了广泛应用。卷积神经网络模型(CNN)作为深度学习的一个重要分支，由于其超强的拟合能力以及端到端的全局优化能力，使得在目标检测、分类等计算机视觉任务中应用卷积神经网络之后，预测精度大幅提升。

[0003] 但是在真实的应用场景中深度学习的训练过程中，并不能轻易获取到像ImageNet等动辄几百万的数据集，由于卷积神经网络参数多，使用较小的数据集对模型进行训练很容易使之过拟合。为了解决数据不充分的问题，一般采取的方法是通过对样本图像进行增强获得派生图样的方式对训练数据进行增加。

[0004] 但是创造的发明人在研究中发现，样本图像增强出来的增强图像都被当成一个单独的样本添加到数据集中，用这样的数据对模型进行训练忽略了新数据以及原数据之间的相关性，而将样本图像增强出来的增强图像也作为一个单独的训练样本，也会造成训练时间增加的问题。

发明内容

[0005] 本发明实施例提供一种能够学习样本图像和增强图像相关性且缩短训练时间的图像处理方法、装置及服务器。。

[0006] 为解决上述技术问题，本发明创造的实施例采用的一个技术方案是：提供一种图像处理方法，包括下述步骤：

[0007] 将样本图像和派生于所述样本图像的增强图像分别输入到多通道卷积神经网络模型的不同输入通道内，以获取所述样本图像和所述增强图像的特征图样；

[0008] 将所述样本图像的特征图样与所述增强图像的特征图样进行拼接生成拼接图样；以及

[0009] 将所述拼接图样输入到所述多通道卷积神经网络模型的共享通道内，以使所述多通道卷积神经网络模型学习所述样本图像和所述增强图像之间的关联性。

[0010] 具体地，所述将样本图像和派生于所述样本图像的增强图像分别输入到多通道卷积神经网络模型的不同输入通道内，以获取所述样本图像和所述增强图像的特征图样的步骤之前，还包括下述步骤：

[0011] 获取所述样本图像；

[0012] 对所述样本图像进行图像增强处理，生成至少一种派生于所述样本图像的增强图像。

[0013] 具体地，所述图像增强处理包括：对所述样本图像进行裁剪、旋转、镜像或增加随机噪声处理。

[0014] 具体地，所述将样本图像和派生于所述样本图像的增强图像分别输入到多通道卷积神经网络模型的不同输入通道内，以获取所述样本图像和所述增强图像的特征图样的步骤，具体包括下述步骤：

[0015] 将样本图像和派生于所述样本图像的增强图像分别输入到多通道卷积神经网络模型的不同输入通道内；

[0016] 在所述不同输入通道的输出位置分别获取所述样本图像的第一特征图样和所述增强图像的第二特征图样。

[0017] 具体地，所述样本图像的特征图样与所述增强图像的特征图样进行拼接生成拼接图样的步骤，具体包括下述步骤：

[0018] 获取所述样本图像的特征图样与所述增强图像的特征图样；

[0019] 将所述第二特征图样的第一维拼接在所述第一特征图样的最后一维之后。

[0020] 具体地，所述拼接图样的形状特征描述为：

[0021]

[0022] 其中，shape表示为拼接图样的形状，W表示为拼接图样的宽度，H表示为拼接图样的高度，Ci表示特征图样的通道长度，i∈1、2、3…n表示构成拼接图样的特征图样的数量。

[0023] 具体地，所述将所述拼接图样输入到所述多通道卷积神经网络模型的共享通道内，以使所述多通道卷积神经网络模型学习所述样本图像和所述增强图像之间的关联性的步骤之后，还包括下述步骤：

[0024] 获取所述多通道卷积神经网络模型输出的分类数据；

[0025] 将所述分类数据转化为二值向量集，并将所述二值向量集标记为所述样本图像和增强图像的索引标签。

[0026] 为解决上述技术问题，本发明实施例还提供一种图像处理装置，包括：

[0027] 输入模块，用于将样本图像和派生于所述样本图像的增强图像分别输入到多通道卷积神经网络模型的不同输入通道内，以获取所述样本图像和所述增强图像的特征图样；

[0028] 拼接模块，用于将所述样本图像的特征图样与所述增强图像的特征图样进行拼接生成拼接图样；

[0029] 处理模块，用于将所述拼接图样输入到所述多通道卷积神经网络模型的共享通道内，以使所述多通道卷积神经网络模型学习所述样本图像和所述增强图像之间的关联性。

[0030] 具体地，所述图像处理装置还包括：

[0031] 第一获取子模块，用于获取所述样本图像；

[0032] 第一图像处理子模块，用于对所述样本图像进行图像增强处理，生成至少一种派生于所述样本图像的增强图像。

[0033] 具体地，所述图像增强处理包括：对所述样本图像进行裁剪、旋转、镜像或增加随机噪声处理。

[0034] 具体地，所述图像处理装置还包括：

[0035] 第二输入子模块，用于将样本图像和派生于所述样本图像的增强图像分别输入到多通道卷积神经网络模型的不同输入通道内；

[0036] 第二获取子模块，用于在所述不同输入通道的输出位置分别获取所述样本图像的第一特征图样和所述增强图像的第二特征图样。

[0037] 具体地，所述图像处理装置还包括：

[0038] 第三获取子模块，用于获取所述样本图像的特征图样与所述增强图像的特征图样；

[0039] 第二图像处理子模块，用于将所述第二特征图样的第一维拼接在所述第一特征图样的最后一维之后。

[0040] 具体地，所述拼接图样的形状特征描述为：

[0041]

[0042] 其中，shape表示为拼接图样的形状，W表示为拼接图样的宽度，H表示为拼接图样的高度，Ci表示特征图样的通道长度，i∈1、2、3…n表示构成拼接图样的特征图样的数量。

[0043] 具体地，所述图像处理装置还包括：

[0044] 第四获取子模块，用于获取所述多通道卷积神经网络模型输出的分类数据；

[0045] 第一处理子模块，用于将所述分类数据转化为二值向量集，并将所述二值向量集标记为所述样本图像和增强图像的索引标签。

[0046] 为解决上述技术问题本发明实施例还提供一种服务器，包括：

[0047] 一个或多个处理器；

[0048] 存储器；

[0049] 一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述所述的图像处理方法。

[0050] 本发明实施例的有益效果是：通过将样本图像与样本图像派生的增强图像输入到多通道神经网络模型的不同通道内，对样本图像与增强图像均进行初度特征提取，然后将提取出来的初步特征进行拼接形成一个拼接图样，将该拼输入到接图样多通道卷积神经网络模型的共享通道内进行进一步的特征提取与分类，由于共享通道学习的是样本图像与增强图像的特征图样拼合的图形，因此，能够使卷积神经网络模型在训练时学习到样本图像与增强图像特征的关联性。同时，对样本图像与增强图像同时输入到多通道卷积神经网络模型中，然后进行拼接的方法，能够缩短多通道卷积神经网络模型训练时间，解决现有技术模型训练耗时的问题。

附图说明

[0051] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0052] 图1为本发明实施例多通道卷积神经网络模型组成示意图；

[0053] 图2为本发明实施例图像处理方法基本流程示意图；

[0054] 图3为本发明实施例增强图像生成方法流程示意图；

[0055] 图4为本发明实施例特征图样生成方法的流程示意图；

[0056] 图5为本发明实施例拼接图样的生成流程示意图；

[0057] 图6为本发明实施例图像处理方法一种实施方式拓扑示意图；

[0058] 图7为本发明实施例图像处理方法中分类数据的一种应用流程示意图；

[0059] 图8为本发明实施例图像处理装置基本结构示意图；

[0060] 图9为本发明实施例服务器基本结构框图。

具体实施方式

[0061] 为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

[0062] 在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

[0063] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0064] 实施例

[0065] 需要指出的是卷积神经网络的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。

[0066] 卷积神经网络主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于卷积神经网络的特征检测层通过训练数据进行学习，所以在使用卷积神经网络时，避免了显示的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。

[0067] VGG是牛津大学计算机视觉组(VisualGeometry Group)和GoogleDeepMind公司的研究员一起研发的的深度卷积神经网络。VGG探索了卷积神经网络的深度与其性能之间的关系，通过反复堆叠3*3的小型卷积核和2*2的最大池化层，VGG成功地构筑了16～19层深的卷积神经网络。VGG的拓展性很强，迁移到其他图片数据上的泛化性非常好。VGG的结构非常简洁，整个网络都使用了同样大小的卷积核尺寸(3*3)和最大池化尺寸(2*2)。到目前为止，VGG依然经常被用来提取图像特征。VGG训练后的模型参数在其官方网站上开源了，可用来在特定的图像分类任务上进行再训练(相当于提供了非常好的初始化权重)。

[0068] 请参阅图1，图1为本实施例多通道卷积神经网络模型组成示意图。

[0069] 如图1所示，卷积神经网络模型包括：多条输入通道和一条共享通道组成。具体地，本实施方式中多通道卷积神经网络模型由5条输入通道组成，但不局限于此，在一些实施方式中，根据具体应用场景的不同，多通道卷积神经网络模型的输入通道能够是：2条、3条、4条或者更多条通道组成。

[0070] 本实施方式中每条输入通道包括：两个卷积层(Conv1和Conv2)。但不局限于此，在一些实施方式中，根据具体应用场景的不同，构成输入通道的卷积层能够是：1层、3层、4层或更多层。具体的选择标准为，应用场景中对于提取特征维数的要求，卷积层越多提取的特征维数数据量越小。

[0071] 本实施方式中共享通道组成包括：两个卷积层(Conv3和Conv4)、两个全连接层(FC3和FC4)以及一个分类层(softmax1)组成。但共享通道中的卷积层个数不局限与此，根据具体应用场景的不同，构成共享通道的卷积层能够是：1层、3层、4层或更多层。具体的选择标准为，应用场景中对于提取特征维数的要求，卷积层越多提取的特征维数数据量越小。

[0072] 卷积层被用于对人脸图像的局部进行感知，且卷积层通常以级联的方式进行连接，级联中位置越靠后的卷积层能够感知越全局化的信息。

[0073] 全连接层在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。全连接层连接在卷积层输出位置，能够感知被测人脸图像的全具化特征。

[0074] 分类层连接在全连接层的输出端，分类层输出的每一维均表示被测人脸图像属于该类别的概率。

[0075] 请参阅图2，图2为本实施例图像处理方法基本流程示意图。

[0076] 如图2所示，一种图像处理方法，包括下述步骤：

[0077] S1100、将样本图像和派生于所述样本图像的增强图像分别输入到多通道卷积神经网络模型的不同输入通道内，以获取所述样本图像和所述增强图像的特征图样；

[0078] 样本图片为对多通道卷积神经网络模型进行训练时，具体地，是对多通道卷积神经网络模型的共享通道进行训练时，收集的用于进行训练的样本图样。样本图像能够是人脸图像、动植物图像或物品图像等。

[0079] 增强图像是样本图像经过图像处理后的图片，属于样本图像的派生图像，增强图像是样本图像经过(不限于)：裁剪、旋转、镜像或增加随机噪声等方法处理后的图像。

[0080] 将样本图像跟增强图像分别输入到多通道卷积神经网络模型的输入通道内，由于输入通道均是由卷积层组成，会对输入其中的图像进行特征提取，即提取能够表征图像整体特征的高维特征，以减少图像包含的数据量。

[0081] 需要指出的是多通道卷积神经网络模型的通道相互独立，每个通道内均具有独立的权重参数。

[0082] 样本图像与增强图像分别进入到不同的输入通道后，在输入通道的出口位置获取到各自的特征图样。

[0083] S1200、将所述样本图像的特征图样与所述增强图像的特征图样进行拼接生成拼接图样；

[0084] 将样本图像的特征图样与增强图像特征图样进行拼接，拼接时将在后的特征图样拼接在在前特征图样的最后一维位置处，具体地，将在后的特征图样的第一维数据接到在前特征图样的最后一维数据之后，完成特征图样的拼接。拼接完成后多个特征图样形成完整的拼接图样。

[0085] S1300、将所述拼接图样输入到所述多通道卷积神经网络模型的共享通道内，以使所述多通道卷积神经网络模型学习所述样本图像和所述增强图像之间的关联性。

[0086] 将拼接完成的拼接图样，输入到多通道卷积神经网络模型的共享通道内，即训练的目标模型中，共享通道是一个完整的卷积神经网络，当整个多通道卷积神经网络模型训练至收敛后，共享通道会被作为一个独立的卷积神经网络模型进行使用。

[0087] 共享通道继续对拼接图样进行特征提取，直至在分类层对拼接图样进分类，旨在提取拼接图样更高级的语义特征。在提取过程中，由于拼接图形是由样本图像的特征图样与增强图像特征图样共同组成，因此，共享通道在进一步的提取特征时，能够提取到样本图像与增强图样的共性特征，共性特征的提取能够使共享通道学习到样本图像和增强图像之间的关联性。

[0088] 具体地，关联性的学习，能够使共享通道在收敛后能够识别出增强图像属于样本图像的派生图样。举例说明，以增强图像进行图像检索时，将会直接搜索到样本图像。

[0089] 上述实施方式通过将样本图像与样本图像派生的增强图像输入到多通道神经网络模型的不同通道内，对样本图像与增强图像均进行初度特征提取，然后将提取出来的初步特征进行拼接形成一个拼接图样，将该拼输入到接图样多通道卷积神经网络模型的共享通道内进行进一步的特征提取与分类，由于共享通道学习的是样本图像与增强图像的特征图样拼合的图形，因此，能够使卷积神经网络模型在训练时学习到样本图像与增强图像特征的关联性。同时，对样本图像与增强图像同时输入到多通道卷积神经网络模型中，然后进行拼接的方法，能够缩短多通道卷积神经网络模型训练时间，解决现有技术模型训练耗时的问题。

[0090] 请参阅图3，图3为本实施例增强图像生成方法流程示意图。

[0091] 如图3所示，步骤S1100之前还包括下述步骤：

[0092] S1010、获取所述样本图像；

[0093] 样本图像的获取能够通过在已有图像数据库中直接进行提取获得，如通过ImageNet图像数据库获得。也能够通过网络爬虫，在万维网数据中直接抓取。

[0094] S1020、对所述样本图像进行图像增强处理，生成至少一种派生于所述样本图像的增强图像。

[0095] 获得样本图像后，为了增加训练样本集的样本体量，对验本图像进行图像增强处理，主要的处理方法为(不限于)：对样本图像进行裁剪、旋转、镜像或增加随机噪声处理。

[0096] 其中，裁剪是指对样本图像进行局部的图像剪切，并将剪切所获得的图像作为一个增强图像进行保存留用。

[0097] 旋转是指对对样本图像进行预设角度或随机角度的旋转得到的增强图像。

[0098] 镜像是指对样本图像进行镜像处理后得到的增强图像。

[0099] 随机噪声处理是指在样本图像上施加随机噪声后得到的增强图像。

[0100] 请参阅图4，图4为本实施例特征图样生成方法的流程示意图。如图4所示，步骤S1100具体包括下述步骤：

[0101] S1110、将样本图像和派生于所述样本图像的增强图像分别输入到多通道卷积神经网络模型的不同输入通道内；

[0102] 将样本图像跟增强图像分别输入到多通道卷积神经网络模型的输入通道内，由于输入通道均是由卷积层组成，会对输入其中的图像进行特征提取，即提取能够表征图像整体特征的高维特征，以减少图像包含的数据量。

[0103] 需要指出的是多通道卷积神经网络模型的通道相互独立，每个通道内均具有独立的权重参数。

[0104] S1120、在所述不同输入通道的输出位置分别获取所述样本图像的第一特征图样和所述增强图像的第二特征图样。

[0105] 样本图像与增强图像分别进入到不同的输入通道后，在输入通道的出口位置获取到各自的特征图样。

[0106] 其中，样本图像的特征图样为第一特征图样，增强图像的特征图像为第二特征图样，其中第二特征图像包括(不限于)1个、2个、3个或者更多个。

[0107] 获取第一特征图样与第二特征图样后，需要对特征图样进行拼接，具体的拼接方法请参阅图5，图5为本实施例拼接图样的生成流程示意图。

[0108] 如图5所示，步骤S1200还包括下述步骤：

[0109] S1210、获取所述样本图像的特征图样与所述增强图像的特征图样；

[0110] S1220、将所述第二特征图样的第一维拼接在所述第一特征图样的最后一维之后。

[0111] 本实施方式中，将增强图像的第二特征图像拼接在样本图像的第一特征图像的后面，具体地，将第二特征图样的第一维拼接在第一特征图样的最后一维之后。

[0112] 拼接图样的拼接方法不局限与此，在一些实施方式中将第一特征图样，拼接在第二特征图样之后。

[0113] 拼接完成后拼接图样的形状特征被描述为：

[0114]

[0115] 其中，shape表示为拼接图样的形状，W表示为拼接图样的宽度，H表示为拼接图样的高度，Ci表示特征图样的通道长度，i∈1、2、3…n表示构成拼接图样的特征图样的数量。

[0116] 举例说明，请参阅图6，图6为本实施例图像处理方法一种实施方式拓扑示意图。

[0117] 如图6所示，首先对样本图像进行图像处理生成增强图像，本实施方式中，增强图像有四副，分别是对样本进行裁剪、旋转、镜像或增加随机噪声处理。将样本图像和四个增强图像分别输入到多通道卷积神经网络模型的五个输入通道内，对上述图像进行特征提取，获得特征图1、图2、图3、图4和图5。将特征图1、图2、图3、图4和图5进行拼接形成拼接图样，然后将拼接图样输入到共享通道内进行进一步的特征提取及分类，并输出针对拼接图样的分类数据。

[0118] 请参阅图7，图7为本实施例图像处理方法中分类数据的一种应用流程示意图。

[0119] 如图7所示，步骤S1300之后还包括：

[0120] S1410、获取所述多通道卷积神经网络模型输出的分类数据；

[0121] 获取通道卷积神经网络模型输出的分类数据。

[0122] S1420、将所述分类数据转化为二值向量集，并将所述二值向量集标记为所述样本图像和增强图像的索引标签。

[0123] 将分类数据分别与预设的第一阈值进行比较，第一阈值具体的取值为0.5，但不局限与此，第一预制的设定能够根据实际应用的需求进行相应设置。

[0124] 由于卷积神经网络模型输出的分类数据为0-1之间的数字，将128个0-1之间的数字分别与第一阈值进行比较，大于或等于第一阈值的数字标记为二进制的数字1，而小于第一阈值的数字则标记为二进制数字的0。以此，将分类数据转化为长度为128二值向量，记为二值向量集。

[0125] 将分类数据转化为的二值向量集作为样本图像和增强图像的索引标签，并将该样本图像与增强图像进行存储。由于样本图像和增强图像的索引标签均为该二值向量集，则当其他用户以样本图像或任意增强图像进行二值向量检索时，能够将样本图像和增强图像均检索到，增强了图像检索的召回率。

[0126] 为解决上述技术问题，本发明实施例还提供一种图像处理系统。

[0127] 具体请参阅图8，图8为本实施例图像处理装置基本结构示意图。

[0128] 如图8所示，一种图像处理装置，包括：输入模块2100、拼接模块2200和处理模块2300。其中，输入模块2100用于将样本图像和派生于所述样本图像的增强图像分别输入到多通道卷积神经网络模型的不同输入通道内，以获取所述样本图像和所述增强图像的特征图样；拼接模块2200用于将所述样本图像的特征图样与所述增强图像的特征图样进行拼接生成拼接图样；处理模块2300用于将所述拼接图样输入到所述多通道卷积神经网络模型的共享通道内，以使所述多通道卷积神经网络模型学习所述样本图像和所述增强图像之间的关联性。

[0129] 图像处理装置通过将样本图像与样本图像派生的增强图像输入到多通道神经网络模型的不同通道内，对样本图像与增强图像均进行初度特征提取，然后将提取出来的初步特征进行拼接形成一个拼接图样，将该拼输入到接图样多通道卷积神经网络模型的共享通道内进行进一步的特征提取与分类，由于共享通道学习的是样本图像与增强图像的特征图样拼合的图形，因此，能够使卷积神经网络模型在训练时学习到样本图像与增强图像特征的关联性。同时，对样本图像与增强图像同时输入到多通道卷积神经网络模型中，然后进行拼接的方法，能够缩短多通道卷积神经网络模型训练时间，解决现有技术模型训练耗时的问题。

[0130] 在一些实施方式中，图像处理装置还包括：第一获取子模块和第一图像处理子模块。第一获取子模块用于获取所述样本图像；第一图像处理子模块用于对所述样本图像进行图像增强处理，生成至少一种派生于所述样本图像的增强图像。

[0131] 在一些实施方式中，对所述样本图像进行裁剪、旋转、镜像或增加随机噪声处理。

[0132] 在一些实施方式中，图像处理装置还包括：第二输入子模块和第二获取子模块。其中，第二输入子模块用于将样本图像和派生于所述样本图像的增强图像分别输入到多通道卷积神经网络模型的不同输入通道内；第二获取子模块用于在所述不同输入通道的输出位置分别获取所述样本图像的第一特征图样和所述增强图像的第二特征图样。

[0133] 在一些实施方式中，图像处理装置还包括：第三获取子模块和第二图像处理子模块。其中，第三获取子模块用于获取所述样本图像的特征图样与所述增强图像的特征图样；第二图像处理子模块用于将所述第二特征图样的第一维拼接在所述第一特征图样的最后一维之后。

[0134] 在一些实施方式中，拼接图样的形状特征描述为：

[0135]

[0136] 其中，shape表示为拼接图样的形状，W表示为拼接图样的宽度，H表示为拼接图样的高度，Ci表示特征图样的通道长度，i∈1、2、3…n表示构成拼接图样的特征图样的数量。

[0137] 在一些实施方式中，图像处理装置还包括：第四获取子模块和第一处理子模块。其中，第四获取子模块用于获取所述多通道卷积神经网络模型输出的分类数据；第一处理子模块用于将所述分类数据转化为二值向量集，并将所述二值向量集标记为所述样本图像和增强图像的索引标签。

[0138] 本实施例还提供一种服务器。具体请参阅图8，图8为本实施例服务器基本结构示意图。

[0139] 如图8所示，服务器包括：一个或多个处理器3110和存储器3120；一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：

[0140] 将样本图像和派生于所述样本图像的增强图像分别输入到多通道卷积神经网络模型的不同输入通道内，以获取所述样本图像和所述增强图像的特征图样；

[0141] 将所述样本图像的特征图样与所述增强图像的特征图样进行拼接生成拼接图样；以及

[0142] 将所述拼接图样输入到所述多通道卷积神经网络模型的共享通道内，以使所述多通道卷积神经网络模型学习所述样本图像和所述增强图像之间的关联性。

[0143] 服务器通过将样本图像与样本图像派生的增强图像输入到多通道神经网络模型的不同通道内，对样本图像与增强图像均进行初度特征提取，然后将提取出来的初步特征进行拼接形成一个拼接图样，将该拼输入到接图样多通道卷积神经网络模型的共享通道内进行进一步的特征提取与分类，由于共享通道学习的是样本图像与增强图像的特征图样拼合的图形，因此，能够使卷积神经网络模型在训练时学习到样本图像与增强图像特征的关联性。同时，对样本图像与增强图像同时输入到多通道卷积神经网络模型中，然后进行拼接的方法，能够缩短多通道卷积神经网络模型训练时间，解决现有技术模型训练耗时的问题。

[0144] 需要指出的是本实施列中，服务器的存储器内存储用于实现本实施例中图像处理方法中的所有程序，处理器能够调用该存储器内的程序，执行上述图像处理方法所列举的所有功能。由于服务器实现的功能在本实施例中的图像处理方法进行了详述，在此不再进行赘述。

[0145] 需要说明的是，本发明的说明书及其附图中给出了本发明的较佳的实施例，但是，本发明可以通过许多不同的形式来实现，并不限于本说明书所描述的实施例，这些实施例不作为对本发明内容的额外限制，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。并且，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；进一步地，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。