本发明公开了一种小样本图像特征增强方法及系统、图像分类方法及系统，本发明对图像进行多次仿射变换，产生原图像的多个特征图像，利用特征图像之间的相似性，对关键特征图像进行特征增强，提高小样本图像分类精度。
1.小样本图像特征增强方法，其特征在于：包括，对待增强图像分别进行多次仿射变换，获得待增强图像的多个特征图像；
计算所选的关键特征图像与其他非关键特征图像之间的相似性权重；
采用相似性权重对关键特征图像的特征进行增强，获得增强后的关键特征图像，采用相似性权重对关键特征图像的特征进行增强，具体公式为，其中，Xk为关键特征图像， 为i个非关键特征图像，Zk为Xk增强后的关键特征图像，F为矩阵乘法运算函数， 分别为Xk、对应的卷积运算函数， 为Xk分别与之间的相似性权重。
2.根据权利要求1所述的小样本图像特征增强方法，其特征在于：每次均采用不同的多级空间变换网络，对待增强图像进行仿射变换；其中，多级空间变换网络为，将原始空间变换网络中的卷积层替换为多个卷积层级联形式；级联形式的多个卷积层尺度小于原始空间变换网络中卷积层尺度。
3.根据权利要求1所述的小样本图像特征增强方法，其特征在于：采用时间非局部网络，计算所选的关键特征图像与其他非关键特征图像之间的相似性权重。
4.根据权利要求3所述的小样本图像特征增强方法，其特征在于：相似性权重计算公式为，
其中，Xk为关键特征图像，Xi为第i个非关键特征图像，Wi为Xk和 Xi之间的相似性权重，softMax为softmax函数，F为矩阵乘法运算函数，convk、convi分别为Xk和 Xi对应的卷积运算函数。
5.小样本图像特征增强系统，其特征在于：包括，仿射变换模块：对待增强图像分别进行多次仿射变换，获得待增强图像的多个特征图像；
相似性权重计算模块：计算所选的关键特征图像与其他非关键特征图像之间的相似性权重；
特征增强模块：采用相似性权重对关键特征图像的特征进行增强，获得增强后的关键特征图像，
采用相似性权重对关键特征图像的特征进行增强，具体公式为，其中，Xk为关键特征图像， 为i个非关键特征图像，Zk为Xk增强后的关键特征图像，F为矩阵乘法运算函数， 分别为Xk、对应的卷积运算函数， 为Xk分别与之间的相似性权重。
6.图像分类方法，其特征在于：包括，采用权利要求1 4任意一项所述方法进行图像特征增强，获得图像增强后的关键特征~
将增强后的关键特征图像输入预先训练的特征提取网络，进行图像分类。
7.图像分类系统，其特征在于：包括，权利要求5所述的小样本图像特征增强系统；
分类模块：将增强后的关键特征图像输入预先训练的特征提取网络，进行图像分类。
8.一种存储一个或多个程序的计算机可读存储介质，其特征在于：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1 4、或6~
9.一种计算设备，其特征在于：包括，一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1 4、或6所述的方法中的任一方法的指令。
小样本图像特征增强方法及系统、图像分类方法及系统
技术领域
[0001] 本发明涉及一种小样本图像特征增强方法及系统、图像分类方法及系统，属于图像分类领域。
背景技术
[0002] 近年来，计算机视觉在各个领域得到了广泛的应用，解放了社会生产力，图像分类是计算机视觉中一项十分重要的任务。
[0003] 传统的图像分类方法主要分为特征提取与训练分类器两大步骤；在特征提取阶段，研究者使用HOG等通用特征，针对不同的任务会设计出专用的特征。在实际任务中，研究
者基于计算复杂度与精度要求来选择一个合适的特征提取算法，然后使用朴素贝叶斯、随
机森林、支持向量机等传统机器学习算法训练出一个分类模型。整个分类算法的实现过程
需要很长的时间，而且特征提取过程与分类器的训练是分为两个过程的，其中每一个过程
都需要做到比较好的效果才能最终达到最佳的分类精度。由于两个计算过程是独立的，所
以这两个过程之间无法相互促进。
[0004] 基于深度神经网络的图像分类算法是将特征提取过程与分类过程都放在一个神经网络，这使得图像分类中的特征提取模块与分类模块可以通过反向传播算法一起进行训
练。随着深度学习的发展，图像分类得到了广泛的研究，促进了计算机视觉在各个领域的应
用。但是基于深度学习的图像分类算法需要大量的样本进行训练才能表现出较好的分类效
果，在小样本（即数据量较少）的情况下会导致图像分类精度下降。
发明内容
[0005] 本发明提供了一种小样本图像特征增强方法及系统、图像分类方法及系统，解决了小样本图像分类精度下降的问题。
[0006] 为了解决上述技术问题，本发明所采用的技术方案是：
[0007] 小样本图像特征增强方法，包括，
[0008] 对待增强图像分别进行多次仿射变换，获得待增强图像的多个特征图像；
[0009] 计算所选的关键特征图像与其他非关键特征图像之间的相似性权重；
[0010] 采用相似性权重对关键特征图像的特征进行增强，获得增强后的关键特征图像。
[0011] 每次均采用不同的多级空间变换网络，对待增强图像进行仿射变换；其中，多级空间变换网络为，将原始空间变换网络中的卷积层替换为多个卷积层级联形式；级联形式的
多个卷积层尺度小于原始空间变换网络中卷积层尺度。
[0012] 采用时间非局部网络，计算所选的关键特征图像与其他非关键特征图像之间的相似性权重。
[0013] 相似性权重计算公式为，
[0014]
[0015] 其中， 为关键特征图像， 为第 个非关键特征图像， 为 和 之间的相似性权重， 为 函数， 为矩阵乘法运算函数，
分别为 和 对应的卷积运算函数。
[0016] 采用相似性权重对关键特征图像的特征进行增强，具体公式为，
[0017]
[0018] 其中， 为关键特征图像， 为 个非关键特征图像，为 增强后的关键特征图像， 为矩阵乘法运算函数，
分别为 对应的
卷积运算函数， 为 分别与 之间的相似性权
重。
[0019] 小样本图像特征增强系统，包括，
[0020] 仿射变换模块：对待增强图像分别进行多次仿射变换，获得待增强图像的多个特征图像；
[0021] 相似性权重计算模块：计算所选的关键特征图像与其他非关键特征图像之间的相似性权重；
[0022] 特征增强模块：采用相似性权重对关键特征图像的特征进行增强，获得增强后的关键特征图像。
[0023] 图像分类方法，包括，
[0024] 采用小样本图像特征增强方法进行图像特征增强，获得图像增强后的关键特征图像；
[0025] 将增强后的关键特征图像输入预先训练的特征提取网络，进行图像分类。
[0026] 图像分类系统，包括，
[0027] 小样本图像特征增强系统；
[0028] 分类模块：将增强后的关键特征图像输入预先训练的特征提取网络，进行图像分类。
[0029] 一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行小样本图像特征增强方法或图
像分类方法。
[0030] 一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理
器执行，所述一个或多个程序包括用于执行小样本图像特征增强方法或图像分类方法的指
令。
[0031] 本发明所达到的有益效果：本发明对图像进行多次仿射变换，产生原图像的多个特征图像，利用特征图像之间的相似性，对关键特征图像进行特征增强，从而提高小样本图
像分类精度。
附图说明
[0032] 图1为本发明方法对应的网络结构图。
具体实施方式
[0033] 下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0034] 小样本图像特征增强方法，包括以下步骤：
[0035] 步骤1，对待增强图像分别进行多次仿射变换，获得待增强图像的多个特征图像。
[0036] 这里采用多级空间变换网络对待增强图像进行仿射变换，即进行空间变换，每次均采用不同的多级空间变换网络。
[0037] 多级空间变换网络为：将原始空间变换网络中的卷积层替换为多个卷积层级联形式，级联形式的多个卷积层尺度小于原始空间变换网络中卷积层尺度；即将原始空间变换
网络中的大尺度卷积层替换为多个小尺度卷积层级联形式，从而达到数据扩充的目的。
[0038] 步骤2，采用时间非局部网络，计算所选的关键特征图像与其他非关键特征图像之间的相似性权重。
[0039] 关键特征图像一般通过网络学习选定，当然也可以指定，相似性权重的计算公式为：
[0040]
[0041] 其中， 为关键特征图像， 为第 个非关键特征图像， 为 和 之间的相似性权重， 为 函数， 为矩阵乘法运算函数，
分别为 和 对应的卷积运算函数。
[0042] 步骤3，采用相似性权重对关键特征图像的特征进行增强，获得增强后的关键特征图像。
[0043] 具体公式为，
[0044]
[0045] 其中， 为 个非关键特征图像， 为 增强后的关键特征图像， 分别为
对应的卷积运算函数， 为 分别与 之间的相
似性权重。
[0046] 以图1为例，采用多级空间变换网络1、多级空间变换网络2和多级空间变换网络3进行3次仿射变换，获得三张特征图像，特征增强模块以第三张特征图像作为关键特征图
像 ，计 算 出 第 三 张 特 征图 像 和 第 一 张 特 征图 像 之间 的 相 似 性 权 重
、第三张特征图像和第二张特征图像
之间的相似性权重 ，根据相似性权
重，可得到增强的特征图为：
[0047] 。
[0048] 上述方法对应的软件系统为样本图像特征增强系统，包括，
[0049] 仿射变换模块：对待增强图像分别进行多次仿射变换，获得待增强图像的多个特征图像；
[0050] 相似性权重计算模块：计算所选的关键特征图像与其他非关键特征图像之间的相似性权重；
[0051] 特征增强模块：采用相似性权重对关键特征图像的特征进行增强，获得增强后的关键特征图像。
[0052] 根据上述方法依次对小样本中的每个图像进行特征增强，即可获得增强后的样本，基于增强后的样本进行网络训练，同样根据上述方法对待分类图像进行增强，输入训练
好的网络，即可获得分类结果。
[0053] 图像分类方法，包括，
[0054] 1）采用样本图像特征增强方法进行图像特征增强，获得图像增强后的关键特征图像；
[0055] 2）将增强后的关键特征图像输入预先训练的特征提取网络，进行图像分类。
[0056] 上述分类方法对应的软件系统为图像分类系统，包括样本图像特征增强系统和分类模块；分类模块：将增强后的关键特征图像输入预先训练的特征提取网络，进行图像分
类。
[0057] 上述方法对图像进行多次仿射变换，产生原图像的多个特征图像，利用特征图像之间的相似性，对关键特征图像进行特征增强，提高小样本图像分类精度。
[0058] 一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行小样本图像特征增强方法或图
像分类方法。
[0059] 一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理
器执行，所述一个或多个程序包括用于执行小样本图像特征增强方法或图像分类方法的指
令。
[0060] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实
施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机
可用存储介质（包括但不限于磁盘存储器、CD‑ROM、光学存储器等）上实施的计算机程序产
品的形式。
[0061] 本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流
程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
[0062] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指
令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或
多个方框中指定的功能。
[0063] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一
个方框或多个方框中指定的功能的步骤。
[0064] 以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之
内。
