基于多目标拉格朗日正则的细粒度图像识别方法转让专利
申请号 : CN201910644312.9
文献号 : CN110378356B
文献日 : 2021-07-02
发明人 : 张勇东 , 闵少波 , 谢洪涛
申请人 : 北京中科研究院 , 中国科学技术大学
摘要 :
权利要求 :
1.一种基于多目标拉格朗日正则的细粒度图像识别方法,其特征在于,包括:通过神经网络提取输入图像的图像特征X,得到相应的双线性图像A;
从双线性图像A中获取规则化特征Y,构建包含矩阵平方根,低秩以及稀疏约束项的目标函数;
引入两个辅助的变量来弱化三个约束项之间的关联性,并将目标函数转化为一个增广拉格朗日形式,再通过交替地优化每一个矩阵约束项来得到一个全局近似最优解;
利用该全局近似最优解进行图像的识别分类;
其中,双线性图像A是一个对称半正定矩阵,其有唯一的平方根解,通过优化如下目标函数,得到双线性图像A的平方根解,并且保持低秩和稀疏的属性:其中,Y是从A中得到的规则化特征,||·||F为矩阵范数,||·||*为核范数,||·||1为l1范数,以上表达式中的三个约束项分别对应于平方根,低秩和稀疏正则约束,β1和β2是两个超参数,用来控制不同约束项之间的关系。
2.根据权利要求1所述的一种基于多目标拉格朗日正则的细粒度图像识别方法,其特征在于,
n×d
通过卷积神经网络对图像进行特征提取,提取到的图像特征定义为X∈R ,n=h×w,h,w,d分别为图像特征的高,宽以及图像特征的通道数;
基于图像特征,相应的双线性图像A为:T
A=XCX
其中, In×n为单位矩阵,1n×n为全1矩阵。
3.根据权利要求1所述的一种基于多目标拉格朗日正则的细粒度图像识别方法,其特征在于,引入两个辅助的变量来弱化三个约束项之间的关联性,并将目标函数转化为一个增广拉格朗日形式包括:
引入两个辅助变量J1和J2来弱化三个约束项之间的关联性,则目标函数变为:s.t.J1=Y,J2=Y将目标函数转化为一个增广拉格朗日形式:其中,L1和L2为朗格朗日乘子,μ1和μ2为两个超参常数,tr(·)为求矩阵迹操作。
4.根据权利要求3所述的一种基于多目标拉格朗日正则的细粒度图像识别方法,其特征在于,
采用梯度下降法,更新低秩约束项;
采用梯度下降法,或者基于特征内容的更新策略,更新稀疏约束项;
结合耦合高斯迭代优化,更新矩阵平方根约束项。
5.根据权利要求3所述的一种基于多目标拉格朗日正则的细粒度图像识别方法,其特征在于,通过交替地优化每一个矩阵约束项来得到一个近似的全局解的过程包括:首先,初始化 上标0表示迭代次数;再进行如下交替优化:
1)更新J1,固定住J2和Y,去除掉增广拉格朗日形式中的无关项,从而得到目标函数:其中,上标k表示迭代次数;
利用梯度下降法更新以上表达式,得到:是对称半正定矩阵,其奇异值和特征值相等,令 时,η1在最终的表达式中将被消除,得到:
其中,I为单位矩阵;
2)更新J2,固定住J1和Y,去除掉增广拉格朗日形式中的无关项,从而得到目标函数:采用梯度下降法更新以上表达式,并且令 η2在最终的表达式中将被消除,得到:
其中,sgn(·)为符号函数;
或者,基于特征内容的更新策略,更新J2;基于特征内容的更新策略的核心是一个协方差注意力机制,能够通过理解图像特征X的内容,生成一个协方差注意力图S;其中的协方差注意力图S与双线性图像A具有相同的尺寸,利用协方差注意力图S更新J2:
3)更新Y,固定住J1和J2,去除掉增广拉格朗日形式中的无关项,从而得到目标函数:梯度下降法得到:
结合耦合高斯迭代优化,更新Y;令 η3在最终的表达式中将被消除,则得到,得到:
k
其中, 和Z是两个中间变量;
4)更新乘子项:
μ1←ρμ1;μ2←ρμ2K
通过以上方式交替优化K次,得到近似的最优解全局近似最优解Y。
6.根据权利要求5所述的一种基于多目标拉格朗日正则的细粒度图像识别方法,其特征在于,生成协方差注意力图S的步骤包括:将图像特征X进行全局平均池化,得到1×d维的特征,该特征丢掉了空间信息,其中d为图像特征的通道数;通过两层全连接层进行通道间的信息凝练,输出同样维度的特征;之后,通过Sigmoid函数进行归一化,最后通过外积操作,得到与图像双线性图像A一样尺寸的协方差注意力图S。
7.根据权利要求1所述的一种基于多目标拉格朗日正则的细粒度图像识别方法,其特征在于,所述利用该全局近似最优解进行图像的识别分类包括:将全局近似最优解拉伸成一个一维向量,作为输入图像的最终描述特征,并通过训练好的分类器进行识别分类。
说明书 :
基于多目标拉格朗日正则的细粒度图像识别方法
技术领域
背景技术
解决双线性特征中的信息冗余,泛化能力弱等问题,从而导致了目前技术的识别率低下的
问题。因此对于细粒度图像识别问题,我们需要一种能同时高效快速地稳定高阶信息,剔除
冗余信息,提高泛化能力的正则化技术,以提升识别准确率。
发明内容
方根,低秩,和稀疏的正则约束,极大的提高了识别准确率,在实验中该方法在五个细粒度
图像识别数据集上都取得了目前最好的识别效果。
附图说明
领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他
附图。
具体实施方式
发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施
例,都属于本发明的保护范围。
化特征Y,构建包含矩阵平方根,低秩以及稀疏约束项的目标函数;引入两个辅助的变量来
弱化三个约束项之间的关联性,并将目标函数转化为一个增广拉格朗日形式,再通过交替
地优化每一个矩阵约束项来得到一个全局近似最优解;最后根据该全局近似最优解进行图
像的识别分类。
h×w×d
卷积层的输出作为提取到的图像特征,并定义为X∈R ,其中h,w,d分别为图像特征的
n×d
高,宽以及图像特征的通道数。为了方便计算,将X重新定义成X∈R ,其中,n=h×w。
发明的目的是得到一个从A规则化后的特征表达Y,并且要同时保持一阶,低秩和稀疏的属
性,因此本发明的目的是优化以下原始目标表达式:
和β2是两个超参数,用来控制不同约束项之间的关系。
数变为:
和稀疏属性。
奇异值分解方法,而采用更高效的梯度下降法,由于该任务中的待优化矩阵为半正定对称
矩阵,因此该梯度下降法只包含矩阵乘法,能够很好地被GPU所兼容。2)对于矩阵稀释约束
项来说,提出了两种合理的更新策略。第一种为传统的梯度下降法,通过对稀疏项求导来优
化更新参数。然而这种策略会伤害到一些重要的特征信息,因此提出了另一种基于特征内
容的更新策略,能够在保护特征信息的前提下,使变量更稀疏。该更新策略的核心是一个协
方差注意力机制模块,能够只针对双线性特征中冗余的信息进行处理,因此能同时达到冗
余剔除和稀疏优化的效果。3)对于矩阵平方根约束来说,借鉴了最新的耦合高斯迭代优化,
能够只通过矩阵乘法操作来迭代式的得到矩阵的近似平方根解。通过以上新提出的更新策
略,本发明的多目标朗格朗日优化算法,能够同时对双线性图像表达进行平方根,低秩和稀
疏的正则约束优化。如图1所示,整个正则过程只包含矩阵乘法,因此能够很好地被GPU兼
容。
新策略的核心是一个协方差注意力机制,能够通过理解图像特征X的内容,生成一个协方差
注意力图S;该协方差注意力机制结构图如图2所示。首先将图像特征X进行全局平均池化,
得到1×d维的特征。该特征丢掉了空间信息。然后通过两层全连接层进行通道间的信息凝
练,输出同样维度的特征。接下来通过Sigmoid函数进行归一化,最后通过外积操作,得到与
图像双线性特征A一样尺寸的注意力图S。该特征S具有以下特征:a)S的数值都在[0,1];b)
稀疏;c)小的数值表示该特征元素不重要。
器。损失函数为常见的交叉熵损失
好的效果。
89.4%,93.9%,92.0%,89.6%和33.8%的最高识别准确率。
上述实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易
失性存储介质(可以是CD‑ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设
备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范
围为准。