图像识别网络的训练方法、电子设备及存储介质转让专利
申请号 : CN202110575536.6
文献号 : CN113033525B
文献日 : 2021-08-13
发明人 : 保长存 , 陈智超 , 朱海涛 , 江坤 , 户磊
申请人 : 北京的卢深视科技有限公司 , 合肥的卢深视科技有限公司
摘要 :
权利要求 :
1.一种图像识别网络的训练方法,其特征在于,包括:获取第一图像训练集中第一图像样本的评估结果,所述评估结果用于表征所述第一图像样本的质量;
将所述第一图像样本输入预设的初始图像网络的第一网络分支和第二网络分支进行特征提取,得到所述第一图像样本的第一特征信息和第二特征信息,所述第一网络分支用于对高质量的图像进行特征提取,所述第二网络分支用于对低质量的图像进行特征提取;
根据所述评估结果确定所述第一特征信息的第一融合权重以及所述第二特征信息的第二融合权重,其中,与所述评估结果指示的质量对应的网络分支输出的特征信息的融合权重高于或等于另一个网络分支输出的特征信息的融合权重;
根据所述第一融合权重、所述第二融合权重、所述第一特征信息、所述第二特征信息和预设的融合表达式,生成融合特征,以便基于所述融合特征和预设的收敛条件,优化所述第一网络分支的参数和所述第二网络分支的参数直至得到收敛的所述初始图像网络作为图像识别网络。
2.根据权利要求1所述的图像识别网络的训练方法,其特征在于,所述初始图像网络中还包括图像质量评价网络分支,所述方法还包括:获取第二图像训练集中第二图像样本的第一标注信息,所述第一标注信息用于指示所述第二图像样本的质量;
根据所述第二图像样本的第一标注信息,对预设的图像质量评价网络分支进行训练,直至所述图像质量评价网络分支收敛;
所述获取第一图像训练集中第一图像样本的评估结果,包括:将所述第一图像样本输入收敛后的所述图像质量评价网络分支,得到第一图像样本的评估结果。
3.根据权利要求2所述的图像识别网络的训练方法,其特征在于,在所述获取第二图像训练集中第二图像样本的第一标注信息之前,所述方法还包括:根据所述第二图像样本的第二标注信息,获取目标对象对应的参考图像,所述第二标注信息用于指示所述第二图像样本中的目标对象;
将每个所述第二图像样本和对应的所述参考图像输入预设的识别网络,获取所述第二图像样本的第三特征信息以及所述参考图像的参考特征信息;
获取所述第三特征信息与所述参考特征信息之间的相似度作为所述第二图像样本的第一标注信息。
4.根据权利要求1至3中任一项所述的图像识别网络的训练方法,其特征在于,所述根据所述评估结果确定所述第一特征信息的第一融合权重以及所述第二特征信息的第二融合权重,包括:
根据所述评估结果和预设的第一概率表达式,获取所述第一特征信息为第一质量的概率作为第一概率;
根据所述评估结果和预设的第二概率表达式,获取所述第二特征信息为第二质量的概率作为第二概率,其中,所述第一质量高于所述第二质量;
根据预设的权重表达式、所述第一概率和所述第二概率,确定所述第一特征信息的第一融合权重和所述第二特征信息的第二融合权重。
5.根据权利要求4所述的图像识别网络的训练方法,其特征在于,所述融合表达式表示为:F = normalize ( normalize(f1) * W1 + normalize(f2) * W2);
其中,normalize表征归一化处理,f1表征所述第一特征信息,W1表征所述第一融合权重,f2表征所述第二特征信息,W2表征所述第二融合权重,F表示所述融合特征。
6.根据权利要求4所述的图像识别网络的训练方法,其特征在于,所述第一概率表达式表示为:q1=Score*Score,其中,q1表示所述第一概率,Score表示所述评估结果;
所述第二概率表达式表示为:q2=(1‑Score)*(1‑Score),其中,所述q2表示所述第二概率。
7.根据权利要求2所述的图像识别网络的训练方法,其特征在于,所述图像质量评价网络分支的损失函数包括:回归损失函数和分类损失函数;用于训练所述第一网络分支和所述第二网络分支的损失函数为分类损失函数。
8.根据权利要求1所述的图像识别网络的训练方法,其特征在于,在所述将所述第一图像样本输入预设的初始图像网络的第一网络分支和第二网络分支进行特征提取,得到所述第一图像样本的第一特征信息和第二特征信息之前,所述方法还包括:对所述第一图像样本进行图像裁切和/或图片归一化处理。
9.一种电子设备,其特征在于,包括:至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1‑8任一所述的图像识别网络的训练方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的图像识别网络的训练方法。
说明书 :
图像识别网络的训练方法、电子设备及存储介质
技术领域
背景技术
是根据携带标注信息的人脸图片,对神经网络进行训练。对训练的网络进行测试,测试包括
人脸验证和人脸辨识,测试过程为:将一张测试图片输入该人脸识别网络中,该网络获取到
图片的特征向量;根据两张图片对应特征向量的相似度来确定是否是同一人以实现人脸验
证。将图片的特征向量和底库图片中的特征向量进行两两相似度的计算,返回最相似的图
片,完成人脸辨识。
由于同一目标对象在不同姿态、不同光照、或被遮挡时,图片的内容之间的差异大,或者图
片存在不清晰、曝光等问题,均会导致人脸识别网络提取的特征向量差别大,模型的识别不
准确。
发明内容
质量;将第一图像样本输入预设的初始图像网络的第一网络分支和第二网络分支进行特征
提取,得到第一图像样本的第一特征信息和第二特征信息,第一网络分支和第二网络分支
分别用于对不同质量的图像进行特征提取;根据评估结果将第一特征信息和第二特征信息
进行融合,生成融合特征,以便基于融合特征和预设的收敛条件,优化第一网络分支的参数
和第二网络分支的参数直至得到收敛的初始图像网络作为图像识别网络。
少一个处理器执行,以使至少一个处理器能够执行如上述的图像识别网络的训练方法。
的特征提取的准确率与被提取图像的质量相关,例如,模糊、不聚焦、曝光问题等;针对同一
目标对象的不同质量的图像,提取的特征往往差距较大,本实施例中由于不是采用一个网
络模型暴力地对所有质量的图像样本进行特征提取,而是针对不同的质量的图像由对应的
网络分支进行特征提取,使得在训练网络过程中可以对每个图像样本提取出不同准确度的
特征信息;评估结果表征了图像样本的质量,通过该评估结果将不同特征信息融合为一个
融合特征,使得该图像样本的特征映射成同一条特征向量,且由于是基于图像质量进行特
征融合,可以避免因质量差的图像在训练过程中采用不准确特征进行训练导致图像识别网
络不准确的问题;同时,根据融合特征和收敛条件对第一网络分支和第二网络分支中的参
数进行优化,由于融合特征弱化了质量差的图像中提取不准确特征的影响,融合特征与真
实的特征更贴近,使得网络更容易学习,且不易过拟合,提升后续该图像识别网络识别的准
确性。
据第二图像样本的第一标注信息,对预设的图像质量评价网络分支进行训练,直至图像质
量评价网络分支收敛;获取第一图像训练集中第一图像样本的评估结果包括:将第一图像
样本输入收敛后的图像质量评价网络分支,得到第一图像样本的评估结果。初始图像网络
中还包括图像质量评价网络分支,在该图像质量评价网络分支训练完成之后,可通过该图
像质量评价网络分支获取第一图像训练集中的各第一图像样本的评估结果,无需人工对该
第一图像样本进行标注,减少人工的参与,提高获取第一图像样本的评估结果的速度。
示第二图像样本中的目标对象;将每个第二图像样本和对应的参考图像输入预设的识别网
络,获取第二图像样本的第三特征信息以及参考图像的参考特征信息;获取第三特征信息
与参考特征信息之间的相似度作为第二图像样本的第一标注信息。第二图像训练集中第二
图像样本的第一标注信息是通过计算该第二图像样本的第三特征信息与对应的参考图像
的参考特征信息的相似度得到,无需人工对第二图像样本进行第一标注信息的标注,提高
对第二图像样本标注第一标注信息的速度和准确度。
得到收敛的初始图像网络作为图像识别网络,包括:根据评估结果和预设的第一概率表达
式,获取第一特征信息为第一质量的概率作为第一概率;根据评估结果和预设的第二概率
表达式,获取第二特征信息为第二质量的概率作为第二概率,其中,第一质量高于第二质
量;根据预设的权重表达式、第一概率和第二概率,确定第一特征信息的第一融合权重和第
二特征信息的第二融合权重;根据第一融合权重、第二融合权重、第一特征信息、第二特征
信息和预设的融合表达式,生成融合权重。通过评估结果确定出第一特征信息和第二特征
信息各自的概率,并基于各自的概率确定对应的融合权重,可以减少不准确的特征信息的
融合权重,以提高该图像识别网络的识别准确性。
重,f2表征第二特征信息,W2表征第二融合权重,F表示融合特征。通过归一化操作,使得各
个特征对应的融合权重更加稀疏,进一步减少不准确特征信息的融合权重。
过对第一概率进行平方处理,以及对第二概率进行平方处理,可以进一步拉大第一特征信
息和第二特征信息各自对应融合权重之间的差距,使得融合时能够弱化概率小的特征信息
的比重。
过回归损失函数和分类损失函数可以提高图像质量评价网络分支的准确性;而针对训练第
一网络分支和第二网络分支的损失函数为分类损失,减少不必要的验证,加快整个图像识
别网络训练的速度。
附图说明
非有特别申明,附图中的图不构成比例限制。
具体实施方式
式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节
和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
练过程中网络不容易学习,容易出现过度拟合的情况。而若针对每个质量的图像设置对应
的网络,当输入图像识别网络的不是对应质量的图像,将导致该图像的特征提取不准确,进
而影响对该图像的识别。
第二网络分支分别用于对不同质量的图像进行特征提取。
数直至得到收敛的初始图像网络作为图像识别网络。
的特征提取的准确率与该图像质量相关,例如,模糊、不聚焦、曝光问题等;针对同一目标对
象的不同质量的图像,提取的特征往往差距较大,本实施例中由于不是采用一个网络模型
暴力地对所有质量的图像样本进行特征提取,而是针对不同的质量的图像由对应的网络分
支进行特征提取,使得在训练网络过程中可以对每个图像样本提取出不同准确度的特征信
息;评估结果表征了图像样本的质量,通过该评估结果将不同特征信息融合为一个融合特
征,使得该图像样本的特征映射成同一条特征向量,且由于是基于图像质量进行特征融合,
可以避免因质量差的图像在训练过程中采用不准确特征进行训练导致图像识别网络不准
确的问题;同时,根据融合特征和收敛条件对第一网络分支和第二网络分支中的参数进行
优化,由于融合特征弱化了质量差的图像中提取不准确特征的影响,融合特征与真实的特
征更贴近,使得网络更容易学习,且不易过拟合,提升后续该图像识别网络识别的准确性。
信息为第一质量的第一概率和第二特征信息为第二质量的第二概率,根据第一概率和第二
概率确定出第一特征信息的融合权重和第二特征信息的融合权重,以便对第一特征信息和
第二特征信息进行融合。第二实施方式的流程如图2所示:
图像。第一图像训练集中包括至少两个第一图像样本。
间的相似度;例如,第一图像样本中目标对象为A,选取包含该目标对象A的参考图像,参考
图像可以为满足第一质量条件的该目标对象A的图像,第一质量的图像的判定条件为同时
满足以下至少两个条件:正面照,无遮挡、光照良好和清晰。
络的训练方式训练。
结果表明该第一图像样本的图像质量越高,越接近0的评估结果表明第一图像样本的质量
越低。本示例中,第二质量的图像的判定条件包括:目标对象被遮挡、图像模糊、图像光照暗
等。
第二网络分支分别用于对不同质量的图像进行特征提取。
数和第二网络分支中的参数。将第一图像样本输入至该初始图像网络中的第一网络分支和
第二网络分支,分别由第一网络分支和第二网络分支提取该第一图像样本的特征信息,得
到第一网络分支输出的第一特征信息以及第二网络分支输出的第二特征信息。
识别第一质量的图像的识别网络中的参数作为第一网络分支中的初始参数,预先获取用于
识别第二质量的图像的识别网络中的参数作为第二网络分支中的初始参数,其中,第一质
量高于第二质量;还可以获取识别网络中的参数,对该网络参数进行调整,将调整后的参数
作为第一网络分支的参数或作为第二网络分支的参数。
一融合权重,f2表征第二特征信息,W2表征第二融合权重,F表示融合特征。
该分类器的分类结果,判断该分类器的损失函数是否满足收敛,若未满足收敛,则优化第一
网络分支的参数和第二网络分支的参数,并重新返回步骤201,再次进行训练,直至得到的
第一网络分支和第二网络分支满足收敛,即该初始图像网络满足收敛条件,将满足收敛条
件的初始图像网络作为该图像识别网络。
同时通过第一网络分支和第二网络分支,得到第一特征信息和第二特征信息,通过获取的
评估结果,将第一特征信息和第二特征信息进行融合,生成融合特征,对融合特征进行分
类,获得分类结果,根据分类结果和分类损失函数,判断该初始图像网络是否收敛,若未收
敛,则调整第一网络分支的参数和第二网络分支的参数,并对下一张第一图像样本进行处
理。
化概率小所对应的特征信息。本示例中将同一人的容易识别的高质量人脸图像样本和难识
别的低质量人脸图像样本通过动态网络的不同分支后映射成同一条特征向量,使得网络容
易学习,且不易过拟合,从而提升测试时的识别效果。
通过图像质量评价网络分支获取第一图像样本的评估结果。预先训练图像质量评价网络分
支,通过图像质量评价网络获取第一图像样本的评估结果的流程如图4所示:
图像样本;例如,可以获取人物A的正面照、侧面照、全景照等图像作为该目标对象的第二图
像样本。
注信息用于指示该第二图像样本的质量。该第一标注信息可以由人工预先标注。
络分支进行训练,该图像评价网络分支的收敛函数可以是通过该第二图像中的第一标注信
息,对预设的图像质量网络分支进行训练得到。该图像质量评价网络分支的损失函数包括:
回归损失函数和分类损失函数。例如,通过L1损失和分类损失共同进行收敛判断。直至该图
像质量评价网络分支收敛,固定该收敛的图像质量评价网络分支中的各个参数。
第二网络分支分别用于对不同质量的图像进行特征提取。
数直至得到收敛的初始图像网络作为图像识别网络。
再赘述。
像质量网络分支的参数固定之后,输入的数据为第一图像样本,该第一图像样本同时通过
第一网络分支、第二网络分支和该图像质量评价网络分支,得到该第一图像样本的评估结
果、第一特征信息和第二特征信息,通过获取的评估结果,将第一特征信息和第二特征信息
进行融合,生成融合特征,对融合特征进行分类,获得分类结果,根据分类结果和分类损失
函数,判断该初始图像网络是否收敛,若未收敛,则调整第一网络分支的参数和第二网络分
支的参数,并对下一张第一图像样本进行处理。
像样本的评估结果,无需人工对该第一图像样本进行标注,减少人工的参与,通过图像质量
评价网络分支来指导图像自适应融合两个分支的特征,提高获取第一图像样本的评估结果
的速度。
图像进行特征提取,进而根据提取的特征信息对第二图像样本进行标注。其流程如图6所
示:
询该目标对象的参考图像。或者,可以在该目标对象的第二图像样本中选取满足质量最好
的图像作为该目标对象的参考图像。
注有第二标注信息的图像样本进行深度神经网络的训练,得到该识别网络。
~
人工标注第一标注信息,提高对第二图像样本标注第一标注信息的速度和准确度。
内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法
和流程的核心设计都在该专利的保护范围内。
储有可被至少一个处理器501执行的指令,指令被至少一个处理器501执行,以使至少一个
处理器501能够执行上述的图像识别网络的训练方法。
以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是
本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供
接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在
传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行
传输,进一步,天线还接收数据并将数据传送给处理器。
使用的数据。
个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的
全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read‑Only
Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程
序代码的介质。