图像处理模型训练、图像处理方法、装置和计算机设备转让专利
申请号 : CN202110823985.8
文献号 : CN113269176B
文献日 : 2021-10-08
发明人 : 郭卉
申请人 : 腾讯科技(深圳)有限公司
摘要 :
权利要求 :
1.一种图像处理模型训练方法,其特征在于,所述方法包括:获取训练图像集;
将所述训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,所述更新图像处理训练模型包括更新主分支网络和更新辅助分支网络;
计算所述更新主分支网络中网络通道的主分支激活程度,基于所述主分支激活程度从所述更新主分支网络的网络通道中筛选得到待更新网络通道;
计算所述更新辅助分支网络中网络通道的辅助分支激活程度,基于所述辅助分支激活程度从所述更新辅助分支网络中网络通道中筛选得到参考网络通道;
基于所述参考网络通道的参数对所述待更新网络通道的参数进行更新,得到所述待更新网络通道的更新参数,基于所述待更新网络通道的更新参数得到目标更新主分支网络,基于所述目标更新主分支网络得到目标更新图像处理训练模型;
将所述目标更新图像处理训练模型作为初始图像处理训练模型,并返回将所述训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型的步骤迭代执行,直到达到训练完成条件时,得到目标图像处理训练模型,基于所述目标图像处理训练模型中的主分支网络得到目标图像处理模型,所述目标图像处理模型用于对输入图像进行图像特征提取。
2.根据权利要求1所述的方法,其特征在于,所述将所述训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,包括:将所述训练图像集输入到初始图像处理训练模型中,所述初始图像处理训练模型通过初始主分支网络和初始辅助分支网络进行图像特征提取,得到所述训练图像集对应的初始主特征集和初始辅助特征集;
基于所述训练图像集对应的初始主特征集和初始辅助特征集进行损失计算,得到初始图像损失信息;
基于所述初始图像损失信息更新所述初始图像处理训练模型的参数,得到更新图像处理训练模型。
3.根据权利要求2所述的方法,其特征在于,所述初始图像处理训练模型还包括初始深度特征提取网络和初始特征映射网络;
所述将所述训练图像集输入到初始图像处理训练模型中,所述初始图像处理训练模型通过初始主分支网络和初始辅助分支网络进行图像特征提取,得到所述训练图像集对应的初始主特征集和初始辅助特征集,包括:将所述训练图像集输入到初始图像处理训练模型中,所述初始图像处理训练模型将训练图像集中训练图像输入所述初始深度特征提取网络中进行深度特征提取,得到训练图像初始深度特征;
将所述训练图像初始深度特征输入到所述初始特征映射网络中进行高维特征映射,得到训练图像初始映射特征;
将所述训练图像初始映射特征分别输入到所述初始主分支网络和所述初始辅助分支网络进行特征整合,得到所述训练图像对应的初始主特征和初始辅助特征,并遍历所述训练图像集中各个训练图像,得到所述训练图像集对应的初始主特征集和初始辅助特征集。
4.根据权利要求2所述的方法,其特征在于,所述训练图像集中包括各个正样本图像对;
所述基于所述训练图像集对应的初始主特征集和初始辅助特征集进行损失计算,得到初始图像损失信息,包括:
基于所述各个正样本图像对进行负样本图像筛选,得到所述各个正样本图像对对应的负样本图像,基于所述各个正样本图像对和对应的负样本图像得到各个图像三元组;
从所述初始主特征集和所述初始辅助特征集中查找所述各个图像三元组对应的初始主特征和所述各个图像三元组对应的初始辅助特征;
基于所述各个图像三元组对应的初始主特征和所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始图像损失信息。
5.根据权利要求4所述的方法,其特征在于,所述基于所述各个正样本图像对进行负样本图像筛选,得到所述各个正样本图像对对应的负样本图像,基于所述各个正样本图像对和对应的负样本图像得到各个图像三元组,包括:基于所述各个正样本图像对确定当前正样本图像对和各个待挖掘正样本图像对;
从当前正样本图像对中随机选取,得到当前图像,并分别从所述各个待挖掘正样本图像对中随机选取,得到各个待挖掘图像;
计算所述当前图像分别与所述各个待挖掘图像之间的相似度,基于所述相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前负样本图像;
基于所述当前正样本图像对和所述当前负样本图像得到所述当前正样本图像对对应的当前图像三元组。
6.根据权利要求5所述的方法,其特征在于,所述计算所述当前图像分别与所述各个待挖掘图像之间的相似度,基于所述相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前负样本图像,包括:从所述初始主特征集中获取所述当前图像对应的当前初始主特征和所述各个待挖掘图像对应的待挖掘初始主特征;
计算所述当前初始主特征分别与所述各个待挖掘图像对应的待挖掘初始主特征的相似距离,得到各个相似度,基于所述各个相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前负样本图像。
7.根据权利要求6所述的方法,其特征在于,所述基于所述各个相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前负样本图像,包括:基于所述各个相似度从所述各个待挖掘图像中选取目标数量的待挖掘图像,得到所述当前正样本图像对对应的各个当前负样本图像;
所述基于所述当前正样本图像对和所述当前负样本图像得到所述当前正样本图像对对应的当前图像三元组,包括:
基于所述当前正样本图像对和所述各个当前负样本图像得到所述当前正样本图像对对应的各个当前图像三元组。
8.根据权利要求2所述的方法,其特征在于,所述训练图像集中包括各个图像三元组;
所述基于所述训练图像集对应的初始主特征集和初始辅助特征集进行损失计算,得到初始图像损失信息,包括:
基于所述各个图像三元组对应的初始主特征和所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始图像损失信息。
9.根据权利要求4‑8任意一项所述的方法,其特征在于,所述基于所述各个图像三元组对应的初始主特征和所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始图像损失信息,包括:
基于所述各个图像三元组对应的初始主特征进行图像三元组损失计算,得到初始主损失信息;
基于所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始辅助损失信息;
基于所述初始主损失信息和所述初始辅助损失信息确定所述初始图像损失信息。
10.根据权利要求9所述的方法,其特征在于,所述各个图像三元组包括第一正样本图像、第二正样本图像和负样本图像;
所述基于所述各个图像三元组对应的初始主特征进行图像三元组损失计算,得到初始主损失信息,包括:
计算所述各个图像三元组中第一正样本图像对应的初始目标特征与所述第二正样本图像对应的初始目标特征的第一相似距离,并计算所述各个图像三元组中第一正样本图像对应的初始目标特征与所述负样本图像对应的初始目标特征的第二相似距离;
计算所述各个图像三元组对应的所述第一相似距离与所述第二相似距离的目标距离误差,基于所述各个图像三元组对应的目标距离误差确定所述各个图像三元组对应的三元组目标损失信息,基于所述各个图像三元组对应的三元组目标损失信息确定所述初始主损失信息。
11.根据权利要求9所述的方法,其特征在于,所述各个图像三元组包括第一正样本图像、第二正样本图像和负样本图像;
所述基于所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始辅助损失信息,包括:
计算所述各个图像三元组中第一正样本图像对应的初始辅助特征与所述第二正样本图像对应的初始辅助特征的第三相似距离,并计算所述各个图像三元组中第一正样本图像对应的初始辅助特征与所述负样本图像对应的初始辅助特征的第四相似距离;
计算所述各个图像三元组对应的所述第三相似距离与所述第四相似距离的辅助距离误差,基于所述各个图像三元组对应的辅助距离误差确定所述各个图像三元组对应的三元组辅助损失信息,基于所述各个图像三元组对应的三元组辅助损失信息确定所述初始辅助损失信息。
12.根据权利要求1所述的方法,其特征在于,所述计算所述更新主分支网络中网络通道的主分支激活程度,基于所述主分支激活程度从所述更新主分支网络的网络通道中筛选得到待更新网络通道,包括:
使用所述更新主分支网络中各个网络通道对应的网络参数进行信息熵计算,得到所述更新主分支网络中各个网络通道对应的主分支激活程度;
将各个主分支激活程度与预设主分支激活程度阈值进行比较,并选取低于预设主分支激活程度阈值的网络通道,得到各个待更新网络通道。
13.根据权利要求12所述的方法,其特征在于,在所述将各个主分支激活程度与预设主分支激活程度阈值进行比较,并选取低于预设主分支激活程度阈值的网络通道,得到各个待更新网络通道之后,还包括:
统计所述各个待更新网络通道的待更新通道数量,当所述待更新通道数量未超过预设通道数量时,将所述更新图像处理训练模型作为初始图像处理训练模型,并返回将所述训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型的步骤迭代执行;
当所述待更新通道数量超过所述预设通道数量时,执行计算所述更新辅助分支网络中网络通道的辅助分支激活程度,基于所述辅助分支激活程度从所述更新辅助分支网络中网络通道中筛选得到参考网络通道的步骤。
14.根据权利要求1所述的方法,其特征在于,所述计算所述更新辅助分支网络中网络通道的辅助分支激活程度,基于所述辅助分支激活程度从所述更新辅助分支网络中网络通道中筛选得到参考网络通道,包括:使用所述更新辅助分支网络中各个网络通道对应的网络参数进行信息熵计算,得到所述更新辅助分支网络中各个网络通道对应的辅助分支激活程度;
将各个辅助分支激活程度与预设辅助分支激活程度阈值进行比较,并选取大于预设主分支激活程度阈值的网络通道,得到各个参考网络通道。
15.根据权利要求1所述的方法,其特征在于,所述基于所述参考网络通道的参数对所述待更新网络通道的参数进行更新,得到所述待更新网络通道的更新参数,包括:统计所述参考网络通道的参考通道数量,并获取所述待更新网络通道的待更新通道数量;
比较所述参考通道数量与所述待更新通道数量,得到比较结果,根据比较结果从所述参考通道数量的参考网络通道中确定所述待更新通道数量的参考网络通道;
基于所述待更新通道数量的参考网络通道的网络参数和所述待更新通道数量的待更新网络通道的网络参数进行加权和计算,得到待更新通道数量的待更新网络通道的更新网络参数。
16.根据权利要求15所述的方法,其特征在于,所述根据比较结果从所述参考通道数量的参考网络通道中确定所述待更新通道数量的参考网络通道,包括:当所述待更新通道数量大于所述参考通道数量时,计算所述待更新通道数量与所述参考通道数量的差值,从所述待更新通道数量的参考网络通道中随机选取所述差值的参考网络通道;
基于所述参考通道数量和所述差值的参考网络通道得到所述待更新通道数量的参考网络通道。
17.根据权利要求15所述的方法,其特征在于,所述根据比较结果从所述参考通道数量的参考网络通道中确定所述待更新通道数量的参考网络通道,包括:当所述参考通道数量等于所述待更新通道数量时,将所述参考通道数量的参考网络通道作为所述待更新通道数量的参考网络通道。
18.根据权利要求15所述的方法,其特征在于,所述根据比较结果从所述参考通道数量的参考网络通道中确定所述待更新通道数量的参考网络通道,包括:当所述待更新通道数量小于所述参考通道数量时,获取更新主分支网络的网络通道中除所述待更新网络通道以外的网络通道,得到各个目标网络通道;
计算所述参考通道数量的参考网络通道分别与所述各个目标网络通道的交叉熵,得到每个参考网络通道分别与所述各个目标网络通道的差异程度;
从所述目标网络通道的差异程度中确定每个参考网络通道对应的目标差异程度,并基于所述目标差异程度从所述参考通道数量的参考网络通道中选取待更新通道数量的参考网络通道。
19.根据权利要求15所述的方法,其特征在于,所述根据比较结果从所述参考通道数量的参考网络通道中确定所述待更新通道数量的参考网络通道,包括:当所述待更新通道数量小于所述参考通道数量时,从所述参考通道数量的参考网络通道中随机选取待更新通道数量的参考网络通道。
20.一种图像处理方法,其特征在于,所述方法包括:获取待处理图像,将所述待处理图像输入目标图像处理模型中;
其中,通过将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,所述更新图像处理训练模型包括更新主分支网络和更新辅助分支网络,基于所述更新主分支网络中网络通道的主分支激活程度进行筛选得到待更新网络通道,基于所述更新辅助分支网络中网络通道的辅助分支激活程度,进行筛选得到参考网络通道,基于所述参考网络通道的参数对所述待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于所述待更新网络通道的更新参数得到目标更新图像处理训练模型,将所述目标更新图像处理训练模型作为初始图像处理训练模型,并进行迭代执行,直到达到训练完成条件时,得到目标图像处理训练模型,基于所述目标图像处理训练模型中的主分支网络得到所述目标图像处理模型;
所述目标图像处理模型对所述待处理图像进行特征提取,输出待处理图像特征。
21.根据权利要求20所述的方法,其特征在于,所述目标图像处理模型包括深度特征提取网络、特征映射网络和主分支网络;
所述目标图像处理模型对所述待处理图像进行特征提取,输出待处理图像特征,包括:所述目标图像处理模型将所述待处理图像输入所述深度特征提取网络中进行深度特征提取,得到待处理图像深度特征,将所述待处理图像深度特征输入所述特征映射网络中进行特征映射,得到待处理图像映射特征,并将所述待处理图像映射特征输入到主分支网络中进行特征整合,得到待处理图像特征。
22.根据权利要求20所述的方法,其特征在于,所述待处理图像包括查询图像;
所述目标图像处理模型对所述待处理图像进行特征提取,输出待处理图像特征,包括:所述目标图像处理模型对所述查询图像进行特征提取,输出查询图像特征;
在所述目标图像处理模型对所述待处理图像进行特征提取,输出待处理图像特征之后,还包括:
获取各个待搜索图像类别中心,计算所述查询图像特征分别与所述各个待搜索图像类别中心的类别相似度,基于所述类别相似度从所述各个待搜索图像类别中心中确定目标图像类别中心;
获取与所述目标图像类别中心关联的图像,得到各个候选图像;
获取所述各个候选图像对应的各个候选图像特征,并计算所述查询图像特征分别与所述各个候选图像特征之间的特征相似度;
基于所述特征相似度从所述各个候选图像中确定与所述查询图像对应的相似图像。
23.一种图像处理模型训练装置,其特征在于,所述装置包括:图像获取模块,用于获取训练图像集;
训练模块,用于将所述训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,所述更新图像处理训练模型包括更新主分支网络和更新辅助分支网络;
待更新通道筛选模块,用于计算所述更新主分支网络中网络通道的主分支激活程度,基于所述主分支激活程度从所述更新主分支网络的网络通道中筛选得到待更新网络通道;
参考通道筛选模块,用于计算所述更新辅助分支网络中网络通道的辅助分支激活程度,基于所述辅助分支激活程度从所述更新辅助分支网络中网络通道中筛选得到参考网络通道;
参数更新模块,用于基于所述参考网络通道的参数对所述待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于所述待更新网络通道的更新参数得到目标更新主分支网络,基于所述目标更新主分支网络得到目标更新图像处理训练模型;
迭代模块,用于将所述目标更新图像处理训练模型作为初始图像处理训练模型,并返回将所述训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型的步骤迭代执行,直到达到训练完成条件时,得到目标图像处理训练模型,基于所述目标图像处理训练模型中的主分支网络得到目标图像处理模型,所述目标图像处理模型用于对输入图像进行图像特征提取。
24.根据权利要求23所述的装置,其特征在于,所述训练模块,包括:特征提取单元,用于将所述训练图像集输入到初始图像处理训练模型中,所述初始图像处理训练模型通过初始主分支网络和初始辅助分支网络进行图像特征提取,得到所述训练图像集对应的初始主特征集和初始辅助特征集;
损失计算单元,用于基于所述训练图像集对应的初始主特征集和初始辅助特征集进行损失计算,得到初始图像损失信息;
参数更新单元,用于基于所述初始图像损失信息更新所述初始图像处理训练模型的参数,得到更新图像处理训练模型。
25.根据权利要求24所述的装置,其特征在于,所述初始图像处理训练模型还包括初始深度特征提取网络和初始特征映射网络;
所述特征提取单元,还用于将所述训练图像集输入到初始图像处理训练模型中,所述初始图像处理训练模型将训练图像集中训练图像输入所述初始深度特征提取网络中进行深度特征提取,得到训练图像初始深度特征;将所述训练图像初始深度特征输入到所述初始特征映射网络中进行高维特征映射,得到训练图像初始映射特征;将所述训练图像初始映射特征分别输入到所述初始主分支网络和所述初始辅助分支网络进行特征整合,得到所述训练图像对应的初始主特征和初始辅助特征,并遍历所述训练图像集中各个训练图像,得到所述训练图像集对应的初始主特征集和初始辅助特征集。
26.根据权利要求24所述的装置,其特征在于,所述训练图像集中包括各个正样本图像对;
所述损失计算单元,还包括:
图像筛选子单元,用于基于所述各个正样本图像对进行负样本图像筛选,得到所述各个正样本图像对对应的负样本图像,基于所述各个正样本图像对和对应的负样本图像得到各个图像三元组;
特征查找子单元,用于从所述初始主特征集和所述初始辅助特征集中查找所述各个图像三元组对应的初始主特征和所述各个图像三元组对应的初始辅助特征;
损失计算子单元,用于基于所述各个图像三元组对应的初始主特征和所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始图像损失信息。
27.根据权利要求26所述的装置,其特征在于,所述图像筛选子单元还用于基于所述各个正样本图像对确定当前正样本图像对和各个待挖掘正样本图像对;从当前正样本图像对中随机选取,得到当前图像,并分别从所述各个待挖掘正样本图像对中随机选取,得到各个待挖掘图像;计算所述当前图像分别与所述各个待挖掘图像之间的相似度,基于所述相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前负样本图像;基于所述当前正样本图像对和所述当前负样本图像得到所述当前正样本图像对对应的当前图像三元组。
28.根据权利要求27所述的装置,其特征在于,所述图像筛选子单元还用于从所述初始主特征集中获取所述当前图像对应的当前初始主特征和所述各个待挖掘图像对应的待挖掘初始主特征;计算所述当前初始主特征分别与所述各个待挖掘图像对应的待挖掘初始主特征的相似距离,得到各个相似度,基于所述各个相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前负样本图像。
29.根据权利要求28所述的装置,其特征在于,所述图像筛选子单元还用于基于所述各个相似度从所述各个待挖掘图像中选取目标数量的待挖掘图像,得到所述当前正样本图像对对应的各个当前负样本图像;
所述图像筛选子单元还用于基于所述当前正样本图像对和所述各个当前负样本图像得到所述当前正样本图像对对应的各个当前图像三元组。
30.根据权利要求24所述的装置,其特征在于,所述训练图像集中包括各个图像三元组;
所述损失计算单元,还用于基于所述各个图像三元组对应的初始主特征和所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始图像损失信息。
31.根据权利要求26‑30任意一项所述的装置,其特征在于,所述损失计算子单元还用于基于所述各个图像三元组对应的初始主特征进行图像三元组损失计算,得到初始主损失信息;基于所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始辅助损失信息;基于所述初始主损失信息和所述初始辅助损失信息确定所述初始图像损失信息。
32.根据权利要求31所述的装置,其特征在于,所述各个图像三元组包括第一正样本图像、第二正样本图像和负样本图像;
所述损失计算子单元还用于计算所述各个图像三元组中第一正样本图像对应的初始目标特征与所述第二正样本图像对应的初始目标特征的第一相似距离,并计算所述各个图像三元组中第一正样本图像对应的初始目标特征与所述负样本图像对应的初始目标特征的第二相似距离;计算所述各个图像三元组对应的所述第一相似距离与所述第二相似距离的目标距离误差,基于所述各个图像三元组对应的目标距离误差确定所述各个图像三元组对应的三元组目标损失信息,基于所述各个图像三元组对应的三元组目标损失信息确定所述初始主损失信息。
33.根据权利要求31所述的装置,其特征在于,所述各个图像三元组包括第一正样本图像、第二正样本图像和负样本图像;
所述损失计算子单元还用于计算所述各个图像三元组中第一正样本图像对应的初始辅助特征与所述第二正样本图像对应的初始辅助特征的第三相似距离,并计算所述各个图像三元组中第一正样本图像对应的初始辅助特征与所述负样本图像对应的初始辅助特征的第四相似距离;计算所述各个图像三元组对应的所述第三相似距离与所述第四相似距离的辅助距离误差,基于所述各个图像三元组对应的辅助距离误差确定所述各个图像三元组对应的三元组辅助损失信息,基于所述各个图像三元组对应的三元组辅助损失信息确定所述初始辅助损失信息。
34.根据权利要求23所述的装置,其特征在于,所述待更新通道筛选模块还用于使用所述更新主分支网络中各个网络通道对应的网络参数进行信息熵计算,得到所述更新主分支网络中各个网络通道对应的主分支激活程度;将各个主分支激活程度与预设主分支激活程度阈值进行比较,并选取低于预设主分支激活程度阈值的网络通道,得到各个待更新网络通道。
35.根据权利要求34所述的装置,其特征在于,所述参数更新模块还用于统计所述各个待更新网络通道的待更新通道数量,当所述待更新通道数量未超过预设通道数量时,将所述更新图像处理训练模型作为初始图像处理训练模型,并返回将所述训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型的步骤迭代执行;当所述待更新通道数量超过所述预设通道数量时,执行计算所述更新辅助分支网络中网络通道的辅助分支激活程度,基于所述辅助分支激活程度从所述更新辅助分支网络中网络通道中筛选得到参考网络通道的步骤。
36.根据权利要求23所述的装置,其特征在于,所述参考通道筛选模块还用于使用所述更新辅助分支网络中各个网络通道对应的网络参数进行信息熵计算,得到所述更新辅助分支网络中各个网络通道对应的辅助分支激活程度;将各个辅助分支激活程度与预设辅助分支激活程度阈值进行比较,并选取大于预设主分支激活程度阈值的网络通道,得到各个参考网络通道。
37.根据权利要求23所述的装置,其特征在于,所述参考通道筛选模块还用于统计所述参考网络通道的参考通道数量,并获取所述待更新网络通道的待更新通道数量;比较所述参考通道数量与所述待更新通道数量,得到比较结果,根据比较结果从所述参考通道数量的参考网络通道中确定所述待更新通道数量的参考网络通道;基于所述待更新通道数量的参考网络通道的网络参数和所述待更新通道数量的待更新网络通道的网络参数进行加权和计算,得到待更新通道数量的待更新网络通道的更新网络参数。
38.根据权利要求37所述的装置,其特征在于,所述参考通道筛选模块还用于当所述待更新通道数量大于所述参考通道数量时,计算所述待更新通道数量与所述参考通道数量的差值,从所述待更新通道数量的参考网络通道中随机选取所述差值的参考网络通道;基于所述参考通道数量和所述差值的参考网络通道得到所述待更新通道数量的参考网络通道。
39.根据权利要求37所述的装置,其特征在于,所述参考通道筛选模块还用于:当所述参考通道数量等于所述待更新通道数量时,将所述参考通道数量的参考网络通道作为所述待更新通道数量的参考网络通道。
40.根据权利要求37所述的装置,其特征在于,所述参考通道筛选模块还用于当所述待更新通道数量小于所述参考通道数量时,获取更新主分支网络的网络通道中除所述待更新网络通道以外的网络通道,得到各个目标网络通道;计算所述参考通道数量的参考网络通道分别与所述各个目标网络通道的交叉熵,得到每个参考网络通道分别与所述各个目标网络通道的差异程度;从所述各个目标网络通道的差异程度中确定每个参考网络通道对应的目标差异程度,并基于所述目标差异程度从所述参考通道数量的参考网络通道中选取待更新通道数量的参考网络通道。
41.根据权利要求37所述的装置,其特征在于,所述参考通道筛选模块还用于当所述待更新通道数量小于所述参考通道数量时,从所述参考通道数量的参考网络通道中随机选取待更新通道数量的参考网络通道。
42.一种图像处理装置,其特征在于,所述装置包括:图像输入模块,用于获取待处理图像,将所述待处理图像输入目标图像处理模型中;其中,通过将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,所述更新图像处理训练模型包括更新主分支网络和更新辅助分支网络,基于所述更新主分支网络中网络通道的主分支激活程度进行筛选得到待更新网络通道,基于所述更新辅助分支网络中网络通道的辅助分支激活程度,进行筛选得到参考网络通道,基于所述参考网络通道的参数对所述待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于所述待更新网络通道的更新参数得到目标更新图像处理训练模型,将所述目标更新图像处理训练模型作为初始图像处理训练模型,并进行迭代执行,直到达到训练完成条件时,得到目标图像处理训练模型,基于所述目标图像处理训练模型中的主分支网络得到所述目标图像处理模型;
特征输出模块,用于所述目标图像处理模型对所述待处理图像进行特征提取,输出待处理图像特征。
43.根据权利要求42所述的装置,其特征在于,所述目标图像处理模型包括深度特征提取网络、特征映射网络和主分支网络;
所述特征输出模块还用于所述目标图像处理模型将所述待处理图像输入所述深度特征提取网络中进行深度特征提取,得到待处理图像深度特征,将所述待处理图像深度特征输入所述特征映射网络中进行特征映射,得到待处理图像映射特征,并将所述待处理图像映射特征输入到主分支网络中进行特征整合,得到待处理图像特征。
44.根据权利要求42所述的装置,其特征在于,所述待处理图像包括查询图像;
所述特征输出模块还用于所述目标图像处理模型对所述查询图像进行特征提取,输出查询图像特征;
所述装置,还包括:
图像查询模块,用于获取各个待搜索图像类别中心,计算所述查询图像特征分别与所述各个待搜索图像类别中心的类别相似度,基于所述类别相似度从所述各个待搜索图像类别中心中确定目标图像类别中心;获取与所述目标图像类别中心关联的图像,得到各个候选图像;获取所述各个候选图像对应的各个候选图像特征,并计算所述查询图像特征分别与所述各个候选图像特征之间的特征相似度;基于所述特征相似度从所述各个候选图像中确定与所述查询图像对应的相似图像。
45.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至22中任一项所述的方法的步骤。
46.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至22中任一项所述的方法的步骤。
说明书 :
图像处理模型训练、图像处理方法、装置和计算机设备
技术领域
背景技术
取。然而,目前的人工智能模型在提取图像特征时,提取得到的图像特征可能存在大量特征
值接近0,即多个特征维度无有效特征,使图像特征在多个特征维度上对描述图像信息的作
用比较低下,从而使得到的图像特征的信息丰富度低。
发明内容
主分支网络得到目标更新图像处理训练模型;
直到达到训练完成条件时,得到目标图像处理训练模型,基于目标图像处理训练模型中的
主分支网络得到目标图像处理模型,目标图像处理模型用于对输入图像进行图像特征提
取。
初始主特征集和初始辅助特征集;
应的初始主特征集和初始辅助特征集,包括:
图像初始深度特征;
述训练图像集中各个训练图像,得到所述训练图像集对应的初始主特征集和初始辅助特征
集。
图像得到各个图像三元组,包括:
负样本图像,包括:
前正样本图像对对应的当前负样本图像。
括:
图像对应的初始目标特征与所述负样本图像对应的初始目标特征的第二相似距离;
三元组目标损失信息,基于所述各个图像三元组对应的三元组目标损失信息确定所述初始
主损失信息。
图像对应的初始辅助特征与所述负样本图像对应的初始辅助特征的第四相似距离;
三元组辅助损失信息,基于所述各个图像三元组对应的三元组辅助损失信息确定所述初始
辅助损失信息。
支网络,基于目标更新主分支网络得到目标更新图像处理训练模型;
步骤迭代执行,直到达到训练完成条件时,得到目标图像处理训练模型,基于目标图像处理
训练模型中的主分支网络得到目标图像处理模型,目标图像处理模型用于对输入图像进行
图像特征提取。
主分支网络得到目标更新图像处理训练模型;
直到达到训练完成条件时,得到目标图像处理训练模型,基于目标图像处理训练模型中的
主分支网络得到目标图像处理模型,目标图像处理模型用于对输入图像进行图像特征提
取。
主分支网络得到目标更新图像处理训练模型;
直到达到训练完成条件时,得到目标图像处理训练模型,基于目标图像处理训练模型中的
主分支网络得到目标图像处理模型,目标图像处理模型用于对输入图像进行图像特征提
取。
网络通道中筛选得到待更新网络通道,并使用更新辅助分支网络中网络通道的辅助分支激
活程度从更新辅助分支网络中网络通道中筛选得到参考网络通道。然后基于参考网络通道
的参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待更新
网络通道的更新参数得到目标更新主分支网络,基于目标更新主分支网络得到目标更新图
像处理训练模型,然后再将目标更新图像处理训练模型作为初始图像处理训练模型,并进
行迭代执行,直到达到训练完成条件时,得到目标图像处理训练模型,基于所述目标图像处
理训练模型中的主分支网络得到目标图像处理模型。由于对主分支网络中待更新网络通道
的参数使用辅助分支网络中的参考网络通道参数进行更新,从而使主分支网络能够提取到
具有丰富图像信息的特征,然后使用主分支网络得到目标图像处理模型,使得到的目标图
像处理模型提取的图像特征提高了信息丰富度,从而提高了图像特征提取的准确性。
更新主分支网络中网络通道的主分支激活程度进行筛选得到待更新网络通道,基于更新辅
助分支网络中网络通道的辅助分支激活程度,进行筛选得到参考网络通道,基于参考网络
通道的参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待
更新网络通道的更新参数得到目标更新图像处理训练模型,将目标更新图像处理训练模型
作为初始图像处理训练模型,并进行迭代执行,直到达到训练完成条件时,得到目标图像处
理训练模型,基于目标图像处理训练模型中的主分支网络得到目标图像处理模型;
络中进行特征映射,得到待处理图像映射特征,并将所述待处理图像映射特征输入到主分
支网络中进行特征整合,得到待处理图像特征。
模型,更新图像处理训练模型包括更新主分支网络和更新辅助分支网络,基于更新主分支
网络中网络通道的主分支激活程度进行筛选得到待更新网络通道,基于更新辅助分支网络
中网络通道的辅助分支激活程度,进行筛选得到参考网络通道,基于参考网络通道的参数
对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待更新网络通
道的更新参数得到目标更新图像处理训练模型,将目标更新图像处理训练模型作为初始图
像处理训练模型,并进行迭代执行,直到达到训练完成条件时,得到目标图像处理训练模
型,基于目标图像处理训练模型中的主分支网络得到目标图像处理模型;
更新主分支网络中网络通道的主分支激活程度进行筛选得到待更新网络通道,基于更新辅
助分支网络中网络通道的辅助分支激活程度,进行筛选得到参考网络通道,基于参考网络
通道的参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待
更新网络通道的更新参数得到目标更新图像处理训练模型,将目标更新图像处理训练模型
作为初始图像处理训练模型,并进行迭代执行,直到达到训练完成条件时,得到目标图像处
理训练模型,基于目标图像处理训练模型中的主分支网络得到目标图像处理模型;
更新主分支网络中网络通道的主分支激活程度进行筛选得到待更新网络通道,基于更新辅
助分支网络中网络通道的辅助分支激活程度,进行筛选得到参考网络通道,基于参考网络
通道的参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待
更新网络通道的更新参数得到目标更新图像处理训练模型,将目标更新图像处理训练模型
作为初始图像处理训练模型,并进行迭代执行,直到达到训练完成条件时,得到目标图像处
理训练模型,基于目标图像处理训练模型中的主分支网络得到目标图像处理模型;
在训练时目标图像处理模型的主分支网络中待更新网络通道的参数是使用辅助分支网络
中的参考网络通道参数进行更新,从而使主分支网络能够提取到具有丰富图像信息的特
征,然后使用主分支网络得到目标图像处理模型,使得到的目标图像处理模型使用主分支
网络提取的待处理图像特征提高了信息丰富度,从而提高了图像特征提取的准确性。
附图说明
具体实施方式
用于限定本申请。
器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数
据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理
解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、
虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸
识别、指纹识别等生物特征识别技术。
器104接收到终端102发送的模型训练指令,从数据库106中获取训练图像集;服务器104将
训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,更新
图像处理训练模型包括更新主分支网络和更新辅助分支网络;服务器104计算更新主分支
网络中网络通道的主分支激活程度,基于主分支激活程度从更新主分支网络的网络通道中
筛选得到待更新网络通道;服务器104计算更新辅助分支网络中网络通道的辅助分支激活
程度,基于辅助分支激活程度从更新辅助分支网络中网络通道中筛选得到参考网络通道;
服务器104基于参考网络通道的参数对待更新网络通道的参数进行更新,得到待更新网络
通道的更新参数,基于待更新网络通道的更新参数得到目标更新主分支网络,基于目标更
新主分支网络得到目标更新图像处理训练模型;服务器104将目标更新图像处理训练模型
作为初始图像处理训练模型,并返回将训练图像集输入到初始图像处理训练模型中进行训
练,得到更新图像处理训练模型的步骤迭代执行,直到达到训练完成条件时,得到目标图像
处理训练模型,基于目标图像处理训练模型中的主分支网络得到目标图像处理模型,目标
图像处理模型用于对输入图像进行图像特征提取。其中,服务器104可以是独立的物理服务
器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云
数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、
以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电
脑、笔记本电脑、台式计算机、智能音箱、智能电视、智能手表等,但并不局限于此。在一个实
施例中,终端中也可以安装客户端,该客户端可以包括视频客户端、音频客户端、浏览器客
户端、即时通信客户端、信息流客户端等等。终端以及服务器可以通过有线或无线通信方式
进行直接或间接地连接,本申请在此不做限制。
于包括终端和服务器的系统,并通过终端和服务器的交互实现。包括以下步骤:
图像集。
和初始辅助分支网络。初始主分支网络是指网络参数初始化的主分支网络,主分支网络用
于进行图像特征提取,得到图像特征。在训练时该主分支网络是主要训练的网络。初始辅助
分支网络是指网络参数初始化的辅助分支网络,辅助分支网络在使用时也用于进行图像特
征提取,得到图像特征,在训练时该辅助分支网络用于辅助主分支网络的训练。更新图像处
理训练模型是指初始图像处理训练模型进行参数更新后得到的图像处理训练模型。更新主
分支网络是指网络参数更新后的主分支网络,更新辅助分支网络是指网络参数更新后的辅
助分支网络。
的损失,然后使用特征提取结果的损失反向更新初始图像处理训练模型的参数,得到更新
图像处理训练模型,该更新图像处理训练模型包括更新主分支网络和更新辅助分支网络。
图像子集,在每个批次训练时,获取到训练图像子集进行训练。即将训练图像子集输入到初
始图像处理训练模型中通过初始主分支网络和辅助主分支网络分别进行特征提取,并计算
训练图像子集对应的特征提取结果的损失,然后使用训练图像子集对应的特征提取结果的
损失反向更新初始图像处理训练模型的参数,得到更新图像处理训练模型。
征提取。更新主分支网络中网络通道是指更新主分支网络中输出的channel。主分支激活程
度用于表征对应的更新主分支网络中网络通道的激活程度。激活程度越高,使用对应的网
络通道输出的特征值具有的丰富度就越高,该网络通道就是有效的网络通道,反之,激活程
度越低,使用对应的网络通道输出的特征值具有的丰富度就越低,该网络通道就可能是无
效的网络通道。待更新网络通道是指主分支激活程度较低的网络通道,对图像特征提取未
存在实质的作用,是无效的网络通道,则该待更新网络通道对应的网络参数是需要通过更
新辅助分支网络进行更新的。
新主分支网络的网络通道中筛选主分支激活程度较低的网络通道,得到待更新网络通道。
在一个实施例中,可以按照更新主分支网络中网络通道对应的主分支激活程度从小到大排
序,然后从小到大依次选取一定数量的更新主分支网络中网络通道,得到各个待更新网络
通道。其中,选取的数量可以根据需求设置。
络通道的参数可以对待更新网络通道的参数进行更新。
程度从更新辅助分支网络的网络通道中筛选辅助分支激活程度较高的网络通道,得到参考
网络通道。
参考网络通道。其中,选取的数量可以根据需求设置。可以与待更新网络通道的数量相同,
也可以不同。
目标更新主分支网络得到目标更新图像处理训练模型。
络通道的参数进行更新后的主分支网络。目标更新图像处理训练模型是指使用辅助分支网
络中参考网络通道的参数对主分支网络中待更新网络通道的参数进行更新后的图像处理
训练模型。
通道的参数进行替换,得到待更新网络通道的更新参数。
型训练的损失保持不变等等,比如连续10轮模型训练的损失未下降。
迭代执行。
训练模型作为训练完成的目标图像处理训练模型。然后去除目标图像处理训练模型中删除
辅助分支网络保留主分支网络,得到目标图像处理模型。
新主分支网络的网络通道中筛选得到待更新网络通道之前,判断图像处理训练模型的训练
是否完成,当完成时,得到目标图像处理训练模型,基于目标图像处理训练模型中的主分支
网络得到目标图像处理模型。当训练未完成时,计算更新辅助分支网络中网络通道的辅助
分支激活程度,基于辅助分支激活程度从更新辅助分支网络中网络通道中筛选得到参考网
络通道;基于参考网络通道的参数对待更新网络通道的参数进行更新,得到待更新网络通
道的更新参数,基于待更新网络通道的更新参数得到目标更新主分支网络,基于目标更新
主分支网络得到目标更新图像处理训练模型,将目标更新图像处理训练模型作为初始图像
处理训练模型,并返回步骤204迭代执行。
网络通道,并使用更新辅助分支网络中网络通道的辅助分支激活程度从更新辅助分支网络
中网络通道中筛选得到参考网络通道。然后基于参考网络通道的参数对待更新网络通道的
参数进行更新,得到待更新网络通道的更新参数,基于待更新网络通道的更新参数得到目
标更新主分支网络,基于目标更新主分支网络得到目标更新图像处理训练模型,然后再将
目标更新图像处理训练模型作为初始图像处理训练模型,并进行迭代执行,直到达到训练
完成条件时,得到目标图像处理训练模型,基于所述目标图像处理训练模型中的主分支网
络得到目标图像处理模型。由于对主分支网络中待更新网络通道的参数使用辅助分支网络
中的参考网络通道参数进行更新,从而使主分支网络能够提取到具有丰富图像信息的特
征,然后使用主分支网络得到目标图像处理模型,使得到的目标图像处理模型提取的图像
特征提高了信息丰富度,从而提高了图像特征提取的准确性。
主特征集和初始辅助特征集。
征。初始辅助特征集中包括各个初始辅助特征,初始辅助特征是指初始图像处理训练模型
中的初始辅助分支网络输出的图像特征。
出训练图像集对应的初始主特征集,通过初始辅助分支网络进行图像特征提取,输出训练
图像集对应的初始辅助特征集。
组损失计算,得到初始图像损失信息。当训练图像集中的训练图像是以图像对形式存在时,
从训练图像集中挖掘得到图像对对应的三元组图像,然后根据各个三元组图像对应的初始
主特征和初始辅助特征进行三元组损失计算,得到初始图像损失信息。
gradient descent随机梯度下降算法)算法。
处理训练模型,提高了得到的更新图像处理训练模型的准确性,方便后续使用。
对应的初始主特征集和初始辅助特征集,包括:
初始深度特征。
图像使用初始深度特征提取网络进行提取得到的深度特征。
可以获取到预训练深度特征提取网络作为初始深度特征提取网络。服务器也可以建立深度
特征提取网络并进行参数初始化,得到初始深度特征提取网络,其中,参数初始化可以是随
机参数化,为零初始化以及高斯初始化等等。然后使用初始深度特征提取网络来建立初始
图像处理训练模型。
进行深度特征提取,得到训练图像初始深度特征。
息。训练图像初始映射特征是指训练图像初始深度特征进行特征映射降维后得到的特征。
中各个训练图像,得到训练图像集对应的初始主特征集和初始辅助特征集。
进行特征整合,得到训练图像对应的初始辅助特征,依次遍历训练图像集中每个训练图像,
得到每个训练图像对应的初始主特征和初始辅助特征,根据每个训练图像对应的初始主特
征得到初始主特征集,根据每个训练图像对应的初始辅助特征得到初始辅助特征集,从而
得到训练图像集对应的初始主特征集和初始辅助特征集。
的深度特征提取网络的参数进行更新,即保持初始深度特征提取网络的参数不变,只更新
初始特征映射网络的参数、初始主分支网络的参数和初始辅助分支网络的参数,得到更新
图像处理训练模型。在一个实施例中,使用初始图像损失信息更新初始图像处理训练模型
的参数时,对初始深度特征提取网络的参数、初始特征映射网络的参数、初始主分支网络的
参数和初始辅助分支网络的参数均进行更新,得到更新图像处理训练模型。
软件研究的大型可视化数据库)数据集上预训练的 ResNet101的参数,得到初始深度特征
提取网络。表2、表3以及表4的网络通过采用方差为0.01,均值为0的高斯分布进行初始化,
得到初始特征映射网络、初始主分支网络和初始辅助分支网络,最终得到初始图像处理训
练模型。然后对初始图像处理训练模型进行训练。其中,可以设置初始深度特征提取网络和
初始特征映射网络的学习率为0.0005,初始主分支网络和初始辅助分支网络的学习率为
0.005进行训练。
对应的初始主特征和初始辅助特征更加准确,从而提高了训练图像集对应的初始主特征集
和初始辅助特征集的准确性。
正样本图像对。负样本图像是指与对应的正样本图像对中的图像具有差异的图像,其中,当
正样本图像对可以是一类图像时,负样本图像可以是另一类图像。当正样本图像对是完全
相同的两张图像,负样本图像可以是与正样本图像相似的图像。图像三元组是指包括正样
本图像对和负样本图像的三元组。
据每个正样本图像对和对应的负样本图像得到各个图像三元组。
助特征。
是指使用图像三元组计算得到的图像损失信息。
损失值的和得到初始图像损失信息。
损失计算,得到初始图像损失信息,提高初始图像损失信息的准确性。
像得到各个图像三元组,包括:
像。
挖掘图像。比如,可以指定从正样本图像对选取第一个图像。或者也可以指定从正样本图像
对选取第二个图像,还可以指定从当前正样本图像对中选取第一个图像,并从各个待挖掘
正样本图像选取第二个图像。
可以使用余弦相似度算法。然后使用相似度将各个待挖掘图像从小到大排序,并选取当前
正样本图像对对应的当前负样本图像。其中,服务器也可以在将各个待挖掘图像从小到大
排序后,按照预先设置好的去噪数量进行图像去除,比如,去除5%的待挖掘图像。然后从剩
余的待挖掘图像中选取当前正样本图像对对应的当前负样本图像。
准确性。
骤:
征的相似距离,得到各个相似度,基于各个相似度从各个待挖掘图像中确定当前正样本图
像对对应的当前负样本图像。
始主特征分别与各个待挖掘图像对应的待挖掘初始主特征的相似距离,得到各个相似度,
基于各个相似度将各个待挖掘图像从小到大排序,根据排序结果确定当前正样本图像对对
应的当前负样本图像。
量是预先设置好要选取的数量,比如,可以选取10个待挖掘图像作为当前正样本图像对对
应的各个当前负样本图像。
用目标数量的图像三元组计算三元组损失信息,比如,可以计算正样本图像对对应的每个
的图像三元组的损失,然后再计算平均值,得到该正样本图像对对应的损失信息。也可以计
算正样本图像对对应的每个的图像三元组的损失,然后再计算损失的和,得到该正样本图
像对对应的损失信息。能够提高得到的图像三元组损失的准确性。
的。
初始辅助特征进行图像三元组损失计算,得到初始图像损失信息,提高了计算初始图像损
失信息的效率,进而提高了图像处理模型的训练效率。
助损失信息;基于初始主损失信息和初始辅助损失信息确定初始图像损失信息。
值。
息,并使用图像三元组中每个图像对应的初始辅助特征进行图像三元组损失计算,得到初
始辅助损失信息。然后计算初始主损失信息和初始辅助损失信息得到和,得到初始图像损
失信息。
对应的初始目标特征与负样本图像对应的初始目标特征的第二相似距离。
三元组中第一正样本图像对应的初始目标特征与负样本图像对应的初始目标特征的第二
相似距离。
失信息,基于各个图像三元组对应的三元组目标损失信息确定初始主损失信息。
三元组对应的三元组目标损失信息,其中,可以将各个图像三元组对应的目标距离误差作
为各个图像三元组对应的三元组目标损失信息,也可以获取到预先设置好的用于控制正负
样本空间距离的超参,然后使用该超参调整目标距离误差得到三元组目标损失信息。然后
计算各个图像三元组对应的三元组目标损失信息的总和,得到初始主损失信息,提高了得
到的初始主损失信息的准确性。
对应的初始辅助特征与负样本图像对应的初始辅助特征的第四相似距离。
三元组中第一正样本图像对应的初始辅助特征与负样本图像对应的初始辅助特征的第四
相似距离。
失信息,基于各个图像三元组对应的三元组辅助损失信息确定初始辅助损失信息。
三元组对应的三元组辅助损失信息,其中,可以将各个图像三元组对应的辅助距离误差作
为各个图像三元组对应的三元组辅助损失信息,也可以获取到预先设置好的用于控制正负
样本空间距离的超参,然后使用该超参调整辅助距离误差得到三元组辅助损失信息。然后
计算各个图像三元组对应的三元组辅助损失信息的总和,得到初始辅助损失信息,提高了
得到的初始辅助损失信息的准确性。
初始主特征或者初始辅助特征, 表示第二正样本图像对应的初始主特征或者初始辅助特
征, 表示负正样本图像对应的初始主特征或者初始辅助特征,是超参,用于控制正负样
本空间距离,可以根据需要设置。初始图像损失信息的目的是使得第一正样本图像到第二
正样本图像之间的距离比第一正样本图像到负样本图像之间的距离大于超参设置的值。
道,包括:
征就具有更多丰富的信息。
活程度。
无效的网络通道。待更新网络通道是指网络参数需要更新的网络通道。
之后,还包括:
到初始图像处理训练模型中进行训练,得到更新图像处理训练模型的步骤迭代执行。当待
更新通道数量超过预设通道数量时,执行计算更新辅助分支网络中网络通道的辅助分支激
活程度,基于辅助分支激活程度从更新辅助分支网络中网络通道中筛选得到参考网络通道
的步骤。
设通道数量,当待更新通道数量未超过预设通道数量时,即不进行待更新网络通道的网络
参数的更新,此时直接返回到步骤204进行执行。当待更新通道数量超过预设通道数量时,
说明触发待更新网络通道中网络参数的更新,此时服务器执行步骤208。
训练效率。
络通道,包括:
程度是指使用辅助分支网络中网络通道对应的网络参数计算得到的激活程度。
分支激活程度。
道是指对待更新网络通道更新时需要使用的辅助分支网中的网络通道。
络通道,得到各个参考网络通道。
时, 可以是指第j个主分支网络的网络通道。 表示网络通道的网络参数中第i位置的
值。Nmap是指map层输出的通道数。比如,分支网络中网络通道的网络参数为1024X64的向量
时,分支网络的网络通道数为64,Nmap层输出的通道数为1024。当分支网络中网络通道的网
络参数都趋向于相同值(如都是1)时,表示该滤波器对Map的输出没有区分性的保留、当都
趋于0时表示对Map的输出没有区分性地舍弃,这种对特征的无差别处理对于后续
embedding表征都是不利的,使得提取得到的特征信息含量降低。
高了得到的待更新网络通道和参考网络通道的准确性。
的参考通道数量,并获取待更新网络通道的待更新通道数量,比较参考通道数量与待更新
通道数量,得到比较结果,根据比较结果从参考通道数量的参考网络通道中确定待更新通
道数量的参考网络通道。
新网络参数。
网络通道的更新网络参数。服务器依次计算每个待更新网络通道的更新网络参数,最终得
到待更新通道数量的待更新网络通道的更新网络参数。
道的网络参数。
数量和差值的参考网络通道得到待更新通道数量的参考网络通道。
考网络通道中随机不重复的选取差值数量的参考网络通道,并和已有的参考网络通道就得
到待更新通道数量的参考网络通道,从而提高了得到的参考网络通道的准确性。
参考通道数量的参考网络通道作为待更新通道数量的参考网络通道。
待更新网络通道以外的网络通道,得到各个目标网络通道。
个交叉熵直接作为参考网络通道分别与各个目标网络通道的差异程度。
表示第j个目标网络通道的网络参数中第k个位置的值。 表示第i个参考网络通道的网
络参数中第k个位置的值。当交叉熵越大,表示两者的激活程度越不相同。
从大到小依次选取待更新通道数量的参考网络通道,从而提高了得到的参考网络通道的准
确性。
初始辅助分支网络进行图像特征提取,得到训练图像集对应的初始主特征集和初始辅助特
征集。
样本图像对中随机选取,得到各个待挖掘图像。从初始主特征集中获取当前图像对应的当
前初始主特征和各个待挖掘图像对应的待挖掘初始主特征。
正样本图像对对应的当前负样本图像,基于当前正样本图像对和当前负样本图像得到当前
正样本图像对对应的当前图像三元组,依次筛选得到各个图像三元组。
损失计算,得到初始辅助损失信息。基于初始主损失信息和初始辅助损失信息确定初始图
像损失信息。基于初始图像损失信息更新初始图像处理训练模型的参数,得到更新图像处
理训练模型。
激活程度与预设主分支激活程度阈值进行比较,并选取低于预设主分支激活程度阈值的网
络通道,得到各个待更新网络通道。
返回将训练图像集输入到初始图像处理训练模型中的步骤迭代执行。
络通道对应的辅助分支激活程度;将各个辅助分支激活程度与预设辅助分支激活程度阈值
进行比较,并选取大于预设主分支激活程度阈值的网络通道,得到各个参考网络通道。
从参考通道数量的参考网络通道中确定待更新通道数量的参考网络通道;基于待更新通道
数量的参考网络通道的网络参数和待更新通道数量的待更新网络通道的网络参数进行加
权和计算,得到待更新通道数量的待更新网络通道的更新网络参数。
模型作为初始图像处理训练模型,并返回将训练图像集输入到初始图像处理训练模型中的
步骤迭代执行,直到达到训练完成条件时,得到目标图像处理训练模型。
练模型通过由卷积神经网络算法(CNN)建立的残差网络进行深度特征提取,然后通过特征
映射网络(map网络)进行特征映射,最后将映射结果分别输入到主分支网络和辅助分支网
络中,得到输出的初始主分支特征1(embedding1)和初始辅助分支特征2(embedding2)。然
后服务器挖掘训练样本图像对对应的图像三元组,然后使用图像三元组计算初始辅助分支
特征对应的损失值loss2,并使用图像三元组计算初始主分支特征对应的损失值loss1,最
终计算损失值的总和,得到总损失值(total loss),使用总损失值更新初始图像处理训练
模型,得到更新图像处理训练模型。然后判断是否触发主分支网络中待更新网络通道的网
络参数的更新,当触发时,使用如图13所示的网络参数更新的示意图进行更新。其中,计算
主分支网络和辅助分支网络中网络通道的激活程度,图中主分支网络和辅助分支网络中的
长方形表示网络通道,网络通道浅色代表低激活程度,深色代表高激活程度,颜色越深,激
活程度越高。从主分支网络中获取到低激活程度的网络通道即无效的滤波器,得到待更新
网络通道,从辅助分支网络中获取到高激活程度的网络通道即有效的滤波器,然后从辅助
分支网络高激活程度的网络通道中选取与主分支网络高激活程度的网络通道之间差异小
的网络通道,即选取有用的滤波器,得到相同数量的参考网络通道,最后使用参考网络通道
的网络参数对待更新网络通道的网络参数进行更新,得到目标更新图像处理训练模型,并
进行循环迭代,直到达到训练完成条件时,得到目标图像处理模型。
端和服务器的系统,并通过终端和服务器的交互实现。包括以下步骤:
新图像处理训练模型包括更新主分支网络和更新辅助分支网络,基于更新主分支网络中网
络通道的主分支激活程度进行筛选得到待更新网络通道,基于更新辅助分支网络中网络通
道的辅助分支激活程度,进行筛选得到参考网络通道,基于参考网络通道的参数对待更新
网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待更新网络通道的更新
参数得到目标更新图像处理训练模型,将目标更新图像处理训练模型作为初始图像处理训
练模型,并进行迭代执行,直到达到训练完成条件时,得到目标图像处理训练模型,基于目
标图像处理训练模型中的主分支网络得到目标图像处理模型。
该目标图像处理模型可以是使用上述图像处理模型训练方法中任意一实施例得到,然后部
署到服务器中的,比如,通过将训练图像集输入到初始图像处理训练模型中进行训练,得到
更新图像处理训练模型,更新图像处理训练模型包括更新主分支网络和更新辅助分支网
络,基于更新主分支网络中网络通道的主分支激活程度进行筛选得到待更新网络通道,基
于更新辅助分支网络中网络通道的辅助分支激活程度,进行筛选得到参考网络通道,基于
参考网络通道的参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参
数,基于待更新网络通道的更新参数得到目标更新图像处理训练模型,将目标更新图像处
理训练模型作为初始图像处理训练模型,并进行迭代执行,直到达到训练完成条件时,得到
目标图像处理训练模型,基于目标图像处理训练模型中的主分支网络得到目标图像处理模
型,然后将目标图像处理模型部署后进行使用。
新网络通道的参数是使用辅助分支网络中的参考网络通道参数进行更新,从而使主分支网
络能够提取到具有丰富图像信息的特征,然后使用主分支网络得到目标图像处理模型,使
得到的目标图像处理模型使用主分支网络提取的待处理图像特征提高了信息丰富度,从而
提高了图像特征提取的准确性。
待处理图像映射特征,并将待处理图像映射特征输入到主分支网络中进行特征整合,得到
待处理图像特征。
络中进行特征映射,得到待处理图像映射特征,并将待处理图像映射特征输入到主分支网
络中进行特征整合。得到待处理图像特征,即通过训练好的表1、表2、表3所示的网络来进行
图像特征提取,得到待处理图像特征。
中心。
特征向量表示。类别相似度是指查询图像与图像类别的相似度。目标图像类别中心是指查
询图像所属于的图像类别对应的中心。
图像对应的图像特征进行聚类得到10万个图像类别中心。然后使用相似度算法计算查询图
像特征分别与各个待搜索图像类别中心的类别相似度。
以将各个候选图像输入到目标图像处理模型中进行特征提取得到各个候选图像特征,然后
计算查询图像特征分别与各个候选图像特征之间的特征相似度。在一个实施例中,服务器
可以基于类别相似度从各个待搜索图像类别中心中确定多个目标图像类别中心,然后从多
个目标图像类别中心对应的待搜索图像中选取相似图像。
展示。
进行匹配,将匹配一致的人脸图像对应的人脸身份信息作为人脸识别图像对应的识别结
果。
然后从各个待搜索图像确定与查询图像对应的相似图像,从而提高了得到相似图像的准确
性。
和图像库中的图像进行特征提取得到对应的特征。使用图像库中图像的特征进行聚类,得
到各个图像类别中心。然后使用欧式距离算法计算各个图像类别中心与查询特征之间的相
似度,根据相似度确定目标图像类别中心,然后将目标图像类别中心作为召回类别,获取到
召回类别中各个图像特征计算与查询特征之间的相似度,按照相似度从小到大依次将召回
类别中各个图像进行排序,选取topK个图像作为最终的召回图像,其中,topK表示排序前K
个,其中,K为正整数,可以根据需求设置,比如,可以设置K的数量为100,则选取排序前100
个图像作为最终的召回图像,然后将召回图像返回给查询方终端进行展示。
的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,
图2至图11、图14和图15中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或
者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段
的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的
至少一部分轮流或者交替地执行。
括:图像获取模块1702、训练模块1704、待更新通道筛选模块1706、参考通道筛选模块1708、
参数更新模块1710和迭代模块1712,其中:
络;
分支网络,基于目标更新主分支网络得到目标更新图像处理训练模型;
型的步骤迭代执行,直到达到训练完成条件时,得到目标图像处理训练模型,基于目标图像
处理训练模型中的主分支网络得到目标图像处理模型,目标图像处理模型用于对输入图像
进行图像特征提取。
对应的初始主特征集和初始辅助特征集;
得到训练图像初始深度特征;将训练图像初始深度特征输入到初始特征映射网络中进行高
维特征映射,得到训练图像初始映射特征;将训练图像初始映射特征分别输入到初始主分
支网络和初始辅助分支网络进行特征整合,得到训练图像对应的初始主特征和初始辅助特
征,并遍历训练图像集中各个训练图像,得到训练图像集对应的初始主特征集和初始辅助
特征集。
三元组;
别从各个待挖掘正样本图像对中随机选取,得到各个待挖掘图像;计算当前图像分别与各
个待挖掘图像之间的相似度,基于相似度从各个待挖掘图像中确定当前正样本图像对对应
的当前负样本图像;基于当前正样本图像对和当前负样本图像得到当前正样本图像对对应
的当前图像三元组。
各个待挖掘图像对应的待挖掘初始主特征的相似距离,得到各个相似度,基于各个相似度
从各个待挖掘图像中确定当前正样本图像对对应的当前负样本图像。
征进行图像三元组损失计算,得到初始辅助损失信息;基于初始主损失信息和初始辅助损
失信息确定初始图像损失信息。
第二正样本图像对应的初始目标特征的第一相似距离,并计算各个图像三元组中第一正样
本图像对应的初始目标特征与负样本图像对应的初始目标特征的第二相似距离;计算各个
图像三元组对应的第一相似距离与第二相似距离的目标距离误差,基于各个图像三元组对
应的目标距离误差确定各个图像三元组对应的三元组目标损失信息,基于各个图像三元组
对应的三元组目标损失信息确定初始主损失信息。
第二正样本图像对应的初始辅助特征的第三相似距离,并计算各个图像三元组中第一正样
本图像对应的初始辅助特征与负样本图像对应的初始辅助特征的第四相似距离;计算各个
图像三元组对应的第三相似距离与第四相似距离的辅助距离误差,基于各个图像三元组对
应的辅助距离误差确定各个图像三元组对应的三元组辅助损失信息,基于各个图像三元组
对应的三元组辅助损失信息确定初始辅助损失信息。
支激活程度;将各个主分支激活程度与预设主分支激活程度阈值进行比较,并选取低于预
设主分支激活程度阈值的网络通道,得到各个待更新网络通道。
初始图像处理训练模型,并返回将训练图像集输入到初始图像处理训练模型中进行训练,
得到更新图像处理训练模型的步骤迭代执行;当待更新通道数量超过预设通道数量时,执
行计算更新辅助分支网络中网络通道的辅助分支激活程度,基于辅助分支激活程度从更新
辅助分支网络中网络通道中筛选得到参考网络通道的步骤。
助分支激活程度;将各个辅助分支激活程度与预设辅助分支激活程度阈值进行比较,并选
取大于预设主分支激活程度阈值的网络通道,得到各个参考网络通道。
比较结果,根据比较结果从参考通道数量的参考网络通道中确定待更新通道数量的参考网
络通道;基于待更新通道数量的参考网络通道的网络参数和待更新通道数量的待更新网络
通道的网络参数进行加权和计算,得到待更新通道数量的待更新网络通道的更新网络参
数。
机选取差值的参考网络通道;基于参考通道数量和差值的参考网络通道得到待更新通道数
量的参考网络通道。
网络通道;计算参考通道数量的参考网络通道分别与各个目标网络通道的交叉熵,得到每
个参考网络通道分别与各个目标网络通道的差异程度;从各个差异程度中确定每个参考网
络通道对应的目标差异程度,并基于目标差异程度从参考通道数量的参考网络通道中选取
待更新通道数量的参考网络通道。
入模块1802和特征输出模块1804,其中:
训练模型,更新图像处理训练模型包括更新主分支网络和更新辅助分支网络,基于更新主
分支网络中网络通道的主分支激活程度进行筛选得到待更新网络通道,基于更新辅助分支
网络中网络通道的辅助分支激活程度,进行筛选得到参考网络通道,基于参考网络通道的
参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待更新网
络通道的更新参数得到目标更新图像处理训练模型,将目标更新图像处理训练模型作为初
始图像处理训练模型,并进行迭代执行,直到达到训练完成条件时,得到目标图像处理训练
模型,基于目标图像处理训练模型中的主分支网络得到目标图像处理模型;
络中进行深度特征提取,得到待处理图像深度特征,将待处理图像深度特征输入特征映射
网络中进行特征映射,得到待处理图像映射特征,并将待处理图像映射特征输入到主分支
网络中进行特征整合。得到待处理图像特征。
目标图像类别中心;获取与目标图像类别中心关联的图像,得到各个候选图像;获取各个候
选图像对应的各个候选图像特征,并计算查询图像特征分别与各个候选图像特征之间的特
征相似度;基于特征相似度从各个候选图像中确定与查询图像对应的相似图像。
和图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块
可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机
设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易
失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该
内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备
的数据库用于存储图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通
信。该计算机程序被处理器执行时以实现一种图像处理模型训练方法或者图像处理方法。
示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的
存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机
程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计
算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过
WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现
一种图像处理模型训练方法或者图像处理方法。该计算机设备的显示屏可以是液晶显示屏
或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是
计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的
部件布置。
的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计
算机设备执行上述各方法实施例中的步骤。
可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,
本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可
包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read‑
Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器
(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种
形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存
储器(Dynamic Random Access Memory,DRAM)等。
盾,都应当认为是本说明书记载的范围。
说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护
范围。因此,本申请专利的保护范围应以所附权利要求为准。