图像处理模型训练、图像处理方法、装置和计算机设备转让专利

申请号 : CN202110823985.8

文献号 : CN113269176B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 郭卉

申请人 : 腾讯科技(深圳)有限公司

摘要 :

本申请涉及一种图像处理模型训练方法、装置、计算机设备和存储介质。所述方法包括:将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型;计算更新主分支网络中网络通道的激活程度筛选得到待更新网络通道;计算更新辅助分支网络中网络通道的激活程度筛选得到参考网络通道;基于参考网络通道和待更新网络通道对待更新网络通道进行更新,得到待更新网络通道的更新参数,基于待更新网络通道的更新参数得到目标更新图像处理训练模型并迭代执行,直到达到训练完成条件时,得到目标图像处理模型,目标图像处理模型用于对输入图像进行图像特征提取。采用本方法能够提高图像特征提取的准确性。

权利要求 :

1.一种图像处理模型训练方法,其特征在于,所述方法包括:获取训练图像集;

将所述训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,所述更新图像处理训练模型包括更新主分支网络和更新辅助分支网络;

计算所述更新主分支网络中网络通道的主分支激活程度,基于所述主分支激活程度从所述更新主分支网络的网络通道中筛选得到待更新网络通道;

计算所述更新辅助分支网络中网络通道的辅助分支激活程度,基于所述辅助分支激活程度从所述更新辅助分支网络中网络通道中筛选得到参考网络通道;

基于所述参考网络通道的参数对所述待更新网络通道的参数进行更新,得到所述待更新网络通道的更新参数,基于所述待更新网络通道的更新参数得到目标更新主分支网络,基于所述目标更新主分支网络得到目标更新图像处理训练模型;

将所述目标更新图像处理训练模型作为初始图像处理训练模型,并返回将所述训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型的步骤迭代执行,直到达到训练完成条件时,得到目标图像处理训练模型,基于所述目标图像处理训练模型中的主分支网络得到目标图像处理模型,所述目标图像处理模型用于对输入图像进行图像特征提取。

2.根据权利要求1所述的方法,其特征在于,所述将所述训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,包括:将所述训练图像集输入到初始图像处理训练模型中,所述初始图像处理训练模型通过初始主分支网络和初始辅助分支网络进行图像特征提取,得到所述训练图像集对应的初始主特征集和初始辅助特征集;

基于所述训练图像集对应的初始主特征集和初始辅助特征集进行损失计算,得到初始图像损失信息;

基于所述初始图像损失信息更新所述初始图像处理训练模型的参数,得到更新图像处理训练模型。

3.根据权利要求2所述的方法,其特征在于,所述初始图像处理训练模型还包括初始深度特征提取网络和初始特征映射网络;

所述将所述训练图像集输入到初始图像处理训练模型中,所述初始图像处理训练模型通过初始主分支网络和初始辅助分支网络进行图像特征提取,得到所述训练图像集对应的初始主特征集和初始辅助特征集,包括:将所述训练图像集输入到初始图像处理训练模型中,所述初始图像处理训练模型将训练图像集中训练图像输入所述初始深度特征提取网络中进行深度特征提取,得到训练图像初始深度特征;

将所述训练图像初始深度特征输入到所述初始特征映射网络中进行高维特征映射,得到训练图像初始映射特征;

将所述训练图像初始映射特征分别输入到所述初始主分支网络和所述初始辅助分支网络进行特征整合,得到所述训练图像对应的初始主特征和初始辅助特征,并遍历所述训练图像集中各个训练图像,得到所述训练图像集对应的初始主特征集和初始辅助特征集。

4.根据权利要求2所述的方法,其特征在于,所述训练图像集中包括各个正样本图像对;

所述基于所述训练图像集对应的初始主特征集和初始辅助特征集进行损失计算,得到初始图像损失信息,包括:

基于所述各个正样本图像对进行负样本图像筛选,得到所述各个正样本图像对对应的负样本图像,基于所述各个正样本图像对和对应的负样本图像得到各个图像三元组;

从所述初始主特征集和所述初始辅助特征集中查找所述各个图像三元组对应的初始主特征和所述各个图像三元组对应的初始辅助特征;

基于所述各个图像三元组对应的初始主特征和所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始图像损失信息。

5.根据权利要求4所述的方法,其特征在于,所述基于所述各个正样本图像对进行负样本图像筛选,得到所述各个正样本图像对对应的负样本图像,基于所述各个正样本图像对和对应的负样本图像得到各个图像三元组,包括:基于所述各个正样本图像对确定当前正样本图像对和各个待挖掘正样本图像对;

从当前正样本图像对中随机选取,得到当前图像,并分别从所述各个待挖掘正样本图像对中随机选取,得到各个待挖掘图像;

计算所述当前图像分别与所述各个待挖掘图像之间的相似度,基于所述相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前负样本图像;

基于所述当前正样本图像对和所述当前负样本图像得到所述当前正样本图像对对应的当前图像三元组。

6.根据权利要求5所述的方法,其特征在于,所述计算所述当前图像分别与所述各个待挖掘图像之间的相似度,基于所述相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前负样本图像,包括:从所述初始主特征集中获取所述当前图像对应的当前初始主特征和所述各个待挖掘图像对应的待挖掘初始主特征;

计算所述当前初始主特征分别与所述各个待挖掘图像对应的待挖掘初始主特征的相似距离,得到各个相似度,基于所述各个相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前负样本图像。

7.根据权利要求6所述的方法,其特征在于,所述基于所述各个相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前负样本图像,包括:基于所述各个相似度从所述各个待挖掘图像中选取目标数量的待挖掘图像,得到所述当前正样本图像对对应的各个当前负样本图像;

所述基于所述当前正样本图像对和所述当前负样本图像得到所述当前正样本图像对对应的当前图像三元组,包括:

基于所述当前正样本图像对和所述各个当前负样本图像得到所述当前正样本图像对对应的各个当前图像三元组。

8.根据权利要求2所述的方法,其特征在于,所述训练图像集中包括各个图像三元组;

所述基于所述训练图像集对应的初始主特征集和初始辅助特征集进行损失计算,得到初始图像损失信息,包括:

基于所述各个图像三元组对应的初始主特征和所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始图像损失信息。

9.根据权利要求4‑8任意一项所述的方法,其特征在于,所述基于所述各个图像三元组对应的初始主特征和所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始图像损失信息,包括:

基于所述各个图像三元组对应的初始主特征进行图像三元组损失计算,得到初始主损失信息;

基于所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始辅助损失信息;

基于所述初始主损失信息和所述初始辅助损失信息确定所述初始图像损失信息。

10.根据权利要求9所述的方法,其特征在于,所述各个图像三元组包括第一正样本图像、第二正样本图像和负样本图像;

所述基于所述各个图像三元组对应的初始主特征进行图像三元组损失计算,得到初始主损失信息,包括:

计算所述各个图像三元组中第一正样本图像对应的初始目标特征与所述第二正样本图像对应的初始目标特征的第一相似距离,并计算所述各个图像三元组中第一正样本图像对应的初始目标特征与所述负样本图像对应的初始目标特征的第二相似距离;

计算所述各个图像三元组对应的所述第一相似距离与所述第二相似距离的目标距离误差,基于所述各个图像三元组对应的目标距离误差确定所述各个图像三元组对应的三元组目标损失信息,基于所述各个图像三元组对应的三元组目标损失信息确定所述初始主损失信息。

11.根据权利要求9所述的方法,其特征在于,所述各个图像三元组包括第一正样本图像、第二正样本图像和负样本图像;

所述基于所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始辅助损失信息,包括:

计算所述各个图像三元组中第一正样本图像对应的初始辅助特征与所述第二正样本图像对应的初始辅助特征的第三相似距离,并计算所述各个图像三元组中第一正样本图像对应的初始辅助特征与所述负样本图像对应的初始辅助特征的第四相似距离;

计算所述各个图像三元组对应的所述第三相似距离与所述第四相似距离的辅助距离误差,基于所述各个图像三元组对应的辅助距离误差确定所述各个图像三元组对应的三元组辅助损失信息,基于所述各个图像三元组对应的三元组辅助损失信息确定所述初始辅助损失信息。

12.根据权利要求1所述的方法,其特征在于,所述计算所述更新主分支网络中网络通道的主分支激活程度,基于所述主分支激活程度从所述更新主分支网络的网络通道中筛选得到待更新网络通道,包括:

使用所述更新主分支网络中各个网络通道对应的网络参数进行信息熵计算,得到所述更新主分支网络中各个网络通道对应的主分支激活程度;

将各个主分支激活程度与预设主分支激活程度阈值进行比较,并选取低于预设主分支激活程度阈值的网络通道,得到各个待更新网络通道。

13.根据权利要求12所述的方法,其特征在于,在所述将各个主分支激活程度与预设主分支激活程度阈值进行比较,并选取低于预设主分支激活程度阈值的网络通道,得到各个待更新网络通道之后,还包括:

统计所述各个待更新网络通道的待更新通道数量,当所述待更新通道数量未超过预设通道数量时,将所述更新图像处理训练模型作为初始图像处理训练模型,并返回将所述训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型的步骤迭代执行;

当所述待更新通道数量超过所述预设通道数量时,执行计算所述更新辅助分支网络中网络通道的辅助分支激活程度,基于所述辅助分支激活程度从所述更新辅助分支网络中网络通道中筛选得到参考网络通道的步骤。

14.根据权利要求1所述的方法,其特征在于,所述计算所述更新辅助分支网络中网络通道的辅助分支激活程度,基于所述辅助分支激活程度从所述更新辅助分支网络中网络通道中筛选得到参考网络通道,包括:使用所述更新辅助分支网络中各个网络通道对应的网络参数进行信息熵计算,得到所述更新辅助分支网络中各个网络通道对应的辅助分支激活程度;

将各个辅助分支激活程度与预设辅助分支激活程度阈值进行比较,并选取大于预设主分支激活程度阈值的网络通道,得到各个参考网络通道。

15.根据权利要求1所述的方法,其特征在于,所述基于所述参考网络通道的参数对所述待更新网络通道的参数进行更新,得到所述待更新网络通道的更新参数,包括:统计所述参考网络通道的参考通道数量,并获取所述待更新网络通道的待更新通道数量;

比较所述参考通道数量与所述待更新通道数量,得到比较结果,根据比较结果从所述参考通道数量的参考网络通道中确定所述待更新通道数量的参考网络通道;

基于所述待更新通道数量的参考网络通道的网络参数和所述待更新通道数量的待更新网络通道的网络参数进行加权和计算,得到待更新通道数量的待更新网络通道的更新网络参数。

16.根据权利要求15所述的方法,其特征在于,所述根据比较结果从所述参考通道数量的参考网络通道中确定所述待更新通道数量的参考网络通道,包括:当所述待更新通道数量大于所述参考通道数量时,计算所述待更新通道数量与所述参考通道数量的差值,从所述待更新通道数量的参考网络通道中随机选取所述差值的参考网络通道;

基于所述参考通道数量和所述差值的参考网络通道得到所述待更新通道数量的参考网络通道。

17.根据权利要求15所述的方法,其特征在于,所述根据比较结果从所述参考通道数量的参考网络通道中确定所述待更新通道数量的参考网络通道,包括:当所述参考通道数量等于所述待更新通道数量时,将所述参考通道数量的参考网络通道作为所述待更新通道数量的参考网络通道。

18.根据权利要求15所述的方法,其特征在于,所述根据比较结果从所述参考通道数量的参考网络通道中确定所述待更新通道数量的参考网络通道,包括:当所述待更新通道数量小于所述参考通道数量时,获取更新主分支网络的网络通道中除所述待更新网络通道以外的网络通道,得到各个目标网络通道;

计算所述参考通道数量的参考网络通道分别与所述各个目标网络通道的交叉熵,得到每个参考网络通道分别与所述各个目标网络通道的差异程度;

从所述目标网络通道的差异程度中确定每个参考网络通道对应的目标差异程度,并基于所述目标差异程度从所述参考通道数量的参考网络通道中选取待更新通道数量的参考网络通道。

19.根据权利要求15所述的方法,其特征在于,所述根据比较结果从所述参考通道数量的参考网络通道中确定所述待更新通道数量的参考网络通道,包括:当所述待更新通道数量小于所述参考通道数量时,从所述参考通道数量的参考网络通道中随机选取待更新通道数量的参考网络通道。

20.一种图像处理方法,其特征在于,所述方法包括:获取待处理图像,将所述待处理图像输入目标图像处理模型中;

其中,通过将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,所述更新图像处理训练模型包括更新主分支网络和更新辅助分支网络,基于所述更新主分支网络中网络通道的主分支激活程度进行筛选得到待更新网络通道,基于所述更新辅助分支网络中网络通道的辅助分支激活程度,进行筛选得到参考网络通道,基于所述参考网络通道的参数对所述待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于所述待更新网络通道的更新参数得到目标更新图像处理训练模型,将所述目标更新图像处理训练模型作为初始图像处理训练模型,并进行迭代执行,直到达到训练完成条件时,得到目标图像处理训练模型,基于所述目标图像处理训练模型中的主分支网络得到所述目标图像处理模型;

所述目标图像处理模型对所述待处理图像进行特征提取,输出待处理图像特征。

21.根据权利要求20所述的方法,其特征在于,所述目标图像处理模型包括深度特征提取网络、特征映射网络和主分支网络;

所述目标图像处理模型对所述待处理图像进行特征提取,输出待处理图像特征,包括:所述目标图像处理模型将所述待处理图像输入所述深度特征提取网络中进行深度特征提取,得到待处理图像深度特征,将所述待处理图像深度特征输入所述特征映射网络中进行特征映射,得到待处理图像映射特征,并将所述待处理图像映射特征输入到主分支网络中进行特征整合,得到待处理图像特征。

22.根据权利要求20所述的方法,其特征在于,所述待处理图像包括查询图像;

所述目标图像处理模型对所述待处理图像进行特征提取,输出待处理图像特征,包括:所述目标图像处理模型对所述查询图像进行特征提取,输出查询图像特征;

在所述目标图像处理模型对所述待处理图像进行特征提取,输出待处理图像特征之后,还包括:

获取各个待搜索图像类别中心,计算所述查询图像特征分别与所述各个待搜索图像类别中心的类别相似度,基于所述类别相似度从所述各个待搜索图像类别中心中确定目标图像类别中心;

获取与所述目标图像类别中心关联的图像,得到各个候选图像;

获取所述各个候选图像对应的各个候选图像特征,并计算所述查询图像特征分别与所述各个候选图像特征之间的特征相似度;

基于所述特征相似度从所述各个候选图像中确定与所述查询图像对应的相似图像。

23.一种图像处理模型训练装置,其特征在于,所述装置包括:图像获取模块,用于获取训练图像集;

训练模块,用于将所述训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,所述更新图像处理训练模型包括更新主分支网络和更新辅助分支网络;

待更新通道筛选模块,用于计算所述更新主分支网络中网络通道的主分支激活程度,基于所述主分支激活程度从所述更新主分支网络的网络通道中筛选得到待更新网络通道;

参考通道筛选模块,用于计算所述更新辅助分支网络中网络通道的辅助分支激活程度,基于所述辅助分支激活程度从所述更新辅助分支网络中网络通道中筛选得到参考网络通道;

参数更新模块,用于基于所述参考网络通道的参数对所述待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于所述待更新网络通道的更新参数得到目标更新主分支网络,基于所述目标更新主分支网络得到目标更新图像处理训练模型;

迭代模块,用于将所述目标更新图像处理训练模型作为初始图像处理训练模型,并返回将所述训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型的步骤迭代执行,直到达到训练完成条件时,得到目标图像处理训练模型,基于所述目标图像处理训练模型中的主分支网络得到目标图像处理模型,所述目标图像处理模型用于对输入图像进行图像特征提取。

24.根据权利要求23所述的装置,其特征在于,所述训练模块,包括:特征提取单元,用于将所述训练图像集输入到初始图像处理训练模型中,所述初始图像处理训练模型通过初始主分支网络和初始辅助分支网络进行图像特征提取,得到所述训练图像集对应的初始主特征集和初始辅助特征集;

损失计算单元,用于基于所述训练图像集对应的初始主特征集和初始辅助特征集进行损失计算,得到初始图像损失信息;

参数更新单元,用于基于所述初始图像损失信息更新所述初始图像处理训练模型的参数,得到更新图像处理训练模型。

25.根据权利要求24所述的装置,其特征在于,所述初始图像处理训练模型还包括初始深度特征提取网络和初始特征映射网络;

所述特征提取单元,还用于将所述训练图像集输入到初始图像处理训练模型中,所述初始图像处理训练模型将训练图像集中训练图像输入所述初始深度特征提取网络中进行深度特征提取,得到训练图像初始深度特征;将所述训练图像初始深度特征输入到所述初始特征映射网络中进行高维特征映射,得到训练图像初始映射特征;将所述训练图像初始映射特征分别输入到所述初始主分支网络和所述初始辅助分支网络进行特征整合,得到所述训练图像对应的初始主特征和初始辅助特征,并遍历所述训练图像集中各个训练图像,得到所述训练图像集对应的初始主特征集和初始辅助特征集。

26.根据权利要求24所述的装置,其特征在于,所述训练图像集中包括各个正样本图像对;

所述损失计算单元,还包括:

图像筛选子单元,用于基于所述各个正样本图像对进行负样本图像筛选,得到所述各个正样本图像对对应的负样本图像,基于所述各个正样本图像对和对应的负样本图像得到各个图像三元组;

特征查找子单元,用于从所述初始主特征集和所述初始辅助特征集中查找所述各个图像三元组对应的初始主特征和所述各个图像三元组对应的初始辅助特征;

损失计算子单元,用于基于所述各个图像三元组对应的初始主特征和所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始图像损失信息。

27.根据权利要求26所述的装置,其特征在于,所述图像筛选子单元还用于基于所述各个正样本图像对确定当前正样本图像对和各个待挖掘正样本图像对;从当前正样本图像对中随机选取,得到当前图像,并分别从所述各个待挖掘正样本图像对中随机选取,得到各个待挖掘图像;计算所述当前图像分别与所述各个待挖掘图像之间的相似度,基于所述相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前负样本图像;基于所述当前正样本图像对和所述当前负样本图像得到所述当前正样本图像对对应的当前图像三元组。

28.根据权利要求27所述的装置,其特征在于,所述图像筛选子单元还用于从所述初始主特征集中获取所述当前图像对应的当前初始主特征和所述各个待挖掘图像对应的待挖掘初始主特征;计算所述当前初始主特征分别与所述各个待挖掘图像对应的待挖掘初始主特征的相似距离,得到各个相似度,基于所述各个相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前负样本图像。

29.根据权利要求28所述的装置,其特征在于,所述图像筛选子单元还用于基于所述各个相似度从所述各个待挖掘图像中选取目标数量的待挖掘图像,得到所述当前正样本图像对对应的各个当前负样本图像;

所述图像筛选子单元还用于基于所述当前正样本图像对和所述各个当前负样本图像得到所述当前正样本图像对对应的各个当前图像三元组。

30.根据权利要求24所述的装置,其特征在于,所述训练图像集中包括各个图像三元组;

所述损失计算单元,还用于基于所述各个图像三元组对应的初始主特征和所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始图像损失信息。

31.根据权利要求26‑30任意一项所述的装置,其特征在于,所述损失计算子单元还用于基于所述各个图像三元组对应的初始主特征进行图像三元组损失计算,得到初始主损失信息;基于所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始辅助损失信息;基于所述初始主损失信息和所述初始辅助损失信息确定所述初始图像损失信息。

32.根据权利要求31所述的装置,其特征在于,所述各个图像三元组包括第一正样本图像、第二正样本图像和负样本图像;

所述损失计算子单元还用于计算所述各个图像三元组中第一正样本图像对应的初始目标特征与所述第二正样本图像对应的初始目标特征的第一相似距离,并计算所述各个图像三元组中第一正样本图像对应的初始目标特征与所述负样本图像对应的初始目标特征的第二相似距离;计算所述各个图像三元组对应的所述第一相似距离与所述第二相似距离的目标距离误差,基于所述各个图像三元组对应的目标距离误差确定所述各个图像三元组对应的三元组目标损失信息,基于所述各个图像三元组对应的三元组目标损失信息确定所述初始主损失信息。

33.根据权利要求31所述的装置,其特征在于,所述各个图像三元组包括第一正样本图像、第二正样本图像和负样本图像;

所述损失计算子单元还用于计算所述各个图像三元组中第一正样本图像对应的初始辅助特征与所述第二正样本图像对应的初始辅助特征的第三相似距离,并计算所述各个图像三元组中第一正样本图像对应的初始辅助特征与所述负样本图像对应的初始辅助特征的第四相似距离;计算所述各个图像三元组对应的所述第三相似距离与所述第四相似距离的辅助距离误差,基于所述各个图像三元组对应的辅助距离误差确定所述各个图像三元组对应的三元组辅助损失信息,基于所述各个图像三元组对应的三元组辅助损失信息确定所述初始辅助损失信息。

34.根据权利要求23所述的装置,其特征在于,所述待更新通道筛选模块还用于使用所述更新主分支网络中各个网络通道对应的网络参数进行信息熵计算,得到所述更新主分支网络中各个网络通道对应的主分支激活程度;将各个主分支激活程度与预设主分支激活程度阈值进行比较,并选取低于预设主分支激活程度阈值的网络通道,得到各个待更新网络通道。

35.根据权利要求34所述的装置,其特征在于,所述参数更新模块还用于统计所述各个待更新网络通道的待更新通道数量,当所述待更新通道数量未超过预设通道数量时,将所述更新图像处理训练模型作为初始图像处理训练模型,并返回将所述训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型的步骤迭代执行;当所述待更新通道数量超过所述预设通道数量时,执行计算所述更新辅助分支网络中网络通道的辅助分支激活程度,基于所述辅助分支激活程度从所述更新辅助分支网络中网络通道中筛选得到参考网络通道的步骤。

36.根据权利要求23所述的装置,其特征在于,所述参考通道筛选模块还用于使用所述更新辅助分支网络中各个网络通道对应的网络参数进行信息熵计算,得到所述更新辅助分支网络中各个网络通道对应的辅助分支激活程度;将各个辅助分支激活程度与预设辅助分支激活程度阈值进行比较,并选取大于预设主分支激活程度阈值的网络通道,得到各个参考网络通道。

37.根据权利要求23所述的装置,其特征在于,所述参考通道筛选模块还用于统计所述参考网络通道的参考通道数量,并获取所述待更新网络通道的待更新通道数量;比较所述参考通道数量与所述待更新通道数量,得到比较结果,根据比较结果从所述参考通道数量的参考网络通道中确定所述待更新通道数量的参考网络通道;基于所述待更新通道数量的参考网络通道的网络参数和所述待更新通道数量的待更新网络通道的网络参数进行加权和计算,得到待更新通道数量的待更新网络通道的更新网络参数。

38.根据权利要求37所述的装置,其特征在于,所述参考通道筛选模块还用于当所述待更新通道数量大于所述参考通道数量时,计算所述待更新通道数量与所述参考通道数量的差值,从所述待更新通道数量的参考网络通道中随机选取所述差值的参考网络通道;基于所述参考通道数量和所述差值的参考网络通道得到所述待更新通道数量的参考网络通道。

39.根据权利要求37所述的装置,其特征在于,所述参考通道筛选模块还用于:当所述参考通道数量等于所述待更新通道数量时,将所述参考通道数量的参考网络通道作为所述待更新通道数量的参考网络通道。

40.根据权利要求37所述的装置,其特征在于,所述参考通道筛选模块还用于当所述待更新通道数量小于所述参考通道数量时,获取更新主分支网络的网络通道中除所述待更新网络通道以外的网络通道,得到各个目标网络通道;计算所述参考通道数量的参考网络通道分别与所述各个目标网络通道的交叉熵,得到每个参考网络通道分别与所述各个目标网络通道的差异程度;从所述各个目标网络通道的差异程度中确定每个参考网络通道对应的目标差异程度,并基于所述目标差异程度从所述参考通道数量的参考网络通道中选取待更新通道数量的参考网络通道。

41.根据权利要求37所述的装置,其特征在于,所述参考通道筛选模块还用于当所述待更新通道数量小于所述参考通道数量时,从所述参考通道数量的参考网络通道中随机选取待更新通道数量的参考网络通道。

42.一种图像处理装置,其特征在于,所述装置包括:图像输入模块,用于获取待处理图像,将所述待处理图像输入目标图像处理模型中;其中,通过将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,所述更新图像处理训练模型包括更新主分支网络和更新辅助分支网络,基于所述更新主分支网络中网络通道的主分支激活程度进行筛选得到待更新网络通道,基于所述更新辅助分支网络中网络通道的辅助分支激活程度,进行筛选得到参考网络通道,基于所述参考网络通道的参数对所述待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于所述待更新网络通道的更新参数得到目标更新图像处理训练模型,将所述目标更新图像处理训练模型作为初始图像处理训练模型,并进行迭代执行,直到达到训练完成条件时,得到目标图像处理训练模型,基于所述目标图像处理训练模型中的主分支网络得到所述目标图像处理模型;

特征输出模块,用于所述目标图像处理模型对所述待处理图像进行特征提取,输出待处理图像特征。

43.根据权利要求42所述的装置,其特征在于,所述目标图像处理模型包括深度特征提取网络、特征映射网络和主分支网络;

所述特征输出模块还用于所述目标图像处理模型将所述待处理图像输入所述深度特征提取网络中进行深度特征提取,得到待处理图像深度特征,将所述待处理图像深度特征输入所述特征映射网络中进行特征映射,得到待处理图像映射特征,并将所述待处理图像映射特征输入到主分支网络中进行特征整合,得到待处理图像特征。

44.根据权利要求42所述的装置,其特征在于,所述待处理图像包括查询图像;

所述特征输出模块还用于所述目标图像处理模型对所述查询图像进行特征提取,输出查询图像特征;

所述装置,还包括:

图像查询模块,用于获取各个待搜索图像类别中心,计算所述查询图像特征分别与所述各个待搜索图像类别中心的类别相似度,基于所述类别相似度从所述各个待搜索图像类别中心中确定目标图像类别中心;获取与所述目标图像类别中心关联的图像,得到各个候选图像;获取所述各个候选图像对应的各个候选图像特征,并计算所述查询图像特征分别与所述各个候选图像特征之间的特征相似度;基于所述特征相似度从所述各个候选图像中确定与所述查询图像对应的相似图像。

45.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至22中任一项所述的方法的步骤。

46.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至22中任一项所述的方法的步骤。

说明书 :

图像处理模型训练、图像处理方法、装置和计算机设备

技术领域

[0001] 本申请涉及计算机技术领域,特别是涉及一种图像处理模型训练、图像处理方法、装置、计算机设备和存储介质。

背景技术

[0002] 随着图像处理技术的发展,出现了图像特征提取技术,图像特征提取技术通过将图像进行特征提取,得到能够表征图像的向量。通常通过人工智能模型来进行图像特征提
取。然而,目前的人工智能模型在提取图像特征时,提取得到的图像特征可能存在大量特征
值接近0,即多个特征维度无有效特征,使图像特征在多个特征维度上对描述图像信息的作
用比较低下,从而使得到的图像特征的信息丰富度低。

发明内容

[0003] 基于此,有必要针对上述技术问题,提供一种能够提高图像特征信息丰富度的图像处理模型训练、图像处理方法、装置、计算机设备和存储介质。
[0004] 一种图像处理模型训练方法,所述方法包括:
[0005] 获取训练图像集;
[0006] 将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,更新图像处理训练模型包括更新主分支网络和更新辅助分支网络;
[0007] 计算更新主分支网络中网络通道的主分支激活程度,基于主分支激活程度从更新主分支网络的网络通道中筛选得到待更新网络通道;
[0008] 计算更新辅助分支网络中网络通道的辅助分支激活程度,基于辅助分支激活程度从更新辅助分支网络中网络通道中筛选得到参考网络通道;
[0009] 基于参考网络通道的参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待更新网络通道的更新参数得到目标更新主分支网络,基于目标更新
主分支网络得到目标更新图像处理训练模型;
[0010] 将目标更新图像处理训练模型作为初始图像处理训练模型,并返回将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型的步骤迭代执行,
直到达到训练完成条件时,得到目标图像处理训练模型,基于目标图像处理训练模型中的
主分支网络得到目标图像处理模型,目标图像处理模型用于对输入图像进行图像特征提
取。
[0011] 在其中一个实施例中,所述将所述训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,包括:
[0012] 将所述训练图像集输入到初始图像处理训练模型中,所述初始图像处理训练模型通过初始主分支网络和初始辅助分支网络进行图像特征提取,得到所述训练图像集对应的
初始主特征集和初始辅助特征集;
[0013] 基于所述训练图像集对应的初始主特征集和初始辅助特征集进行损失计算,得到初始图像损失信息;
[0014] 基于所述初始图像损失信息更新所述初始图像处理训练模型的参数,得到更新图像处理训练模型。
[0015] 在其中一个实施例中,所述初始图像处理训练模型还包括初始深度特征提取网络和初始特征映射网络;
[0016] 所述将所述训练图像集输入到初始图像处理训练模型中,所述初始图像处理训练模型通过初始主分支网络和初始辅助分支网络进行图像特征提取,得到所述训练图像集对
应的初始主特征集和初始辅助特征集,包括:
[0017] 将所述训练图像集输入到初始图像处理训练模型中,所述初始图像处理训练模型将训练图像集中训练图像输入所述初始深度特征提取网络中进行深度特征提取,得到训练
图像初始深度特征;
[0018] 将所述训练图像初始深度特征输入到所述初始特征映射网络中进行高维特征映射,得到训练图像初始映射特征;
[0019] 将所述训练图像初始映射特征分别输入到所述初始主分支网络和所述初始辅助分支网络进行特征整合,得到所述训练图像对应的初始主特征和初始辅助特征,并遍历所
述训练图像集中各个训练图像,得到所述训练图像集对应的初始主特征集和初始辅助特征
集。
[0020] 在其中一个实施例中,所述训练图像集中包括各个正样本图像对;
[0021] 所述基于所述训练图像集对应的初始主特征集和初始辅助特征集进行损失计算,得到初始图像损失信息,包括:
[0022] 基于所述各个正样本图像对进行负样本图像筛选,得到所述各个正样本图像对对应的负样本图像,基于所述各个正样本图像对和对应的负样本图像得到各个图像三元组;
[0023] 从所述初始主特征集和所述初始辅助特征集中查找所述各个图像三元组对应的初始主特征和所述各个图像三元组对应的初始辅助特征;
[0024] 基于所述各个图像三元组对应的初始主特征和所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始图像损失信息。
[0025] 在其中一个实施例中,所述基于所述各个正样本图像对进行负样本图像筛选,得到所述各个正样本图像对对应的负样本图像,基于所述各个正样本图像对和对应的负样本
图像得到各个图像三元组,包括:
[0026] 基于所述各个正样本图像对确定当前正样本图像对和各个待挖掘正样本图像对;
[0027] 从当前正样本图像对中随机选取,得到当前图像,并分别从所述各个待挖掘正样本图像对中随机选取,得到各个待挖掘图像;
[0028] 计算所述当前图像分别与所述各个待挖掘图像之间的相似度,基于所述相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前负样本图像;
[0029] 基于所述当前正样本图像对和所述当前负样本图像得到所述当前正样本图像对对应的当前图像三元组。
[0030] 在其中一个实施例中,所述计算所述当前图像分别与所述各个待挖掘图像之间的相似度,基于所述相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前
负样本图像,包括:
[0031] 从所述初始主特征集中获取所述当前图像对应的当前初始主特征和所述各个待挖掘图像对应的待挖掘初始主特征;
[0032] 计算所述当前初始主特征分别与所述各个待挖掘图像对应的待挖掘初始主特征的相似距离,得到各个相似度,基于所述各个相似度从所述各个待挖掘图像中确定所述当
前正样本图像对对应的当前负样本图像。
[0033] 在其中一个实施例中,所述基于所述相似度从所述各个待挖掘图像中确定所述当前正样本图像对对应的当前负样本图像,包括:
[0034] 基于所述各个相似度从所述各个待挖掘图像中选取目标数量的待挖掘图像,得到所述当前正样本图像对对应的各个当前负样本图像;
[0035] 所述基于所述当前正样本图像对和所述当前负样本图像得到所述当前正样本图像对对应的当前图像三元组,包括:
[0036] 基于所述当前正样本图像对和所述各个当前负样本图像得到所述当前正样本图像对对应的各个当前图像三元组。
[0037] 在其中一个实施例中,所述训练图像集中包括各个图像三元组;
[0038] 所述基于所述训练图像集对应的初始主特征集和初始辅助特征集进行损失计算,得到初始图像损失信息,包括:
[0039] 基于所述各个图像三元组对应的初始主特征和所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始图像损失信息。
[0040] 在其中一个实施例中,所述基于所述各个图像三元组对应的初始主特征和所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始图像损失信息,包
括:
[0041] 基于所述各个图像三元组对应的初始主特征进行图像三元组损失计算,得到初始主损失信息;
[0042] 基于所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始辅助损失信息;
[0043] 基于所述初始主损失信息和所述初始辅助损失信息确定所述初始图像损失信息。
[0044] 在其中一个实施例中,所述图像三元组包括第一正样本图像、第二正样本图像和负样本图像;
[0045] 所述基于所述各个图像三元组对应的初始主特征进行图像三元组损失计算,得到初始主损失信息,包括:
[0046] 计算所述各个图像三元组中第一正样本图像对应的初始目标特征与所述第二正样本图像对应的初始目标特征的第一相似距离,并计算所述各个图像三元组中第一正样本
图像对应的初始目标特征与所述负样本图像对应的初始目标特征的第二相似距离;
[0047] 计算所述各个图像三元组对应的所述第一相似距离与所述第二相似距离的目标距离误差,基于所述各个图像三元组对应的目标距离误差确定所述各个图像三元组对应的
三元组目标损失信息,基于所述各个图像三元组对应的三元组目标损失信息确定所述初始
主损失信息。
[0048] 在其中一个实施例中,所述图像三元组包括第一正样本图像、第二正样本图像和负样本图像;
[0049] 所述基于所述各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始辅助损失信息,包括:
[0050] 计算所述各个图像三元组中第一正样本图像对应的初始辅助特征与所述第二正样本图像对应的初始辅助特征的第三相似距离,并计算所述各个图像三元组中第一正样本
图像对应的初始辅助特征与所述负样本图像对应的初始辅助特征的第四相似距离;
[0051] 计算所述各个图像三元组对应的所述第三相似距离与所述第四相似距离的辅助距离误差,基于所述各个图像三元组对应的辅助距离误差确定所述各个图像三元组对应的
三元组辅助损失信息,基于所述各个图像三元组对应的三元组辅助损失信息确定所述初始
辅助损失信息。
[0052] 一种图像处理模型训练装置,所述装置包括:
[0053] 图像获取模块,用于获取训练图像集;
[0054] 训练模块,用于将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,更新图像处理训练模型包括更新主分支网络和更新辅助分支网络;
[0055] 待更新通道筛选模块,用于计算更新主分支网络中网络通道的主分支激活程度,基于主分支激活程度从更新主分支网络的网络通道中筛选得到待更新网络通道;
[0056] 参考通道筛选模块,用于计算更新辅助分支网络中网络通道的辅助分支激活程度,基于辅助分支激活程度从更新辅助分支网络中网络通道中筛选得到参考网络通道;
[0057] 参数更新模块,用于基于参考网络通道的参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待更新网络通道的更新参数得到目标更新主分
支网络,基于目标更新主分支网络得到目标更新图像处理训练模型;
[0058] 迭代模块,用于将目标更新图像处理训练模型作为初始图像处理训练模型,并返回将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型的
步骤迭代执行,直到达到训练完成条件时,得到目标图像处理训练模型,基于目标图像处理
训练模型中的主分支网络得到目标图像处理模型,目标图像处理模型用于对输入图像进行
图像特征提取。
[0059] 一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
[0060] 获取训练图像集;
[0061] 将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,更新图像处理训练模型包括更新主分支网络和更新辅助分支网络;
[0062] 计算更新主分支网络中网络通道的主分支激活程度,基于主分支激活程度从更新主分支网络的网络通道中筛选得到待更新网络通道;
[0063] 计算更新辅助分支网络中网络通道的辅助分支激活程度,基于辅助分支激活程度从更新辅助分支网络中网络通道中筛选得到参考网络通道;
[0064] 基于参考网络通道的参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待更新网络通道的更新参数得到目标更新主分支网络,基于目标更新
主分支网络得到目标更新图像处理训练模型;
[0065] 将目标更新图像处理训练模型作为初始图像处理训练模型,并返回将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型的步骤迭代执行,
直到达到训练完成条件时,得到目标图像处理训练模型,基于目标图像处理训练模型中的
主分支网络得到目标图像处理模型,目标图像处理模型用于对输入图像进行图像特征提
取。
[0066] 一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
[0067] 获取训练图像集;
[0068] 将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,更新图像处理训练模型包括更新主分支网络和更新辅助分支网络;
[0069] 计算更新主分支网络中网络通道的主分支激活程度,基于主分支激活程度从更新主分支网络的网络通道中筛选得到待更新网络通道;
[0070] 计算更新辅助分支网络中网络通道的辅助分支激活程度,基于辅助分支激活程度从更新辅助分支网络中网络通道中筛选得到参考网络通道;
[0071] 基于参考网络通道的参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待更新网络通道的更新参数得到目标更新主分支网络,基于目标更新
主分支网络得到目标更新图像处理训练模型;
[0072] 将目标更新图像处理训练模型作为初始图像处理训练模型,并返回将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型的步骤迭代执行,
直到达到训练完成条件时,得到目标图像处理训练模型,基于目标图像处理训练模型中的
主分支网络得到目标图像处理模型,目标图像处理模型用于对输入图像进行图像特征提
取。
[0073] 上述图像处理模型训练方法、装置、计算机设备和存储介质,通过在训练初始图像处理训练模型后,使用更新主分支网络中网络通道的主分支激活程度从更新主分支网络的
网络通道中筛选得到待更新网络通道,并使用更新辅助分支网络中网络通道的辅助分支激
活程度从更新辅助分支网络中网络通道中筛选得到参考网络通道。然后基于参考网络通道
的参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待更新
网络通道的更新参数得到目标更新主分支网络,基于目标更新主分支网络得到目标更新图
像处理训练模型,然后再将目标更新图像处理训练模型作为初始图像处理训练模型,并进
行迭代执行,直到达到训练完成条件时,得到目标图像处理训练模型,基于所述目标图像处
理训练模型中的主分支网络得到目标图像处理模型。由于对主分支网络中待更新网络通道
的参数使用辅助分支网络中的参考网络通道参数进行更新,从而使主分支网络能够提取到
具有丰富图像信息的特征,然后使用主分支网络得到目标图像处理模型,使得到的目标图
像处理模型提取的图像特征提高了信息丰富度,从而提高了图像特征提取的准确性。
[0074] 一种图像处理方法,所述方法包括:
[0075] 获取待处理图像,将待处理图像输入目标图像处理模型中;
[0076] 其中,通过将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,更新图像处理训练模型包括更新主分支网络和更新辅助分支网络,基于
更新主分支网络中网络通道的主分支激活程度进行筛选得到待更新网络通道,基于更新辅
助分支网络中网络通道的辅助分支激活程度,进行筛选得到参考网络通道,基于参考网络
通道的参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待
更新网络通道的更新参数得到目标更新图像处理训练模型,将目标更新图像处理训练模型
作为初始图像处理训练模型,并进行迭代执行,直到达到训练完成条件时,得到目标图像处
理训练模型,基于目标图像处理训练模型中的主分支网络得到目标图像处理模型;
[0077] 目标图像处理模型对待处理图像进行特征提取,输出待处理图像特征。
[0078] 在其中一个实施例中,所述目标图像处理模型包括深度特征提取网络、特征映射网络和主分支网络;
[0079] 所述目标图像处理模型对所述待处理图像进行特征提取,输出待处理图像特征,包括:
[0080] 所述目标图像处理模型将所述待处理图像输入所述深度特征提取网络中进行深度特征提取,得到待处理图像深度特征,将所述待处理图像深度特征输入所述特征映射网
络中进行特征映射,得到待处理图像映射特征,并将所述待处理图像映射特征输入到主分
支网络中进行特征整合,得到待处理图像特征。
[0081] 一种图像处理装置,所述装置包括:
[0082] 图像输入模块,用于获取待处理图像,将待处理图像输入目标图像处理模型中;其中,通过将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练
模型,更新图像处理训练模型包括更新主分支网络和更新辅助分支网络,基于更新主分支
网络中网络通道的主分支激活程度进行筛选得到待更新网络通道,基于更新辅助分支网络
中网络通道的辅助分支激活程度,进行筛选得到参考网络通道,基于参考网络通道的参数
对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待更新网络通
道的更新参数得到目标更新图像处理训练模型,将目标更新图像处理训练模型作为初始图
像处理训练模型,并进行迭代执行,直到达到训练完成条件时,得到目标图像处理训练模
型,基于目标图像处理训练模型中的主分支网络得到目标图像处理模型;
[0083] 特征输出模块,用于目标图像处理模型对待处理图像进行特征提取,输出待处理图像特征。
[0084] 一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
[0085] 获取待处理图像,将待处理图像输入目标图像处理模型中;
[0086] 其中,通过将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,更新图像处理训练模型包括更新主分支网络和更新辅助分支网络,基于
更新主分支网络中网络通道的主分支激活程度进行筛选得到待更新网络通道,基于更新辅
助分支网络中网络通道的辅助分支激活程度,进行筛选得到参考网络通道,基于参考网络
通道的参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待
更新网络通道的更新参数得到目标更新图像处理训练模型,将目标更新图像处理训练模型
作为初始图像处理训练模型,并进行迭代执行,直到达到训练完成条件时,得到目标图像处
理训练模型,基于目标图像处理训练模型中的主分支网络得到目标图像处理模型;
[0087] 目标图像处理模型对待处理图像进行特征提取,输出待处理图像特征。
[0088] 一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
[0089] 获取待处理图像,将待处理图像输入目标图像处理模型中;
[0090] 其中,通过将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,更新图像处理训练模型包括更新主分支网络和更新辅助分支网络,基于
更新主分支网络中网络通道的主分支激活程度进行筛选得到待更新网络通道,基于更新辅
助分支网络中网络通道的辅助分支激活程度,进行筛选得到参考网络通道,基于参考网络
通道的参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待
更新网络通道的更新参数得到目标更新图像处理训练模型,将目标更新图像处理训练模型
作为初始图像处理训练模型,并进行迭代执行,直到达到训练完成条件时,得到目标图像处
理训练模型,基于目标图像处理训练模型中的主分支网络得到目标图像处理模型;
[0091] 目标图像处理模型对待处理图像进行特征提取,输出待处理图像特征。
[0092] 上述图像处理方法、装置、计算机设备和存储介质,通过将待处理图像输入目标图像处理模型中,目标图像处理模型对待处理图像进行特征提取,输出待处理图像特征。由于
在训练时目标图像处理模型的主分支网络中待更新网络通道的参数是使用辅助分支网络
中的参考网络通道参数进行更新,从而使主分支网络能够提取到具有丰富图像信息的特
征,然后使用主分支网络得到目标图像处理模型,使得到的目标图像处理模型使用主分支
网络提取的待处理图像特征提高了信息丰富度,从而提高了图像特征提取的准确性。

附图说明

[0093] 图1为一个实施例中图像处理模型训练方法的应用环境图;
[0094] 图2为一个实施例中图像处理模型训练方法的流程示意图;
[0095] 图3为一个实施例中得到更新图像处理训练模型的流程示意图;
[0096] 图4为一个实施例中得到初始特征的流程示意图;
[0097] 图5为一个实施例中得到初始图像损失信息的流程示意图;
[0098] 图6为一个实施例中得到当前图像三元组的流程示意图;
[0099] 图7为一个实施例中得到初始辅助损失信息的流程示意图;
[0100] 图8为一个实施例中得到参考网络通道的流程示意图;
[0101] 图9为一个实施例中得到更新网络参数的流程示意图;
[0102] 图10为一个实施例中选取参考网络通道的流程示意图;
[0103] 图11为一个具体实施例中图像处理模型训练方法的流程示意图;
[0104] 图12为一个具体实施例中图像处理模型训练方法的框架示意图;
[0105] 图13为图12具体实施例中网络参数更新的示意图;
[0106] 图14为一个实施例中图像处理方法的流程示意图;
[0107] 图15为一个实施例中查询相似图像的流程示意图;
[0108] 图16为一个实施例中图像处理方法的应用场景示意图;
[0109] 图17为一个实施例中图像处理模型训练装置的结构框图;
[0110] 图18为一个实施例中图像处理装置的结构框图;
[0111] 图19为一个实施例中计算机设备的内部结构图;
[0112] 图20为另一个实施例中计算机设备的内部结构图。

具体实施方式

[0113] 为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不
用于限定本申请。
[0114] 计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机
器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数
据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理
解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、
虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸
识别、指纹识别等生物特征识别技术。
[0115] 本申请实施例提供的方案涉及人工智能的图像处理、图像检索等技术,具体通过如下实施例进行说明:
[0116] 本申请提供的图像处理模型训练方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。终端102向服务器104发送模型训练指令,服务
器104接收到终端102发送的模型训练指令,从数据库106中获取训练图像集;服务器104将
训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,更新
图像处理训练模型包括更新主分支网络和更新辅助分支网络;服务器104计算更新主分支
网络中网络通道的主分支激活程度,基于主分支激活程度从更新主分支网络的网络通道中
筛选得到待更新网络通道;服务器104计算更新辅助分支网络中网络通道的辅助分支激活
程度,基于辅助分支激活程度从更新辅助分支网络中网络通道中筛选得到参考网络通道;
服务器104基于参考网络通道的参数对待更新网络通道的参数进行更新,得到待更新网络
通道的更新参数,基于待更新网络通道的更新参数得到目标更新主分支网络,基于目标更
新主分支网络得到目标更新图像处理训练模型;服务器104将目标更新图像处理训练模型
作为初始图像处理训练模型,并返回将训练图像集输入到初始图像处理训练模型中进行训
练,得到更新图像处理训练模型的步骤迭代执行,直到达到训练完成条件时,得到目标图像
处理训练模型,基于目标图像处理训练模型中的主分支网络得到目标图像处理模型,目标
图像处理模型用于对输入图像进行图像特征提取。其中,服务器104可以是独立的物理服务
器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云
数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、
以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电
脑、笔记本电脑、台式计算机、智能音箱、智能电视、智能手表等,但并不局限于此。在一个实
施例中,终端中也可以安装客户端,该客户端可以包括视频客户端、音频客户端、浏览器客
户端、即时通信客户端、信息流客户端等等。终端以及服务器可以通过有线或无线通信方式
进行直接或间接地连接,本申请在此不做限制。
[0117] 在一个实施例中,如图2所示,提供了一种图像处理模型训练方法,以该方法应用于图1中的服务器为例进行说明,可以理解的是,该方法也可以应用在终端中,还可以应用
于包括终端和服务器的系统,并通过终端和服务器的交互实现。包括以下步骤:
[0118] 步骤202,获取训练图像集。
[0119] 其中,训练图像集中包括各个训练图像,所述训练图像集用于进行图像处理模型的训练。
[0120] 具体地,服务器可以从数据库中直接获取到训练图像集。服务器可以从提供数据服务的服务器重获取到训练图像集。服务器也可以从互联网中采集到训练图像,得到训练
图像集。
[0121] 步骤204,将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,更新图像处理训练模型包括更新主分支网络和更新辅助分支网络。
[0122] 其中,初始图像处理训练模型是指模型参数初始化的图像处理训练模型,该图像处理训练模型是训练时的图像处理模型,该初始图像处理训练模型中包括初始主分支网络
和初始辅助分支网络。初始主分支网络是指网络参数初始化的主分支网络,主分支网络用
于进行图像特征提取,得到图像特征。在训练时该主分支网络是主要训练的网络。初始辅助
分支网络是指网络参数初始化的辅助分支网络,辅助分支网络在使用时也用于进行图像特
征提取,得到图像特征,在训练时该辅助分支网络用于辅助主分支网络的训练。更新图像处
理训练模型是指初始图像处理训练模型进行参数更新后得到的图像处理训练模型。更新主
分支网络是指网络参数更新后的主分支网络,更新辅助分支网络是指网络参数更新后的辅
助分支网络。
[0123] 具体地,服务器将训练图像集输入到初始图像处理训练模型中,该初始图像处理训练模型通过初始主分支网络和辅助主分支网络分别进行特征提取,并计算特征提取结果
的损失,然后使用特征提取结果的损失反向更新初始图像处理训练模型的参数,得到更新
图像处理训练模型,该更新图像处理训练模型包括更新主分支网络和更新辅助分支网络。
[0124] 在一个实施例中,服务器可以获取到训练图像集,将训练图像集进行多轮迭代,每轮迭代处理一次所有训练图像。在每轮迭代时,可以将训练图像集划分成多个批次的训练
图像子集,在每个批次训练时,获取到训练图像子集进行训练。即将训练图像子集输入到初
始图像处理训练模型中通过初始主分支网络和辅助主分支网络分别进行特征提取,并计算
训练图像子集对应的特征提取结果的损失,然后使用训练图像子集对应的特征提取结果的
损失反向更新初始图像处理训练模型的参数,得到更新图像处理训练模型。
[0125] 步骤206,计算更新主分支网络中网络通道的主分支激活程度,基于主分支激活程度从更新主分支网络的网络通道中筛选得到待更新网络通道。
[0126] 其中,网络通道是指channel,主分支网络中可以包括多个网络通道,该网络通道是滤波器,不同的网络通道对应有不同的网络参数,用于对输入数据使用网络参数进行特
征提取。更新主分支网络中网络通道是指更新主分支网络中输出的channel。主分支激活程
度用于表征对应的更新主分支网络中网络通道的激活程度。激活程度越高,使用对应的网
络通道输出的特征值具有的丰富度就越高,该网络通道就是有效的网络通道,反之,激活程
度越低,使用对应的网络通道输出的特征值具有的丰富度就越低,该网络通道就可能是无
效的网络通道。待更新网络通道是指主分支激活程度较低的网络通道,对图像特征提取未
存在实质的作用,是无效的网络通道,则该待更新网络通道对应的网络参数是需要通过更
新辅助分支网络进行更新的。
[0127] 具体地,服务器可以使用更新主分支网络中网络通道的参数来计算主分支网络中每个网络通道对应的主分支激活程度。然后使用每个网络通道对应的主分支激活程度从更
新主分支网络的网络通道中筛选主分支激活程度较低的网络通道,得到待更新网络通道。
在一个实施例中,可以按照更新主分支网络中网络通道对应的主分支激活程度从小到大排
序,然后从小到大依次选取一定数量的更新主分支网络中网络通道,得到各个待更新网络
通道。其中,选取的数量可以根据需求设置。
[0128] 步骤208,计算更新辅助分支网络中网络通道的辅助分支激活程度,基于辅助分支激活程度从更新辅助分支网络中网络通道中筛选得到参考网络通道。
[0129] 其中,辅助分支激活程度是指更新辅助分支网络中网络通道对应的激活程度。参考网络通道是指更新辅助分支网络中网络通道具有较高激活程度的网络通道,使用参考网
络通道的参数可以对待更新网络通道的参数进行更新。
[0130] 具体地,服务器可以使用更新辅助分支网络中网络通道的参数来计算辅助分支网络中每个网络通道对应的辅助分支激活程度。然后使用每个网络通道对应的辅助分支激活
程度从更新辅助分支网络的网络通道中筛选辅助分支激活程度较高的网络通道,得到参考
网络通道。
[0131] 在一个实施例中,可以按照更新主分支网络中网络通道对应的主分支激活程度从大到小排序,然后从大到小依次选取一定数量的更新辅助分支网络中网络通道,得到各个
参考网络通道。其中,选取的数量可以根据需求设置。可以与待更新网络通道的数量相同,
也可以不同。
[0132] 步骤210,基于参考网络通道的参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待更新网络通道的更新参数得到目标更新主分支网络,基于
目标更新主分支网络得到目标更新图像处理训练模型。
[0133] 其中,待更新网络通道的更新参数是指使用参考网络通道的参数进行更新后得到的待更新网络通道的参数。目标更新主分支网络是指使用参考网络通道的参数对待更新网
络通道的参数进行更新后的主分支网络。目标更新图像处理训练模型是指使用辅助分支网
络中参考网络通道的参数对主分支网络中待更新网络通道的参数进行更新后的图像处理
训练模型。
[0134] 具体地,服务器可以对参考网络通道的参数和待更新网络通道的参数进行加权和计算,得到待更新网络通道的更新参数。
[0135] 在一个实施例中,也可以使用参考网络通道的参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数。比如,可以使用参考网络通道的参数对待更新网络
通道的参数进行替换,得到待更新网络通道的更新参数。
[0136] 步骤212,判断训练是否完成,当达到训练完成条件时,执行步骤212a,当未达到训练完成条件时,执行步骤212b,并返回步骤204迭代执行。
[0137] 其中,判断训练是否达到训练完成条件,训练完成条件是指图像处理训练模型训练完成的条件,包括模型训练的损失达到预设损失值或者模型的参数不再发生变化或者模
型训练的损失保持不变等等,比如连续10轮模型训练的损失未下降。
[0138] 具体地,服务器判断图像处理训练模型是否训练完成,当达到训练完成条件时,执行步骤212a,当未达到训练完成条件时,执行步骤212b,并返回步骤204迭代执行。
[0139] 步骤212b,将目标更新图像处理训练模型作为初始图像处理训练模型,并返回将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型的步骤
迭代执行。
[0140] 步骤212a,得到目标图像处理训练模型,基于目标图像处理训练模型中的主分支网络得到目标图像处理模型,目标图像处理模型用于对输入图像进行图像特征提取。
[0141] 其中,目标图像处理训练模型是指训练完成的图像处理训练模型。目标图像处理模型是指去除辅助分支网络只保留主分支网络的图像处理训练模型。
[0142] 具体地,当训练未完成时,服务器将目标更新图像处理训练模型作为初始图像处理训练模型进行迭代训练,当达到训练完成条件时,将最后一次迭代得到的更新图像处理
训练模型作为训练完成的目标图像处理训练模型。然后去除目标图像处理训练模型中删除
辅助分支网络保留主分支网络,得到目标图像处理模型。
[0143] 在一个实施例中,服务器也可以在得到更新图像处理训练模型后,判断训练是否完成,即在计算更新主分支网络中网络通道的主分支激活程度,基于主分支激活程度从更
新主分支网络的网络通道中筛选得到待更新网络通道之前,判断图像处理训练模型的训练
是否完成,当完成时,得到目标图像处理训练模型,基于目标图像处理训练模型中的主分支
网络得到目标图像处理模型。当训练未完成时,计算更新辅助分支网络中网络通道的辅助
分支激活程度,基于辅助分支激活程度从更新辅助分支网络中网络通道中筛选得到参考网
络通道;基于参考网络通道的参数对待更新网络通道的参数进行更新,得到待更新网络通
道的更新参数,基于待更新网络通道的更新参数得到目标更新主分支网络,基于目标更新
主分支网络得到目标更新图像处理训练模型,将目标更新图像处理训练模型作为初始图像
处理训练模型,并返回步骤204迭代执行。
[0144] 上述图像处理模型训练方法,通过在训练初始图像处理训练模型后,使用更新主分支网络中网络通道的主分支激活程度从更新主分支网络的网络通道中筛选得到待更新
网络通道,并使用更新辅助分支网络中网络通道的辅助分支激活程度从更新辅助分支网络
中网络通道中筛选得到参考网络通道。然后基于参考网络通道的参数对待更新网络通道的
参数进行更新,得到待更新网络通道的更新参数,基于待更新网络通道的更新参数得到目
标更新主分支网络,基于目标更新主分支网络得到目标更新图像处理训练模型,然后再将
目标更新图像处理训练模型作为初始图像处理训练模型,并进行迭代执行,直到达到训练
完成条件时,得到目标图像处理训练模型,基于所述目标图像处理训练模型中的主分支网
络得到目标图像处理模型。由于对主分支网络中待更新网络通道的参数使用辅助分支网络
中的参考网络通道参数进行更新,从而使主分支网络能够提取到具有丰富图像信息的特
征,然后使用主分支网络得到目标图像处理模型,使得到的目标图像处理模型提取的图像
特征提高了信息丰富度,从而提高了图像特征提取的准确性。
[0145] 在一个实施例中,如图3所示,步骤204,将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,包括:
[0146] 步骤302,将训练图像集输入到初始图像处理训练模型中,初始图像处理训练模型通过初始主分支网络和初始辅助分支网络进行图像特征提取,得到训练图像集对应的初始
主特征集和初始辅助特征集。
[0147] 其中,初始主特征集中包括各个初始主特征,初始主特征是指初始图像处理训练模型中的初始主分支网络输出的图像特征。训练图像集中每个训练图像都对应有初始主特
征。初始辅助特征集中包括各个初始辅助特征,初始辅助特征是指初始图像处理训练模型
中的初始辅助分支网络输出的图像特征。
[0148] 具体地,服务器将训练图像集输入到初始图像处理训练模型中,该初始图像处理训练模型通过双分支网络进行双任务学习,即通过初始主分支网络进行图像特征提取,输
出训练图像集对应的初始主特征集,通过初始辅助分支网络进行图像特征提取,输出训练
图像集对应的初始辅助特征集。
[0149] 步骤304,基于训练图像集对应的初始主特征集和初始辅助特征集进行损失计算,得到初始图像损失信息。
[0150] 其中,初始图像损失信息是指训练图像提取的初始的图像特征对应的损失值。
[0151] 具体地,当训练图像集中的训练图像是以三元组的形式存在时,即训练图像中包括各个三元组图像,然后根据各个三元组图像对应的初始主特征和初始辅助特征进行三元
组损失计算,得到初始图像损失信息。当训练图像集中的训练图像是以图像对形式存在时,
从训练图像集中挖掘得到图像对对应的三元组图像,然后根据各个三元组图像对应的初始
主特征和初始辅助特征进行三元组损失计算,得到初始图像损失信息。
[0152] 步骤306,基于初始图像损失信息更新初始图像处理训练模型的参数,得到更新图像处理训练模型。
[0153] 具体地,服务器基于初始图像损失信息使用梯度下降算法反向更新初始图像处理训练模型的参数,得到更新图像处理训练模型。其中,梯度下降算法可以是SGD(stochastic 
gradient descent随机梯度下降算法)算法。
[0154] 在上述实施例中,通过提取得到初始主特征集和初始辅助特征集,然后计算初始图像损失信息,使用初始图像损失信息更新初始图像处理训练模型的参数,得到更新图像
处理训练模型,提高了得到的更新图像处理训练模型的准确性,方便后续使用。
[0155] 在一个实施例中,初始图像处理训练模型还包括初始深度特征提取网络和初始特征映射网络;
[0156] 如图4所示,步骤302,将训练图像集输入到初始图像处理训练模型中,初始图像处理训练模型通过初始主分支网络和初始辅助分支网络进行图像特征提取,得到训练图像集
对应的初始主特征集和初始辅助特征集,包括:
[0157] 步骤402,将训练图像集输入到初始图像处理训练模型中,初始图像处理训练模型将训练图像集中训练图像输入初始深度特征提取网络中进行深度特征提取,得到训练图像
初始深度特征。
[0158] 其中,初始深度特征提取网络是指初始图像处理训练模型中初始的深度特征提取网络,深度特征提取网络用于对图像进行深度特征提取。训练图像初始深度特征是指训练
图像使用初始深度特征提取网络进行提取得到的深度特征。
[0159] 具体地,服务器预先使用训练图像集进行深度特征提取网络的训练,当预达到训练完成条件时,将预训练完成的深度特征提取网络作为初始深度特征提取网络。服务器也
可以获取到预训练深度特征提取网络作为初始深度特征提取网络。服务器也可以建立深度
特征提取网络并进行参数初始化,得到初始深度特征提取网络,其中,参数初始化可以是随
机参数化,为零初始化以及高斯初始化等等。然后使用初始深度特征提取网络来建立初始
图像处理训练模型。
[0160] 然后进行初始图像处理训练模型的训练时,将训练图像集输入到初始图像处理训练模型中,初始图像处理训练模型将训练图像集中训练图像输入初始深度特征提取网络中
进行深度特征提取,得到训练图像初始深度特征。
[0161] 步骤404,将训练图像初始深度特征输入到初始特征映射网络中进行高维特征映射,得到训练图像初始映射特征。
[0162] 其中,初始特征映射网络是指参数初始化的特征映射网络,特征映射网络用于将高维特征映射到低维空间,即进行降维得到映射后的特征,即用于产生特征间相互交叉信
息。训练图像初始映射特征是指训练图像初始深度特征进行特征映射降维后得到的特征。
[0163] 具体地,服务器将训练图像初始深度特征输入到初始特征映射网络中进行高维特征映射,得到训练图像初始映射特征。
[0164] 步骤406,将训练图像初始映射特征分别输入到初始主分支网络和初始辅助分支网络进行特征整合,得到训练图像对应的初始主特征和初始辅助特征,并遍历训练图像集
中各个训练图像,得到训练图像集对应的初始主特征集和初始辅助特征集。
[0165] 具体地,服务器将训练图像初始映射特征输入到初始主分支网络进行特征整合,得到训练图像对应的初始主特征,同时将训练图像初始映射特征输入到初始辅助分支网络
进行特征整合,得到训练图像对应的初始辅助特征,依次遍历训练图像集中每个训练图像,
得到每个训练图像对应的初始主特征和初始辅助特征,根据每个训练图像对应的初始主特
征得到初始主特征集,根据每个训练图像对应的初始辅助特征得到初始辅助特征集,从而
得到训练图像集对应的初始主特征集和初始辅助特征集。
[0166] 在一个实施例中,当初始深度特征提取网络是预训练得到的深度特征提取网络时,服务器使用初始图像损失信息更新初始图像处理训练模型的参数时,不对预训练得到
的深度特征提取网络的参数进行更新,即保持初始深度特征提取网络的参数不变,只更新
初始特征映射网络的参数、初始主分支网络的参数和初始辅助分支网络的参数,得到更新
图像处理训练模型。在一个实施例中,使用初始图像损失信息更新初始图像处理训练模型
的参数时,对初始深度特征提取网络的参数、初始特征映射网络的参数、初始主分支网络的
参数和初始辅助分支网络的参数均进行更新,得到更新图像处理训练模型。
[0167] 在一个具体的实施例中,深度特征提取网络的结构如下表1所示:
[0168] 表1深度特征提取网络的结构表
[0169]
[0170] 特征映射网络结构如下表2所示:
[0171] 表2特征映射网络的结构表
[0172]
[0173] 主分支网络的结构如下表3所示:
[0174] 表3 主分支网络的结构表
[0175]
[0176] 辅助分支网络的结构如下表4所示:
[0177] 表4 辅助分支网络的结构表
[0178]
[0179] 其中,表1的深度特征提取网络是使用ResNet101(残差网络101)得到的,也可以使用其他网络结构得到深度特征提取网络。然后获取到在ImageNet(一个用于视觉对象识别
软件研究的大型可视化数据库)数据集上预训练的 ResNet101的参数,得到初始深度特征
提取网络。表2、表3以及表4的网络通过采用方差为0.01,均值为0的高斯分布进行初始化,
得到初始特征映射网络、初始主分支网络和初始辅助分支网络,最终得到初始图像处理训
练模型。然后对初始图像处理训练模型进行训练。其中,可以设置初始深度特征提取网络和
初始特征映射网络的学习率为0.0005,初始主分支网络和初始辅助分支网络的学习率为
0.005进行训练。
[0180] 在上述实施例中,通过使用深度特征提取网络进行深度特征提取,然后使用特征映射网络进行调整映射,然后再使用分支网络进行特征整合,能够使提取得到的训练图像
对应的初始主特征和初始辅助特征更加准确,从而提高了训练图像集对应的初始主特征集
和初始辅助特征集的准确性。
[0181] 在一个实施例中,训练图像集中包括各个正样本图像对;
[0182] 如图5所示,步骤304,基于训练图像集对应的初始主特征集和初始辅助特征集进行损失计算,得到初始图像损失信息,包括:
[0183] 步骤502,基于各个正样本图像对进行负样本图像筛选,得到各个正样本图像对对应的负样本图像,基于各个正样本图像对和对应的负样本图像得到各个图像三元组。
[0184] 其中,正样本图像对是指具有相同标签的两张图片,可以是同类的图像对,比如,同一动物的图像。正样本图像对也可以是完全相同的两张图像。训练图像集中包括不同的
正样本图像对。负样本图像是指与对应的正样本图像对中的图像具有差异的图像,其中,当
正样本图像对可以是一类图像时,负样本图像可以是另一类图像。当正样本图像对是完全
相同的两张图像,负样本图像可以是与正样本图像相似的图像。图像三元组是指包括正样
本图像对和负样本图像的三元组。
[0185] 具体地,服务器从训练图像集中筛选每个正样本图像对对应的负样本图像,其中,可以通过计算正样本图像对中图像与训练图像集图像的相似度来筛选负样本图像。然后根
据每个正样本图像对和对应的负样本图像得到各个图像三元组。
[0186] 步骤504,从初始主特征集和初始辅助特征集中查找各个图像三元组对应的初始主特征和各个图像三元组对应的初始辅助特征。
[0187] 具体地,服务器从已有的初始主特征集中查找各个图像三元组中每个图像对应的初始主特征,并从已有的初始辅助特征集中查找各个图像三元组中每个图像对应的初始辅
助特征。
[0188] 步骤506,基于各个图像三元组对应的初始主特征和各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始图像损失信息。
[0189] 其中,图像三元组损失是指使用三元组损失函数(triplet loss function)计算得到的损失值,用于表征正样本图像对与负样本图像之间的相似距离。初始图像损失信息
是指使用图像三元组计算得到的图像损失信息。
[0190] 具体地,服务器可以使用各个图像三元组对应的初始主特征进行图像三元组损失计算,然后使用各个图像三元组对应的初始辅助特征进行图像三元组损失计算,最终计算
损失值的和得到初始图像损失信息。
[0191] 在上述相互实施例中,通过从训练图像集中筛选到各个图像三元组,然后使用各个图像三元组对应的初始主特征和各个图像三元组对应的初始辅助特征进行图像三元组
损失计算,得到初始图像损失信息,提高初始图像损失信息的准确性。
[0192] 在一个实施例中,如图6所示,步骤502,基于各个正样本图像对进行负样本图像筛选,得到各个正样本图像对对应的负样本图像,基于各个正样本图像对和对应的负样本图
像得到各个图像三元组,包括:
[0193] 步骤602,基于各个正样本图像对确定当前正样本图像对和各个待挖掘正样本图像对。
[0194] 其中,当前正样本图像对是指当前要筛选负样本图像的正样本图像对。待挖掘正样本图像对是指筛选负样本图像的正样本图像对。
[0195] 具体地,服务器依次将各个正样本图像对作为当前正样本图像对,并将剩余的正样本图像对作为各个待挖掘正样本图像对,并依次筛选当前正样本图像对对应的负样本图
像。
[0196] 步骤604,从当前正样本图像对中随机选取,得到当前图像,并分别从各个待挖掘正样本图像对中随机选取,得到各个待挖掘图像。
[0197] 其中,当前图像是指当前正样本图像对中的图像,待挖掘图像是指待挖掘正样本图像对中的图像。
[0198] 具体地,服务器从每个正样本图像对中随机选取图像,得到当前图像和各个待挖掘图像。也可以从每个正样本图像对按照预先设置的选取对象选取得到当前图像和各个待
挖掘图像。比如,可以指定从正样本图像对选取第一个图像。或者也可以指定从正样本图像
对选取第二个图像,还可以指定从当前正样本图像对中选取第一个图像,并从各个待挖掘
正样本图像选取第二个图像。
[0199] 步骤606,计算当前图像分别与各个待挖掘图像之间的相似度,基于相似度从各个待挖掘图像中确定当前正样本图像对对应的当前负样本图像。
[0200] 其中,相似度用于表征当前图像与待挖掘图像的相似程度。当前负样本图像是指筛选得到的当前正样本图像对对应的负样本图像。
[0201] 具体地,服务器使用相似度算法计算当前图像分别与各个待挖掘图像之间的相似度,其中,相似度算法可以使用距离相似度算法,比如,欧式距离算法、曼哈顿距离算法。也
可以使用余弦相似度算法。然后使用相似度将各个待挖掘图像从小到大排序,并选取当前
正样本图像对对应的当前负样本图像。其中,服务器也可以在将各个待挖掘图像从小到大
排序后,按照预先设置好的去噪数量进行图像去除,比如,去除5%的待挖掘图像。然后从剩
余的待挖掘图像中选取当前正样本图像对对应的当前负样本图像。
[0202] 步骤608,基于当前正样本图像对和当前负样本图像得到当前正样本图像对对应的当前图像三元组。
[0203] 具体地,当前图像三元组是指当前正样本图像对对应的图像三元组。
[0204] 服务器筛选每个正样本图像对对应的负样本图像,得到每个正样本图像对对应的图像三元组。
[0205] 在上述实施例中,通过计算当前图像分别与各个待挖掘图像之间的相似度,基于相似度从各个待挖掘图像筛选负样本图像,从而得到图像三元组,提高得到图像三元组的
准确性。
[0206] 在一个实施例中,步骤606,计算当前图像分别与各个待挖掘图像之间的相似度,基于相似度从各个待挖掘图像中确定当前正样本图像对对应的当前负样本图像,包括步
骤:
[0207] 从初始主特征集中获取当前图像对应的当前初始主特征和各个待挖掘图像对应的待挖掘初始主特征。计算当前初始主特征分别与各个待挖掘图像对应的待挖掘初始主特
征的相似距离,得到各个相似度,基于各个相似度从各个待挖掘图像中确定当前正样本图
像对对应的当前负样本图像。
[0208] 其中,当前初始主特征是当前图像对应的初始主特征。待挖掘初始主特征是待挖掘图像对应的初始主特征。
[0209] 具体的,服务器从初始主特征集中获取当前图像对应的初始主特征和各个待挖掘图像对应的初始主特征,得到当前初始主特征和各个待挖掘初始主特征。然后计算当前初
始主特征分别与各个待挖掘图像对应的待挖掘初始主特征的相似距离,得到各个相似度,
基于各个相似度将各个待挖掘图像从小到大排序,根据排序结果确定当前正样本图像对对
应的当前负样本图像。
[0210] 在一个实施例中,步骤606,基于相似度从各个待挖掘图像中确定当前正样本图像对对应的当前负样本图像,包括步骤:
[0211] 基于各个相似度从各个待挖掘图像中选取目标数量的待挖掘图像,得到当前正样本图像对对应的各个当前负样本图像。
[0212] 具体地,服务器可以按照相似度将各个待挖掘图像从小到大排序,然后依次选取目标数量的待挖掘图像,得到当前正样本图像对对应的各个当前负样本图像。其中,目标数
量是预先设置好要选取的数量,比如,可以选取10个待挖掘图像作为当前正样本图像对对
应的各个当前负样本图像。
[0213] 步骤608,基于当前正样本图像对和当前负样本图像得到当前正样本图像对对应的当前图像三元组,包括步骤:
[0214] 基于当前正样本图像对和各个当前负样本图像得到当前正样本图像对对应的各个当前图像三元组。
[0215] 具体地,服务器在筛选得到目标数量的待挖掘图像后,得到每个正样本图像对对应的目标数量的图像三元组。即一个正样本图像对对应有目标数量的图像三元组。然后使
用目标数量的图像三元组计算三元组损失信息,比如,可以计算正样本图像对对应的每个
的图像三元组的损失,然后再计算平均值,得到该正样本图像对对应的损失信息。也可以计
算正样本图像对对应的每个的图像三元组的损失,然后再计算损失的和,得到该正样本图
像对对应的损失信息。能够提高得到的图像三元组损失的准确性。
[0216] 在一个实施例中,训练图像集中包括各个图像三元组;
[0217] 步骤304,基于训练图像集对应的初始主特征集和初始辅助特征集进行损失计算,得到初始图像损失信息,包括:
[0218] 基于各个图像三元组对应的初始主特征和各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始图像损失信息。
[0219] 其中,训练图像集可以是直接有各个图像三元组构成的。该图像三元组可以是使用正样本图像对随机选取负样本图像得到,该负样本图像可以是从正样本图像对集中选取
的。
[0220] 具体地,当训练图像集中包括各个图像三元组时,此时服务器不需要在训练过程中挖掘图像三元组,直接使用各个图像三元组对应的初始主特征和各个图像三元组对应的
初始辅助特征进行图像三元组损失计算,得到初始图像损失信息,提高了计算初始图像损
失信息的效率,进而提高了图像处理模型的训练效率。
[0221] 在一个实施例中,基于各个图像三元组对应的初始主特征和各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始图像损失信息,包括步骤:
[0222] 基于各个图像三元组对应的初始主特征进行图像三元组损失计算,得到初始主损失信息;基于各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始辅
助损失信息;基于初始主损失信息和初始辅助损失信息确定初始图像损失信息。
[0223] 其中,初始主损失信息是指使用图像三元组对应的初始主特征计算得到的三元组损失值。初始辅助损失信息指使用图像三元组对应的初始辅助特征计算得到的三元组损失
值。
[0224] 具体地,图像三元组中每个图像都有对应的初始主特征和初始辅助特征。然后使用图像三元组中每个图像对应的初始主特征进行图像三元组损失计算,得到初始主损失信
息,并使用图像三元组中每个图像对应的初始辅助特征进行图像三元组损失计算,得到初
始辅助损失信息。然后计算初始主损失信息和初始辅助损失信息得到和,得到初始图像损
失信息。
[0225] 在一个实施例中,图像三元组包括第一正样本图像、第二正样本图像和负样本图像;
[0226] 如图7所示,基于各个图像三元组对应的初始主特征进行图像三元组损失计算,得到初始主损失信息,包括:
[0227] 步骤702,计算各个图像三元组中第一正样本图像对应的初始目标特征与第二正样本图像对应的初始目标特征的第一相似距离,并计算各个图像三元组中第一正样本图像
对应的初始目标特征与负样本图像对应的初始目标特征的第二相似距离。
[0228] 其中,第一相似距离是指正样本图像的初始目标特征之间的相似距离。第二相似距离是指正样本图像的初始目标特征与负样本图像的初始目标特征之间的相似距离。
[0229] 具体地,服务器使用距离相似度算法计算各个图像三元组中第一正样本图像对应的初始目标特征与第二正样本图像对应的初始目标特征的第一相似距离,并计算各个图像
三元组中第一正样本图像对应的初始目标特征与负样本图像对应的初始目标特征的第二
相似距离。
[0230] 步骤704,计算各个图像三元组对应的第一相似距离与第二相似距离的目标距离误差,基于各个图像三元组对应的目标距离误差确定各个图像三元组对应的三元组目标损
失信息,基于各个图像三元组对应的三元组目标损失信息确定初始主损失信息。
[0231] 具体地,服务器计算第一相似距离与第二相似距离之间的距离差,得到各个图像三元组对应的目标距离误差,然后基于各个图像三元组对应的目标距离误差确定各个图像
三元组对应的三元组目标损失信息,其中,可以将各个图像三元组对应的目标距离误差作
为各个图像三元组对应的三元组目标损失信息,也可以获取到预先设置好的用于控制正负
样本空间距离的超参,然后使用该超参调整目标距离误差得到三元组目标损失信息。然后
计算各个图像三元组对应的三元组目标损失信息的总和,得到初始主损失信息,提高了得
到的初始主损失信息的准确性。
[0232] 在一个实施例中,图像三元组包括第一正样本图像、第二正样本图像和负样本图像;
[0233] 如图7所示,基于各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始辅助损失信息,包括:
[0234] 步骤706,计算各个图像三元组中第一正样本图像对应的初始辅助特征与第二正样本图像对应的初始辅助特征的第三相似距离,并计算各个图像三元组中第一正样本图像
对应的初始辅助特征与负样本图像对应的初始辅助特征的第四相似距离。
[0235] 其中,第三相似距离是指正样本图像的初始辅助特征之间的相似距离。第四相似距离是指正样本图像的初始辅助特征与负样本图像的初始辅助特征之间的相似距离。
[0236] 具体地,服务器使用距离相似度算法计算各个图像三元组中第一正样本图像对应的初始辅助特征与第二正样本图像对应的初始辅助特征的第三相似距离,并计算各个图像
三元组中第一正样本图像对应的初始辅助特征与负样本图像对应的初始辅助特征的第四
相似距离。
[0237] 步骤708,计算各个图像三元组对应的第三相似距离与第四相似距离的辅助距离误差,基于各个图像三元组对应的辅助距离误差确定各个图像三元组对应的三元组辅助损
失信息,基于各个图像三元组对应的三元组辅助损失信息确定初始辅助损失信息。
[0238] 具体地,服务器计算第三相似距离与第四相似距离之间的距离差,得到各个图像三元组对应的辅助距离误差,然后基于各个图像三元组对应的辅助距离误差确定各个图像
三元组对应的三元组辅助损失信息,其中,可以将各个图像三元组对应的辅助距离误差作
为各个图像三元组对应的三元组辅助损失信息,也可以获取到预先设置好的用于控制正负
样本空间距离的超参,然后使用该超参调整辅助距离误差得到三元组辅助损失信息。然后
计算各个图像三元组对应的三元组辅助损失信息的总和,得到初始辅助损失信息,提高了
得到的初始辅助损失信息的准确性。
[0239] 在一个具体的实施例中,可以使用如下所示公式(1)计算初始辅助损失信息和初始主损失信息,从而得到初始图像损失信息。
[0240] 公式(1)
[0241] 其中,(a,p,n)为三元组图像, 是指初始辅助损失信息或者初始主损失信息。a为第一正样本图像,p为第二正样本图像,n为负样本图像。 表示第一正样本图像对应的
初始主特征或者初始辅助特征, 表示第二正样本图像对应的初始主特征或者初始辅助特
征, 表示负正样本图像对应的初始主特征或者初始辅助特征,是超参,用于控制正负样
本空间距离,可以根据需要设置。初始图像损失信息的目的是使得第一正样本图像到第二
正样本图像之间的距离比第一正样本图像到负样本图像之间的距离大于超参设置的值。
[0242] 在一个实施例中,如图8所示,步骤206,计算更新主分支网络中网络通道的主分支激活程度,基于主分支激活程度从更新主分支网络的网络通道中筛选得到待更新网络通
道,包括:
[0243] 步骤802,使用更新主分支网络中各个网络通道对应的网络参数进行信息熵计算,得到更新主分支网络中各个网络通道对应的主分支激活程度。
[0244] 其中,主分支激活程度是指使用主分支网络中网络通道对应的网络参数计算得到的激活程度,激活程度用于衡量网络通道对应的重要性,激活程度越高,网络通道提取的特
征就具有更多丰富的信息。
[0245] 具体地,服务器使用更新主分支网络中每个网络通道对应的各个网络参数进行信息熵计算,将计算得到的信息熵直接作为更新主分支网络中每个网络通道对应的主分支激
活程度。
[0246] 步骤804,将各个主分支激活程度与预设主分支激活程度阈值进行比较,并选取低于预设主分支激活程度阈值的网络通道,得到各个待更新网络通道。
[0247] 其中,预设主分支激活程度阈值是指预先设置好的主分支激活程度阈值,当低于预设主分支激活程度阈值时,说明该网络通道提取的特征丰富程度低,信息含量少,可能是
无效的网络通道。待更新网络通道是指网络参数需要更新的网络通道。
[0248] 具体地,服务器分别将每个主分支激活程度与预设主分支激活程度阈值进行比较,并选取低于预设主分支激活程度阈值的网络通道作为各个待更新网络通道。
[0249] 在一个实施例中,步骤804,即在将各个主分支激活程度与预设主分支激活程度阈值进行比较,并选取低于预设主分支激活程度阈值的网络通道,得到各个待更新网络通道
之后,还包括:
[0250] 统计各个待更新网络通道的待更新通道数量,当待更新通道数量未超过预设通道数量时,将更新图像处理训练模型作为初始图像处理训练模型,并返回将训练图像集输入
到初始图像处理训练模型中进行训练,得到更新图像处理训练模型的步骤迭代执行。当待
更新通道数量超过预设通道数量时,执行计算更新辅助分支网络中网络通道的辅助分支激
活程度,基于辅助分支激活程度从更新辅助分支网络中网络通道中筛选得到参考网络通道
的步骤。
[0251] 其中,预设通道数量是指预先设置好的进行待更新网络通道的网络参数更新的通道数量,
[0252] 具体地,服务器统计各个待更新网络通道的待更新通道数量,根据待更新通道数量来触发是否进行待更新网络通道中网络参数的更新。即服务器比较待更新通道数量与预
设通道数量,当待更新通道数量未超过预设通道数量时,即不进行待更新网络通道的网络
参数的更新,此时直接返回到步骤204进行执行。当待更新通道数量超过预设通道数量时,
说明触发待更新网络通道中网络参数的更新,此时服务器执行步骤208。
[0253] 在上述实施例中,当待更新通道数量超过预设通道数量时,才会进行待更新网络通道中网络参数的更新,能够提高待更新网络通道网络参数更新的准确性,并且能够提高
训练效率。
[0254] 在一个实施例中,如图8所示,步骤208,计算更新辅助分支网络中网络通道的辅助分支激活程度,基于辅助分支激活程度从更新辅助分支网络中网络通道中筛选得到参考网
络通道,包括:
[0255] 步骤806,使用更新辅助分支网络中各个网络通道对应的网络参数进行信息熵计算,得到更新辅助分支网络中各个网络通道对应的辅助分支激活程度其中,辅助分支激活
程度是指使用辅助分支网络中网络通道对应的网络参数计算得到的激活程度。
[0256] 具体地,服务器使用更新辅助分支网络中每个网络通道对应的各个网络参数进行信息熵计算,将计算得到的信息熵直接作为更新辅助分支网络中每个网络通道对应的辅助
分支激活程度。
[0257] 步骤808,将各个辅助分支激活程度与预设辅助分支激活程度阈值进行比较,并选取大于预设主分支激活程度阈值的网络通道,得到各个参考网络通道。
[0258] 其中,预设辅助分支激活程度是指预先设置好的辅助分支激活程度阈值,当大于预设主分支激活程度阈值时,说明该网络通道提取的特征具有较高的信息量。参考网络通
道是指对待更新网络通道更新时需要使用的辅助分支网中的网络通道。
[0259] 具体地,服务器将各个辅助分支激活程度与预设辅助分支激活程度阈值进行比较,并选取大于预设主分支激活程度阈值的网络通道,即选取能够提取信息量比较多的网
络通道,得到各个参考网络通道。
[0260] 在一个具体的实施例中,可以使用如下所示的公式(2)计算激活程度,
[0261] 公式(2)
[0262] 其中, 是指第j个网络通道的激活程度, 表示第j个网络通道,当计算辅助分支激活程度时, 可以是指第j个辅助分支网络的网络通道,当计算主分支激活程度
时, 可以是指第j个主分支网络的网络通道。 表示网络通道的网络参数中第i位置的
值。Nmap是指map层输出的通道数。比如,分支网络中网络通道的网络参数为1024X64的向量
时,分支网络的网络通道数为64,Nmap层输出的通道数为1024。当分支网络中网络通道的网
络参数都趋向于相同值(如都是1)时,表示该滤波器对Map的输出没有区分性的保留、当都
趋于0时表示对Map的输出没有区分性地舍弃,这种对特征的无差别处理对于后续
embedding表征都是不利的,使得提取得到的特征信息含量降低。
[0263] 在上述实施例中,通过计算网络通道的信息熵,从而得到网络通道即滤波器的激活程度,然后确定主分支网络中的待更新网络通道和辅助分支网络中的参考网络通道,提
高了得到的待更新网络通道和参考网络通道的准确性。
[0264] 在一个实施例中,如图9所示,步骤210,基于参考网络通道的参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,包括:
[0265] 步骤902,统计参考网络通道的参考通道数量,并获取待更新网络通道的待更新通道数量。
[0266] 步骤904,比较参考通道数量与待更新通道数量,得到比较结果,根据比较结果从参考通道数量的参考网络通道中确定待更新通道数量的参考网络通道。
[0267] 具体地,服务器需要从参考网络通道中确定与待更新网络通道数量一致的参考网络通道,这样才能对网络通道的参数进行一一对应的更新。此时,服务器统计参考网络通道
的参考通道数量,并获取待更新网络通道的待更新通道数量,比较参考通道数量与待更新
通道数量,得到比较结果,根据比较结果从参考通道数量的参考网络通道中确定待更新通
道数量的参考网络通道。
[0268] 步骤906,基于待更新通道数量的参考网络通道的网络参数和待更新通道数量的待更新网络通道的网络参数进行加权和计算,得到待更新通道数量的待更新网络通道的更
新网络参数。
[0269] 具体地,服务器获取到预先设置好的权重,使用该权重对参考网络通道的网络参数和对应的待更新网络通道的网络参数进行加权计算,并计算加权后的和,得到该待更新
网络通道的更新网络参数。服务器依次计算每个待更新网络通道的更新网络参数,最终得
到待更新通道数量的待更新网络通道的更新网络参数。
[0270] 在一个具体的实施例中,可以使用如下所示的公式(3)计算得到更新网络参数。
[0271] 公式(3)
[0272] 其中, 表示第i个待更新网络通道中的更新网络参数,为权重,可以根据需求设置,比如,可以是0.4。 表示第i个待更新网络通道的网络参数, 表示第i个参考网络通
道的网络参数。
[0273] 在一个实施例中,步骤904,即根据比较结果从参考通道数量的参考网络通道中确定待更新通道数量的参考网络通道,包括:
[0274] 当待更新通道数量大于参考通道数量时,计算待更新通道数量与参考通道数量的差值,从待更新通道数量的参考网络通道中随机选取差值的参考网络通道;基于参考通道
数量和差值的参考网络通道得到待更新通道数量的参考网络通道。
[0275] 具体地,服务器判断待更新通道数量大于参考通道数量时,即说明书参考网络通道的数量较少,此时,计算待更新通道数量与参考通道数量的差值,从待更新通道数量的参
考网络通道中随机不重复的选取差值数量的参考网络通道,并和已有的参考网络通道就得
到待更新通道数量的参考网络通道,从而提高了得到的参考网络通道的准确性。
[0276] 在一个实施例中,步骤904,即根据比较结果从参考通道数量的参考网络通道中确定待更新通道数量的参考网络通道,包括:当参考通道数量等于待更新通道数量时,直接将
参考通道数量的参考网络通道作为待更新通道数量的参考网络通道。
[0277] 在一个实施例中,如图10所示,步骤904,即根据比较结果从参考通道数量的参考网络通道中确定待更新通道数量的参考网络通道,包括:
[0278] 步骤1002,当待更新通道数量小于参考通道数量时,获取更新主分支网络的网络通道中除待更新网络通道以外的网络通道,得到各个目标网络通道。
[0279] 其中,目标网络通道是指更新主分支网络的网络通道中高于预设主分支激活程度阈值的网络通道。
[0280] 具体地,当待更新通道数量小于参考通道数量时,说明需要从参考网络通道中选取待更新通道数量的待更新网络通道。此时,服务器获取更新主分支网络的网络通道中除
待更新网络通道以外的网络通道,得到各个目标网络通道。
[0281] 步骤1004,计算参考通道数量的参考网络通道分别与各个目标网络通道的交叉熵,得到每个参考网络通道分别与各个目标网络通道的差异程度。
[0282] 其中,交叉熵是指使用参考网络通道的网络参数和目标网络通道的网络参数之间的信息熵。
[0283] 具体地,服务器使用参考网络通道的网络参数和目标网络通道的网络参数计算参考网络通道与每个目标网络通道的交叉熵,得到该参考网络通道对应的各个交叉熵,将各
个交叉熵直接作为参考网络通道分别与各个目标网络通道的差异程度。
[0284] 在一个具体的实施例中,可以使用如下所示的公式(4)计算得到交叉熵,从而得到差异程度。
[0285] 公式(4)
[0286] 其中, 表示第j个目标网络通道的网络参数。 表示第i个参考网络通道的网络参数。 表示第j个目标网络通道和第i个参考网络通道之间的交叉熵。
表示第j个目标网络通道的网络参数中第k个位置的值。 表示第i个参考网络通道的网
络参数中第k个位置的值。当交叉熵越大,表示两者的激活程度越不相同。
[0287] 步骤1006,从各个差异程度中确定每个参考网络通道对应的目标差异程度,并基于目标差异程度从参考通道数量的参考网络通道中选取待更新通道数量的参考网络通道。
[0288] 其中,目标差异程度是指最小的差异程度,用于表征该参考网络通道与目标网络通道之间的差异程度。
[0289] 具体地,服务器比较各个差异程度,选取最小的差异程度作为参考网络通道对应的目标差异程度。然后将各个参考网络通道对应的目标差异程度从大到小进行排序,然后
从大到小依次选取待更新通道数量的参考网络通道,从而提高了得到的参考网络通道的准
确性。
[0290] 在一个实施例中,步骤904,即根据比较结果从参考通道数量的参考网络通道中确定待更新通道数量的参考网络通道,包括:
[0291] 当待更新通道数量小于参考通道数量时,从参考通道数量的参考网络通道中随机选取待更新通道数量的参考网络通道。
[0292] 具体地,服务器也可以在待更新通道数量小于参考通道数量时,直接从参考通道数量的参考网络通道中随机选取待更新通道数量的参考网络通道,可以提高效率。
[0293] 在一个具体的实施例中,如图11所示,提供一种图像处理模型训练方法,由计算机设备执行,具体包括以下步骤:
[0294] 步骤1102,计算机设备获取训练图像集,训练图像集包括各个正样本图像对。将训练图像集输入到初始图像处理训练模型中,初始图像处理训练模型通过初始主分支网络和
初始辅助分支网络进行图像特征提取,得到训练图像集对应的初始主特征集和初始辅助特
征集。
[0295] 步骤1104,计算机设备基于各个正样本图像对确定当前正样本图像对和各个待挖掘正样本图像对;从当前正样本图像对中随机选取,得到当前图像,并分别从各个待挖掘正
样本图像对中随机选取,得到各个待挖掘图像。从初始主特征集中获取当前图像对应的当
前初始主特征和各个待挖掘图像对应的待挖掘初始主特征。
[0296] 步骤1106,计算机设备计算当前初始主特征分别与各个待挖掘图像对应的待挖掘初始主特征的相似距离,得到各个相似度,基于各个相似度从各个待挖掘图像中确定当前
正样本图像对对应的当前负样本图像,基于当前正样本图像对和当前负样本图像得到当前
正样本图像对对应的当前图像三元组,依次筛选得到各个图像三元组。
[0297] 步骤1108,计算机设备基于各个图像三元组对应的初始主特征进行图像三元组损失计算,得到初始主损失信息。基于各个图像三元组对应的初始辅助特征进行图像三元组
损失计算,得到初始辅助损失信息。基于初始主损失信息和初始辅助损失信息确定初始图
像损失信息。基于初始图像损失信息更新初始图像处理训练模型的参数,得到更新图像处
理训练模型。
[0298] 步骤1110,计算机设备使用更新主分支网络中各个网络通道对应的网络参数进行信息熵计算,得到更新主分支网络中各个网络通道对应的主分支激活程度;将各个主分支
激活程度与预设主分支激活程度阈值进行比较,并选取低于预设主分支激活程度阈值的网
络通道,得到各个待更新网络通道。
[0299] 步骤1112,计算机设备统计各个待更新网络通道的待更新通道数量,当待更新通道数量未超过预设通道数量时,将更新图像处理训练模型作为初始图像处理训练模型,并
返回将训练图像集输入到初始图像处理训练模型中的步骤迭代执行。
[0300] 步骤1114,计算机设备当待更新通道数量超过预设通道数量时,使用更新辅助分支网络中各个网络通道对应的网络参数进行信息熵计算,得到更新辅助分支网络中各个网
络通道对应的辅助分支激活程度;将各个辅助分支激活程度与预设辅助分支激活程度阈值
进行比较,并选取大于预设主分支激活程度阈值的网络通道,得到各个参考网络通道。
[0301] 步骤1116,计算机设备统计参考网络通道的参考通道数量,并获取待更新网络通道的待更新通道数量;比较参考通道数量与待更新通道数量,得到比较结果,根据比较结果
从参考通道数量的参考网络通道中确定待更新通道数量的参考网络通道;基于待更新通道
数量的参考网络通道的网络参数和待更新通道数量的待更新网络通道的网络参数进行加
权和计算,得到待更新通道数量的待更新网络通道的更新网络参数。
[0302] 步骤1118,计算机设备基于待更新网络通道的更新参数得到目标更新主分支网络,基于目标更新主分支网络得到目标更新图像处理训练模型,将目标更新图像处理训练
模型作为初始图像处理训练模型,并返回将训练图像集输入到初始图像处理训练模型中的
步骤迭代执行,直到达到训练完成条件时,得到目标图像处理训练模型。
[0303] 在一个具体的实施例中,如图12所示,提供一种图像处理模型训练方法的框架示意图,具体来说:服务器将训练样本图像输入到初始图像处理训练模型中,初始图像处理训
练模型通过由卷积神经网络算法(CNN)建立的残差网络进行深度特征提取,然后通过特征
映射网络(map网络)进行特征映射,最后将映射结果分别输入到主分支网络和辅助分支网
络中,得到输出的初始主分支特征1(embedding1)和初始辅助分支特征2(embedding2)。然
后服务器挖掘训练样本图像对对应的图像三元组,然后使用图像三元组计算初始辅助分支
特征对应的损失值loss2,并使用图像三元组计算初始主分支特征对应的损失值loss1,最
终计算损失值的总和,得到总损失值(total loss),使用总损失值更新初始图像处理训练
模型,得到更新图像处理训练模型。然后判断是否触发主分支网络中待更新网络通道的网
络参数的更新,当触发时,使用如图13所示的网络参数更新的示意图进行更新。其中,计算
主分支网络和辅助分支网络中网络通道的激活程度,图中主分支网络和辅助分支网络中的
长方形表示网络通道,网络通道浅色代表低激活程度,深色代表高激活程度,颜色越深,激
活程度越高。从主分支网络中获取到低激活程度的网络通道即无效的滤波器,得到待更新
网络通道,从辅助分支网络中获取到高激活程度的网络通道即有效的滤波器,然后从辅助
分支网络高激活程度的网络通道中选取与主分支网络高激活程度的网络通道之间差异小
的网络通道,即选取有用的滤波器,得到相同数量的参考网络通道,最后使用参考网络通道
的网络参数对待更新网络通道的网络参数进行更新,得到目标更新图像处理训练模型,并
进行循环迭代,直到达到训练完成条件时,得到目标图像处理模型。
[0304] 在一个实施例中,如图14所示,提供了一种图像处理方法,以该方法应用于图1中的服务器为例进行说明,可以理解的是,该方法也可以应用在终端中,还可以应用于包括终
端和服务器的系统,并通过终端和服务器的交互实现。包括以下步骤:
[0305] 步骤1402,获取待处理图像,将待处理图像输入目标图像处理模型中;其中,通过将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,更
新图像处理训练模型包括更新主分支网络和更新辅助分支网络,基于更新主分支网络中网
络通道的主分支激活程度进行筛选得到待更新网络通道,基于更新辅助分支网络中网络通
道的辅助分支激活程度,进行筛选得到参考网络通道,基于参考网络通道的参数对待更新
网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待更新网络通道的更新
参数得到目标更新图像处理训练模型,将目标更新图像处理训练模型作为初始图像处理训
练模型,并进行迭代执行,直到达到训练完成条件时,得到目标图像处理训练模型,基于目
标图像处理训练模型中的主分支网络得到目标图像处理模型。
[0306] 其中,待处理图像是指需要进行图像特征提取的图像。
[0307] 具体地,服务器可以获取到终端提供待处理图像,也可以从数据库中获取到待处理图像,还可以从互联网采集到待处理图像,然后将待处理图像输入目标图像处理模型中。
该目标图像处理模型可以是使用上述图像处理模型训练方法中任意一实施例得到,然后部
署到服务器中的,比如,通过将训练图像集输入到初始图像处理训练模型中进行训练,得到
更新图像处理训练模型,更新图像处理训练模型包括更新主分支网络和更新辅助分支网
络,基于更新主分支网络中网络通道的主分支激活程度进行筛选得到待更新网络通道,基
于更新辅助分支网络中网络通道的辅助分支激活程度,进行筛选得到参考网络通道,基于
参考网络通道的参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参
数,基于待更新网络通道的更新参数得到目标更新图像处理训练模型,将目标更新图像处
理训练模型作为初始图像处理训练模型,并进行迭代执行,直到达到训练完成条件时,得到
目标图像处理训练模型,基于目标图像处理训练模型中的主分支网络得到目标图像处理模
型,然后将目标图像处理模型部署后进行使用。
[0308] 步骤1404,目标图像处理模型对待处理图像进行特征提取,输出待处理图像特征。
[0309] 具体地,待处理图像特征是指提取得到的待处理图像对应的图像特征。目标图像处理模型对待处理图像进行特征提取,输出待处理图像特征。
[0310] 通过将待处理图像输入目标图像处理模型中,目标图像处理模型对待处理图像进行特征提取,输出待处理图像特征。由于在训练时目标图像处理模型的主分支网络中待更
新网络通道的参数是使用辅助分支网络中的参考网络通道参数进行更新,从而使主分支网
络能够提取到具有丰富图像信息的特征,然后使用主分支网络得到目标图像处理模型,使
得到的目标图像处理模型使用主分支网络提取的待处理图像特征提高了信息丰富度,从而
提高了图像特征提取的准确性。
[0311] 在一个实施例中,目标图像处理模型包括深度特征提取网络、特征映射网络和主分支网络;
[0312] 步骤1404,目标图像处理模型对待处理图像进行特征提取,输出待处理图像特征,包括:
[0313] 目标图像处理模型将待处理图像输入深度特征提取网络中进行深度特征提取,得到待处理图像深度特征,将待处理图像深度特征输入特征映射网络中进行特征映射,得到
待处理图像映射特征,并将待处理图像映射特征输入到主分支网络中进行特征整合,得到
待处理图像特征。
[0314] 具体地,服务器中部署的目标图像处理模型将待处理图像输入深度特征提取网络中进行深度特征提取,得到待处理图像深度特征,将待处理图像深度特征输入特征映射网
络中进行特征映射,得到待处理图像映射特征,并将待处理图像映射特征输入到主分支网
络中进行特征整合。得到待处理图像特征,即通过训练好的表1、表2、表3所示的网络来进行
图像特征提取,得到待处理图像特征。
[0315] 在一个实施例中,待处理图像包括查询图像;
[0316] 如图15所示,步骤1404,目标图像处理模型对待处理图像进行特征提取,输出待处理图像特征,包括步骤:
[0317] 目标图像处理模型对查询图像进行特征提取,输出查询图像特征。
[0318] 其中,查询图像是指需要从已有的图像库中查询相似图像的图像。
[0319] 具体地,服务器使用目标图像处理模型对查询图像进行特征提取,得到查询图像特征。
[0320] 在步骤1404之后,即在目标图像处理模型对待处理图像进行特征提取,输出待处理图像特征之后,还包括:
[0321] 1502,获取各个待搜索图像类别中心,计算查询图像特征分别与各个待搜索图像类别中心的类别相似度,基于类别相似度从各个待搜索图像类别中心中确定目标图像类别
中心。
[0322] 其中,待搜索图像是指已有的图像数据库中的图像。待搜索图像类别中心是指使用待搜索图像的图像特征进行聚类后得到的图像类别的中心,该待搜索图像类别中心使用
特征向量表示。类别相似度是指查询图像与图像类别的相似度。目标图像类别中心是指查
询图像所属于的图像类别对应的中心。
[0323] 具体地,服务器获取到各个待搜索图像类别中心,其中,服务器可以预先将已有的图像数据库中的图像进行聚类,得到各个待搜索图像类别中心,比如,可以采用10000万个
图像对应的图像特征进行聚类得到10万个图像类别中心。然后使用相似度算法计算查询图
像特征分别与各个待搜索图像类别中心的类别相似度。
[0324] 1504,获取与目标图像类别中心关联的图像,得到各个候选图像。
[0325] 1506,获取各个候选图像对应的各个候选图像特征,并计算查询图像特征分别与各个候选图像特征之间的特征相似度。
[0326] 其中,候选图像是指候选的待搜索图像,需要进一步进行筛选。
[0327] 具体地,服务器获取到该目标图像类别中心对应的各个待搜索图像,即该各个待搜索图像是属于目标图像类别的。将该各个待搜索图像作为各个候选图像。然后服务器可
以将各个候选图像输入到目标图像处理模型中进行特征提取得到各个候选图像特征,然后
计算查询图像特征分别与各个候选图像特征之间的特征相似度。在一个实施例中,服务器
可以基于类别相似度从各个待搜索图像类别中心中确定多个目标图像类别中心,然后从多
个目标图像类别中心对应的待搜索图像中选取相似图像。
[0328] 1508,基于特征相似度从各个候选图像中确定与查询图像对应的相似图像。
[0329] 具体地,服务器按照特征相似度的大小依次从各个候选图像中选取目标数量的待搜索图像作为查询图像对应的各个相似图像,然后将各个相似图像返回给查询方终端进行
展示。
[0330] 在一个实施例中,待处理图像包括人脸识别图像,将人脸识别图像输入到目标图像处理模型中,得到人脸识别图像特征,将人脸识别图像特征与各个已有的人脸图像特征
进行匹配,将匹配一致的人脸图像对应的人脸身份信息作为人脸识别图像对应的识别结
果。
[0331] 在一个实施例中,待处理图像包括分类图像,将分类图像输入到目标图像处理模型中,得到分类图像特征,使用分类图像特征进行分类,得到分类图像对应的类别。
[0332] 在上述实施例中,通过目标图像处理模型得到查询图像特征,然后通过计算目标图像类别中心,从已有的图像数据库中获取到目标图像类别中心对应的各个待搜索图像,
然后从各个待搜索图像确定与查询图像对应的相似图像,从而提高了得到相似图像的准确
性。
[0333] 如本申请所公开的图像处理方法,其中图像数据可保存于区块链上。
[0334] 本申请还提供一种应用场景,该应用场景应用上述的图像处理方法。具体地,如图16所示,为图像处理方法的应用场景示意图。其中,分别使用目标图像处理模型对查询图像
和图像库中的图像进行特征提取得到对应的特征。使用图像库中图像的特征进行聚类,得
到各个图像类别中心。然后使用欧式距离算法计算各个图像类别中心与查询特征之间的相
似度,根据相似度确定目标图像类别中心,然后将目标图像类别中心作为召回类别,获取到
召回类别中各个图像特征计算与查询特征之间的相似度,按照相似度从小到大依次将召回
类别中各个图像进行排序,选取topK个图像作为最终的召回图像,其中,topK表示排序前K
个,其中,K为正整数,可以根据需求设置,比如,可以设置K的数量为100,则选取排序前100
个图像作为最终的召回图像,然后将召回图像返回给查询方终端进行展示。
[0335] 应该理解的是,虽然图2至图11、图14和图15的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确
的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,
图2至图11、图14和图15中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或
者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段
的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的
至少一部分轮流或者交替地执行。
[0336] 在一个实施例中,如图17所示,提供了一种图像处理模型训练装置1700,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包
括:图像获取模块1702、训练模块1704、待更新通道筛选模块1706、参考通道筛选模块1708、
参数更新模块1710和迭代模块1712,其中:
[0337] 图像获取模块1702,用于获取训练图像集;
[0338] 训练模块1704,用于将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模型,更新图像处理训练模型包括更新主分支网络和更新辅助分支网
络;
[0339] 待更新通道筛选模块1706,用于计算更新主分支网络中网络通道的主分支激活程度,基于主分支激活程度从更新主分支网络的网络通道中筛选得到待更新网络通道;
[0340] 参考通道筛选模块1708,用于计算更新辅助分支网络中网络通道的辅助分支激活程度,基于辅助分支激活程度从更新辅助分支网络中网络通道中筛选得到参考网络通道;
[0341] 参数更新模块1710,用于基于参考网络通道的参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待更新网络通道的更新参数得到目标更新主
分支网络,基于目标更新主分支网络得到目标更新图像处理训练模型;
[0342] 迭代模块1712,用于将目标更新图像处理训练模型作为初始图像处理训练模型,并返回将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理训练模
型的步骤迭代执行,直到达到训练完成条件时,得到目标图像处理训练模型,基于目标图像
处理训练模型中的主分支网络得到目标图像处理模型,目标图像处理模型用于对输入图像
进行图像特征提取。
[0343] 在一个实施例中,训练模块1704,包括:
[0344] 特征提取单元,用于将训练图像集输入到初始图像处理训练模型中,初始图像处理训练模型通过初始主分支网络和初始辅助分支网络进行图像特征提取,得到训练图像集
对应的初始主特征集和初始辅助特征集;
[0345] 损失计算单元,用于基于训练图像集对应的初始主特征集和初始辅助特征集进行损失计算,得到初始图像损失信息;
[0346] 参数更新单元,用于基于初始图像损失信息更新初始图像处理训练模型的参数,得到更新图像处理训练模型。
[0347] 在一个实施例中,初始图像处理训练模型还包括初始深度特征提取网络和初始特征映射网络;
[0348] 特征提取单元,还用于将训练图像集输入到初始图像处理训练模型中,初始图像处理训练模型将训练图像集中训练图像输入初始深度特征提取网络中进行深度特征提取,
得到训练图像初始深度特征;将训练图像初始深度特征输入到初始特征映射网络中进行高
维特征映射,得到训练图像初始映射特征;将训练图像初始映射特征分别输入到初始主分
支网络和初始辅助分支网络进行特征整合,得到训练图像对应的初始主特征和初始辅助特
征,并遍历训练图像集中各个训练图像,得到训练图像集对应的初始主特征集和初始辅助
特征集。
[0349] 在一个实施例中,训练图像集中包括各个正样本图像对;
[0350] 损失计算单元,还包括:
[0351] 图像筛选子单元,用于基于各个正样本图像对进行负样本图像筛选,得到各个正样本图像对对应的负样本图像,基于各个正样本图像对和对应的负样本图像得到各个图像
三元组;
[0352] 特征查找子单元,用于从初始主特征集和初始辅助特征集中查找各个图像三元组对应的初始主特征和各个图像三元组对应的初始辅助特征;
[0353] 损失计算子单元,用于基于各个图像三元组对应的初始主特征和各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始图像损失信息。
[0354] 在一个实施例中,图像筛选子单元还用于基于各个正样本图像对确定当前正样本图像对和各个待挖掘正样本图像对;从当前正样本图像对中随机选取,得到当前图像,并分
别从各个待挖掘正样本图像对中随机选取,得到各个待挖掘图像;计算当前图像分别与各
个待挖掘图像之间的相似度,基于相似度从各个待挖掘图像中确定当前正样本图像对对应
的当前负样本图像;基于当前正样本图像对和当前负样本图像得到当前正样本图像对对应
的当前图像三元组。
[0355] 在一个实施例中,图像筛选子单元还用于从初始主特征集中获取当前图像对应的当前初始主特征和各个待挖掘图像对应的待挖掘初始主特征;计算当前初始主特征分别与
各个待挖掘图像对应的待挖掘初始主特征的相似距离,得到各个相似度,基于各个相似度
从各个待挖掘图像中确定当前正样本图像对对应的当前负样本图像。
[0356] 在一个实施例中,图像筛选子单元还用于基于各个相似度从各个待挖掘图像中选取目标数量的待挖掘图像,得到当前正样本图像对对应的各个当前负样本图像;
[0357] 图像筛选子单元还用于基于当前正样本图像对和各个当前负样本图像得到当前正样本图像对对应的各个当前图像三元组。
[0358] 在一个实施例中,训练图像集中包括各个图像三元组;
[0359] 损失计算子单元,还用于基于各个图像三元组对应的初始主特征和各个图像三元组对应的初始辅助特征进行图像三元组损失计算,得到初始图像损失信息。
[0360] 在一个实施例中,损失计算子单元还用于基于各个图像三元组对应的初始主特征进行图像三元组损失计算,得到初始主损失信息;基于各个图像三元组对应的初始辅助特
征进行图像三元组损失计算,得到初始辅助损失信息;基于初始主损失信息和初始辅助损
失信息确定初始图像损失信息。
[0361] 在一个实施例中,图像三元组包括第一正样本图像、第二正样本图像和负样本图像;损失计算子单元还用于计算各个图像三元组中第一正样本图像对应的初始目标特征与
第二正样本图像对应的初始目标特征的第一相似距离,并计算各个图像三元组中第一正样
本图像对应的初始目标特征与负样本图像对应的初始目标特征的第二相似距离;计算各个
图像三元组对应的第一相似距离与第二相似距离的目标距离误差,基于各个图像三元组对
应的目标距离误差确定各个图像三元组对应的三元组目标损失信息,基于各个图像三元组
对应的三元组目标损失信息确定初始主损失信息。
[0362] 在一个实施例中,图像三元组包括第一正样本图像、第二正样本图像和负样本图像;损失计算子单元还用于计算各个图像三元组中第一正样本图像对应的初始辅助特征与
第二正样本图像对应的初始辅助特征的第三相似距离,并计算各个图像三元组中第一正样
本图像对应的初始辅助特征与负样本图像对应的初始辅助特征的第四相似距离;计算各个
图像三元组对应的第三相似距离与第四相似距离的辅助距离误差,基于各个图像三元组对
应的辅助距离误差确定各个图像三元组对应的三元组辅助损失信息,基于各个图像三元组
对应的三元组辅助损失信息确定初始辅助损失信息。
[0363] 在一个实施例中,待更新通道筛选模块1706还用于使用更新主分支网络中各个网络通道对应的网络参数进行信息熵计算,得到更新主分支网络中各个网络通道对应的主分
支激活程度;将各个主分支激活程度与预设主分支激活程度阈值进行比较,并选取低于预
设主分支激活程度阈值的网络通道,得到各个待更新网络通道。
[0364] 在一个实施例中,待更新通道筛选模块1706还用于统计各个待更新网络通道的待更新通道数量,当待更新通道数量未超过预设通道数量时,将更新图像处理训练模型作为
初始图像处理训练模型,并返回将训练图像集输入到初始图像处理训练模型中进行训练,
得到更新图像处理训练模型的步骤迭代执行;当待更新通道数量超过预设通道数量时,执
行计算更新辅助分支网络中网络通道的辅助分支激活程度,基于辅助分支激活程度从更新
辅助分支网络中网络通道中筛选得到参考网络通道的步骤。
[0365] 在一个实施例中,参考通道筛选模块1708还用于使用更新辅助分支网络中各个网络通道对应的网络参数进行信息熵计算,得到更新辅助分支网络中各个网络通道对应的辅
助分支激活程度;将各个辅助分支激活程度与预设辅助分支激活程度阈值进行比较,并选
取大于预设主分支激活程度阈值的网络通道,得到各个参考网络通道。
[0366] 在一个实施例中,参考通道筛选模块1708还用于统计参考网络通道的参考通道数量,并获取待更新网络通道的待更新通道数量;比较参考通道数量与待更新通道数量,得到
比较结果,根据比较结果从参考通道数量的参考网络通道中确定待更新通道数量的参考网
络通道;基于待更新通道数量的参考网络通道的网络参数和待更新通道数量的待更新网络
通道的网络参数进行加权和计算,得到待更新通道数量的待更新网络通道的更新网络参
数。
[0367] 在一个实施例中,参数更新模块1710还用于当待更新通道数量大于参考通道数量时,计算待更新通道数量与参考通道数量的差值,从待更新通道数量的参考网络通道中随
机选取差值的参考网络通道;基于参考通道数量和差值的参考网络通道得到待更新通道数
量的参考网络通道。
[0368] 在一个实施例中,参数更新模块1710还用于当参考通道数量等于待更新通道数量时,将参考通道数量的参考网络通道作为待更新通道数量的参考网络通道。
[0369] 在一个实施例中,参数更新模块1710还用于当待更新通道数量小于参考通道数量时,获取更新主分支网络的网络通道中除待更新网络通道以外的网络通道,得到各个目标
网络通道;计算参考通道数量的参考网络通道分别与各个目标网络通道的交叉熵,得到每
个参考网络通道分别与各个目标网络通道的差异程度;从各个差异程度中确定每个参考网
络通道对应的目标差异程度,并基于目标差异程度从参考通道数量的参考网络通道中选取
待更新通道数量的参考网络通道。
[0370] 在一个实施例中,参数更新模块1710还用于当待更新通道数量小于参考通道数量时,从参考通道数量的参考网络通道中随机选取待更新通道数量的参考网络通道。
[0371] 在一个实施例中,如图18所示,提供了一种图像处理装置1800,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:图像输
入模块1802和特征输出模块1804,其中:
[0372] 图像输入模块1802,用于获取待处理图像,将待处理图像输入目标图像处理模型中;其中,通过将训练图像集输入到初始图像处理训练模型中进行训练,得到更新图像处理
训练模型,更新图像处理训练模型包括更新主分支网络和更新辅助分支网络,基于更新主
分支网络中网络通道的主分支激活程度进行筛选得到待更新网络通道,基于更新辅助分支
网络中网络通道的辅助分支激活程度,进行筛选得到参考网络通道,基于参考网络通道的
参数对待更新网络通道的参数进行更新,得到待更新网络通道的更新参数,基于待更新网
络通道的更新参数得到目标更新图像处理训练模型,将目标更新图像处理训练模型作为初
始图像处理训练模型,并进行迭代执行,直到达到训练完成条件时,得到目标图像处理训练
模型,基于目标图像处理训练模型中的主分支网络得到目标图像处理模型;
[0373] 特征输出模块1804,用于目标图像处理模型对待处理图像进行特征提取,输出待处理图像特征。
[0374] 在一个实施例中,目标图像处理模型包括深度特征提取网络、特征映射网络和主分支网络;特征输出模块1804还用于目标图像处理模型将待处理图像输入深度特征提取网
络中进行深度特征提取,得到待处理图像深度特征,将待处理图像深度特征输入特征映射
网络中进行特征映射,得到待处理图像映射特征,并将待处理图像映射特征输入到主分支
网络中进行特征整合。得到待处理图像特征。
[0375] 在一个实施例中,待处理图像包括查询图像;特征输出模块1804还用于目标图像处理模型对查询图像进行特征提取,输出查询图像特征;
[0376] 图像处理装置1800,还包括:
[0377] 图像查询模块,用于获取各个待搜索图像类别中心,计算查询图像特征分别与各个待搜索图像类别中心的类别相似度,基于类别相似度从各个待搜索图像类别中心中确定
目标图像类别中心;获取与目标图像类别中心关联的图像,得到各个候选图像;获取各个候
选图像对应的各个候选图像特征,并计算查询图像特征分别与各个候选图像特征之间的特
征相似度;基于特征相似度从各个候选图像中确定与查询图像对应的相似图像。
[0378] 关于图像处理模型训练装置和图像处理装置的具体限定可以参见上文中对于图像处理模型训练方法和图像处理方法的限定,在此不再赘述。上述图像处理模型训练装置
和图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块
可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机
设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
[0379] 在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图19所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。
其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易
失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该
内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备
的数据库用于存储图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通
信。该计算机程序被处理器执行时以实现一种图像处理模型训练方法或者图像处理方法。
[0380] 在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图20所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显
示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的
存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机
程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计
算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过
WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现
一种图像处理模型训练方法或者图像处理方法。该计算机设备的显示屏可以是液晶显示屏
或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是
计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
[0381] 本领域技术人员可以理解,图19以及图20中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的
计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的
部件布置。
[0382] 在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0383] 在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0384] 在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备
的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计
算机设备执行上述各方法实施例中的步骤。
[0385] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机
可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,
本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可
包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read‑
Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器
(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种
形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存
储器(Dynamic Random Access Memory,DRAM)等。
[0386] 以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛
盾,都应当认为是本说明书记载的范围。
[0387] 以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来
说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护
范围。因此,本申请专利的保护范围应以所附权利要求为准。