图像处理方法、装置、计算机设备及存储介质转让专利

申请号 : CN202110497423.9

文献号 : CN112991160B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 江源张鹏飞李楚银子宇

申请人 : 腾讯科技(深圳)有限公司

摘要 :

本申请实施例公开了一种图像处理方法、装置、计算机设备及存储介质,其中方法包括:获取目标对象的第一面部图像的属性编辑需求,第一面部图像具有多个面部视觉属性,属性编辑需求用于指示:将多个面部视觉属性中的目标面部视觉属性的属性类别编辑成目标属性类别;获取第一面部图像的图像向量,并在图像向量中,确定用于独立控制目标面部视觉属性的目标向量元素组;并根据目标属性类别,对目标向量元素组的元素值进行编辑,得到编辑后的图像向量;基于编辑后的图像向量,生成目标对象的第二面部图像。本申请实施例可以实现在不影响其他面部视觉属性的情况下,对面部图像的目标面部视觉属性进行单属性编辑,提升图像编辑效果。

权利要求 :

1.一种图像处理方法,其特征在于,包括:获取目标对象的第一面部图像的属性编辑需求,所述第一面部图像具有多个面部视觉属性,所述属性编辑需求用于指示:将所述多个面部视觉属性中的目标面部视觉属性的属性类别编辑成目标属性类别;

获取所述第一面部图像的图像向量,所述图像向量包括多个向量元素组,一个向量元素组用于独立控制一个面部视觉属性;

在所述图像向量中,确定用于独立控制所述目标面部视觉属性的目标向量元素组;若所述图像向量位于目标隐空间,则根据所述目标属性类别,对所述目标向量元素组的元素值进行编辑,得到编辑后的图像向量,所述编辑后的图像向量为编辑后的目标图像隐向量;

将所述编辑后的目标图像隐向量从所述目标隐空间转换至风格空间,得到目标风格向量;所述目标风格向量包括M个通道元素,每个通道元素用于独立控制一个面部视觉属性;

在所述目标风格向量中检测异常通道元素,所述异常通道元素满足如下条件:控制的面部视觉属性与所述目标面部视觉属性不同,且元素值因编辑所述目标面部视觉属性而发生改变;所述异常通道元素的产生原因是:所述异常通道元素控制的面部视觉属性与所述目标面部视觉属性无法干净解耦;

若检测到所述异常通道元素,则在所述目标风格向量中对所述异常通道元素的元素值进行校准,得到校准后的风格向量;

基于所述校准后的风格向量,生成所述目标对象的第二面部图像。

2.如权利要求1所述的方法,其特征在于,所述图像向量包括N层的子隐向量,一个向量元素组包括一层或多层的子隐向量,N为大于1的正整数;

所述根据所述目标属性类别,对所述目标向量元素组的元素值进行编辑,得到编辑后的图像向量,包括:

获取所述目标属性类别相关联的目标方向向量,所述目标方向向量包括N层的子方向向量;且所述目标方向向量用于指示将所述目标面部视觉属性下的其他属性类别转换至所述目标属性类别的编辑方向;

确定所述目标向量元素组在所述图像向量中所处的目标层,并获取所述目标方向向量中处于所述目标层的子方向向量;

采用获取到的子方向向量的元素值,对所述目标向量元素组的元素值进行编辑,得到编辑后的图像向量。

3.如权利要求2所述的方法,其特征在于,所述方法还包括:获取所述目标面部视觉属性下的其他属性类别和所述目标属性类别之间的目标超平面;

求取所述目标超平面的法向量,作为所述目标属性类别相关联的目标法向量;所述目标法向量的方向表示:所述目标面部视觉属性下的其他属性类别和所述目标属性类别之间的差异方向;

根据所述目标法向量,计算所述目标属性类别相关联的目标方向向量。

4.如权利要求3所述的方法,其特征在于,所述根据所述目标法向量,计算所述目标属性类别相关联的目标方向向量,包括:在所述多个面部视觉属性中确定与所述目标面部视觉属性相耦合的关联面部视觉属性,并获取所述关联面部视觉属性的关联法向量,所述关联法向量和所述目标法向量相耦合;

对所述目标法向量和所述关联法向量进行解耦处理,得到所述目标属性类别相关联的目标方向向量。

5.如权利要求4所述的方法,其特征在于,所述对所述目标法向量和所述关联法向量进行解耦处理,得到所述目标属性类别相关联的目标方向向量,包括:将所述目标法向量在所述关联法向量所在方向上进行投影,得到投影向量;

将所述投影向量确定为所述目标属性类别相关联的目标方向向量。

6.如权利要求3所述的方法,其特征在于,所述获取所述目标面部视觉属性下的其他属性类别和所述目标属性类别之间的目标超平面,包括:获取Y个参考图像隐向量,并根据所述Y个参考图像隐向量生成Y个参考面部图像,一个参考图像隐向量对应一个参考面部图像,Y为大于1的整数;

识别每个参考面部图像在所述目标面部视觉属性下所属的属性类别,得到参考识别结果;

根据所述参考识别结果,为所述每个参考面部图像对应的参考图像隐向量分配类别标签;其中,属于所述目标属性类别的各个参考面部图像对应的参考图像隐向量具有相同的类别标签,属于所述目标面部视觉属性下的其他属性类别的各个参考面部图像对应的参考图像隐向量具有相同的类别标签;

根据各个参考图像隐向量和对应的类别标签,求取所述目标面部视觉属性下的其他属性类别和所述目标属性类别之间的目标超平面。

7.如权利要求1所述的方法,其特征在于,所述在所述目标风格向量中检测异常通道元素,包括:

遍历所述多个面部视觉属性中,除所述目标面部视觉属性以外的各个面部视觉属性;

针对当前遍历的当前面部视觉属性,在所述目标风格向量中确定用于控制所述当前面部视觉属性的当前通道元素,以及所述当前通道元素的参考元素值;

根据所述第一面部图像,获取所述当前通道元素的基准元素值;

若检测到所述参考元素值和所述基准元素值不匹配,则确定所述当前通道元素是异常通道元素;否则,则确定所述当前通道元素不是所述异常通道元素。

8.如权利要求1所述的方法,其特征在于,若所述图像向量位于风格空间,则所述方法还包括:

根据所述目标面部视觉属性下的各个属性类别和元素值之间的对应关系,将所述目标属性类别对应的元素值作为目标元素值;

将所述目标向量元素组的元素值调整成所述目标元素值,得到编辑后的图像向量;

基于所述编辑后的图像向量,生成所述目标对象的第二面部图像。

9.如权利要求8所述的方法,其特征在于,所述图像向量包括M个通道元素,一个向量元素组包括一个通道元素,所述目标向量元素组为目标通道元素;所述方法还包括:获取P个样本面部图像,以及每个样本面部图像的样本风格向量,P为大于1的正整数;

识别每个样本面部图像在所述目标面部视觉属性下所属的属性类别,得到样本识别结果;

根据所述样本识别结果,从所述P个样本面部图像中选取正样本和负样本,所述正样本是指属于所述目标面部视觉属性下的指定属性类别的样本面部图像,所述负样本包括:所述P个样本面部图像中的全部或部分样本面部图像,或者不属于所述指定属性类别的样本面部图像;

根据所述正样本的样本风格向量中的每个通道元素的元素值,以及所述负样本的样本风格向量中的每个通道元素的元素值,分别计算所述每个通道元素的元素值差异;

将具有最大元素值差异的通道元素,确定为用于控制所述目标面部视觉属性的目标通道元素。

10.如权利要求1或8所述的方法,其特征在于,所述第二面部图像是调用训练后的生成对抗网络模型基于所述编辑后的图像向量生成的;

所述方法还包括:

获取用于训练生成对抗网络模型的多个训练面部图像,并在所述目标面部视觉属性下对每个训练面部图像进行类别识别,得到目标识别结果;所述目标识别结果包括:所述每个训练面部图像在所述目标面部视觉属性下所属的属性类别,以及对应的类别置信度;

根据所述目标识别结果,将属于所述目标面部视觉属性下的所述目标属性类别,且类别置信度满足第一置信度条件的训练面部图像,作为第一训练样本;

根据所述目标识别结果,将属于所述目标面部视觉属性下的其他属性类别,且类别置信度满足第二置信度条件的训练面部图像,作为第二训练样本;

采用所述第一训练样本和所述第二训练样本,对所述生成对抗网络模型进行模型训练,得到训练后的生成对抗网络模型。

11.如权利要求1或8所述的方法,其特征在于,所述方法还包括:获取待优化的图像编辑模型;

采用所述第一面部图像和所述第二面部图像构成样本图像对,并采用所述样本图像对,对所述图像编辑模型进行模型优化,得到优化后的图像编辑模型;

其中,所述优化后的图像编辑模型用于将任一面部图像的目标面部视觉属性的属性类别编辑成所述目标属性类别。

12.如权利要求11所述的方法,其特征在于,所述方法还包括:获取目标面部图像,以及所述目标面部图像的图像编辑需求;

若所述图像编辑需求用于指示:将所述目标面部图像的目标面部视觉属性的属性类别编辑成所述目标属性类别,则调用所述优化后的图像编辑模型对所述目标面部图像进行编辑处理,得到编辑后的目标面部图像;

输出所述编辑后的目标面部图像。

13.一种图像处理装置,其特征在于,包括:获取单元,用于获取目标对象的第一面部图像的属性编辑需求,所述第一面部图像具有多个面部视觉属性,所述属性编辑需求用于指示:将所述多个面部视觉属性中的目标面部视觉属性的属性类别编辑成目标属性类别;

所述获取单元,还用于获取所述第一面部图像的图像向量,所述图像向量包括多个向量元素组,一个向量元素组用于独立控制一个面部视觉属性;

处理单元,用于在所述图像向量中,确定用于独立控制所述目标面部视觉属性的目标向量元素组;若所述图像向量位于目标隐空间,则根据所述目标属性类别,对所述目标向量元素组的元素值进行编辑,得到编辑后的图像向量,所述编辑后的图像向量为编辑后的目标图像隐向量;

所述处理单元,还用于将所述编辑后的目标图像隐向量从所述目标隐空间转换至风格空间,得到目标风格向量;所述目标风格向量包括M个通道元素,每个通道元素用于独立控制一个面部视觉属性;在所述目标风格向量中检测异常通道元素,所述异常通道元素满足如下条件:控制的面部视觉属性与所述目标面部视觉属性不同,且元素值因编辑所述目标面部视觉属性而发生改变;所述异常通道元素的产生原因是:所述异常通道元素控制的面部视觉属性与所述目标面部视觉属性无法干净解耦;若检测到所述异常通道元素,则在所述目标风格向量中对所述异常通道元素的元素值进行校准,得到校准后的风格向量;基于所述校准后的风格向量,生成所述目标对象的第二面部图像。

14.一种计算机设备,包括输入接口和输出接口,其特征在于,还包括:处理器,适于实现一条或多条指令;以及,计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如权利要求1‑12任一项所述的图像处理方法。

15.一种计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如权利要求1‑12任一项所述的图像处理方法。

说明书 :

图像处理方法、装置、计算机设备及存储介质

技术领域

[0001] 本申请涉及互联网技术领域,具体涉及图像处理技术领域,尤其涉及一种图像处理方法、一种图像处理装置、一种计算机设备及一种计算机存储介质。

背景技术

[0002] 对于一个面部图像而言,其通常具有多个面部视觉属性,如头发长度属性、性别属性、面部肤色属性、眼睛大小属性,等等。一个面部视觉属性通常可具有至少两个属性类别,
如头发长度属性包括短头发属性类别和长头发属性类别,性别属性包括女性属性类别和男
性属性类别,等等。通过对面部图像进行属性编辑,可以生成与面部图像具有不同视觉效果
的新面部图像;目前,如何对面部图像进行属性编辑,提升面部图像的编辑效果,成为了研
究热点。

发明内容

[0003] 本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质,可以实现在不影响其他面部视觉属性的情况下,对面部图像的目标面部视觉属性进行单属性编辑,
提升图像编辑效果。
[0004] 一方面,本申请实施例提供了一种图像处理方法,所述方法包括:
[0005] 获取目标对象的第一面部图像的属性编辑需求,所述第一面部图像具有多个面部视觉属性,所述属性编辑需求用于指示:将所述多个面部视觉属性中的目标面部视觉属性
的属性类别编辑成目标属性类别;
[0006] 获取所述第一面部图像的图像向量,所述图像向量包括多个向量元素组,一个向量元素组用于独立控制一个面部视觉属性;
[0007] 在所述图像向量中,确定用于独立控制所述目标面部视觉属性的目标向量元素组;并根据所述目标属性类别,对所述目标向量元素组的元素值进行编辑,得到编辑后的图
像向量;
[0008] 基于所述编辑后的图像向量,生成所述目标对象的第二面部图像。
[0009] 另一方面,本申请实施例提供了一种图像处理装置,所述装置包括:
[0010] 获取单元,用于获取目标对象的第一面部图像的属性编辑需求,所述第一面部图像具有多个面部视觉属性,所述属性编辑需求用于指示:将所述多个面部视觉属性中的目
标面部视觉属性的属性类别编辑成目标属性类别;
[0011] 所述获取单元,还用于获取所述第一面部图像的图像向量,所述图像向量包括多个向量元素组,一个向量元素组用于独立控制一个面部视觉属性;
[0012] 处理单元,用于在所述图像向量中,确定用于独立控制所述目标面部视觉属性的目标向量元素组;并根据所述目标属性类别,对所述目标向量元素组的元素值进行编辑,得
到编辑后的图像向量;
[0013] 所述处理单元,还用于基于所述编辑后的图像向量,生成所述目标对象的第二面部图像。
[0014] 在一种实施方式中,所述图像向量包括N层的子隐向量,一个向量元素组包括一层或多层的子隐向量,N为大于1的正整数;相应的,处理单元在用于根据所述目标属性类别,
对所述目标向量元素组的元素值进行编辑,得到编辑后的图像向量时,可具体用于:
[0015] 获取所述目标属性类别相关联的目标方向向量,所述目标方向向量包括N层的子方向向量;且所述目标方向向量用于指示将所述目标面部视觉属性下的其他属性类别转换
至所述目标属性类别的编辑方向;
[0016] 确定所述目标向量元素组在所述图像向量中所处的目标层,并获取所述目标方向向量中处于所述目标层的子方向向量;
[0017] 采用获取到的子方向向量的元素值,对所述目标向量元素组的元素值进行编辑,得到编辑后的图像向量。
[0018] 另一种实施方式中,处理单元还可用于:
[0019] 获取所述目标面部视觉属性下的其他属性类别和所述目标属性类别之间的目标超平面;
[0020] 求取所述目标超平面的法向量,作为所述目标属性类别相关联的目标法向量;所述目标法向量的方向表示:所述目标面部视觉属性下的其他属性类别和所述目标属性类别
之间的差异方向;
[0021] 根据所述目标法向量,计算所述目标属性类别相关联的目标方向向量。
[0022] 另一种实施方式中,处理单元在用于根据所述目标法向量,计算所述目标属性类别相关联的目标方向向量时,可具体用于:
[0023] 在所述多个面部视觉属性中确定与所述目标面部视觉属性相耦合的关联面部视觉属性,并获取所述关联面部视觉属性的关联法向量,所述关联法向量和所述目标法向量
相耦合;
[0024] 对所述目标法向量和所述关联法向量进行解耦处理,得到所述目标属性类别相关联的目标方向向量。
[0025] 另一种实施方式中,处理单元在对所述目标法向量和所述关联法向量进行解耦处理,得到所述目标属性类别相关联的目标方向向量时,可具体用于:
[0026] 将所述目标法向量在所述关联法向量所在方向上进行投影,得到投影向量;
[0027] 将所述投影向量确定为所述目标属性类别相关联的目标方向向量。
[0028] 另一种实施方式中,处理单元在用于获取所述目标面部视觉属性下的其他属性类别和所述目标属性类别之间的目标超平面时,可具体用于:
[0029] 获取Y个参考图像隐向量,并根据所述Y个参考图像隐向量生成Y个参考面部图像,一个参考图像隐向量对应一个参考面部图像,Y为大于1的整数;
[0030] 识别每个参考面部图像在所述目标面部视觉属性下所属的属性类别,得到参考识别结果;
[0031] 根据所述参考识别结果,为所述每个参考面部图像对应的参考图像隐向量分配类别标签;其中,属于所述目标属性类别的各个参考面部图像对应的参考图像隐向量具有相
同的类别标签,属于所述目标面部视觉属性下的其他属性类别的各个参考面部图像对应的
参考图像隐向量具有相同的类别标签;
[0032] 根据各个参考图像隐向量和对应的类别标签,求取所述目标面部视觉属性下的其他属性类别和所述目标属性类别之间的目标超平面。
[0033] 另一种实施方式中,所述图像向量为目标隐空间中的目标图像隐向量,所述编辑后的图像向量为编辑后的目标图像隐向量;相应的,处理单元在用于基于编辑后的图像向
量,生成所述目标对象的第二面部图像时,可具体用于:
[0034] 将所述编辑后的目标图像隐向量从所述目标隐空间转换至风格空间,得到目标风格向量;所述目标风格向量包括M个通道元素,每个通道元素用于独立控制一个面部视觉属
性;
[0035] 在所述目标风格向量中检测异常通道元素,所述异常通道元素满足如下条件:控制的面部视觉属性与所述目标面部视觉属性不同,且元素值因编辑所述目标面部视觉属性
而发生改变;
[0036] 若检测到所述异常通道元素,则在所述目标风格向量中对所述异常通道元素的元素值进行校准,得到校准后的风格向量;
[0037] 基于所述校准后的风格向量,生成所述目标对象的第二面部图像。
[0038] 另一种实施方式中,处理单元在用于在所述目标风格向量中检测异常通道元素时,可具体用于:
[0039] 遍历所述多个面部视觉属性中,除所述目标面部视觉属性以外的各个面部视觉属性;
[0040] 针对当前遍历的当前面部视觉属性,在所述目标风格向量中确定用于控制所述当前面部视觉属性的当前通道元素,以及所述当前通道元素的参考元素值;
[0041] 根据所述第一面部图像,获取所述当前通道元素的基准元素值;
[0042] 若检测到所述参考元素值和所述基准元素值不匹配,则确定所述当前通道元素是异常通道元素;否则,则确定所述当前通道元素不是所述异常通道元素。
[0043] 另一种实施方式中,所述图像向量位于风格空间;相应的,处理单元在用于根据所述目标属性类别,对所述目标向量元素组的元素值进行编辑,得到编辑后的图像向量时,可
具体用于:
[0044] 根据所述目标面部视觉属性下的各个属性类别和元素值之间的对应关系,将所述目标属性类别对应的元素值作为目标元素值;
[0045] 将所述目标向量元素组的元素值调整成所述目标元素值,得到编辑后的图像向量。
[0046] 另一种实施方式中,所述图像向量包括M个通道元素,一个向量元素组包括一个通道元素,所述目标向量元素组为目标通道元素;相应的,处理单元还可用于:
[0047] 获取P个样本面部图像,以及每个样本面部图像的样本风格向量,P为大于1的正整数;
[0048] 识别每个样本面部图像在所述目标面部视觉属性下所属的属性类别,得到样本识别结果;
[0049] 根据所述样本识别结果,从所述P个样本面部图像中选取正样本和负样本,所述正样本是指属于所述目标面部视觉属性下的指定属性类别的样本面部图像,所述负样本包
括:所述P个样本面部图像中的全部或部分样本面部图像,或者不属于所述指定属性类别的
样本面部图像;
[0050] 根据所述正样本的样本风格向量中的每个通道元素的元素值,以及所述负样本的样本风格向量中的每个通道元素的元素值,分别计算所述每个通道元素的元素值差异;
[0051] 将具有最大元素值差异的通道元素,确定为用于控制所述目标面部视觉属性的目标通道元素。
[0052] 另一种实施方式中,处理单元在用于基于编辑后的图像向量,生成所述目标对象的第二面部图像时,可具体用于:调用训练后的生成对抗网络模型基于所述编辑后的图像
向量,生成所述目标对象的第二面部图像;相应的,处理单元还可用于:
[0053] 获取用于训练生成对抗网络模型的多个训练面部图像,并在所述目标面部视觉属性下对每个训练面部图像进行类别识别,得到目标识别结果;所述目标识别结果包括:所述
每个训练面部图像在所述目标面部视觉属性下所属的属性类别,以及对应的类别置信度;
[0054] 根据所述目标识别结果,将属于所述目标面部视觉属性下的所述目标属性类别,且类别置信度满足第一置信度条件的训练面部图像,作为第一训练样本;
[0055] 根据所述目标识别结果,将属于所述目标面部视觉属性下的其他属性类别,且类别置信度满足第二置信度条件的训练面部图像,作为第二训练样本;
[0056] 采用所述第一训练样本和所述第二训练样本,对所述生成对抗网络模型进行模型训练,得到训练后的生成对抗网络模型。
[0057] 另一种实施方式中,处理单元还可用于:
[0058] 获取待优化的图像编辑模型;
[0059] 采用所述第一面部图像和所述第二面部图像构成样本图像对,并采用所述样本图像对,对所述图像编辑模型进行模型优化,得到优化后的图像编辑模型;
[0060] 其中,所述优化后的图像编辑模型用于将任一面部图像的目标面部视觉属性的属性类别编辑成所述目标属性类别。
[0061] 另一种实施方式中,处理单元还可用于:
[0062] 获取目标面部图像,以及所述目标面部图像的图像编辑需求;
[0063] 若所述图像编辑需求用于指示:将所述目标面部图像的目标面部视觉属性的属性类别编辑成所述目标属性类别,则调用所述优化后的图像编辑模型对所述目标面部图像进
行编辑处理,得到编辑后的目标面部图像;
[0064] 输出所述编辑后的目标面部图像。
[0065] 再一方面,本申请实施例提供了一种计算机设备,所述计算机设备包括输入接口和输出接口,所述计算机设备还包括:
[0066] 处理器,适于实现一条或多条指令;以及,
[0067] 计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如下步骤:
[0068] 获取目标对象的第一面部图像的属性编辑需求,所述第一面部图像具有多个面部视觉属性,所述属性编辑需求用于指示:将所述多个面部视觉属性中的目标面部视觉属性
的属性类别编辑成目标属性类别;
[0069] 获取所述第一面部图像的图像向量,所述图像向量包括多个向量元素组,一个向量元素组用于独立控制一个面部视觉属性;
[0070] 在所述图像向量中,确定用于独立控制所述目标面部视觉属性的目标向量元素组;并根据所述目标属性类别,对所述目标向量元素组的元素值进行编辑,得到编辑后的图
像向量;
[0071] 基于所述编辑后的图像向量,生成所述目标对象的第二面部图像。
[0072] 再一方面,本申请实施例提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行如下步骤:
[0073] 获取目标对象的第一面部图像的属性编辑需求,所述第一面部图像具有多个面部视觉属性,所述属性编辑需求用于指示:将所述多个面部视觉属性中的目标面部视觉属性
的属性类别编辑成目标属性类别;
[0074] 获取所述第一面部图像的图像向量,所述图像向量包括多个向量元素组,一个向量元素组用于独立控制一个面部视觉属性;
[0075] 在所述图像向量中,确定用于独立控制所述目标面部视觉属性的目标向量元素组;并根据所述目标属性类别,对所述目标向量元素组的元素值进行编辑,得到编辑后的图
像向量;
[0076] 基于所述编辑后的图像向量,生成所述目标对象的第二面部图像。
[0077] 本申请实施例在需要对目标对象的第一面部图像进行属性编辑时,可获取第一面部图像的属性编辑需求,以及第一面部图像的图像向量。由于该图像向量中的每个向量元
素组是独立控制一个面部视觉属性的,而属性编辑需求用于指示将目标面部视觉属性的属
性类别编辑成目标属性类别;因此,可在图像向量中确定用于独立控制目标面部视觉属性
的目标向量元素组,并根据目标属性类别对目标向量元素组的元素值进行编辑,从而根据
编辑后的图像向量,生成目标对象的第二面部图像。这样的处理方式可通过图像向量实现
各个面部视觉属性的干净解耦,保证在不影响其他面部视觉属性的情况下,对第一面部图
像的目标面部视觉属性进行单属性编辑,从而改变第一面部图像中关于目标面部视觉属性
的视觉效果,有效提升图像编辑效果。

附图说明

[0078] 为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普
通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0079] 图1a是本申请实施例提供的一种服务器和终端之间的交互示意图;
[0080] 图1b是本申请实施例提供的一种区块链的结构示意图;
[0081] 图1c是本申请实施例提供的一种生成网络的结构示意图;
[0082] 图1d是本申请实施例提供的一种对面部图像的眼睛大小属性对单属性编辑的效果示意图;
[0083] 图1e是本申请实施例提供的一种对面部图像的眼袋属性和泪沟属性进行单属性编辑的效果示意图;
[0084] 图2是本申请实施例提供的一种图像处理方法的流程示意图;
[0085] 图3是本申请另一实施例提供的一种图像处理方法的流程示意图;
[0086] 图4a是本申请实施例提供的一种对目标法向量和关联法向量进行解耦的示意图;
[0087] 图4b是本申请实施例提供的一种在目标隐空间对表情属性进行属性编辑的效果示意图;
[0088] 图4c是本申请实施例提供的一种将用户人脸图像编辑成具有假笑表情的人脸图像的效果示意图;
[0089] 图5是本申请实施例提供的一种图像处理装置的结构示意图;
[0090] 图6是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

[0091] 下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
[0092] 随着互联网技术的不断发展,人工智能(Artificial Intelligence,AI)技术也随之得到更好的发展。所谓的人工智能技术是指利用数字计算机或者数字计算机控制的机器
模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技
术及应用系统。换句话说,人工智能是计算机科学的一个综合技术;其主要通过了解智能的
实质,生产出一种新的能以人类智能相似的方式做出反应的智能机器,使得智能机器具有
感知、推理与决策等多种功能。相应的,AI技术是一门综合学科,其主要包括计算机视觉技
术(Computer Vision,CV)、语音处理技术、自然语言处理技术以及机器学习(Machine 
Learning,ML)/深度学习等几大方向。
[0093] 其中,计算机视觉技术是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,
使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视
觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系
统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical 
Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、
三维物体重建、3D(三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常
见的人脸识别、指纹识别等生物特征识别技术。
[0094] 其中,机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的
知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是AI的核心,是
使计算机设备具有智能的根据途径;所谓的机器学习是一门多领域交叉学科,涉及概率论、
统计学、逼近论、凸分析、算法复杂度理论等多门学科;其专门研究计算机设备怎样模拟或
实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自
身的性能。而深度学习则是一种利用深层神经网络系统,进行机器学习的技术;机器学习/
深度学习通常可包括人工神经网络、强化学习(Reinforcement Learning,RL)、有监督学
习、无监督学习等多种技术;所谓的有监督学习是指采用类别已知(具有标注类别)的训练
样本进行模型优化训练的处理方式,无监督学习是指采用类别未知(没有被标记)的训练样
本进行模型优化训练的处理方式。
[0095] 基于上述所提及的计算机视觉技术以及机器学习/深度学习技术,本申请实施例针对任一面部图像(如人脸图像、动物脸部图像)提出了一种图像处理方案,以实现提升任
一面部图像的编辑效果。其中,面部图像可具有多个面部视觉属性,如头发长度属性、刘海
属性、面部肤色属性、眼睛大小属性、眼皮属性、性别属性,等等。一个面部视觉属性可具有
至少两个属性类别,任一面部视觉属性下的各个属性类别在面部图像中所呈现的视觉效果
不同。例如,针对刘海属性而言,其可包括有刘海属性类别和无刘海属性类别;当某面部图
像在刘海属性下的属性类别为有刘海属性类别时,则表明该目标面部图像呈现的是具有刘
海的对象,反之则表明该目标面部图像呈现的是不具有刘海的对象。又如,针对面部肤色属
性而言,其可包括白色属性类别、黄色属性类别、小麦色属性类别等多种属性类别;当某面
部图像在面部肤色属性下的属性类别为黄色属性类别时,则表明该目标面部图像呈现的是
黄色皮肤的对象。再如,针对眼皮属性而言,其可包括单眼皮属性类别和双眼皮属性类别;
当某面部图像在单眼皮属性下的属性类别为单眼皮属性类别时,则表明该目标面部图像呈
现的是具有单眼皮的对象,等等。
[0096] 具体的,该图像处理方案可通过利用一个生成对抗网络模型,实现对任一面部图像的单个面部视觉属性进行编辑;避免当调整某个面部视觉属性的属性类别时,其他面部
视觉属性的属性类别也会随之变化的问题,从而可实现在不影响其他面部视觉属性的属性
类别的情况下,改变面部图像的视觉效果,从而实现各种有趣且丰富的图像特效。在具体实
现中,该图像处理方案可由一个计算机设备执行,该计算机设备可以是终端或者服务器;其
中,此处所提及的终端可以包括但不限于:智能手机、平板电脑、笔记本电脑、台式计算机、
智能手表、智能电视等;终端内可运行各式各样的客户端(application,APP),如多媒体客
户端、社交客户端,等等。此处所提及的服务器可以是独立的物理服务器,也可以是多个物
理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云
函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery 
Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器,等
等。应理解的是,若计算机设备为服务器,则当任一用户存在图像编辑需求时,可通过任一
终端将待编辑的面部图像上传至计算机设备(即服务器),使得计算机设备采用该图像处理
方案对该待编辑的面部图像进行属性编辑,从而得到并返回编辑的面部图像,如图1a所示。
[0097] 还需说明的是,在其他实施例中,该图像处理方法也可由服务器和终端共同执行;服务器和终端通过有线网络或者无线网络等进行连接,对此不作限定。并且,本申请实施例
所提及的计算机设备可以位于区块链网络外,也可以位于区块链网络内,对此不作限定;所
谓的区块链网络是一种由点对点网络(P2P网络)和区块链所构成的网络,而区块链则是指
一种分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式,其
本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块(或称为区
块)。即区块链可由多个区块组成,如图1b所示:创始块中包括区块头和区块主体,区块头中
存储有输入信息特征值、版本号、时间戳和难度值,区块主体中存储有输入信息;创始块的
下一区块以创始块为父区块,下一区块中同样包括区块头和区块主体,区块头中存储有当
前区块的输入信息特征值、父区块的区块头特征值、版本号、时间戳和难度值,并以此类推,
使得区块链中每个区块中存储的区块数据均与父区块中存储的区块数据存在关联,保证了
区块中输入信息的安全性。
[0098] 为便于后续理解,下面先对本申请实施例所涉及的生成对抗网络模型的相关内容进行说明:
[0099] 生成对抗网络(Generative Adversarial Network,GAN)模型是指:包括生成网络(简称G网络)和判别网络(简称D网络),且通过G网络和D网络进行相互对抗学习,从而实现
模型优化的模型。其中,G网络是一个可用于接收隐向量,并基于隐向量生成虚拟面部图像
的网络,所谓的虚拟面部图像是真实世界中未真实存在的面部图像;G网络所生成的面部图
像可传输至D网络进行判别,即D网络是一个用于判别输入的面部图像是否是真实面部图像
的网络,可以理解成图像判别器。也就是说,G网络的目标是使生成的面部图像无限逼近于
真实面部图像,而D网络的目标是尽最大能力将G网络生成的面部图像和真实面部图像区分
开;因此,G网络和D网络通过不断相互对抗学习来达到各自的目标,而G网络和D网络之间相
互对抗学习的过程可理解成是对GAN模型进行不断优化的过程。
[0100] 具体的,通过该GAN模型中的生成网络生成面部图像的大致流程如下:首先,可在初始隐空间(后续称为Z空间)中随机生成初始隐向量z(如1×512维的隐向量),并对该初始
隐向量z进行标准化(Normalize)。其次,可通过映射网络(Mapping network)将标准化后的
初始隐向量从Z空间映射到中间隐空间(后续称为W空间),得到中间隐向量w(1×512维的隐
向量);其中,映射网络是指由多个全连接层(fully connected layers,FC)构成的网络。接
着,可将该中间隐向量分别输入至N(N为大于1的正整数)个仿射变换模块(A模块)中的每个
A模块中,由每个A模块将中间隐向量w从W空间中映射到目标隐空间(后续称为W+空间),从
而得到图像隐向量w+(N×512维的隐向量);其中,图像隐向量w+可包括N层的子隐向量。然
后,可将图像隐向量w+输入至生成网络中,由生成网络根据该图像隐向量w+生成面部图像。
[0101] 其中,生成网络可包括但不限于:常数层(Const层)111、加噪层112、样式处理层(AdaIN层)113以及卷积层(Conv层)114,等等;示例性的,该生成网络的部分网络结构可参
见图1c所示。生成网络根据图像隐向量w+生成面部图像的大致流程如下:首先,由常数层
111根据一个常数生成特征图,并将该特征图输出至相邻的下一加噪层112,由下一加噪层
112采用相连接的噪声生成模块(B模块)输出的噪声图像,对接收到的初始特征图进行加噪
处理,并将加噪后特征图传输至相邻的下一样式处理层113。由下一样式处理层113采用从
相连接的A模块处接收到的图像隐向量w+中的部分子隐向量,对接收到的特征图进行尺度
和平移等变换,并将变换后的特征图输入至相邻的下一卷积层114。由下一卷积层114对接
收到的特征图进行卷积处理,得到卷积后的特征图,然后将卷积后的特征图输出至相邻的
下一加噪层112,由下一加噪层112采用相连接的噪声生成模块(B模块)输出的噪声图像,对
接收到的初始特征图进行加噪处理,并将加噪后特征图传输至相邻的下一样式处理层113。
以此类推,以实现将w+向量从W+空间映射到风格空间,得到风格向量,该风格向量可理解是
一个包括M个(如9088个)通道元素的向量,一个通道元素下的元素值表示一个特征图。然
后,可基于风格向量生成一个面部图像。
[0102] 应理解的是,图1c只是示例性地表征了生成网络的部分网络结构,并不对此进行限定。例如,图1c所示的生成网络只包括了4个样式处理层(AdaIN层),但实际构建生成网络
时,可构建18个甚至更多数量的样式处理层(AdaIN层)。又如,图1c中的加噪层与外部的B模
块相连接,是为了引入噪声图像,以更好地拟合高频信息,如头发等纹理细节;但实际生成
网络时,也可不将加噪层和外部的B模块相连接,等等。
[0103] 基于上述GAN模型的相关描述,下面对本申请实施例所提出的图像处理方案的大致构思进行阐述:
[0104] 由于通过对生成网络的网络结构做进一步研究发现,生成网络是逐步生成面部图像的,以面部图像为人脸图像为例;生成网络在生成人脸图像时,通常是勾勒出面部的姿
态,再是脸型,接下来是五官,最后逐步生成皮肤纹理等高频属性特征,进而得到一个人脸
图像。而生成网络在依次生成各个属性特征时,通常只会用到图像隐向量中的部分层的子
隐向量;因此可知,一个面部视觉属性可被图像隐向量中的一层或多层子隐向量独立控制。
那么当需要对某面部图像进行单属性编辑时,可控制不同层网络的目标隐空间,即对不同
分辨率层的参数(即不同分辨率层的子隐向量)分别进行针对性调整。比如,由于低分辨率
层控制脸部姿态方面的面部视觉属性,因此在编辑脸部姿态方面的面部视觉属性的时候,
可只在低分辨率层编辑相应的参数;由于高分辨率层控制用于控制面部纹理细节的面部视
觉属性(如眼袋属性、法令纹属性、泪沟属性等),因此在调整这些面部视觉属性的时候,可
只在高分辨率层编辑相应的参数。举例来说,针对眉毛属性和眼睛大小属性而言,这两个面
部视觉属性就分别属于不同分辨率,因此可通过控制不同分辨率下的参数,实现单个面部
视觉属性的编辑修改,比如只修改眼睛大小属性下的属性类别,以从大眼睛属性类别改变
成小眼睛属性类别,而保证人脸图像中的其他面部视觉属性的视觉效果不变,如图1d所示。
[0105] 另外,针对用于控制面部纹理细节的面部视觉属性,如眼袋属性、法令纹属性、泪沟属性等,由于这些面部视觉属性往往包含在其他颗粒度比较大的面部视觉属性中,在目
标隐空间中较难解耦,这样可能会在一定程度上影响通过目标隐空间进行属性编辑所实现
的编辑效果;而风格空间中的风格向量中的每个通道元素通常是独立控制一个单一面部视
觉属性的,如用于控制有无口红的口红属性、用于控制眼睛的张闭的眼睛状态属性、用于控
制有无眼袋的眼袋属性、用于控制有无泪沟的泪沟属性等。因此,在需调整这些用于控制面
部纹理细节的面部视觉属性的时候,也可在风格空间中进行属性编辑,以改变风格向量中
的某些通道元素的特征图(即元素值)的值,从而实现属性类别的改变,进而实现精细化的
属性编辑。当然,应理解的是,针对其他颗粒度比较大的面部视觉属性(如脸部姿态方面的
面部视觉属性)而言,也可在风格空间中对这些面部视觉属性所对应的通道元素的特征图
的值,实现属性类别的改变。
[0106] 也就是说,本申请实施例所提出的图像处理方案可支持至少两种属性编辑方式:一种是在目标隐空间中进行属性编辑的方式,另一种是在风格空间中进行属性编辑的方
式。在具体应用中,当需要对任一面部图像中的目标面部视觉属性进行单属性编辑时,计算
机设备可随机选取一种属性编辑方式,以编辑该目标面部视觉属性的属性类别,从而实现
对任一面部图像进行单属性编辑;或者,计算机设备可根据每个属性编辑方式和面部视觉
属性之间的适配度,来选取与目标面部视觉属性相适配的属性编辑方式,以编辑该目标面
部视觉属性的属性类别,从而实现对任一面部图像进行单属性编辑。例如,以通过编辑眼袋
属性和泪沟属性,去除眼袋特征11和泪沟特征12为例,图1e示例性地展示了两种属性编辑
方式的效果图;参见图1e所示,使用在目标隐空间进行属性编辑的方式,会在一定程度上造
成眼袋特征11和泪沟特征12去除不彻底,且同时会造成上嘴唇13变薄,头顶头发区域14变
黑的不良影响,而使用在风格空间进行属性编辑的方式,则可保证在去除眼袋特征11和泪
沟特征12的同时,不影响其他的各个面部视觉属性的视觉效果。因此,可认为眼袋属性和泪
沟属性这两个面部视觉属性,与在风格空间中进行属性编辑的方式更适配,那么后续在需
要对某面部图像进行眼袋属性和泪沟属性的编辑时,便可采用在风格空间中进行属性编辑
的方式对该面部图像进行单属性编辑。
[0107] 基于上述图像处理方案的相关描述,本申请实施例提出一种图像处理方法,该图像处理方法可以由上述所提及的计算机设备执行,该计算机设备可以是终端或者服务器;
或者,该图像处理方法可由终端和服务器共同执行。为便于阐述,后续均以计算机设备执行
该图像处理方法为例进行说明;请参见图2,该图像处理方法可包括以下步骤S201‑S205:
[0108] S201,获取目标对象的第一面部图像的属性编辑需求。
[0109] 其中,目标对象可以是人物或动物(如小猫、小狗等)。相应的,当目标对象为人物时,第一面部图像可以是该目标对象的人脸图像;当目标对象为动物时,该第一面部图像可
以是该目标对象的脸部图像(如猫脸图像、狗脸图像等)。并且,该第一面部图像可以是用户
输入的真实面部图像,也可以是通过调用训练后的生成对抗网络模型生成的虚拟面部图
像,还可以是通过其他图像合成技术合成的虚拟面部图像等,对此不作限定。为便于阐述,
后续所提及的任一面部图像均以人脸图像为例进行说明。
[0110] 计算机设备可获取目标对象的第一面部图像的属性编辑需求,该属性编辑需求可用于指示:将多个面部视觉属性中的目标面部视觉属性的属性类别编辑成目标属性类别。
其中,该目标面部视觉属性的数量可以是一个或多个;当目标面部视觉属性的数量为多个
时,那么计算机设备可针对每个目标视觉属性均执行如下步骤S202‑S205,以实现对每个目
标视觉属性进行编辑。为便于阐述,后续均以目标面部视觉属性的数量为一个进行说明。
[0111] S202,获取第一面部图像的图像向量。
[0112] 其中,图像向量包括多个向量元素组,一个向量元素组用于独立控制一个面部视觉属性。由前述可知,计算机设备可在W+空间和风格空间中进行单属性编辑;因此,计算机
设备可获取第一面部图像在W+空间(目标隐空间)的目标图像隐向量作为第一面部图像的
图像向量;或者,也可以获取第一面部图像在风格空间中的风格向量作为第一面部图像的
图像向量,对此不作限定。也就是说,第一面部图像的图像向量可以是目标隐空间中的目标
图像隐向量,也可以是风格空间中的风格向量。当图像向量是目标隐空间中的目标图像隐
向量时,该图像向量包括N层的子隐向量,一个向量元素组包括一层或多层的子隐向量;当
图像向量是风格空间中的风格向量时,该图像向量可包括M个通道元素,一个向量元素组包
括一个通道元素。
[0113] 具体的,若第一面部图像是用户输入的真实面部图像,或者通过其他图像合成技术合成的虚拟面部图像,则计算机设备在步骤S202的具体实施过程中,可获取一个向量生
成模型,该向量生成模型是采用一些图像和对应的图像向量(如每个图像的目标图像隐向
量或每个图像的风格向量)进行有监督模型训练得到的;然后,可调用该向量生成模型对第
一面部图像进行特征提取,从而基于提取到的特征生成第一面部图像的图像向量。若第一
面部图像是通过训练后的生成对抗网络模型生成的虚拟面部图像,则由于训练后的生成对
抗网络模型在生成第一面部图像的过程中,会先获取到第一面部图像的目标图像隐向量,
从而基于目标图像隐向量生成对应的风格向量,进而生成第一面部图像的;因此,此情况
下,计算机设备可直接从生成对抗网络模型中获取第一面部图像的图像向量。
[0114] S203,在图像向量中,确定用于独立控制目标面部视觉属性的目标向量元素组。
[0115] 在具体实施过程中,计算机设备可先获取向量元素组和面部视觉属性之间的控制对应关系;然后,根据该控制对应关系在图像向量中,确定用于独立控制目标面部视觉属性
的目标向量元素组。其中,当图像向量是目标隐空间中的目标图像隐向量时,该控制对应关
系可以如前述所提及的,基于对生成网络的网络结构作进一步研究所得到的研究结果生成
的;例如,研究结果指示刘海属性通常是由目标图像隐向量中的第4、5、6层的子隐向量控制
的,那么可将第4、5、6层的子隐向量划分至一个向量元素组,并建立该向量元素组和刘海属
性之间的控制对应关系。
[0116] 当图像向量是风格空间中的风格向量时,该控制对应关系可以是通过对大量的样本面部图像以及各样本面部图像的样本风格向量进行学习后,基于学习结果生成的。由于
通过学习大量的样本面部图像以及相应的样本风格向量,来分别确定各个面部视觉属性所
对应的通道元素的具体方式相同;因此,下面以目标面部视觉属性为例,对如何通过学习大
量的样本面部图像以及相应的样本风格向量,来确定目标面部视觉属性所对应的目标通道
元素的具体实施方式进行阐述:
[0117] 首先,可获取P个样本面部图像,以及每个样本面部图像的样本风格向量,P为大于1的正整数;其次,可识别每个样本面部图像在目标面部视觉属性下所属的属性类别,得到
样本识别结果。然后,可根据样本识别结果,从P个样本面部图像中选取正样本和负样本;所
谓的正样本是指属于目标面部视觉属性下的指定属性类别的样本面部图像,负样本包括:P
个样本面部图像中的全部或部分样本面部图像,或者不属于指定属性类别的样本面部图
像。其中,此处所提及的指定属性类别可以是目标面部视觉属性下的任一属性类别;也就是
说,指定属性类别可以和目标属性类别相同,也可以不同,对此不作限定。还需说明的是,正
样本的数量可以是一个或多个;当负样本包括P个样本面部图像中的全部或部分样本面部
图像时,该负样本的数量为多个,且多个负样本中应当包括不属于指定属性类别的样本面
部图像,当负样本只包括不属于指定属性类别的样本面部图像时,负样本的数量可以是一
个或多个,对此不作限定。
[0118] 在选取出正样本和负样本后,计算机设备可根据正样本的样本风格向量中的每个通道元素的元素值,以及负样本的样本风格向量中的每个通道元素的元素值,分别计算每
个通道元素的元素值差异。由于任一通道元素的元素值差异可用于反映该任一通道元素的
元素值在目标面部视觉属性下的变化程度,而控制该目标面部视觉属性的那个通道元素的
元素值通常是变化比较剧烈的,其对应的元素值差异通常是最大的;因此可将具有最大元
素值差异的通道元素,确定为用于控制目标面部视觉属性的目标通道元素。
[0119] 其中,计算每个通道元素的元素值差异的具体实施方式可以是:若正样本和负样本的数量均为1,则可依次采用正样本的样本风格向量中的第m个通道元素的元素值,减去
负样本的样本风格向量中的第m个通道元素的元素值,得到第m个通道元素的元素值差异,m
∈[1,M]。若正样本的数量和负样本的数量均为多个,则可先根据各个正样本的样本风格向
量中的每个通道元素的元素值,计算各个正样本之间的平均正风格向量,该平均正风格向
量中的第m个通道元素的元素值等于各个正样本中的第m个通道元素的元素值的均值;以及
计算各个负样本之间的平均负风格向量,该平均负风格向量中的第m个通道元素的元素值
等于各个负样本中的第m个通道元素的元素值的均值。然后,可根据平均正风格向量中的各
个通道元素的元素值,以及平均负风格向量中的各个通道元素的元素值,计算每个通道元
素的元素值差异。
[0120] 应理解的是,本申请实施例只是示例性地列举了计算每个通道元素的元素值差异的两种实施方式,并非穷举;如若正样本的数量为1个,负样本的数量为多个,则可根据正样
本的样本风格向量中的每个通道元素的元素值,以及平均负风格向量中的各个通道元素的
元素值,分别计算每个通道元素的元素值差异,等等。
[0121] S204,根据目标属性类别,对目标向量元素组的元素值进行编辑,得到编辑后的图像向量。
[0122] 在一种具体实现中,当图像向量位于目标隐空间时,即图像向量是目标隐空间中的目标图像隐向量时,该图像向量可包括N层的子隐向量,计算机设备在执行步骤S204的具
体实施过程中,可获取目标属性类别相关联的目标方向向量,该目标方向向量包括N层的子
方向向量;且该目标方向向量用于指示将目标面部视觉属性下的其他属性类别转换至目标
属性类别的编辑方向。其次,可确定目标向量元素组在图像向量中所处的目标层,并获取目
标方向向量中处于目标层的子方向向量。然后,可采用获取到的子方向向量的元素值,对目
标向量元素组的元素值进行编辑,得到编辑后的图像向量。
[0123] 举例说明,以目标面部视觉属性为刘海属性为例,由于用于独立刘海属性的目标向量元素组包括目标图像隐向量中的第4、5、6层的子隐向量,即目标层为第4、5、6层;那么,
可采用目标方向向量中处于第4、5、6层的子方向向量的元素值,对目标向量元素组的元素
值进行编辑,得到编辑后的图像向量。具体的,可采用目标方向向量中处于第4层的子方向
向量的元素值,对目标图像隐向量中的第4层的子隐向量的元素值进行编辑;采用目标方向
向量中处于第5层的子方向向量的元素值,对目标图像隐向量中的第5层的子隐向量的元素
值进行编辑;以及采用目标方向向量中处于第6层的子方向向量的元素值,对目标图像隐向
量中的第6层的子隐向量的元素值进行编辑,从而得到编辑后的图像向量。
[0124] 另一种具体实现中,当图像向量位于风格空间时,即图像向量是风格空间中的风格向量时,计算机设备在执行步骤S204的具体实施过程中,可根据目标面部视觉属性下的
各个属性类别和元素值之间的对应关系,将目标属性类别对应的元素值作为目标元素值;
然后,将目标向量元素组的元素值调整成目标元素值,得到编辑后的图像向量。其中,该对
应关系可以是预先根据经验值设置的,例如针对刘海属性而言,若经验值指示刘海属性下
的有刘海属性类别所对应的元素值通常为1,无刘海属性类别对应的元素值通常为0,那么
便可根据该经验值设置该关于刘海属性下的各个属性类别和元素值之间的对应关系。
[0125] S205,基于编辑后的图像向量,生成目标对象的第二面部图像。
[0126] 在具体实施过程中,可调用训练后的生成对抗网络模型基于编辑后的图像向量,生成目标对象的第二面部图像;该训练后的生成对抗网络模型可以是采用训练面部图像,
对生成对抗网络模型进行训练得到的。在一种实施方式中,可预先获取多个训练面部图像,
然后直接采用该多个训练面部图像中,对生成对抗网络模型进行训练,得到训练后的生成
对抗网络模型。再一种实施方式中,也可预先获取多个训练面部图像,然后采用该多个训练
面部图像中与目标面部视觉属性强相关的训练面部图像,对生成对抗网络模型进行训练,
得到训练后的生成对抗网络模型。
[0127] 具体的,可预先训练一个多属性分类器;该多属性分类器可以基于任意的图像网络结构,其输入是图像,输出是该图像在各面部视觉属性下的属性类别,如头发长度属性下
的长头发属性类别或短头发属性类别,刘海属性下的有刘海属性类别或无刘海属性类别,
年龄属性下的老人属性类别或小孩属性类别,眼睛状态属性下的睁眼属性类别或闭眼属性
类别等。然后,可采用多属性分类器对各个训练面部图像进行属性识别,得到各个训练面部
图像的类别识别结果;任一训练面部图像的类别识别结果包括:该任一训练面部图像在各
个面部视觉属性下所属的类别,以及相应的类别置信度。在确定要解藕的目标面部视觉属
性后,可根据各个训练面部图像的类别识别结果,从多个训练面部图像中选取对立属性类
别下的类别置信度高的训练面部图像。例如,若目标面部视觉属性为刘海属性,则将所有训
练面部图像都过一下属性分类器,得到各个训练面部图像的类别识别结果,然后根据各个
训练面部图像的类别识别结果从多个训练面部图像中选取有刘海属性类别中类别置信度
高的训练面部图像,以及无刘海属性类别中类别置信度高的训练面部图像。然后将选取的
各个训练面部图像混合在一起,以训练生成对抗网络模型。
[0128] 本申请实施例在需要对目标对象的第一面部图像进行属性编辑时,可获取第一面部图像的属性编辑需求,以及第一面部图像的图像向量。由于该图像向量中的每个向量元
素组是独立控制一个面部视觉属性的,而属性编辑需求用于指示将目标面部视觉属性的属
性类别编辑成目标属性类别;因此,可在图像向量中确定用于独立控制目标面部视觉属性
的目标向量元素组,并根据目标属性类别对目标向量元素组的元素值进行编辑,从而根据
编辑后的图像向量,生成目标对象的第二面部图像。这样的处理方式可通过图像向量实现
各个面部视觉属性的干净解耦,保证在不影响其他面部视觉属性的情况下,对第一面部图
像的目标面部视觉属性进行单属性编辑,从而改变第一面部图像中关于目标面部视觉属性
的视觉效果,有效提升图像编辑效果。
[0129] 基于上述描述,本申请实施例提出了另一种图像处理方法。该图像处理方法可以由上述所提及的计算机设备执行,该计算机设备可以是终端或者服务器;或者,该图像处理
方法可由终端和服务器共同执行。为便于阐述,后续均以计算机设备执行该图像处理方法
为例进行说明;计算机设备在执行该图像处理方法之前,可先对生成对抗网络模型进行模
型训练,以便于在执行该图像处理方法时,可通过调用训练后的生成对抗网络模型进行面
部图像的生成。其中,该生成对抗网络模型的训练过程如下:
[0130] 首先,可获取用于训练生成对抗网络模型的多个训练面部图像,并在目标面部视觉属性下对每个训练面部图像进行类别识别,得到目标识别结果;该目标识别结果包括:每
个训练面部图像在目标面部视觉属性下所属的属性类别,以及对应的类别置信度。其次,可
根据目标识别结果,将属于目标面部视觉属性下的目标属性类别,且类别置信度满足第一
置信度条件的训练面部图像,作为第一训练样本;根据目标识别结果,将属于目标面部视觉
属性下的其他属性类别,且类别置信度满足第二置信度条件的训练面部图像,作为第二训
练样本。然后,可采用第一训练样本和第二训练样本,对生成对抗网络模型进行模型训练,
得到训练后的生成对抗网络模型。
[0131] 其中,第一置信度条件和第二置信度条件均可根据经验值或者实际需求设置;例如,第一置信度条件包括:类别置信度大于第一置信度阈值的条件,或者对属于目标面部视
觉属性下的目标属性类别的各个训练面部图像的类别置信度降序排列后,类别置信度的排
列位置位于第一指定位置(如前30%的位置)的条件。同理,第二置信度条件可包括:类别置
信度大于第二置信度阈值的条件,或者对属于目标面部视觉属性下的其他属性类别的各个
训练面部图像的类别置信度降序排列后,类别置信度的排列位置位于第二指定位置(如前
25%的位置)的条件,等等。
[0132] 采用此训练过程对生成对抗网络模型进行模型训练,可保证去除一部分与目标面部视觉属性无关的面部视觉属性,并且由于最大限度的选取了目标面部视觉属性下的类别
置信度高的训练面部图像作为生成对抗网络模型的训练样本,可使得生成对抗网络模型以
目标面部视觉属性为中心进行面部图像的生成,从而最大程度保留目标面部视觉属性的视
觉特征,可有利于目标面部视觉属性和其他面部视觉属性之间的解耦。
[0133] 下面将结合图3所示的流程图,对本申请实施例所提出的图像处理方法进行阐述;请参见图3,该图像处理方法可包括以下步骤S301‑S309:
[0134] S301,获取目标对象的第一面部图像的属性编辑需求,第一面部图像具有多个面部视觉属性,属性编辑需求用于指示:将多个面部视觉属性中的目标面部视觉属性的属性
类别编辑成目标属性类别。
[0135] S302,获取第一面部图像的图像向量,该图像向量包括多个向量元素组,一个向量元素组用于独立控制一个面部视觉属性。
[0136] S303,在图像向量中,确定用于独立控制目标面部视觉属性的目标向量元素组。
[0137] S304,根据目标属性类别,对目标向量元素组的元素值进行编辑,得到编辑后的图像向量。
[0138] 在步骤S302‑S304中,第一面部图像的图像向量是位于目标隐空间中的目标图像隐向量,其可包括N层的子隐向量,一个向量元素组包括一层或多层的子隐向量。相应的,步
骤S304的具体实施方式可以是:获取目标属性类别相关联的目标方向向量,该目标方向向
量包括N层的子方向向量;且目标方向向量用于指示将目标面部视觉属性下的其他属性类
别转换至目标属性类别的编辑方向。其次,确定目标向量元素组在图像向量中所处的目标
层,并获取目标方向向量中处于目标层的子方向向量。然后,可采用获取到的子方向向量的
元素值,对目标向量元素组的元素值进行编辑,得到编辑后的图像向量(即编辑后的目标图
像隐向量);具体的,可直接在目标向量元素组的元素值上,加上获取到的子方向向量的元
素值,以实现对目标向量元素组的元素值的编辑,得到编辑后的图像向量。或者,可也先采
用一个调整幅度参数对获取到的子方向向量的元素值进行缩放处理,然后在目标向量元素
组的元素值上,加上缩放处理后的子方向向量的元素值,以实现对目标向量元素组的元素
值的编辑,得到编辑后的图像向量。
[0139] 可选的,在其他实施例中,目标方向向量也可用于指示将目标面部视觉属性下的目标属性类别转换至其他属性类别的编辑方向;那么此情况下,采用获取到的子方向向量
的元素值,对目标向量元素组的元素值进行编辑的具体实施方式便为:直接在目标向量元
素组的元素值上,减去获取到的子方向向量的元素值,以实现对目标向量元素组的元素值
的编辑,得到编辑后的图像向量。或者,可也先采用一个调整幅度参数对获取到的子方向向
量的元素值进行缩放处理,然后在目标向量元素组的元素值上,减去缩放处理后的子方向
向量的元素值,以实现对目标向量元素组的元素值的编辑,得到编辑后的图像向量。
[0140] 其中,与目标属性类别相关联的目标方向向量,可以是预先计算得到的;具体的,该目标方向向量的计算方式可包括以下步骤s11‑s13:
[0141] s11,获取目标面部视觉属性下的其他属性类别和目标属性类别之间的目标超平面。
[0142] 其中,超平面是指x维欧式空间中余维度等于1的线性子空间;例如,一点是一维空间中的超平面为一点,二维空间中的超平面为一条线,三维空间中的超平面为一个平面,以
此类推。一个超平面可将其所在的空间分成2个子空间,超平面的法向量(垂直于超平面的
向量)所指向的那一个子空间所对应的面为正面,另一个子空间所对应的面则为反面;基于
此,本申请实施例所提及的目标超平面可理解成,用于分割出其他属性类别所对应的子空
间和目标属性类别所对应的子空间的线性子空间。
[0143] 在具体实施过程中,可先获取Y个参考图像隐向量,Y为大于1的整数;其中,Y个参考图像隐向量可位于目标隐空间中;那么,获取Y个参考图像隐向量的具体方式可以是:随
机生成Y个初始隐向量z,采用映射网络将每个初始隐向量z从Z空间映射到W空间,得到Y个
中间隐向量z;然后,采用仿射变换模块将每个中间隐向量w从W空间映射到W+空间,得到Y个
参考图像隐向量。在获取到Y个参考图像隐向量后,可根据Y个参考图像隐向量生成Y个参考
面部图像;具体的,计算机设备可调用训练后的生成对抗网络模型分别根据每个参考图像
隐向量,生成Y个参考面部图像,一个参考图像隐向量对应一个参考面部图像。
[0144] 其次,可识别每个参考面部图像在目标面部视觉属性下所属的属性类别,得到参考识别结果;具体的,可调用属性分类器对每个参考面部图像在目标面部视觉属性下的属
性类别进行识别,得到参考识别结果;该参考识别结果包括:每个参考面部图像在目标面部
视觉属性下所属的属性类别。根据参考识别结果,为每个参考面部图像对应的参考图像隐
向量分配类别标签;其中,属于目标属性类别的各个参考面部图像对应的参考图像隐向量
具有相同的类别标签,属于目标面部视觉属性下的其他属性类别的各个参考面部图像对应
的参考图像隐向量具有相同的类别标签。
[0145] 然后,可根据各个参考图像隐向量和对应的类别标签,求取目标面部视觉属性下的其他属性类别和目标属性类别之间的目标超平面。在一种实施方式中,可采用各个参考
图像隐向量和对应的类别标签,对SVM(Support Vector Machine,支持向量机)进行有监督
训练,得到训练后的SVM;然后,调用训练后的SVM对各个参考图像隐向量进行分类处理,得
到目标面部视觉属性下的其他属性类别和目标属性类别之间的目标超平面。另一种实施方
式中,也可利用logistic(一种线性回归分析模型)回归算法,根据各个参考图像隐向量和
对应的类别标签,求取目标面部视觉属性下的其他属性类别和目标属性类别之间的目标超
平面。
[0146] s12,求取目标超平面的法向量,作为目标属性类别相关联的目标法向量;该目标法向量的方向可表示:目标面部视觉属性下的其他属性类别和目标属性类别之间的差异方
向。
[0147] s13,根据目标法向量,计算目标属性类别相关联的目标方向向量。
[0148] 在一种实施方式中,计算机设备可直接将目标法向量,确定为目标属性类别相关联的目标方向向量。另一种实施方式中,经实践表明,当多个面部视觉属性中可能存在与目
标面部视觉属性耦合程度较高的面部视觉属性时,可能会导致求取到的目标超平面的目标
法向量无法实现目标面部视觉属性的干净解耦,若直接将该目标法向量作为目标方向向
量,则可能会影响后续的图像编辑效果。基于此,计算机设备可在多个面部视觉属性中确定
与目标面部视觉属性相耦合的关联面部视觉属性,并获取关联面部视觉属性的关联法向
量,该关联法向量和目标法向量相耦合。然后,可对目标法向量和关联法向量进行解耦处
理,得到目标属性类别相关联的目标方向向量。具体的,可将目标法向量在关联法向量所在
方向上进行投影,得到投影向量;将投影向量确定为目标属性类别相关联的目标方向向量。
例如,参见图4a所示:如果采用v1表示目标属性类别的目标法向量,采用v2表示需要解耦的
关联面部视觉属性的关联法向量,那么通过投影所得到的投影向量可参见黑色向量所示;
T
具体的,投影向量可等于v1‑(v1 v2)v2。
[0149] 应理解的是,本申请实施例是以1个关联面部视觉属性为例进行说明的;在其他实施例中,计算机设备还可采用多个关联面部视觉属性的关联法向量,对目标法向量进行解
耦处理,得到目标属性类别相关联的目标方向向量。另外,本申请实施例是以求取目标面部
视觉属性下的目标属性类别相关联的目标方向向量为例进行说明的,对于其他面部视觉属
性下的各个属性类别的方向向量,均可基于上述所提及的法向量解耦的方式求取得到。
[0150] S305,将编辑后的目标图像隐向量从目标隐空间转换至风格空间,得到目标风格向量。
[0151] 其中,目标风格向量包括M个通道元素,每个通道元素用于独立控制一个面部视觉属性。在一种实施方式中,在得到目标风格向量后,可直接基于该目标风格向量,生成目标
对象的第二面部图像。再一种实施方式中,考虑到由于目标隐空间可能存在部分面部视觉
属性无法干净解耦,从而使得在编辑目标面部视觉属性的过程中,导致其他的面部视觉属
性的属性类别也发生变化;例如,当目标面部视觉属性为嘴巴形态属性,且在目标隐空间将
目标面部视觉属性的属性类别编辑成微笑属性类别时,可能会导致泪沟属性的属性类别从
无泪沟属性类别变成了有泪沟属性类别,如图4b所示。因此,为了进一步提升图像编辑的准
确性,计算机设备在得到目标风格向量后,还可通过步骤S306对目标风格向量进行异常通
道元素的检测,以便于在检测到目标风格向量中存在异常通道元素时,对该异常通道元素
的元素值进行校准,进而保证后续生成的第二面部图像和第一面部图像之间只在目标面部
视觉属性上存在视觉差异。
[0152] S306,在目标风格向量中检测异常通道元素。
[0153] 其中,异常通道元素满足如下条件:控制的面部视觉属性与目标面部视觉属性不同,且元素值因编辑目标面部视觉属性而发生改变。由前述可知,第一面部图像具有多个面
部视觉属性,那么步骤S306的具体实施方式可以是:遍历多个面部视觉属性中,除目标面部
视觉属性以外的各个面部视觉属性;针对当前遍历的当前面部视觉属性,在目标风格向量
中确定用于控制当前面部视觉属性的当前通道元素,以及当前通道元素的参考元素值;根
据第一面部图像,获取当前通道元素的基准元素值;若检测到参考元素值和基准元素值不
匹配,则确定当前通道元素是异常通道元素;否则,则确定当前通道元素不是异常通道元
素。当多个面部视觉属性均被遍历,便可确定目标风格向量中是否存在异常通道元素。若存
在,则可执行步骤S307‑S308,若不存在,则可执行步骤S309。
[0154] S307,若检测到异常通道元素,则在目标风格向量中对异常通道元素的元素值进行校准,得到校准后的风格向量;具体的,可在目标风格向量中将异常通道元素的元素值校
准成异常通道元素所对应的基准值,从而便可得到校准后的风格向量。
[0155] S308,基于校准后的风格向量,生成目标对象的第二面部图像;具体的,可调用训练后的生成对抗网络模型基于校准后的风格向量,生成目标对象的第二面部图像。
[0156] S309,若未检测到异常通道元素,则基于编辑后的目标图像隐向量,生成目标对象的第二面部图像。
[0157] 具体的,可调用训练后的生成对抗网络模型基于编辑后的目标图像隐向量,生成目标对象的第二面部图像。可选的,在得到第二面部图像后,计算机设备还可将该第二面部
图像上传存储至区块链网络的区块链中,以防止该第二面部图像被恶意篡改。具体的,若计
算机设备是区块链网络中的节点,则先可将第二面部图像添加至目标区块的区块主体中,
并对区块主体中的目标模型进行哈希运算,得到默克尔哈希值。其次,可采用随机算法生成
一个随机数,并采用计算得到的默克尔哈希值、随机数、版本号、上一区块哈希值、当前时间
戳以及当前难度值组成目标区块的区块头部。其中,版本号是指区块链中相关区块协议的
版本信息;上一区块哈希值是指上一区块的区块头部的特征值;当前时间戳是指组成区块
头部时的系统时间;当前难度值是指计算的难度值,该难度值在固定时间段内为定值,并在
超出固定时间段后再次进行确定。
[0158] 然后,可采用特征值算法(如SHA256算法)对区块头部所包含的内容进行一次或多次哈希运算,得到目标区块的区块头部的特征值;此处的哈希运算的次数可根据计算难度
确定,计算难度越大,哈希运算的次数越多。在基于上述步骤得到目标区块后,可将该目标
区块广播给区块链网络中的各个共识节点进行共识处理;在通过共识处理后,将目标区块
添加至区块链上。应理解的是,若计算机设备是区块链网络外的设备,则可将第二面部图像
发送给区块链网络中的任一共识节点,由该任一共识节点执行上述步骤,以将第二面部图
像存储至区块链中。
[0159] 可选的,在得到第二面部图像后,计算机设备可直接输出该第二面部图像,以供用户查看;也可将该第二面部图像作为样本,应用到模型训练应用场景中。例如,计算机设备
可获取待优化的图像编辑模型;采用第一面部图像和第二面部图像构成样本图像对,并采
用样本图像对,对图像编辑模型进行模型优化,得到优化后的图像编辑模型。其中,该优化
后的图像编辑模型用于将任一面部图像的目标面部视觉属性的属性类别编辑成目标属性
类别。那么,在得到优化后的图像编辑模型后,计算机设备便可将优化后的图像编辑模型投
入到实际的产品运营环境中;使得当目标用户想要对某目标面部图像进行属性编辑时,计
算机设备可获取目标面部图像,以及目标面部图像的图像编辑需求。若图像编辑需求用于
指示:将目标面部图像的目标面部视觉属性的属性类别编辑成目标属性类别,则调用优化
后的图像编辑模型对目标面部图像进行编辑处理,得到编辑后的目标面部图像;并输出该
编辑后的目标面部图像。可选的,在得到优化后的图像编辑模型后,计算机设备还可将该优
化后的图像编辑模型上传存储至区块链网络的区块链中,以防止该优化后的图像编辑模型
被恶意篡改。
[0160] 应理解的是,本申请实施例所提出的图像处理方法也可直接被运用到实际的产品运营环境中,以直接实现对目标用户所输入的目标面部图像进行属性编辑,此情况下的目
标面部图像可理解成是步骤S301‑S309中所提及的第一面部图像。另外,本申请实施例均是
以一个目标面部视觉属性为例进行说明的,在实际应用中,第一面部图像可能存在至少两
个面部视觉属性的编辑需求,在此情况下,计算机设备可通过上述步骤S301‑S309分别对每
个面部视觉属性进行单属性编辑,从而得到第二面部图像。
[0161] 例如,当某用户在使用多媒体APP的过程中,想要将自己的人脸图像编辑成假笑表情的人脸图像,则可向计算机设备输入用户人脸图像以及用于指示将用户人脸图像编辑成
欧美脸风格的人脸图像的指示信息;此时计算机设备可通过上述步骤S301‑S309,实现对用
户人脸图像的嘴巴形状属性和法令纹属性进行单属性编辑,而控制其他面部视觉属性不
变,如图4c所示。又如,当某用户在使用多媒体APP的过程中,想要将自己的人脸图像编辑成
欧美脸风格的人脸图像,则可向计算机设备输入用户人脸图像以及用于指示将用户人脸图
像编辑成欧美脸风格的人脸图像的指示信息;此时计算机设备可通过上述步骤S301‑S309,
实现对用户人脸图像的五官维度下的各个面部视觉属性(如鼻子形状属性、眼睛大小属性、
嘴巴形状属性、面部肤色属性等)进行单属性编辑,而控制头发颜色属性和面部肤色属性尽
量不变,从而使编辑得到的人脸图像的效果更自然。
[0162] 本申请实施例在需要对目标对象的第一面部图像进行属性编辑时,可获取第一面部图像的属性编辑需求,以及第一面部图像的图像向量。由于该图像向量中的每个向量元
素组是独立控制一个面部视觉属性的,而属性编辑需求用于指示将目标面部视觉属性的属
性类别编辑成目标属性类别;因此,可在图像向量中确定用于独立控制目标面部视觉属性
的目标向量元素组,并根据目标属性类别对目标向量元素组的元素值进行编辑,从而根据
编辑后的图像向量,生成目标对象的第二面部图像。这样的处理方式可通过图像向量实现
各个面部视觉属性的干净解耦,保证在不影响其他面部视觉属性的情况下,对第一面部图
像的目标面部视觉属性进行单属性编辑,从而改变第一面部图像中关于目标面部视觉属性
的视觉效果,有效提升图像编辑效果。
[0163] 基于上述图像处理方法的相关实施例的描述,本申请实施例还提出了一种图像处理装置,该图像处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)。
该图像处理装置可以执行图2或图3所示的图像处理方法;请参见图5,所述图像处理装置可
以运行如下单元:
[0164] 获取单元501,用于获取目标对象的第一面部图像的属性编辑需求,所述第一面部图像具有多个面部视觉属性,所述属性编辑需求用于指示:将所述多个面部视觉属性中的
目标面部视觉属性的属性类别编辑成目标属性类别;
[0165] 所述获取单元501,还用于获取所述第一面部图像的图像向量,所述图像向量包括多个向量元素组,一个向量元素组用于独立控制一个面部视觉属性;
[0166] 处理单元502,用于在所述图像向量中,确定用于独立控制所述目标面部视觉属性的目标向量元素组;并根据所述目标属性类别,对所述目标向量元素组的元素值进行编辑,
得到编辑后的图像向量;
[0167] 所述处理单元502,还用于基于所述编辑后的图像向量,生成所述目标对象的第二面部图像。
[0168] 在一种实施方式中,所述图像向量包括N层的子隐向量,一个向量元素组包括一层或多层的子隐向量,N为大于1的正整数;相应的,处理单元502在用于根据所述目标属性类
别,对所述目标向量元素组的元素值进行编辑,得到编辑后的图像向量时,可具体用于:
[0169] 获取所述目标属性类别相关联的目标方向向量,所述目标方向向量包括N层的子方向向量;且所述目标方向向量用于指示将所述目标面部视觉属性下的其他属性类别转换
至所述目标属性类别的编辑方向;
[0170] 确定所述目标向量元素组在所述图像向量中所处的目标层,并获取所述目标方向向量中处于所述目标层的子方向向量;
[0171] 采用获取到的子方向向量的元素值,对所述目标向量元素组的元素值进行编辑,得到编辑后的图像向量。
[0172] 另一种实施方式中,处理单元502还可用于:
[0173] 获取所述目标面部视觉属性下的其他属性类别和所述目标属性类别之间的目标超平面;
[0174] 求取所述目标超平面的法向量,作为所述目标属性类别相关联的目标法向量;所述目标法向量的方向表示:所述目标面部视觉属性下的其他属性类别和所述目标属性类别
之间的差异方向;
[0175] 根据所述目标法向量,计算所述目标属性类别相关联的目标方向向量。
[0176] 另一种实施方式中,处理单元502在用于根据所述目标法向量,计算所述目标属性类别相关联的目标方向向量时,可具体用于:
[0177] 在所述多个面部视觉属性中确定与所述目标面部视觉属性相耦合的关联面部视觉属性,并获取所述关联面部视觉属性的关联法向量,所述关联法向量和所述目标法向量
相耦合;
[0178] 对所述目标法向量和所述关联法向量进行解耦处理,得到所述目标属性类别相关联的目标方向向量。
[0179] 另一种实施方式中,处理单元502在对所述目标法向量和所述关联法向量进行解耦处理,得到所述目标属性类别相关联的目标方向向量时,可具体用于:
[0180] 将所述目标法向量在所述关联法向量所在方向上进行投影,得到投影向量;
[0181] 将所述投影向量确定为所述目标属性类别相关联的目标方向向量。
[0182] 另一种实施方式中,处理单元502在用于获取所述目标面部视觉属性下的其他属性类别和所述目标属性类别之间的目标超平面时,可具体用于:
[0183] 获取Y个参考图像隐向量,并根据所述Y个参考图像隐向量生成Y个参考面部图像,一个参考图像隐向量对应一个参考面部图像,Y为大于1的整数;
[0184] 识别每个参考面部图像在所述目标面部视觉属性下所属的属性类别,得到参考识别结果;
[0185] 根据所述参考识别结果,为所述每个参考面部图像对应的参考图像隐向量分配类别标签;其中,属于所述目标属性类别的各个参考面部图像对应的参考图像隐向量具有相
同的类别标签,属于所述目标面部视觉属性下的其他属性类别的各个参考面部图像对应的
参考图像隐向量具有相同的类别标签;
[0186] 根据各个参考图像隐向量和对应的类别标签,求取所述目标面部视觉属性下的其他属性类别和所述目标属性类别之间的目标超平面。
[0187] 另一种实施方式中,所述图像向量为目标隐空间中的目标图像隐向量,所述编辑后的图像向量为编辑后的目标图像隐向量;相应的,处理单元502在用于基于编辑后的图像
向量,生成所述目标对象的第二面部图像时,可具体用于:
[0188] 将所述编辑后的目标图像隐向量从所述目标隐空间转换至风格空间,得到目标风格向量;所述目标风格向量包括M个通道元素,每个通道元素用于独立控制一个面部视觉属
性;
[0189] 在所述目标风格向量中检测异常通道元素,所述异常通道元素满足如下条件:控制的面部视觉属性与所述目标面部视觉属性不同,且元素值因编辑所述目标面部视觉属性
而发生改变;
[0190] 若检测到所述异常通道元素,则在所述目标风格向量中对所述异常通道元素的元素值进行校准,得到校准后的风格向量;
[0191] 基于所述校准后的风格向量,生成所述目标对象的第二面部图像。
[0192] 另一种实施方式中,处理单元502在用于在所述目标风格向量中检测异常通道元素时,可具体用于:
[0193] 遍历所述多个面部视觉属性中,除所述目标面部视觉属性以外的各个面部视觉属性;
[0194] 针对当前遍历的当前面部视觉属性,在所述目标风格向量中确定用于控制所述当前面部视觉属性的当前通道元素,以及所述当前通道元素的参考元素值;
[0195] 根据所述第一面部图像,获取所述当前通道元素的基准元素值;
[0196] 若检测到所述参考元素值和所述基准元素值不匹配,则确定所述当前通道元素是异常通道元素;否则,则确定所述当前通道元素不是所述异常通道元素。
[0197] 另一种实施方式中,所述图像向量位于风格空间;相应的,处理单元502在用于根据所述目标属性类别,对所述目标向量元素组的元素值进行编辑,得到编辑后的图像向量
时,可具体用于:
[0198] 根据所述目标面部视觉属性下的各个属性类别和元素值之间的对应关系,将所述目标属性类别对应的元素值作为目标元素值;
[0199] 将所述目标向量元素组的元素值调整成所述目标元素值,得到编辑后的图像向量。
[0200] 另一种实施方式中,所述图像向量包括M个通道元素,一个向量元素组包括一个通道元素,所述目标向量元素组为目标通道元素;相应的,处理单元502还可用于:
[0201] 获取P个样本面部图像,以及每个样本面部图像的样本风格向量,P为大于1的正整数;
[0202] 识别每个样本面部图像在所述目标面部视觉属性下所属的属性类别,得到样本识别结果;
[0203] 根据所述样本识别结果,从所述P个样本面部图像中选取正样本和负样本,所述正样本是指属于所述目标面部视觉属性下的指定属性类别的样本面部图像,所述负样本包
括:所述P个样本面部图像中的全部或部分样本面部图像,或者不属于所述指定属性类别的
样本面部图像;
[0204] 根据所述正样本的样本风格向量中的每个通道元素的元素值,以及所述负样本的样本风格向量中的每个通道元素的元素值,分别计算所述每个通道元素的元素值差异;
[0205] 将具有最大元素值差异的通道元素,确定为用于控制所述目标面部视觉属性的目标通道元素。
[0206] 另一种实施方式中,处理单元502在用于基于编辑后的图像向量,生成所述目标对象的第二面部图像时,可具体用于:调用训练后的生成对抗网络模型基于所述编辑后的图
像向量,生成所述目标对象的第二面部图像;相应的,处理单元502还可用于:
[0207] 获取用于训练生成对抗网络模型的多个训练面部图像,并在所述目标面部视觉属性下对每个训练面部图像进行类别识别,得到目标识别结果;所述目标识别结果包括:所述
每个训练面部图像在所述目标面部视觉属性下所属的属性类别,以及对应的类别置信度;
[0208] 根据所述目标识别结果,将属于所述目标面部视觉属性下的所述目标属性类别,且类别置信度满足第一置信度条件的训练面部图像,作为第一训练样本;
[0209] 根据所述目标识别结果,将属于所述目标面部视觉属性下的其他属性类别,且类别置信度满足第二置信度条件的训练面部图像,作为第二训练样本;
[0210] 采用所述第一训练样本和所述第二训练样本,对所述生成对抗网络模型进行模型训练,得到训练后的生成对抗网络模型。
[0211] 另一种实施方式中,处理单元502还可用于:
[0212] 获取待优化的图像编辑模型;
[0213] 采用所述第一面部图像和所述第二面部图像构成样本图像对,并采用所述样本图像对,对所述图像编辑模型进行模型优化,得到优化后的图像编辑模型;
[0214] 其中,所述优化后的图像编辑模型用于将任一面部图像的目标面部视觉属性的属性类别编辑成所述目标属性类别。
[0215] 另一种实施方式中,处理单元502还可用于:
[0216] 获取目标面部图像,以及所述目标面部图像的图像编辑需求;
[0217] 若所述图像编辑需求用于指示:将所述目标面部图像的目标面部视觉属性的属性类别编辑成所述目标属性类别,则调用所述优化后的图像编辑模型对所述目标面部图像进
行编辑处理,得到编辑后的目标面部图像;
[0218] 输出所述编辑后的目标面部图像。
[0219] 根据本申请的一个实施例,图2或图3所示的方法所涉及的各个步骤均可以是由图5所示的图像处理装置中的各个单元来执行的。例如,图2中所示的步骤S201‑步骤S202均可
由图5中所示的获取单元501执行,步骤S203‑S205均可由图5中所示的处理单元502执行。又
如,图3中所示的步骤S301‑步骤S302均可由图5中所示的获取单元501执行,步骤S303‑S309
均可由图5中所示的处理单元502执行,等等。
[0220] 根据本申请的另一个实施例,图5所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功
能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效
果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个
单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,基于模型优
化装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可
以由多个单元协作实现。
[0221] 根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运
行能够执行如图2或图3中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),
来构造如图5中所示的图像处理装置设备,以及来实现本申请实施例的图像处理方法。所述
计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上
述计算设备中,并在其中运行。
[0222] 本申请实施例在需要对目标对象的第一面部图像进行属性编辑时,可获取第一面部图像的属性编辑需求,以及第一面部图像的图像向量。由于该图像向量中的每个向量元
素组是独立控制一个面部视觉属性的,而属性编辑需求用于指示将目标面部视觉属性的属
性类别编辑成目标属性类别;因此,可在图像向量中确定用于独立控制目标面部视觉属性
的目标向量元素组,并根据目标属性类别对目标向量元素组的元素值进行编辑,从而根据
编辑后的图像向量,生成目标对象的第二面部图像。这样的处理方式可通过图像向量实现
各个面部视觉属性的干净解耦,保证在不影响其他面部视觉属性的情况下,对第一面部图
像的目标面部视觉属性进行单属性编辑,从而改变第一面部图像中关于目标面部视觉属性
的视觉效果,有效提升图像编辑效果。
[0223] 基于上述方法实施例以及装置实施例的描述,本申请实施例还提供一种计算机设备。请参见图6,该计算机设备至少包括处理器601、输入接口602、输出接口603以及计算机
存储介质604。其中,计算机设备内的处理器601、输入接口602、输出接口603以及计算机存
储介质604可通过总线或其他方式连接。
[0224] 计算机存储介质604可以存储在计算机设备的存储器中,所述计算机存储介质604用于存储计算机程序,所述计算机程序包括程序指令,所述处理器601 用于执行所述计算
机存储介质604存储的程序指令。处理器601(或称CPU(Central Processing Unit,中央处
理器))是计算机设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加
载并执行一条或多条指令从而实现相应方法流程或相应功能;在一个实施例中,本申请实
施例所述的处理器601可以用于进行一系列的图像处理,具体包括:获取目标对象的第一面
部图像的属性编辑需求,所述第一面部图像具有多个面部视觉属性,所述属性编辑需求用
于指示:将所述多个面部视觉属性中的目标面部视觉属性的属性类别编辑成目标属性类
别;获取所述第一面部图像的图像向量,所述图像向量包括多个向量元素组,一个向量元素
组用于独立控制一个面部视觉属性;在所述图像向量中,确定用于独立控制所述目标面部
视觉属性的目标向量元素组;并根据所述目标属性类别,对所述目标向量元素组的元素值
进行编辑,得到编辑后的图像向量;基于所述编辑后的图像向量,生成所述目标对象的第二
面部图像,等等。
[0225] 本申请实施例还提供了一种计算机存储介质(Memory),所述计算机存储介质是计算机设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可
以包括计算机设备中的内置存储介质,当然也可以包括计算机设备所支持的扩展存储介
质。计算机存储介质提供存储空间,该存储空间存储了计算机设备的操作系统。并且,在该
存储空间中还存放了适于被处理器加载并执行的一条或多条的指令,这些指令可以是一个
或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是
高速RAM存储器,也可以是非不稳定的存储器(non‑volatile memory),例如至少一个磁盘
存储器;可选的,还可以是至少一个位于远离前述处理器的计算机存储介质。
[0226] 在一个实施例中,可由处理器加载并执行计算机存储介质中存放的一条或多条指令,以实现上述有关图2或图3所示的图像处理方法实施例中的方法的相应步骤;具体实现
中,计算机存储介质中的一条或多条指令由处理器加载并执行如下步骤:
[0227] 获取目标对象的第一面部图像的属性编辑需求,所述第一面部图像具有多个面部视觉属性,所述属性编辑需求用于指示:将所述多个面部视觉属性中的目标面部视觉属性
的属性类别编辑成目标属性类别;
[0228] 获取所述第一面部图像的图像向量,所述图像向量包括多个向量元素组,一个向量元素组用于独立控制一个面部视觉属性;
[0229] 在所述图像向量中,确定用于独立控制所述目标面部视觉属性的目标向量元素组;并根据所述目标属性类别,对所述目标向量元素组的元素值进行编辑,得到编辑后的图
像向量;
[0230] 基于所述编辑后的图像向量,生成所述目标对象的第二面部图像。
[0231] 在一种实施方式中,所述图像向量包括N层的子隐向量,一个向量元素组包括一层或多层的子隐向量,N为大于1的正整数;相应的,在根据所述目标属性类别,对所述目标向
量元素组的元素值进行编辑,得到编辑后的图像向量时,所述一条或多条指令可由处理器
加载并具体执行:
[0232] 获取所述目标属性类别相关联的目标方向向量,所述目标方向向量包括N层的子方向向量;且所述目标方向向量用于指示将所述目标面部视觉属性下的其他属性类别转换
至所述目标属性类别的编辑方向;
[0233] 确定所述目标向量元素组在所述图像向量中所处的目标层,并获取所述目标方向向量中处于所述目标层的子方向向量;
[0234] 采用获取到的子方向向量的元素值,对所述目标向量元素组的元素值进行编辑,得到编辑后的图像向量。
[0235] 另一种实施方式中,所述一条或多条指令还可由处理器加载并具体执行:
[0236] 获取所述目标面部视觉属性下的其他属性类别和所述目标属性类别之间的目标超平面;
[0237] 求取所述目标超平面的法向量,作为所述目标属性类别相关联的目标法向量;所述目标法向量的方向表示:所述目标面部视觉属性下的其他属性类别和所述目标属性类别
之间的差异方向;
[0238] 根据所述目标法向量,计算所述目标属性类别相关联的目标方向向量。
[0239] 另一种实施方式中,在根据所述目标法向量,计算所述目标属性类别相关联的目标方向向量时,所述一条或多条指令可由处理器加载并具体执行:
[0240] 在所述多个面部视觉属性中确定与所述目标面部视觉属性相耦合的关联面部视觉属性,并获取所述关联面部视觉属性的关联法向量,所述关联法向量和所述目标法向量
相耦合;
[0241] 对所述目标法向量和所述关联法向量进行解耦处理,得到所述目标属性类别相关联的目标方向向量。
[0242] 另一种实施方式中,在对所述目标法向量和所述关联法向量进行解耦处理,得到所述目标属性类别相关联的目标方向向量时,所述一条或多条指令可由处理器加载并具体
执行:
[0243] 将所述目标法向量在所述关联法向量所在方向上进行投影,得到投影向量;
[0244] 将所述投影向量确定为所述目标属性类别相关联的目标方向向量。
[0245] 另一种实施方式中,在获取所述目标面部视觉属性下的其他属性类别和所述目标属性类别之间的目标超平面时,所述一条或多条指令可由处理器加载并具体执行:
[0246] 获取Y个参考图像隐向量,并根据所述Y个参考图像隐向量生成Y个参考面部图像,一个参考图像隐向量对应一个参考面部图像,Y为大于1的整数;
[0247] 识别每个参考面部图像在所述目标面部视觉属性下所属的属性类别,得到参考识别结果;
[0248] 根据所述参考识别结果,为所述每个参考面部图像对应的参考图像隐向量分配类别标签;其中,属于所述目标属性类别的各个参考面部图像对应的参考图像隐向量具有相
同的类别标签,属于所述目标面部视觉属性下的其他属性类别的各个参考面部图像对应的
参考图像隐向量具有相同的类别标签;
[0249] 根据各个参考图像隐向量和对应的类别标签,求取所述目标面部视觉属性下的其他属性类别和所述目标属性类别之间的目标超平面。
[0250] 另一种实施方式中,所述图像向量为目标隐空间中的目标图像隐向量,所述编辑后的图像向量为编辑后的目标图像隐向量;相应的,在基于编辑后的图像向量,生成所述目
标对象的第二面部图像时,所述一条或多条指令可由处理器加载并具体执行:
[0251] 将所述编辑后的目标图像隐向量从所述目标隐空间转换至风格空间,得到目标风格向量;所述目标风格向量包括M个通道元素,每个通道元素用于独立控制一个面部视觉属
性;
[0252] 在所述目标风格向量中检测异常通道元素,所述异常通道元素满足如下条件:控制的面部视觉属性与所述目标面部视觉属性不同,且元素值因编辑所述目标面部视觉属性
而发生改变;
[0253] 若检测到所述异常通道元素,则在所述目标风格向量中对所述异常通道元素的元素值进行校准,得到校准后的风格向量;
[0254] 基于所述校准后的风格向量,生成所述目标对象的第二面部图像。
[0255] 另一种实施方式中,在所述目标风格向量中检测异常通道元素时,所述一条或多条指令可由处理器加载并具体执行:
[0256] 遍历所述多个面部视觉属性中,除所述目标面部视觉属性以外的各个面部视觉属性;
[0257] 针对当前遍历的当前面部视觉属性,在所述目标风格向量中确定用于控制所述当前面部视觉属性的当前通道元素,以及所述当前通道元素的参考元素值;
[0258] 根据所述第一面部图像,获取所述当前通道元素的基准元素值;
[0259] 若检测到所述参考元素值和所述基准元素值不匹配,则确定所述当前通道元素是异常通道元素;否则,则确定所述当前通道元素不是所述异常通道元素。
[0260] 另一种实施方式中,所述图像向量位于风格空间;相应的,在根据所述目标属性类别,对所述目标向量元素组的元素值进行编辑,得到编辑后的图像向量时,所述一条或多条
指令可由处理器加载并具体执行:
[0261] 根据所述目标面部视觉属性下的各个属性类别和元素值之间的对应关系,将所述目标属性类别对应的元素值作为目标元素值;
[0262] 将所述目标向量元素组的元素值调整成所述目标元素值,得到编辑后的图像向量。
[0263] 另一种实施方式中,所述图像向量包括M个通道元素,一个向量元素组包括一个通道元素,所述目标向量元素组为目标通道元素;相应的,所述一条或多条指令还可由处理器
加载并具体执行:
[0264] 获取P个样本面部图像,以及每个样本面部图像的样本风格向量,P为大于1的正整数;
[0265] 识别每个样本面部图像在所述目标面部视觉属性下所属的属性类别,得到样本识别结果;
[0266] 根据所述样本识别结果,从所述P个样本面部图像中选取正样本和负样本,所述正样本是指属于所述目标面部视觉属性下的指定属性类别的样本面部图像,所述负样本包
括:所述P个样本面部图像中的全部或部分样本面部图像,或者不属于所述指定属性类别的
样本面部图像;
[0267] 根据所述正样本的样本风格向量中的每个通道元素的元素值,以及所述负样本的样本风格向量中的每个通道元素的元素值,分别计算所述每个通道元素的元素值差异;
[0268] 将具有最大元素值差异的通道元素,确定为用于控制所述目标面部视觉属性的目标通道元素。
[0269] 另一种实施方式中,在基于编辑后的图像向量,生成所述目标对象的第二面部图像时,所述一条或多条指令可由处理器加载并具体执行:调用训练后的生成对抗网络模型
基于所述编辑后的图像向量,生成所述目标对象的第二面部图像;相应的,所述一条或多条
指令还可由处理器加载并具体执行:
[0270] 获取用于训练生成对抗网络模型的多个训练面部图像,并在所述目标面部视觉属性下对每个训练面部图像进行类别识别,得到目标识别结果;所述目标识别结果包括:所述
每个训练面部图像在所述目标面部视觉属性下所属的属性类别,以及对应的类别置信度;
[0271] 根据所述目标识别结果,将属于所述目标面部视觉属性下的所述目标属性类别,且类别置信度满足第一置信度条件的训练面部图像,作为第一训练样本;
[0272] 根据所述目标识别结果,将属于所述目标面部视觉属性下的其他属性类别,且类别置信度满足第二置信度条件的训练面部图像,作为第二训练样本;
[0273] 采用所述第一训练样本和所述第二训练样本,对所述生成对抗网络模型进行模型训练,得到训练后的生成对抗网络模型。
[0274] 另一种实施方式中,所述一条或多条指令还可由处理器加载并具体执行:
[0275] 获取待优化的图像编辑模型;
[0276] 采用所述第一面部图像和所述第二面部图像构成样本图像对,并采用所述样本图像对,对所述图像编辑模型进行模型优化,得到优化后的图像编辑模型;
[0277] 其中,所述优化后的图像编辑模型用于将任一面部图像的目标面部视觉属性的属性类别编辑成所述目标属性类别。
[0278] 另一种实施方式中,所述一条或多条指令还可由处理器加载并具体执行:
[0279] 获取目标面部图像,以及所述目标面部图像的图像编辑需求;
[0280] 若所述图像编辑需求用于指示:将所述目标面部图像的目标面部视觉属性的属性类别编辑成所述目标属性类别,则调用所述优化后的图像编辑模型对所述目标面部图像进
行编辑处理,得到编辑后的目标面部图像;
[0281] 输出所述编辑后的目标面部图像。
[0282] 本申请实施例在需要对目标对象的第一面部图像进行属性编辑时,可获取第一面部图像的属性编辑需求,以及第一面部图像的图像向量。由于该图像向量中的每个向量元
素组是独立控制一个面部视觉属性的,而属性编辑需求用于指示将目标面部视觉属性的属
性类别编辑成目标属性类别;因此,可在图像向量中确定用于独立控制目标面部视觉属性
的目标向量元素组,并根据目标属性类别对目标向量元素组的元素值进行编辑,从而根据
编辑后的图像向量,生成目标对象的第二面部图像。这样的处理方式可通过图像向量实现
各个面部视觉属性的干净解耦,保证在不影响其他面部视觉属性的情况下,对第一面部图
像的目标面部视觉属性进行单属性编辑,从而改变第一面部图像中关于目标面部视觉属性
的视觉效果,有效提升图像编辑效果。
[0283] 需要说明的是,根据本申请的一个方面,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读
存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行
该计算机指令,使得该计算机设备执行上述图2或图3所示的图像处理方法实施例方面的各
种可选方式中提供的方法。
[0284] 并且,应理解的是,以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。