一种虚拟人脸图像生成方法、装置及电子设备

摘要

本发明提供一种虚拟人脸图像生成方法、装置及电子设备，可以获得随机噪声和目标风格类型的真实人脸图像；对随机噪声进行类型化人脸特征映射，获得目标风格类型的虚拟人脸特征数据；对真实人脸图像进行特征提取，获得真实人脸特征数据；对虚拟人脸特征数据和真实人脸特征数据进行混合处理，获得混合数据；将混合数据输入至训练好的虚拟人脸生成器，获得虚拟人脸生成器生成的目标风格类型的虚拟人脸图像；其中，虚拟人脸生成器是通过使用第一随机噪声和第一风格类型的真实人脸图像，对预训练模型进行训练获得的。本发明可以有效提高目标风格类型的虚拟人脸图像的图像成品率。

权利要求

1.一种虚拟人脸图像生成方法，其特征在于，包括：

获得随机噪声和目标风格类型的真实人脸图像；

对所述随机噪声进行类型化人脸特征映射，获得所述目标风格类型的虚拟人脸特征数据；

对所述真实人脸图像进行特征提取，获得真实人脸特征数据；

对所述虚拟人脸特征数据和所述真实人脸特征数据进行混合处理，获得混合数据；

所述对所述虚拟人脸特征数据和所述真实人脸特征数据进行混合处理，获得混合数据，包括：确定待用于进行混合处理的特征混合权重；

基于所述特征混合权重，对所述虚拟人脸特征数据和所述真实人脸特征数据进行混合处理，获得所述混合数据；

将所述混合数据输入至训练好的虚拟人脸生成器，获得所述虚拟人脸生成器生成的所述目标风格类型的虚拟人脸图像；

其中，所述虚拟人脸生成器是通过使用第一随机噪声和第一风格类型的真实人脸图像，对预训练模型进行训练获得的。

2.根据权利要求1所述的虚拟人脸图像生成方法，其特征在于，所述虚拟人脸生成器包括自注意力模块，所述自注意力模块用于优化待生成虚拟人脸图像中的人脸细节纹理；所述将所述混合数据输入至训练好的虚拟人脸生成器，获得所述虚拟人脸生成器生成的所述目标风格类型的虚拟人脸图像，包括：将所述混合数据输入至所述虚拟人脸生成器，获得所述虚拟人脸生成器基于所述自注意力模块进行人脸细节纹理优化处理而生成的所述虚拟人脸图像。

3.根据权利要求2所述的虚拟人脸图像生成方法，其特征在于，所述虚拟人脸生成器是在虚拟人脸生成模型的虚拟人脸生成网络中增加所述自注意力模块而得到的；其中，在所述虚拟人脸生成器中，从第五个复杂卷积堆叠层开始，每个复杂卷积堆叠层后均包括所述自注意力模块。

4.根据权利要求1所述的虚拟人脸图像生成方法，其特征在于，所述第一风格类型的真实人脸图像通过如下方式获得：获得第一描述文本和第一真实人脸图像；其中，所述第一描述文本为所述第一风格类型的图像风格描述文本；

将所述第一描述文本和所述第一真实人脸图像输入至训练好的图像风格分类器进行图像风格分类，获得所述图像风格分类器输出的图像分类结果；所述图像分类结果为所述第一真实人脸图像是否为所述第一风格类型的真实人脸图像的分类结果；

当所述图像分类结果为是的情况下，将所述第一真实人脸图像确定为所述第一风格类型的真实人脸图像；

其中，所述图像风格分类器是基于第二描述文本和第二风格类型的真实人脸图像训练得到的。

5.根据权利要求4所述的虚拟人脸图像生成方法，其特征在于，所述图像风格分类器包括图像特征提取层、图文关联特征提取层和相似度处理层，所述图像分类结果通过如下方式获得：将所述第一描述文本输入至所述图文关联特征提取层进行文本特征提取，获得所述图文关联特征提取层输出的文本特征向量；

将所述第一真实人脸图像输入至所述图像特征提取层进行图像特征提取，获得所述图像特征提取层输出的图像特征向量；

将所述文本特征向量与所述图像特征向量输入至所述相似度处理层，获得所述相似度处理层输出的所述图像分类结果；其中，所述相似度处理层用于确定所述文本特征向量与所述图像特征向量的余弦相似度，基于所述余弦相似度与预设相似度阈值的比较结果，生成并输出所述图像分类结果。

6.根据权利要求1所述的虚拟人脸图像生成方法，其特征在于，所述获得随机噪声和目标风格类型的真实人脸图像，包括：获得多个所述真实人脸图像；

通过随机采样，获得一个所述随机噪声；

所述对所述随机噪声进行类型化人脸特征映射，获得所述目标风格类型的虚拟人脸特征数据，包括：对随机采样获得的所述随机噪声进行类型化人脸特征映射，获得所述虚拟人脸特征数据；

所述对所述真实人脸图像进行特征提取，获得真实人脸特征数据，包括：从多个所述真实人脸图像中，随机选取一个所述真实人脸图像确定为待处理真实人脸图像；

对所述待处理真实人脸图像进行特征提取，获得所述真实人脸特征数据。

7.根据权利要求6所述的虚拟人脸图像生成方法，其特征在于，在所述获得所述虚拟人脸生成器生成的所述目标风格类型的虚拟人脸图像之后，所述虚拟人脸图像生成方法还包括：返回执行所述通过随机采样，获得一个所述随机噪声的步骤，直至获得由所述虚拟人脸生成器生成的所述目标风格类型的、第一数量的虚拟人脸图像。

8.一种虚拟人脸图像生成装置，其特征在于，包括：第一获得单元、第二获得单元、第三获得单元、第四获得单元和第五获得单元；其中：所述第一获得单元，用于获得随机噪声和目标风格类型的真实人脸图像；

所述第二获得单元，用于对所述随机噪声进行类型化人脸特征映射，获得所述目标风格类型的虚拟人脸特征数据；

所述第三获得单元，用于对所述真实人脸图像进行特征提取，获得真实人脸特征数据；

所述第四获得单元，用于对所述虚拟人脸特征数据和所述真实人脸特征数据进行混合处理，获得混合数据；

所述第四获得单元，包括：第一确定单元、混合处理单元和第六获得单元；

第一确定单元，用于确定待用于进行混合处理的特征混合权重；

混合处理单元，用于基于特征混合权重，对虚拟人脸特征数据和真实人脸特征数据进行混合处理；

第六获得单元，用于获得混合数据；

所述第五获得单元，用于将所述混合数据输入至训练好的虚拟人脸生成器，获得所述虚拟人脸生成器生成的所述目标风格类型的虚拟人脸图像；

其中，所述虚拟人脸生成器是通过使用第一随机噪声和第一风格类型的真实人脸图像，对预训练模型进行训练获得的。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述虚拟人脸图像生成方法。

说明书

一种虚拟人脸图像生成方法、装置及电子设备

技术领域

[0001] 本发明涉及人工智能技术领域，尤其涉及一种虚拟人脸图像生成方法、装置及电子设备。

背景技术

[0002] 当前，社交、直播、游戏等涉及人物建模的场景均需使用虚拟人脸图像，对于虚拟人脸图像的需求量也不断增大。具体的，现有技术可以使用虚拟人脸生成模型来生成需求的虚拟人脸图像。

[0003] 但是，现有技术的虚拟人脸图像的图像成品率较低。

发明内容

[0004] 本发明提供一种虚拟人脸图像生成方法、装置及电子设备，用以解决现有技术生成的虚拟人脸图像的图像成品率较低的缺陷，有效提高目标风格类型的虚拟人脸图像的图像成品率。

[0005] 本发明提供一种虚拟人脸图像生成方法，包括：

[0006] 获得随机噪声和目标风格类型的真实人脸图像；

[0007] 对所述随机噪声进行类型化人脸特征映射，获得所述目标风格类型的虚拟人脸特征数据；

[0008] 对所述真实人脸图像进行特征提取，获得真实人脸特征数据；

[0009] 对所述虚拟人脸特征数据和所述真实人脸特征数据进行混合处理，获得混合数据；

[0010] 将所述混合数据输入至训练好的虚拟人脸生成器，获得所述虚拟人脸生成器生成的所述目标风格类型的虚拟人脸图像；

[0011] 其中，所述虚拟人脸生成器是通过使用第一随机噪声和第一风格类型的真实人脸图像，对预训练模型进行训练获得的。

[0012] 可选的，所述对所述虚拟人脸特征数据和所述真实人脸特征数据进行混合处理，获得混合数据，包括：

[0013] 确定待用于进行混合处理的特征混合权重；

[0014] 基于所述特征混合权重，对所述虚拟人脸特征数据和所述真实人脸特征数据进行混合处理，获得所述混合数据。

[0015] 可选的，所述虚拟人脸生成器包括自注意力模块，所述自注意力模块用于优化待生成虚拟人脸图像中的人脸细节纹理；所述将所述混合数据输入至训练好的虚拟人脸生成器，获得所述虚拟人脸生成器生成的所述目标风格类型的虚拟人脸图像，包括：

[0016] 将所述混合数据输入至所述虚拟人脸生成器，获得所述虚拟人脸生成器基于所述自注意力模块进行人脸细节纹理优化处理而生成的所述虚拟人脸图像。

[0017] 可选的，所述虚拟人脸生成器是在虚拟人脸生成模型的虚拟人脸生成网络中增加所述自注意力模块而得到的；其中，在所述虚拟人脸生成器中，从第五个复杂卷积堆叠层开始，每个复杂卷积堆叠层后均包括所述自注意力模块。

[0018] 可选的，所述第一风格类型的真实人脸图像通过如下方式获得，包括：

[0019] 获得第一描述文本和第一真实人脸图像；其中，所述第一描述文本为所述第一风格类型的图像风格描述文本；

[0020] 将所述第一描述文本和所述第一真实人脸图像输入至训练好的图像风格分类器进行图像风格分类，获得所述图像风格分类器输出的图像分类结果；所述图像分类结果为所述第一真实人脸图像是否为所述第一风格类型的真实人脸图像的分类结果；

[0021] 当所述图像分类结果为是的情况下，将所述第一真实人脸图像确定为所述第一风格类型的真实人脸图像；

[0022] 其中，所述图像风格分类器是基于第二描述文本和第二风格类型的真实人脸图像训练得到的。

[0023] 可选的，所述图像风格分类器包括图像特征提取层、图文关联特征提取层和相似度处理层，所述图像分类结果通过如下方式获得，包括：

[0024] 将所述第一描述文本输入至所述图文关联特征提取层进行文本特征提取，获得所述图文关联特征提取层输出的文本特征向量；

[0025] 将所述第一真实人脸图像输入至所述图像特征提取层进行图像特征提取，获得所述图像特征提取层输出的图像特征向量；

[0026] 将所述文本特征向量与所述图像特征向量输入至所述相似度处理层，获得所述相似度处理层输出的所述图像分类结果；其中，所述相似度处理层用于确定所述文本特征向量与所述图像特征向量的余弦相似度，基于所述余弦相似度与预设相似度阈值的比较结果，生成并输出所述图像分类结果。

[0027] 可选的，所述获得随机噪声和目标风格类型的真实人脸图像，包括：

[0028] 获得多个所述真实人脸图像；

[0029] 通过随机采样，获得一个所述随机噪声；

[0030] 所述对所述随机噪声进行类型化人脸特征映射，获得所述目标风格类型的虚拟人脸特征数据，包括：

[0031] 对随机采样获得的所述随机噪声进行类型化人脸特征映射，获得所述虚拟人脸特征数据；

[0032] 所述对所述真实人脸图像进行特征提取，获得真实人脸特征数据，包括：

[0033] 从多个所述真实人脸图像中，随机选取一个所述真实人脸图像确定为待处理真实人脸图像；

[0034] 对所述待处理真实人脸图像进行特征提取，获得所述真实人脸特征数据。

[0035] 可选的，在所述获得所述虚拟人脸生成器生成的所述目标风格类型的虚拟人脸图像之后，所述虚拟人脸图像生成方法还包括：

[0036] 返回执行所述通过随机采样，获得一个所述随机噪声的步骤，直至获得由所述虚拟人脸生成器生成的所述目标风格类型的、第一数量的虚拟人脸图像。

[0037] 本发明提供一种虚拟人脸图像生成装置，包括：第一获得单元、第二获得单元、第三获得单元、第四获得单元和第五获得单元；其中：

[0038] 所述第一获得单元，用于获得随机噪声和目标风格类型的真实人脸图像；

[0039] 所述第二获得单元，用于对所述随机噪声进行类型化人脸特征映射，获得所述目标风格类型的虚拟人脸特征数据；

[0040] 所述第三获得单元，用于对所述真实人脸图像进行特征提取，获得真实人脸特征数据；

[0041] 所述第四获得单元，用于对所述虚拟人脸特征数据和所述真实人脸特征数据进行混合处理，获得混合数据；

[0042] 所述第五获得单元，用于将所述混合数据输入至训练好的虚拟人脸生成器，获得所述虚拟人脸生成器生成的所述目标风格类型的虚拟人脸图像；

[0043] 其中，所述虚拟人脸生成器是通过使用第一随机噪声和第一风格类型的真实人脸图像，对预训练模型进行训练获得的。

[0044] 本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述虚拟人脸图像生成方法。

[0045] 本发明提供的虚拟人脸图像生成方法、装置及电子设备，可以生成混合数据，混合数据中同时包括目标风格类型的虚拟人脸特征数据，以及目标风格类型的真实人脸特征数据，在将混合数据输入到虚拟人脸生成器后，可以使得虚拟人脸生成器所生成的虚拟人脸图像在接近真实人脸图像的同时，能够不同于现实世界的真实人脸图像，且可以使得虚拟人脸生成器所生成的虚拟人脸图像的风格类型更加可控，有效提高虚拟人脸生成器对目标风格类型的虚拟人脸图像的生成概率，从而可以有效提高目标风格类型的虚拟人脸图像的图像成品率，并可以满足用户对于目标风格类型的虚拟人脸图像的个性化需求。

附图说明

[0046] 为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0047] 图1是本发明提供的虚拟人脸图像生成方法的流程示意图之一；

[0048] 图2是本发明提供的图像风格分类处理流程示意图；

[0049] 图3是本发明提供的虚拟人脸图像生成方法的流程示意图之二；

[0050] 图4是本发明提供的自注意力模块的网络结构示意图；

[0051] 图5是本发明提供的虚拟人脸生成器的网络结构示意图；

[0052] 图6是本发明提供的数据清洗流程示意图；

[0053] 图7是本发明提供的虚拟人脸图像生成方法的流程示意图之三；

[0054] 图8是本发明提供的虚拟人脸图像生成装置的结构示意图；

[0055] 图9是本发明提供的电子设备的结构示意图。

具体实施方式

[0056] 为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0057] 下面结合图1‑图7描述本发明的虚拟人脸图像生成方法。

[0058] 如图1所示，本发明提出第一种虚拟人脸图像生成方法，该方法可以包括以下步骤：

[0059] S101、获得随机噪声和目标风格类型的真实人脸图像；

[0060] 其中，随机噪声可以为经过随机采样而获得的噪声。具体的，随机噪声可以为满足高斯分布即正态分布的具有一定维度如512维度的随机向量。

[0061] 具体的，本发明可以先行获得标准正态分布的概率表达式，根据概率来随机生成随机噪声。可以理解的是，每一次随机生成的随机噪声可以是不相同的。

[0062] 其中，目标风格类型可以为特定的某种图像风格类型，如邻家女孩。本发明可以由技术人员指定目标风格类型。

[0063] 需要说明的是，本发明可以使用随机噪声作为样本数据，对虚拟人脸生成模型进行训练，使得虚拟人脸生成模型具备基于随机噪声生成虚拟人脸图像的能力。其中，虚拟人脸生成模型中可以包括特征映射器和虚拟人脸生成网络，特征映射器可以为由多层全连接网络搭建的网络，特征映射器可以用于对随机噪声进行特征映射而生成相应的虚拟人脸特征数据，虚拟人脸生成网络可以用于基于虚拟人脸特征数据生成并输出虚拟人脸图像。其中，当输入虚拟人脸生成模型的随机噪声不同时，虚拟人脸生成模型所生成的虚拟人脸图像也不同，具体可以体现在人脸特征上，如性别、姿态和表情等。需要说明的是，虚拟人脸生成模型的模型结构可以由具备虚拟人脸生成能力的模型结构，比如StyleGAN系列模型的模型结构来实现。

[0064] 需要说明的是，本发明可以在基于虚拟人脸生成模型和随机噪声生成虚拟人脸图像的基础上，对虚拟人脸生成模型进行改进，并引入特定风格类型的真实人脸图像，以使得虚拟人脸生成模型能够生成更接近真实人脸且特定风格类型的虚拟人脸图像。

[0065] S102、对随机噪声进行类型化人脸特征映射，获得目标风格类型的虚拟人脸特征数据；

[0066] 需要说明的是，本发明可以对虚拟人脸生成模型中的特征映射器进行训练和改进，使得特征映射器可以映射出目标风格类型的虚拟人脸特征数据。

[0067] 其中，目标风格类型的虚拟人脸特征数据可以为目标风格类型的虚拟人脸的人脸特征数据。

[0068] 具体的，本发明可以将随机噪声输入到训练和改进好的特征映射器中，获得特征映射器通过对随机噪声进行特征映射而输出的目标风格类型的虚拟人脸特征数据。

[0069] 需要说明的是，本发明可以通过使用随机噪声作为样本数据，将随机噪声输入到特征映射器中，获得特征映射器输出的映射数据，基于映射数据和目标风格类型的虚拟人脸特征数据之间的差别，来对特征映射器的网络结构和参数进行更新，直至将特征映射器训练至具有较好的能够将随机噪声映射为目标风格类型的虚拟人脸特征数据的能力。

[0070] S103、对真实人脸图像进行特征提取，获得真实人脸特征数据；

[0071] 其中，真实人脸特征数据即为真实人脸图像的图像特征数据。

[0072] 具体的，本发明可以将真实人脸图像输入到图像特征提取器中，获得图像特征提取器输出的真实人脸特征数据。

[0073] S104、对虚拟人脸特征数据和真实人脸特征数据进行混合处理，获得混合数据；

[0074] 其中，混合数据即为对虚拟人脸特征数据和真实人脸特征数据进行混合处理而生成的数据。

[0075] 具体的，本发明可以在获得虚拟人脸特征数据和真实人脸特征数据后，对虚拟人脸特征数据和真实人脸特征数据进行混合处理，获得混合数据。

[0076] 可选的，本发明可以在包括有特征映射器和虚拟人脸生成网络的虚拟人脸生成模型的网络结构基础上，增加图像特征提取器和混合处理器以实现对真实人脸图像的图像特征数据的提取以及混合数据的生成，并对虚拟人脸生成网络进行改进和训练，获得训练好的虚拟人脸生成网络即本发明训练好的虚拟人脸生成器，使得虚拟人脸生成器可以基于混合数据生成特定风格类型的虚拟人脸图像。

[0077] S105、将混合数据输入至训练好的虚拟人脸生成器，获得虚拟人脸生成器生成的目标风格类型的虚拟人脸图像；

[0078] 其中，虚拟人脸生成器是通过使用第一随机噪声和第一风格类型的真实人脸图像，对预训练模型进行训练获得的。

[0079] 其中，预训练模型可以是能够基于随机噪声生成虚拟人脸图像的模型，如虚拟人脸生成模型中的虚拟人脸生成网络。

[0080] 其中，第一随机噪声和第一风格类型的真实人脸图像可以是用于对预训练模型进行训练的训练数据。

[0081] 可选的，本发明可以先行通过对具备虚拟人脸图像生成能力的基础模型（如上述虚拟人脸生成网络）进行训练，来获得具有良好模型性能的预训练模型。具体的，本发明可以获得随机噪声和真实人脸图像，将该真实人脸图像确定为正样本，将随机噪声输入至基础模型，获得基础模型基于随机噪声输出的虚拟人脸图像，将该虚拟人脸图像作为负样本，基于判别器，比如一种在线训练的区分正负样本的卷积网络结构，来确定正样本与负样本是否存在差异，如果是，则可以基于正样本与负样本之间的差异来对基础模型的模型参数进行更新，提高基础模型的模型性能，即使得基础模型生成的虚拟人脸图像可以更加接近现实中的人脸即真实人脸图像。可以理解的是，当基础模型的模型性能满足训练要求时，本发明可以将模型性能满足训练要求的基础模型确定为预训练模型。

[0082] 具体的，本发明可以在获得预训练模型后，在预训练模型的网络结构基础上，通过增加特征映射器、图像特征提取器和混合处理器，并对预训练模型进行微调即进行进一步的模型训练，来获得训练好的虚拟人脸生成器。具体的，本发明可以分别基于特征映射器和图像特征提取器，获得第一随机噪声和第一风格类型的真实人脸图像分别对应的第一虚拟人脸特征数据和第一真实人脸特征数据，将第一虚拟人脸特征数据和第一真实人脸特征数据输入至混合处理器进行混合处理而生成第一混合数据，将第一混合数据输入至预训练模型，获得预训练模型输出的虚拟人脸图像，基于该虚拟人脸图像和第一风格类型的真实人脸图像之间的差异，对预训练模型的模型参数进行更新，使得预训练模型可以具备基于第一随机噪声和第一风格类型的真实人脸图像生成第一风格类型的虚拟人脸图像的模型性能。

[0083] 其中，第一随机噪声可以包括多个随机噪声；第一风格类型可以包括一种或多种图像风格类型。可选的，第一风格类型可以包括目标风格类型，也可以不包括目标风格类型。第一风格类型的真实人脸图像可以包括相应风格类型的多个真实人脸图像。本发明可以使用第一随机噪声和第一风格类型的真实人脸图像对预训练模型进行多次训练，直至预训练模型的模型性能满足要求时，即可以将模型性能满足要求的预训练模型确定为训练好的虚拟人脸生成器。

[0084] 具体的，本发明在获得上述混合数据后，可以将混合数据输入至训练好的虚拟人脸生成器，由虚拟人脸生成器基于混合数据生成目标风格类型的虚拟人脸图像。需要说明的是，混合数据中同时包括目标风格类型的虚拟人脸特征数据，以及目标风格类型的真实人脸特征数据，可以使得虚拟人脸生成器所生成的虚拟人脸图像在接近真实人脸图像的同时，能够不同于现实世界的真实人脸图像，且可以使得虚拟人脸生成器所生成的虚拟人脸图像的风格类型更加可控，有效提高虚拟人脸生成器对目标风格类型的虚拟人脸图像的生成概率，从而提高对目标风格类型的虚拟人脸图像的图像成品率，并可以满足用户对于目标风格类型的虚拟人脸图像的个性化需求。

[0085] 本发明提出的虚拟人脸图像生成方法，可以获得随机噪声和目标风格类型的真实人脸图像；对随机噪声进行类型化人脸特征映射，获得目标风格类型的虚拟人脸特征数据；对真实人脸图像进行特征提取，获得真实人脸特征数据；对虚拟人脸特征数据和真实人脸特征数据进行混合处理，获得混合数据；将混合数据输入至训练好的虚拟人脸生成器，获得虚拟人脸生成器生成的目标风格类型的虚拟人脸图像；其中，虚拟人脸生成器是通过使用第一随机噪声和第一风格类型的真实人脸图像，对预训练模型进行训练获得的。本发明所生成的混合数据中同时包括目标风格类型的虚拟人脸特征数据，以及目标风格类型的真实人脸特征数据，在将混合数据输入到虚拟人脸生成器后，可以使得虚拟人脸生成器所生成的虚拟人脸图像在接近真实人脸图像的同时，能够不同于现实世界的真实人脸图像，且可以使得虚拟人脸生成器所生成的虚拟人脸图像的风格类型更加可控，有效提高虚拟人脸生成器对目标风格类型的虚拟人脸图像的生成概率，从而可以有效提高目标风格类型的虚拟人脸图像的图像成品率，并可以满足用户对于目标风格类型的虚拟人脸图像的个性化需求。

[0086] 基于图1，本发明提出第二种虚拟人脸图像生成方法，该方法可以包括以下步骤：

[0087] S201、获得多个真实人脸图像；

[0088] 其中，多个真实人脸图像可以均是目标风格类型的真实人脸图像。

[0089] 可选的，多个真实人脸图像可以为目标风格类型下的不同人脸图像。

[0090] 可选的，多个真实人脸图像中可以包括目标风格类型下的相同人脸图像，也可以包括目标风格类型下的不同人脸图像，比如可以包括张三的多张人脸图像和李四的多张人脸图像；

[0091] 需要说明的是，多个真实人脸图像可以是由技术人员通过人工进行的图像筛选获得。

[0092] S202、通过随机采样，获得一个随机噪声；

[0093] 具体的，随机噪声可以是通过随机采样获得的。可以理解的是，每次随机采样所获得的随机噪声可以是不相同。

[0094] 具体的，步骤S201和S202可以为上述步骤S101的一种具体实施方式。

[0095] 需要说明的是，本发明可以基于多个随机噪声和多个真实人脸图像，批量生成目标风格类型的多个虚拟人脸图像。此时，本发明可以建立批量生成特定风格类型的虚拟人脸图像的生产线，在短时间内生成真实世界不存在的、特定风格类型的大量虚拟人脸图像，有效提高虚拟人脸图像的生成效率。

[0096] S203、对随机采样获得的随机噪声进行类型化人脸特征映射，获得虚拟人脸特征数据；

[0097] 具体的，本发明可以获得随机噪声后，将随机噪声输入至改进后的特征映射器，获得特征映射器输出的目标风格类型的虚拟人脸特征数据。

[0098] 需要说明的是，步骤S203可以为上述步骤S102的一种具体实施方式。

[0099] S204、从多个真实人脸图像中，选取一个真实人脸图像确定为待处理真实人脸图像；

[0100] 具体的，本发明可以从目标风格类型的多个真实人脸图像中，随机选取出一个真实人脸图像确定为待处理真实人脸图像。

[0101] S205、对待处理真实人脸图像进行特征提取，获得真实人脸特征数据；

[0102] 需要说明的是，步骤S204和S205可以为上述步骤S103的一种具体实施方式。

[0103] S206、对虚拟人脸特征数据和真实人脸特征数据进行混合处理，获得混合数据；

[0104] 需要说明的是，步骤S206与上述步骤S104的内容一致。

[0105] S207、将混合数据输入至训练好的虚拟人脸生成器，获得虚拟人脸生成器生成的目标风格类型的虚拟人脸图像；

[0106] 需要说明的是，步骤S207与上述步骤S105的内容一致。

[0107] S208、返回执行步骤S202，直至获得由虚拟人脸生成器生成的目标风格类型的、第一数量的虚拟人脸图像。

[0108] 具体的，本发明可以在获得虚拟人脸生成器输出目标风格类型的一个虚拟人脸图像后，返回执行步骤S202，再次通过随机采样获得新的随机噪声，以及重新获得目标风格类型的真实人脸图像，再次基于随机噪声和真实人脸图像生成目标风格类型的又一个虚拟人脸图像。

[0109] 可以理解的是，本发明重新获得的目标风格类型的真实人脸图像，与之前获得的真实人脸图像，可以是相同的，也可以是不同的。

[0110] 需要说明的是，本发明每次通过随机采样所获得的随机噪声，大概率上是互不相同的，因此，无论本发明所获得的目标风格类型的真实人脸图像是否为重复图像，都可以有效保障每次输入至虚拟人脸生成器的输入数据是不完全相同的，从而可以有效保障虚拟人脸生成器每次生成的虚拟人脸图像可以是不同的，进而有效提高虚拟人脸图像的多样性。

[0111] 其中，第一数量可以是由技术人员指定的数值，第一数量的值可以为较小值，也可以为较大值，以满足在较短时间内大量生产虚拟人脸图像的生产需求。

[0112] 可选的，本发明也可以在获得目标风格类型的多个真实人脸图像后，先行的分别提取各真实人脸图像的图像特征数据；之后，可以每次利用虚拟人脸生成器生成虚拟人脸图像时，从各真实人脸图像的图像特征数据中随机选取一个真实人脸图像的图像特征数据，随机采样获得一个随机噪声，获得对随机噪声进行特征映射而获得的目标风格类型的虚拟人脸特征数据，将随机选取出的图像特征数据与虚拟人脸特征数据进行混合处理，获得混合数据，将混合数据输入至虚拟人脸生成器，获得虚拟人脸生成器生成并输出的虚拟人脸图像。

[0113] 本发明提出的虚拟人脸图像生成方法，可以实现用于批量生成特定风格类型的虚拟人脸图像的生产线，能在短时间内生成真实世界不存在的、特定风格类型的大量虚拟人脸图像，有效提高虚拟人脸图像的生成效率。

[0114] 基于图1，本发明提出第三种虚拟人脸图像生成方法，获得第一风格类型的真实人脸图像可以通过如下方式获得：

[0115] 获得第一描述文本和第一真实人脸图像；其中，第一描述文本为第一风格类型的图像风格描述文本；

[0116] 将第一描述文本和第一真实人脸图像输入至训练好的图像风格分类器进行图像风格分类，获得图像风格分类器输出的图像分类结果；图像分类结果为第一真实人脸图像是否为第一风格类型的真实人脸图像的分类结果；

[0117] 当图像分类结果为是的情况下，将第一真实人脸图像确定为第一风格类型的真实人脸图像；

[0118] 其中，图像风格分类器是基于第二描述文本和第二风格类型的真实人脸图像训练得到的。

[0119] 其中，图像风格描述文本即为图像风格的相关描述文本，比如，图像风格描述文本可以包括图像风格的名称。

[0120] 具体的，第一风格类型可以包括特定风格类型，比如目标风格类型。可以理解的是，当第一风格类型包括特定风格类型时，本发明可以有效增强虚拟人脸生成器基于随机噪声和特定风格类型的真实人脸图像，生成特定风格类型的虚拟人脸图像的模型性能，提高对于特定风格类型的虚拟人脸图像的图像成品率。

[0121] 其中，第二描述文本可以包括某些图像风格类型的图像风格描述文本；第二风格类型可以包括某些图像风格类型。

[0122] 可以理解的是，对于一个图像风格描述文本和一个真实人脸图像，如果该图像风格描述文本所描述的图像风格类型和该真实人脸图像所属的图像风格类型是一致的，则该图像风格描述文本和该真实人脸图像是相对应的；否则，该图像风格描述文本和该真实人脸图像是不是相对应的。

[0123] 具体的，本发明可以在第二描述文本和第二风格类型的真实人脸图像中，将相对应的图像风格描述文本和真实人脸图像作为正样本，将不相对应的图像风格描述文本和真实人脸图像作为负样本，使用正样本和负样本对待训练的图像风格分类器进行训练，使得待训练的图像风格分类器具备基于图像风格描述文本确定真实人脸图像是否满足风格要求的模型性能。当模型性能满足性能要求时，本发明可以将待训练的图像风格分类器确定为训练好的图像风格分类器。其中，待训练的图像风格分类器可以为具备图像风格分类能力的基础模型。

[0124] 可以理解的是，当图像风格分类器输出的图像分类结果为否的情况下，即第一真实人脸图像不是第一风格类型的真实人脸图像的情况下，本发明可以禁止将第一真实人脸图像确定为第一风格类型的真实人脸图像。

[0125] 需要说明的是，本发明可以通过图像风格分类器的设置，对第一真实人脸图像进行图像风格过滤，将满足图像风格要求的第一真实人脸图像确定为第一风格类型的真实人脸图像，有效保障对第一风格类型的真实人脸图像的获得，从而有效提高后续对虚拟人脸生成器的训练效率，以及提高虚拟人脸生成器在用于生成特定风格类型的虚拟人脸图像时的图像成品率。

[0126] 可选的，图像风格分类器包括图像特征提取层、图文关联特征提取层和相似度处理层，上述图像分类结果可以通过如下方式获得：

[0127] 将第一描述文本输入至图文关联特征提取层进行文本特征提取，获得图文关联特征提取层输出的文本特征向量；

[0128] 将第一真实人脸图像输入至图像特征提取层进行图像特征提取，获得图像特征提取层输出的图像特征向量；

[0129] 将文本特征向量与图像特征向量输入至相似度处理层，获得相似度处理层输出的图像分类结果；其中，相似度处理层用于确定文本特征向量与图像特征向量的余弦相似度，基于余弦相似度与预设相似度阈值的比较结果，生成并输出图像分类结果。

[0130] 其中，图文关联特征提取层可以为现有技术中能用于将图像和文本关联在一起的模型，如clip模型。

[0131] 其中，预设相似度阈值可以由技术人员根据实际需求进行确定，本发明对此不作限定。

[0132] 具体的，当文本特征向量与图像特征向量的余弦相似度小于预设相似度阈值时，相似度处理层可以确定第一真实人脸图像的图像风格类型不满足风格要求，即第一真实人脸图像的图像风格不是第一风格类型，可以生成并输出相应的图像分类结果，即第一真实人脸图像不是第一风格类型的人脸图像，此时，本发明可以禁止将第一真实人脸图像确定为第一风格类型的人脸图像；

[0133] 具体的，当文本特征向量与图像特征向量的余弦相似度不小于预设相似度阈值时，相似度处理层可以确定第一真实人脸图像的图像风格类型满足风格要求，即第一真实人脸图像的图像风格为第一风格类型，可以生成并输出相应的图像分类结果，即第一真实人脸图像是第一风格类型的人脸图像。

[0134] 如图2所示的图像风格分类处理流程示意图，本发明可以将第一真实人脸图像输入至图像特征提取层进行图像特征提取，获得图像特征提取层输出的图像特征向量，将第一描述文本输入至图文关联特征提取层进行文本特征提取，获得图文关联特征提取层输出的文本特征向量，将图像特征向量和文本特征向量输入至相似度处理层；之后，相似度处理层可以计算图像特征向量和文本特征向量的余弦相似度，将计算出的余弦相似度与预设相似度阈值进行比较，基于比较结果确定第一真实人脸图像是否满足图像风格要求。

[0135] 需要说明的是，本发明通过图像特征提取层、图文关联特征提取层和相似度处理层的设置，有效保障图像风格分类器的功能实现，从而可以有效保障第一风格类型的真实人脸图像的获得，从而有效提高后续对虚拟人脸生成器的训练效率，以及提高虚拟人脸生成器在用于生成特定风格类型的虚拟人脸图像时的图像成品率。

[0136] 本发明提出的虚拟人脸图像生成方法，可以通过图像风格分类器的设置，对第一真实人脸图像进行图像风格过滤，将满足图像风格要求的第一真实人脸图像确定为第一风格类型的真实人脸图像，有效保障对第一风格类型的真实人脸图像的获得，从而有效提高后续对虚拟人脸生成器的训练效率，以及提高虚拟人脸生成器在用于生成特定风格类型的虚拟人脸图像时的图像成品率。

[0137] 基于图1，本发明提出第四种虚拟人脸图像生成方法，在该方法中，上述步骤S104可以包括以下步骤：

[0138] S1041、确定待用于进行混合处理的特征混合权重；

[0139] 其中，特征混合权重可以是由技术人员根据实际情况制定的权重，本发明对此不作限定。

[0140] 具体的，特征混合权重可以包括虚拟人脸特征数据的特征混合权重和真实人脸特征数据的特征混合权重。其中，虚拟人脸特征数据的特征混合权重和真实人脸特征数据的特征混合权重之和可以为1。

[0141] S1042、基于特征混合权重，对虚拟人脸特征数据和真实人脸特征数据进行混合处理，获得混合数据。

[0142] 具体的，本发明可以基于虚拟人脸特征数据、真实人脸特征数据和特征混合权重，对虚拟人脸特征数据和真实人脸特征数据进行加权混合处理，获得相应的混合数据。

[0143] 为更好的对第四种虚拟人脸图像生成方法的处理过程进行说明，本发明提出并结合图3进行介绍。

[0144] 如图3所示，本发明可以先行获得目标风格类型的多个真实人脸图像，分别将多个真实人脸图像输入至图像特征提取器，获得图像特征提取器分别输出的各真实人脸特征数据，从各真实人脸特征数据中随机挑选出一个真实人脸特征数据w2；经过随机采样获得随机噪声，将随机噪声输入至特征映射器中，获得特征映射器输出的虚拟人脸特征数据w1；确定虚拟人脸特征数据w1的特征混合权重Ratio，确定真实人脸特征数据w2的特征混合权重为1‑Ratio；将虚拟人脸特征数据w1和真实人脸特征数据w2输入到混合处理器中进行加权混合处理，获得相应的混合数据，将混合数据输入到训练好的虚拟人脸生成器中，获得虚拟人脸生成器生成并输出的目标风格类型的虚拟人脸图像。

[0145] 本发明提出的虚拟人脸图像生成方法，可以有效实现对虚拟人脸特征数据和真实人脸特征数据的获得，并可以通过加权混合处理对虚拟人脸特征数据和真实人脸特征数据进行加权混合处理，有效实现对混合数据的生成，从而有效保证目标风格类型的虚拟人脸图像的图像成品率。

[0146] 基于图1，本发明提出第五种虚拟人脸图像生成方法，在该方法中，虚拟人脸生成器包括自注意力模块，自注意力模块用于优化待生成虚拟人脸图像中的人脸细节纹理；此时，步骤S105可以包括：

[0147] 将混合数据输入至训练好的虚拟人脸生成器，获得虚拟人脸生成器基于自注意力模块进行人脸细节纹理优化处理而生成的虚拟人脸图像。

[0148] 需要说明的是，本发明可以在上述虚拟人脸生成网络的网络结构基础上，在其中间层增加用于自注意力模块而获得虚拟人脸生成器，使得虚拟人脸生成器中的中间层可以根据上一层的输出信息更加自适应的去学习人脸的细节纹理，从而使得虚拟人脸生成器可以基于混合数据，生成更加优化人脸细节纹理表达的虚拟人脸图像。

[0149] 如图4所示的自注意力模块的网络结构，自注意力模块的网络结构与现有技术中的可以是相同的。在图4中，non‑local表示如果该模块要进行图像上采样，则non‑local为上采样算法，否则non‑local表示不进行任何操作；Conv2d表示2维的卷积神经网络；Leak relu为常见的一种激活函数。

[0150] 可选的，虚拟人脸生成器是在虚拟人脸生成模型的虚拟人脸生成网络中增加自注意力模块而得到的；其中，在虚拟人脸生成器中，从第五个复杂卷积堆叠层开始，每个复杂卷积堆叠层后均包括自注意力模块。

[0151] 如图5所示的虚拟人脸生成器的网络结构示意图，虚拟人脸生成器可以是在虚拟人脸生成模型中的虚拟人脸生成网络的基础上添加Self‑attention模块即自注意力模块而形成的。需要说明的是，图5中除Self‑attention模块外，其他网络结构均可以为虚拟人脸生成模型中的网络结构。

[0152] 在图5中，Mapping即可以为用于虚拟人脸生成模型中对随机噪声进行特征映射处理的特征映射器；A可以为傅立叶变换器，可以用于将输入数据转换为相应的傅立叶特征Fourier feat；Conv1x1表示卷积核为1的卷积；L0 L13结构基本一致，均是由复杂的卷积堆~叠而成，即复杂卷积堆叠层，用于进行特征的上采样，可以通过层层堆叠来生成虚拟人脸图像；ToRGB为简单卷积层，主要目的是为了将输入数据转换成最终的RGB色彩模式的图像。

[0153] 需要说明的是，经本发明的发明人进行实验后发现，虚拟人脸生成模型的L0至L4层（如图5所示的L0‑L4）输出的信息会更关注人脸的整体信息，包括人脸形状和五官位置等。而L5至L13层更关注人脸细节纹理，比如发丝和脸部纹理等。为优化生成图像的人脸细节纹理，本发明可以从第五个复杂卷积堆叠层即L4层开始，在每个复杂卷积堆叠层后均设置Self‑attention模块，使得虚拟人脸生成器中的Self‑attention模块可以根据上一层的输出信息更加自适应的去学习人脸的细节纹理信息，增强生成图像的人脸细节纹理表达，减少伪影artifact，提高虚拟人脸图像的生成质量。

[0154] 可选的，上述虚拟人脸生成模型可以由StyleGAN实现。可以理解的是，除了StyleGAN，上述虚拟人脸生成模型还可以由其他的与StyleGAN具有相似或者相同网络结构（比如包括Mapping和虚拟人脸生成网络等网络结构）的模型来实现相同的技术效果。

[0155] 本发明提出的虚拟人脸图像生成方法，可以通过自注意力模块的设置，有效增强虚拟人脸生成器的图像生成质量。

[0156] 如图6所示的数据清洗流程示意图，本发明可以通过网络虫等方式进行潜在图像素材的图像采集，之后在采集到的多张图像中进行数据清洗，获得上述第一风格类型的真实人脸图像。如图6所示，数据清洗流程可以包括人脸检测、图像质量过滤、颜值过滤、风格过滤、性别年龄过滤和人脸对齐。

[0157] 具体的，本发明可以在采集到多张图像后，通过人脸检测算法分别对各图像进行人脸检测，过滤掉不包含人脸的图像；同时，可以通过控制人脸检测时的置信度阈值，过滤掉人脸质量比较低的图像，如模糊和动漫脸等图像，且可以通过控制iou阈值来过滤掉脸部不完整的图像，以保证能够获得包含整张人脸的人脸图像。

[0158] 具体的，本发明在进行人脸检测之后，可以在剩下的人脸图像中进行图像质量过滤。本发明可以通过图像质量过滤算法，分别对各张人脸图像的图像质量进行评分，根据经验设置评分阈值，将低于评分阈值的人脸图像过滤掉；

[0159] 具体的，本发明可以在进行图像质量过滤后，对剩下的人脸图像进行颜值过滤。本发明可以通过现有的颜值评价算法，过滤掉人脸颜值较低的人脸图像；

[0160] 具体的，本发明可以在进行颜值过滤后，对剩下的人脸图像进行风格过滤。本发明可以采用上述图像风格分类器对剩下的人脸图像进行风格过滤。其中，本发明可以将人脸图像及指定风格类型的图像风格描述文本输入到图像风格分类器中，确定输入的人脸图像是否为指定风格类型的人脸图像，过滤掉不是指定风格类型的人脸图像；

[0161] 具体的，本发明可以在进行风格过滤后，对剩下的人脸图像进行性别年龄过滤。本发明可以采用现有的性别年龄分类模型，对剩下的人脸图像进行分类，筛选出性别和年龄均满足要求的人脸图像；

[0162] 具体的，本发明可以在进行性别年龄过滤后，对剩下的人脸图像进行人脸对齐。本发明可以先行利用人脸关键点模型预测出人脸图像中的五个关键点，之后基于设定好的模板脸关键点计算变换矩阵，经过放射变换，即可获得人脸对齐后的人脸图像。

[0163] 具体的，本发明可以在进行人脸对齐后，由人工从人脸对齐后的人脸图像中筛选出目标风格类型的人脸图像并标注风格类型，如邻家女孩风格。此时，本发明即可以将标注好风格类型的人脸图像确定为上述第一风格类型的真实人脸图像。

[0164] 本发明提出的虚拟人脸图像生成方法，可以通过图像采集和数据清洗，获得满足相关要求的第一风格类型的真实人脸图像，有效保障利用第一风格类型的真实人脸图像用于训练虚拟人脸生成器的训练效果，从而有效保障对虚拟人脸生成器的训练效率，以及提高虚拟人脸生成器在用于生成特定风格类型的虚拟人脸图像时的图像成品率。

[0165] 如图7所示，在本发明提出的第六种虚拟人脸图像生成方法中，可以包括采集图像、数据清洗、模型训练和生成虚拟人脸图像等步骤。其中，本发明可以通过采集图像和对图像进行数据清洗获得用于训练虚拟人脸生成器的训练数据；之后，本发明可以使用训练数据对虚拟人脸生成器进行训练，获得训练好的虚拟人脸生成器；之后，本发明可以使用训练好的虚拟人脸生成来生成特定风格类型如目标风格类型的虚拟人脸图像。

[0166] 本发明提出的虚拟人脸图像生成方法，可以通过图像采集和数据清洗，获得满足相关要求的第一风格类型的真实人脸图像，有效保障利用第一真实人脸图像用于训练虚拟人脸生成器的训练效果，从而有效保障目标风格类型的虚拟人脸图像的图像成品率，以及提高虚拟人脸生成器在用于生成特定风格类型的虚拟人脸图像时的图像成品率。

[0167] 下面对本发明提供的虚拟人脸图像生成装置进行描述，下文描述的虚拟人脸图像生成装置与上文描述的虚拟人脸图像生成方法可相互对应参照。

[0168] 如图8所示，本发明提出一种虚拟人脸图像生成装置，包括：第一获得单元801、第二获得单元802、第三获得单元803、第四获得单元804和第五获得单元805；其中：

[0169] 第一获得单元801，用于获得随机噪声和目标风格类型的真实人脸图像；

[0170] 第二获得单元802，用于对随机噪声进行类型化人脸特征映射，获得目标风格类型的虚拟人脸特征数据；

[0171] 第三获得单元803，用于对真实人脸图像进行特征提取，获得真实人脸特征数据；

[0172] 第四获得单元804，用于对虚拟人脸特征数据和真实人脸特征数据进行混合处理，获得混合数据；

[0173] 第五获得单元805，用于将混合数据输入至训练好的虚拟人脸生成器，获得虚拟人脸生成器生成的目标风格类型的虚拟人脸图像；

[0174] 其中，虚拟人脸生成器是通过使用第一随机噪声和第一风格类型的真实人脸图像，对预训练模型进行训练获得的。

[0175] 需要说明的是，上述第一获得单元801、第二获得单元802、第三获得单元803、第四获得单元804和第五获得单元805的处理过程及其带来的技术效果可以分别参照本发明关于图1中步骤S101至S105的相关说明，不再赘述。

[0176] 可选的，第四获得单元804，包括：第一确定单元、混合处理单元和第六获得单元；

[0177] 第一确定单元，用于确定待用于进行混合处理的特征混合权重；

[0178] 混合处理单元，用于基于特征混合权重，对虚拟人脸特征数据和真实人脸特征数据进行混合处理；

[0179] 第六获得单元，用于获得混合数据。

[0180] 可选的，虚拟人脸生成器包括自注意力模块，自注意力模块用于优化待生成虚拟人脸图像中的人脸细节纹理；第五获得单元805，用于将混合数据输入至虚拟人脸生成器，获得虚拟人脸生成器基于自注意力模块进行人脸细节纹理优化处理而生成的虚拟人脸图像。

[0181] 可选的，虚拟人脸生成器是在虚拟人脸生成模型的虚拟人脸生成网络中增加自注意力模块而得到的；其中，在虚拟人脸生成器中，从第五个复杂卷积堆叠层开始，每个复杂卷积堆叠层后均包括自注意力模块。

[0182] 可选的，上述第一风格类型的真实人脸图像通过如下方式获得：

[0183] 获得第一描述文本和第一真实人脸图像；其中，第一描述文本为第一风格类型的图像风格描述文本；

[0184] 将第一描述文本和第一真实人脸图像输入至训练好的图像风格分类器进行图像风格分类，获得图像风格分类器输出的图像分类结果；图像分类结果为第一真实人脸图像是否为第一风格类型的真实人脸图像的分类结果；

[0185] 当图像分类结果为是的情况下，将第一真实人脸图像确定为第一风格类型的真实人脸图像；

[0186] 其中，图像风格分类器是基于第二描述文本和第二风格类型的真实人脸图像训练得到的。

[0187] 可选的，上述图像分类结果通过如下方式获得：

[0188] 将第一描述文本输入至图文关联特征提取层进行文本特征提取，获得图文关联特征提取层输出的文本特征向量；

[0189] 将第一真实人脸图像输入至图像特征提取层进行图像特征提取，获得图像特征提取层输出的图像特征向量；

[0190] 将文本特征向量与图像特征向量输入至相似度处理层，获得相似度处理层输出的图像分类结果；其中，相似度处理层用于确定文本特征向量与图像特征向量的余弦相似度，基于余弦相似度与预设相似度阈值的比较结果，生成并输出图像分类结果。

[0191] 可选的，第一获得单元801包括：第七获得单元和第八获得单元；

[0192] 第七获得单元，用于获得多个真实人脸图像；

[0193] 第八获得单元，用于通过随机采样，获得一个随机噪声；

[0194] 第二获得单元802，用于对随机采样获得的随机噪声进行类型化人脸特征映射，获得虚拟人脸特征数据；

[0195] 第三获得单元803，包括随机选取单元和第九获得单元；

[0196] 随机选取单元，用于从多个真实人脸图像中，随机选取一个真实人脸图像确定为待处理真实人脸图像；

[0197] 第九获得单元，用于对待处理真实人脸图像进行特征提取，获得真实人脸特征数据。

[0198] 可选的，第九获得单元，在对待处理真实人脸图像进行特征提取，获得图像特征数据之后，还用于触发第八获得单元，直至获得目标风格类型的、第一数量的虚拟人脸图像。

[0199] 本发明提出的虚拟人脸图像生成装置，可以获得随机噪声和目标风格类型的真实人脸图像；对随机噪声进行类型化人脸特征映射，获得目标风格类型的虚拟人脸特征数据；对真实人脸图像进行特征提取，获得真实人脸特征数据；对虚拟人脸特征数据和真实人脸特征数据进行混合处理，获得混合数据；将混合数据输入至训练好的虚拟人脸生成器，获得虚拟人脸生成器生成的目标风格类型的虚拟人脸图像；其中，虚拟人脸生成器是通过使用第一随机噪声和第一风格类型的真实人脸图像，对预训练模型进行训练获得的。本发明所生成的混合数据中同时包括目标风格类型的虚拟人脸特征数据，以及目标风格类型的真实人脸特征数据，在将混合数据输入到虚拟人脸生成器后，可以使得虚拟人脸生成器所生成的虚拟人脸图像在接近真实人脸图像的同时，能够不同于现实世界的真实人脸图像，且可以使得虚拟人脸生成器所生成的虚拟人脸图像的风格类型更加可控，有效提高虚拟人脸生成器对目标风格类型的虚拟人脸图像的生成概率，从而可以有效提高目标风格类型的虚拟人脸图像的图像成品率，并可以满足用户对于目标风格类型的虚拟人脸图像的个性化需求。

[0200] 图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行虚拟人脸图像生成方法，该方法包括：

[0201] 获得随机噪声和目标风格类型的真实人脸图像；

[0202] 对随机噪声进行类型化人脸特征映射，获得目标风格类型的虚拟人脸特征数据；

[0203] 对真实人脸图像进行特征提取，获得真实人脸特征数据；

[0204] 对虚拟人脸特征数据和真实人脸特征数据进行混合处理，获得混合数据；

[0205] 将混合数据输入至训练好的虚拟人脸生成器，获得虚拟人脸生成器生成的目标风格类型的虚拟人脸图像；

[0206] 其中，虚拟人脸生成器是通过使用第一随机噪声和第一风格类型的真实人脸图像，对预训练模型进行训练获得的。

[0207] 此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read‑Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

[0208] 又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的虚拟人脸图像生成方法，该方法包括：

[0209] 获得随机噪声和目标风格类型的真实人脸图像；

[0210] 对随机噪声进行类型化人脸特征映射，获得目标风格类型的虚拟人脸特征数据；

[0211] 对真实人脸图像进行特征提取，获得真实人脸特征数据；

[0212] 对虚拟人脸特征数据和真实人脸特征数据进行混合处理，获得混合数据；

[0213] 将混合数据输入至训练好的虚拟人脸生成器，获得虚拟人脸生成器生成的目标风格类型的虚拟人脸图像；

[0214] 其中，虚拟人脸生成器是通过使用第一随机噪声和第一风格类型的真实人脸图像，对预训练模型进行训练获得的。

[0215] 以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

[0216] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分的方法。

[0217] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。