多风格纹理贴图生成方法及其装置

摘要

本申请公开了一种多风格纹理贴图生成方法及其装置，涉及人工智能技术领域，具体为增强现实、虚拟现实、计算机视觉、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景。具体实现方案为：获取预设的重建模型，以及基于重建模型确定的重建纹理贴图；对重建模型和目标风格模型进行网格对齐和变形处理，以获得风格变形模型；基于风格变形模型、重建模型和重建纹理贴图，构建风格变形模型中每个纹理面片的多个点与重建纹理贴图中二维像素点位置之间的映射关系；根据映射关系对重建纹理贴图进行像素迁移，以生成目标风格模型的风格纹理贴图。本申请可以快速得到不同风格的纹理贴图，节省大量人力以及并提升虚拟形象的相似度。

权利要求

1.一种多风格纹理贴图生成方法，包括：

获取预设的重建模型，以及基于所述重建模型确定的重建纹理贴图；

对所述重建模型和目标风格模型进行网格对齐和变形处理，以获得风格变形模型；

基于所述风格变形模型、所述重建模型和所述重建纹理贴图，构建所述风格变形模型中每个纹理面片的多个点与所述重建纹理贴图中二维像素点位置之间的映射关系；

根据所述映射关系对所述重建纹理贴图进行像素迁移，以生成所述目标风格模型的风格纹理贴图;其中，所述对所述重建模型和目标风格模型进行网格对齐和变形处理，以获得风格变形模型，包括：确定所述重建模型与所述目标风格模型之间的变换矩阵；

基于所述变换矩阵，将所述目标风格模型的位置对齐到与所述重建模型的位置一致；

在经过位置对齐的所述目标风格模型保持拓扑不变的情况下，将经过位置对齐的所述目标风格模型之中的网格形状变形到与所述重建模型中的网格形状一致，以得到所述风格变形模型;其中，所述基于所述风格变形模型、所述重建模型和所述重建纹理贴图，构建所述风格变形模型中每个纹理面片的多个点与所述重建纹理贴图中二维像素点位置之间的映射关系，包括：确定所述风格变形模型之中每个纹理面片的多个点与所述重建模型之中的点之间的第一对应关系；

基于重建模型与纹理UV坐标的对应关系，确定所述重建模型之中的点与所述重建纹理贴图之中的二维像素点位置之间的第二对应关系；

基于所述第一对应关系和所述第二对应关系，构建所述风格变形模型中每个点纹理面片的多个点与所述重建纹理贴图中二维像素点位置之间的映射关系。

2.如权利要求1所述的方法，其中，所述确定所述重建模型与所述目标风格模型之间的变换矩阵，包括：选定所述重建模型与所述目标风格模型之间的对应点对；

基于所述选定的对应点对，采用预设的点云配准算法求解得到所述重建模型与所述目标风格模型之间的变换矩阵。

3.如权利要求1所述的方法，其中，所述根据所述映射关系对所述重建纹理贴图进行像素迁移，以生成所述目标风格模型的风格纹理贴图，包括：针对所述风格变形模型之中每个纹理面片，基于所述映射关系将所述重建纹理贴图之中与每个所述纹理面片的多个点对应的多个二维像素点组成的区域进行像素迁移，以生成所述目标风格模型的风格纹理贴图。

4.如权利要求3所述的方法，其中，所述基于所述映射关系将所述重建纹理贴图之中与每个所述纹理面片的多个点对应的多个二维像素点组成的区域进行像素迁移，以生成所述目标风格模型的风格纹理贴图，包括：基于所述映射关系，采用仿射变换方式将所述重建纹理贴图之中与每个所述纹理面片的多个点对应的多个二维像素点组成的区域进行像素迁移，迭代处理所述风格变形模型之中所有纹理面片以生成所述目标风格模型的风格纹理贴图。

5.如权利要求3所述的方法，其中，所述基于所述映射关系将所述重建纹理贴图之中与每个所述纹理面片的多个点对应的多个二维像素点组成的区域进行像素迁移，以生成所述目标风格模型的风格纹理贴图，包括：基于所述映射关系，采用重心插值方式将所述重建纹理贴图之中与每个所述纹理面片的多个点对应的多个二维像素点组成的区域进行像素迁移，迭代处理所述风格变形模型之中所有纹理面片以生成所述目标风格模型的风格纹理贴图。

6.一种多风格纹理贴图生成装置，包括：

第一获取模块，用于获取预设的重建模型，以及基于所述重建模型确定的重建纹理贴图；

网格注册模块，用于对所述重建模型和目标风格模型进行网格对齐和变形处理，以获得风格变形模型；

构建模块，用于基于所述风格变形模型、所述重建模型和所述重建纹理贴图，构建所述风格变形模型中每个纹理面片的多个点与所述重建纹理贴图中二维像素点位置之间的映射关系；

生成模块，用于根据所述映射关系对所述重建纹理贴图进行像素迁移，以生成所述目标风格模型的风格纹理贴图;所述网格注册模块具体用于：

确定所述重建模型与所述目标风格模型之间的变换矩阵；

基于所述变换矩阵，将所述目标风格模型的位置对齐到与所述重建模型的位置一致；

在经过位置对齐的所述目标风格模型保持拓扑不变的情况下，将经过位置对齐的所述目标风格模型之中的网格形状变形到与所述重建模型中的网格形状一致，以得到所述风格变形模型;所述构建模块具体用于：

确定所述风格变形模型之中每个纹理面片的多个点与所述重建模型之中的点之间的第一对应关系；

基于重建模型与纹理UV坐标的对应关系，确定所述重建模型之中的点与所述重建纹理贴图之中的二维像素点位置之间的第二对应关系；

基于所述第一对应关系和所述第二对应关系，构建所述风格变形模型中每个点纹理面片的多个点与所述重建纹理贴图中二维像素点位置之间的映射关系。

7.如权利要求6所述的装置，其中，所述网格注册模块具体用于：选定所述重建模型与所述目标风格模型之间的对应点对；

基于所述选定的对应点对，采用预设的点云配准算法求解得到所述重建模型与所述目标风格模型之间的变换矩阵。

8.如权利要求6所述的装置，其中，所述生成模块具体用于：针对所述风格变形模型之中每个纹理面片，基于所述映射关系将所述重建纹理贴图之中与每个所述纹理面片的多个点对应的多个二维像素点组成的区域进行像素迁移，以生成所述目标风格模型的风格纹理贴图。

9.如权利要求8所述的装置，其中，所述生成模块具体用于：基于所述映射关系，采用仿射变换方式将所述重建纹理贴图之中与每个所述纹理面片的多个点对应的多个二维像素点组成的区域进行像素迁移，迭代处理所述风格变形模型之中所有纹理面片以生成所述目标风格模型的风格纹理贴图。

10.如权利要求8所述的装置，其中，所述生成模块具体用于：基于所述映射关系，采用重心插值方式将所述重建纹理贴图之中与每个所述纹理面片的多个点对应的多个二维像素点组成的区域进行像素迁移，迭代处理所述风格变形模型之中所有纹理面片以生成所述目标风格模型的风格纹理贴图。

11.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如权利要求1至5中任一项所述的方法。

说明书

多风格纹理贴图生成方法及其装置

技术领域

[0001] 本申请涉及人工智能技术领域，具体为增强现实、虚拟现实、计算机视觉、深度学习等技术领域，尤其涉及一种多风格纹理贴图生成方法及其装置，可应用于元宇宙、虚拟数字人等场景。

背景技术

[0002] 随着虚拟形象的技术不断成熟，各种各样的虚拟形象不断进入大众眼帘。基于深度学习的网格（Mesh）重建和纹理贴图有很多的突破，一个完美的虚拟形象必要条件是网格+纹理，然后对其进行渲染得到虚拟形象。但是，同一个模型和纹理贴图只能呈现一种固定的风格形象，然而为了每个人都有自己的虚拟形象，不可能通过人工为每个人设计一套数字资产，这样成本会较高。因此，如何低成本的情况下快速得到不同风格的纹理贴图，已成为亟待解决的问题。

发明内容

[0003] 本申请提供了一种多风格纹理贴图生成方法、装置、设备以及存储介质。

[0004] 根据本申请的第一方面，提供了一种多风格纹理贴图生成方法，包括：

[0005] 获取预设的重建模型，以及基于所述重建模型确定的重建纹理贴图；

[0006] 对所述重建模型和目标风格模型进行网格对齐和变形处理，以获得风格变形模型；

[0007] 基于所述风格变形模型、所述重建模型和所述重建纹理贴图，构建所述风格变形模型中每个纹理面片的多个点与所述重建纹理贴图中二维像素点位置之间的映射关系；

[0008] 根据所述映射关系对所述重建纹理贴图进行像素迁移，以生成所述目标风格模型的风格纹理贴图。

[0009] 根据本申请的第二方面，提供了一种多风格纹理贴图生成装置，包括：

[0010] 第一获取模块，用于获取预设的重建模型，以及基于所述重建模型确定的重建纹理贴图；

[0011] 网格注册模块，用于对所述重建模型和目标风格模型进行网格对齐和变形处理，以获得风格变形模型；

[0012] 构建模块，用于基于所述风格变形模型、所述重建模型和所述重建纹理贴图，构建所述风格变形模型中每个纹理面片的多个点与所述重建纹理贴图中二维像素点位置之间的映射关系；

[0013] 生成模块，用于根据所述映射关系对所述重建纹理贴图进行像素迁移，以生成所述目标风格模型的风格纹理贴图。

[0014] 根据本申请的第三方面，提出了一种电子设备，包括：

[0015] 至少一个处理器；以及

[0016] 与所述至少一个处理器通信连接的存储器；其中，

[0017] 所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前述第一方面所述的方法。

[0018] 根据本申请的第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如前述第一方面所述的方法。

[0019] 根据本申请的第五方面，提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被所述处理器执行时实现如前述第一方面所述方法的步骤。

[0020] 根据本申请的技术方案，可以快速得到不同风格的纹理贴图，节省大量人力以及并提升虚拟形象的相似度。

[0021] 应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

[0022] 附图用于更好地理解本方案，不构成对本申请的限定。其中：

[0023] 图1为本申请实施例所提供的一种多风格纹理贴图生成方法的流程图；

[0024] 图2为本申请实施例所提供的又一种多风格纹理贴图生成方法的流程图；

[0025] 图3为本申请实施例所提供的另一种多风格纹理贴图生成方法的流程图；

[0026] 图4为本申请实施例所提供的多风格纹理贴图生成整体框架的示例图；

[0027] 图5为本申请实施例所提供的一种多风格纹理贴图生成装置的结构框图；

[0028] 图6是用来实现本申请实施例的多风格纹理贴图生成方法的电子设备的框图。

具体实施方式

[0029] 以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

[0030] 首先，需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

[0031] 下面参考附图描述本申请实施例的多风格纹理贴图生成方法及其装置。

[0032] 图1为本申请实施例所提供的一种多风格纹理贴图生成方法的流程图。需要说明的是，本申请涉及的多风格纹理贴图生成方法可由电子设备执行，作为一种示例，该电子设备可部署有渲染引擎，本申请通过该渲染引擎实现多风格纹理贴图的生成。如图1所示，该多风格纹理贴图生成方法可以包括但不限于如下步骤。

[0033] 在步骤101中，获取预设的重建模型，以及基于重建模型确定的重建纹理贴图。

[0034] 在本申请的实施例中，本文中所提及的重建模型可理解为用于重建纹理贴图时所使用的基础模型。本文中所提及的重建纹理贴图可理解为利用重建模型重建纹理贴图后得到的纹理贴图。可选地，重建纹理贴图可以是采用现有技术中比较成熟的重建方法重建得到的纹理贴图，本申请对重建纹理贴图的重建方式不做具体限定。

[0035] 需要说明的是，本实施例中的重建模型并不是针对某一特定用户的重建模型，并不能反映出某一特定用户的个人信息。

[0036] 在步骤102中，对重建模型和目标风格模型进行网格对齐和变形处理，以获得风格变形模型。

[0037] 在本申请的实施例中，本申请所涉及的目标风格模型可理解为用于生成多风格纹理贴图时所使用的风格基础模型。作为一种示例，目标风格模型可以为多个不同的风格模型。本申请的目标就是利用现有比较成熟的重建的纹理贴图得到当前风格模型的纹理贴图。

[0038] 可选地，由于UV映射是将2D（二维）图像投影到3D（三维）模型表面以进行纹理映射的3D建模过程，所以一个模型对应一个纹理UV坐标，即对应一个纹理贴图。由于纹理和模型中网格（Mesh）具有对应关系，因此可以通过寻找网格（Mesh）的映射关系以得到当前风格模型的纹理贴图。首先，可先对重建模型和目标风格模型进行网格注册，以得到风格变形模型。在一种实现方式中，网格注册包括如下两个步骤：一个步骤是网格进行对齐，另一个步骤是网格进行warpping（变形）。

[0039] 在步骤103中，基于风格变形模型、重建模型和重建纹理贴图，构建风格变形模型中每个纹理面片的多个点与重建纹理贴图中二维像素点位置之间的映射关系。

[0040] 其中，在本申请的实施例中，纹理面片可为三角面片。在本申请的其他实施例中，纹理面片的形状还可以是其他形状，例如四边形等，对此不做具体限定。

[0041] 可选地，在对重建模型和目标风格模型进行网格对齐和变形处理之后，需要查找风格变形模型中纹理面片的对应信息。由于warpping（变形）之后得到的风格变形模型与重建模型已经完全贴合，因此可以通过查找点的对应关系来构建风格变形模型中每个纹理面片的多个点与重建纹理贴图中二维像素点位置之间的映射关系。

[0042] 在一种实现方式中，可以通过最近邻算法（k‑NearestNeighbor，KNN）进行查找点的对应关系，以构建风格变形模型中每个纹理面片的多个点与重建纹理贴图中二维像素点位置之间的映射关系。

[0043] 在步骤104中，根据映射关系对重建纹理贴图进行像素迁移，以生成目标风格模型的风格纹理贴图。

[0044] 可选地，在获得风格变形模型中每个纹理面片的多个点与重建纹理贴图中二维像素点位置之间的映射关系之后，可以利用该映射关系将重建纹理贴图之中的像素迁移到另一张图中的对应位置上，迭代处理风格变化模型中所有纹理面片，直至重建纹理贴图中与风格变化模型中所有纹理面片存在映射关系的像素全部迁移到该另一张图上为止，最终将该另一张图成为一张纹理贴图，即为该目标风格模型的风格纹理贴图。

[0045] 通过实施本申请实施例，对重建模型和目标风格纹理模型进行网格注册，以得到风格变形模型，并基于风格变形模型、重建模型及其重建纹理贴图，构建风格变形模型之中纹理面片与重建纹理贴图中二位像素点位置间的映射关系，基于该映射关系将重建纹理贴图中的像素迁移到另一张图中，该另一张图即为目标风格模型的风格纹理贴图。由此可见，本申请提出了一种基于网格注册的多风格纹理快速生成解决方案，可以快速得到不同风格的纹理贴图，节省大量人力以及并提升虚拟形象的相似度。

[0046] 需要说明的是，由于纹理和网格（Mesh）具有对应关系，所以可以通过寻找重建模型与目标风格纹理模型的映射关系，以得到目标风格纹理模型与重建纹理贴图间的相关关系。在本申请的实施例中，可以对重建模型和目标风格模型进行网格注册以得到风格变形模型，使得风格变形模型与重建模型完全贴合。可选地，网格注册包括网格对齐和网格变形两个步骤。在本申请的一些实施例中，如图2所示，该多风格纹理贴图生成方法可以包括不限于如下步骤。

[0047] 在步骤201中，获取预设的重建模型，以及基于重建模型确定的重建纹理贴图。

[0048] 在本申请的实施例中，步骤201可以分别采用本申请的各实施例中的任一种方式实现，本申请实施例并不对此作出限定，也不再赘述。

[0049] 在步骤202中，确定重建模型与目标风格模型之间的变换矩阵。

[0050] 在一种实现方式中，可以选定重建模型与目标风格模型之间的对应点对，并基于选定的对应点对，采用预设的点云配准算法求解得到重建模型与目标风格模型之间的变换矩阵。

[0051] 需要说明的是，该点云配准通常会需要用到两个点云数据。第一类点云数据称为原始点云，用S（source）来表示。第二类点云数据称为目标点云，用T（Target）来表示。在本申请的实施例中，重建模型中的点可作为原始点云坐标系的点，目标风格模型中的点可作为目标点云坐标系的点。点云配准是将原始点云S在目标点云T的坐标上进行显示。可以通过找到点云中具有相似特征的点云来确定坐标的变换关系。例如，同一个物体的点云同时出现在原始点云和目标点云中，并且在两个点云中有特征相似的部分点云，根据这些相似的点云信息来计算出变换关系。在本申请的实施例中，可以分别选定重建模型与目标风格模型之中的关键点，将重建模型与目标风格模型之中对应关键点作为选定的对应点对。

[0052] 假设原始点云到目标点云发生的是刚体变换，即原始点云通过旋转和平移即可得到目标点云。这里的旋转和平移过程用旋转变换矩阵R和平移变换矩阵T来表示。可以用P(S)表示原始点云中的点，P(T)表示原始点云在目标点云坐标系中的点。那么这种变换关系可以表示为：

[0053] P(T)=R⋅P(S)+T

[0054] 因此，点云配准的主要任务是计算出旋转矩阵R和平移矩阵T，以便利用旋转矩阵R和平移矩阵T即可确定目标风格模型与重建模型的位置关系。

[0055] 作为一种示例，该预设的点云配准算法可以为迭代最近点算法(Iterative Closest Point,ICP)。其中，该迭代最近点算法可以包括以下步骤：

[0056] 第一步骤：初始化R、T矩阵，根据R、T矩阵可以得到P(T)，即原始点云在目标点云坐标系下的坐标。

[0057] 第二步骤：在目标点云中寻找与P(T)最近的点，并且距离小于规定的阈值，这个阈值可以自定义。

[0058] 第三步骤：对第二步骤中匹配到的点计算欧式距离误差，并且通过最小二乘法来优化R、T矩阵。

[0059] 第四步骤：将第三步骤优化后的R、T矩阵带回第一步骤中，重新进行迭代，直到迭代满足要求后，得到最终优化的R、T矩阵。将最终优化的R、T矩阵确定为原始点云与目标点云的变换矩阵。本申请中可以将重建模型中的关键点可作为原始点云坐标系的点，目标风格模型中与重建模型的关键点对应的关键点可作为目标点云坐标系的点，利用上述ICP算法即可获得重建模型与目标风格模型之间的变换矩阵（包括旋转矩阵R和平移矩阵T）。

[0060] 在步骤203中，基于变换矩阵，将目标风格模型的位置对齐到与重建模型的位置一致。

[0061] 可选地，在确定重建模型与目标风格模型之间的变换矩阵之后，可以将目标风格模型利用该变换矩阵对齐到重建模型即可实现位置的对齐，从而可以保证两个模型的拓扑一致性。

[0062] 在步骤204中，在经过位置对齐的目标风格模型保持拓扑不变的情况下，将经过位置对齐的目标风格模型之中的网格形状变形到与重建模型中的网格形状一致，以得到风格变形模型。

[0063] 可选地，利用网格变形，将经过位置对齐的目标风格模型在保持拓扑的情况下形状变形到重建模型，即在经过位置对齐的目标风格模型保持拓扑不变的情况下，将经过位置对齐的目标风格模型之中的网格形状变形到与重建模型中的网格形状一致，以得到风格变形模型。目标风格模型经过网格对齐和网格变形之后，可以使得模型与重建模型完全贴合，即位置与形状均与重建模型保持一致。

[0064] 在本申请的实施例中，模型网格的变形可以由UE工程师进行手动操作完成；或者，可以采用现有成熟的技术进行模型网格变形，如三角网格的形变迁移（deformation transfer for triangle meshes）；或者，可以采用现有工具（如Warp4d）完成模型网格变形。或者本申请还可以采用其他方式进行模型网格变形，本申请对此不做具体限定。

[0065] 在步骤205中，基于风格变形模型、重建模型和重建纹理贴图，构建风格变形模型中每个纹理面片的多个点与重建纹理贴图中二维像素点位置之间的映射关系。

[0066] 在本申请的实施例中，步骤205可以分别采用本申请的各实施例中的任一种方式实现，本申请实施例并不对此作出限定，也不再赘述。

[0067] 在步骤206中，根据映射关系对重建纹理贴图进行像素迁移，以生成目标风格模型的风格纹理贴图。

[0068] 在本申请的实施例中，步骤206可以分别采用本申请的各实施例中的任一种方式实现，本申请实施例并不对此作出限定，也不再赘述。

[0069] 通过实施本申请实施例，通过确定重建模型与目标风格模型之间的变换矩阵，基于该变换矩阵将目标风格模型的位置对齐到与重建模型的位置一致，并在经过位置对齐的目标风格模型保持拓扑不变的情况下，将经过位置对齐的目标风格模型之中的网格形状变形到与重建模型中的网格形状一致，以得到风格变形模型，使得该风格变形模型与重建模型完全贴合，以便后续可以查找模型纹理面片的对应信息，从而基于该对应信息即可快速实现风格纹理转换迁移，从而可以快速得到不同风格的纹理贴图，节省大量人力以及并提升虚拟形象的相似度。

[0070] 图3为本申请实施例所提供的另一种多风格纹理贴图生成方法的流程图。如图3所示，该多风格纹理贴图生成方法可以包括但不限于如下步骤。

[0071] 在步骤301中，获取预设的重建模型，以及基于重建模型确定的重建纹理贴图。

[0072] 在本申请的实施例中，步骤301可以分别采用本申请的各实施例中的任一种方式实现，本申请实施例并不对此作出限定，也不再赘述。

[0073] 在步骤302中，对重建模型和目标风格模型进行网格对齐和变形处理，以获得风格变形模型。

[0074] 在本申请的实施例中，步骤302可以分别采用本申请的各实施例中的任一种方式实现，本申请实施例并不对此作出限定，也不再赘述。

[0075] 在步骤303中，确定风格变形模型之中每个纹理面片的多个点与重建模型之中的点之间的第一对应关系。

[0076] 可选地，由于目标风格模型经过网格对齐和网格变形之后得到的风格变形模型与重建模型完全贴合，所以可以通过KNN算法进行查找风格变形模型之中每个纹理面片的多个点与重建模型之中的点之间的对应关系。

[0077] 作为一种示例，该纹理面片可为三角面片。在本实施例中，可以通过KNN算法进行查找风格变形模型之中每个三角面片中的三个点与重建模型之中的点之间的对应关系。

[0078] 在步骤304中，基于模型与纹理UV坐标的对应关系，确定重建模型之中的点与重建纹理贴图之中的二维像素点位置之间的第二对应关系。

[0079] 可选地，由于UV映射是将2D（二维）图像投影到3D（三维）模型表面以进行纹理映射的3D建模过程，所以一个模型对应一个纹理UV坐标，即对应一个纹理贴图。因此模型与纹理UV坐标存在对应关系，可以基于模型与纹理UV坐标的对应关系，确定重建模型之中的点与重建纹理贴图的二维图像空间像素点位置间的对应关系。

[0080] 在步骤305中，基于第一对应关系和第二对应关系，构建风格变形模型中每个点纹理面片的多个点与重建纹理贴图中二维像素点位置之间的映射关系。

[0081] 可选地，基于风格变形模型之中每个纹理面片的多个点与重建模型之中的点之间的第一对应关系，以及重建模型之中的点与重建纹理贴图之中的二维像素点位置之间的第二对应关系，即可构建出风格变形模型中每个点纹理面片的多个点与重建纹理贴图中二维像素点位置之间的映射关系。

[0082] 在步骤306中，根据映射关系对重建纹理贴图进行像素迁移，以生成目标风格模型的风格纹理贴图。

[0083] 可选地，针对风格变形模型之中每个纹理面片，可以基于风格变形模型中每个点纹理面片的多个点与重建纹理贴图中二维像素点位置之间的映射关系，将重建纹理贴图之中与每个纹理面片的多个点对应的多个二维像素点组成的区域进行像素迁移，以生成目标风格模型的风格纹理贴图。

[0084] 在一种实现方式中，基于风格变形模型中每个点纹理面片的多个点与重建纹理贴图中二维像素点位置之间的映射关系，可以采用仿射变换方式将重建纹理贴图之中与每个纹理面片的多个点对应的多个二维像素点组成的区域进行像素迁移，迭代处理风格变形模型之中所有纹理面片以生成目标风格模型的风格纹理贴图。

[0085] 在另一种实现方式中，基于风格变形模型中每个点纹理面片的多个点与重建纹理贴图中二维像素点位置之间的映射关系，可以采用重心插值方式将重建纹理贴图之中与每个纹理面片的多个点对应的多个二维像素点组成的区域进行像素迁移，迭代处理风格变形模型之中所有纹理面片以生成目标风格模型的风格纹理贴图。

[0086] 为了方便理解本申请，下面将以纹理面片为三角面片为例对本申请的多风格纹理贴图生成方法进行详细描述。

[0087] 举例而言，如图4所示，本申请中多风格纹理贴图生成方法可以包括重建模型和目标风格纹理模型的网格注册部分、构建三角面片映射关系部分和风格纹理转换迁移部分。其中，一个模型对应于一个UV，即对应一个纹理贴图，本申请目标是利用比较成熟的重建的纹理图得到当前风格模型的纹理贴图，因纹理和Mesh具有对应关系，因此通过寻找Mesh的映射关系进行达到本申请的目标。网格注册包含两步：一个是网格进行对齐，另一个是网格进行warpping（变形）。其中，网格对齐就是利用选定的对应点对，然后使用点云配准方法求解得到目标风格模型与重建模型之间的变换矩阵，然后将目标风格模型利用变换矩阵对齐到重建模型即可实现位置的对齐。网格warpping就是利用网格变形将目标风格模型在保持拓扑的情况下形状变形到重建模型。

[0088] 在完成网格对齐和warpping（变形）之后，接下来就需要查找模型三角面片的对应，由于wapping之后，模型已经完全贴合，因此通过最近邻搜索KNN进行查找点的对应关系，这里可以获取风格变化模型每个三角面片的三个点分别对应于重建模型的对应的三个点的ID（标识），然后通过模型和UV的对应关系，也可以得到该重建模型的三个点对应于重建纹理贴图的二维图像空间的三个2D（二维）点的像素位置。

[0089] 通过以上步骤可以得到风格变化模型上每个三角面片在重建纹理贴图中对应的三个像素坐标，这三个像素坐标对应于重建纹理贴图上的三角形，风格变化模型上该三角面片的三个点也对应风格纹理贴图的一个三角形，本申请的目标是将重建纹理贴图中该三角形里面的像素迁移到风格纹理贴图中的另一个三角形，然后迭代处理风格变化模型所有面片即可得到风格纹理贴图。

[0090] 其中，将三角形变形到另一个三角形，可以使用仿射变换方式进行像素迁移，这样可以保持纹理的清晰度。可选地，可以根据源图像（如本申请中的重建纹理贴图）和目标图像（如本申请中的风格纹理贴图）上三个对应的点得到仿射变化变换矩阵，将风格变化模型的每个三角面片对应的重建纹理贴图中的每个像素点通过仿射变换到风格纹理贴图中，即可得到目标风格模型对应的风格纹理贴图。

[0091] 可选地，还可以通过风格变化模型中三角面片的三个点与重建纹理贴图中二维像素点位置之间的映射关系、风格变化模型中三角面片的三个点与风格纹理贴图中像素点位置的对应关系，即可确定重建纹理贴图中二维像素点位置与风格纹理贴图中像素点位置间的对应关系，这样可以根据重建纹理贴图中三角形的三个点的位置和像素，采用三角形重心插值算法对风格纹理贴图对应三角形内的像素进行填充，迭代处理风格变化模型所有面片即可得到风格纹理贴图。

[0092] 本申请实施例的多风格纹理贴图生成方法，可以快速得到不同风格的纹理贴图，节省大量人力以及并提升虚拟形象的相似度。

[0093] 图5为本申请实施例所提供的一种多风格纹理贴图生成装置的结构框图。如图5所示，该多风格纹理贴图生成装置可以包括：第一获取模块501、网格注册模块502、构建模块503和生成模块504。

[0094] 其中，第一获取模块501用于获取预设的重建模型，以及基于重建模型确定的重建纹理贴图。

[0095] 网格注册模块502用于对重建模型和目标风格模型进行网格对齐和变形处理，以获得风格变形模型。

[0096] 在一种实现方式中，网格注册模块502具体用于：确定重建模型与目标风格模型之间的变换矩阵；基于变换矩阵，将目标风格模型的位置对齐到与重建模型的位置一致；在经过位置对齐的目标风格模型保持拓扑不变的情况下，将经过位置对齐的目标风格模型之中的网格形状变形到与重建模型中的网格形状一致，以得到风格变形模型。

[0097] 在一种实现方式中，网格注册模块502确定重建模型与目标风格模型之间的变换矩阵的实现方式可如下：选定重建模型与目标风格模型之间的对应点对；基于选定的对应点对，采用预设的点云配准算法求解得到重建模型与目标风格模型之间的变换矩阵。

[0098] 构建模块503用于基于风格变形模型、重建模型和重建纹理贴图，构建风格变形模型中每个纹理面片的多个点与重建纹理贴图中二维像素点位置之间的映射关系。

[0099] 在一种实现方式中，构建模块503具体用于：确定风格变形模型之中每个纹理面片的多个点与重建模型之中的点之间的第一对应关系；基于模型与纹理UV坐标的对应关系，确定重建模型之中的点与重建纹理贴图之中的二维像素点位置之间的第二对应关系；基于第一对应关系和第二对应关系，构建风格变形模型中每个点纹理面片的多个点与重建纹理贴图中二维像素点位置之间的映射关系。

[0100] 生成模块504用于根据映射关系对重建纹理贴图进行像素迁移，以生成目标风格模型的风格纹理贴图。

[0101] 在本申请的实施例中，生成模块504针对风格变形模型之中每个纹理面片，基于映射关系将重建纹理贴图之中与每个纹理面片的多个点对应的多个二维像素点组成的区域进行像素迁移，以生成目标风格模型的风格纹理贴图。

[0102] 在一种实现方式中，生成模块504基于映射关系，采用仿射变换方式将重建纹理贴图之中与每个纹理面片的多个点对应的多个二维像素点组成的区域进行像素迁移，迭代处理风格变形模型之中所有纹理面片以生成目标风格模型的风格纹理贴图。

[0103] 在另一种实现方式中，生成模块504基于映射关系，采用重心插值方式将重建纹理贴图之中与每个纹理面片的多个点对应的多个二维像素点组成的区域进行像素迁移，迭代处理风格变形模型之中所有纹理面片以生成目标风格模型的风格纹理贴图。

[0104] 关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

[0105] 本申请实施例的多风格纹理贴图生成装置，可以快速得到不同风格的纹理贴图，节省大量人力以及并提升虚拟形象的相似度。

[0106] 根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

[0107] 如图6所示，是根据本申请实施例的多风格纹理贴图生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

[0108] 如图6所示，电子设备600包括计算单元601，其可以根据存储在ROM（Read‑Only Memory，只读存储器）602中的计算机程序或者从存储单元608加载到RAM（Random Access Memory，随机访问/存取存储器）603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 
603通过总线604彼此相连。I/O（Input/Output，输入/输出）接口605也连接至总线604。

[0109] 电子设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

[0110] 计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于CPU（Central Processing Unit，中央处理单元）、GPU（Graphic Processing Units，图形处理单元）、各种专用的AI（Artificial Intelligence，人工智能）计算芯片、各种运行机器学习模型算法的计算单元、DSP（Digital Signal Processor，数字信号处理器）、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如人体信息的确定方法。例如，在一些实施例中，对人体信息的确定方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的人体信息的确定方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行人体信息的确定方法。

[0111] 本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA（Field Programmable Gate Array，现场可编程门阵列）、ASIC（Application‑Specific Integrated Circuit，专用集成电路）、ASSP（Application Specific Standard Product，专用标准产品）、SOC（System On Chip，芯片上系统的系统）、CPLD（Complex Programmable Logic Device，复杂可编程逻辑设备）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

[0112] 用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

[0113] 在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM（Electrically Programmable Read‑Only‑Memory，可擦除可编程只读存储器）或快闪存储器、光纤、CD‑ROM（Compact Disc Read‑Only Memory，便捷式紧凑盘只读存储器）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

[0114] 为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

[0115] 可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、互联网和区块链网络。

[0116] 计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端‑服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务（"Virtual Private Server"，或简称 "VPS"）中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

[0117] 应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

[0118] 上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。