基于神经网络的复杂服装虚拟试衣方法、装置及存储介质

摘要

本发明公开了一种基于神经网络的复杂服装虚拟试衣的方法，包括4个步骤流程：提取属性网络，人体属性变换融合，衣服属性变换网络，人衣穿衣网络这四个过程。本发明与现有技术相比为不同群体的顾客给予个性化复杂服装的虚拟试穿，使得顾客身临其境，每个人试穿都有独特的自己，更乐于分享。同时神经网络方法更加美化和真实的虚拟试穿，不仅增加了顾客的购买率，而且对服装设计商提供了更细致和宝贵的用户分析建议，为将来更快捷实现个性化服装定制设计更进一步。更重要的是可以帮助广大消费者穿衣体验升级和消费升级。既让用户享受到虚拟试衣的乐趣与便捷，也为商家提高利润。

权利要求

1.一种基于神经网络的复杂服装虚拟试衣的方法，其特征在于，所述方法包括：步骤1，对用户提取属性并构建属性网络，所述属性网络包括提取人体属性和提取着装属性，所述属性网络包括两路分支，第一分支通过人脸算法和人体分析算法，得到所述用户的多个人体属性，通过网络进行训练后，得到所述多个人体属性组合的高级特征表达，第二分支通过3D衣服关键点和衣服分割的算法提取着装属性，所述着装属性包括宽松程度，衣服装饰，穿着习惯，所述3D衣服关键点和衣服分割的算法通过将多个3D衣服关键点每三个相互连接，组成多个相互叠加的三角面，通过比较衣服三角面和正常衣服三角面，计算出变换每个三角面的变换系数，通过无监督网络训练，得到多个着装属性组合的高级特征表达；

步骤2，构建人体属性变换网络，所述人体属性变换网络使用高级特征矩阵来指导基准人体模型和虚拟衣服模型作风格和细节上的调整，融合和变换，生成个性化带场景的人体模型；所述人体属性变换网络包括两个输入内容，一个输入内容为所述步骤1中第一分支提取的高级特征，另一个输入内容为普通测量重建的基准人体模型；所述高级特征矩阵的每行都是由不同提取高级特征算法进行多维度提取到的独一无二的特征，该特征包括穿着习惯，宽松程度，颜色搭配，嘴型参数；

步骤3，构建着装属性变换网络，所述着装属性变换网络有两个输入内容，一个输入内容为所述步骤1中第二分支提取的高级特征，另一个输入内容为服装提供商提供的虚拟衣服模型以及属性，通过着装属性变换网络的融合变换之后，该网络根据当前虚拟试穿用户的着装习惯对衣服做相应的变换；

步骤4，构建人体虚拟模型着装网络，结合所述步骤2和所述步骤3的输出结果，将着装进行自动穿着，得到最终虚拟试衣的效果。

2.如权利要求1所述的一种基于神经网络的复杂服装虚拟试衣的方法，其特征在于，所述步骤1中第一分支具体为，通过人脸算法提取用户的表情，形象，妆容，通过人体分析算法获取用户声音，嘴型，皮肤属性，并通过多医学设备结合采集人体结构化的数据，并将采集的结构化的多种数据融合成一个高级特征进行表示。

3.如权利要求2所述的一种基于神经网络的复杂服装虚拟试衣的方法，其特征在于，通过所述三角面对衣服进行空间分割，得到该衣服的尺码；加入高级特征，最终对基准人体模型和虚拟衣服模型进行微小的调整，生成与用户相匹配的参数。

4.如权利要求1所述的一种基于神经网络的复杂服装虚拟试衣的方法，其特征在于，所述步骤3的网络训练的过程与步骤2中的网络训练过程相同，着装属性变换网络设置有对应参数支持用户自定义调节，体验不同的着装风格，自定义参数可以调节颜色搭配或者某个艺术家作品的颜色风格。

5.如权利要求1所述的一种基于神经网络的复杂服装虚拟试衣的方法，其特征在于，所述人体虚拟模特着装网络根据所述步骤3的对应参数，可对虚拟试穿之后的衣服进行大小和风格的调整，并生成最终的衣服尺寸和风格参数。

6.一种电子装置，其特征在于，包括：处理器；以及，

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1‑5任一项所述的基于神经网络的复杂服装虚拟试衣的方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1‑5任一项所述的基于神经网络的复杂服装虚拟试衣的方法。

说明书

基于神经网络的复杂服装虚拟试衣方法、装置及存储介质

技术领域

[0001] 本发明涉及计算机技术领域，尤其涉及一种基于神经网络的复杂服装虚拟试衣方法、装置及存储介质。

背景技术

[0002] 随着科技的进步，服装行业的发展，服装行业的衣服从实体设计逐渐向虚拟设计中过渡，广大消费者也逐渐从实体试衣逐渐向虚拟试衣中转变。在各式各样复杂的服装中，
如汉服，二次元服装等被现代社会的人所喜爱。广大消费者喜欢根据自己的喜好去试穿多
款复杂服装并分享在自己的社交圈中，但这种相较于普通服装更为复杂，如果这种复杂服
装被一一试穿，既浪费了顾客们的时间，也会影响二次销售，最终大大降低了购买率。虚拟
试衣可以大大减少顾客的试衣时间，挑选最合适款式的衣服。更重要的是，在虚拟试衣中可
以加入更加有趣的互动操作以及分享，可达到很好的传播效应，极大提升了用户体验和购
买率。目前虚拟试衣方法通常使用视觉设备或测量设备进行人体数字模特的重建，然后和
3D虚拟衣服进行结合，以达到3D虚拟试衣的目的。一方面的缺陷，人体数字模特的建立过程
中只是用到低维特征，如三维等硬性参数。却没有用到高维特征，如年龄，面部表情，心情等
抽象参数，导致建立的人体模型只是在体格和外观上较相似，无法反映当时人的状态和衣
服的契合度。另外一方面，因为古装和二次元服装属于个性化较强的复杂服装，已有的试衣
效果会导致试衣整体效果偏差，降低了顾客对复杂服装的预期，从而降低了购买率。

[0003] 目前大多数已有的虚拟试衣方法中，缺陷主要从两个角度来进行分析和阐述。从人体建模角度，3D人体模特仅仅使用测量的方式对用户进行人体库检索或者三维重建，使
得建立的虚拟人体模特在体形上较相似，相当于相似身材的不同人建立的虚拟模特几乎相
同，用户在感官上无法和复杂服装想对应，无法做到身临其境。比如，顾客在试穿二次元服
装时，顾客希望建立的虚拟模特不仅仅是体型相似的数字模特，更希望该人体模特偏向于
二次元风格，形态神态更趋近于本身。从衣服角度，相同虚拟复杂服装穿在数字模特时，衣
服效果是高度相似的，无法对当前顾客穿衣风格给定相关舒适度建议以及自由化的调整。

发明内容

[0004] 针对上述技术问题，我们提出了基于神经网络方法，为不同群体的顾客给予个性化复杂服装的虚拟试穿，使得顾客身临其境，每个人试穿都有独特的自己，更乐于分享。同
时神经网络方法更加美化和真实的虚拟试穿，不仅增加了顾客的购买率，而且对服装设计
商提供了更细致和宝贵的用户分析建议，为将来更快捷实现个性化服装定制设计更进一
步。更重要的是可以帮助广大消费者穿衣体验升级和消费升级。既让用户享受到虚拟试衣
的乐趣与便捷，也为商家提高利润。

[0005] 本发明旨在至少解决现有技术中存在的技术问题。为此，如图1所示，本发明公开了一种基于神经网络的复杂服装虚拟试衣的方法，所述方法包括：

[0006] 步骤1，对用户提取属性并构建属性网络，所述属性网络包括给提取人体属性和提取着装属性；

[0007] 步骤2，对提取的人的属性进行变换并构建人体属性变换网络，通过所述人体属性变换网络将高维特征矩阵来指导基准人体模型和虚拟衣服模型作风格和细节上的调整，融
合和变换，生成个性化带场景的人体模特；

[0008] 步骤3，对着装属性进行变换得并构建着装属性变换网络，根据获取的用户习惯属性，所述着装属性变换网络根据当前虚拟试穿用户的穿着习惯对衣服做相应的变换；

[0009] 步骤4，构建人体虚拟模特着装网络，结合所述步骤2和所述步骤3的输出结果，将着装进行自动穿着，得到最终虚拟试衣的效果。

[0010] 更进一步地，所述步骤1中的属性网络进一步包括两路分支，第一分支通过人脸算法提取用户的表情，形象，妆容，通过人体分析算法获取用户声音，嘴型，皮肤属性，并通过
多医学设备结合采集人体结构化的数据，并通过采集的结构化的多种数据融合成一个高维
特征进行表示，通过网络进行训练后，能得到该人体多个属性组合的高级特征表达。

[0011] 更进一步地，所述步骤1中的属性网络进一步包括两路分支，第二分支通过3D衣服关键点和衣服分割的算法提取着装属性，所述着装属性包括宽松程度，衣服装饰，穿着习
惯；所述3D衣服关键点和衣服分割的算法通过多个衣服3D关键点，三个相互连接，组成多个
相互叠加的三角面，通过比较衣服三角面于正常衣服三角面，计算出变换每个三角面的系
数，通过无监督网络训练，将多个不同三角面的变换系数映射并得到属于用户穿着衣服高
级特征系数，该系数是高维的并表示用户的着装习惯。

[0012] 更进一步地，通过所述三角面对衣服进行空间分割，得到该衣服的尺码；加入高级特征，所述高级特征为相应的特征矩阵，矩阵的每行都是由不同提取高级特征算法进行多
维度提取到的独一无二的特征，该特征包括穿着习惯，宽松程度，颜色搭配，嘴型参数，最终
对人体模型和虚拟衣服进行微小的调整，生成与用户相匹配的参数。

[0013] 更进一步地，所述步骤2中的人体属性变换网络进一步包括两个输入内容，一个输入内容为第所述步骤1中第一分支提取的高级特征，另一个输入内容为普通测量重建的人
体模特作为基准。

[0014] 更进一步地，所述步骤3进一步包括，所述着装属性变换网络有两个输入内容，一个输入内容为所述步骤1中第二分支提取的高级特征，另一个输入内容为服装提供商提供
的虚拟衣服以及属性，通过着装属性变换网络的融合变换之后，该网络根据当前虚拟试穿
用户的穿着习惯对衣服做相应的变换。

[0015] 更进一步地，所述步骤3的网络训练的过程与步骤2中的网络训练过程相同，着装属性变换网络设置有对应参数支持用户自定义调节，体验不同的着装风格，自定义参数可
以调节颜色搭配或者某个艺术家作品的颜色风格。

[0016] 更进一步地，所述人体虚拟模特着装网络根据所述步骤3的对应参数，可对虚拟试穿之后的衣服进行大小和风格的调整，并生成最终的衣服尺寸和风格参数。

[0017] 本发明进一步公开了一种电子设备，包括：处理器；以及，存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的基于
神经网络的复杂服装虚拟试衣的方法。

[0018] 本发明进一步公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于神经网络的复杂服装虚拟试衣的方法。

[0019] 本发明与现有技术相比为不同群体的顾客给予个性化复杂服装的虚拟试穿，使得顾客身临其境，每个人试穿都有独特的自己，更乐于分享。同时神经网络方法更加美化和真
实的虚拟试穿，不仅增加了顾客的购买率，而且对服装设计商提供了更细致和宝贵的用户
分析建议，为将来更快捷实现个性化服装定制设计更进一步。更重要的是可以帮助广大消
费者穿衣体验升级和消费升级。既让用户享受到虚拟试衣的乐趣与便捷，也为商家提高利
润。

附图说明

[0020] 从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应
的部分。

[0021] 图1是本发明的基于神经网络的复杂服装虚拟试衣方法的流程图；

[0022] 图2是本发明一实施例中基于神经网络的复杂服装虚拟试衣程序流程图。

[0023] 其中，①表示广大消费者；②表示第一过程，提取属性网络；提取③中的人体属性以及提取④中的着装属性；③：②中网络的分支，负责分析出人体属性等高维特征；④：②中
网络的分支，负责分析出衣服属性等高维特征；⑤：第二过程，人体属性变换网络。根据③中
的高维特征，对普通测量重建的人体模特进行变换；⑥：第三过程，衣服属性变换网络。根据
④中的高维特征，对服装商提供复杂款式的虚拟服装进行变换，该复杂服装包含二次元服
装，汉服等；⑦：个性化带场景的人体模特。⑤中普通模特融合高维特征之后的结果；⑧：第
四过程，人体穿衣网络。搭配⑤⑥的结果，进行人衣结合；⑨：得到最终虚拟试衣的效果。

具体实施方式

[0024] 实施例如图2所示，本实施包括4个步骤流程：提取属性网络，人体属性变换融合，衣服属性变换网络，人衣穿衣网络这四个过程。

[0025] 第一个过程，提取属性网络。该网络总共两个分支，一个分支是给提取人的属性，可通过人脸算法，分析得到该高级特征，如表情，形象，妆容等，可通过人体分析算法得到该
高级特征，如声音，嘴型，皮肤等。通过多种医学设备采集结构化的数据，通过该结构化的多
种数据可以通过该算法融合成一个高维特征进行表示。例如声音分贝，声音频率，皮肤水油
PH等通过网络进行训练后，能得到该人体多个属性组合的高级特征表达，而不是简单的组
合，通过该高级特征表达，可推理出新的高维属性，例如神态等。这有利于第二过程生成个
性化，并符合用户形象的人体模特。另外一个分支是提取着装属性，可通过3D衣服关键点和
衣服分割的算法，分析得到该高级特征。如宽松程度，衣服装饰，穿着习惯等。该算法通过多
个衣服3D关键点，三个相互连接，组成多个相互叠加的三角面，通过比较衣服三角面于正常
衣服三角面，计算出变换每个三角面的系数，通过无监督网络训练，将多个不同三角面的变
换系数映射并得到属于用户穿着衣服高级特征系数，该系数是高维的，可表示用户的着装
习惯。同时，这些三角面可以对衣服进行空间分割，得到该衣服的尺码。例如正常人体测量
适合穿M码，但是当前用户习惯穿L码，这是现有技术无法分辨的，通过该方式可以解决定制
化问题。这有利于第三过程生成符合用户着装习惯的衣服穿搭。在试穿复杂服装时，可以加
入该高级特征，该高级特征为相应的特征矩阵，矩阵的每行都是由不同提取高级特征算法
进行多维度提取到的独一无二的特征，该特征包含了穿着习惯，宽松程度，颜色搭配，嘴型
等等，最终可以对人体模型和虚拟衣服所微小的调整，生成与用户相匹配的参数。使得用户
身历其境，独一无二的自己进行虚拟试衣。

[0026] 第二个过程，人体属性变换网络。该网络有两个输入内容，一个输入内容为第一过程中第一分支提取的高级特征，另一个输入内容为普通测量重建的人体模特，该普通测量
使用的是已有的人体测量方法，只作为基准。通过该融合变换网络将高维特征矩阵来指导
基准人体模型和虚拟衣服模型作风格和细节上的调整，融合和变换，生成个性化带场景的
人体模特。风格包括喜爱衣服颜色，穿着风格等，细节包含神态和形态等。例如面带笑容的
阳光青年试穿二次元的复杂服装时，该网络最终将生成在海洋场景下具有的二级元风格的
青年人体模特，该模特更接近于用户本身的虚拟数字人。

[0027] 第三个过程，衣服属性变换网络。该网络有两个输入内容，一个输入内容为第一过程中第二分支提取的高级特征，另一个输入内容为服装提供商提供的虚拟衣服以及属性，
通过该网络的融合变换之后，该网络会根据当前虚拟试穿用户的穿着习惯对衣服做相应的
变换，例如穿长袖衣服喜欢袖子稍微卷起等，更符合用户当前习惯。该网络训练的过程与第
二个过程类似，但该网络另外有对应参数支持用户自定义调节，体验不同的着装风格。该参
数可以调节颜色搭配，某个艺术家作品的颜色风格，或者某个时尚杂志的衣服款式风格等
等。

[0028] 第四个过程，人体模特穿衣网络。结合第二过程和第三过程的输出，将人衣进行自动穿着，方便快捷。同时该网络可根据第三过程的对应参数，可对虚拟试穿之后的衣服进行
大小和风格的调整，找到最合适的一款，并生成最终的衣服尺寸，风格等参数。

[0029] 还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包
括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要
素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要
素的过程、方法、商品或者设备中还存在另外的相同要素。

[0030] 本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的
形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存
储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形
式。

[0031] 虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。因此，其旨在上述详细描述被认为是例示性的而
非限制性的，并且应当理解，以下权利要求(包括所有等同物)旨在限定本发明的精神和范
围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读
了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和
修饰同样落入本发明权利要求所限定的范围。