一种可保持服装纹理特征的多种类变尺度虚拟试衣方法

摘要

本发明公开了一种可保持服装纹理特征的多种类变尺度虚拟试衣方法，该方法以人体图像和多种服装图像为输入，输出同时穿着多件服装的着装图像。将人体三维模型姿势重置为试穿服装姿势；定位二维关节点，以掩膜像素的方位和宽度为约束，生成服装适应人体部位掩膜；根据人体部位和服装掩膜构建不同尺度网格移动矢量场，在多个尺度上变形服装图像。在着装图像合成中，根据着装次序对变形服装和三维人体渲染图进行融合运算，生成输出。本发明适用于面向多种类复杂服装图像的变尺度个性化虚拟试衣，着重于构建服装适应的人体部位掩膜和变尺度扭曲服装图像，对服装图像进行个性化变形的同时保留整体性特征和局部纹理，有助于在线购物的虚拟试衣推广。

权利要求

1.一种可保持服装纹理特征的多种类变尺度虚拟试衣方法，其特征在于，面向多种类、具有复杂形状纹理、无分辨率限制的服装图像，能够同时试穿多件服装，保留服装图像的整体性特征和局部细节纹理；该方案步骤如下：

1)利用真实人体形状重建三维人体模型，将模型的姿势调整成服装姿势；通过三维人体模型的正交投影，生成人体掩膜并细分为14个身体部位；基于服装的整体性比例特征，进一步精准地调整人体部位，形成服装适应的人体部位掩膜；在服装适应过程中，利用关节点移动实现人体部位掩膜长度调整，利用膨胀运算实现着装宽松度调整；

2)根据人体部位和服装掩膜，构建具有不同稀疏程度的网格移动矢量场，并使用SG‑滤波器对移动矢量进行平滑；在网格移动矢量场作用下，利用薄板样条变换在整体和局部尺度上扭曲变形服装图像，将多种类变形服装图像融合覆盖于渲染三维人体图像，生成同时穿着多件服装的虚拟人体着装图像；具体为：

2.1)网格移动矢量场构建

由于服装和人体部位掩膜的界标稀疏性和缺乏配对关系，难以通过对齐特定控制点和径向插值实现对二维图像的非刚性薄板样条变形；因此，将服装和人体部位掩膜划分成等间隔的网格，将网格点中的像素块下采样为一个控制点，获得网格控制点矩阵每个控制点 包含位置 和分

割信息

将人体部位和服装的掩膜对齐并保持分辨率一致，两者的控制点矩阵形成双射对应，求解人体和服装控制点矩阵mask(C)属性的差值矩阵D(C)；对于位于区间的每个控制点 在D(C)中取3×3视窗，确定服装网格控制点的网格移动矢量 形成服装掩膜的网格移动矢量场；基于Savitzky‑Golay卷积平滑算法在x和y轴方向上分别对控制点移动向量的x值和y值进行平滑，取平滑后的均值，生成控制点新的移动向量

2.2)服装图像的多尺度扭曲变形；

在构建网格移动矢量场后，计算其引起的薄板样条变换的参数并将其应用于服装掩膜的变换；

选取尺度序列为 的网格移动矢量场，1×的网格间隔最大，能够捕捉到服装掩膜与人体部位掩膜间的整体性差异； 的网格最密集，能够捕捉服装掩膜与人体部位掩膜间局部细节的差异，但网格的间隔过小也造成了非连续性和局部非自然的变形；综合不同尺度网格的变形优势，将经过不同尺度网格移动矢量场变形后的服装掩膜进行融合；

2.3)多件服装的着装图像合成；

在试穿nx件服装时，根据不同服装的整体性特征生成nx个不同的服装适应人体部位掩膜 记录边界框在人体掩膜中的左上位置 在适应性人体部位掩膜的引导下，不同种类的服装经过变尺度扭曲后形成变形服装图像和服装掩膜；在着装图像合成过程中，为保证变形服装图像完全覆盖对应的身体部位，消除服装适应的人体部位，根据着装优先级对齐 相加变形服装以生成试穿多件服装的着装图像Id。

2.根据权利要求1所述可保持服装纹理特征的多种类变尺度虚拟试衣方法，其特征在于，所述步骤1)具体为：

1.1)服装姿势适应的三维人体模型构建利用真实人体图像重建三维人体模型，将人体模型姿势调整成服装姿势；将服装的先验姿势特征迁移至三维人体模型可避免在服装变形中非自然变形的出现；

针对三维人体模型，选择其正面着装投影作为试衣效果的展示；影响着装投影的主要躯干旋转向量简化为 其分别为左大臂、左小臂、右大臂、右小臂、左大腿和右大腿绕z轴的旋转角；

针对服装图像，将服装统计分为13个种类：长袖T恤、短袖T恤、长袖外套、短袖外套、长裤、短裤、长袖裙、短袖裙、背心、吊带、短裙、背心裙和吊带裙，其中前8种服装存在与人体躯干有关的关节姿势特征，后5种服装不受人体躯干姿势影响；对于平铺服装图像，获取服装的边界界标，提取服装的姿势特征；

1.2)精准人体部位掩膜划分

利用OpenGL将三维人体模型正交投影渲染成人体掩膜分割图，背景为黑色，人体前景为白色；投影人体模型的三维关节点界标 成为二维关节点界标 为精确人体部位掩膜分割提供了基准；

根据投影的二维关节点界标，以掩膜像素的方向和宽度为约束，将人体掩膜细分为不同的身体部位；将手臂划分为两部分：前臂和后臂，以适应短袖和长袖类服装；将腿部划分为：大腿和小腿；胸腹部分Rc为人体掩膜与其它部分的差值；

方向约束分为两种情况：(1)点在两个关节的异侧，(2)点在一个关节的一侧；方向约束通过限制角度实现，不同身体部位具有不同的方向约束参数；

宽度约束通过寻找指定方向的边界点实现；经过关节点界标 在垂直于基线 方向上，构建单位边界寻找向量 遍历递增 以寻找边界点B；

通过方向和宽度的综合约束，将人体掩膜细分为14个身体部位；

1.3)基于服装整体性特征人体部位掩膜的适应调整；

在制衣过程中形成的整体性服装特征，包括肩宽与袖长比、腰围与裤长比、着装宽松度，能够从根本上反映服装的特性，也是人们在购买服装时关注的重要指标；在虚拟试衣时，应尽量保留整体性的服装特征，构建适应于服装整体性特征的人体部位掩膜，为服装变形提供精确的变形引导；

上下半身的基准分别为肩宽wu和腰宽wl；服装的整体性特征以比例形式体现，上半身特征包括袖长与肩宽比ls/wu，衣长与肩宽比hu/wu；下半身特征包括裤长与腰宽比hl/wl；对于裙子类服装，定义特征裙长与腰宽比hd/wl和裙摆底端宽度与腰宽比wd/wl；

利用服装的整体性特征，对细分的人体部位掩膜进行适应性调整 对于袖长特征ls和裤长特征hl，适应性调整通过对应关节的插值移动 实现；对于衣长特征hu，由于Rc为所有人体部位掩膜与非胸腹部位的差值，根据大腿部位关节点的调整实现Rc的适应性调整；对于裙底宽度wd和裙长hd，定义对应的人体部位掩膜R'dr，近似裙部形状为梯形，梯形的上底与腰线平齐；将适应性调整后的人体部位掩膜进行根据13种服装组合，最终获得保留服装整体性特征的精确人体部位掩膜，共有13种服装适应人体部位掩膜着装的宽松程度同样影响服装的试衣效果，人体部位掩膜的不同扩张程度将引导服装扭曲产生不同的变形效果；利用图像的膨胀运算，对不同的人体部位做不同程度的卷积运算，获取膨胀后的服装适应人体部位掩膜

说明书

一种可保持服装纹理特征的多种类变尺度虚拟试衣方法

技术领域

[0001] 本发明属于二维虚拟试衣领域，尤其涉及一种可保持服装纹理特征的多种类变尺度虚拟试衣方法。

背景技术

[0002] 线上购物的繁荣促进了虚拟试衣技术的发展，虚拟试衣技术帮助用户以自身视角观察服装，向用户展示服装个性化的穿着效果，替代传统的模特试穿展示，提升用户的购物
体验，降低线上购物的退货率和商家经营成本。虚拟试衣技术两个主要的研究方向为三维
服装重建和二维着装图像合成。

[0003] 三维服装重建的研究面向于特定模型，仅针对特定类型对象，缺少服装统计模型，着重于服装的几何形状重建，纹理图案表征相对欠缺，模型呈现非真实感。基于点云的三维
服装重建需要对服装多次扫描，预处理和仿真计算成本昂贵，且需要专业人员复杂的后处
理，难以应对类型和形状日益繁多的服装市场。基于图像和视频的三维服装重建依靠模型
数据库的检索或者参数化驱动建模，数据库的样本容量限制了表征服装能力。面向不同人
体形状的三维服装变形以及服装模型的物理属性仿真具有昂贵计算成本，难以实现快速实
时的虚拟试衣、大规模应用和快速轻量化推广。

[0004] 二维着装图像合成的鲁棒性依赖于平铺‑真实着装服装图像对的样本容量和多样性，在表征复杂形状纹理时表现欠佳，难以保证在试穿新服装时的稳定性和难以保持原有
服装图像中的复杂纹理和局部图案。着装图像的合成容易受到真实人体图像的着装情况、
自遮挡和复杂姿势影响。

[0005] 综上，现有虚拟试衣技术难以基于人体形状对服装图像进行个性化变形的同时保留整体性特征和局部纹理。

发明内容

[0006] 本发明的目的在于针对现有技术的不足，提供一种可保持服装纹理特征的多种类变尺度虚拟试衣方法。本发明面向多种类具有复杂形状纹理服装图像，通过用户真实人体
照片和选定服装图像，基于服装适应人体掩膜构建方法和服装图像个性化变尺度扭曲方
法，保留服装整体性特征和局部细节，根据人体形状对服装图像个性化变形，生成使用于在
线虚拟试衣的虚拟人体着装图像，可实现同时试穿多件服装的虚拟试衣。

[0007] 本发明的目的是通过以下技术方案来实现的：一种可保持服装纹理特征的多种类变尺度虚拟试衣方法，面向多种类、具有复杂形状纹理、无分辨率限制的服装图像，能够同
时试穿多件服装，保留服装图像的整体性特征和局部细节纹理。该方案步骤如下：

[0008] 1)利用真实人体形状重建三维人体模型，将模型的姿势调整成服装姿势。通过三维人体模型的正交投影，生成人体掩膜并细分为14个身体部位。基于服装的整体性比例特
征，进一步精准地调整人体部位，形成服装适应的人体部位掩膜。在服装适应过程中，利用
关节点移动实现人体部位掩膜长度调整，利用膨胀运算实现着装宽松度调整。

[0009] 2)根据人体部位和服装掩膜，构建具有不同稀疏程度的网格移动矢量场，并使用SG‑滤波器对移动矢量进行平滑。在网格移动矢量场作用下，利用薄板样条变换在整体和局
部尺度上扭曲变形服装图像，将多种类变形服装图像融合覆盖于渲染三维人体图像，生成
同时穿着多件服装的虚拟人体着装图像。

[0010] 进一步地，所述步骤1)具体为：

[0011] 1.1)服装姿势适应的三维人体模型构建

[0012] 利用真实人体图像重建三维人体模型，将人体模型姿势调整成服装姿势。将服装的先验姿势特征迁移至三维人体模型可避免在服装变形中非自然变形的出现。

[0013] 针对三维人体模型，选择其正面着装投影作为试衣效果的展示。影响着装投影的主要躯干旋转向量简化为 其分别为左大臂、左小臂、右大臂、右
小臂、左大腿和右大腿绕z轴的旋转角。

[0014] 针对服装图像，将服装统计分为13个种类：长袖T恤、短袖T恤、长袖外套、短袖外套、长裤、短裤、长袖裙、短袖裙、背心、吊带、短裙、背心裙和吊带裙，其中前8种服装存在与
人体躯干有关的关节姿势特征，后5种服装不受人体躯干姿势影响。对于平铺服装图像，获
取服装的边界界标，提取服装的姿势特征。

[0015] 1.2)精准人体部位掩膜划分

[0016] 利用OpenGL将三维人体模型正交投影渲染成人体掩膜分割图，背景为黑色，人体前景为白色。投影人体模型的三维关节点界标 成为二维关节点界标 为精
确人体部位掩膜分割提供了基准。

[0017] 根据投影的二维关节点界标，以掩膜像素的方向和宽度为约束，将人体掩膜细分为不同的身体部位。将手臂划分为两部分：前臂和后臂，以适应短袖和长袖类服装；将腿部
划分为：大腿和小腿。胸腹部分Rc为人体掩膜与其它部分的差值。

[0018] 方向约束分为两种情况：(1)点在两个关节的异侧，(2)点在一个关节的一侧。方向约束通过限制角度实现，不同身体部位具有不同的方向约束参数。

[0019] 宽度约束通过寻找指定方向的边界点实现。经过关节点界标 在垂直于基线方向上，构建单位边界寻找向量 遍历递增 以寻找边界点B。

[0020] 通过方向和宽度的综合约束，将人体掩膜细分为14个身体部位。

[0021] 1.3)基于服装整体性特征人体部位掩膜的适应调整。

[0022] 在制衣过程中形成的整体性服装特征，如肩宽与袖长比，腰围与裤长比，着装宽松度等，能够从根本上反映服装的特性，也是人们在购买服装时关注的重要指标。在虚拟试衣
时，应尽量保留整体性的服装特征，构建适应于服装整体性特征的人体部位掩膜，为服装变
形提供精确的变形引导。

[0023] 上下半身的基准分别为肩宽wu和腰宽wl。服装的整体性特征以比例形式体现，上半身特征包括袖长与肩宽比ls/wu，衣长与肩宽比hu/wu。下半身特征包括裤长与腰宽比hl/wl。
对于裙子类服装，定义特征裙长与腰宽比hd/wl和裙摆底端宽度与腰宽比wd/wl。

[0024] 利用服装的整体性特征，对细分的人体部位掩膜进行适应性调整 对于袖长特征ls和裤长特征hl，适应性调整通过对应关节的插值移动 实现。对于衣长特
征hu，由于Rc为所有人体部位掩膜与非胸腹部位的差值，根据大腿部位关节点的调整实现Rc
的适应性调整；对于裙底宽度wd和裙长hd，定义对应的人体部位掩膜R’dr，近似裙部形状为
梯形，梯形的上底与腰线平齐。将适应性调整后的人体部位掩膜进行根据13种服装组合，最
终获得保留服装整体性特征的精确人体部位掩膜，共有13种服装适应人体部位掩膜 ix
＝1～13。

[0025] 着装的宽松程度同样影响服装的试衣效果，人体部位掩膜的不同扩张程度将引导服装扭曲产生不同的变形效果。利用图像的膨胀运算，对不同的人体部位做不同程度的卷
积运算，获取膨胀后的服装适应人体部位掩膜

[0026] 进一步地，所述步骤2)具体为：

[0027] 2.1)网格移动矢量场构建

[0028] 由于服装和人体部位掩膜的界标稀疏性和缺乏配对关系，难以通过对齐特定控制点和径向插值实现对二维图像的非刚性薄板样条变形。因此，将服装和人体部位掩膜划分
成等间隔的网格，将网格点中的像素块下采样为一个控制点，获得网格控制点矩阵
每个控制点 包含位置 和分
割信息

[0029] 将人体部位和服装的掩膜对齐并保持分辨率一致，两者的控制点矩阵形成双射对应，求解人体和服装控制点矩阵mask(C)属性的差值矩阵D(C)。对于位于区间
的每个控制点 在D(C)中取3×3视窗，确定服装网格控制点
的网格移动矢量 形成服装掩膜的网格移动矢量场。基于Savitzky‑Golay卷积平
滑算法在x和y轴方向上分别对控制点移动向量的x值和y值进行平滑，取平滑后的均值，生
成控制点新的移动向量

[0030] 2.2)服装图像的多尺度扭曲变形。

[0031] 在构建网格移动矢量场后 ，计算其引起的薄板样条变换的参数并将其应用于服装掩膜的变换。

[0032] 选取尺度序列为 的网格移动矢量场，1×的网格间隔最大，能够捕捉到服装掩膜与人体部位掩膜间的整体性差异； 的网格最密集，能够捕捉服装掩
膜与人体部位掩膜间局部细节的差异，但网格的间隔过小也造成了非连续性和局部非自然
的变形。综合不同尺度网格的变形优势，将经过不同尺度网格移动矢量场变形后的服装掩
膜进行融合。

[0033] 2.3)多件服装的着装图像合成。

[0034] 在试穿nx件服装时，根据不同服装的整体性特征生成nx个不同的服装适应人体部位掩膜 记录边界框在人体掩膜中的左上位置 在适应性人体部位掩膜的引导下，
不同种类的服装经过变尺度扭曲后形成变形服装图像和服装掩膜。在着装图像合成过程
中，为保证变形服装图像完全覆盖对应的身体部位，消除服装适应的人体部位，根据着装优
先级对齐 相加变形服装以生成试穿多件服装的着装图像Id。

[0035] 本发明的有益效果是：本发明以服装适应人体部位掩膜分割方法和服装图像变尺度扭曲算法为主。根据服装的先验姿势，调整重建的三维人体模型的姿势。将三维人体模型
投影形成人体掩膜，根据服装的整体性特征，细分调整形成适应性人体部位掩膜。在服装和
人体部位掩膜的引导下，构建具有不同尺度的网格移动矢量场，并以此对服装图像进行变
尺度扭曲，在服装和人体掩膜引导下，融合变形服装图像形成试穿多件服装的着装图像。本
发明为具有复杂纹理形状的多种类服装提供了低成本个性化虚拟试衣方法，变形服装图像
趋于目标人体形状，保留服装图像原有的整体性特征和局部纹理，促进了虚拟试衣的进一
步推广。

附图说明

[0036] 下面结合附图对本发明具体实施方式进行详细说明：

[0037] 图1是本发明的流程图；

[0038] 图2是14个身体部位人体掩膜的示意图；

[0039] 图3是人体二维关节点的示意图；

[0040] 图4是像素点在两个关节点的之间的示意图；

[0041] 图5是像素点在某个关节点一侧的示意图；

[0042] 图6是裙部位置对应的人体部位掩膜的示意图；

[0043] 图7是变尺度薄板样条扭曲迭代过程图；

[0044] 图8是不同形状人体试穿不同种类服装图像的实例图。

具体实施方式

[0045] 为了更清楚地说明本发明，下面结合附图与实施例对本发明作进一步说明。本领域技术人员应该了解，下面所具体描述的内容是说明性而非限制性的，不应该限制本发明
的保护范围。

[0046] 如图1所示，本发明提出了一种可保持服装纹理特征的多种类变尺度虚拟试衣方法，通过输入用户的真实人体图像和多种类服装图像，输出虚拟人体着装图像；包括三维人
体重建与处理I、服装图像处理II和图像变形和合成III。其中，部分Ⅱ通过关键点检测或者
手动标注，获取服装图像二维界标并提取服装姿势，并构建服装掩膜。部分I利用统计人体
模型三维重建获取对应真实人体图像形状的三维人体模型；将根据人体形状重建的三维人
体模型姿势调整成服装姿势，将三维人体模型投影成渲染图像和对应的掩膜；在人体二维
关节点界标的定位下，利用掩膜像素角度约束、宽度约束和服装整体性特征，投影人体模型
生成服装适应人体部位掩膜；服装适应包括根据服装的衣长、袖长、裤长和着装宽松度的人
体部位调整。部分Ⅲ基于生成的服装适应人体部位掩膜和服装掩膜，生成控制点矩阵，构建
具有不同稀疏度的网格移动矢量场，并以此为引导；在变尺度网格移动矢量场的综合影响
下，对服装图像和服装掩膜进行非刚性变尺度(薄板样条)TPS扭曲，在多次迭代后，服装图
像产生了贴近人体形状曲线的变形，实现个性化试穿的目的；在着装图像合成中，根据着装
的优先级、变形服装图像和掩膜的引导，将多件变换后的服装图像融合在渲染三维人体图
像上，产生虚拟人体同时穿着不同种类服装的着装图像。

[0047] 本发明具体包括以下步骤：

[0048] 1)利用真实人体形状重建三维人体模型，将模型的姿势调整成服装姿势。如图2所示，通过三维人体模型的正交投影，生成人体掩膜并细分为14个身体部位(头部、颈部、胸腹
部位、左大臂、左小臂、左手、右大臂、右小臂、右手、大腿、右小腿、左小腿、左脚、右脚)。基于
服装的整体性比例特征，进一步精准地调整人体部位，形成服装适应的人体部位掩膜。在服
装适应过程中，利用关节点移动实现人体部位掩膜长度调整，利用膨胀运算实现着装宽松
度调整。具体包括以下子步骤：

[0049] 1.1)服装姿势适应的三维人体模型构建

[0050] 利用真实人体图像重建三维人体模型，将人体模型姿势调整成服装姿势。将服装的先验姿势特征迁移至三维人体模型可避免在服装变形中非自然变形的出现。

[0051] 对于三维人体模型，SMPL统计人体模型具有72个姿势参数，包括23个关节在3个自由度方向上的旋转向量。在虚拟试衣时，选择模型正面着装投影作为试衣效果的展示。影响
着装投影的主要躯干旋转向量简化为 其分别为左大臂、左小
臂、右大臂、右小臂、左大腿和右大腿绕z轴的旋转角；由于人体的小腿关节相对于大腿关节
在z轴方向上的自由度为0，所以设置小腿的相对旋转角度为0。

[0052] 针对服装图像，将服装统计分为13个种类：长袖T恤、短袖T恤、长袖外套、短袖外套、长裤、短裤、长袖裙、短袖裙、背心、吊带、短裙、背心裙和吊带裙，其中前8种服装存在与
人体躯干有关的关节姿势特征，后5种服装不受人体躯干姿势影响。对于平铺服装图像，通
过关键点检测或者人工标注获取服装的边界界标，提取服装的姿势特征，并将其迁移至三
维人体模型。

[0053] 1.2)人体掩膜生成

[0054] 利用OpenGL将三维人体模型正交投影渲染成人体掩膜分割图，背景为黑色，人体前景为白色。同时投影人体模型的三维关节点界标 为二维关节点界标 如图
3所示，为精确的人体部位掩膜分割提供了基准，投影变换如下：

[0055] j＝S×T0×P0×J

[0056]

[0057] 式中，J＝[x y z 1]T、j＝[x y 1]T分别为三维和二维关节点的齐次坐标；S为缩放矩阵，其中sx、sy和sz分别代表x、y、z的缩放；T0为位移矩阵，dx、dy和dz为在x，y，z轴上的位
移，调节使人体位于掩膜的中心；P0为正交投影矩阵，w、h为观察体的宽度和高度，zf、zn分别
为投影的远平面和近平面。

[0058] 1.3)精准人体部位掩膜划分

[0059] 根据投影的二维关节点，以掩膜像素方向和宽度为限制，将人体掩膜细分为不同的身体部位 将手臂划分为两部分：大臂和小臂，以适应短袖和长袖类的服装；将腿部划
分为：大腿和小腿，其中左右大腿在高度上通常保持一致，为了方便划分，将两者进行合并。
胸腹部分Rc划分如下：

[0060]

[0061] 式中，P表示掩膜像素点；mask(P)为人体分割函数，当P为人体时，其值为1，当P为背景时，其值为0。Rc为所有人体掩膜与其它部分 (非胸腹部分)的差值，其求解顺序为
最末。

[0062] 1.4)人体部位掩膜像素的方向约束

[0063] 方向约束分为两种情况：(1)如图4所示，像素点P在两个关节点 的之间(异侧)，(2)如图5所示，像素点P在某个关节点 的一侧。方向约束通过限制角度实现，如下：

[0064] i2＝1,2

[0065] 式中，i2＝1,2表示某个人体部位的两个关节点； 是关节点界标， 为像素点与关节点构成的夹角，||||表示向量的模， 为 到P的向量，基线 为由另一个关节点
指向关节点 的向量，决定边界线朝向。对于情况(1)，j1、j2为两端的边界关节点；对于情
况(2)，靠近P的关节点为一端的边界关节点，远离P的关节点为运动树上的依赖父关节点，
关节点辅助计算基线。

[0066] 不同身体部位 具有不同的方向约束参数。左右小臂的基线与x轴的基向量ex平行，以防止在划分过程中与Rc部分产生干涉。大腿的基线 与y轴的基向量ey平行，
以保证大腿上端与腰线平齐和下端高度一致。

[0067] 1.5)人体部位掩膜像素的宽度约束

[0068] 宽度约束通过寻找指定方向 的边界点实现。经过关节点界标 在垂直于基线方向上，构建单位边界寻找向量 遍历递增 寻找边界点B，满足以下条件：

[0069] 向量 垂直于基线 且 为单位向量：

[0070]

[0071] 基于向量 从关节点 开始加上一个向量 得到边界点B，直到遍历递增 直到找的边界点B一侧为人体一侧为背景：

[0072]

[0073] 其中， 为以关节点j1为起点的两个不同朝向的单位边界寻找向量， 为基于 寻找到的边界点； 为以关节点j2为起点的两个不同朝向的单位边界寻找
向量； 为基于 寻找到的边界点；|| ||表示求向量的长度。

[0074] 宽度约束Bl的完整形式如下：

[0075]

[0076] 式中，α为宽度调节系数。

[0077] 在方向约束和宽度约束的作用下，基于二维关节点，细分人体部位如下：

[0078]

[0079]

[0080] 式中，n0＝1对应步骤1.4)的方向约束中的情况(1)，n0＝2对应步骤1.4)的方向约束中的情况(2)，d表示点P到基线 的距离。

[0081] 1.6)基于服装整体性特征的人体部位掩膜适应性调整。

[0082] 在制衣过程中形成的整体性服装特征，如肩宽与袖长比、腰围与裤长比等，能够从根本上反映服装的特性，也是人们在购买服装时关注的重要指标，在虚拟试衣时，应尽量保
留服装图像的整体性特征。通过构建适应于服装整体性特征的人体部位掩膜，在服装变形
中提供精确的变形引导，同时保留原有服装图像的整体性比例特征。

[0083] 上下半身的基准分别为肩宽wu和腰宽wl。对于人体部位掩膜，基准为二维关节点构成的距离；对于服装图像，基准为相应界标构成的距离。服装的整体性特征以比例形式体
现，上半身特征包括袖长与肩宽比ls/wu，衣长与肩宽比hu/wu。下半身特征包括裤长与腰宽
比hl/wl。对于裙子类服装，定义特征裙长与腰宽比hd/wl和裙摆底端宽度与腰宽比wd/wl。

[0084] 根据服装的整体性特征，对细分的人体部位掩膜进行适应性调整

[0085] 1.6.1)对于袖长特征ls和裤长特征hl，适应性调整人体部位掩膜 使其与ls、hl一致，通过对应关节的插值移动 实现：

[0086]

[0087] 式中， 指任意一个被插值移动的关节点，u是调节系数。基于调整后的关节点，重新划分形成新的人体部位掩膜

[0088] 1.6.2)基于步骤1.6.1)调整后新的人体部位掩膜，对于衣长特征hu，由于Rc为所有人体部位掩膜与非胸腹部位的差值，根据大腿部位关节点的调整实现Rc的适应性调整。

[0089] 1.6.3)对于裙底宽度wd和裙长特征hd，将裙部形状近似为梯形，梯形的上底与腰线平齐，定义裙部位置对应的人体部位掩膜为R’dr，为新增的人体部位掩膜，如图6所示。

[0090] 1.6.4)将1.6.1)～1.6.3)适应性调整后的所有人体部位掩膜，根据13种服装进行组合，获得保留服装整体性特征的精确人体部位掩膜，共有13种服装适应人体部位掩膜
ix＝1～13；例如短袖对应的服装适应人体部位掩膜由胸腹部位和左右大臂组合。

[0091] 1.7)基于着装宽松度的人体部位掩膜膨胀运算。

[0092] 着装的宽松程度同样影响服装的试衣效果，人体部位掩膜的不同扩张程度将引导服装扭曲产生不同的变形效果。利用图像的膨胀运算，对不同的人体部位做不同的卷积运
算，获得膨胀后的服装适应人体部位掩膜 如下：

[0093]

[0094] 式中， 是膨胀运算符， 为相应 的矩形卷积核， 形状越大， 的膨胀程度越高，着装越宽松。

[0095] 2)根据步骤1.7)膨胀后的服装适应人体部位掩膜 和服装掩膜，构建具有不同稀疏程度的网格移动矢量场，并使用SG滤波器对移动矢量进行平滑。在网格移动矢量场
作用下，利用薄板样条TPS变换在整体和局部尺度上扭曲变形服装图像，将多种类变形服装
图像融合覆盖于渲染三维人体图像，生成同时穿着多件服装的虚拟人体着装图像。具体包
括以下子步骤：

[0096] 2.1)网格移动矢量场构建。

[0097] 薄板样条变换通过对齐控制点，径向插值的方式实现对二维图像的非刚性变形，约束变形的损失函数如下：

[0098] ε＝εΦ+λεd

[0099] 式中，ε为总的损失函数，εΦ、εd和λ分别为控制点距离项、扭曲项和非刚性变形系数。

[0100] 由于服装和人体部位掩膜的界标稀疏性和缺乏配对关系，难以通过对齐特定控制点实现对二维图像的非刚性变形。因此，将服装和人体的掩膜划分成等间隔的网格，将位于
每个网格点中的像素块下采样为一个控制点，并获得网格控制点矩阵
矩阵中的每个控制点 包含
位置 和分割信息 i3＝1～mn。

[0101] 将人体部位和服装的掩膜对齐并保持分辨率一致，两者的控制点矩阵为一一对应关系，网格变形目标即转化为通过网格移动使控制点的属性 的整体排列一致。求
解人体和服装控制点矩阵属性的差值场D(C)如下：

[0102] D(C)＝abs(mask(Ch)‑mask(Cc))

[0103]

[0104]

[0105] 式中，abs表示绝对值， 为人体部位的控制点矩阵， 为服装掩膜的控制点矩阵，D(C)表示服装掩膜中每个控制点的属性 与对应的人体部位掩
膜的差异性。

[0106] 显然，服装网格的变形应朝向其与人体部位控制点属性存在差异的方向移动，即D(C)中的非零方向。对于位于区间 的控制点 在D(C)中取3×
3视窗，定义服装网格中的控制点 的网格移动向量 如下：

[0107]

[0108] 式中，<>表示向量， 分别表示网格在x，y轴方向上的移动矢量；Δx、Δy分别表示在x，y轴方向上的移动步长， 则表示服装网格控制点 的移动权重系
数。每个服装网格控制点 受邻近点影响，D(C)视窗中非零的邻近点拖拽网格移动变形趋
于该邻近点，综合具有不同影响权重的邻近点，获得服装网格控制点 的网格移动向量

[0109] 2.2)网格移动矢量场平滑。

[0110] 在获取每个服装网格控制点 的移动向量 后，服装掩膜的网格移动矢量场构建完成。基于Savitzky‑Golay卷积平滑算法在x和y轴方向上分别对控制点移动向量的x
值和y值进行平滑，取在两个方向平滑后的均值，获得服装网格控制点新的移动向量

[0111] 网格移动矢量场的平滑使服装网格产生移动涟漪，防止产生局部移动突变和非自然的畸变，侧面扩大D(C)的视窗大小，使更多的邻近点参与服装网格控制点的移动矢量形
成。在多次迭代变换后，不使用SG滤波器平滑的网格移动矢量场存在某点移动矢量远大于
周围邻点、局部过度拉伸或压缩、纹理模糊或扭曲和视觉噪点等现象。在同等条件下，SG滤
波器可以有效降低突变点的峰值，使周围邻点的移动矢量均值化，形成协调的整体变形。

[0112] 平滑视窗大小Ws和拟合的平滑级数Po如下：

[0113]

[0114] 式中，mod2表示与2进行取模运算，Ws与网格的宽度n和高度m呈正比例关系且为奇数；ζ为比例系数，ζ值越小，平滑效果越明显；平滑级数Po比Ws小且阈值为3，即拟合曲线的
阶数不大于3。

[0115] 2.3)服装图像的单一尺度扭曲变形。

[0116] 在构建网格移动矢量场后，计算其引起的薄板样条变换参数 如下：

[0117]

[0118] 式中， 为原始服装网格的位置矩阵； 为服装网格移动后的c c
位置矩阵，即原始服装网格位置矩阵L(C)与服装网格移动矢量场M’(C)之和；
为控制点关联矩阵，其通过径向基函数 计算各控制点间的影响关系，j3＝1～mn。将
薄板样条变化参数 应用于服装掩膜如下：

[0119] Ym＝[λ1,λ2,…λmn+3]TWm

[0120]

[0121]

[0122] 式中， 为原始服装掩膜的点矩阵， 为待求解扭曲变形掩膜的点矩阵， 为插值关联矩阵，利用 计算服装掩膜各点受网格各控制点的
影响，j4＝1～hw；h×w是原始服装图像的大小。

[0123] 2.4)服装图像的多尺度扭曲变形。

[0124] 如图7所示，为变尺度薄板样条扭曲迭代过程，选取尺度序列为的网格移动矢量场；其中，1×的网格间隔最大，网格划分较为稀疏，代
表的控制点矩阵中的每个点的感受野范围较大，能够捕捉到服装掩膜与人体部位掩膜间整
体性的差异，在牛仔裤的裤筒和长袖外套的袖部造成较大曲率的曲线变形；而 相反，网
格最密集，能够捕捉服装掩膜与人体掩膜间局部细节的差异，在袖部和裤筒边界处造成细
小的曲线扰动，但过小的间隔也会造成非连续性和局部非自然变形。

[0125] 2.4.1)综合不同尺度网格 的变形优势，根据步骤2.1)～2.3)，将经过不同尺度 网格移动矢量场变形后的服装掩膜 进行融合如下：

[0126]

[0127] 式中，i4＝0～k3和尺度序列对应， 为尺度 对应的融合系数。融合的服装掩膜保留了整体性的变形和部分细节变形。将尺度为 的薄板样条变换应用于服装图像，
生成变形服装图像。

[0128] 2.4.2)根据步骤2.4.1)对服装掩膜和服装图像多次迭代进行服装图像变尺度扭曲，直到达到指定的迭代次数j4；每一次迭代都基于上一次迭代得到的服装掩膜和变形服
装图像进行。在前j4‑1次迭代中，不同尺度 网格移动矢量场变形后的服装掩膜融合得
到该次迭代的服装掩膜，将尺度 的薄板样条变换应用于服装图像，生成变形服装图像；
k
在最后一次迭代中，变尺度扭曲仅由尺度为2×的薄板样条变换构成服装掩膜 和变形
服装图像 其目的为保持变形后服装掩膜与服装图像拓扑结构的一致性，为着装图像的
合成提供精准的语义分割蒙版。

[0129] 2.5)多件服装的着装图像合成。

[0130] 在试穿nx件服装时，根据不同服装的整体性比例生成nx个不同的服装适应人体部位掩膜 并记录边界框在人体掩膜中的左上位置 在适应性人体部位掩膜的引导
下，不同种类的服装经过j4次迭代变尺度扭曲后形成变形服装图像 和服装掩膜 将
三维人体图像渲染成二维的图像Ih，对渲染三维人体图像Ih，根据掩膜进行消除和相加运算
如下：

[0131]

[0132] 式中，I是单位矩阵，⊙为元素相乘符。为了保证变形后服装图像I’cj完全覆盖对应部位的人体，消除服装适应的人体部位，根据着装优先级对齐Sj，相加变形服装以生成试穿
多件服装的着装图像Id。

[0133] 实施例

[0134] 本发明实施例对于真实的人体二维照片，三维重建获取形状对应的三维人体模型。对于二维多种类服装图像，通过图像关键点定位或者手动标注，获取服装图像的二维关
键点并提取其服装姿势，调整重建的人体模型姿势，使其与服装姿势相同。将形状趋近于人
体、姿势趋近于服装的三维人体模型渲染投影成二维图像并生成对应的蒙版。在人体二维
关节点的定位下，根据服装的整体性特征，生成服装适应性人体部位蒙版，适应性包括根据
服装的衣长、袖长、裤长和宽松度的人体部位调整。在服装适应性人体部位和服装蒙版的引
导下，生成控制点矩阵，构建网格移动的矢量场。在变尺度网格移动矢量场的综合影响下，
对服装图像和服装蒙版进行多尺度薄板样条变换。在迭代多次后，服装图像产生了贴近人
体形状曲线的变化，实现个性化试穿的目的。变尺度薄板样条扭曲迭代过程中，以网格尺度
序列{1×,2×,4×}为例，用1×和4×尺度网格生成变形服装图像的缺点非常明显，1×的
尺度网格容易造成畸变且缺乏细节变形描述，4×尺度网格的整体变形程度欠缺。因此以融
合系数σ＝[0.2,0.3,0.5]比例融合三个尺度：1×、2×、4×，进行变尺度薄板样条扭曲，变
形后的服装有明显整体性的肩部隆起和袖口收紧，同时仍具有精确贴近人体手臂和腿部的
曲线变形。在服装合成模块，根据着装的优先级，基于蒙版引导进行图像的加和运算，产生
虚拟人体同时穿着不同种类服装的效果。

[0135] 本发明实施例利用服装图像数据集，在不同网格稀疏度下，选取平均值、标准差、最大移动值和MA(m′)作为评估因子，定量对比SG滤波器在网格移动过程中的作用。MA(m′)
c
为网格移动矢量场M’(C)中最大m′个网格移动数值的平均值如下：

[0136]

[0137] 式中，rank(M’(Cc),i5)为M’(Cc)中第i5大值，m′取网格数量的10％。评估因子的数值取与网格移动步长 构成的相对值。结果如表1所示：

[0138] 表1：网格移动对比

[0139]

[0140] 在网格划分较为稀疏时，服装与人体部位控制点矩阵的 属性差异较小，c
SG滤波器的数据平滑效果并不显著。在网格划分较为密集时，SG滤波器能够降低M’(C)的
平均值18％左右、标准差35％左右。这表明SG滤波器能够增大差值场感受野大小，使更大邻
c
域范围内的移动矢量趋于平均。同时SG滤波器能够降低M’(C)的最大峰值25％左右、MA
(m′)31％左右。这表明SG滤波器能够有效地抑制局部的突变点，并控制噪点的产生。

[0141] 如图8所示，上部为具有不同形状人体试穿同一套服装的效果，本发明实施例选取宽松的长袖上衣和紧身的牛仔裤作为试穿服装，上衣由于较为宽松，不同人体的试穿差异
主要体现在服装整体尺度缩放和肩部支撑变形，服装袖部和腰部变形的差异较小。不同形
状人体试穿紧身牛仔裤的效果差异巨大，服装变形贴近于人体腿部的曲线。由此证明，本发
明可实现根据人体形状的服装个性化试穿。

[0142] 中部为具有平均人体形状的女性模型对于不同种类服装的试衣效果，下部为具有平均人体形状男性模型对于不同种类服装的试衣效果。本发明实施例选取长袖、短袖、背
心、长裤和短裤等不同种类服装。对于上身服装，相较于平铺服装图像，变形服装图像在产
生袖部，腰部和肩部变形同时能够保留服装图像的条纹、细节图案和整体性的形状特征。变
尺度图像扭曲使平铺服装图像的直筒袖产生趋近人体手臂的曲线，使服装的腰部直线凹
陷，使服装的肩部隆起。对于由于平铺而产生“遛肩现象”的服装图像，变形产生的肩部支撑
效果更为明显。对于下身服装，裤筒的变形效果与人体模型的腿部形状密切相关。由此证
明，本发明可实现对具有复杂形状纹理多种类服装的个性化试穿。