一种基于特征融合网络模型的服装解析方法

摘要

本发明公开了一种基于特征融合网络模型的服装解析方法，包括，获取服装数据集的训练集，并对训练集进行预处理；建立特征融合网络模型，并利用解析损失函数和边缘损失函数训练特征融合网络模型；利用编码网络提取高层次特征图；而后通过特征融合网络模块将高层次特征图和低层次特征图进行融合；根据通道顺序连接不同尺度的特征图，感知语义边缘特征；根据通道顺序，将解码网络的特征图和语义边缘特征进行连接，以获得解析的服装图像，并对解析的服装图像分别进行测试和评估；本发明可以在不利用扩大感受野获取多尺度信息和额外添加分支的情况下恢复在编码过程中丢失的空间细节信息，提升服装解析时的解析精度。

权利要求

1.一种基于特征融合网络模型的服装解析方法，其特征在于：包括，获取服装数据集的训练集，并对所述训练集进行预处理；

建立特征融合网络模型，特征融合网络模型包括边缘感知网络和多级融合网络，并利用解析损失函数和边缘损失函数训练所述特征融合网络模型；

多级融合网络利用编码网络提取低层次特征图；而后通过特征融合网络模块(100)将高层次特征图和低层次特征图进行融合；

边缘感知网络根据通道顺序连接不同尺度的特征图并进行融合，感知语义边缘特征；

不同尺度的特征图为编码层的第一层、第三层和第五层生成的特征图；

根据所述通道顺序，将解码网络的特征图和所述语义边缘特征进行连接，以获得解析的服装图像，并对所述解析的服装图像分别进行测试和评估。

2.如权利要求1所述的基于特征融合网络模型的服装解析方法，其特征在于：所述预处理包括，分别将所述训练集进行裁减，裁剪尺寸为336*336；

对裁剪的训练集图像进行随机缩放和顺时针旋转，旋转角度为30°；

将训练集进行归一化到[‑1,1]，获得初始化数据集。

3.如权利要求2所述的基于特征融合网络模型的服装解析方法，其特征在于：还包括，利用边缘损失函数对所述边缘感知网络进行监督训练，所述边缘损失函数LE为：LE＝‑(y*log(p)+(1‑y)*log(1‑p))利用解析损失函数对所述多级融合网络进行监督训练，所述解析损失函数LM为：其中，yi为i种类的样本标签，p为预测为正样本的概率，K为种类类别。

4.如权利要求3所述的基于特征融合网络模型的服装解析方法，其特征在于：所述高层次特征图由Res1、Res2、Res3、Res4生成。

5.如权利要求4所述的基于特征融合网络模型的服装解析方法，其特征在于：所述特征融合网络模块(100)将高层次特征图和低层次特征图进行融合包括，通过全局平均池化操作，加入1x1卷积层，再经过1x1卷积和Sigmoid激活层来学习非线性特征；

将特征向量通过矩阵相乘的方式作用到原始特征上后再与原始特征进行相加进行最终的特征映射。

6.如权利要求5所述的基于特征融合网络模型的服装解析方法，其特征在于：所述测试和评估包括，利用PyTorch神经网络架构搭建平台对所述特征融合网络模型，通过随机梯度下降算法进行结构训练；

将验证集和测试集输入至训练好的特征融合网络模型，获得预测得分图。

说明书

一种基于特征融合网络模型的服装解析方法

技术领域

[0001] 本发明涉及服装解析的技术领域，尤其涉及一种基于特征融合网络模型的服装解析方法。

背景技术

[0002] 近年来，编解码网络被广泛应用于服装解析，编解码网络中存在由于重复的下采样操作操作导致分辨率的显著降低和大量空间信息的丢失，而解码网络不能准确恢复丢失的细粒度细节信息的问题。已有服装解析算法通过添加一个侧分支用来提取超像素特征注入到解码器，解决了解码网络不能很好地恢复在编码网络中丢失的大量细节信息的问题，但是在实际应用中，由于服装图像具有纹理复杂、款式多样和人体姿态多变等特点。解析准确度还有待提升。

发明内容

[0003] 本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

[0004] 鉴于上述现有存在的问题，提出了本发明。

[0005] 因此，本发明提供了一种基于特征融合网络模型的服装解析方法，能够解决解码网络不能准确恢复编码网络丢失的细粒度细节信息的问题。

[0006] 为解决上述技术问题，本发明提供如下技术方案：包括，获取服装数据集的训练集，并对所述训练集进行预处理；建立特征融合网络模型，并利用解析损失函数和边缘损失函数训练所述特征融合网络模型；利用编码网络提取高层次特征图；而后通过特征融合网络模块将高层次特征图和低层次特征图进行融合；根据通道顺序连接不同尺度的特征图，感知语义边缘特征；根据所述通道顺序，将解码网络的特征图和所述语义边缘特征进行连接，以获得解析的服装图像，并对所述解析的服装图像分别进行测试和评估；其中，所述特征融合网络模型包括边缘感知网络和多级融合网络，在特征融合网络通过特征融合模块(100)对高层次特征图和低层次特征图进行融合，而后在边缘感知网络中利用Res1、Res3和Res5三个分支提取精细化的边缘特征来弥补编码网络下采样过程中丢失的细节信息；特征融合网络模型通过添加语义损失函数监督语义边缘特征的学习。

[0007] 作为本发明所述的基于特征融合网络模型的服装解析方法的一种优选方案，其中：所述预处理包括，分别将所述训练集进行裁减，裁剪尺寸为336*336；对裁剪的训练集图像进行随机缩放和顺时针旋转，旋转角度为30°；将训练集进行归一化到[‑1,1]，获得初始化数据集。

[0008] 作为本发明所述的基于特征融合网络模型的服装解析方法的一种优选方案，其中：所述特征融合网络模型包括边缘感知网络和多级融合网络。

[0009] 作为本发明所述的基于特征融合网络模型的服装解析方法的一种优选方案，其中：还包括，利用边缘损失函数对所述边缘感知网络进行监督训练，所述边缘损失函数LE为：

[0010] LE＝‑(y*log(p)+(1‑y)*log(1‑p))

[0011] 利用解析损失函数对所述多级融合网络进行监督训练，所述解析损失函数LM为：

[0012]

[0013] 其中，yi为i种类的样本标签，p为预测为正样本的概率，K为种类类别。

[0014] 作为本发明所述的基于特征融合网络模型的服装解析方法的一种优选方案，其中：所述低层次特征图由Res1、Res2、Res3、Res4生成。

[0015] 作为本发明所述的基于特征融合网络模型的服装解析方法的一种优选方案，其中：还包括，通过平均池化操作获取全局的上下文特征，而后通过1x1卷积、相乘和相加进行最终的特征映射。

[0016] 作为本发明所述的基于特征融合网络模型的服装解析方法的一种优选方案，其中：所述不同尺度的特征图由所述Res1、Res3和Res5生成。

[0017] 作为本发明所述的基于特征融合网络模型的服装解析方法的一种优选方案，其中：所述测试和评估包括，利用PyTorch神经网络架构搭建平台对所述特征融合网络模型，通过随机梯度下降算法进行结构训练；将验证集和测试集输入至训练好的特征融合网络模型，获得预测得分图。

[0018] 本发明的有益效果：本发明可以选择性地利用编解码过程中的语义特征和细节特征，在不利用扩大感受野获取多尺度信息和额外添加分支的情况下恢复在编码过程中丢失的空间细节信息，提升服装解析时的解析精度。

附图说明

[0019] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

[0020] 图1为本发明第一个实施例所述的基于特征融合网络模型的服装解析方法的特征融合网络模型结构示意图；

[0021] 图2为本发明第一个实施例所述的基于特征融合网络模型的服装解析方法的特征融合模块100结构示意图。

具体实施方式

[0022] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

[0023] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

[0024] 其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

[0025] 本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

[0026] 同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

[0027] 本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

[0028] 实施例1

[0029] 参照图1～2，为本发明的第一个实施例，该实施例提供了一种基于特征融合网络模型的服装解析方法，包括：

[0030] S1：获取服装数据集的训练集，并对训练集进行预处理。

[0031] (1)分别将训练集进行裁减，裁剪尺寸为336*336；

[0032] (2)对裁剪的训练集图像进行随机缩放和顺时针旋转，旋转角度为30°；

[0033] 其中，随机因子为0.5～1.5；

[0034] (3)将训练集进行归一化到[‑1,1]，获得初始化数据集。

[0035] 较佳的是，通过预处理训练集，获得了增强多样性的初始化数据集。

[0036] S2：建立特征融合网络模型，并利用解析损失函数和边缘损失函数训练特征融合网络模型。

[0037] 参照图1，特征融合网络模型包括边缘感知网络(Edge Perceiving Network)和多级融合网络(Multistage Fusion Network)。

[0038] 训练特征融合网络模型的具体步骤为：

[0039] (1)利用边缘损失函数对边缘感知网络进行监督训练边缘损失函数LE为：

[0040] LE＝‑(y*log(p)+(1‑y)*log(1‑p))

[0041] (2)利用解析损失函数对多级融合网络进行监督训练，解析损失函数LM为：

[0042]

[0043] 其中，yi为i种类的样本标签，正样本标签为1，负样本标签为0；p为预测为正样本的概率，K为种类类别。

[0044] S3：利用编码网络提取高层次特征图；而后通过特征融合网络模块100将高层次特征图和低层次特征图进行融合。

[0045] (1)以预训练好的ResNet101结构对编码网络进行初始化操作，利用编码网络提取高层次特征图；

[0046] (2)在解码网络中使用如图2所示的特征融合网络模块100(FFM)对高层次特征图和低层次特征图进行融合，即对解码和相应的编码早期阶段Res1、Res2、Res3、Res4和Res5生成的特征图进行融合，充分利用编解码网络中已有的不同分辨率的特征，进而生成保留了语义特征和细节特征的特征图。

[0047] 如图2在解码网络中使用了特征融合模块100按通道顺序连接(concatenation)高层次特征图(High‑level‑features)和低层次特征图(low‑level‑features)，其中，低层次特征图由Res1、Res2、Res3、Res4生成；再通过平均池化操作(Global pool)来获取全局的上下文特征，最后通过1x1卷积、相乘(mul)和相加(add)进行最终的特征映射。

[0048] S4：根据通道顺序进行连接不同尺度的特征图，感知语义边缘特征。

[0049] 在边缘感知网络中利用Res1、Res3和Res5三个分支提取精细化的边缘特征来弥补编码网络下采样过程中丢失的细节信息，即边缘感知网络根据通道顺序进行连接不同尺度的特征图(由Res1、Res3和Res5生成)，以融合多尺度的语义边缘，生成最终的边缘预测(Edge Prediction)。其中，特征融合网络模型通过添加语义损失函数监督语义边缘特征的学习。

[0050] S5：根据通道顺序，将解码网络的特征图和语义边缘特征进行连接，以获得解析的服装图像，并对解析的服装图像分别进行测试和评估。

[0051] 测试和评估过程如下：

[0052] (1)利用PyTorch神经网络架构搭建平台对特征融合网络模型，通过随机梯度下降算法进行结构训练；

[0053] (2)将验证集和测试集输入至训练好的特征融合网络模型，获得预测得分图。

[0054] ①在Fashion Clothing数据集采用如平均准确率、前景准确率、平均精确率、平均召回率和平均F1分数五个评价指标对预测得分图进行评估处理，最终获得对比结果。

[0055] ②LIP数据集采用平均准确率、平均精确率和平均交叉比对预测得分图进行评估处理，最终获得对比结果。

[0056] 实施例2

[0057] 为了对本方法中采用的技术效果加以验证说明，本实施例选择的不同方法和采用本方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。

[0058] 本实施例通过预先训练好的ResNet101对Res1、Res2、Res3、Res4和Res5进行初始化操作，其他新加入的卷积层则利用标准差为0.01的高斯分布进行随机初始化操作；其中初始化学习率设置为0.003，动量和权重衰减分别设置为0.9和0.0005，使用“Poly”学习策略进行学习率的动态变化且初始动量power设置为0.9。

[0059] 采用公开的Fashion Clothing数据集和LIP数据集进行测试，其中Fashion Clothing数据集采用如表1所示的平均准确率、前景准确率、平均精确率、平均召回率和平均F1分数五个评价指标，与当前先进的服装解析方法如TGPNet、CNIF和TPRR等进行对比和评估。

[0060] 表1：不同方法的服装解析性能在Fashion Clothing测试集上的比较。

[0061] 方法 Pix Acc FG Acc Avg P Avg R AvgF‑1Yamaguchi 81.32 32.24 23.74 23.68 22.67
Paperdoll 87.17 50.59 45.80 34.20 35.13
DeepLabV2 87.68 56.08 35.35 39.00 37.09
Attention 90.58 64.47 47.11 50.35 48.68
TGPNet 91.25 66.37 50.71 53.18 51.92
CNIF 92.20 68.59 56.84 59.47 58.12
TPRR 93.12 70.57 58.73 61.72 60.19
本方法 93.32 73.73 61.09 61.99 61.54

[0062] LIP数据集采用如表2所示的平均准确率、平均精确率和平均交叉比三个评价指标，以及表3所示的每个类别的交叉比与当前先进的方法如MMAN、JPPNet和CE2P等进行评估，获得最终的对比结果。

[0063] 表2：像素精度、平均精度和平均交叉比在LIP验证集上的比较。

[0064]

[0065]

[0066] 表3：本方法与不同的方法在LIP验证集上的性能比较。

[0067]  DeepLabV2 Attention ASN MMAN JPPNet CE2P 本方法
hat 56.48 58.87 56.92 57.66 63.55 65.29 65.70
hair 65.33 66.78 64.34 65.63 70.20 72.54 71.46
glove 29.98 23.32 28.07 30.07 36.16 39.09 40.66
glass 19.67 19.48 17.78 20.02 23.48 32.73 33.38
Ucloth 62.44 63.20 64.90 64.15 68.15 69.46 69.48
Dress 30.33 29.63 30.85 28.39 31.42 32.52 33.15
coat 51.03 49.70 51.90 51.98 55.65 56.28 55.80
Socks 40.51 35.23 39.75 41.46 44.56 49.67 50.67
Pants 69.00 66.04 71.78 71.03 72.19 74.11 74.73
j‑suit 22.38 24.73 25.57 23.61 28.39 27.23 29.87
scarf 11.29 12.84 7.97 9.65 18.76 14.19 20.50
skirt 20.56 20.41 17.63 23.20 25.14 22.51 28.68
face 70.11 70.58 70.77 69.54 73.36 75.50 74.78
l‑arm 49.25 50.17 53.53 55.30 61.97 65.14 64.52
r‑arm 52.88 54.03 56.70 58.13 63.88 66.59 66.72
l‑leg 42.37 38.35 49.58 51.90 58.21 60.10 57.05
r‑leg 35.78 37.70 48.21 52.17 57.99 58.59 56.18
l‑shoe 33.81 26.20 34.57 38.58 44.02 46.63 45.03
r‑shoe 32.89 27.09 33.31 39.05 44.09 46.12 45.25
bkg 84.53 84.00 84.01 84.75 86.26 87.67 87.90
mIoU 41.64 42.92 45.41 46.81 51.37 53.10 53.58

[0068] 由表1、2、3可见，本方法进一步细化了服装图像的预测结果，且服装解析时的解析精度得到提升。

[0069] 应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。