一种行人属性识别方法、深度学习模型、设备及介质

摘要

本申请公开了一种行人属性识别方法、深度学习模型、设备及介质，获取待进行行人属性识别的目标图片；提取出目标图片中的属性颜色特征和属性位置特征；将属性颜色特征和属性位置特征进行融合，得到像素级特征，并基于像素级特征预测出颜色信息和位置信息；将颜色信息、位置信息和目标图片进行拼接、切分，得到行人特征图；对行人特征图进行融合，得到目标特征；基于目标特征确定行人属性识别结果。本申请中，将颜色信息、位置信息和目标图片进行拼接、切分，得到各个粒度的行人特征图并得到目标特征，使得目标特征中包含多粒度信息融合后的信息，并根据目标图片中多粒度信息融合后的信息进行行人属性识别，参考了行人属性间的相关性，识别精度高。

权利要求

1.一种行人属性识别方法，其特征在于，用于行人属性识别深度学习模型，包括：获取待进行行人属性识别的目标图片；

提取出所述目标图片中的属性颜色特征和属性位置特征；

将所述属性颜色特征和属性位置特征进行融合，得到像素级特征，并基于所述像素级特征预测出颜色信息和位置信息，其中，所述颜色信息和所述位置信息间具有关联性，且相关联的所述颜色信息和所述位置信息所位于的区域位置相同；

将所述颜色信息、所述位置信息和所述目标图片进行拼接、切分，得到行人特征图；

对所述行人特征图进行融合，得到目标特征；

基于所述目标特征确定行人属性识别结果；

其中，所述将所述颜色信息、所述位置信息和所述目标图片进行拼接、切分，得到行人特征图，包括：将所述颜色信息、所述位置信息和所述目标图片进行拼接，得到拼接图片信息；对所述拼接图片信息进行ROI切分，得到头部特征图、上半身特征图、下半身特征图和人体特征图；基于所述头部特征图、所述上半身特征图、所述下半身特征图和所述人体特征图确定所述行人特征图；

其中，所述基于所述头部特征图、所述上半身特征图、所述下半身特征图和所述人体特征图确定所述行人特征图，包括：分别对所述头部特征图、所述上半身特征图和所述下半身特征图进行反卷积操作，得到反卷积头部特征图、反卷积上半身特征图、反卷积下半身特征图；将所述反卷积头部特征图、所述反卷积上半身特征图、所述反卷积下半身特征图和所述人体特征图作为所述行人特征图；

其中，所述对所述行人特征图进行融合，得到目标特征，包括：分别对所述反卷积头部特征图、所述反卷积上半身特征图、所述反卷积下半身特征图和所述人体特征图进行特征提取，得到头部特征提取信息、上半身特征提取信息、下半身特征提取信息和人体特征提取信息；对所述头部特征提取信息、所述上半身特征提取信息、所述下半身特征提取信息和所述人体特征提取信息进行拼接、融合，得到所述目标特征。

2.根据权利要求1所述的方法，其特征在于，所述提取出所述目标图片中的属性颜色特征和属性位置特征，包括：基于语义分割网络对所述目标图片进行特征提取，得到基础特征；

对所述基础特征进行提取，得到所述属性颜色特征和所述属性位置特征。

3.根据权利要求2所述的方法，其特征在于，所述将所述属性颜色特征和属性位置特征进行融合，得到像素级特征，包括：将所述属性颜色特征和所述属性位置特征进行拼接，得到拼接属性信息；

基于卷积层和relu层对所述拼接属性信息进行融合，得到第一融合特征；

将所述第一融合特征与所述属性颜色特征相加，得到第一相加特征；

将所述第一融合特征与所述属性位置特征相加，得到第二相加特征；

基于注意力机制、所述第一相加特征、所述第二相加特征、所述属性颜色特征和所述属性位置特征，得到所述像素级特征。

4.根据权利要求3所述的方法，其特征在于，所述基于注意力机制、所述第一相加特征、所述第二相加特征、所述属性颜色特征和所述属性位置特征，得到所述像素级特征，包括：基于卷积层对所述拼接属性信息进行融合，得到第二融合特征；

基于sigmoid函数对所述第二融合特征进行处理，得到处理特征；

将所述处理特征与所述属性颜色特征相乘，得到第一相乘特征；

将所述处理特征与所述属性位置特征相乘，得到第二相乘特征；

将所述第一相加特征与所述第一相乘特征进行融合，得到属性颜色特征融合特征；

将所述第二相加特征与所述第二相乘特征进行融合，得到属性位置特征融合特征；

将所述属性颜色特征融合特征和所述属性位置特征融合特征作为所述像素级特征。

5.一种行人属性识别深度学习模型，其特征在于，包括：图片获取模块，用于获取待进行行人属性识别的目标图片；

属性特征提取模块，用于提取出所述目标图片中的属性颜色特征和属性位置特征；

属性特征融合模块，用于将所述属性颜色特征和属性位置特征进行融合，得到像素级特征，并基于所述像素级特征预测出颜色信息和位置信息，其中，所述颜色信息和所述位置信息间具有关联性，且相关联的所述颜色信息和所述位置信息所位于的区域位置相同；

特征融合模块，用于将所述颜色信息、所述位置信息和所述目标图片进行拼接、切分，得到行人特征图；对所述行人特征图进行融合，得到目标特征；

属性类型预测模块，用于基于所述目标特征确定行人属性识别结果；

其中，所述特征融合模块包括：

第二拼接子模块，用于将所述颜色信息、所述位置信息和所述目标图片进行拼接，得到拼接图片信息；

第一切分子模块，用于对所述拼接图片信息进行ROI切分，得到头部特征图、上半身特征图、下半身特征图和人体特征图；

第一确定子模块，用于基于所述头部特征图、所述上半身特征图、所述下半身特征图和所述人体特征图确定所述行人特征图；

其中，所述第一确定子模块包括：

第一反卷积单元，用于分别对所述头部特征图、所述上半身特征图和所述下半身特征图进行反卷积操作，得到反卷积头部特征图、反卷积上半身特征图、反卷积下半身特征图；

第二设置单元，用于将所述反卷积头部特征图、所述反卷积上半身特征图、所述反卷积下半身特征图和所述人体特征图作为所述行人特征图；

其中，所述特征融合模块包括：

第一提取单元，用于分别对所述反卷积头部特征图、所述反卷积上半身特征图、所述反卷积下半身特征图和所述人体特征图进行特征提取，得到头部特征提取信息、上半身特征提取信息、下半身特征提取信息和人体特征提取信息；

第五融合单元，用于对所述头部特征提取信息、所述上半身特征提取信息、所述下半身特征提取信息和所述人体特征提取信息进行拼接、融合，得到所述目标特征。

6.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述行人属性识别方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述行人属性识别方法的步骤。

说明书

一种行人属性识别方法、深度学习模型、设备及介质

技术领域

[0001] 本申请涉及行人属性识别技术领域，更具体地说，涉及一种行人属性识别方法、深度学习模型、设备及介质。

背景技术

[0002] 随着打造“平安城市”活动的开展，以及人们对公共安防的关注，在公共场所安装的摄像头数量日益增加，为人们提供着海量的数据。人作为监控视频中的主要目标，如果能对人的属性，例如性别、年龄、发型、衣服款式、衣服颜色等进行识别，将会对监控视频中的目标检索带来极大的便利与效率的提升，也即可以对行人属性进行识别。

[0003] 现有的一种行人属性识别方法是基于语义分割的行人多属性识别方法，该方法在线下训练阶段，首先选择比较普遍的行人属性，在行人属性数据集上训练行人多属性识别模型，该模型有三条输出分支，其中两条分支采用语义分割结合特征融合策略分别输出颜色属性和类型属性，第三条分支输出性别属性，综合模型的三条分支输出得到行人多属性，在线上查询阶段，用行人多属性识别模型对行人图像库提取属性，人后就可以通过属性查询库中有该属性的行人图像。虽然该方法可以进行行人属性识别，但是该方法的识别精度较低。

[0004] 综上所述，如何提供一种识别精度高的行人属性识别方法是目前本领域技术人员亟待解决的问题。

发明内容

[0005] 本申请的目的是提供一种行人属性识别方法，识别精度高。本申请还提供了一种行人属性识别深度学习模型、电子设备及计算机可读存储介质。

[0006] 为了实现上述目的，本申请提供如下技术方案：

[0007] 一种行人属性识别方法，用于行人属性识别深度学习模型，包括：

[0008] 获取待进行行人属性识别的目标图片；

[0009] 提取出所述目标图片中的属性颜色特征和属性位置特征；

[0010] 将所述属性颜色特征和属性位置特征进行融合，得到像素级特征，并基于所述像素级特征预测出颜色信息和位置信息；

[0011] 将所述颜色信息、所述位置信息和所述目标图片进行拼接、切分，得到行人特征图；

[0012] 对所述行人特征图进行融合，得到目标特征；

[0013] 基于所述目标特征确定行人属性识别结果。

[0014] 优选的，所述提取出所述目标图片中的属性颜色特征和属性位置特征，包括：

[0015] 基于语义分割网络对所述目标图片进行特征提取，得到基础特征；

[0016] 对所述基础特征进行提取，得到所述属性颜色特征和所述属性位置特征。

[0017] 优选的，所述将所述属性颜色特征和属性位置特征进行融合，得到像素级特征，包括：

[0018] 将所述属性颜色特征和所述属性位置特征进行拼接，得到拼接属性信息；

[0019] 基于卷积层和relu层对所述拼接属性信息进行融合，得到第一融合特征；

[0020] 将所述第一融合特征与所述属性颜色特征相加，得到第一相加特征；

[0021] 将所述第一融合特征与所述属性位置特征相加，得到第二相加特征；

[0022] 基于注意力机制、所述第一相加特征、所述第二相加特征、所述属性颜色特征和所述属性位置特征，得到所述像素级特征。

[0023] 优选的，所述基于注意力机制、所述第一相加特征、所述第二相加特征、所述属性颜色特征和所述属性位置特征，得到所述像素级特征，包括：

[0024] 基于卷积层对所述拼接属性信息进行融合，得到第二融合特征；

[0025] 基于sigmoid函数对所述第二融合特征进行处理，得到处理特征；

[0026] 将所述处理特征与所述属性颜色特征相乘，得到第一相乘特征；

[0027] 将所述处理特征与所述属性位置特征相乘，得到第二相乘特征；

[0028] 将所述第一相加特征与所述第一相乘特征进行融合，得到属性颜色特征融合特征；

[0029] 将所述第二相加特征与所述第二相乘特征进行融合，得到属性位置特征融合特征；

[0030] 将所述属性颜色特征融合特征和所述属性位置特征融合特征作为所述像素级特征。

[0031] 优选的，所述将所述颜色信息、所述位置信息和所述目标图片进行拼接、切分，得到行人特征图，包括：

[0032] 将所述颜色信息、所述位置信息和所述目标图片进行拼接，得到拼接图片信息；

[0033] 对所述拼接图片信息进行ROI切分，得到头部特征图、上半身特征图、下半身特征图和人体特征图；

[0034] 基于所述头部特征图、所述上半身特征图、所述下半身特征图和所述人体特征图确定所述行人特征图。

[0035] 优选的，所述基于所述头部特征图、所述上半身特征图、所述下半身特征图和所述人体特征图确定所述行人特征图，包括：

[0036] 分别对所述头部特征图、所述上半身特征图和所述下半身特征图进行反卷积操作，得到反卷积头部特征图、反卷积上半身特征图、反卷积下半身特征图；

[0037] 将所述反卷积头部特征图、所述反卷积上半身特征图、所述反卷积下半身特征图和所述人体特征图作为所述行人特征图。

[0038] 优选的，所述对所述行人特征图进行融合，得到目标特征，包括：

[0039] 分别对所述反卷积头部特征图、所述反卷积上半身特征图、所述反卷积下半身特征图和所述人体特征图进行特征提取，得到头部特征提取信息、上半身特征提取信息、下半身特征提取信息和人体特征提取信息；

[0040] 对所述头部特征提取信息、所述上半身特征提取信息、所述下半身特征提取信息和所述人体特征提取信息进行拼接、融合，得到所述目标特征。

[0041] 一种行人属性识别深度学习模型，包括：

[0042] 图片获取模块，用于获取待进行行人属性识别的目标图片；

[0043] 属性特征提取模块，用于提取出所述目标图片中的属性颜色特征和属性位置特征；

[0044] 属性特征融合模块，用于将所述属性颜色特征和属性位置特征进行融合，得到像素级特征，并基于所述像素级特征预测出颜色信息和位置信息；

[0045] 特征融合模块，用于将所述颜色信息、所述位置信息和所述目标图片进行拼接、切分，得到行人特征图；对所述行人特征图进行融合，得到目标特征；

[0046] 属性类型预测模块，用于基于所述目标特征确定行人属性识别结果。

[0047] 一种电子设备，包括：

[0048] 存储器，用于存储计算机程序；

[0049] 处理器，用于执行所述计算机程序时实现如上任一所述行人属性识别方法的步骤。

[0050] 一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述行人属性识别方法的步骤。

[0051] 本申请提供的一种行人属性识别方法，用于行人属性识别深度学习模型，获取待进行行人属性识别的目标图片；提取出目标图片中的属性颜色特征和属性位置特征；将属性颜色特征和属性位置特征进行融合，得到像素级特征，并基于像素级特征预测出颜色信息和位置信息；将颜色信息、位置信息和目标图片进行拼接、切分，得到行人特征图；对行人特征图进行融合，得到目标特征；基于目标特征确定行人属性识别结果。本申请中，行人属性识别深度学习模型在目标图片中提取出颜色信息和位置信息，并将颜色信息、位置信息和目标图片进行拼接、切分，得到各个粒度的行人特征图，之后对行人特征图进行融合，得到目标特征，使得目标特征中包含多粒度信息融合后的信息，这样基于目标特征确定行人属性识别结果的话，相当于根据目标图片中多粒度信息融合后的信息进行行人属性识别，与根据单一信息确定行人属性相比，参考了行人属性间的相关性，识别精度高。本申请提供的一种行人属性识别深度学习模型、设备及计算机可读存储介质也解决了相应技术问题。

附图说明

[0052] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

[0053] 图1为本申请实施例提供的一种行人属性识别方法的第一流程图；

[0054] 图2为本申请实施例提供的一种行人属性识别方法的第二流程图；

[0055] 图3为行人属性识别深度学习模型中基础特征识别部分的结构示意图；

[0056] 图4为行人属性识别深度学习模型中卷积模块的结构示意图；

[0057] 图5为行人属性识别深度学习模型中下采样模块的结构示意图；

[0058] 图6为行人属性识别深度学习模型中颜色信息和位置信息预测部分的结构示意图；

[0059] 图7为行人属性识别深度学习模型中上采样模块的结构示意图；

[0060] 图8为像素级特征的确定流程图；

[0061] 图9为行人属性识别深度学习模型中CPM的结构示意图；

[0062] 图10为行人属性识别深度学习模型中SegPredict的结构示意图；

[0063] 图11为行人属性识别深度学习模型中基于颜色信息、位置信息和目标图片确定行人属性识别结果的结构示意图；

[0064] 图12为头部特征图、上半身特征图、下半身特征图和人体特征图的样式图；

[0065] 图13为行人属性识别深度学习模型中对两种属性进行预测的BaseNet的结构示意图；

[0066] 图14为行人属性识别深度学习模型中基于目标特征确定行人属性识别结果的结构示意图；

[0067] 图15为本申请实施例提供的行人属性识别深度学习模型的结构示意图；

[0068] 图16为本申请实施例提供的一种电子设备的结构示意图；

[0069] 图17为本申请实施例提供的一种电子设备的另一结构示意图。

具体实施方式

[0070] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0071] 随着打造“平安城市”活动的开展，以及人们对公共安防的关注，在公共场所安装的摄像头数量日益增加，为人们提供着海量的数据。人作为监控视频中的主要目标，如果能对人的属性，例如性别、年龄、发型、衣服款式、衣服颜色等进行识别，将会对监控视频中的目标检索带来极大的便利与效率的提升，也即可以对行人属性进行识别。现有的一种行人属性识别方法是基于语义分割的行人多属性识别方法，该方法在线下训练阶段，首先选择比较普遍的行人属性，在行人属性数据集上训练行人多属性识别模型，该模型有三条输出分支，其中两条分支采用语义分割结合特征融合策略分别输出颜色属性和类型属性，第三条分支输出性别属性，综合模型的三条分支输出得到行人多属性，在线上查询阶段，用行人多属性识别模型对行人图像库提取属性，人后就可以通过属性查询库中有该属性的行人图像。虽然该方法可以进行行人属性识别，但是该方法的识别精度较低。而本申请提供的行人属性识别方法的精度较高。

[0072] 请参阅图1，图1为本申请实施例提供的一种行人属性识别方法的第一流程图。

[0073] 本申请实施例提供的一种行人属性识别方法，用于行人属性识别深度学习模型，可以包括以下步骤：

[0074] 步骤S101：获取待进行行人属性识别的目标图片。

[0075] 实际应用中，行人属性识别深度学习模型可以先获取待进行行人属性识别的目标图片，目标图片的来源及内容等可以根据实际需要确定，比如目标图片可以为城市道路监控器拍摄的原始图片等，在此过程中，如果原始图片的尺寸较大，目标图片还可以为对原始图片进行裁剪等操作后得到的图片等。

[0076] 步骤S102：提取出目标图片中的属性颜色特征和属性位置特征。

[0077] 实际应用中，因为行人属性中一般包括颜色信息和位置信息，而颜色信息和位置信息属于细粒度特征值，那么为了得到颜色信息和位置信息，行人属性识别深度学习模型在获取目标图片之后，可以提取出目标图片中的属性颜色特征和属性位置特征，以借助属性颜色特征和属性位置特征确定出颜色信息和位置信息。

[0078] 步骤S103：将属性颜色特征和属性位置特征进行融合，得到像素级特征，并基于像素级特征预测出颜色信息和位置信息。

[0079] 实际应用中，行人属性识别深度学习模型在提取出目标图片中的属性颜色特征和属性位置特征之后，便可以确定出目标图片中的颜色信息和位置信息，在此过程中，因为颜色信息和位置信息间具有关联性，比如行人穿着红色上衣、黑色裤子，那么颜色模块预测的黑色区域应该与位置模块预测的裤子区域是相同的，而颜色模块预测的红色区域应该与位置模块预测的上衣区域是相同的，因此，为了准确确定颜色信息和位置信息，可以先将属性颜色特征和属性位置特征进行融合提高属性颜色特征和属性位置特征的区域一致性，得到融合后的像素级特征，并基于像素级特征预测出颜色信息和位置信息，以综合考虑属性颜色特征和属性位置特征来确定颜色信息和位置信息，提高颜色信息和位置信息的准确性。

[0080] 步骤S104：将颜色信息、位置信息和目标图片进行拼接、切分，得到行人特征图。

[0081] 实际应用中，因为行人属性识别深度学习模型得到的是准确的颜色信息和位置信息，而颜色信息和位置信息对其他行人属性存在影响，比如红色裙子的行人性别为女等，所以为了准确确定其他行人属性，可以将颜色信息、位置信息和目标图片进行拼接、切分，得到行人特征图。应当指出，在此过程中，因为是将颜色信息、位置信息和目标图片进行拼接、切分，所以得到的是多个行人特征图，且该行人特征图的粒度比单纯的颜色信息、位置信息的粒度粗。

[0082] 步骤S105：对行人特征图进行融合，得到目标特征。

[0083] 步骤S106：基于目标特征确定行人属性识别结果。

[0084] 实际应用中，行人属性识别深度学习模型在得到行人特征图之后，为了根据行人属性间的关联性来确定出各个行人属性，可以先对行人特征图进行融合，得到包含多粒度融合信息的目标特征，最后基于目标特征确定行人属性识别结果，相当于根据目标图片中多粒度信息融合后的信息进行行人属性识别，识别精度高。

[0085] 本申请提供的一种行人属性识别方法，用于行人属性识别深度学习模型，获取待进行行人属性识别的目标图片；提取出目标图片中的属性颜色特征和属性位置特征；将属性颜色特征和属性位置特征进行融合，得到像素级特征，并基于像素级特征预测出颜色信息和位置信息；将颜色信息、位置信息和目标图片进行拼接、切分，得到行人特征图；对行人特征图进行融合，得到目标特征；基于目标特征确定行人属性识别结果。本申请中，行人属性识别深度学习模型在目标图片中提取出颜色信息和位置信息，并将颜色信息、位置信息和目标图片进行拼接、切分，得到各个粒度的行人特征图，之后对行人特征图进行融合，得到目标特征，使得目标特征中包含多粒度信息融合后的信息，这样基于目标特征确定行人属性识别结果的话，相当于根据目标图片中多粒度信息融合后的信息进行行人属性识别，与根据单一信息确定行人属性相比，参考了行人属性间的相关性，准确性高。

[0086] 请参阅图2，图2为本申请实施例提供的一种行人属性识别方法的第二流程图。

[0087] 本申请实施例提供的一种行人属性识别方法，用于行人属性识别深度学习模型，可以包括以下步骤：

[0088] 步骤S201：获取待进行行人属性识别的目标图片。

[0089] 步骤S202：基于语义分割网络对目标图片进行特征提取，得到基础特征。

[0090] 步骤S203：对基础特征进行提取，得到属性颜色特征和属性位置特征。

[0091] 实际应用中，为了快速确定属性颜色特征和属性位置特征，行人属性识别深度学习模型在提取出目标图片中的属性颜色特征和属性位置特征的过程中，可以基于语义分割网络对目标图片进行特征提取，得到基础特征；对基础特征进行提取，得到属性颜色特征和属性位置特征。

[0092] 步骤S204：将属性颜色特征和属性位置特征进行融合，得到像素级特征，并基于像素级特征预测出颜色信息和位置信息。

[0093] 步骤S205：将颜色信息、位置信息和目标图片进行拼接、切分，得到行人特征图。

[0094] 步骤S206：对行人特征图进行融合，得到目标特征。

[0095] 步骤S207：基于目标特征确定行人属性识别结果。

[0096] 应当指出，本实施例所应用的语义分割网络可以为Unet形式、FCN、DeepLap、SegNet等，本申请在此不做具体限定。为了便于理解，在此以Unet形式的语义分割网络来对行人属性识别深度学习模型的可能结构进行描述，比如行人属性识别深度学习模型中用于基于语义分割网络对目标图片进行特征提取得到基础特征的结构可以如图3所示，其中，目标图片经过一个卷积模块(conv_block)后送入四个下采样模块(dn_block)，便可得到基础特征，且最后两个下采样模块的后面需要添加一个Dropout层；其中，卷积模块的结构可以如图4所示，由3*3卷积层和relu层重复两次构成；下采样模块的结构可以如图5所示，由2*2的最大池化层(max pool)和卷积模块组成。

[0097] 相应的，行人属性识别深度学习模型中用于对基础特征进行提取，得到属性颜色特征和属性位置特征及将属性颜色特征和属性位置特征进行融合，得到像素级特征，并基于像素级特征预测出颜色信息和位置信息的结构可以如图6所示，其中，属性颜色特征和属性位置特征的提取模块拥有相同的结构，以属性颜色特征提取模块为例进行说明的话，颜色特征提取模块将基础特征提取结构中dn_block4的输出作为输入，进行反卷积(deconv)和relu激活操作，之后经过三个上采样模块(up_block)和一个卷积模块后得到属性颜色特征，up_block是为了恢复下采样带来的信息损失，其结构可以如图7所示，且在本实施例中，为了进一步提取特征和提高特征的分辨率，可以将相应dn_block的输出和该up_block上一层的输出进行融合、再经过卷积、反卷积和relu操作来得到上采样输出结果；在得到属性颜色特征和属性位置特征之后，便可以经属性颜色特征和属性位置特征融合，再经过反卷积和relu操作，最后分别进入颜色信息和位置信息的预测模块进行颜色信息和位置信息的对应识别，其中，CPM也即进行属性颜色特征和属性位置特征融合的模块，SegPredict也即进行颜色信息或位置信息的识别模块。

[0098] 请参阅图8，图8为像素级特征的确定流程图。

[0099] 本申请实施例提供的一种行人属性识别方法中，行人属性识别深度学习模型将属性颜色特征和属性位置特征进行融合，得到像素级特征的过程中，可以执行以下步骤：

[0100] 步骤S301：将属性颜色特征和属性位置特征进行拼接，得到拼接属性信息。

[0101] 步骤S302：基于卷积层和relu层对拼接属性信息进行融合，得到第一融合特征。

[0102] 步骤S303：将第一融合特征与属性颜色特征相加，得到第一相加特征。

[0103] 步骤S304：将第一融合特征与属性位置特征相加，得到第二相加特征。

[0104] 实际应用中，因为颜色信息和位置信息间具有关联性，且颜色信息和位置信息间的区分会受到对方的影响，比如纯色的西服套装，颜色信息应该倾向于颜色的一致性，而位置信息应该倾向于上衣和下衣区域的差异性；而对于同一种属性有两种颜色，例如黑色的T恤上有一块白色的图案，颜色信息应该倾向于区分黑色和白色的区域，而位置信息应该倾向于这两个区域的一致性，所以为了提高颜色信息和位置信息的一致性，在将属性颜色特征和属性位置特征进行融合，得到像素级特征的过程中，可以将属性颜色特征和属性位置特征进行拼接(concat)，得到拼接属性信息；基于卷积层和relu层对拼接属性信息进行融合，得到第一融合特征；将第一融合特征与属性颜色特征相加，得到第一相加特征；将第一融合特征与属性位置特征相加，得到第二相加特征。

[0105] 应当指出，本实施例提供的属性颜色特征和属性位置特征的融合设计可以对特征的融合方式进行自适应学习，且不需要手动设置选取融合参数，网络可以自适应的选取最优的参数，获取最优的融合方式，得到更好的融合特征，且可以增加融合特征的有效性与易用性。

[0106] 步骤S305：基于注意力机制、第一相加特征、第二相加特征、属性颜色特征和属性位置特征，得到像素级特征。

[0107] 实际应用中，为了调节属性颜色特征和属性位置特征间的一致性与不一致性的问题，在得到第一相加特征和第二相加特征之后，可以基于注意力机制、第一相加特征、第二相加特征、属性颜色特征和属性位置特征，得到像素级特征。

[0108] 应当指出，注意力机制可以对新生成的颜色特征或位置特征进行加权调节，不仅可以增加网络对重要特征的关注程度，也可以削弱网络对不重要特征的关注，且可以避免简单的特征叠加而引入的噪声干扰。

[0109] 具体应用场景中，为了快速、有效的形成经过注意力调节的新特征，基于注意力机制、第一相加特征、第二相加特征、属性颜色特征和属性位置特征，得到像素级特征的过程，可以具体为：基于卷积层对拼接属性信息进行融合，得到第二融合特征；基于sigmoid函数对第二融合特征进行处理，得到处理特征；将处理特征与属性颜色特征相乘，得到第一相乘特征；将处理特征与属性位置特征相乘，得到第二相乘特征；将第一相加特征与第一相乘特征进行融合，得到属性颜色特征融合特征；将第二相加特征与第二相乘特征进行融合，得到属性位置特征融合特征；将属性颜色特征融合特征和属性位置特征融合特征作为像素级特征。

[0110] 具体应用场景中，CPM的结构可以如图9所示；相应的，SegPredict的结构可以如图10所示，在SegPredict结构中，为了进一步恢复在下采样过程中丢失的空间信息，在该SegPredict结构中引入了基础特征提取结构中第一个卷积块(conv_block1)的输出，然后和上一层的输出进行拼接，拼接后的特征经过卷积块和1*1的卷积后得到每个像素点关于行人属性的可能性大小，然后利用ArgMaxTop获取每个像素点可能性最大的属性，从而获取属性的位置信息和颜色信息。

[0111] 本申请实施例提供的一种行人属性识别方法中，行人属性识别深度学习模型在将颜色信息、位置信息和目标图片进行拼接、切分，得到行人特征图的过程中，可以先将颜色信息、位置信息和目标图片进行拼接，得到拼接图片信息，使得后续识别属性时能够有效利用细粒度的颜色信息和位置信息；对拼接图片信息进行ROI切分，得到头部特征图、上半身特征图、下半身特征图和人体特征图；并基于头部特征图、上半身特征图、下半身特征图和人体特征图确定行人特征图。应当指出，颜色信息和位置信息属于细粒度特征，头部特征图、上半身特征图和下半身特征图属于中粒度特征，人体特征图属于粗粒度特征；相应的，最终确定的行人特征图中会携带细粒度、中粒度和粗粒度三个粒度融合后的信息，信息量丰富，能够反映大量的行人属性信息。

[0112] 实际应用中，因为切分出的头部特征图、上半身特征图或者下半身特征图相对人体较小，因此为了增大特征分辨率，并进一步提高特征的表达能力，可以对头部特征图、上半身特征图、下半身特征图进行反卷积操作，进而得到行人特征图，也即基于头部特征图、上半身特征图、下半身特征图和人体特征图确定行人特征图的过程，可以具体为：分别对头部特征图、上半身特征图和下半身特征图进行反卷积操作，得到反卷积头部特征图、反卷积上半身特征图、反卷积下半身特征图；将反卷积头部特征图、反卷积上半身特征图、反卷积下半身特征图和人体特征图作为行人特征图。

[0113] 实际应用中，在对行人特征图进行融合，得到目标特征的过程中，为了快速得到目标特征，并保证目标特征的尺寸较小以提高属性识别效率，可以分别对反卷积头部特征图、反卷积上半身特征图、反卷积下半身特征图和人体特征图进行特征提取，得到头部特征提取信息、上半身特征提取信息、下半身特征提取信息和人体特征提取信息；再对头部特征提取信息、上半身特征提取信息、下半身特征提取信息和人体特征提取信息进行拼接、融合，得到目标特征。

[0114] 具体应用场景中，行人属性识别深度学习模型中将颜色信息、位置信息和目标图片进行拼接、切分，得到行人特征图，对行人特征图进行融合，得到目标特征，基于目标特征确定行人属性识别结果的结构可以如图11所示，其中position表示位置信息，color表示颜色信息，input image表示目标图片；CropBlock为对拼接图片信息进行ROI切分，得到头部特征图、上半身特征图、下半身特征图和人体特征图的结构，且得到的头部特征图、上半身特征图、下半身特征图和人体特征图的样式可以如图12所示，head表示头部特征图，up表示上半身特征图，dn表示下半身特征图，body表示人体特征图；BaseNet为对反卷积头部特征图、反卷积上半身特征图、反卷积下半身特征图和人体特征图进行特征提取，得到头部特征提取信息、上半身特征提取信息、下半身特征提取信息和人体特征提取信息的结构，BaseNet有两种模式，一种为各特征分支均使用一个特征提取网络，如AlexNet(去除了最后的分类模块)，另一种为四个特征分支共享权重，使用一个BaseNet，比如，图11所示的BaseNet是对于单个属性类型的预测结果，如果是多个属性类型一起预测，则可将BaseNet模块修改为多分支输出，请参阅图13，以AlexNet为例演示了对两种属性进行预测时BaseNet特征提取模块的形式，当增加属性时，可相应的增加BaseNet的分支数量，应当指出，在此过程中，对于有些属性，例如帽子款式属性，它与上半身、下半身并无太大关系，可直接单独使用head分支，而不需要对其他分支的特征进行拼接；基于目标特征确定行人属性识别结果的结构可以如图14所示，由一个全局均值池化层(ave pool)、一个全连接层(fc)和一个softmax层组成，最终的输出可以为属于某属性的每个类别的可能性等。

[0115] 应当指出，本申请中的BaseNet还可以被替换为VGG、ResNet、MobileNet等，本申请在此不做具体限定。

[0116] 请参阅图15，图15为本申请实施例提供的行人属性识别深度学习模型的结构示意图。

[0117] 本申请实施例提供的一种行人属性识别深度学习模型，可以包括：

[0118] 图片获取模块101，用于获取待进行行人属性识别的目标图片；

[0119] 属性特征提取模块102，用于提取出目标图片中的属性颜色特征和属性位置特征；

[0120] 属性特征融合模块103，用于将属性颜色特征和属性位置特征进行融合，得到像素级特征，并基于像素级特征预测出颜色信息和位置信息；

[0121] 特征融合模块104，用于将颜色信息、位置信息和目标图片进行拼接、切分，得到行人特征图；对行人特征图进行融合，得到目标特征；

[0122] 属性类型预测模块105，用于基于目标特征确定行人属性识别结果。

[0123] 本申请实施例提供的一种行人属性识别深度学习模型，属性特征提取模块可以包括：

[0124] 基础特征提取单元，用于基于语义分割网络对目标图片进行特征提取，得到基础特征；

[0125] 属性特征提取单元，用于对基础特征进行提取，得到属性颜色特征和属性位置特征。

[0126] 本申请实施例提供的一种行人属性识别深度学习模型，属性特征融合模块可以包括：

[0127] 第一拼接子模块，用于将属性颜色特征和属性位置特征进行拼接，得到拼接属性信息；

[0128] 第一融合子模块，用于基于卷积层和relu层对拼接属性信息进行融合，得到第一融合特征；

[0129] 第一相加子模块，用于将第一融合特征与属性颜色特征相加，得到第一相加特征；

[0130] 第二相加子模块，用于将第一融合特征与属性位置特征相加，得到第二相加特征；

[0131] 第二融合子模块，用于基于注意力机制、第一相加特征、第二相加特征、属性颜色特征和属性位置特征，得到像素级特征。

[0132] 本申请实施例提供的一种行人属性识别深度学习模型，第二融合子模块可以包括：

[0133] 第一融合单元，用于基于卷积层对拼接属性信息进行融合，得到第二融合特征；

[0134] 第一处理单元，用于基于sigmoid函数对第二融合特征进行处理，得到处理特征；

[0135] 第一相乘单元，用于将处理特征与属性颜色特征相乘，得到第一相乘特征；

[0136] 第二相乘单元，用于将处理特征与属性位置特征相乘，得到第二相乘特征；

[0137] 第二融合单元，用于将第一相加特征与第一相乘特征进行融合，得到属性颜色特征融合特征；

[0138] 第三融合单元，用于将第二相加特征与第二相乘特征进行融合，得到属性位置特征融合特征；

[0139] 第一设置单元，用于将属性颜色特征融合特征和属性位置特征融合特征作为像素级特征。

[0140] 本申请实施例提供的一种行人属性识别深度学习模型，特征融合模块可以包括：

[0141] 第二拼接子模块，用于将颜色信息、位置信息和目标图片进行拼接，得到拼接图片信息；

[0142] 第一切分子模块，用于对拼接图片信息进行ROI切分，得到头部特征图、上半身特征图、下半身特征图和人体特征图；

[0143] 第一确定子模块，用于基于头部特征图、上半身特征图、下半身特征图和人体特征图确定行人特征图。

[0144] 本申请实施例提供的一种行人属性识别深度学习模型，第一确定子模块可以包括：

[0145] 第一反卷积单元，用于分别对头部特征图、上半身特征图和下半身特征图进行反卷积操作，得到反卷积头部特征图、反卷积上半身特征图、反卷积下半身特征图；

[0146] 第二设置单元，用于将反卷积头部特征图、反卷积上半身特征图、反卷积下半身特征图和人体特征图作为行人特征图。

[0147] 本申请实施例提供的一种行人属性识别深度学习模型，特征融合模块可以包括：

[0148] 第一提取单元，用于分别对反卷积头部特征图、反卷积上半身特征图、反卷积下半身特征图和人体特征图进行特征提取，得到头部特征提取信息、上半身特征提取信息、下半身特征提取信息和人体特征提取信息；

[0149] 第五融合单元，用于对头部特征提取信息、上半身特征提取信息、下半身特征提取信息和人体特征提取信息进行拼接、融合，得到目标特征。

[0150] 本申请还提供了一种电子设备及计算机可读存储介质，其均具有本申请实施例提供的一种行人属性识别方法具有的对应效果。请参阅图16，图16为本申请实施例提供的一种电子设备的结构示意图。

[0151] 本申请实施例提供的一种电子设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：

[0152] 获取待进行行人属性识别的目标图片；

[0153] 提取出目标图片中的属性颜色特征和属性位置特征；

[0154] 将属性颜色特征和属性位置特征进行融合，得到像素级特征，并基于像素级特征预测出颜色信息和位置信息；

[0155] 将颜色信息、位置信息和目标图片进行拼接、切分，得到行人特征图；

[0156] 对行人特征图进行融合，得到目标特征；

[0157] 基于目标特征确定行人属性识别结果。

[0158] 本申请实施例提供的一种电子设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：基于语义分割网络对目标图片进行特征提取，得到基础特征；对基础特征进行提取，得到属性颜色特征和属性位置特征。

[0159] 本申请实施例提供的一种电子设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：将属性颜色特征和属性位置特征进行拼接，得到拼接属性信息；基于卷积层和relu层对拼接属性信息进行融合，得到第一融合特征；将第一融合特征与属性颜色特征相加，得到第一相加特征；将第一融合特征与属性位置特征相加，得到第二相加特征；基于注意力机制、第一相加特征、第二相加特征、属性颜色特征和属性位置特征，得到像素级特征。

[0160] 本申请实施例提供的一种电子设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：基于卷积层对拼接属性信息进行融合，得到第二融合特征；基于sigmoid函数对第二融合特征进行处理，得到处理特征；将处理特征与属性颜色特征相乘，得到第一相乘特征；将处理特征与属性位置特征相乘，得到第二相乘特征；将第一相加特征与第一相乘特征进行融合，得到属性颜色特征融合特征；
将第二相加特征与第二相乘特征进行融合，得到属性位置特征融合特征；将属性颜色特征融合特征和属性位置特征融合特征作为像素级特征。

[0161] 本申请实施例提供的一种电子设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：将颜色信息、位置信息和目标图片进行拼接，得到拼接图片信息；对拼接图片信息进行ROI切分，得到头部特征图、上半身特征图、下半身特征图和人体特征图；基于头部特征图、上半身特征图、下半身特征图和人体特征图确定行人特征图。

[0162] 本申请实施例提供的一种电子设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：分别对头部特征图、上半身特征图和下半身特征图进行反卷积操作，得到反卷积头部特征图、反卷积上半身特征图、反卷积下半身特征图；将反卷积头部特征图、反卷积上半身特征图、反卷积下半身特征图和人体特征图作为行人特征图。

[0163] 本申请实施例提供的一种电子设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：分别对反卷积头部特征图、反卷积上半身特征图、反卷积下半身特征图和人体特征图进行特征提取，得到头部特征提取信息、上半身特征提取信息、下半身特征提取信息和人体特征提取信息；对头部特征提取信息、上半身特征提取信息、下半身特征提取信息和人体特征提取信息进行拼接、融合，得到目标特征。

[0164] 请参阅图17，本申请实施例提供的另一种电子设备中还可以包括：与处理器202连接的输入端口203，用于传输外界输入的命令至处理器202；与处理器202连接的显示单元204，用于显示处理器202的处理结果至外界；与处理器202连接的通信模块205，用于实现电子设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等；通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接：无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。

[0165] 本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：

[0166] 获取待进行行人属性识别的目标图片；

[0167] 提取出目标图片中的属性颜色特征和属性位置特征；

[0168] 将属性颜色特征和属性位置特征进行融合，得到像素级特征，并基于像素级特征预测出颜色信息和位置信息；

[0169] 将颜色信息、位置信息和目标图片进行拼接、切分，得到行人特征图；

[0170] 对行人特征图进行融合，得到目标特征；

[0171] 基于目标特征确定行人属性识别结果。

[0172] 本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：基于语义分割网络对目标图片进行特征提取，得到基础特征；对基础特征进行提取，得到属性颜色特征和属性位置特征。

[0173] 本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：将属性颜色特征和属性位置特征进行拼接，得到拼接属性信息；基于卷积层和relu层对拼接属性信息进行融合，得到第一融合特征；将第一融合特征与属性颜色特征相加，得到第一相加特征；将第一融合特征与属性位置特征相加，得到第二相加特征；基于注意力机制、第一相加特征、第二相加特征、属性颜色特征和属性位置特征，得到像素级特征。

[0174] 本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：基于卷积层对拼接属性信息进行融合，得到第二融合特征；基于sigmoid函数对第二融合特征进行处理，得到处理特征；将处理特征与属性颜色特征相乘，得到第一相乘特征；将处理特征与属性位置特征相乘，得到第二相乘特征；将第一相加特征与第一相乘特征进行融合，得到属性颜色特征融合特征；将第二相加特征与第二相乘特征进行融合，得到属性位置特征融合特征；将属性颜色特征融合特征和属性位置特征融合特征作为像素级特征。

[0175] 本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：将颜色信息、位置信息和目标图片进行拼接，得到拼接图片信息；对拼接图片信息进行ROI切分，得到头部特征图、上半身特征图、下半身特征图和人体特征图；基于头部特征图、上半身特征图、下半身特征图和人体特征图确定行人特征图。

[0176] 本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：分别对头部特征图、上半身特征图和下半身特征图进行反卷积操作，得到反卷积头部特征图、反卷积上半身特征图、反卷积下半身特征图；将反卷积头部特征图、反卷积上半身特征图、反卷积下半身特征图和人体特征图作为行人特征图。

[0177] 本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：分别对反卷积头部特征图、反卷积上半身特征图、反卷积下半身特征图和人体特征图进行特征提取，得到头部特征提取信息、上半身特征提取信息、下半身特征提取信息和人体特征提取信息；对头部特征提取信息、上半身特征提取信息、下半身特征提取信息和人体特征提取信息进行拼接、融合，得到目标特征。

[0178] 本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD‑ROM、或技术领域内所公知的任意其它形式的存储介质。

[0179] 本申请实施例提供的行人属性识别模型、电子设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的行人属性识别方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

[0180] 还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

[0181] 对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。