一种车辆属性识别方法、装置、电子设备及存储介质转让专利
申请号 : CN202110263092.2
文献号 : CN112633264B
文献日 : 2021-06-15
发明人 : 武大硕 , 闫潇宁
申请人 : 深圳市安软科技股份有限公司 , 深圳市安软慧视科技有限公司
摘要 :
权利要求 :
1.一种车辆属性识别方法,其特征在于,所述方法包括步骤:获取待识别车辆视频数据,所述待识别车辆视频数据包括多帧待识别车辆图像,每帧所述待识别车辆图像包括待识别车辆属性;
将所述待识别车辆视频数据输入到预设的融合模型中,提取所述待识别车辆视频数据中多帧待识别车辆图像的空间维度特征以及时间维度特征,并根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果,所述预设的融合模型包括图像特征提取层以及时序特征提取层;
所述将所述待识别车辆视频数据输入到预设的融合模型中,提取所述待识别车辆视频数据的空间维度特征以及时间维度特征,并根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果的步骤包括:将所述待识别车辆视频数据输入到所述图像特征提取层中,提取所述待识别车辆视频数据中每帧待识别车辆图像的空间维度特征;
将所述多帧待识别车辆图像的空间维度特征进行叠加并输入到所述时序特征提取层中,以提取所述多帧待识别车辆图像的时间维度特征,根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果;
所述图像特征提取层包括残差网络,所述残差网络包括卷积层、残差层以及全连接层,所述将所述待识别车辆视频数据输入到所述图像特征提取层中,提取所述待识别车辆视频数据中每帧待识别车辆图像的空间维度特征的步骤包括:将所述待识别车辆视频数据中的单帧待识别车辆图像输入到所述卷积层进行降维处理,得到降维图像;
将所述降维图像输入所述残差层进行空间向量转换,得到空间特征向量;
将所述空间特征向量输入所述全连接层进行计算,得到得分向量,根据所述得分向量得到所述每帧待识别车辆图像的空间维度特征;
所述时序特征提取层包括循环神经网络以及注意力机制,所述将所述多帧待识别车辆图像的空间维度特征进行叠加并输入到所述时序特征提取层中,以提取所述多帧待识别车辆图像的时间维度特征,根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果的步骤包括:
将所述多帧待识别车辆图像的空间维度特征一同输入到所述循环神经网络进行时序特征提取,得到对应的时间维度特征;
将所述多帧待识别车辆图像的空间维度特征以及时间维度特征输入所述注意力机制中进行拟合处理,输出所述待识别车辆图像的识别结果。
2.如权利要求1所述的车辆属性识别方法,其特征在于,所述时序特征提取层还包括输入层,所述将所述多帧待识别车辆图像的空间维度特征进行叠加并输入到所述时序特征提取层中,以提取所述多帧待识别车辆图像的时间维度特征,根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果的步骤还包括:将所述多帧待识别车辆图像的空间维度特征输入所述输入层进行放大处理,得到放大后的空间维度特征。
3.如权利要求1所述的车辆属性识别方法,其特征在于,所述方法还包括以下步骤:获取训练样本集,所述训练样本集包括多个训练样本,每个训练样本包括一个或多个样本车辆属性;
通过所述训练样本集对融合模型进行训练,以使所述融合模型学习到对车辆属性的识别输出,得到预设的融合模型。
4.一种车辆属性识别装置,其特征在于,所述装置包括:第一获取模块,用于获取待识别车辆视频数据,所述待识别车辆视频数据包括多帧待识别车辆图像,每帧待识别车辆图像包括待识别车辆属性;
识别模块,用于将所述待识别车辆视频数据输入到预设的融合模型中,提取所述待识别车辆视频数据中多帧待识别车辆图像的空间维度特征以及时间维度特征,并根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果,所述预设的融合模型包括图像特征提取层以及时序特征提取层;
所述识别模块包括:
提取单元,用于将所述待识别车辆视频数据输入到所述图像特征提取层中,提取所述待识别车辆视频数据中每帧待识别车辆图像的空间维度特征;
识别单元,用于将所述多帧待识别车辆图像的空间维度特征进行叠加并输入到所述时序特征提取层中,以提取所述多帧待识别车辆图像的时间维度特征,根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果;
所述图像特征提取层包括残差网络,所述残差网络包括卷积层、残差层以及全连接层,所述提取单元包括:
降维子单元,用于将所述待识别车辆视频数据中的单帧待识别车辆图像输入到所述卷积层进行降维处理,得到降维图像;
向量转换子单元,用于将所述降维图像输入所述残差层进行空间向量转换,得到空间特征向量;
计算子单元,用于将所述空间特征向量输入所述全连接层进行计算,得到得分向量,根据所述得分向量得到所述每帧待识别车辆图像的空间维度特征;
所述时序特征提取层包括循环神经网络以及注意力机制,所述识别单元包括:提取子单元,用于将所述多帧待识别车辆图像的空间维度特征一同输入到所述循环神经网络进行时序特征提取,得到对应的时间维度特征;
处理子单元,用于将所述多帧待识别车辆图像的空间维度特征以及时间维度特征输入所述注意力机制中进行拟合处理,输出所述待识别车辆图像的识别结果。
5.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的车辆属性识别方法中的步骤。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的车辆属性识别方法中的步骤。
说明书 :
一种车辆属性识别方法、装置、电子设备及存储介质
技术领域
背景技术
到有价值的信息,对于机关人员、安防人员等工作人员的安防工作来说尤为重要。近年来,
以人工智能技术为核心的各种智能化产品正在慢慢走进大众的视野。让人工智能技术为社
会的安防工作保驾护航以是大势所趋,作为人工智能领域的重要分支,计算机视觉已经日
渐成熟,尤其是基于深度学习的目标检测和目标属性识别技术。图像的目标属性识别就是
对视频图像里的车辆目标进行检测与特征提取,自动判定车辆的各个属性。精准的车辆属
性信息,能够帮助开展各类基于车辆照片的分析工作。目前,已被广泛运用于刑事侦查、目
标追踪等领域。
于车辆属性特定区域的标注进行车辆属性识别。但在一般的车辆属性识别任务中,使用的
数据集没有对车辆属性特定区域进行标注,从而影响车辆属性识别,导致现有的车辆属性
识别技术存在识别准确率低的问题。
发明内容
以及所述时间维度特征输出所述待识别车辆属性的识别结果,所述预设的融合模型包括图
像特征提取层以及时序特征提取层;
特征输出所述待识别车辆属性的识别结果的步骤包括:
述时间维度特征输出所述待识别车辆属性的识别结果。
识别车辆视频数据中每帧待识别车辆图像的空间维度特征的步骤包括:
多帧待识别车辆图像的时间维度特征,根据所述空间维度特征以及所述时间维度特征输出
所述待识别车辆属性的识别结果的步骤包括:
的时间维度特征,根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性
的识别结果的步骤还包括:
述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果,所述预设的
融合模型包括图像特征提取层以及时序特征提取层;
度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果。
现上述实施例中提供的车辆属性识别方法中的步骤。
属性识别方法中的步骤。
频数据输入到预设的融合模型中,提取所述待识别车辆视频数据中多帧待识别车辆图像的
空间维度特征以及时间维度特征,并根据所述空间维度特征以及所述时间维度特征输出所
述待识别车辆属性的识别结果,所述预设的融合模型包括图像特征提取层以及时序特征提
取层;所述将所述待识别车辆视频数据输入到预设的融合模型中,提取所述待识别车辆视
频数据的空间维度特征以及时间维度特征,并根据所述空间维度特征以及所述时间维度特
征输出所述待识别车辆属性的识别结果的步骤包括:将所述待识别车辆视频数据输入到所
述图像特征提取层中,提取所述待识别车辆视频数据中每帧待识别车辆图像的空间维度特
征;将所述多帧待识别车辆图像的空间维度特征进行叠加并输入到所述时序特征提取层
中,以提取所述多帧待识别车辆图像的时间维度特征,根据所述空间维度特征以及所述时
间维度特征输出所述待识别车辆属性的识别结果。这样可以对待识别车辆视频数据中多帧
待识别车辆图像的空间维度特征以及时间维度特征分开提取,在空间维度特征的基础上,
结合时间维度特征对待识别车辆属性进行加强识别,进而提高待识别车辆属性的识别准确
率。
附图说明
发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以
根据这些附图获得其他的附图。
具体实施方式
本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他
实施例,都属于本发明保护的范围。
监控平台下的车辆属性识别,以提供检索快速分类的效果。如图1所示,该车辆属性识别方
法包括以下步骤:
系安全带、是否打电话等)等属性信息。
的,比如,预先采集并保存在车辆视频数据库中的,以便于后期使用或识别的车辆视频数
据。当用户需要对某个车辆视频数据中的车辆属性进行识别时,即可直接调用或实时采集
某段车辆视频数据来进行车辆属性识别。精准的车辆属性信息,能够帮助开展各类基于车
辆照片的分析工作。
时间维度特征输出待识别车辆属性的识别结果。
可以形成一个像素区域,以表示不同的车辆属性。可以根据所形成的像素区域的位置特征
即可判断出对应的车辆属性,以实现车辆属性的识别。
间特征即可形成对应的时间序列特征,也即得到对应的时间维度特征。
括:
征输出待识别车辆属性的识别结果。
序列之间的时序特征,即用于提取待识别车辆图像序列之间的时间维度特征。
时间维度特征。根据空间维度特征能够识别出待识别车辆属性的基础上,在结合待识别车
辆图像的时间维度特征来对多帧待识别车辆图像的待识别车辆属性进一步加强车辆属性
识别。更具体的,首先在静止的图像上提取特征,随后在时间序列上分别进行拟合。该预设
的融合模型的两层神经网络相互独立,提取时间域的时序特征提取层的反向传播不会贯穿
到图像特征提取层,从而一定程度上避免造成时间域和空间域上特征提取的混淆。进而提
高待识别车辆属性的识别准确率。
包括卷积层、残差层以及全连接层。残差网络具体可以为50层的残差网络,首先可以输入7*
7*64的卷积,随后经过3+4+6+3=16个残差块,每个残差块为3层结构,即有16*3=48层,最后
连接全连接层,所以共1+48+1=50层(这里仅仅指的是卷积层或者全连接层,激活层或池化
层并没有计算在内)。
量输入全连接层进行计算,得到得分向量,根据得分向量得到每帧待识别车辆图像的空间
维度特征。
112*64,然后经过一个核为3×3,步长为2的最大池化层,之后依次进入残差块1、残差块2、
残差块3、残差块4等四个残差块,每个残差块有三层卷积层,输出7*7*2048的向量,随后连
接上一层平均池化层,输出1*1*2048的特征向量,最后连接一层全连接层,输出得分向量
(未归一化的概率向量)。这样就可以根据这个得分向量中各个元素的分值来识别出待识别
车辆的车辆属性。
个1*10的概率向量表示为[0.01、0.01、0.01、0.01、0.01、0.9、0.01、0.01、0.02、0.01],其
中,0.01、0.01、0.01、0.01、0.01、0.9、0.01、0.01、0.02、0.01依次分别代表现为红色车辆、
白色车辆、蓝色车辆、粉色车辆、绿色车辆、浅蓝色车辆、棕色车辆、黑色车辆、灰色车辆、紫
色车辆等10个车辆属性的概率值。
车辆、有0.9的概率识别为浅蓝色车辆、有0.01的概率识别为棕色车辆、有0.01的概率识别
为黑色车辆、有0.02的概率识别为灰色车辆、有0.01的概率识别为紫色车辆。根据该得分向
量的各元素的数值大小进行比较可以判断出第六个元素的数值最大为0.9,此时,可以根据
该得分向量中元素值为0.9判断出该帧待识别车辆图像的车辆属性为浅蓝色车辆。
括车辆的车牌(含车牌号和颜色)、车型、车标(即品牌)、子型号(即车系)、车身颜色、车辆局
部特征(如:摆件、挂件、年检标等)、主副驾驶人行为(含是否系安全带、是否打电话等)等属
性信息中的一种或多种,或者,一种中的一个或多个时,均可根据需要得到对应的得分向
量,根据得分向量中各个元素所代表的车辆属性的概率值判断出对应的车辆属性,进而实
现各个车辆属性的识别。
输出,作为第二层循环神经网络的输入,即,循环神经网络层后紧跟注意力机制
(Attention)网络,通过引入注意力机制对序列进行权重分配。时序特征提取层的最后为输
出层,注意力机制层输出为加权后的得分向量,输出每个元素的维度为1*128,最后再连接
输出层,对得分向量进行降维,最后的输出为1*8的未归一化的概率向量。即最开始输入时
序特征提取层的维度为批大小(batch_size)*16*8,至输出层输出的维度为批大小(batch_
size)的8倍。需要说明的是,在图像特征提取层中得到的得分向量是基于空间维度特征得
到的。而在时序特征提取层中得到的得分向量是基于时间维度特征得到的。两者的处理方
法以及使用方法相似,在这里不在赘述。
果。提高车辆属性识别的识别准确率。
入到预设的融合模型中,提取待识别车辆视频数据中多帧待识别车辆图像的空间维度特征
以及时间维度特征,并根据空间维度特征以及时间维度特征输出待识别车辆属性的识别结
果,所述预设的融合模型包括图像特征提取层以及时序特征提取层;所述将所述待识别车
辆视频数据输入到预设的融合模型中,提取所述待识别车辆视频数据的空间维度特征以及
时间维度特征,并根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性
的识别结果的步骤包括:将所述待识别车辆视频数据输入到所述图像特征提取层中,提取
所述待识别车辆视频数据中每帧待识别车辆图像的空间维度特征;将所述多帧待识别车辆
图像的空间维度特征进行叠加并输入到所述时序特征提取层中,以提取所述多帧待识别车
辆图像的时间维度特征,根据所述空间维度特征以及所述时间维度特征输出所述待识别车
辆属性的识别结果。这样可以对待识别车辆视频数据中多帧待识别车辆图像的空间维度特
征以及时间维度特征分开提取,在空间维度特征的基础上,结合时间维度特征对待识别车
辆属性进行加强识别,进而提高车辆属性的识别准确率。
过该预设的融合模型对车辆属性进行识别以提高车辆属性的识别准确率。
准确率。
特征以及时间维度特征输出待识别车辆属性的识别结果,预设的融合模型包括图像特征提
取层以及时序特征提取层;
间维度特征输出待识别车辆属性的识别结果。
处理器501执行计算机程序时实现上述实施例提供的车辆属性识别方法中的步骤,处理器
501执行以下步骤:
特征输出待识别车辆属性的识别结果,预设的融合模型包括图像特征提取层以及时序特征
提取层;
输出待识别车辆属性的识别结果的步骤包括:
别车辆属性的识别结果。
频数据中每帧待识别车辆图像的空间维度特征的步骤包括:
识别车辆图像的时间维度特征,根据空间维度特征以及时间维度特征输出待识别车辆属性
的识别结果的步骤包括:
维度特征,根据空间维度特征以及时间维度特征输出待识别车辆属性的识别结果的步骤还
包括:
个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁
碟、光盘、只读存储记忆体(Read‑Only Memory,ROM)或随机存取存储器(Random Access
Memory,简称RAM)等。