基于违停车辆标签的神经网络的训练方法和检测方法转让专利
申请号 : CN202011305044.7
文献号 : CN112115928B
文献日 : 2021-03-09
发明人 : 朱淑敏 , 王顺镇 , 沈瑶
申请人 : 城云科技(中国)有限公司
摘要 :
权利要求 :
1.一种基于违停车辆标签的神经网络的训练方法,其特征在于,包括:获取每个包含停放车辆的街景图像的第一集合和包含标记有违停车辆的所述街景图像的第二集合;
将所述第一集合的街景图像输入第一卷积神经网络和第一全连接层以获得第一特征向量;
将所述第二集合的街景图像输入第二卷积神经网络和第二全连接层以获得第二特征向量,所述第二卷积神经网络与所述第一卷积神经网络具有相同的网络结构;
计算所述第一特征向量与所述第二特征向量的均方误差损失函数;
将所述第一特征向量以Softmax函数进行分类以获得Softmax损失函数;以及基于所述均方误差损失函数和所述Softmax损失函数的加权和更新所述第一卷积神经网络、第一全连接层、所述第二卷积神经网络和第二全连接层的参数;
其中,在包含标记有违停车辆的所述街景图像的第二集合中,所述违停车辆在每个所述街景图像中以候选框形式标记;
将所述第二集合的街景图像输入第二卷积神经网络和第二全连接层以获得第二特征向量,包括:
计算每个所述街景图像中,所述候选框的中心相对于所述街景图像的位置;以及将所述位置坐标作为所述街景图像的标签值,与所述街景图像一起输入所述第二卷积神经网络和所述第二全连接层以获得所述第二特征向量;
其中,在包含标记有违停车辆的所述街景图像的第二集合中,所述违停车辆在每个所述街景图像中以标签信息形式标记,所述标签信息包括所述违停车辆的违停描述;
将所述第二集合的街景图像输入第二卷积神经网络和第二全连接层以获得第二特征向量,包括:
将每个所述街景图像以及其对应的标签信息通过多模态特征向量转化为混合特征向量;以及
将所述混合特征向量输入所述第二卷积神经网络和所述第二全连接层以获得所述第二特征向量;
其中,基于所述均方误差损失函数和所述Softmax损失函数的加权和更新所述第一卷积神经网络、第一全连接层、所述第二卷积神经网络和第二全连接层的参数包括:基于所述均方误差损失函数和所述Softmax损失函数的加权和迭代地更新所述第一卷积神经网络、第一全连接层、所述第二卷积神经网络和第二全连接层的参数,其中,在每次迭代中,首先固定所述第一卷积神经网络和第一全连接层的参数并更新所述第二卷积神经网络和第二全连接层的参数,再固定所述第二卷积神经网络和第二全连接层的参数并更新所述第一卷积神经网络和第一全连接层的参数。
2.根据权利要求1所述的基于违停车辆标签的神经网络的训练方法,其中,所述违停车辆的违停描述包括车辆的牌号、车型、车型、颜色、违停地点、违章时间。
3.一种车辆违停的检测方法,其特征在于,包括:获取包含停放车辆的街景图像;
将所述街景图像输入根据权利要求1到2中任意一项所述的基于违停车辆标签的神经网络的训练方法所训练的第一卷积神经网络,第一全连接层和Softmax函数,所述Softmax函数的输出为表示所述停放车辆属于违停的第一概率和所述停放车辆不属于违停的第二概率;以及
基于所述第一概率和所述第二概率确定所述停放车辆是否违停。
4.一种电子设备,包括:
处理器;以及
存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-2中任一项所述的基于违停车辆标签的神经网络的训练方法或者如权利要求3所述的车辆违停的检测方法。
说明书 :
基于违停车辆标签的神经网络的训练方法和检测方法
技术领域
背景技术
辆数量迅速增加,而城市停车位紧缺,导致车辆违停现象十分严重,城市交通混乱甚至瘫
痪,造成巨大的经济损失。因此,必须要对车辆进行有效监管,才能保证城市交通的正常运
行,监管车辆最直接有效的方法是对违停车辆进行抄牌。
文本翻译等领域,也展现出了接近甚至超越人类的水平。
发明内容
含停放车辆的街景图像和包含标记有违停车辆的所述街景图像作为训练用图像集来训练
用于车辆违停检测的神经网络,以最终训练完成的检测模型能够更好地提取违停车辆的特
征,从而提高分类准确性。
述标签信息包括所述违停车辆的违停描述;
积神经网络和第二全连接层的参数包括:基于所述均方误差损失函数和所述Softmax损失
函数的加权和迭代地更新所述第一卷积神经网络、第一全连接层、所述第二卷积神经网络
和第二全连接层的参数,其中,在每次迭代中,首先固定所述第一卷积神经网络和第一全连
接层的参数并更新所述第二卷积神经网络和第二全连接层的参数,再固定所述第二卷积神
经网络和第二全连接层的参数并更新所述第一卷积神经网络和第一全连接层的参数。
示所述停放车辆属于违停的第一概率和所述停放车辆不属于违停的第二概率;以及
网络与所述第一卷积神经网络具有相同的网络结构;
第一卷积神经网络、第一全连接层、第二卷积神经网络和第二全连接层的参数。
卷积神经网络、第一全连接层、所述第二卷积神经网络和第二全连接层的参数,其中,在每
次迭代中,首先固定所述第一卷积神经网络和第一全连接层的参数并更新所述第二卷积神
经网络和第二全连接层的参数,再固定所述第二卷积神经网络和第二全连接层的参数并更
新所述第一卷积神经网络和第一全连接层的参数。
Softmax函数,所述Softmax函数的输出为表示所述停放车辆属于违停的第一概率和所述停
放车辆不属于违停的第二概率;以及
述处理器执行如上所述的基于违停车辆标签的神经网络的训练方法或者如上所述的车辆
违停的检测方法。
标签的神经网络的训练方法或者如上所述的车辆违停的检测方法。
记有违停车辆的所述街景图像作为训练用图像集来训练用于车辆违停检测的神经网络,以
最终训练完成的检测模型能够减少用于分类的特征图在其图像空间内的低概率样本点的
数目其能够更好地提取违停车辆的特征,从而提高分类准确性。
附图说明
书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,
相同的参考标号通常代表相同部件或步骤。
具体实施方式
示例实施例的限制。
是机器视觉技术的发展),为车辆违停检测提供的解决思路和方案。
度神经网络的解决方案,其简单地通过卷积神经网络+Softmax分类器的网络结构来进行二
元分类,检测正确率不高,无法实际应用。
中,可能多个图像对应同一街景,因此大量的包含有停放车辆的街景图像存在在其背景上
类似而停放车辆的细节上不同的情况,也就是说,总体上类似而在细节上有差异。而当将这
些街景图像作为图像集通过卷积神经网络时,在由通过卷积神经网络所获得的图像空间中
就会存在大量的低概率样本点,从而影响后续分类的准确性。
最终训练完成的检测模型能够更好地提取违停车辆的特征,从而提高分类准确性。
二集合;将所述第一集合的街景图像输入第一卷积神经网络和第一全连接层以获得第一特
征向量;将所述第二集合的街景图像输入第二卷积神经网络和第二全连接层以获得第二特
征向量,所述第二卷积神经网络与所述第一卷积神经网络具有相同的网络结构;计算所述
第一特征向量与所述第二特征向量的均方误差损失函数;将所述第一特征向量以Softmax
函数进行分类以获得Softmax损失函数;以及,基于所述均方误差损失函数和所述Softmax
损失函数的加权和更新所述第一卷积神经网络、第一全连接层、所述第二卷积神经网络和
第二全连接层的参数。
二特征向量可以提取出能够表示车辆违停的特征。进而,通过计算所述第一特征向量与所
述第二特征向量之间的均方误差损失函数并以此更新第一卷积神经网络,可以使得所述第
一特征向量能够更好地提取出用于识别车辆违停的特征。同时,也就是间接地减少了第一
特征图(第一特征图通过第一全连接层转化为所述第一特征向量)在其所在的图像空间内
的低概率样本点,从而提高了分类准确性;或者说,使得所述第一特征图在其所在的图像空
间内的低概率样本点分布在经过所述第一全连接层之后被一定程度上忽略,从而提高了分
类准确性。
得Softmax损失函数之后,与均方差损失函数联立对所述第一卷积神经网络、第一全连接
层、所述第二卷积神经网络和第二全连接进行训练,从而提高对于车辆违停检测的准确率。
网络的训练方法所训练的第一卷积神经网络,第一全连接层和Softmax函数,所述Softmax
函数的输出为表示所述停放车辆属于违停的第一概率和所述停放车辆不属于违停的第二
概率;以及,基于所述第一概率和所述第二概率确定所述停放车辆是否违停。
训练用图像集输入至用于车辆违停检测的神经网络的训练服务器中(例如,图1中所示意的
S)。在训练完成后,在检测阶段中,由摄像头所采集的包含有停放车辆的街景图像被输入至
用于车辆违停检测的服务器中,其中,在所述服务器上部署于训练完成的卷积神经网络模
型(例如,如图1所示意的S),以输出停放车辆是否违停的判定结果。
景图像的第二集合;S120,将所述第一集合的街景图像输入第一卷积神经网络和第一全连
接层以获得第一特征向量;S130,将所述第二集合的街景图像输入第二卷积神经网络和第
二全连接层以获得第二特征向量,所述第二卷积神经网络与所述第一卷积神经网络具有相
同的网络结构;S140,计算所述第一特征向量与所述第二特征向量的均方误差损失函数;
S150,将所述第一特征向量以Softmax函数进行分类以获得Softmax损失函数;以及,S160,
基于所述均方误差损失函数和所述Softmax损失函数的加权和更新所述第一卷积神经网
络、第一全连接层、所述第二卷积神经网络和第二全连接层的参数。
示意的CNN1)、第二卷积神经网络(例如,如图3所示意的CNN2)、第一全连接层(例如,如图3
所示意的Fcl1)、第二全连接层(例如,如图3所示意的Fcl2)Softmax函数(例如,如图3所示
意的S)、以及,均方差损失函数(例如,如图3所示意的Ml),其中,包含停放车辆的街景图像
的第一集合(例如,如图3所示意的IN0)被输入至所述第一卷积神经网络,所述第一卷积神
经网络用于对所述第一集合中的图像进行卷积处理,以生成第一特征图(例如,如图3所示
意的F1);所述第一全连接层,用于将所述第一特征图转化的特征向量转化为用于分类的第
一特征向量(例如,如图3所示意的V1),其中,所述第一特征向量以Softmax函数进行分类以
获得Softmax损失函数;包含标记有违停车辆的所述街景图像的第二集合(例如,如图3所示
意的IN1)被输入至与所述第一卷积神经网络具有相同网络结构的所述第二卷积神经网络,
所述第二卷积神经网络用于对所述第二集合中的图像进行卷积处理,以生成第二特征图
(例如,如图3所示意的F2);所述第二全连接层,用于将所述第二特征图转化的特征向量转
化为用于分类的第二特征向量(例如,如图3所示意的V2)。相应地,在获得所述第一特征图
和所述第二特征图后,计算所述第一特征向量与所述第二特征向量的均方误差损失函数。
相应地,基于所述均方差损失函数和所述Softmax损失函数的加权和更新所述第一卷积神
经网络、所述第一全连接层、所述第二卷积神经网络和所述第二全连接层。
类:包含停放车辆的街景图像集和包含标记有违停车辆的街景图像集。
述第一卷积神经网络,并经所述第一卷积神经网络的卷积处理,以生成第一特征图;接着,
所述第一全连接层对基于所述第一特征图转化的特征向量进行处理,以生成用于分类的第
一特征向量,其中,所述第一特征向量能够提取到违停车辆的特征。
况,也就是说,总体上类似而在细节上有差异,而当将这些街景图像作为图像集通过所述第
一卷积神经网络时,在由通过所述第一卷积神经网络所获得的所述第一特征图在其图像空
间中就会存在大量的低概率样本点。而因为这些低概率样本点的存在,导致所述第一特征
向量不能够很好地提取到表示车辆违停的特征。
结构。具体来说,该过程首先包括所述第二集合的街景图像被输入至所述第二卷积神经网
络,并经所述第二卷积神经网络的卷积处理,以生成第二特征图;接着,所述第二全连接层
对基于所述第二特征图转化的特征向量进行处理,以生成用于分类的第二特征向量。
特征向量可以提取出能够表示车辆违停的特征。
像输入第二卷积神经网络和第二全连接层以获得第二特征向量包括:计算每个所述街景图
像中,所述候选框的中心相对于所述街景图像的位置坐标;以及,将所述位置坐标作为所述
街景图像的标签值,与所述街景图像一起输入所述第二卷积神经网络和所述第二全连接层
以获得所述第二特征向量。
而良好地提取出能够表示车辆违停的特征。
的违停描述。相应地,将所述第二集合的街景图像输入第二卷积神经网络和第二全连接层
以获得第二特征向量包括:将所述每个街景图像以及其对应的标签信息通过多模态特征向
量变换转换为混合特征向量;以及,将所述混合特征向量输入所述第二卷积神经网络和所
述第二全连接层以获得所述第二特征向量。
特征向量中提取出违停车辆整体的画像特征,从而良好地提取出能够表示车辆违停的特
征。
以此更新第一卷积神经网络,可以使得所述第一特征向量也能够更好地提取出用于识别车
辆违停的特征,也就是间接地减少了所述第一特征图在其所在图像空间内的低概率样本
点,或者说,使得所述第一特征图在其所在的图像空间内的低概率样本点分布在经过所述
第一全连接层之后被一定程度上忽略,从而提高了分类准确性。
选地,在本申请实施例中,基于所述均方误差损失函数和所述Softmax损失函数的加权和更
新所述第一卷积神经网络、第一全连接层、所述第二卷积神经网络和第二全连接层的参数,
包括:基于所述均方误差损失函数和所述Softmax损失函数的加权和迭代地更新所述第一
卷积神经网络、第一全连接层、所述第二卷积神经网络和第二全连接层的参数,其中,在每
次迭代中,首先固定所述第一卷积神经网络和第一全连接层的参数并更新所述第二卷积神
经网络和第二全连接层的参数,再固定所述第二卷积神经网络和第二全连接层的参数并更
新所述第一卷积神经网络和第一全连接层的参数。
络、第一全连接层、所述第二卷积神经网络和所述第二全连接层导致参数过于发散,便于卷
积神经网络的参数收敛;
述第一卷积神经网络和第一全连接层,从而提高检测精度。具体地,所述第二卷积神经网络
提取出的特征可以有助于识别用于判定车辆是否违停,比如车道线位置,马路位置,是否具
有停车位画线等。
来训练用于车辆违停检测的神经网络,以最终训练完成的检测模型能够减少用于分类的特
征图在其图像空间内的低概率样本点的数目其能够更好地提取违停车辆的特征,从而提高
分类准确性。
像输入根据如上所述的基于违停车辆标签的神经网络的训练方法所训练的第一卷积神经
网络,第一全连接层和Softmax函数,所述Softmax函数的输出为表示所述停放车辆属于违
停的第一概率和所述停放车辆不属于违停的第二概率;以及,S230,基于所述第一概率和所
述第二概率确定所述停放车辆是否违停。
含标记有违停车辆的所述街景图像的第二集合;第一特征向量生成单元520,用于将所述训
练用图像集获取单元510获得的所述第一集合的街景图像输入第一卷积神经网络和第一全
连接层以获得第一特征向量;第二特征向量生成单元530,用于将所述训练用图像集获取单
元510获得的所述第二集合的街景图像输入第二卷积神经网络和第二全连接层以获得第二
特征图,所述第二卷积神经网络与所述第一卷积神经网络具有相同的网络结构;均方误差
损失函数计算单元540,用于计算所述第一特征向量生成单元520获得的所述第一特征向量
与所述第二特征向量生成单元530获得的所述第二特征向量的均方误差损失函数;Softmax
损失函数生成单元550,用于将所述第一特征图生成单元获得的所述第一特征向量以
Softmax函数进行分类以获得Softmax损失函数;以及,参数更新单元560,用于基于所述均
方误差损失函数计算单元540获得的所述均方误差损失函数和所述Softmax损失函数生成
单元550获得的所述Softmax损失函数的加权和更新所述第一卷积神经网络、第一全连接
层、第二卷积神经网络和第二全连接层的参数。
算每个所述街景图像中,所述候选框的中心相对于所述街景图像的位置坐标;以及,特征向
量计算子单元532,用于将所述位置坐标作为所述街景图像的标签值,与所述街景图像一起
输入所述第二卷积神经网络和所述第二全连接层以获得所述第二特征向量。
述每个街景图像以及其对应的标签信息通过多模态特征向量变换转换为混合特征向量;以
及,特征向量生成子单元534,用于将所述混合特征向量输入所述第二卷积神经网络和所述
第二全连接层以获得所述第二特征向量
代地更新所述第一卷积神经网络、第一全连接层、所述第二卷积神经网络和第二全连接层
的参数,其中,在每次迭代中,首先固定所述第一卷积神经网络和第一全连接层的参数并更
新所述第二卷积神经网络和第二全连接层的参数,再固定所述第二卷积神经网络和第二全
连接层的参数并更新所述第一卷积神经网络和第一全连接层的参数。
元810获得的所述街景图像输入至如上所述的基于违停车辆标签的神经网络的训练装置所
训练的第一卷积神经网络,第一全连接层和Softmax函数,所述Softmax函数的输出为表示
所述停放车辆属于违停的第一概率和所述停放车辆不属于违停的第二概率;以及,确定单
元830,用于基于所述分类单元820获得的所述第一概率和所述第二概率确定所述停放车辆
是否违停。
考图1到图4的基于违停车辆标签的神经网络的训练方法和车辆违停的检测方法的描述中
得到了详细介绍,并因此,将省略其重复描述。
器等。在一个示例中,根据本申请实施例的基于违停车辆标签的神经网络的训练装置500
和/或所述车辆违停的检测装置800可以作为一个软件模块和/或硬件模块而集成到终端设
备中。例如,该基于违停车辆标签的神经网络的训练装置500和/或所述车辆违停的检测装
置800可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所
开发的一个应用程序;当然,该基于违停车辆标签的神经网络的训练装置500和/或所述车
辆违停的检测装置800同样可以是该终端设备的众多硬件模块之一。
的神经网络的训练装置500和/或所述车辆违停的检测装置800可以通过有线和/或无线网
络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存
储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存
储一个或多个计算机程序指令,处理器11可以运行所述程序指令,以实现上文所述的本申
请的各个实施例的基于违停车辆标签的神经网络的训练方法和车辆违停的检测方法以及/
或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如均方差损失函数值、
街景图像等各种内容。
等。
可以包括任何其他适当的组件。
“示例性方法”部分中描述的根据本申请各种实施例的基于违停车辆标签的神经网络的训
练方法和车辆违停的检测方法中的步骤。
Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程
序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软
件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备
或服务器上执行。
法”部分中描述的根据本申请各种实施例的基于违停车辆标签的神经网络的训练方法和车
辆违停的检测方法中的步骤。
磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的
例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储
器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘
只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作
用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具
有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇
“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使
用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在
此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
术人员将认识到其某些变型、修改、改变、添加和子组合。