本发明涉及一种基于目标检测的闸机通过逃票行为检测方法，用于对通过闸机的行人进行逃票行为判别，所述闸机上方设有摄像头，所述方法包括以下步骤：S1：利用行人刷卡进入所述闸机的脉冲信号驱动所述摄像头，对准所述闸机进行拍摄；S2：基于所述摄像头拍摄的图像，利用预训练好的目标检测网络对进入所述闸机的人数进行异常检测；S3：基于预建立的闸机异常行为判别法则，对闸机逃票行为进行判定。与现有技术相比，本发明可自动分析判断行人的逃票情况，降低人力成本，具有检测准确率高、实时性好等优点。
1.一种基于目标检测的闸机通过逃票行为检测方法，用于对通过闸机的行人进行逃票行为判别，所述闸机上方设有摄像头，其特征在于，所述方法包括以下步骤：S1：利用行人刷卡进入所述闸机的脉冲信号驱动所述摄像头，对准所述闸机进行拍摄；
S2：基于所述摄像头拍摄的图像，利用预训练好的目标检测网络对进入所述闸机的人数进行异常检测；
S3：基于预建立的闸机异常行为判别法则，对闸机逃票行为进行判定；
所述目标检测网络为Yolo V3网络，该Yolo V3网络的输出包括三个尺度：y1，用于检测身躯高大的人；y2，用于检测中等身材的人；y3，用于检测小孩；
步骤S2中，所述目标检测模型的预训练过程包括以下步骤：
S202：对训练数据集中每个所述人群图像中的人进行标注，并生成标注文件，该标注文件包括标注框的中心坐标点和标注框的宽高；
S203：基于所述标注框的宽高，对所述训练数据集进行聚类，获取所述Yolo V3网络三种输出尺度的预设框；
S204：利用预设框对训练数据集中的人群图像进行检测，通过损失函数和梯度下降训练参数以优化所述Yolo V3网络。
2.根据权利要求1所述的一种基于目标检测的闸机通过逃票行为检测方法，其特征在于，步骤S1中，所述利用行人刷卡进入所述闸机的脉冲信号驱动所述摄像头具体为，当行人进行刷卡之后，所述闸机检测到刷卡信息，将开门信号传送到主板上，由主板发送控制信号，打开所述闸机，允许行人通行；与此同时，主板再发送一个信号，驱动所述闸机上方的摄像头进行拍摄。
3.根据权利要求1所述的一种基于目标检测的闸机通过逃票行为检测方法，其特征在于，所述步骤S1还包括，当所述摄像头未接受到所述脉冲信号时，采用定期拍摄的方式，利用所述摄像头对准所述闸机进行抓拍。
4.根据权利要求1所述的一种基于目标检测的闸机通过逃票行为检测方法，其特征在于，所述步骤S203具体包括以下步骤：
2)计算每个标注框与每个聚类中心的相似程度，将相似程度最小的标注框与聚类中心的组合归为一类；
3)重新计算每类标注框的聚类中心，若重新计算出的聚类中心与步骤1)中对应的聚类中心差异大于预设的第一值，则用重新计算出的聚类中心替换步骤1)中对应的聚类中心，并重新依次执行步骤2)和步骤3)；否则聚类完成。
5.根据权利要求4所述的一种基于目标检测的闸机通过逃票行为检测方法，其特征在于，步骤2)中，所述相似程度的计算表达式为：d＝1‑IOU[(wj,hj),(Wi,Hi)],j∈{1,2,...,N},i∈{1,2,...,9}式中，d为相似程度，wj为第j个标注框的宽度，hj为第j个标注框的高度，Wi为第i个聚类中心的宽度，Hi为第i个聚类中心的高度。
6.根据权利要求4所述的一种基于目标检测的闸机通过逃票行为检测方法，其特征在于，步骤3)中，所述重新计算每类标注框的聚类中心的计算表达式为：式中，Wi'为重新计算后第i个聚类中心的宽度，Hi'为重新计算后第i个聚类中心的高度，Ni为归类于第i个聚类中心的标注框的个数，wj为第j个标注框的宽度，hj为第j个标注框的高度。
7.根据权利要求1所述的一种基于目标检测的闸机通过逃票行为检测方法，其特征在于，所述损失函数的计算表达式为：式中，S×S为人群图像被划分成S行S列的网格， 为第i个网格内第j个预设框的横坐标偏移量， 为第i个网格内第j个预设框的纵坐标偏移量， 为第i个网格内第j个预设框的宽度缩放比， 为第i个网格内第j个预设框的高度缩放比， 为第i个网格真实的目标中心点相对于该点所在网格的左上角的横坐标偏移量， 为第i个网格真实的目标中心点相对于该点所在网格的左上角的纵坐标偏移量， 为第i个网格真实的目标中心点相对于该点所在网格的左上角的宽度缩放比，为第i个网格真实的目标中心点相对于该点所在网格的左上角的高度缩放比， 为第一标志位，当第i个网格内第j个预设框负责检测的目标时， 否则 为第i个网格内第j个预设框的置信度， 为第二标志位，当第i个网格内第j个预设框不负责检测的目标时， 否则 为第i个网格
内第j个预设框的置信度的真实值，即第i个网格是否有预设框检测到目标，如果有，否则 Pi为第i个网格的预测类别概率， 为第i个网格属于某个类别的真实概率，classes为预测类别的集合，c为预测类别，λnoobj为第一坐标误差修正参数，λcoord为第二坐标误差修正参数，每个所述网格中均包括M个预设框。
8.根据权利要求1所述的一种基于目标检测的闸机通过逃票行为检测方法，其特征在于，所述Yolo V3网络的检测结果中包括每个人的检测框；步骤S3中，所述闸机异常行为判别法则具体为，当检测到只有一个人通过闸机时，不予报警；当检测到有大于一个人通过闸机时，判断所述检测框的尺寸与所述预设框尺寸的重合程度，当检测框内部有小检测框，该小检测框的尺寸与y3输出的预设框尺寸相似时，不予报警；当两个检测框没有重合，且两个检测框的尺寸与y1或y2输出的预设框尺寸相似时，进行警报。
一种基于目标检测的闸机通过逃票行为检测方法
技术领域
[0001] 本发明涉及计算机视觉技术领域，尤其是涉及一种基于目标检测的闸机通过逃票行为检测方法。
背景技术
[0002] 随着我国经济的快速发展，城市化进程逐渐加快，地铁、高铁等轨道交通出行方式越来越受到欢迎，热门景区出入口人数也逐渐增多，为保证有序出行，越来越多的闸机系统用于实现自动化检票，以保证快速有序出行。但随之带来的是仍有相当数量的低素质人群逃票行为发生。为减少逃票行为的发生，为每一个闸机配备一个工作人员，这种方法需要消耗大量的人力成本，因此极其有必要完善地铁监控系统以杜绝逃票事件发生，避免国家财产损失。而基于目标检测的方法能够在行人进入闸机的时候进行检测，通过检测瞬时进入闸机的人数判断是否有人逃票，该智能算法的提出能够为解决实际工程问题提供了理论方法保障。
[0003] 针对现有的闸机通过检票过程种并没有解决逃票行为检测这一问题，因此设计一种监控闸机通过逃票行为检测判别的方法是十分必要的。
发明内容
[0004] 本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于目标检测的闸机通过逃票行为检测方法。
[0005] 本发明的目的可以通过以下技术方案来实现：
[0006] 一种基于目标检测的闸机通过逃票行为检测方法，用于对通过闸机的行人进行逃票行为判别，所述闸机上方设有摄像头，所述方法包括以下步骤：
[0007] S1：利用行人刷卡进入所述闸机的脉冲信号驱动所述摄像头，对准所述闸机进行拍摄；
[0008] S2：基于所述摄像头拍摄的图像，利用预训练好的目标检测网络对进入所述闸机的人数进行异常检测；
[0009] S3：基于预建立的闸机异常行为判别法则，对闸机逃票行为进行判定。
[0010] 进一步地，步骤S1中，所述利用行人刷卡进入所述闸机的脉冲信号驱动所述摄像头具体为，当行人进行刷卡之后，所述闸机检测到刷卡信息，将开门信号传送到主板上，由主板发送控制信号，打开所述闸机，允许行人通行；与此同时，主板再发送一个信号，驱动所述闸机上方的摄像头进行拍摄。
[0011] 进一步地，所述步骤S1还包括，当所述摄像头未接受到所述脉冲信号时，采用定期拍摄的方式，利用所述摄像头对准所述闸机进行抓拍。
[0012] 进一步地，所述目标检测网络为Yolo V3网络，该Yolo V3网络的输出包括三个尺度：y1，用于检测身躯高大的人；y2，用于检测中等身材的人；y3，用于检测小孩。
[0013] 进一步地，在进行目标检测之前要对该网络进行训练，以对目标检测算法软件设置最优的参数，并注入摄像头前端系统。在对行人进行检测时直接使用该参数能够准确快速的检测通过闸机的行人；步骤S2中，所述目标检测模型的预训练过程包括以下步骤：
[0014] S201：获取人群图像，组成训练数据集；
[0015] S202：对训练数据集中每个所述人群图像中的人进行标注，并生成标注文件，该标注文件包括标注框的中心坐标点和标注框的宽高；
[0016] S203：基于所述标注框的宽高，对所述训练数据集进行聚类，获取所述Yolo V3网络三种输出尺度的预设框；
[0017] S204：利用预设框对训练数据集中的人群图像进行检测，通过损失函数和梯度下降训练参数以优化所述Yolo V3网络。
[0018] 进一步地，所述步骤S203具体包括以下步骤：
[0019] 1)随机选取K个聚类中心；
[0020] 2)计算每个标注框与每个聚类中心的相似程度，将相似程度最小的标注框与聚类中心的组合归为一类；
[0021] 3)重新计算每类标注框的聚类中心，若重新计算出的聚类中心与步骤1)中对应的聚类中心差异大于预设的第一值，则用重新计算出的聚类中心替换步骤1)中对应的聚类中心，并重新依次执行步骤2)和步骤3)；否则聚类完成。
[0022] 进一步地，步骤2)中，所述相似程度的计算表达式为：
[0023] d＝1‑IOU[(wj,hj),(Wi,Hi)],j∈{1,2,...,N},i∈{1,2,...,9}
[0024]
[0025] 式中，d为相似程度，wj为第j个标注框的宽度，hj为第j个标注框的高度，Wi为第i个聚类中心的宽度，Hi为第i个聚类中心的高度。
[0026] 进一步地，步骤3)中，所述重新计算每类标注框的聚类中心的计算表达式为：
[0027]
[0028] 式中，Wi'为重新计算后第i个聚类中心的宽度，Hi'为重新计算后第i个聚类中心的高度，Ni为归类与第i个聚类中心的标注框的个数，wj为第j个标注框的宽度，hj为第j个标注框的高度。
[0029] 进一步地，所述损失函数的计算表达式为：
[0030]
[0031] 式中，S×S为人群图像被划分成S行S列的网格， 为第i个网格内第j个预设框的横坐标偏移量， 为第i个网格内第j个预设框的纵坐标偏移量， 为第i个网格内第j个预设框的宽度缩放比， 为第i个网格内第j个预设框的高度缩放比， 为第i个网格真实的目标中心点相对于该点所在网格的左上角的横坐标偏移量， 为第i个网格真实的目标中心点相对于该点所在网格的左上角的纵坐标偏移量， 为第i个网格真实的目标中心点相对于该点所在网格的左上角的宽度缩放比， 为第i个网格真实的目标中心点相对于该点所在网格的左上角的高度缩放比， 为第一标志位，当第i个网格内第j个预设框负责检测的目标时， 否则 为第i个网格内第j个预设框的置信度， 为第二标志位，当第i个网格内第j个预设框不负责检测的目标时， 否则 为第i
个网格内第j个预设框的置信度的真实值，即第i个网格是否有预设框检测到目标，如果有，否则 Pi为第i个网格的预测类别概率， 为第i个网格属于某个类别的真实
概率，classes为预测类别的集合，c为预测类别，λnoobj为第一坐标误差修正参数，λcoord为第二坐标误差修正参数，每个所述网格中均包括M个预设框。
[0032] 一幅图像中大部分内容是不包含目标的，这样会导致没有目标的计算部分贡献大于有目标的计算部分，此时网络会倾向于没有目标的预测，因此要设置一个减少没有目标计算部分的贡献权重，即λnoobj＝0.5，λcoord＝5用来修正坐标误差。
[0033] 当第i个网格的第j个预设框负责某个真实目标时，根据损失函数求中心坐标偏移误差、宽高缩放误差、置信度误差以及分类误差；当预设框不负责某个真实目标时，只需要求一个置信度误差即可。
[0034] 进一步地，所述Yolo V3网络的检测结果中包括每个人的检测框；步骤S3中，所述闸机异常行为判别法则具体为，当检测到只有一个人通过闸机时，不予报警；当检测到有大于一个人通过闸机时，判断所述检测框的尺寸与所述预设框尺寸的重合程度，当检测框内部有小检测框，尺寸与y3输出的预设框尺寸相似时，不予报警；当两个检测框没有重合，且两个检测框的尺寸与y1或y2输出的预设框尺寸相似时，进行警报。
[0035] 与现有技术相比，本发明具有以下优点：
[0036] (1)本发明采用Yolo V3网络对进入闸机的行人行检测，通过不同尺寸精准的检测行人的形态，以此判断是否有逃票行为；在提高准确率的同时，实时性也得到满足；并且检测过程中无需人工干预，可自动分析判断行人的逃票情况，降低人力成本。
[0037] (2)本发明用于训练Yolo V3网络的损失函数包含坐标预测损失、检测物体的概率损失、不包含检测物体的概率损失和类别预测损失的计算，覆盖全面，有利于提高Yolo V3网络检测结果的准确性。
[0038] (3)本发明不仅在行人进入闸机时检测逃票行为，还采取定期拍摄的方式进行抓拍，以检测行人未刷卡通过闸机的逃票行为，提高本发明方法的可靠性。
[0039] (4)本发明考虑到行人和儿童一起通过闸机应为正常情况，不能单纯以人数判断闸机逃票行为，采用结合检测的人数和检测框的尺寸来判断逃票行为的方法，考虑全面，并采用具有三个输出层的Yolo V3网络对检测框的尺寸进行归类，以分辨身躯高大的人、中等身材的人和小孩，方法新颖且准确可靠。
附图说明
[0040] 图1为本发明基于目标检测的闸机通过逃票行为检测方法的流程示意图；
[0041] 图2为本发明采用的Yolo V3网络结构示意图；
[0042] 图3为本发明进行网络训练过程中对输入图像进行格子分割的示意图。
具体实施方式
[0043] 下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0044] 实施例1
[0045] 如图1所示，本实施例提供一种基于目标检测的闸机通过逃票行为检测方法，通过对检测行人的标注框尺寸以及个数判断是否有逃票行为发生，如有逃票行为发生则向工作人员发出警报信息，该方法包括以下步骤：
[0046] 步骤1：当行人进行刷卡之后，闸机系统检测到刷卡信息，将开门信号传送到主板上，由主板发送控制信号，打开闸机，允许行人通行；与此同时，主板再发送一个信号，驱动对应闸机斜上方的摄像头对已进入闸机的行人进行拍摄。
[0047] 步骤2：基于所拍摄的图像，利用已经训练好的目标检测算法(Yolo V3)软件对进入闸机人数进行异常检测。在进行目标检测之前要对该网络进行训练，以对目标检测算法软件设置最优的参数，并注入摄像头前端系统。在对行人进行检测时直接使用该参数能够准确快速的检测通过闸机的行人。
[0048] 本实施例中Yolo V3网络的结构如图2所示。图中各参数的含义均为现有技术，在此不做详细描述。
[0049] 具体地，网络的训练过程包括以下步骤：
[0050] 步骤2.1：在多个场景下利用摄像头拍摄人群图像或者通过网上选取人群图像，将其组成训练数据集。
[0051] 步骤2.2：对数据集中每个图像中的人利用LabelImg进行标注；利用标注过的图像生成一个包含标注框位置和类别的文件(本文的类别为：person)，一个图像生成一个文件，文件中的每行包含了这个标注框的类别c，标注框的中心坐标点(xj,yj)以及标注框的宽高(wj,hj),j∈{1,2,...,N}；对所有只含有标注框位置信息的文件组成的数据集进行聚类。
[0052] 具体地，聚类包括以下步骤：
[0053] 步骤2.2.1：随机选择K＝9个聚类中心(Wi,Hi),i∈{1,2,...,9}，其中Wi,Hi为标注框的宽高；
[0054] 步骤2.2.2：根据公式1计算每个标注框与每个聚类中心的相似程度d，将d最小的标注框与该聚类中心归为一类。公式1的表达式如下：
[0055] d＝1‑IOU[(wj,hj),(Wi,Hi)],j∈{1,2,...,N},i∈{1,2,...,9} (1)[0056]
[0057] 步骤2.2.3：所有标注框分配完成以后，根据公式3对每类重新计算聚类中心点(Wi',Hi')。如果(Wi',Hi')与(Wi,Hi)差异较大，则利用(Wi',Hi')替代(Wi,Hi)成为新的聚类中心，并返回步骤2，重新进行聚类；如果(Wi',Hi')与(Wi,Hi)差异较小或者无差异，则聚类完成。公式3的表达式如下：
[0058]
[0059] 式中，Ni是第i个类的标注框的个数。
[0060] 本实施例中经过K‑means聚类之后，三个输出层的特征图大小以及每个特征图预设框的尺寸如表1所示。
[0061] 表1预设框的尺寸
[0062]特征图层 特征图大小(S×S) 预设框尺寸
y1 13×13 37×101、26×94、25×59
y2 26×26 23×68、19×45、14×70
y3 52×52 15×31、11×45、9×25
[0063] 步骤2.3：利用预设框对数据集中的人群进行训练检测，通过损失函数和梯度下降训练参数以优化网络，目标检测网络选择Yolo V3。
[0064] 具体地，步骤2.3包括以下几个步骤：
[0065] 步骤2.3.1：如图3所示，将输入图像分为S×S个格子(网格)，如果有一个人的中心落在一个格子内，那个这个格子就负责检测这个人；每个格子有M个预测框(M＝3)。每个预测框包含5个预测值，分别为预设框的中心坐标(bx、by)，预设框的宽高(bw、bh)和置信度(c)，计算公式如下所示：
[0066] bx＝σ(x)+cx,by＝σ(y)+cy,bw＝pwew,bh＝pheh
[0067] 其中，cx和cy分别是坐标的偏移量，pw和ph分别为预设框的宽高。
[0068] Yolo V3的输出包括三个尺度，分别为y1,y2,y3，每个尺度分配三个预设框进行检测，通过不同的尺度对不同的人进行检测。其中y1将图像划分为13×13个格子，用于检测身躯高大的人，y2将图像划分为26×26个格子，用于检测中等身材的人，y3将图像划分为52×52个格子，用于检测小孩。
[0069] 步骤2.3.2：通过损失函数和梯度下降训练参数，达到优化网络的目的。
[0070] 损失函数的计算公式如式4所示：
[0071]
[0072] 式中，S×S为人群图像被划分成S行S列的网格， 为第i个网格内第j个预设框的横坐标偏移量， 为第i个网格内第j个预设框的纵坐标偏移量， 为第i个网格内第j个预设框的宽度缩放比， 为第i个网格内第j个预设框的高度缩放比， 为第i个网格真实的目标中心点相对于该点所在网格的左上角的横坐标偏移量， 为第i个网格真实的目标中心点相对于该点所在网格的左上角的纵坐标偏移量， 为第i个网格真实的目标中心点相对于该点所在网格的左上角的宽度缩放比， 为第i个网格真实的目标中心点相对于该点所在网格的左上角的高度缩放比， 为第一标志位，当第i个网格内第j个预设框负责检测的目标时， 否则 为第i个网格内第j个预设框的置信度， 为第二标志位，当第i个网格内第j个预设框不负责检测的目标时， 否则 为第i
个网格内第j个预设框的置信度的真实值，即第i个网格是否有预设框检测到目标，如果有，否则 Pi为第i个网格的预测类别概率， 为第i个网格属于某个类别的真
实概率，classes为预测类别的集合，c为预测类别，λnoobj为第一坐标误差修正参数，λcoord为第二坐标误差修正参数，每个所述网格中均包括M个预设框。
[0073] 一幅图像中大部分内容是不包含目标的，这样会导致没有目标的计算部分贡献大于有目标的计算部分，此时网络会倾向于没有目标的预测，因此要设置一个减少没有目标计算部分的贡献权重，即λnoobj＝0.5，λcoord＝5用来修正坐标误差。
[0074] 当第i个网格的第j个预设框负责某个真实目标时，根据损失函数求中心坐标偏移误差、宽高缩放误差、置信度误差以及分类误差；当预设框不负责某个真实目标时，只需要求一个置信度误差即可。
[0075] 步骤2.4：网络训练完成之后，设置最优参数的网络并注入摄像头前端系统，在行人进行闸机时利用具有Yolo V3系统的摄像头进行检测，检测步骤如下：
[0076] 步骤2.4.1：利用摄像头对进入闸机的行人进行拍摄；
[0077] 步骤2.4.2：将图像划分为S×S个格子，如果有一个人的中心落在一个格子内，那个这个格子就负责检测这个人，每个格子有M个预测；
[0078] 步骤2.5.3：将每个行人的检测框根据预设框的尺寸大小进行微调，使其更符合真实人数的尺寸。
[0079] 步骤3：基于进入闸机异常行为检测判别法则，对闸机口逃票行为进行判定。具体地，步骤3包括以下步骤：
[0080] 当行人通过闸机之后，由主板发送控制信号给摄像头，通知行人已经通过闸机，判断通过闸机的人数以及是否有逃票行为，步骤如下：
[0081] 步骤3.1：当检测到只有一个人通过闸机时，此为正常现象，不予报警；
[0082] 步骤3.2：当检测到有大于一个人通过闸机时，判断检测框的尺寸与预设框尺寸的重合程度，当检测框内部有小检测框，尺寸与y3输出的预设框尺寸相似时，说明该人是带着小孩的，此为正常现象，不予报警；当两个检测框没有重合，且尺寸与y1,y2输出的预设框尺寸相似时，说明有两个人同时进入闸机，此时说明有人逃票。并且通过语音报警模块进行警报。
[0083] 以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
