一种基于视频监控的客运站非出入口区域的客流统计方法

摘要

本发明提供的客流统计方法针对于客运站非出入口区域拍摄的图像容易出现遮挡的特点，提出使用行人的不易被遮挡、且形态基本不变的头肩部haar‑like特征来对行人进行检测，其检测判别是否为行人的准确率较高，适用于行人图像出现遮挡的应用场景；而在完成检测后，通过Kalman滤波器和以上检测行人的方法来对行人在每帧图像的位置进行双重追踪，以保证追踪的准确率；实验证明，该方法能够针对客运站非出入口区域行人姿态多变、行为复杂、行走方向难预测的特点，达到很好的追踪效果。通过对行人的准确检测和追踪，本发明提供的方法能够有效地记录下行人的运动轨迹，保证了行人目标的匹配，减少误检和遗漏，提高人数统计精度。

权利要求

1.一种基于视频监控的客运站非出入口区域的客流统计方法，该方法预先划定好人数统计区域，并对该区域内的行人目标进行检测和跟踪，从而统计进入和离开统计区域的人数，其特征在于：其中对行人目标进行检测和跟踪的具体过程如下：S1.人工提取监控图像里的行人的头肩部图像的haar-like特征作为正样本对AdBoost分类器进行训练，得到训练好的AdBoost分类器；

S2.对于当前帧图像，采用背景差分法在当前帧图像的统计区域内获取运动目标；

S3.提取运动目标的头肩部haar-like特征，并将其输入训练好的AdBoost分类器内，AdBoost分类器判别运动目标是否为行人，若是则执行步骤S4；

S4.计算判别为行人的运动目标的头肩部中心点位置，并使用四维向量Xk＝(px,py,vx,vy)来表示其在当前帧的系统状态，其中(px,py)表示头肩部中心点的位置，(vx,vy)表示中心点的速度；

S5.将Xk输入Kalman滤波器，并对Kalman滤波器的四个参数进行初始化：Ak、Hk、wk、vk；其中Ak表示状态由当前帧到下一帧的转移矩阵，Hk当前帧的观测矩阵，wk和vk分别表示当前帧的系统噪声向量和观测噪声向量；令Ak、Hk在各帧的系统状态变换过程中为已知且具有唯一值的矩阵，另外，设wk、vk的概率密度函数是均值为零的高斯函数且相互独立；

S6.Kalman滤波器对运动目标的头肩部中心点在下一帧的系统状态进行预报，具体如下：其中Ak表示状态转移矩阵， 表示预报的下一帧的系统状态； 表示当前帧的系统状态；

由(1)式，可得系统状态协方差的预报方程：

其中，P'k+1和Pk分别是 和 对应的协方差， 表示Ak的转置矩阵，Qk表示当前帧的系统噪声向量wk的协方差矩阵；

S7.根据步骤S6求取的内容对Kalman加权矩阵进行求取：

其中Kk+1表示下一帧的Kalman加权矩阵，Hk、 表示观测矩阵以及其转置，Rk表示观测噪声向量vk的协方差矩阵；

S8.根据求取的Kalman加权矩阵对运动目标的头肩部中心点在下一帧的系统状态和状态向量协方差Pk+1进行更新：Pk+1＝(I-Kk+1Hk)P'k+1

其中Zk+1为下一帧的观测值， I表示单位矩阵；

S9.对下一帧图像按照步骤S2～S4的方法获取运动目标的头肩部中心点位置的系统状态，然后将获取的系统状态与步骤S5～S9预测得到的运动目标的系统状态进行匹配关联，若两者匹配，则将匹配的结果确定为运动目标在下一帧的位置，否则利用步骤S5～S9预测得到的系统状态确定运动目标在下一帧的位置；

S10.S5～S9重复执行直至完成整个的统计过程。

2.根据权利要求1所述的基于视频监控的客运站非出入口区域的客流统计方法，其特征在于：所述步骤S2中，遍历每一帧视频图像中的所有像素值，按照从左至右、从上到下的顺序，对每一个像素利用背景差分法判别其是否为运动目标，背景差分法可用以下公式表示：其中，fd(x,y)代表前景点，T为阈值，Bn(x,y)和fn(x,y)分别表示像素(x,y)在无运动目标的情况下的像素值和当前帧的像素值，n表示当前为第n帧。

3.根据权利要求2所述的基于视频监控的客运站非出入口区域的客流统计方法，其特征在于：所述像素(x,y)在无运动目标的情况下的像素值可通过以下方式确定：选取内容不包括运动目标的连续100帧图像序列，并对100帧图像序列中相对应的各个像素点进行平均运算，获得B(x,y)：其中，Im为像素(x,y)在第m帧的像素值。

说明书

一种基于视频监控的客运站非出入口区域的客流统计方法

技术领域

[0001] 本发明涉及客流统计领域，更具体地，涉及一种基于视频监控的客运站非出入口区域的客流统计方法。

背景技术

[0002] 利用监控视频进行客流检测，一直是视频智能分析研究与应用中的热点。由于人体属于非刚性目标，行进过程中姿态多变，而且背景环境复杂，光照条件多样，加之视频拍摄时投影原理造成的遮挡和粘连，给客流检测技术的发展带来巨大挑战。客流检测方法主要包括三个环节：行人检测、行人跟踪和人数统计，相关研究综述如下：

[0003] (1)行人检测

[0004] 行人检测就是利用图像处理、模式识别等技术，提取出有效的行人特征表达，并根据这些特征识别出视频中的行人目标，从而实现行人的定位和分割。

[0005] 常用的行人特征主要是表观特征，包括形状、颜色、梯度和纹理等图像特征，典型的有Haar特征、Haar-like特征、HOG特征等。采用合适的单一特征可以实现行人检测。如Gavrila和Munder[1]提出一种基于形状轮廓匹配的行人检测方法；Lin和Davis[2]使用分层的部件模板匹配方法实现行人检测；Zui Zhang等[3]基于高斯模型结合XYZ和HSV颜色空间构建了一个相似度函数来检测不同行人的发色和肤色，从而得到人头位置信息；高春霞等[4]根据人脸肤色、发色在YCbCr和RGB颜色空间的聚类情况，建立人头颜色模型，分割出人头候选区域，并结合后续的步骤完成行人检测；种衍文等[5]对HOG特征进行扩展，提出了新的EHOG特征，充分利用人体的纹理信息来减少虚警；黄茜等[6]从行人纹理信息的角度，提出了基于分块的局部二元模式(LBP)算法，利用局部二元模式均匀模式算子提取小块图像的特征直方图后，进行归一化处理并将所有小块特征级联起来形成最终的局部二元模式特征，并用实验证明这一特征有着不亚于HOG特征的行人表征能力。

[0006] 为了进一步形成鲁棒性更强的行人目标表征，很多研究者将多种特征进行融合。郭烈等[7]提取了行人样本的纹理特征、对称性特征、边界矩特征以及梯度方向特征，组成表征行人的多维特征向量，获取约75％的行人检测率；杨志辉等[8]在Haar特征和HOG特征的基础上提出了一种新的特征，即多尺度方向特征(MSO)，检测准确率在INTRA测试集上当误报率为10-4时达80％，检测速度也近于实时效果；欧阳万里等[9]结合行人的遮挡模型和形变模型，采用多种策略的组合提取行人特征来对行人进行检测，在Caltech数据库上测试的平均漏检率为39％；Yi-Ming Chan等[10]提出新的扩展HOG特征——HOGG(Histograms of Oriented Grients of Granule)，并将其和HOG特征相结合共同训练SVM分类器，用于行人检测，在INRIA测试集上当误报率为10-4时其检测率可达92％。

[0007] 为了适应更复杂的挑战，如光照和视角变换等，还有研究人员通过融合时空结构的深度学习方法，或者在特征与分类器之间增加中间环节来提高整体检测水平。如王斌[11]利用深度学习网络作为特征提取方法，设计了基于深度学习的行人检测算法，使行人检测的性能得到大幅提升，在INRIA数据库上进行测试的误检率保持在10％时漏检率为23％；Zhang shanshan[12]等人在底层特征和分类器之间增加中间层，对底层特征使用滤波器组进行滤波,并使用boosted决策树进行分类，从而提升行人检测率，使用HOG+LUV特征在Caltech和KITTI数据库上的平均误检率低达18.5％。

[0008] (2)行人跟踪

[0009] 行人跟踪主要是为了解决同一行人在图像序列中的数据关联问题。行人跟踪的方法主要分为四类：基于目标中心点的跟踪方法、基于目标区域的跟踪方法、基于目标模型的跟踪方法和基于特征的跟踪方法。

[0010] 基于目标中心点的跟踪方法一般根据前一帧目标中心点的位置、目标的运动信息来预测目标当前帧的位置，然后匹配预测点和检测点的位置，实现跟踪。此类方法对于目标轮廓没有太大变化的小刚体目标，其鲁棒性和有效性较好。常用的预测和估计的数学工具有Kalman滤波、粒子滤波等。李熙莹、卢林等[13]针对汽车客运站出入口场景，采用了Kalman滤波较好地跟踪了行人头肩部分的中心点。

[0011] 基于目标区域的跟踪方法将运动目标分解为运动区域的组合，通过区域块的匹配实现跟踪。Wren[14]认为人体是由头部、躯体、四肢等部分所对应的小区域块所组成，通过对这些小区域块的跟踪即可完成对整个行人的跟踪。McKenna[15]首先通过背景差分的方法提取到运动目标区域，然后在区域、人、人群三个抽象级别上进行跟踪。由于运动区域一般通过背景差分的方法来获取，因此背景建模以及更新都会对跟踪结果有较大影响。

[0012] 基于目标模型的跟踪方法是为跟踪的目标定制一个模型，通过对模型的变化分析来完成对目标的跟踪。常用的人体跟踪模型有线图模型、二维模型和三维立体模型等等，如Wachter[16]在椭圆锥台的基础上建立了3D人体模型，通过分析连续视频帧3D模型的投影来实现人体跟踪。基于目标模型的跟踪方法在目标姿态变化下的跟踪结果可靠度高，但是也存在计算量大、实时性不够、实际几何模型精度差等缺点。

[0013] 基于特征的跟踪方法是通过图像序列间的目标特征匹配实现跟踪，也是最为多用的方法。张阳[17]提出一种基于融合颜色、纹理及对应子空间特征信息的快速粒子滤波行人跟踪算法，提取目标行人的空间信息并细化成头部、上身、腿部三个局部子区域；其次，利用改进的纹理及颜色信息提取算法提取对应目标子区域中的联合纹理、颜色信息；最后，通过基于空间划分的颜色纹理相似度指标来判断跟踪目标的位置，实现准确跟踪。赵敏[18]研究了基于改进mean shift的行人头部目标跟踪方法，在分析行人头部目标在运动中的旋转、形变等特点的基础上，将mean shift算法引入行人头部目标跟踪，并针对其不足进行改进，结合行人检测和行人计数实现公交场景下的上下车乘客人数自动计数系统。

[0014] (3)人数统计

[0015] 人数统计即获得监控范围内的客流时空分布数据。按照适用的环境来划分，人数统计方法可以分为：基于行人检测与跟踪的人数统计方法和基于底层特征的人数统计方法。

[0016] 基于行人检测与跟踪的人数统计方法，可以直接显示行人的检测与跟踪，从而对跟踪到的行人进行人数统计，计数精度高，常用于通道口、出入口等场所的人数统计；王冰[19]等人针对客运站闸机通道的场景，利用HOG特征进行行人检测，随后利用mean-shift算法对目标进行实时跟踪；郑翔翔、张怡[20]提出一种基于头部检测和跟踪的人数统计方法，实验证明该方法适用于出入口场景下的行人检测；吴冬梅[21]也利用了基于人头检测的人数统计方法，增加了感兴趣区域的设定，实现出入口场景下的实时人数统计。

[0017] 基于底层特征的人数统计方法，其所采用的底层特征有像素、纹理等特征，这类方法一般不注重个体，往往用来做人数的粗略统计，即人流密度估计，主要应用于遮挡严重或者人体细节不清晰的街道、广场等大范围开放环境。王媛媛[22]提出一种基于模糊匹配的自适应人群密度估计算法，为实时的视频监控提供了很好地密度估计方法；任庆云[23]针对中低人群密度情况提出一种基于像素分析的人群密度估计方法，而对于中高人群密度情况，则采用基于纹理分析的方法提取人群密度特征。

[0018] 但是，对于客运站非出入口区域，一般监控摄像机拍摄的设置方向以俯侧方向、较大观察视场为主，采集的图像容易出现行人遮挡的情况；再者，客运站非出入口区域的行人姿态多变、行为复杂、且行走方向难预测。因此在行人检测、跟踪、计数等方面，有大量技术难点有待攻克。如何对客运站视频监控系统中非出入口场景下的人流进行实时检测、跟踪、统计成为目前亟待解决的问题。

发明内容

[0019] 本发明为解决以上现有技术的缺陷，提供了一种基于视频监控的客运站非出入口区域的客流统计方法，该方法针对于客运站非出入口区域拍摄的图像容易出现遮挡的特点，提出使用行人的不易被遮挡、且形态基本不变的头肩部haar-like特征来对行人进行检测，其检测判别是否为行人的准确率较高，适用于行人图像出现遮挡的应用场景；而在完成检测后，通过Kalman滤波器和以上检测行人的方法来对行人在每帧图像的位置进行双重追踪，以保证追踪的准确率；实验证明，该方法能够针对客运站非出入口区域行人姿态多变、行为复杂、行走方向难预测的特点，达到很好的追踪效果。通过对行人的准确检测和追踪，本发明提供的方法能够有效地记录下行人的运动轨迹，保证了行人目标的匹配，减少误检和遗漏，提高人数统计精度。

[0020] 为实现以上发明目的，采用的技术方案是：

[0021] 一种基于视频监控的客运站非出入口区域的客流统计方法，该方法预先划定好人数统计区域，并对该区域内的行人目标进行检测和跟踪，从而统计进入和离开统计区域的人数，其中对行人目标进行检测和跟踪的具体过程如下：

[0022] S1.人工提取监控图像里的行人的头肩部haar-like特征对AdBoost分类器进行训练，得到训练好的AdBoost分类器；

[0023] S2.对于当前帧图像，采用背景差分法在当前帧图像的统计区域内获取运动目标；

[0024] S3.提取运动目标的头肩部haar-like特征，并将其输入训练好的AdBoost分类器内，AdBoost分类器判别运动目标是否为行人，若是则执行步骤S4；

[0025] S4.计算判别为行人的运动目标的头肩部中心点位置，并使用四维向量Xk＝(px,py,vx,vy)来表示其在当前帧的系统状态，其中(px,py)表示头肩部中心点的位置，(vx,vy)表示中心点的速度；

[0026] S5.将Xk输入Kalman滤波器，并对Kalman滤波器的四个参数进行初始化：Ak、Hk、wk、vk；其中Ak表示状态由当前帧到下一帧的转移矩阵，Hk当前帧的观测矩阵，wk和vk分别表示当前帧的系统噪声向量和观测噪声向量；令Ak、Hk在各帧的系统状态变换过程中为已知且具有唯一值的矩阵，另外，设wk、vk的概率密度函数是均值为零的高斯函数且相互独立；

[0027] S6.Kalman滤波器对运动目标的头肩部中心点在下一帧的系统状态进行预报，具体如下：

[0028]

[0029] 其中Ak表示状态转移矩阵， 表示预报的下一帧的系统状态； 表示当前帧的系统状态；

[0030] 由(1)式，可得系统状态协方差的预报方程：

[0031]

[0032] 其中，P'k+1和Pk分别是 和 对应的协方差， 表示Ak的转置矩阵，Qk表示当前帧的系统噪声向量wk的协方差矩阵；

[0033] S7.根据步骤S6求取的内容对Kalman加权矩阵进行求取：

[0034]

[0035] 其中Kk+1表示下一帧的Kalman加权矩阵，Hk、 表示观测矩阵以及其转置，Rk表示观测噪声向量vk的协方差矩阵；

[0036] S8.根据求取的Kalman加权矩阵对运动目标的头肩部中心点在下一帧的系统状态和状态向量协方差Pk+1进行更新：

[0037]

[0038] Pk+1＝(I-Kk+1Hk)P'k+1

[0039] 其中Zk+1为下一帧的观测值， I表示单位矩阵；

[0040] S9.对下一帧图像按照步骤S2～S4的方法获取运动目标的头肩部中心点位置的系统状态，然后将获取的系统状态与步骤S5～S9预测得到的运动目标的系统状态进行匹配关联，若两者匹配，则将匹配的结果确定为运动目标在下一帧的位置，否则利用步骤S5～S9预测得到的系统状态确定运动目标在下一帧的位置；

[0041] S10.S5～S9重复执行直至完成整个的统计过程。

[0042] 优选地，所述步骤S2中，遍历每一帧视频图像中的所有像素值，按照从左至右、从上到下的顺序，对每一个像素利用背景差分法判别其是否为运动目标，背景差分法可用以下公式表示：

[0043]

[0044] 其中，fd(x,y)代表前景点，T为阈值，Bn(x,y)和fn(x,y)分别表示像素(x,y)在无运动目标的情况下的像素值和当前帧的像素值，n表示当前为第n帧。

[0045] 优选地，所述像素(x,y)在无运动目标的情况下的像素值可通过以下方式确定：

[0046] 选取内容不包括运动目标的连续100帧图像序列，并对100帧图像序列中相对应的各个像素点进行平均运算，获得Bn(x,y)：

[0047]

[0048] 其中，Im为像素(x,y)在第m帧的像素值。

[0049] 与现有技术相比，本发明的有益效果是：

[0050] 本发明提供的方法针对于客运站非出入口区域拍摄的图像容易出现遮挡的特点，提出使用行人的不易被遮挡、且形态基本不变的头肩部haar-like特征来对行人进行检测，其检测判别是否为行人的准确率较高，适用于行人图像出现遮挡的应用场景；而在完成检测后，通过Kalman滤波器和以上检测行人的方法来对行人在每帧图像的位置进行双重追踪，以保证追踪的准确率；实验证明，该方法能够针对客运站非出入口区域行人姿态多变、行为复杂、行走方向难预测的特点，达到很好的追踪效果。通过对行人的准确检测和追踪，本发明提供的方法能够有效地记录下行人的运动轨迹，保证了行人目标的匹配，减少误检和遗漏，提高人数统计精度。

附图说明

[0051] 图1为行人检测的流程图。

[0052] 图2为行人检测的实施示意图。

[0053] 图3为行人跟踪的流程图。

具体实施方式

[0054] 附图仅用于示例性说明，不能理解为对本专利的限制；

[0055] 以下结合附图和实施例对本发明做进一步的阐述。

[0056] 实施例1

[0057] 如图1～3所示，本发明提供的客流统计方法的发明点主要在于行人检测和跟踪方面，其中行人检测的具体过程包括以下步骤：

[0058] 第一步、人工提取监控图像里的行人的头肩部haar-like特征对AdBoost分类器进行训练，得到训练好的AdBoost分类器。在训练的时候，将人工提取的行人头肩图像作为正样本，非行人图像作为负样本。

[0059] 第二步、对于当前帧图像，采用背景差分法在当前帧图像的统计区域内获取运动目标；

[0060] 第三步、提取运动目标的头肩部haar-like特征，并将其输入训练好的AdBoost分类器内，AdBoost分类器判别运动目标是否为行人，若是则执行第四步；

[0061] 第四步、计算判别为行人的运动目标的头肩部中心点位置，并使用四维向量Xk＝(px,py,vx,vy)来表示其在当前帧的系统状态，其中(px,py)表示头肩部中心点的位置，(vx,vy)表示中心点的速度。

[0062] 而行人追踪的部分则包括以下步骤：

[0063] 第五步、将Xk输入Kalman滤波器，并对Kalman滤波器的四个参数进行初始化：Ak、Hk、wk、vk；其中Ak表示状态由当前帧到下一帧的转移矩阵，Hk当前帧的观测矩阵，wk和vk分别表示当前帧的系统噪声向量和观测噪声向量。从而构成系统状态方程和系统的观测方程：

[0064] Xk+1＝AkXk+wk

[0065] Zk+1＝HkXk+vk

[0066] 其中，Xk+1是下一帧的系统状态，Xk为当前帧的系统状态，Zk+1为下一帧的观测值；令Ak、Hk在各帧的系统状态变换过程中为已知且具有唯一值的矩阵；由于视频连续两帧的时间差很小，所以可以认为在连续两帧中人体的行进速度是匀速的，因此状态转移矩阵Ak可以初始化为：

[0067]

[0068] 根据状态方程和观测方程的关系，可以得到观测矩阵Hk：

[0069]

[0070] 另外，设wk、vk的概率密度函数是均值为零的高斯函数且相互独立，所以其协方差矩阵分别为：

[0071]

[0072] 第六步、Kalman滤波器对运动目标的头肩部中心点在下一帧的系统状态进行预报，具体如下：

[0073]

[0074] 其中Ak表示状态转移矩阵， 表示预报的下一帧的系统状态； 表示当前帧的系统状态；

[0075] 由(1)式，可得系统状态协方差的预报方程：

[0076]

[0077] 其中，P'k+1和Pk分别是 和 对应的协方差， 表示Ak的转置矩阵，Qk表示当前帧的系统噪声向量wk的协方差矩阵；

[0078] 第七步、根据第六步求取的内容对Kalman加权矩阵进行求取：

[0079]

[0080] 其中Kk+1表示下一帧的Kalman加权矩阵，Hk、 表示观测矩阵以及其转置，Rk表示观测噪声向量vk的协方差矩阵；

[0081] 第八步、根据求取的Kalman加权矩阵对运动目标的头肩部中心点在下一帧的系统状态 和状态向量协方差Pk+1进行更新：

[0082]

[0083] Pk+1＝(I-Kk+1Hk)P'k+1

[0084] 其中Zk+1为下一帧的观测值， I表示单位矩阵；

[0085] 第九步、对下一帧图像按照第二步～第四步的方法获取运动目标的头肩部中心点位置的系统状态，然后将获取的系统状态与第五步～第九步预测得到的运动目标的系统状态进行匹配关联，若两者匹配，则将匹配的结果确定为运动目标在下一帧的位置，否则利用第五步～第九步预测得到的系统状态确定运动目标在下一帧的位置；

[0086] 第十步、第五步～第九步重复执行直至完成整个的统计过程。

[0087] 显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。