一种智能视频监控的行人检测方法和装置

摘要

本发明属于视频监控领域，提供一种智能视频监控的行人检测方法和装置，以提高智能视频监控时对行人的识别率。所述方法包括：通过对视频流的样本数据进行支持向量机SVM训练，得到基于SVM的分类器；对实时采集的视频帧序列进行图像变换，得到变换后的图像；使用所述基于SVM的分类器遍历所述变换后的图像以获取行人感兴趣区域ROI。本发明提供的技术方案使得在智能视频监控中，不仅对行人检测的准确率有显著的提高，且算法有较强的泛化能力，而且并且算法的计算复杂度更低低，例如，在配置为Intel i5 3.3GHZ、4G内存的台式电脑上的处理速度可以达到40FPS以上。

权利要求

1.一种智能视频监控的行人检测方法，其特征在于，所述方法包括：通过对视频流的样本数据进行支持向量机SVM训练，得到基于SVM的分类器；

对实时采集的视频帧序列进行图像变换，得到变换后的图像，所述视频帧序列为智能视频监控的摄像头所采集视频流的离散图像帧，所述所采集视频流包含行人和除行人之外的其他对象；

使用所述基于SVM的分类器遍历所述变换后的图像以获取行人感兴趣区域ROI，所述通过对视频流的样本数据进行支持向量机SVM训练，得到基于SVM的分类器，包括：对所述样本数据包含的图像进行LUV变换，得到LUV图像；

对所述样本数据包含的图像进行完整局部二值模式CLBP编码以得到CLBP图像，并计算所述CLBP图像的方向梯度和所述方向梯度的大小；

对所述LUV图像和CLBP图像使用SVM进行多次训练，得到多个不同尺寸模板的基于SVM的分类器。

2.如权利要求1所述的方法，其特征在于，所述对所述LUV图像和CLBP图像使用SVM进行多次训练，得到多个不同尺寸模板的基于SVM的分类器，包括：对所述LUV图像和CLBP图像使用线性SVM进行多次训练，得到多个不同尺寸模板的基于线性SVM的分类器。

3.如权利要求1所述的方法，其特征在于，所述对实时采集的视频帧序列进行图像变换，得到变换后的图像，包括：对所述实时采集的视频帧序列进行LUV变换，得到LUV图像；

对所述实时采集的视频帧序列进行完整局部二值模式CLBP编码以得到CLBP图像，并计算所述CLBP图像的方向梯度和所述方向梯度的大小。

4.如权利要求1至3任意一项所述的方法，其特征在于，所述使用所述基于SVM的分类器遍历所述变换后的图像以获取行人感兴趣区域ROI之后，所述方法还包括：消除所述行人ROI的重叠区域。

5.一种智能视频监控的行人检测装置，其特征在于，所述装置包括：分类器获取模块，用于通过对视频流的样本数据进行支持向量机SVM训练，得到基于SVM的分类器；

变换模块，用于对实时采集的视频帧序列进行图像变换，得到变换后的图像，所述视频帧序列为智能视频监控的摄像头所采集视频流的离散图像帧，所述所采集视频流包含行人和除行人之外的其他对象；

分类模块，用于使用所述基于SVM的分类器遍历所述变换后的图像以获取行人感兴趣区域ROI，所述分类器获取模块包括：

第一变换单元，用于对所述样本数据包含的图像进行LUV变换，得到LUV图像；

第二变换单元，用于对所述样本数据包含的图像进行完整局部二值模式CLBP编码以得到CLBP图像，并计算所述CLBP图像的方向梯度和所述方向梯度的大小；

训练单元，用于对所述LUV图像和CLBP图像使用SVM进行多次训练，得到多个不同尺寸模板的基于SVM的分类器。

6.如权利要求5所述的装置，其特征在于，所述训练单元包括：线性SVM训练单元，用于对所述LUV图像和CLBP图像使用线性SVM进行多次训练，得到多个不同尺寸模板的基于线性SVM的分类器。

7.如权利要求5所述的装置，其特征在于，所述变换模块包括：第三变换单元，用于对所述实时采集的视频帧序列进行LUV变换，得到LUV图像；

第四变换单元，用于对所述实时采集的视频帧序列进行完整局部二值模式CLBP编码以得到CLBP图像，并计算所述CLBP图像的方向梯度和所述方向梯度的大小。

8.如权利要求5至7任意一项所述的装置，其特征在于，所述装置还包括：消除模块，用于所述分类模块使用所述基于SVM的分类器遍历所述变换后的图像以获取行人感兴趣区域ROI之后，消除所述行人ROI的重叠区域。

说明书

一种智能视频监控的行人检测方法和装置

技术领域

[0001] 本发明属于视频监控领域，尤其涉及一种智能视频监控的行人检测方法和装置。

背景技术

[0002] 智能视频分析技术是应用计算机视觉技术对视频流进行实时精确分析，从中找出人们感兴趣的事件或潜在的威胁，并及时发出预警，从而达到在无人值守情况下的自动监控。

[0003] 随着智慧城市建设的不断深入，智能视频分析得到人们越来越多的关注。由于硬件技术的发展以及计算性能的提升、大数据处理技术的突破以及深度学习算法的爆发式增长，为该技术的大范围实际应用提供了技术基础。目前，在边境线、机场、港口、码头、酒店、写字楼、医院等等，都有数不清的智能视频分析应用的成功案例。智能视频分析技术早已从旧时的实验室研发阶段飞入寻常百姓家。

[0004] 安全是人们永远不变的主题，而安防中的视频监控以其实时录像、直观有效等诸多优点而成为人们所采用的主要手段。保守估计目前全世界有近2亿个摄像头在各个角落时刻地注视着我们，并且每年每个国家、地区、甚至企业和个人都投入大量预算用于安防。仅仅摄像头一项，每年全世界出货量都在4000万部以上，更不用说与其配套的编解码设备、存储设备、显示设备等等。所有这些投入的最终目的只有一个，那就是有效地保障人们的生命和财产安全，但遗憾的是实际情况却与人们期望的相距甚远，那就是实时的视频监控设备几乎无法为人们提供实时的安全防护。这种情况通常是由以下几方面原因造成的：1)用来监视实时视频的工作人员数量与监控设备的数量远远不在一个数量级上，也就是常说的人手不够问题；2)即使在小范围内或重点场所有足够的人力进行人工监测，但是由于人的生理限制，人们无法长时间地集中注意力盯着屏幕，这就使得几十分钟甚至几分钟后，盯着屏幕的安保人员将对其视频中的大部分信息将视而不见，这不仅导致了资源投入的严重浪费，更与人们的初衷相违背。

[0005] 智能视频分析技术的出现在很大程度上解决了上述问题，其不仅将人们从繁重的监控任务中解放出来，更可以在威胁等情况即将发生时第一时间通知人们，使监控设备从被动的记录取证设备转为主动的防御系统。智能视频分析技术的通常工作流程是通过对环境进行建模，从而发现感兴趣的运动目标或可疑的异常事件，并对运动目标进行跟踪与轨迹分析，进而对其行为模式进行识别与分类。无论是目标检测还是行为分析，人们通常只关心感兴趣的几类目标，尤其是人和车辆这两类，因此，行人检测的准确性直接影响了整个系统的识别能力。

[0006] 作为智能视频分析核心组件的行人检测技术经过10多年的发展取得了较大的进步，陆续提出一些在某些场景中有较好效果的学习算法和分类器。然而，由于场景的多样性和复杂性、训练数据的不足以及算法本身的泛化能力不足等各种条件制约，导致现有的行人检测技术识别率有待提高，而误报率有待降低。

发明内容

[0007] 本发明的目的在于提供一种智能视频监控的行人检测方法和装置，以提高智能视频监控时对行人的识别率。

[0008] 本发明第一方面提供一种智能视频监控的行人检测方法，所述方法包括：

[0009] 通过对视频流的样本数据进行支持向量机SVM训练，得到基于SVM的分类器；

[0010] 对实时采集的视频帧序列进行图像变换，得到变换后的图像，所述视频帧序列为智能视频监控的摄像头所采集视频流的离散图像帧，所述所采集视频流包含行人和除行人之外的其他对象；

[0011] 使用所述基于SVM的分类器遍历所述变换后的图像以获取行人感兴趣区域ROI。

[0012] 本发明第二方面提供一种智能视频监控的行人检测装置，所述装置包括：

[0013] 分类器获取模块，用于通过对视频流的样本数据进行支持向量机SVM训练，得到基于SVM的分类器；

[0014] 变换模块，用于对实时采集的视频帧序列进行图像变换，得到变换后的图像，所述视频帧序列为智能视频监控的摄像头所采集视频流的离散图像帧，所述所采集视频流包含行人和除行人之外的其他对象；

[0015] 分类模块，用于使用所述基于SVM的分类器遍历所述变换后的图像以获取行人感兴趣区域ROI。

[0016] 从上述本发明技术方案可知，通过对视频流的样本数据进行支持向量机SVM训练，得到基于SVM的分类器，对实时采集的视频帧序列进行图像变换，得到变换后的图像，使用基于SVM的分类器遍历变换后的图像以获取行人感兴趣区域ROI，与现有技术相比，本发明提供的技术方案使得在智能视频监控中，不仅对行人检测的准确率有显著的提高，且算法有较强的泛化能力，而且并且算法的计算复杂度更低低，例如，在配置为Intel i5 3.3GHZ、4G内存的台式电脑上的处理速度可以达到40FPS以上。

附图说明

[0017] 图1是本发明实施例一提供的智能视频监控的行人检测方法的实现流程示意图；

[0018] 图2-a是本发明实施例二提供的对图像进行LBP编码的示意图；

[0019] 图2-b是本发明实施例三提供的对图像进行CLBP编码的示意图；

[0020] 图3是本发明实施例四提供的智能视频监控的行人检测装置的结构示意图；

[0021] 图4是本发明实施例五提供的智能视频监控的行人检测装置的结构示意图；

[0022] 图5是本发明实施例六提供的智能视频监控的行人检测装置的结构示意图；

[0023] 图6是本发明实施例七提供的智能视频监控的行人检测装置的结构示意图；

[0024] 图7-a是本发明实施例八提供的智能视频监控的行人检测装置的结构示意图；

[0025] 图7-b是本发明实施例九提供的智能视频监控的行人检测装置的结构示意图；

[0026] 图7-c是本发明实施例十提供的智能视频监控的行人检测装置的结构示意图；

[0027] 图7-d是本发明实施例十一提供的智能视频监控的行人检测装置的结构示意图。

具体实施方式

[0028] 为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

[0029] 本发明实施例提供一种智能视频监控的行人检测方法，所述方法包括：通过对视频流的样本数据进行支持向量机SVM训练，得到基于SVM的分类器；对实时采集的视频帧序列进行图像变换，得到变换后的图像，所述视频帧序列为智能视频监控的摄像头所采集视频流的离散图像帧，所述所采集视频流包含行人和除行人之外的其他对象；使用所述基于SVM的分类器遍历所述变换后的图像以获取行人感兴趣区域ROI。本发明实施例还提供相应的智能视频监控的行人检测装置。以下分别进行详细说明。

[0030] 请参阅附图1，是本发明实施例一提供的智能视频监控的行人检测方法的实现流程示意图，主要包括以下步骤S101至步骤S103，详细说明如下：

[0031] S101，通过对视频流的样本数据进行支持向量机SVM训练，得到基于SVM的分类器。

[0032] 支持向量机(Support Vector Machine，SVM)是建立在统计学习理论的VC维理论和结构风险最小原理基础上，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷，以期获得最好的推广能力或泛化能力。在本发明实施例中，视频流的样本数据可以是从一些存储有视频流数据的数据库，例如INRIA、Caltech或TUD等数据库中取得，也可以是用户从行人密集的场合，例如车站、码头、机场或工业园区采集得到，本发明对此不做限制。

[0033] 作为本发明一个实施例，通过对视频流的样本数据进行支持向量机SVM训练，得到基于SVM的分类器可通过如下步骤S1011至S1013实现：

[0034] S1011，对样本数据包含的图像进行LUV变换，得到LUV图像。

[0035] 在本发明实施例中，对样本数据包含的原始图像进行LUV变换得到LUV图像后，还可以保存原始图像的原始分量图。

[0036] S1012，对样本数据包含的图像进行完整局部二值模式CLBP编码以得到CLBP图像，并计算CLBP图像的方向梯度和方向梯度的大小。

[0037] 局部二值模式(Local Binary Pattern，LBP)是一种用来描述图像局部纹理特征的算子，其具有旋转不变性和灰度不变性等显著的优点。CLBP编码的原理如附图2-a所示，其中，附图2-a的左图小方格中的数值表示图像的原始像素值即其灰度值信息，右图为其中心位置像素的像素值与其邻域位置像素的像素值大小比较后的二值图(邻域位置像素的像素值小于中心位置像素的像素值时，则该邻域位置的像素被编码为“0”，反之为“1”)，通过这种比较运算，每个像素都可以得到一个8邻域的二值序列，该二进制序列最后可转换成一个十进制整型值。例如，附图2-a的右图中心位置的像素，其LBP编码为11110001，换算成十进制整型值则为241。

[0038] 在智能视频监控的行人检测中，LBP特征描述符常常被用于主要的候选特征，然而，由于行人检测应用场中背景的复杂性、人体整体轮廓与人脸图像的纹理特征具有较大差异性，导致直接应用原始的LBP效果不佳，因此，在本发明实施例中，对样本数据包含的图像进行完整局部二值模式(Completed Local Binary Pattern，CLBP)编码以得到CLBP图像CLBP描述符可以对行人轮廓进行有效的编码，不仅达到了较高的检测效果，也具有更强的可视效果，CLBP编码原理如附图2-b所示。附图2-b的左图为中心像素点的8邻域、半径为1的CLBP图，右图为中心像素点的16邻域、半径为4的CLBP示意图，其计算过程为：T＝t(s(g0-gc),...,s(gi-1-gc),...,s(gn-1-gc))，其中，gc为中心位置像素点的灰度值，n是邻域大小，g0,...,gn-1为中心位置像素点的n个邻域的像素的灰度值，s是符号运算符，其含义为：则该中心位置像素点的CLBP的值为：

[0039] 在本发明实施例中，对样本数据包含的图像进行CLBP编码所得到的CLBP图像，是可以提取CLBP特征的图像。

[0040] 需要说明的是，梯度直方图在行人检测中是一种有效的图像特征表示方法，虽然其在实际中取得了较广泛的应用，但是传统的方向梯度直方图所捕捉的具体信息是什么仍然很难解释清楚，因此，在对样本数据包含的图像进行CLBP编码即CLBP特征有效地对行人的轮廓信息进行编码得到CLBP图像后，计算CLBP图像的方向梯度和方向梯度的大小，例如，计算其6个方向的梯度和方向梯度大小的直方图，具有较清晰的含义和可视化效果。

[0041] S1013，对LUV图像和CLBP图像使用SVM进行多次训练，得到多个不同尺寸模板的基于SVM的分类器。

[0042] 由于在智能视频监控的行人检测算法中，大部分时间是用于计算特征，若采用传统的基于滑动窗口的方式，将重复多次计算特征，运算复杂度过高，因此，在本发明实施例中，可以使用SVM进行多次训练，得到多个不同尺寸模板的基于SVM的分类器，在后续行人检测阶段可以极大地提高运行效率。至于分类器数目的选择，可采用交叉验证的方法确认。由于虽然理论上基于非线性SVM的分类器优于基于线性SVM的分类器，但是大量的实验表明其实际效果并不优于基于线性SVM的分类器，因此，对LUV图像和CLBP图像使用SVM进行多次训练，得到多个不同尺寸模板的基于SVM的分类器具体是：对所述LUV图像和CLBP图像使用线性SVM进行多次训练，得到多个不同尺寸模板的基于线性SVM的分类器。

[0043] S102，对实时采集的视频帧序列进行图像变换，得到变换后的图像。

[0044] 视频帧序列为智能视频监控的摄像头所采集视频流的离散图像帧，所采集视频流包含行人和除行人之外的其他对象。具体地，对实时采集的视频帧序列进行图像变换，得到变换后的图像可以是：对实时采集的视频帧序列进行LUV变换，得到LUV图像，对实时采集的视频帧序列进行完整局部二值模式CLBP编码以得到CLBP图像，并计算CLBP图像的方向梯度和方向梯度的大小。

[0045] S103，使用训练阶段所得的基于SVM的分类器遍历变换后的图像以获取行人感兴趣区域ROI。

[0046] 在使用基于SVM的分类器遍历所述变换后的图像以获取行人感兴趣区域(Region Of Interest，ROI)之后，附图1示例的智能视频监控的行人检测方法还包括：消除行人ROI的重叠区域，具体地，可以使用非极大值移植算法消除行人ROI的重叠区域，重叠区域定义为 其中，B1和B2为检测的两个候选行人ROI，I为B1和B2的交集大小，Toverlap通常设为0.5即可。

[0047] 从上述附图1示例的智能视频监控的行人检测方法可知，通过对视频流的样本数据进行支持向量机SVM训练，得到基于SVM的分类器，对实时采集的视频帧序列进行图像变换，得到变换后的图像，使用基于SVM的分类器遍历变换后的图像以获取行人感兴趣区域ROI，与现有技术相比，本发明提供的技术方案使得在智能视频监控中，不仅对行人检测的准确率有显著的提高，且算法有较强的泛化能力，而且并且算法的计算复杂度更低低，例如，在配置为Intel i5 3.3GHZ、4G内存的台式电脑上的处理速度可以达到40FPS以上。

[0048] 请参阅附图3，是本发明实施例三提供的智能视频监控的行人检测装置的结构示意图。为了便于说明，附图3仅示出了与本发明实施例相关的部分。附图3示例的智能视频监控的行人检测装置主要包括分类器获取模块301、变换模块302和分类模块302，详细说明如下：

[0049] 分类器获取模块301，用于通过对视频流的样本数据进行支持向量机SVM训练，得到基于SVM的分类器；

[0050] 变换模块302，用于对实时采集的视频帧序列进行图像变换，得到变换后的图像，其中，视频帧序列为智能视频监控的摄像头所采集视频流的离散图像帧，所采集视频流包含行人和除行人之外的其他对象；

[0051] 分类模块303，用于使用基于SVM的分类器遍历变换模块302变换后的图像以获取行人感兴趣区域ROI。

[0052] 附图3示例的分类器获取模块301包括块第一变换单元401、第二变换单元402和训练单元403，如附图4所示本发明实施例四提供的智能视频监控的行人检测装置，其中：

[0053] 第一变换单元401，用于对视频流的样本数据包含的图像进行LUV变换，得到LUV图像；

[0054] 第二变换单元402，用于对视频流的样本数据包含的图像进行完整局部二值模式CLBP编码以得到CLBP图像，并计算CLBP图像的方向梯度和方向梯度的大小；

[0055] 训练单元403，用于对LUV图像和CLBP图像使用SVM进行多次训练，得到多个不同尺寸模板的基于SVM的分类器。

[0056] 附图4示例的训练单元403包括线性SVM训练单元501，如附图5所示本发明实施例五提供的智能视频监控的行人检测装置。线性SVM训练单元501用于对LUV图像和CLBP图像使用线性SVM进行多次训练，得到多个不同尺寸模板的基于线性SVM的分类器。

[0057] 附图3示例的变换模块302可以包括块第三变换单元601和第四变换单元602，如附图6所示本发明实施例六提供的智能视频监控的行人检测装置，其中：

[0058] 第三变换单元601，用于对实时采集的视频帧序列进行LUV变换，得到LUV图像；

[0059] 第四变换单元602，用于对实时采集的视频帧序列进行完整局部二值模式CLBP编码以得到CLBP图像，并计算CLBP图像的方向梯度和方向梯度的大小。

[0060] 上述附图3至附图6任一示例的智能视频监控的行人检测装置还可以包括消除模块701，如附图7-a至附图7-d实施例七至实施例十示例的智能视频监控的行人检测装置。消除模块701用于分类模块303使用基于SVM的分类器遍历变换模块302变换后的图像以获取行人感兴趣区域ROI之后，消除行人ROI的重叠区域。

[0061] 需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其带来的技术效果与本发明方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

[0062] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

[0063] 以上对本发明实施例所提供的智能视频监控的行人检测方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。