本发明公开了一种视频结构化描述中的行人定位方法及其装置，所述方法包括：训练行人识别器，以及依据摄像机投影模型建立图像坐标系与世界坐标系之间的映射关系；基于多高斯模型的背景建模得到运动的前景块，并对每一个运动目标进行跟踪；对具有跟踪稳定的目标的前景块提取每个行人的头部顶点坐标；依据所述映射关系计算所述每个行人的头部顶点坐标在图像坐标系下的行人识别窗口大小；对于每一个行人识别窗口，依据所述行人识别器进行基于局部梯度直方图HOG特征的adaboost行人检测处理，以此定位行人的位置。采用本发明，能够实现在有阴影等干扰或者多个目标粘连的情形下的对视频结构化描述中的行人精确定位，有效地提高了视频结构化描述的质量。
1.一种视频结构化描述中的行人定位方法，其特征在于，包括：训练行人识别器，以及依据摄像机投影模型建立图像坐标系与世界坐标系之间的映射关系；
基于多高斯模型的背景建模得到运动的前景块，并对每一个运动目标进行跟踪；
对具有跟踪稳定的目标的前景块提取每个行人的头部顶点坐标，其中，所述具有跟踪稳定的目标为在预设时长内运动轨迹保持平稳的所述运动目标；
依据所述映射关系计算所述每个行人的头部顶点坐标在图像坐标系下的行人识别窗口大小；
对于每一个行人识别窗口，依据所述行人识别器进行基于局部梯度直方图HOG特征的adaboost行人检测处理，以此定位行人的位置。
2.如权利要求1所述的视频结构化描述中的行人定位方法，其特征在于，训练行人识别器的步骤包括：采集大量的各种背景和光照条件下的行人和非行人样本；
依据计算出的样本的局部梯度直方图特征，采用基于开源发行的跨平台计算机视觉库opencv自带的adaboost训练器训练出行人识别器。
3.如权利要求1所述的视频结构化描述中的行人定位方法，其特征在于，依据摄像机投影模型建立图像坐标系与世界坐标系之间的映射关系的方法为：基于小孔成像模型，依据摄像机的安装高度、俯视角以及视角建立图像坐标系和世界坐标系的映射关系。
4.如权利要求1所述的视频结构化描述中的行人定位方法，其特征在于，对具有跟踪稳定的目标的前景块，当所述目标的被跟踪次数大于第一门限T1、其轨迹在最近第二门限T2帧内，并且与运动方向垂直的方向上的均方差小于第三门限σ时，触发后续的行人定位步骤。
5.如权利要求4所述的视频结构化描述中的行人定位方法，其特征在于，提取行人的头部顶点坐标的步骤包括：对于具有跟踪稳定的目标的前景块，在图像坐标系的水平轴上投影并生成投影直方图；
在所述投影直方图上以预设的一维平滑窗口进行平滑并进行滤波处理，获取凸出的位置作为潜在的行人水平坐标；
对提取出的每一个潜在的行人水平坐标，获取其在图像坐标系的垂直轴上的最高点作为潜在的行人头顶垂直坐标；
以及，依据获得的所述潜在的行人水平坐标以及行人头顶垂直坐标得到行人的头部顶点坐标。
6.一种视频结构化描述中的行人定位装置，其特征在于，包括：训练模块，用于训练行人识别器；
配置模块，用于依据摄像机投影模型建立图像坐标系与世界坐标系之间的映射关系；
第一提取模块，用于基于多高斯模型的背景建模得到运动的前景块；
第二提取模块，用于对具有跟踪稳定的目标的前景块提取每个行人的头部顶点坐标，其中，所述具有跟踪稳定的目标为在预设时长内运动轨迹保持平稳的所述运动目标；
计算模块，用于依据所述映射关系计算所述每个行人的头部顶点坐标在图像坐标系下的行人识别窗口大小；
定位模块，用于对于每一个行人识别窗口，依据所述行人识别器进行基于局部梯度直方图HOG特征的adaboost行人检测处理，以此定位行人的位置。
7.如权利要求6所述的视频结构化描述中的行人定位装置，其特征在于，所述训练模块包括：采集单元，用于采集大量的各种背景和光照条件下的行人和非行人样本；
计算单元，用于计算每一个样本的局部梯度直方图特征；
训练单元，用于依据计算出的样本的局部梯度直方图特征，采用基于开源发行的跨平台计算机视觉库opencv自带的adaboost训练器训练出行人识别器。
8.如权利要求6所述的视频结构化描述中的行人定位装置，其特征在于，配置模块依据摄像机投影模型建立图像坐标系与世界坐标系之间的映射关系的方法为：基于小孔成像模型，依据摄像机的安装高度、俯视角以及视角建立图像坐标系和世界坐标系的映射关系。
9.如权利要求6所述的视频结构化描述中的行人定位装置，其特征在于，还包括：判断模块，对具有跟踪稳定的目标的前景块，用于当所述目标的被跟踪次数大于第一门限T1、其轨迹在最近第二门限T2帧内，并且与运动方向垂直的方向上的均方差小于第三门限σ时，向第二提取模块发送行人定位触发命令，所述第二提取模块据此对具有跟踪稳定的目标的前景块提取每个行人的头部顶点坐标。
10.如权利要求6所述的视频结构化描述中的行人定位装置，其特征在于，所述第二提取模块包括：投影处理单元，用于对于具有跟踪稳定的目标的前景块，在图像坐标系的水平轴上投影并生成投影直方图；
水平坐标获取单元；用于在所述投影直方图上以预设的一维平滑窗口进行平滑并进行滤波处理，获取凸出的位置作为潜在的行人水平坐标；
垂直坐标获取单元，用于对提取出的每一个潜在的行人水平坐标，获取其在图像坐标系的垂直轴上的最高点作为潜在的行人头顶垂直坐标；
以及，行人头部顶点坐标获取单元，用于依据获得的所述潜在的行人水平坐标以及行人头顶垂直坐标得到行人的头部顶点坐标。
视频结构化描述中的行人定位方法及其装置
技术领域
[0001] 本发明涉及视频监控技术领域，具体而言，涉及一种视频结构化描述中的行人定位方法及其装置。
背景技术
[0002] 当前，在视频监控领域，监控摄像头已越来越多地遍布在大小城市的每个街头，昼夜不停地监控和录像。其在改善社会治安的同时，也产生了大量的视频信息，对于这些视频信息的处理便意味着将耗费大量的人力、物力、时间和成本，从而使目前的视频监控面临着深度应用的巨大挑战。
[0003] 其中，其深度应用瓶颈之一便在于视频信息如何高效率的提取，以及如何同其他信息系统进行标准数据交换、互联互通及语义互操作。基于此，现有技术中提出的用以解决这一问题的核心技术即为视频结构化描述技术。其用视频结构化描述技术改造传统的视频监控系统，使之形成新一代的、智慧化的、语义化的视频监控系统。
[0004] 目前视频结构化处理流程主要包括：
[0005] 步骤1、建立背景模型，检测出运动目标前景；
[0006] 步骤2、去除阴影等干扰；
[0007] 步骤3、多目标跟踪；
[0008] 步骤4、目标分类(例如，人或车)；
[0009] 步骤5、提取人和车的一些结构化描述信息。
[0010] 理论上，采用这类算法流程进行视频结构化处理也不会产生问题。但在实际应用当中，当目标粘连在一起时，比如两个人粘连在一起时，此时基于该算法流程则无法提取关于人的描述信息。又或者，在某些情形之下，由于强阴影很难去除干净，当阴影等干扰没有去除干净时，采用该算法流程会导致目标的描述产生偏差。
发明内容
[0011] 基于此，本发明实施例的目的在于提供一种视频结构化描述中的行人定位方法及其装置。
[0012] 为了达到本发明的目的，本发明采用以下技术方案实现：
[0013] 一种视频结构化描述中的行人定位方法，其包括：
[0014] 训练行人识别器，以及依据摄像机投影模型建立图像坐标系与世界坐标系之间的映射关系；
[0015] 基于多高斯模型的背景建模得到运动的前景块，并对每一个运动目标进行跟踪；
[0016] 对具有跟踪稳定的目标的前景块提取每个行人的头部顶点坐标；
[0017] 依据所述映射关系计算所述每个行人的头部顶点坐标在图像坐标系下的行人识别窗口大小；
[0018] 对于每一个行人识别窗口，依据所述行人识别器进行基于局部梯度直方图HOG特征的adaboost行人检测处理，以此定位行人的位置。
[0019] 优选地，训练行人识别器的步骤包括：
[0020] 采集大量的各种背景和光照条件下的行人和非行人样本；
[0021] 计算每一个样本的局部梯度直方图特征；
[0022] 依据计算出的样本的局部梯度直方图特征，采用基于开源发行的跨平台计算机视觉库opencv自带的adaboost训练器训练出行人识别器。
[0023] 优选地，依据摄像机投影模型建立图像坐标系与世界坐标系之间的映射关系的方法为：
[0024] 基于小孔成像模型，依据摄像机的安装高度、俯视角以及视角建立图像坐标系和世界坐标系的映射关系。
[0025] 优选地，对具有跟踪稳定的目标的前景块，当所述目标的被跟踪次数大于第一门限T1、其轨迹在最近第二门限T2帧内，并且与运动方向垂直的方向上的均方差小于第三门限σ时，触发后续的行人定位步骤。
[0026] 优选地，提取行人的头部顶点坐标的步骤包括：
[0027] 对于具有跟踪稳定的目标的前景块，在图像坐标系的水平轴上投影并生成投影直方图；
[0028] 在所述投影直方图上以预设的一维平滑窗口进行平滑并进行滤波处理，获取凸出的位置作为潜在的行人水平坐标；
[0029] 对提取出的每一个潜在的行人水平坐标，获取其在图像坐标系的垂直轴上的最高点作为潜在的行人头顶垂直坐标；
[0030] 以及，依据获得的所述潜在的行人水平坐标以及行人头顶垂直坐标得到行人的头部顶点坐标。
[0031] 一种视频结构化描述中的行人定位装置，其包括：
[0032] 训练模块，用于训练行人识别器；
[0033] 配置模块，用于依据摄像机投影模型建立图像坐标系与世界坐标系之间的映射关系；
[0034] 第一提取模块，用于基于多高斯模型的背景建模得到运动的前景块；
[0035] 跟踪模块，用于对每一个运动目标进行跟踪；
[0036] 第二提取模块，用于对具有跟踪稳定的目标的前景块提取每个行人的头部顶点坐标；
[0037] 计算模块，用于依据所述映射关系计算所述每个行人的头部顶点坐标在图像坐标系下的行人识别窗口大小；
[0038] 定位模块，用于对于每一个行人识别窗口，依据所述行人识别器进行基于局部梯度直方图HOG特征的adaboost行人检测处理，以此定位行人的位置。
[0039] 优选地，所述训练模块包括：
[0040] 采集单元，用于采集大量的各种背景和光照条件下的行人和非行人样本；
[0041] 计算单元，用于计算每一个样本的局部梯度直方图特征；
[0042] 训练单元，用于依据计算出的样本的局部梯度直方图特征，采用基于开源发行的跨平台计算机视觉库opencv自带的adaboost训练器训练出行人识别器。
[0043] 优选地，配置模块依据摄像机投影模型建立图像坐标系与世界坐标系之间的映射关系的方法为：
[0044] 基于小孔成像模型，依据摄像机的安装高度、俯视角以及视角建立图像坐标系和世界坐标系的映射关系。
[0045] 优选地，所述的视频结构化描述中的行人定位装置还包括：
[0046] 判断模块，对具有跟踪稳定的目标的前景块，用于当所述目标的被跟踪次数大于第一门限T1、其轨迹在最近第二门限T2帧内，并且与运动方向垂直的方向上的均方差小于第三门限σ时，向第二提取模块发送行人定位触发命令，所述第二提取模块据此对具有跟踪稳定的目标的前景块提取每个行人的头部顶点坐标。
[0047] 优选地，所述第二提取模块包括：
[0048] 投影处理单元，用于对于具有跟踪稳定的目标的前景块，在图像坐标系的水平轴上投影并生成投影直方图；
[0049] 水平坐标获取单元；用于在所述投影直方图上以预设的一维平滑窗口进行平滑并进行滤波处理，获取凸出的位置作为潜在的行人水平坐标；
[0050] 垂直坐标获取单元，用于对提取出的每一个潜在的行人水平坐标，获取其在图像坐标系的垂直轴上的最高点作为潜在的行人头顶垂直坐标；
[0051] 以及，行人头部顶点坐标获取单元，用于依据获得的所述潜在的行人水平坐标以及行人头顶垂直坐标得到行人的头部顶点坐标。
[0052] 采用本发明，在不明显增加运算量的情况下，能够实现在有阴影等干扰或者多个目标粘连的情形下的对视频结构化描述中的行人精确定位，有效地提高了视频结构化描述的质量。
附图说明
[0053] 图1是本发明实施例提供的视频结构化描述中的行人定位方法流程示意图；
[0054] 图2是本发明实施例中小孔模型示意图；
[0055] 图3是本发明实施例中小孔模型垂直截面图；
[0056] 图4是本发明实施例中具有运动目标的前景示意图；
[0057] 图5是本发明实施例中对图4所示的前景图进行行人定位后的效果图；
[0058] 图6是本发明实施例提供的视频结构化描述中的行人定位装置结构示意图。
[0059] 本发明目的的实现、功能特点及优异效果，下面将结合具体实施例以及附图做进一步的说明。
具体实施方式
[0060] 下面结合附图和具体实施例对本发明所述技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
[0061] 如图1所示，本发明实施例提供的一种视频结构化描述中的行人定位方法，其包括如下步骤：
[0062] S10、训练行人识别器，以及依据摄像机投影模型建立图像坐标系与世界坐标系之间的映射关系；
[0063] S20、基于多高斯模型的背景建模得到运动的前景块，并对每一个运动目标进行跟踪；
[0064] S30、对具有跟踪稳定的目标的前景块提取每个行人的头部顶点坐标；
[0065] S40、依据所述映射关系计算所述每个行人的头部顶点坐标在图像坐标系下的行人识别窗口大小；
[0066] S50、对于每一个行人识别窗口，依据所述行人识别器进行基于局部梯度直方图HOG特征的adaboost行人检测处理，以此定位行人的位置。
[0067] 本实施例中，训练行人识别器的步骤包括：
[0068] S101、采集大量的各种背景和光照条件下的行人和非行人样本，例如，本实施例中共收集正样本3582个，负样本5876个；
[0069] S102、计算每一个样本的局部梯度直方图特征，例如本实施例中，将每个特征窗口以窗口长宽的1/4为大小，1/16为步长划分成105个特征子量，每个特征子量平均分成4个细胞单元，对于每个像素的梯度，做一个9个通道的量化，由此形成3780维特征向量；
[0070] S103、依据计算出的样本的局部梯度直方图特征，采用opencv(Open Source Computer Vision Library，基于开源发行的跨平台计算机视觉库)自带的adaboost训练器训练出行人识别器。
[0071] 本实施例中，依据摄像机投影模型建立图像坐标系与世界坐标系之间的映射关系的方法为：
[0072] 参考图2以及图3所示，基于小孔成像模型，依据摄像机的安装高度、俯视角以及视角建立图像坐标系和世界坐标系的映射关系。
[0073] 其中，图2为小孔模型图。其中平面ABCD为对应于二维图像的真实场景水平面，O点为摄像机镜头中心，I点为O点的水平面投影点，OG为摄像机光轴，G点为摄像机光轴与水平面的交点，∠KOG为水平视角，∠EOG为垂直视角，∠GOI为俯视角。
[0074] 图3为小孔模型垂直截面图。其中，直线EI为模型垂直截面与水平面的交线，直线E'F'为模型垂直截面与像平面的交线，线段PN为行人，MN即为行人在水平面的投影。
[0075] 其中，所述俯视角是指摄像机安装的角度，视角是镜头本身的角度，包括水平视角以及垂直视角。
[0076] 对于所述步骤S20，在某些实施例中，还可以先基于多高斯模型的背景建模，然后进行阴影去除，最终得到运动的前景块。
[0077] 在所述步骤S20中，运动目标跟踪方法为本领域的技术人员所共知的现有技术，本文对此不做细述。
[0078] 在所述步骤S30中，判断前景快的目标是否跟踪稳定的判别方法为：如果被跟踪目标在最近一段时间内轨迹保持平稳，则认为该目标处于稳定状态。
[0079] 本实施例中，在所述步骤S30中，对具有跟踪稳定的目标的前景块，当所述目标的被跟踪次数大于第一门限T1、其轨迹在最近第二门限T2帧内，并且与运动方向垂直的方向上的均方差小于第三门限σ时，触发后续的行人定位步骤，即后续的每个行人的头部顶点坐标的提取步骤以及步骤S40-S50。
[0080] 具体地，本实施例中，提取行人的头部顶点坐标的步骤包括：
[0081] S301、对于具有跟踪稳定的目标的前景块，在图像坐标系的水平轴上投影并生成投影直方图；
[0082] S302、在所述投影直方图上以预设的一维平滑窗口(例如0.1、0.2、0.4、0.2、0.1)进行平滑并进行滤波处理，获取凸出的位置作为潜在的行人水平坐标；
[0083] S303、对提取出的每一个潜在的行人水平坐标，获取其在图像坐标系的垂直轴上的最高点作为潜在的行人头顶垂直坐标；
[0084] 以及S304、依据获得的所述潜在的行人水平坐标以及行人头顶垂直坐标得到行人的头部顶点坐标。
[0085] 本实施例中，对于所述步骤S40，依据所述映射关系计算所述每个行人的头部顶点坐标在图像坐标系下的行人识别窗口大小的步骤包括：
[0086] S401、依据图像坐标系和世界坐标系的映射关系，以潜在的行人的头部顶点坐标和默认的行人身高(例如行人身高1.8米)，求出图像坐标系中行人的相应的高度h；
[0087] S402、据此计算出图像坐标系中潜在行人的行人识别窗口(wi,hi),其中，wi为窗口宽，hi为窗口高，wi＝0.5hi，hi+1＝0.9hi，i＝0…n。
[0088] 在所述步骤S50中，参考图4以及图5，其中，所述图4为具有运动目标的前景示意图，所述图5为行人定位效果图。对于每一个行人识别窗口，依据所述行人识别器进行基于局部梯度直方图HOG特征的adaboost行人检测处理，当检测成功时，即认为当前窗口存在行人，并提取当前行人识别窗口的特征作为行人的特征。以此定位行人的位置。
[0089] 如图6所示，一种视频结构化描述中的行人定位装置，其包括：
[0090] 训练模块70，用于训练行人识别器；
[0091] 配置模块60，用于依据摄像机投影模型建立图像坐标系与世界坐标系之间的映射关系；
[0092] 第一提取模块10，用于获取视频流，并基于多高斯模型的背景建模得到运动的前景块；
[0093] 跟踪模块20，用于对每一个运动目标进行跟踪；
[0094] 第二提取模块30，用于对具有跟踪稳定的目标的前景块提取每个行人的头部顶点坐标；
[0095] 计算模块40，用于依据所述映射关系计算所述每个行人的头部顶点坐标在图像坐标系下的行人识别窗口大小；
[0096] 定位模块50，用于对于每一个行人识别窗口，依据所述行人识别器进行基于局部梯度直方图HOG特征的adaboost行人检测处理，以此定位行人的位置。
[0097] 本实施例中，所述训练模块70包括：
[0098] 采集单元701，用于采集大量的各种背景和光照条件下的行人和非行人样本；
[0099] 计算单元702，用于计算每一个样本的局部梯度直方图特征；
[0100] 训练单元703，用于依据计算出的样本的局部梯度直方图特征，采用基于开源发行的跨平台计算机视觉库opencv自带的adaboost训练器训练出行人识别器。
[0101] 本实施例中，配置模块60依据摄像机投影模型建立图像坐标系与世界坐标系之间的映射关系的方法为：
[0102] 基于小孔成像模型，依据摄像机的安装高度、俯视角以及视角建立图像坐标系和世界坐标系的映射关系。
[0103] 本实施例中，所述的视频结构化描述中的行人定位装置还包括：
[0104] 判断模块80，对具有跟踪稳定的目标的前景块，用于当所述目标的被跟踪次数大于第一门限T1、其轨迹在最近第二门限T2帧内，并且与运动方向垂直的方向上的均方差小于第三门限σ时，向第二提取模块30发送行人定位触发命令，所述第二提取模块30据此对具有跟踪稳定的目标的前景块提取每个行人的头部顶点坐标。
[0105] 本实施例中，所述第二提取模块30包括：
[0106] 投影处理单元301，用于对于具有跟踪稳定的目标的前景块，在图像坐标系的水平轴上投影并生成投影直方图；
[0107] 水平坐标获取单元302；用于在所述投影直方图上以预设的一维平滑窗口进行平滑并进行滤波处理，获取凸出的位置作为潜在的行人水平坐标；
[0108] 垂直坐标获取单元303，用于对提取出的每一个潜在的行人水平坐标，获取其在图像坐标系的垂直轴上的最高点作为潜在的行人头顶垂直坐标；
[0109] 以及，行人头部顶点坐标获取单元304，用于依据获得的所述潜在的行人水平坐标以及行人头顶垂直坐标得到行人的头部顶点坐标。
[0110] 以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
