监视方法和装置

摘要

本发明提出一种监视方法和装置，涉及监视领域。其中，本发明的一种视频监视方法，包括：获取深度图像，其中，深度图像中像素点的值对应深度信息；根据深度图像获取目标的三维坐标信息；基于目标的三维坐标信息和虚拟门的位置关系提取事件发生，其中，虚拟门包括三维坐标信息。这样的方法，通过深度图像获取目标的三维坐标信息，基于虚拟门和目标的三维坐标信息判断二者的位置关系，从而提取事件发生，有效避免了二维图像中由于透视效果引起的事件误判，提高了事件判断的准确度。

权利要求

1.一种监视方法，其特征在于：

获取深度图像，其中，所述深度图像中像素点的值对应深度信息；

根据所述深度图像获取目标的三维坐标信息；

基于所述目标的三维坐标信息和虚拟门的位置关系的变化情况提取事件发生，其中，所述虚拟门为与地面垂直的门区域，所述虚拟门与地面的交线为直线、线段或折线，所述虚拟门包括三维坐标信息，所述位置关系的变化情况为根据所述目标离参考点的距离和所述虚拟门与地面交线的端点离所述参考点的距离的大小的变化情况确定。

2.根据权利要求1所述的方法，其特征在于，所述根据所述深度图像获取目标的三维坐标信息包括：对比连续帧所述深度图像，或将所述深度图像与背景深度图像对比，获取所述深度图像中的变化点或点群；

从所述变化点或点群中提取点或点群作为目标；

根据所述深度图像中目标对应的像素点的值确定所述目标的三维坐标信息。

3.根据权利要求1所述的方法，其特征在于，获取所述深度图像的设备包括距离敏感装置或3D摄像机。

4.根据权利要求1所述的方法，其特征在于，还包括：获取平面视频图像；

根据所述平面视频图像确定目标，根据所述深度图像中目标对应的像素点的值确定所述目标的三维坐标信息。

5.根据权利要求4所述的方法，其特征在于，所述根据所述平面视频图像确定目标，根据所述深度图像中目标对应的像素点的值确定所述目标的三维坐标信息包括：对比连续帧所述平面视频图像，或将所述平面视频图像与背景图像对比，获取所述平面视频图像中的变化点或点群；

从所述变化点或点群中提取点或点群作为目标；

根据所述深度图像中目标对应的像素点的值确定所述目标的三维坐标信息。

6.根据权利要求4所述的方法，其特征在于，获取所述深度图像和所述平面视频图像的设备包括Kinect、PMD CARMERA、MESA SR中的至少一项。

7.根据权利要求1所述的方法，其特征在于，所述根据所述深度图像获取目标的三维坐标信息为：根据所述深度图像获取所述目标在相机坐标系下的三维坐标信息。

8.根据权利要求7所述的方法，其特征在于，所述根据所述深度图像获取目标的三维坐标信息还包括：根据所述相机坐标系与地面坐标系的转换关系，基于所述目标在所述相机坐标系下的三维坐标信息，获取所述目标在地面坐标系下的三维坐标信息。

9.根据权利要求8所述的方法，其特征在于，所述基于所述目标的三维坐标信息和虚拟门的位置关系的变化情况提取事件发生为：根据所述目标在地面坐标系下的三维坐标信息中的水平坐标信息与虚拟门的位置关系提取事件发生，其中，所述虚拟门包括三维坐标下的水平坐标信息。

10.根据权利要求1所述的方法，其特征在于，还包括：根据多帧所述深度图像确定所述目标的运动轨迹；

根据所述深度图像确定所述目标的所述运动轨迹的三维坐标信息；

基于所述目标的所述运动轨迹的三维坐标信息和所述虚拟门的位置关系提取事件发生。

11.根据权利要求4所述的方法，其特征在于，还包括：根据多帧所述平面视频图像确定所述目标的运动轨迹；

根据所述深度图像确定所述目标的所述运动轨迹的三维坐标信息；

基于所述目标的所述运动轨迹和所述虚拟门的位置关系提取事件发生。

12.根据权利要求1所述的方法，其特征在于，所述事件包括位于虚拟门内、位于虚拟门外、位于虚拟门区域、从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门、从内向外运动且未穿过虚拟门中的至少一项。

13.根据权利要求1所述的方法，其特征在于，还包括，判断所述目标的类型，所述目标的类型包括人、动物和/或车。

14.根据权利要求1所述的方法，其特征在于，还包括，若提取到预定事件，则发出报警信息，所述报警信息包括入侵位置信息和/或入侵方向信息。

15.根据权利要求1所述的方法，其特征在于，基于所述目标的三维坐标信息和虚拟门的位置关系的变化情况提取事件发生包括：统计事件的连续帧数，当所述帧数大于预定报警帧数时，判断事件发生。

16.一种监视装置，其特征在于：

图像获取模块，用于获取深度图像，其中，所述深度图像中像素点的值对应深度信息；

三维坐标确定模块，用于根据所述深度图像获取目标的三维坐标信息；

事件提取模块，用于基于所述目标的三维坐标信息和虚拟门的位置关系的变化情况提取事件发生，其中，所述虚拟门为与地面垂直的门区域，所述虚拟门与地面的交线为直线、线段或折线，所述虚拟门包括三维坐标信息，所述位置关系的变化情况为根据所述目标离参考点的距离和所述虚拟门与地面交线的端点离所述参考点的距离的大小的变化情况确定。

17.根据权利要求16所述的装置，其特征在于，

所述三维坐标确定模块包括：

帧对比单元，用于对比连续帧所述深度图像，或将所述深度图像与背景深度图像对比，获取所述深度图像中的变化点或点群；

目标提取单元，用于从所述变化点或点群中提取点或点群作为目标；

三维坐标提取单元，用于根据所述深度图像中目标对应的像素点的值确定所述目标的三维坐标信息。

18.根据权利要求16所述的装置，其特征在于，所述图像获取模块为距离敏感装置或3D摄像机。

19.根据权利要求16所述的装置，其特征在于：

所述图像获取模块，还用于获取平面视频图像；

所述三维坐标确定模块，还用于根据所述平面视频图像确定目标，根据所述深度图像中目标对应的像素点的值确定所述目标的三维坐标信息。

20.根据权利要求19所述的装置，其特征在于，所述三维坐标确定模块包括：帧对比单元，用于对比连续帧所述平面视频图像，或将所述平面视频图像与背景图像对比，获取所述平面视频图像中的变化点或点群；

目标提取单元，用于从所述变化点或点群中提取点或点群作为目标；

三维坐标提取单元，用于根据所述深度图像中目标对应的像素点的值确定所述目标的三维坐标信息。

21.根据权利要求19所述的装置，其特征在于，所述图像获取模块为Kinect、PMD CARMERA、MESA SR中的至少一项。

22.根据权利要求16所述的装置，其特征在于，所述三维坐标确定模块，用于根据所述深度图像获取所述目标在相机坐标系下的三维坐标信息。

23.根据权利要求22所述的装置，其特征在于，所述三维坐标确定模块还包括坐标转换单元，用于根据所述相机坐标系与地面坐标系的转换关系，基于所述目标在所述相机坐标系下的三维坐标信息，获取所述目标在地面坐标系下的三维坐标信息。

24.根据权利要求23所述的装置，其特征在于，所述事件提取模块，还用于根据所述目标在地面坐标系下的三维坐标信息中的水平坐标信息与虚拟门的位置关系提取事件发生，其中，所述虚拟门包括三维坐标下的水平坐标信息。

25.根据权利要求16所述的装置，其特征在于，

还包括：轨迹确定单元，用于根据多帧所述深度图像确定所述目标的运动轨迹；

所述三维坐标确定模块还用于根据所述深度图像确定所述目标的所述运动轨迹的三维坐标信息；

所述事件提取模块还用于基于所述目标的所述运动轨迹和所述虚拟门的位置关系提取事件发生。

26.根据权利要求19所述的装置，其特征在于，

还包括：轨迹确定单元，用于根据多帧所述平面视频图像确定所述目标的运动轨迹；

所述三维坐标确定模块还用于根据所述深度图像确定所述目标的所述运动轨迹的三维坐标信息；

所述事件提取模块还用于基于所述目标的所述运动轨迹的三维坐标信息和所述虚拟门的位置关系提取事件发生。

27.根据权利要求16所述的装置，其特征在于，所述事件包括位于虚拟门内、位于虚拟门外、位于虚拟门区域、从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门、从内向外运动且未穿过虚拟门中的至少一项。

28.根据权利要求16所述的装置，其特征在于，还包括，类型判断模块，用于判断所述目标的类型，所述目标的类型包括人、动物和/或车。

29.根据权利要求16所述的装置，其特征在于，还包括，报警模块，用于在提取到预定事件的情况下，发出报警信息，所述报警信息包括入侵位置信息和/或入侵方向信息。

30.根据权利要求16所述的装置，其特征在于，所述事件提取模块，还用于统计事件的连续帧数，当所述帧数大于预定报警帧数时，判断事件发生。

说明书

监视方法和装置

技术领域

[0001] 本发明涉及监视领域，特别是一种监视方法和装置。

背景技术

[0002] 智能视频行为分析系统在各种监控场所中有很高的应用价值，其基本通用方法为通过对输入视频进行背景建模，利用背景图像与当前帧的图像检测运动目标，后续对运动目标进行跟踪、分类和行为分析，或者采用训练识别的方式直接从视频中检测指定类型目标，对检测到的目标进行跟踪和分析，并对行为事件进行预警判断，以达到智能监控的目的。

[0003] 在行为分析中，绊线检测与区域入侵检测是基本的检测功能。其基本实现为：在视频图像设置至少一个线段或一个区域，检测视频中的运动目标是否发生跨越该线段或进入/离开该区域，若有事件发生，则产生报警。其中，绊线检测在视频图像中设置至少一条带有方向的线段，检测运动目标是否从线的一侧运动到另一侧，若有绊线行为发生则产生报警事件；区域入侵检测在视频图像中设置至少一个检测区域，检测运动目标是否从一个区域外进入到该区域内，若有区域入侵行为发生则产生报警事件。

[0004] 现有的绊线和区域入侵检测技术，在图像平面上直接根据目标和所设置绊线、区域是否相交来判断是否触发相应规则。由于摄像机成像存在透视效果，当图像中目标与绊线或区域相交时，现实世界中，并不一定会发生绊线或者进入的动作，因此容易产生误判，发生错误报警。

发明内容

[0005] 本发明的目的在于解决由于摄像机的透视效果造成事件误判的问题。

[0006] 根据本发明的一个方面，提出一种监视方法，包括：获取深度图像，其中，深度图像中像素点的值对应深度信息；根据深度图像获取目标的三维坐标信息；基于目标的三维坐标信息和虚拟门的位置关系提取事件发生，其中，虚拟门包括三维坐标信息。

[0007] 可选地，虚拟门为与地面垂直的门区域，虚拟门与地面的交线为直线、线段或折线。

[0008] 可选地，根据深度图像获取目标的三维坐标信息包括：对比连续帧深度图像，或将深度图像与背景深度图像对比，获取深度图像中的变化点或点群；从变化点或点群中提取点或点群作为目标；根据深度图像中目标对应的像素点的值确定目标的三维坐标信息。

[0009] 可选地，获取深度图像的设备包括距离敏感装置或3D摄像机。

[0010] 可选地，还包括：获取平面视频图像；根据平面视频图像确定目标，根据深度图像中目标对应的像素点的值确定目标的三维坐标信息。

[0011] 可选地，根据平面视频图像确定目标，根据深度图像中目标对应的像素点的值确定目标的三维坐标信息包括：对比连续帧平面视频图像，或将平面视频图像与背景图像对比，获取平面视频图像中的变化点或点群；从变化点或点群中提取点或点群作为目标；根据深度图像中目标对应的像素点的值确定目标的三维坐标信息。

[0012] 可选地，获取深度图像和平面视频图像的设备包括Kinect、PMD CARMERA和/或MESA SR。

[0013] 可选地，根据深度图像获取目标的三维坐标信息为：根据深度图像获取目标在相机坐标系下的三维坐标信息。

[0014] 可选地，根据深度图像获取目标的三维坐标信息还包括：

[0015] 根据相机坐标系与地面坐标系的转换关系，基于目标在相机坐标系下的三维坐标信息，获取目标在地面坐标系下的三维坐标信息。

[0016] 可选地，基于目标的三维坐标信息和虚拟门的位置关系提取事件发生为：根据目标在地面坐标系下的三维坐标信息中的水平坐标信息与虚拟门的位置关系提取事件发生，其中，虚拟门包括三维坐标下的水平坐标信息。

[0017] 可选地，还包括：根据多帧深度图像确定目标的运动轨迹；根据深度图像确定目标的运动轨迹的三维坐标信息；基于目标的运动轨迹的三维坐标信息和虚拟门的位置关系提取事件发生。

[0018] 可选地，还包括：根据多帧平面视频图像确定目标的运动轨迹；根据深度图像确定目标的运动轨迹的三维坐标信息；基于目标的运动轨迹和虚拟门的位置关系提取事件发生。

[0019] 可选地，事件包括位于虚拟门内、位于虚拟门外、位于虚拟门区域、从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门和/或从内向外运动且未穿过虚拟门。

[0020] 可选地，还包括，判断目标的类型，目标的类型包括人、动物和/或车。

[0021] 可选地，还包括，若提取到预定事件，则发出报警信息，报警信息包括入侵位置信息和/或入侵方向信息。

[0022] 可选地，基于目标的三维坐标信息和虚拟门的位置关系提取事件发生包括：统计事件的连续帧数，当帧数大于预定报警帧数时，判断事件发生。

[0023] 这样的方法，通过深度图像获取目标的三维坐标信息，基于虚拟门和目标的三维坐标信息判断二者的位置关系，从而提取事件发生，有效避免了二维图像中由于透视效果引起的事件误判，提高了事件判断的准确度。

[0024] 根据本发明的另一个方面，提出一种监控装置，包括：图像获取模块，用于获取深度图像，其中，深度图像中像素点的值对应深度信息；三维坐标确定模块，用于根据深度图像获取目标的三维坐标信息；事件提取模块，用于基于目标的三维坐标信息和虚拟门的位置关系提取事件发生，其中，虚拟门包括三维坐标信息。

[0025] 可选地，虚拟门为与地面垂直的门区域，虚拟门与地面的交线为直线、线段或折线。

[0026] 可选地，三维坐标确定模块包括：帧对比单元，用于对比连续帧深度图像，或将深度图像与背景深度图像对比，获取深度图像中的变化点或点群；目标提取单元，用于从变化点或点群中提取点或点群作为目标；三维坐标提取单元，用于根据深度图像中目标对应的像素点的值确定目标的三维坐标信息。

[0027] 可选地，图像获取模块为距离敏感装置或3D摄像机。

[0028] 可选地，图像获取模块，还用于获取平面视频图像；三维坐标确定模块，还用于根据平面视频图像确定目标，根据深度图像中目标对应的像素点的值确定目标的三维坐标信息。

[0029] 可选地，三维坐标确定模块包括：帧对比单元，用于对比连续帧平面视频图像，或将平面视频图像与背景图像对比，获取平面视频图像中的变化点或点群；目标提取单元，用于从变化点或点群中提取点或点群作为目标；三维坐标提取单元，用于根据深度图像中目标对应的像素点的值确定目标的三维坐标信息。

[0030] 可选地，图像获取模块为Kinect、PMD CARMERA和/或MESA SR。

[0031] 可选地，三维坐标确定模块，用于根据深度图像获取目标在相机坐标系下的三维坐标信息。

[0032] 可选地，三维坐标确定模块还包括坐标转换单元，用于根据相机坐标系与地面坐标系的转换关系，基于目标在相机坐标系下的三维坐标信息，获取目标在地面坐标系下的三维坐标信息。

[0033] 可选地，事件提取模块，还用于根据目标在地面坐标系下的三维坐标信息中的水平坐标信息与虚拟门的位置关系提取事件发生，其中，虚拟门包括三维坐标下的水平坐标信息。

[0034] 可选地，还包括：轨迹确定单元，用于根据多帧深度图像确定目标的运动轨迹；三维坐标确定模块还用于根据深度图像确定目标的运动轨迹的三维坐标信息；事件提取模块还用于基于目标的运动轨迹和虚拟门的位置关系提取事件发生。

[0035] 可选地，还包括：轨迹确定单元，用于根据多帧平面视频图像确定目标的运动轨迹；三维坐标确定模块还用于根据深度图像确定目标的运动轨迹的三维坐标信息；事件提取模块还用于基于目标的运动轨迹的三维坐标信息和虚拟门的位置关系提取事件发生。

[0036] 可选地，事件包括位于虚拟门内、位于虚拟门外、位于虚拟门区域、从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门和/或从内向外运动且未穿过虚拟门。

[0037] 可选地，还包括，类型判断模块，用于判断目标的类型，目标的类型包括人、动物和/或车。

[0038] 可选地，还包括，报警模块，用于在提取到预定事件的情况下，发出报警信息，报警信息包括入侵位置信息和/或入侵方向信息。

[0039] 可选地，事件提取模块，还用于统计事件的连续帧数，当帧数大于预定报警帧数时，判断事件发生。

[0040] 这样的装置，通过深度图像获取目标的三维坐标信息，基于虚拟门和目标的三维坐标信息判断二者的位置关系，从而提取事件发生，有效避免了二维图像中由于透视效果引起的事件误判，提高了事件判断的准确度。

附图说明

[0041] 此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

[0042] 图1为本发明的监视方法的一个实施例的流程图。

[0043] 图2为本发明的监视方法的一部分的一个实施例的流程图。

[0044] 图3为本发明的监视方法的另一个实施例的流程图。

[0045] 图4为本发明的监视装置的一个实施例的流程图。

[0046] 图5为本发明的监视装置的另一个实施例的流程图。

[0047] 图6为本发明的监视装置的又一个实施例的流程图。

具体实施方式

[0048] 下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

[0049] 本发明的监视方法的一个实施例的流程图如图1所示。

[0050] 在步骤101中，获取深度图像。深度图像可以使用距离敏感装置或3D摄像机来获取，如kinect传感器、三维激光扫描仪或照相式扫描仪。通过传感器来感知镜头前面的环境，使用例如黑白光谱的方式来判断物品与传感器的物理距离，收集镜头视野里的每一点的深度信息，从而获取一幅深度图像。深度图像中像素点的值为深度信息，即每一个像素点的数值都表达该像素点对应的物理环境与摄像头的距离信息。在一个实施例中，采用基于TOF(Time of Flight，飞行时间)技术的摄像机获取深度信息。TOF摄像机需要测量主动发射的电磁波信号与目标点反射回来的电磁波信号之间的时间差，由于电磁波信号在空气中的传播速度已知，能够得到目标点的距离信息，继而获得目标场景三维点云。在一个实施例中，采用三维激光扫描仪获取深度信息，通过测量发射与接收到的反射的激光信号的时间差获得目标点的距离信息，形成由包含三维坐标信息的密集点云构成的深度图像。在一个实施例中，三维激光扫描仪可以与精密控制的转台联合使用，获得目标完整的致密的三维模型数据。在一个实施例中，采用基于双目立体视觉方式的照相式扫描仪获取深度信息，通过对两个相机得到的图像进行立体匹配，基于三角测量法得到匹配点的三维信息，形成由包含三维坐标信息的密集点云构成的深度图像。在一个实施例中，采用基于结构光的照相式扫描仪，通过发射一组或多组已知空间变化规律的图案，再拍摄并分析这些图案的图像，利用三角测量法得到目标场景中的深度信息，形成由包含三维坐标信息的密集点云构成的深度图像。在一个实施例中，使用kinect传感器获取深度信息，kinect传感器的红外发射器发射红外线，经光栅形成结构光，在物体表面投射出散斑图案，CMOS摄像机拍摄散斑图像，根据参考散斑图案对应的距离获得待测物体的近似深度距离，利用三角测量法，对待测物体的散斑图案进行局部补偿，得到深度图像，每30ms整合一幅深度图像，并用3D效果模型显示。

[0051] 在步骤102中，根据深度图像获取目标的三维坐标信息。目标可以是位于监控区域内的物体，也可以是将连续帧深度图像相对比，深度信息发生变化的点或点群，还可以是与背景深度图像相比，深度信息发生变化的点或点群。

[0052] 在步骤103中，基于目标的三维坐标信息和虚拟门的位置关系提取事件发生，该三维坐标信息为目标在真实环境下的三维坐标信息。可提取的事件包括，目标出现在虚拟门内，目标从外向内穿过虚拟门或目标位于虚拟门外等。可以根据目标与虚拟门的相对位置关系判断是否报警以及确定报警信息。

[0053] 这样的方法，通过深度图像获取目标的三维坐标信息，基于虚拟门和目标的三维坐标信息判断二者的位置关系，从而提取事件发生，有效避免了二维图像中由于透视效果引起的事件误判，提高了事件判断的准确度。

[0054] 在一个实施例中，视频监控同时获取的目标可以是多个，从而减少事件的漏提取。

[0055] 虚拟门为与地面垂直的门区域，虚拟门与地面的交线可以是直线、线段或折线。通过这样的方法，能够尽可能的划定要监控保护的区域的边界，且从地面到空间均进行监控，提高事件提取的全面和准确性。

[0056] 虚拟门在该直线、线段或折线的基础上向上延伸，高度可以是无限的，也可以预定高度。虚拟门可以通过设置虚拟门与地面的交界线的方式进行设置；也可以直接通过划定凸多边形的方式设定虚拟门，该多边形垂直于地面，且多边形的下边界为虚拟门与地面的交线；还可以通过设置虚拟门与监控装置的距离的方式进行设定；或者先设定虚拟门延伸面与地面的交界线，再设置虚拟门区域，虚拟门上下边界可以通过用户图像指定，或者设定高度。通过这样的方式，能够根据监控需要自由设定虚拟门，更具灵活性，使得视频监控区域更有针对性。

[0057] 在一个实施例中，根据深度图像获取目标的三维坐标信息的流程图如图2所示。

[0058] 在步骤201中，对比连续帧深度图像，或将深度图像与背景深度图像对比，根据相同位置像素点的值的不同，即深度信息的不同，获取深度图像中的变化点或点群。

[0059] 在步骤202中，从上一步获取的变化点或点群中获取目标。可以通过去噪，剔除误差点的方式从变化点或点群为目标中获取目标，或设置门限，当深度信息变化超过门限时确定变化点或点群为目标。

[0060] 在步骤203中，根据深度图像确定目标的三维坐标信息。

[0061] 这样的方法能够根据深度图像中像素点或点群深度信息的变化，捕捉到变化的点或点群作为目标，从而提高监控的灵敏度，降低遗漏的概率。

[0062] 本发明的监控方法的另一个实施例的流程图如图3所示。

[0063] 在步骤301中，获取深度图像，即获得深度图像中每个像素点的深度信息。

[0064] 在步骤302中，获取与深度图像拍摄的区域相同的平面视频图像。获取平面视频图像的设备可以是2D摄像机。2D摄像机需要与获取深度图像的摄像机标定，二者拍摄相同的区域。

[0065] 在步骤303中，根据平面视频图像确定目标。由于平面视频图像可以为彩色图像，能够获取色彩信息，能够根据像素点色彩的变化，获取平面视频图像中的变化点或点群。

[0066] 在步骤304中，根据深度图像获取目标的三维坐标信息。该目标可以是根据平面视频图像确定的。由于平面视频图像与深度图像为同一区域的图像，能够获取平面视频图像中目标的像素点在深度图像中对应的像素点，从而根据像素点对应的深度图像中的深度信息，确定目标的三维坐标信息。目标也可以是根据深度图像中像素点深度信息的变化确定的，再根据深度图像中目标对应的像素点的深度信息获取目标的三维坐标信息。

[0067] 在步骤305中，基于目标的三维坐标信息和虚拟门的位置关系提取事件发生。

[0068] 通过这样的方法，能够根据清晰度更高、具有色彩信息的平面视频图像获取目标，防止由于深度信息变化不明显导致误判为噪声，从而降低漏捕捉目标的概率，使监控更加可靠。

[0069] 在一个实施例中，可以将深度图像和平面视频图像中变化的点或点群综合处理判断，提取目标。在一个实施例中，采用混合高斯模型对平面视频图像提供的色彩(R,G,B)三个信息，以及深度图像提供的(x,y,z)三维坐标进行建模，并利用增量期望最大(Incremental Expectation Maximum，IEM)算法自适应的调整参数。通过这样的方法，可以对深度图像和平面视频图像综合考虑提取目标，能在漏提取和误提取目标之间达到平衡，提高目标提取的准确性和全面性。

[0070] 在一个实施例中，将平面视频图像与深度图像标定，获取两图像中像素点对应关系的方法具体如下：

[0071] 以深度图像相机坐标系为基准，空间中坐标点P(Px,Py,Pz)在深度图像ID中的像素点坐标为 在平面视频图像IC中的像素点坐标为 其中，P点坐标已知，P点在深度图像ID的像素点PD的坐标已知，需要获取P点在平面视频图像IC中的像素点坐标。

[0072] 假设2D相机内参及相对深度相机的外参未知，使用齐次坐标表示方法，则P＝(Px,Py,Pz,Pw)T， 使用透视成像相机模型，则P到pC的映射关系为一个3×4的相i T
机矩阵M，记M的每一行为(m) ,i＝1,2,3，公式化为：

[0073] pC＝MP

[0074] 求解相机矩阵M。由上式易知：

[0075] pC×MP＝0

[0076] 即：

[0077]

[0078] 代入化简得：

[0079]

[0080] 基于上式可得三个方程，但第三个方程为另外两个方程的线性组合，因此，只保留上式中的前两行，即：

[0081]

[0082] 其中，A是2×12矩阵，m的维度是12×1，是由相机矩阵M中的所有元素构成的列向量。m的自由度是11，每一对P→pC包含2个自由度，最少需要6对已知投影可以求解m。为保证计算的准确性和鲁棒性，使用n≥30对已知投影关系，通过最小化代价函数的方式求解。在一个实施例中，基本步骤如下：

[0083] 1)线性求解m的初始值。

[0084] a.对点集P进行归一化 i＝1,2,...,n，使 质心位于坐标系原点(0,0,0)，且到原点的平均距离为 对点集pC进行归一化 使 质心位于坐标系原点(0,0)，且到原点的平均距离为

[0085] b.使用n对归一化后的的匹配点 按公式(1)构建方程组 其中，A是2n×12矩阵， 的维度是12×1，由对应归一化后坐标的相机矩阵 中的所有元素构成。
在约束条件 下进行求解，具体求解过程基于SVD分解，为最小奇异值对应的单位奇异向量。

[0086] 2)使用线性解作为初始值，通过列文伯格-马夸尔特(Levenberg-Marquardt)算法最小化以下代价函数：

[0087]

[0088] 其中 表示平面视频图像中，测量点 与基于相机矩阵 的投影估计值 的欧氏距离。

[0089] 3)迭代至收敛后，得到相机矩阵 最终的非线性最优解 则在原始坐标系中的相机矩阵M为：

[0090]

[0091] 通过这样的方法，能够获取空间坐标点在平面视频图像中对应的像素点，配合同一空间坐标点在深度图像中对应的像素点，能够获取深度图像与平面视频图像中像素点的转换关系，从而在根据平面视频图像获取目标后，能够根据目标像素点在深度图像中对应的像素点的深度信息，获取目标的三维坐标信息。

[0092] 在一个实施例中，可以利用既能够获取深度图像，又能获取平面视频图像的设备进行监控，如包括Kinect、PMD CARMERA和/或MESA SR。通过这样的方法，能够降低摄像设备安放、校准的难度，减小误差。

[0093] 在一个实施例中，由于目标可能处于运动状态，可以根据目标的运动轨迹提取事件的发生。在一个实施例中，可以根据前后多帧深度图像像素点深度信息的变化，提取运动目标，记录各帧图像中目标的位置信息，获取目标的运动轨迹。在一个实施例中，还可以根据前后多帧平面视频图像中像素点色彩信息的变化，提取运动目标，记录各帧图像中目标的位置信息，获取目标的运动轨迹。在深度图像中，获取目标的运动轨迹的三维坐标信息。根据目标的运动轨迹的三维坐标信息与虚拟门的位置关系判断事件的发生。

[0094] 根据目标的运动轨迹和虚拟门的三维坐标信息提取事件的发生，提取到的事件可以包括：从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门、从内向外运动且未穿过虚拟门。通过这样的方法，能够实现对目标的持续监测，提高事件提取的准确性。

[0095] 在一个实施例中，根据目标的三维坐标信息和虚拟门的位置关系提取事件的方法具体如下：

[0096] A、获取目标和虚拟门的三维坐标信息。确定一条参考直线，这里选取经由图像的中心最下点与图像下边界垂直的一条直线。

[0097] B、分别计算当前帧图像中虚拟门设置的各线段端点到参考点坐标的连线与参考直线的夹角，分别记作θ1，θ2…θm，m为端点个数，计算当前帧图像中目标坐标点到参考点坐标的连线与参考直线的夹角α，将θ1，θ2…θm与α按照数值的大小进行排序，选择大于α的θ最小值记作T1，选择小于α的θ最大值，记作T2，记录T1、T2对应的线段端点转换后的三维坐标(x1,y1)和(x2,y2)，记录此时运动目标转换后的三维坐标(x,y)，记录参考点转换后的三维坐标(X,Y)。

[0098] C、分别计算前一帧图像中虚拟门设置的各线段端点到参考点坐标的连线与参考直线的夹角，分别记作θ1'，θ2'…θm'，m为端点个数，计算前一帧图像中目标坐标点到参考点坐标的连线与参考直线的夹角α'，将θ1'，θ2'…θm'与α'按照数值的大小进行排序，选择大于α'的θ'最小值记作T1'，选择小于α'的θ'最大值记作T2'，记录T1'、T2'对应的线段端点转换后的三维坐标(x1′,y1′)和(x2′,y2′)，记录此时运动目标转换后的三维坐标(x′,y′)。

[0099] D、分别计算T1，T2对应的线段端点转换后的三维坐标(x1,y1)和(x2,y2)与参考点转换后的三维坐标(X,Y)的距离d1，d2，计算运动目标转换后的三维坐标(x,y)与参考点转换后的三维坐标(X,Y)的距离d。

[0100] d＝((X-x)2+(Y-y)2)1/2

[0101] 判断d与d1和d2的大小，有可能出现三种结果：d比d1和d2都大，d比d1和d2都小，d介于d1和d2之间，分别记作结果1.1,1.2,1.3。

[0102] E、分别计算T1'，T2'对应的线段端点转换后的三维坐标(x1',y1')和(x2',y2')与参考点转换后的三维坐标(X,Y)的距离d1'，d2'，计算运动目标转换后的三维坐标(x,y)与参考点转换后的三维坐标(X,Y)的距离d'。

[0103] 判断d'与d1'和d2'的大小，有可能出现三种结果：d'比d1'和d2'都大，d'比d1'和d2'都小，d'介于d1'和d2'之间，分别记作结果2.1,2.2,2.3。

[0104] F、根据结果进行运动方向的判断。

[0105] 结果1.1,2.1组合：说明运动目标离参考点的距离一直大于虚拟门设置的线段端点离参考点的距离，未出现穿越虚拟门情况。

[0106] 结果1.1,2.2组合：说明运动目标距参考点的距离发生从小于到大于虚拟门设置的线段端点离参考点的距离，发生穿越虚拟门情况，方向为从内到外。

[0107] 结果1.1,2.3组合：说明运动目标距参考点的距离发生从小于到大于虚拟门设置的线段端点离参考点的距离，发生穿越虚拟门情况，方向为从内到外。

[0108] 结果1.2,2.1组合：说明运动目标距参考点的距离发生从大于到小于虚拟门设置的线段端点离参考点的距离，发生穿越虚拟门情况，方向为从外到内。

[0109] 结果1.2,2.2组合：说明运动目标离参考点的距离一直小于虚拟门设置的线段端点离参考点的距离，未出现穿越虚拟门情况。

[0110] 结果1.2,2.3组合：说明运动目标距参考点的距离发生从大于到小于虚拟门设置的线段端点离参考点的距离，发生穿越虚拟门情况，方向为从外到内。

[0111] 结果1.3,2.1组合：说明运动目标距参考点的距离发生从大于到小于虚拟门设置的线段端点离参考点的距离，发生穿越虚拟门情况，方向为从外到内。

[0112] 结果1.3,2.2组合：说明运动目标距参考点的距离发生从小于到大于虚拟门设置的线段端点离参考点的距离，发生穿越虚拟门情况，方向为从内到外。

[0113] 结果1.3,2.3组合：说明运动目标离参考点的距离一直介于虚拟门设置的线段端点离参考点的距离之间，未出现穿越虚拟门情况，不报警。

[0114] 通过这样的方法，能够根据目标的运动状态提取事件的发生，判断目标的运动方向以及是否穿越虚拟门，达到较为准确和详细的事件提取效果。

[0115] 在一个实施例中，根据深度图像确定的目标的三维坐标信息为相机坐标系下的三维坐标信息。将目标的三维坐标信息与虚拟门的三维坐标信息统一到同一坐标系下。在一个实施例中，根据相机坐标系与地面坐标系的关系，将目标在相机坐标系下的三维坐标信息转换到地面坐标系。虚拟门可以是垂直于地面的门区域，将虚拟门和目标的坐标系统一到地面坐标系，可以仅根据虚拟门和目标的水平坐标信息判断二者的相对位置关系，根据二者的相对位置关系判断事件发生。

[0116] 通过这样的方法，能够将虚拟门和目标的三维坐标信息统一到地面坐标系中，在同一坐标系中判断二者的位置关系，提高事件提取的准确性。在虚拟门垂直于地面的情况下，仅根据水平坐标信息判断二者的相对位置关系，降低事件提取的复杂度。

[0117] 在一个实施例中，虚拟门的三维坐标信息为相机坐标系下的三维坐标信息，或者可以根据相机坐标系与地面坐标系的关系，将虚拟门在地面坐标系下的三维坐标信息转换到相机坐标系，从而获取目标和虚拟门在相机坐标系下的相对位置关系，根据二者的相对位置关系判断事件发生。

[0118] 通过这样的方法，能够将虚拟门和目标的三维坐标信息统一到相机坐标系中，在同一坐标系中判断二者的位置关系，提高事件提取的准确性。由于不需要对目标的三维坐标信息进行转换，简化了数据处理的步骤。

[0119] 在一个实施例中，目标与虚拟门的位置关系包括位于虚拟门内、位于虚拟门外、位于虚拟门区域、从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门或从内向外运动且未穿过虚拟门。在这些事件中，可根据具体需求判断哪个或哪些为需要报警的事件，如位于虚拟门内、从外向内穿过虚拟门等。这样的方法，能够方便用户根据具体使用场景选择需要报警的事件，从而增加本方法的可用场景。

[0120] 在一个实施例中，还可以根据确定为目标的点群的形状、色彩、深度信息等特点，与资料库匹配，确定目标的类型，目标类型可以包括人、动物或者车等，从而能够供用户设置需报警的目标类型，减少对某些不必要事件的报警。

[0121] 在一个实施例中，当提取到预定的需要报警的事件时，发出报警信息，可以通过声音、图像、警示灯等进行报警，报警的信息可以包括入侵位置、入侵方向等，还可以包括入侵目标，从而能够自动提示监控人员做出对应的反应，防止工作人员漏处理事件。

[0122] 在一个实施例中，根据目标的三维坐标信息与虚拟门的位置关系提取事件的发生，当事件发生的连续帧数超过预定值时才触发报警，从而减少偶然事件或噪声造成的误报警。

[0123] 本发明的监控装置的一个实施例的示意图如图4所示。其中41为图像获取模块，用于获取深度图像。图像获取模块41可以是距离敏感装置或3D摄像机，如kinect传感器、三维激光扫描仪、照相式扫描仪、PMD CARMERA或MESA SR。42为三维坐标确定模块，用于根据图像获取模块41获取的深度图像获取目标的三维坐标信息。目标可以是位于监控区域内的物体，也可以是与连续帧深度图像相比，深度信息发生变化的点或点群，还可以是与背景深度图像相比，深度信息发生变化的点或点群。43为事件提取模块，用于根据目标的三维坐标信息和虚拟门的相对位置关系提取事件的发生。

[0124] 这样的装置，通过深度图像获取目标的三维坐标信息，基于虚拟门和目标的三维坐标信息判断二者的位置关系，从而提取事件发生，有效避免了二维图像中由于透视效果引起的事件误判，提高了事件判断的准确度。

[0125] 在一个实施例中，监控同时获取的目标可以是多个，从而减少事件漏提取的发生。

[0126] 虚拟门为与地面垂直的门区域，虚拟门与地面的交线可以是直线、线段或折线。这样的装置能够尽可能的划定要监控保护的区域的边界，且从地面到空间均进行监控，提高事件提取的全面和准确性。

[0127] 虚拟门在该直线、线段或折线的基础上向上延伸，高度可以是无限的，也可以预定高度。虚拟门可以通过设置虚拟门与地面的交界线的方式进行设置；也可以直接通过划定凸多边形的方式设定虚拟门，该多边形垂直于地面，且多边形的下边界为虚拟门与地面的交线；还可以通过设置虚拟门与监控装置的距离的方式进行设定；或者先设定虚拟门延伸面与地面的交界线，再设置虚拟门区域，虚拟门上下边界可以通过用户图像指定，或者设定高度。通过这样的装置，能够根据监控需要自由设定虚拟门，更具灵活性，使得视频监控区域更有针对性。

[0128] 本发明的监控装置的另一个实施例的示意图如图5所示。51、53分别为图像获取模块和事件提取模块，其工作过程与图4的实施例中相似。52为三维坐标确定模块，包括帧对比单元521、目标提取单元522和三维坐标提取单元523。帧对比单元521比对连续帧的深度图像，或者将深度图像与背景深度图像相比较，获取深度信息变化的点或点群。目标提取单元522从帧对比单元521获取的变化点或点群中获取目标。可以通过去噪，剔除误差点的方式从变化点或点群中提取目标；或设置门限，当深度信息变化超过门限时确定变化点或点群为目标。三维坐标提取单元523根据深度图像确定目标的三维坐标信息。

[0129] 这样的装置能够根据深度图像中深度信息的变化，捕捉发生变化的像素点或点群作为目标，从而提高监控的灵敏度，降低遗漏的概率。

[0130] 在一个实施例中，图像获取模块51还能够获取与深度图像拍摄的区域相同的平面视频图像。获取平面视频图像的设备可以是2D摄像机。2D摄像机需要与获取深度图像的摄像机标定，二者拍摄相同的区域。帧对比单元521除了可以根据深度图像中像素点深度信息的变化提取变化点或点群，还可以根据平面视频图像中像素点色彩的变化提取变化点或点群。目标提取单元522根据帧对比单元521从深度图像或平面视频图像中提取的变化点或点群，通过筛选或设置门限等操作，提取目标。三维坐标提取单元523根据深度图像中目标对应的像素点的值确定目标的三维坐标信息。

[0131] 这样的装置，能够根据清晰度更高、具有色彩信息的平面视频图像获取目标，防止由于深度信息变化不明显导致误判为噪声，从而降低漏捕捉目标的概率，使监控更加可靠。

[0132] 在一个实施例中，如图6所示，61、62、63分别为图像获取模块、三维坐标确定模块和事件提取模块，其中三维坐标确定模块62除了包含帧对比单元621、目标提取单元622和三维坐标提取单元624外，还包括轨迹确定单元623，用于针对目标提取单元622提取的目标，分析连续多帧图像，获取目标的运动轨迹。在一个实施例中，轨迹确定单元623可以根据前后多帧深度图像像素点深度信息的变化，提取运动目标，记录各帧图像中目标的位置信息，获取目标的运动轨迹。在一个实施例中，轨迹确定单元623还可以根据前后多帧平面视频图像中像素点色彩信息的变化，提取运动目标，记录各帧图像中目标的位置信息，获取目标的运动轨迹。

[0133] 根据目标的运动轨迹和虚拟门的三维坐标信息提取事件的发生，提取到的事件可以包括：从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门、从内向外运动且未穿过虚拟门。这样的装置，能够实现对目标的持续监测，提高事件提取的丰富性和准确性。

[0134] 在一个实施例中，三维坐标确定模块62获取的目标的三维坐标信息为相机坐标系下的三维坐标。在一个实施例中，虚拟门的三维坐标信息也为相机坐标系下的三维坐标信息，则根据目标和虚拟门在相机坐标系下的相对位置关系判断事件的发生。这样的装置不需要坐标系的转换，简化了位置判断的逻辑。

[0135] 在一个实施例中，虚拟门的三维坐标信息为地面坐标系下的三维坐标信息。可以将虚拟门的三维坐标信息根据相机坐标系与地面坐标系的转换关系，转换为相机坐标系下的三维坐标信息，从而根据目标和虚拟门在相机坐标系下的相对位置关系判断事件的发生。这样的装置只需要对虚拟门的三维坐标信息做一次转换和存储，位置判断逻辑简单。

[0136] 在一个实施例中，虚拟门的三维坐标信息为地面坐标系下的三维坐标信息。可以根据相机坐标系与地面坐标系的转换关系，将目标的三维坐标信息转换到地面坐标系下，从而在地面坐标系下判断二者的相对位置关系。由于现实情况下多数物体平行于地面运动，因此基于地面坐标系的事件判断方式更贴近于现实应用。

[0137] 在一个实施例中，虚拟门可以是垂直于地面的门区域，将虚拟门和目标的坐标系统一到地面坐标系，可以仅根据虚拟门和目标的水平坐标信息判断二者的相对位置关系，根据二者的相对位置关系判断事件发生。这样的装置，在虚拟门垂直于地面的情况下，仅根据水平坐标信息判断二者的相对位置关系，降低事件提取的复杂度。

[0138] 在一个实施例中，目标与虚拟门的位置关系包括位于虚拟门内、位于虚拟门外、位于虚拟门区域、从外向内穿过虚拟门、从内向外穿过虚拟门、从外向内运动且未穿过虚拟门或从内向外运动且未穿过虚拟门。在这些事件中，可根据具体需求设置哪个或哪些为需要报警的事件，如位于虚拟门内、从外向内穿过虚拟门等。

[0139] 这样的装置，能够方便用户根据具体使用场景选择需要报警的事件，从而增加该装置的可用场景。

[0140] 在一个实施例中，如图6所示，还可以包括类型判断模块64，根据确定为目标的点群的形状、色彩、深度信息变化量等特点，与资料库匹配，确定目标的类型，目标类型可以包括人、动物或者车等，从而能够供用户设置需报警的目标类型，减少对某些不必要事件的报警。

[0141] 在一个实施例中，还可以包括报警模块65，用于当事件提取模块63提取到预定的需要报警的事件时，发出报警信息，可以通过声音、图像、警示灯等进行报警，报警的信息可以包括入侵位置、入侵方向等，还可以包括入侵目标，从而能够自动提示监控人员做出对应的反应，防止工作人员漏处理事件。

[0142] 在一个实施例中，事件提取模块63根据目标的三维坐标信息与虚拟门的位置关系提取事件的发生，当事件发生的连续帧数超过预定值时才触发报警，从而减少偶然事件或噪声造成的误报警。

[0143] 最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。