基于摄像机网格的多视图协同异常行为检测方法

摘要

本发明提供一种基于摄像机网格的多视图协同异常行为检测方法，对像机网格全局标定后，利用摄像机网格进行多视图协同异常检测；关联摄像机局部放大，进行身份确认及多视图属性提取，多视图属性包括姿态属性、运动属性及群组属性，进而从数据库获取预定义的正常/异常行为列表；如果存在异常，则触发警告，并将行为人的异常行为类别、时长属性录入数据库。该种基于摄像机网格的多视图协同异常行为检测方法，基于摄像机网格的协同异常检测框架，通过多摄像机联动的方式，能够实现精确的异常检测；并结合身份识别的异常信息关联方法，能够根据个体身份进行异常触发，进行相关统计记录。

权利要求

1.一种基于摄像机网格的多视图协同异常行为检测方法，其特征在于：对摄像机网格全局标定后，利用摄像机网格进行多视图协同异常检测；具体包括以下步骤，S1、对摄像机网格部署后，进行摄像机全局标定及相邻摄像机关联；

S2、使用步骤S1中的摄像机网格获取摄像机采集图像，以设定时间间隔对摄像机网格的所有摄像头进行轮询，获取摄像机采集图像；

S3、人体检测及关节点定位，采用视频分析技术，确定摄像机采集图像中存在的人的数目、位置以及身体关节点的信息；

S4、关联摄像机局部放大，进行身份确认及多视图属性提取，多视图属性包括姿态属性、运动属性及群组属性，进而从数据库中获取预定义的正常/异常行为列表；具体为：S41、确定人体关节点信息后，估计人脸朝向；

S42、根据摄像机全局标定信息和关联信息，确定获取人脸的最佳摄像机标识；

S43、在最佳摄像机中进行人脸检测和识别，如果像素值小于设定阈值即人脸较小或者人脸中关键点不能识别即不清晰时，调用PTZ摄像机进行放缩，捕获人脸图像；

S44、通过人脸识别方法，确认当前行为人的身份信息；

S45、根据当前行为人的身份信息和所处位置信息，从数据库获取预定义的正常/异常行为列表；

S5、根据步骤S4中获取的当前行为人的身份信息以及提取的多视图属性，得到其行为对应的预定义的正常/异常行为列表中的模式定义，来确定其行为模式，判断当前行为人的行为模式是否异常；

S6、根据步骤S5的判断结果，如果存在异常，则触发警告，并将当前行为人的异常行为类别、时长属性录入数据库。

2. 如权利要求1所述的基于摄像机网格的多视图协同异常行为检测方法，其特征在于：步骤 S1中摄像机网格部署具体为：确定布控场所的监控范围；根据摄像机视场角及放缩倍数以及监控场所的范围，确定摄像机部署数量、密度以及角度。

3. 如权利要求1所述的基于摄像机网格的多视图协同异常行为检测方法，其特征在于：步骤 S1中进行摄像机全局标定具体为：选择特定标记物在场景内运动；将标记物的物理位置与摄像机成像相结合，在场景地图上确定每个摄像头的可视范围及最佳拍摄角度。

4. 如权利要求1所述的基于摄像机网格的多视图协同异常行为检测方法，其特征在于：步骤 S1中相邻摄像机关联具体为：进行相邻摄像机关联，对于场景地图内任意空间位置，确定能够对其同时进行观测的摄像头；确定场景内每个物理位置的所有相关联摄像机及其观测特性。

5. 如权利要求1-3任一项所述的基于摄像机网格的多视图协同异常行为检测方法，其特征在于：步骤 S4中，姿态属性提取为根据步骤S3中获取的关节点信息，确定当前行为人的具体姿态；运动属性提取为根据步骤S3中获取的关节点信息，确定当前行为人的运动属性；群组属性提取为根据步骤S3中获取的人员位置信息，确定当前行为人的群组属性。

说明书

基于摄像机网格的多视图协同异常行为检测方法

技术领域

[0001] 本发明涉及一种基于摄像机网格的多视图协同异常行为检测方法。

背景技术

[0002] 近年来随着视频监控技术的飞速发展，视频监控系统越来越能够给人们的日常生活提供方便。视频监控系统利用计算机视觉技术，代替人的大脑，对视频数据进行采集、分析和理解，实现对监控场景的智能控制。作为视频监控技术的重要组成，视频序列中的异常事件检测利用视频监控设备能够高效地、准确地、自动地检测监控画面中监控目标的异常行为。

[0003] 为了保障人们的人身及财产安全，相关部门和机构正在加快视频监控异常检测系统的研究和布施，尤其是在医院、机场、交通道路、广场等人流量和车流量较大的复杂场景中。以交通异常监控系统为例，一旦检测到车辆异常行为，应该及时发出警报并提供关键信息。异常监控系统一方面可以提醒在发生车辆异常路段上的其他车辆，控制该路段的车流量，避免交通堵塞；另一方面通知交警及时赶到现场，酌情处理车辆违规行为以及可能造成的交通事故，减少财产损失和人员伤亡，避免二次事故的危害。

[0004] 面对海量的视频监控数据，传统的人工异常检测无法及时高效地处理异常状况，而且需要耗费过多人力物力，因此视频监控下的智能异常检测成为当今社会的大势所趋。当前，人们对公共安全设施的要求越来越高，视频序列中的异常事件检测技术的精准度和实时性也在稳步提升。虽然研究学者们对异常检测的特征提取、行为建模、异常检测策略等方面已经做出巨大改进，但是其检测效果仍然差强人意，不足以实时地处理复杂拥挤的视频场景。

[0005] 视频序列中的异常事件检测的监控目标涉及人体、人群、交通和非生物。大量关于人体异常检测的工作被应用于疗养院、医院和居家场所中，来保证老弱病残孕的健康安全。有一些研究工作专注于关于违法或者安全攻击的异常行为检测和关于安全问题的异常事件检测。还有一些研究不针对特定应用，把小概率事件作为异常进行检测。例如，Wang等把行人突然闯入场景或者突然弯腰归为异常。智能交通的异常检测倾向于检测违反交通法规和危害交通安全的异常，比如交通事故和交通堵塞。Hayashi等对十字路口车辆的危险驾驶行为进行预测。异常人群的代表性研究通过人群动能或者步幅的显著改变来检测异常人群运动，而Mehran等则把违反社会力模型(social force model)的人群运动作为异常。关于同一场景中行人与车辆、人体与非生物（比如人们丢掷包裹）、个体与人群等的多目标异常检测也在进一步完善。

[0006] 上述尝试的局限性在以下几个方面，首先，异常检测以单摄像头为主，很少利用摄像头群组进行协同检测；其次，异常检测过程中，仅对异常事件进行检测，而未对触发异常事件的个体或群体身份进行辨识。

发明内容

[0007] 本发明的目的是提供一种基于摄像机网格的多视图协同异常行为检测方法解决现有技术中存在的异常检测以单摄像头为主，很少利用摄像头群组进行协同检测；其次，异常检测过程中，仅对异常事件进行检测，而未对触发异常事件的个体或群体身份进行辨识的问题。

[0008] 本发明的技术解决方案是：

[0009] 一种基于摄像机网格的多视图协同异常行为检测方法，对像机网格全局标定后，利用摄像机网格进行多视图协同异常检测；具体包括以下步骤，

[0010] S1、对摄像机网格部署后，进行摄像机全局标定及相邻摄像机关联；

[0011] S2、使用步骤S1中的摄像机网络获取摄像机采集图像，以设定时间间隔对摄像机网络的所有摄像头进行轮询，获取摄像机采集图像；

[0012] S3、人体检测及关节点定位，采用视频分析技术，确定摄像机采集图像中存在的人的数目、位置以及身体关节点的信息；

[0013] S4、关联摄像机局部放大，进行身份确认及多视图属性提取，多视图属性包括姿态属性、运动属性及群组属性，进而从数据库中获取预定义的正常/异常行为列表；具体为：

[0014] S41、确定人体关节点信息后，估计人脸朝向；

[0015] S42、根据摄像机全局标定信息和关联信息，确定获取人脸的最佳摄像机标识；

[0016] S43、在最佳摄像机中进行人脸检测和识别，如果像素值小于设定阈值即人脸较小或者人脸中关键点不能识别即不清晰时，调用PTZ摄像机进行放缩，捕获人脸图像；

[0017] S44、通过人脸识别方法，确认当前行为人的身份信息；

[0018] S45、根据当前行为人的身份信息和所处位置信息，从数据库获取预定义的正常/异常行为列表；

[0019] S5、根据步骤S4中获取的人员身份信息以及确定人员的多视图属性，得到其行为对应的预定义的正常/异常行为列表中的模式定义，来确定其行为模式，判断当前人员的行为模式是否异常；

[0020] S6、根据步骤S5的判断结果，如果存在异常，则触发警告，并将行为人的异常行为类别、时长属性录入数据库。

[0021] 进一步地，步骤 S1中摄像机网格部署具体为：确定布控场所的监控范围；根据摄像机视场角及放缩倍数等参数以及监控场所的范围，确定摄像机部署数量、密度以及角度。

[0022] 进一步地，步骤 S1中进行摄像机全局标定具体为：选择特定标记物在场景内运动；将标记物的物理位置与摄像机成像相结合，在场景地图上确定每个摄像头的可视范围及最佳拍摄角度。

[0023] 进一步地，步骤 S1中相邻摄像机关联具体为：进行相邻摄像机关联，对于场景地图内任意空间位置，确定能够对其同时进行观测的摄像头；确定场景内每个物理位置的所有相关联摄像机及其观测特性。

[0024] 进一步地，步骤 S4中，姿态属性提取为根据步骤S3中获取的关节点信息，确定当前行为人的具体姿态；运动属性提取为根据步骤S3中获取的关节点信息，确定当前行为人的运动属性；群组属性提取为根据步骤S3中获取的人员位置信息，确定当前行为人的群组属性。

[0025] 本发明的有益效果是：与现有技术相比，该种基于摄像机网格的多视图协同异常行为检测方法，基于摄像机网格的协同异常检测框架，通过多摄像机联动的方式，能够实现精确的异常检测；并结合身份识别的异常信息关联方法，能够根据个体身份进行异常触发，进行相关统计记录。

附图说明

[0026] 图1是本发明实施例基于摄像机网格的多视图协同异常行为检测方法的结构示意图；

[0027] 图2是实施例中摄像机网格布局示意图；

[0028] 图3是实施例中摄像机构成示意图；

[0029] 图4是实施例中单摄像机枪球联动示意图；

[0030] 图5是实施例中多摄像机枪球联动示意图；

[0031] 图6实施例中人体姿态识别结果示意图。

具体实施方式

[0032] 下面结合附图详细说明本发明的优选实施例。实施例

[0033] 一种基于摄像机网格的多视图协同异常行为检测方法，如图1，对像机网格全局标定后，利用摄像机网格进行多视图协同异常检测；具体包括以下步骤，

[0034] S1、对摄像机网格部署后，进行摄像机全局标定及相邻摄像机关联；

[0035] 步骤 S1中摄像机网格部署具体为：确定布控场所的监控范围；根据摄像机视场角及放缩倍数等参数以及监控场所的范围，确定摄像机部署数量、密度以及角度。

[0036] 实施例中，摄像网格流程定标如图2所示。首先，根据监控需求，确定监控场景的范围；其次，根据摄像机视场角及放缩倍数等参数以及监控场所的范围，确定摄像机部署数量、密度以及角度，需要确保摄像机网格对于监控场景的全范围无死角覆盖，且在重点布控点，确保摄像头视野的覆盖率。例如在某些地方，要确保同一个位置能被3个摄像头观测到，以实现观测结果的相互验证。如图3所示场景，其中11表示摄像机。为了兼顾视场角的覆盖范围与视野切换的灵活性，可以采用具有联动功能的摄像机。如图4所示，其中21、22、23为固定摄像头，具有360度图像采集功能，能够覆盖环视场景；24为可调焦的PTZ摄像头，可以对于场景内特定位置进行高分辨率的数据获取；其中21 23固定摄像头与24PTZ摄像头之间~已经进行了标定，可以进行视野位置之间的切换。如图5所示，固定摄像头拍摄场景31，对应于某些特定区域32，可以采用PTZ摄像头进行聚焦，获得清晰图像33。

[0037] 步骤 S1中进行摄像机全局标定具体为：选择特定标记物在场景内运动；将标记物的物理位置与摄像机成像相结合，在场景地图上确定每个摄像头的可视范围及最佳拍摄角度。

[0038] 实施例中，摄像机网格部署完成后，需要进行摄像机的全局标定，确定每一个摄像机在场景坐标系下的视野覆盖范围以及场景内每一个物理点由哪些摄像机覆盖。标定方法可以采用特定目标的方式。

[0039] 以人员检测为例，其可能的高度范围为0 2米，0米表示人躺下时的高度。因此，可~以制作特定标记物，在高度为0米和2米处有特殊形态，能够被摄像头所观测。例如可以采用
2米长的标记杆，其两端喷涂特定的颜色，如橙色。将该标记杆竖直在场景内移动，且遍历所有的位置。摄像机网格中的摄像头对于所有的观测结果进行记录，根据其两端特定的喷涂颜色，可以进行标记点的任意自动检测；0到2米之间的标定，可以采用线性插值进行估计。

[0040] 此外，也可以采用条纹状标记杆，通过计算标记杆条纹的个数，估算标定位置的高度。这种方法适用于存在遮挡，两端喷涂不可见的情况下进行摄像机网格的标定。

[0041] 通过网格标定，可以将场景内的物理位置与摄像机网格成像相结合，在场景地图上确定每个摄像头的可视范围及最佳拍摄角度。因此，在全局标定之后，对于场景内的任意位置，可以得到能够对其观测的所有摄像头的信息，从而实现摄像头之间的联动。

[0042] 步骤 S1中相邻摄像机关联具体为：进行相邻摄像机关联，对于场景地图内任意空间位置，确定能够对其同时进行观测的摄像头；确定场景内每个物理位置的所有相关联摄像机及其观测特性。

[0043] S2、使用步骤S1中的摄像机网络获取摄像机采集图像，以设定时间间隔对摄像机网络的所有摄像头进行轮询，获取摄像机采集图像。

[0044] S3、人体检测及关节点定位，采用视频分析技术，确定摄像机采集图像中存在的人的数目、位置以及身体关节点的信息。

[0045] S4、关联摄像机局部放大，进行身份确认及多视图属性提取，多视图属性包括姿态属性、运动属性及群组属性，进而从数据库中获取预定义的正常/异常行为列表；具体为：

[0046] S41、确定人体关节点信息后，估计人脸朝向；

[0047] S42、根据摄像机全局标定信息和关联信息，确定获取人脸的最佳摄像机标识；

[0048] S43、在最佳摄像机中进行人脸检测和识别，如果像素值小于设定阈值即人脸较小或者人脸中关键点不能识别即不清晰时，调用PTZ摄像机进行放缩，捕获人脸图像；其中人脸中关键点包括左眼的两个眼角、右眼的两个眼角、鼻尖、左右两侧的嘴角共7个关键点。

[0049] S44、通过人脸识别方法，确认当前行为人的身份信息；

[0050] S45、根据当前行为人的身份信息和所处位置信息，从数据库获取预定义的正常/异常行为列表；

[0051] 步骤 S4中，姿态属性提取为根据步骤S3中获取的关节点信息，确定当前行为人的具体姿态；运动属性提取为根据步骤S3中获取的关节点信息，确定当前行为人的运动属性；群组属性提取为根据步骤S3中获取的人员位置信息，确定当前行为人的群组属性。

[0052] S5、根据步骤S4中获取的人员身份信息以及确定人员的多视图属性，得到其行为对应的预定义的正常/异常行为列表中的模式定义，来确定其行为模式，判断当前人员的行为模式是否异常。

[0053] S6、根据步骤S5的判断结果，如果存在异常，则触发警告，并将行为人的异常行为类别、时长属性录入数据库。

[0054] 在获得清晰人脸图像后，可以通过人脸识别技术，将当前人脸与数据库信息进行比对，获得当前人员的完整信息，包括权限、地点以及异常和正常行为的相关定义。例如：人员A，其准许工作区域为Z1，禁止区域为Z2，准许行为站立、坐，异常行为躺、长时间聊天等。

[0055] 在确定人员信息的基础上，可以采用跟踪技术对多帧图像进行关联，获得人员的轨迹信息和运动模式信息。在此基础上，可以对于人体的属性进行判读。人体属性可以从多个方面进行定义，在此，我们称之为多视图描述，例如姿态属性（视图）、运动属性（视图）和群组属性（视图）等。

[0056] 姿态属性主要描述人员的静态特性，通过对图6所示的关节点相对位置的计算，可以得到当前人员的姿态，例如站立、坐、蹲和躺等。此外，还可以利用人员的关节点数目和可见情况，判断人员的遮挡情况。

[0057] 运动属性是描述人员的动态特性，在人员跟踪的基础上，确定人员的运动模式。例如，可以根据人员的运动快慢，判断人员的全局运动属性静止、走动、跑动等；结合人体检测的关键点定位结果，确定局部运动属性，如手、脚部位的运动快慢等，此类信息可以用于估计人员的工作状态。

[0058] 群组属性用于描述人员的相互关联，根据人员之间的位置关系，可以得到例如单人、双人以及多人等属性；根据人员之间的头部朝向以及手脚部分的行为属性，可以得到群组的行为模式估计。

[0059] 通过对上述三个视图的不同组合，可以得到不同的行为模式。例如单人（群组属性）躺下（姿态属性）长时间静止（运动属性），可以定义为睡觉行为；单人（群组属性）躺下（姿态属性）剧烈运动（运动属性），可以定义为受伤；多人（群组属性）站立（姿态属性）剧烈交互运动（运动属性），可以定义为打架或群体事件。根据人员信息，可以得到其允许和禁止的行为列表，通过比对，可以进行异常行为的检测和判读。

[0060] 在判断异常行为后，将行为人的异常行为类别、时长等属性录入数据库；进一步，可以根据其危害等级，进行相应的联动处理，如记录、提醒或警告等。

[0061] 与现有技术相比，该种基于摄像机网格的多视图协同异常行为检测方法，基于摄像机网格的协同异常检测框架，通过多摄像机联动的方式，能够实现精确的异常检测；并结合身份识别的异常信息关联方法，能够根据个体身份进行异常触发，进行相关统计记录。

[0062] 对于本领域普通技术人员来说，上述的每个功能都可以采用硬件、软件或硬件和软件的适当的组合方式实现，应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。