一种交通事件检测方法、系统及电子设备转让专利
申请号 : CN202110051358.7
文献号 : CN112367475B
文献日 : 2021-03-30
发明人 : 林亦宁
申请人 : 上海闪马智能科技有限公司
摘要 :
权利要求 :
1.一种交通事件检测方法,其特征在于:所述方法包括:S1、预先设置交通监控摄像头的多个长距离预置位;
S2、根据预设巡航规则控制所述监控摄像头巡航至指定的所述长距离预置位;其中,在巡航过程中执行预置位校验算法,所述预置位校验算法用于检测摄像头与长距离预置位之间的视角偏移;
S3、在所述摄像头巡航至指定预置位后,执行画面抖动检测算法以获得抖动数据;
S4、采用深度神经网络模型进行交通目标的检测,采用跟踪算法进一步获得所述交通目标的运动估计随机量,然后将步骤S3中的所述抖动数据补偿到所述运动估计随机量上,再采用匈牙利关联算法进行多目标全局跟踪以获得多目标的时空轨迹;
S5、基于所述时空轨迹及道路区域规则进行逻辑判断,从而得到交通事件的检测结果;
所述画面抖动检测算法,具体为:采用光流法计算帧间的全局运动向量,展开时间和空间轴上的统计得到摄像头的抖动数据,包括抖动幅度和抖动方向;
所述采用光流法计算帧间的全局运动向量,展开时间和空间轴上的统计得到摄像头的抖动数据,包括抖动幅度和抖动方向,包括:将视频图像画面的左右两侧预设宽度的范围作为监测区域,针对两侧的所述监测区域,分别采用光流法计算帧间的全局运动向量,分别展开时间和空间轴上的统计得到摄像头的抖动数据,包括抖动幅度和抖动方向;
若左右两侧监测区域的抖动幅度差值小于阈值thr4且抖动方向一致,则判定存在抖动,并保存所述抖动数据。
2.根据权利要求1所述的方法,其特征在于:所述预设巡航规则包括:所述摄像头的预设预置位巡航顺序,或者人工输入的预置位巡航指令,或者其它摄像头传输的辅助检测请求。
3.根据权利要求2所述的方法,其特征在于:所述其它摄像头传输的辅助检测请求中包括请求检测的监控位置;所述摄像头基于本身的位置及所述监控位置换算出对应的长距离预置位,然后巡航至该长距离预置位。
4.根据权利要求1所述的方法,其特征在于:所述方法还包括:S02、从摄像头周期性获取PTZ坐标,并与初始化时保存记录的所述长距离预置位坐标比对,若坐标距离小于阈值thr1且持续n个采样周期内坐标抖动幅度不大于阈值thr2,则判定到达指定的所述长距离预置位,执行步骤S2。
5.根据权利要求1所述的方法,其特征在于:所述预置位校验算法,具体为:使用预先训练好的深度学习模型提取当前画面的车道线,并同时进行车道线特征描述;将当前画面的车道线特征描述向量与初始化时保存记录的所述长距离预置位画面的车道线特征描述向量进行比较,若向量距离大于阈值thr3,则表示摄像头偏移量过大,提示人工调整摄像头;若向量距离小于阈值thr3,则表示摄像头偏移量在容忍范围内,根据偏移量自动调整监控图像中的布控线。
6.根据权利要求1所述的方法,其特征在于:所述补偿采用最小二乘曲线拟合法或均值滤波法或卡尔曼滤波法。
7.一种交通事件检测系统,其特征在于:所述系统包括:设置模块,用于预先设置交通监控摄像头的多个长距离预置位;
巡航控制模块,用于根据预设巡航规则控制所述监控摄像头巡航至指定的所述长距离预置位;
预置位校验模块,用于在巡航过程中执行预置位校验算法;
画面抖动检测模块,用于在所述监控摄像头巡航至指定预置位后,执行画面抖动检测算法以获得抖动数据;其中,所述画面抖动检测算法,具体为:采用光流法计算帧间的全局运动向量,展开时间和空间轴上的统计得到摄像头的抖动数据,包括抖动幅度和抖动方向;
所述采用光流法计算帧间的全局运动向量,展开时间和空间轴上的统计得到摄像头的抖动数据,包括抖动幅度和抖动方向,包括:将视频图像画面的左右两侧预设宽度的范围作为监测区域,针对两侧的所述监测区域,分别采用光流法计算帧间的全局运动向量,分别展开时间和空间轴上的统计得到摄像头的抖动数据,包括抖动幅度和抖动方向;
若左右两侧监测区域的抖动幅度差值小于阈值thr4且抖动方向一致,则判定存在抖动,并保存所述抖动数据;
交通检测跟踪模块,用于采用深度神经网络模型进行交通目标的检测,采用跟踪算法进一步获得所述交通目标的运动估计随机量,然后将所述抖动数据补偿到所述运动估计随机量上,再采用匈牙利关联算法进行多目标全局跟踪以获得多目标的时空轨迹;
交通事件逻辑判断模块,用于基于所述时空轨迹及道路区域规则进行逻辑判断,从而得到交通事件的检测结果。
8.一种电子设备,其特征在于:所述设备包括:存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行如权利要求1‑6任一项所述的交通事件检测方法。
说明书 :
一种交通事件检测方法、系统及电子设备
技术领域
背景技术
化和智能化是其中非常重要的环节。
排监控人员操作云台来观察各个方向的监控视频,人为判断是否有拥堵、异常停车、抛洒
物、行人闯入等异常交通事件发生。然而,人工监控方式一方面会消耗大量人力物力资源,
更重要的是,有研究数据表明人眼盯着画面连续观看20秒以上,会遗漏其中80%的信息,因
此这种人工监控的方式还存在大量的事件漏报问题。
装置,先对获取的视频图像做帧差运算,划分视频图像的运动区域,再对已划分的各运动区
域进行检测,识别物体是车辆或是行人,根据识别到的物体对象,识别异常事件为逆行或拥
堵或抛洒或行人闯入;但是这个方法无法对抗摄像头视角变化,而且用帧差运算结果提取
目标的检出率较低,误检较高,且抗干扰性差。CN107590834A 一种道路交通事件视频检测
方法及系统,利用PTZ摄像机的多预置位训练能力来扩大事件检测的覆盖范围,在每个预置
位通过背景建模的方式来提取目标进行事件检测,但是,该方案对预置位的视角并没有感
知,摄像头在巡航过程中容易发生坐标的偏移从而导致原本的预置位路面结构模型失效。
大视野与识别准确度之间做到较好的平衡。
发明内容
上,再采用匈牙利关联算法进行多目标全局跟踪以获得多目标的时空轨迹;
预置位。
则判定到达指定的所述长距离预置位,执行步骤S2。
车道线特征描述向量进行比较,若向量距离大于阈值thr3,则表示摄像头偏移量过大,提示
人工调整摄像头;若向量距离小于阈值thr3,则表示摄像头偏移量在容忍范围内,根据偏移
量自动调整监控图像中的布控线。
像头的抖动数据,包括抖动幅度和抖动方向;
所述运动估计随机量上,再采用匈牙利关联算法进行多目标全局跟踪以获得多目标的时空
轨迹;
抖动情况,进而进行后续的抖动补偿操作。避免了基于全图进行抖动检测所带来的误判问
题,提高了抖动检测准确性。
附图说明
范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这
些附图获得其他相关的附图。
具体实施方式
本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施
例的组件可以以各种不同的配置来布置和设计。
技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范
围。
位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元
件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
上,再采用匈牙利关联算法进行多目标全局跟踪以获得多目标的时空轨迹;
而可以将事件检测范围突破到500米,相对于现有技术来说,显著提高了交通事件的检测范
围,为更为准确、全面的交通监控提供了设备基础。但是设置长距离预置位之后又会导致相
机抖动的加剧,于是,本申请又增加了画面抖动检测和补偿来降低相机抖动带来的图像模
糊和跟踪失效情况的发生,显著提高了交通监控的准确性。
交通指示行驶的违章。
令控制巡航方案又可以分为人工触发和其它摄像头请求触发两种,具体而言:监控工作人
员根据监控需要而实时输入的预置位巡航指令,从而控制摄像头暂停固定巡航顺序方案而
行进至指定的预置位;以及,交通监控的协同监控是目前智能交通的重要内容,例如,某个
路口的摄像头检测识别到了交通异常情况的存在,但是由于光线、角度、遮挡等原因而无法
获得对象物的身份信息(例如车牌号),此时,该摄像头可以向周边摄像头传输的辅助检测
请求,例如周边设置有一个如本申请的方案的摄像头,其长距离预置位可以覆盖到该路口,
尤其是当其拍摄角度理想时为更佳,此时就可以由该摄像头拍摄、识别获得对象物的身份
信息在内的检测结果,从而实现协同监控。
预置位。
的监控范围内以及应当基于哪个预置位进行监控。另外,对于例如城镇区域,还存在建筑物
遮挡的问题,所以,还可以将建筑物的位置及三维尺寸也预设进所述预设关系之中,然后再
基于摄像头的位置、安装高度、监控视野来确定本摄像头是否真的能够覆盖所述请求的监
控位置,或者发出请求的摄像头也可以基于周边摄像头的位置、安装高度、监控视野来确定
周边摄像头是否真的能够覆盖所述请求的监控位置,并从中选择合适的周边摄像头以发出
辅助检测请求。
则判定到达指定的所述长距离预置位,执行步骤S2。
方法能否获得准确检测结果的重要前提,需要对其是否到位先进行检测。在具体实施时,可
在前述步骤S1中预设各个长距离预置位的坐标,然后实时检测获得摄像头的PTZ(即Pan/
Tilt/Zoom的简写,代表云台全方位(上下、左右)移动及镜头变倍、变焦控制)坐标,当二者
的坐标距离小于阈值thr1且持续n个采样周期内坐标抖动幅度不大于阈值thr2时,说明摄
像头已经到达指定预置位且已经稳定在该预置位,可以进行后续的检测流程。
道线特征描述向量进行比较,若向量距离大于阈值thr3,则表示摄像头偏移量过大,提示人
工调整摄像头;若向量距离小于阈值thr3,则表示摄像头偏移量在容忍范围内,根据偏移量
自动调整监控图像中的布控线。
会出现转动的位置与设定预置位有偏移,而且这种偏移会随时间累积,从而导致设定的预
置位失效。针对该问题,本申请又增加了一个基于道路分割模型的预置位校验步骤,用来计
算球机位置与设定预置位之间的视角偏移;如果视角偏移在允许范围之内,则通过道路分
割模型对原本的区域布控进行修正,使得事件检测仍然得以正常进行,如果视角偏移过大,
则触发预置位偏移事件告警,以提醒工作人员进行处理。
械部件磨损等原因而出现的偏移情况来说,球机实际上已经无法在物理上准确的行进至指
定预置位了,所以,此种情况下就无法解决视角偏移的问题。而本申请是采用了更为主动的
方式,即先经过步骤S02来确保摄像头已经运动至预置位且满足偏差条件(即阈值thr1、
thr2),此时如何基于与车道线的向量比对仍然存在视角偏移情况时,主动小幅度的调整布
控线的位置以克服检测到的视角偏差,该方案更具操作性,且可以避免现有技术中上述克
服方式的缺陷。
像头的抖动数据,包括抖动幅度和抖动方向;
场景中的车辆时刻处于运动状态,于是帧间全局运动向量会始终处于变动状态,如此容易
引起抖动误判,而通过前景检测来排除运动车辆的影响的方案,显然又会大幅增加计算难
度及负荷,尤其当道路发生拥挤车辆较多时,实用意义较低。针对上述现实问题,由于视频
监控画面的左右两侧为非机动车道区域,通常情况下该区域不会出现太大的变动,所以,本
申请将视频监控画面分为左右两侧,并分别对左右两侧图像的预定区域进行全局运动向量
的检测,如果两侧的抖动幅度差值在预设范围内且抖动方向也一致,则说明确实发生了抖
动情况,接着将该抖动数据进行保存以用于后续的图像补偿。
定区域。但是,在实际的交通场景中,路边经常会停有车辆,尤其是当停泊车辆过多的时候
会将整个的机动车车道边线全部遮盖起来,针对该情况,还可以识别监控图像中的若干车
辆的平均宽度及其与整个监控画面宽度的比值,同时还获取摄像头当前所处的预置位信
息,综合上述信息来将从监控画面侧边沿至监控画面内部方向的预定范围作为所述预定区
域。举例而言,当前监控图像中车辆的宽度均值与监控画面宽度的比值为1:α,同时基于预
置位信息查表获得对应的系数β,于是,预定区域的范围即为监控画面宽度的β*(1/α);其
中,越是长距离的预置位对应的系数β越小,且所有系数均小于等于1,其含义:越是长距离
的预置位,监控图像被拉的就越近,监控视野也就越小,相应地机动车道以外的区域所占面
积也就越小,所以设置更小的系数β以使预定区域也对应小一些;反之,对于近距离的预置
位,则其系数β越大,以在大视野中的圈定更大范围的预定区域。另外,系数β是非线性设置
的。
计随机量上,再采用匈牙利关联算法进行多目标全局跟踪以获得多目标的时空轨迹;
而可以将事件检测范围突破到500米,相对于现有技术来说,显著提高了交通事件的检测范
围,为更为准确、全面的交通监控提供了设备基础。但是设置长距离预置位之后又会导致相
机抖动的加剧,于是,本申请又增加了画面抖动检测和补偿来降低相机抖动带来的图像模
糊和跟踪失效情况的发生,显著提高了交通监控的准确性。
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为
准。