高空抛物检测方法及装置转让专利
申请号 : CN202110634209.3
文献号 : CN113256689B
文献日 : 2021-10-12
发明人 : 杨帆 , 白立群 , 胡建国 , 潘鑫淼
申请人 : 南京甄视智能科技有限公司
摘要 :
权利要求 :
1.一种高空抛物检测方法,其特征在于,包括以下步骤:对监控视频图像进行前景检测,并对所检测出的前景目标在下一帧中的位置分别进行卡尔曼预测;使用改进匈牙利算法对每一帧监控视频图像中的前景检测目标和卡尔曼预测结果进行匹配,并用匹配到的前景检测目标对相应的卡尔曼预测结果进行更新,所述改进匈牙利算法中任一前景检测目标与任一卡尔曼预测结果之间的匹配代价Cost=(1‑IoU)×Dist,其中的IoU和Dist分别为所述前景检测目标的检测框与卡尔曼预测结果的跟踪框之间的交并比和距离;根据卡尔曼预测结果所形成的目标轨迹判断是否为高空抛物;所述改进匈牙利算法的匹配过程满足以下约束条件:与任一坐标为(tx,ty)的卡尔曼预测结果相匹配的前景检测目标应处于以下方程所确定的偏心椭圆区域中:
其中,a=K1×s,b=K2×s,K1>K2>0,s为所述卡尔曼预测结果相对于上一帧监控视频图像中所对应的卡尔曼预测结果的位移,θ为所述卡尔曼预测结果和上一帧监控视频图像中所对应的卡尔曼预测结果之间连线与水平方向的夹角,d为所述卡尔曼预测结果和上一帧监控视频图像中所对应的卡尔曼预测结果之间的L2距离。
2.如权利要求1所述高空抛物检测方法,其特征在于,根据卡尔曼预测结果所形成的目标轨迹判断是否为高空抛物,具体为将同时满足以下三个条件的目标轨迹判定为高空抛物:轨迹中方向向下的轨迹分段超过预设比例;相邻轨迹点间位移连续增大且这些轨迹点在所有轨迹点中所占比例超过预设比例;轨迹中首、尾轨迹点间的水平距离大于等于预设距离阈值。
3.一种高空抛物检测装置,其特征在于,包括:前景检测模块,用于对监控视频图像进行前景检测;
卡尔曼跟踪模块,用于对所检测出的前景目标在下一帧中的位置分别进行卡尔曼预测;
匹配及更新模块,用于使用改进匈牙利算法对每一帧监控视频图像中的前景检测目标和卡尔曼预测结果进行匹配,并用匹配到的前景检测目标对相应的卡尔曼预测结果进行更新,所述改进匈牙利算法中任一前景检测目标与任一卡尔曼预测结果之间的匹配代价Cost=(1‑IoU)×Dist,其中的IoU和Dist分别为所述前景检测目标的检测框与卡尔曼预测结果的跟踪框之间的交并比和距离;所述改进匈牙利算法的匹配过程满足以下约束条件:与任一坐标为(tx,ty)的卡尔曼预测结果匹配的前景检测目标应处于以下方程所确定的偏心椭圆区域中:
其中,a=K1×s,b=K2×s,K1>K2>0,s为所述卡尔曼预测结果相对于上一帧监控视频图像中所对应的卡尔曼预测结果的位移,θ为所述卡尔曼预测结果和上一帧监控视频图像中所对应的卡尔曼预测结果之间连线与水平方向的夹角,d为所述卡尔曼预测结果和上一帧监控视频图像中所对应的卡尔曼预测结果之间的L2距离;
判断模块,用于根据卡尔曼预测结果所形成的目标轨迹判断是否为高空抛物。
4.如权利要求3所述高空抛物检测装置,其特征在于,所述判断模块将同时满足以下三个条件的目标轨迹判定为高空抛物:轨迹中方向向下的轨迹分段超过预设比例;相邻轨迹点间位移连续增大且这些轨迹点在所有轨迹点中所占比例超过预设比例;轨迹中首、尾轨迹点间的水平距离大于等于预设距离阈值。
说明书 :
高空抛物检测方法及装置
技术领域
背景技术
时间短,使得执法部门很难追究抛物者的法律责任。因此,采用监控视频进行高空抛物的自
动检测也就成为一种最可行的手段。
度下落快,普通监控摄像机所拍摄的轨迹点较少等特点。这些特点限制了现有多目标跟踪
算法在高空抛物检测中的实际效果。
卡尔曼跟踪器、卡尔曼追踪器)对其后续轨迹进行预测,并以前景检测结果作为状态观测量
对卡尔曼预测结果进行更新,最终根据卡尔曼预测结果得到抛物轨迹。这一方法中极为重
要的一个环节是将每帧图像中的前景检测目标与卡尔曼预测结果进行匹配,即确定前景检
测目标与卡尔曼预测结果之间的关联性。现有技术通常采用匈牙利算法来进行所述匹配,
并以检测框与追踪框之间的1‑IoU(Intersection over Union,交并比)作为追踪代价来做
最大匹配。然而经大量实践发现,此种技术方案并不适用于目标极小的高空抛物检测。根据
IoU的定义,两个矩形框的交与两个矩形框的并的比值。IoU必须两个矩形框相交才能大于
0,否则都无限趋近于0。高空抛物本就存在目标极小,速度下落快的情况,拍摄的轨迹点较
少等情况。很多情况下,检测框与追踪框根本无法相交,这就使得代价矩阵始终为1,导致无
法进行匹配,最终导致高空抛物小目标检出率极低。
发明内容
在干扰环境下对小目标的检出率。
控视频图像中的前景检测目标和卡尔曼预测结果进行匹配,并用匹配到的前景检测目标对
相应的卡尔曼预测结果进行更新,所述改进匈牙利算法中任一前景检测目标与任一卡尔曼
预测结果之间的匹配代价Cost=(1‑IoU)×Dist,其中的IoU和Dist分别为所述前景检测目
标的检测框与卡尔曼预测结果的跟踪框之间的交并比和距离;根据卡尔曼预测结果所形成
的目标轨迹判断是否为高空抛物。
中:
像中所对应的卡尔曼预测结果之间连线与水平方向的夹角,d为所述卡尔曼预测结果和上
一帧监控视频图像中所对应的卡尔曼预测结果之间的L2距离。
预设比例;相邻轨迹点间位移连续增大且这些轨迹点在所有轨迹点中所占比例超过预设比
例;轨迹中首、尾轨迹点间的水平距离大于等于预设距离阈值。
行更新,所述改进匈牙利算法中任一前景检测目标与任一卡尔曼预测结果之间的匹配代价
Cost=(1‑IoU)×Dist,其中的IoU和Dist分别为所述前景检测目标的检测框与卡尔曼预测
结果的跟踪框之间的交并比和距离;
中:
像中所对应的卡尔曼预测结果之间连线与水平方向的夹角,d为所述卡尔曼预测结果和上
一帧监控视频图像中所对应的卡尔曼预测结果之间的L2距离。
轨迹点中所占比例超过预设比例;轨迹中首、尾轨迹点间的水平距离大于等于预设距离阈
值。
进匈牙利算法进行前景检测目标与卡尔曼预测结果的匹配,进而大幅提高高空抛物检测在
干扰环境下对小目标的检出率。
扰,另一方面可大幅减小匹配搜索区域,降低匹配算法的运行时间。
物,从而可大幅降低误检率。
附图说明
具体实施方式
配的影响。
曼预测框几乎无法与检测框发生重叠进一步导致无法匹配。如果单纯使用检测框与追踪框
的距离作为匹配的代价函数,在纯净无干扰的情况下可以有效的进行追踪,但如果存在频
繁扰动、衣服飘动、雨滴、雪花、夜间灰尘等情况时,距离会直接影响匹配的准确性,导致误
匹配到其他物体。因此,本发明通过将检测框与追踪框的交并比和距离进行有机融合来构
造新的匹配代价函数。
匈牙利算法对每一帧监控视频图像中的前景检测目标和卡尔曼预测结果进行匹配,并用匹
配到的前景检测目标对相应的卡尔曼预测结果进行更新,所述改进匈牙利算法中任一前景
检测目标与任一卡尔曼预测结果之间的匹配代价Cost=(1‑IoU)×Dist,其中的IoU和Dist
分别为所述前景检测目标的检测框与卡尔曼预测结果的跟踪框之间的交并比和距离;根据
卡尔曼预测结果所形成的目标轨迹判断是否为高空抛物。
行更新,所述改进匈牙利算法中任一前景检测目标与任一卡尔曼预测结果之间的匹配代价
Cost=(1‑IoU)×Dist,其中的IoU和Dist分别为所述前景检测目标的检测框与卡尔曼预测
结果的跟踪框之间的交并比和距离;
为匹配约束条件,一方面更利于高速下落物体的匹配同时过滤掉非抛物的干扰,另一方面
可大幅减小匹配搜索区域,降低匹配算法的运行时间。
像中所对应的卡尔曼预测结果之间连线与水平方向的夹角,d为所述卡尔曼预测结果和上
一帧监控视频图像中所对应的卡尔曼预测结果之间的L2距离。
如下:所述根据卡尔曼预测结果所形成的目标轨迹判断是否为高空抛物,具体为将同时满
足以下三个条件的目标轨迹判定为高空抛物:轨迹中方向向下的轨迹分段超过预设比例;
相邻轨迹点间位移连续增大且这些轨迹点在所有轨迹点中所占比例超过预设比例;轨迹中
首、尾轨迹点间的水平距离大于等于预设距离阈值。
框,其中的坐标为每个检测框的左上角和右下角坐标。本发明的前景检测可采用现有或将
有的各种前景检测方法,包括但不限于帧插、场景建模、深度学习等检测方法;此外,本发明
对于检测框的质量没有特殊要求。
标框和速度等参数,预测出当前帧的目标框位置和速度等参数。更新:预测值和观测值,两
个正态分布的状态进行线性加权,得到目前系统预测的状态。
作为跟踪屏蔽区域,从跟踪屏蔽区域中检测出的前景目标不再进行后续的跟踪)选出其中
的m个检测目标来分别进行卡尔曼预测。为这m个检测目标创建m个卡尔曼追踪器 ,获取
初始卡尔曼预测结果 。
增广路径,它是一种用增广路径求二分图最大匹配的算法。目前已在多目标跟踪算法中得
到了大量应用。
物小目标检出率极低。本发明对此进行了改进,在匹配代价函数中引入了距离,即任一前景
检测目标与任一卡尔曼预测结果之间的匹配代价Cost=(1‑IoU)×Dist,其中的IoU和Dist
分别为所述前景检测目标的检测框与卡尔曼预测结果的跟踪框之间的交并比和距离。所述
距离可以采用欧式距离或L2距离等距离度量方式。
间的交并比,L2(center(det ), center(pred))表示计算第n个前景目标检测框中心与第
m个卡尔曼预测框中心的欧式距离。
果与检测结果之间匹配代价的一个m×n的代价矩阵Cost :
离和重叠度的双重因素。使用此代价函数显著改善了异常匹配的情况,同时极大提升了小
目标的追踪问题。例如图1所示的情况,匹配区域内有两个检出物体D1、D2且距离追踪器预
测结果T的中心距离分别为M1、M2。当M1 = M2或者两者较为相近时,只使用距离进行匹配会
大概率匹配错误并跟踪丢失,而使用上面提出的代价矩阵求取方式,假设IoU(T, D1)=0.1,
IoU(T, D2) = 0,按照上面公式,计算得到cost(T,D1)=0.9*M1,而cost(T,D2)=1*M2,最小
匹配向着代价最低的方向匹配完成对追踪器和检测框的正确匹配。
滤掉非抛物的干扰,另一方面可大幅减小匹配搜索区域,降低匹配算法的运行时间。
移,k1为位移的超参,用于控制最大匹配深度,用来更好匹配高速运动的抛物轨迹,k2用于
表示扰动的范围,通常在场景中存在飘动的物体时适当增加,存在有一定重量物体时适度
减小,用来控制不必要的误检,例如树叶、所料袋等;θ为所述卡尔曼预测结果和上一帧监控
视频图像中所对应的卡尔曼预测结果之间连线与水平方向的夹角;d为所述卡尔曼预测结
果和上一帧监控视频图像中所对应的卡尔曼预测结果之间的L2距离,表示椭圆在长轴方向
上的偏移量。
列即可到一系列目标物体的运动轨迹。
迹分段比例作为其中一项判定条件。
地时的速度,因此本发明通过计算轨迹中两两位移是否增加来判断抛物是否向下加速,当
抛物持续向下加速次数超过预设比例则判断为抛物。
有利于消除此类情况。