一种基于超图转变的视频中暴力事件检测方法

摘要

本发明公布了一种基于超图转变模型的视频中暴力事件检测方法，包括前景目标轨迹提取过程、构建超图与相似度量过程和构建超图转变描述子过程；采用超图描述特征点的空间关系，反映运动的姿态信息；为时间序列中相关联的超图之间的转变建模并提出特征描述子HVC，能有效反映动作的强度及稳定性。该方法先对特征点的空间关系以及特征点群体的转变情况分别进行分析，再将其进行联合分析；本发明方法对视频中杂乱的不规律行为敏感，适用于暴力事件的检测。

权利要求

1.一种基于超图转变的视频中暴力事件检测方法，包括前景目标轨迹提取过程、构建超图与相似度量过程和构建超图转变描述子过程，步骤如下：前景目标轨迹提取过程，包括步骤1)～2)：

1)对视频中的时空兴趣点STIP进行提取和跟踪，同时对视频中的运动前景进行检测与分割；

2)将提取得到的兴趣点按兴趣点所属的前景块进行划分，用前景块对可能存在的噪声兴趣点进行过滤，并按照兴趣点跟踪所得到的轨迹估计前景块的运动轨迹；

构建超图与相似度量过程、构建超图转变描述子的过程将每一条前景块轨迹与一组运动序列建立对应关系；对于每一个序列，使用前景块中的动作姿态信息和轨迹中姿态的转变信息对运动序列进行分析；包括步骤3)～4)：

3)构建超图与相似性度量，使用超图对每一个前景块中的兴趣点进行建模，以超图构建当前景块中的动作姿态信息；

对一个前景块si定义超图结构Gi，表示为式4：Gi＝(Vi,Ei,Fi)   (式4)

其中，Vi是图中的兴趣点所构成的集合，Ei是图中的超边，每一条边都是由三个点组成的三元组；Fi是点所对应的特征所组成的集合；

对于两个超图G1和G2定义一个匹配矩阵A来表示他们之间的匹配关系，如式5：N1与N2分别是两个超图中点的个数；不同块中所含姿态的相似性由最佳匹配下的score值表示，通过式6进行计算：score(A)＝∑i,i′,j,j′,k,k′Hi,i′,j,j′,k,k′Xi,i′Xj,j′Xk,k  ′ (式6)其中，Hi,i′,j,j′,k,k′是超边E＝{i,j,k}与E′＝{i′,j′,k′}间的相似度量函数，表示为式

7；相似性越大，score值越高；

其中， 为特征向量，其中aijk定义了三个点的空间关系，如式8：其中，sin(·)为三角正弦函数，为从点pi指向pj的向量；

4)构建特征描述子HVC对超图的转变过程进行表述；

将从点pi到点pi+s速度变化的强度表示为式9：同时通过式10计算轨迹 中各点速度的平均幅值：由所有的轨迹 得到从Gk到Gk+1的HVC描述子；

5)将超图与特征描述子HVC按照前景块轨迹顺序组成超图转变链H-T Chain，用于表述整个运动序列；对H-T Chain进行建模，得到暴力行为的模型，从而实现视频中暴力事件的检测。

2.如权利要求1所述视频中暴力事件检测方法，其特征是，步骤5)具体使用隐式马尔科夫模型HMM对H-T Chain进行建模，得到暴力行为的HMM模型。

3.如权利要求1所述视频中暴力事件检测方法，其特征是，前景目标轨迹提取过程中，通过兴趣点的轨迹估计出前景目标的轨迹；具体地，通过式1将第t帧的前景块记为St：St＝{st,i}(i＝1…n)  (式1)

其中，n是第t帧分割所得前景块的数量；st,i表示为式2：st,i＝{pt,j}(j＝1…m)  (式2)其中，pt,j是前景块中的第j个兴趣点；

当前景块 与前景块 满足式3时，则两个前景块属于同一序列：其中，m1是 中的兴趣点个数，thd是可调节的概率阈值；当 是 在下一帧中追踪到的点时， 等于1，否则为0。

4.如权利要求3所述视频中暴力事件检测方法，其特征是，thd值设置为0.2。

说明书

一种基于超图转变的视频中暴力事件检测方法

技术领域

[0001] 本发明涉及视频数据处理技术，尤其涉及一种基于超图转变的视频中暴力事件检测方法。

背景技术

[0002] 随着现代社会中视频数据的海量增长，视频内容理解成为了一个重要的研究课题，而监控视频中的暴力事件检测对维护公共安全更是有着重大的意义。通过暴力事件检测技术可以对视频中暴力事件进行自动筛选与识别，一方面可以达到对暴力事件的及时发现的目的，另一方面可以有效地对视频大数据中可能危害公共安全的行为进行高效的离线筛选。但是，检测视频中的暴力事件有着很高的技术难度，其技术难点包括以下几个：

[0003] (一)暴力事件具有很强的多态性，难以提取出具有普适性的特征描述；

[0004] (二)可用于训练模型的正样本数据太少；

[0005] (三)监控视频的分辨率较低等。

[0006] 现有的用于视频中行为识别与检测的主流方法大都以深度学习为核心技术，使用深度模型对视频内容进行自动特征提取与识别。但是，由于暴力事件的多态性以及可用的训练数据太少，使得需要海量数据作为支撑的深度学习模型在此问题上难以奏效。因此，对于暴力事件检测，基于局部时空特征描述子的方法依然盛行，其主要思想是通过对局部特征描述子(如，时空兴趣点)之间的关系进行建模从而反映行为特征。

发明内容

[0007] 为了克服上述现有技术的不足，本发明提供一种基于超图转变的视频中暴力事件检测方法，提出暴力事件检测的特征描述子HVC(Histogram of Velocity Changing，超图转变描述子)，先对特征点的空间关系以及特征点群体的转变情况分别进行分析，再将其进行联合分析。本发明方法能有效反映动作的强度及稳定性，对杂乱的不规律行为敏感，对于暴力事件检测具有一定普适性。

[0008] 本发明的原理是：对视频中的时空兴趣点(Spatial Temporal Interest Point,STIP)进行提取和跟踪，同时对视频中的运动前景进行检测与分割；将提取的兴趣点按其所属的前景块进行划分，用前景块对可能存在的噪声兴趣点进行过滤，并按照兴趣点跟踪所得到的轨迹估计前景块的运动轨迹；每一条前景块轨迹对应的是一组运动序列，对于每一个序列，本发明使用前景块中的动作姿态信息及轨迹中姿态的转变信息来对其进行分析，具体如下：先使用超图对每一个前景块中的兴趣点进行建模，以超图构建当前景块中的动作姿态信息；使用本发明中提出的一种新的特征描述子Histogram of Velocity Changing(HVC)对超图的转变过程进行表述；最后将超图与HVC按照前景块轨迹顺序组成链(H-T Chain，Hypergraph-Transition Chain，超图转变链)以表述整个运动序列。可以使用隐式马尔科夫模型(HMM)对H-T Chain进行建模，从而得到暴力行为的HMM模型。

[0009] 本发明提供的技术方案是：

[0010] 一种基于超图转变的视频中暴力事件检测方法，超图转变包括了超图模型的构建及超图转变过程；采用了超图(Hyper-graph)描述特征点的空间关系，从而反映运动的姿态信息，提出暴力事件检测的特征描述子HVC，先对特征点的空间关系以及特征点群体的转变情况分别进行分析，再将其进行联合分析；具体包括如下步骤：

[0011] 1)对视频中的时空兴趣点(Spatial Temporal Interest Point,STIP)进行提取和跟踪，同时对视频中的运动前景进行检测与分割；

[0012] 2)将提取的兴趣点按其所属的前景块进行划分，用前景块对可能存在的噪声兴趣点进行过滤，并按照兴趣点跟踪所得到的轨迹估计前景块的运动轨迹；

[0013] 步骤1)～2)为前景目标轨迹提取过程，具体地，在视频中，尤其是像素较低的监控视频中，相较于目标跟踪，兴趣点的跟踪更为简单鲁棒。本发明通过兴趣点的轨迹估计出前景目标的轨迹。我们通过式1将第t帧的前景块记为St：

[0014] St＝{st,i}(i＝1…n)   (式1)

[0015] 其中，n是第t帧分割所得前景块的数量；st,i表示为式2：

[0016] st,i＝{pt,j}(j＝1…m)   (式2)

[0017] 其中，pt,j是前景块中的第j个兴趣点。

[0018] 当前景块 与前景块 满足式3时，我们认为两个前景块属于同一序列：

[0019]

[0020] 其中，m1是 中的兴趣点个数，thd是可以调节的概率阈值。当 是 在下一帧中追踪到的点时， 等于1，否则为0。

[0021] 3)每一条前景块轨迹对应的是一组运动序列，对于每一个序列，使用前景块中的动作姿态信息及轨迹中姿态的转变信息来对其进行分析；具体如下：

[0022] 31)构建超图与相似性度量，使用超图对每一个前景块中的兴趣点进行建模，以超图构建当前景块中的动作姿态信息；

[0023] 超图的构建与相似度量，具体地：

[0024] 本发明使用超图对前景块中所包含的运动姿态进行建模，超图具有良好的仿射不变性；。对于一个前景块si，我们为其定义超图结构Gi，表示为式4：

[0025] Gi＝(Vi,Ei,Fi)   (式4)

[0026] 其中，Vi是图中的兴趣点所构成的集合，Ei是图中的超边，每一条边都是由三个点组成的三元组；Fi是点所对应的特征所组成的集合。对于两个超图(如G1和G2)，我们定义一个匹配矩阵A来表示他们之间的匹配关系，如式5：

[0027]

[0028] N1与N2分别是两个超图中点的个数。不同块中所含姿态的相似性由最佳匹配下的score值表示，通过式6进行计算：

[0029] score(A)＝∑i,i′,j,j′,k,k′Hi,i′,j,j′,k,k′Xi,i′Xj,j′Xk,k′   (式6)[0030] 其中，Hi,i′,j,j′,k,k′是超边E＝{i,j,k}与E′＝{i′,j′,k′}间的相似度量函数，表示为式7。相似性越大，score值越高。

[0031]

[0032] 其中， 为特征向量，其中aijk定义了三个点的空间关系，如式8：

[0033]

[0034] 其中，sin(·)为三角正弦函数，为从点pi指向pj的向量。

[0035] 32)构建新的特征描述子Histogram of Velocity Changing(HVC)对超图的转变过程进行表述；HVC能有效反映动作的强度及稳定性，对杂乱的不规律行为敏感，适用于暴力事件的检测。

[0036] 构建HVC如图2所示，图中vi是兴趣点pi处的光流，s是光流计算时相隔的步长。从点pi到点pi+s速度变化的强度，表示为式9：

[0037]

[0038] 同时通过式10计算轨迹 中各点速度的平均幅值：

[0039]

[0040] 最终由所有的轨迹 得到从Gk到Gk+1的HVC描述子。

[0041] 33)最后将超图与HVC按照前景块轨迹顺序组成链(H-T Chain)以表述整个运动序列，对H-T Chain进行建模，得到暴力行为的模型，实现视频中暴力事件检测。

[0042] 可以使用隐式马尔科夫模型(HMM)对H-T Chain进行建模，从而得到暴力行为的HMM模型。

[0043] 与现有技术相比，本发明的有益效果是：

[0044] 本发明方法针对局部特征描述子之间的关系进行建模，提供一种基于超图转变的视频中暴力事件检测方法。与现有方法不同，本发明采用了超图(Hyper-graph)来描述特征点的空间关系从而反映运动的姿态信息。相较于别的图模型，超图具有良好的仿射不变性，在监控视频这一存在多视角的情景下有着更好的表现。同时，为了进一步挖掘运动信息，本发明方法为时间序列中相关联的超图之间的转变进行建模并为之提出一个新的特征描述子HVC。HVC能有效反映动作的强度及稳定性，对杂乱的不规律行为敏感，适用于暴力事件的检测。本发明方法具有如下特点：

[0045] (一)首次使用超图的转变过程进行视频中暴力事件的检测；

[0046] (二)先对特征点的空间关系以及特征点群体的转变情况分别进行分析，再将其进行联合分析；

[0047] (三)提出了一种能有效反映动作的强度及稳定性，对杂乱的不规律行为敏感，适用于暴力事件检测的特征描述子HVC。

[0048] 本发明所描述的算法在UT-Interaction数据集及BEHAVE数据集上进行了测试，结果表明算法的检测效果优于目前现有方法。

附图说明

[0049] 图1为本发明方法的整体流程框图。

[0050] 图2为HVC的构建示意图；

[0051] 其中，vi是兴趣点pi处的光流，s是光流计算时相隔的步长；Frames为视频帧；Gk和Gk+1分别为编号k和k+1的超图。

[0052] 图3是本发明具体实施中不同行为的HVC描述子可视化示例；

[0053] 其中，(a)～(d)分别对应打架、跑、同行、站立徘徊行为的HVC描述子。

[0054] 图4是采用本发明方法进行检测实施的示意图；

[0055] 其中，(1)为从滑动窗口当前所观测到的视频片段中跟踪得到的一条运动轨迹；在(2)中，上层是H-T Chain的示意图，其中Gi是序列中的第i个超图；下层是HT Chain所对应的HMM模型中的观测序列，o为观测值；上下层之间的箭头表明H-T Chain中各个部分与HMM观测序列中各个观测值的对应关系。

具体实施方式

[0056] 下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

[0057] 本发明提供一种基于超图转变的视频中暴力事件检测方法，从姿态信息与姿态的转变过程入手进行暴力事件的检测。首先从视频片段中提取出时空兴趣点并对兴趣点进行跟踪。同时，使用前景分割算法或前景检测算法将运动的前景物体从背景中分割出来并将兴趣点与所属的前景块相关联。然后，用超图对每一个前景块中的兴趣点进行建模，并根据兴趣点的跟踪结果估计前景块所对应目标的运动轨迹。对于每一条运动轨迹，使用HVC对超图的转变进行特征表述。最终，为每一条运动轨迹建立一个H-T Chain模型，并使用隐式马尔可夫模型进行暴力检测。本发明方法的整体流程框图如图1所示。本发明基于超图转变的视频中暴力事件检测方法核心是构建超图转变模型，具体实施中，方法包括：前景目标轨迹提取、超图的构建与相似度量、超图转变描述子(HVC)构建。

[0058] 1)前景目标轨迹提取：

[0059] 在视频中，尤其是像素较低的监控视频中，相较于目标跟踪，兴趣点的跟踪更为简单鲁棒。本发明通过兴趣点的轨迹估计出前景目标的轨迹。我们通过式1将第t帧的前景块记为St：

[0060] St＝{st,i}(i＝1…n)   (式1)

[0061] 其中，n是第t帧分割所得前景块的数量；st,i表示为式2：

[0062] st,i＝{pt,j}(j＝1…m)   (式2)

[0063] 其中，pt,j是前景块中的第j个兴趣点。

[0064] 当前景块 与前景块 满足式3时，我们认为两个前景块属于同一序列：

[0065]

[0066] 其中，m1是 中的兴趣点个数，thd是可以调节的概率阈值。当 是 在下一帧中追踪到的点时， 等于1，否则为0。

[0067] 2)超图的构建与相似度量：

[0068] 本发明使用超图对前景块中所包含的运动姿态进行建模。对于一个前景块si，我们为其定义超图结构Gi，表示为式4：

[0069] Gi＝(Vi,Ei,Fi)   (式4)

[0070] 其中，Vi是图中的兴趣点所构成的集合，Ei是图中的超边，每一条边都是由三个点组成的三元组；Fi是点所对应的特征所组成的集合。对于两个超图(如G1和G2)，我们定义一个匹配矩阵A来表示他们之间的匹配关系，如式5：

[0071]

[0072] N1与N2分别是两个超图中点的个数。不同块中所含姿态的相似性由最佳匹配下的score值表示，通过式6进行计算：

[0073] score(A)＝∑i,i′,j,j′,k,k′Hi,i′,j,j′,k,k′Xi,i′Xj,j′Xk,k   ′ (式6)[0074] 其中，Hi,i′,j,j′,k,k′是超边E＝{i,j,k}与E′＝{i′,j′,k′}间的相似度量函数，表示为式7。相似性越大，score值越高。

[0075]

[0076] 其中， 为特征向量，其中aijk定义了三个点的空间关系，如式8：

[0077]

[0078] 其中，sin(·)为三角正弦函数，为从点pi指向pj的向量。

[0079] 3)超图转变描述子Histogram of Velocity Changing(HVC)构建：

[0080] 图2为HVC的构建示意图，图中vi是兴趣点pi处的光流，s是光流计算时相隔的步长。我们定义从点pi到点pi+s速度变化的强度，表示为式9：

[0081]

[0082] 同时通过式10计算轨迹 中各点速度的平均幅值：

[0083]

[0084] 最终由所有的轨迹 得到从Gk到Gk+1的HVC描述子。图3是不同行为的HVC描述子可视化示例，从左到右分别对应打架，跑，同行与站立徘徊。

[0085] 以下以BEHAVE数据集为例，来说明本发明算法如何在实际中使用。

[0086] BEHAVE是一个包含多人互动的室外监控场景下的视频数据集，其中主要包含有聚集，分开，徘徊，同行，追打等行为。我们为每个动作类别训练独自的HMM模型，并在最终的识别结果上做二分类处理。在轨迹提取阶段，我们将thd值设为0.2；采用谱聚类算法对超图进行聚类，聚类中心数量为25，从而构建词典。在HVC的计算中，我们将设置量化级数M＝5，I＝12，并建立了包含15个词汇的词典。我们使用大小为80帧的窗口，以20帧为步长在视频中滑动。在每一个块轨迹中，以间隔为3帧构建超图，并以9帧为区间，3帧为步长计算HVC。最终用H-T Chain作为块轨迹的特征描述，并将H-T Chain送入HMM模型进行处理，从而对视频中所有的序列进行分析。其检测实施过程如图4所示。其中，(1)中为从滑动窗口当前所观测到的视频片段中跟踪得到的一条运动轨迹。在(2)中，上层是H-T Chain的示意图，其中Gi是序列中的第i个超图；下层是HT Chain所对应的HMM模型中的观测序列，o为观测值。上下层之间的箭头表明的是H-T Chain中各个部分与HMM观测序列中各个观测值的对应关系。

[0087] 需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。