基于H.264/AVC加密视频的运动异常检测方法

摘要

本发明提供一种基于H.264/AVC加密视频的运动异常检测方法，本发明通过对加密视频进行信息提取，对提取的信息进行特征计算，再利用训练集提取的特征，训练模型，最后，利用训练好的模型，进行异常检测。该方法采用直接在压缩码流上处理的方法使得算法效率更高，更适应于实际应用场景，同时根据加密码流结构的特性进行信息提取，为应对加密视频下异常运动的特点，重新设计了特征提取方法，使得异常检测能够在加密视频上实现，利用物理世界物体运动的特性，减少加密视频检测结果的离散问题，进一步提高了检测的准确率，从而可以为云监控系统、云存储系统等应用提供帮助。

权利要求

1.一种基于H.264/AVC加密视频的运动异常检测方法，其特征在于，包括以下步骤：S1：对加密视频进行信息提取；

S2：对提取的信息进行特征计算；

S3：利用训练集提取的特征，训练模型；

S4：利用训练好的模型，进行异常检测；

所述步骤S1的具体过程如下：S11：根据码流结构中的宏块划分，获取每个宏块比特量的大小，记为sij；

S12：根据码流结构中的子块划分，获取每个宏块划分为子宏块的方式，将对应的分块级别记为pij；

S13：对携带运动向量残差的宏块，根据码字长度估计其大小，公式为：其中，L为运动向量残差的码字长度，当L＝1时，所述步骤S2的具体过程如下：S21：对提取出的信息，进行时域上的中值滤波，令γ为视频编码的帧率，那么滤波的窗口大小为γ/5；

S22：对每一类信息，按帧进行整合，得到其在每一帧的大小，其公式为其中，Si表示第i帧比特量，Pi表示第i帧分块级别，Mi表示第i帧运动向量能量，fi表示第i帧中所有宏块的地址；

S23：对每一类信息，计算其在时域窗口内的方差，其公式为Svi＝var{[Si‑5，Si‑4，…，Si+5]}Pvi＝var{[Pi‑5，Pi‑4，…，Pi+5]}Mvi＝var{[Mi‑5，Mi‑4，…，Mi+5]}其中，var{}表示计算方差，Svi表示第i帧比特量在当前时域窗口内的方差，Pvi表示第i帧分块级别在当前时域窗口内的方差，Mvi表示第i帧运动向量能量在当前时域窗口内的方差；

S24：对每一类信息，计算其在每一帧中，最大的前10％的值之和，其公式为：其中，fsti，fpti，fmti分别为第i帧最大的前10％的s，p，v的地址，Ssi表示i帧最大的前

10％宏块比特量之和，Psi最大的前10％宏块分块级别之和，Msi最大的前10％宏块运动向量能量之和；

S25：得到用于训练的特征集合[S，P，M]，其中S＝[Si，Svi，Ssi]i∈vP＝[Pi，Pvi，Psi]i∈vM＝[Mi，Mvi，Msi]i∈vS表示比特量相关特征集合，P表示分块级别相关特征集合，M表示运动向量能量相关特征集合，v表示视频中所有的帧的集合。

2.根据权利要求1所述的基于H.264/AVC加密视频的运动异常检测方法，其特征在于，所述步骤S3的具体过程如下：S31：对提取出的每一类特征，做归一化处理；

S32：计算每一类特征的直方图。

3.根据权利要求2所述的基于H.264/AVC加密视频的运动异常检测方法，其特征在于，所述步骤S4的具体过程如下：S41：对每一个样本点Fi的每一类特征样本Fi(u)，计算其在模型的直方图中出现的概率po(Fi(u))；

S42：将每一类特征样本的概率按帧进行整合，其公式为：POi＝∑u＝1，2，...po(Fi(u))；

S43：对计算出的概率值进行时域的中值滤波；

S44：对于出现概率POi小于阈值τ，POi＜τ的帧，将其标记为异常。

说明书

基于H.264/AVC加密视频的运动异常检测方法

技术领域

[0001] 本发明涉及多媒体信息安全领域，更具体地，涉及一种基于H.264/AVC加 密视频的运动异常检测方法。

背景技术

[0002] 近年来，随着信息技术的快速发展，云技术越来越多地应用在我们的日常生 活中。在云端存储视频时，我们通常选择加密视频以保护隐私信息。这些加密 的视频很难用
现有的明文域方法去处理。在这种情况下，加密视频处理具有极其 重要的意义。例如，当用
户使用远程客户端登陆云账户时，加密视频处理会带来 极大的便利。用户不需要先下载视
频然后解密才能提取想要的信息，或者冒着泄 露隐私的风险在云端解密视频。

[0003] 加密视频异常检测可以用于加密视频的云端切割或分类。用户可以直接获取 需要的带有异常标签的视频片段，而不需要担心隐私泄露的问题。加密视频异 常检测也可以
用于远程监控系统。现有的技术中存储在云端的视频内容对服务提 供方是可见的，存在隐
私泄露的可能。基于加密视频异常处理的远程监控系统中， 上传的图像都是经过加密的，
可以更好地保护用户的隐私。同时，又保留了检测 运动异常的能力，兼顾了实用性与安全
性。

发明内容

[0004] 本发明提供一种基于H.264/AVC加密视频的运动异常检测方法，该方法能 够高效的在H.264/AVC加密视频中实现异常运动的检测。

[0005] 为了达到上述技术效果，本发明的技术方案如下：

[0006] 一种基于H.264/AVC加密视频的运动异常检测方法，包括以下步骤：

[0007] S1：对加密视频进行信息提取；

[0008] S2：对提取的信息进行特征计算；

[0009] S3：利用训练集提取的特征，训练模型；

[0010] S4：利用训练好的模型，进行异常检测。

[0011] 进一步地，所述步骤S1的具体过程如下：

[0012] S11：根据码流结构中的宏块划分，获取每个宏块比特量的大小，记为sij；

[0013] S12：根据码流结构中的子块划分，获取每个宏块划分为子宏块的方式，将 对应的分块级别记为pij；

[0014] S13：对携带运动向量残差的宏块，根据码字长度估计其大小，公式为：

[0015]

[0016] 其中，L为运动向量残差的码字长度，当L＝1时，

[0017] 进一步地，所述步骤S2的具体过程如下：

[0018] S21：对提取出的信息，进行时域上的中值滤波，令γ为视频编码的帧率，那 么滤波的窗口大小为γ/5；

[0019] S22：对每一类信息，按帧进行整合，得到其在每一帧的大小，其公式为

[0020]

[0021]

[0022]

[0023] 其中，Si表示第i帧比特量，Pi表示第i帧分块级别，Mi表示第i帧运动向量 能量，fi表示第i帧中所有宏块的地址；

[0024] S23：对每一类信息，计算其在时域窗口内的方差，其公式为

[0025] Svi＝var{[Si‑5，Si‑4，...，Si+5]}

[0026] Pvi＝var{[Pi‑5，Pi‑4，...，Pi+5]}

[0027] Mvi＝var{[Mi‑5，Mi‑4，...，Mi+5]}

[0028] 其中，var{}表示计算方差，Svi表示第i帧比特量在当前时域窗口内的方差， Pvi表示第i帧分块级别在当前时域窗口内的方差，Mvi表示第i帧运动向量能量 在当前时域窗口
内的方差；

[0029] S24：对每一类信息，计算其在每一帧中，最大的前10％的值之和，其公式 为：

[0030]

[0031]

[0032]

[0033] 其中，fsti，fpti，fmti分别为第i帧最大的前10％的s，p，v的地址，Ssi表示 i帧最大的前10％宏块比特量之和，Psi最大的前10％宏块分块级别之和，Msi最 大的前10％宏块
运动向量能量之和；

[0034] S25：得到用于训练的特征集合[S,P,M],其中

[0035] s＝[Si，SVi，Ssi]i∈v

[0036] P＝[Pi，Pvi，Psi]i∈v

[0037] M＝[Mi，Mvi，Msi]i∈v

[0038] S表示比特量相关特征集合，P表示分块级别相关特征集合，M表示运动向量 能量相关特征集合，v表示视频中所有的帧的集合。

[0039] 进一步地，所述步骤S3的具体过程如下：

[0040] S31：对提取出的每一类特征，做归一化处理；

[0041] S32：计算每一类特征的直方图。

[0042] 进一步地，所述步骤S4的具体过程如下：

[0043] S41：对每一个样本点Fi的每一类特征样本Fi(u)，计算其在模型的直方图中 出现的概率po(Fi(u))；

[0044] S42：将每一类特征样本的概率按帧进行整合，其公式为：

[0045] POi＝∑u＝1,2,...po(Fi(u))；

[0046] S43：对计算出的概率值进行时域的中值滤波；

[0047] S44：对于出现概率小于阈值POi＜τ的帧，将其标记为异常。

[0048] 与现有技术相比，本发明技术方案的有益效果是：

[0049] 本发明通过对加密视频进行信息提取，对提取的信息进行特征计算，再利用 训练集提取的特征，训练模型，最后，利用训练好的模型，进行异常检测。该方 法采用直接在压
缩码流上处理的方法使得算法效率更高，更适应于实际应用场景， 同时根据加密码流结构
的特性进行信息提取，为应对加密视频下异常运动的特点， 重新设计了特征提取方法，使
得异常检测能够在加密视频上实现，利用物理世界 物体运动的特性，减少加密视频检测结
果的离散问题，进一步提高了检测的准确 率，从而可以为云监控系统、云存储系统等应用
提供帮助。

附图说明

[0050] 图1为采用本发明方法进行加密视频运动异常检测的流程图；

[0051] 图2为采用本方法以数据库Avenue中640×360的视频数据进行试验的部分 结果示意图。

具体实施方式

[0052] 附图仅用于示例性说明，不能理解为对本专利的限制；

[0053] 为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实 际产品的尺寸；

[0054] 对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理 解的。

[0055] 下面结合附图和实施例对本发明的技术方案做进一步的说明。

[0056] 实施例1

[0057] 如图1，一种基于H.264/AVC加密视频的运动异常检测方法，其具体步骤如 下：

[0058] 对训练集中的加密视频进行信息提取，具体包括：

[0059] ①根据码流结构中的宏块划分，获取每个宏块比特量的大小，记为sij,表示 第i帧中地址为j的宏块比特量大小；

[0060] ②按照表1，给每种分块方式指定一个值(分块级别)。在H.264/AVC中， 对于8×8子宏块，还有可能进一步划分为4×4的子块，因此其分块级别为其划 分成的子块数量大
小，范围为4‑16。然后根据码流结构中的子块划分，获取每个 宏块划分为子宏块的方式，将
对应的分块级别记为pij；

[0061] 表1每种分块方式指定值

[0062] 分块方式 分块级别 方块方式 分块级别Skip 0 8×8 4‑16
16×16 1 I16×16 18
16×8 2 I16×16 20
8×16 2    

[0063] ③对携带运动向量残差的宏块，根据码字长度估计其大小，公式为：

[0064]

[0065] 其中，L为运动向量残差的码字长度。另外,当L＝1时， 将估计得到 的x与y方向的分量分别记录为 和 那么，运动向量残差的能量大小mij可以 由公式

[0066]

[0067] 得到。

[0068] 对提取的信息进行特征计算：

[0069] ①对提取出的信息，进行时域上的中值滤波。假设γ为视频编码的帧率，那 么滤波的窗口大小为γ/5；

[0070] ②对每一类信息，按帧进行整合，得到其在每一帧的大小，其公式为

[0071]

[0072]

[0073]

[0074] 其中fi表示第i帧中所有宏块的地址。

[0075] ③对每一类信息，计算其在时域窗口内的方差，其公式为

[0076] Svi＝var{[Si‑5，Si‑4，...，Si+5]}

[0077] Pvi＝var{[Pi‑5，Pi‑4，...，Pi+5]}

[0078] Mvi＝var{[Mi‑5，Mi‑4，...，Mi+5]}

[0079] 其中var{}表示计算方差。

[0080] ④对每一类信息，计算其在每一帧中，最大的前10％的值之和，其公式为

[0081]

[0082]

[0083]

[0084] 其中，fsti，fpti，fmti分别为第i帧最大的前10％的s，p，v的地址。

[0085] ⑤综上，我们可以得到用于训练的特征集合[S，P，M]，其中

[0086] S＝[Si，Svi，Ssi]i∈v

[0087] P＝[Pi，Pvi，Psi]i∈v

[0088] M＝[Mi，Mvi，Msi]i∈v

[0089] 其中v表示视频序列中所有帧。

[0090] 利用训练集提取的特征，训练模型：

[0091] ①对提取出的每一类特征，做归一化处理；

[0092] ②计算每一类特征的直方图。

[0093] 按照(1)中的方法，对加密视频(测试集)进行信息提取

[0094] 按照(2)中的方法，对加密视频(测试集)进行特征计算

[0095] 利用训练好的模型，进行异常检测：

[0096] ①对每一个样本点Fi的每一类特征样本Fi(u)，计算其在模型的直方图中出 现的概率po(Fi(u))；

[0097] ②将每一类特征样本的概率按帧进行整合,其公式为

[0098]

[0099] ③为了检测连续的异常帧，对计算出的概率值进行时域的中值滤波；

[0100] ④对于出现概率小于阈值(POi＜τ)的帧，将其标记为异常。

[0101] 本发明方法的原理如下：

[0102] 本方法利用格式兼容加密后，H.264/AVC码流结构中残留的运动信息，从加 密的视频码流提取出可用于异常检测的信息。同时，结合异常运动的特点，重新 设计了针对加
密视频码流的特征，利用训练集训练正常样本的统计模型，将小概 率出现的样本，标记为
异常样本点，有效地应对视频中各种不同的异常运动情况。 结合物理世界物体运动的特
性，采用中值滤波的方法，处理由于加密视频信息匮 乏、视频编码特性等导致的异常样本
点离散分布情况，使得本方法能够检测出连 续的异常。

[0103] 利用本发明方法进行实验的结果：

[0104] 以数据库Avenue中640×360的视频为例，通过训练序列建立模型，对测试 序列中的异常运动情况进行检测，部分结果如下图2所示：

[0105] 其中，灰色区域为正常的帧，红色区域为异常的帧，上边的条形图为数据库 给定的标签，下边的条形图为利用本方法得到的结果。可以看出，异常运动的帧 可以较为准确
地在加密视频上定位出来。详细的检测结果如下表所示:

[0106] 表2实验结果表

[0107] 数据库 Avenue Subway UMN曲线下面积(AUC) 0.79 0.85 0.94
等错误率(EER) 0.29 0.26 0.11

[0108] 其中，用于训练的视频约为40000帧，用于测试的视频约为60000帧。通过 表2可以看到，在两个不同的数据库上，我们的异常检测算法可以达到AUC区 域在79％‑94％，等错
误率在10％‑30％之间。

[0109] 相同或相似的标号对应相同或相似的部件；

[0110] 附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

[0111] 显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非 是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明 的基础上还可
以做出其它不同形式的变化或变动。这里无需也无法对所有的实施 方式予以穷举。凡在本
发明的精神和原则之内所作的任何修改、等同替换和改进 等，均应包含在本发明权利要求
的保护范围之内。