一种基于轮廓波变换模型的视频指纹方法

摘要

本发明公开了一种基于轮廓波变换模型的视频指纹方法，特征是先将一段视频进行标准化处理，对每帧图像进行分块；然后对每个图像块采用多尺度和多方向轮廓波变换处理，并采用隐马尔科夫树技术提取模型参数；再将每块的标准方差矩阵进行奇异值分解，提取最大的奇异值级联并进行归一化后构成视频指纹矢量；在指纹匹配阶段采用两步搜索策略：先随机选取待查视频中任意帧的指纹快速确定候选视频，再采用欧氏距离测度待测视频与候选视频的相似性。本发明提高了视频指纹的稳健性、识别率和搜索效率，可广泛用于视频文件的复制检测、检索、识别和版权保护。

权利要求

1.一种基于轮廓波变换模型的视频指纹方法，包括指纹提取和指纹匹配两个部分；其特征在于：所述指纹提取步骤如下：

先将输入的原始视频文件V(w,h,f)，其中w为帧的宽度，h为帧的高度，f为帧率，转换成标准格式Vnorm(W,H,F)，其中W、H和F分别取320、240和10；若是RGB格式的彩色视频，则转换成亮度、色度和饱和度表示，其中亮度分量为I=(R+G+B)/3，将亮度分量作为处理对象；

将每帧图像中进行无重叠的分块，产生N×M个子图像块；

对每个图像块进行J尺度、mj，j=1,2,…J方向的轮廓波变换，对变换系数采用隐马尔科夫树技术进行图像建模，获得以下模型参数：P1,k，k=1,…,m1，表示最粗尺度中每个方向的状态概率；

Aj,k，j=2,…J，k=1,…,mj，表示从尺度j-1到j的转移概率；

Bj,k，j=1,…J，k=1,…,mj，表示尺度j的方向k处的高斯标准方差；

将标准方差矩阵作为中间特征进行奇异值分解，Bi,j,k表示第k个图像帧，第iH行、第j列处的图像块构成的标准方差矩阵，其奇异值分解表示为Bi,j,k=USV，其中

1≤i≤N,1≤j≤M，U,V分别是左、右奇异值矩阵，S为对角矩阵；

将一帧中所有对角矩阵S的最大奇异值取出构成特征矢量，第k帧特征矢量表示为sk=[s1,1,k,s1,2,k,…,sN,M,k]；

级联P帧的特征矢量，然后进行归一化处理，μs和σs分别是特征矢量的均值和方差，特征矢量中的每个值减去均值，除以方差，产生最后的指纹序列：所述指纹匹配步骤为：

设待查视频vq经过标准化处理后有P帧，第k帧指纹为 ，在视频数据库中根据K近邻准则选择与 最相近的L个指纹 然后以第k帧指纹为基准构成L个长度为N·M·P的候选指纹序列，N·M·P为待查视频指纹的长度，每一个候选指纹表示为：计算待查视频指纹与L个候选视频指纹的欧氏距离：

若距离最小值小于预设门限T，则输出与最小值对应的视频 为匹配结果；若距离最小值大于预设门限T，则待查视频不存在视频数据库中；

门限T的设定根据所要求的虚警概率PFA由高斯分布函数式确定，当N=3,M=4时，μ=1.62,σ=0.22；当PFA=3.1×10-9时，T≈0.4；则虚警概率

说明书

一种基于轮廓波变换模型的视频指纹方法

技术领域

[0001] 本发明属于多媒体信息处理技术领域，具体涉及可用于复制检测以及视频识别、视频检索、版权保护与盗版跟踪的视频指纹方法。

背景技术

[0002] 2007年电气电子工程学会（IEEE）信息取证与安全汇刊第12期中指出，随着数字设备的普及和传播方式的多样化，每天都有成千上万的视频文件被上传和分享到互联网、电视和移动通信设备中，视频文件被非法复制和处理是非常普遍的现象，广泛存在的版权侵害要求发展快速准确的基于内容的视频复制检测方法。用来应对这种挑战的视频指纹技术，这里所述的指纹有别于人体指纹，它是表示视频信息基于内容的一种签名技术，可以用来唯一地标识和表示具体的视频数据，可以有效实现对视频文件的管理、保护和检索。

[0003] 2008年电气电子工程学会（IEEE）电路与系统中的视频技术汇刊第7期中介绍了视频指纹有三个主要的设计要求：一、稳健性：视频指纹要在各种内容保持操作中保持稳定，即在不改变视频的感知属性前提下，视频指纹保持不变或较少改变。视频用户会有意或无意地对视频进行一些内容保持攻击或处理，如亮度/对比度的改变、加噪、压缩、旋转、剪切、时序调整、帧率改变、增加logo等，视频数据不仅会像图像发生空间变化，而且会有时间变化，使得保持稳健性变得更加困难；二、敏感性：感知不同的视频应有不同的指纹，这对于视频标识和检索尤为重要；三、安全性：在没有密钥的情况下，指纹不容易被对手伪造或估计。这一点仅在版权保护的应用中被强调，在视频检索、视频自动标注的应用中不需要考虑这一要求。

[0004] 国内外现有的指纹方法主要包括在2008年电气电子工程学会（IEEE）电路与系统中的视频技术汇刊第7期中提出的基于梯度方向质心的方法，这种方法提取的特征不能有效表达图像的主要特征，同时数据量较大，对各种内容保持操作稳健性不高；2010年电气电子工程学会（IEEE）信息取证与安全汇刊第3期中提出的基于离散小波变换和PCA分解的方法，在视频识别的和检索应用中识别正确率不高，在一定的检出概率下出现的虚警概率较大；2011年电气电子工程学会（IEEE）信息取证与安全汇刊第1期中提出DCT域的时间信息表示图像技术的方法，这种方法在匹配过程中采用的全局搜索策略搜索速度慢，实时性差，数据库搜索效率不高。

发明内容

[0005] 本发明的目的是提出一种基于轮廓波变换模型的视频指纹方法，以克服现有技术的上述缺陷，实现视频复制检测、内容识别、视频检索和版权保护。

[0006] 本发明基于轮廓波变换模型的视频指纹方法，包括指纹提取和指纹匹配两个部分；

[0007] 其特征在于：

[0008] 所述指纹提取步骤如下：

[0009] 先将输入的原始视频文件V(w,h,f)，其中w为帧的宽度，h为帧的高度，f为帧率，转换成标准格式Vnorm(W,H,F)，其中W、H和F分别取320、240和10；若是RGB格式的彩色视频，则转换成亮度、色度和饱和度表示，其中亮度分量为I=(R+G+B)/3，将亮度分量作为处理对象；

[0010] 将每帧图像中进行无重叠的分块，产生N×M个子图像块；

[0011] 对每个图像块进行J尺度、mj，j=1,2,…J方向的轮廓波变换，对变换系数采用2006年IEEE图像处理汇刊第6期提出的隐马尔科夫树技术进行图像建模，获得以下模型参数：

[0012] P1,k，k=1,…,m1，表示最粗尺度中每个方向的状态概率；

[0013] Aj,k，j=2,…J，k=1,…,mj，表示从尺度j-1到j的转移概率；

[0014] Bj,k，j=1,…J，k=1,…,mj，表示尺度j的方向k处的高斯标准方差；

[0015] 将标准方差矩阵作为中间特征进行奇异值分解，Bi,j,k表示第k个图像帧，H第i行、第j列处的图像块构成的标准方差矩阵，其奇异值分解表示为Bi,j,k=USV，其中
1≤i≤N,1≤j≤M，U,V分别是左、右奇异值矩阵，S为对角矩阵；

[0016] 将一帧中所有对角矩阵S的最大奇异值取出构成特征矢量，第k帧特征矢量表示为

[0017] sk=[s1,1,k,s1,2,k,…,sN,M,k]；

[0018] 级联P帧的特征矢量，然后进行归一化处理，μs和σs分别是特征矢量的均值和方差，特征矢量中的每个值减去均值，除以方差，产生最后的指纹序列：

[0019]

[0020] 所述指纹匹配步骤为：

[0021] 设待查视频vq经过标准化处理后有P帧，第k帧指纹为 在视频数据库中根据K近邻准则选择与 最相近的L个指纹 c=1,2,…L，然后以第k帧指纹为基准构成L个长度为N·M·P的候选指纹序列，N·M·P为待查视频指纹的长度，每一个候选指纹表示为：

[0022]

[0023] 计算待查视频指纹与L个候选视频指纹的欧氏距离：

[0024]

[0025] 若距离最小值小于预设门限T，则输出与最小值对应的视频 为匹配结果；若距离最小值大于预设门限T，则待查视频不存在视频数据库中；

[0026] 门限T的设定根据所要求的虚警概率PFA由高斯分布函数式确定，当N=3,M=4时，-9μ=1.62,σ=0.22；当PFA=3.1×10 时，T≈0.4；则虚警概率

[0027]

[0028] 本发明基于轮廓波变换模型的视频指纹方法由于先将一段视频进行标准化处理，对每帧图像进行分块；然后对每个图像块采用多尺度和多方向轮廓波变换处理，并采用隐马尔科夫树技术提取模型参数；再将每块的标准方差矩阵进行奇异值分解，提取最大的奇异值级联并进行归一化后构成视频指纹矢量；在指纹匹配阶段采用两步搜索策略：先随机选取待查视频中任意帧的指纹快速确定候选视频，再采用欧氏距离测度待测视频与候选视频的相似性，提高了视频指纹的稳健性、识别率和搜索效率，可广泛用于视频文件的复制检测、检索、识别和版权保护。由于采取用图像建模的方式提取图像的主要特征，并对建模参数作进一步降维处理，从而降低了表示图像的数据量，提高了相似度判别的稳健性。

[0029] 与现有技术相比，由于本发明采用轮廓波变换捕获视频图像多方向、多尺度的特征信息，可以有效表示视频的主要内容，提高检测和识别的准确性；

[0030] 由于本发明采用隐马尔科夫树建模技术，用较少的模型参数表示变换系数之间的统计关系，进一步提高了视频指纹对内容保持操作的稳健性和对视频差异信息的敏感性；

[0031] 本发明方法通过对经过标准化处理的视频亮度分量进行处理，可以有效抵抗帧率变化、缩放、彩色空间变化等攻击。

[0032] 由于本发明先采用从待查视频的随机选取的图像帧选择有限候选项集合，再对候选项集合进行全部帧匹配的两步搜索策略，有效提高了检索与识别的速度与效率。

[0033] 采用本发明方法所生成的视频指纹符合高斯分布，从而可以方便各种应用系统根据所要求的虚警概率自适应的确定门限值。

附图说明

[0034] 图1为本发明基于轮廓波变换模型的视频指纹方法中的指纹提取部分的流程示意图，图2为指纹匹配部分的流程示意图。

具体实施方式

[0035] 实施例1：

[0036] 本发明基于轮廓波变换模型的视频指纹方法分为指纹提取和指纹匹配两部分，图1为指纹提取部分的流程示意图,图2为指纹匹配部分的流程示意图。现结合附图对本发明基于轮廓波变换模型的视频指纹方法的具体操作过程介绍如下：

[0037] 所述指纹提取步骤如下:

[0038] 第一步、标准化步骤A,原始视频V包含P帧图像，首先将视频空间和时间标准化，即将解析度缩放为320×240，帧率调整为每秒10帧，标准化处理有利于抵抗缩放、帧率变化攻击，同时每帧之间时间的扩展可以去除像素间微小的改变，扩大各帧之间的差异性。

[0039] 第二步、转换步骤B，若每帧图像是彩色的，采用RGB表示，将其转换成亮度和色度表示，亮度分量I=(R+G+B)/3,本发明采用亮度分量作进一步处理，使得方法适宜各种黑白和彩色格式视频。

[0040] 第三步、图像分块步骤C，对每帧图像做无重叠的分块，生成N×M个子图像块，例如N=3，M=4，则每块大小为80×80，这有利于局部信息提取。

[0041] 第四步、轮廓波变换步骤D，每图像块经过双线性插值放大到128×128，然后进行轮廓波变换，轮廓波变换是一种多尺度多方向的变换方法，其主要分成两个步骤，先采用1992年IEEE信号处理汇刊提出的拉普拉斯金字塔进行子带分解，然后用方向滤波器组进行方向变换，这样分解的结果是稀疏的。

[0042] 第五步、建模步骤E，根据2006年IEEE图像处理汇刊第6期提出的隐马尔科夫树模型描述了不同尺度间父代与子代系数的依赖关系，可以通过期望最大方法获得模型参数。参数分成三类：

[0043] （1）P1,k，k=1,…,m1，表示最粗尺度中每个方向的状态概率；

[0044] （2）Aj,k，j=2,…J，k=1,…,mj，表示从尺度j-1到j的转移概率；

[0045] （3）Bj,k，j=1,…J，k=1,…,mj，表示尺度j的方向k处的高斯标准方差。

[0046] 通过对模型参数在各种参数保持操作下的稳定性的研究，发现高斯标准方差矩阵具有同一内容具有较好的稳定性。

[0047] 第六步、奇异值分解步骤F，将标准方差矩阵作为中间特征进行奇异值分解（SVD），矩阵的奇异值充分反映了矩阵的内在特征，Bi,j,k表示视频中第k个图像帧，第iH行、第j列处的图像块构成的标准方差矩阵，其奇异值分解SVD的表示为：Bi,j,k=USV，其中
1≤i≤N,1≤j≤M；U,V分别是左、右奇异值矩阵，S为对角矩阵。

[0048] 第七步、奇异值级联步骤G，每一个图像块都可得到一个最大的奇异值，将一帧中的最大奇异值取出构成特征矢量，第k帧特征矢量表示为：

[0049] sk=[s1,1,k,s1,2,k,…,sN,M,k]；

[0050] 第八步、归一化处理步骤H，先级联P帧的特征矢量，然后进行归一化处理，μs和σs分别是特征矢量的均值和方差，特征矢量中的每个值减去均值，除以方差产生最后的指纹序列。

[0051]

[0052] 视频识别和检索、复制视频的检测实质就是实现待查视频与视频数据库的指纹匹配过程。

[0053] 所述指纹匹配步骤如下:

[0054] 第九步、随机选取指纹步骤I，设待查视频U有P帧，经过上述指纹提取过程生成指纹序列，随机选取其中某帧指纹作为下一步的处理对象。

[0055] 第十步、选择候选帧步骤J，设随机选择的第k帧指纹为 用K最近邻法在视频指纹数据库W中选择与 最相近的L个指纹，然后以第k帧指纹为基准构成L个长度为N·M·P的候选指纹序列，N·M·P为待查视频指纹的长度，每一个候选指纹表示为：

[0056]

[0057] 这一步通过单幅图像的在数据库的定位，缩小了候选项集合，提高了搜索效率。

[0058] 第十一步、计算欧氏距离步骤K，计算待查视频指纹与L个候选视频指纹的欧氏距离

[0059]

[0060] 第十二步、门限比较步骤L，将所有距离的最小值与预设门限T作比较，若距离最小值小于门限T，则待查视频存在于视频数据库中；若距离最小值大于预设门限T，则待查视频不存在视频数据库中。

[0061] 第十三步、输出结果步骤M，输出与最小值对应的视频 为匹配结果[0062]

[0063] 经过对构成的指纹序列之间距离的统计研究，发现其符合高斯分布规律，则虚警概率与门限T的关系由如下高斯分布函数确定，例如，当N=3,M=4时，μ=1.62,σ=0.22；当-9PFA=3.1×10 时，T≈0.4；则虚警概率

[0064]

[0065] 门限T越大，搜索匹配的视频越多，但虚警概率越大；门限T越小,搜索匹配的视频越少，但虚警概率越小。门限T的选择可以根据实际应用的需求确定。

[0066] 本发明的优点可通过以下仿真实验进一步说明：

[0067] 仿真实验从Reefvid视频数据库中选择视频文件作为测试对象，每个视频通过一些常见的视频处理攻击产生22个偏倚版本，具体如下：

[0068] 1）3×3和5×5的高斯模糊处理；

[0069] 2）图像缩放50%，200%；

[0070] 3）伽玛校正-20%，20%；

[0071] 4）加性高斯噪声，信噪比-10dB,0dB,10dB,20dB,30dB,40dB；

[0072] 5）JPEG有损压缩，品质因子10,30,50,70,90；

[0073] 6）剪切至原尺寸的90%，80%；

[0074] 7）插入图标到原尺寸的5%，10%；

[0075] 8）帧率变化从25fps到15fps；

[0076] 本发明采用虚警概率来衡量方法的稳健性和采用识别正确率衡量方法的识别能力，视频在以上8种情况下，虚警概率分别为0.0036、0.0025、0.0064、0.0561、0.0021、0.0341、0.0068、0.0180，正确识别率分别为0.991、0.992、0.970、0.912、0.992、0.954、
0.957、0.952，从以上数据可知本发明对常见视频处理稳健性较好，全面地测试也证实了令人满意的识别能力。

[0077] 由于本发明采用轮廓波变换捕获视频图像多方向、多尺度的特征信息，可以有效表示视频的主要内容，提高检测和识别的准确性；

[0078] 由于本发明采用隐马尔科夫树建模技术，用较少的模型参数表示变换系数之间的统计关系，进一步提高了视频指纹对内容保持操作的稳健性和对视频差异信息的敏感性；

[0079] 本发明方法通过对经过标准化处理的视频亮度分量进行处理，可以有效抵抗帧率变化、缩放、彩色空间变化等攻击。

[0080] 由于本发明先采用从待查视频的随机选取的图像帧选择有限候选项集合，再对候选项集合进行全部帧匹配的两步搜索策略，有效提高了检索与识别的速度与效率。

[0081] 采用本发明方法所生成的视频指纹符合高斯分布，从而可以方便各种应用系统根据所要求的虚警概率自适应的确定门限值。