一种镜头边界检测方法

摘要

本发明公开了一种镜头边界检测方法，包括以下步骤：A1、计算样本集V1的类内离散度矩阵S1、样本集V2的类内离散度矩阵S2，计算总类内离散度矩阵Sw＝S1+S2；计算V1、V2类间离散度矩阵Sb：Sb＝(m1-m2)(m1-m2)T；A2、切变检测准则建立及切变检测；A3、渐变检测准则建立及渐变检测。针对以往算法切变检测后需再采用不同特征量、不同评判准则进行渐变检测的缺陷，本专利在渐变检测时不需采用、计算新特征量，也不需采用新的评判准则，只需对切变中的Fisher评判准则稍作改动，便可进行渐变检测，降低了检测难度和复杂度。另外，在镜头切变、渐变检测中，用特征曲线极值法代替了传统的阈值法，避免了阈值法适应性差的缺陷。

权利要求

1.一种镜头边界检测方法，其特征在于，包括以下步骤：A1、首先建立长度为2L的滑动窗口，在图像的HSV空间内提取颜色或亮度直方图H，设直方图H中柄的个数为M，设滑动窗口中前L帧为样本集V1＝(H(i-L)，H(i-L+1)，...，H(i))，后L帧为样本集V2＝(H(i+1)，H(i+2)，...，H(i+L))；计算样本集Vi均值向量mi，mi是各个类的均值，Ni是ωi类的样品个数：其中i＝1，2

计算样本集V1的类内离散度矩阵S1、样本集V2的类内离散度矩阵S2，其中 i＝1，2；

计算总类内离散度矩阵Sw＝S1+S2；

T

计算V1、V2类间离散度矩阵Sb＝(m1-m2)(m1-m2) ；

A2、切变检测准则建立及切变检测：

利用det(Sb)和det(Sw)作为视频特征，并构造Fisher评判准则F1用于切变检测：记F1的特征曲线极小值所对应的帧集合为Ca，Ca即为切变发生处；

A3、渐变检测准则建立及渐变检测

利用det(Sb)和det(S1)作为视频特征，并构造用于渐变检测的Fisher评判准则F2：记F2的特征曲线中极大值对应的帧集合Cg，Cg-(Cg∩Ca)即为渐变发生处。

说明书

一种镜头边界检测方法

技术领域

[0001] 本发明涉及视频内容分析技术领域，尤其是一种镜头边界检测方法。

背景技术

[0002] 视频序列中，镜头的边界分为两大类：切变(abrupt transition)和渐变(gradualtransition)。切变是指变化突然发生在连续的两帧之间，而渐变是指变化发生在连续的多帧之间。渐变比较复杂，包括淡入淡出、溶解和擦除等。目前，国内外研究者提出了多种不同的镜头边界检测方法。镜头边界检测的基本思想是通过比较视频序列的帧间差异来寻找镜头边界变化的规律。首先提取视频帧的特征，这些特征必须能够较好地突出镜头边界与非边界的差异；然后利用这些特征量构造评判准则，并将评判准则结果与事先设定的阈值相比较，从而判定是否发生镜头变化。

[0003] 镜头内的各帧画面在时间和空间上都是连续的，一个镜头中连续帧之间通常表现出较高的相似性。如果连续帧之间的非相似性(Dissimilarity)较大，往往是由于镜头转变而引起的。因此，镜头边界检测算法通常根据帧之间的非相似性来检测镜头的转变，这就需要寻找效果理想的视频帧特征和评判准则。另外在阈值选取方面，主要存在固定阈值和自适应阈值两种，固定阈值实现简单，但是无法适应视频类型和内容的变化。Zhang H J等[2]最早提出了经典的双阈值判定方法，有效地解决了单阈值算法难以兼顾切变和渐变检测[3]
的问题。为了消除主观误差，一些自适应阈值方法随之产生，如Youn S等 提出根据已逝[4]
时间和已检测镜头边界动态选取阈值的方法；Sze K W等 提出利用最大熵阈值来确定镜[5]
头边界检测中最优阈值的方法；成勇等 提出根据综合图像的颜色特征和空间特征进行阈值最优化选取的方法等。

[0004] 目前，镜头切变已取得了不错的效果，这是因为切变时镜头之间没有过渡，由一个镜头瞬间直接转换到另一个镜头，表现出十分突出的非相似性特征；而镜头渐变则发生在一个时间段内，每帧的特征都不明显，很难根据某个时刻的特征值是否超过阈值进行镜头渐变的检测。

[0005] 另外，在镜头边界检测中，还存在着闪光、镜头内部的物体运动以及摄像机自身运动等带来的“噪声”，也给现有的方法带来了干扰。由上可见，如何选取有效的视频特征、评判准则，以及如何选取自适应阈值是镜头边界检测中的重点和难点。

[0006] 参考文献

[0007] [1]耿玉亮，须德，冯松鹤.一种快速有效的视频镜头边界检测方法[J].电子学报，2006，34(12)：2272-2277.

[0008] [2]Zhang H J，Kankanhalli A，Smoliar S W.Automatic partitioning offull-motio n video[J].Multimedia Systems，1993，1(1)：10-28.

[0009] [3]Youm S，Kim W.Dynamic threshold method for scene changedetection[C]//Proceedings of IEEE ICME’03.Baltimore，USA：IEEE Computer Society，
2003：337-340.

[0010] [4]Sze K W，Lam K M，Qiu G.Scene cut detection using the colored patternappearance model[C]//Proceedings of the IEEE ICIP2003.Barcelona，Spain：IEEEComputer Society，2003：1017-1020.

[0011] [5]成勇，须德.一种自动选取阈值的视频镜头边界检测算法[J].电子学报，2004，32(3)：508-511.

[0012] [6]杜奎然，肖国强，江健民.基于多种视频特征的镜头边界检测算法[J].计算机工程，2009，35(11)：243-245.

[0013] [7]杨淑莹.模式识别与智能计算[M].北京：电子工业出版社，2008.1，26-28.发明内容

[0014] 本发明所要解决的技术问题是针对现有技术的不足，提供一种镜头边界检测方法，采用如下技术方案：

[0015] 一种镜头边界检测方法，包括以下步骤：

[0016] A1、首先建立长度为2L的滑动窗口，在图像的HSV空间内提取颜色或亮度直方图Hi，设直方图H中柄的个数为M，设滑动窗口中前L帧为样本集V1＝(H(i-L)，H(i-L+1)，...，H(i))，后L帧为样本集V2＝(H(i+1)，H(i+2)，...，H(i+L))；计算样本集Vi均值向量mi，mi是各个类的均值，Ni是ωi类的样品个数：

[0017] i＝1，2

[0018] 计算样本集V1的类内离散度矩阵S1、样本集V2的类内离散度矩阵S2，

[0019] i＝1，2；

[0020] 计算总类内离散度矩阵Sw＝S1+S2；

[0021] 计算V1、V2类间离散度矩阵Sb：Sb＝(m1-m2)(m1-m2)T；

[0022] A2、切变检测准则建立及切变检测：

[0023] 利用det(Sb)和det(Sw)作为视频特征，并构造Fisher评判准则F1用于切变检测：

[0024]

[0025] 记F1的特征曲线极小值所对应的帧集合为Ca，Ca即为切变发生处；

[0026] A3、渐变检测准则建立及渐变检测

[0027] 利用det(Sb)和det(S1)作为视频特征，并构造用于渐变检测的Fisher评判准则F2：

[0028]

[0029] 记F2的特征曲线中极大值对应的帧集合Cg，Cg-(Cg∩Ca)即为渐变发生处。

[0030] 本发明选取具备符合类间距离最大、均方误差最小准则的视频特征量构造新的Fisher评判准则，从而可直接依靠样本计算，直观简捷，物理概念清晰。

[0031] 利用所选特征量构造新的Fisher评判准则进行准确的切变、渐变检测，且不需要设定阈值，降低了检测难度。

[0032] 针对以往算法切变检测后需再采用不同特征量、不同检测准则进行渐变检测的缺陷，本专利在渐变检测时不需采用、计算新的特征量，也不需采用新的检测准则，只需对切变中的Fisher评判准则稍作改动，便可进行渐变检测，降低了检测难度和复杂度。

具体实施方式

[0033] 以下结合具体实施例，对本发明进行详细说明。

[0034] 具体步骤如下：

[0035] A1、前期准备：首先建立长度为2L的滑动窗口，在图像的HSV空间内提取颜色(或亮度等)直方图H，设直方图中柄的个数为M。设滑动窗口中前L帧为样本集V1＝(H(i-L)，H(i-L+1)，...，H(i))，后L帧为样本集V2＝(H(i+1)，H(i+2)，...，H(i+L))。

[0036] 计算样本集Vi均值向量mi，mi是各个类的均值，Ni是ωi类的样品个数。

[0037] i＝1，2……………………………………………………………公式(3)

[0038] 计算样本集V1的类内离散度矩阵S1、V2的类内离散度矩阵S2，总类内离散度矩阵Sw＝S1+S2。

[0039] i＝1，2………………………………………………公式(4)

[0040] Sw＝S1+S2………………………………………………………………………公式(5)[0041] V1、V2类间离散度矩阵Sb。

[0042] Sb＝(m1-m2)(m1-m2)T……………………………………………………………公式(6)[0043] 由基于距离的可分性判据[7]可知，使得两类样本集类间距离最大、类内距离最小的帧，即可确定为发生切变的边界帧。要保证滑动窗口内的样本符合类内距离最小、类间距离最大，即要保证J1＝tr(Sw)或J1＝det(Sw)最小，且J2＝tr(Sb)或J2＝det(Sb)最大。

[0044] A2、切变检测准则建立及切变检测

[0045] 利用det(Sb)和det(Sw)作为视频特征，并构造Fisher评判准则F1用于切变检测：

[0046]………………………………………………………………………………公式(7)

[0047] 从式(7)中可以看出，发生突变时，检测窗内前后2个镜头内变化最小，前后镜头间变化最大。理想情况下，式(7)的值趋近于0。因此，记F1的特征曲线极小值所对应的帧集合为Ca，Ca即为切变发生处；

[0048] A3、渐变检测准则建立及渐变检测

[0049] 利用det(Sb)和det(S1)作为视频特征，并构造用于渐变检测的Fisher评判准则F2：

[0050] ………………………………………………………………………………………公式(8)

[0051] 当滑动窗口的后L逐渐进入渐变镜头的过程中，V1中的样本仍为同一个镜头，V2