提取视频关键帧的系统及方法转让专利
申请号 : CN200810211435.5
文献号 : CN101360184B
文献日 : 2010-07-28
发明人 : 陈波
申请人 : 腾讯科技(深圳)有限公司
摘要 :
本发明涉及视频图像技术领域，提供了一种提取视频关键帧的系统及方法。所述系统包括：关键帧提取单元，对视频数据中相邻两帧的图像数据进行直方图和灰度图运算，得到由所述运算结果组成的特征向量，比较所述特征向量的欧式距离与预定阈值的大小，以及基于所述比较结果获取镜头转换边界并提取关键帧。采用本发明所提供的提取视频关键帧的系统及方法，能提高提取视频关键帧的性能。
权利要求 :
1.一种提取视频关键帧的系统，其特征在于，所述系统包括：
关键帧提取单元，对视频数据中相邻两帧的图像数据进行直方图和灰度图运算，得到由所述运算结果组成的特征向量，比较所述特征向量的加权欧式距离与预定阈值的大小，以及基于所述比较结果获取镜头转换边界并提取关键帧，其中，所述运算结果包括相邻两帧的帧差异值、灰度图的均值差值和灰度图的方差差值。
2.根据权利要求1所述的提取视频关键帧的系统，其特征在于，所述关键帧提取单元包括：运算模块，进行相邻两帧图像数据的直方图和灰度图运算，获取由所述相邻两帧的帧差异值、灰度图的均值差值和灰度图的方差差值组成的特征向量，以及对所述帧差异值、均值差值和方差差值进行加权处理得到所述特征向量的加权欧式距离；
帧提取模块，与所述运算模块相连并进行数据交互，比较所述加权欧式距离与预定阈值的大小，基于所述比较结果获取镜头转换边界以提取相应的关键帧。
3.根据权利要求1或2所述的提取视频关键帧的系统，其特征在于，所述镜头转换边界包括镜头渐变边界和镜头切变边界，所述预定阈值包括镜头渐变阈值和镜头切变阈值。
4.根据权利要求3所述的提取视频关键帧的系统，其特征在于，所述帧提取模块进一步用于：比较所述加权欧式距离与所述镜头渐变阈值和镜头切变阈值的大小，当所述加权欧式距离大于镜头渐变阈值并小于镜头切变阈值时，获取镜头渐变边界并提取相应关键帧，当所述加权欧式距离大于镜头切变阈值时，获取镜头切变边界并提取相应关键帧。
5.根据权利要求1所述的提取视频关键帧的系统，其特征在于，所述系统还包括：解码单元，将视频数据进行解码，得到解码后的图像数据；
图像处理单元，与所述解码单元及关键帧提取单元相连并进行数据交互，对解码后的图像数据进行归一化处理，并将处理后的图像数据传至所述关键帧提取单元；
图片合成单元，与所述关键帧提取单元相连并进行数据交互，对得到的关键帧进行合成处理，生成动态图片数据。
6.一种提取视频关键帧的方法，其特征在于，所述方法包括以下步骤：
A.对相邻两帧的图像数据进行直方图和灰度图运算，得到由所述运算结果组成的特征向量，其中，所述运算结果包括相邻两帧的帧差异值、灰度图的均值差值和灰度图的方差差值；
B.比较所述特征向量的加权欧式距离与预定阈值的大小，以及根据所述比较结果获取镜头转换边界；
C.根据镜头转换边界提取所述关键帧。
7.根据权利要求6所述的提取视频关键帧的方法，其特征在于，所述特征向量由相邻两帧的帧差异值、灰度图的均值差值和灰度图的方差差值组成，所述加权欧式距离是对所述帧差异值、均值差值和方差差值进行加权处理得到的。
8.根据权利要求6或7所述的提取视频关键帧的方法，其特征在于，所述镜头转换边界包括镜头渐变边界和镜头切变边界，所述预定阈值包括镜头渐变阈值和镜头切变阈值，所述步骤B进一步包括：比较所述加权欧式距离与所述镜头渐变阈值和镜头切变阈值的大小，当所述加权欧式距离大于镜头渐变阈值并小于镜头切变阈值时，获取镜头渐变边界，当所述加权欧式距离大于镜头切变阈值时，获取镜头切变边界。
9.根据权利要求6所述的提取视频关键帧的方法，其特征在于，所述步骤A之前还包括：对视频数据进行解码，得到解码后的图像数据，以及对所述解码后的图像数据进行归一化处理。
10.根据权利要求6所述的提取视频关键帧的方法，其特征在于，所述步骤C之后还包括：对所述视频关键帧进行合成处理，生成动态图片数据，以及显示所述动态图片数据。
说明书 :
技术领域
本发明涉及视频图像技术领域，更具体地说，涉及一种提取视频关键帧的系统及方法。
背景技术
随着互联网技术及成像显示技术的快速发展，大量的多媒体信息被传输到网络上供人们观看，从网络上获取多媒体信息已经成为人们日常生活中不可缺少的一部分。视频点播系统、网络视频共享和视频节目等不断提高着消费者的欣赏体验，满足了人们的精神文化需求。然而，随着多媒体应用的极大丰富，网络视频的数量急剧膨胀，在众多的网络视频中，很可能有很多敏感或不健康的视频同时被上传。因此，网络视频伴随着一个很重要的问题是如何有效地对庞大的视频数据进行审核或分析，以防止一些敏感或不健康的内容发布于网络上。
由于网络视频的上传量非常大，图像和视频数据的信息量也很大，其内容一般需要人工观看才能理解，若仅仅使用人工观看来审核或分析视频，无疑效率会非常低下。为节省时间，需要对视频提取关键帧，通过显示或分析关键帧的图像来对视频进行审核或分析。现有技术采用的技术方案是：按照固定的时间间隔提取视频关键帧，并将该关键帧生成图片。该方案由于仅按照固定的时间间隔提取关键帧，会造成一些关键性的图片遗漏，若缩短时间间隔，则在审核或分析关键帧的图像数据时会造成大量的人力浪费，因此现有技术提取的视频关键帧不能很好的反映视频的概况，导致提取视频关键帧的性能低下。
因此需要一种新的提取视频关键帧的系统及方法，能提高提取视频关键帧的性能。
由于网络视频的上传量非常大，图像和视频数据的信息量也很大，其内容一般需要人工观看才能理解，若仅仅使用人工观看来审核或分析视频，无疑效率会非常低下。为节省时间，需要对视频提取关键帧，通过显示或分析关键帧的图像来对视频进行审核或分析。现有技术采用的技术方案是：按照固定的时间间隔提取视频关键帧，并将该关键帧生成图片。该方案由于仅按照固定的时间间隔提取关键帧，会造成一些关键性的图片遗漏，若缩短时间间隔，则在审核或分析关键帧的图像数据时会造成大量的人力浪费，因此现有技术提取的视频关键帧不能很好的反映视频的概况，导致提取视频关键帧的性能低下。
因此需要一种新的提取视频关键帧的系统及方法，能提高提取视频关键帧的性能。
发明内容
本发明的目的之一在于提供一种提取视频关键帧的系统及方法，旨在解决现有技术性能不高的问题。
为了实现发明目的，所述系统包括关键帧提取单元，对视频数据中相邻两帧的图像数据进行直方图和灰度图运算，得到由所述运算结果组成的特征向量，比较所述特征向量的欧式距离与预定阈值的大小，以及基于所述比较结果获取镜头转换边界并提取关键帧。
所述关键帧提取单元包括：
运算模块，进行相邻两帧图像数据的直方图和灰度图运算，获取由相邻两帧的帧差异值、灰度图的均值差值和灰度图的方差差值组成的特征向量，以及对所述帧差异值、均值差值和方差差值进行加权处理得到所述特征向量的欧式距离；
帧提取模块，与所述运算模块相连并进行数据交互，比较所述欧式距离与预定阈值的大小，基于所述比较结果获取镜头转换边界以提取相应的关键帧。
所述镜头转换边界包括镜头渐变边界和镜头切变边界，所述预定阈值包括镜头渐变阈值和镜头切变阈值。
所述帧提取模块进一步用于：比较所述欧式距离与所述镜头渐变阈值和镜头切变阈值的大小，当所述欧式距离大于镜头渐变阈值并小于镜头切变阈值时，获取镜头渐变边界并提取相应关键帧，当所述欧式距离大于镜头切变阈值时，获取镜头切变边界并提取相应关键帧。
优选地，所述系统还包括：
解码单元，将视频数据进行解码，得到解码后的图像数据；
图像处理单元，与所述解码单元及关键帧提取单元相连并进行数据交互，对解码后的图像数据进行归一化处理，并将处理后的图像数据传至所述关键帧提取单元；
图片合成单元，与所述关键帧提取单元相连并进行数据交互，对得到的关键帧进行合成处理，生成动态图片数据。
为了更好地实现发明目的，所述方法包括：
A.对相邻两帧的图像数据进行直方图和灰度图运算，得到由所述运算结果组成的特征向量；
B.比较所述特征向量的欧式距离与预定阈值的大小，以及根据所述比较结果获取镜头转换边界；
C.根据镜头转换边界提取所述关键帧。
所述特征向量由相邻两帧的帧差异值、灰度图的均值差值和灰度图的方差差值组成，所述欧式距离是对所述帧差异值、均值差值和方差差值进行加权处理得到的。
所述镜头转换边界包括镜头渐变边界和镜头切变边界，所述预定阈值包括镜头渐变阈值和镜头切变阈值，所述步骤B进一步包括：比较所述欧式距离与所述镜头渐变阈值和镜头切变阈值的大小，当所述欧式距离大于镜头渐变阈值并小于镜头切变阈值时，获取镜头渐变边界，当所述欧式距离大于镜头切变阈值时，获取镜头切变边界。
所述步骤A之前还包括：对视频数据进行解码，得到解码后的图像数据，以及对所述解码后的图像数据进行归一化处理。
所述步骤C之后还包括：对所述视频关键帧进行合成处理，生成动态图片数据，以及显示所述动态图片数据。
由上可知，本发明在提取视频关键帧的过程中，与现有技术的区别在于通过对相邻两帧图像数据进行直方图和灰度图运算，根据运算结果来获取镜头转换边界并提取相应的关键帧，这样所提取的关键帧能反映视频的整个概况，因此本发明能提高提取关键帧的性能；另外，在视频审核的过程中，与现有技术的区别在于对解码后的图像数据进行了归一化处理，提高了运算速度；并且，本发明将提取的关键帧生成动态图片数据，方便用户浏览。
为了实现发明目的，所述系统包括关键帧提取单元，对视频数据中相邻两帧的图像数据进行直方图和灰度图运算，得到由所述运算结果组成的特征向量，比较所述特征向量的欧式距离与预定阈值的大小，以及基于所述比较结果获取镜头转换边界并提取关键帧。
所述关键帧提取单元包括：
运算模块，进行相邻两帧图像数据的直方图和灰度图运算，获取由相邻两帧的帧差异值、灰度图的均值差值和灰度图的方差差值组成的特征向量，以及对所述帧差异值、均值差值和方差差值进行加权处理得到所述特征向量的欧式距离；
帧提取模块，与所述运算模块相连并进行数据交互，比较所述欧式距离与预定阈值的大小，基于所述比较结果获取镜头转换边界以提取相应的关键帧。
所述镜头转换边界包括镜头渐变边界和镜头切变边界，所述预定阈值包括镜头渐变阈值和镜头切变阈值。
所述帧提取模块进一步用于：比较所述欧式距离与所述镜头渐变阈值和镜头切变阈值的大小，当所述欧式距离大于镜头渐变阈值并小于镜头切变阈值时，获取镜头渐变边界并提取相应关键帧，当所述欧式距离大于镜头切变阈值时，获取镜头切变边界并提取相应关键帧。
优选地，所述系统还包括：
解码单元，将视频数据进行解码，得到解码后的图像数据；
图像处理单元，与所述解码单元及关键帧提取单元相连并进行数据交互，对解码后的图像数据进行归一化处理，并将处理后的图像数据传至所述关键帧提取单元；
图片合成单元，与所述关键帧提取单元相连并进行数据交互，对得到的关键帧进行合成处理，生成动态图片数据。
为了更好地实现发明目的，所述方法包括：
A.对相邻两帧的图像数据进行直方图和灰度图运算，得到由所述运算结果组成的特征向量；
B.比较所述特征向量的欧式距离与预定阈值的大小，以及根据所述比较结果获取镜头转换边界；
C.根据镜头转换边界提取所述关键帧。
所述特征向量由相邻两帧的帧差异值、灰度图的均值差值和灰度图的方差差值组成，所述欧式距离是对所述帧差异值、均值差值和方差差值进行加权处理得到的。
所述镜头转换边界包括镜头渐变边界和镜头切变边界，所述预定阈值包括镜头渐变阈值和镜头切变阈值，所述步骤B进一步包括：比较所述欧式距离与所述镜头渐变阈值和镜头切变阈值的大小，当所述欧式距离大于镜头渐变阈值并小于镜头切变阈值时，获取镜头渐变边界，当所述欧式距离大于镜头切变阈值时，获取镜头切变边界。
所述步骤A之前还包括：对视频数据进行解码，得到解码后的图像数据，以及对所述解码后的图像数据进行归一化处理。
所述步骤C之后还包括：对所述视频关键帧进行合成处理，生成动态图片数据，以及显示所述动态图片数据。
由上可知，本发明在提取视频关键帧的过程中，与现有技术的区别在于通过对相邻两帧图像数据进行直方图和灰度图运算，根据运算结果来获取镜头转换边界并提取相应的关键帧，这样所提取的关键帧能反映视频的整个概况，因此本发明能提高提取关键帧的性能；另外，在视频审核的过程中，与现有技术的区别在于对解码后的图像数据进行了归一化处理，提高了运算速度；并且，本发明将提取的关键帧生成动态图片数据，方便用户浏览。
附图说明
图1是本发明其中一个实施例中提取视频关键帧的系统结构图；
图2是本发明其中一个实施例中提取视频关键帧的系统结构图；
图3是本发明其中一个实施例中关键帧提取单元的内部结构示意图；
图4是本发明其中一个实施例中提取视频关键帧的方法流程图；
图5是本发明其中一个实施例中提取视频关键帧的方法流程图。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
图2是本发明其中一个实施例中提取视频关键帧的系统结构图；
图3是本发明其中一个实施例中关键帧提取单元的内部结构示意图；
图4是本发明其中一个实施例中提取视频关键帧的方法流程图；
图5是本发明其中一个实施例中提取视频关键帧的方法流程图。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
具体实施方式
在本发明中，通过对相邻两帧图像数据进行直方图和灰度图运算，以及比较最终运算结果与预定阈值的大小，从而获取镜头转换边界并提取相应的关键帧。这样，提高了提取视频关键帧的性能。
本发明所提供的提取视频关键帧的系统，包括关键帧提取单元300，用于对视频数据中相邻两帧的图像数据进行直方图和灰度图运算，得到由所述运算结果组成的特征向量，比较所述特征向量的欧式距离与预定阈值的大小，以及基于所述比较结果获取镜头转换边界并提取关键帧。
图1示出了本发明的一个实施例中提取视频关键帧的系统结构，该系统包括解码单元100、图像处理单元200和关键帧提取单元300。应当说明的是，本发明所有图示中各设备之间的连接关系是为了清楚阐释其信息交互及控制过程的需要，因此应当视为逻辑上的连接关系，而不应仅限于物理连接。另外需要说明的是，各功能模块之间的通信方式可以采取多种，本发明的保护范围不应限定为某种特定类型的通信方式。其中：
解码单元100，用于将视频数据进行解码，得到解码后的图像数据。由于上传到互联网的视频数据是经过编码后的各种格式的视频数据，因此需要先对各种格式的视频数据进行解码，以得到原始的图像数据。
图像处理单元200，与解码单元100及关键帧提取单元300相连并进行数据交互，用于对解码后的图像数据进行归一化处理，并将处理后的图像数据传至关键帧提取单元300。由于上传到互联网的视频数据可能大小尺寸不一，为提高计算速度，需要对解码后的图像数据进行归一化处理。在一个实施例中，可归一化处理为120像素X90像素大小的图像数据
关键帧提取单元300，与图片浏览终端500相连并进行数据交互，用于对相邻两帧的图像数据进行直方图和灰度图运算，得到由所述运算结果组成的特征向量，比较所述特征向量的欧式距离与预定阈值的大小，以及基于所述比较结果获取镜头转换边界并提取关键帧。
在一个实施例中，镜头转换边界包括镜头渐变边界和镜头切变边界，预定阈值包括镜头渐变阈值和镜头切变阈值。
基于上述实施例，本发明提出另一个实施例，图2示出了本发明的一个实施例中提取视频关键帧的系统结构，该系统除了包括解码单元100、图像处理单元200、关键帧提取单元300，还包括图片合成单元400和图片浏览终端500，其中：
图片合成单元400，与关键帧提取单元300及图片浏览终端500相连并进行数据交互，用于对得到的关键帧进行合成处理，生成动态图片数据。在一个实施例中，所生成的动态图片数据是gif文件格式的图片。
图片浏览终端500，与图片合成单元400相连并进行数据交互，用于显示图片合成单元400生成的动态图片数据。所得到的动态图片数据可供用户审核或分析处理。
应当说明的是，图片浏览终端500既可以与图片合成单元400处于同一装置中，也可以通过网络与图片合成单元400相连。当通过网络连接时，为提高传输速度，图片合成单元400生成的动态图片数据可经过压缩处理，压缩后的动态图片数据通过网络传输至图片浏览终端500，经图片浏览终端500解压缩处理后再显示。
图3示出了本发明的一个实施例中关键帧提取单元300的内部结构图。该关键帧提取单元300包括运算模块301、缓存模块302、计时模块303和帧提取模块304，其中：
(1)运算模块301，与缓存模块302、计时模块303和帧提取模块304相连并进行数据交互，用于进行相邻两帧图像数据的直方图和灰度图运算，获取包括相邻两帧的帧差异值、灰度图的均值差值和灰度图的方差差值组成的特征向量，以及对所述帧差异值、均值差值和方差差值进行加权处理得到所述特征向量的欧式距离。
在一个实施例中，运算模块301获取的特征向量的公式为：
D(k，k+1)＝(Z(k，k+1)，M(k，k+1)，S(k，k+1))，其中：
Z(k，k+1)的计算公式为：
其中，Z(k，k+1)是第k帧和第k+1帧之间的帧差异值，M是每帧的像素数，N是颜色的个数，hk(i)是第k帧颜色为i的直方图数值，hk+1(i)是第k+1帧颜色为i的直方图数值。
M(k，k+1)的计算公式为：
M(k，k+1)＝μ(k+1)-μ(k)
其中，M(k，k+1)是第k帧和第k+1帧灰度图的均值差值，μ(k+1)是第k+1帧灰度图的均值，μ(k)是第k帧灰度图的均值。
S(k，k+1)的计算公式为：
其中，S(k，k+1)是第k帧和第k+1帧灰度图的方差差值，是第k+1帧灰度图的方差，是第k帧灰度图的方差。
在一示例方案中，某一帧灰度图的均值的计算公式为：
其中，μ是灰度图的均值，h是图像的高度，w是图像的宽度，I(x，y)是像素点的灰度值。
某一帧灰度图的方差的计算公式为：
其中，是灰度图的方差，h是图像的高度，w是图像的宽度，I(x，y)是像素点的灰度值，μ是该帧的灰度图的均值。
运算模块301得到特征向量后，对所述帧差异值、均值差值和方差差值进行加权处理，以得到该特征向量的欧式距离，该实施例中，欧式距离的计算公式为：
其中，d是特征向量的欧式距离，Z(k-1，k)是第k-1帧和第k帧之间的帧差异值，Z(k，k+1)是第k帧和第k+1帧之间的帧差异值，M(k-1，k)是第k-1帧和第k帧灰度图的均值差值，M(k，k+1)是第k帧和第k+1帧灰度图的均值差值，S(k-1，k)是第k-1帧和第k帧灰度图的方差差值，S(k，k+1)是第k帧和第k+1帧灰度图的方差差值，α，β，δ是加权系数。α，β，δ的取值可根据不用的应用环境进行变化，优选取值分别为1.7，1，1.2。
(2)缓存模块302，与运算模块301、计时模块303和帧提取模块304相连并进行数据交互，用于存储运算模块301计算所得到的图像数据特征，例如上述计算得到的直方图和灰度图数值等，缓存模块302可设置为仅存储一段连续帧的图像数据特征。在一个优选实施例中，缓存模块302设为可存储连续50帧的图像数据特征，当缓存模块302的空间已存储满时，则数据更替为下一50帧的图像数据特征。运算模块301进行进一步的运算时，可直接提取缓存模块302中存储的图像数据特征，而无需重新计算原始图像数据，从而提高了计算速度。
(3)计时模块303，与运算模块301、缓存模块302和帧提取模块304相连并进行数据交互，用于计时。对于一些场景不易出现镜头渐变和镜头切变的视频，可能会造成偶尔的漏检，当计时模块303计时到一定时间还未输出关键帧时，帧提取模块304则会强行输出一帧，以防止漏检的现象，进一步提高本发明提取视频关键帧的性能。
(4)帧提取模块304，与运算模块301、缓存模块302和计时模块303相连并进行数据交互，用于比较欧式距离和镜头渐变阈值和镜头切变阈值的大小，当欧式距离大于镜头渐变阈值并小于镜头切变阈值时，则获取镜头渐变边界并提取相应的关键帧，当欧式距离大于镜头切变阈值时，则获取镜头切变边界并提取相应的关键帧。
在一个示例方案中，d为计算得到的欧式距离，设置T1为镜头渐变阈值，Th为镜头切变阈值，T1优选取值为0.1，Th优选取值为0.3。运算模块301从缓存模块302中提取相邻两帧的图像数据特征，并计算得到欧式距离d。当dTh时，则镜头已切变，在发生镜头切变的过程中，获取镜头切变边界。在一实施例中，在镜头发生渐变的过程中，可在开始渐变和渐变结束的时间点，以及渐变的中间点提取关键帧，在镜头发生切变时，可在开始切变的边界提取关键帧。这样，所提取的关键帧能反映整个视频的概况。
图4示出了本发明的一个实施例中提取视频关键帧的方法流程，该方法流程基于图1所示的系统结构，具体过程如下：
在步骤S401中，关键帧提取单元300对相邻两帧的图像数据进行直方图和灰度图运算，得到由运算结果组成的特征向量。
在步骤S402中，关键帧提取单元300比较特征向量的欧式距离与预定阈值的大小，以及基于所述比较结果获取镜头转换边界。
在步骤S403中，关键帧提取单元300根据镜头转换边界提取所述关键帧。
在一个实施例中，关键帧提取单元300所得到的特征向量包括运算得到的相邻两帧的帧差异值、灰度图的均值差值和灰度图的方差差值，欧式距离是对所述帧差异值、均值差值和方差差值进行加权处理得到的。
图5示出了本发明的一个实施例中提取视频关键帧的方法流程，该方法流程基于图2所示的系统结构，具体过程如下：
在步骤S501中，解码单元100将视频数据进行解码，得到解码后的图像数据。
在步骤S502中，图像处理单元200对解码后的图像数据进行归一化处理。在一个实施例中，图像处理单元200将解码后的图像数据归一化处理为120像素X90像素大小的图像数据。
在步骤S503中，关键帧提取单元300对相邻两帧的图像数据进行直方图和灰度图运算，得到由所述运算结果组成的特征向量。
在一个实施例中，步骤S503的具体过程为：
运算模块301进行相邻两帧图像数据的直方图和灰度图运算，得到相邻两帧的帧差异值、灰度图的均值差值和灰度图的方差差值，得到包括所述帧差异值、均值差值和方差差值的特征向量。
在一个实施例中，运算模块301获取的特征向量的公式为：
D(k，k+1)＝(Z(k，k+1)，M(k，k+1)，S(k，k+1))，其中：
Z(k，k+1)的计算公式为：
其中，Z(k，k+1)是第k帧和第k+1帧之间的帧差异值，M是每帧的像素数，N是颜色的个数，hk(i)是第k帧颜色为i的直方图数值，hk+1(i)是第k+1帧颜色为i的直方图数值。
M(k，k+1)的计算公式为：
M(k，k+1)＝μ(k+1)-μ(k)
其中，M(k，k+1)是第k帧和第k+1帧灰度图的均值差值，μ(k+1)是第k+1帧灰度图的均值，μ(k)是第k帧灰度图的均值。
S(k，k+1)的计算公式为：
其中，S(k，k+1)是第k帧和第k+1帧灰度图的方差差值，是第k+1帧灰度图的方差，是第k帧灰度图的方差。
在一示例方案中，某一帧灰度图的均值的计算公式为：
其中，μ是灰度图的均值，h是图像的高度，w是图像的宽度，I(x，y)是像素点的灰度值。
某一帧灰度图的方差的计算公式为：
其中，是灰度图的方差，h是图像的高度，w是图像的宽度，I(x，y)是像素点的灰度值，μ是该帧灰度图的均值。
在步骤S504中，关键帧获取单元300比较特征向量的欧式距离与预定阈值的大小，以及根据该比较结果获取镜头转换边界并提取相应关键帧。
在一个实施例中，步骤S504的具体过程为：
运算模块301得到特征向量后，对运算得到的帧差异值、均值差值和方差差值进行加权处理得到该特征向量的欧式距离，该实施例中，欧式距离的计算公式为：
其中，d是特征向量的欧式距离，Z(k-1，k)是第k-1帧和第k帧之间的帧差异值，Z(k，k+1)是第k帧和第k+1帧之间的帧差异值，M(k-1，k)是第k-1帧和第k帧灰度图的均值差值，M(k，k+1)是第k帧和第k+1帧灰度图的均值差值，S(k-1，k)是第k-1帧和第k帧灰度图的方差差值，S(k，k+1)是第k帧和第k+1帧灰度图的方差差值。α，β，δ是加权系数。α，β，δ的取值可根据不用的应用环境进行变化，优选取值分别为1.7，1，1.2。
得到欧式距离后，帧提取模块304比较欧式距离和预定阈值的大小。在一个实施例中，预定阈值包括镜头渐变阈值和镜头切变阈值，当欧式距离大于镜头渐变阈值并小于镜头切变阈值时，获取镜头渐变边界并提取相应的关键帧，当欧式距离大于镜头切变阈值时，获取镜头切变边界并提取相应的关键帧。
在一个示例方案中，d为计算得到的欧式距离，设置T1为镜头渐变阈值，Th为镜头切变阈值，T1优选取值为0.1，Th优选取值为0.3。运算模块301从缓存模块302中提取相邻两帧的图像数据特征，并计算得到欧式距离d。当dTh时，镜头已切变，在发生镜头切变的过程中，获取镜头切变边界。在一实施例中，在镜头发生渐变的过程中，可在开始渐变和渐变结束的时间点，以及渐变的中间点提取关键帧，在镜头发生切变时，可在开始切变的边界提取关键帧。
在一个优选实施例中，设置缓存模块302用于存储连续帧的图像数据特征，例如，设为可存储50帧连续图像数据特征，当缓存模块302的空间已存储满时，则更替为下一50帧的图像数据特征。运算模块301和帧提取模块304可直接提取缓存模块302中存储的图像数据特征进行进一步运算或判断。
在另一个优选实施例中，设置计时模块304用于计时。在对一些场景不易出现镜头渐变和镜头切变的视频，可能会造成偶尔的漏检，当计时模块303计时到一定时间还未输出关键帧时，帧提取模块304则会强行输出一帧，以防止漏检的现象，进一步提高本发明视频审核的性能。
在步骤S505中，图片合成单元400将提取的关键帧进行合成，生成动态图片数据。在一个实施例中，所生成的动态图片数据是gif文件格式的图片。
在步骤S506中，图片浏览终端500显示所述动态图片数据。在一个实施例中，图片浏览终端500与图片合成单元400通过网络连接，图片合成单元400生成的动态图片数据可以经过压缩处理再传输至图片浏览终端500，经图片浏览终端500解压缩处理后进行显示，在图片浏览终端500的用户则可通过浏览该动态图片数据获知视频的概况，从而对提取的关键帧的图像数据进行审核或分析处理。
应当说明的是，上述实施例仅是用于解释本发明的技术方案，本发明典型应用但不限于视频审核分析系统，在其他类似的视频处理系统中也可以应用本发明所阐述的方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
本发明所提供的提取视频关键帧的系统，包括关键帧提取单元300，用于对视频数据中相邻两帧的图像数据进行直方图和灰度图运算，得到由所述运算结果组成的特征向量，比较所述特征向量的欧式距离与预定阈值的大小，以及基于所述比较结果获取镜头转换边界并提取关键帧。
图1示出了本发明的一个实施例中提取视频关键帧的系统结构，该系统包括解码单元100、图像处理单元200和关键帧提取单元300。应当说明的是，本发明所有图示中各设备之间的连接关系是为了清楚阐释其信息交互及控制过程的需要，因此应当视为逻辑上的连接关系，而不应仅限于物理连接。另外需要说明的是，各功能模块之间的通信方式可以采取多种，本发明的保护范围不应限定为某种特定类型的通信方式。其中：
解码单元100，用于将视频数据进行解码，得到解码后的图像数据。由于上传到互联网的视频数据是经过编码后的各种格式的视频数据，因此需要先对各种格式的视频数据进行解码，以得到原始的图像数据。
图像处理单元200，与解码单元100及关键帧提取单元300相连并进行数据交互，用于对解码后的图像数据进行归一化处理，并将处理后的图像数据传至关键帧提取单元300。由于上传到互联网的视频数据可能大小尺寸不一，为提高计算速度，需要对解码后的图像数据进行归一化处理。在一个实施例中，可归一化处理为120像素X90像素大小的图像数据
关键帧提取单元300，与图片浏览终端500相连并进行数据交互，用于对相邻两帧的图像数据进行直方图和灰度图运算，得到由所述运算结果组成的特征向量，比较所述特征向量的欧式距离与预定阈值的大小，以及基于所述比较结果获取镜头转换边界并提取关键帧。
在一个实施例中，镜头转换边界包括镜头渐变边界和镜头切变边界，预定阈值包括镜头渐变阈值和镜头切变阈值。
基于上述实施例，本发明提出另一个实施例，图2示出了本发明的一个实施例中提取视频关键帧的系统结构，该系统除了包括解码单元100、图像处理单元200、关键帧提取单元300，还包括图片合成单元400和图片浏览终端500，其中：
图片合成单元400，与关键帧提取单元300及图片浏览终端500相连并进行数据交互，用于对得到的关键帧进行合成处理，生成动态图片数据。在一个实施例中，所生成的动态图片数据是gif文件格式的图片。
图片浏览终端500，与图片合成单元400相连并进行数据交互，用于显示图片合成单元400生成的动态图片数据。所得到的动态图片数据可供用户审核或分析处理。
应当说明的是，图片浏览终端500既可以与图片合成单元400处于同一装置中，也可以通过网络与图片合成单元400相连。当通过网络连接时，为提高传输速度，图片合成单元400生成的动态图片数据可经过压缩处理，压缩后的动态图片数据通过网络传输至图片浏览终端500，经图片浏览终端500解压缩处理后再显示。
图3示出了本发明的一个实施例中关键帧提取单元300的内部结构图。该关键帧提取单元300包括运算模块301、缓存模块302、计时模块303和帧提取模块304，其中：
(1)运算模块301，与缓存模块302、计时模块303和帧提取模块304相连并进行数据交互，用于进行相邻两帧图像数据的直方图和灰度图运算，获取包括相邻两帧的帧差异值、灰度图的均值差值和灰度图的方差差值组成的特征向量，以及对所述帧差异值、均值差值和方差差值进行加权处理得到所述特征向量的欧式距离。
在一个实施例中，运算模块301获取的特征向量的公式为：
D(k，k+1)＝(Z(k，k+1)，M(k，k+1)，S(k，k+1))，其中：
Z(k，k+1)的计算公式为：
其中，Z(k，k+1)是第k帧和第k+1帧之间的帧差异值，M是每帧的像素数，N是颜色的个数，hk(i)是第k帧颜色为i的直方图数值，hk+1(i)是第k+1帧颜色为i的直方图数值。
M(k，k+1)的计算公式为：
M(k，k+1)＝μ(k+1)-μ(k)
其中，M(k，k+1)是第k帧和第k+1帧灰度图的均值差值，μ(k+1)是第k+1帧灰度图的均值，μ(k)是第k帧灰度图的均值。
S(k，k+1)的计算公式为：
其中，S(k，k+1)是第k帧和第k+1帧灰度图的方差差值，是第k+1帧灰度图的方差，是第k帧灰度图的方差。
在一示例方案中，某一帧灰度图的均值的计算公式为：
其中，μ是灰度图的均值，h是图像的高度，w是图像的宽度，I(x，y)是像素点的灰度值。
某一帧灰度图的方差的计算公式为：
其中，是灰度图的方差，h是图像的高度，w是图像的宽度，I(x，y)是像素点的灰度值，μ是该帧的灰度图的均值。
运算模块301得到特征向量后，对所述帧差异值、均值差值和方差差值进行加权处理，以得到该特征向量的欧式距离，该实施例中，欧式距离的计算公式为：
其中，d是特征向量的欧式距离，Z(k-1，k)是第k-1帧和第k帧之间的帧差异值，Z(k，k+1)是第k帧和第k+1帧之间的帧差异值，M(k-1，k)是第k-1帧和第k帧灰度图的均值差值，M(k，k+1)是第k帧和第k+1帧灰度图的均值差值，S(k-1，k)是第k-1帧和第k帧灰度图的方差差值，S(k，k+1)是第k帧和第k+1帧灰度图的方差差值，α，β，δ是加权系数。α，β，δ的取值可根据不用的应用环境进行变化，优选取值分别为1.7，1，1.2。
(2)缓存模块302，与运算模块301、计时模块303和帧提取模块304相连并进行数据交互，用于存储运算模块301计算所得到的图像数据特征，例如上述计算得到的直方图和灰度图数值等，缓存模块302可设置为仅存储一段连续帧的图像数据特征。在一个优选实施例中，缓存模块302设为可存储连续50帧的图像数据特征，当缓存模块302的空间已存储满时，则数据更替为下一50帧的图像数据特征。运算模块301进行进一步的运算时，可直接提取缓存模块302中存储的图像数据特征，而无需重新计算原始图像数据，从而提高了计算速度。
(3)计时模块303，与运算模块301、缓存模块302和帧提取模块304相连并进行数据交互，用于计时。对于一些场景不易出现镜头渐变和镜头切变的视频，可能会造成偶尔的漏检，当计时模块303计时到一定时间还未输出关键帧时，帧提取模块304则会强行输出一帧，以防止漏检的现象，进一步提高本发明提取视频关键帧的性能。
(4)帧提取模块304，与运算模块301、缓存模块302和计时模块303相连并进行数据交互，用于比较欧式距离和镜头渐变阈值和镜头切变阈值的大小，当欧式距离大于镜头渐变阈值并小于镜头切变阈值时，则获取镜头渐变边界并提取相应的关键帧，当欧式距离大于镜头切变阈值时，则获取镜头切变边界并提取相应的关键帧。
在一个示例方案中，d为计算得到的欧式距离，设置T1为镜头渐变阈值，Th为镜头切变阈值，T1优选取值为0.1，Th优选取值为0.3。运算模块301从缓存模块302中提取相邻两帧的图像数据特征，并计算得到欧式距离d。当d
图4示出了本发明的一个实施例中提取视频关键帧的方法流程，该方法流程基于图1所示的系统结构，具体过程如下：
在步骤S401中，关键帧提取单元300对相邻两帧的图像数据进行直方图和灰度图运算，得到由运算结果组成的特征向量。
在步骤S402中，关键帧提取单元300比较特征向量的欧式距离与预定阈值的大小，以及基于所述比较结果获取镜头转换边界。
在步骤S403中，关键帧提取单元300根据镜头转换边界提取所述关键帧。
在一个实施例中，关键帧提取单元300所得到的特征向量包括运算得到的相邻两帧的帧差异值、灰度图的均值差值和灰度图的方差差值，欧式距离是对所述帧差异值、均值差值和方差差值进行加权处理得到的。
图5示出了本发明的一个实施例中提取视频关键帧的方法流程，该方法流程基于图2所示的系统结构，具体过程如下：
在步骤S501中，解码单元100将视频数据进行解码，得到解码后的图像数据。
在步骤S502中，图像处理单元200对解码后的图像数据进行归一化处理。在一个实施例中，图像处理单元200将解码后的图像数据归一化处理为120像素X90像素大小的图像数据。
在步骤S503中，关键帧提取单元300对相邻两帧的图像数据进行直方图和灰度图运算，得到由所述运算结果组成的特征向量。
在一个实施例中，步骤S503的具体过程为：
运算模块301进行相邻两帧图像数据的直方图和灰度图运算，得到相邻两帧的帧差异值、灰度图的均值差值和灰度图的方差差值，得到包括所述帧差异值、均值差值和方差差值的特征向量。
在一个实施例中，运算模块301获取的特征向量的公式为：
D(k，k+1)＝(Z(k，k+1)，M(k，k+1)，S(k，k+1))，其中：
Z(k，k+1)的计算公式为：
其中，Z(k，k+1)是第k帧和第k+1帧之间的帧差异值，M是每帧的像素数，N是颜色的个数，hk(i)是第k帧颜色为i的直方图数值，hk+1(i)是第k+1帧颜色为i的直方图数值。
M(k，k+1)的计算公式为：
M(k，k+1)＝μ(k+1)-μ(k)
其中，M(k，k+1)是第k帧和第k+1帧灰度图的均值差值，μ(k+1)是第k+1帧灰度图的均值，μ(k)是第k帧灰度图的均值。
S(k，k+1)的计算公式为：
其中，S(k，k+1)是第k帧和第k+1帧灰度图的方差差值，是第k+1帧灰度图的方差，是第k帧灰度图的方差。
在一示例方案中，某一帧灰度图的均值的计算公式为：
其中，μ是灰度图的均值，h是图像的高度，w是图像的宽度，I(x，y)是像素点的灰度值。
某一帧灰度图的方差的计算公式为：
其中，是灰度图的方差，h是图像的高度，w是图像的宽度，I(x，y)是像素点的灰度值，μ是该帧灰度图的均值。
在步骤S504中，关键帧获取单元300比较特征向量的欧式距离与预定阈值的大小，以及根据该比较结果获取镜头转换边界并提取相应关键帧。
在一个实施例中，步骤S504的具体过程为：
运算模块301得到特征向量后，对运算得到的帧差异值、均值差值和方差差值进行加权处理得到该特征向量的欧式距离，该实施例中，欧式距离的计算公式为：
其中，d是特征向量的欧式距离，Z(k-1，k)是第k-1帧和第k帧之间的帧差异值，Z(k，k+1)是第k帧和第k+1帧之间的帧差异值，M(k-1，k)是第k-1帧和第k帧灰度图的均值差值，M(k，k+1)是第k帧和第k+1帧灰度图的均值差值，S(k-1，k)是第k-1帧和第k帧灰度图的方差差值，S(k，k+1)是第k帧和第k+1帧灰度图的方差差值。α，β，δ是加权系数。α，β，δ的取值可根据不用的应用环境进行变化，优选取值分别为1.7，1，1.2。
得到欧式距离后，帧提取模块304比较欧式距离和预定阈值的大小。在一个实施例中，预定阈值包括镜头渐变阈值和镜头切变阈值，当欧式距离大于镜头渐变阈值并小于镜头切变阈值时，获取镜头渐变边界并提取相应的关键帧，当欧式距离大于镜头切变阈值时，获取镜头切变边界并提取相应的关键帧。
在一个示例方案中，d为计算得到的欧式距离，设置T1为镜头渐变阈值，Th为镜头切变阈值，T1优选取值为0.1，Th优选取值为0.3。运算模块301从缓存模块302中提取相邻两帧的图像数据特征，并计算得到欧式距离d。当d
在一个优选实施例中，设置缓存模块302用于存储连续帧的图像数据特征，例如，设为可存储50帧连续图像数据特征，当缓存模块302的空间已存储满时，则更替为下一50帧的图像数据特征。运算模块301和帧提取模块304可直接提取缓存模块302中存储的图像数据特征进行进一步运算或判断。
在另一个优选实施例中，设置计时模块304用于计时。在对一些场景不易出现镜头渐变和镜头切变的视频，可能会造成偶尔的漏检，当计时模块303计时到一定时间还未输出关键帧时，帧提取模块304则会强行输出一帧，以防止漏检的现象，进一步提高本发明视频审核的性能。
在步骤S505中，图片合成单元400将提取的关键帧进行合成，生成动态图片数据。在一个实施例中，所生成的动态图片数据是gif文件格式的图片。
在步骤S506中，图片浏览终端500显示所述动态图片数据。在一个实施例中，图片浏览终端500与图片合成单元400通过网络连接，图片合成单元400生成的动态图片数据可以经过压缩处理再传输至图片浏览终端500，经图片浏览终端500解压缩处理后进行显示，在图片浏览终端500的用户则可通过浏览该动态图片数据获知视频的概况，从而对提取的关键帧的图像数据进行审核或分析处理。
应当说明的是，上述实施例仅是用于解释本发明的技术方案，本发明典型应用但不限于视频审核分析系统，在其他类似的视频处理系统中也可以应用本发明所阐述的方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。