屏幕内容视频运动类型的判断方法转让专利
申请号 : CN202011243794.6
文献号 : CN112511719B
文献日 : 2021-11-26
发明人 : 杨楷芳 , 蒙琴琴 , 公衍超 , 马苗 , 施姿羽 , 韩宇婷
申请人 : 陕西师范大学
摘要 :
一种屏幕内容视频运动类型的判断方法，由确定视频图像的帧差、划分视频、确定视频片段的标准差、确定视频片段帧差的方差、确定每个视频片段的运动类型步骤组成。通过视频内容特征分析，得到表征不同运动类型特征模型，将输入的视频划分成视频片段，采用视频片段的标准差和视频片段的帧差的方差建立估计视频片段所包含运动类型的数学模型，得到每个视频片段的运动类型特征值，判断出运动类型，解决了屏幕内容视频中包含的复杂运动类型划分的问题。经仿真模拟实验结果表明，本发明具有计算方法简单、准确性高、使用效果好、使用范围广等优点，可用于视频压缩编码、视频分类以及视频检索等领域。
权利要求 :
1.一种屏幕内容视频运动类型的判断方法，其特征在于是由下述步骤组成：(1)确定视频图像的帧差
n
对于一帧视频图像，按宽×高为w×w的块划分方式划分成视频图像块，w为2 ，3≤n≤7，n为整数，从视频的第2帧开始至视频的最后一帧，按式(1)确定视频中每个视频图像的帧差F(i)：
其中N1为帧宽，N2为帧高，x(i,k,t)为视频第i帧中第k个视频图像块第t个像素的亮度值，int()为下取整函数，i、k、t为有限的正整数，i≥2；
(2)划分视频
从视频的第2帧开始至视频的最后一帧，当前视频图像的帧差Fi和前一帧的帧差Fi‑1满足：0≤Fi‑1＜ξ，Fi＞ξ，ξ∈[0,0.1]，划分成YUV格式的视频片段，将当前视频图像的帧差Fi满足条件Fi＞ξ，ξ∈[0,0.1]的视频图像写入视频片段，判断当前帧是否为视频的最后一帧，直到划分完整个视频；
(3)确定视频片段的标准差
从第一个视频片段开始至最后一个视频片段，按式(2)确定视频片段中每个视频图像标准差S(a)，按式(3)确定每个视频片段标准差Ej：其中x(a,k,t)为视频片段第a帧中第k个视频图像块第t个像素的亮度值，Nj表示第j个视频片段的总帧数，a为有限的正整数；
(4)确定视频片段帧差的方差从第1个视频片段开始至最后一个视频片段，按式(4)确定视频片段中每个视频图像的帧差M(a)，按式(5)确定每个视频片段帧差的方差Qj：其中a≥2；
(5)确定每个视频片段的运动类型按式(6)确定每个视频片段运动类型的阈值Zj，按式(7)确定每个视频片段包含的运动类型Pj：
Zj＝Ej+Qj (6)
2.根据权利要求1所述的屏幕内容视频运动类型的判断方法，其特征在于：在(1)确定视频图像的帧差步骤中，所述的对于一帧视频图像，按宽×高为w×w的块划分方式划分成n
视频图像块，w为2，n取值为6。
说明书 :
屏幕内容视频运动类型的判断方法
技术领域
[0001] 本发明属于视频内容特性分析技术领域，特别涉及到屏幕内容视频中包含的运动类型的判断方法。
背景技术
[0002] 视频内容特性主要是指人眼观看视频内容时所感知到的视觉特征，包括颜色特征、纹理特征和运动特征等。视频内容特性分析有利于针对视频不同的内容设计相应的视
频压缩编码、视频传输以及完成视频分类和视频检索等任务。目前，针对传统自然视频内容
特性的研究较多，也较为成熟，例如视频的空域特性通常可以通过方差、梯度等特征进行衡
量。视频的时域特性可以通过帧差、光流法、背景帧差或运动矢量等方法进行衡量。
频压缩编码、视频传输以及完成视频分类和视频检索等任务。目前，针对传统自然视频内容
特性的研究较多，也较为成熟，例如视频的空域特性通常可以通过方差、梯度等特征进行衡
量。视频的时域特性可以通过帧差、光流法、背景帧差或运动矢量等方法进行衡量。
[0003] 随着多媒体技术的发展，视频的类型不再局限于传统的摄像机拍摄的自然视频，由计算机生成的屏幕内容视频出现在人们的生活中，并在医疗、交通和教育教学等领域得
到了广泛的应用。屏幕内容视频通常由文字、图形、图表、图标等内容构成。教师在教学过程
中可以通过录制屏幕的方式获取教学类屏幕内容视频，这类视频通常包含文字、图形和图
表，属于动态文字和图形类屏幕内容视频。与由摄像机拍摄的自然视频相比，屏幕内容视频
通常包含的颜色鲜艳而种类较少，纹理边缘较为尖锐，存在很多突变，运动大多不规则，导
致视频内容连续性不强。所以，屏幕内容视频的内容特性与自然视频相比，发生了很大变
化，传统的针对自然视频中包含的运动类型进行判断的方法并不能直接应用于屏幕内容视
频。例如在时域运动方面，通过屏幕录制教学课件而产生的屏幕内容视频会包含旋转、跳跃
等非线性运动。直接应用传统的帧差或背景帧差无法获取其所包含的运动类型。所以，需要
研究针对屏幕内容视频中的运动类型的判断方法。有效地估计此类屏幕内容视频中包含的
运动类型，对于后续视频的编码和传输以及视频分类和检索的相关研究具有重要的意义，
为在线教育提供有力的技术支持。而通过检索发现目前还未见可以有效识别屏幕内容视频
中运动类型的方法。
到了广泛的应用。屏幕内容视频通常由文字、图形、图表、图标等内容构成。教师在教学过程
中可以通过录制屏幕的方式获取教学类屏幕内容视频，这类视频通常包含文字、图形和图
表，属于动态文字和图形类屏幕内容视频。与由摄像机拍摄的自然视频相比，屏幕内容视频
通常包含的颜色鲜艳而种类较少，纹理边缘较为尖锐，存在很多突变，运动大多不规则，导
致视频内容连续性不强。所以，屏幕内容视频的内容特性与自然视频相比，发生了很大变
化，传统的针对自然视频中包含的运动类型进行判断的方法并不能直接应用于屏幕内容视
频。例如在时域运动方面，通过屏幕录制教学课件而产生的屏幕内容视频会包含旋转、跳跃
等非线性运动。直接应用传统的帧差或背景帧差无法获取其所包含的运动类型。所以，需要
研究针对屏幕内容视频中的运动类型的判断方法。有效地估计此类屏幕内容视频中包含的
运动类型，对于后续视频的编码和传输以及视频分类和检索的相关研究具有重要的意义，
为在线教育提供有力的技术支持。而通过检索发现目前还未见可以有效识别屏幕内容视频
中运动类型的方法。
发明内容
[0004] 本发明所要解决技术问题在于提供一种计算方法简单、准确性高、使用效果好、使用范围广的屏幕内容视频运动类型的判断方法。
[0005] 解决上述技术问题所采用的技术方案是由下述步骤组成：
[0006] (1)确定视频图像的帧差
[0007] 对于一帧视频图像，按宽×高为w×w的块划分方式划分成视频图像块，w为2n，3≤n≤7，n为整数，从视频的第2帧开始至视频的最后一帧，按式(1)确定视频中每个视频图像
的帧差F(i)：
的帧差F(i)：
[0008]
[0009] 其中N1为帧宽，N2为帧高，x(i,k,t)为视频第i帧中第k个视频图像块第t个像素的亮度值，int()为下取整函数，i、k、t为有限的正整数，i≥2。
[0010] (2)划分视频
[0011] 从视频的第2帧开始至视频的最后一帧，当前视频图像的帧差Fi和前一帧的帧差Fi‑1满足：0≤Fi‑1＜ξ，Fi＞ξ，ξ∈[0,0.1]，划分成YUV格式的视频片段，将当前视频图像的帧
差Fi满足条件Fi＞ξ，ξ∈[0,0.1]的视频图像写入视频片段，判断当前帧是否为视频的最后
一帧，直到划分完整个视频。
差Fi满足条件Fi＞ξ，ξ∈[0,0.1]的视频图像写入视频片段，判断当前帧是否为视频的最后
一帧，直到划分完整个视频。
[0012] (3)确定视频片段的标准差
[0013] 从第一个视频片段开始至最后一个视频片段，按式(2)确定视频片段中每个视频图像标准差S(a)，按式(3)确定每个视频片段标准差Ej：
[0014]
[0015]
[0016] 其中x(a,k,t)为视频片段第a帧中第k个视频图像块第t个像素的亮度值，Nj表示第j个视频片段的总帧数，a为有限的正整数。
[0017] (4)确定视频片段帧差的方差
[0018] 从第1个视频片段开始至最后一个视频片段，按式(4)确定视频片段中每个视频图像的帧差M(a)，按式(5)确定每个视频片段帧差的方差Qj：
[0019]
[0020]
[0021] 其中a≥2。
[0022] (5)确定每个视频片段的运动类型
[0023] 按式(6)确定每个视频片段运动类型的阈值Zj，按式(7)确定每个视频片段包含的运动类型Pj：
[0024] Zj＝Ej+Qj (6)
[0025]
[0026] 在本发明的确定视频图像的帧差步骤(1)中，所述的对于一帧视频图像，按宽×高n
为w×w的块划分方式划分成视频图像块，w为2，3≤n≤7。
为w×w的块划分方式划分成视频图像块，w为2，3≤n≤7。
[0027] 在本发明的确定视频图像的帧差步骤(1)中，所述的对于一帧视频图像，按宽×高n
为w×w的块划分方式划分成视频图像块，w为2，n取值最佳为6。
为w×w的块划分方式划分成视频图像块，w为2，n取值最佳为6。
[0028] 在本发明的划分视频步骤(2)中，所述的从视频的第2帧开始至视频的最后一帧，当前视频图像的帧差Fi和前一帧的帧差Fi‑1满足：0≤Fi‑1＜ξ，Fi＞ξ，ξ∈[0,0.1]，划分成YUV
格式的视频片段，将当前视频图像的帧差Fi满足条件Fi＞ξ，ξ∈[0,0.1]的视频图像写入视
频片段，ξ最佳为0，判断当前帧是否为视频的最后一帧，直到划分完整个视频。
格式的视频片段，将当前视频图像的帧差Fi满足条件Fi＞ξ，ξ∈[0,0.1]的视频图像写入视
频片段，ξ最佳为0，判断当前帧是否为视频的最后一帧，直到划分完整个视频。
[0029] 本发明通过视频内容特征分析，得到表征不同运动类型特征模型，对输入的视频进行视频片段拆分，采用视频片段的标准差和视频片段帧差的方差建立估计视频片段所包
含运动类型的数学模型，得到每个视频片段的运动类型特征值，判断出运动类型。发明人采
用本发明方法进行了仿真模拟实验，实验结果表明，本发明具有计算简单，准确性高的特
点，可用于视频压缩编码，视频分类和视频检索等领域。
含运动类型的数学模型，得到每个视频片段的运动类型特征值，判断出运动类型。发明人采
用本发明方法进行了仿真模拟实验，实验结果表明，本发明具有计算简单，准确性高的特
点，可用于视频压缩编码，视频分类和视频检索等领域。
附图说明
[0030] 图1是本发明实施例1的流程图。
具体实施方式
[0031] 下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下属的实施例。
[0032] 实施例1
[0033] 在图1中，本实施例的屏幕内容视频运动类型的判断方法由以下步骤组成：
[0034] (1)确定视频图像的帧差
[0035] 对于一帧视频图像，按宽×高为w×w的块划分方式划分成视频图像块，w为2n，3≤n≤7，本实施例的n取值为6，从视频的第2帧开始至视频的最后一帧，按式(1)确定视频中每
个视频图像的帧差F(i)：
个视频图像的帧差F(i)：
[0036]
[0037] 其中N1为帧宽，N2为帧高，x(i,k,t)为视频第i帧中第k个视频图像块第t个像素的亮度值，int()为下取整函数，i、k、t为有限的正整数，i≥2。
[0038] (2)划分视频
[0039] 从视频的第2帧开始至视频的最后一帧，当前视频图像的帧差Fi和前一帧的帧差Fi‑1满足：0≤Fi‑1＜ξ，Fi＞ξ，ξ∈[0,0.1]，划分成YUV格式的视频片段，将当前视频图像的帧
差Fi满足条件Fi＞ξ，ξ∈[0,0.1]的视频图像写入视频片段，本实施例的ξ取值为0，判断当前
帧是否为视频的最后一帧，直到划分完整个视频。
差Fi满足条件Fi＞ξ，ξ∈[0,0.1]的视频图像写入视频片段，本实施例的ξ取值为0，判断当前
帧是否为视频的最后一帧，直到划分完整个视频。
[0040] 在该步骤中，将采集的屏幕内容视频采用MATLAB软件划分成YUV格式的视频片段，MATLAB软件是美国MathWorks公司生产的商业数学软件，也可以使用Eclipse软件，还可以
使用Dev‑C++等软件进行YUV格式视频的划分，方便了对运动类型的判断，简化了操作步骤。
使用Dev‑C++等软件进行YUV格式视频的划分，方便了对运动类型的判断，简化了操作步骤。
[0041] (3)确定视频片段的标准差
[0042] 从第一个视频片段开始至最后一个视频片段，按式(2)确定视频片段中每个视频图像标准差S(a)，按式(3)确定每个视频片段标准差Ej：
[0043]
[0044]
[0045] 其中x(a,k,t)为视频片段第a帧中第k个视频图像块第t个像素的亮度值，Nj表示第j个视频片段的总帧数，a为有限的正整数。
[0046] (4)确定视频片段帧差的方差
[0047] 从第1个视频片段开始至最后一个视频片段，按式(4)确定视频片段中每个视频图像的帧差M(a)，按式(5)确定每个视频片段帧差的方差Qj：
[0048]
[0049]
[0050] 其中a≥2。
[0051] (5)确定每个视频片段的运动类型
[0052] 按式(6)确定每个视频片段运动类型的阈值Zj，按式(7)确定每个视频片段包含的运动类型Pj：
[0053] Zj＝Ej+Qj (6)
[0054]
[0055] 该步骤采用设定运动类型的阈值Zj的取值范围，可准确地确定每个视频片段的运动类型，方法简单，准确性高，用于视频压缩编码、视频分类、视频检索技术领域，将提高视
频编码、视频分类、视频检索的准确度以及运作的速度。
频编码、视频分类、视频检索的准确度以及运作的速度。
[0056] 实施例2
[0057] 本实施例的屏幕内容视频运动类型的判断方法由以下步骤组成：
[0058] (1)确定视频图像的帧差
[0059] 对于一帧视频图像，按宽×高为w×w的块划分方式划分成视频图像块，w为2n，3≤n≤7，本实施例的n取值为3，从视频的第2帧开始至视频的最后一帧，按式(1)确定视频中每
个视频图像的帧差F(i)：
个视频图像的帧差F(i)：
[0060]
[0061] 其中N1为帧宽，N2为帧高，x(i,k,t)为视频第i帧中第k个视频图像块第t个像素的亮度值，int()为下取整函数，i、k、t为有限的正整数，i≥2。
[0062] (2)划分视频
[0063] 从视频的第2帧开始至视频的最后一帧，当前视频图像的帧差Fi和前一帧的帧差Fi‑1满足：0≤Fi‑1＜ξ，Fi＞ξ，ξ∈[0,0.1]，划分成YUV格式的视频片段，将当前视频图像的帧
差Fi满足条件Fi＞ξ，ξ∈[0,0.1]的视频图像写入视频片段，本实施例的ξ取值为0.05，判断
当前帧是否为视频的最后一帧，直到划分完整个视频。
差Fi满足条件Fi＞ξ，ξ∈[0,0.1]的视频图像写入视频片段，本实施例的ξ取值为0.05，判断
当前帧是否为视频的最后一帧，直到划分完整个视频。
[0064] 其它步骤与实施例1相同。
[0065] 实施例3
[0066] 本实施例的屏幕内容视频运动类型的判断方法由以下步骤组成：
[0067] (1)确定视频图像的帧差
[0068] 对于一帧视频图像，按宽×高为w×w的块划分方式划分成视频图像块，w为2n，3≤n≤7，本实施例的n取值为7，从视频的第2帧开始至视频的最后一帧，按式(1)确定视频中每
个视频图像的帧差F(i)：
个视频图像的帧差F(i)：
[0069]
[0070] 其中N1为帧宽，N2为帧高，x(i,k,t)为视频第i帧中第k个视频图像块第t个像素的亮度值，int()为下取整函数，i、k、t为有限的正整数，i≥2。
[0071] (2)划分视频
[0072] 从视频的第2帧开始至视频的最后一帧，当前视频图像的帧差Fi和前一帧的帧差Fi‑1满足：0≤Fi‑1＜ξ，Fi＞ξ，ξ∈[0,0.1]，划分成YUV格式的视频片段，将当前视频图像的帧
差Fi满足条件Fi＞ξ，ξ∈[0,0.1]的视频图像写入视频片段，本实施例的ξ取值为0.1，判断当
前帧是否为视频的最后一帧，直到划分完整个视频。
差Fi满足条件Fi＞ξ，ξ∈[0,0.1]的视频图像写入视频片段，本实施例的ξ取值为0.1，判断当
前帧是否为视频的最后一帧，直到划分完整个视频。
[0073] 其它步骤与实施例1相同。
[0074] 为了验证本发明的有益效果，发明人采用本发明实施例1的方法进行了实验，试验情况如下：
[0075] 在实验过程中，发明人通过录制屏幕的方式产生不同时长的屏幕内容视频，总共获取了8个屏幕内容视频，分别是教育视频1、教育视频2、教育视频3、教育视频4、教育视频
5、教育视频6、教育视频7和教育视频8，视频的格式为YUV格式，分辨率为1280×720。每个视
频的详细信息如表1所示。
5、教育视频6、教育视频7和教育视频8，视频的格式为YUV格式，分辨率为1280×720。每个视
频的详细信息如表1所示。
[0076] 表1所获取的8个屏幕内容视频的详细信息
[0077]
[0078] 应用本发明的屏幕内容视频运动类型的判断方法，对这80个视频片段中所包含的运动类型识别的结果如表2所示。
[0079] 表2实施例1的方法对不同运动类型的测试结果
[0080]
[0081] 由表2可见，显示识别的数目为12个，准确率为100％；切出识别数目为9个，准确率为100％；传送带识别的数目为4个，准确率为100％；推进识别的数目为10个，准确率为
100％；平移识别的数目为8个，准确率为100％；切换识别的数目为6个，准确率为85.71％；
蜂巢识别的数目为4个，准确率为80％；缩放识别的数目为3个，准确率为75％；碎片识别的
数目为有10个，准确率为100％；涡流识别的数目为11个，准确率为100％。共可成功识别的
视频片段有77个，总识别准确率为96.25％。
100％；平移识别的数目为8个，准确率为100％；切换识别的数目为6个，准确率为85.71％；
蜂巢识别的数目为4个，准确率为80％；缩放识别的数目为3个，准确率为75％；碎片识别的
数目为有10个，准确率为100％；涡流识别的数目为11个，准确率为100％。共可成功识别的
视频片段有77个，总识别准确率为96.25％。
[0082] 对于所有测试视频，用屏幕内容视频运动类型判断的方法准确率可达96.25％，本方法可以有效地识别出屏幕内容视频的运动类型，对后续视频压缩编码和视频通信传输的
研究以及对实现屏幕内容视频运动类型的快速分类和检索都具有重要的应用价值。
研究以及对实现屏幕内容视频运动类型的快速分类和检索都具有重要的应用价值。