一种视频帧率上变换的方法和装置

摘要

为了解决现有视频帧率上变换方法存在的不能很好地解决运动物体遮挡和不规则运动的情况的问题，本发明提供了一种视频帧率上变换的方法：将待处理视频序列归类于以下类别之一：电影模式视频序列或非电影模式视频序列；将电影模式视频序列进行帧选择；对经过前一步骤处理的电影模式视频序列进行运动估计运动补偿处理；对非电影模式视频序列进行插入低频帧或插入重复帧等处理。本发明的视频帧率上变换方法可以应用于视频序列帧率变换的情况。

权利要求

1.视频帧率上变换的方法，包括如下步骤：

A、将待处理视频序列归类于以下类别之一的步骤：电影模式视频序列或非电影模式视频序列；

B、将电影模式视频序列进行帧选择的步骤，即将电影模式视频序列中重复的帧图像仅保留一帧；

C、对经过步骤B处理的电影模式视频序列进行运动估计运动补偿处理的步骤；

其特征在于还包括如下步骤：

D、如果执行步骤A后得到的是非电影模式视频序列，则对该非电影模式视频序列执行插入低频帧或插入重复帧或插入黑帧或插入灰帧处理的步骤。

2.根据权利要求1所述视频帧率上变换的方法，其特征在于还包括如下步骤：判断是否发生电影模式视频序列到非电影模式视频序列的转变，并确定电影模式视频序列最后一帧图像的位置；

在所述电影模式视频序列最后一帧图像后插入一定数量帧与所述最后一帧图像相同的图像，实现电影模式视频序列的帧率上变换；所述一定数量为：插入该数量帧图像后，电影模式视频序列帧率上变换后得到的视频序列符合变换后频率的要求。

3.根据权利要求1或2所述视频帧率上变换的方法，其特征在于所述插入低频帧的步骤是指：对待处理的帧图像低通滤波，得到低频帧；将待处理图像与所述低频帧相减得到高频帧；将所述高频帧与所述待处理的帧图像相加得到高频增强帧，以确定的顺序排列所述高频增强帧和低频帧；将所述以确定的顺序排列的高频增强帧和低频帧按所述待处理视频序列的时间顺序重新构成视频序列。

4.根据权利要求1或2所述视频帧率上变换的方法，其特征在于所述插入低频帧的步骤是指：对待处理的帧图像分别进行高通滤波和低通滤波，得到高频帧与低频帧，将所述高频帧与所述待处理的帧图像相加得到高频增强帧，以确定的顺序排列所述高频增强帧和低频帧；将所述以确定的顺序排列的高频增强帧和低频帧按所述待处理视频序列的时间顺序重新构成视频序列。

5.实现权利要求1所述视频帧率上变换方法的装置，其特征在于包括如下模块：检测视频序列类别模块，用于执行如下步骤：检测并将待处理视频序列归类于以下类别的步骤：电影模式视频序列或非电影模式视频序列；

帧选择模块，用于执行如下步骤：将电影模式视频序列中重复的帧图像仅保留一帧；

运动估计运动补偿模块，用于执行如下步骤：对经过帧选择模块处理的电影模式视频序列进行运动估计运动补偿处理；

非电影模式视频处理模块，用于执行如下步骤：对检测视频序列类别模块输出的非电影模式视频序列插入低频帧或插入重复帧或插入黑帧或插入灰帧；

检测视频序列类别模块、帧选择模块和运动估计运动补偿模块顺序连接；检测视 频序列类别模块还与非电影模式视频处理模块连接。

6.根据权利要求5所述装置，其特征在于还包括模式转换判断模块和模式转换处理模块，模式转换判断模块与检测视频序列类别模块连接，还与模式转换处理模块连接；

模式转换判断模块执行如下步骤：判断是否发生电影模式视频序列到非电影模式视频序列的转变，并确定电影模式视频序列最后一帧图像的位置；

模式转换处理模块执行如下步骤：在所述电影模式视频序列最后一帧图像后插入一定数量帧与所述最后一帧图像相同的图像，实现电影模式视频序列的帧率上变换；所述一定数量为：插入该数量帧图像后，电影模式视频序列帧率上变换后得到的视频序列符合变换后频率的要求。

7.根据权利要求5或6所述装置，其特征在于执行插入低频帧步骤的非电影模式视频处理模块执行如下步骤：对待处理的帧图像低通滤波，得到低频帧；将待处理图像与所述低频帧相减得到高频帧；将所述高频帧与所述待处理的帧图像相加得到高频增强帧，以确定的顺序排列所述高频增强帧和低频帧；将所述以确定的顺序排列的高频增强帧和低频帧按所述待处理视频序列的时间顺序重新构成视频序列。

8.根据权利要求5或6所述装置，其特征在于执行插入低频帧步骤的非电影模式视频处理模块执行如下步骤：对待处理的帧图像分别进行高通滤波和低通滤波，得到高频帧与低频帧，将所述高频帧与所述待处理的帧图像相加得到高频增强帧，以确定的顺序排列所述高频增强帧和低频帧；将所述以确定的顺序排列的高频增强帧和低频帧按所述待处理视频序列的时间顺序重新构成视频序列。

说明书

一种视频帧率上变换的方法和装置

技术领域

[0001] 本发明涉及视频序列处理技术，特别是在视频序列中插入图像的技术。

背景技术

[0002] 目前，电视机为了达到更清晰的显示效果，常需要能够以较高的帧率播放视频序列，因此要对输入的视频序列的帧率进行提升，可以通过采用帧率上变换技术(FRUC)对输入的视频信号中视频序列的帧率进行提升，帧率上变换技术主要包括：插入重复帧、插入黑(灰)帧、运动估计运动补偿(MEMC)和插入低频帧等。

[0003] 现有视频信号根据包含的视频序列的特点可以分为两类：电影模式视频序列和非电影模式视频序列。电影模式视频序列中存在重复的帧图像，如常被提及的3:2电影模式。非电影模式视频序列中不含有重复的帧图像。

[0004] 采用现有的帧率上变换技术处理视频序列时会存在以下问题：由于电影模式视频序列存在重复的帧图像，这会导致播放这种视频序列时在人的视觉感官上产生“抖动”的感受，经过帧率上变换处理后相邻两帧图像重复的次数更大，“抖动”现象更为严重。还是以3:2电影模式为例进行说明，假定帧率为60Hz，即每秒钟播放60帧图像，但是有效图像只有
24帧，根据人眼的视觉特性，这在人的视觉感受上就会产生“抖动”的印象。如果不对视频模式加以判别，直接对3:2电影进行处理，使播放的帧率达到120Hz，“抖动”现象更严重。因此这一问题需要加以解决。

[0005] 现有的解决上述“抖动”问题的视频帧率上变换方法是对待处理的视频序列首先进行模式判断，将视频序列归为电影模式视频序列和非电影模式视频序列。然后对判断出的电影模式视频序列进行帧选择，即去除电影模式视频序列中重复的帧图像，同样内容的帧图像仅保留一帧。对非电影模式视频序列和经过帧选择的电影模式视频序列进行运动估计运动补偿处理。该方案中采用的帧选择和运动估计运动补偿处理可以有效解决“抖动”问题。

[0006] 但现有的这一方案也存在如下问题：运动估计运动补偿处理存在一定的“副作用”(不能很好地解决运动物体遮挡和不规则运动的情况)，对于不存在上述“抖动”问题的非电影模式视频序列，采用运动估计运动补偿处理会导致上述副作用的问题比较突出。

发明内容

[0007] 为了解决现有视频帧率上变换方法存在的“副作用”的问题，本发明提供了一种视频帧率上变换的方法。

[0008] 本发明的主要思想是用成本更低的插低频帧等方法处理非电影模式视频序列，能够消除所谓“副作用”。

[0009] 本发明还提供了一种实现上述视频帧率上变换方法的装置。

[0010] 本发明的技术方案如下：

[0011] 视频帧率上变换的方法，包括如下步骤：

[0012] A、将待处理视频序列归类于以下类别之一的步骤：电影模式视频序列或非电影模式视频序列；

[0013] B、将电影模式视频序列进行帧选择的步骤，即将电影模式视频序列中重复的帧图像仅保留一帧；

[0014] C、对经过步骤B处理的电影模式视频序列进行运动估计运动补偿处理的步骤；

[0015] D、如果执行步骤A后得到的是非电影模式视频序列，则对该非电影模式视频序列执行插入低频帧或插入重复帧或插入黑帧或插入灰帧处理的步骤。

[0016] 上述视频帧率上变换的方法还包括如下步骤：

[0017] 判断是否发生电影模式视频序列到非电影模式视频序列的转变，并确定电影模式视频序列最后一帧图像的位置；

[0018] 在所述电影模式视频序列最后一帧图像后插入一定数量帧与所述最后一帧图像相同的图像，实现电影模式视频序列的帧率上变换；所述一定数量为：插入该数量帧图像后，电影模式视频序列帧率上变换后得到的视频序列符合变换后频率的要求。

[0019] 所述插入低频帧的步骤是指：对待处理的帧图像低通滤波，得到低频帧；将待处理图像与所述低频帧相减得到高频帧；将所述高频帧与所述待处理的帧图像相加得到高频增强帧，以确定的顺序排列所述高频增强帧和低频帧；将所述以确定的顺序排列的高频增强帧和低频帧按所述待处理视频序列的时间顺序重新构成视频序列。

[0020] 另一种插入低频帧的步骤是指：对待处理的帧图像分别进行高通滤波和低通滤波，得到高频帧与低频帧，将所述高频帧与所述待处理的帧图像相加得到高频增强帧，以确定的顺序排列所述高频增强帧和低频帧；将所述以确定的顺序排列的高频增强帧和低频帧按所述待处理视频序列的时间顺序重新构成视频序列。

[0021] 实现上述视频帧率上变换方法的装置，包括如下模块：

[0022] 检测视频序列类别模块，用于执行如下步骤：检测并将待处理视频序列归类于以下类别之一的步骤：电影模式视频序列或非电影模式视频序列；

[0023] 帧选择模块，用于执行如下步骤：将电影模式视频序列中重复的帧图像仅保留一帧；

[0024] 运动估计运动补偿模块，用于执行如下步骤：对经过帧选择模块处理的电影模式视频序列进行运动估计运动补偿处理；

[0025] 非电影模式视频处理模块，用于执行如下步骤之一：对检测视频序列类别模块输出的非电影模式视频序列插入低频帧或插入重复帧或插入黑帧或插入灰帧；

[0026] 检测视频序列类别模块、帧选择模块和运动估计运动补偿模块顺序连接；检测视频序列类别模块还与非电影模式视频处理模块连接。

[0027] 上述装置还包括模式转换判断模块和模式转换处理模块，模式转换判断模块与检测视频序列类别模块连接，还与模式转换处理模块连接；

[0028] 模式转换判断模块执行如下步骤：判断是否发生电影模式视频序列到非电影模式视频序列的转变，并确定电影模式视频序列最后一帧图像的位置；

[0029] 模式转换处理模块执行如下步骤：在所述电影模式视频序列最后一帧图像后插入一定数量帧与所述最后一帧图像相同的图像，实现电影模式视频序列的帧率上变换；所述一定数量为：插入该数量帧图像后，电影模式视频序列帧率上变换后得到的视频序列符合变换后频率的要求。

[0030] 执行插入低频帧步骤的非电影模式视频处理模块执行如下步骤：

[0031] 对待处理的帧图像低通滤波，得到低频帧；将待处理图像与所述低频帧相减得到高频帧；将所述高频帧与所述待处理的帧图像相加得到高频增强帧，以确定的顺序排列所述高频增强帧和低频帧；将所述以确定的顺序排列的高频增强帧和低频帧按所述待处理视频序列的时间顺序重新构成视频序列。

[0032] 另一种方案，执行插入低频帧步骤的非电影模式视频处理模块执行如下步骤：

[0033] 对待处理的帧图像分别进行高通滤波和低通滤波，得到高频帧与低频帧，将所述高频帧与所述待处理的帧图像相加得到高频增强帧，以确定的顺序排列所述高频增强帧和低频帧；将所述以确定的顺序排列的高频增强帧和低频帧按所述待处理视频序列的时间顺序重新构成视频序列。

[0034] 本发明的技术效果：

[0035] 本发明的技术方案对非电影模式视频序列不采用现有技术中采用的运动估计运动补偿方法进行帧率上变换，而是采用插入低频帧或插入重复帧等帧率上变换方法。由于非电影模式视频序列不存在产生上述“抖动”的原因，因此运动估计运动补偿方法具有的降低“抖动”现象的功能并不会对非电影模式视频序列有益，而且运动估计运动补偿还具有一些固有的“副作用”会对非电影模式视频序列的处理带来有害的影响，如不能很好地解决运动物体遮挡和不规则运动的情况。因此本发明采用了替代运动估计运动补偿的方案，即插入低频帧或重复帧等方法，这些方法经过实践证明是简单有效的帧率上变换方法，不会产生如运动估计运动补偿一样的“副作用”。

[0036] 需要说明的是本发明所说的“重复的帧图像”如果没有特别说明，是指在生成电影模式视频序列过程中对原始帧图像经过帧到场的转换以及去隔行处理产生并插入到视频序列中的若干同样的帧图像，如3:2模式视频序列中节拍3所代表的三个重复的帧图像；而不是仅指图像内容相同的若干帧图像。

附图说明

[0037] 图1为本发明视频帧率上变换方法的一个实施例的流程图。

[0038] 图2为本发明装置的一个实施例的结构原理图。

具体实施方式

[0039] 以下结合附图对本发明的技术方案进行详细说明。

[0040] 首先对简单的情况下本发明的方法进行说明，即仅对模式唯一的视频序列进行判断与处理。第一步，对输入的视频序列进行判断并归类于以下类型之一：电影模式视频序列或非电影模式视频序列。具体的方法可以引用申请人向中国专利局提交的申请号为200810110925.6的专利申请。需要说明的是，该申请中的视频源为隔行视频源，本实施例中的视频源为逐行视频源。二者的视频类型判断方法原理相同，逐行视频源的视频类型判断方法可由隔行视频源的视频类型判断方法推出。

[0041] 如果上一步骤对输入的视频序列的判断结果为电影模式视频序列，则对该视频序列进行帧选择，即消除电影模式视频序列中重复的帧图像。以24Hz的3:2电影模式视频序列为例，以前述方法判断出了该视频序列为3:2电影模式，即顺序的五帧图像中有三帧重复的图像，及两帧重复的图像，因此可以在重复的三帧图像中取一帧F1，重复的两帧图像中取一帧F2，以后的顺序的每五帧都采取相同的操作，这样又得到了24Hz的视频序列。具体的选择方法为：3:2电影中形如A1，A2，A3，B1，B2的序列，选择A1，B1进行后续操作。其他电影模式视频的选择方法同理可推。

[0042] 对重新得到的24Hz的视频序列进行运动估计运动补偿处理，以下对运动估计运动补偿处理进行举例说明。

[0043] 一种可能的实现方法是基于3D递归搜索的运动估计运动补偿方法，还可以是基于FFT的运动估计运动补偿方法。本实施例采用的是3D递归的方法。

[0044] 具体步骤包括：

[0045] 获得侯选运动矢量集合C。采用基于块匹配的3D递归搜索，根据视频中存在的时间及空间相关性，为当前块选取一些参考块进行运动估计，得到侯选运动矢量集合C。

[0046] 选取运动矢量。在侯选运动矢量集合C中，根据误差准则选定运动矢量。误差准则可以是SAD(Summed Absolute Difference)、MSE(mean square error)、NCCF(Normalized Cross Correlation Function)等。本实施例选用的准则是SAD准则。通过计算当前块内所有像素与匹配块内所有像素亮度差值的和，选取差值和最小的运动矢量为该块的运动矢量。具体的方法采用了相关文献(G.D.Haan，P.W.A.C.Biezen，H.Huijgen，and O.A.Ojo，“True-motion estimation with 3-Drecursive search block matching，”IEEE Trans.Circuits Syst.VideoTechnol.，vol.3，no.5，pp.368-379，Oct.1993)的相关内容。

[0047] 运动估计后，根据运动矢量进行运动补偿插帧。具体包括如下步骤：根据运动矢量，找出内插帧中像素在前后两帧原始帧中的对应位置，将对应位置处像素的值加权平均，即可得到内插帧中的像素值。具体的方法采用了相关文献(Byung-TaeChoi，Sung-Hee Lee and Sung_Jea Ko，”New frame rate up-conversion using bi-directionalmotion estimation”，IEEE transactions on Consumer Electronics，Vol.46，No.3，August 2000)的相关内容。

[0048] 本实施例应用于倍频变换，如从60Hz提升至120Hz，内插帧的相位为1/2，这是一种等相位插帧的方法，即所有帧之间的时间差是相同的，画面看起来连续感更强。事实上，本发明采用的MEMC方法可以实现任意等相位插帧，即两帧原始帧间可以插入任意多个内插帧。因此，MEMC可以应用到但不限于倍频的转换，可以实现任意帧率之间的转换。

[0049] 如果对输入的视频序列判断的结果是非电影模式视频序列，将该视频序列采用插入低频帧或插入重复帧方法进行帧率提升。采用这种处理方式可以减轻非电影模式视频序列帧率提升后的模糊现象。对非电影模式视频序列的帧率提升并不限于本发明中的方法，也可以采用现有的插入黑帧或插入灰帧等其他方法。

[0050] 上述插入低频帧的方法可以通过如下步骤实现：

[0051] 对待处理的帧图像低通滤波，得到低频帧。将待处理图像与所述低频帧相减得到高频帧。将所述高频帧与所述待处理的帧图像相加得到高频增强帧，以确定的顺序排列所述高频增强帧和低频帧。将所述以确定的顺序排列的高频增强帧和低频帧按所述待处理视频序列的时间顺序重新构成视频序列。即将一帧待处理图像分解成高频增强帧与低频帧，用高频增强帧加低频帧替代待处理图像并以原始视频序列的顺序依次排列分解得到的高频增强帧加低频帧，实现帧率上变换。根据上变换要得到的帧率适当增加低频帧的数量(如高频增强帧加两个低频帧)，构成帧率上变换后的视频序列。以下以一个具体实例进行说明：采用7×11的二维高斯滤波器对待处理图像进行低通滤波，得到低频帧。高频帧由待处理的帧图像与低频帧相减得到。高频增强帧由高频帧与待处理的帧图像相加得到。对原始视频序列中所有的帧图像均进行上述处理，完成处理后保持从每一原始帧图像得到的高频增强帧和低频帧的排列顺序构成一个变换后视频序列单位，按原始视频序列中帧图像的排列顺序(时间顺序)排列上述变换后视频序列单位即构成了完成帧率上变换的视频序列。变换后的视频序列呈现高频增强帧和低频帧间隔排列的状态。本方法可以有效地增加视频序列的清晰度。

[0052] 插入低频帧的方法还可以采用另一种，具体实现方法与前一种方法类似，主要区别在于高频帧与低频帧是对待处理的帧图像分别进行常规的高通滤波和低通滤波得到的，其他步骤与前一方法相同。

[0053] 上述插入重复帧的方法可以采用现有技术，在视频序列中需要插入帧图像的位置插入与该位置前或后原始帧图像相同的图像，实现帧率上变换。

[0054] 其次对复杂情况下本发明的方法进行说明(发生模式转换的情况)，即待处理视频序列中含有多种视频模式，当视频模式发生变换时的情况进行的处理。这里所说的模式变换是指视频序列中一个模式的序列结束，另一个模式序列开始的情况。采用申请人向中国专利局提交的申请号为200810110925.6的专利申请中的技术方案对视频序列进行模式判断，视频序列中电影模式序列结束(而视频序列未结束)时会出现电影模式到非电影模式的转换(以下简称为模式转换)。在发生上述模式转换时有可能出现这样的问题，即结束的这一个模式的视频序列经过帧率上变换处理后会发生变化后结果与需要上变换得到的帧率有出入。需要指出的是从非电影模式到电影模式的转换不会出现上述问题，而上述模式转换的情况会出现这个问题。为了解决这一问题，本发明对上述模式转换处理的方法是判断出发生模式转换后，对电影模式视频序列最后一帧图像后插入特定数量重复帧图像(即在所述最后一帧图像后加入特定数量帧的该图像的复制图像)，以满足上变换后频率的要求。具体举例说明如下：

[0055] 以3:2电影为例。在3:2电影的一段10帧的序列A1，A2，B1，B2，B3，C1，C2，D1，D2，D3中，原始帧率为60Hz，帧率上变换后的帧率设定为120Hz，也即为倍频变换。假设在C2处发生了电影模式到非电影模式的转换，即在C2处检测出之后的视频序列(包含C2)为非电影模式序列。按照前述方法，A1～C1均为电影模式序列，经过帧选择后选取A1，B1，C1进行MEMC处理，帧率上变换后生成的序列为AB1，AB2，AB3，AB4，AB5，BC1，BC2，BC3，BC4，BC5。而C2，D1，D2，D3为非电影模式序列，按照通常插入重复帧的方法将生成C2，C2，D1，D1，D2，D2，D3，D3。因此，所述待处理的序列，经过帧率上变换后最终生成18帧的序列：AB1，AB2，AB3，AB4，AB5，BC1，BC2，BC3，BC4，BC5，C2，C2，D1，D1，D2，D2，D3，D3。显然10帧变换为18帧并不符合倍频变换。因此，本发明采用对发生视频模式转换的帧的前一帧重复特定次数的方法，达到倍频变换的目的。在上述例子中，发生视频模式转换的帧为C2，其前一帧为C1，重复C1帧2次，最终完成10帧到20帧的倍频变换。

[0056] 在其他帧发生电影模式发生转换的情况，均可参照上述实施例得到特定的重复次数，实现帧率上变换。

[0057] 需要说明的是申请人向中国专利局提交的申请号为200810110925.6的专利申请中没有对电影模式发生模式转换时如何进行判断进行描述，在此简要说明判断发生模式转换的方法。根据该申请中的技术方案，视频序列中每一帧图像都要与前面若干帧图像构成的一个视频序列片段作为判断的对象，与表中所列的电影模式类型进行对比，相当于对每一帧图像进行模式判断。当发生模式转换时，非电影模式(或其他电影模式)第一帧与前面电影模式若干帧图像构成的一个视频序列片段在表中无法找到对应结果，此时可以判断发生电影模式转换，电影模式视频序列的最后一帧是当前判断帧图像的前一帧。

[0058] 结合图1对考虑复杂情况下本发明方法的过程进行简要描述(对于以上有过详细介绍的步骤在本描述中不再详细说明)：首先对输入的视频序列中每一帧图像进行模式判断(电影模式和非电影模式)；如果是电影模式，则进行帧选择和运动估计运动补偿处理；如果是非电影模式，则需要进一步判断是否发生模式转换，如果发生模式转换，则进行上述模式转换的处理步骤，然后再进行插入重复帧或插入黑帧或插入低频帧步骤；如果非电影模式没有发生模式转换，则直接进行插入重复帧或插入黑帧或插入低频帧步骤。

[0059] 图2显示了实现图1所示方法的装置的原理结构，该装置主要包括如下模块：

[0060] 检测视频序列类别模块，用于执行如下步骤：检测并将待处理视频序列归类于以下类别之一的步骤：电影模式视频序列或非电影模式视频序列。

[0061] 帧选择模块，用于执行如下步骤：将电影模式视频序列中重复的帧图像仅保留一帧，以消除电影模式视频序列中重复的帧图像。

[0062] 运动估计运动补偿模块，用于执行如下步骤：对经过帧选择模块处理的电影模式视频序列进行运动估计运动补偿处理，实现帧率上变换。

[0063] 非电影模式视频处理模块，用于对非电影模式视频序列进行处理，实现非电影模式视频序列的帧率上变换。具体的，非电影模式视频处理模块执行如下步骤之一：对检测视频序列类别模块输出的非电影模式视频序列插入低频帧或插入重复帧或插入黑帧或插入灰帧。

[0064] 针对前述的简单的情况(即视频序列不发生模式转换)，可以将上述模块进行如下设置：检测视频序列类别模块、帧选择模块和运动估计运动补偿模块顺序连接；检测视频序列类别模块还与非电影模式视频处理模块连接。

[0065] 针对前述的复杂的情况(即视频序列发生模式转换)，还需要在针对简单情况设置的基础上增加模式转换判断模块与模式转换处理模块。

[0066] 针对复杂情况的装置包括：

[0067] 检测视频序列类别模块，用于执行如下步骤：检测并将待处理视频序列归类于以下类别之一的步骤：电影模式视频序列或非电影模式视频序列。

[0068] 帧选择模块，用于执行如下步骤：将电影模式视频序列中重复的帧图像仅保留一帧，以消除电影模式视频序列中重复的帧图像。

[0069] 运动估计运动补偿模块，用于执行如下步骤：对经过帧选择模块处理的电影模式视频序列进行运动估计运动补偿处理，实现帧率上变换。

[0070] 非电影模式视频处理模块，用于对非电影模式视频序列进行处理，实现非电影模式视频序列的帧率上变换。具体的，非电影模式视频处理模块执行如下步骤之一：对检测视频序列类别模块输出的非电影模式视频序列插入低频帧或插入重复帧或插入黑帧或插入灰帧。

[0071] 模式转换判断模块，用于执行如下步骤：判断是否发生电影模式视频序列到非电影模式视频序列的转变，并确定电影模式视频序列最后一帧图像的位置；

[0072] 模式转换处理模块，用于执行如下步骤：在所述电影模式视频序列最后一帧图像后插入一定数量帧与所述最后一帧图像相同的图像，实现电影模式视频序列的帧率上变换；所述一定数量为：插入该数量帧图像后，电影模式视频序列帧率上变换后得到的视频序列符合变换后频率的要求。

[0073] 各模块之间的连接关系是：检测视频序列类别模块、帧选择模块和运动估计运动补偿模块顺序连接；检测视频序列类别模块还与非电影模式视频处理模块连接；模式转换判断模块与检测视频序列类别模块连接，还与模式转换处理模块连接。

[0074] 当非电影模式视频处理模块插入低频帧步骤，其具体步骤如下：对待处理的帧图像低通滤波，得到低频帧；将待处理图像与所述低频帧相减得到高频帧；将所述高频帧与所述待处理的帧图像相加得到高频增强帧，以确定的顺序排列所述高频增强帧和低频帧，例如高频增强帧在前，低频帧在后；将所述以确定的顺序排列的高频增强帧和低频帧按所述待处理视频序列的时间顺序重新构成视频序列。具体实现时，采用7×11的二维高斯滤波器进行低通滤波，得到低频帧。高频帧由所述待处理的帧图像与低帧帧相减得到。高频增强帧由高频帧与所述待处理的帧图像相加得到。对视频序列中所有的帧图像均进行上述处理，完成处理后保持从每一原始帧图像得到的高频增强帧和低频帧的排列顺序构成一个变换后视频序列单位，按原始视频序列中帧图像的排列顺序(时间顺序)排列上述变换后视频序列单位即构成了完成帧率上变换的视频序列，变换后的视频序列呈现高频增强帧和低频帧间隔排列的状态。

[0075] 当非电影模式视频处理模块插入低频帧步骤，另一种实现方案是插入低频帧的具体步骤为：对待处理的帧图像分别进行高通滤波和低通滤波，得到高频帧与低频帧，将所述高频帧与所述待处理的帧图像相加得到高频增强帧，以确定的顺序排列所述高频增强帧和低频帧；将所述以确定的顺序排列的高频增强帧和低频帧按所述待处理视频序列的时间顺序重新构成视频序列，实现帧率上变换。

[0076] 对图2中的非电影模式视频处理模块执行插入重复帧或插入黑帧或插入灰帧步骤简单说明：还可以执行以下方法之一以替代上述对待处理帧图像进行低通滤波的步骤：

[0077] (1)插入重复帧：在待处理帧图像后插入同样的帧图像，即在视频序列中需要插入帧图像的位置插入与该位置前或后原始帧图像相同的图像，实现帧率上变换。

[0078] (2)插入黑帧：在待处理帧图像后插入黑帧(黑帧图像)，实现帧率上变换。

[0079] (3)插入灰帧：在待处理帧图像后插入灰帧(灰帧图像)，实现帧率上变换。