一种运动补偿辅助运动自适应的去隔行方法

摘要

本发明公开了一种运动补偿辅助运动自适应的去隔行方法，针对人眼视觉系统对慢速运动分辨率高且较为敏感的特性，对慢速运动的物体进行基于运动估计的运动补偿处理，对人眼不敏感的高速运动物体进行硬件实现较简单的运动自适应去隔行处理；由于运动补偿算法只集中处理慢速运动物体，本发明可大幅降低算法的运算复杂度以及相应的硬件设计成本。同时，本发明在分析隔行视频采样特性的基础上，对经典运动补偿算法进行优化，提出在不同极性场内查找水平和垂直运动向量，并针对隔行图像在在隔行采样过程中对垂直方向清晰度影响严重的致命弱点，提出亚像素补偿方法提高图像垂直方向清晰度。

权利要求

1.一种运动补偿辅助运动自适应的去隔行方法，其特征在于，包括下述步骤：

步骤1：在当前待插场fn的同极性前两场fn-2中查找水平运动向量；在当前待插场fn的非同极性前一场fn-1中查找垂直运动向量；将当前待插场整幅图像分成多个4×8的运动估计块；将前一场fn-1作为参考场，求得当前待插场运动估计块MotionBlock与前一场fn-1中的各运动块差值的绝对值的和F_SAD4×8；将前两场fn-2作为参考场，求得当前待插场运动估计块MotionBlock与前两场fn-2中的各运动块差值的绝对值的和FF_SAD4×8；

步骤2：分别比较所有的F_SAD4×8(v，h)和所有的FF_SAD4×8(v，h)，求出最小的值F_SADmin(v，h)和FF_SADmin(v，h)，并得到相应的最相关的运动向量Vectors_Fmin(v，h)和Vectors_FFmin(v，h)；对运动估计信息最小的值F_SADmin(v，h)与FF_SADmin(v，h)再进行比较，选出较小的一个，作为下式表示的运动估计信息及其相应的运动向量：SADmin＝min(F_SADmin(v，h)，FF_SADmin(v，h))Vectorsmin(v，h)＝min(Vectors_Fmin(v，h)，Vectors_FFmin(v，h))；

步骤3：根据人眼视觉特性，对具有不同运动特性的场景，进行不同的去隔行处理：

对步骤2得出的运动估计信息SADmin(v，h)与快速运动阈值MCThreshold进行比较；

若SADmin(v，h)＞MCThreshold，说明该运动为快速运动，用运动补偿去隔行方法会造成图像较严重失真，因此采用运动自适应去隔行方法；若SADmin(v，h)＜MCThreshold，说明该运动为慢速运动且运动估计向量准确，采用 运动补偿去隔行方法，运动补偿去隔行方法中，对当前场的待求像素点的运算包括对水平运动和垂直运动两种运动向量分别进行处理：当FF_SADmin(v，h)＜F_SADmin(v，h)，则运动估计向量为水平运动向量，进行水平运动补偿运算：当FF_SADmin(v，h)＞F_SADmin(v，h)，则运动估计向量为带有垂直运动的向量，进行含垂直运动的补偿运算：定义以fn(i，j)为中心的3×9的参考矩阵Matrix03×9，和9×9的亚像素点矩阵MatrixA9×9；

根据亚像素点矩阵MatrixA9×9得到三个3×9矩阵A，B，C，分别为：

矩阵A为MatrixA9×9的2，4，6行；矩阵B为MatrixA9×9的3，5，7行；矩阵C为MatrixA9×9的4，6，8行；

将A，B，C与参考矩阵Matrix03×9对应的像素点的差值的绝对值的和cosA，cosB，cosC进行比较，求出最相关的矩阵，及其最相关运动估计向量，分三种情况求出待插点：若cosA为最小值，则：

fn(i，j)＝fn-1(i+VectorX，j+VectorY)

若cosB为最小值，则：

若cosC为最小值，则：

2.如权利要求1所述的运动补偿辅助运动自适应的去隔行方法，其特征在于，所述步骤3的水平运动补偿运算，包括对变速和复杂运动物体失真保护算法，在运动补偿插值的过程中，为了防止变速运动造成的图像失真问题，引入变速运动判断参数：用该参数与变速运动阈值进行比较，来完成对水平变速运动场景的运动向量误判保护功能，若ncost(i，j)＞AFThreshold，则应用运动自适应插值方法来防止变速运动中的运动向量的误判，其中AFThreshold为变速运动阈值。

说明书

一种运动补偿辅助运动自适应的去隔行方法

技术领域

[0001] 本发明涉及计算视频、数字电视后处理中的去隔行方法，具体涉及一种利用人眼视觉特性的运动补偿辅助运动自适应的视频去隔行方法。

背景技术

[0002] 随着高清晰度电视、液晶电视LCD、PC机视频、以及背投电视、等离子电视(PDP)等应用逐行扫描格式的高清晰度大屏幕显示器件的出现，传统的隔行扫描技术因其固有特性而无法消除损坏图象质量的现象，已不能满足人们的当前需要。因此，在隔行、逐行扫描技术并存的过渡阶段，视频信号在不同传输与显示设备间的格式转换有着广泛的需求。 [0003] 去隔行处理技术是视频信号格式转换过程中不可或缺的部分，它能够显著提高图像清晰度、改善图像闪烁和爬行现象，从而有效的提高图像质量。早期的去隔行处理主要是采用运动自适应方法，其特点是硬件实现简单，运算量小，且具有较好的效果，因此广泛应用于需要实时处理的数字电视等领域。但运动自适应去隔行方法也具有检测精度不高、对清晰度影响大和易造成运动图像模糊等缺点。特别对于具有大幅运动模式的图像，运动自适应的去隔行方法会显著降低图像清晰度。

[0004] 与运动自适应的去隔行方法相比，运动补偿的去隔行方法能达到更好的图像效果，特别是对于运动图像可较好的抑制图像失真，保持图像清晰度。但是，运动补偿去隔行方法运算复杂，需要较多的存储器以及运算单元，因 此硬件成本高，实时处理困难。因此运动补偿去隔行方法在实时视频处理系统中的应用仍然受到诸多限制，在成本竞争激烈的消费类电子市场并未成为主流。

发明内容

[0005] 针对运动补偿的去隔行方法存在的问题，本发明的目的在于，提供一种运算和硬件成本低，却能显著提高图像主观清晰度的运动补偿辅助运动自适应的去隔行方法，可在主观视觉效果上接近于运动补偿去隔行的整体效果，且能有效的降低硬件复杂度，使其硬件复杂度接近运动自适应方法，从而广泛应用于需要实时处理的消费类电子领域。 [0006] 为达到以上目的，本发明是采取如下技术方案予以实现的：

[0007] 一种运动补偿辅助运动自适应的去隔行方法，其特征在于，包括下述步骤： [0008] 步骤1：在当前待插场fn的同极性前两场fn-2中查找水平运动向量；在当前待插场fn的非同极性前一场fn-1中查找垂直运动向量；将当前待插场整幅图像分成多个4×8的运动估计块；将前一场fn-1作为参考场，求得当前待插场运动估计块MotionBlock与前一场fn-1中的各运动块差值的绝对值的和F_SAD4×8；将前两场fn-2作为参考场，求得当前待插场运动估计块MotionBlock与前两场fn-2中的各运动块差值的绝对值的和FF_SAD4×8； [0009] 步骤2：分别比较所有的F_SAD4×8(v，h)和所有的FF_SAD4×8(v，h)，求出最小的值F_SADmin(v，h)和FF_SADmin(v，h)，并得到相应的最相关的运动向量Vectors_Fmin(v，h)和Vectors_FFmin(v，h)；对运动估计信息最小的值F_SADmin(v，h)与FF_SADmin(v，h)再进行比较，选出较小的一个，作为下式表示的运动估计信息及其相应的运动向量： [0010] SADmin＝min(F_SADmin(v，h)，FF_SADmin(v，h))

[0011] Vectorsmin(v，h)＝min(Vectors_Fmin(v，h)，Vectors_FFmin(v，h))； [0012] 步骤3：根据人眼视觉特性，对具有不同运动特性的场景，进行不同的去隔行处理：

[0013] 对步骤2得出的运动估计信息SADmin(v，h)与快速运动阈值MCThreshold进行比较；

[0014] 若SADmin(v，h)＞MCThreshold，说明该运动为快速运动，用运动补偿去隔行方法会造成图像较严重失真，因此采用运动自适应去隔行方法；若SADmin(v，h)＜MCThreshold，说明该运动为慢速运动且运动估计向量准确，采用运动补偿去隔行方法，运动补偿去隔行方法中，对当前场的待求像素点的运算包括对水平运动和垂直运动两种运动向量分别进行处理：

[0015] 当FF_SADmin(v，h)＜F_SADmin(v，h)，则运动估计向量为水平运动向量，进行水平运动补偿运算：

[0016]

[0017] 当FF_SADmin(v，h)＞F_SADmin(v，h)，则运动估计向量为带有垂直运动的向量，进行含垂直运动的补偿运算：

[0018] 定义以fn(i，j)为中心的3×9的参考矩阵Matrix03×9，和9×9的亚像素点矩阵MatrixA9×9；

[0019] 根据亚像素点矩阵MatrixA9×9得到三个3×9矩阵A，B，C，分别为： [0020] 矩阵A为MatrixA9×9的2，4，6行；矩阵B为MatrixA9×9的3，5，7行；矩阵C为MatrixA9×9的4，6，8行；

[0021] 将A，B，C与参考矩阵Matrix03×9对应的像素点的差值的绝对值的和cos A， cosB，cosC进行比较，求出最相关的矩阵，及其最相关运动估计向量，分三种情况求出待插点： [0022] 若costA为最小值，则：

[0023] fn(i，j)＝fn-1(i+VectorX，j+VectorY)

[0024] 若costB为最小值，则：

[0025]

[0026]

[0027] 若costC为最小值，则：

[0028]

[0029]

[0030] 上述方法中，所述步骤3的水平运动补偿运算，包括对变速和复杂运动物体失真保护算法，在运动补偿插值的过程中，为了防止变速运动造成的图像失真问题，引入变速运动判断参数：

[0031]

[0032] 用该参数与变速运动阈值进行比较，来完成对水平变速运动场景的运动向量误判保护功能，若ncost(i，j)＞AFThreshold，则应用运动自适应插值方法来防止变速运动中的运动向量的误判，其中AFThreshold为变速运动阈值。

[0033] 本发明上述方法中通用的数字标识说明：函数f均代表图像的亮度信息；fn表示第n场(当前待插场)的亮度信息；fn-1表示第n-1场(前一场)的亮度信息；fn-2表示第n-2场(前两场)的亮度信息；fn+1表示第n+1场(后一场)的亮度信息；(i，j)表示图像中第i行，第j列的像素点的空间位置；fn(i，j)表示位于第n场，即当前场的(i，j)处采样象素点的亮度值。

[0034] 本发明针对人眼视觉系统对慢速运动分辨率高且较为敏感的特性，对慢 速运动的物体进行基于运动估计的运动补偿处理，对人眼不敏感的快速运动物体进行硬件实现较简单的运动自适应去隔行处理；由于运动补偿算法只集中处理慢速运动物体，本发明可大幅降低算法的运算复杂度以及相应的硬件设计成本。同时，本发明在分析隔行视频采样特性的基础上，对经典运动补偿算法进行优化，提出在不同极性场内查找水平和垂直运动向量，并针对隔行图像在隔行采样过程中对垂直方向清晰度影响严重的致命弱点，提出亚像素补偿方法提高图像垂直方向清晰度；针对传统多场运动补偿去隔行算法容易造成变速和复杂运动的失真问题，提出一种变速运动失真保护方法，在复杂运动场景中灵活的使用运动自适应去隔行方法取代运动补偿去隔行。此外还兼顾了边缘保护和运动斜边保护的性能，同时具有抑止噪声能力和较高的稳定性。

附图说明

[0035] 图1为本发明的去隔行方法的步骤框图。

[0036] 图2为本发明中的不同极性场运动估计示意图。其中图2(a)为水平方向极性场运动估计；图2(b)为竖直方向极性场运动估计；图中○：原像素点，△：待插值像素点。 [0037] 图3为图1中防止变速运动失真的运动估计算法示意框图。

[0038] 图4为图1中提高垂直方向分辨率算法示意框图。

具体实施方式

[0039] 如图1所示，本发明运动补偿辅助运动自适应去隔行方法包括：

[0040] 步骤1：在当前待插场fn的同极性场fn-2中查找水平运动向量；在当前 待插场fn的相异极性场fn-1中查找垂直运动向量，如图2所示。由于本发明中的运动补偿去隔行仅处理人眼较为敏感的慢速运动物体，所以运动向量的查找区域与传统运动估计相比要小得多，较为合理的取值范围是水平24个像素点和垂直7个像素点。

[0041] 步骤1.1：将当前场整幅图像依据不同制式分成10800(NTSC制)个或者12960个(PAL制)4×8的运动估计块，

[0042] 假设在当前场fn内待插点fn(i，j)位于(i，j)处，位于运动估计块MotionBlock4×8(v，h)，即第v行，第h列的运动估计块。定义该待测运动估计块MotionBlock4×8(v，h)为：

[0043]

[0044] 其中，(v，h)为当前待测块的坐标，(4v，4h)即为该块的左上角坐标值 [0045] 步骤1.2：求得当前待测像素点所在的运动估计块MotionBlock4×8(v，h)与参考场中的各运动块差值的绝对值的和F_SAD4×8(v，h，refv，refh)(将前一场fn-1作为参考场)和FF_SAD4×8(v，h，refv，refh)(将前两场fn-2作为参考场)，其中：

[0046]

[0047]

[0048] (refv，refh)为上一场匹配块的坐标，(4refv，4refh)即为该块的左上角坐标值。 [0049] 步骤2：分别比较待测运动估计块MotionBlock所有的F_SAD4×8(v，h)和所有的FF_SAD4×8(v，h)，求出最小的F_SADmin(v，h)和FF_SADmin(v，h)，并得到相应的最相关的运动向量Vectors_Fmin(v，h)和Vectors_FFmin(v，h)。

[0050] 步骤2.1：对运动估计信息F_SADmin(v，h)与FF_SADmin(v，h)进行比较，选出较小的一个，作为运动估计信息，及其相应的运动向量为：

[0051] SADmin＝min(F_SADmin(v，h)，FF_SADmin(v，h))

[0052] Vectorsmin(v，h)＝min(Vectors_Fmin(v，h)，Vectors_Fmin(v，h)) [0053] 步骤3：根据人眼视觉特性，对具有不同运动特性的场景，进行不同的去隔行处理。对SADmin(v，h)与快速运动阈值MCThreshold进行比较，判断待插点所处图像块的运动是否为快速运动。

[0054] 若SADmin(v，h)＞MCThreshold，说明该块的运动为快速运动，用运动补偿去隔行方法会造成图像较严重失真，不应使用运动补偿去隔行，因而采用运动自适应去隔行方法计算待插值点；

[0055] 若SADmin(v，h)＜MCThreshold，说明该块的运动为慢速运动且运动估计向量准确，采用运动补偿去隔行方法。运动补偿去隔行方法中，对当前场的待求像素点的运算对水平运动和垂直运动两种运动向量分别处理：

[0056] 情况一：当FF_SADmin(v，h)＜F_SADmin(v，h)，则运动估计向量为水平运动向量，进行水平运动补偿运算(图1中左边的步骤3.1)

[0057]

[0058] 式中：VectorX为水平运动估计向量，VectorY为垂直运动估计向量 [0059] 情况二：当FF_SADmin(v，h)＞F_SADmin(v，h)，则运动估计向量为带有垂直运动的向量，进行含垂直运动的补偿运算(图1中右边的步骤3.1~3.3，图4)。在垂直方向，由于隔行采样造成的清晰度下降问题，本发明引采用垂直方向亚像素概运动补偿的方法，使得竖直方向的运动估计更加准确，提高垂直方向清晰度。

[0060] 步骤3.1：(SADmin(v，h)＜MCThreshold)

[0061] 定义3×9的参考矩阵Matrix03×9：

[0062]

[0063] 定义亚像素点矩阵MatrixA9×9，即在原两行像素点之间加入一行亚像素点。其中MatrixA9×9奇数行，即第1、3、5、7、9行定义如下：

[0064] 第1行

[0065] MatrixA9×9(1，) ＝ [fn-1(i-2+VectorY，j-4+VectorX)…fn-1(i-2+VectorY，j+4+VectorX)] (6)

[0066] 第3行

[0067] MatrixA9×9(3，) ＝ [fn-1(i-1+VectorY，j-4+VectorX)…fn-1(i-1+VectorY，j+4+VectorX)] (7)

[0068] 第5行

[0069] MatrixA9×9(5，) ＝ [fn-1(i+VectorY，j-4+VectorX)…fn-1(i+VectorY，j+4+VectorX)] (8)

[0070] 第7行

[0071] MatrixA9×9(7，) ＝ [fn-1(i+1+VectorY，j-4+VectorX)…fn-1(i+1+VectorY，j+4+VectorX)] (9)

[0072] 第9行

[0073] MatrixA9×9(9，) ＝ [fn-1(i+2+VectorY，j-4+VectorX)…fn-1(i+2+VectorY，j+4+VectorX)] (10)

[0074] MatrixA9×9偶数行i＝2，4，6，8为：

[0075]

[0076]

[0077] 步骤3.2：定义3×9矩阵A为MatrixA9×9的2，4，6行；定义3×9矩阵B为MatrixA9×9的3，5，7行；定义3×9矩阵C为MatrixA9×9的4，6，8行；

[0078] 步骤3.3：求矩阵Matrix03×9与矩阵A对应像素点的差的绝对值的和，定义为 [0079]

[0080] 求矩阵Matrix03×9与矩阵B对应像素点的差的绝对值的和，定义为 [0081]

[0082] 求矩阵Matrix03×9与矩阵C对应像素点的差的绝对值的和，定义为 [0083]

[0084] 求出costA，costB，costC中的最小值

[0085] 若costA为最小值

[0086] fn(i，j)＝fn-1(i+VectorX，j+VectorY) (15)

[0087] 若costB为最小值

[0088]

[0089]

[0090]

[0091] 若costC为最小值

[0092]

[0093]

[0094]

[0095] 由于在多场运动估计中，对变速和复杂运动物体的处理容易造成图像的严重失真，因此本发明步骤3中加入了对变速和复杂运动失真保护算法(图1中左边的步骤3.1~3.3，图3)。

[0096] 步骤3.2：在运动补偿插值的过程中，为了防止变速运动造成的图像失真 问题，引入变速运动判断参数：

[0097]

[0098] 比较变速运动判断参数(ncost(i，j))与变速运动阈值(AFThreshold)的大小 [0099] 若ncost(i，j)＞AFThreshold，则应用运动自适应插值方法来防止变速复杂运动补偿所导致的图像失真(步骤3.3)。

[0100] 若ncost(i，j)＜AFThreshold，则直接用运动补偿插值算法求得插值点。 [0101] 其中参数ncost(i，j)是用来防止全局的水平变速运动造成的错误的运动估计矢量，当ncost(i，j)＞AFThreshold说明从fn-1到fn和从fn到fn+1运动的速度差别较大，会造成较大的运动估计误差，应用运动自适应去隔行算法进行处理，避免变速运动场景造成的图像失真问题；当ncost(i，j)＜AFThreshold说明从fn-1到fn和从fn到fn+1运动的速度差别不大，可近似认为是刚体匀速运动，得到的运动估计向量较准确，适合用运动补偿的方法进行去隔行处理。

[0102] 根据步骤2中求得的运动估计出的最相关的运动向量(VectorX，VectorY)和参考场fn-1(i，j)，得到当前场中通过运动补偿得到的插值点

[0103] fn(i，j)＝fn-1(i+VectorX，j+VectorY) (19)

[0104] 本发明提出的方法基于人眼的视觉特性，有效利用优化的运动补偿算法辅助运动自适应方法完成去隔行处理。本方法中的运动补偿方法集中处理人眼敏感区域，从而达到以较小的运算量和硬件成本显著提高视频图像主观清晰度的效果。同时，本算法提出的运动补偿方法，针对隔行视频的运动估计进行算法优化，能有效提高图像质量，并抑制由变速和复杂运动引起的图像失真。