一种基于时空间关联的裸眼3D超解像滤波方法

摘要

本发明提供了一种基于时空间关联的裸眼3D超解像滤波方法，步骤包括：空间维度区域标记、小区域筛选、时间维度区域配对以及深度滤波。该裸眼3D超解像滤波方法计算速度和效果的平衡是通过小区域筛选中的面积比例阈值、时间维度区域配对中的相似度阈值两个阈值进行控制的，在整个计算过程中，很少有大量的浮点数计算，基本都是加减计算，所以计算量比较少，也比较适合于没有大量计算资源的电视机下进行工作。

权利要求

1.一种基于时空间关联的裸眼3D超解像滤波方法，其特征在于，包括如下步骤：步骤1，空间维度区域标记，导入2D视频转化为3D视频过程中视频帧自动切割后的各个视频区域，再对切割后的各个视频区域进行标记；

步骤2，小区域筛选，根据用户设定的性能调节要求，去除各个视频区域中面积小于用户设定的面积比例的视频区域；

步骤3，时间维度区域配对，在前后多帧的时间轴上，根据视频区域的重心坐标以及面积特征将满足相似度要求的视频区域进行配对；

步骤4，深度滤波，对每组配对后的视频区域进行深度滤波，并作为当前帧下的视频区域输出。

2.根据权利要求1所述的基于时空间关联的裸眼3D超解像滤波方法，其特征在于，步骤

1中的视频帧包括前一帧图像T1、当前帧图像T2以及后一帧图像T3；前一帧图像T1在空间维度上包括q1-1和q1-2两组被切割标记的视频区域；当前帧图像T2在空间维度上包括q2-1和q2-2两组被切割标记的视频区域；后一帧图像T3在空间维度上包括q3-1和q3-2两组被切割标记的视频区域。

3.根据权利要求2所述的基于时空间关联的裸眼3D超解像滤波方法，其特征在于，步骤

2中用户设定的面积比例为1％，计算前一帧图像T1、当前帧图像T2以及后一帧图像T3中各个视频区域的面积为m(q1-1)、m(q1-2)、m(q2-1)、m(q2-2)、m(q3-1)以及m(q3-2)，若某个视频区域的面积低于一帧图像面积的1％，则去掉该视频区域。

4.根据权利要求3所述的基于时空间关联的裸眼3D超解像滤波方法，其特征在于，步骤

3中根据视频区域的重心坐标以及面积特征将满足相似度要求的视频区域进行配对的具体步骤为：步骤3.1，计算出各个视频区域重心的横坐标和纵坐标，并计算出每两个视频区域重心的横坐标差值和纵坐标的差值；

步骤3.2，计算出每两个视频区域的面积差值；

步骤3.3，将每两个视频区域的横坐标差值、纵坐标的差值以及面积差值的和来计算两个视频区域配对的相似度，若相似度小于10，则表明该两个视频区域满足配对要求。

5.根据权利要求4所述的基于时空间关联的裸眼3D超解像滤波方法，其特征在于，步骤

1中的深度滤波采用的是中值滤波。

说明书

一种基于时空间关联的裸眼3D超解像滤波方法

技术领域

[0001] 本发明涉及一种滤波方法，具体来讲是一种应用在裸眼3D视频上的、基于时空间关联的滤波方法。

背景技术

[0002] 裸眼3D电视已经成为一种电视机的重要的发展方向，其展示的视频质量是其展示效果的重要指标。它的主要特点就是能够展示出原有电视机所不能展示的深度信息，即人眼所感受到的各个区域的远近，例如视频中近处正在对话的人、远方的山，这些远近的感受都是靠深度信息展现的。这些视频上不同区域的不同深度信息使得人们观测到一种空间上的层次感，从而展示出3D的效果。但是很多视频在拍摄时，原始视频就是2D的，那么就需要把2D的视频升维到3D的效果。这就需要一类专用的升维的算法，即计算出2D视频中的每个区域应有的深度信息。在这些2D视频转化为3D视频的算法中，核心是在2D的视频中进行自动计算的深度获取方法，它们现有的算法包括有例如基于机器学习的获取方法、基于运动信息的获取方法、基于纹理的获取方法、基于聚焦的获取方法。

[0003] 以上这些算法在其他正常的2D视频转化为3D视频的过程中，即把2D图像的各个区域进行计算出深度信息的过程中，其视频内容的各个部分的边界是自动切割的，然后各个部分的深度是自动生成的。由于这种边界的自动切割、深度的自动生成，那么就会带来一些小部分模块边界及深度的不确定性，从而出现在展示的一些空间上小区域上、在时间上的深度的差距较大的效果，从而出现了一种时空间上的区域噪声的效果。而对于这种问题的处理方法，是采用人工手动的方法，在一些软件中进行手动修正。这极大的增加了处理的人员负担。

[0004] 面对这种在深度上的噪声，如果想不增加计算的硬件成本，直接由电视机实现的话，由于电视机没有强大的计算资源，所以不能用复杂的滤波算法。在这种条件下，如果存在一种针对这种时空间上的区域噪声、且对计算资源不高的算法，那么就会比较好的解决这种问题。

发明内容

[0005] 本方法要解决的技术问题是现有方法在深度上存在噪声，且对计算资源要求较高。

[0006] 为了解决上述技术问题，本发明提供了一种基于时空间关联的裸眼3D超解像滤波方法，包括如下步骤：

[0007] 步骤1，空间维度区域标记，导入2D视频转化为3D视频过程中视频帧自动切割后的各个视频区域，再对切割后的各个视频区域进行标记；

[0008] 步骤2，小区域筛选，根据用户设定的性能调节要求，去除各个视频区域中面积小于用户设定的面积比例的视频区域；

[0009] 步骤3，时间维度区域配对，在前后多帧的时间轴上，根据视频区域的重心坐标以及面积特征将满足相似度要求的视频区域进行配对；

[0010] 步骤4，深度滤波，对每组配对后的视频区域进行深度滤波，并作为当前帧下的视频区域输出。

[0011] 采用小区域筛选去除一定量根据用户设定的要求进行性能调节的视频区域，能够有效提高计算速度；采用时间维度区域配对能够去除掉在时间轴上的深度变化较大的视频区域，确保视频区域的深度效果，同时也进一步提高了计算速度。

[0012] 作为本发明的进一步限定方案，步骤1中的视频帧包括前一帧图像T1、当前帧图像T2以及后一帧图像T3；前一帧图像T1在空间维度上包括q1-1和q1-2两组被切割标记的视频区域；当前帧图像T2在空间维度上包括q2-1和q2-2两组被切割标记的视频区域；后一帧图像T3在空间维度上包括q3-1和q3-2两组被切割标记的视频区域。采用前一帧图像T1、当前帧图像T2以及后一帧图像T3这三帧图像作为计算依据，能够有效控制计算量，确保计算速度。

[0013] 作为本发明的进一步限定方案，步骤2中用户设定的面积比例为1％，计算前一帧图像T1、当前帧图像T2以及后一帧图像T3中各个视频区域的面积为m(q1-1)、m(q1-2)、m(q2-1)、m(q2-2)、m(q3-1)以及m(q3-2)，若某个视频区域的面积低于一帧图像面积的1％，则去掉该视频区域。

[0014] 作为本发明的进一步限定方案，步骤3中根据视频区域的重心坐标以及面积特征将满足相似度要求的视频区域进行配对的具体步骤为：

[0015] 步骤3.1，计算出各个视频区域重心的横坐标和纵坐标，并计算出每两个视频区域重心的横坐标差值和纵坐标的差值；

[0016] 步骤3.2，计算出每两个视频区域的面积差值；

[0017] 步骤3.3，将每两个视频区域的横坐标差值、纵坐标的差值以及面积差值的和来计算两个视频区域配对的相似度，若相似度小于10，则表明该两个视频区域满足配对要求。

[0018] 在进行差值和相似度计算时，均采用加减计算运算，而避免浮点数计算，计算量比较少，比较适合于没有大量计算资源的电视机进行运算工作。

[0019] 作为本发明的进一步限定方案，步骤1中的深度滤波采用的是中值滤波。

[0020] 本发明的有益效果在于：(1)采用小区域筛选去除一定量根据用户设定的要求进行性能调节的视频区域，能够有效提高计算速度；(2)采用时间维度区域配对能够去除掉在时间轴上的深度变化较大的视频区域，确保视频区域的深度效果，同时也进一步提高了计算速度。

附图说明

[0021] 图1为本发明的方法流程图；

[0022] 图2为本发明的视频区域示意图。

具体实施方式

[0023] 如图1和2所示，本发明公开了一种基于时空间关联的裸眼3D超解像滤波方法，包括如下步骤：

[0024] 步骤1，空间维度区域标记，导入2D视频转化为3D视频过程中视频帧自动切割后的各个视频区域，再对切割后的各个视频区域进行标记，其中，视频帧包括前一帧图像T1、当前帧图像T2以及后一帧图像T3；前一帧图像T1在空间维度上包括q1-1和q1-2两组被切割标记的视频区域；当前帧图像T2在空间维度上包括q2-1和q2-2两组被切割标记的视频区域；后一帧图像T3在空间维度上包括q3-1和q3-2两组被切割标记的视频区域，本发明采用的是三帧图像的滤波功能，但是不仅限于包括用这三帧图像滤波；

[0025] 步骤2，小区域筛选，根据用户设定的性能调节要求，去除各个视频区域中面积小于用户设定的面积比例的视频区域，其中，用户设定的面积比例为1％，计算前一帧图像T1、当前帧图像T2以及后一帧图像T3中各个视频区域的面积为m(q1-1)、m(q1-2)、m(q2-1)、m(q2-2)、m(q3-1)以及m(q3-2)，若某个视频区域的面积低于一帧图像面积的1％，则去掉这些不影响整体效果的的视频区域不进入下一步处理；

[0026] 步骤3，时间维度区域配对，在前后多帧的时间轴上，根据视频区域的重心坐标以及面积特征将满足相似度要求的视频区域进行配对，具体步骤为：

[0027] 步骤3.1，计算出各个视频区域重心的横坐标和纵坐标，并计算出每两个视频区域重心的横坐标差值和纵坐标的差值，本实施例以图像T1的两个视频区域q1-1和q1-2与图像T2的两个视频区域q2-1和q2-2为例：

[0028] 首先计算出各个视频区域重心的横坐标为：x(q1-1)、x(q1-2)、x(q2-1)、x(q2-2)、x(q3-1)、x(q3-2)，计算出的纵坐标为：y(q1-1)、y(q1-2)、y(q2-1)、y(q2-2)、y(q3-1)、y(q3-2)；再分别求差值为：

[0029] deltaX(q1-1\q2-1)＝x(q1-1)-x(q2-1)；

[0030] deltaX(q1-2\q2-1)＝x(q1-2)-x(q2-1)；

[0031] deltaX(q1-1\q2-2)＝x(q1-1)-x(q2-2)；

[0032] deltaX(q1-2\q2-2)＝x(q1-2)-x(q2-2)；

[0033] deltaY(q1-1\q2-1)＝y(q1-1)-y(q2-1)；

[0034] deltaY(q1-2\q2-1)＝y(q1-2)-y(q2-1)；

[0035] deltaY(q1-1\q2-2)＝y(q1-1)-y(q2-2)；

[0036] deltaY(q1-2\q2-2)＝y(q1-2)-y(q2-2)；

[0037] 步骤3.2，计算出每两个视频区域的面积差值为：

[0038] deltaM(q1-1\q2-1)＝10*(m(q1-1)-m(q2-1))/m(q1-1)；

[0039] deltaM(q1-2\q2-1)＝10*(m(q1-2)-m(q2-1))/m(q1-2)；

[0040] deltaM(q1-1\q2-2)＝10*(m(q1-1)-m(q2-2))/m(q1-1)；

[0041] deltaM(q1-2\q2-2)＝10*(m(q1-2)-m(q2-2))/m(q1-2)；

[0042] 步骤3.3，将每两个视频区域的横坐标差值、纵坐标的差值以及面积差值的和来计算两个视频区域配对的相似度，若相似度小于10，则表明该两个视频区域满足配对要求，以q1-1、q1-2、q2-1、q2-2之间的配对关系为例，计算相似度为：

[0043] Sim(q1-1\q2-1)＝deltaX(q1-1\q2-1)+deltaY(q1-1\q2-1)+deltaM(q1-1\q2-1)；

[0044] Sim(q1-2\q2-1)＝deltaX(q1-2\q2-1)+deltaY(q1-2\q2-1)+deltaM(q1-2\q2-1)；

[0045] Sim(q1-1\q2-2)＝deltaX(q1-1\q2-2)+deltaY(q1-1\q2-2)+deltaM(q1-1\q2-2)；

[0046] Sim(q1-2\q2-2)＝deltaX(q1-2\q2-2)+deltaY(q1-2\q2-2)+deltaM(q1-2\q2-2)；

[0047] 若计算的相似度的值小于10的阈值，那么就认为这两组就是配对的，从而可以推导出T1和T2上的q1-1、q1-2、q2-1、q2-2之间的配对关系。

[0048] 通过述的计算方法可以继续再推导计算，推导出T2和T3上的q2-1、q2-2、q3-1、q3-2之间的配对关系，从而得到两组配对的区域为：

[0049] 组1：q(1-1)、q(2-1)、q(3-1)；

[0050] 组2：q(1-2)、q(2-2)、q(3-2)；

[0051] 步骤4，深度滤波，对每组配对后的视频区域进行深度滤波，并作为当前帧下的视频区域输出，本实施例是采用的中值滤波，但不仅限于中值算法作为深度信息滤波，计算出每个配对组的深度上的中值作为时间轴上图像T2、空间轴上当前区域q(2-1)、q(2-2)的深度输出为：

[0052] newq2-1＝median(q(1-1)、q(2-1)、q(3-1))；

[0053] newq2-2＝median(q(1-2)、q(2-2)、q(3-2))；

[0054] 上式中，median表示中值计算。

[0055] 在本发明方法的计算过程中，计算速度和效果的平衡是通过小区域筛选中的面积比例阈值、时间维度区域配对中的相似度阈值两个阈值进行控制的，在整个计算过程中，很少有大量的浮点数计算，基本都是加减计算，所以计算量比较少，也比较适合于没有大量计算资源的电视机下进行工作。所以，本算法是完全可以满足滤除一些在空间上是小区域、在时间上的深度的变化较大的不好的效果，从而获得一种时空间上较好的区域噪声效果。