本发明公开了一种双目立体视频帧率转换方法，包括如下步骤：输入双目立体视频流；分别对左视角视频流和右视角视频流进行联合视差-运动估计，得到左视角视频流的最优运动矢量和右视角视频流的最优运动矢量；利用左视角视频流的最优运动矢量和右视角视频流的最优运动矢量进行运动补偿以对左视角视频流和右视角视频流进行上采样。本发明还公开了一种双目立体视频帧率转换装置。本发明利用同一时刻不同视角和同一视角不同时刻的冗余关系，实现双目立体视频的帧率上采样，从而可以生成具有高质量的帧率的上采样视频。
1.一种双目立体视频帧率转换方法，其特征在于，包括如下步骤：
输入双目立体视频流，其中，所述双目立体视频流包括左视角视频流和右视角视频流，所述左视角视频流包括多帧左视图，所述右视角视频流包括多帧右视图；
分别对所述左视角视频流和所述右视角视频流进行联合视差-运动估计，得到所述左视角视频流的最优运动矢量和所述右视角视频流的最优运动矢量，其中，逐块地对每帧左视图或每帧右视图进行联合视差-运动估计，其中每帧左视图包括多个图像块，每帧右视图包括多个图像块，所述联合视差-运动估计包括如下步骤：设置左视图初始视差矢量、左视图初始运动矢量、右视图初始视差矢量和右视图初始运动矢量；根据所述左视图初始视差矢量、左视图初始运动矢量、右视图初始视差矢量和右视图初始运动矢量，逐块地对每帧左视图或每帧右视图进行视差矢量估计和运动矢量估计以得到所述每帧左视图的最优运动矢量或每帧右视图的最优运动矢量，其中，所述逐块地对每帧左视图或每帧右视图进行视差矢量估计，包括如下步骤：如果当前块为所述当前帧左视图或当前帧右视图的第一个图像块，则根据所述左视图初始运动矢量或右视图初始运动矢量查找所述当前帧的前一帧中对应位置的图像块，以及后一帧中对应位置的图像块，利用所述前一帧中对应位置的图像块和后一帧中对应位置的图像块在所述多帧右视图或多帧左视图中进行视差估计以得到所述当前块的视差矢量；
如果当前块不为所述当前帧左视图或当前帧右视图的第一个图像块，则根据所述前一次运动矢量估计得到的运动矢量查找所述当前帧的前一帧中对应位置的图像块，以及后一帧中对应位置的图像块，利用所述前一帧中对应位置的图像块和后一帧中对应位置的图像块在所述多帧右视图或多帧左视图中进行视差估计以得到所述当前块的视差矢量，其中，令 表示左视图中k时刻的待插帧图像，对于其中任一待插块 首先在待插帧的前后相邻帧 和 中找到对应位置的块 和 然后利用 和 在右视图中进行视差估计；
设当前块的最优的视差矢量为d=(dx,dy)，d=(dx,dy)可被表示为
根据所述每帧左视图的最优运动矢量或每帧右视图的最优运动矢量，得到所述左视角视频流或右视角视频流的最优运动矢量；
利用所述左视角视频流的最优运动矢量和所述右视角视频流的最优运动矢量进行运动补偿以对所述左视角视频流和所述右视角视频流进行上采样。
2.如权利要求1所述的双目立体视频帧率转换方法，其特征在于，根据所述当前块的视差矢量，对所述当前块在所述当前帧的前一帧内与所述当前块对应位置的图像块为中心的搜索区域内进行双向运动估计，以及后一帧内与所述当前块对应位置的图像块为中心的搜索区域内进行双向运动估计。
3.如权利要求2所述的双目立体视频帧率转换方法，其特征在于，
如果所述当前块为所述当前帧左视图或右视图的第一个图像块，则根据所述左视图初始视差矢量或右视图初始运动矢量查找所述当前帧的前一帧中对应位置的图像块，以及后一帧中对应位置的图像块，在所述前一帧中对应位置的图像块为中心的搜索区域内以及所述后一帧中对应位置的图像块为中心的搜索区域内进行双向运动估计得到所述当前块的最优运动矢量；
如果所述当前块不为所述当前帧左视图或右视图的第一个图像块，则根据所述前一次视差矢量估计得到的视差矢量查找所述当前帧的前一帧中对应位置的图像块，以及后一帧中对应位置的图像块，在所述前一帧中对应位置的图像块为中心的搜索区域内以及所述后一帧中对应位置的图像块为中心的搜索区域内进行双向运动估计得到所述当前块的最优运动矢量。
4.如权利要求3所述的双目立体视频帧率转换方法，其特征在于，
根据所述当前块的最优运动矢量，利用运动补偿对所述当前块进行插值；
逐块地对所述每帧左视图或右视图进行运动补偿以对所述左视角视频流或所述右视角视频流进行上采样。
5.一种双目立体视频帧率转换装置，其特征在于，包括：
输入模块，所述输入模块用于输入双目立体视频流，其中，所述双目立体视频流包括左视角视频流和右视角视频流，所述左视角视频流包括多帧左视图，所述右视角视频流包括多帧右视图；
联合视差-运动估计模块，所述联合视差-运动估计模块与所述输入模块相连，用于分别对所述左视角视频流和所述右视角视频流进行联合视差-运动估计，得到所述左视角视频流的最优运动矢量和所述右视角视频流的最优运动矢量，其中，所述联合视差-运动估计模块逐块地对每帧左视图或每帧右视图进行联合视差-运动估计，其中每帧左视图包括多个图像块，每帧右视图包括多个图像块，所述联合视差-运动估计模块包括：
设置单元，所述设置单元用于设置左视图初始视差矢量、左视图初始运动矢量、右视图初始视差矢量和右视图初始运动矢量；
视差矢量估计单元，所述视差矢量估计单元与所述设置单元相连，用于根据所述左视图初始视差矢量、左视图初始运动矢量、右视图初始视差矢量和右视图初始运动矢量，逐块地对每帧左视图或每帧右视图进行视差矢量估计；
运动矢量估计单元，所述运动矢量估计单元与所述视差矢量估计单元相连，用于逐块地对每帧左视图或每帧右视图进行运动矢量估计以得到所述每帧左视图的最优运动矢量或每帧右视图的最优运动矢量，并根据所述每帧左视图的最优运动矢量或每帧右视图的最优运动矢量，得到所述左视角视频流或右视角视频流的最优运动矢量，其中，如果当前块为所述当前帧左视图或当前帧右视图的第一个图像块，则所述视差矢量估计单元根据所述左视图初始运动矢量或右视图初始运动矢量查找所述当前帧的前一帧中对应位置的图像块，以及后一帧中对应位置的图像块，利用所述前一帧中对应位置的图像块和后一帧中对应位置的图像块在所述多帧右视图或多帧左视图中进行视差估计以得到所述当前块的视差矢量；
如果当前块不为所述当前帧左视图或当前帧右视图的第一个图像块，则所述视差矢量估计单元根据所述前一次运动矢量估计得到的运动矢量查找所述当前帧的前一帧中对应位置的图像块，以及后一帧中对应位置的图像块，利用所述前一帧中对应位置的图像块和后一帧中对应位置的图像块在所述多帧右视图或多帧左视图中进行视差估计以得到所述当前块的视差矢量，其中，令 表示左视图中k时刻的待插帧图像，对于其中任一待插块首先在待插帧的前后相邻帧 和 中找到对应位置的块 和 然后利用和 在右视图中进行视差估计；
设当前块的最优的视差矢量为d=(dx,dy)，d=(dx,dy)可被表示为
运动补偿模块，所述运动补偿模块与所述联合视差-运动估计模块相连，用于利用所述左视角视频流的最优运动矢量和所述右视角视频流的最优运动矢量进行运动补偿以对所述左视角视频流和所述右视角视频流进行上采样。
6.如权利要求5所述的双目立体视频帧率转换装置，其特征在于，所述运动矢量估计单元根据所述当前块的视差矢量，对所述当前块在所述当前帧的前一帧内与所述当前块对应位置的图像块为中心的搜索区域内进行双向运动估计，以及后一帧内与所述当前块对应位置的图像块为中心的搜索区域内进行双向运动估计。
7.如权利要求6所述的双目立体视频帧率转换装置，其特征在于，
如果所述当前块为所述当前帧左视图或右视图的第一个图像块，则所述运动矢量估计单元根据所述左视图初始视差矢量或右视图初始运动矢量查找所述当前帧的前一帧中对应位置的图像块，以及后一帧中对应位置的图像块，在所述前一帧中对应位置的图像块为中心的搜索区域内以及所述后一帧中对应位置的图像块为中心的搜索区域内进行双向运动估计得到所述当前块的最优运动矢量；
如果所述当前块不为所述当前帧左视图或右视图的第一个图像块，则所述运动矢量估计单元根据所述前一次视差矢量估计得到的视差矢量查找所述当前帧的前一帧中对应位置的图像块，以及后一帧中对应位置的图像块，在所述前一帧中对应位置的图像块为中心的搜索区域内以及所述后一帧中对应位置的图像块为中心的搜索区域内进行双向运动估计得到所述当前块的最优运动矢量。
8.如权利要求7所述的双目立体视频帧率转换装置，其特征在于，
所述运动补偿模块根据所述当前块的最优运动矢量，利用运动补偿对所述当前块进行插值，逐块地对所述每帧左视图或右视图进行运动补偿以对所述左视角视频流或所述右视角视频流进行上采样。
一种双目立体视频帧率转换方法及装置
技术领域
[0001] 本发明涉及图像及视频处理领域，特别涉及一种双目立体视频帧率转换方法及装置。
背景技术
[0002] 近年来，随着三维立体应用的普及，对立体图像和视频的研究开始成为热点。立体视频技术(也称3D视频技术)是未来多媒体技术的发展方向，立体视频能够提供立体感的新型视频技术。与单通道视频相比，立体视频一般有两个视频通道，数据量要远远大于单通道视频。立体视频可以提供人类视觉能感受到的立体感。与图像和视频相关的应用也在不断拓宽，例如：数字电视广播、视频点播、远程教育与医疗、无线多媒体通信等。
[0003] 双目立体视频是各种立体视频应用中最为典型的一个，只需要提供两个视角的视频信息就能给用户带来立体的视觉感受。相对单目视频而言，由于双目立体视频的数据量翻倍，从而给采集和存储设备带来了一定的困难。虽然可以通过采集较低的帧率的图像，减轻数据采集和存储的压力，但是低帧率的图像的质量不高，影响用户的观感。
发明内容
[0004] 本发明的目的旨在至少解决上述技术缺陷之一。
[0005] 为此，本发明的第一个目的在于提出了一种双目立体视频帧率转换方法，该方法通过视差向量估计和运动向量估计，联合利用时域和视间的信息，生成具有高质量的帧率的上采样视频。
[0006] 本发明的第二个目的在于提出了一种双目立体视频帧率转换装置。
[0007] 为实现上述目的，本发明第一方面的实施例提出了一种双目立体视频帧率转换方法，包括如下步骤：
[0008] 输入双目立体视频流，其中，所述双目立体视频流包括左视角视频流和右视角视频流，所述左视角视频流包括多帧左视图，所述右视角视频流包括多帧右视图；
[0009] 分别对所述左视角视频流和所述右视角视频流进行联合视差-运动估计，得到所述左视角视频流的最优运动矢量和所述右视角视频流的最优运动矢量；
[0010] 利用所述左视角视频流的最优运动矢量和所述右视角视频流的最优运动矢量进行运动补偿以对所述左视角视频流和所述右视角视频流进行上采样。
[0011] 根据本发明实施例的双目立体视频帧率转换方法，通过对左视角视频流和右视角视频流进行视差矢量估计和运动矢量估计，联合利用时域和视间的信息，从而可以生成具有高质量的帧率的上采样视频。
[0012] 本发明第二方面的实施例提出了一种双目立体视频帧率转换装置，包括：输入模块，所述输入模块用于输入双目立体视频流，其中，所述双目立体视频流包括左视角视频流和右视角视频流，所述左视角视频流包括多帧左视图，所述右视角视频流包括多帧右视图；联合视差-运动估计模块，所述联合视差-运动估计模块与所述输入模块相连，用于分别对所述左视角视频流和所述右视角视频流进行联合视差-运动估计，得到所述左视角视频流的最优运动矢量和所述右视角视频流的最优运动矢量；运动补偿模块，所述运动补偿模块与所述联合视差-运动估计模块相连，用于利用所述左视角视频流的最优运动矢量和所述右视角视频流的最优运动矢量进行运动补偿以对所述左视角视频流和所述右视角视频流进行上采样。
[0013] 根据本发明实施例的双目立体视频帧率转换装置，通过对左视角视频流和右视角视频流进行视差矢量估计和运动矢量估计，联合利用时域和视间的信息，从而可以生成具有高质量的帧率的上采样视频。
[0014] 本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0015] 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0016] 图1为根据本发明实施例的双目立体视频帧率转换方法的示意图；
[0017] 图2为根据本发明实施例的联合视差-运动估计的示意图；
[0018] 图3为图2中的视差矢量估计的示意图；
[0019] 图4为图2中的运动矢量估计的示意图；
[0020] 图5为根据本发明实施例的双目立体视频帧率转换装置的示意图。
具体实施方式
[0021] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0022] 下面参考图1至图4描述根据本发明实施例的双目立体视频帧率转换方法。该方法可以广泛应用于图像/视频处理过程中。
[0023] 如图1所示，本发明实施例提供的双目立体视频帧率转换方法，包括如下步骤：
[0024] S101：输入双目立体视频流。
[0025] 向内存中输入双目立体视频流，其中双目立体视频流包括左视角视频流和右视角视频流。左视角视频流包括多帧左视图，右视角视频流包括多帧右视图，所述左视图和右视图均为低帧率图像。
[0026] S102：联合视差-运动估计。
[0027] 分别对步骤S101中输入的左视角视频流和右视角视频流进行联合视差-运动估计，即对每帧左视图和每帧右视图进行联合视差-运动估计。
[0028] 在本发明的一个实施例中，对左视角视频流和右视角视频流的联合视差-运动估计可以同时进行，也可以先后进行。
[0029] 在每帧左视图中和每帧右视图中均包括多个图像块。将当前处理的帧图像成为待插帧，对每帧左视图和每帧右视图可以看作是对每帧图像中的每个图像块进行联合视差-运动估计。逐块地对每帧左视图或每帧右视图进行视差矢量估计和运动矢量估计以得到每帧左视图的最优运动矢量或每帧右视图的最优运动矢量。换言之，对待插帧中的当前块，根据该当前块邻近的时域和视域的低帧率帧图像进行联合视差-运动估计，从而获取当前块的最优运动矢量。
[0030] 根据获取的每帧左视图和每帧右视图中的每个图像块的最优运动矢量，从而可以得到左视角视频流的最优运动矢量及右视角视频流的最优运动矢量。
[0031] 由于对左视图的联合视差-运动估计过程与右视图的联合视差-运动估计过程的原理是一致的，下面以左视图为例，描述对每帧左视图进行联合视差-运动估计的过程。
[0032] 如图2所示，对待插帧进行联合视差-运动估计，包括如下步骤：
[0033] S1021：设置左视图初始视差矢量和左视图初始运动矢量。
[0034] 帧率转换的过程是以块为单位进行的，因此可以从已经插值块的运动矢量和视差矢量中选取一个作为待插帧的当前块的初始运动矢量和初始视差矢量的初始值。
[0035] 例如，从左视图中的已经插值块的运动矢量和视差矢量中，选取一个运动矢量和一个视差矢量作为左视图初始运动矢量和左视图初始视差矢量。
[0036] S1022：视差矢量估计。
[0037] 如图3所示，上方三帧图像为分别为左视图待插帧的前一帧、待插帧(虚线框)和待插帧的后一帧。下方三帧图像分别为与左视图对应的三帧图像。
[0038] 如果当前块为当前帧的第一图像块，则根据左视图初始运动矢量查找前一帧图像中对应位置的图像块，以及后一帧图像中对应位置的图像块。然后利用上述对应位置的块在右视图中进行视差估计以得到当前块的视差矢量。
[0039] 如果当前块不是当前帧的第一个图像块，则根据上次迭代得到的运动矢量，即上一次运动矢量估计得到的运动矢量查找当前帧的前一帧和后一帧中对应位置的图像块。利用前一帧和后一帧中对应位置的图像块在右视图中进行视差估计以得到当前块的视差矢量。
[0040] 令 表示左视图中k时刻的待插帧图像，对于其中任一待插块 首先在待插帧的前后相邻帧 和 中找到对应位置的块 和 然后利用 和 在右视图中进行视差估计。
[0041] 设当前块的最优的视差矢量为d＝(dx，dy)，d＝(dx，dy)可被表示为
[0042]
[0043] 其中，R表示搜索范围。
[0044] S1023：运动矢量估计。
[0045] 在获得当前块的视差矢量之后，对当前块在前后邻近帧的相应区域内进行运动矢量估计。具体而言，
[0046] 根据步骤S1022中获得的当前块的视差矢量，对当前块在前一帧内与当前块对应位置的图像块为中心的搜索区域内进行双向运动估计，以及在后一帧内与当前块对应位置的图像块为中心的搜索区域内进行双向运动估计，从而得到当前块的最优运动矢量。
[0047] 如图4所示，k为左视图的当前块，k-1为前一帧中对应位置的图像块，k+1为后一帧中对应位置的图像块。
[0048] 如果当前块k为当前帧左视图的第一个图像块，则根据初始设置的左视图初始视差矢量查找所述当前帧的前一帧中对应位置的图像块k-1，以及后一帧中对应位置的图像块k+1。在前一帧中对应位置的图像块k-1为中心的搜索区域内以及后一帧中对应位置的图像块k+1为中心的搜索区域内进行双向运动估计得到当前块的最优运动矢量；
[0049] 如果当前块k不为当前帧左视图的第一个图像块，则根据前一次视差矢量估计得到的视差矢量查找当前帧的前一帧中对应位置的图像块k-1，以及后一帧中对应位置的图像块k+1。在前一帧中对应位置的图像块k-1为中心的搜索区域内以及后一帧中对应位置的图像块k+1为中心的搜索区域内进行双向运动估计得到所述当前块的最优运动矢量v＝(vx，vy)。
[0050]
[0051]
[0052] 其中， 表示前后两帧中沿着运动矢量的块需要尽可能地一致， 和 表示运动补偿的块应和视差补偿的块一
致，v0＝(v0，x，v0，y)表示初始的运动矢量，λ((vx-v0，x)2+(vy-v0，y)2)使得最终的运动矢量与初始的运动矢量尽可能地一致，从而避免出现与周围块有较大偏差的运动矢量。
[0053] 判断本次联合-视差估计得到的当前块的视差矢量和运动矢量与上次估计的结果是否一致，如果不一致，则进行下一轮的视差估计和运动估计。否则，结束循环，利用得到的最优运动矢量进行运动补偿。
[0054] 右视图的联合视差-运动估计过程与左视图的联合视差-运动估计过程的原理是一致的，相应地，对每帧左视图进行联合视差-运动估计的过程包括：
[0055] 首先设置右视图初始视差矢量和右视图初始运动矢量，根据右视图初始视差矢量和右视图初始运动矢量逐块地对每帧右视图进行视差矢量估计和运动矢量估计以得到每帧右视图的最优运动矢量。
[0056] 具体而言，如果当前块为当前右视图帧图像的第一图像块，则根据右视图初始运动矢量查找前一帧右视图中对应位置的图像块，以及后一帧右视图中对应位置的图像块。然后利用上述对应位置的块在左视图中进行视差估计以得到当前块的视差矢量。
[0057] 如果当前块不是当前右视图帧图像的第一个图像块，则根据上次迭代得到的运动矢量，即上一次运动矢量估计得到的运动矢量查找当前帧的前一帧和后一帧中对应位置的图像块。利用前一帧和后一帧中对应位置的图像块在左视图中进行视差估计以得到当前块的视差矢量。
[0058] 在获得当前块的视差矢量之后，对当前块在前后邻近帧的相应区域内进行运动矢量估计。具体而言，对当前块在前一帧内与当前块对应位置的图像块为中心的搜索区域内进行双向运动估计，以及在后一帧内与当前块对应位置的图像块为中心的搜索区域内进行双向运动估计，从而得到当前块的最优运动矢量。
[0059] 如果当前块为当前帧右视图的第一个图像块，则根据初始设置的右视图初始视差矢量查找所述当前帧的前一帧中对应位置的图像块，以及后一帧中对应位置的图像块。在前一帧中对应位置的图像块为中心的搜索区域内以及后一帧中对应位置的图像块为中心的搜索区域内进行双向运动估计得到当前块的最优运动矢量。
[0060] 如果当前块不为当前帧右视图的第一个图像块，则根据前一次视差矢量估计得到的视差矢量查找当前帧的前一帧中对应位置的图像块，以及后一帧中对应位置的图像块。在前一帧中对应位置的图像块为中心的搜索区域内以及后一帧中对应位置的图像块为中心的搜索区域内进行双向运动估计得到当前块的最优运动矢量v＝(vx，vy)。
[0061] 判断本次联合-视差估计得到的当前块的视差矢量和运动矢量与上次估计的结果是否一致，如果不一致，则进行下一轮的视差估计和运动估计。否则，结束循环，利用得到的最优运动矢量进行运动补偿。
[0062] 由此，可以获得每帧左视图和每帧右视图中的每个图像块的最优视差矢量和最优运动矢量。
[0063] S103：运动补偿。
[0064] 为了获取高帧率的图像，需要对左视角视频流和右视角视频流进行帧率上采样。具体而言，利用左视角视频流的最优运动矢量和右视角视频流的最优运动矢量对待插值帧进行逐块的帧率上采样，即对当前块进行插值。
[0065]
[0066] 其中， 为运动补偿后的当前块的运动矢量。
[0067] 通过上述运动补偿，可以输出高帧率的左视图和高帧率的右视图，即得到高质量的帧图像。
[0068] 根据本发明实施例的双目立体视频帧率转换方法，利用同一时刻不同视角和同一视角不同时刻的冗余关系，实现双目立体视频的帧率上采样。具体而言，根据同一时刻不同视角图像的相关特性，对左视角视频流和右视角视频进行视差矢量估计。然后根据同一视角不同时刻图像的相关特性，对视角视频流和右视角视频进行运动矢量估计。综合考虑运动矢量和视差矢量照成的匹配误差，作为运动矢量估计精度的判断准则。由此，通过对双目立体视频流进行视差矢量估计和运动矢量估计，联合利用时域和视间的信息，从而可以生成具有高质量的帧率的上采样视频。
[0069] 下面参考图5描述根据本发明实施例的双目立体视频帧率转换装置500。该双目立体视频帧率转换装置500可以广泛应用于图像/视频处理过程中。
[0070] 如图5所示，本发明实施例提供的双目立体视频帧率转换装置500包括输入模块510、联合视差-运动估计模块520和运动补偿模块530，其中联合视差-运动估计模块520与输入模块510相连，运动补偿模块530与联合视差-运动估计模块520相连。
[0071] 由输入模块510向内存中输入双目立体视频流，其中双目立体视频流包括左视角视频流和右视角视频流。左视角视频流包括多帧左视图，右视角视频流包括多帧右视图，所述左视图和右视图均为低帧率图像。
[0072] 联合视差-运动估计模块520对输入的左视角视频流和右视角视频流进行联合视差-运动估计，即对每帧左视图和每帧右视图进行联合视差-运动估计。
[0073] 在本发明的一个实施例中，联合视差-运动估计模块520对左视角视频流和右视角视频流的联合视差-运动估计可以同时进行，也可以先后进行。
[0074] 在每帧左视图中和每帧右视图中均包括多个图像块。将当前处理的帧图像成为待插帧，联合视差-运动估计模块520对每帧左视图和每帧右视图可以看作是对每帧图像中的每个图像块进行联合视差-运动估计。逐块地对每帧左视图或每帧右视图进行视差矢量估计和运动矢量估计以得到每帧左视图的最优运动矢量或每帧右视图的最优运动矢量。换言之，联合视差-运动估计模块520对待插帧中的当前块，根据该当前块邻近的时域和视域的低帧率帧图像进行联合视差-运动估计，从而获取当前块的最优运动矢量。根据获取的每帧左视图和每帧右视图中的每个图像块的最优运动矢量，从而可以得到左视角视频流的最优运动矢量及右视角视频流的最优运动矢量。
[0075] 如图5所示，联合视差-运动估计模块520包括设置单元521、视差矢量估计单元522和运动矢量估计单元523，其中视差矢量估计单元522与设置单元521相连，用于逐块地对每帧左视图或每帧右视图进行视差矢量估计。运动矢量估计单元523与视差矢量估计单元522相连，用于逐块地对每帧左视图或每帧右视图进行运动矢量估计以得到每帧左视图的最优运动矢量或每帧右视图的最优运动矢量。
[0076] 由于对左视图的联合视差-运动估计过程与右视图的联合视差-运动估计过程的原理是一致的，下面以左视图为例，描述联合视差-运动估计模块520对每帧左视图进行联合视差-运动估计的过程。
[0077] 首先，由设置单元521设置左视图初始视差矢量和左视图初始运动矢量。帧率转换的过程是以块为单位进行的，因此可以从已经插值块的运动矢量和视差矢量中选取一个作为待插帧的当前块的初始运动矢量和初始视差矢量的初始值。例如，从左视图中的已经插值块的运动矢量和视差矢量中，选取一个运动矢量和一个视差矢量作为左视图初始运动矢量和左视图初始视差矢量。
[0078] 如果当前块为当前帧的第一图像块，则视差矢量估计单元522根据左视图初始运动矢量查找前一帧图像中对应位置的图像块，以及后一帧图像中对应位置的图像块。然后视差矢量估计单元522利用上述对应位置的块在右视图中进行视差估计以得到当前块的视差矢量。
[0079] 如果当前块不是当前帧的第一个图像块，则视差矢量估计单元522根据上次迭代得到的运动矢量，即上一次运动矢量估计得到的运动矢量查找当前帧的前一帧和后一帧中对应位置的图像块。视差矢量估计单元522利用前一帧和后一帧中对应位置的图像块在右视图中进行视差估计以得到当前块的视差矢量。
[0080] 令 表示左视图中k时刻的待插帧图像，对于其中任一待插块 首先在待插帧的前后相邻帧 和 中找到对应位置的块 和 然后利用 和 在右视图中进行视差估计。
[0081] 设当前块的最优的视差矢量为d＝(dx，dy)，d＝(dx，dy)可被表示为
[0082]
[0083] 其中，R表示搜索范围。
[0084] 根据视差矢量估计单元522获得的当前块的视差矢量，运动矢量估计单元523对当前块在前后邻近帧的相应区域内进行运动矢量估计。
[0085] 运动矢量估计单元523对当前块在前一帧内与当前块对应位置的图像块为中心的搜索区域内进行双向运动估计，以及在后一帧内与当前块对应位置的图像块为中心的搜索区域内进行双向运动估计，从而得到当前块的最优运动矢量。
[0086] 如果当前块为当前帧左视图的第一个图像块，则运动矢量估计单元523根据初始设置的左视图初始视差矢量查找所述当前帧的前一帧中对应位置的图像块，以及后一帧中对应位置的图像块。运动矢量估计单元523在前一帧中对应位置的图像块为中心的搜索区域内以及后一帧中对应位置的图像块为中心的搜索区域内进行双向运动估计得到当前块的最优运动矢量；
[0087] 如果当前块不为当前帧左视图的第一个图像块，则运动矢量估计单元523根据前一次视差矢量估计得到的视差矢量查找当前帧的前一帧中对应位置的图像块，以及后一帧中对应位置的图像块。运动矢量估计单元523在前一帧中对应位置的图像块为中心的搜索区域内以及后一帧中对应位置的图像块为中心的搜索区域内进行双向运动估计得到所述当前块的最优运动矢量v＝(vx，vy)。
[0088]
[0089]
[0090] 其中， 表示前后两帧中沿着运动矢量的块需要尽可能地一致， 和 表示运动补偿的块应和视差补偿的块一
2 2
致，v0＝(v0，x，v0，y)表示初始的运动矢量，λ((vx-v0，x)+(vy-v0，y))使得最终的运动矢量与初始的运动矢量尽可能地一致，从而避免出现与周围块有较大偏差的运动矢量。
[0091] 联合视差-运动估计模块520进一步包括判断单元524，用于判断本次联合-视差估计得到的当前块的视差矢量和运动矢量与上次估计的结果是否一致，如果不一致，则进行下一轮的视差估计和运动估计。否则，由运动补偿模块530利用得到的最优运动矢量进行运动补偿。
[0092] 右视图的联合视差-运动估计过程与左视图的联合视差-运动估计过程的原理是一致的，此处不再赘述。
[0093] 由此，联合视差-运动估计模块520，可以获得每帧左视图和每帧右视图中的每个图像块的最优视差矢量和最优运动矢量。
[0094] 为了获取高帧率的图像，运动补偿模块530需要对左视角视频流和右视角视频流进行帧率上采样。具体而言，运动补偿模块530利用左视角视频流的最优运动矢量和右视角视频流的最优运动矢量对待插值帧进行逐块的帧率上采样，即对当前块进行插值。
[0095]
[0096] 其中， 为运动补偿后的当前块的运动矢量。
[0097] 通过运动补偿模块530的对左视图和右视图的运动补偿，可以输出高帧率的左视图和高帧率的右视图，即得到高质量的帧图像。
[0098] 根据本发明实施例的双目立体视频帧率转换装置，利用同一时刻不同视角和同一视角不同时刻的冗余关系，实现双目立体视频的帧率上采样。具体而言，根据同一时刻不同视角图像的相关特性，对左视角视频流和右视角视频进行视差矢量估计。然后根据同一视角不同时刻图像的相关特性，对视角视频流和右视角视频进行运动矢量估计。综合考虑运动矢量和视差矢量照成的匹配误差，作为运动矢量估计精度的判断准则。由此，通过对双目立体视频流进行视差矢量估计和运动矢量估计，联合利用时域和视间的信息，从而可以生成具有高质量的帧率的上采样视频。
[0099] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0100] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。
