一种2D-3D视频转换中的关键帧选择方法

摘要

本发明提供了一种2D-3D视频转换中的基于边缘点分类的关键帧选择方法，该关键帧选择方法具体包括以下几个步骤：(1)将输入的2D视频分成若干个视频片段；(2)分析各输入视频片段前、背景物体的颜色区别，选择候选关键帧；(3)计算候选关键帧中前景物体的面积，根据前景的面积选择新的候选关键帧；(4)对新的候选关键帧中每一帧的边缘点根据Lipschitz指数进行分类，根据第三类边缘点的数量选择最优的关键帧。

权利要求

1.一种2D-3D视频转换中的关键帧选择方法，其特征在于：首先根据需要的关键帧数目将输入视频分成和关键帧数目相同的若干片段，然后以每一个片段里面的帧为对象，分析这些帧的前景物体和背景物体的颜色区别，剔除前景物体和背景物体颜色相近的帧，得到第一轮候选关键帧，再以第一轮候选关键帧为对象，计算前景物体的面积，根据前景物体的面积进一步精选，得到第二轮候选关键帧，最后对第二轮候选关键帧中的边缘点进行分析，根据分析结果选择其中若干候选关键帧作为最终的关键帧，具体包括以下步骤：(1)根据输入视频图像的总数和需要选择的关键帧的数目，将输入视频分割成若干个片段，在每一个视频片段里按照(2)-(4)的方法逐步选取关键帧；

(2)以每一个视频片段为对象，分析其包含的每一帧中前景物体和背景物体的颜色区别，将前景物体和背景物体颜色相近的视频帧从视频片段中去除，得到第一轮候选关键帧；

(3)计算第一轮候选关键帧中每一帧前景物体的面积，选择前景物体面积与图像总面积比值较大的帧作为第二轮候选关键帧；

(4)对第二轮候选关键帧中的每一帧，根据Lipschitz指数将边缘点分成三类：在图像的同一行中，如果相邻的两个边缘点的Lipschitz指数都较大，那么这两个边缘点属于第一类边缘点；如果两个相邻的边缘点的Lipschitz指数都较小，那么这两个边缘点属于第二类边缘点；如果两个相邻的边缘点的Lipschitz指数一个较大，另一个较小，那么这两个边缘点属于第三类边缘点；

计算第二轮候选关键帧的每一帧中第三类边缘点的数量与总的边缘点的数量的比值；

将第三类边缘点数量与总的边缘点数量的比值最小的帧选为最优的关键帧。

2.根据权利要求1所述的方法，其特征在于：所述步骤(1)的具体实现步骤为：A确定输入视频帧的总数和需要选取的关键帧的数目；

B根据视频帧的总数和关键帧的数目，将视频的所有帧按照时间顺序分割成若干个片段。

3.根据权利要求1所述的方法，其特征在于：所述步骤(2)的具体实现步骤为：A利用图割算法对各视频片段中每一帧进行分割，图像中颜色相同的像素被分到同一区域块当中去；

B根据步骤A的分割结果，判断前景物体和背景物体是否被分到同一区域块当中；

C将前景物体和背景物体被分到同一区域块中的帧去除，得到第一轮候选关键帧。

4.根据权利要求1所述的方法，其特征在于：所述步骤(3)的具体实现步骤为：A对于第一轮候选关键帧的每一帧，将属于前景物体的像素个数记为前景物体的面积，将一帧中总的像素个数记为图像的总面积；

B为每一帧计算前景物体面积和图像总面积的比值；

C设定一个阈值，将前景物体面积与图像总面积比值大于设定阈值的帧选作第二轮候选关键帧。

说明书

一种2D-3D视频转换中的关键帧选择方法

技术领域

[0001] 本发明涉及一种2D-3D视频转换中的基于边缘点分类的关键帧选择方法，属于视频、多媒体信号处理和三维显示技术领域。

背景技术

[0002] 目前，2D-3D视频转换技术因为其能将已有的任意2D视频转成具有立体感的3D视频而受到越来越多的关注。一般情况下，2D-3D视频转换包含以下几个步骤：1)选择关键帧，2)分配关键帧的深度，3)传播得到非关键帧的深度，4)利用DIBR算法合成左右视图。通常2D-3D视频转换分为两大类，即不需要任何人工参与的全自动2D-3D视频转换和需要人工参与分配深度的半自动2D-3D视频转换。虽然全自动2D-3D视频转换节省人力，但是得到的立体视频的效果不尽如人意。在半自动2D-3D视频转换中，需要选择关键帧并为关键帧人工分配深度。半自动2D-3D视频转换得到的三维视频立体效果比全自动2D-3D视频转换要好，这也是半自动2D-3D视频转换越来越受青睐的原因。与全自动2D-3D视频转换相比，半自动2D-3D视频转换的不足之处是需要花费较多的时间和人力在人工分配关键帧的深度上。

[0003] 作为2D-3D视频转换中的第一步，关键帧的选择无论对于半自动2D-3D视频转换还是全自动2D-3D视频转换都是至关重要的。目前，2D-3D视频转换中的关键帧通常是通过对视频帧序列进行等间隔采样得到。这种方法得到的关键帧没有考虑视频帧的特征，使得通过这些关键帧得到的3D视频不能获得理想的视觉效果。为解决这一问题，本发明通过加入对视频帧特征的分析步骤，采用逐层精选的方式，对传统的关键帧选择方法进行了改进，使得到的关键帧更为有效，整体提升了3D视频的视觉效果。

发明内容

[0004] 本发明提出了一种2D-3D视频转换中关键帧选择方法。应用本方法后，再利用基于小波变换的深度估计方法得到关键帧的深度图。在利用小波变换求关键帧的深度时，对每个像素点构造一个16*16大小的窗口，然后对这个窗口进行小波变换，将高频带(LH频带，HL频带和HH频带)中非零的小波变换系数用来表示该像素点的深度值。

[0005] 本发明提出的关键帧选择方法中，首先根据需要的关键帧数目将输入视频分成和关键帧数目相同的若干片段，然后以每一个片段里面的帧为对象，分析这些帧的前景物体和背景物体的颜色区别，剔除前景物体和背景物体颜色相近的帧，得到第一轮候选关键帧，再以第一轮候选关键帧为对象，计算前景物体的面积，根据前景物体的面积进一步精选，得到第二轮候选关键帧，最后对第二轮候选关键帧中的边缘点进行分析，根据分析结果选择其中若干候选关键帧作为最终的关键帧，具体包括以下步骤：

[0006] (1)根据输入视频图像的总数和需要选择的关键帧的数目，将输入视频分割成若干个片段，在每一个视频片段里按照(2)-(4)的方法逐步选取关键帧；

[0007] 以上步骤(1)的具体实现步骤为：

[0008] A确定输入视频帧的总数和需要选取的关键帧的数目；

[0009] B根据视频帧的总数和关键帧的数目，将视频的所有帧按照时间顺序分割成若干个片段。

[0010] (2)以每一个视频片段为对象，分析其包含的每一帧中前景物体和背景物体的颜色区别，将前景物体和背景物体颜色相近的视频帧从视频片段中去除，得到第一轮候选关键帧；

[0011] 上述步骤(2)的具体实现步骤为：

[0012] A利用图割（Graph Cuts）算法对各视频片段中每一帧进行分割，图像中颜色相同的像素被分到同一区域块当中去；

[0013] B根据步骤A的分割结果，判断前景物体和背景物体是否被分到同一区域块当中；

[0014] C将前景物体和背景物体被分到同一区域块中的帧去除，得到第一轮候选关键帧。

[0015] (3)计算第一轮候选关键帧中每一帧前景物体的面积，选择前景物体面积与图像总面积比值较大的帧作为第二轮候选关键帧；

[0016] 上述步骤(3)的具体实现步骤为：

[0017] A对于第一轮候选关键帧的每一帧，将属于前景物体的像素个数记为前景物体的面积，将一帧中总的像素个数记为图像的总面积；

[0018] B为每一帧计算前景物体面积和图像总面积的比值；

[0019] C设定一个阈值，将前景物体面积与图像总面积比值大于设定阈值的帧选作第二轮候选关键帧。

[0020] (4)对第二轮候选关键帧中的每一帧，根据Lipschitz指数将边缘点进行分类，根据边缘点选择最佳的关键帧；

[0021] 上述步骤(4)的具体实现步骤为：

[0022] A对第二轮候选关键帧中的每一帧，根据Lipschitz指数将边缘点分成三类：在图像的同一行中，如果相邻的两个边缘点的Lipschitz指数都较大，那么这两个边缘点属于第一类边缘点；如果两个相邻的边缘点的Lipschitz指数都较小，那么这两个边缘点属于第二类边缘点；如果两个相邻的边缘点的Lipschitz指数一个较大，另一个较小，那么这两个边缘点属于第三类边缘点；

[0023] B计算第二轮候选关键帧的每一帧中第三类边缘点的数量与总的边缘点的数量的比值；

[0024] C将第三类边缘点数量与总的边缘点数量的比值最小的帧选为最优的关键帧。

[0025] 本发明的方法在选择关键帧的过程中，先将前景和背景区别不大的帧去除，同时选择包含较大的能给人更多深度感的前景物体的帧作为候选关键帧，最后选择第三类边缘点比例最小(也就是物体的散、聚焦对比最明显)的帧作为最终的关键帧。最后选择出来的关键帧前景物体突出，而且聚焦的前景物体和散焦的背景之间的距离感比较明显，利用小波变换能够得到一幅高质量的、最大程度上反映物体真实深度信息的深度图。用此关键帧的深度图传播得到的非关键帧深度图的平均均方误差小，合成的3D视频的立体效果令人满意。

附图说明

[0026] 图1是本发明一种2D-3D视频转换中的基于边缘点分类的关键帧选择方法的流程图；

[0027] 图2是“Kendo”视频中某一帧的彩色图；

[0028] 图3是该彩色图利用图割（Graph Cuts）算法分割得到的结果图；

[0029] 图4是利用小波多分辨率分析检测到的图像边缘；

[0030] 图5是《权利的游戏》片段中的某一个关键帧；

[0031] 图6是利用小波变换得到的该关键帧的深度图；

[0032] 图7是不同关键帧选择方法的均方误差（MSE）比较图；

[0033] 图8是不同关键帧选择方法的主观评价图。

具体实施方式

[0034] 下面结合附图与实施例对本发明作进一步说明。

[0035] 图1给出了本发明一种半自动2D-3D视频转换中的基于边缘点分类的关键帧选择方法的流程图，以2D-3D视频转换中的通用视频“Kendo”和美剧《权利的游戏》中的一小段为例来介绍本发明，本发明的具体实施步骤如下：

[0036] 1.将输入的2D视频分割成若干个小片段。根据输入视频帧的总数和需要选择的关键帧的数目，将输入的2D视频分割成若干个片段。其具体实施步骤如下：

[0037] (1)确定输入视频帧的总数N和需要选择的关键帧的数目NK。

[0038] (2)按照视频帧出现的时间先后顺序，将视频分成NK个片段。每个片段包含的帧的个数NS通过以下公式计算得到：

[0039] 当视频帧总数N能被关键帧数目NK整除时：

[0040]

[0041] 当视频帧总数N不能被关键帧数目NK整除时：

[0042]

[0043] 其中，NL为N/NK的余数，K代表分割得到的视频段。

[0044] (3)对分割而成的每个视频片段，按照下面提出的方法逐步选择关键帧。

[0045] 2.分析输入视频片段前景物体和背景物体的颜色区别。如果图像中前景物体的颜色和背景的颜色相同，或者是前景物体缺乏丰富的纹理信息，那么这个图像中所含的高频分量较少。这种情况下，利用小波变换得到的深度值要比物体的真实深度值小很多。为了得到高质量的深度图，提高合成3D视频的立体感，在选择关键帧时应该避免这样的图像。其具体实施步骤如下：

[0046] (1)利用Graph Cuts算法对输入的视频片段的各帧进行分割，图像中颜色相同的像素被分到同一区域当中去。图2为“Kendo”视频中某一帧的彩色图，从图2中可以看出，根据颜色可以将图像分为三个部分，进行格斗的两个运动员、若干观众及植物归是第一部分，红色的背景归是第二部分，白色的雾气是第三部分。图3为分割结果。

[0047] (2)根据上述步骤(1)的分割结果，判断前景物体和背景物体是否被分到同一个区域块当中。在“Kendo”视频中，前景物体是进行格斗的两个运动员，背景是观众身后的红色区域。

[0048] (3)将前景物体和背景物体被分到同一区域块中的帧去除，得到候选关键帧CF1。

[0049] 3.计算候选关键帧CF1中前景物体的面积，根据计算得到的前景面积和设定的面积阈值，更新候选关键帧。在观看立体视频时，观众往往会将大部分的注意力集中于前景物体，而对于距离他们较远的背景不感兴趣。同时，突出的前景往往能让观众感受到明显的视觉冲击力，体会到较真实的立体感。因此，一幅图像中前景物体的大小成为我们选择关键帧的一个重要的考虑因素。将候选关键帧CF1中前景物体面积与总面积比值大于设定阈值的帧选择为新的候选关键帧CF2，完成关键帧的更新。其具体实施步骤为：

[0050] (1)将候选关键帧CF1中属于前景物体的像素总数记为前景物体的面积SF，将图像的像素总数记为图像的总面积SA。

[0051] (2)计算候选关键帧CF1中每一帧前景物体面积 和图像总面积SA的比率[0052]

[0053] (3)设定面积比率的阈值SY，将面积比率 大于该阈值的帧选为新的候选关键帧CF2，完成关键帧的更新。关键帧的更新通过下式实现：

[0054] 如果 则

[0055] 其中，f为候选关键帧CF1中的某一帧，SY为面积比率的阈值，在实验中取值为[0.2,0.5]。

[0056] 4.根据边缘点的Lipschitz指数将候选关键帧CF2的边缘点分成三大类，根据第三类边缘点的数量选择最优的关键帧。利用小波多分辨率分析来实现图像的边缘检测，图4为检测到的边缘图像。其具体实施步骤为：

[0057] (1)检测图像的边缘点。选择高斯函数作为平滑函数θ(x)，平滑函数的一阶导数在(-∞,+∞)的积分为0，因此可以将其看作一个小波。该平滑函数对应于尺度变换因子s的尺度变换函数为：

[0058]

[0059] 函数f(x)在尺度变换因子s下同 的小波变换可表示为：

[0060]

[0061] 将图像中满足下列条件的点x0作为边缘点：

[0062] 并且

[0063] (2)对检测到的边缘点进行分类。如果图像一行中相邻两个边缘点的Lipschitz指数都较大，即0＜α1＜1,0＜α2＜1，那么这两个边缘点属于第一类边缘点。如果图像一行中相邻的两个边缘点的Lipschitz指数都较小，即-1＜α1＜0,-1＜α2＜0，那么这两个边缘点属于第二类边缘点。如果图像一行中相邻两个边缘点一个边缘点的Lipschitz指数较大而另一个较小，即-1＜α1＜0,0＜α2＜1或者是-1＜α2＜0,0＜α1＜1，那么这两个边缘点属于第三类边缘点。

[0064] (3)计算第三类边缘点的比值

[0065]

[0066] 其中，f为候选关键帧CF2中的某一帧，ET为第三类边缘点的数量，EA为边缘点的总数。

[0067] (4)将候选关键帧CF2中第三类边缘点占边缘点总数比值最小的帧选为最优的关键帧，即：

[0068] 如果 最小,则f为关键帧

[0069] 在图像的一行中如果有n个边缘点，那么这一行将被分成n+1个区域。如果相邻的两个边缘点的Lipschitz指数都较大，那么说明边缘点中间的区域是散焦的，属于背景，深度值较小。如果相邻的两个边缘点的Lipschitz指数都较小，那么说明边缘点中间的区域是聚焦的，属于前景，深度值较大。如果相邻边缘点的Lipschitz指数一个较大、一个较小，那么中间的区域既不属于聚焦的前景，也不属于散焦的背景。如果图像中第三类边缘点较多的话，那么图像中物体深度的“对比感”就会差很多，自然合成的3D视频就会缺乏立体感。因此选择第三类边缘点比值最小的帧作为最优的关键帧。

[0070] 关键帧选择完成之后，利用小波变换方法估计得到关键帧的深度图。图5为美剧《权利的游戏》片段中的某一个关键帧，图6为利用小波变换估计得到的该关键帧的深度图。得到关键帧的深度图之后，深度传播得到非关键帧的深度图。然后利用DIBR算法合成左眼、右眼视频，在立体播放器上就可以观看到具有立体效果的3D视频。

[0071] 图7给出了本发明一种2D-3D视频转换中的基于边缘点分类的关键帧选择方法同其它关键帧选择方法的MSE比较图。MSE通过计算传播得到的深度图与标准深度图之间的均方误差得到。从图7可以看出本发明一种2D-3D视频转换中的基于边缘点分类的关键帧选择方法较优。

[0072] 表1给出了本发明一种2D-3D视频转换中的基于边缘点分类的关键帧选择方法同其它关键帧选择方法的平均MSE比较。从表1中可以看出本发明一种2D-3D视频转换中的基于边缘点分类的关键帧选择方法较优。

[0073] 表1

[0074]方法 视频 平均MSE
固定间隔 Kendo/Teleplay shot 260/1260
最小重投影误差 Kendo/Teleplay shot 249/1237
本发明 Kendo/Teleplay shot 251/1167

[0075] 图8给出了本发明一种2D-3D视频转换中的基于边缘点分类的关键帧选择方法同其它关键帧选择方法合成立体视频的主观评价图。20位观众从深度信息、物体边缘、逼真度和舒适度四个方面给出主观评价。观众以任意次序观看不同关键帧选择方法合成的立体视频，两次观看之间的间隔不能低于两小时。从图中可以看出，本发明一种2D-3D视频转换中的基于边缘点分类的关键帧选择方法较优。