一种3D视频深度图像帧内预测模式选择方法

摘要

本发明公开了一种3D视频深度图像帧内预测模式选择方法。步骤如下：1)对于任意深度图像，使用自适应角点检测算法寻找帧内的角点，并保存其位置；2)对PU块由模式粗糙选择方法RMD选出HEVC常用的帧内编码模式CHIMs，并加入候选预测模式列表中；3)判断当前PU是否满足平滑条件，如果满足则直接跳到6)，否则继续4)；4)引入分类器对PU进行分类，若当前PU被分为C0类，表示当前PU为平滑块则跳至6)，否则继续5)；5)进行DMM模式计算，寻找出最优楔形模式分割并添加到模式候选列表；6)对候选模式列表进行率失真计算，选出最佳的预测模式。本发明有效地降低了帧内预测模式选择的数目，减少了帧内预测所需的编码时间，同时保证了最终解码端合成视角的视频质量。

权利要求

1.一种3D视频深度图像帧内预测模式选择方法，其特征在于，包括如下步骤：步骤1：对于任意深度图像，使用自适应角点检测算法寻找帧内的角点，并保存角点的位置；

步骤2：对预测单元即PU块由模式粗糙选择方法RMD选出HEVC常用的帧内编码模式CHIMs，并加入候选预测模式列表中；

步骤3：判断当前PU是否满足平滑条件，如果满足则当前PU是平滑PU，直接跳到步骤6，否则继续步骤4；

步骤4：引入分类器对PU进行分类，若当前PU被分类器分为C0类，表示当前PU为平滑块则跳至步骤6，否则继续步骤5；

步骤5：进行DMM模式计算，寻找出最优楔形模式分割并添加到模式候选列表；

步骤6：对候选模式列表进行率失真计算，选出最佳的预测模式；

步骤1所述自适应角点检测算法为Shi-Tomasi角点检测算法；

所述Shi-Tomasi角点检测算法中角点的两个主方向通过使用主成分分析得到；矩阵M的两个特征向量是样本像素点的两个主方向，每个角点最少有两个主方向，矩阵的特征值反映在两个特征向量所描述方向上的像素值变化程度；

步骤3所述平滑条件为包括Merkle和M.Zhang的人提出的：当前PU的方差小于一个阈值，且RMD判断Planar模式复杂度最低且具有最小率失真代价时此PU为平滑PU；

步骤4所述引入分类器对PU进行分类，具体如下：

(4.1)每个角点对应的M矩阵有两个特征值，用M矩阵小的特征值来对候选的角点进行分类：将特征值的绝对值不大于0.05的点滤除，将剩下的点按照角点M矩阵中小特征值降序排列，并按照特征值的幅值大小分类，此时每帧图像的角点总数为NC；

(4.2)用量化参数QP再次滤除角点，如果图像的QP不大于36则不再滤除角点，经过第二轮阈值滤波后的角点总数ThNum等于第一轮滤波后的角点总数NC，否则将第一轮滤波后的角点总数乘一个由QP决定的比例乘子，该比例乘子在QP大于36时存在且小于1，此时ThNum为NC与比例乘子的乘积，最后的滤波结果是找出第一轮滤波后的分类表中前ThNum个角点；

(4.3)如果当前PU不含角点，则被看成平滑PU或是方向变化连续的PU；取NC中所有角点的M矩阵特征值中最小特征值作为分类界限，如果当前PU对应的M矩阵的两个特征值中小的特征值小于分类界限将其归为C0类，否则归为C1类；C0类指当前PU为平滑块，可跳过DMM计算；C1类指当前PU不可跳过DMM计算。

说明书

一种3D视频深度图像帧内预测模式选择方法

技术领域

[0001] 本发明属于视频编解码技术领域，特别是一种3D视频深度图像帧内预测模式选择方法。

背景技术

[0002] H.265作为新一代的国际视频编码标准，继承了上一代H.264，使用宏块作为编码的基本单元。主体架构与H.264相似，主要包含帧内预测、帧间预测、转换、量化、熵编码等模式；同时H.265整体分为编码单位、预测单位和转换单位三个部分。H.265能在有限带宽下传输更高质量的视频，即H.265只需H.264一半的带宽就可以传输相同质量的视频。H.265使用多种方式降低码率：提高压缩效率和编码质量、提高鲁棒性和错误恢复能力、减少实时的时延和信道获取时延和随机接入时延、降低复杂度等。

[0003] H.264采用固定大小的宏块进行编码，造成大范围平滑区域编码码率的增加和细小纹理编码的清晰度不足。H.265的编码单元可以根据图像特点选择不同大小的编码单元，编码单元的大小可从8x8至64x64。在实际编码过程中，编码器首先将预编码图像分成64x64的最大编码单元(LCU)。针对每个编码单元，编码器采用四叉树的划分方式确定最优编码单元(CU)划分。最优CU划分的寻找需要编码器进行85次不同划分方式的率失真代价计算，增加了计算的复杂度。同时H.265为了更好的利用图像特别是纹理图像空间的相关性，将帧内预测模式增加到35种，其中有用于纹理区域预测的33种角度帧内预测模式和用于平坦区域预测的DC和Planar两种模式，如图1所示。预测模式的选择并不是以CU为基本单元而是以PU作为基本单元进行的。PU就是预测单元是由CU进一步分割得到。帧内预测模式的增多使得每个PU都要进行35次率失真计算可能找到最优的预测模式，这也增加了计算的复杂度。

[0004] H.265相较于H.264，一个重要的扩展标准就是3D-HEVC。3D-HEVC采用编码端和解码端非对称的多视点加深度图像格式。这种格式在解码端可以利用渲染DIBR技术合成虚拟视点。深度图像和纹理图像不同，它的像素值反应的是场景到镜头的距离的远近。深度图的特点主要包含：1)大部分的平坦区域；2)锐利的边缘；3)不用于直接观看。深度图像的编码与纹理图像编码不同，要保留图形中的边缘。因此3D-HEVC采用新的技术来保留物体的边缘。其中最重要的是采用四种新的深度模型模式：边界链式编码模式(RBC)、显示的楔形分割模式(DMM1)、隐式的楔形分割模式(DMM3)、contour分割模式(DMM4)。楔形分割模式如图2所示，其中(a)为连续时楔形分割方式示意图，(b)离散时楔形分割方式示意图，(c)为最终的楔形分割模式，通过起点S、终点E连成一条直线将预测块PU分成两个部分。

[0005] 在实际编码过程中在选择最优帧内预测模式时，不仅要计算35中帧内预测模式的率失真代价，还要计算楔形分割模式的率失真代价，计算复杂度的增加严重阻碍了3D-HEVC的实时应用。

发明内容

[0006] 本发明的目的在于提供一种3D视频深度图像帧内预测模式选择方法，能够在保证合成视角中视频质量的前提下，减少深度图像帧内预测模式数目并降低深度图像帧内预测模式选择的计算复杂度。

[0007] 实现本发明目的的技术解决方案为：一种3D视频深度图像帧内预测模式选择方法，包括如下步骤：

[0008] 步骤1：对于任意深度图像，使用自适应角点检测算法寻找帧内的角点，并保存角点的位置；

[0009] 步骤2：对预测单元即PU块由模式粗糙选择方法RMD选出HEVC常用的帧内编码模式CHIMs，并加入候选预测模式列表中；

[0010] 步骤3：判断当前PU是否满足平滑条件，如果满足则当前PU是平滑PU，直接跳到步骤6，否则继续步骤4；

[0011] 步骤4：引入分类器对PU进行分类，若当前PU被分类器分为C0类，表示当前PU为平滑块则跳至步骤6，否则继续步骤5；

[0012] 步骤5：进行DMM模式计算，寻找出最优楔形模式分割并添加到模式候选列表；

[0013] 步骤6：对候选模式列表进行率失真计算，选出最佳的预测模式。

[0014] 进一步地，步骤1所述自适应角点检测算法为：Shi-Tomasi角点检测算法；

[0015] 所述Shi-Tomasi角点检测算法中角点的两个主方向通过使用主成分分析得到；矩阵M的两个特征向量是样本像素点的两个主方向，每个角点最少有两个主方向，矩阵的特征值反映在两个特征向量所描述的特定方向上像素值的变化程度。

[0016] 进一步地，步骤3所述平滑条件为Merkle和M.Zhang等人提出的：当前PU的方差小于一个阈值，且RMD判断Planar模式复杂度最低且具有最小率失真代价时此PU为平滑PU。

[0017] 进一步地，步骤4所述引入分类器对PU进行分类，具体如下：

[0018] (4.1)每个角点对应的M矩阵有两个特征值，用矩阵M小的特征值来对候选的角点进行分类：将特征值的绝对值不大于0.05的点滤除，将剩下的点按照角点M矩阵中小特征值降序排列，并按照特征值的幅值大小分类，此时每帧图像的角点总数为NC；

[0019] (4.2)用量化参数QP再次滤除角点，如果图像的QP不大于36则不再滤除角点，经过第二轮阈值滤波后的角点总数ThNum等于第一轮滤波后的角点总数NC，否则将第一轮滤波后的角点总数乘一个由QP决定的比例乘子，该比例乘子在QP大于36时存在且小于1，此时ThNum为NC与比例乘子的乘积，最后的滤波结果是找出第一轮滤波后的分类表中前ThNum个角点。

[0020] (4.3)如果当前PU不含角点，则被看成平滑PU或是方向变化连续的PU；取NC中所有角点的M矩阵特征值中最小特征值作为分类界限，如果当前PU对应的M矩阵的两个特征值中小的特征值小于分类界限将其归为C0类，否则归为C1类；C0类指当前PU为平滑块，可跳过DMM计算；C1类指当前PU不可跳过DMM计算。

[0021] 本发明与现有技术相比，其显著优点在于：(1)利用了深度图像的角点信息减少深度图像的帧内预测模式数目，引入角点分类器，将PU按照是否包含角点进行分类并对不同类别的PU分别进行不同的处理，同时保证深度图像的边缘信息不丢失；(2)充分利用了深度图像PU块的平滑条件，将满足平滑条件的PU块跳过角点分类和楔形模式选择；(3)利用深度图像PU的特性将其分类，对不同类别的PU使用不同的跳过方法。在提高了编码的速度的同时可以有效保留边界，因而保证了合成视角的视频质量。

附图说明

[0022] 图1是背景技术所述HEVC的35种帧内预测模式示意图。

[0023] 图2是背景技术中所述楔形分割模式的分割方式，其中(a)为连续时楔形分割方式示意图，(b)离散时楔形分割方式示意图，(c)为最终的楔形分割模式。

[0024] 图3是本发明3D视频深度图像帧内预测模式选择方法的结构图。

[0025] 图4是本发明3D视频深度图像帧内预测模式选择方法的整体框架图。

[0026] 图5是实施例中的角点说明图，其中(a)为在平滑区域移动时窗口在各个方向上的变化图，(b)为在角点处移动时窗口在各个方向上的变化图，(c)为在边缘上移动时窗口在边缘方向的变化图。

[0027] 图6是本发明3D视频深度图像帧内预测模式选择方法中的PU分类图。

具体实施方式

[0028] 本发明提出的3D视频深度图像帧内预测模式选择方法，通过提取深度图像角点对预测块PU进行分类，对C0类的PU块直接跳过DMM模式选择，进而减少需要计算率失真代价的帧内预测模式数目。如图3～4所示，本发明3D视频深度图像帧内预测模式选择方法，包括如下步骤：

[0029] 步骤401：对于任意深度图像，使用自适应角点检测算法寻找帧内的角点，并保存角点的位置；

[0030] 步骤402：对预测单元即PU块由模式粗糙选择方法RMD选出HEVC常用的帧内编码模式CHIMs，并加入候选预测模式列表中；

[0031] 步骤403：判断当前PU是否满足平滑条件，如果满足则当前PU是平滑PU，直接跳到步骤406，否则继续步骤404；

[0032] 步骤404：引入分类器对PU进行分类，若当前PU被分类器分为C0类，表示当前PU为平滑块则跳至步骤6，否则继续步骤5；

[0033] 引入角点分类器对PU进行分类，若当前PU被分类器分为C0类，则跳至步骤406，否则，继续步骤405。

[0034] 步骤405：进行DMM模式计算，寻找出最优楔形模式分割并添加到模式候选列表；

[0035] 步骤406：对候选模式列表进行率失真计算，选出最佳的预测模式。

[0036] 上述步骤401中所述自适应角点提取的大体思路如下：

[0037] 当窗口在图像上移动，在平滑区域移动时如图5(a)所示，窗口在各个方向上都没有变化；在边缘上移动时如图5(c)，窗口在边缘的方向没有变化；在角点处移动时如图5(b),窗口在各个方向上均有变化。利用这种直观的物理现象，通过窗口在各个方向上的变化程度，决定当前点是否为角点。

[0038] 角点的定义为：两条边的交点，更严格的说，角点的局部邻域应该具有两个不同区域的不同方向的边界。

[0039] 上述步骤401中所述自适应角点检测算法为：Shi-Tomasi角点检测算法；所述Shi-Tomasi角点检测算法中角点的两个主方向通过使用主成分分析得到；矩阵M的两个特征向量是样本像素点的两个主方向，每个角点最少有两个主方向，矩阵的特征值反映在两个特征向量所描述的特定方向上像素值的变化程度。

[0040] 上述步骤3所述平滑条件为Merkle和M.Zhang等人提出的：当前PU的方差小于一个阈值，且RMD判断Planar模式复杂度最低且具有最小率失真代价时此PU为平滑PU，即图6中PU1。

[0041] 上述步骤4所述引入分类器对PU进行分类，具体如下：

[0042] (4.1)每个角点对应的M矩阵有两个特征值，用矩阵M小的特征值来对候选的角点进行分类：将特征值的绝对值不大于0.05的点滤除，将剩下的点按照角点M矩阵中小特征值降序排列，并按照特征值的幅值大小分类，此时每帧图像的角点总数为NC；

[0043] (4.2)用量化参数QP再次滤除角点，如果图像的QP不大于36则不再滤除角点，经过第二轮阈值滤波后的角点总数ThNum等于第一轮滤波后的角点总数NC，否则将第一轮滤波后的角点总数乘一个由QP决定的比例乘子，该比例乘子在QP大于36时存在且小于1，此时ThNum为NC与比例乘子的乘积，最后的滤波结果是找出第一轮滤波后的分类表中前ThNum个角点；

[0044] (4.3)如果当前PU不含角点，则被看成平滑PU或是方向变化连续的PU；取NC中所有角点的M矩阵特征值中最小特征值作为分类界限，如果当前PU对应的M矩阵的两个特征值中小的特征值小于分类界限将其归为C0类，否则归为C1类；C0类指当前PU为平滑块，可跳过DMM计算；C1类指当前PU不可跳过DMM计算。C0类包含图6中的PU2至PU5。

[0045] 实施例1

[0046] 为了使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例，对本发明进一步详细说明。

[0047] 本发明实施例对提出的3D视频深度图像帧内预测模式跳过方法的性能在3D-HEVC的参考软件HTM-13.0中进行了验证，应用编码参数使用常用检测条件(CTC)：

[0048] 视频序列分辨率：1920x1088、1024x768。

[0049] 测试帧类型：全I帧

[0050] 深度模型模式(DMM)：开

[0051] 量化参数值：纹理图像：25 34 30 39深度图像：35 42 40 45

[0052] 简化深度编码(SDC)：开

[0053] 环路滤波：关

[0054] 样本自适应补偿滤波SAO：关

[0055] 视角合成优化VSO：开

[0056] 本实施例操作流程如图4所示，具体步骤如下：

[0057] 步骤401：对于任意深度图像，使用自适应角点检测算法寻找帧内的角点并保存它们的位置信息。

[0058] 步骤402：对PU块由RMD选出常见的HEVC帧内预测模式，并加入候选预测模式列表中。

[0059] 步骤403：判断当前PU的方差是否小于一个阈值，且RMD判断Planar模式复杂度是否最低即具有最小率失真代价，如果满足则当前PU被分为平滑PU即图6中PU1，直接跳到步骤406，否则继续步骤404。

[0060] 步骤404：引入角点分类器对PU进行分类，若当前PU被分类器分为C0类，则跳至步骤406，否则，继续步骤405。

[0061] 步骤405：进行DMM模式选择，寻找出最优楔形分割并添加到模式候选列表。

[0062] 步骤406：对候选模式列表进行率失真计算，选出最佳的预测模式。

[0063] 使用码率(BR)和峰值信噪比(PSNR)来评价编码效果。ΔT表示与HTM方法相比编码时间的节省量。

[0064] 表1 角点分类器划分结果表

[0065]

[0066] 从表1可看出当PU被分为C0类时，这些不同尺寸PU选择DMM模式作为最优分割模式的平均概率分别为1.62％、0.69％、0.38％和0.48％；同时，有24.94％、19.50％、14.01％和11.01％的被分为C1类的PU选择DMM作为最优分割模式。这表明几乎所有被分为C0类的PU可被常用HEVC帧内编码模式(CHIMs)很好的预测。因此，这些PU跳过DMM计算可以在保证编码质量的同时减小耗时。

[0067] 表2 本发明提供方法结果与HTM13.0方法比较结果表

[0068]

[0069] 本发明提供的深度图像帧内编码模式跳过算法(DMMSA)实验结果，如表2所示，DMMSA算法与3D-HEVC使用的方法相比，平均可节省约17％的时耗。DMMSA算法在包含较多平滑区域和简单PU的Dancer、Fly、Hall2中效果更好。另外这种算法只带来0.19％的码率的增加，这说明与HTM-13.0相比视频质量的损失很小。但是视频序列Dancer、Hall2的码率略高。在这些视频序列中，深度图像像素值变化幅度小且变化缓慢，在编码过程中采用DMMSA算法跳过DMM模式计算。但是，对应区域的彩色视频更复杂，导致合成图像质量的下降。Fly视频序列同样包含像素值渐变的区域但其码率仅有0.03％的增加，这是因为其对应纹理图像是一个平坦的背景(沙漠)。

[0070] 本发明提高了深度图像帧内编码的效率，节省深度图像帧内编码时间的同时只伴随码率的略微增加。在量化参数较小的情况下，Dancer、Hall2、Fly视频序列采用本发明提供的方法时帧内编码的时间节省在25％以上，且随量化参数的增大节省的时间减小。这是因为在步骤303中使用的阈值和量化参数有关，并且在步骤304中使用的基于角点的分类器也是与量化参数有关。当量化参数大于36时要对提取出来的角点进行筛选。这三个视频序列包含大部分的平滑区域，仅有10％～20％的PU需要用大的量化参数作为阈值来测试DMM模式，此时步骤303中使用的阈值法发挥了主要作用。但是在量化参数较小时，使用小的阈值来保证图像质量使得PU稍微的变化都会影响PU的DMM模式选择。由于多方向的特征角点可以解决PU轻微变化的问题从而使得PU较小的变化不影响DMM模式选择，所以本发明提出的基于角点的分类方法优于HTM方法。DMMSA方法可以通过角点自适应选择量化参数，将更多的PU分为C0类从而跳过DMM计算。

[0071] 表3 角点计算时间表

[0072]

[0073] 如表3所示，角点的检测时间只有0.301s，占深度图像帧内编码时间的0.6％。因此角点的计算不会影响DMMSA算法的编码效果。

[0074] 表4 角点方案性能表

[0075]

[0076] 表4是三种角点选取方案， 和 方案就是当QP增加3角点数量减少一半。 和 分别表示当QP每增加3时角点数量减少三分之一和三分之二。综合来看，方案能够得到较好的结果，所以选择方案 应用于分类器。