简化基于深度的块分割的方法

摘要

本发明提供一种简化基于深度的块分割的方法，用于多视图编解码或三维视频编解码中，该方法包括：接收与当前纹理图片中当前纹理块有关的输入数据；为该当前纹理块确定深度图片中对应的深度块；从该对应的深度块产生当前分段掩膜；从包括至少一分割候选部分集合的一个或多个分割候选集合中确定所选分割候选集合，其中该至少一分割候选部分集合包括的分割候选少于分割候选全集合中包括的分割候选；基于该对应的深度块，从该所选分割候选集合中的分割候选选择当前块分割；以及根据产生的该当前分段掩膜和选择的该当前块分割，将基于深度的块分割编解码应用于该当前纹理块。通过利用本发明，可降低复杂度以及/或者存储器访问。

权利要求

1.一种简化基于深度的块分割的方法，用于多视图编解码或三维视频编解码中，该方法包括：接收与当前纹理图片中当前纹理块有关的输入数据；

为该当前纹理块确定深度图片中对应的深度块；

从该对应的深度块产生当前分段掩膜；

从包括至少一分割候选部分集合的一个或多个分割候选集合中确定所选分割候选集合以用于基于深度的块分割编解码，其中该至少一分割候选部分集合包括的分割候选少于分割候选全集合中包括的分割候选；

基于该对应的深度块，从该所选分割候选集合中的分割候选选择当前块分割；以及根据产生的该当前分段掩膜和选择的该当前块分割，将该基于深度的块分割编解码应用于该当前纹理块。

2.如权利要求1所述的简化基于深度的块分割的方法，其特征在于，该分割候选全集合包括2NxN、Nx2N、2NxnU、2NxnD、nLx2N以及nRx2N块分割。

3.如权利要求1所述的简化基于深度的块分割的方法，其特征在于，该一个或多个分割候选集合对应于由2NxN和Nx2N块分割组成的一简化集合，不需要发送指示该所选分割候选集合的信号。

4.如权利要求1所述的简化基于深度的块分割的方法，其特征在于，该一个或多个分割候选集合包括由2NxN和Nx2N块分割组成的一简化集合。

5.如权利要求1所述的简化基于深度的块分割的方法，其特征在于，该一个或多个分割候选集合被预先定义，且每个分割候选集合由索引指示。

6.如权利要求5所述的简化基于深度的块分割的方法，其特征在于，该所选分割候选集合的索引在比特流的视频参数集合、序列参数集合、图片参数集合、片头、编码树单元、编码树块、编码单元、预测单元或变换单元级别中明确发送。

7.如权利要求1所述的简化基于深度的块分割的方法，其特征在于，该所选分割候选集合在比特流的视频参数集合、序列参数集合、图片参数集合、片头、编码树单元、编码树块、编码单元、预测单元或变换单元级别中明确发送。

8.如权利要求7所述的简化基于深度的块分割的方法，其特征在于，该所选分割候选集合采用指示图、指示表或指示标记表示。

9.如权利要求1所述的简化基于深度的块分割的方法，其特征在于，若当前块尺寸属于允许块尺寸集合，该所选分割候选集合排除任何2NxnU、2NxnD、nLx2N以及nRx2N分割候选中的分割候选。

10.如权利要求9所述的简化基于深度的块分割的方法，其特征在于，该允许块尺寸集合采用比特流的视频参数集合、序列参数集合、图片参数集合、片头、编码树单元、编码树块、编码单元、预测单元或变换单元级别中的指示图、指示表或指示标记发送。

11.如权利要求9所述的简化基于深度的块分割的方法，其特征在于，该允许块尺寸为预先定义，不需要明确发送指示该允许块尺寸集合的信号。

12.一种简化基于深度的块分割方法，用于多视图编解码或三维视频编解码中，该方法包括：接收与当前纹理图片中当前纹理块有关的输入数据；

确定当前块尺寸是否属于允许块尺寸集合；

若该当前块尺寸属于该允许块尺寸集合，则为该当前纹理块确定深度图片中对应的深度块；

从该对应的深度块产生当前分段掩膜；

确定当前块分割，其中该当前块分割是从用于基于深度的块分割编解码的分割候选集合中选择；以及根据生成的该当前分段掩膜和该当前块分割对该当前纹理块应用基于深度的块分割编解码。

13.如权利要求12所述的简化基于深度的块分割的方法，其特征在于，该允许块尺寸集合为预先定义，不需要明确发送指示该允许块尺寸集合的信号。

14.如权利要求12所述的简化基于深度的块分割的方法，其特征在于，该允许块尺寸集合在比特流的视频参数集合、序列参数集合、图片参数集合、片头、编码树单元、编码树块、编码单元、预测单元或变换单元级别中明确发送。

15.如权利要求14所述的简化基于深度的块分割的方法，其特征在于，该允许块尺寸集合采用指示图、指示表或指示标记。

16.如权利要求14所述的简化基于深度的块分割的方法，其特征在于，该允许块尺寸集合包括所有的NxN块尺寸，其中N大于正整数M。

17.如权利要求16所述的简化基于深度的块分割的方法，其特征在于，N被明确发送或预先定义。

18.如权利要求16所述的简化基于深度的块分割的方法，其特征在于，M对应于8。

说明书

简化基于深度的块分割的方法

技术领域

[0001] 本发明有关于三维(three-dimensional，3D)和多视图(multi-view)视频编码，且尤其有关于采用简化的基于深度的块分割(Depth-Based Block Partitioning，DBBP)的纹理(texture)编解码。

背景技术

[0002] 近些年3D电视(television，TV)已成为技术潮流，其可带给观看者非常好的观看体验。已开发多种技术以用于3D观看，其中，多视图视频尤其是用于3DTV的一个关键技术。传统视频为2D媒体，只能提供观看者摄像机角度的一场景的单一视图。然而，3D视频可提供动态场景的任意视点(viewpoint)，并提供给观看者真实的感觉。

[0003] 3D视频通常通过采用视频摄像机捕捉一场景并采用相关装置捕捉深度信息而建立，或通过同时采用多个相机捕捉一场景而建立，其中多个相机被适当放置，使得每个相机可从一个视点捕捉该场景。对应于场景的纹理数据和深度数据通常展现出实质关联。因此，深度信息可用来改进纹理数据的编码效率或降低纹理数据的处理复杂度，反之亦然。举例来说，纹理块的对应的深度块可揭示对应于像素级(pixel level)对象分段(object segmentation)的类似信息。因此，深度信息可帮助实现像素级基于分段的(segment-based)运动补偿。相应地，在当前基于高效视频编码(High Efficiency Video Coding,HEVC)的3D视频编码(3D video coding based on HEVC，3D-HEVC)中，已采用DBBP进行纹理编码。

[0004] 当前DBBP包括虚拟深度推导(virtual depth derivation)、块分段、块分割(block partition)和双分段(bi-segment)补偿的步骤。首先，采用相邻块的视差矢量(Disparity Vector From Neighboring Blocks，NBDV)推导当前纹理块的虚拟深度。推导的视差矢量(Disparity Vector，DV)用来由当前纹理块的位置在参考视图中对深度块进行定位。参考视图可为基准视图(base view)。在参考视图中已定位的深度块随后被用作虚拟深度块，用于对当前纹理块编解码。虚拟深度块用来推导并置(collocated)纹理块的块分段，其中块分段可为非矩形。虚拟深度块的平均值 被确定。通过将虚拟深度值与平均值进行比较，块的每个像素的二值化分段掩膜(binary segmentation mask)得以生成。图1A-B是基于虚拟深度块的块分段的示范性示意图。在图1A中，基于依赖视图中当前纹理块110的位置和推导的DV112，在参考视图中对当前纹理块110的对应的深度块120进行定位，其中DV112根据3D-HEVC采用NBDV推导。在步骤140中，确定虚拟深度块的平均值。在步骤150中，虚拟深度样本的值与平均深度值进行比较，以生成分段掩膜160。如图1B中两种不同的线型所示，分段掩膜以二进制数据表示，以指示底层像素(underlying pixel)属于分段1还是分段2。

[0005] 为了避免与基于像素的(pixel-based)运动补偿有关的高计算复杂度，DBBP采用基于块的(block-based)运动补偿。每个纹理块可采用包括2NxN、Nx2N、2NxnU、2NxnD、nLx2N以及nRx2N的6个非矩形分割之一，其中后4个非矩形分割对应于非对称运动分割(Asymmetric Motion Partition，AMP)。通过块分割选择进程从上述块分割候选中选出块分割后，分别推导出已分割块的两个预测运动矢量(Predictive Motion Vector，PMV)。PMV随后用来对待划分的(to-be-divided)两个分段进行补偿。根据当前的3D-HEVC，通过将分段掩膜和分段掩膜求反(negation)与6个非矩形分割候选(即2NxN、Nx2N、2NxnU、2NxnD、nLx2N以及nRx2N)进行比较，选择出最佳块分割，其中分段掩膜求反即翻转(inverted)分段掩膜。逐像素(pixel-by-pixel)的比较计算分段掩膜和块分割样式(pattern)之间的所谓匹配像素(matched pixel)。共有12组匹配像素需被计算，其对应2个互补分段掩膜和6个块分割类型的组合。块分割进程选择具有最多数目匹配像素的候选者。图2是块分割选择进程的示范性示意图。在图2中，6个非矩形块分割类型被叠加于分段掩膜和对应的翻转分段掩膜之上。块分割类型和分段掩膜之间的最佳匹配分割被选作DBBP进程的块分割。

[0006] 选择块分割类型后，可确定两个PMV。每个PMV被用于整个块，以形成对应的预测块。两个预测块随后根据分段掩膜逐像素地合并(merge)为一个，这个进程被称为两分段补偿。图3是DBBP进程的示范性示意图。在本示范例中，选择了Nx2N块分割类型，且分别推导出两个已分割块的两个对应的运动矢量(MV1和MV2)。每个运动矢量用来补偿整个纹理块(310)。相应地，运动矢量MV1用于纹理块320，以根据运动矢量MV1生成预测块330；运动矢量MV2也用于纹理块320，以根据运动矢量MV2生成预测块332。两个预测块通过采用各自的分段掩膜(340和342)进行合并，以生成最终预测块(350)。

[0007] 虽然DBBP进程通过避免基于逐像素的运动补偿而降低了计算复杂度，但在块分割和块分段的步骤中仍存在问题。一个问题有关于在块分割候选集合中选择块分割。如图2所示，当前块分割进程需要在6个块分割候选中选择块分割，并为每个块分割候选选择两个互补的分段掩膜。需要简化块分割进程。另一个问题有关于与DBBP进程有关的计算复杂度和存储器访问。对于每个待处理的2Nx2N纹理块来说，对应的深度块需被访问。当前纹理块需被访问两次，用于基于两个PMV的运动补偿。块分段进程、块分割进程和双分段补偿均涉及密集计算。当块尺寸变小时，图片将被分成更多块并导致更多的存储器访问。因此，需要降低与DBBP有关的复杂度和存储器访问。

发明内容

[0008] 有鉴于此，本发明提供一种简化基于深度的块分割的方法，用于多视图编解码或三维视频编解码中，该方法包括：接收与当前纹理图片中当前纹理块有关的输入数据；为该当前纹理块确定深度图片中对应的深度块；从该对应的深度块产生当前分段掩膜；从包括至少一分割候选部分集合的一个或多个分割候选集合中确定所选分割候选集合，其中该至少一分割候选部分集合包括的分割候选少于分割候选全集合中包括的分割候选；基于该对应的深度块，从该所选分割候选集合中的分割候选选择当前块分割；以及根据产生的该当前分段掩膜和选择的该当前块分割，将基于深度的块分割编解码应用于该当前纹理块。

[0009] 本发明另提供一种简化基于深度的块分割方法，用于多视图编解码或三维视频编解码中，该方法包括：接收与当前纹理图片中当前纹理块有关的输入数据；确定当前块尺寸是否属于允许块尺寸集合；若该当前块尺寸属于该允许块尺寸集合，则为该当前纹理块确定深度图片中对应的深度块；从该对应的深度块产生当前分段掩膜；从分割候选集合选择当前块分割；以及根据生成的该当前分段掩膜和选择的该当前块分割对该当前纹理块应用基于深度的块分割编解码。

[0010] 通过利用本发明，可降低复杂度以及/或者存储器访问。

[0011] 如下详述本发明的最佳实施例。阅读完以下描述和附图后，熟习此项技艺者可轻易理解本发明的精神。

附图说明

[0012] 图1A是为依赖视图中的当前纹理块在参考视图中获取对应的深度块的获取进程的示范性示意图。

[0013] 图1B是基于当前视图中当前纹理块的在参考视图中对应的深度块生成分段掩膜的推导进程的示范性示意图。

[0014] 图2是块分割选择的块分割类型与分段掩膜/翻转分段掩膜的12个可能组合的示范性示意图。

[0015] 图3是3D或多视图编码中采用DBBP进程的示范性示意图。

[0016] 图4是采用由2NxN和Nx2N分割候选组成的部分分割候选的简化DBBP进程的示范性示意图。

[0017] 图5是一示范性系统采用本发明的一实施例来简化DBBP的流程图，其中采用分割候选集合只包括部分分割候选。

[0018] 图6是一示范性系统采用本发明一实施例来简化DBBP的流程图，其中仅当当前块尺寸属于允许块尺寸集合时，才将DBBP编解码应用于当前纹理块。

具体实施方式

[0019] 在本专利说明书及权利要求当中使用了某些词汇来指称特定的组件。所属领域中具有通常知识者应可理解，硬件制造商可能会用不同的名词来称呼同一个组件。本专利说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及请求项当中所提及的“包含”或“包括”为开放式的用语，故应解释成“包含但不限定于”。另外，“耦接”一词在此包含任何直接及间接的电气连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电气连接于该第二装置，或透过其他装置或连接手段间接地电气连接至该第二装置。

[0020] 以下将描述本发明的较佳实施例，但只是用于说明的目的，并无意图限制本发明。本发明的保护范围当视之前的权利要求书所界定为准。

[0021] 为了克服与现存DBBP进程有关的计算复杂度问题，本发明提供几个实施例来降低复杂度以及/或者存储器访问。

[0022] 在一实施例中，DBBP进程采用全部分割候选的部分集合。换句话说，所选集合中候选的数目可小于全集合(full set)中候选的数目。所选块分割候选集合可在比特流的视频参数集合(Video Parameter Set，VPS)、序列参数集合(Sequence Parameter Set，SPS)、图片参数集合(Picture Parameter Set，PPS)、片头(slice header)、编码树单元(Coding Tree Unit，CTU)、编码树块(Coding Tree Block，CTB)、编码单元(Coding Unit，CU)、预测单元(Prediction Unit，PU)或变换单元(Transform Unit，TU)级别中明确指示。所选块分割候选集合可从多个预先指定(pre-specified)或预先定义(pre-defined)集合中选择。在此情况下，可发送指示来确定从多个集合中选择出哪个集合。举例来说，索引可与每个集合相关，且索引可被明确发送或隐含推导。或者，可采用多种方式来表示部分候选。举例来说，指示图(significant map)可用于确定集合所选的特定候选。在此情况下，可采用包括6比特(bit)的完整分割图(partition map)，其中每个比特对应一个候选。若候选属于所选集合，对应的比特的值可为1。否则，对应的比特的值为0。尽管指示图作为部分候选表示的示范例予以说明，如指示表(siginficant table)或指示标志(flag)集合的其他方式也可被采用。

[0023] 所选块分割候选集合也可被隐含推导。若编码器和解码器采用相同的推导进程，一候选集合可从对应于全部分割候选中预先指定子集合的多个集合中选出，且不需要发送信号。若只有一个候选集合，且该候选集合在解码器预先定义，不需要发送选择。举例来说，如图4所示，分割候选可对应于所有AMP分割候选从全部候选中排除的一集合。若该集合是所选的唯一候选集合，不需要发送指示所选候选集合的信号。在此情况下，子采样级别平均值计算和逐像素CU分段掩膜推导之后，分割选择只需估计(即计算匹配样本)对应于2NxN和Nx2N分割的分割候选。

[0024] 所选分割候选集合也可基于当前块的尺寸。举例来说，若当前块尺寸属于允许块尺寸(allowed block size)集合，所选分割候选集合可排除2NxnU、2NxnD、nLx2N以及nRx2N分割候选中的任何分割候选。允许块尺寸集合可采用比特流的VPS、SPS、PPS、片头、CTU、CTB、CU、PU或TU级别中的指示图、指示表或指示标志发送。允许块尺寸集合可为预先定义的，且不需要明确发送指示块尺寸集合的信号。

[0025] 根据本发明的另一实施例，DBBP进程将基于当前块尺寸(即CU尺寸)应用于当前块。换句话说，只有块尺寸属于允许块尺寸集合时，才应用DBBP进程。块尺寸限制的信息可在比特流的VPS、SPS、PPS、片头、CTU、CTB、CU、PU或TU级别中明确发送。或者，有关块尺寸限制的信息可在解码器端隐含确定，而不需要任何发送信息。允许块尺寸可为包括一个或多个预先定义CU尺寸的预先指定或预先定义子集合。举例来说，允许块尺寸集合可对应于NxN块，其中N大于正整数M。M的取值可在比特流中明确发送，或不需要发送信号隐含推导。举例来说，对于每个视频序列来说，允许块尺寸可为任何大于8x8的尺寸，以采用DBBP模式。编码器和解码器也可采用相同进程来基于相邻块选择允许块尺寸集合，以避免明确发送信号的必要。允许块尺寸集合可采用指示图、指示表或指示标志表示。

[0026] 图5是一示范性系统采用本发明的一实施例来简化DBBP的流程图，其中至少一分割候选集合只包括部分分割候选。在步骤510中，系统接收与当前纹理图片中的当前纹理块有关的输入数据。对于编码来说，输入数据对应于需被编码的像素数据。对于解码来说，输入数据对应于需被解码的已编码像素数据。输入数据可从存储器(如计算机内存、缓存(如RAM或DRAM)或其他媒介)或处理器中获取。在步骤520中，为当前纹理块确定深度图片中对应的深度块。在步骤530中，从对应的深度块中产生当前分段掩膜。在步骤540中，从包括至少一分割候选部分集合的一个或多个分割候选集合中确定所选分割候选集合，其中至少一分割候选部分集合包括的分割候选比分割候选全集合中包括的分割候选少。在步骤550中，基于对应的深度块，从所选集合中的分割候选选择当前块分割。在步骤560中，根据产生的当前分段掩膜和选择的当前块分割，将DBBP编解码应用于当前纹理块。

[0027] 图6是一示范性系统采用本发明一实施例来简化DBBP的流程图，其中仅当当前块尺寸属于允许块尺寸集合时，才将DBBP编解码应用于当前纹理块。在步骤610中，系统接收与当前纹理图片中当前纹理块有关的输入数据。在步骤620中，检查当前块尺寸，以确定当前块尺寸是否属于允许块尺寸集合。若当前块尺寸属于允许块尺寸集合(即“是”的那一路)，则进行从630到660的步骤。在步骤630中，为当前纹理块确定深度图片中对应的深度块。在步骤640中，从对应的深度块生成当前分段掩膜。在步骤650中，从分割候选集合中选择当前块分割。在步骤660中，根据生成的当前分段掩膜和选择的当前块分割，将DBBP编解码应用于当前纹理块。若当前块尺寸不属于允许块尺寸集合(即“否”的那一路)，从630到660的步骤被跳过。

[0028] 上述流程图意图说明根据本发明简化DBBP的示范例，本领域技术人员可在不脱离本发明的精神的前提下，修改每个步骤，重新安排上述步骤，拆分某步骤，或组合某些步骤，以实现本发明。

[0029] 上面的描述可允许本领域技术人员根据特定应用及其需要的内容实施本发明。所述实施例的各种修改对于本领域技术人员来说是显而易见的，并且可将上述定义的基本原则应用于其他实施例。因此，本发明不局限于所述的特定实施例，而是符合与揭露的原则及新颖特征相一致的最宽范围。在上述细节描述中，为了提供对本发明的彻底理解，描述了各种特定细节。此外，本领域技术人员可以理解本发明是可实施的。

[0030] 上述的本发明实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本发明实施例可为集成到视频压缩芯片的电路或集成到视频压缩软件以执行上述过程的程序代码。本发明的实施例也可为在数字信号处理器(Digital Signal Processor,DSP)中执行的执行上述处理的程序代码。本发明也可涉及计算机处理器、DSP、微处理器或现场可程序设计门阵列(Field Programmable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式，也可为了不同的目标平台编解软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。

[0031] 虽然本发明已就较佳实施例及其优势揭露如上，本发明所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作各种的变更和润饰。本发明的保护范围当视之前的权利要求书所界定为准。