帧间预测方法及其装置转让专利

申请号 : CN201710252460.7

文献号 : CN107197301B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 全勇俊朴胜煜林宰显金哲瑾金廷宣朴奈利亨得利·亨得利全柄文朴俊永

申请人 : LG电子株式会社

摘要 :

本发明涉及一种帧间预测方法及其装置。一种帧间预测方法,其包括步骤:产生用于要预测的块的合并候选列表,其中该块对应于当前的预测单元;基于构成合并候选列表的多个合并候选的一个,推导有关要预测的块的运动信息;和基于推导的运动信息,对要预测的块执行预测,以便产生对应于当前的预测单元的预测块。

权利要求 :

1.一种视频解码装置,包括:

熵解码器,所述熵解码器被配置成接收关于指示并行处理单元的大小的并行合并水平的信息;

预测器,所述预测器被配置成,当合并模式被应用于当前块时,生成用于当前块的合并候选列表,基于组成所述合并候选列表的多个合并候选中的一个推导所述当前块的运动信息,并且基于所述被推导的运动信息推导用于当前块的预测块;以及添加器,所述添加器被配置成基于所述预测块生成重建的图片,

其中,所述当前块与属于所述并行处理单元的预测单元PU相关,

其中,从编译单元CU分割所述PU,

其中,在所述CU和所述并行处理单元中的PU共享相同的合并候选列表。

2.根据权利要求1所述的装置,其中,所述预测器产生由多个第一合并候选构成的第一合并候选列表和由多个第二合并候选构成的第二合并候选列表作为用于当前块的所述合并候选列表,其中,所述预测器通过所述并行处理单元确定是否产生所述第一合并候选列表或者是否产生所述第二合并候选列表,并且当确定产生所述第二合并候选列表时,在所述CU和所述并行处理单元中的PU共享所述第二合并候选列表。

3.根据权利要求2所述的装置,其中,所述并行处理单元具有与所述PU属于的所述CU相同的大小,并且其中,基于所述CU的位置和大小确定所述多个第二合并候选。

4.根据权利要求3所述的装置,其中,所述多个第一合并候选包括在位置上最靠近于所述当前块外面的左下角的块、相邻于所述当前块的左侧的块当中的位于最下面部分的块、在位置上最靠近于所述当前块外面的左上角的块、相邻于所述当前块的上侧的块当中的位于最右侧的块、以及在位置上最靠近于所述当前块的右上角的块,并且其中,所述第二合并候选包括在位置上最靠近于所述当前块外面的左下角的块、相邻于所述当前块的左侧的块当中的位于最下面部分的块、在位置上最靠近于所述当前块外面的左上角的块、相邻于所述当前块的上部分的块当中的位于最右侧的块、以及在位置上最靠近于所述当前块的右上角的块。

5.根据权利要求4所述的装置,其中,如果确定所述第一合并候选列表被产生,则在多个第一块当中的位于所述CU中的块的运动信息不被用作所述第一合并候选。

6.根据权利要求5所述的装置,其中,如果确定所述第一合并候选列表被产生,则所述PU的分割模式是2NxN、2NxnU、或者2NxnD,并且所述PU位于所述CU中的下部分中,相邻于所述当前块的上部分的块当中的位于最右侧中的块的运动信息不被用作所述第一合并候选。

7.根据权利要求5所述的装置,其中,如果确定所述第一合并候选列表被产生,则所述PU的分割模式是Nx2N、nLx2N、或者nRx2N,并且所述PU位于所述CU中的右侧中,位于相邻于所述当前块的左侧的块当中的位于最下面部分中的块的运动信息不被用作所述第一合并候选。

8.根据权利要求3所述的装置,其中,所述预测器为所述并行处理单元中的所有的PU并行地执行所述合并候选列表的产生和所述运动信息的推导。

9.根据权利要求2所述的装置,其中,所述预测器基于所述CU的大小和所述并行合并水平确定是否所述第一合并候选列表被产生或者所述第二合并候选列表被产生。

说明书 :

帧间预测方法及其装置

[0001] 本申请是2014年5月7日提交的国际申请日为2012年9月7日、申请号为201280054717.3(PCT/KR2012/007224)的,发明名称为“帧间预测方法及其装置”专利申请的分案申请。

技术领域

[0002] 本发明涉及图像处理,尤其是,涉及帧间预测方法和装置。

背景技术

[0003] 近来,在各种领域中存在对于具有高分辨率和高质量图像,诸如高清(HD)视频和超高清(UHD)视频的增长需求。与现有的图像数据相比,高分辨率和高质量图像数据需要相对巨大的信息量或者比特量。因此,当通过使用介质诸如现有的有线/无线宽带线路发送图像数据的时候,或者当图像数据通过使用现有的存储介质存储的时候,传输费用和存储费用升高。为了解决这些问题,可以使用高效的图像压缩技术。
[0004] 作为视频压缩技术,存在各种技术,诸如帧间预测方法,其从当前图片的先前的和/或后续的图片中预测包括在当前图片中的像素值,帧内预测方法,其通过使用在当前图片中的像素信息预测包括在当前图片中的像素值,熵编码技术,其分配短的代码字给具有高出现频率的值,和分配长的代码字给具有低出现频率的值等。这样的图像压缩技术可用于通过有效地压缩图像数据发送或者存储图像数据。

发明内容

[0005] 技术问题
[0006] 本发明提供用于能够降低复杂性和改善编码/解码效率的视频编码的方法和装置。
[0007] 本发明还提供能够降低复杂性和改善编码/解码效率的视频解码方法和装置。
[0008] 本发明还提供一种能够降低复杂性和改善编码/解码效率的帧间预测方法和装置。
[0009] 本发明还提供能够降低复杂性和改善编码/解码效率的合并候选列表产生方法和装置。
[0010] 技术解决方案
[0011] 按照本发明的一个方面,提供了一种帧间预测方法,包括:产生要预测的块的合并候选列表,并且该块对应于当前的预测单元(PU);基于构成合并候选列表的多个合并候选中的一个,推导要预测的块的运动信息;以及基于推导的运动信息对要预测的块执行预测,以产生对应于当前PU的预测块,其中当前PU是属于合并候选共享单元的PU,以及其中在合并候选列表的产生中,有选择地产生由多个第一合并候选构成的第一合并候选列表,和由多个第二合并候选构成的第二合并候选列表中的一个,多个第一合并候选是基于要预测的块的位置和大小确定的多个第一块的运动信息,并且多个第二合并候选是基于与合并候选共享单元相对应的块的位置和大小确定的多个第二块的运动信息。
[0012] 在本发明的前面提到的方面中,在合并候选列表的产生中,是否产生第一合并候选列表,或者是否产生第二合并候选列表可以是由合并候选共享单元确定的,并且如果其确定产生第二合并候选列表,则在合并候选共享单元中的所有PU可以共享第二合并候选列表。
[0013] 此外,合并候选共享单元可以是当前PU所属的当前编译单元(CU),和多个第二合并候选可以是基于要解码的块的位置和大小确定的多个第二块的运动信息,并且该块对应于当前CU。
[0014] 此外,多个第一块可以包括在要预测的块外部位置上最靠近于左下角的块,在相邻于要预测的块的左侧的块之中位于最下面部分的块,在要预测的块外部位置上最靠近于左上角的块,在相邻于要预测的块的上面部分的块之中位于最右侧的块,和位置上最靠近于要预测的块的右上角的块,和多个第二块可以包括在要解码的块外部位置上最靠近于左下角的块,在相邻于要解码的块的左侧的块之中位于最下面部分的块,在要解码的块外部位置上最靠近于左上角的块,在相邻于要解码的块的上面部分的块之中位于最右侧的块,和位置上最靠近于要解码的块的右上角的块。
[0015] 此外,在合并候选列表的产生中,如果确定产生第一合并候选列表,则在多个第一块之中位于要解码的块中的块的运动信息可以不用作第一合并候选。
[0016] 此外,在合并候选列表的产生中,如果确定产生第一合并候选列表,则当前PU的分割模式是2N×N、2N×nU或者2N×nD,并且当前PU是位于当前编译单元内的下面部分的PU,因而,在相邻于要预测的块的上面部分的块之中位于最右侧的块的运动信息可以不用作第一合并候选。
[0017] 此外,在合并候选列表的产生中,如果确定产生第一合并候选列表,则当前PU的分割模式是N×2N、nL×2N或者nR×2N,并且当前PU是位于当前编译单元内的右侧的PU,因而,在相邻于要预测的块的左侧的块之中位于最下面部分的块的运动信息可以不用作第一合并候选。
[0018] 此外,在当前PU所属的并行处理单元中对于所有PU可以并行执行合并候选列表的产生和运动信息的推导,并行处理单元可以基于指示并行处理单元大小的并行处理水平确定,并且有关并行处理水平的信息可以包括在图片参数集(PPS)中,以及被从编码器发送给解码器。
[0019] 此外,在合并候选列表的产生中,是产生第一合并候选列表,还是产生第二合并候选列表可以基于要解码的块的大小和并行处理水平确定。
[0020] 此外,在合并候选列表的产生中,如果要解码的块的大小是8×8,并且并行处理单元的大小是4×4,则可以产生第二合并候选列表。
[0021] 按照本发明的另一个方面,提供了一种视频解码方法,包括:产生要预测的块的合并候选列表,并且该块对应于当前PU;基于构成合并候选列表的多个合并候选的一个,推导要预测的块的运动信息;基于推导的运动信息对要预测的块执行预测,以产生与当前PU相对应的预测块;以及基于产生的PU产生重建的块,其中当前PU是属于合并候选共享单元的PU,和其中在合并候选列表的产生中,有选择地产生由多个第一合并候选构成的第一合并候选列表,和由多个第二合并候选构成的第二合并候选列表中的一个,多个第一合并候选是基于要预测的块的位置和大小确定的多个第一块的运动信息,并且多个第二合并候选是基于与合并候选共享单元相对应的块的位置和大小确定的多个第二块的运动信息。
[0022] 在本发明的前面提到的方面中,在合并候选列表的产生中,是否产生第一合并候选列表,或者是否产生第二合并候选列表可以是由合并候选共享单元确定的,并且如果确定产生第二合并候选列表,则在合并候选共享单元中的所有PU可以共享第二合并候选列表。
[0023] 此外,合并候选共享单元可以是当前PU所属的当前CU,和多个第二合并候选可以是基于要解码的块的位置和大小确定的多个第二块的运动信息,并且该块对应于当前CU。
[0024] 此外,多个第一块可以包括在要预测的块外部位置上最靠近于左下角的块,在相邻于要预测的块的左侧的块之中位于最下面部分的块,在要预测的块外部位置上最靠近于左上角的块,在相邻于要预测的块的上面部分块之中位于最右侧的块,和位置上最靠近于要预测的块的右上角的块,和多个第二块可以包括在要解码的块外部位置上最靠近于左下角的块,在相邻于要解码的块的左侧的块之中位于最下面部分的块,在要解码的块外部位置上最靠近于左上角的块,在相邻于要解码的块的上面部分的块之中位于最右侧的块,和位置上最靠近于要解码的块的右上角的块。
[0025] 此外,在合并候选列表的产生中,如果确定产生第一合并候选列表,则在多个第一块之中位于要解码的块中的块的运动信息可以不用作第一合并候选。
[0026] 此外,在合并候选列表的产生中,如果确定产生第一合并候选列表,则当前PU的分割模式是2N×N、2N×nU或者2N×nD,并且当前PU是位于当前编译单元内的下面部分的PU,因而,在相邻于要预测的块的上面部分的块之中位于最右侧块的运动信息可以不用作第一合并候选。
[0027] 此外,在合并候选列表的产生中,如果确定产生第一合并候选列表,则当前PU的分割模式是N×2N、nL×2N或者nR×2N,并且当前PU是位于当前编译单元内的右侧的PU,因而,在相邻于要预测的块的左侧的块之中位于最下面部分的块的运动信息可以不用作第一合并候选。
[0028] 此外,在当前PU所属的并行处理单元中对于所有PU可以并行执行合并候选列表的产生和运动信息的推导,并行处理单元可以基于指示并行处理单元的大小的并行处理水平确定,并且有关并行处理水平的信息可以包括在图片参数集(PPS)中,以及被从编码器发送给解码器。
[0029] 此外,在合并候选列表的产生中,是产生第一合并候选列表,还是产生第二合并候选列表可以基于要解码的块的大小和并行处理水平确定。
[0030] 此外,在合并候选列表的产生中,如果要解码的块的大小是8×8,并且并行处理单元的大小是4×4,则可以产生第二合并候选列表。
[0031] 有益效果
[0032] 按照本发明的视频编译方法,复杂度可以降低,并且编码/解码效率可以改善。
[0033] 按照本发明的视频解码方法,复杂度可以降低,并且编码/解码效率可以改善。
[0034] 按照本发明的帧间预测方法,复杂度可以降低,并且编码/解码效率可以改善。
[0035] 按照本发明的合并候选列表产生方法,复杂度可以降低,并且编码/解码效率可以改善。

附图说明

[0036] 图1是按照本发明的实施例的视频编码器的方框图。
[0037] 图2是示出按照本发明的实施例的预测器的概念的示意图。
[0038] 图3是按照本发明的实施例的视频解码器的方框图。
[0039] 图4是示出按照本发明的实施例的视频解码器的预测器概念的示意图。
[0040] 图5是示出在按照本发明的系统中的处理单元的四树结构的示例的概念的示意图。
[0041] 图6是简要地示出在合并模式中的帧间预测方法的实施例的流程图。
[0042] 图7是示出用于产生合并候选列表的合并候选的实施例的示意图。
[0043] 图8是示出以合并模式和跳跃模式的并行处理单元的实施例的示意图。
[0044] 图9是用于解释当以合并模式执行并行运动估算(ME)的时候出现的问题的示意图。
[0045] 图10是示出推导用于使能并行ME的合并候选方法实施例的示意图。
[0046] 图11是示出推导用于使能并行ME的合并候选方法的另一个实施例的示意图。
[0047] 图12是示出推导用于使能并行ME的合并候选方法的另一个实施例的示意图。
[0048] 图13是示出在合并候选共享单元中推导用于预测单元(PU)的通用合并候选的方法的实施例的示意图。
[0049] 图14是示出在合并候选共享单元中推导用于PU的通用合并候选的方法的另一个实施例的示意图。
[0050] 图15是示出推导运动估算区(MER)合并候选的方法的实施例的示意图。
[0051] 图16是示出推导MER合并候选的方法的另一个实施例的示意图。
[0052] 图17是示出推导MER合并候选的方法的另一个实施例的示意图。
[0053] 图18是示出推导MER合并候选的方法的另一个实施例的示意图。
[0054] 图19是示出推导MER合并候选的方法的另一个实施例的示意图。
[0055] 图20是示出推导MER合并候选的方法的另一个实施例的示意图。
[0056] 图21是示出推导MER合并候选的方法的另一个实施例的示意图。
[0057] 图22是示出推导MER合并候选的方法的另一个实施例的示意图。
[0058] 图23是示出推导MER合并候选的方法的另一个实施例的示意图。
[0059] 图24是示出推导MER合并候选的方法的另一个实施例的示意图。

具体实施方式

[0060] 由于本发明可以具有各种改进和不同的实施例,仅特定的实施例在附图中示例性地地图示,并且将进行详细描述。但是,本发明不应该被认为是局限于在此处阐述的特定的实施例。在此处使用的术语仅是为了描述特定的实施例的目的,并且不意欲限制本发明。如在此处使用的,单数形式同样意欲包括复数形式,除非上下文以其他方式清楚地指示。在本申请中,应该理解,该术语,诸如“包括”或者“具有”等意欲指示在说明书中公开的特点、数目、操作、动作、部件、部分,或者其组合的存在,并且不意欲排除一个或多个其它的特点、数目、操作、动作、部件、部分,或者其组合可以存在或者可以增加的可能性。
[0061] 同时,为了关于在视频编码器/解码器中不同的特定的功能解释的方便起见,在本发明描述的附图中独立地图示相应的结构,并且其不暗指相应的结构以单独的硬件实体或者单独的软件实体实现。例如,在相应的结构之中,两个或更多个结构可以合并成一个结构,并且一个结构可以被分成多个结构。只要不脱离本发明的精神,相应的结构被集成和/或分离的实施例也包括在本发明的范围中。
[0062] 此外,某些构成元件可能不是用于执行固有功能必需的构成元件,而是仅用于改善性能的选择性的构成元件。除了仅用于改善性能的构成元件之外,本发明可以通过仅包括用于实现本发明精神的必需的构成元件实现。除了仅用于改善性能的选择性的构成元件之外,仅仅包必需的构成元件的结构也包括在本发明的范围中。
[0063] 在下文中将参考伴随的附图详细描述本发明的实施例。此外,贯穿附图相同的附图标记用于指示相同元件,并且对相同元件的相同的描述将被省略。
[0064] 图1是按照本发明一个实施例的视频编码器的框图。参考图1,视频编码器100包括图片划分器105、预测器110、变换器115、量化器120、重新排序器125、熵编码器130、去量化器135、逆变换器140、滤波器145和存储器150。
[0065] 基于至少一个处理单元图片划分器105可以划分输入图片。在这种情况下,处理单元可以是预测单元(PU)、变换单元(TU)或者编译单元(CU)。
[0066] 如下所述,预测器110可以包括执行帧间预测的帧间预测器,和执行帧内预测的帧内预测器。预测器110可以通过对于在图片划分器105中的图片的处理单元执行预测产生预测块。在预测器100中图片的处理单元可以是CU、TU或者PU。此外,确定对于相对应的处理单元执行的预测是帧间预测还是帧内预测,并且可以确定每个预测方法的特定内容(例如,预测模式等)。在这种情况下,用于执行预测的处理单元可以与用于确定特定内容的处理单元不同。例如,预测方法、预测模式等可以以PU为单位确定,并且预测可以以TU为单位执行。在产生的预测块和初始块之间的残留值(即,残留块)可以被输入到变换器115。此外,用于预测的预测模式信息、运动矢量信息等可以在熵编码器130中与残留值一起被编译,并且可以被递送到解码器。
[0067] 基于变换单元变换器115变换残留块,并且产生变换系数。变换器115的变换单元可以是TU,并且可以具有四树结构。在这种情况下,变换单元的大小可以在特定的最大或者最小大小的范围中确定。变换器115可以通过使用离散余弦变换(DCT)和/或离散正弦变换(DST)来变换残留块。
[0068] 量化器120可以通过量化在变换器115中变换的残留值产生量化系数。可以将由量化器120计算的值提供给去量化器135和重新排序器125。
[0069] 重新排序器125可以重新排序从量化器120提供的量化系数。量化系数的重新排序可以提高在熵编码器130中的编译效率。重新排序器125可以通过使用系数扫描方法将具有2维块形式的量化系数重新排序为1维矢量形式。基于从量化器发送的系数的概率统计数值重新排序器125可以改变系数扫描的顺序,从而提高在熵编码器130中的熵编码效率。
[0070] 熵编码器130可以相对于由重新排序器125重新排序的量化系数执行熵编码。熵编码器130可以编译从重新排序器125和预测器110递送的各种信息。该信息可以包括编译单元的量化系数信息和块类型信息、预测模式信息、划分单元信息、预测单元信息和传输单元信息、运动矢量信息、参考图片信息、块的内插信息、滤波信息等。
[0071] 熵编码可以使用指数Golomb、CAVLC(上下文自适应的可变长度编码),和/或CABAC(上下文自适应的二进制算术编码)。例如,用于执行熵编码的表,诸如,可变长度编码(VLC)表可以存储在熵编码器130中。熵编码器130可以通过使用存储的VLC表执行熵编码。对于另一个示例,在CABAC熵编码方法中,熵编码器130可以将符号变换为二进制形式,即,bin,并且因此,可以按照比特产生概率通过对bin执行算术编码产生比特流。
[0072] 当应用熵编码的时候,具有高值的索引及其相应的短代码字可以分配给具有高产生概率的符号,并且具有高值的索引及其相应的长代码字可以分配给具有低产生概率的符号。因此,可以降低用于要编译的符号的比特量,并且视频压缩性能可以通过熵编码而改善。
[0073] 去量化器135可以去量化由量化器120量化的值。逆变换器140可以逆变换由去量化器135去量化的值。在去量化器135和逆变换器140中产生的残留值可以与由预测器110预测的预测块结合,并且因此,可以产生重建的块。
[0074] 滤波器145可以将内环滤波器应用于重建的块和/或图片。内环滤波器可以包括去块滤波、采样自适应的偏移(SAO),和/或自适应循环滤波器(ALF)等。
[0075] 去块滤波可以在重建的图片中除去在块之间的边界处出现的块失真。SAO可以将适当的偏移值增加给像素值以补偿编译错误。ALF可以基于用于将原始图像与在经由去块滤波器滤波块之后重建的图像进行比较的值执行滤波。
[0076] 同时,关于在帧内预测中使用的重建的块,滤波器145可以不必应用滤波。
[0077] 存储器150可以存储通过使用滤波器145计算的重建的块或者图片。可以将存储在存储器150中的重建的块或者图片提供给用于执行帧间预测的预测器110。
[0078] 图2是示出按照本发明一个实施例的预测器的概念的示意图。参考图2,预测器200可以包括帧间预测器210和帧内预测器220。
[0079] 帧间预测器210可以基于当前图片的先前的图片或者后续图片的信息通过执行预测产生预测块。此外,帧内预测器220可以基于在当前图片中的像素信息通过执行预测产生预测块。
[0080] 关于预测单元(PU),帧间预测器210可以选择参考图片,并且可以选择具有与PU相同大小的参考块作为像素采样单元。随后,帧间预测器210可以产生预测块,该预测块是小于整数单位的采样单位(例如,1/2像素采样单位和1/4像素采样单位),并且因此,是最类似于当前的PU,并且其残留信号可以被减到最小,而且要编译的运动矢量也可以被减到最小。在这种情况下,运动矢量可以以小于整数像素的单位表示。
[0081] 由帧间预测器210选择的参考图片的索引和有关运动矢量的信息可以被编码,并且传送给解码器。
[0082] 图3是按照本发明一个实施例的视频解码器的方框图。参考图3,视频解码器300可以包括熵解码器310、重新排序器315、去量化器320、逆变换器325、预测器330、滤波器335和存储器340。
[0083] 当视频比特流被输入到视频解码器的时候,输入的比特流可以按照在视频编码器中处理视频信息的操作被解码。
[0084] 熵解码器310可以对输入的比特流执行熵解码。熵解码方法类似于前面提到的熵编码方法。当应用熵解码的时候,具有高值的索引及其相应的短代码字可以分配给具有高产生概率的符号,并且具有高值的索引及其相应的长代码字可以分配给具有低产生概率的符号。因此,用于要编译的符号的比特量可以降低,并且视频压缩性能可以通过熵编码而改善。
[0085] 在由熵解码器310解码的多条信息之中,用于产生预测块的信息可以提供给预测器330,并且可以将在熵解码器中经历熵解码的残留值输入给重新排序器315。
[0086] 重新排序器315可以按照在视频编码器中使用的重新排序方法重新排序在熵解码器310中经历熵解码的比特流。重新排序器315可以通过将以1维矢量格式表示的系数重建为2维块形式的系数执行重新排序。重新排序器315可以接收与在编码器中执行的系数扫描相关的信息,并且可以基于在编码器中执行的扫描顺序,通过使用反扫描方法执行重新排序。
[0087] 去量化器320基于从编码器提供的量化参数和重新排序的块的系数值执行去量化。
[0088] 按照由视频编码器执行的量化结果,逆变换器325可以相对于由编码器的变换器执行的DCT和DST执行逆DCT和/或逆DST。逆变换可以基于确定的传输单元或者图像划分单元执行。编码器的变换器可以按照多条信息,诸如预测方法、当前块大小,和/或预测方向等有选择地执行DCT和/或DST。解码器的逆变换器325可以基于有关在编码器的变换器中执行的变换的信息执行逆变换。
[0089] 预测器330可以基于从熵解码器310提供的预测块产生相关信息,和预先地解码的块和/或从存储器340提供的图片信息产生预测块。重建的块可以通过使用从预测器330产生的预测模块和从逆变换器325提供的残留块产生。
[0090] 可以将重建的块和/或图片可以提供给滤波器335。滤波器335可以将内环滤波器应用到重建的块和/或图片。内环滤波器可以包括去块滤波器、采样自适应的偏移(SAO),和/或自适应循环滤波器(ALF)等。
[0091] 存储器340可以存储重建的图片或者块,以便用作参考图片或者参考块,或者可以将重建的图片提供给输出元件。
[0092] 图4是示出按照本发明的一个实施例的视频解码器的预测器概念的示意图。
[0093] 参考图4,预测器400可以包括帧内预测器410和帧间预测器420。
[0094] 当用于相应的PU的预测模式是帧内预测模式(即,在屏幕中的预测模式)的时候,帧内预测器410可以基于在当前图片中的像素信息产生预测块。
[0095] 如果用于PU的预测模式是帧间预测模式(即,屏幕间预测模式),则帧间预测器420可以使用用于从视频编码器提供的当前PU的帧间预测需要的信息,例如,关于运动矢量、参考图片索引等的信息,以基于包括在当前图片(当前PU包括在其中)的先前的和后续的图片的至少一个中的信息对当前PU执行帧间预测。
[0096] 在这种情况下,如果从编码器接收的编译单元(CU)的跳跃标记、合并标记等被确认,则可以根据其推导运动信息。
[0097] 在下文中,如果“图像”或者“屏幕”可以按照本发明的配置或者表示用于与“图片”相同的含义,该“图片”也可以称为“图像”或者“屏幕”。此外,帧间预测和屏幕间预测具有相同的含义,并且帧内预测和屏幕内预测具有相同的含义。
[0098] 图5是示出在按照本发明的系统中的处理单元的四树结构的示例的概念的示意图。
[0099] 编译单元(CU)可以暗指执行图片的编码/解码的单元。在要编译的图片中的一个编译块可以基于四树结构具有深度,并且可以被重复地分割。在这种情况下,不再分割的编译块可以对应于CU,并且编码器可以对于CU执行编码处理。CU的大小可以是各种,诸如64×64、32×32、16×16、8×8等。
[0100] 在此处,基于四树结构被重复地分割的编码块可以称作编译树块(CTB)。一个CTB可以不必进一步分割,并且在这种情况下,CTB本身可以对应于一个CU。因此,CTB可以对应于最大的编译单元(LCU),其是具有最大大小的CU。同时,在CTB中具有最小大小的CU可以被称作最小的编译单元(SCU)。
[0101] 参考图5,经由分割,CTB 500可以具有由较小CU 510组成的分层结构。CTB 500的分层结构可以基于大小信息、深度信息、分割标记信息等指定。关于CTB大小的信息、分割深度信息、分割标记信息等可以通过包括在有关比特流的序列参数集(SPS)中从编码器发送给解码器。
[0102] 同时,将在帧间预测和帧内预测之间执行的预测可以以CU为单位确定。如果执行帧间预测,帧间预测模式、运动信息等可以以PU为单位确定,并且如果执行帧内预测,则帧内预测模式可以以PU为单位确定。在这种情况下,如上所述,通过其执行预测的处理单元可以与通过其确定预测方法的处理单元相同,以及确定其特定内容,或者两个单元可以是不同的。例如,预测方法、预测模式等可以以PU为单位确定,并且预测可以以变换单元(TU)为单位执行。
[0103] 参考图5,一个CU 510可以用作一个PU,或者可以被分割为多个PU。在帧内预测520的情况下,CU(和/或PU)的分割模式可以是2N×2N或者N×N模式(这里N是整数)。在此处,以2N×2N模式的PU可以具有2N×2N的大小,并且以N×N模式的PU可以具有N×N的大小。在帧间预测530的情况下,CU(和/或PU)的分割模式可以是2N×2N、2N×N、N×2N、N×N、2N×nU、
2N×nD、nL×2N或者nR×2N模式(这里N是整数)。在此处,以2N×N模式的PU可以具有2N×N的大小,并且以N×2N模式的PU可以具有N×2N的大小。此外,在2N×nU模式中,一个CU可以被分割为具有2N×(1/2)N大小的PU,和具有2N×(3/2)N大小的PU。在这种情况下,具有2N×(1/2)N大小的PU可以位于具有2N×(3/2)N大小的PU的上面部分中。在2N×nD模式中,一个CU可以被分割为具有2N×(3/2)N大小的PU,和具有2N×(1/2)N大小的PU。在这种情况下,具有2N×(1/2)N大小的PU可以位于具有2N×(3/2)N大小的PU的下面部分中。此外,在nL×2N模式中,一个CU可以被分割为具有(1/2)N×2N大小的PU,和具有(3/2)N×2N大小的PU。在这种情况下,具有(1/2)N×2N大小的PU可以位于具有(3/2)N×2N大小的PU的左侧。在nR×2N模式中,一个CU可以被分割为具有(3/2)N×2N大小的PU,和具有(1/2)N×2N大小的PU。在这种情况下,具有(1/2)N×2N大小的PU可以位于具有(3/2)N×2N大小的PU的右侧。
[0104] 前面提到的分割模式仅是一个实施例,并且因此,将CU分割为PU的方法不局限于前面提到的实施例。例如,在帧间预测530的情况下,CU(和/或PU)的分割模式可以仅使用四种类型的模式,即,2N×2N、2N×N、N×2N和N×N,并且除了前面提到的8种类型的分割模式之外,可以进一步使用其它分割模式。
[0105] 应用于当前CU(和/或PU)的分割模式可以由编码器确定。关于由编码器确定的分割模式的信息可以被编译和发送给解码器。解码器可以基于发送的分割模式信息确定当前CU(和/或PU)。例如,分割模式信息可以通过使用分割_模式(part_mode)语法发送给解码器。
[0106] 同时,分配给在图5的520和530中示出的每个PU的数字表示PU的分割索引。在此处,分割索引可以暗指指示在当前CU所属的PU之中当前PU对应哪个PU的索引。例如,分割索引可以由partIdx表示。
[0107] 参考图5,例如,在图5的520示出的N×N分割模式中,在CU中位于右上部的PU的分割索引可以对应于1。因此,如果1被分配给当前PU的分割索引,分割索引的值可以指示当前PU是在当前CU中位于右上部的PU。对于另一个示例,在图5的530示出的2N×nU分割模式中,在CU中位于左侧的PU的分割索引可以对应于0。因此,如果0被分配给当前PU的分割索引,则分割索引的值可以指示当前PU是在当前CU中位于左侧的PU。
[0108] 在图5示出的每个分割模式中分配分割索引的方法仅是用于一个实施例,并且因此,确定是否去分配分割索引和分配分割索引的方法可以不同于前面提到的实施例。例如,在图5的530示出的2N×nU分割模式中,在CU中位于左侧的PU的分割索引可以对应于1。对于另一个示例,在2N×2N分割模式中,由于CU没有分割为多个PU,分割索引可以不必分配给PU。在下文中,为了解释方便起见,在如下所述本发明的实施例中假设当执行编码和解码的时候,应用在图5中示出的分割模式和分割索引。
[0109] 在下文中,在本发明中,当前块是目前对其执行编码、解码和/或预测处理的块,并且可以暗指当执行编码、解码和/或预测处理的时候对应于处理单元的块。例如,如果对当前块执行预测处理,则当前块可以对应于要预测的块,该要预测的块对应于当前PU。此外,在本发明中,通过预测产生的块被称作预测块。
[0110] “单元”暗指当执行编码、解码等的时候的处理单元,并且因此,可以不同于指示一组像素和/或采样的“块”。但是,为了解释方便起见,在本发明中“单元”可以选择性地涉及对应于“单元”的“块”。例如,在下文中,在本发明中,对应于一个PU的要预测的块可以称为PU,并且要编码/解码并且对应于一个CU的块可以称为CU。这样的区别将由本领域技术人员清楚地理解。
[0111] 同时,如果对当前块执行帧间预测,则基于该预测诸如高级运动矢量预测(AMVP)、合并模式,和/或跳跃模式的预测模式可用于降低传输信息量。
[0112] 在合并模式中的当前块可以合并为在当前图片和/或参考图片中的另一个块(例如,相邻块,在此处该相邻块包括相邻于当前块的块,和/或位置上最靠近于当前块的转角的块)。在这种情况下,所述的是当运动信息是在当前块的帧间预测中从在当前图片和/或参考图片中的另一个块的运动信息中获得的时候,该块被合并。
[0113] 当前块的合并相关的信息的示例可以包括指示用于当前块的预测模式是否是合并模式的信息,指示在包括在合并候选列表的合并候选之中当前块被合并到其的合并候选的信息等。在下文中,指示用于当前块的预测模式是否是合并模式的信息被称作合并标记,并且指示在包括在合并候选列表中的合并候选之中当前块被合并到其的合并候选的信息被称作合并索引。例如,该合并标记可以由合并_标记(merge_flag)指示,并且合并索引可以由merge_idx指示。在这种情况下,只有该合并标记指示用于当前块的预测模式是合并模式(例如,merge_flag=1)时,可以获得该合并索引。
[0114] 跳跃模式是在其中残留信号(其是在预测块和当前块之间的差值)的传输被跳跃的预测模式。在跳跃模式中,该预测块和当前块的残留信号的值可以是0。因此,在跳跃模式中,编码器可以不必将残留信号发送给解码器,并且该解码器可以通过仅使用在残留信号和运动信息之间的运动信息产生预测块。在跳跃模式中,编码器可以将运动信息发送给解码器。在这种情况下,运动信息可以指定在当前块的相邻块之中的任何一个块,使得该块的运动信息用于当前块。
[0115] 在前面提到的跳跃模式中,为了获得当前块的运动信息,可以使用在合并模式中使用的相同的方法。在这种情况下,在跳跃模式和合并模式中,相同的相邻块可以用作供推导运动信息的候选块。例如,在跳跃模式中,在包括在合并候选列表中的合并候选之中由合并索引指示的合并候选块的运动信息可以直接作为当前块的运动信息使用。在这种情况下,跳跃模式也可以被称作合并跳跃模式。在下文中,跳跃模式在本发明中暗指前面提到的合并跳跃模式。在合并模式中的帧间预测方法的特定的实施例将在下面参考图6描述。
[0116] 图6是简要地示出在合并模式中的帧间预测方法的实施例的流程图。图6的实施例可以应用于编码器和解码器。在下文中,为了解释方便起见,图6的实施例集中于解码器。
[0117] 参考图6,解码器可以产生由多个合并候选构成的合并候选列表(步骤S610)。解码器可以通过使用特定的过程推导多个合并候选,并且可以基于推导的合并候选产生合并候选列表。在这种情况下,在当前图片中包括在块中,和/或在除当前图片以外的参考图片的col块中的运动信息可以用作合并候选,和/或可用于推导合并候选。在下文中,为了解释方便起见,在本发明中用作合并候选的运动信息被称作“合并候选块”。用于产生合并候选列表的合并候选的实施例将在下面描述。
[0118] 回到参考图6,解码器可以基于产生的合并候选列表推导当前块的运动信息(步骤S620)。
[0119] 更具体地说,解码器可以选择在构成合并候选列表的合并候选之中用于推导当前块的运动信息的合并候选。在一个实施例中,解码器可以选择由从编码器发送的合并索引指示的合并候选作为用于推导当前块的运动信息的合并候选。在这种情况下,解码器可以基于选择的合并候选推导当前块的运动信息。例如,解码器可以将选择的合并候选的运动信息直接作为当前块的运动信息使用。
[0120] 当推导当前块的运动信息的时候,编码器可以基于推导的运动信息产生用于当前块的预测块(步骤S630)。
[0121] 图7是示出用于产生合并候选列表的合并候选的实施例的示意图。
[0122] 当如上所述应用合并模式的时候,当前块的运动信息可以基于在包括在合并候选列表中的合并候选之中的任何一条运动信息推导。例如,在包括在合并候选列表的合并候选之中,任何一条运动信息单元可以用作当前块的运动信息。在这种情况下,残留信号可以与运动信息一起发送,并且如果预测块的像素值被直接作为当前块的像素值使用,则残留信号可以不必发送。
[0123] 用于产生合并候选列表的合并候选的实施例在图7的710中示出。参考图7的710,当前块的左侧相邻块A和/或当前块的上面相邻块B可以用作合并候选块。在这种情况下,如所图示的,当前块的左侧相邻块可以是在相邻于当前块的左侧的块之中位于最上面部分的块,并且当前块的上面相邻块可以是在相邻于当前块的上部的块之中位于最左侧的块。此外,左下角块C和/或右上角块D可以用作合并候选块。前面提到的左侧相邻块A、上面相邻块B、左下角块C,和右上角块D可以对应于位于当前图片中的当前块的相邻块。因此,从合并候选块中推导的合并候选可以称作空间合并候选。此外,以另一个视角,由于空间合并候选可用于预测当前块的运动矢量,其也可以被称作空间运动矢量预测器(SMVP)。
[0124] 此外,col块COL可以在图7的710中作为合并候选块使用。col块可以对应于在除当前图片以外的参考图片中的块。更具体地说,编码器和解码器可以在参考图片中的特定的位置,和/或由特定过程确定的位置处选择块作为col块。在此处,col块的位置可以基于在当前块中的块,和/或与当前块共处一地的参考图片(在下文中,为了解释方便起见,称作“共处一地的块”)推导。前面提到的col块是从参考图片推导的块。因此,从col块推导的合并候选可以被称作时间合并候选。此外,从另一个视角,由于时间合并候选可用于预测当前块的运动矢量,其可以被称作时间运动矢量预测器(TMVP)。
[0125] 用于产生合并候选列表的合并候选的另一个实施例在图7的720中示出。参考图7的720,合并候选列表可以包括作为合并候选的左下角块A0、右上角块B0,和/或左上角块B2的运动信息。此外,该合并候选列表可以包括作为合并候选的当前块的左相邻块A1,和/或当前块的上相邻块B1的运动信息。在这种情况下,左相邻块A1可以是在相邻于当前块的左侧块之中位于最下面部分的块,并且上相邻块B1可以是在相邻于当前块的上部块之中位于最右侧块。前面提到的左下角块A0、左相邻块A1、右上角块B0、上相邻块B1,和左上角块B2可以对应于位于当前图片中的当前块的相邻块。因此,从合并候选块中推导的合并候选可以称作空间合并候选。此外,以另一个视角,由于空间合并候选可用于预测当前块的运动矢量,其也可以被称作空间运动矢量预测器(SMVP)。
[0126] 此外,在图7的720中,类似于图7的710,col块的运动信息可以用作包括在合并候选列表中的合并候选。如上所述,col块可以对应于在除当前图片以外的参考图片中的块。在此处,col块的位置可以基于当前块和/或共处一地的块推导。前面提到的col块是从参考图片推导的块。因此,从col块推导的合并候选可以被称作时间合并候选。此外,从另一个视角,由于时间合并候选可用于预测当前块的运动矢量,其可以被称作时间运动矢量预测器(TMVP)。
[0127] 在本发明中用于产生合并候选列表的合并候选不局限于前面提到的实施例,并且因此,该合并候选可以从前面提到的实施例中选择性地不同地推导。但是,除非在本发明中另作说明的,在下文中假设如图7的720所示的共处一地的合并候选用于按照要预测的块(和/或当前块)预测合并模式。此外,在下文中,当在本发明中描述关于要合并/跳跃的PU的合并候选的内容的时候,在PU的外部位置上最靠近于左下角的块由A0指示,在相邻于PU左侧的块之中位于最下面部分的块由A1指示,在PU的外部位置上最靠近于右上角的块由B0指示,在相邻于PU的上部块之中位于最右侧的块由B1指示,和在PU的外部位置上最靠近于左上角的块由B2指示。
[0128] 参考图7的实施例,选择构成合并候选列表的合并候选的方法可以被不同地扩展。编码器和解码器可以按照前面提到的图7的实施例通过选择合并候选配置合并候选列表。
在这种情况下,当选择合并候选的时候,编码器和解码器可以通过除去冗余的候选配置合并候选列表以降低冗余度。
[0129] 此外,在前面提到的图7的实施例中,构成合并候选列表的合并候选的数目可以局限于特定的固定数目。例如,在图7的720的实施例中,假设合并候选的数目是5,并且该合并候选被以{A1,B1,B0,A0,B2,COL}的顺序增加和/或插入到合并候选列表。在这种情况下,如果块A1、B1、B0、A0、B2和COL全部是可用的,仅块A1、B1、B0、A0和COL的运动信息可以被确定为是包括在合并候选列表中的合并候选。对于另一个示例,在块A1、B1、B0、A0、B2和COL之中,可用的块的数目可以小于5。在这种情况下,编码器和解码器可以基于可用的合并候选,通过使用特定的过程,推导新的合并候选,使得最终推导的合并候选的数目是5。
[0130] 同时,例如,当以合并模式和/或跳跃模式执行帧间预测的时候,编码器和解码器可以对于每个PU连续地执行运动估算(ME)。但是,对于另一个示例,为了改善编码/解码性能,编码器和解码器可以对于多个PU同时地执行ME。也就是说,可以以合并模式和/或跳跃模式对于多个PU并行执行ME,并且在这种情况下,ME可以被称作并行ME。在下文中,在本发明中,并行ME被应用于其的合并模式被称作并行合并模式和/或并行合并,并且并行ME被英已经于其的跳跃模式被称作并行跳跃模式和/或并行跳跃。
[0131] 为了解释方便起见,如下所述的实施例集中于并行合并模式。但是,如下所述的实施例不局限于并行合并模式,但是,相同的或者类似的方法也可以应用于并行跳跃模式。
[0132] 图8是示出以合并模式和跳跃模式的并行处理单元的实施例的示意图。
[0133] 在图8示出的整个块指示一个编译树块(CTB),并且CTB可以对应于最大的编译单元(LCU)。如上所述,CTB可以具有经由分割由较小编译单元构成的分层结构,并且每个编译单元可以用作一个PU,或者可以被分割为多个PU。因此,构成图8的CTB的矩形块和长方形块的每个可以对应于一个PU。
[0134] 同时,由图8的810、820、830和840指示的矩形块的每个可以指示用于执行并行ME的并行处理单元。也就是说,LCU可以被分割为多个非冗余的并行处理单元。在此处,例如,多个并行处理单元可以具有相同的大小。在这种情况下,编码器和解码器可以在一个并行处理单元内对于所有PU同时地执行ME。例如,可以对于包括在并行处理单元810中的PU A和PU B并行执行ME。并行处理单元对应于并行ME被应用到的区域,并且因此也可以被称作运动估算区(MER)。在下文中,为了解释方便起见,在本发明中用于执行并行ME的并行处理单元被称作MER。
[0135] 当以合并模式和/或跳跃模式应用并行ME的时候,编码器需要将与并行ME相关的信息发送给解码器。如上所述,由于并行ME可以应用于在MER内的所有PU,从编码器发送到解码器的信息可以对应于以合并模式和/或跳跃模式的并行处理水平。在此处,该并行处理水平可以对应于用于执行并行ME的并行处理单元的大小,并且因此,也可以对应于MER的大小。例如,如果以具有32×32大小的块为单位执行并行ME,也就是说,如果MER的大小对应于32×32,可以说以32×32并行处理水平执行并行ME。并行处理水平指示以合并模式和/或合并跳跃模式的并行处理水平,并且因此,也可以被称作并行合并水平。
[0136] 在此处,并行处理水平可以限制在特定的范围内。例如,并行处理水平可以局限于小于在4×4和LCU大小之间的大小。在这种情况下,MER可以具有小于或等于LCU大小和/或CTB大小的大小。
[0137] 与前面提到的并行处理水平相关的信息可以通过包括在序列参数集(SPS)或者图片参数集(PPS)中在比特流上从编码器发送到解码器。与包括在PPS中的并行处理水平相关的信息可以通过包括在例如以下的表1中的语法元素限定。
[0138] [表1]
[0139]
[0140] 在此处,log2_parallel_merge_level_minus2可以表示以合并模式和/或跳跃模式的并行处理水平。更具体地说,分配给log2_parallel_merge_level_minus2的值可以对应于通过从实际的并行处理水平的log值(也就是说,实际的MER大小的log值)中减去2获得的值。如果PU的最小大小是4×4,并行处理水平的log值的最小值可以对应于2。因此,为了降低传输信息量,通过从实际的并行处理水平的log值中减去2获得的值可以分配给log2_parallel_merge_level_minus2。
[0141] 在PPS中限定的并行处理水平信息不局限于前面提到的实施例。在表1的实施例中,除与并行处理水平相关的信息以外指示另一个信息的语法可以被不同地选择性地应用。
[0142] 同时,在表1中,log2_parallel_merge_level_minus2可以按照分配的值具有与以下的表2的实施例相同的含义。
[0143] [表2]
[0144]
[0145] 参考表2,如果值0被分配给log2_parallel_merge_level_minus2,则MER大小可以对应于4×4。在这种情况下,由于最小的PU的大小是4×4,编码器和解码器可以对于在LCU中的所有PU连续地执行ME。对于另一个示例,如果值2被分配给log2_parallel_merge_level_minus2,MER大小可以对应于16×16。在这种情况下,编码器和解码器可以以16×16并行处理水平执行并行ME。也就是说,编码器和解码器可以对于在16×16块中的所有PU并行执行ME。同样地,即使即使另一个值被分配给log2_parallel_merge_level_minus2,编码器和解码器可以按照分配的值通过使用类似的方法执行并行ME。
[0146] 同时,一个编译树块可以包括多个CU。在这种情况下,一个并行处理单元(也就是说,一个MER)可以包括一个PU,或者可以具有与一个CU相同的大小。此外,一个MER可以包括多个CU。
[0147] 例如,参考图8,MER 810可以具有与由PU A和PU B构成的一个CU相同的大小。此外,MER 830和MER 840分别地具有与CU G和CU H相同的大小。因而,如果一个CU具有与MER相同的大小,可以看到,以CU为单位执行对于CU的并行ME。另一方面,MER 820可以包括CU C(在此处,CU C对应于PU C)、CU D(在此处,CU D包括PU D1和PU D2)、CU E(在此处,CU E对应于PU E),和CU F(在此处,CU F包括PU F1和PU F2)。在这种情况下,对于在MER 820中的PU C、D1、D2、E、F1和F2的全部可以以合并模式和/或跳跃模式并行执行ME。
[0148] 同时,如上参考图8的实施例所述,为了以合并模式和/或跳跃模式执行并行ME,必须允许对于并行处理单元(也就是说,对于在MER中的所有PU)独立地执行帧间预测和/或ME。但是,在前面提到的合并模式和/或跳跃模式中,就并行ME而言可能出现问题。
[0149] 图9是用于解释当以合并模式执行并行ME的时候出现的问题的示意图。图9的910、920、930和940每个指示一个CU。
[0150] 如上图8所述,并行处理单元(也就是说,MER)可以与当前的CU具有相同的大小,或者可以不必具有相同的大小。在图9的实施例中假设MER的大小与当前的CU相同。在这种情况下,在图9中示出的每个CU可以对应于并行处理单元,并且在这种情况下,可以以CU为单位执行并行ME。但是,在MER大小大于当前的CU的情形下,也可以同样地或者类似地出现如下参考图9所述的问题。
[0151] 在图9的910中,CU(和/或PU)的分割模式是2N×2N。因此,一个CU可以无需被分割用作PU A,并且因此,可能不会出现由并行ME所引起的问题。
[0152] 在图9的920中,CU(和/或PU)的分割模式是2N×N。在这种情况下,对于并行ME,对于上层PU B1和下层PU B2同时地执行ME。但是,在用于下层PU B2的合并候选之中,当完成上层PU B1的编码/解码的时候,位于最左侧并且相邻于下层PU B2的上部的块925的运动信息可以用作下层PU B2的合并候选。因而,由于下层PU B2使用属于上层PU B1的运动信息,不能对于属于在图9的920中的CU的PU同时地执行ME。
[0153] 在图9的930中,CU(和/或PU)的分割模式是N×2N。在这种情况下,对于并行ME,必须对于左侧PU C1和右侧PU C2同时地执行ME。但是,在用于右侧PU C2的合并候选之中,当完成左侧PU C1的编码/解码的时候,位于最下面部分和相邻于右侧PU C2的左侧的块935的运动信息可以用作右侧PU C2的合并候选。因而,由于右侧PU C2使用属于左侧PU C1的运动信息,不能对于属于在图9的930中的CU的PU同时地执行ME。
[0154] 在图9的940中,CU(和/或PU)的分割模式是N×N。在这种情况下,对于并行ME,必须对左上PU D1、右上PU D2、左下PU D3和右下PU D4同时地执行ME。但是,例如,在用于右下PU D4的合并候选之中,当完成左上PU D1、右上PU D2和左下PU D3的编码/解码的时候,位于右下PU D4的左上角的块941、位于最右侧和相邻于右下PU D4的上部的块943,和位于最下面部分和相邻于右下PU D4的左侧的块945的运动信息可以用作右下PU D4的合并候选。此外,在图9的940中,也可能在右上PU D2和左下PU D3中出现与前面提到的右下PU D4类似的问题。因而,除左上PU D1以外的PU使用属于其它的PU的运动信息,并且因此,不能对于属于在图9的940中的CU的PU同时地执行ME。
[0155] 虽然在前面提到的实施例中仅描述了对于CU(和/或PU)的分割模式是2N×2N、2N×N、N×2N和N×N的情形的问题,这样的问题也可能在另一个分割模式(例如,2N×nU、2N×nD、nL×2N或者nR×2N)中同样地或者类似地出现。在下文中,将描述推导合并候选的方法和配置候选列表的方法,以解决按照本发明的实施例的如上参考图9所述的问题。
[0156] 图10是示出推导用于使能并行ME的合并候选方法的实施例的示意图。图10的1010至1060每个指示一个CU,并且在属于每个CU的PU上标记的数字表示分割索引。
[0157] 为了解释方便起见,假设在图10的实施例中MER具有与当前的CU相同的大小。在这种情况下,在图10中示出的每个CU可以对应于并行处理单元,并且在这种情况下,可以以CU为单位执行并行ME。然而,即使MER的大小(也就是说,并行处理水平)大于CU,图10的以下的实施例可以同等地应用于属于并行处理水平的每个CU。
[0158] 同时,如上参考图9所述,在对于其执行并行ME的MER内,可能存在使用对于其没有完成编码/解码的另一个块的PU。在这种情况下,不能对于属于MER的PU同时地执行ME。因此,为了解决这个问题,编码器和解码器可以不必将运动信息不可用的块作为合并候选块使用。也就是说,编码器和解码器可以在推导合并候选的过程中将块处理为不可用的,并且可以不必将该块的运动信息增加给合并候选列表。
[0159] 在图10的1010中,CU(和/或PU)的分割模式是2N×N,并且下面PU的合并候选具有分割索引1。在这种情况下,在用作合并候选块的块A0、A1、B0、B1和B2之中,块B1是在相同的CU中属于另一个PU的块。因此,由于块B1是在并行ME中不能使用的块,其可以被处理为是不可用的,并且可以不必用作下面PU的合并候选块。在这种情况下,块的运动信息可以不必被增加到合并候选列表。
[0160] 此外,在具有分割索引1的下面PU的ME中,块A0和块B0的运动信息是不可用的。这是因为其可以是该块的编码和/或解码按照编码/解码顺序没有完成的状态。在这种情况下,由于块A0和块B0是在并行ME中不能使用的块,该块可以被处理为是不可用的,并且可以不必用作下面PU的合并候选块。在这种情况下,块的运动信息可以不必被增加到合并候选列表。
[0161] 如图10的1010的实施例所示,如果在并行ME中不能使用的块被处理为是不可用的,对于具有分割索引1的下面PU推导的空间合并候选的数目可以是2。在这种情况下,通过考虑时间合并候选,如果将1增加到空间合并候选的数目,则对于下面PU推导的可用的合并候选的最大数可以是3。
[0162] 在图10的1020中,CU(和/或PU)的分割模式是2N×nU,并且下面PU的合并候选具有分割索引1。在这种情况下,在用作合并候选块的块A0、A1、B0、B1和B2之中,块B1是在相同的CU中属于另一个PU的块。因此,由于块B1是在并行ME中不能使用的块,其可以被处理为是不可用的,并且不可以用作下面PU的合并候选块。在这种情况下,该块的运动信息不可以被增加给合并候选列表。
[0163] 此外,在具有分割索引1的下面PU的ME中,块A0和块B0的运动信息是不可用的。这是因为其可能是块的编码和/或解码按照编码/解码顺序没有完成的状态。在这种情况下,由于块A0和块B0是在并行ME中不能使用的块,所以块可以被处理为是不可用的,并且不可以用作下面PU的合并候选块。在这种情况下,该块的运动信息不可以被增加给合并候选列表。
[0164] 如图10的1020的实施例所示,如果在并行ME中不能使用的块被处理为是不可用的,对于具有分割索引1的下面PU推导的空间合并候选的数目可以是2。在这种情况下,通过考虑时间合并候选,如果1被增加给空间合并候选的数目,对于下面PU推导的可用的合并候选的最大数可以是3。
[0165] 在图10的1030中,CU(和/或PU)的分割模式是2N×nD,并且下面PU的合并候选具有分割索引1。在这种情况下,在用作合并候选块的块A0、A1、B0、B1和B2之中,块B1是在相同的CU中属于另一个PU的块。因此,由于块B1是在并行ME中不能使用的块,其可以被处理为是不可用的,并且不可以用作下面PU的合并候选块。在这种情况下,该块的运动信息不可以被增加给合并候选列表。
[0166] 此外,在具有分割索引1的下面PU的ME中,块A0和块B0的运动信息是不可用的。这是因为其可能是该块的编码和/或解码按照编码/解码顺序没有完成的状态。在这种情况下,由于块A0和块B0是在并行ME中不能使用的块,该块可以被处理为是不可用的,并且不可以用作下面PU的合并候选块。在这种情况下,该块的运动信息不可以被增加给合并候选列表。
[0167] 如图10的1030的实施例所示,如果在并行ME中不能使用的块被处理为是不可用的,对于具有分割索引1的下面PU推导的空间合并候选的数目可以是2。在这种情况下,通过考虑时间合并候选,如果1被增加给空间合并候选的数目,对于下面PU推导的可用的合并候选的最大数可以是3。
[0168] 在图10的1040中,CU(和/或PU)的分割模式是N×2N,并且右侧PU的合并候选具有分割索引1。在这种情况下,在用作合并候选块的块A0、A1、B0、B1和B2之中,块A1是在相同的CU中属于另一个PU的块。因此,由于块A1是在并行ME中不能使用的块,其可以被处理为是不可用的,并且不可以用作下面PU的合并候选块。在这种情况下,该块的运动信息不可以被增加给合并候选列表。
[0169] 此外,在具有分割索引1的右侧PU的ME中,块A0的运动信息是不可用的。这是因为其可以是该块的编码和/或解码按照编码/解码顺序没有完成的状态。在这种情况下,由于块A0是在并行ME中不能使用的块,其可以被处理为是不可用的,并且不可以用作右侧PU的合并候选块。在这种情况下,该块的运动信息不可以被增加给合并候选列表。
[0170] 如图10的1040的实施例所示,如果在并行ME中不能使用的块被处理为是不可用的,对于具有分割索引1的右侧PU推导的空间合并候选的数目可以是3。在这种情况下,通过考虑时间合并候选,如果1被增加给空间合并候选的数目,则对于右侧PU推导的可用的合并候选的最大数可以是4。
[0171] 在图10的1050中,CU(和/或PU)的分割模式是nL×2N,并且右侧PU的合并候选具有分割索引1。在这种情况下,在用作合并候选块的块A0、A1、B0、B1和B2之中,块A1是在相同的CU中属于另一个PU的块。因此,由于块A1是在并行ME中不能使用的块,其可以被处理为是不可用的,并且不可以用作右侧PU的合并候选块。在这种情况下,该块的运动信息不可以被增加给合并候选列表。
[0172] 此外,在具有分割索引1的右侧PU的ME中,块A0的运动信息是不可用的。这是因为其可以是该块的编码和/或解码按照编码/解码顺序没有完成的状态。在这种情况下,由于块A0是在并行ME中不能使用的块,其可以被处理为是不可用的,并且不可以用作右侧PU的合并候选块。在这种情况下,该块的运动信息不可以被增加给合并候选列表。
[0173] 如图10的1050的实施例所示,如果在并行ME中不能使用的块被处理为是不可用的,对于具有分割索引1的右侧PU推导的空间合并候选的数目可以是3。在这种情况下,通过考虑时间合并候选,如果1被增加给空间合并候选的数目,对于右侧PU推导的可用的合并候选的最大数可以是4。
[0174] 在图10的1060中,CU(和/或PU)的分割模式是nR×2N,并且右侧PU的合并候选具有分割索引1。在这种情况下,在用作合并候选块的块A0、A1、B0、B1和B2之中,块A1是在相同的CU中属于另一个PU的块。因此,由于块A1是在并行ME中不能使用的块,其可以被处理为是不可用的,并且不可以用作右侧PU的合并候选块。在这种情况下,该块的运动信息不可以被增加给合并候选列表。
[0175] 此外,在具有分割索引1的右侧PU的ME中,块A0的运动信息是不可用的。这是因为其可以是该块的编码和/或解码按照编码/解码顺序没有完成的状态。在这种情况下,由于块A0是在并行ME中不能使用的块,其可以被处理为是不可用的,并且不可以用作右侧PU的合并候选块。在这种情况下,该块的运动信息不可以被增加给合并候选列表。
[0176] 如图10的1060的实施例所示,如果在并行ME中不能使用的块被处理为是不可用的,对于具有分割索引1的右侧PU推导的空间合并候选的数目可以是3。在这种情况下,通过考虑时间合并候选,如果1被增加给空间合并候选的数目,对于右侧PU推导的可用的合并候选的最大数可以是4。
[0177] 按照前面提到的实施例,在推导空间合并候选的过程中,编码器和解码器可以基于特定的条件将PU的相邻块处理为是不可用的。这可以表示如下。
[0178] 如果以下条件的一个是真的,可用标记N(availableFlagN)被设置等于0,两个分量mvLXN被设置等于0,覆盖亮度位置(xN,yN)的预测单元的refldxLXN和preFlagLX[xN,yN]被分别地分配给mvLXN、refldxLXN和predFlagLXN。
[0179] 在此处,可用标记N是指示块N(这里N是A0、A1、B0、B1和B2的一个)是否是能够用作合并候选块的可用的块的标记。此外,mvL×N表示块N的运动矢量,并且refIdxL×N表示块N的参考图片索引。在此处,X可以具有0或者1的值。此外,predFlagLXN可以对应于指示是否在块N上执行LX预测的标记。
[0180] 可能存在用于将PU的相邻块处理为是不可用的若干类型的条件。例如,如果N是块B2,并且块A0、A1、B0和B1全部是可用的,以将合并候选的数目保持为5,其可以将块B2处理为是不可用的。此外,如果相邻块的预测模式是内部模式,其可以将该块处理为是不可用的。这可以表示如下。
[0181] -N等于B2,并且可用标记A0+可用标记A1+可用标记B0+可用标记B1等于4。
[0182] -覆盖亮度位置(xN,yN)的预测单元是不可用的,或者predMode是MODE_INTRA。
[0183] 此外,如在前面提到的实施例中描述的,如果当前的CU(和/或PU)的分割模式是2N×N、2N×nU,或者2N×nD,并且当前的PU的分割索引是1,则块B1可以被处理为是不可用的。此外,如果当前的CU(和/或PU)的分割模式是N×2N、nL×2N,或者nR×2N,并且当前的PU的分割索引是1,则块A1可以被处理为是不可用的。这可以表示如下。
[0184] -当前的预测单元的PartMode是PART_2N×N或者PART_2N×nU或者PART_2N×nD,并且PartIdx等于1,以及N等于B1。
[0185] -当前的预测单元的PartMode是PART_N×2N或者PART_nL×2N或者PART_nR×2N,并且PartIdx等于1,以及N等于A1。
[0186] 前面提到的最后的两个条件可以通过允许属于相同的CU的PU互相不具有相关性,来对于属于相同CU的所有PU使能并行ME。此外,如果一个PU使用在相同的CU中属于另一个PU的运动信息,则在相同的CU中长方形PU具有相同的运动信息,并且因此,可以最终具有与在2N×2N分割模式中相同的运动信息。在这种情况下,前面提到的最后的两个条件可以防止长方形PU具有与在2N×2N分割模式中相同的运动信息。
[0187] 图11是示出推导用于使能并行ME的合并候选方法的另一个实施例的示意图。图11的1110至1130每个指示一个CU,并且在属于每个CU的PU中标记的数字表示分割索引。
[0188] 为了解释方便起见,假设在图11的实施例中MER具有与当前的CU相同的大小。在这种情况下,在图11中示出的每个CU可以对应于并行处理单元,并且在这种情况下,可以以CU为单位执行并行ME。即使MER的大小(也就是说,并行处理水平)大于CU,则图11的以下的实施例可以同等地应用于属于并行处理水平的CU中的每个。
[0189] 同时,如上图10的实施例所述的是用于CU(和/或PU)的分割模式是2N×N、2N×nU、2N×nD、N×2N、nL×2N和nR×2N的情形。但是,即使CU(和/或PU)的分割模式是N×N,在对其执行并行ME的MER内,可能存在使用编码/解码没有对其完成的另一个块(和/或PU)的PU。在这种情况下,不能对于属于MER的PU同时地执行ME。因此,为了解决这个问题,编码器和解码器不可以将其运动信息不可用的块作为合并候选块使用。也就是说,编码器和解码器可以在推导合并候选的过程中处理不可用的块,并且不可以将该块的运动信息增加给合并候选列表。
[0190] 在图11的1110中,CU(和/或PU)的分割模式是N×N,并且右上PU的合并候选具有分割索引1。在这种情况下,在用作合并候选块的块A0、A1、B0、B1和B2之中,块A0和块A1是在相同的CU中属于另一个PU的块。在这种情况下,右上PU与在相同的CU中的另一个PU具有相关性。因此,由于块A0和块A1是在并行ME中不能使用的块,其可以被处理为是不可用的,并且不可以用作右上PU的合并候选块。在这种情况下,该块的运动信息不可以被增加给合并候选列表。
[0191] 如图11的1110的实施例所示,如果在并行ME中不能使用的块被处理为是不可用的,对于具有分割索引1的右上PU推导的空间合并候选的数目可以是3。在这种情况下,通过考虑时间合并候选,如果1被增加给空间合并候选的数目,则对于右上PU推导的可用的合并候选的最大数可以是4。
[0192] 在图11的1120中,CU(和/或PU)的分割模式是N×N,并且左下PU的合并候选具有分割索引2。在这种情况下,在用作合并候选块的块A0、A1、B0、B1和B2之中,块B0和块B1是在相同的CU中属于另一个PU的块。在这种情况下,左下PU与在相同的CU中的另一个PU具有相关性。因此,由于块B0和块B1是在并行ME中不能使用的块,其可以被处理为是不可用的,并且不可以用作左下PU的合并候选块。在这种情况下,该块的运动信息不可以被增加给合并候选列表。
[0193] 此外,在具有分割索引2的左下PU的ME中,块A0的运动信息是不可用的。这是因为其可以是该块的编码和/或解码按照编码/解码顺序没有完成的状态。在这种情况下,由于块A0是在并行ME中不能使用的块,其可以被处理为是不可用的,并且不可以用作左下PU的合并候选块。在这种情况下,该块的运动信息不可以被增加给合并候选列表。
[0194] 如图11的1120的实施例所示,如果在并行ME中不能使用的块被处理为是不可用的,对于具有分割索引2的左下PU推导的空间合并候选的数目可以是2。在这种情况下,通过考虑时间合并候选,如果1被增加给空间合并候选的数目,对于左下PU推导的可用的合并候选的最大数可以是3。
[0195] 在图11的1130中,CU(和/或PU)的分割模式是N×N,并且右下PU的合并候选具有分割索引3。在这种情况下,在用作合并候选块的块A0、A1、B0、B1和B2之中,块A1、块B1,和块B2是在相同的CU中属于另一个PU的块。在这种情况下,右下PU与在相同的CU中的另一个PU具有相关性。因此,由于块A1、块B1和块B2是在并行ME中不能使用的块,其可以被处理为是不可用的,并且不可以用作右下PU的合并候选块。在这种情况下,该块的运动信息不可以被增加给合并候选列表。
[0196] 此外,在具有分割索引3的右下PU的ME中,块A0和块B0的运动信息是不可用的。这是因为其可以是该块的编码和/或解码按照编码/解码顺序没有完成的状态。在这种情况下,由于块A0和块B0是在并行ME中不能使用的块,该块可以被处理为是不可用的,并且不可以用作右下PU的合并候选块。在这种情况下,该块的运动信息不可以被增加给合并候选列表。
[0197] 如图11的1130的实施例所示,如果在并行ME中不能使用的块被处理为是不可用的,则对于具有分割索引3的右下PU推导的空间合并候选的数目可以是0。在这种情况下,通过考虑时间合并候选,如果1被增加给空间合并候选的数目,对于右下PU推导的可用的合并候选的最大数可以是1。
[0198] 按照前面提到的实施例,在推导空间合并候选的过程中,编码器和解码器可以基于特定的条件将PU的相邻块处理为是不可用的。如上参考图10所述,可能存在用于将PU的相邻块处理为是不可用的若干类型的条件。
[0199] 按照图11的实施例,如果当前的CU(和/或PU)的分割模式是N×N,并且当前的PU的分割索引是1,则块A0和块A1可以被处理为是不可用的。此外,如果当前的CU(和/或PU)的分割模式是N×N,并且当前的PU的分割索引是2,则块B0和块B1可以被处理为是不可用的。此外,如果当前的CU(和/或PU)的分割模式是N×N,并且当前的PU的分割索引是3,则块A1、块B1和块B2可以被处理为是不可用的。前面提到的三个条件可以如下在图10描述的实施例中那样增加。
[0200] 如果以下条件的一个是真的,可用标记N被设置等于0,两个分量mvLXN被设置等于0,覆盖亮度位置(xN,yN)的预测单元的refldxLXN和preFlagLX[xN,yN]被分别地分配给mvLXN、refldxLXN和predFlagLXN。
[0201] -N等于B2,并且可用标记A0+可用标记A1+可用标记B0+可用标记B1等于4。
[0202] -覆盖亮度位置(xN,yN)的预测单元是不可用的,或者predMode是MODE_INTRA。
[0203] -当前的预测单元的PartMode是PART_2N×N或者PART_2N×nU或者PART_2N×nD,并且PartIdx等于1,以及N等于B1。
[0204] -当前的预测单元的PartMode是PART_N×2N或者PART_nL×2N或者PART_nR×2N,并且PartIdx等于1,以及N等于A1。
[0205] -当前的预测单元的PartMode是PART_N×N,并且PartIdx等于1,以及N等于A0或者A1。
[0206] -当前的预测单元的PartMode是PART_N×N,并且PartIdx等于2,以及N等于B0或者B1。
[0207] -当前的预测单元的PartMode是PART_N×N,并且PartIdx等于3,以及N等于A1或者B1或者B2。
[0208] 在前面提到的实施例中增加的三个条件可以防止属于CU的一个PU避免引用属于相同的CU的另一个PU的运动信息。因此,按照前面提到的实施例,对于属于相同的CU的所有PU可以并行推导空间合并候选。
[0209] 同时,如果前面提到的图10和图11的实施例以并行合并模式和/或并行跳跃模式应用,则对于每个PU能够推导的可用合并候选的最大数可以按照分割模式和分割索引估算。对于每个PU可用的合并候选的最大数可以通过将时间候选的数目(例如,1)增加给能够在并行ME中使用的可用的空间合并候选的数目估算。例如,在图10和图11的每个分割模式中,对于具有分割索引值0的PU可以推导高达5个可用的合并候选。对于另一个示例,在如图10的1010所示的2N×N的分割模式中,对于具有分割索引1的PU可以推导高达3个可用的合并候选。对于每个PU推导的可用的合并候选的最大数可以按照分割模式和分割索引由以下的表3表示。
[0210] [表3]
[0211]
[0212] 在此处,PartMode表示CU(或者PU)的分割模式,并且partIdx表示PU的分割索引。此外,maxNumMergeCand表示对于相应的PU推导的可用的合并候选的最大数。
[0213] 但是,如果如上参考图7所述合并候选的数目限于5,则合并索引指示5个合并候选的一个。在这种情况下,对应于5个合并候选的比特量可用于发送合并索引。但是,如上所述,从PU推导的可用的合并候选的最大数可以小于5,并且在这种情况下,发送合并索引需要的比特量可以小于对应于5个合并候选的比特量。也就是说,用于合并索引传输需要的实际比特量可以与处理为不可用的块的数目成比例地减少。在这种情况下,当使用的比特超出用于合并索引传输需要的实际的比特量的时候,该比特可以认为相对于合并索引被浪费。
[0214] 为了解决前面提到的问题,编码器和解码器可以通过应用按照分割模式和分割索引优化的合并候选的数目对合并索引执行编码/解码,从而能够减少或者节省可以用于合并索引传输的比特量。
[0215] 在一个实施例中,诸如表3的表可以存储在编码器和解码器中。在这种情况下,编码器可以基于前面提到的表按照分割模式和分割索引确定对于任何PU推导的可用的合并候选的最大数。此外,编码器可以基于最大数编码用于PU的合并索引,并且可以将编码的合并索引发送给解码器。在这种情况下,仅对应于最大数的比特量在合并索引的传输中使用,并且因此,可以减少在合并索引的传输中使用的比特量。由于表被同等地存储在解码器中,对于任何PU推导的可用的合并候选的最大数可以以与在编码器中使用的相同的方法确定。在这种情况下,基于最大数,解码器可以解码从编码器发送的合并索引。
[0216] 同时,参考图11的1130和表2,如果CU(和/或PU)的分割模式是N×N,并且属于CU的PU的分割索引值是3,仅一个时间合并候选可以对应于属于PU的可用的合并候选。在这种情况下,对于PU推导的可用的合并候选的最大数可以是1。如果可用的合并候选的最大数是1,则解码器可以知道哪个合并候选用于推导PU的运动信息,而无需必须使用合并索引。因此,如果CU(和/或PU)的分割模式是N×N,并且属于CU的PU的分割索引是3,则编码器可以不将用于PU的合并索引发送给解码器。
[0217] 图12是示出推导用于使能并行ME的合并候选方法的另一个实施例的示意图。图12的1210指示表示一个CU,并且在属于每个CU的PU上标记的数字表示分割索引。
[0218] 为了解释方便起见,假设在图12的实施例中MER具有与当前的CU相同的大小。在这种情况下,在图12中示出的每个CU可以对应于并行处理单元,并且在这种情况下,可以以CU为单位执行并行ME。然而,即使MER的大小(也就是说,并行处理水平)大于CU,图12的以下的实施例可以同等地应用于属于并行处理水平的CU中的每个。
[0219] 在图10和图11前面提到的实施例中,对应于当执行并行ME的时候运动信息是不可用的块的合并候选可以处理为是不可用的,并且因此,不可以被增加给合并候选列表。在这种情况下,当当前的CU(和/或PU)的分割模式是2N×2N的时候,处理为是不可用的合并候选可以以使用的合并候选替换。
[0220] 在图12的1210中,当前的CU(和/或PU)的分割模式是2N×N,并且目前对其执行ME的PU是具有分割索引1的下面PU。在这种情况下,如上参考图10所述,在用作合并候选块的块A0、A1、B0、B1和B2之中,块A0、块B0,和块B1是在并行ME中不能使用的块,并且因此,可以处理为是不可用的。
[0221] 但是,如果当前的CU(和/或PU)的分割模式是2N×2N,当执行并行ME的时候,块B0’(即,在当前的CU外部位置上最靠近于右上角的块)和块B1’(即,在相邻于当前的CU的上部的块之中位置上最靠近于最右侧的块)可以具有可用的运动信息。因此,编码器和解码器可以将块B0’而不是块B0作为下面PU的合并候选块使用,并且可以将块B1’而不是块B1作为下面PU的合并候选块使用。
[0222] 虽然前面提到的实施例局限于当前的CU(和/或PU)的分割模式是2N×N的情形,但本发明不受限于此。也就是说,推导合并候选的前面提到的方法可以类似地应用于当前的CU的分割模式是N×2N、N×N、2N×nU、2N×nD、nL×2N或者nR×2N的情形。
[0223] 同时,就对其执行并行ME的多个PU而论,编码器和解码器可以推导和使用通用的合并候选和/或通用的合并候选列表,从而使能并行ME。基于通用的合并候选和/或通用的合并列表的并行ME方法可以相对于图10和/或图11的前面提到的实施例独立地应用,或者也可以与图10和/或图11的实施例相关联地应用于编码器/解码器。在下文中,在本发明中,通常供多个PU使用的合并候选被称作“通用的合并候选”,并且供多个PU通常使用的合并候选列表被称作“单个合并候选列表”。
[0224] 在这种情况下,通过其推导通用的合并候选和/或单个合并候选列表的单元可以是预先确定的特定的单元。在此处,特定的单元可以通过数字确定,并且可以是CU、MER和/或LCU。此外,通过其推导通用的合并候选和/或单个合并候选列表的单元可以在编码器中确定。在这种情况下,编码器可以编码有关单元的信息,并且将其发送给解码器。在这种情况下,解码器可以基于发送的信息确定通过其推导通用的合并候选和/或单个合并候选列表的单元。在下文中,在本发明中,通过其推导通用的合并候选和/或单个合并候选列表的前面提到的单元被称作“合并候选共享单元”。
[0225] 例如,如果合并候选共享单元是CU,则在一个CU中的所有PU(即,具有合并模式和/或跳跃模式的PU)可以共享用于CU的通用的合并候选,和/或用于CU的单个合并共享列表。在这种情况下,如果CU(和/或属于CU的PU)的分割模式是2N×2N,则单个合并候选列表可以与属于CU的PU的合并候选列表相同。对于另一个示例,如果合并候选共享单元是LCU,则在一个LCU中的所有PU(即,具有合并模式和/或跳跃模式的PU)可以共享用于LCU的通用的合并候选和/或用于LCU的单个合并候选列表。对于另一个示例,如果合并候选共享单元是MER,则在一个MER中的所有PU(即,具有合并模式和/或跳跃模式的PU)可以共享用于MER的通用的合并候选和/或用于MER的单个合并候选列表。
[0226] 如果在一个合并候选共享单元中的所有PU共享通用的合并候选和/或单个合并候选列表,则在某种程度上可能出现编译损耗。因此,编码器和解码器可以基于合并候选共享标记有选择地确定合并候选推导方法和/或合并候选列表推导方法。在此处,合并候选共享标记可以对应于用于指示是否推导单个合并候选列表,和用于在合并候选共享单元中的所有PU,或者是否推导各自的合并候选列表和用于每个PU的标记。合并候选共享标记可以例如由parallel_merge_cand_flag、parallel_merge_derivation_flag或者singleMCLFlag表示。
[0227] 例如,如果合并候选共享标记的值是1,则该标记可以指示在合并候选共享单元中的所有PU共享通用的合并候选和/或单个合并候选列表。也就是说,在这种情况下,该标记可以指示合并候选的位置(即,空间合并候选和/或时间合并候选)对于在合并候选共享单元中的所有PU是相同的。此外,如果该合并候选共享标记是0,则该标记可以指示各自的合并候选列表被推导和用于每个PU。
[0228] 例如,前面提到的合并候选共享标记可以是由编码器编码的标记,并且被发送给解码器。在这种情况下,该合并候选共享标记可以在SPS、PPS、适配参数集(APS)或者片段报头中限定。也就是说,该合并候选共享标记可以包括在前面提到的SPS、PPS、APS或者片段报头中,并且可以从编码器发送到解码器。在这种情况下,该解码器可以基于发送的标记确定合并候选推导方法和/或合并候选列表推导方法。
[0229] 在另一个实施例中,对应于合并候选共享标记的值可以通过使用与在编码器和解码器中使用的相同的方法推导。在这种情况下,该编码器可以不将与合并候选共享标记相关的信息发送给解码器。
[0230] 例如,假设该合并候选共享单元是CU。在这种情况下,分配给合并候选共享标记的值可以基于MER的大小和/或当前的CU的大小确定。例如,只有当MER的大小(也就是说,并行处理水平)大于4×4,并且当前的CU的大小是8×8时,编码器和解码器可以将值1分配给合并候选共享标记。在此处,如果该合并候选共享标记的值是1,则该标记可以指示在合并候选共享单元中的所有PU共享通用的合并候选和/或单个合并候选列表。也就是说,只有当并行处理水平大于4×4,并且当前的CU的大小是8×8时,编码器和解码器可以允许在当前的CU中的所有PU能够共享通用的合并候选和/或单个合并候选列表。在这种情况下,如果并行处理水平是4×4,或者当前的CU的大小不是8×8,则值0可以分配给合并候选共享标记。在此处,如果合并候选共享标记的值是0,则该标记可以指示推导各自的合并候选列表,并且用于每个PU。
[0231] 在下文中,将描述按照本发明的实施例推导在合并候选共享单元中用于PU的通用的合并候选的方法。
[0232] 图13是示出推导在合并候选共享单元中用于PU的通用的合并候选的方法实施例的示意图。
[0233] 图13的1310至1330的每个指示一个相同的CU,并且CU(和/或PU)的分割模式对应于N×2N。此外,PartIdx表示分割索引,PU0表示其中分割索引值是0的PU,并且PU1表示其中分割索引值是1的PU。
[0234] 同时,为了解释方便起见,在图13的实施例中假设合并候选共享单元是CU。在这种情况下,图13的每个CU可以对应于合并候选共享单元。该合并候选共享单元的大小可以与MER,即,并行处理单元的大小相同或者不同。
[0235] 图13的1310指示具有分割索引0的左侧PU的合并候选。此外,图13的1320指示具有分割索引1的左侧PU的合并候选。参考图13的1310和1320,在CU(即,合并候选共享单元)中的每个PU可以具有单独的合并候选列表。
[0236] 在这种情况下,在图13的1320中的块A1可以是属于右侧PU的块。因此,由于右侧PU使用属于左侧PU的运动信息,可以对于左侧PU和右侧PU同时地执行ME。在这种情况下,编码器和解码器可以通过将块A1处理为是不可用的来使能并行ME,并且也可以通过将具有可用的运动信息的块的运动信息用作通用的合并候选来使能并行ME。
[0237] 参考图13的1330,在CU(即,合并候选共享单元)中的PU可以具有通用的合并候选(和/或通用的合并候选列表)。也就是说,在图13的1330中,在CU中的所有PU可以具有通用的合并候选(和/或单个合并候选列表)。
[0238] 在此处,例如,通用的合并候选可以与当当前的CU 1330的分割模式是2N×2N的时候推导的合并候选相同。更具体地说,编码器和解码器可以将在CU 1330外部位置上最靠近于左下角的块A0、在相邻于CU 1330左侧的块之中位于最下面部分的块A1、在CU 1330外部位置上最靠近于右上角的块B0、在相邻于CU 1330的上部的块之中位于最右侧的块B1,和在CU 1330外部位置上最靠近于左上角的块B2的运动信息作为用于左侧PU,即,PU0,和用于右侧PU,即,PU1的通用的合并候选使用。
[0239] 在前面提到的图13的1330的实施例中,在一个CU(即,合并候选共享单元)中的所有PU可以共享通用的合并候选(即,当当前的CU 1330的分割模式是2N×2N的时候推导的合并候选),和/或单个合并候选列表。也就是说,在CU(即,合并候选共享单元)中的所有PU可以使用共处一地的合并候选。因此,前面提到的推导通用的合并候选的方法可以降低编码复杂度,并且可以便于并行ME。
[0240] 前面提到的通用的合并候选推导方法仅是一个实施例,并且因此,对其应用通用的合并候选推导方法的分割模式不局限于N×2N。前面提到的通用的合并候选推导方法也可以以相同或者类似的方式应用于当前的CU(和/或PU)的分割模式是2N×2N模式、2N×N模式、N×N模式、2N×nU模式、2N×nD模式、nL×2N模式,或者nR×2N模式的情形。也就是说,不管CU(和/或PU)的分割模式,在一个CU中的所有PU可以共享通用的合并候选和/或单个合并候选列表。在这种情况下,编码器和解码器可以将存在于与当CU(和/或PU)的分割模式是2N×2N的时候使用的合并候选相同位置的块作为通用的合并候选使用。
[0241] 例如,即使当前的CU(和/或PU)的分割模式是N×N模式,在当前的CU中的所有PU(即,具有分割索引0的PU、具有分割索引1的PU、具有分割索引2的PU,和具有分割索引3的PU)可以共享通用的合并候选,和/或单个合并候选列表。此外,存在于与当当前的CU(和/或PU)的分割模式是2N×2N的时候使用的合并候选块相同位置的块的运动信息可以作为通用的合并候选推导。
[0242] 通常,合并候选块和/或PU的合并候选可以由相对于PU的相对位置指定。因此,一个PU的合并候选可以基于在PU中位于最左上部的坐标(例如,(xP,yP)),PU的宽度(例如,nPbW),和PU的高度(例如,nPbH)确定。
[0243] 但是,如果使用通用的合并候选和/或单个合并候选列表,则通用的合并候选与当CU(和/或PU)的分割模式是2N×2N的时候推导的合并候选相同,并且因此,可以由相对于CU的相对位置指定。因此,如果使用通用的合并候选和/或单个合并候选列表,则编码器和解码器可以将在PU中位于最左上部的像素的坐标重新配置为在PU所属的CU中位于最左上部的像素的坐标(例如,(xC,yC))。此外,编码器和解码器可以将PU的宽度和PU的高度重新配置为CU的宽度(例如,nCS)和CU的高度(例如,nCS)。在这种情况下,解码器和编码器可以基于重新配置的值确定PU的合并候选,使得PU在并行ME中使用通用的合并候选。
[0244] 同时,如上所述,如果在一个合并候选共享单元中的所有PU共享通用的合并候选和/或单个合并候选列表,在某种程度上可能出现编译损耗。因此,编码器和解码器可以基于合并候选共享标记有选择地确定合并候选推导方法和/或合并候选列表推导方法。
[0245] 例如,如果合并候选共享标记的值是1,则该标记可以指示在合并候选共享单元中的所有PU共享通用的合并候选和/或单个合并候选列表。这可以对应于在图13的1330中示出的通用的合并候选推导方法。此外,如果合并候选共享标记是0,则该标记可以指示推导各自的合并候选列表和用于每个PU。这可以对应于在图13的1310和1320中示出的合并候选推导方法。
[0246] 由于合并候选共享标记如上详细地所述,在此处省略其详细说明。
[0247] 图14是示出在合并候选共享单元中推导用于PU的通用合并候选的方法的另一个实施例的示意图。
[0248] 在图14中1410和1430每个指示一个LCU(和/或编译树块)。图14的1430示出LCU,其与在图14的1410中示出的LCU相同,并且因此,在图14的1410和1430中相同的构成元件可以由相同的参考数字表示。
[0249] 同时,在图14的实施例中,为了解释方便起见,假设一个LCU由具有相同大小的四个矩形MER组成,并且在LCU中用于PU的合并候选共享单元与MER单元相同。在这种情况下,按照构成编译树块的每个CU的大小,MER可以具有与CU相同的大小,或者可以具有不同于CU的大小。在图14的实施例中,由于MER对应于合并候选共享单元,如果CU具有与MER相同的大小,则CU可以对应于合并候选共享单元。例如,在MER大小是8×8的情形下,如果当前的CU的大小是8×8,当前的CU可以对应于合并候选共享单元。虽然图14的实施例按照合并候选共享单元是MER单元的情形描述,相同或者类似的方法也可以应用于合并候选共享单元是CU的情形。
[0250] 参考图14的1410,对其执行ME的当前的PU 1415可以包括在一个MER 1413中。在下文中,当前的PU 1415所属的MER在图14的实施例中称作MER 1413。在图14的1410中,示出了当前的PU 1415的合并候选1421、1423、1425、1427和1429。
[0251] 在用作合并候选块的块1421、1423、1425、1427和1429之中,块1423、1425和1427是属于当前的MER 1413的块,并且可以是属于与当前的PU 1415相同的MER的块。因此,块1423、1425和1427对应于对其没有以并行ME完成编码/解码的块,并且因此,不能在当前的PU 1415的并行ME中使用。此外,块1421和1429的运动信息在当前的PU 1415的ME中可能是不可用的。这是因为其可以是该块的编码和/或解码按照编码/解码顺序完成的状态。因此,如果对当前的PU执行合并模式(和/或跳跃模式)ME,则前面提到的合并候选块(即,属于与当前的PU 1415相同的MER的块,和/或没有以并行ME对其完成编码/解码的块)可以被处理为是不可用的。
[0252] 此外,如上所述,编码器和解码器可以通过相对于在合并候选共享单元中的多个PU使用通用的合并候选和/或单个合并候选列表使能并行ME。
[0253] 参考图14的1430,在MER(即,合并候选共享单元)中的PU可以具有通用的合并候选(和/或单个合并候选列表)。也就是说,在图14的1430中,在MER中的所有PU可以共享通用的合并候选(例如,块1441、1443、1445、1447和1449)。在这种情况下,当前的PU 1415可以使用通用的合并候选,而不是合并候选1421、1423、1425、1427和1429。
[0254] 在此处,例如,通用的合并候选可以与当具有与当前的MER 1413相同大小的CU(和/或属于CU的PU)具有2N×2N的分割模式的时候推导的合并候选相同。也就是说,编码器和解码器可以将位于当前的MER 1413外部的块作为通用的合并候选使用,并且通用的合并候选可以通过相对于当前的MER 1413的相对位置指定。
[0255] 在一个实施例中,编码器和解码器可以将在当前的MER 1413外部位置上最靠近于左下角的块1441、在相邻于当前的MER 1413左侧的块之中位于最下面部分的块1443、在当前的MER 1413外部位置上最靠近于右上角的块1449、在相邻于当前的MER 1413的上部的块之中位于最右侧的块1447,和在当前的MER 1413外部位置上最靠近于左上角的块1445的运动信息作为当前的PU 1415的合并候选(即,通用的合并候选)使用。在这种情况下,如果在块之中存在不具有可用的运动信息的块(例如,在当前的MER 1413外部位置上最靠近于右上角的块1449),则编码器和解码器可以将相应的块处理为是不可用的,或者不可以将其作为当前的PU 1415的合并候选块使用。在另一个实施例中,编码器和解码器可以将相邻于当前的MER 1413的左侧的块1444,而不是在当前的MER 1413外部位置上最靠近于左上角的块1445作为当前的PU 1415的合并候选块使用。在这种情况下,块1444可以是在相邻于当前的MER 1413左侧的块之中位于中心的块,或者如果位于中心的块的数目是2,则可以是在两个块之中位于上部的块。
[0256] 如图14的1430的实施例所示,如果通用的合并候选(和/或单个合并候选列表)用于在一个合并候选共享单元中的所有PU,则包括可用的运动信息的块可以用作合并候选块,而不是被处理为不可用的块。因此,在这种情况下,与不使用通用的合并候选(和/或单个合并候选列表)的情形相比,可以改善编码/解码性能。
[0257] 如上所述,编码器和解码器可以将相邻于PU的块,例如,在PU外部位置上最靠近于左下角的块、在相邻于PU左侧的块之中位于最下面部分的块、在PU外部位置上最靠近于右上角的块、在相邻于PU的上部的块之中位于最右侧的块,和位于PU所属的MER外部的块作为PU的合并候选块使用。在下文中,在本发明中,为了替换从相邻于PU的块中推导的合并候选,从位于PU所属的MER外部的块中推导的合并候选被称作MER合并候选。
[0258] 图14的实施例可以被认为是MER合并候选推导方法的实施例。在图14的实施例中,在一个合并候选共享单元中的所有PU可以共享通用的合并候选(和/或单个合并候选列表)。因此,在图14中,在一个MER(即,合并候选共享单元)中的所有PU可以具有相同的MER合并候选。MER合并候选可以如图14的实施例所示作为用于在一个MER中的所有PU的通用的合并候选推导,并且可以分别地对于包括在一个MER中PU的每个推导。与之相关联地,MER合并候选推导方法的实施例将在下文中另外描述。
[0259] 图15是示出推导MER合并候选的方法实施例的示意图。图15的1510和1520每个表示一个MER。
[0260] 参考图15的1510,包括在当前的MER 1510中的当前的PU 1515可以具有5个空间合并候选A0、A1、B0、B1和B2。但是,如在图14中图示的,对应于空间合并候选的块不可以包括在并行ME中可用的运动信息,并且因此,可以被处理为是不可用的。在这种情况下,空间合并候选A0、A1、B0、B1和B2可以分别地由在图15的1510中示出的MER合并候选A0’、A1’、B0’、B1’和B2’替换。也就是说,编码器和解码器可以将MER合并候选A0’、A1’、B0’、B1’和B2’作为当前的PU1515的合并候选使用。由于在图15的1510中示出的MER合并候选的位置实际上与在图14的实施例中相同,将省略其详细说明。
[0261] 参考图15的1520,包括在当前的MER 1520中的当前的PU 1525可以类似于图15的1510具有5个空间合并候选A0、A1、B0、B1和B2。在这种情况下,合并候选A0、A1、B0和B1的位置可以由以下的坐标指定或者表示。
[0262] A0:(x-1,y+nPSH-1)
[0263] A1:(x-1,y+nPSH)
[0264] B0:(x+nPSW-1,y-1)
[0265] B1:(x+nPSW,y-1)
[0266] 在此处,(x,y)表示在当前的PU 1525中位于最左上部的像素的坐标,并且该坐标可以按照当前的PU 1525所属的图片的最左上部位置确定。此外,nPSH表示当前的PU 1525的高度,并且nPSW表示当前的PU 1525的宽度。
[0267] 同时,类似于图15的1510,与空间合并候选相对应的块不可以包括在并行ME中可用的运动信息,并且因此,可以被处理为是不可用的。在这种情况下,空间合并候选A0、A1、B0、B1和B2可以以在图15的1510中示出的MER合并候选A0’、A1’、B0’、B1’和B2’替换。也就是说,编码器和解码器可以将MER合并候选A0’、A1’、B0’、B1’和B2’作为当前的PU 1515的合并候选使用。
[0268] 在此处,MER合并候选A0’可以基于具有与在相邻于当前的MER1520左侧的块之中的块A0相同水平位置的块A0’推导,并且MER合并候选A1’可以基于具有与在相邻于当前的MER 1520左侧的块之中的块A1相同水平位置的块A1’推导。此外,MER合并候选B1’可以基于具有与在相邻于当前的MER 1520上部的块之中的块B0相同垂直位置的块B1’推导,并且MER合并候选B0’可以基于相邻于块B1’右侧的块B0’推导。在这种情况下,合并候选A0’、A1’、B0’和B1’的位置可以由以下的坐标指定或者表示。
[0269] A0’:(((x>>nMER)<
[0270] A1’:(((x>>nMER)<
[0271] B0’:(x+nPSW-1,((y>>nMER)<
[0272] B1’:(x+nPSW,((y>>nMER)<
[0273] 在此处,nMER可以表示MER的大小(即,宽度/高度)的log值。
[0274] 此外,在图15的1520中,编码器和解码器可以通过将其处理为是不可用的而不使用合并候选B2,并且可以将其替换为MER合并候选B2’。如果MER合并候选B2’用作当前的PU 1525的合并候选,则MER合并候选B2’可以基于在相邻于当前的MER 1520的左侧块之中具有与块B2相同水平位置的左侧块1531,或者在相邻于当前的MER 1520的上部块之中具有与块B2相同垂直位置的上部块1533推导。例如,编码器和解码器可以检查左侧块1531是否是可用的。在这种情况下,如果左侧块1531是可用的,则编码器和解码器可以基于左侧块1531推导MER合并候选B2’,并且如果左侧块1531是不可用的,可以基于上部块1533推导MER合并候选B2’。
[0275] 在图15的1520的实施例中,位于靠近于当前的PU 1520的块可以用作合并候选块。因此,与图15的1510的实施例相比,可以改善编码效率。
[0276] 同时,如果推导当前的PU 1525的MER合并候选,则编码器和解码器可以基于推导的MER合并候选产生合并候选列表。在这种情况下,多个MER合并候选可以以特定的顺序被增加和/或插入到合并候选列表中。由于较小的合并索引被分配给首先增加给合并候选列表的MER合并候选,具有当推导当前的PU的运动的时候要使用的高可能性的MER合并候选可以优先地增加给合并候选列表,从而能够降低从编码器发送到解码器的信息量。为此,该编码器和解码器可以优先地将对应于位于靠近于当前的PU 1520的块的MER合并候选增加给合并候选列表。
[0277] 从当前的PU 1520到MER的水平距离可以由在当前的PU 1520中从位于最左上部的像素到MER的左边界的距离指示。此外,从当前的PU 1520到MER的垂直距离可以由在当前的PU 1520中从位于最左上部的像素到MER的上边界的距离表示。因此,从当前的PU 1520到MER的水平距离和垂直距离可以例如由以下的公式1表示。
[0278] [公式1]
[0279] distX=x%nMER
[0280] distY=y%nMER
[0281] 在此处,distX表示从当前的PU 1520到MER的水平距离,并且distY表示从当前的PU 1520到MER的垂直距离。(x,y)表示在当前的PU 1520中位于最左上部的像素的坐标,并且nMER表示MER的大小。
[0282] 例如,如果disX的值小于distY的值,与相邻于MER上部的块相比,由于相邻于MER左侧的块靠近于当前的PU 1520,所以编码器和解码器可以在增加MER合并候选B1’和B0’之前首先将MER合并候选A1’和A0’增加给合并候选列表。例如,如果distX的值小于distY的值,则MER合并候选可以以A1’、A0’、B1’和B0’的顺序被增加给合并候选列表。换句话说,(即,如果distX的值大于或等于distY的值),则MER合并候选可以以B1’、B0’、A1’和A0’的顺序被增加给合并候选列表。对于另一个示例,如果distX的值小于distY的值,则MER合并候选可以以A1’、B1’、A0’和B0’的顺序被增加给合并候选列表。换句话说,(即,如果distX的值大于或等于distY的值),则MER合并候选可以以B1’、A1’、B0’和A0’的顺序被增加给合并候选列表。
[0283] 图16是示出推导MER合并候选的方法的另一个实施例的示意图。图16的1610表示一个MER。
[0284] 参考图16,单个MER 1610可以包括多个PU。在下文中,仅对于图16的实施例,在PU中位于最左上部的像素被称作左上像素,位于PU的最右上部的像素被称作右上像素,并且在PU中位于最左下部的像素被称作左下像素。在图16的实施例中,可以对于属于MER 1610的多个PU的每个推导四个MER合并候选。
[0285] 在图16中,相邻于MER上部的两个块的运动信息,和相邻于MER左侧的两个块的运动信息可以用作用于一个PU的MER合并候选。在此处,相邻于MER上部的两个块可以分别地是包括位于与PU的左上像素相同垂直线的像素的块,和包括位于与PU的右上像素相同垂直线的像素的块。此外,相邻于MER左侧的两个块可以分别地是包括位于与PU的左上像素相同水平线的像素的块,和位于与PU的左下像素相同水平线的像素的块。
[0286] 参考图16,PU,即,PU0可以将相邻于MER的上部的两个块T0和T1的运动信息,和相邻于MER的左侧的两个块L0和L1的运动信息作为MER合并候选使用。在此处,块T0可以是包括位于与PU0的左上像素相同垂直线的像素的块,并且块T1可以是包括位于与PU0的右上像素相同垂直线的像素的块。此外,块L0可以是包括位于与PU0的左上像素相同水平线的像素的块,并且块L1可以是包括位于与PU0的左下像素相同水平线的像素的块。
[0287] 再次参考图16,PU,即,PU1可以将相邻于MER的上部的两个块T2和T3的运动信息,和相邻于MER的左侧的两个块L2和L3的运动信息作为MER合并候选使用。在此处,块T2可以是包括位于与PU1的左上像素相同垂直线的像素的块,并且块T3可以是包括位于与PU1的右上像素相同垂直线的像素的块。此外,块L2可以是包括位于与PU1的左上像素相同水平线的像素的块,并且块L3可以是包括位于与PU1的左下像素相同水平线的像素的块。
[0288] 图17是示出推导MER合并候选的方法的另一个实施例的示意图。图17的1710表示一个MER。
[0289] 参考图17,单个MER 1710可以包括多个PU。在下文中,仅对于图17的实施例,在PU中位于最左上部的像素被称作左上像素,位于PU的最右上部的像素被称作右上像素,并且在PU中位于最左下部的像素被称作左下像素。在图17的实施例中,类似于图16的实施例,可以对于属于MER 1710的多个PU的每个推导四个MER合并候选。
[0290] 在图17中,相邻于MER上部的两个块(在此处,两个块可以是在每个MER外部位置上最靠近于左上角的块,或者在MER外部位置上最靠近于右上角的块,并且在下文中,也同样适用)的运动信息,和相邻于MER左侧的两个块(在此处,两个块可以是在每个MER外部位置上最靠近于左上角的块,或者在MER外部位置上最靠近于左上角的块,并且在下文中,也同样适用)的运动信息可以用作MER合并候选。在此处,相邻于MER上部的两个块可以分别地是包括位于与相邻于左上像素(即,在PU中的像素)左侧的像素相同垂直线的像素的块,和包括位于与相邻于右上像素(即,在PU中的像素)右侧的像素相同垂直线的像素的块。此外,相邻于MER左侧的两个块可以分别地是包括位于与相邻于左上像素(即,在PU中的像素)上部的像素相同垂直线的像素的块,和包括位于与相邻于左下像素(即,在PU中的像素)下部的像素相同垂直线的像素的块。
[0291] 参考图17,PU,即,PU0可以将相邻于MER的上部的两个块T0和T1的运动信息,和相邻于MER的左侧的两个块L0和L1的运动信息作为MER合并候选使用。在此处,块T0可以是包括位于与相邻于左上像素(即,在PU0中的像素)的左侧的像素相同垂直线的像素的块。块T1可以是包括位于与相邻于右上像素(即,在PU0中的像素)的右侧的像素相同垂直线的像素的块。此外,块L0可以是包括位于与相邻于左上像素(即,在PU0中的像素)的上部的像素相同水平线的像素的块。块L1可以是包括位于与相邻于左下像素(即,在PU0中的像素)的下部的像素相同水平线的像素的块。
[0292] 图18是示出推导MER合并候选的方法的另一个实施例的示意图。图18的1810指示一个MER。
[0293] 参考图18,单个MER 1810可以包括多个PU。在下文中,仅对于图18的实施例,在PU中位于最左上部的像素被称作左上像素。在图18的实施例中,可以对于属于MER 1810的多个PU的每个推导两个MER合并候选。
[0294] 在图18的实施例中,相邻于MER上部的一个块的运动信息和相邻于MER左侧的一个块的运动信息可以用作用于一个PU的MER合并候选。在此处,相邻于MER上部的块可以是包括位于与PU的左上像素相同垂直线的像素的块。此外,相邻于MER左侧的块可以是包括位于与PU的左上像素相同水平线的像素的块。
[0295] 参考图18,PU,即,PU0可以将相邻于MER上部的一个块T的运动信息,和相邻于MER左侧的一个块L的运动信息作为MER合并候选使用。在此处,块T可以是包括位于与PU0的左上像素相同垂直线的像素的块。此外,块L可以是包括位于与PU0的左上像素相同水平线的像素的块。
[0296] 图19是示出推导MER合并候选的方法的另一个实施例的示意图。图19的1910指示一个MER。
[0297] 参考图19,单个MER 1910可以包括多个PU。在下文中,仅对于图19的实施例,位于PU的最右上部的像素被称作右上像素,和位于PU的最左下部的像素被称作左下像素。在图19的实施例中,类似于图18的实施例,可以对于属于MER 1910的多个PU的每个推导两个MER合并候选。
[0298] 在图19的实施例中,相邻于MER上部的一个块的运动信息和相邻于MER左侧的一个块的运动信息可以用作用于一个PU的MER合并候选。在此处,相邻于MER上部的块可以是包括位于与PU的右上像素相同垂直线的像素的块。此外,相邻于MER左侧的块可以是包括位于与PU的左下像素相同水平线的像素的块。
[0299] 参考图19,PU,即,PU0可以将相邻于MER上部的一个块T的运动信息,和相邻于MER左侧的一个块L的运动信息作为MER合并候选使用。在此处,块T可以是包括位于与PU0的右上像素相同垂直线的像素的块。此外,块L可以是包括位于与PU0的左下像素相同水平线的像素的块。
[0300] 图20是示出推导MER合并候选的方法的另一个实施例的示意图。图20的2010指示一个MER。
[0301] 参考图20,单个MER 2010可以包括多个PU。在下文中,仅对于图20的实施例,在PU中位于最左上部的像素被称作左上像素,位于PU的最右上部的像素被称作右上像素,并且在PU中位于最左下部的像素被称作左下像素。在图20的实施例中,可以对于属于MER 2010的多个PU的每个推导四个MER合并候选。
[0302] 在图20中,可以基于在MER中PU的位置推导PU的MER合并候选。也就是说,可以基于从PU到MER的水平距离和垂直距离推导PU的MER合并候选。在此处,从PU到MER的水平距离可以暗指从PU的左上像素到MER的左边界的距离。此外,从PU到MER的垂直距离可以暗指从PU的左上像素到MER的上边界的距离。
[0303] 例如,如果从PU到MER的水平距离比垂直距离更近,则相邻于MER(在此处,在四个块之中,两个块可以分别地是在MER外部位置上最靠近于左上角的块,和在MER外部位置上最靠近于左下角的块,并且,在下文中,也同样适用)左侧的四个块的运动信息可以用作PU的MER合并候选。相邻于MER左侧的四个块可以分别地是包括位于与相邻于左上像素(即,在PU中的像素)上部的像素相同水平线的像素的块、包括位于与左上像素(即,在PU中的像素)相同水平线的像素的块、包括位于与左下像素(即,在PU中的像素)相同水平线的像素的块,和包括位于与相邻于左下像素(即,在PU中的像素)下部的像素相同水平线的像素的块。
[0304] 在其他方面,相邻于MER(在此处,在四个块之中,两个块可以分别地是在MER外部位置上最靠近于左上角的块,和在MER外部位置上最靠近于右上角的块)上部的四个块的运动信息可以用作PU的MER合并候选。在此处,相邻于MER上部的四个块可以分别地是包括位于与相邻于左上像素(即,在PU中的像素)左侧的像素相同垂直线的像素的块、包括位于与左上像素(即,在PU中的像素)相同垂直线的像素的块、位于与右上像素(即,在PU中的像素)相同垂直线的块,和包括位于与相邻于右上像素(即,在PU中的像素)右侧的像素相同垂直线的像素的块。
[0305] 参考图20,关于PU0,到MER的垂直距离可能比水平距离更近。因此,PU0可以将相邻于MER上部的四个块T0、T1、T2和T3的运动信息作为MER合并候选使用。在此处,块T0可以是包括位于与相邻于左上像素(即,在PU0中的像素)的左侧的像素相同垂直线的像素的块。块T1可以是包括位于与左上像素(即,在PU0中的像素)相同垂直线的像素的块。此外,块T2可以是包括位于与右上像素(即,在PU0中的像素)相同垂直线的像素的块。块T3可以是包括位于与相邻于右上像素(即,在PU0中的像素)的右侧的像素相同垂直线的像素的块。
[0306] 再次参考图20,关于PU1,到MER的水平距离可能比垂直距离更近。因此,PU1可以将相邻于MER左侧的四个块L0、L1、L2和L3的运动信息作为MER合并候选使用。在此处,块L0可以是包括位于与相邻于左上像素(即,在PU1中的像素)的上部的像素相同垂直线的像素的块。块L1可以是包括位于与左上像素(即,在PU1中的像素)相同垂直线的像素的块。此外,块L2可以是包括位于与左下像素(即,在PU1中的像素)相同垂直线的像素的块。块L3可以是包括位于与相邻于左下像素(即,在PU1中的像素)的下部的像素相同垂直线的像素的块。
[0307] 图21是示出推导MER合并候选的方法的另一个实施例的示意图。图21的2110表示一个MER。
[0308] 参考图21,单个MER 2110可以包括多个PU。在下文中,仅对于图21的实施例,在PU中位于最左上部的像素被称作左上像素,位于PU的最右上部的像素被称作右上像素,并且在PU中位于最左下部的像素被称作左下像素。在图21的实施例中,可以对于属于MER 2110的多个PU的每个推导两个MER合并候选。
[0309] 在图21中,可以基于在MER中PU的位置推导PU的MER合并候选。也就是说,可以基于从PU到MER的水平距离和垂直距离推导PU的MER合并候选。在此处,从PU到MER的水平距离可以暗指从PU的左上像素到MER的左边界的距离。此外,从PU到MER的垂直距离可以暗指从PU的左上像素到MER的上边界的距离。
[0310] 例如,如果从PU到MER的水平距离比垂直距离更近,则相邻于MER(在此处,两个块可以分别地是在MER外部位置上最靠近于左上角的块,和在MER外部位置上最靠近于左下角的块,并且,在下文中,也同样适用)左侧的两个块的运动信息可以用作PU的MER合并候选。相邻于MER左侧的两个块可以分别地是包括位于与左上像素(即,在PU中的像素)相同水平线的像素的块,和位于与PU的左下像素相同水平线的像素的块。
[0311] 另一方面,相邻于MER(在此处,两个块可以分别地是在MER外部位置上最靠近于左上角的块,和在MER外部位置上最靠近于右上角的块)上部的两个块的运动信息可以用作PU的MER合并候选。在此处,相邻于MER上部的两个块可以分别地是包括位于与PU的左上像素相同垂线的像素的块,和位于与PU的右上像素相同垂线的像素的块。
[0312] 参考图21,关于PU0,到MER的垂直距离可能比水平距离更近。因此,PU0可以将相邻于MER上部的两个块T0和T1的运动信息作为MER合并候选使用。在此处,块T0可以是包括位于与PU0的左上像素相同垂直线的像素的块。此外,块T1可以是包括位于与PU0的右上像素相同垂直线的像素的块。
[0313] 再次参考图21,关于PU1,到MER的水平距离可能比垂直距离更近。因此,PU1可以将相邻于MER左侧的两个块L0和L1的运动信息作为MER合并候选使用。在此处,块L0可以是包括位于与PU1的左上像素相同垂直线的像素的块。此外,块L1可以是包括位于与PU1的左下像素相同垂直线的像素的块。
[0314] 图22是示出推导MER合并候选的方法的另一个实施例的示意图。图22的2210指示一个MER。
[0315] 参考图22,单个MER 2210可以包括多个PU。在下文中,仅对于图22的实施例,位于PU的最右上部的像素被称作右上像素,和位于PU的最左下部的像素被称作左下像素。
[0316] 再次参考图22,PU0可以具有五个空间合并候选A0、A1、B0、B1和B2。但是,如上所述,该空间合并候选在以合并模式和/或跳跃模式的并行ME中是不可用的。例如,如果用作合并候选的块包括在与PU0相同的MER中,由于该块对应于在ME中没有对其完成编码/解码的块,则该块不能在并行ME中使用。此外,用作合并候选的块可以处于在PU0的并行ME中按照编码/解码顺序没有完成编码和/或解码的状态之中。
[0317] 同时,在图22的实施例中,关于属于MER 2210的PU0,可以推导高达四个MER合并候选。四个MER合并候选可以是相邻于MER(在此处,两个块的一个可以是在MER外部位置上最靠近于右上角的块,并且在下文中,也同样适用)上部的两个块T0和T1的运动信息,和相邻于MER(在此处,两个块的一个可以是在MER外部位置上最靠近于左下角的块,并且在下文中,也同样适用)左侧的两个块L0和L1的运动信息。在此处,相邻于MER上部的两个块可以分别地是位于与右上像素(即,在PU0中的像素)相同垂直线的块T0,和包括位于与相邻于右上像素(即,在PU0中的像素)右侧的像素相同垂直线的像素的块T1。此外,相邻于MER左侧的两个块可以分别地是位于与左下像素(即,在PU0中的像素)相同垂直线的块L0,和包括位于与相邻于左下像素(即,在PU0中的像素)下部的像素相同垂直线的像素的块L1。
[0318] 在这种情况下,仅对于在PU0的合并候选A0、A1、B0和B1之中不可用的合并候选,编码器和解码器可以推导与其对应的MER合并候选。在MER中PU的每个空间合并候选在并行ME中是否是可用的按照PU的位置确定,并且因此,在这种情况下,可以认为对于PU0推导的MER合并候选基于PU的位置确定。
[0319] 参考图22,如果PU0的合并候选A1在并行合并模式/并行跳跃模式ME中是不可用的,则块L0的运动信息可以用作PU0的MER合并候选。此外,如果PU0的合并候选A0在并行合并模式/并行跳跃模式ME中是不可用的,则块L1的运动信息可以用作PU0的MER合并候选。此外,如果PU0的合并候选B1在并行合并模式/并行跳跃模式ME中是不可用的,则块T0的运动信息可以用作PU0的MER合并候选,并且如果PU0的合并候选B0在并行合并模式/并行跳跃模式ME中是不可用的,则块T1的运动信息可以用作PU0的MER合并候选。
[0320] 图23是示出推导MER合并候选的方法的另一个实施例的示意图。图23的2310指示一个MER。
[0321] 参考图23,包括在MER 2310中的PU0 2320可以具有五个空间合并候选A0、A1、B0、B1和B2。此外,虽然在图23中未示出,如上参考图7所述,PU0 2320可以具有时间合并候选。
[0322] 如上参考图22所述,在MER中的任何PU的空间合并候选在以合并模式和/或跳跃模式的并行ME中是不可用的。在图23的实施例中,由于用于推导PU0 2320的空间合并候选的所有块包括在与PU0 2320相同的MER中,PU0 2320的空间合并候选被处理为是不可用的,并且因此,不可以包括在合并候选列表中。
[0323] 同时,如上所述构成合并候选列表的合并候选的数目可以局限于特定的固定数目。在图23的实施例中,为了解释方便起见,假设构成合并候选列表的合并候选的数目限于5。在这种情况下,对于PU推导的可用的合并候选(即,空间合并候选和时间合并候选)的数目由于前面提到的原因可能少于5,并且即使可用的空间合并和时间合并候选被增加给合并候选列表,该合并候选列表可能没有被完全地填充。在这种情况下,在时间合并候选被增加给合并候选列表之后,编码器和解码器可以推导MER合并候选,以另外将其以特定的顺序增加给合并候选列表,从而允许构成合并候选列表的合并候选的数目是5个。也就是说,编码器和解码器可以将MER合并候选增加或者插入合并候选列表,直到构成合并候选列表的合并候选的数目是5。
[0324] 参考图23,块L0、L1、T0和T1的运动信息可以用作另外插入PU0 2320的合并候选列表的MER合并候选。在此处,块L0可以是在相邻于MER左侧的块之中位于最上部的块,并且块L1可以是在相邻于MER左侧的块之中位于最下部的块。此外,块T0可以是在相邻于MER上部的块之中位于最左部分的块,并且块T1可以是在相邻于MER上部的块之中位于最右部分的块。
[0325] 为了允许构成合并候选列表的合并候选的数目是5,另外插入合并候选列表中的MER合并候选的数目按照PU的位置等是可变的。因此,可以预先确定将前面提到的MER合并候选插入合并候选列表的顺序。例如,编码器和解码器可以另外以对应于块L1的MER合并候选、对应于块T1的MER合并候选、对应于块L0的MER合并候选,和对应于块T0的MER合并候选的顺序将MER合并候选增加给合并候选列表。
[0326] 图24是示出推导MER合并候选的方法的另一个实施例的示意图。图24的2410指示一个MER。
[0327] 参考图24,包括在MER 2410中的PU0 2420可以具有五个空间合并候选A0、A1、B0、B1和B2。此外,虽然在图24中未示出,如上参考图7所述,PU0 2420可以具有时间合并候选。但是,如上参考图23所述,在MER中的任何PU的空间合并候选可以在以合并模式和/或跳跃模式的并行ME中被处理为是不可用的,并且因此,不可以包括在合并候选列表中。
[0328] 在这种情况下,编码器和解码器可以另外以与图23的实施例相同的方式将MER合并候选增加给合并候选列表。例如,如果构成合并候选列表的合并候选的数目局限于5,则编码器和解码器可以将MER合并候选增加或者插入合并候选列表,直到合并候选的数目是5。
[0329] 参考图24,块L1和T1的运动信息可以用作另外插入PU0 2420的合并候选列表的MER合并候选。在此处,块L1可以是在相邻于MER左侧的块之中位于最下部的块。此外,块T1可以是在相邻于MER上部的块之中位于最右部分的块。
[0330] 此外,如上参考图23所述,另外插入合并候选列表的MER合并候选的数目按照PU的位置等是可变的。因此,在图24的实施例中,可以预先确定将前面提到的MER合并候选插入合并候选列表的顺序。例如,编码器和解码器可以另外以对应于块L1的MER合并候选,和对应于块T1的MER合并候选的顺序将MER合并候选插入合并候选列表。
[0331] 同时,如在前面提到的图13至图24的实施例中,如果对于一个PU推导通用的合并候选和/或MER合并候选,推导的通用的合并候选和/或MER合并候选可以增加或者插入PU的合并候选列表。在下文中,在以下的实施例中,为了解释方便起见,通用的合并候选和MER合并候选共同地称作并行合并候选。
[0332] 如果没有应用并行合并候选,如上参考图7所述,该PU的空间合并候选可以从相邻于PU的块,和位置最靠近于当前块的转角的块推导。此外,PU的时间合并候选可以从包括在参考图片中的col块推导。在下文中,当并行合并候选没有如在图7的实施例中应用的时候用于PU的合并候选被称作PU合并候选。
[0333] 如上所述,包括在与PU相同的MER中的合并候选可以在对应于一个PU的PU合并候选的空间候选之中存在。在这种情况下,包括在与PU相同的MER中的合并候选不可以在并行ME中包括可用的运动信息。因此,对于PU推导的可用的PU合并候选的数目可以小于构成合并候选列表需要的合并候选的数目。在此处,构成合并候选列表需要的合并候选的数目可以是预先确定的值。例如,构成合并候选列表的合并候选的数目可以是5。
[0334] 在这种情况下,编码器和解码器可以另外以特定的顺序将并行合并候选插入合并候选列表。在这种情况下,另外插入合并候选列表的并行合并候选可以在合并候选列表中位于可用的PU合并候选之后。也就是说,合并候选可以以并行合并候选的顺序插入合并候选列表。
[0335] 例如,假设如图7的720所示的PU合并候选应用于当前的PU。在这种情况下,编码器和解码器可以将在当前的PU外部位置上最靠近于左下角的块A0、在相邻于当前的PU左侧的块之中位于最下部的块A1、在当前的PU外部位置上最靠近于右上角的块B0、在相邻于当前的PU的上部的块之中位于最右部分的块B1、在当前的PU外部位置上最靠近于左上角的块B2,和块COL的运动信息作为当前的PU的PU合并候选使用。在这种情况下,例如,PU合并候选可以以A1、B1、B0、A0、B2和COL的顺序增加和/或插入合并候选列表。
[0336] 但是,如果当前的PU在MER内部存在,则当执行合并模式和/或跳跃模式并行ME的时候,对应于PU合并候选的空间合并候选A1、B1、B0、A0和B2是不可用的。在这种情况下,仅对应于PU合并候选的时间合并候选COL可以被增加给合并候选列表。
[0337] 在这种情况下,在PU合并候选被增加给合并候选列表之后,编码器和解码器可以插入并行合并候选。例如,对于当前的PU推导的并行合并候选分别地称作A1’、B1’、B0’、A0’和B2’。在这种情况下,对应于PU合并候选和并行合并候选的时间合并候选可以以COL、A1’、B1’、B0’、A0’和B2’的顺序增加和/或插入合并候选列表。在这种情况下,编码器和解码器可以增加并行合并候选,直到构成合并候选列表的合并候选的数目是最大数(例如,5)。
[0338] 同时,即使可用的PU合并候选和可用的并行合并候选被增加给合并候选列表,可能存在合并候选列表没有完全地填充的情形。在这种情况下,编码器和解码器可以基于已经增加给合并候选列表的合并候选推导新的合并候选,并且可以将其增加给合并候选列表。在这种情况下,编码器不仅可以使用PU合并候选,而且可以使用并行合并候选去推导新的合并候选。
[0339] 基于已经增加给合并候选列表的合并候选推导的新的合并候选的示例可以包括合并的双预测候选(CB)、非标度的双预测候选,和/或零运动候选(零)等。在此处,CB可以基于在已经增加给合并候选列表的合并候选之中的两个合并候选推导。例如,CB的L0运动信息可以基于两个合并候选的一个推导,并且CB的L1运动信息可以基于两个合并候选的另一个推导。也就是说,CB可以通过合并两个合并候选每个的运动信息推导。此外,NB的L0运动信息和L1运动信息可以基于在已经增加给合并候选列表的合并候选之中的一个合并候选,经由特定的条件和操作推导。此外,零可以暗指包括零失量(0,0)的运动信息。
[0340] 新近推导和另外插入合并候选列表的合并候选CB、NB和零可以在合并候选列表中位于可用的PU合并候选和可用的并行合并候选之后。也就是说,该合并候选可以以PU合并候选、并行合并候选,和基于PU合并候选和并行合并候选推导的CB、NB和零的顺序插入合并候选列表。例如,如果假设对于一个PU推导三个CB,即,CB0、CB1和CB2,一个NB,即,NB0,和一个零,合并候选可以以COL、A1’、B1’、B0’、A0’、B2’、CB0、CB1、CB2、NB0和零的顺序增加和/或插入合并候选列表。在这种情况下,编码器和解码器可以增加并行合并候选,直到构成合并候选列表的合并候选的数目是最大数(例如,5)。
[0341] 虽然前面提到的示例性系统已经基于在其中依次列出步骤或者模块的流程图描述,但本发明的步骤不局限于某个顺序。因此,某个步骤可以在不同的步骤中,或者以不同的顺序或者相对于如上所述的同时执行。此外,本领域技术人员应该明白,该流程图的步骤不是排它的。而是,在其中可以包括另外的步骤,或者可以在本发明的范围内删除一个或多个步骤。
[0342] 前面提到的实施例包括各种示例性方面。虽然不能描述用于表示各种方面的所有可能的组合,但本领域技术人员应该理解,其它的组合也是可能的。因此,所有替换、修改和变化将落在本发明的权利要求书的精神和范围内。