执行去块滤波的对视频进行解码的设备转让专利

申请号 : CN201610835651.1

文献号 : CN106162178B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 韩宇镇艾琳娜·阿尔辛娜闵正惠亚历山大·阿尔辛金壹求尼古拉·斯利亚科夫李泰美李善一千岷洙陈建乐范迪姆·谢廖金洪允美

申请人 : 三星电子株式会社

摘要 :

提供了一种执行去块滤波的对视频进行解码的设备。一种基于编码单元执行去块滤波的对视频进行编码的方法,所述方法包括:基于根据深度被分层配置的编码单元以及分别用于编码单元的预测和变换的预测单元和变换单元中的至少一个数据单元来确定将执行去块滤波的滤波边界,所述深度指示所述至少一个最大编码单元在空间上被划分的次数;基于根据滤波边界的邻近像素所属的编码单元的预测模式以及与滤波边界邻近的像素的变换系数值,来确定滤波边界处的滤波强度;基于确定的滤波强度,执行去块滤波。

权利要求 :

1.一种执行去块滤波的对视频进行解码的设备,所述设备包括:

接收器,接收比特流,并从比特流提取根据多个编码单元编码的图像数据、划分信息和关于多个编码单元的预测模式信息;

解码器,使用编码单元的最大尺寸将画面划分为多个最大编码单元,基于划分信息将最大编码单元分层划分为一个或更多个编码单元,使用分块类型信息来确定编码单元中的一个或更多个预测单元,使用编码单元中的一个或更多个变换单元的划分信息来确定所述一个或更多个变换单元,对编码单元中的预测单元执行预测并对编码单元中的变换单元执行逆变换以产生重建的编码单元,当包括在重建的编码单元中的边界与预测单元的边界和变换单元的边界中的至少一个边界相应时,基于非零变换系数、预测模式信息、运动矢量和参考索引中的至少一个来确定所述包括在重建的编码单元中的边界的边界强度,基于边界强度和与所述包括在重建的编码单元中的边界邻近的相邻像素来确定包括滤波器抽头数和将被去块滤波的像素的位置中的至少一个的去块滤波方法,并根据去块滤波方法对将被去块滤波的像素执行去块滤波以产生包括去块滤波后的像素的滤波后的编码单元,其中,分块类型信息指示对称类型和非对称类型之一,所述一个或更多个变换单元是具有水平尺寸和垂直尺寸的矩形,其中,

当划分信息指示对当前深度进行划分时,独立于相邻编码单元,当前深度的编码单元被划分为更低深度的编码单元,以及当划分信息指示不对当前深度进行划分时,至少一个预测单元从当前深度的编码单元而被获得,

其中,所述包括在重建的编码单元中的边界通过使用关于去块滤波的信息而被确定,其中,关于去块滤波的信息包括指示所述一个或更多个变换单元的水平尺寸和垂直尺寸的关于变换单元的尺寸信息,其中,当所述包括在重建的编码单元中的边界不是画面的边界时,去块滤波根据去块滤波方法而被执行。

2.如权利要求1所述的设备,其中,所述包括在重建的编码单元中的边界与预测单元的边界和变换单元的边界中的至少一个边界相应。

3.如权利要求1所述的设备,其中,解码器基于根据边界的相邻像素所属的编码单元的预测模式是帧内模式还是帧间模式以及相邻像素的变换系数值是否是0来确定边界强度。

4.如权利要求1所述的设备,其中,当相邻像素所属的编码单元的预测模式是帧间模式并且变换系数是0时,解码器基于用于相邻像素所属的预测单元的运动预测的参考帧和运动矢量来确定边界强度。

说明书 :

执行去块滤波的对视频进行解码的设备

[0001] 本申请是向中国知识产权局提交的申请日为2011年4月13日、申请号为201180029233.9、发明名称为“基于树结构的编码单元执行去块滤波的视频编码方法和视频编码设备以及视频解码方法和视频解码设备”的申请的分案申请。

技术领域

[0002] 本发明涉及对视频进行编码和解码。

背景技术

[0003] 随着用于再现和存储高分辨率或高质量视频内容的硬件的开发和提供,对用于有效地对高清晰度或高质量视频内容进行编码或解码的视频编解码器的需要正在增加。在传统的视频编解码器中,根据基于具有预定尺寸的宏块的受限的编码方法对视频进行编码。
[0004] 由于在块边界的不连续的像素值,基于宏块的预测编码方法可产生块效应。因此,在视频编解码器中,执行去块滤波以提高视频压缩性和恢复图像的质量。

发明内容

[0005] 技术问题
[0006] 本发明提供一种通过使用克服了传统的基于宏块的编码方法的限制且具有新的树结构的编码单元来在视频编解码器中执行去块滤波的方法。
[0007] 技术方案
[0008] 本发明提供一种用于执行去块滤波的方法和设备,所述方法和设备在基于树结构的编码单元被编码的视频中减少了在编码单元的边界区域产生的去块效应。
[0009] 有益效果
[0010] 根据本发明的实施例,可通过基于树结构的编码单元从压缩和恢复的视频中去除去块效应来显著提高压缩和恢复的视频的质量。

附图说明

[0011] 图1是根据本发明实施例的用于基于根据树结构的编码单元执行去块滤波来对视频进行编码的设备的框图;
[0012] 图2是根据本发明实施例的用于基于根据树结构的编码单元执行去块滤波来对视频进行解码的设备的框图;
[0013] 图3是用于描述根据本发明实施例的编码单元的概念的示图;
[0014] 图4是根据本发明实施例的基于编码单元的图像编码器的框图;
[0015] 图5是根据本发明实施例的基于编码单元的图像解码器的框图;
[0016] 图6是示出根据本发明实施例的根据深度的更深编码单元和预测单元的示图;
[0017] 图7是用于描述根据本发明实施例的编码单元和变换单元之间的关系的示图;
[0018] 图8是用于描述根据本发明实施例的与编码深度相应的编码单元的编码信息的示图;
[0019] 图9是根据本发明实施例的根据深度的更深编码单元的示图;
[0020] 图10至图12是用于描述根据本发明实施例的编码单元、预测单元和变换单元之间的关系的示图;
[0021] 图13是用于描述根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系的示图;
[0022] 图14示出最大编码单元、通过划分每个最大编码单元获得的根据树结构的编码单元、通过子划分每个编码单元获得的预测单元以及包括变换单元的数据单元;
[0023] 图15至图17均示出针对图14的数据单元的基于具有预定尺寸或大于预定尺寸的数据单元的边界而确定的滤波边界;
[0024] 图18是用于基于图17的滤波边界来描述根据本发明实施例的去块滤波处理的参考图;
[0025] 图19a和图19b示出位于滤波边界的像素以描述根据本发明实施例的去块滤波;
[0026] 图20a和图20b是根据本发明实施例的用于确定阈值α和β的参考表;
[0027] 图21是根据本发明实施例的用于描述针对阈值α设置偏移值的处理的参考图;
[0028] 图22a和图22b是根据本发明实施例的用于确定在去块滤波处理期间使用的预定中间值的参考表;
[0029] 图23是示出根据本发明实施例的基于编码单元对视频进行编码的方法的流程图;
[0030] 图24是示出根据本发明实施例的基于编码单元对视频进行解码的方法的流程图。
[0031] 最佳实施方式
[0032] 根据本发明的一方面,提供一种基于编码单元执行去块滤波的对视频进行编码的方法,所述方法包括:将一画面划分为至少一个最大编码单元,所述至少一个最大编码单元是具有最大尺寸的数据单元;确定根据深度被分层配置的编码单元以及分别用于编码单元的预测和变换的预测单元和变换单元,所述深度指示所述至少一个最大编码单元在空间上被划分的次数;基于编码单元、预测单元和变换单元中的至少一个数据单元确定将执行去块滤波的滤波边界;基于根据滤波边界的邻近像素所属的编码单元的预测模式以及与滤波边界邻近的像素的变换系数值,来确定滤波边界处的滤波强度;基于确定的滤波强度,执行去块滤波。
[0033] 根据本发明的另一方面,提供一种基于编码单元执行去块滤波的对视频进行解码的方法,所述方法包括:通过解析接收的比特流,根据包括在通过划分当前画面获得的每个最大编码单元中的根据树结构的编码单元,在最大编码单元中提取根据编码单元被编码的图像数据、关于根据树结构的编码单元的编码模式信息以及关于去块滤波的信息;根据编码单元确定用于预测和变换的预测单元和变换单元,并基于关于根据树结构的编码单元的编码模式信息,对编码图像数据进行解码;通过使用关于去块滤波的信息,从根据树结构的编码单元、预测单元和变换单元中的至少一个数据单元的边界中确定将执行去块滤波的滤波边界;基于根据确定的滤波边界的邻近像素所属的编码单元的预测模式以及与滤波边界邻近的像素的变换系数值,来确定滤波边界的滤波强度;基于确定的滤波强度,对解码图像数据执行去块滤波。
[0034] 根据本发明的另一方面,提供一种基于编码单元执行去块滤波的对视频进行编码的设备,所述设备包括:编码单元确定器,确定根据深度被分层配置的编码单元以及分别用于编码单元的预测和变换的预测单元和变换单元,所述深度指示至少一个最大编码单元在空间上被划分的次数,其中,最大编码单元是被划分的用于对一画面进行编码的具有最大尺寸的数据单元;去块滤波单元,基于编码单元、预测单元和变换单元中的至少一个数据单元确定将执行去块滤波的滤波边界,基于根据滤波边界的邻近像素所属的编码单元的预测模式以及与滤波边界邻近的像素的变换系数值,来确定滤波边界处的滤波强度,并基于确定的滤波强度,执行去块滤波;发送器,对关于去块滤波的信息进行编码,并发送所述信息与一画面的编码数据和关于根据树结构的编码单元的编码模式信息。
[0035] 根据本发明的另一方面,提供一种基于编码单元执行去块滤波的对视频进行解码的设备,所述设备包括:接收和提取单元,通过解析接收的比特流,根据包括在通过划分当前画面获得的每个最大编码单元中的根据树结构的编码单元,在最大编码单元中提取根据编码单元被编码的图像数据、关于根据树结构的编码单元的编码模式信息以及关于去块滤波的信息;解码器,根据编码单元确定用于预测和变换的预测单元和变换单元,并基于关于根据树结构的编码单元的编码模式信息,对编码图像数据进行解码;去块滤波单元,通过使用关于去块滤波的信息,从根据树结构的编码单元、预测单元和变换单元中的至少一个数据单元的边界中确定将执行去块滤波的滤波边界,基于根据确定的滤波边界的邻近像素所属的编码单元的预测模式以及与滤波边界邻近的像素的变换系数值,来确定滤波边界的滤波强度,并基于确定的滤波强度,对解码图像数据执行去块滤波。

具体实施方式

[0036] 图1是根据本发明实施例的基于编码单元执行去块滤波的视频编码设备100的框图。
[0037] 视频编码设备100包括编码单元确定器110、去块滤波单元130和发送器120。
[0038] 编码单元确定器110接收视频的一画面的图像数据,并将画面划分为至少一个最大编码单元,所述至少一个最大编码单元是具有最大尺寸的数据单元。根据本发明实施例的最大编码单元可以是尺寸为32×32、64×64、128×128、256×256等的数据单元,其中,数据单元的形状是宽度和长度为高于8的2的多次方的正方形。
[0039] 编码单元确定器110根据对每个最大编码单元在空间上划分的区域来确定具有分层结构的编码单元。可基于指示最大编码单元在空间上被划分的次数的深度来表示编码单元。具体地,根据树结构的编码单元包括有在最大编码单元中包括的根据深度的所有更深编码单元中的与被确定为编码深度的深度相应的编码单元。可在最大编码单元的相同区域中根据深度来分层确定编码深度的编码单元,并可在不同区域中独立确定编码深度的编码单元。
[0040] 编码单元确定器110可对包括在当前最大编码单元中的每个更深编码单元进行编码,并通过将根据区域的更高深度和更低深度的编码单元的编码结果进行比较来确定用于输出最佳编码结果的编码单元以及作为相应深度的编码深度。此外,可独立于另一区域的编码深度来确定当前区域的编码深度。
[0041] 因此,编码单元确定器110可按照根据每个最大编码单元的区域独立确定的编码深度来确定根据树结构的编码单元。此外,编码单元确定器110在确定编码深度的编码单元的同时执行预测编码。编码单元确定器110可在编码深度的编码单元中确定预测单元或分块,所述预测单元或分块是用于执行预测编码以输出最佳编码结果的数据单元。例如,针对尺寸为2N×2N(N是正整数)的编码单元的分块类型的示例可包括尺寸为2N×2N、2N×N、N×2N或N×N的分块。分块类型的示例包括通过将编码单元的高度或宽度进行对称划分而获得的对称分块、通过将编码单元的高度或宽度进行不对称划分(诸如1:n或n:1)而获得的分块、通过将预测单元进行几何划分而获得的分块以及具有任意形状的分块。此外,分块类型的预测模式可以是帧间模式、帧内模式、跳过模式等。
[0042] 根据本发明实施例的编码单元的特征在于最大尺寸和深度。深度表示编码单元从最大编码单元被分层划分的次数,并且随着深度加深,根据深度的更深编码单元可从最大编码单元被划分为最小编码单元。最大编码单元的深度是最高深度,最小编码单元的深度是最低深度。由于与每个深度相应的编码单元的尺寸随着最大编码单元的深度加深而减小,因此与更高深度相应的编码单元可包括多个与更低深度相应的编码单元。
[0043] 根据本发明实施例的最大深度是与从最大编码单元到最小编码单元的划分次数相关的索引。根据本发明实施例的第一最大深度可表示从最大编码单元到最小编码单元的总划分次数。根据本发明实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度级别的总数。例如,当最大编码单元的深度为0时,最大编码单元被划分一次的编码单元的深度可被设置为1,最大编码单元被划分两次的编码单元的深度可被设置为2。这里,如果最小编码单元是最大编码单元被划分四次的编码单元,则存在深度为0、1、2、3和4的5个深度级别,因此第一最大深度可被设置为4,第二最大深度可被设置为5。
[0044] 稍后,将参照图3至图12详细描述根据本发明实施例的最大编码单元中的根据树结构的编码单元以及确定分块的方法。
[0045] 去块滤波单元130基于编码单元、预测单元和变换单元中的至少一个数据单元确定将执行去块滤波的滤波边界,并基于根据确定的滤波边界的邻近像素所属的编码单元的预测模式以及与滤波边界邻近的像素的变换系数值,来确定滤波边界中的滤波强度,并基于滤波强度执行去块滤波。例如,当确定以下将描述编码单元、预测单元和变换单元时,去块滤波单元130可基于编码单元、预测单元和变换单元的尺寸,将具有预定尺寸或大于预定尺寸的数据单元的边界确定为将执行去块滤波的滤波边界,并对与滤波边界邻近的像素执行去块滤波。
[0046] 发送器120可对关于由去块滤波单元130确定的去块滤波的信息进行编码,并与画面的编码数据和关于最大编码单元的根据树结构的编码单元的编码模式信息一起发送所述信息。关于去块滤波的信息可从数据单元(诸如编码单元、预测单元和变换单元)的边界中包括滤波边界确定信息(诸如用于确定执行去块滤波的数据单元的数据单元的尺寸)。
[0047] 发送器120可将关于去块滤波的信息插入画面的序列参数集(SPS)或画面参数集(PPS),并发送所述信息。
[0048] 稍后,将参照图14至图24详细描述根据本发明实施例的确定用于去块滤波的滤波边界的处理及去块滤波处理。
[0049] 编码单元确定器110可基于考虑当前画面的特征而确定的最大编码单元的尺寸和最大深度来确定每个最大编码单元的具有最佳形状和尺寸的编码单元。此外,由于可通过使用每个最大编码单元的各种预测模式和变换方法中的任何一个来执行编码,因此可考虑各种图像尺寸的编码单元的图像特征来确定最佳编码模式。
[0050] 如果在传统的具有固定尺寸为16×16或8×8的宏块中对具有高清晰度或大数据量的图像进行编码,则每个画面的宏块的数量过度增加。因此,增加了针对每个宏块产生的压缩信息的条数,从而难以发送压缩信息,并且数据压缩效率降低。然而,通过使用编码单元确定器110,由于在考虑图像尺寸的同时增加编码单元的最大尺寸,且在考虑图像特征的同时调整编码单元,从而可提高视频的最终压缩效率。
[0051] 此外,可经由基于根据树结构的编码单元的去块滤波,通过使用经过去块滤波的参考画面来执行针对原始画面的具有减小误差的预测编码。
[0052] 图2是根据本发明实施例的基于根据树结构的编码单元执行去块滤波的视频解码设备200的框图。
[0053] 视频解码设备200包括接收和提取单元210、解码器220和去块滤波单元230。
[0054] 接收和提取单元210通过接收并解析关于视频的比特流,根据最大编码单元提取基于根据树结构的编码单元被编码的图像数据、关于编码单元的编码模式信息以及关于去块滤波的信息。接收和提取单元210可从画面的SPS或PPS提取关于去块滤波的信息。
[0055] 解码器220基于由接收和提取单元210提取的关于根据树结构的编码单元的编码模式信息,对根据编码单元被编码的图像数据进行解码。
[0056] 解码器220可基于根据最大编码单元的关于根据树结构的编码单元的编码模式信息,来确定包括在最大编码单元中的编码深度的编码单元以及编码单元的分块类型、预测模式和变换单元。
[0057] 解码器220可通过基于从包括在最大编码单元中的根据树结构的编码单元中的每个编码单元的确定的分块类型、预测模式和变换单元对编码图像数据进行解码,来对最大编码单元的编码图像数据进行解码。
[0058] 由解码器220解码的图像数据和由接收和提取单元210提取的关于去块滤波的信息被输入到去块滤波单元230。
[0059] 去块滤波单元230通过使用关于去块滤波的信息,从根据树结构的编码单元、预测单元和变换单元中的至少一个数据单元的边界中确定将执行去块滤波的滤波边界,基于根据滤波边界的邻近像素所属的编码单元的预测模式以及与滤波边界邻近的像素的变换系数值来确定滤波边界中的滤波强度,并基于滤波强度对解码图像数据执行去块滤波。
[0060] 通过使用去块滤波单元230,由于通过参考执行了去块滤波的参考画面对下一画面执行预测解码,因此可减小恢复图像与原始图像之间的误差。
[0061] 图3是用于描述根据本发明实施例的编码单元的概念的示图。
[0062] 编码单元的尺寸可表示为宽度×高度,并且可以是64×64、32×32、16×16和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的预测单元,32×32的编码单元可被划分为32×32、32×16、16×32或16×16的预测单元,16×16的编码单元可被划分为16×16、16×8、8×16或8×8的预测单元,8×8的编码单元可被划分为8×8、8×4、4×8或4×4的预测单元。
[0063] 在视频数据310中,分辨率是1920×1080,编码单元的最大尺寸是64,最大深度是2。在视频数据320中,分辨率是1920×1080,编码单元的最大尺寸是64,最大深度是3。在视频数据330中,分辨率是352×288,编码单元的最大尺寸是16,最大深度是1。图3中示出的最大深度表示从最大编码单元到最小编码单元的总划分数。
[0064] 如果分辨率高或数据量大,则编码单元的最大尺寸可以大,从而不但提高编码效率,而且精确地反映图像特征。因此,具有比视频数据330更高分辨率的视频数据310和320的编码单元的最大尺寸可以是64。
[0065] 由于视频数据310的最大深度是2,因此视频数据310的编码单元315可包括长轴尺寸为64的最大编码单元以及因通过划分最大编码单元两次而深度加深两层的长轴尺寸为32和16的编码单元。同时,由于视频数据330的最大深度是1,因此视频数据330的编码单元
335可包括长轴尺寸为16的最大编码单元以及因通过划分最大编码单元一次而深度加深一层的长轴尺寸为8的编码单元。
[0066] 由于视频数据320的最大深度是3,因此视频数据320的编码单元325可包括长轴尺寸为64的最大编码单元以及因通过划分最大编码单元三次而深度加深3层的长轴尺寸为32、16和8的编码单元。随着深度加深,可精确表示详细信息。
[0067] 图4是根据本发明实施例的基于编码单元的图像编码器400的框图。
[0068] 图像编码器400可对应于视频编码设备100。换言之,帧内预测器410对当前帧405中的处于帧内模式下的编码单元执行帧内预测,运动估计器420和运动补偿器425通过使用当前帧405和参考帧495对当前帧405中的处于帧间模式下的编码单元执行帧间估计和运动补偿。
[0069] 从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和量化器440被输出为量化的变换系数。量化的变换系数通过反量化器460和逆变换器470被恢复为空间域中的数据,恢复的空间域中的数据在通过去块单元480和环路滤波单元490进行后处理之后被输出为参考帧495。量化的变换系数可通过熵编码器450被输出为比特流455。
[0070] 图像编码器400的帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、逆变换器470、去块单元480和环路滤波单元490可根据最大编码单元考虑根据树结构的编码单元来进行操作。
[0071] 具体地,去块单元480基于编码单元的最大尺寸和根据树结构的编码单元来确定将执行去块滤波的滤波边界,基于根据滤波边界的邻近像素所属的编码单元的预测模式以及与滤波边界邻近的像素的变换系数值来确定滤波边界中的滤波强度,并基于滤波强度执行去块滤波。
[0072] 图5是根据本发明实施例的基于编码单元的图像解码器500的框图。
[0073] 解析器510从比特流505解析将被解码的编码图像数据和解码所需的关于编码的信息。编码图像数据通过熵解码器520和反量化器530被输出为反量化的数据,反量化的数据通过逆变换器540被恢复为空间域中的图像数据。
[0074] 帧内预测器550针对空间域中的图像数据对处于帧内模式下的编码单元执行帧内预测,运动补偿器560通过使用参考帧585对处于帧间模式下的编码单元执行运动补偿。
[0075] 通过帧内预测器550和运动补偿器560的空间域中的图像数据在通过去块单元570和环路滤波单元580进行后处理之后可被输出为恢复帧595。此外,通过去块单元570和环路滤波单元580进行后处理的图像数据可被输出为参考帧585。
[0076] 为了在视频解码设备200的图像数据解码器230中对图像数据进行解码,图像解码器500可执行在解析器510之后执行的操作。
[0077] 由于图像解码器500对应于视频解码设备,因此图像解码器500的解析器510、熵解码器520、反量化器530、逆变换器540、帧内预测器550、运动补偿器560、去块单元570和环路滤波单元580基于针对每个最大编码单元的具有树结构的编码单元来执行操作。
[0078] 具体地,去块单元570通过使用解析的关于去块滤波的信息从根据树结构的编码单元、预测单元和变换单元中的至少一个数据单元的边界中确定将执行去块滤波的滤波边界,基于根据滤波边界的邻近像素所属的编码单元的预测模式以及与滤波边界邻近的像素的变换系数值来确定滤波边界中的滤波强度,并基于滤波强度针对被解码的图像数据执行去块滤波。稍后,将参照图14具体描述关于去块滤波的详细操作。
[0079] 图6是示出根据本发明实施例的根据深度的更深编码单元以及预测单元的示图。
[0080] 视频编码设备100和视频解码设备200使用根据区域独立确定的根据树结构的编码单元,以便考虑图像的特征。编码单元的最大高度、最大宽度和最大深度可根据图像的特征自适应地确定,或者可由用户不同地设置。根据深度的更深编码单元的尺寸可根据编码单元的预定最大尺寸来确定。
[0081] 在根据本发明实施例的编码单元的分层结构600中,编码单元的最大高度和最大宽度均为64,最大深度为5。图6中示出的最大深度表示从最大编码单元到最小编码单元的深度级的总数。
[0082] 由于深度沿分层结构600的纵轴加深,因此更深编码单元的高度和宽度均被划分。此外,沿分层结构600的横轴示出作为用于每个更深编码单元的预测编码的基础的预测单元或分块。
[0083] 换言之,在分层结构600中,编码单元610是最大编码单元,其中,深度为0,尺寸(即,高度×宽度)为64×64。深度沿纵轴加深,存在尺寸为32×32且深度为1的编码单元620、尺寸为16×16且深度为2的编码单元630、尺寸为8×8且深度为3的编码单元640以及尺寸为4×4且深度为4的编码单元650。尺寸为4×4且深度为4的编码单元650是最小编码单元。
[0084] 分块根据每个深度沿横轴被排列为编码单元的预测单元。换言之,尺寸为64×64且深度为0的编码单元610的预测单元包括尺寸为64×64的分块610、尺寸为64×32的分块612、尺寸为32×64的分块614或尺寸为32×32的分块616。换言之,编码单元610可以是包括分块610、612、614和616的具有最小尺寸的正方形数据单元。
[0085] 类似地,尺寸为32×32且深度为1的编码单元620的预测单元可包括尺寸为32×32的分块620、尺寸为32×16的分块622、尺寸为16×32的分块624和尺寸为16×16的分块626。
[0086] 类似地,尺寸为16×16且深度为2的编码单元630的预测单元可包括有在编码单元630中包括的尺寸为16×16的分块、尺寸为16×8的分块632、尺寸为8×16的分块634和尺寸为8×8的分块636。
[0087] 类似地,尺寸为8×8且深度为3的编码单元640的预测单元可包括有在编码单元640中包括的尺寸为8×8的分块、尺寸为8×4的分块642、尺寸为4×8的分块644和尺寸为4×4的分块646。
[0088] 尺寸为4×4且深度为4的编码单元650是最小编码单元和最低深度的编码单元。编码单元650的预测单元可包括尺寸为4×4的分块650、尺寸为4×2的分块652、尺寸为2×4的分块654和尺寸为2×2的分块656。
[0089] 为了确定构成最大编码单元610的编码单元的至少一个编码深度,视频编码设备100的编码单元确定器120针对包括在最大编码单元610中的与每个深度相应的编码单元执行编码。
[0090] 包括相同范围和相同尺寸的数据的根据深度的更深编码单元的数量随着深度加深而增加。例如,与深度2相应的四个编码单元被包括在在与深度1相应的一个编码单元中包括的数据中。因此,为了比较根据深度的相同数据的编码结果,与深度1相应的编码单元和与深度2相应的四个编码单元均被编码。
[0091] 为了针对深度中的当前深度执行编码,可通过针对沿分层结构600的横轴的与当前深度相应的编码单元中的每个预测单元执行编码来针对当前深度选择最小编码误差。可选地,可通过针对随深度沿分层结构600的纵轴加深的每个深度执行编码,通过将根据深度的最小编码误差进行比较来搜索最小编码误差。编码单元610中的深度和具有最小编码误差的预测单元可被选为编码单元610的编码深度和分块类型。
[0092] 图7是用于描述根据本发明实施例的编码单元710和变换单元720之间的关系的示图。
[0093] 视频编码设备100或视频解码设备200根据针对每个最大编码单元的尺寸小于或等于最大编码单元的编码单元来对图像进行编码或解码。可基于不大于相应编码单元的数据单元来选择编码期间用于变换的变换单元的尺寸。
[0094] 例如,在视频编码设备100或视频解码设备200中,如果编码单元710的尺寸是64×64,则可通过使用尺寸为32×32的变换单元720来执行变换。
[0095] 此外,可通过对小于64×64的尺寸为32×32、16×16、8×8和4×4的变换单元中的每一个执行变换来对尺寸为64×64的编码单元710的数据进行编码,并随后可选择具有最小编码误差的变换单元。
[0096] 图8是用于描述根据本发明实施例的与编码深度相应的编码单元的编码信息的示图。
[0097] 视频编码设备100可对针对与编码深度相应的每个编码单元的关于分块类型的信息800、关于预测模式的信息810和关于变换单元的尺寸的信息820进行编码,并发送信息800、信息810和信息820,以作为关于根据树结构的编码单元的编码模式信息。
[0098] 信息800指示关于当前编码单元被划分为用于对当前编码单元进行预测编码的预测单元(分块)的类型的信息。例如,尺寸为2N×2N且深度为0的当前编码单元CU_0可被用作在其被划分为尺寸为2N×2N的分块802、尺寸为2N×N的分块804、尺寸为N×2N的分块806和尺寸为N×N的分块808中的任何一个之后的预测单元。这里,关于分块类型的信息800被设置为指示尺寸为2N×N的分块804、尺寸为N×2N的分块806和尺寸为N×N的分块808之一。
[0099] 信息810指示每个编码单元的预测模式。例如,信息810可指示对由信息800指示的预测单元执行的预测编码的模式,即,帧内模式812、帧间模式814或跳过模式816。
[0100] 信息820指示当对当前编码单元执行变换时所基于的变换单元。例如,变换单元可具有帧内模式的第一尺寸822和第二尺寸824以及帧间模式的第一尺寸826和第二尺寸828之一。
[0101] 视频解码设备200的接收和提取单元210可根据每个更深编码单元提取信息800、810和820,并且解码器220可使用信息800、810和820来进行解码。
[0102] 图9是根据本发明实施例的根据深度的更深编码单元的示图。
[0103] 划分信息可被用于指示深度的改变。划分信息指示当前深度的编码单元是否被划分为更低深度的编码单元。
[0104] 用于对深度为0且尺寸为2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括如下分块类型的分块:尺寸为2N_0×2N_0的分块类型912、尺寸为2N_0×N_0的分块类型914、尺寸为N_0×2N_0的分块类型916和尺寸为N_0×N_0的分块类型918。图9仅示出通过将预测单元910进行对称划分所获得的分块类型912至918,但分块类型不限于此。
[0105] 根据每个分块类型,对尺寸为2N_0×2N_0的一个预测单元、尺寸为2N_0×N_0的两个预测单元、尺寸为N_0×2N_0的两个预测单元和尺寸为N_0×N_0的四个预测单元重复执行预测编码。可对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的预测单元执行帧内模式和帧间模式下的预测编码。仅对尺寸为2N_0×2N_0的预测单元执行跳过模式下的预测编码。
[0106] 如果编码误差在分块类型912至916之一中最小,则预测单元910可不被划分到更低深度。
[0107] 如果编码误差在分块类型918中最小,则深度从0改变到1以在操作920划分分块类型918,并对深度为2且尺寸为N_0×N_0的编码单元930重复执行编码以搜索最小编码误差。
[0108] 用于对深度为1且尺寸为2N_1×2N_1(=N_0×N_0)的编码单元930进行预测编码的预测单元940可包括如下分块类型的分块:尺寸为2N_1×2N_1的分块类型942、尺寸为2N_1×N_1的分块类型944、尺寸为N_1×2N_1的分块类型946和尺寸为N_1×N_1的分块类型
948。如果编码误差在分块类型948中最小,则深度从1改变到2以在操作950划分分块类型
948,并对深度为2且尺寸为N_2×N_2的编码单元960重复执行编码以搜索最小编码误差。
[0109] 当最大深度为d时,可执行根据每个深度的划分操作,直到深度变为d-1,并且可对划分信息进行编码,直到深度为0至d-2之一。换言之,当执行编码直到在与深度d-2相应的编码单元在操作970被划分之后深度为d-1时,用于对深度为d-1且尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括如下分块类型的分块:尺寸为2N_(d-1)×2N_(d-1)的分块类型992、尺寸为2N_(d-1)×N_(d-1)的分块类型994、尺寸为N_(d-1)×2N_(d-1)的分块类型996和尺寸为N_(d-1)×N_(d-1)的分块类型998。
[0110] 可对分块类型992至998中的尺寸为2N_(d-1)×2N_(d-1)的一个预测单元、尺寸为2N_(d-1)×N_(d-1)的两个预测单元、尺寸为N_(d-1)×2N_(d-1)的两个预测单元、尺寸为N_(d-1)×N_(d-1)的四个预测单元重复执行预测编码,以搜索具有最小编码误差的分块类型。
[0111] 即使当分块类型998具有最小编码误差时,由于最大深度为d,因此深度为d-1的编码单元CU_(d-1)也不再被划分到更低深度,并且构成当前最大编码单元900的编码单元的编码深度被确定为d-1,且当前最大编码单元900的分块类型可被确定为N_(d-1)×N_(d-1)。此外,由于最大深度为d且具有最低深度d-1的最小编码单元980不再被划分到更低深度,因此不设置用于最小编码单元980的划分信息。
[0112] 数据单元999可以是针对当前最大编码单元的“最小单元”。根据本发明实施例的最小单元可以是通过划分最小编码单元980四次而获得的正方形数据单元,即,可以是具有最大尺寸的正方形数据单元,所述正方形数据单元可被包括在在最大编码单元中包括的所有编码深度的编码单元、预测单元和变换单元中。通过重复执行编码,视频编码设备100可通过将根据编码单元900的深度的编码误差进行比较来选择具有最小编码误差的深度以确定编码深度,并将相应分块类型和预测模式设置为编码深度的编码模式。
[0113] 这样,在所有深度1至d中比较根据深度的最小编码误差,并且具有最小编码误差的深度可被确定为编码深度。编码深度和编码深度的预测可作为关于编码模式的信息被编码和发送。此外,由于编码单元从深度0被划分到编码深度,因此仅编码深度的划分信息被设置为0,除了编码深度之外的深度的划分信息被设置为1。
[0114] 视频解码设备200的接收和提取单元210可提取和使用关于编码深度的信息以及编码单元900的预测单元,以对分块912进行解码。视频解码设备200可通过使用根据深度的划分信息来将划分信息为0的深度确定为编码深度,并使用关于相应深度的编码模式的信息以对相应编码单元的编码数据进行解码。
[0115] 图10至图12是用于描述根据本发明实施例的编码单元1010、预测单元1060和变换单元1070之间的关系的示图。
[0116] 编码单元1010是当前最大编码单元中的根据由视频编码设备100确定的树结构的编码单元。预测单元1060是编码单元1010中的每个编码深度的编码单元的预测单元,变换单元1070是编码单元1010中的每一个的变换单元。
[0117] 当在编码单元1010中最大编码单元的深度为0时,编码单元1010包括深度为1的编码单元1012和1054、深度为2的编码单元1014、1016、1018、1028、1050和1052、深度为3的编码单元1020、1022、1024、1026、1030、1032和1048以及深度为4的编码单元1040、1042、1044和1046。
[0118] 在预测单元1060中,通过对编码单元1010中的编码单元进行划分来获得一些编码单元1014、1016、1022、1032、1048、1050、1052和1054。换言之,编码单元1014、1022、1050和1054中的分块类型具有尺寸2N×N,编码单元1016、1048和1052中的分块类型具有尺寸N×
2N,编码单元1032中的分块类型具有尺寸N×N。换言之,预测单元小于或等于每个编码单元。
[0119] 在小于编码单元1052的数据单元中对变换单元1070中的编码单元1052的图像数据执行变换或逆变换。此外,变换单元1070中的编码单元1014、1016、1022、1032、1048、1050和1052是具有与预测单元1060中的编码单元1014、1016、1022、1032、1048、1050和1052不同的尺寸或形状的数据单元。换言之,独立地确定一个编码单元的变换单元和预测单元。因此,视频编码设备100和视频解码设备200可对相同编码单元中的数据单元单独执行帧内预测、运动估计、运动补偿、变换和逆变换。
[0120] 因此,在最大编码单元的每个区域中对具有分层结构的编码单元中的每一个递归地执行编码,以确定最佳编码单元,由此可获得具有递归树结构的编码单元。
[0121] 编码信息可包括关于编码单元的划分信息、关于分块类型的信息、关于预测模式的信息以及关于变换单元的尺寸的信息。表1示出了可由视频编码设备100和视频解码设备200设置的编码信息。
[0122] 表1
[0123]
[0124] 视频编码设备100的发送器120可输出关于具有树结构的编码单元的编码信息,视频解码设备200的接收和提取单元210可从接收的比特流提取关于具有树结构的编码单元的编码信息。
[0125] 划分信息指示当前编码单元是否被划分为更低深度的编码单元。如果当前深度d的划分信息是0,则当前编码单元不再被划分到更低深度的深度是编码深度,因此可针对编码深度定义关于分块类型、预测模式和变换单元的尺寸的信息。如果当前编码单元根据划分信息被进一步划分,则对更低深度的四个划分编码单元独立执行编码。
[0126] 预测模式可以是帧内模式、帧间模式和跳过模式之一。可在所有分块类型中定义帧内模式和帧间模式,仅在尺寸为2N×2N的分块类型中定义跳过模式。
[0127] 关于分块类型的信息可指示尺寸为2N×2N、2N×N、N×2N和N×N的对称分块类型以及通过将预测单元的高度或宽度进行不对称划分而获得的尺寸为2N×nU、2N×nD、nL×2N和nR×2N的不对称分块类型。可通过按照1:3和3:1将预测单元的高度进行划分分别获得尺寸为2N×nU和2N×nD的不对称分块类型,可通过按照1:3和3:1将预测单元的宽度进行划分分别获得尺寸为nL×2N和nR×2N的不对称分块类型。
[0128] 可根据变换单元的划分信息将变换单元的尺寸设置为两种类型。换言之,如果变换单元的划分信息是0,则尺寸为2N×2N的变换单元可被设置为当前编码单元的尺寸。如果变换单元的划分信息是1,则可通过划分当前编码单元来获得变换单元。此外,如果尺寸为2N×2N的当前编码单元的分块类型是对称分块类型,则变换单元的尺寸可以是N×N,而如果当前编码单元的分块类型是不对称分块类型,则变换单元的尺寸可以是N/2×N/2。
[0129] 关于具有树结构的编码单元的编码信息可包括与编码深度相应的编码单元、预测单元和最小单元中的至少一个。与编码深度相应的编码单元可包括预测单元和最小单元中的至少一个,所述预测单元和最小单元包含相同的编码信息。
[0130] 因此,通过比较邻近数据单元的编码信息来确定邻近数据单元是否包括在与编码深度相应的相同编码单元中。此外,通过使用数据单元的编码信息来确定与编码深度相应的相应编码单元,由此可确定最大编码单元中的编码深度的分布。
[0131] 因此,如果当前编码单元基于邻近数据单元的编码信息被预测,则可直接参考和使用与当前编码单元邻近的更深编码单元中的数据单元的编码信息。
[0132] 可选地,如果当前编码单元基于邻近数据单元的编码信息被预测,则使用数据单元的编码信息来搜索与当前编码单元邻近的数据单元,并可参考搜索到的邻近编码单元来对当前编码单元进行预测。
[0133] 图13是用于描述根据表1的编码模式信息的编码单元、预测单元或分块和变换单元之间的关系的示图。
[0134] 最大编码单元1300包括编码深度的编码单元1302、1304、1306、1312、1314、1316和1318。这里,由于编码单元1318是编码深度的编码单元,因此划分信息可被设置为0。关于尺寸为2N×2N的编码单元1318的分块类型的信息可被设置为如下分块类型之一:尺寸为2N×
2N的分块类型1322、尺寸为2N×N的分块类型1324、尺寸为N×2N的分块类型1326、尺寸为N×N的分块类型1328、尺寸为2N×nU的分块类型1332、尺寸为2N×nD的分块类型1334、尺寸为nL×2N的分块类型1336和尺寸为nR×2N的分块类型1338。
[0135] 当分块类型被设置为对称(即,分块类型1322、1324、1326或1328)时,如果变换单元的划分信息(TU尺寸标记)是0,则设置尺寸为2N×2N的变换单元1342,如果TU尺寸标记是1,则设置尺寸为N×N的变换单元1344。
[0136] 当分块类型被设置为不对称(即,分块类型1332、1334、1336或1338)时,如果TU尺寸标记是0,则设置尺寸为2N×2N的变换单元1352,如果TU尺寸标记是1,则设置尺寸为N/2×N/2的变换单元1354。
[0137] 图14示出最大编码单元、通过子划分每个最大编码单元获得的根据树结构的编码单元、通过子划分每个编码单元获得的预测单元以及包括变换单元的数据单元。换言之,图14通过重叠以上描述的图10至图12的编码单元、预测单元和变换单元来示出包括所述编码单元、所述预测单元和所述变换单元的数据单元1400。在图14中,假设最大编码单元的尺寸是32×32,在编码单元中,以实线示出编码深度的编码单元,以交替的长短虚线示出通过划分编码深度的编码单元获得的预测单元和变换单元。此外,具有树结构的编码单元的编码深度是0、1和2,其中,最大深度是3。
[0138] 参照图14,数据单元1400包括尺寸为32×32的9个最大编码单元的编码深度的编码单元。如上所述,在可根据每个编码单元确定用于预测和变换的最佳预测单元和最佳变换单元时,针对每个最大编码单元,通过对根据深度划分的具有分层结构的编码单元递归地执行编码来确定最佳编码单元。去块滤波单元130基于图14中示出的编码单元、预测单元和变换单元中的至少一个数据单元1400来确定将执行去块滤波的滤波边界。
[0139] 具体地,去块滤波单元130可基于编码单元、预测单元和变换单元中的具有预定尺寸或大于预定尺寸的数据单元的边界来确定滤波边界。换言之,参照图14,当当前画面被划分为尺寸为32×32的最大编码单元时,每个最大编码单元被再次划分为根据深度划分的具有分层结构的编码单元,并且每个编码单元被再次划分为用于预测和变换的具有比根据深度的编码单元更小尺寸的预测单元和变换单元,编码单元、预测单元和变换单元的边界中的仅具有预定尺寸或大于预定尺寸的数据单元的边界可被确定为将执行去块滤波的滤波边界。
[0140] 图15至图17均示出针对图14的数据单元1400的基于具有预定尺寸或大于预定尺寸的数据单元的边界而确定的滤波边界。
[0141] 参照图14和图15,当图14的编码单元、预测单元和变换单元被确定时,去块滤波单元130可将编码单元、预测单元和变换单元的边界中的仅具有预定尺寸或大于预定尺寸的数据单元的边界确定为将执行去块滤波的滤波边界。例如,去块滤波单元130可仅将尺寸等于或大于32×32的编码单元、预测单元和变换单元的边界确定为图15中示出的将执行去块滤波的滤波边界,仅将尺寸等于或大于16×16的编码单元、预测单元和变换单元的边界确定为图16中示出的将执行去块滤波的滤波边界,或仅将尺寸等于或大于8×8的编码单元、预测单元和变换单元的边界确定为图17中示出的将执行去块滤波的滤波边界。这样,当仅具有预定尺寸或大于预定尺寸的数据单元的边界被确定为将执行去块滤波的滤波边界时,针对相同的划分形状来改变将执行滤波的滤波边界。例如,当仅对图15中示出的尺寸为32×32或大于32×32的数据单元的边界执行去块滤波时,除了通过划分最大编码单元1510获得的编码单元、变换单元和预测单元的边界中的与尺寸为32×32的最大编码单元1510重叠的边界部分之外,内边界不被考虑为滤波边界。另一方面,当仅对图16中示出的尺寸为16×16或大于16×16的数据单元的边界执行去块滤波时,通过划分与图15的最大编码单元1510相应的最大编码单元1610获得的编码单元1611至1614的内边界也被确定为滤波边界。
[0142] 同时,如果具有预定尺寸或大于预定尺寸的数据单元的边界是帧边界,则去块滤波单元130不将该边界确定为滤波边界。换言之,不对与画面的边缘相应的外部边界执行根据本发明实施例的去块滤波。
[0143] 图18是用于基于图17的滤波边界描述根据本发明实施例的去块滤波处理的参考图。
[0144] 当基于具有预定尺寸或大于预定尺寸的数据单元的边界确定将执行去块滤波的滤波边界时,去块滤波单元130基于根据滤波边界的邻近像素所属的编码单元的预测模式以及与滤波边界邻近的像素的变换系数值来确定滤波边界中的滤波强度。
[0145] 以下,将描述基于滤波边界(诸如图18的横向滤波边界1810和纵向滤波边界1820)执行去块滤波的处理。
[0146] 图19a和图19b示出位于滤波边界的像素以描述根据本发明实施例的去块滤波。
[0147] 参照图19a,在去块滤波之前与横向滤波边界的顶和底邻近的像素1910的像素值被定义为p0至p4和q0至q4。此外,在去块滤波之后与横向滤波边界的顶和底邻近的像素1920的像素值被定义为p0′至p4′和q0′至q4′。类似地,参照图19b,在去块滤波之前与纵向滤波边界的左和右邻近的像素1930的像素值被定义为p0至p4和q0至q4。此外,在去块滤波之后与纵向滤波边界的左和右邻近的像素1940的像素值被定义为p0′至p4′和q0′至q4′。除了方向差异之外,基于横向滤波边界的去块滤波操作和基于纵向滤波边界的去块滤波操作是相同的。
[0148] 去块滤波单元130基于根据滤波边界的邻近像素所属的编码单元的预测模式是帧内模式还是帧间模式以及与滤波边界邻近的像素的变换系数值是否为0,来确定滤波强度。当边界强度(Bs)表示滤波强度时,Bs可被划分为从0至4的5个等级。Bs的大小与滤波强度成比例。换言之,当Bs=4时,滤波强度是最强的,当Bs=0时,滤波强度是最弱的。这里,当Bs=
0时,可不执行去块滤波。
[0149] 具体地,当p0和q0表示与滤波边界邻近且基于滤波边界被划分的像素时,去块滤波单元130可在p0和q0所属的至少一个编码单元的预测模式是帧内模式且滤波边界是编码单元的边界时将滤波强度确定为具有值Bs=4。例如,当基于图18的横向滤波边界1810执行去块滤波时,去块滤波单元130可在p0所属的编码单元1840和q0所属的编码单元1830中的至少一个的预测模式是帧内模式且当前滤波边界是编码单元的边界时将滤波强度确定为具有值Bs=4,其中,p0和q0是基于横向滤波边界1810的最近的像素。这里,可基于p0所属的编码单元1840和q0所属的编码单元1830是否是基于更深编码单元的数据单元,或者横向滤波边界1810是否与图11和图12的通过划分编码单元获得的用于预测和变换的预测单元和变换单元的边界对应,来确定横向滤波边界1810是否是编码单元的边界。
[0150] 可选地,当p0和q0所属的编码单元中的至少一个的预测模式是帧内模式且滤波边界不是编码单元的边界时,去块滤波单元130将滤波强度确定为具有值Bs=3。
[0151] 可选地,当p0和q0所属的编码单元的预测模式不是帧内模式且p0和q0所属的变换单元中的至少一个的变换系数值不是0时,去块滤波单元130将滤波强度确定为具有值Bs=2。
[0152] 可选地,当p0和q0所属的编码单元的预测模式不是帧内模式,p0和q0所属的变换单元的变换系数值是0且用于p0和q0所属的预测单元的运动预测的参考帧和运动矢量中的任何一个彼此不同时,去块滤波单元130将滤波强度确定为具有值Bs=1。
[0153] 可选地,当p0和q0所属的编码单元的预测模式不是帧内模式,p0和q0所属的变换单元的变换系数值是0且用于p0和q0所属的预测单元的运动预测的参考帧和运动矢量相同时,去块滤波单元130将滤波强度确定为具有值Bs=0。
[0154] 同时,去块滤波单元130可基于滤波强度以及将预定阈值与基于滤波边界的预定数量的邻近像素的像素值的绝对值之间的差进行比较的结果,来确定是否对滤波边界执行去块滤波。具体地,仅当与滤波边界邻近且基于滤波边界被划分的像素的像素值之间的差的绝对值和基于滤波边界与相同侧邻近的像素的像素值之间的差的绝对值小于根据像素所属的变换单元的量化参数而确定的预定阈值时,去块滤波单元130确定执行去块滤波,并且滤波强度不是最弱。例如,仅当i)滤波强度Bs不是0且ii)条件|p0-q0|<α;|p1-q0|<β;|q1-q0|<β被满足时,去块滤波单元130可对滤波边界执行去块滤波。这里,可基于在p0和q0所属的变换单元的量化期间使用的量化参数来预先确定阈值。
[0155] 图20a和图20b是根据本发明实施例的用于确定阈值α和β的参考表。
[0156] 参照图20a和图20b,基于indexA和indexB来确定阈值α和β,其中,indexA和indexB是根据等式indexA=Clip3(0,51,qPav+FilterOffsetA)和indexB=Clip3(0,51,qPav+FilterOffsetB)确定的值。这里,qPav表示p0和q0所属的变换单元的量化参数的平均值。Clip3(a,b,c)表示剪切c值使得a≤c≤b的操作。例如,当qPav+FilterOffsetA的值小于或等于0时,等式indexA=Clip3(0,51,qPav+FilterOffsetA)是0,当qPav+FilterOffsetA的值等于或大于51时,等式indexA=Clip3(0,51,qPav+FilterOffsetA)是51。此外,FilterOffsetA和FilterOffsetB表示分别针对阈值α和β设置的预定偏移值。
[0157] 图21是根据本发明实施例的用于描述针对阈值α设置偏移值的处理的参考图。例如,当阈值α被设置为如图21中所示的曲线与量化参数成比例时,随着FilterOffsetA值的增加,indexA的值增加,并且作为结果,设置为默认的曲线如图21中所示沿右方向(b方向)移动。当FilterOffsetA的值减小时,indexA的值减小,因此设置为默认的曲线如图21中所示沿左方向(a方向)移动。这样,FilterOffsetA和FilterOffsetB可被用于调整滤波强度。
[0158] 这样,去块滤波单元130基于p0和q0所属的变换单元的量化参数和预定偏移值来确定是否对滤波边界执行去块滤波。
[0159] 针对将执行去块滤波的边界,去块滤波单元130基于滤波强度、与滤波边界邻近且基于滤波边界被划分的像素的像素值之间的差的绝对值、以及基于滤波边界与相同侧邻近的像素的像素值之间的差的绝对值,来确定与滤波边界邻近的将被滤波的像素的数量和滤波器抽头系数(filter tap coefficient)。此外,去块滤波单元130通过经由基于滤波器抽头系数的加权和来改变将被滤波的像素的像素值,来执行滤波。
[0160] 具体地,当当前滤波边界的滤波强度Bs<4时,去块滤波单元130通过使用利用p1、p0、q0和q1作为输入的4抽头有限脉冲响应滤波器(FIR)来产生p1'、p0'、q0'和q1'。去块滤波单元130根据等式Δ=clip3[-tc,tc,((((q0-p0)<<2)+(p1-q1)*4)>>3))产生Δ的值。这里,可基于|p2-p0|,|q2-q0|和阈值β来确定tc。
[0161] 图22a和图22b是根据本发明实施例的用于确定在去块滤波处理期间使用的预定中间值(tc)的参考表。如图22a和图22b中所示,可通过使用表中的根据indexA预先确定的值和滤波强度bS来确定tc。
[0162] 此外,去块滤波单元130产生与滤波边界最近且根据等式p0'=p0+Δ和q0'=q0+Δ经过去块滤波的像素值p0和q0。在p0和q0之后的与滤波边界邻近的像素值p1和q1根据等式p1'=p1+Δ/2和q1'=q1+Δ/2而改变。
[0163] 同时,当在当前滤波边界中滤波强度具有值Bs=4时,去块滤波单元130基于与滤波边界邻近且基于滤波边界被划分的像素的像素值之间的差的绝对值和基于滤波边界与相同侧邻近的像素的像素值之间的差的绝对值,来确定与滤波边界邻近的被滤波的像素的数量和滤波器抽头系数。具体地,当|p2-p0|<β;|p0-q0|<round(α/4)时,去块滤波单元130针对与滤波边界最近的p0将输入像素值设置为p2、p1、p0、q0和q1,并产生通过使用具有滤波器抽头系数{1,2,2,2,1}的5抽头滤波器被滤波的p0'。
[0164] 针对在p0之后与滤波边界最近的p1,去块滤波单元130将输入像素值设置为p2、p1、p0和q1,并产生通过使用具有滤波器抽头系数{1,1,1,1}的4抽头滤波器被滤波的p1'。
[0165] 针对在p1之后与滤波边界最近的p2,去块滤波单元130将输入像素值设置为p3、p2、p1、p0和q1,并产生通过使用具有滤波器抽头系数{2,3,1,1,1}的5抽头滤波器被滤波的p2'。
[0166] 类似地,当|q2-q0|<β;|p0-q0|<round(α/4)时,去块滤波单元130针对与滤波边界最近的q0将输入像素值设置为q2、q1、q0、p0和p1,并产生通过使用具有滤波器抽头系数{1,2,2,2,1}的5抽头滤波器被滤波的q0'。
[0167] 针对在q0之后与滤波边界最近的q1,去块滤波单元130将输入像素值设置为q2、q1、q0和p1,并产生通过使用具有滤波器抽头系数{1,1,1,1}的4抽头滤波器被滤波的q1'。
[0168] 针对在q1之后与滤波边界最近的q2,去块滤波单元130将输入像素值设置为q3、q2、q1、q0和p0,并产生通过使用具有滤波器抽头系数{2,3,1,1,1}的5抽头滤波器被滤波的q2'。
[0169] 根据实施例的视频解码设备200的去块滤波单元230从根据树结构的编码单元、预测单元和变换单元中的至少一个数据单元的边界中确定将执行去块滤波的滤波边界,基于根据滤波边界的邻近像素所属的编码单元的预测模式以及与滤波边界邻近的像素的变换系数值来确定滤波边界中的滤波强度,并通过使用从比特流解析的关于去块滤波的信息,基于滤波强度来对解码图像数据执行去块滤波。由于视频解码设备200的去块滤波单元230的操作与视频编码设备100的去块滤波单元130的操作相似,因此将不重复其详细描述。
[0170] 图23是示出根据本发明实施例的基于编码单元对视频进行编码的方法的流程图。
[0171] 参照图23,在操作2310,编码单元确定器110将一画面划分为至少一个最大编码单元,所述至少一个最大编码单元是具有最大尺寸的数据单元。接着,在操作2320,编码单元确定器110确定根据深度被分层配置的编码单元以及分别用于编码单元的预测和变换的预测单元和变换单元,所述深度指示所述至少一个最大编码单元在空间上被划分的次数。
[0172] 在操作2330,去块滤波单元130基于编码单元、预测单元和变换单元中的至少一个数据单元确定将执行去块滤波的滤波边界。如上所述,可基于具有预定尺寸或大于预定尺寸的数据单元的边界来确定滤波边界。
[0173] 去块滤波单元130在操作2340基于根据滤波边界的邻近像素所属的编码单元的预测模式以及与滤波边界邻近的像素的变换系数值来确定滤波边界处的滤波强度,并在操作2350基于确定的滤波强度执行去块滤波。
[0174] 图24是示出根据本发明实施例的基于编码单元对视频进行解码的方法的流程图。
[0175] 参照图24,在操作2410,接收和提取单元210通过解析接收的比特流,根据包括在通过划分当前画面获得的每个最大编码单元中的根据树结构的编码单元,在最大编码单元中提取根据编码单元被编码的图像数据、关于根据树结构的编码单元的编码模式信息以及关于去块滤波的信息。
[0176] 在操作2420,解码器220根据编码单元确定用于预测和变换的预测单元和变换单元,并基于关于根据树结构的编码单元的编码模式信息来对编码图像数据进行解码。
[0177] 在操作2430,去块滤波单元230通过使用关于去块滤波的信息,从根据树结构的编码单元、预测单元和变换单元中的至少一个数据单元的边界中确定将执行去块滤波的滤波边界。
[0178] 在操作2440,去块滤波单元230基于根据确定的滤波边界的邻近像素所属的编码单元的预测模式以及与滤波边界邻近的像素的变换系数值,来确定滤波边界的滤波强度。
[0179] 在操作2450,去块滤波单元230基于确定的滤波强度对解码图像数据执行去块滤波。
[0180] 本发明的实施例可被编写为计算机程序并可在使用计算机可读记录介质执行程序的通用数字计算机中实现。计算机可读记录介质的示例包括磁存储介质(例如,ROM、软盘、硬盘等)和光记录介质(例如,CD-ROM或DVD)。
[0181] 虽然已经参照本发明的优选实施例具体示出和描述了本发明,但是本领域普通技术人员将理解,在不脱离由权利要求限定的本发明的精神和范围的情况下,可进行形式和细节上的各种改变。优选实施例应仅在描述意义上被考虑,而不是为了限制的目的。因此,本发明的范围不是由本发明的具体描述限定的,而是由权利要求限定的,并且在该范围内的所有差异将被解释为包括在本发明中。