会员体验
专利管家（专利管理）
工作空间（专利管理）
风险监控（情报监控）
数据分析（专利分析）
侵权分析（诉讼无效）
联系我们
交流群
官方交流：
QQ群： 891211   
微信请扫码    >>>
现在联系顾问~
首页 / 专利库 / 视听技术与设备 / 视频编码层 / 视频解码方法

视频解码方法

阅读：1023发布：2021-03-03

IPRDB可以提供视频解码方法专利检索，专利查询，专利分析的服务。并且提供了一种视频解码方法。一种视频编码方法，为了对视频的当前区域进行编码，通过使用可变树结构的变换单元来对当前区域执行变换，其中，所述可变树结构的变换单元从针对当前区域的基础变换单元分层划分的多个变换单元中确定并且基于变换单元的最大划分级别产生；输出当前区域的编码数据、关于编码模式的信息以及包括针对视频的变换单元的最大尺寸信息和最小尺寸信息的变换单元分层结构信息。，下面是视频解码方法专利的具体信息内容。

1.一种视频解码方法，包括：

从比特流获得用于帧内模式的最大划分信息和关于编码单元的预测模式的信息；

当关于编码单元的预测模式的信息指示帧内模式时，基于用于帧内模式的最大划分信息来确定变换单元的最大划分级别，其中，变换单元是从编码单元被确定的；

当当前变换单元的当前划分级别小于最大划分级别时，从比特流获得关于当前变换单元的子划分信息；以及当子划分信息指示对当前变换单元进行划分时，将当前变换单元划分为下一划分级别的变换单元，其中，下一划分级别大于当前划分级别。

2.如权利要求1所述的视频解码方法，其中，最大划分信息指示通过对编码单元进行划分来产生变换单元所可用的划分的最大数量。

3.如权利要求1所述的视频解码方法，其中，用于帧内模式的最大划分信息作为针对包括画面序列、画面、条带和用于对视频进行编码的数据单元的数据级别之中的一个数据级别的参数而被获得。

4.如权利要求1所述的视频解码方法，其中，基于变换单元的最大划分级别从编码单元确定的变换单元的最小尺寸不小于根据从比特流获得的变换单元的最小尺寸信息的变换单元的最小尺寸或通过将编码单元划分为最大划分级别而获得的最低级别的变换单元的尺寸。

说明书全文

视频解码方法

[0001] 本申请是申请日为2011年8月17日、申请号为201180049473.5、题为“使用可变树结构变换单元的视频编码方法和设备以及视频解码方法和设备”的专利申请的分案申请。

技术领域

[0002] 本发明涉及在空间域和变换域之间执行变换的视频编码和视频解码。

背景技术

[0003] 随着再现和存储高分辨率或高质量视频内容的硬件被开发和提供，对于用于有效地对高分辨率或高质量视频内容进行编码或解码的视频编解码器的需求增加。在现有的视频编解码器中，根据有限的基于预定尺寸的宏块的视频编码方法对视频进行编码。另外，现有视频编解码器通过使用具有与宏块相同尺寸的块对宏块进行变换和逆变换，从而对视频数据编码和解码。

发明内容

[0004] 技术问题
[0005] 本发明提供一种通过使用可变分层结构中的数据单元执行变换和逆变换来对视频进行编码和解码的方法和设备。
[0006] 技术方案
[0007] 根据本发明的一方面，提供了一种为了对视频的当前区域进行编码的视频编码方法，该视频编码方法包括以下操作：通过使用可变树结构的变换单元来对当前区域执行变换，并从可变树结构的变换单元中确定针对当前区域的变换单元，其中，所述可变树结构的变换单元从针对当前区域的基础变换单元分层划分的多个变换单元中确定并且基于变换单元的最大划分级别产生；输出经由包括基于确定的变换单元的变换的编码而产生的当前区域的编码数据、关于在针对当前区域的编码中确定的编码模式的信息、以及包括针对视频的变换单元的最大尺寸信息和最小尺寸信息的变换单元分层结构信息。
[0008] 有益效果
[0009] 在对视频进行编码和解码的处理中，通过使用树结构的具有各种尺寸和形状的变换单元执行变换和逆变换，从而可考虑图像特性，有效地对视频进行编码和解码。

附图说明

[0010] 图1是根据本发明实施例的使用可变树结构的变换单元的视频编码设备的框图。
[0011] 图2是根据本发明实施例的使用可变树结构的变换单元的视频解码设备的框图。
[0012] 图3示出根据本发明实施例的树结构的变换单元的分层模型。
[0013] 图4示出根据本发明实施例的可变树结构的变换单元的分层模型。
[0014] 图5至图8示出根据本发明实施例的基础变换单元。
[0015] 图9和图10示出根据本发明实施例的可变树结构的变换单元。
[0016] 图11是根据本发明实施例的使用可变树结构的变换单元的视频编码方法的流程图。
[0017] 图12是根据本发明实施例的使用可变树结构的变换单元的视频解码方法的流程图。
[0018] 图13是根据本发明实施例的使用树结构的编码单元和可变树结构的变换单元的视频编码设备的框图。
[0019] 图14是根据本发明实施例的使用树结构的编码单元和可变树结构的变换单元的视频解码设备的框图。
[0020] 图15是用于描述根据本发明实施例的编码单元的概念的示图。
[0021] 图16是根据本发明实施例的基于编码单元的图像编码器的框图。
[0022] 图17是根据本发明实施例的基于编码单元的图像解码器的框图。
[0023] 图18是根据本发明实施例的根据深度的较深层编码单元和分区的示图。
[0024] 图19是用于描述根据本发明实施例的编码单元和变换单元之间的关系的示图。
[0025] 图20是用于描述根据本发明实施例的与编码深度对应的编码单元的编码信息的示图。
[0026] 图21是根据本发明实施例的根据深度的较深层编码单元的示图。
[0027] 图22到图24是用于描述根据本发明实施例的编码单元、预测单元和变换单元之间的关系的示图。
[0028] 图25是用于描述根据本发明实施例的根据表1的编码模式信息的编码单元、预测单元或分区与变换单元之间的关系的示图。
[0029] 图26是示出根据本发明实施例的使用树结构的编码单元和可变树结构的变换单元的视频编码方法的流程图。
[0030] 图27是示出根据本发明实施例的使用树结构的编码单元和可变树结构的变换单元的视频解码方法的流程图。
[0031] 最佳方式
[0032] 据本发明的一方面，提供了一种为了对视频的当前区域进行编码的视频编码方法，该视频编码方法包括以下操作：通过使用可变树结构的变换单元来对当前区域执行变换，并且从可变树结构的变换单元确定针对当前区域的变换单元，其中，所述可变树结构的变换单元从针对当前区域的基础变换单元分层划分的多个变换单元中确定并且基于变换单元的最大划分级别产生；输出经由包括基于确定的变换单元的变换的编码而产生的当前区域的编码数据、关于在针对当前区域的编码中确定的编码模式的信息以及包括针对视频的变换单元的最大尺寸信息和最小尺寸信息的变换单元分层结构信息。
[0033] 根据本发明的另一方面，提供了一种视频解码方法，包括以下操作：接收包括通过对视频编码获得的数据的比特流；解析比特流，并且从所述比特流中提取当前区域的编码数据、关于在针对当前区域的编码中确定的编码模式的信息以及包括针对视频的变换单元的最大尺寸信息和最小尺寸信息的变换单元分层结构信息；通过使用可变树结构的变换单元来对当前区域执行逆变换，对当前区域的编码数据进行解码并恢复视频，其中，所述可变树结构的变换单元从针对当前区域的基础变换单元分层划分的多个变换单元中确定并且基于变换单元的最大划分级别产生。
[0034] 变换单元分层结构信息可还包括指示变换单元的最大划分级别的最大划分信息。
[0035] 针对当前区域的基础变换单元的尺寸可等于或小于针对视频的变换单元的最大尺寸。
[0036] 变换单元可被划分一次，从而下一更低级别的变换单元可被产生，预定变换单元的级别可指示划分的总数，以便通过逐步地划分基础变换单元来产生预定变换单元，并且针对当前区域的基础变换单元可以是针对当前区域可用的最大最高级别的变换单元。
[0037] 基于针对当前区域的变换单元的最大划分级别产生的可变树结构的变换单元可包括基础变换单元以及根据通过将基础变换单元逐步地划分为最大划分级别而产生的级别的变换单元。
[0038] 针对当前区域的变换单元的最小尺寸可被确定为针对视频的变换单元的最小尺寸和通过将基础变换单元划分到最大划分级别而获得的最低级别的变换单元的尺寸中的较大的一个。
[0039] 变换单元的最大划分级别可等于或小于从与针对视频的变换单元的最大尺寸对应的最大编码单元到与针对视频的变换单元的最小尺寸对应的最小编码单元的级别的总数。
[0040] 可基于在当前区域的编码中使用的预测模式和分区尺寸中的至少一个来确定基础变换单元的尺寸。
[0041] 针对当前区域的变换单元的最大划分级别可针对处于包括画面序列、画面、条带和用于视频的编码的数据单元的数据级别中的一个数据级别的数据组的每一个被设置，并且变换单元的最大划分信息可被编码为针对确定最大划分级别的数据级别的参数。
[0042] 可在对当前区域执行编码时使用的每个预测模式中单独地确定针对当前区域的变换单元的最大划分级别。
[0043] 可在对当前区域执行编码时使用的每个条带类型中单独地确定针对当前区域的变换单元的最大划分级别。
[0044] 关于当前区域的基础变换单元的尺寸可以是恒定的。
[0045] 关于当前区域的基础变换单元可被确定为具有包括在分区中的形状的数据单元，以不跨越作为用于针对当前区域的预测编码的数据单元的分区之间的边界。
[0046] 处于通过划分针对当前区域的基础变换单元获得的较低级别的变换单元可被确定为具有包括在分区中的形状的数据单元，以不跨越作为用于针对当前区域的预测编码的数据单元的分区之间的边界。
[0047] 根据本发明的另一方面，提供了一种视频编码设备，包括：变换单元确定单元，为了对视频的当前区域进行编码，通过使用可变树结构的变换单元来对当前区域执行变换，并且从可变树结构的变换单元确定针对当前区域的变换单元，其中，所述可变树结构的变换单元从针对当前区域的基础变换单元分层划分的多个变换单元被确定并且基于变换单元的最大划分级别产生；输出单元，输出经由包括基于确定的变换单元的变换的编码而产生的当前区域的编码数据、关于在针对当前区域的编码中确定的编码模式的信息以及包括针对视频的变换单元的最大尺寸信息和最小尺寸信息的变换单元分层结构信息。
[0048] 根据本发明的另一方面，提供了一种视频解码设备，包括：接收单元，接收包括通过对视频编码获得的数据的比特流；提取单元，解析比特流，并且从所述比特流中提取当前区域的编码数据、关于在针对当前区域的编码中确定的编码模式的信息以及包括针对视频的变换单元的最大尺寸信息和最小尺寸信息的变换单元分层结构信息；解码单元，通过使用可变树结构的变换单元来对当前区域执行逆变换，对当前区域的编码数据进行解码并且恢复视频，其中，所述可变树结构的变换单元从针对当前区域的基础变换单元分层划分的多个变换单元中确定并且基于变换单元的最大划分级别产生。
[0049] 根据本发明的另一方面，提供了一种在其上记录有用于执行视频编码方法的程序的计算机可读记录介质。根据本发明的另一方面，提供了一种在其上记录有用于执行视频解码方法的程序的计算机可读记录介质。

具体实施方式

[0050] 下文中，在下面描述的一个或更多实施例中，“图像”可统一地不仅表示静止图像还表示包括视频的运动图像。
[0051] 当执行涉及多个图像的各种操作时，可将涉及图像的数据划分为多个数据组，并且可对包括在相同的数据组中的多条数据执行相同的操作。以下，在整个说明书中，根据预定标准形成的数据组被称为“数据单元”。以下，在整个说明书中，对每个“数据单元”执行的操作是指通过使用包括在数据单元中的多条数据来执行操作。
[0052] 以下，参照图1至图12，将描述使用可变树结构的变换单元的视频编码和解码。以下，参照图13至图17，将描述使用树结构的编码单元和可变树结构的变换单元的视频编码和解码。
[0053] 以下，参照图1至图12，将描述使用可变树结构的变换单元的视频编码设备和视频解码设备、视频编码方法和视频解码方法。
[0054] 图1是根据本发明实施例的使用可变树结构的变换单元的视频编码设备10的框图。
[0055] 使用可变树结构的变换单元的视频编码设备包括变换单元确定单元11和输出单元13。以下，为了便于描述，使用可变树结构的变换单元的视频编码设备10被称为“视频编码设备10”。视频编码设备10的变换单元确定单元11和输出单元13的操作可由视频编码处理器、中央处理器、图形处理器等协同控制。
[0056] 为了对输入视频的当前画面进行编码，视频编码设备10将当前画面划分为具有预定尺寸的数据单元，随后对每个数据单元执行编码。
[0057] 例如，当前画面由空间域的像素构成。为了允许预定范围中的相邻像素形成组以便允许当前画面中的空间上彼此相邻的像素被一起编码，当前画面可被划分为具有预定尺寸的像素组。通过对划分的具有预定尺寸的像素组的像素执行的一系列的编码操作，可执行针对当前画面的编码。
[0058] 由于作为画面的编码目标的初始数据是空间域的像素值，因此具有预定尺寸的每个像素组可用作作为编码目标的数据单元。另外，对空间域的像素组的像素值执行用于视频编码的变换，从而产生变换域的变换系数，在这点上，变换系数维持具有与空间域的像素组相同的尺寸的系数组。因此，变换域的变换系数的系数也可被用作用于画面的编码的数据单元。
[0059] 因此，在整个空间域和变换域，具有预定尺寸的数据组可用作用于编码的数据单元。这里，数据单元的尺寸可被定义为包括在数据单元中的数据的总条数。例如，空间域的像素的总数或变换域的变换系数的总数可指示数据单元的尺寸。
[0060] 以下，“当前区域”可指示具有数据级别(数据级别是作为视频中的编码目标的数据单元、条带、画面和画面序列之一)的数据组。
[0061] 视频编码设备10可对每个区域执行包括帧间预测和帧内预测的预测编码、变换和量化以及熵编码，从而对当前画面执行编码。
[0062] 变换单元确定单元11确定作为对当前画面的当前区域执行变换的数据单元的变换单元。变换单元可被确定为具有的尺寸等于或小于当前区域的数据单元以被包括在当前区域中。
[0063] 例如，变换单元确定单元11可通过将当前区域的高度和宽度二等分来产生变换单元。另外，变换单元确定单元11可通过不对称地划分当前区域的高度和宽度中的至少一个来产生变换单元。变换单元确定单元11可通过根据任意比例划分当前区域的高度和宽度中的至少一个来产生变换单元。变换单元可以是包括在当前区域中的多边形数据单元。
[0064] 变换单元确定单元11可通过再次划分变换单元的高度和宽度中的至少一个来产生更低级别的变换单元。
[0065] 变换单元确定单元11可确定用于当前区域的变换的树结构的变换单元。树结构的变换单元包括被确定为输出变换结果以及从当前区域的变换单元中被确定的最终变换单元。
[0066] 为了确定树结构的变换单元，变换单元确定单元11可通过重复地划分当前区域中的变换单元中的预定变换单元的高度和宽度中的至少一个来产生较低级别的变换单元。
[0067] 另外，变换单元确定单元11可确定是否将每个变换单元划分为较低级别的变换单元，可在具有相同级别并且通过从较高级别变换单元划分而产生的每个变换单元中独立地执行所述确定。
[0068] 在一个实施例中，将具有预定级别的变换单元划分为较低级别的变换单元的操作可包括划分具有预定级别的至少一个变换单元的操作。
[0069] 例如，从当前区域的最高变换单元到预定级别，所有的变换单元在每个划分级别可被划分或者可不被划分。
[0070] 在另一实施例中，当变换单元从预定级别划分为较低级别时，可在每个预定级别独立地确定是否在特定级别划分变换单元，从而较低级别的变换单元的尺寸可能不是恒定的。
[0071] 变换单元确定单元11通过对当前区域执行帧间预测或帧内预测来产生残差数据，并且基于变换单元确定单元11确定的变换单元来对残差数据执行变换，从而变换单元确定单元11对当前区域进行编码。也就是，通过使用由变换单元确定单元11确定的变换单元来对用于当前区域的预测的每个分区的残差数据进行再次划分，从而可对每个变换单元的残差数据执行变换。
[0072] 在本实施例中，用于视频编码的“变换”指示用于将空间域的视频数据变换为变换域的数据的数据处理技术。由变换单元确定单元11执行的用于视频编码的变换可包括频率变换、正交变换、整数变换等。
[0073] 变换单元确定单元11可通过使用根据级别的变换单元对包括在当前区域中并且处于根据分层结构的所有级别的变换单元重复地执行变换，可按照根据级别的变换单元比较变换的误差，因此可选择引起最小误差的级别的变换单元。产生引起最小误差的变换系数的级别的变换单元可被确定为具有作为输出变换结果的级别的变换深度的变换单元。
[0074] 因此，变换单元确定单元11可确定包括被确定为输出变换结果的变换单元的树结构的变换单元。
[0075] 根据本实施例，可预先设置关于视频的变换单元的最大尺寸和最小尺寸。变换单元确定单元11可针对当前画面的每个区域确定等于或小于关于视频的变换单元的最大尺寸的基础变换单元。基础变换单元是在当前区域中可使用的最大且最高级别变换单元。
[0076] 变换单元确定单元11可限制当前区域中的变换单元的级别的总数。变换单元被划分一次，从而较低级别的变换单元被产生，并且预定变换单元的级别可指示直到在基础变换单元根据级别被划分之后产生预定变换单元时执行的总划分次数。因此，当前区域中的变换单元的最大划分级别可涉及从当前区域的基础变换单元到最低级别的变换单元的划分的最大总次数。
[0077] 根据基础变换单元以及可针对当前区域不同设置的变换单元的最大划分级别，级别的总数以及变换单元的分层结构可被改变。因此，变换单元确定单元11可基于变换单元的最大划分级别来使用可变树结构的变换单元。可变树结构的变换单元可包括基础变换单元、以及根据通过从基础变换单元到变换单元的最大划分级别逐步划分而产生的级别的变换单元。
[0078] 变换单元确定单元11可基于可变树结构的变换单元对当前区域执行变换，该可变树结构的变换单元基于变换单元的最大划分级别产生并且从关于当前区域的基础变换单元逐步划分的变换单元中确定。变换单元确定单元11可最终确定这样的变换单元，所述变换单元来自可变树结构中的变换单元并且将用于输出当前区域的变换系数。
[0079] 关于当前区域的变换单元的最小尺寸可被确定为关于视频的变换单元的最小尺寸以及通过将基础变换单元划分为变换单元的最大划分级别而获得的最低级别的变换单元的尺寸中的较大的一个。
[0080] 变换单元的划分的最大总次数可等于或小于从与关于当前区域的变换单元的最大尺寸对应的最大变换单元划分为与关于当前区域的变换单元的最小尺寸对应的最小变换单元的总划分次数。因此，变换单元的最大划分级别可等于或小于从与关于当前区域的变换单元的最大尺寸对应的最大变换单元划分为与关于当前区域的变换单元的最小尺寸对应的最小变换单元的总划分次数。
[0081] 关于当前区域的基础变换单元的尺寸可以是恒定的。另外，可根据区域的特性来设置具有不同尺寸的基础变换单元。例如，可基于用于当前区域的编码的预测模式和分区尺寸中的至少一个来确定基础变换单元的尺寸。
[0082] 可针对包括视频的画面序列、画面、条带和编码数据单元的数据级别中的预定级别的每个数据组设置变换单元的最大划分级别。也就是，例如，关于当前画面序列的最大划分级别可被设置，或者最大划分级别可针对每个画面、每个条带或每个数据单元被设置。在另一示例中，可在编码系统和解码系统之间预先隐含地设置变换单元的最大划分级别。
[0083] 可对于用于当前区域的编码的每个条带类型单独地确定关于当前区域的变换单元的最大划分级别。
[0084] 关于当前区域的基础变换单元可被确定为具有包括在分区(所述分区是包括在用于当前区域的预测编码的数据单元)中的形状的数据单元，从而数据单元可不跨越所述分区之间的边界。
[0085] 此外，通过划分关于当前区域的基础变换单元而获得的较低级别的变换单元可被确定为具有包括在分区(所述分区是用于当前区域的预测编码的数据单元)中的形状的数据单元，从而数据单元可不跨越所述分区之间的边界。
[0086] 稍后参照图5至图10来描述与基础变换单元和较低级别的变换单元的确定相关的示例。
[0087] 输出单元13可输出包括当前区域的编码数据的比特流、关于编码模式的信息以及关于变换单元的各种类型的信息。
[0088] 输出单元13可输出在各种编码操作之后产生的当前区域的编码数据，所述各种编码操作包括基于由变换单元确定单元11确定的变换单元的变换、以及量化、帧间预测、帧内预测、熵编码等。
[0089] 输出单元13可输出关于与用于各种编码操作的编码方案相关的编码模式的各种类型的信息，所述各种编码操作包括基于由变换单元确定单元11确定的变换单元的变换、以及量化、帧间预测、帧内预测、熵编码等。
[0090] 输出单元13可输出指示关于视频的变换单元的分层结构的变换单元分层结构信息。变换单元分层结构信息可包括关于视频的变换单元的最大尺寸和最小尺寸的信息以及变换索引信息。
[0091] 在实施例中，变换索引信息可指示关于用于当前区域的变换的变换单元的结构的信息。例如，变换索引信息可包括从当前区域划分为最低级别的变换单元的总划分次数、变换单元的尺寸以及变换单元的形状。
[0092] 在另一实施例中，根据在每个级别将较高级别的变换单元划分为具有相同尺寸的变换单元的情况，变换索引信息可指示当前区域到最低级别的变换单元的总划分次数。
[0093] 输出单元13可输出关于针对视频的变换单元的最大尺寸和最小尺寸的信息。在实施例中，关于针对视频的变换单元的最大尺寸和最小尺寸的信息可在被包括在视频流的序列参数集或图像参数集中时被输出。
[0094] 变换单元分层结构信息可包括指示变换单元的最大划分级别的变换单元最大划分信息。因此，输出单元13可对变换单元最大划分信息进行编码和输出。在实施例中，变换单元最大划分信息可在被包括在序列参数集或图像参数集中时被输出，或者可针对具有预定尺寸的每个条带或每个区域设置该变换单元最大划分信息。
[0095] 在另一实施例中，当在编码系统和解码系统之间变换单元的最大划分级别预先隐含地被设置时，不需要对变换单元最大划分信息进行编码和输出。
[0096] 输出单元13可针对当前区域确定可变树结构中的每个变换单元的变换单元子划分信息，随后可输出变换单元子划分信息，所述变换单元子划分信息指示特定变换单元是否被划分为下一较低级别的变换单元。输出单元13可跳过针对具有最小尺寸的变换单元的变换单元子划分信息，所述具有最小尺寸的变换单元来自针对当前区域确定的多个变换单元并且针对当前区域被允许。
[0097] 输出单元13可确定并输出多个变换单元的每个变换单元的分层变换单元模式信息(针对当前区域确定所述多个变换单元)，并且分层变换单元模式信息可指示包括非零系数并且来自于较低级别的变换单元的变换单元的存在。
[0098] 图2是根据本发明实施例的使用可变树结构的变换单元的视频解码设备20的框图。
[0099] 使用可变树结构的变换单元的视频解码设备20包括接收单元21、提取单元23和解码单元25。以下，为了便于描述，使用可变树结构的变换单元的视频解码设备20被称为“视频解码设备20”。视频解码设备20的接收单元21、提取单元23和解码单元25进行的操作可由视频编码处理器、中央处理器、图形处理器等协同控制。
[0100] 为了从比特流恢复图像，视频解码设备20可执行包括熵解码、反量化、逆变换、帧间预测/补偿和帧内预测/补偿的操作，从而对比特流的编码图像数据进行解码。
[0101] 接收单元21接收并解析关于编码视频的比特流。提取单元23从由接收单元21解析的比特流提取针对当前画面的每个区域编码的数据、关于编码模式的信息以及关于变换单元的各种类型的信息。
[0102] 提取单元23可将当前区域的编码数据、关于编码模式的信息以及关于变换单元的各种类型的信息传递给解码单元25。
[0103] 解码单元25可根据各种解码方法(根据关于编码模式的信息来确定各种解码方案)来对编码数据执行包括熵解码、反量化、逆变换、帧间预测/补偿和帧内预测/补偿，可恢复当前区域的像素值，随后可恢复当前画面。
[0104] 提取单元23可从比特流中提取变换单元分层结构信息(诸如涉及变换单元的分层结构的变换单元的最大尺寸信息和最小尺寸信息、变换单元的最大尺寸信息和最小尺寸信息等)。
[0105] 解码单元25可基于由提取单元23提取的关于变换单元的各种类型的信息来确定针对当前区域的逆变换所需的变换单元，并可基于所述变换单元来针对当前区域执行逆变换。由解码单元25为视频的解码而执行的逆变换可指示将变换域的数据变换为空间域的数据的处理。由解码单元25进行的逆变换可包括逆频率变换、逆正交变换、逆整数变换等。
[0106] 变换单元、基础变换单元和变换单元的分层结构的概念与参照图1和视频编码设备10的前述描述相同。也就是，在本实施例中，通过根据任意比例划分当前区域或者较高级别的变换单元的高度和宽度中的至少一个来产生变换单元。
[0107] 具体地讲，可基于针对当前区域的变换单元的最大划分级别或者变换单元的最大划分次数来确定可变树结构的变换单元。也就是，可变树结构的变换单元可包括基础变换单元以及较低级别的变换单元，较低级别的变换单元是从基础变换单元到在当前视频中允许的最大划分级别的被划分的变换单元。
[0108] 提取单元23可从变换单元分层结构信息提取针对视频的变换单元的最大尺寸信息和最小尺寸信息。在实施例中，可从视频流的序列参数集或画面参数集中提取关于视频的变换单元的最大尺寸信息和最小尺寸信息。
[0109] 提取单元23可从变换单元分层结构信息提取变换单元最大划分信息。在实施例中，可从序列参数集或画面参数集中提取变换单元最大划分信息，或者可从条带或者对于每个区域设置的参数中提取变换单元最大划分信息。
[0110] 在另一实施例中，当在编码系统和解码系统之间变换单元的最大划分级别被预先隐含地设置时，不需要单独地提取变换单元最大划分信息。
[0111] 解码单元25可分析当前区域的从基础变换单元到最低级别变换单元的可允许的级别总数或者可允许的总划分次数。
[0112] 解码单元25可读取针对视频的画面序列设置的变换单元的最大划分级别。可选择地，可根据各种数据级别(诸如画面、条带或数据单元)来读取变换单元的最大划分级别。
[0113] 在另一实施例中，可基于在编码系统和解码系统之间预先隐含设置的变换单元的最大划分级别来确定可变树结构的变换单元。
[0114] 提取单元23可从变换单元分层结构信息中提取变换索引信息。提取单元23可从变换索引信息分析用于当前区域的变换的变换单元的结构。
[0115] 例如，可从变换索引信息中提取从当前区域到最低级别变换单元的总划分次数、变换单元的尺寸以及变换单元的形状。当根据变换索引信息，在每个级别较高级别的变换单元被划分为具有相同尺寸的变换单元时，从当前区域到最低级别变换单元的总划分次数可被读取。
[0116] 提取单元23可提取针对多个变换单元中的每个变化单元的变换单元子划分信息，其中针对当前区域来确定所述多个变换单元。解码单元25可基于变换单元子划分信息来确定是否将当前级别的变换单元划分为下一更低级别的变换单元。当不再针对预定级别的变换单元提取变换单元子划分信息时，预定级别的变换单元可被分析为针对当前区域允许的最小尺寸变换单元。提取单元23可从针对当前区域确定的多个变换单元中的每个变化单元提取分层变换单元模式信息。解码单元25可从分层变换单元模式信息中分析变换单元的存在，该变换单元包括非零系数并且来自于当前变换单元的较低级别的多个变换单元。
[0117] 在实施例中，基于变换单元分层结构信息，可从分层结构的变换单元分析逆变换所需的信息，所述分层结构的变换单元从当前区域的最高级别变换单元到预定划分级别被统一地划分为在每个级别具有恒定的尺寸的变换单元。在另一实施例中，是否将较高级别的变换单元划分为较低级别的变换单元被单独地确定，基于变换单元分层结构信息被确定为逆变换所需的变换级别的变换单元不限于具有恒定的尺寸的变换单元。
[0118] 因此，解码单元25可通过使用基于由提取单元23提取的变换单元相关信息确定的变换单元来对当前区域执行逆变换。
[0119] 具体地讲，解码单元25可基于针对当前区域的变换单元的最大划分级别(基于变换单元最大划分信息来确定针对当前区域的变换单元的最大划分级别)来分析针对当前区域允许的可变树结构的变换单元，并可检测将用于变换系数的逆变换的并且从可变树结构的变换单元中确定的变换单元。解码单元25可通过使用基于最大划分级别检测的变换单元来对当前区域执行逆变换。
[0120] 解码单元25可基于关于对应编码模式的信息以及变换单元相关信息来对配置视频的预定区域的每个图像执行解码，因此可对视频进行解码。
[0121] 在视频编码和解码过程中，视频编码设备10和视频解码设备20可通过使用具有各种尺寸和形状的树结构变换单元来执行变换和逆变换，从而视频编码设备10和视频解码设备20可考虑到图像特性来有效地对视频进行编码和解码。
[0122] 另外，由于通过基于树结构的多个变换单元中的可变树结构的变换单元使用变换来执行编码和解码，因此可跳过使用根据图像特性和编码特性不需要的级别的变换单元的编码和解码过程，从而计算量会减小。
[0123] 另外，基于最大划分级别可预测针对当前区域允许的变换单元的最大划分次数量或级别的总数，从而可减小关于包括变换单元子划分信息的信息的传输量，在将用于视频解码的变换单元的确定中需要所述变换单元子划分信息。
[0124] 图3示出根据本发明实施例的树结构的变换单元的分层模型。
[0125] 可由视频编码设备10和视频解码设备20基于在当前视频中允许的变换单元的最大尺寸和最小尺寸来确定将用于当前视频的编码的树结构的变换单元。
[0126] 视频编码设备10可将在当前视频中允许的变换单元的最大尺寸信息“MaxTransformSize”和最小尺寸信息“MinTransformSize”包括在序列参数集或图像参数集中并可输出它们。
[0127] 例如，当变换单元的最大尺寸信息“MaxTransformSize”和最小尺寸信息“MinTransformSize”分别指示32×32和4×4时，关于64×64尺寸的区域(即，编码单元(CU)30)的变换单元可包括32×32尺寸变换单元35a、35b、35c和35d至4×4尺寸变换单元38a和38b。
[0128] 为了便于描述，变换单元的分层关系被假设，其中，当前变换单元的高度和高度被二等分，从而从当前变换单元产生下一较低级别的四个变换单元。由于在当前视频中允许的变换单元的最大尺寸是32×32，因此最高级别的零级别的变换单元的尺寸可以是32×32，第一级别的变换单元的尺寸可以是16×16，第二级别的变换单元的尺寸可以是
8×8，第三级别的变换单元的尺寸可以是4×4。
[0129] 更详细地，零级别的32×32尺寸的变换单元35a、35b、35c和35d可被划分为第一级别的16×16尺寸的变换单元36a、36b、36c、36d、36e、36h、36i、36l、36m和36p。另外，第一级别的16×16尺寸的变换单元36a、36b、36c、36d、36e、36h、36i、36l、36m和36p可被划分为第二级别的8×8尺寸的变换单元37a、37b、37c、37d、37e和37f。另外，第二级别的8×8尺寸的变换单元37a、37b、37c、37d、37e和37f可被划分为第三级别的4×4尺寸的变换单元38a和38b。
[0130] 由于空间限制，虽然没有示出关于第一级别的变换单元36a、36b、36c、36d、36e、36h、36i、36l、36m和36p、第二级别的8×8尺寸的变换单元37a、37b、37c、37d、37e和37f以及第三级别的4×4尺寸的变换单元38a和38b的所有可用变换单元，但是可从当前变换单元产生下一较低级别的四个变换单元。
[0131] 更加详细地，根据可用于当前区域(即，CU 30)的变换的级别的变换单元的总数可以是包括零级别的变换单元35a、35b、35c和35d的4个变换单元、包括第一级别的变换单元36a、36b、36c、36d、36e、36h、36i、36l、36m和36p的16个变换单元、包括第二级别的变换单元37a、37b、37c、37d、37e和37f的64个变换单元以及第三级别的变换单元38a和38b的256个变换单元。
[0132] 为了确定针对当前区域30的树结构的变换单元，视频编码设备10可通过使用在当前视频中允许的以下变换单元来对当前区域30重复地执行变换：32×32尺寸的变换单元35a、35b、35c和35d、16×16尺寸的变换单元36a、36b、36c、36d、36e、36h、36i、36l、36m和36p、8×8尺寸的变换单元37a、37b、37c、37d、37e和37f以及4×4尺寸的变换单元38a和38b。
[0133] 在视频编码设备10针对零级别、第一级别、第二级别和第三级别的所有变换单元执行变换之后，视频编码设备10可针对当前区域30的内部区域中的每个区域独立地选择变换单元，其中，该变换单元处于这样的级别：从该级别输出具有最小误差的变换系数。在实施例中，树结构的变换单元可包括选择的级别的变换单元。
[0134] 为了对关于当前区域30的树结构的变换单元的信息进行编码，视频编码设备10可对关于变换深度的变换深度信息进行编码和输出，所述变换深度指示产生具有最小误差的变换系数的变换单元的级别。
[0135] 视频解码设备20通过使用从比特流提取的变换深度信息来读取用于输出当前区域30的变换系数的变换单元的级别，并可确定用于当前区域30的变换系数的逆变换的树结构的变换单元。
[0136] 图4示出根据本发明实施例的可变树结构的变换单元的分层模型。
[0137] 视频编码设备10可与在当前视频中允许的变换单元的最大尺寸信息“MaxTransformSize”和最小尺寸信息“MinTransformSize”一起输出当前区域的变换单元的最大划分信息“MaxTuDepth”。
[0138] 当前区域的变换单元的最大划分信息可指示针对当前区域的变换单元的最大变换级别，即可允许的级别的总数。针对当前区域的当前区域40，可允许从最上级别的基础变换单元到作为最大变换级别的最低级别的变换单元的多个变换单元。
[0139] 例如，针对当前区域的最大变换级别可被设置为2。
[0140] 基础变换单元可包括零级别的32×32尺寸的变换单元45a、45b、45c和45d。
[0141] 因此，针对具有64×64尺寸的当前区域40的变换单元可包括零级别的32×32尺寸的变换单元45a、45b、45c和45d以及第一级别的16×16尺寸的变换单元46a、46b、46c、46d、46e、46h、46i、46l、46m和46p。
[0142] 基于在当前视频中允许的变换单元的最大尺寸信息“MaxTransformSize”和最小尺寸信息“MinTransformSize”以及当前区域的变换单元的最大划分信息“MaxTuDepth”，可通过使用等式1来计算可在当前区域中使用的变换单元的最小尺寸。
[0143] 【等式1】
[0144] Minimum possible leaf TU zise
[0145] ＝Max(MinTransformSize,RootTUSize/(2^(MaxTuDepth-1)))
[0146] 也就是，当前区域的变换单元的最小尺寸“Minimum possible leaf TU zise”可以是在当前视频中允许的变换单元的最小尺寸信息“MinTransformSize”以及通过按照最大划分次数划分基础变换单元而获得的最低级别的变换单元的尺寸RootTUSize/(2^(MaxTuDepth-1))中的较大的一个。
[0147] 在等式1中，与最大划分次数对应的“MaxTuDepth-1”的范围满足等式2。
[0148] 【等式2】
[0149] MaxTuDepth-1≤Log2(MaxTransformSize)-Log2(MinTransformSize)
[0150] 也就是，最大划分次数可等于或小于基于在当前视频中允许的变换单元的最大尺寸信息“MaxTransformSize”和最小尺寸信息“MinTransformSize”确定的从最大变换单元到最小变换单元的总划分次数。
[0151] 根据可被用于对当前区域40执行变换的级别的变换单元的总数可以是零级别的四个变换单元45a、45b、45c和45d以及第一级别的16个变换单元46a、46b、46c、46d、46e、46h、46i、46l、46m和46p。
[0152] 因此，尽管零级别、第一级别、第二级别和第三级别的所有的变换单元根据针对当前视频的变换单元的最大尺寸信息和最小尺寸信息会是可用的，但是视频编码设备10可基于针对当前区域40设置的最大划分级别或者最大划分次数，通过仅使用第一级别和第二级别的变换单元来对当前区域40执行变换。
[0153] 也就是，如上所述，针对图3的当前区域30，基于针对当前视频的变换单元的最大尺寸信息和最小尺寸信息，通过使用零级别的4个变换单元、第一级别的16个变换单元、第二级别的64个变换单元以及第三级别的256个变换单元来执行变换。相反，针对图4的当前区域40，可基于变换单元的最大划分级别或者最大划分次数，通过仅使用零级别的4个变换单元以及第一级别的16个变换单元来执行变换。
[0154] 另外，视频编码设备10可对每个变换单元的变换单元子划分信息进行编码(每个变换单元的变换单元子划分信息指示对应的变换单元是否被划分为下一更低级别的变换单元)，随后可输出该信息。由于具有最小尺寸的变换单元不再被划分为下一更低级别的变换单元，因此针对最低级别的变换单元不需要对变换单元子划分信息进行编码。
[0155] 因此，针对图3的当前区域30，可针对零级别的4个变换单元、第一级别的16个变换单元以及第二级别的64个变换单元来对变换单元子划分信息进行编码。相反，针对图4的当前区域40，基于变换单元的最大划分级别或者最大划分次数，仅针对零级别的4个变换单元对变换单元子划分信息进行编码。
[0156] 另外，如上所述，变换单元的最大划分次数可等于或小于分别与视频允许的最大尺寸和最小尺寸对应的从最大变换单元到最小变换单元的总划分次数，并且变换单元的最大划分级别可根据其结果而被预测。以这种方式，基于最大划分级别的可预测性，最大划分信息的比特会减少。
[0157] 例如，当根据截断一元最大编码方案(Truncated Unary Max Coding scheme)对最大划分信息进行编码时，将从视频允许的最大变换单元到最小变换单元的总划分次数设置为最大划分级别的最大值，从而当对与最大值对应的最大划分级别进行编码时，可减少一比特。
[0158] 作为图3的树结构的变换单元与图4的可变树结构的变换单元之间的比较的结果，由于可用于变换的变换单元级别的总数根据最大划分级别或者最大划分次数被改变，因此变换单元的分层结构被改变。视频编码设备10可通过使用可变树结构的变换单元来对当前区域40的每个区域执行变换，并且根据变换的结果，视频编码设备10可针对每个区域独立地选择变换单元，其中，变换单元处于输出具有最小误差的变换系数的级别。
[0159] 视频编码设备10可对变换深度信息和变换单元最大划分信息进行编码和输出，其中，视频编码设备10需要所述变换深度信息和变换单元最大划分信息来确定当前区域40的可变树结构的变换单元。
[0160] 视频解码设备20可通过使用从比特流提取的变换深度信息以及变换单元最大划分信息，来读取在当前区域40的编码中使用的变换单元的变换深度以及变换单元的最大划分级别。基于读取的变换深度或级别，可确定用于对当前区域40的变换系数进行逆变换的可变树结构的变换单元。
[0161] 可根据当前区域的特性确定变换单元的最大划分级别或者最大划分次数。因此，根据图像特性，如果不需要通过使用各种类型的变换单元来执行变换，则通过使用可变树结构的变换单元来执行视频编码和解码，从而可减少通过使用具有各种级别和尺寸的变换单元执行变换引起的计算量。另外，由于可基于变换单元的最大划分级别预测可用变换单元的分层结构，因此用于与变换单元的分层结构相关的编码信息的比特率会减少，从而编码结果的传输效率会提高。
[0162] 参照图3和图4，描述了变换单元的高度和宽度被二等分并被划分为较低级别的变换单元的实施例。然而，分层结构的变换单元不限于图3和图4的实施例，因此在其它实施例中，可根据任意比例划分变换单元的高度和宽度中的至少一个，从而可产生较低级别的变换单元。
[0163] 图5至图8示出根据本发明实施例的基础变换单元。
[0164] 在实施例中，可变树结构的变换单元包括从基础变换单元划分的较低级别的变换单元，从而可根据基础变换单元的形状或尺寸来确定可变树结构的变换单元的形状和尺寸。
[0165] 基本上，基础变换单元的尺寸等于或小于针对当前视频的最大变换单元。基于区域的编码模式之一，该区域的基础变换单元的形状可被确定。
[0166] 例如，可根据该区域的编码模式中的预测模式确定当前区域的基础变换单元的形状。例如，可基于当前区域的预测模式是帧间模式还是帧内模式确定基础变换单元的尺寸。
[0167] 例如，可根据当前区域的编码模式中的分区的尺寸来确定该区域的基础编码单元的形状。分区指示通过划分该区域以便对该区域执行帧间预测或帧内预测而获得的数据单元，并且分区的尺寸可指示该分区的形状或尺寸。
[0168] 参照图5，可确定具有与用于区域的预测的数据单元相同的形状的基础变换单元。例如针对2N×2N尺寸的区域50的2N×2N尺寸的分区51是用于帧间预测或帧内预测的数据单元，并且2N×2N尺寸的区域50的基础变换单元可被确定为2N×2N尺寸的变换单元。
[0169] 在另一实施例中，基础变换单元可被确定为具有的尺寸等于或小于区域的分区的尺寸的变换单元。在这种情况下，由于基础变换单元被包括在位于对应区域的分区中，因此基础变换单元可被确定为不跨越当前区域的分区之间的边界。
[0170] 参照图6，当针对2N×2N尺寸的区域60确定N×2N尺寸的分区61a和61b时，可针对2N×2N尺寸的区域60来确定2N×2N尺寸的基础变换单元65a、65b、65c和65d。2N×2N尺寸的基础变换单元65a、65b、65c和65d小于N×2N尺寸的分区61a和61b，从而2N×2N尺寸的基础变换单元65a、65b、65c和65d被包括在N×2N尺寸的分区61a和61b并且不跨越N×2N尺寸的分区61a和61b之间的边界。
[0171] 参照图7，可针对4M×4M尺寸的区域70来确定其宽度被不对称划分的分区71a和71b。也就是，可针对4M×4M尺寸的区域70来确定M×4M尺寸的分区71a和3M×4M尺寸的分区71b。在这种情况下，针对4M×4M尺寸的区域70的基础变换单元可被确定为M×M尺寸的变换单元75a、75b、75c和75d以及2M×2M尺寸的变换单元75i和75j以不跨越分区71a和71b之间的边界。M×M尺寸的变换单元75a、75b、75c和75d以及2M×2M尺寸的变换单元75i和75j可被包括在对应区域的分区71a或71b中。
[0172] 另外，针对当前区域，可将基础变换单元的尺寸限制为恒定的。参照图8，可针对4M×4M尺寸的区域80来确定M×4M尺寸的分区81a和3M×4M尺寸的分区81b。在这种情况下，可针对4M×4M尺寸的区域80来确定不跨越分区81a和81b之间的边界并具有恒定的尺寸的M×M尺寸的变换单元85a、85b、85c、85d、85e、85f、85g、85h、85i、85j、85k、85l、85m、
85n、85o和85p。
[0173] 在实施例中，可对于该区域的编码模式中的每个编码模式来单独地确定最大划分级别。
[0174] 可对于该区域的每个预测模式确定最大划分级别。例如，对于每个预测模式可以以对于帧间模式的区域确定最大划分信息“MaxTUDepthOfInter”或者以对于帧内模式的区域确定最大划分信息“MaxTUDepthOfIntra”等的方式来单独地确定最大划分级别。
[0175] 可对每个条带类型来单独地确定最大划分级别。例如，对于每个条带类型可以以对于帧内类型条带确定最大划分级别值“MaxTUDepthOfIntraSlice”、对于帧间P类型条带确定最大划分级别值“MaxTUDepthOfInterP”、对于帧间B类型条带确定最大划分级别值“MaxTUDepthOfInterB”等的方式来单独地确定最大划分级别。在这种情况下，在条带头包括针对每个条带类型的最大划分信息的同时条带头被编码。
[0176] 图9和图10示出根据本发明实施例的可变树结构的变换单元。
[0177] 可变树结构的变换单元可包括基础变换单元以及从基础变换单元划分并且具有的级别比基础变换单元低至少一个级别的多个变换单元。例如，虽然基础变换单元与分区尺寸不相关，但可基于分区尺寸来确定从基础变换单元划分的较低级别的多个变换单元。
[0178] 例如，参照图9，2N×2N尺寸的区域90的分区类型可被确定为N×2N尺寸的分区91a和91b。不管N×2N尺寸的分区91a和91b的尺寸，零级别的基础变换单元95的尺寸可被确定为与2N×2N尺寸的区域90相同的2N×2N尺寸。作为低于基础变换单元95一个级别的第一级别的变换单元97a、97b、97c和97d可被确定为N×N尺寸的变换单元，所述N×N尺寸的变换单元不跨越N×2N尺寸的分区91a和91b之间的边界并且小于N×2N尺寸的分区91a和91b。
[0179] 参照图10，4M×4M尺寸的区域92的分区类型可被确定为作为不对称分区类型的分区93a和93b。不管分区93a和93b的尺寸，零级别的基础变换单元94的尺寸可被确定为等于4M×4M尺寸的区域92的4M×4M。
[0180] 在实施例中，作为低于零级别的基础变换单元94一个级别的第一级别的变换单元可被确定为M×M尺寸的变换单元96a、96b、96c、96d、96e、96f、96g和96h以及2M×2M尺寸的变换单元96i和96j以便不跨越分区93a和93b之间的边界。
[0181] 在另一实施例中，作为低于零级别的基础变换单元94一个级别的第一级别的变换单元可被确定为M×M尺寸的变换单元98a、98b、98c、98d、98e、98f、98g、98h、98i、98j、98k、98l、98m、98n、98o和98p，以便具有恒定的尺寸，同时他们不跨越分区93a和93b之间的边界。
[0182] 以上参照图5至图8描述根据本发明实施例的基础变换单元，并且以上参照图9和图10描述根据本发明实施例的可变树结构的变换单元。尽管上述变换单元是通过将较高级别的变换单元的高度和宽度二等分而获得的方形数据单元，但是变换单元的形状不限于方形的数据单元。
[0183] 图11是根据本发明实施例的使用可变树结构的变换单元的视频编码方法的流程图。
[0184] 在操作111，将视频划分为多个区域并且随后对每个区域进行编码。为了在视频中对具有预定尺寸的当前区域进行编码，可基于可变树结构的变换单元来对当前区域执行变换，其中，基于从当前区域的基础变换单元分层划分的多个变换单元中的一个变换单元的最大划分级别来产生所述可变树结构的变换单元。当前区域可以是用于编码操作的数据单元、宏块、画面、条带等。
[0185] 当前区域单元的基础变换单元可以是针对当前区域可用的最大尺寸和最高级别的变换单元。基础变换单元的尺寸可等于或小于针对视频的变换单元的最大尺寸。
[0186] 变换单元的最大划分级别可指示针对当前区域允许的变换单元的级别的总数，并可与从当前区域的基础变换单元到针对当前区域允许的最低级别的变换单元的总划分次数对应。
[0187] 可变树结构的变换单元可包括根据变换单元的最大划分级别的基础变换单元以及根据通过逐步地从基础变换单元划分到变换单元的最大划分级别而产生的级别的多个变换单元。
[0188] 可对包括用于当前区域的编码的预测模式、条带类型等的每个编码模式单独地确定变换单元的最大划分级别。
[0189] 可根据图像特性不同地设置针对当前区域的基础变换单元。
[0190] 基于可被不同地设置的基础变换单元或者可被不同的设置的最大划分级别，可变树结构的变换单元可用于针对当前区域的变换。引起最小误差并且根据操作(在该操作中，通过使用可变树结构的变换单元对当前区域执行变换)的结果的变换单元可被确定为针对当前区域的具有变换深度的变换单元，从而变换系数可被输出。
[0191] 在操作112，当前区域的编码数据以及关于在当前区域的编码中确定的编码模式的信息以比特流的形式被输出，其中，经过由包括基于在操作111确定的变换单元的变换的编码产生所述编码数据。另外，针对视频的变换单元的最大尺寸信息和最小尺寸信息以及指示变换单元的最大划分级别的变换单元最大划分信息在被包括在比特流中时被输出。
[0192] 对于多个变换单元(所述多个变换单元自于被确定为针对当前区域的最终变换单元的变换单元并且排除具有当前区域的最小尺寸的变换单元)中的每个变换单元，指示所述多个变换单元中的每个变换单元是否被划分为下一更低级别的变换单元的变换单元子划分信息可被编码并且可被输出。
[0193] 另外，对于所述多个变换单元的每个、指示变换单元(该变换单元包括非零系数并且来自较低级别的多个变换单元)的存在的分层变换单元模式信息可被编码并可被输出。
[0194] 图12是根据本发明实施例的使用可变树结构的变换单元的视频解码方法的流程图。
[0195] 在操作121，接收包括视频的编码数据的比特流。
[0196] 在操作122，解析在操作121接收的比特流，从而从比特流中提取当前区域的编码数据以及关于在当前区域的编码中确定的编码模式的信息。
[0197] 另外，从比特流中提取针对视频的变换单元的最大尺寸信息和最小尺寸信息以及变换单元最大划分信息。对于使用在当前区域的编码中的每个预测模式或每个条带类型，可单独地读取关于针对当前区域的变换单元的变换单元最大划分信息。
[0198] 可从比特流中提取变换单元子划分信息或分层变换单元模式信息。
[0199] 在操作123，可从提取的关于编码模式的信息中读取当前区域的编码模式，并且可基于编码模式来对当前区域的编码数据进行解码。
[0200] 具体地讲，可基于变换单元最大划分信息来读取针对当前区域的变换单元的最大划分级别。可基于最大划分级别来确定可变树结构的变换单元，其中，可基于变换单元的最大划分级别来产生可变树结构的变换单元，并且从针对当前区域的基础变换单元分层划分的多个变换单元确定所述可变树结构的变换单元。可从可变树结构的变换单元确定具有变换深度的变换单元，并且可通过使用具有变换深度的变换单元对当前区域的变换系数执行逆变换。随后，可通过针对图像将编码的结果进行组合来恢复视频。
[0201] 可根据图像的空间域特性来单独地确定变换单元的最大划分级别或最大划分次数。可基于编码系统或解码系统的能力或数据通信环境来确定变换单元的最大划分级别或最大划分次数。由于从基础变换单元选择性地限制最大划分次数或最大划分级别，因此编码计算量和传输比特量会减少。
[0202] 下文中，参照图13至图27，将对使用树结构的变换单元以及可变树结构的变换单元的视频编码设备和视频解码设备以及视频编码方法和视频解码方法进行描述。
[0203] 图13是根据本发明实施例的使用树结构的编码单元和可变树结构的变换单元的视频编码设备100的框图。
[0204] 使用树结构的变换单元和可变树结构的变换单元的视频编码设备100包括最大编码单元划分器110、编码单元确定器120和输出单元130。下文中，为了便于描述，使用树结构的变换单元和可变树结构的变换单元的视频编码设备100被称为“视频编码设备100”。
[0205] 最大编码单元划分器110可基于图像的当前画面的最大编码单元对当前画面进行划分。如果当前画面大于最大编码单元，则当前画面的图像数据可被划分为至少一个最大编码单元。最大编码单元可以是具有32×32、64×64、128×128、256×256等尺寸的数据单元，其中，数据单元的形状是宽和高为2的平方的方形。图像数据可根据所述至少一个最大编码单元被输出到编码单元确定器120。
[0206] 编码单元可由最大尺寸和深度表征。深度表示编码单元从最大编码单元开始被空间划分的次数。因此，随着深度加深，根据深度的较深层编码单元可从最大编码单元被划分到最小编码单元。最大编码单元的深度是最高深度，最小编码单元的深度是最低深度。由于与每个深度对应的编码单元的尺寸随着最大编码单元的深度加深而减小，因此与较高深度对应的编码单元可包括与更低深度对应的多个编码单元。
[0207] 如上所述，根据编码单元的最大尺寸将当前画面的图像数据划分为一个或多个最大编码单元，每个最大编码单元可包括根据深度划分的较深层编码单元。由于最大编码单元根据深度被划分，因此包括在最大编码单元中的空间域的图像数据可根据深度被分层地分类。
[0208] 可预先确定编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限制最大编码单元的高度和宽度被分层划分的总次数。
[0209] 编码单元确定器120对通过根据深度划分最大编码单元的区域而获得的至少一个划分的区域进行编码，并根据所述至少一个划分的区域确定输出最终编码图像数据的深度。例如，编码单元确定器120通过根据当前画面的最大编码单元以根据深度的较深层编码单元对图像数据进行编码并选择具有最小编码误差的深度，来确定编码深度。因此，由编码单元确定器120输出与确定的编码深度对应的编码单元的编码图像数据。另外，与编码深度对应的编码单元可被视作编码的编码单元。确定的编码深度和根据确定的编码深度的编码图像数据被输出到输出单元130。
[0210] 基于与等于或低于最大深度的至少一个深度对应的较深层编码单元对最大编码单元中的图像数据进行编码，并基于每个较深层编码单元来比较对图像数据进行编码的结果。可在比较所述较深层编码单元的编码误差之后选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。
[0211] 随着编码单元根据深度被分层划分并随着编码单元的数量增加，最大编码单元的尺寸被划分。另外，即使编码单元在一个最大编码单元中对应于相同深度，仍通过单独测量每个编码单元的图像数据的编码误差来确定是否将与相同深度对应的每个编码单元划分为更低深度。因此，即使在图像数据被包括在一个最大编码单元中时，图像数据也根据深度被划分为区域并且在一个最大编码单元中编码误差会根据区域而不同。因此，编码深度会根据图像数据中的区域而不同。因此，可在一个最大编码单元中确定一个或多个编码深度，并可根据至少一个编码深度的编码单元来划分最大编码单元的图像数据。
[0212] 因此，编码单元确定器120可确定包括在最大编码单元中的具有树结构的编码单元。具有树结构的编码单元包括最大编码单元中所包括的所有较深层编码单元中与确定为编码深度的深度对应的编码单元。可在最大编码单元的相同区域中根据深度分层地确定编码深度的编码单元，并可在不同区域中独立地确定所述编码深度的编码单元。类似地，当前区域中的编码深度可与另一区域中的编码深度独立地被确定。
[0213] 最大深度是与从最大编码单元到最小编码单元的划分次数相关的索引。第一最大深度可表示从最大编码单元到最小编码单元的总的划分次数。第二最大深度可表示从最大编码单元到最小编码单元的深度级别总数。例如，当最大编码单元的深度是0时，最大编码单元被划分一次的编码单元的深度可被设置为1，最大编码单元被划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度0、深度1、深度2、深度3、深度4这5个深度级别。在这种情况下，第一最大深度可被设置为4，第二最大编码深度可被设置为5。
[0214] 可根据最大编码单元执行预测编码和变换。还根据最大编码单元，基于根据等于最大深度的深度或小于最大深度的深度的较深层编码单元来执行预测编码和变换。可根据正交变换或整数变换的方法来执行变换。
[0215] 由于每当最大编码单元根据深度被划分时较深层编码单元的数量就增加，因此对随着深度加深而产生的所有较深层编码单元执行包括预测编码和变换的编码。为了便于描述，现在将基于最大编码单元中的当前深度的编码单元描述预测编码和变换。
[0216] 视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，同时，相同的数据单元可用于所有操作，或者不同的数据单元可用于每个操作。
[0217] 例如，视频编码设备100可不仅选择用于对图像数据进行编码的编码单元，还可选择与该编码单元不同的数据单元以对编码单元中的图像数据执行预测编码。
[0218] 为了在最大编码单元中执行预测编码，可基于与编码深度对应的编码单元(即，基于不再被划分为与更低深度对应的编码单元的编码单元)执行预测编码。以下，不再被划分并且成为用于预测编码的基本单元的编码单元将被称为预测单元。通过划分预测单元获得的分区可包括预测单元或通过划分预测单元的高度和宽度中的至少一个而获得的数据单元。
[0219] 例如，当尺寸为2N×2N(其中，N是正整数)的编码单元不再被划分并且成为2N×2N的预测单元时，分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。分区类型的示例包括通过对称地划分预测单元的高度或宽度而获得的对称分区、通过不对称地划分预测单元的高度或宽度(诸如，1:n或n:1)而获得的分区、通过几何地划分预测单元而获得的分区以及具有任意形状的分区。
[0220] 预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式或帧间模式。另外，可仅对2N×2N的分区执行跳过模式。可独立地对编码单元中的多个预测单元执行编码，从而选择具有最小编码误差的预测模式。
[0221] 视频编码设备100可不仅基于用于对图像数据进行编码的编码单元对编码单元中的图像数据执行变换，还可基于与编码单元不同的数据单元对编码单元中的图像数据执行变换。
[0222] 如以上参照图1至图12进行的描述，为了在编码单元中执行变换，可基于具有等于或小于变换单元的尺寸的数据单元执行变换。例如，用于变换的变换单元可包括用于帧内模式的变换单元以及用于帧间模式的变换单元。
[0223] 与根据先前实施例的树结构的变换单元类似，编码单元中的变换单元可被递归地划分为更小尺寸的变换单元，从而根据变换深度根据树结构的变换单元来划分编码单元中的残差数据。
[0224] 还可对变换单元设置指示通过划分编码单元的宽度和高度而达到变换单元的划分次数的变换深度。例如，在2N×2N的当前编码单元中，当变换单元的尺寸是2N×2N时，变换深度可以是0，当变换单元的尺寸是N×N时，变换深度可以是1，当变换单元的尺寸是N/2×N/2时，变换深度可以是2。换句话说，可根据变换深度来对于变换单元设置具有树结构的变换单元。
[0225] 根据与编码深度对应的编码单元对信息编码不仅使用关于编码深度的信息，还使用与预测编码和变换相关的信息。因此，编码单元确定器120可确定具有最小编码误差的编码深度，还可确定预测单元中的分区类型、根据预测单元的预测模式以及用于变换的变换单元的尺寸。
[0226] 另外，编码单元确定器120可基于对于最大编码单元或当前编码单元中的每一个预先有限地设置的变换单元的最大划分级别，在针对编码单元的编码处理中通过使用可变树结构的变换单元来执行变换。
[0227] 基于变换单元的最大划分级别的可变树结构的变换单元对应于参照图1至图12的以上描述。也就是，可变树结构的编码单元可包括基础变换单元、以及从基础变换单元划分到编码单元允许的最大划分级别的较低级别的变换单元。
[0228] 基础变换单元和最大划分级别可根据编码模式被不同地设置。例如，当前图像的基础变换单元的形状可根据分区的尺寸或者来自编码单元的编码模式的预测模式被确定。
[0229] 分区可指示通过将编码单元的预测单元进行划分获得的数据单元，并且预测单元可以是具有与编码单元相同的尺寸的分区。在实施例中，基础变换单元可被确定为具有与编码单元的预测单元相同形状。在另一实施例中，基础变换单元可被确定为具有的尺寸等于或小于分区的尺寸以不跨越分区之间的边界。
[0230] 另外，在基础变换单元大于分区的同时，低于基础变换单元的级别的变换单元可被确定为具有的尺寸小于分区的尺寸以便不跨越分区之间的边界。
[0231] 编码单元确定器120可通过使用可变树结构的变换单元来对每个编码单元执行变换，因此可确定树结构的变换单元。
[0232] 稍后将参照图15至图25来对根据一个或多个实施例的根据最大编码单元的树结构的编码单元以及确定树结构的分区和变换单元的方法进行详细描述。
[0233] 编码单元确定器120可通过使用基于拉格朗日乘子(Lagrangian multiplier)的率失真最优化，测量根据深度的较深层编码单元的编码误差。
[0234] 输出单元130在比特流中输出最大编码单元的图像数据、关于根据编码深度的编码模式的信息，其中，最大编码单元的图像数据基于由编码单元确定器120确定的至少一个编码深度被编码。
[0235] 可通过对图像的残差数据进行编码来获得编码的图像数据。
[0236] 关于根据编码深度的编码模式的信息可包括关于编码深度的信息、关于预测单元中的分区类型的信息、预测模式和变换单元的尺寸中的至少一个。
[0237] 可通过使用根据深度的划分信息来定义关于编码深度的信息，其中，所述根据深度的划分信息指示是否对更低深度而非当前深度的编码单元执行编码。如果当前编码单元的当前深度是编码深度，则当前编码单元中的图像数据被编码和输出，因此划分信息可被定义为不将当前编码单元划分至更低深度。可选择地，如果当前编码单元的当前深度不是编码深度，则对更低深度的编码单元执行编码。因此，划分信息可被定义为对当前编码单元进行划分以获得更低深度的编码单元。
[0238] 如果当前深度不是编码深度，则对被划分为更低深度的编码单元的编码单元执行编码。因为在当前深度的一个编码单元中存在更低深度的至少一个编码单元，所以对更低深度的每个编码单元重复执行编码。因此，可针对具有相同深度的编码单元递归地执行编码。
[0239] 因为针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编码单元确定关于至少一个编码模式的信息，所以可针对一个最大编码单元确定关于至少一个编码模式的信息。另外，因为根据深度分层地划分图像数据，所以最大编码单元的图像数据的编码深度可根据位置而不同。因此，可针对图像数据设置关于编码深度和编码模式的信息。
[0240] 因此，输出单元130可将关于对应的编码深度和编码模式的编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。
[0241] 最小单元可以是通过将具有最低深度的最小编码单元划分为4份而获得的矩形数据单元。可选择地，最小单元可以是最大矩形数据单元，其中，所述最大矩形数据单元可被包括在最大编码单元中包括的所有编码单元、预测单元、分区单元和变换单元中。
[0242] 例如，通过输出单元130输出的编码信息可被分类为根据编码单元的编码信息和根据预测单元的编码信息。根据编码单元的编码信息可包括关于预测模式的信息以及关于分区的尺寸的信息中的至少一个。根据预测单元的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息以及关于帧内模式的插值方法的信息中的至少一个。
[0243] 关于根据画面、条带或画面组(GOP)定义的编码单元的最大尺寸的信息以及关于最大深度的信息可被插入到比特流的头、序列参数集(SPS)或图像参数集中。
[0244] 另外，可经由比特流的头、SPS或图像参数集来输出当前视频允许的变换单元的最大尺寸信息和变换单元的最小尺寸信息。输出单元130可输出以上参照图1至图12描述的变换单元最大划分信息、变换索引信息、变换单元子划分信息、分层变换单元模式信息等。
[0245] 在视频编码设备100中，较深层编码单元可以是通过将作为上一层的较高深度的编码单元的高度和宽度中的至少一个划分为2个而获得的编码单元。换而言之，在当前深度的编码单元的尺寸是2N×2N时，更低深度的编码单元的尺寸可以是N×N。另外，具有2N×2N的尺寸的当前深度的编码单元可包括4个更低深度的编码单元。
[0246] 因此，基于考虑当前画面的特性而确定的最大编码单元的尺寸和最大深度两者，视频编码设备100可通过针对每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元，来形成具有树结构的编码单元。另外，因为可通过使用各种预测模式和变换中的任意一种来对每个最大编码单元执行编码，所以可考虑各种图像尺寸的编码单元的特性来确定最佳编码模式。
[0247] 因此，如果以传统的宏块为单位对具有高分辨率或大数据量的图像进行编码，则每个画面的宏块的数量会急剧增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难以发送压缩的信息并且数据压缩效率下降。然而，通过使用视频编码设备100，因为在考虑图像的特征的同时调整了编码单元，同时，在考虑图像的尺寸的同时增大了编码单元的最大尺寸，所以图像压缩效率可提高。
[0248] 图13的视频编码设备100可对应于以上参照图1描述的视频编码设备10。
[0249] 也就是，在视频编码设备10中，当前区域可指示作为通过将视频的当前画面划分以对视频进行编码而获得编码单元之一的当前编码单元。
[0250] 视频编码设备10的变换单元确定单元11可将当前画面划分为最大编码单元，可基于根据深度的编码单元对每个最大编码单元执行变换，可选择具有编码深度的编码单元(从该编码深度输出产生最小误差的编码结果)，随后可确定树结构的编码单元。
[0251] 当视频编码设备10的变换单元确定单元11基于编码单元执行变换时，变换单元确定单元11可基于变换单元执行变换。具体地讲，可基于设置最大编码单元或每个当前编码单元的变换单元的最大划分级别来配置可变树结构的变换单元。
[0252] 视频编码设备10的变换单元确定单元11可基于可变树结构的变换单元来对每个编码单元执行变换，因此可确定作为变换单元的级别的变换深度以及引起最佳编码结果的编码单元的编码深度。因此，变换单元确定单元11可针对每个最大编码单元确定树结构的编码单元以及可变树结构的变换单元。
[0253] 视频编码设备10的输出单元13可输出针对每个最大编码单元根据树结构的编码单元编码的画面的编码数据，可对关于树结构的编码单元的编码模式和编码深度的信息进行编码，可对变换单元最大划分信息进行编码，并且可输出它们。
[0254] 图14是根据本发明实施例的使用树结构的编码单元和可变树结构的变换单元的视频编码设备200的框图。
[0255] 使用树结构的编码单元和可变树结构的变换单元的视频编码设备200包括接收器210、图像数据和编码信息提取器220以及图像数据解码器230。下文中，为了便于描述，使用树结构的编码单元和可变树结构的变换单元的视频编码设备200被称为“视频解码设备200”。
[0256] 用于视频解码设备200的各种操作的各种术语(诸如编码单元、深度、预测单元、变换单元以及关于各种编码模式的信息)的定义与以上参照图13和视频编码设备100所描述的术语的定义相同或类似。
[0257] 接收器210接收并解析编码的视频的比特流。图像数据和编码信息提取器220从解析的比特流提取每个编码单元的编码图像数据，并将提取的图像数据输出到图像数据解码器230，其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息提取器220可从关于与当前画面对应的头、SPS或图像参数集中提取关于当前画面的编码单元的最大尺寸的信息。
[0258] 另外，图像数据和编码信息提取器220从解析的比特流提取关于根据每个最大编码单元具有树结构的编码单元的编码深度和编码模式的信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。因此，比特流中的图像数据被划分为最大编码单元，从而图像数据解码器230针对每个最大编码单元对图像数据进行解码。
[0259] 可针对关于与编码深度对应的至少一个编码单元的信息设置关于根据最大编码单元的编码深度和编码模式的信息。此外，关于编码模式的信息可包括关于与编码深度对应的对应编码单元的分区类型的信息、关于预测模式的信息以及变换单元的尺寸的信息。另外，根据深度的划分信息可被提取作为关于编码深度的信息。
[0260] 由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的编码深度和编码模式的信息是关于这样的编码深度和编码模式的信息，即：所述编码模式和编码深度被确定为当编码器(诸如视频编码设备100)根据每个最大编码单元针对根据深度的每个较深层编码单元重复执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码深度和编码模式对图像数据进行解码来恢复图像。
[0261] 另外，图像数据和编码信息提取器220可从比特流的头、SPS或图像参数集中提取当前视频允许的变换单元的最大尺寸信息以及变换单元的最小尺寸信息。图像数据和编码信息提取器220可提取以上参照图1至图12描述的涉及变换单元的变换单元最大划分信息、变换索引信息、变换单元子划分信息、分层变换单元模式信息等，作为编码信息。
[0262] 由于关于编码深度和编码模式的编码信息可被分配给对应的编码单元、预测单元和最小单元中的预定数据单元，因此图像数据和编码信息提取器220可提取关于根据预定数据单元的编码深度和编码模式的信息。被分配有相同的关于编码深度和编码模式的信息的预定数据单元可被推断为包括在同一最大编码单元中的数据单元。
[0263] 图像数据解码器230通过基于关于根据最大编码单元的编码深度和编码模式的信息，对每个最大编码单元中的图像数据进行解码来恢复当前画面。换而言之，图像数据解码器230可基于提取的与包括在每个最大编码单元中的具有树结构的编码单元中的每个编码单元的分区类型、预测模式和变换单元有关的信息，来对编码的图像数据进行解码。解码处理可包括预测和逆变换中的至少一个，其中，所述预测包括帧内预测和运动补偿。可根据逆正交变换或逆整数变换来执行逆变换。
[0264] 基于关于根据编码深度的编码单元的预测单元的分区类型和预测模式的信息，图像数据解码器230可根据每个编码单元的分区和预测模式执行帧内预测或运动补偿。
[0265] 此外，为了根据最大编码单元执行逆变换，图像数据解码器230可读取包括关于根据编码深度的编码单元的变换单元的尺寸信息的树结构的变换单元，随后可基于该变换单元对每个编码单元执行逆变换。
[0266] 图像数据解码器230可基于针对每个编码单元的变换单元的最大划分级别来从基础变换单元确定包括可允许较低级别的可变树结构的变换单元。图像数据解码器230可确定具有对变换系数执行逆变换所需的变换深度的变换单元(其中，从可变树结构的变换单元中确定变换单元)，可对变换系数执行逆变换，因此可恢复像素值。
[0267] 图像数据解码器230可通过使用根据深度的划分信息来确定当前最大变换单元的至少一个编码深度。如果划分信息指示图像数据在当前深度不再被划分，则当前深度是编码深度。因此，图像数据解码器230可通过使用关于与编码深度对应的每个编码单元的预测单元的分区类型、预测模式以及变换单元尺寸的信息来对当前最大编码单元中的与每个编码深度对应的至少一个编码单元的编码数据进行解码，并且输出当前最大编码单元的图像数据。
[0268] 换而言之，可通过观察为编码单元、预测单元和最小单元中的预定数据单元分配的编码信息集，收集包括编码信息(所述编码信息包括相同的划分信息)的数据单元。此外，收集的数据单元可被认为是将由图像数据解码器230以相同编码模式进行解码的一个数据单元。
[0269] 视频解码设备200可获得与在对每个最大编码单元递归地执行编码时产生最小编码误差的至少一个编码单元有关的信息，并且视频解码设备200可使用所述信息来对当前画面进行解码。换而言之，可以对在每个最大编码单元中被确定为最佳编码单元的具有树结构的编码单元进行解码。另外，可考虑图像数据的分辨率和数据量来确定编码单元的最大尺寸。
[0270] 因此，即使图像数据具有高分辨率和大数据量，也可通过使用编码单元的尺寸和编码模式对所述图像数据进行有效地解码和恢复，其中，通过使用从编码器接收的关于最佳编码模式的信息，根据图像数据的特性来自适应地确定编码单元的尺寸和编码模式。
[0271] 图14的视频解码设备200可对应于以上参照图2描述的视频解码设备20。
[0272] 也就是，在视频解码设备20中，当前区域可指示作为通过将视频的当前画面进行划分以对视频编码而获得编码单元之一的当前编码单元。
[0273] 视频解码设备20的提取单元23可从解析的比特流中提取根据包括在最大编码单元中的每个中的树结构的编码单元而编码的画面的编码数据，并且可提取关于用于每个编码单元的编码深度和编码模式的信息。另外，视频解码设备20的提取单元23可提取对于每个画面、每个条带、每个最大编码单元或每个编码单元设置的变换单元最大划分信息。
[0274] 视频解码设备20的解码单元25可通过使用树结构的变换单元来对每个最大编码单元执行逆变换。具体地讲，解码单元25可通过使用变换单元(该变换单元从基于变换单元最大划分信息配置的可变树结构的变换单元中确定)来执行逆变换，可对每个编码单元中的编码数据进行解码，因此可恢复画面。
[0275] 图15是用于描述根据本发明实施例的编码单元的概念的示图。
[0276] 可以以宽度×高度来表示编码单元的尺寸，并且编码单元的尺寸可以是64×64、32×32、16×16和8×8，尽管应该理解另一实施例不限于此。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分为32×32、
32×16、16×32或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或
8×8的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。
[0277] 参照图15，第一视频数据310具有分辨率1920×1080、编码单元的最大尺寸64以及最大深度2。第二视频数据320具有分辨率1920×1080、编码单元的最大尺寸64以及最大深度3。第三视频数据330具有分辨率352×288、编码单元的最大尺寸16以及最大深度1。图15中示出的最大深度表示从最大编码单元到最小编码单元的总划分次数。
[0278] 如果分辨率高或者数据量大，则编码单元的最大尺寸可以很大，从而不仅提高编码效率，还精确地反映图像的特性。因此，具有比第三视频数据330更高的分辨率的第一视频数据310和第二视频数据320的编码单元的最大尺寸可以为64。
[0279] 由于第一视频数据310的最大深度是2，所以第一视频数据310的编码单元315可包括具有64的长轴(long axis)尺寸的最大编码单元，还包括由于通过将最大编码单元划分两次使深度加深两层而具有32和16的长轴尺寸的编码单元。同时，因为第三视频数据330的最大深度是1，所以第三视频数据330的编码单元335可包括具有16的长轴尺寸的最大编码单元，还包括由于通过将最大编码单元划分一次使深度加深一层而具有8的长轴尺寸的编码单元。
[0280] 因为第二视频数据320的最大深度是3，所以第二视频数据320的编码单元325可包括具有64的长轴尺寸的最大编码单元，以及由于通过将最大编码单元划分三次使深度加深3层而具有32、16和8的长轴尺寸的编码单元。随着深度加深(即，增加)，详细信息可被精确地表示。
[0281] 图16是根据本发明实施例的基于编码单元的图像编码器400的框图。
[0282] 参照图16，图像编码器400执行视频编码设备100的编码单元确定器120的操作，以对图像数据进行编码。例如，帧内预测器410对当前帧405中的帧内模式的编码单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405和参考帧495，对当前帧405中的帧间模式的编码单元分别执行帧间估计和运动补偿。
[0283] 从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和量化器440被输出为量化的变换系数。量化的变换系数通过反量化器460和逆变换器470被恢复为空间域中的数据。恢复的空间域中的数据在通过去块单元480和环路滤波单元490进行后处理之后，被输出为参考帧495。量化的变换系数可通过熵编码器450被输出为比特流455。
[0284] 为了在视频编码设备100中应用图像编码器400，图像编码器400的部件(即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、逆变换器470、去块单元480和环路滤波器490)在考虑每个最大编码单元的最大深度的同时，基于具有树结构的编码单元中的每个编码单元执行操作。
[0285] 具体地说，帧内预测器410、运动估计器420以及运动补偿器425在考虑当前最大编码单元的最大尺寸和最大深度的同时，确定具有树结构的编码单元中的每个编码单元的分区和预测模式，变换器430确定在具有树结构的编码单元中的每个编码单元中的变换单元的尺寸。
[0286] 图17是根据本发明实施例的基于编码单元的图像解码器500的框图。
[0287] 参照图17，解析器510从比特流505解析将被解码的编码图像数据和用于解码的关于编码的信息。编码图像数据通过熵解码器520和反量化器530被输出为反量化的数据，并且反量化的数据通过逆变换器540被恢复为空间域中的图像数据。
[0288] 帧内预测器550针对空间域中的图像数据，对帧内模式的编码单元执行帧内预测，运动补偿器560通过使用参考帧585，对帧间模式的编码单元执行运动补偿。
[0289] 经过帧内预测器550和运动补偿器560的空间域中的图像数据可在通过去块单元570和环路滤波单元580进行后处理之后，被输出为恢复的帧595。另外，通过去块单元570和环路滤波单元580进行后处理的图像数据可被输出为参考帧585。
[0290] 为了在视频解码设备200的图像数据解码器230中对图像数据进行解码，图像解码器500可执行在解析器510之后执行的操作。
[0291] 为了在视频解码设备200中应用图像解码器500，图像解码器500的部件(即，解析器510、熵解码器520、反量化器530、逆变换器540、帧内预测器550、运动补偿器560、去块单元570以及循环滤波单元580)针对每个最大编码单元基于具有树结构的编码单元来执行操作。
[0292] 具体地说，帧内预测器550和运动补偿器560需要确定具有树结构的编码单元中的每个编码单元的分区和预测模式，逆变换器540需要确定每个编码单元的变换单元的尺寸。
[0293] 图18是根据本发明实施例的根据深度的较深层编码单元和分区的示图。
[0294] 视频编码设备100和视频解码设备200使用分层的编码单元以考虑图像的特性。可根据图像的特性自适应地确定编码单元的最大高度、最大宽度和最大深度，或可由用户不同地设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预定最大尺寸来确定根据深度的较深层编码单元的尺寸。
[0295] 在编码单元的分层结构600中，编码单元的最大高度和最大宽度都是64，最大深度是4。这里，最大深度指示从最大编码单元到最小编码单元的总划分次数。由于深度沿着分层结构600的垂直轴加深(即，增加)，因此较深层编码单元的高度和宽度均被划分。此外，沿分层结构600的水平轴示出了作为用于每个较深层编码单元的预测编码的基础的预测单元和分区。
[0296] 例如，第一编码单元610是分层结构600中的最大编码单元，其中，其深度是0，尺寸(即高度×宽度)是64×64。深度沿着垂直轴加深，从而分层结构600包括尺寸为32×32且深度为1的第二编码单元620、尺寸为16×16且深度为2的第三编码单元630、尺寸为8×8且深度为3的第四编码单元640。尺寸为8×8且深度为3的编码单元640是最小编码单元。
[0297] 编码单元610、620、630和640的预测单元和分区根据每个深度沿着水平轴布置。换而言之，如果尺寸为64×64且深度为0的第一编码单元610是预测单元，则所述预测单元可被划分为包括在第一编码单元610中的分区，即：尺寸为64×64的分区610、尺寸为
64×32的分区612、尺寸为32×64的分区614或尺寸为32×32的分区616。
[0298] 类似地，尺寸为32×32且深度为1的第二编码单元620的预测单元可以被划分为包括在第二编码单元620中的分区，即：尺寸为32×32的分区620、尺寸为32×16的分区622、尺寸为16×32的分区624和尺寸为16×16的分区626。
[0299] 类似地，尺寸为16×16且深度为2的第三编码单元630的预测单元可以被划分为包括在第三编码单元630中的分区，即：包括在第三编码单元630中的尺寸为16×16的分区、尺寸为16×8的分区632、尺寸为8×16的分区634和尺寸为8×8的分区636。
[0300] 类似地，尺寸为8×8且深度为3的第四编码单元640的预测单元可以被划分为包括在第四编码单元640中的分区，即：包括在第四编码单元640中的尺寸为8×8的分区、尺寸为8×4的分区642、尺寸为4×8的分区644和尺寸为4×4的分区646。
[0301] 为了确定最大编码单元610的编码单元的至少一个编码深度，需要视频编码设备100的编码单元确定器120对包括在最大编码单元610中的与每个深度对应的编码单元执行编码。
[0302] 随着深度加深，包括相同范围和相同尺寸的数据的根据深度的较深层编码单元的总数增加。例如，需要4个与深度2对应的编码单元以覆盖与深度1对应的一个编码单元中包括的数据。因此，为了比较根据深度的相同数据的编码结果，与深度1对应的编码单元和与深度2对应的四个编码单元均被编码。
[0303] 为了对深度中的当前深度执行编码，可通过沿着分层结构600的水平轴对与当前深度对应的编码单元中的每个预测单元执行编码来针对当前深度选择最小编码误差。可选择地，可通过随着深度沿分层结构600的垂直轴加深对每个深度执行编码来比较根据深度的最小编码误差，从而搜索最小编码误差。第一编码单元610中具有最小编码误差的深度和分区可被选择为第一编码单元610的编码深度和分区类型。
[0304] 图19是描述根据本发明实施例的编码单元710和变换单元720之间的关系的示图。
[0305] 针对每个最大编码单元，视频编码设备100和视频解码设备200根据具有小于或等于最大编码单元的尺寸的编码单元对图像分别进行编码和解码。可基于不大于对应编码单元的数据单元来选择编码期间用于变换的变换单元的尺寸。
[0306] 例如，在视频编码设备100中，如果编码单元710的尺寸是64×64，则可通过使用尺寸为32×32的变换单元720来执行变换。
[0307] 此外，可通过对尺寸为小于64×64的32×32、16×16、8×8和4×4的变换单元中的每一个执行变换来对尺寸为64×64的编码单元710的数据进行编码，然后可选择具有最小编码误差的变换单元。
[0308] 图20是用于描述根据本发明实施例的对应于编码深度的编码单元的编码信息的示图。
[0309] 视频编码设备100的输出单元130可将与编码深度对应的每个编码单元的关于分区类型的第一信息800、关于预测模式的第二信息810和关于变换单元的尺寸的第三信息820编码为关于编码模式的信息，并将其发送。
[0310] 第一信息800表示关于通过划分当前编码单元的预测单元而获得的分区的形状的信息，其中，所述分区是用于对当前编码单元进行预测编码的数据单元。例如，尺寸为2N×2N的当前编码单元CU_0可被划分为尺寸为2N×2N的分区802、尺寸为2N×N的分区
804、尺寸为N×2N的分区806和尺寸为N×N的分区808中的任意一个。这里，关于分区类型的第一信息800被设置为表示尺寸为2N×N的分区804、尺寸为N×2N的分区806和尺寸为N×N的分区808中的一个。
[0311] 第二信息810表示每个分区的预测模式。例如，第二信息810可表示对由第一信息800表示的分区执行的预测编码的模式，即：帧内模式812、帧间模式814或跳过模式816。
[0312] 第三信息820表示当对当前编码单元执行变换时将作为基础的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧间变换单元828。
[0313] 视频解码设备200的图像数据和编码信息提取器220可根据每个较深层编码单元提取和使用用于解码的信息800、810和820。
[0314] 图21是根据本发明实施例的根据深度的较深层编码单元的示图。
[0315] 划分信息可被用于表示深度的改变。划分信息表示当前深度的编码单元是否被划分为更低深度的编码单元。
[0316] 用于对深度为0且尺寸为2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括尺寸为2N_0×2N_0的分区类型912的分区、尺寸为2N_0×N_0的分区类型914的分区、尺寸为N_0×2N_0的分区类型916的分区和尺寸为N_0×N_0的分区类型918的分区。图9只示出了通过对称地划分预测单元910获得的分区类型912至分区类型918，但是应该理解在另一实施例中分区类型不限于此。例如，预测单元910的分区可包括非对称分区、具有预定形状的分区和具有几何形状的分区。
[0317] 根据每个分区类型，可对尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区、尺寸为N_0×N_0的四个分区重复地执行预测编码。可对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区执行帧内模式下和帧间模式下的预测编码。仅对尺寸为2N_0×2N_0的分区执行跳过模式下的预测编码。
[0318] 对包括在分区类型912至分区类型916中的预测编码的编码的误差进行比较，并且在多个分区类型之间确定最小编码误差。如果在分区类型912至分区类型916之一中，编码误差最小，则预测单元910可不被划分为更低深度。
[0319] 如果在分区类型918中编码误差最小，则在操作920，深度从0改变为1以划分分区类型918，并对深度为2且尺寸为N_0×N_0的编码单元930重复执行编码以搜索最小编码误差。
[0320] 用于对深度为1且尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元930进行预测编码的预测单元940可包括尺寸为2N_1×2N_1的分区类型942的分区、尺寸为2N_1×N_1的分区类型944的分区、尺寸为N_1×2N_1的分区类型946的分区和尺寸为N_1×N_1的分区类型948的分区。
[0321] 如果在分区类型948中编码误差最小，则在操作950，深度从1改变为2以划分分区类型948，并对深度为2且尺寸为N_2×N_2的编码单元960重复执行编码以搜索最小编码误差。
[0322] 当最大深度为d时，根据每个深度的编码单元可被执行直到当深度变为d-1，并且划分信息可被编码直到当深度为0至d-2中的一个。例如，当在操作970将与深度d-2对应的编码单元划分之后，执行编码直到当深度为d-1时，用于对深度为d-1且尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括尺寸为2N_(d-1)×2N_(d-1)的分区类型992的分区、尺寸为2N_(d-1)×N_(d-1)的分区类型994的分区、尺寸为N_(d-1)×2N_(d-1)的分区类型996的分区以及尺寸为N_(d-1)×N_(d-1)的分区类型998的分区。
[0323] 可对分区类型992至分区类型998中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区重复执行预测编码，以搜索具有最小编码误差的分区类型。
[0324] 即使当分区类型998具有最小编码误差时，由于最大深度为d，所以深度为d-1的编码单元CU_(d-1)不再被划分为更低深度，当前最大编码单元900的编码单元的编码深度被确定为d-1，并且当前最大编码单元900的分区类型可被确定为N_(d-1)×N_(d-1)。此外，由于最大深度为d，并且最低深度为d-1的最小编码单元980不再被划分为更低深度，所以不设置最小编码单元980的划分信息。
[0325] 数据单元999可被认为是用于当前最大编码单元的最小单元。最小单元可以是通过将最小编码单元980划分为4部分而获得的矩形数据单元。通过重复地执行编码，视频编码设备100可通过对根据编码单元900的深度的编码误差进行比较来选择具有最小编码误差的深度以确定编码深度，并且可将对应的分区类型和预测模式设置为编码深度的编码模式。
[0326] 这样，在深度1至深度d的所有深度中对根据深度的最小编码误差进行比较，并且可将具有最小编码误差的深度确定为编码深度。可将编码深度、预测单元的分区类型、预测模式中的至少一个编码为关于编码模式的信息并将其发送。此外，由于从深度0至编码深度来划分编码单元，所以只有编码深度的划分信息被设置为0，并且除了编码深度之外的深度的划分信息被设置为1。
[0327] 视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元900的编码深度和预测单元的信息，以对分区912进行解码。视频解码设备200可通过使用根据深度的划分信息将划分信息为0的深度确定为编码深度，并可使用关于对应深度的编码模式的信息，以用于解码。
[0328] 图22到图24是用于描述根据本发明实施例的编码单元1010、预测单元1060和变换单元1070之间的关系的示图。
[0329] 编码单元1010是最大编码单元中的与由视频编码设备100确定的编码深度对应的具有树结构的编码单元。预测单元1060是每个编码单元1010的预测单元的分区，变换单元1070是每个编码单元1010的变换单元。
[0330] 当编码单元1010中的最大编码单元的深度为0时，编码单元1012和1054的深度为1，编码单元1014、1016、1018、1028、1050和1052的深度为2，编码单元1020、1022、1024、1026、1030、1032和1048的深度为3，编码单元1040、1042、1044和1046的深度为4。
[0331] 在预测单元1060中，通过在编码单元1010中划分编码单元来获得一些编码单元1014、1016、1022、1032、1048、1050、1052和1054。例如，编码单元1014、1022、1050和1054中的分区类型的尺寸为2N×N，编码单元1016、1048和1052的分区类型的尺寸为N×2N，编码单元1032的分区类型的尺寸为N×N。编码单元1010的预测单元和分区小于或等于每个编码单元。
[0332] 以小于编码单元1052的数据单元对变换单元1070中的编码单元1052的图像数据执行变换或逆变换。另外，变换单元1070中的编码单元1014、1016、1022、1032、1048、1050和1052与预测单元1060中的那些编码单元在尺寸和形状上不同。例如，视频编码设备100和视频解码设备200可对相同的编码单元中的数据单元单独地执行帧内预测、运动估计、运动补偿、变换和逆变换。
[0333] 因此，对最大编码单元的每个区域中具有分层结构的编码单元中的每个编码单元递归地执行编码以确定最佳编码单元，因此可获得具有递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、关于分区类型的信息、关于预测模式的信息以及关于变换单元的尺寸的信息。表1示出了可由视频编码设备100和视频解码设备200设置的编码信息。
[0334] 【表1】
[0335]
[0336] 视频编码设备100的输出单元130可输出关于具有树结构的编码单元的编码信息，并且视频解码设备200的图像数据和提取单元220可从接收的比特流提取关于具有树结构的编码单元的编码信息。
[0337] 划分信息指示当前编码单元是否被划分为更低深度的多个编码单元。如果当前深度d的划分信息是0，则当前编码单元不再被划分为更低深度的深度是编码深度，因此可针对编码深度定义关于分区类型、预测模式以及变换单元的尺寸的信息。如果当前编码单元根据划分信息被进一步划分，则对更低深度的四个划分编码单元独立地执行编码。
[0338] 预测模式可以是帧内模式、帧间模式和跳过模式中的一个。可在所有分区类型中定义帧内模式和帧间模式，并且可仅在具有尺寸2N×2N的分区类型定义跳过模式。
[0339] 关于分区类型的信息可指示通过对称地划分预测单元的高度和宽度中的至少一个而获得的具有尺寸2N×2N、2N×N、N×2N和N×N的对称分区类型、以及通过不对称地划分预测单元的高度和宽度中的至少一个而获得的具有尺寸2N×nU、2N×nD、nL×2N和nR×2N的多个不对称分区类型。可通过以1:3和3:1划分预测单元的高度来分别地获得具有尺寸2N×nU和2N×nD的不对称分区类型，可通过以1:3和3:1划分预测单元的宽度来分别地获得具有尺寸nL×2N和nR×2N的不对称分区类型。
[0340] 变换单元的尺寸可被设置为帧内模式的两种类型和帧间模式的两种类型。例如，如果变换单元的划分信息是0，则变换单元的尺寸可以是作为当前编码单元的尺寸的2N×2N。如果变换单元的划分信息是1，则可通过划分当前编码单元来获得变换单元。另外，如果具有尺寸2N×2N的当前编码单元的分区类型是对称分区类型，则变换单元的尺寸可以是N×N，如果当前编码单元的分区类型是不对称分区类型，则变换单元的尺寸可以是N/2×N/2。
[0341] 关于具有树结构的编码单元的编码信息可包括与编码深度对应的编码单元、预测单元以及最小单元中的至少一个。与编码深度对应的编码单元可包括包含相同编码信息的最小单元和预测单元中的至少一个。
[0342] 因此，通过比较相邻数据单元的编码信息来确定相邻数据单元是否包括在与编码深度对应的相同编码单元中。另外，通过使用数据单元的编码信息来确定与编码深度对应的对应编码单元，因此可确定最大编码单元中的编码深度的分布。
[0343] 因此，如果基于相邻数据单元的编码信息来预测当前编码单元，则可直接参考和使用与当前编码单元相邻的较深层编码单元中的数据单元的编码信息。
[0344] 在另一实施例中，如果基于相邻数据单元的编码信息来预测当前编码单元，则使用所述数据单元的编码信息来搜索与当前编码单元相邻的数据单元，并且可参考搜索到的相邻编码单元来预测当前编码单元。
[0345] 图25是根据本发明实施例的用于描述根据表1的编码模式信息的编码单元、预测单元或分区以及变换单元之间的关系的示图。
[0346] 最大编码单元1300包括多种编码深度的编码单元1302、1304、1306、1312、1314、1316和1318。这里，由于编码单元1318是编码深度的编码单元，所以划分信息可被设置为
0。关于尺寸为2N×2N的编码单元1318的分区类型的信息可被设置为尺寸为2N×2N的分区类型1322、尺寸为2N×N的分区类型1324、尺寸为N×2N的分区类型1326、尺寸为N×N的分区类型1328、尺寸为2N×nU的分区类型1332、尺寸为2N×nD的分区类型1334、尺寸为nL×2N的分区类型1336或尺寸为nR×2N的分区类型1338。
[0347] 变换单元划分信息TU尺寸标志可以是变换索引之一，并且与变换索引对应的变换单元的尺寸可根据编码单元的预测单元类型或分区类型而改变。
[0348] 例如，当分区类型被设置为对称(即，分区类型1322、1324、1326或1328)时，如果变换单元划分信息为0，则设置尺寸为2N×2N的变换单元1342，如果变换单元划分信息为1，则设置尺寸为N×N的变换单元1344。
[0349] 当分区类型被设置为非对称(即，分区类型1332、1334、1336或1338)时，如果变换单元划分信息为0，则设置尺寸为2N×2N的变换单元1352，如果变换单元划分信息为1，则设置尺寸为N/2×N/2的变换单元1354。
[0350] 参照图21，变换单元划分信息TU尺寸标志是具有值0或1的标志，但是应该理解另一实施例不限于1比特标志，并且在另一实施例中在变换单元划分信息从0开始增加时，变换单元可被具有树结构地分层划分。变换单元划分信息可被用作变换索引的实施例。
[0351] 在这种情况下，当变换单元索引信息与变换单元的最大尺寸和变换单元的最小尺寸一起使用时，实际使用的变换单元的尺寸可被表示。视频编码设备100可对最大变换单元的尺寸信息、最小变换单元的尺寸信息以及变换单元的最大划分信息进行编码。编码的最大变换单元的尺寸信息、编码的最小变换单元的尺寸信息以及变换单元的最大划分信息可被插入SPS中。视频解码设备200可通过使用最大变换单元的尺寸信息、最小变换单元的尺寸信息以及变换单元的最大划分信息来执行视频解码。
[0352] 例如，当当前编码单元具有尺寸64×64，最大变换单元具有尺寸32×32并且变换单元划分信息是0时，变换单元可被设置为具有尺寸32×32。当当前编码单元具有尺寸64×64，最大变换单元具有尺寸32×32并且变换单元划分信息是1时，变换单元可被设置为具有尺寸16×16。当当前编码单元具有尺寸64×64，最大变换单元具有尺寸32×32并且变换单元划分信息是2时，变换单元可被设置为具有尺寸8×8。
[0353] 例如，当当前编码单元具有尺寸32×32，最小变换具有尺寸32×32并且变换单元划分信息是0时，变换单元可被设置为具有尺寸32×32。由于变换单元的尺寸不能小于32×32，因此变换单元划分信息不能被设置。
[0354] 例如，当当前编码单元具有尺寸64×64，变换单元的最大划分信息是1时，变换单元划分信息可以是0或1，并且其他变换单元划分信息不能被设置。
[0355] 因此，当变换单元的最大划分信息被定义为“MaxTransformSizeIndex”，最小变换单元的尺寸被定义为“MinTransformSize”并且变换单元的尺寸在变换单元划分信息是0时被定义为“RootTuSize”时，当前编码单元中可能的最小变换单元尺寸“CurrMinTuSize”可被定义为下面的关系等式(1)：
[0356] CurrMinTuSize
[0357] ＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))...(1)[0358] 与当前编码单元中可能的最小变换单元尺寸“CurrMinTuSize”相比，当TU尺寸标志是0时的变换单元尺寸“RootTuSize”可表示可由系统采用的最大变换单元尺寸。换句话说，根据关系等式(1)，由于“RootTuSize/(2^MaxTransformSizeIndex)”表示通过按照与变换单元的最大划分信息对应的次数划分当变换单元划分信息是0时的变换单元尺寸“RootTuSize”而获得的变换单元尺寸，“MinTransformSize”表示最小变换单元尺寸，两个尺寸中的较小尺寸可以是在当前编码单元中可能的最小变换单元尺寸“CurrMinTuSize”。
[0359] 当前最大变换单元尺寸RootTuSize可根据预测模式的类型而改变。
[0360] 例如，当当前预测模式是帧间模式时，RootTuSize可根据以下的关系等式(2)而被确定，其中，“MaxTransformSize”指示最大变换单元尺寸，“PUSize”指示当前预测单元尺寸：
[0361] RootTuSize＝min(MaxTransformSize,PUSize).........(2)
[0362] 换句话说，当当前预测模式是帧间模式时，当变换单元划分信息是0的变换单元尺寸“RootTuSize”可被设置为最大变换单元尺寸和当前预测单元尺寸中的较小的尺寸。
[0363] 当当前预测模式是帧内模式时，“RootTuSize”可根据以下的关系等式(3)而被确定，其中，“PartitionSize”指示当前预测单元的尺寸：
[0364] RootTuSize＝min(MaxTransformSize,PartitionSize)...........(3)[0365] 换句话说，当当前预测模式是帧内模式时，当变换单元划分信息是0的变换单元尺寸“RootTuSize”可被设置为最大变换单元尺寸和当前预测单元尺寸中的较小的尺寸。
[0366] 然而，应该注意根据分区单元的预测模式改变的当前最大变换单元尺寸“RootTuSize”仅是实施例，并且用于确定当前最大变换单元尺寸“RootTuSize”的因素不限于该实施例。
[0367] 图26是示出根据本发明实施例的使用树结构的编码单元和可变树结构的变换单元的视频编码方法的流程图。
[0368] 在操作1210，当前画面被划分为至少一个最大编码单元。可预先设置指示可能的总划分次数的最大深度。
[0369] 在操作1220，对通过根据深度划分最大编码单元的区域而获得的至少一个划分区域进行编码，从而对于至少一个划分区域的每个划分区域确定用于输出最终编码结果的编码深度，并且确定树结构的编码单元和可变树结构的变换单元。
[0370] 每当深度加深时，最大编码单元在空间上被划分，因此被划分为更低深度的编码单元。每个编码单元可通过与相邻编码单元独立地在空间上被划分而被划分为另一更低深度的编码单元。根据深度对每个编码单元重复地执行编码。
[0371] 另外，对于每个较深层编码单元确定具有最小编码误差的分区类型和变换单元。为了在每个最大编码单元中确定具有最小编码误差的编码深度，可在根据深度的所有较深层编码单元中测量和比较编码误差。
[0372] 当每个编码单元被确定时，用于编码单元的变换的变换单元可被确定。该变换单元可被确定为使得通过对编码单元进行编号引起的误差最小化的数据单元。作为根据在当前编码单元中根据变换深度的级别执行变换的结果，可确定这样的树结构的变换单元，其中，所述树结构的变换单元独立于相邻区域中的另一变换单元并且在相同区域中形成具有根据深度的变换单元的分层结构。
[0373] 另外，对于每个最大编码单元或者每个编码单元可预先设置变换单元的最大划分级别。根据当前编码单元的最大划分级别，可通过使用包括当前编码单元允许的基础变换单元至最小变换单元的可变树结构的变换单元来执行变换。可针对当前编码单元从可变树结构的变换单元确定具有输出具有最小误差的编码结果的变换深度的变换单元，从而可确定树结构的变换单元。
[0374] 在操作1230，作为每个最大编码单元的至少一个划分区域的编码的最终结果的图像数据与关于编码深度和编码模式的编码信息一起被输出。关于编码模式的编码信息可包括关于编码深度的信息或划分信息、关于预测单元的分区类型的信息、预测模式以及变换单元分层结构信息。关于编码模式的编码信息可与编码的图像数据一起被发送到解码器。
[0375] 图27是示出根据本发明实施例的使用树结构的编码单元和可变树结构的变换单元的视频解码方法的流程图。
[0376] 在操作1310，接收和解析编码的视频的比特流。
[0377] 在操作1320，从解析的比特流中获取分配给最大编码单元的当前画面的编码的图像数据，并且从解析的比特流中提取关于根据最大编码单元的编码深度和编码模式的信息。每个最大编码单元的编码深度是在每个最大编码单元中具有最小编码误差的深度。在对每个最大编码单元的编码中，基于通过根据深度分层地划分每个最大编码单元获得的至少一个数据单元来对图像数据编码。
[0378] 根据关于编码深度和编码模式的信息，最大编码单元可被划分为具有树结构的编码单元。具有树结构的编码单元的每个编码单元被确定为与编码深度对应的编码单元，并且被最优编码以输出最小编码误差。因此，可通过在根据编码单元确定至少一个编码深度之后在具有树结构的编码单元对每条编码的图像数据进行解码，来提高图像的编码效率和解码效率。
[0379] 另外，根据提取的变换单元分层结构信息，可在编码单元中确定树结构的变换单元。例如，可基于变换单元最大划分信息来读取从当前编码单元允许的基础变换单元到最低级别的变换的级别的总数。可选择地，可基于在编码系统和解码系统之间预先设置的最大划分级别来确定从基础变换单元到最低级别的变换单元之间的级别的总数。
[0380] 可基于预设方案根据编码模式来不同地确定基础变换单元。因此，可基于变换单元最大划分信息来确定关于当前编码单元的可变树结构的变换单元，可从可变树结构的变换单元确定将用于针对当前编码单元的逆变换的具有变换深度的变换单元。
[0381] 在操作1330，基于根据最大编码单元的关于编码深度和编码模式的信息来对每个最大编码单元的编码的图像数据进行解码。在这点上，可通过使用从可变树结构的变换单元中确定的变换单元来对当前编码单元执行逆变换，同时基于关于编码深度和编码模式的信息来对当前编码单元执行解码。由于对每个编码单元和每个最大编码单元执行解码，因此空间区域的图像数据可被恢复并且随后画面和作为画面序列的视频可被恢复。恢复的视频可由再现设备再现、可被存储在存储介质中或者可经由网络被发送。
[0382] 本发明实施例可被编写作计算机程序并且可被实现在使用计算机可读记录介质执行程序的通用数字计算机中。此外，用于本发明实施例的数据结构可通过各种手段被编写在计算机可读记录介质中。计算机可读记录介质的示例包括磁存储介质(诸如，ROM、软盘、硬盘等)、光记录介质(诸如，CD-ROM或DVD)等。
[0383] 尽管已经参照本发明的示例性实施例具体显示和描述了本发明，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可在其中做出形式和细节上的各种改变。示例性实施例应被仅被认为描述性意义，而不是限制的目的。因此，本发明的范围不是由本发明的详细描述来限定而是由权利要求来限定，并且该范围内的所有差别将被解释为包括在本发明中。
相关专利内容
标题 发布/更新时间 阅读量
分层结构预判的快速视频编码方法-专利编号CN102186070A 2020-05-13 388
用于可伸缩视频编码的层间预测方法-专利编号CN105052144B 2020-05-11 1150
多层视频编码-专利编号CN101313583A 2020-05-11 915
基于多层的视频编码方法及其装置-专利编号CN101467461B 2020-05-12 693
用于可缩放视频编码的层间预测-专利编号CN105765979A 2020-05-13 1192
视频编码中的层切换-专利编号CN105612746A 2020-05-11 406
用于多层视频编码的编解码器架构-专利编号CN104429071A 2020-05-12 986
用于增强层视频编码的适应性量化-专利编号CN102057677B 2020-05-12 646
多层视频编码-专利编号CN101313583B 2020-05-11 761
用于增强层视频编码的适应性量化-专利编号CN102057677A 2020-05-13 237
高效检索全球专利

IPRDB是专利检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据，专利查询、专利分析。

电话：13651749426

侵权分析

IPRDB的侵权分析产品是IPRDB结合多位一线专利维权律师和专利侵权分析师的智慧，开发出来的一款特色产品，也是市面上唯一一款帮助企业研发人员、科研工作者、专利律师、专利分析师快速定位侵权分析的产品，极大的减少了用户重复工作量，提升工作效率，降低无效或侵权分析的准入门槛。

立即试用

视频编码层热门专利
热门文章

IPRDB

最新中国发明专利 最新美国发明专利 技术领域 专利库 专利分类库 国际专利分类库

热门服务

会员版试用 API 数据接口 找代理 知嘟嘟专利交易 排行榜 大学排行榜 专利百科

关于我们

平台介绍 战略合作 网站地图

友情链接

知嘟嘟专利交易 国家知识产权局 中国商标网

联系方式


©2019-2023 上海吉码数字技术有限公司 版权所有，并保留所有权利 沪ICP备20016256号-6 沪公网安备31011702005475号