支持多个层的图像编码和解码方法以及使用该方法的装置转让专利
申请号 : CN201480043587.2
文献号 : CN105453562B
文献日 : 2018-12-25
发明人 : 李培根 , 金柱英
申请人 : 株式会社KT
摘要 :
一种根据本发明的支持多个层的图像解码方法可以包括步骤：当配置当前图片的初始参考图片列表时接收标记信息，该标记信息指示是否使用当前图片所参考的参考层的参考图片集信息；基于该标记信息来生成初始参考图片列表；以及基于该初始参考图片列表来预测当前图片。因此，本发明提供了一种用于生成包括与当前要编码和解码的层不同的层的图片的参考图片列表的方法以及使用该方法的装置。
权利要求 :
1.一种用于对支持多个层的视频进行解码的方法，包括：
生成与当前图片有关的初始参考图片列表；以及
基于所述初始参考图片列表来执行所述当前图片的预测，
其中，所述初始参考图片列表包括参考图片列表0和参考图片列表1，
其中，所述参考图片列表0和所述参考图片列表1中的每个包括短期参考图片集、长期参考图片集和层间参考图片集，其中，所述层间参考图片集包括第一子参考图片集和第二子参考图片集，其中，通过将所述第一子参考图片集布置在第一短期参考图片集和第二短期参考图片集之间以及将所述第二子参考图片集布置在所述长期参考图片集的末尾来构造所述参考图片列表0，以及其中，所述第一短期参考图片集中的参考图片具有小于所述当前图片的图片序列号POC的POC，并且所述第二短期参考图片集中的参考图片具有大于所述当前图片的POC的POC。
2.根据权利要求1所述的方法，还包括：通过修改所述初始参考图片列表来生成最终参考图片列表，其中，在生成所述最终参考图片列表的情况下，基于所述最终参考图片列表执行所述当前图片的预测。
3.根据权利要求1所述的方法，其中，执行所述当前图片的预测被配置成将所述第一子参考图片集和所述第二子参考图片集中包括的参考图片用作所述当前图片的参考图片。
4.根据权利要求1所述的方法，其中，通过将所述第二子参考图片集布置在所述第二短期参考图片集和所述第一短期参考图片集之间以及将所述第一子参考图片集布置在所述长期参考图片集的末尾来构造所述参考图片列表1。
5.一种用于对支持多个层的视频进行解码的装置，包括：
熵解码单元，所述熵解码单元用于解码信息，所述信息是预测和解码经由位流接收的视频所需的；以及预测单元，所述预测单元用于生成当前图片的初始参考图片列表以及用于基于所述初始参考图片列表来执行所述当前图片的预测，其中，所述初始参考图片列表包括参考图片列表0和参考图片列表1，
其中，所述参考图片列表0和所述参考图片列表1中的每个包括短期参考图片集、长期参考图片集和层间参考图片集，其中，所述层间参考图片集包括第一子参考图片集和第二子参考图片集，以及其中，通过将所述第一子参考图片集布置在第一短期参考图片集和第二短期参考图片集之间以及将所述第二子参考图片集布置在所述长期参考图片集的末尾来构造所述参考图片列表0，以及其中，所述第一短期参考图片集中的参考图片具有小于所述当前图片的图片序列号POC的POC，并且所述第二短期参考图片集中的参考图片具有大于所述当前图片的POC的POC。
6.根据权利要求5所述的装置，其中，所述预测单元还通过修改所述初始参考图片列表来生成最终参考图片列表，其中，在生成所述最终参考图片列表的情况下，基于所述最终参考图片列表执行所述当前图片的预测。
7.根据权利要求5所述的装置，其中，所述预测单元将所述第一子参考图片集和所述第二子参考图片集中包括的参考图片用作所述当前图片的参考图片。
8.根据权利要求5所述的装置，其中，通过将所述第二子参考图片集布置在所述第二短期参考图片集和所述第一短期参考图片集之间以及将所述第一子参考图片集布置在所述长期参考图片集的末尾来构造所述参考图片列表1。
说明书 :
支持多个层的图像编码和解码方法以及使用该方法的装置
技术领域
[0001] 本发明总体上涉及视频压缩技术，并且更特别地涉及用于执行支持多层结构的视频编码的方法和装置。
背景技术
[0002] 近来，在各应用领域中，对高分辨率、高质量视频例如HD(高清晰度)视频和UHD(超高清)视频的需求不断增加。因为视频数据具有高分辨率、高质量图像，所以数据量高于现有视频数据。因此，当使用诸如现有的有线和无线宽带线路等介质来传送视频数据或者将视频数据存储于现有的存储介质中时，传送成本和存储成本增加。为了解决由高分辨率、高质量视频数据引起的这些问题，可以使用高效视频压缩技术。
[0003] 作为视频压缩技术，存在例如下述的各种技术：帧间预测技术，其用于根据在当前图片之前或之后的图片来预测包括在当前图片中的像素的值；帧内预测技术，其用于使用与包括在当前图片中的像素有关的信息来预测当前图片中的像素的值；熵编码技术，在熵编码技术中，对最频繁使用的值分配最短的码并且对最不频繁使用的值分配最长的码；等等。可以使用这些视频压缩技术来有效地压缩视频数据，并且然后可以对视频数据进行传送或存储。
发明内容
[0004] 技术问题
[0005] 本发明的实施方式的目的是提供一种用于针对当前要编码和解码的目标层来生成包括另外的层的图片的参考图片列表的方法，以及使用该方法的装置。
[0006] 本发明的实施方式的另一目的是提供一种用于使用与参考层的参考图片集有关的信息来生成参考图片列表的方法，以及使用该方法的装置。
[0007] 本发明的实施方式的又一目的是提供一种用于使用与在初始参考图片列表中参考图片集要添加到的位置有关的信息来生成参考图片列表的方法，以及使用该方法的装置。
[0008] 技术方案
[0009] 一种根据本发明的实施方式的用于对支持多个层的视频进行解码的方法包括：在构造当前图片的初始参考图片列表时，接收标记信息，该标记信息指示是否使用与当前图片所参考的参考层的参考图片集有关的信息；基于标记信息来生成初始参考图片列表；以及基于初始参考图片列表来执行当前图片的预测。
[0010] 标记信息可以指示参考层的短期参考图片集和长期参考图片集是否被导出为当前图片的短期参考图片集和长期参考图片集。
[0011] 标记信息可以指示参考层的短期参考图片集是否被导出为当前图片的短期参考图片集。
[0012] 标记信息可以指示参考层的长期参考图片集是否被导出为当前图片的长期参考图片集。
[0013] 参考层可以是基本层。
[0014] 标记信息可以指示在参考层的初始参考图片列表中参考层的层间参考图片集要添加到的位置是否被用作在当前图片的初始参考图片列表中当前图片的层间参考图片集要添加到的位置。
[0015] 标记信息可以指示参考层的层间参考图片集是否被导出为当前图片的层间参考图片集。
[0016] 标记信息可以以该标记信息被包括在序列参数集中而被接收。
[0017] 视频解码方法还可以通过修改初始参考图片列表来生成最终参考图片列表。
[0018] 执行当前图片的预测可以被配置成将层间参考图片集中包括的参考图片用作当前图片的参考图片。
[0019] 根据本发明的实施方式的用于对支持多个层的视频进行解码的装置包括：熵解码单元，该熵解码单元用于解码信息，该信息是预测和解码经由位流接收的视频所需的；以及预测单元，该预测单元用于在构造当前图片的初始参考图片列表时，基于标记信息来生成当前图片的初始参考图片列表，该标记信息指示是否使用关于当前图片所参考的参考层的参考图片集的信息；以及用于基于初始参考图片列表来执行当前图片的预测。
[0020] 有益效果
[0021] 根据本发明的实施方式，提供了一种用于针对当前要编码和解码的目标层来生成包括另外的层的图片的参考图片列表的方法，以及使用该方法的装置。
[0022] 根据本发明的实施方式，提供了一种用于使用与参考层的参考图片集有关的信息来生成参考图片列表的方法，以及使用该方法的装置。
[0023] 根据本发明的实施方式，提供了一种用于使用与在初始参考图片列表中参考图片集要添加到的位置有关的信息来生成参考图片列表的方法，以及使用该方法的装置。
附图说明
[0024] 图1为示意性地示出根据本发明的实施方式的编码装置的框图；
[0025] 图2为示意性地示出根据本发明的实施方式的解码装置的框图；
[0026] 图3为示出包括短期参考图片的参考图片集的示例的概念图；
[0027] 图4为示出用于导出长期参考图片的图片序列号(POC)的方法的概念图。
[0028] 图5为示出构造了参考图片列表的示例的图；
[0029] 图6为示出根据本发明的实施方式的构造了层间参考图片列表的示例的概念图；
[0030] 图7为示出根据本发明的实施方式来构造参考图片列表0的图；
[0031] 图8为示出根据本发明的另一实施方式的构造参考图片列表0的图；
[0032] 图9为示出根据本发明的实施方式的构造参考图片列表1的图；
[0033] 图10为根据本发明的另一实施方式的构造参考图片列表1的图；
[0034] 图11为根据本发明的实施方式的使用多视图参考图片所构造的参考图片列表的图；
[0035] 图12示出根据本发明的另一实施方式的使用多视图参考图片所构造的参考图片列表；
[0036] 图13示出根据本发明的实施方式使用时间子层的索引所构造的参考图片列表；
[0037] 图14是示出根据本发明的实施方式的用于对参考层的层间参考图片集要添加到的位置进行参考的示例的图；以及
[0038] 图15为示出根据本发明的视频解码方法的控制流程图。
[0039] 最优实施方式
[0040] 根据本发明的实施方式的用于对支持多个层的视频进行解码的视频解码方法包括：在构造当前图片的初始参考图片列表时，接收标记信息，该标记信息指示是否使用与当前图片所参考的参考层的参考图片集有关的信息；基于标记信息来生成初始参考图片列表；以及基于初始参考图片列表来执行当前图片的预测。
[0041] 标记信息可以指示参考层的短期参考图片集和长期参考图片集是否被导出为当前图片的短期参考图片集和长期参考图片集。
[0042] 标记信息可以指示参考层的短期参考图片集是否被导出为当前图片的短期参考图片集。
[0043] 标记信息可以指示参考层的长期参考图片集是否被导出为当前图片的长期参考图片集。
[0044] 参考层可以是基本层。
[0045] 标记信息可以指示在参考层的初始参考图片列表中参考层的层间参考图片集要添加到的位置是否被用作在当前图片的初始参考图片列表中当前图片的层间参考图片集要添加到的位置。
[0046] 标记信息可以指示参考层的层间参考图片集是否被导出为当前图片的层间参考图片集。
[0047] 标记信息可以以该标记信息被包括在序列参数集中而被接收。
[0048] 视频解码方法还可以通过修改初始参考图片列表来生成最终参考图片列表。
[0049] 执行当前图片的预测可以被配置成将层间参考图片集中包括的参考图片用作当前图片的参考图片。
[0050] 根据本发明的实施方式的用于对支持多个层的视频进行解码的视频解码装置包括：熵解码部，该熵解码部用于解码信息，该信息是预测和解码经由位流接收的视频所需的；以及预测部，该预测部用于在构造当前图片的初始参考图片列表时，基于标记信息来生成当前图片的初始参考图片列表，该标记信息指示是否使用关于当前图片所参考的参考层的参考图片集的信息；以及用于基于初始参考图片列表来执行当前图片的预测。
[0051] 本发明的实施方式
[0052] 在本发明的实施方式和附图中描述的元件模块被独立示出以指示视频编码装置的不同的和特有的功能。然而，这并不意味着元件模块中的每一个均由单独的硬件块或软件块来形成。即，为了描述的方便来布置和包括元件模块，并且元件模块中的至少两个元件模块可以形成一个元件模块，或者可以将一个元件模块划分成多个元件模块以执行它们自己的功能。除非将元件模块集成的实施方式以及将元件模块分开的实施方式偏离本发明的本质，否则其均包括在本发明的范围内。
[0053] 此外，本发明中所公开的一些元件并非用于执行本质功能的必要元件，而可以是用于仅改善性能的可选元件。本发明可以在没有仅用于改善性能的元件的情况下，仅使用用于实现本发明的本质的必要元件来实现，并且包括仅必要元件而非仅用于改善性能的可选元件的结构包括在本发明的范围内。
[0054] 本发明可以用各种方式进行改变并且可以具有各种实施方式，以及下面将参考附图来详细描述特定的实施方式。然而，应该理解的是，这些实施方式并不意图将本发明限于特定的公开形式，而是它们包括包含在本发明的精神或范围内的所有改变、等价物或修改。本说明书中使用的术语仅用于描述特定的实施方式，而并不意图限制本发明。除非在上下文中特别指出相反的描述，否则单数表达包括复数表达。在本说明书中，应当理解的是，例如“包括”或“具有”的术语仅意图指示特征、数目、步骤、操作、部件、部分或其组合的存在，而不意图排除一个或更多个其它特征、数目、步骤、操作、部件、部分或其组合将存在或被添加的可能性。
[0055] 在下文中，将参照附图来详细描述本发明的实施方式。在本发明的以下描述中，相同的附图标记贯穿附图将被用于指定相同或类似的部件，并且将省略对于相同部件的重复描述。
[0056] 支持位流中的多个层的视频编码和解码被称为“可伸缩编码”。因为在多个层之间存在强相关，所以可以移除数据中的重复元素，并且如果基于这样的相关来执行预测，则可以改善视频的编码性能。在下文中，使用与另一层有关的信息来对作为预测的目标的当前层进行预测，这被称为“层间预测”。
[0057] 分辨率、帧速率和颜色格式中的至少一个可以在多个层之间不同，并且可以执行上采样或下采样以在层间预测期间调整分辨率。
[0058] 图1为示意性地示出根据本发明的实施方式的编码装置的框图。
[0059] 根据本发明的编码装置100包括用于上层的编码单元100a和用于下层的编码单元100b。
[0060] 可以将上层称为当前层或者增强层，以及可以将下层称为参考层或基本层。分辨率、帧速率和颜色格式中的至少一个可以在上层与下层之间不同。当对于层间预测需要改变分辨率时，可以对层执行上采样或下采样。
[0061] 用于上层的编码单元100a可以包括划分单元110、预测单元100、帧内预测单元121、帧间预测单元122、层间预测单元123、变换单元130、量化单元140、重新布置单元150、熵编码单元160、逆量化单元170、逆变换单元180、滤波器单元190、存储器195和复用器(MUX)197。
[0062] 用于下层的编码单元100b可以包括划分单元111、预测单元125、帧内预测单元126、帧间预测单元127、变换单元131、量化单元141、重新布置单元151、熵编码单元161、逆量化单元171、逆变换单元181、滤波器单元191和存储器196。
[0063] 可以通过在下面将描述的本发明的实施方式中描述的视频编码方法来实现编码单元，但是可以不执行一些单元的操作以便减小编码装置的复杂性或者实现快速实时编码。例如，在预测单元执行帧内预测时，可以针对实时编码来执行从有限数目的帧内预测模式中选择一个并且将所选的一个设置为最终的帧内预测模式的方法，而不是执行将所有帧内预测模式方法用于选择最优的帧内编码方法的方法。在另一示例中，用于帧内预测或帧间预测的预测块的形状可以具有有限的形式。
[0064] 在编码装置中处理的块的单元可以为用于执行编码的编码单元、用于执行预测的预测单元或者用于执行变换的变换单元。可以将编码单元、预测单元和变换单元分别表示为CU、PU和TU。
[0065] 划分单元110和划分单元111中每一个均可以将层图片划分成编码块、预测块和变换块的多个组合，并且可以通过基于预定的参考(例如，成本函数)选择编码块、预测块和变换块的一个组合来对层进行划分。例如，为了将层图片划分成编码单元，可以使用递归树结构例如四叉树结构。在下文中，在本发明的实施方式中，编码块可以不仅指用于编码的块，而且可以指用于解码的块。
[0066] 预测块可以是用于执行预测(例如帧内预测或帧间预测)的单元。用于帧内预测的块可以是具有正方形的形式的块，例如2N×2N或N×N。作为用于帧间预测的块，存在下述块：正方形形式的块，例如2N×2N和N×N；通过对具有正方形形式的预测块进行二等分而获得的2N×N和N×2N形式的块；以及通过使用非对称运动划分(AMP)的预测块划分方法所获得的具有不对称形式的块。变换单元115可以根据预测块的形式来使用不同的变换方法。
[0067] 编码单元100a和编码单元100b的预测单元120和预测单元125中的每一个可以包括用于执行帧内预测的帧内预测单元121和帧内预测单元126以及用于执行帧间预测的帧间预测单元122和帧间预测单元126。用于上层的编码单元100a的预测单元120还包括使用与下层有关的信息对上层执行预测的层间预测单元123。
[0068] 预测单元120和预测单元125中的每一个可以确定对预测块执行帧间预测还是帧内预测。被执行预测的处理单元可以不同于用于确定预测方法的处理块的单元。例如，在执行帧内预测时，可以基于预测块来确定预测模式，以及可以基于变换块来执行预测处理。可以将所生成的预测块与原始块之间的残差(残差块)输入变换单元130和变换单元131。此外，用于预测的预测模式信息和运动矢量信息等连同残差一起由熵编码单元130进行编码，并且然后可以被传送至解码装置。
[0069] 当使用脉冲编码调制(PCM)编码模式时，原始块可以在预测单元120和预测单元125不执行预测的情况下被编码，并且然后可以被传送至解码部。
[0070] 帧内预测单元121和帧内预测单元126中的每一个均可以基于与当前块(预测目标块)相邻的参考像素来生成经帧内预测块。在帧内预测方法中，帧内预测模式可以具有方向性预测模式和非方向性模式，其中，方向性预测模式根据预测方向来使用参考像素信息，非方向性模式在进行预测时不使用方向信息。用于预测亮度信息的模式可以不同于用于预测色度信息的模式。通过对亮度信息进行预测所获得的帧内预测模式信息或与所预测的亮度信号有关的信息可以用于预测色度信息。同时，如果参考像素不可用，则可以通过用其它像素替换不可用的参考像素来生成预测块。
[0071] 预测块可以包括多个变换块。如果在执行帧内预测时预测块的大小与变换块的大小相同，则可以基于预测块的左像素、左上像素和上像素来对预测块执行帧内预测。然而，如果预测块因为在执行帧内预测时预测块的大小不同于变换块的大小而包括多个变换块，则可以基于参考像素(该参考像素基于变换块而确定)来执行帧内预测。
[0072] 帧内预测方法可以在根据帧内预测模式将模式依赖的帧内平滑(MDIS)滤波器应用于参考像素之后生成预测块。应用于参考像素的MDIS滤波器的类型可以变化。MDIS滤波器是应用于通过执行帧内预测所生成的经帧内预测的块的附加滤波器，并且可以用于减小在执行预测之后所生成的参考像素与经帧内预测的块之间的残差。在执行MDIS滤波时，可以根据帧内预测模式的方向来对参考像素以及对包括在经帧内预测的块中的一些列执行不同的滤波。
[0073] 帧间预测单元122和帧间预测单元127中的每一个可以通过参考与以下的块有关的信息来执行预测：所述块被包括在当前图片之前的图片或当前图片之后的图片中的至少一个中。帧间预测单元122和帧间预测单元127中的每一个可以包括参考图片插值单元、运动预测单元和运动补偿单元。
[0074] 参考图片插值单元可以从存储器195或存储器196接收参考图片信息并且可以生成与来自参考图片的小于整像素的像素有关的信息。对于亮度像素，可以使用基于离散余弦变换的(DCT-based)8抽头插值滤波器，其设置不同的滤波器系数以生成与小于整像素的、以1/4像素为单位的像素有关的信息。对于色度信号，可以使用基于离散余弦变换的4抽头插值滤波器，其设置不同的滤波器系数以生成与小于整像素的、以1/8像素为单位的像素有关的信息。
[0075] 帧间预测单元122和帧间预测单元127中的每一个可以基于通过参考图片插值单元插值的参考图片来执行运动预测。作为用于计算运动矢量的方法，可以使用各种方法，例如基于全搜索的块匹配算法(FBMA)、三步搜索(TSS)算法和新三步搜索(NTS)算法。运动矢量可以具有与插值的像素的1/2或1/4相对应的运动矢量值。帧间预测单元122和帧间预测单元127中每一个可以使用各种帧间预测方法中的任一方法来对当前块执行预测。
[0076] 作为帧间预测方法，可以使用例如跳过法(skip method)、合并法(merge method)和运动矢量预测(MVP)法等各种方法中的任意方法。
[0077] 在帧间预测中，运动信息即与参考图片的索引、运动矢量和残差信号有关的信息被进行熵编码并且然后被传送至解码单元。在应用跳过模式时，残差可以不被生成、变换、量化或传送。
[0078] 层间预测单元123使用与下层有关的信息来执行用于对上层进行预测的层间预测。层间预测单元123可以使用下层的纹理信息、帧内预测模式信息、运动信息和语法信息等来执行层间纹理预测、层间运动预测(层间帧间预测)和层间语法预测等。
[0079] 层间纹理预测指将下层中的参考块的纹理用作上层中的当前块的预测值(预测样本)，其中，参考块的纹理可以经由上采样进行扩展。
[0080] 这样的层间纹理预测可以包括：帧内基本层(BL)模式，在帧内基本层模式中，对下层中的参考块的重构值进行上采样并且将经上采样的参考块用作当前块的预测样本，以及在帧内基本层模式中对预测样本与当前块之间的残差值进行编码；以及参考索引模式，在参考索引模式中将经上采样的下层存储于存储器中并且将所存储器的下层用作参考索引。
[0081] 可以使用下层的帧内预测模式信息来执行对于上层的帧内预测，其中，可以将下层的帧内预测模式称为“BL帧内模式”。
[0082] 层间运动预测又被称为“层间帧间预测”。根据层间运动预测，可以使用下层的运动信息来对上层的当前块进行预测。运动信息可以包括运动矢量和参考图片索引。
[0083] 另外，层间预测单元123可以使用下层的语法信息来执行用于预测或生成当前块的纹理的层间语法预测。此时，用于对当前块进行预测的下层的语法信息可以包括与帧内预测模式有关的信息、运动信息等。
[0084] 此外，作为层间预测的又一示例，可以执行层间残差预测，使得使用差分图片(differential picture)来对当前块进行预测，其中，使用上层的重构图片的经上采样的图片与下层的重构图片的经上采样的图片之间的差分值来生成差分图片。
[0085] 虽然已经将层间纹理预测、层间运动预测、层间语法预测和层间残差预测描述为层间预测的示例，但是适用于本发明的层间预测不限于这些示例。
[0086] 生成包括残差信息的残差块并且将残差块输入对应的变换单元130或变换单元131，其中，残差信息为由预测单元120和预测单元125中的每一者所生成的预测块与预测块的重构的块之间的差。
[0087] 变换单元130和变换单元131中的每一个可以使用例如离散余弦变换(DCT)或离散正弦变换(DST)的变换方法来对残差块进行变换。可以基于用于生成残差块的预测块的帧内预测模式信息和预测块的大小信息来确定是否应用DCT或DST以对残差块进行变换。即，变换单元130和变换单元131中的每一个可以根据预测块的大小和预测方法来使用不同的变换方法。
[0088] 量化单元140和量化单元141中的每一个可以对由对应的变换单元130或变换单元131在频域变换得到的值进行量化。量化系数可以根据块的类型或图片的重要性而变化。由量化单元140或量化单元141计算的值可以被提供至逆量化单元170或171以及重新布置单元150或重新布置单元151。
[0089] 重新布置单元150和重新布置单元151中的每一个可以对经量化的残差值的系数值进行重新布置。重新布置单元150或重新布置单元151可以使用系数扫描方法将二维块格式(block format)系数变成一维矢量格式系数。例如，重新布置单元150或重新布置单元151可以通过使用锯齿扫描法(zigzag scanning method)对范围从直流系数至高频段系数的系数进行扫描来将二维块格式中的系数变成一维矢量格式中的系数。取决于变换块的大小和帧内预测模式，可以使用垂直扫描法和水平扫描法而不是锯齿扫描法，其中，垂直扫描法用于沿列向对二维块格式系数进行扫描，水平扫描法用于沿行向对二维块格式系数进行扫描。即，可以根据变换块的大小和帧内预测模式来确定：确定要使用锯齿扫描法、垂直扫描法和水平扫描法中的哪一个。
[0090] 熵编码单元160和熵编码单元161中的每一个可以基于由重新布置单元150或重新布置单元151计算的值来执行熵编码。可以使用例如各种编码方法(例如指数哥伦布、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC))来实现熵编码。
[0091] 熵编码单元160和熵编码单元161中的每一个可以被提供有来自重新布置单元150或重新布置单元151以及预测单元120或预测单元125的各种类型的信息(例如编码块的残差系数信息、块类型信息、预测模式信息、划分单元信息、预测块信息、传送单元信息、运动矢量信息、参考帧信息、块的插值信息以及滤波信息)，并且可以基于预定编码方法来执行熵编码。此外，熵编码单元160或熵编码单元161可以对从重新布置单元150或重新布置单元151输入的编码单元的系数执行熵编码。
[0092] 熵编码单元160和161中的每个可以通过对帧内预测模式信息进行二值化来对当前块的帧内预测模式信息进行编码。熵编码单元160和161中的每个可以包括用于执行这样的二值化操作的码字映射单元，并且可以取决于要被执行帧内预测的预测块的大小以不同方式来执行二值化。在码字映射单元中，可以使用二值化操作来自适应地生成码字映射表，或者可以预先存储码字映射表。作为另一实施方式，熵编码单元160和161中的每个可以使用用于执行码号映射的码号映射单元和用于执行码字映射的码字映射单元来表示当前帧内预测模式信息。在码号映射单元和码字映射单元中，可以生成或存储码号映射表和码字映射表。
[0093] 逆量化单元170和171中的每个以及逆变换单元180和181中的每个可以对通过量化单元140或141量化的值进行逆量化以及对通过变换单元130或131变换的值进行逆变换。由逆量化单元170或171以及逆变换单元180或181生成的残差值可以与预测块进行组合，从而可以生成重构的块，其中，通过包括在预测单元120或125中的运动估计单元、运动补偿单元以及帧内预测单元对预测块进行预测。
[0094] 滤波器单元190和191中的每个可以包括去块滤波器、偏移校正单元和自适应环路滤波器(ALF)中的至少一个。
[0095] 去块滤波器可以消除在重构的图片中由于块之间的边界而生成的块失真。可以基于包括在块的一些行或列中的像素来确定是否执行去块，即是否将去块滤波器应用于当前块。当将去块滤波器应用于块时，可以根据所需要的去块滤波的强度来应用强滤波器或弱滤波器。此外，在应用去块滤波器时，当执行垂直滤波和水平滤波时，可以并行处理垂直滤波和水平滤波。
[0096] 偏移校正单元可以以像素为单位对被执行去块的图片与原始图片之间的偏移进行校正。为了对特定图片执行偏移校正，可以使用将包括在图片中的像素划分成一定数目的区域、确定要应用偏移的区域以及对该区域应用偏移的方法，或者可以使用在考虑与每个像素的边缘有关的信息的情况下应用偏移的方法。
[0097] 自适应环路滤波器(ALF)可以基于通过将滤波后重构的图片与原始图片进行比较而获得的值来执行滤波。当包括在图片中的像素被划分为一个或更多个组时，确定要应用于对应组的单个滤波器，接着可以对各个组有区别地执行滤波。
[0098] 滤波器单元190和191中的每个可以仅使用去块滤波器，仅使用去块滤波器和ALF，或者仅使用去块滤波器和偏移校正单元来实现，而非使用去块滤波器、ALF以及偏移校正单元中的全部。
[0099] 存储器195和196中的每个可以存储由滤波器单元190或191计算的重构的块或图片，并且存储在存储器中的重构的块和图片可以在执行帧间预测时被提供至预测单元120或125。
[0100] 从下层的熵编码单元100b输出的信息以及从上层的熵编码单元100a输出的信息通过复用器197被多路复用，并且然后可以采用位流的形式被输出。
[0101] 可以将复用器197包括在下层的编码单元100b中，或者可以将复用器197实现为与编码单元100不同的单独的装置或模块。
[0102] 图2为示意性地示出根据本发明的实施方式的解码装置的框图。
[0103] 如图2所示，解码装置200包括上层的解码单元200a和下层的解码单元200b。
[0104] 上层的解码单元200a可以包括熵解码单元210、重新布置单元220、逆量化单元230、逆变换单元245、预测单元250、滤波器单元260和存储器240。
[0105] 下层的解码单元200b可以包括熵解码单元211、重新布置单元221、逆量化单元231、逆变换单元241、预测单元251、滤波器单元261和存储器271。
[0106] 当从编码装置传送包括多个层的位流时，解复用器(DEMUX)280对与每一层对应的信息进行解复用，接着将信息传送至每一层的解码单元200a或200b。可以通过作为编码装置的处理的反转的处理而对输入的位流进行解码。
[0107] 熵解码单元210和211中的每个可以通过由编码装置的熵编码单元执行的熵编码处理的反转来执行熵解码。在由熵解码单元210和211解码的各条信息中，生成预测块所需的信息被提供至预测单元250和251，并且由熵解码单元进行熵解码的残差值可以被输入至重新布置单元220和221。
[0108] 如同熵编码单元160和161一样，为了执行逆变换，熵解码单元210和211中的每个可以使用CABAC和CAVLC中的至少一个。
[0109] 熵解码单元210和211中的每个可以对与由编码装置执行的帧内预测和帧间预测有关的信息进行解码。熵解码单元包括码字映射单元，该码字映射单元具有用于根据所接收的码字来生成帧内预测模式编号的码字映射表。可以预先存储码字映射表，或者可以自适应地生成码字映射表。当使用码号映射表时，可以另外地包括用于执行码号映射的码号映射单元。
[0110] 重新布置单元220和221中的每个可以基于编码单元所使用的重新布置方法来对由熵解码单元210或211进行熵解码的位流进行重新布置。一维矢量形式的系数可以通过将它们重构为二维块型的系数而被重新布置。重新布置单元接收与由编码单元执行的系数扫描方法有关的信息，并且可以使用基于由编码单元执行的扫描的序列来执行逆扫描的方法来对系数进行重新布置。
[0111] 逆量化单元230和231中的每个可以基于由编码装置提供的量化参数和块的经重新布置的系数来执行逆量化。
[0112] 逆变换单元240和241中的每个可以基于由编码装置执行的量化的结果执行逆DCT和逆DST，其中，逆DCT和逆DST对应于由对应变换单元130或131执行的DCT和DST。可以在由编码装置确定的传送单元中执行逆变换。在编码装置的变换单元中，可以根据多条信息(例如预测方法、当前块的大小和预测方向等)而选择性地执行DCT和DST。逆变换单元225可以基于与由编码装置的变换单元执行的变换有关的信息来执行逆变换。可以基于编码块而非变换块来执行变换。
[0113] 预测单元250和251中的每个可以基于由熵解码单元210和211提供的与预测块的生成有关的信息以及从对应存储器270和271提供的与经先前解码的块或图片有关的信息来生成预测块。
[0114] 预测单元250和251中的每个可以包括预测单元确定单元、帧间预测单元和帧内预测单元。
[0115] 预测单元确定单元接收各种信息(包括从熵解码单元输入的预测单元信息、与帧内预测方法有关的预测模式信息、以及与帧间预测方法有关的运动预测信息等)，将预测块与当前编码块分开，并且确定预测块执行帧内预测还是帧间预测。
[0116] 帧间预测单元可以使用由编码装置提供的当前预测块的帧间预测所需的信息，基于在当前图片(其包括当前预测块)之前或之后的图片中的至少一个中包括的信息来对当前预测块执行帧间预测。为了执行帧间预测，可以基于对应编码块来确定包括在编码块中的预测块的运动预测方法为跳过模式、合并模式还是AMVP模式。
[0117] 帧内预测单元可以基于与当前图片中的像素有关的信息来生成预测块。当预测块为被执行帧内预测的预测块时，可以基于由编码装置提供的与预测块有关的帧内预测模式信息而执行帧内预测。帧内预测单元可以包括：MDIS滤波器，其用于对当前块的参考像素执行滤波；对参考像素进行插值的参考像素插值单元，其用于以小于整数像素的像素单位来生成参考像素；以及直流滤波器，其用于在当前块的预测模式为直流模式时通过滤波来生成预测块。
[0118] 上层的解码单元200a的预测单元250还可以包括用于执行层间预测的层间预测单元，在层间预测中，使用与下层有关的信息来对上层进行预测。
[0119] 层间预测单元可以使用下层的纹理信息、帧内预测模式信息、运动信息和语法信息等来执行层间纹理预测、层间帧间预测和层间语法预测等。
[0120] 可以执行根据层间纹理预测的、将下层中的参考块的纹理用作上层中的当前块的预测值的预测。可以经由上采样来对参考块的纹理进行扩展(scale)。
[0121] 层间纹理预测包括：帧内BL模式，在帧内BL模式中，对下层中的参考块的重构的值进行上采样，并且将经上采样的参考块用作当前块的预测值，并且在帧内BL模式中，对预测值与当前块之间的残差值进行编码；以及参考索引模式，在参考索引模式中，将经上采样的基本层存储在存储器中，并且将所存储的基本层用作参考索引。
[0122] 可以使用下层的帧内预测模式信息来执行上层的帧内预测，其中，下层的帧内预测模式可以被称为“BL帧内模式”。
[0123] 根据层间运动预测，可以使用下层的运动信息来预测上层的当前块。
[0124] 此外，层间预测单元可以使用下层的语法信息来执行用于预测或生成当前块的纹理的层间语法预测。此处，用于当前块的预测的下层的语法信息可以包括与帧内预测模式有关的信息、运动信息等。
[0125] 此外，层间预测单元可以使用下述差分图片来执行用于预测当前块的层间残差预测，其中，使用上层的重构的图片的经上采样的图片与下层的重构的图片的经上采样的图片之间的差分值而生成差分图片。
[0126] 虽然将层间纹理预测、层间帧间预测、层间语法预测和层间残差预测描述为层间预测的示例，但是能够应用于本发明的层间预测并不限于这些示例。
[0127] 重构的块或图片可以被提供至滤波器单元260和261。滤波器单元260和261中的每个可以包括去块滤波器、偏移校正单元和ALF。
[0128] 编码装置可以提供以下信息：与去块滤波器是否已被应用于对应的块或图片有关的信息；以及指示在应用去块滤波器时所应用的滤波器为强滤波器还是弱滤波器的信息。解码装置的去块滤波器接收与由编码装置提供的去块滤波器有关的信息，并且解码装置可以对相应的块执行去块滤波。
[0129] 偏移校正单元可以基于编码期间应用于图片的偏移校正的类型以及与偏移值有关的信息来对重构的图片执行偏移校正。
[0130] 自适应环路滤波器(ALF)可以基于通过将滤波后重构的图片与原始图片进行比较而获得的值来执行滤波。可以基于从编码装置提供的与是否应用ALF有关的信息、与ALF系数有关的信息等而对编码单元应用ALF。可以提供这样的ALF信息，其中ALF信息被包括在特定的参数集中。
[0131] 存储器270和271中的每个可以存储要被用作参考图片或参考块的重构的图片或块，并且可以将重构的图片输出。
[0132] 编码装置和解码装置可以对三层或更多层——而非两层——执行编码，在该情况下，上层的编码单元和上层的解码单元可以包括在数目上与上层的数目对应的多个编码单元和解码单元。
[0133] 在下文中，尽管在本发明的实施方式中，出于方便描述起见使用术语“编码块”描述了编码单元，然而编码单元可以是被执行解码和编码的块。以下，可以实现基于本发明的实施方式参照附图描述的参考图片列表生成方法，以与以上参照图1和图2描述的各个模块的功能相称。编码装置和解码装置也可以包括在本发明的范围内。
[0134] 如上所述，在对支持多层结构的视频进行编码时，存在用于使用基本层的运动信息和纹理信息来对增强层进行编码/解码的方法，以及用于使用经上采样的基本层作为参考图片来对增强层进行编码/解码的方法，而没有基于基本层的编码单元(CU)或预测单元(PU)来改变解码方法。后一方法可以被称为“参考图片索引(RefIdx)模式”。
[0135] 当使用参考图片索引(RefIdx)模式时，可以将增强层中已被先前解码的图片用作参考图片，或者替选地，可以对基本层或下层中的图片进行上采样并且然后将其用作参考图片。
[0136] 在下文中，在本发明中，当基本层或下层中的图片被上采样并且用作参考图片时，将经上采样的基本层图片或下层图片称为“层间参考图片”。
[0137] 甚至在支持用于多视图的多层结构的视频中，可以通过将用于另一视图的层而非当前层用作参考图片来执行帧间预测。用于对应层的编码和解码参考的用于另一视图的层也可以被称为“层间参考图片”。
[0138] 也就是说，当增强层的参考图片集被配置成对支持扩展性的、具有多层结构而非单层的视频进行编码时，还必须考虑层间参考图片。
[0139] 典型地，可以执行帧间预测，使得相对于当前图片的先前图片与后续图片中的至少之一被用作参考图片，并且基于参考图片来执行当前块的预测。用于当前块的预测的图片被称为“参考图片”或“参考帧”。
[0140] 通过参考图片索引(refIdx)来指定参考图片，并且经由运动矢量将参考图片中的预定区域指定为参考块。
[0141] 在帧间预测中，可以通过选择参考图片以及参考图片中的与当前块对应的参考块来生成用于当前块的预测块。
[0142] 在帧间预测中，编码装置和解码装置可以导出当前块的运动信息，然后可以基于所导出的运动信息来进行帧间预测和/或运动补偿。此处，编码装置和解码装置可以通过利用在先前重构的并置(col)图片中的、与当前块对应的重构的相邻块和/或并置块(col块)的运动信息来改善编码/解码效率。
[0143] 此处，重构的相邻块是当前图片中的已被编码和/或解码以及重构的块，并且可以包括与当前块相邻的块和/或位于当前块的外角处的块。此外，编码装置和解码装置可以基于col图片中的存在于空间上与当前块对应的位置处的块来确定预定相对位置，并且可以基于所确定的相对位置(位于空间上与当前块对应的位置处的块内部和/或外部的位置)来导出col块。此处，例如，col图片可以与包括在参考图片列表中的参考图片之一对应。
[0144] 帧间预测可以生成预测块，使得预测块与当前块之间的残差信号被最小化并且运动矢量的大小也被最小化。
[0145] 同时，用于导出运动信息的方案可以根据用于当前块的预测模式而不同。针对帧间预测所应用的预测模式可以包括高级运动矢量预测(AMVP)模式、合并模式等。
[0146] 例如，当应用AMVP模式时，编码装置和解码装置中的每个可以使用重构的相邻块的运动矢量和/或col块的运动矢量来生成运动矢量候选列表。重构的相邻块的运动矢量和/或col块的运动矢量可以用作运动矢量候选。编码装置可以向解码装置传送预测的运动矢量索引，其指示选自包括在列表中的运动矢量候选的最优运动矢量。此处，解码装置可以使用运动矢量索引从包括在运动矢量候选列表中的运动矢量候选中选择当前块的预测的运动矢量。
[0147] 编码装置可以获得当前块的运动矢量与预测的运动矢量之间的运动矢量差(MVD)，对MVD进行编码，以及将经编码的MVD传送至解码装置。此处，解码装置可以对所接收的MVD进行解码并且使用经解码的MVD与预测的运动矢量的和来导出当前块的运动矢量。
[0148] 编码装置还可以向解码装置传送指示参考图片的参考图片索引等。
[0149] 解码装置可以使用相邻块的多条运动信息来预测当前块的运动矢量，并且可以使用从编码装置接收的残差来导出当前块的运动矢量。解码装置可以基于所导出的运动矢量和从编码装置接收的参考图片索引信息二者来生成用于当前块的预测块。
[0150] 作为另一示例，当应用合并模式时，编码装置和解码装置可以使用重构的相邻块的运动信息和/或并置(col)块的运动信息二者来生成合并候选列表。也就是说，当存在重构的相邻块和/或col块的运动信息时，编码装置和解码装置可以使用运动信息作为用于当前块的合并候选。
[0151] 编码装置可以从包括在合并候选列表中的合并候选中选择使得能够提供最优编码效率的合并候选，作为当前块的运动信息。此处，可以以合并索引被包括在位流中的方式将指示所选择的合并候选的合并索引传送至解码装置。解码装置可以使用传送的合并索引来从包括在合并候选列表中的合并候选中选择一个合并候选，并且可以将所选择的合并候选确定为当前块的运动信息。因此，当应用合并模式时，可以在不改变的情况下将重构的相邻块和/或col块的运动信息用作当前块的运动信息。解码装置可以通过将预测块添加至从编码装置传送的残差来重构当前块。
[0152] 在上述AMVP模式和合并模式中，为了导出当前块的运动信息，可以使用重构的相邻块的运动信息和/或col块的运动信息。
[0153] 在作为用于帧间预测的另外的模式之一的跳过模式中，可以将与相邻块有关的信息用于当前块，而没有改变。因此，在跳过模式中，除指示其运动信息要被用作当前块的运动信息的块的信息之外，编码装置不向解码装置传送语法信息如残差。
[0154] 编码装置和解码装置可以通过基于导出的运动信息对当前块执行运动补偿来生成用于当前块的预测块。此处，预测块可以表示由于对当前块执行运动补偿而生成的经运动补偿的块。此外，多个经运动补偿的块可以构成单个经运动补偿的图片。
[0155] 解码装置可以检查从编码装置接收的跳过标记、合并标记等，并且可以根据所检查的标记导出对于当前块的帧间预测所需的运动信息，例如，与运动矢量、参考图片索引等有关的信息。
[0156] 执行预测的处理单元和指定预测方法和详细内容的处理单元可以彼此不同。例如，可以指定预测模式的单元作为预测块，接着可以以变换块为基础来执行预测。替选地，可以指定预测模式的单元作为预测块，以及可以以变换块为基础来执行帧内预测。
[0157] 在当前图片之前编码/解码的图片被存储在存储器中(例如，解码的图片缓冲器：DPB)并且之后可以被用于当前块(当前图片)的预测。保持不能用于当前块的帧间预测的图片的列表作为参考图片列表。
[0158] P切片表示经由帧内预测或下述帧间预测而解码的切片，所述帧间预测使用一个运动矢量和一个参考图片的最大值。B切片表示经由帧内预测或下述帧间预测而解码的切片，所述帧间预测使用两个运动矢量和两个参考图片中的最大值。此处，参考图片包括短期参考图片和长期参考图片。可以通过图片序列号(POC)来指定图片，POC表示指示的序列，其中，可以看出，短期参考图片是其POC与当前块的POC并没有很大不同的图片，而长期参考图片是其POC与当前图片的POC有很大不同的图片。
[0159] 参考图片列表0(出于方便描述起见，在下文中称为“L0”)是用于P切片或B切片的帧间预测的参考图片的列表。参考图片列表1(出于方便描述起见，在下文中称为“L1”)用于B切片的帧间预测。因此，L0用于P切片中的块的帧间预测，以进行单向预测，而L0和L1用于B切片中的块的帧间预测，以进行双向预测。
[0160] 解码装置在经由帧间预测对P切片和B切片执行解码时构造参考图片列表。经由参考图片列表来指定用于帧间预测的参考图片。参考图片索引是指示参考图片列表上的每个参考图片的索引。
[0161] 可以基于从编码装置传送的参考图片集来构造参考图片列表。这样的参考图片集可以包括用作参考图片的图片的POC以及指示对应的图片是否被直接参考的标记(used_by_curr_pic_s0_flag)。用于构造参考图片列表的参考图片可以被存储在存储器(例如，DPB)中。存储在存储器中的图片(在当前图片之前被编码/解码的图片)由编码装置和解码装置管理。
[0162] 图3是示出了包括短期参考图片的参考图片集的示例的概念图。
[0163] 如图中所示，参考图片集(RPS)可以包括在当前时刻必须被存储在DPB中的短期参考图片中的每个的POC，以及指示当前图片是否直接参考特定图片的标记信息。
[0164] 例如，当执行POC为21的图片的帧间预测时，可以参考一共三个图片(POC为20、19和16的图片)作为短期参考图片，以及这三个图片全部具有值1作为“used_by_curr_pic_s0_flag”，从而图片被直接用于POC为21的图片的预测。
[0165] 同时，当执行POC为26的图片的帧间预测时，可以参考一共三个图片(POC为25、24和20)作为短期参考图片，但是与POC为24和20的图片的“used_by_curr_pic_s0_flag”值不同，POC为25的图片的“used_by_curr_pic_s0_flag”值为0。在这种情况下，POC为25的图片并不直接用于POC为26的图片的帧间预测。
[0166] 在当前图片中，不出现在参考图片集中的图片被标记有“未用于参考”指示符，指示图片未被用作参考图片并且可以从DPB中删除。
[0167] 图4是示出了用于导出长期参考图片的POC的方法的概念图。
[0168] 如图所示，由于长期参考图片具有与当前图片的POC很大不同的POC，因此其可以使用POC的最低有效位(LSB)和最高有效位(MSB)来表示。
[0169] ‘MaxPocLsb’表示可以由LSB表示的最大值。当MaxPocLsb为32时，POC为84的长期参考图片(LTRP)可以由32*2+20表示，其中，LSB为20，以及MSB为2。
[0170] 当可以由LSB表示的最大值为32、并且因此10是MSB的值以及11是LSB的值时，POC为338的当前图片可以由32*10+11表示。
[0171] ‘delta_poc_msb_cycle_lt’表示确定‘DeltaPocMsbCycleLt’所需的值，‘DeltaPocMsbCycleLt’是当前图片的长期参考图片集中的POC的MSB。‘DeltaPocMsbCycleLt’可以对应于当前图片的POC的MSB与参考图片的POC的MSB之间的差。
[0172] 在长期参考图片的情况下，参考图片的POC可以使用当前图片的POC的MSB与参考图片的POC的MSB之间的差以及参考图片的POC的LSB值来导出。
[0173] 例如，在当前图片的POC为331时，如果使用长期参考图片的LSB值20以及当前图片的POC的MSB与参考图片的POC的MSB之间的差1二者，则POC为308并且用‘0’索引的长期参考图片(LTRP[0])可以由331-1*32-11+20来表示。
[0174] 类似地，如果使用长期参考图片的LSB 10以及当前图片的POC的MSB与参考图片的POC的MSB之间的差5二者，则POC为170并且用‘1’索引的长期参考图片(LTRP[1])可以由331-5*32-11+10来表示。
[0175] 如图3和图4所示，可由当前图片参考的初始参考图片列表可以使用在短期参考图片缓存和长期参考图片缓存中存在的图片的列表来构造。
[0176] 图5是示出了构造参考图片列表的示例的图。
[0177] 基于当前图片可以将参考图片分类为第一短期参考图片集(RefPicSetStCurr0)、第二短期参考图片集(RefPicSetStCurr1)以及长期参考图片集(RefPicSetLtCurr)，其中，第一短期参考图片集包括POC小于当前图片(Curr)的POC的参考图片Ref1和参考图片Ref2，第二短期参考图片集包括POC大于当前图片的POC的参考图片Ref3和参考图片Ref4，长期参考图片集包括长期参考图片Ref LT1和长期参考图片Ref LT2。
[0178] 在该情况下，第一短期参考图片集(RefPicSetStCurr0)包括标记值(used_by_curr_pic_s0_flag)为1的图片(used_by_curr_pic_s0_flag＝1的delta_poc_s0)，以及第二短期参考图片集(RefPicSetStCurr1)也包括标记值(used_by_curr_pic_s1_flag)为1的图片(used_by_curr_pic_s1_flag＝1的delta_poc_s1)。
[0179] 作为以该方式具有不同属性的参考图片集的集合，可以构造初始参考图片列表。
[0180] 如图5所示，按照第一短期参考图片集(RefPicSetStCurr0)、第二短期参考图片集(RefPicSetStCurr1)和长期参考图片集(RefPicSetLtCurr)的序列来构造参考图片列表0，即L0。
[0181] 同时，按照第二短期参考图片集(RefPicSetStCurr1)、第一短期参考图片集(RefPicSetStCurr0)和长期参考图片集(RefPicSetLtCurr)的序列来构造参考图片列表1，即L1。
[0182] 可以基于从编码装置传送的信息来确定可包括在参考图片列表中的参考图片的编号。例如，在构造参考图片列表后，编码装置可以确定要使用的参考图片的编号，并且将关于要使用的参考图片的编号的信息(例如，num_ref_idx_lX_default_active_minus1,X＝0或1)作为序列参数集(SPS)的语法元素传送至解码装置。解码装置可以使用参考图片的编号作为当前序列中的默认值，所述参考图片的编号被指定为通过将接收到的信息(num_ref_idx_lX_default_active_minus1)与1相加获得的值。
[0183] 此外，当希望针对每个图片或每个切片指定参考图片的编号时，编码装置可以经由图片参数集(PPS)、切片头部等传送指示参考图片的编号(例如，num_ref_idx_l1_active_minus1,X＝0或1)的单独的信息。解码装置可以使用以下值作为当前切片的当前图片或当前切片的参考图片的编号，该值被指定为通过将所接收的信息(num_ref_idx_l1_active_minus1)与1相加获得的值。
[0184] 当进行帧间预测时，可以使用在如上所述构造的参考图片列表中指定的参考图片来进行运动补偿。
[0185] 在提供空间扩展性或多视图扩展性的多层结构中，增强层的参考图片可以包括同一层的参考图片和层间参考图片。
[0186] 在该情况下，可以使用标识层所需的信息和标识参考图片所需的信息来进行层间参考图片的信号传递。例如，如果在与第i层的当前图片相同的访问单元中存在的并且为以层标识符包括在网络抽象层(NAL)单元头部中的方式传送的第j层标识符(其中，i>j)的nuh_layer_id的值与当前图片的RefPiclayerId相同，则可以确定相应图片被用作当前图片的参考图片。层间参考图片可以由长期参考图片指示。
[0187] ‘RefPicLayerId’表示可以用切片头部所包括的语法元素inter_layer_pred_layer_idc信号传递的值，并且表示由用于层间预测的当前层参考的层。
[0188] 图6是示出了根据本发明的实施方式所构造的层间参考图片列表的示例的概念图。
[0189] 如图6所示，在具有多层结构的视频中，可以使用短期参考图片集(RefPicSetStCurrBefore[i],此后被称为‘第一参考图片集’)、短期参考图片集(RefPicSetStCurrAfter[i],此后被称为‘第二参考图片集’)、长期参考图片集(RefPicSetLtCurr[i],此后被称为‘第三参考图片集’)及层间参考图片集
(RefPicSetILCurr[i],此后被称为‘第四参考图片集’)来构造初始参考图片列表，其中，第一参考图片集包括POC小于当前图片的POC的短期参考图片，第二参考图片集包括POC大于当前图片的POC的短期参考图片。
(RefPicSetILCurr[i],此后被称为‘第四参考图片集’)来构造初始参考图片列表，其中，第一参考图片集包括POC小于当前图片的POC的短期参考图片，第二参考图片集包括POC大于当前图片的POC的短期参考图片。
[0190] 第四参考图片集中所包括的参考图片可以是：支持空间扩展性的层的图片、支持多视图扩展性的层中所包括的图片、或者支持深度扩展或视频质量扩展的层的图片。此处，空间扩展和视频质量扩展可以用相同的编解码结构来编码。
[0191] 当位流支持两个或更多个扩展类型时，可以将用于相应扩展类型的参考图片集成到单个参考图片集中。当单个参考图片集被配置用于多个扩展类型时，可以将在参考图片集中对齐的关于扩展类型的序列的信息从编码装置传送至解码装置。
[0192] 同时，参考图片集可以个体地配置用于多个扩展类型。也就是说，对于当前图片，除了生成第一参考图片集、第二参考图片集和第三参考图片集以外，还可以生成第四参考图片集、第五参考图片集和第六参考图片集，第四参考图片集、第五参考图片集及第六参考中的每个包括层间参考图片。可以根据出现频率将这样的层间参考图片集适应性地添加到参考图片列表。例如，可以将具有高出现频率的参考图片集分配给参考图片列表的低索引。
[0193] 图6的初始参考图片列表为L0，其中，第一参考图片集被配置在列表的最低序列位置中。此时，可以将第四参考图片集添加至初始参考图片列表L0的最后序列位置。
[0194] 初始参考图片列表0是使用相应参考图片集中所包括的参考图片中的标记信息(used_by_curr_pic_flag)为1的图片来构造的，其中，标记信息指示相应图片当前是否用作参考图片。如图所示，可以仅使用每个参考图片集中所包括的四个图片中的仅第一图片和第二图片来构造初始参考图片列表0。
[0195] 可以针对每个图片或每个切片来修改初始参考图片列表，并且可以基于该修改来改变参考图片。可以使用切片头部中所包括的语法元素(例如，ref_pic_list_modification_flag_l0,list_entry_l0,ref_pic_list_modification_flag_l1,list_entry_l1)来修改初始参考图片列表。
[0196] ref_pic_list_modification_flag_l0和ref_pic_list_modification_flag_l1可以明确地指示在参考图片列表0和参考图片列表1中参考图片是否从编码装置传送至解码装置。当标记值为1时，使用关于所传送的参考图片的信息来明确地指定参考图片列表，而当标记值为0时，参考图片列表隐含地作为初始参考图片集而被导出。
[0197] 当标记值为1时，list_entry_l0指示关于详细条目的信息即构成参考图片列表L0的参考图片的索引，以及list_entry_l1指示关于构成参考图片列表L1的详细条目的信息。
[0198] 借助于该修改，可以使用第一参考图片集的第一参考图片和第二参考图片(0,1)、第二参考图片集的第一参考图片和第二参考图片(0,1)以及第四参考图片集的第一参考图片(0)来构造最终参考图片列表0。
[0199] 根据本发明的另一示例，当构造参考图片列表时，可以将用于层间参考图片的第四参考图片集布置在不同于图6列表中的最终序列位置的序列位置处。在多层结构中，由于视频的特性在增强层和基本层之间存在强关联，因此可能频繁出现层间参考图片被参考的情况。当将具有高出现频率的层间参考图片添加至不同于参考图片列表的最后位置的位置时，可以提高参考图片列表的编码性能。
[0200] 在考虑到该事实的情况下，可以将层间参考图片添加至参考图片列表的各个位置。图7至图10是示出了根据本发明的实施方式构造层间参考图片列表的示例的概念图。
[0201] 图7示出了根据本发明的实施方式的参考图片列表0的配置，其中，图示了参考图片列表0的配置。如图所示，可以将作为层间参考图片集的第四参考图片集排列在参考图片列表的第二序列位置处。
[0202] 参考图片列表0按照第一参考图片集、第四参考图片集、第二参考图片集和第三参考图片集的序列来构造。
[0203] 参考图片列表0包括在相应参考图片集中所包括的参考图片中、标记信息(used_by_curr_pic_flag)为1的图片，其中，标记信息指示相应图片当前是否被用作参考图片。如图所示，可以仅使用参考图片集的每个中的四个图片的第一图片和第二图片来构造初始参考图片列表0。
[0204] 可以针对每个图片或切片修改以该方式构造的初始参考图片列表，并且可以根据该修改来改变参考图片的条目。
[0205] 借助于该修改，可以使用第一参考图片集的第一参考图片和第二参考图片(0,1)、第四参考图片集的第一参考图片和第二参考图片(0,1)以及第二参考图片集的第一参考图片(0)来构造最终的参考图片列表0。
[0206] 图8是示出了根据本发明的另一实施方式的参考图片列表0的配置的图。
[0208] 替选地，如图8所示，参考图片列表0可以被构造为使得第四参考图片集布置在第一序列位置，然后依次布置第一参考图片集、第二参考图片集和第三参考图片集，其中，第四参考图片集包括层间参考图片，第一参考图片集包括POC比当前图片的POC小的短期参考图片，第二参考图片集包括POC比当前图片的POC大的短期参考图片，以及第三参考图片集包括长期参考图片。
[0209] 在中，优点在于：当层间参考图片被参考的频率为高时，可以提高参考图片列表的编码和解码效率。
[0210] 替选地，在另一实施方式中，与生成单个层的参考图片列表类似，可以按照第一参考图片集、第二参考图片集和第三参考图片集的序列来构造参考图片列表，此后可以以切片或序列级别、即在切片头部或序列参数头部中指定要添加层间参考图片的位置，其中，第一参考图片集包括POC具有比当前图片的POC小的短期参考图片，第二参考图片集包括POC具有比当前图片的POC大的短期参考图片，以及第三参考图片集包括长期参考图片。
[0211] 可以将层间参考图片添加至指定位置，然后可以构造参考图片列表。这样的信令信息可以使用切片头部、序列头部或视频参数集中所包括的信令信息来编码，并且可以传送至解码设备。
[0212] 图9示出了根据本发明的实施方式的参考图片列表1的构造。如图所示，可以将作为层间参考图片集的第四参考图片集排列在参考图片列表的最后序列位置处。
[0213] 参考图片列表1按照第二参考图片集、第一参考图片集、第三参考图片集和第四参考图片集的序列来构造。
[0214] 参考图片列表1使用相应参考图片集中所包括的参考图片中的、标记信息(used_by_curr_pic_flag)为1的图片来构造，其中，标记信息指示相应的图片当前是否被使用。如图所示，可以仅使用参考图片集的每个参考图片中所包括的四个图片中的第一图片和第二图片来构造参考图片列表1。
[0215] 可以针对每个图片或切片修改以该方式构造的初始参考图片列表，并且可以根据该修改改变参考图片的条目。
[0216] 借助于该修改，可以使用第二参考图片集的第一参考图片(0)、第一参考图片集的第一参考图片和第二参考图片(0,1)以及第四参考图片集的第一参考图片和第二参考图片(0,1)来构造最终参考图片列表1。
[0217] 图10是示出了根据本发明的另一实施方式的参考图片列表1的配置的图。
[0219] 替选地，如图10所示，参考图片列表1可以被构造为使得第二参考图片集被分配至第一序列位置，并且第四参考图片集被分配至第二序列位置，其中，第二参考图片集包括POC比当前图片的POC大的短期参考图片，以及第四参考图片集包括层间参考图片。然后，可以按照第一参考图片集和第三参考图片集的序列来构造参考图片列表1，其中，第一参考图片集包括POC比当前图片的POC小的短期参考图片，以及第三参考图片集包括长期参考图片。
[0220] 替选地，与生成单个层的参考图片列表类似，可以按照第二第一参考图片集、第一参考图片集和第三参考图片集的序列来构造参考图片列表，此后可以以切片或序列级别即在切片头部或序列参数头部中指定要添加层间参考图片的位置，其中，第一参考图片集包括POC比当前图片的POC小的短期参考图片，第二参考图片集包括POC比当前图片的POC大的短期参考图片，以及第三参考图片集包括长期参考图片。
[0221] 可以将层间参考图片添加至指定位置，然后可以构造参考图片列表。这样的信令信息可以使用切片头部、序列头部或视频参数集中所包括的信令信息来编码，并且可以传送至解码设备。
[0222] 在支持多层结构的视频中，当扩展类型为多视图类型时，可以将另一视图的层用作当前层的参考图片。当多视图即多个层用作参考图片时，可以将包括层间参考图片的第四参考图片集划分并且分别包括在参考图片列表中。可以使用各种方法基于当前层与参考图片层的视图的序列或接近程度来构造参考图片列表。
[0223] 例如，可以在基于当前视图与参考视图之间的差构造参考图片列表时对参考图片进行划分和排列。替选地，可以相对于当前视图对属于低于当前视图的视图以及高于当前视图的视图的参考图片进行分离和排列。
[0224] 图11示出了根据本发明的实施方式的使用多视图参考图片构造的参考图片列表。
[0225] 如图所示，当位流支持五个视图层或在五个视图层之间形成了参考关系时，可以将视图2假定为当前层的视图。相对于当前视图，视图序列位置比当前视图的视图序列位置低的视图0和视图1可以对单个子参考图片集(第一子参考图片集)进行配置或者可以包括在第一子参考图片集中，视图序列位置的比当前视图的视图序列位置高的视图3和视图4可以对单个子参考图片集(第二子参考图片集)进行配置或者可以包括在第二子参考图片集中。
[0226] 也就是说，第一子参考层图片集可以包括多视图参考层图片中的、视图序列位置比当前图片的视图序列位置低的图片，以及第二子参考层图片集可以包括多视图参考层图片中的、视图序列位置比当前图片的视图序列位置高的图片。
[0228] 参考图片列表1可以按照第二参考图片集、第二子参考图片集、第一参考图片集、第一子参考图片集以及第三参考图片集的序列来构造，其中，第二参考图片集包括POC比当前图片的POC大的短期参考图片，第一参考图片集包括POC比当前图片的POC小的短期参考图片，以及第三参考图片集包括长期参考图片。
[0229] 替选地，如所示，可以按照第一参考图片集、第一子参考图片集、第二参考图片集、第三参考图片集以及第二子参考图片集的序列来构造参考图片列表0，其中，第一参考图片集包括POC比当前图片的POC小的短期参考图片，第二参考图片集包括POC比当前图片的POC大的短期参考图片，以及第三参考图片集包括长期参考图片。也就是说，可以将第二子参考图片集添加至参考图片列表的最后序列位置。
[0230] 类似地，可以按照第二参考图片集、第二子参考图片集、第一参考图片集以及第三参考图片集的序列来构造参考图片列表1，并且可以将第一子参考图片集添加至参考图片列表的最后序列位置，其中，第二参考图片集包括POC比当前图片的POC大的短期参考图片，第一参考图片集包括POC比当前图片的POC小的短期参考图片，以及第三参考图片集包括长期参考图片。
[0231] 虽然多视图参考图片被包括在图11的层间参考图片中，但是如图11所示的参考图片列表的构造也可以应用于扩展类型是空间扩展以及将多个层中的图片用作参考图片的情况。也就是说，可以基于其中标识有当前图片和空间层的序列之间的差异将参考图片分离并且添加至参考图片列表。
[0232] 图12示出了根据本发明的另一实施方式的使用多视图参考图片构造的参考图片列表。
[0233] 在视图方面与当前层具有较小差异的层具有以下大的可能性：即相应层中的图片被用作层间参考图片。换言之，在视图方面与当前层具有较大差异的层具有以下弱的可能性，即图片将由当前图片所参考。根据本发明，可以根据将参考图片的出现频率(即视图之间的参考度)考虑在内的接近度序列(proximity sequence)适应性地修改将参考图片添加至参考图片列表的序列。
[0234] 也就是说，可以将参考图片列表中的较低索引分配给在视图方面与当前层具有较小差异的层中的参考图片，以及可以将参考图片列表中的较高索引分配给在视图方面与当前层具有较大差异的层中的参考图片。
[0235] 例如，如图12所示，在可以包括在多视图参考图片集中的参考图片0、参考图片1、参考图片2以及参考图片3中，参考图片0可以被排列在参考图片列表0的第一序列位置处，以及参考图片1、参考图片2和参考图片3可以被排列在紧接第三参考图片集之后即参考图片列表0的最后序列位置处。
[0236] 此处，参考图片0可以是在视图方面与当前层具有较小差异的层中的参考图片，以及参考图片1、参考图片2和参考图片3可以是在视图方面与当前层具有较大差异的层中的图片。
[0237] 当前层和可以被排列在参考图片列表的前部位置处的参考层的视图之间的差值可以被设置为默认值，或者可以由编码设备可变地设置并且传送至解码设备。
[0238] 根据本发明的另外的实施方式，可以根据当前图片的时间子层的索引(tempralId)来设置层间参考图片集的排列序列。
[0239] 图13示出了根据本发明的实施方式的使用时间子层的索引构造的参考图片列表。
[0240] 在多层结构中，取决于当前图片的属于增强层的时间子层，使用层间参考图片的频率可能不同。当作为时间子层的索引值的temporalID较大时，可以通过参照同一层中的图片而不是参照另一层中的参考图片来更高效地进行帧间预测。
[0241] 换言之，当tempralId的值较小时，参考层间的图片进行编码会比参考相同层的图片进行编码更高效。当tempralId的值较大时，使用相同层的图片作为参考图片进行编码比使用层间的图片作为参考图片进行编码更高效。
[0242] 在本实施方式中，考虑到层间图片被参考的频率根据时间子层而改变的事实，初始参考图片列表中的要添加层间参考图片的位置可以根据时间子层的索引(tempralId)而适应性地改变。
[0243] 图13是示出了当tempralId的值在从0至2的范围内时的参考图片列表0的构造。
[0244] 当tempralId的值为0时，有大的可能性将在增强层中执行层间预测，从而包括层间参考图片的第四参考图片集被添加至初始参考图片列表的第一序列位置。
[0245] 使用包括在相应参考图片集中的参考图片中的、指示对应图片当前是否被用作参考图片的标记信息(used_by_curr_pic_flag)为1的图片所构造的初始参考图片列表0包括：包括在第四参考图片集中的四个图片(0，1，2，3)；第一参考图片集的第一图片和第二图片(0，1)、第二参考图片集的第一图片和第二图片(0，1)，以及第三参考图片集的第一图片和第二图片(0，1)。
[0246] 如在图中所示，在已经设置参考图片列表的初始值之后，修改参考图片列表，然后可以设置最终参考图片列表。关于参考图片列表的修改的信息可以用切片头部来标记。
[0247] 修改的最终参考图片列表0被按照下述序列构造：第一参考图片集中的第一图片和第二图片(0，1)、第四参考图片集中的第一图片和第二图片(0，1)以及第二参考图片集中的第一图片(0)。
[0248] 当tempralId的值为1时，包括层间参考图片的第四参考图片集可以被添加至初始参考图片列表0中的第一参考图片集之后。
[0249] 使用指示对应图片当前是否被用作参考图片的标记信息(used_by_curr_pic_flag)为1的图片所构造的初始参考图片列表包括：第一参考图片集的第一图片和第二图片(0，1)、第四参考图片集的第一图片和第二图片(0，1)、第二参考图片集的第一图片和第二图片(0，1)以及第三参考图片集中的第一图片和第二图片(0，1)。
[0250] 修改的最终的参考图片列表0被按照下述序列构造：第一参考图片集的第一图片和第二图片(0，1)、第四参考图片集的第一图片和第二图片(0，1)以及第二参考图片集的第一图片。
[0251] 当tempralId为2时，有大的可能性将执行相同层的帧间预测而不是执行增强层的层间预测，从而包括层间参考图片的第四参考图片集将被添加至第三参考图片集之后，也就是说，被添加至初始参考图片集的最后的序列位置。
[0252] 使用指示对应图片当前是否被用作参考图片的标记信息(used_by_curr_pic_flag)为1的图片所构造的初始参考图片列表包括：第一参考图片集的第一图片和第二图片(0，1)、第二参考图片集的第一图片和第二图片(0，1)、第三参考图片集的第一图片和第二图片(0，1)以及第四参考图片集的第一图片和第二图片(0，1)。
[0253] 修改的最终的参考图片列表被按照下述序列构造：第一参考图片集的第一图片和第二图片(0，1)、第二参考图片集的第一图片和第二图片(0，1)以及第四参考图片集的第一图片(0)。
[0254] 与上面的描述类似，初始参考列表L1可以被配置成使得要添加第四参考图片集的位置根据tempralId的值而改变。例如，当tempralId的值为0时，初始参考列表L1可以被按照下述序列构造：第四参考图片集、第二参考图片集、第一参考图片集以及第三参考图片集。当tempralId的值为1时，初始参考列表L1可以被按照下述序列构造：第二参考图片集、第四参考图片集、第一参考图片集以及第三参考图片集。当tempralId的值为2时，第四参考图片集可以被添加至初始参考图片列表L1的最后的序列位置。
[0255] 总之，如在图13中所示，初始参考图片列表中的要添加层间参考图片的位置可以根据时间子层的tempralId的值而适应性地改变。
[0256] 同时，根据本发明的又一实施方式，多层结构中的参考图片列表的构造的序列可以根据层的时间子层的层索引tempralId的值之间的差来不同地设置。
[0257] 在多层结构中，当增强层的tempralId的值和基本层的tempralId的值彼此不同或当tempralId的值之间的差较大时，减小了增强层参考基本层的可能性(即层间参考关系存在的可能性)。
[0258] 相比之下，当增强层的tempralId的值和基本层的tempralId的值彼此相同时，或者当tempralId的值之间的差较小时，增大了增强层参考基本层的可能性(即层间参考关系存在的可能性)。
[0259] 由于发生层间参考的频率根据增强层的tempralId的值和基本层的tempralId的值之间的差而改变，所以参考图片列表中要被添加层间参考图片的位置可以根据层的tempralId的值之间的差而适应性地改变。
[0260] 例如，当属于增强层的图片的tempralId的值与属于基本层或参考层的图片的tempralId的值相同时，可以将层间参考图片集添加至参考图片列表的第一序列位置，反之，当属于两层的图片的tempralId的值彼此不同时，可以将层间参考图片集添加至长期参考图片集之后的位置，即参考图片列表的最后的序列位置。
[0261] 可替选地，当层间参考图片集被添加至参考图片列表时，如果属于增强层的图片的tempralId的值与属于基本层或参考层的图片的tempralId的值之间的差小于特定值时，则可以将层间参考图片集添加至参考图片列表的第一序列位置，反之，如果属于两层的tempralId的值之间的差大于特定值时，则可以将层间参考图片集添加至长期参考图片集之后的位置即参考图片列表的最后的序列位置。
[0262] 可替选地，当层间参考图片被添加至参考图片列表的前部位置时，可以将层间参考图片添加至参考图片列表的第二参考图片集的位置而不是参考图片列表的第一参考图片集的位置。当层间参考图片被添加至参考图片列表的后部位置时，可以将层间参考图片添加至长期参考图片集之前的位置而不是参考图片列表的最后的位置。
[0263] 例如，当增强层的当前图片的tempralId的值与用作层间参考图片的基本层的图片的tempralId的值相同例如为2时，可以将层间参考图片添加至参考图片列表的第一位置。
[0264] 相比之下，当增强层的当前图片的tempralId的值为4时，并且用作层间参考图片的tempralId的值为2时，可以将层间参考图片添加至参考图片列表的长期参考图片集之后的位置。
[0265] 根据本发明的再一实施方式，可以根据被允许层间预测的时间子层的最大数目来适应性地构造参考图片列表。
[0266] 支持多层结构的位流可以包括关于被允许层间预测的时间子层的最大数目的信息。这样的信息可以作为包括在视频参数集中的max_tid_il_ref_pics_plus1的语法元素来传送。通过从max_tid_il_ref_pics_plus1中减去1而获得的值意味着被允许层间预测的时间子层的最大数目。
[0267] 在这种情况下，当构造参考图片列表时，如果当前层的tempralId的值大于被指定为通过从max_tid_il_ref_pics_plus1中减去1而获得的值的值，则从编码效率和解码效率的角度，更适合使用相同层的图片作为的参考图片而不是使用上采样基本层图片。因此，当当前层的tempralId的值大于被指定为max_tid_il_ref_pics_plus1的值时，可以设置参考图片列表使得不使用层间参考。在这种情况下，可以不将层间参考图片集添加至参考图片列表。即使已经添加了层间参考图片集，但是可以发出防止层间参考图片集被参考的独立信号。
[0268] 相比之下，在当前层的tempralId的值小于或等于被指定为max_tid_il_ref_pics_plus1的值时，可以通过将针对当前层的短期参考图片集、长期参考图片集以及层间参考图片集进行组合来构成参考图片集。在这种情况下，可以根据已经参考图6至图13描述的实施方式以及可以根据所述实施方式修改的实施方式来配置参考图片集。
[0269] 同时，在当前层的较低层中，当执行当前层的预测时不参考其tempralId的值大于通过从max_tid_il_ref_pics_plus1减去1而获得的值的较低层。
[0270] 此外，在帧间预测中，由于不对时间子层的tempralId的值大于当前切片或图片的tempralId的值的切片或图片进行参考，所以可以不参考具有比当前切片或图片的tempralId的值大的tempralId的值的基本层的切片或图片。
[0271] 当根据时间子层的tempralId而不使用层间参考图片集时，可以仅使用针对当前层的短期参考图片集和长期参考图片集来构造参考图片列表。
[0272] 同时，支持空间可扩展性的位流中的增强层和基本层的图片，或者支持多视图可扩展性的位流中的当前层的图片以及邻近当前层的视图中的相邻层的图片具有相似的特性。在该情况下，在参考图片集之间可以存在相似性。
[0273] 在下文中，将描述以下配置：在该配置中，基于参考图片集可以在不同的层中彼此相似的事实，在构造增强层的参考图片列表或参考图片集时使用基本层或下层的参考图片集或参考图片列表。
[0274] 根据本发明的实施方式，可以通过将与基本层的参考图片集有关的信息用作增强层的参考图片集来执行增强层的预测。
[0275] 即，在编码装置和解码装置中，基本层、另一下层或与要编码或解码的当前层相邻的层(在下文中被成为‘参考层’)的参考图片集可以在不作改变的情况下用于当前层中。
[0276] 编码装置和解码装置可以从用于对参考层进行编码和解码的编码单元和解码单元获得与参考层的参考图片集有关的信息，即与构成参考图片集的参考图片有关的信息以及指示当前是否使用参考图片的标记信息，并且编码装置和解码装置可以在不作改变的情况下将所获得信息用于预测增强层即当前层。
[0277] 在当前要编码或解码的增强层将参考的参考层为基本层的图片时，因为不存在层间参考图片，所以基本层可以使用与短期参考图片集和长期参考图片集有关的信息。在基本层的参考图片集被用于增强层时，将该信息以信号的形式发出可以经由序列参数集(SPS)来执行。
[0278] 以下表1示出根据本发明的实施方式的SPS。
[0279] 表1
[0280]
[0281] 参照表1，inter_layer_copy_flag的值为1的情况指：将由当前层参考的参考层的短期参考图片集和长期参考图片集用作当前层的短期参考图片集和长期参考图片集。当inter_layer_copy_flag的值为0时，对当前层而非参考层的切片头部(slice header)进行解码，从而导出当前层的短期参考图片集和长期参考图片集。
[0282] 如表1所示，inter_layer_copy_flag信息可以在该信息包括在SPS中的情况下被传送。可替代地，这样的标记信息可以在该信息包括在图片级别(picture slice)或切片级别(slice level)中的情况下被传送。
[0283] ‘num_short_term_ref_pic_sets’表示包括在SPS中的短期参考图片集的数目。如表1所示，‘num_short_term_ref_pic_sets’在inter_layer_copy_flag为‘0’时被接收。
[0284] 在将num_short_term_ref_pic_sets以信号形式发出时，在‘循环(for)语句(i＝0；i
[0285] long_term_ref_pics_present_flag为0的情况指用于当前层的图片的预测的长期参考图片不存在，而long_term_ref_pics_present_flag为1的情况指至少一个长期参考图片用于当前层的图片的预测。
[0286] ‘num_long_term_ref_pics_sps’表示包括在SPS中的长期参考图片集的数目。
[0287] ‘lt_ref_pic_poc_lsb_sps[i]’表示在SPS中指定的第i候选长期参考图片的MaxPocLsb。
[0288] used_by_curr_pic_lt_sps_flag[i]为0的情况指：在SPS中指定的第i候选长期参考图片未被用作其第i候选长期参考图片包括在对应的长期参考图片集中的图片的参考图片。
[0289] 总之，根据本发明的实施方式，在当前层所参考的参考层为基本层时，可以在构造当前层的参考图片列表时在不作改变的情况下使用基本层的短期参考图片集和长期参考图片集。在该情况下，标记信息例如inter_layer_copy_flag可以在该标记信息包括在SPS中的情况下以信号的形式被发出。
[0290] 根据本发明的另一实施方式，编码装置和解码装置可以将参考层的参考图片集中的一些参考图片集用作当前层的参考图片集。即，在将参考层的短期参考图片集和长期参考图片集中的至少一个用作当前层的参考图片集时，可以将是否使用每个参考图片集以信号的形式发出。
[0291] 表2示出根据本发明的实施方式的SPS。
[0292] 表2
[0293]
[0294]
[0295] 参照表2，inter_layer_short_copy_flag的值为1的情况指：将当前层所参考的参考层的短期参考图片集用作当前层的短期参考图片集。当inter_layer_short_copy_flag的值为0时，通过对当前层而非参考层的切片头部进行解码来导出当前层的短期参考图片集。
[0296] 如表2所示，与inter_layer_short_copy_flag有关的信息可以在该信息包括在SPS中的情况下被传送。可替代地，标记信息可以在该标记信息包括在图片级别或切片级别的情况下被传送。
[0297] ‘num_short_term_ref_pic_sets’表示包括在SPS中的短期参考图片集的数目。如表2所示，num_short_term_ref_pic_sets在inter_layer_short_copy_flag为0时被接收。
[0298] 在将num_short_term_ref_pic_sets以信号的形式发出时，在‘循环(for)语句(i＝0；i
[0299] long_term_ref_pics_present_flag为0的情况指用于当前层的图片的预测的长期参考图片不存在，而long_term_ref_pics_prsent_flag为1的情况指至少一个长期参考图片用于当前层的图片的预测。
[0300] inter_layer_long_copy_flag的值为1的情况指由当前层所参考的参考层的长期参考图片集被用作当前层的长期参考图片集。当inter_layer_long_copy_flag的值为0时，通过对当前层而非参考层的切片头部进行解码来导出当前层的长期参考图片集。
[0301] 当inter_layer_long_copy_flag的值为0并且long_term_ref_pics_present_flag的值为1时，指示包括在SPS中的长期参考图片的数目的num_long_term_ref_pic_sps以信号的形式被发出。
[0302] ‘lt_ref_pic_poc_lsb_sps[i]’表示SPS中指定的第i候选长期参考图片的MaxPocLsb。
[0303] used_by_curr_pic_lt_sps_flag[i]为0的情况指：SPS中指定的第i候选长期参考图片未被用作其第i候选长期参考图片包括在对应的长期参考图片集中的图片的参考图片。
[0304] 总之，根据本发明的实施方式，在当前层所参考的参考层为基本层时，可以在构造当前层的参考图片列表时在不作改变的情况下使用基本层的短期参考图片集和长期参考图片集。在该情况下，为了将这样的信号以信号的形式发出，SPS可以包括例如inter_layer_short_copy_flag或inter_layer_long_copy_flag的标记信息。
[0305] 即，根据本实施方式，可以将短期参考图片集和长期参考图片集中的每个的复制标记而非将当前层的所有参考图片集的复制信息(复制标记)以信号的形式发出。
[0306] 根据另一实施方式，当前层可以将参考层的层间参考图片集用作当前层的层间参考图片集，其中，可以将指示层间参考图片集是否被复制的标记信息以信号的形式发出。
[0307] 上述标记信息可以在该信息包括在如表1和表2所示的序列参数集中的情况下以信号的形式被发出，或者在该信息包括在视频参数集、图片级别或切片级别中的情况下被传送。
[0308] 同时，在当前层对参考层的层间参考图片集信息进行参考时，可以参考与参考图片列表中每个层间参考图片要添加到的位置有关的信息。在当前层的参考图片集被添加至参考图片列表时，可以使用参考层的位置信息。已经参照图6至图13对用于将层间参考图片添加至参考图片列表的方法进行了描述。
[0309] 图14为示出根据本发明的实施方式的用于对参考层的层间参考图片集被添加到的位置进行参考的示例的图。
[0310] 当参考层不是基本层并且同样通过参考另一层来进行编码或解码时，可以在对当前层进行编码或解码时在不作改变的情况下使用初始参考图片列表中参考层的层间参考图片要添加到的序列位置或者参考图片列表中层间参考图片要添加到的特定位置。
[0311] 如图14所示，在参考层的情况下，可以在将包括层间参考图片的第四参考图片集添加至初始参考图片列表时，将该第四参考图片集添加至在构成第一参考图片集的图片0和图片1之后的位置。即，可以在与初始参考图片列表的第二参考图片集对应的序列位置处对齐层间参考图片。
[0312] 在层间参考图片集之后，构成第二参考图片集的图片0和图片1与构成第三参考图片集的图片0和图片1对齐，其中，图片中‘used_by_curr_pic_s0_flag’的值为1。
[0313] 使用第一参考图片集的图片0和图片1、第四参考图片集的图片0和图片1以及第二参考图片集的图片0来构造最终修改的初始参考图片列表。
[0314] 如图所示，甚至在当前层的初始参考图片列表中，可以在第二序列位置处对齐层间参考图片，即在第一参考图片集之后。
[0315] 如果在构造当前层的初始参考图片列表时使用参考层的位置信息，则可以将这样的位置信息作为指示是否合并了参考层的层间参考图片集的位置的标记信息以信号的形式发出。此外，另外可以将其位置信息已经被合并的参考层的ID以信号的形式发出。
[0316] 在指定层间参考图片要添加到的位置时，用于将位置以信号的形式发出的方法还可以包括多个方法。编码装置可以通过使位置信息包括在切片或序列级别(sequence level)例如切片头部或序列头部中来对与在初始参考图片列表中层间参考图片集要添加到的位置有关的位置信息进行编码。在支持多个视图层例如多视图可扩展性的位流的情况下，可能发生以下多个情况：各个层的图片特性彼此不同；以及与基本层的重构图片的相互关系彼此不同。此外，相应的多个层的temporalId值可以不同，并且根据temporalId值、层间参考发生的频率可以不同。
[0317] 根据各种条件，对于各个层，层间参考图片要添加到的最优位置可以不同，因而对于相应的多个层，层间参考图片要添加到的位置可以以信号的形式被发出。
[0318] 可替代地，为了在在相应的多个层中保持各种图片的同时减小编码阶段的计算负荷，编码装置可以将参考图片要添加到的位置的数目限制成预定的数目，可以对层间参考图片可添加到的位置进行设置以与预定的数目对应，并且可以仅针对所设置的位置来计算位速率失真。基于所计算的位速率失真，可以导出层间参考图片可添加到的最优位置，并且编码装置可以将与这样的位置有关的信息传送至解码装置。
[0319] 例如，可以对位置进行设置使得层间参考图片可以被添加至三个位置，例如初始参考图片列表的第一(最先)位置、在短期参考图片集之后的位置以及在长期参考图片集之后的位置。在该情况下，编码装置可以对三个位置中的、层间参考图片要添加到的位置的指示索引进行编码，并且可以将编码的索引以信号的形式发出。
[0320] 图15为示出根据本发明的用于生成参考图片列表的方法的控制流程图。
[0321] 首先，解码装置接收标记信息(S1510)，该标记信息指示当前图片是否使用与参考层的参考图片集有关的信息。
[0322] 这样的标记信息可以是以下标记信息：该标记信息指示参考层的短期参考图片集和长期参考图片集是否被导出为当前图片的短期参考图片集和长期参考图片集。
[0323] 可替代地，标记信息可以为指示是否仅参考层的短期参考图片集被导出为当前图片的短期参考图片集的信息，以及指示是否仅参考层的长期参考图片集被导出为当前图片的长期参考图片集的信息。
[0324] 以该方式，当标记信息指示是在参考层的短期参考图片集和长期参考图片集中的任一者在不作改变的情况下被用于当前图片的初始参考图片列表还是在短期参考图片集和长期参考图片集二者均在不作改变的情况下被用于当前图片的初始参考图片列表时，参考层可以是不对层间参考图片进行参考的基本层。
[0325] 如果参考层不是基本层，则标记信息可以指示参考层的层间参考图片集是否被导出为当前图片的层间参考图片集。即，由参考层进行参考的另一层的图片也可以在不作改变的情况下由当前图片进行参考。
[0326] 可替代地，如图13所示，标记信息可以指示：在初始参考图片列表中参考层的层间参考图片集要添加到的位置是否被用作在初始参考图片列表中当前图片的层间参考图片集要添加到的位置。
[0327] 根据本发明的另一实施方式，与在初始参考图片列表中参考层的层间参考图片集要添加到的位置有关的信息可以作为与在初始参考图片列表中层间参考图片集要添加到的位置的索引之间的差有关的信息——即作为预测的值而非作为标记信息——以信号的形式被发出。例如，当在初始参考图片列表中参考层的层间参考图片集要添加到的位置为第一序列位置并且在初始参考图片列表中当前层的层间参考图片集要添加到的位置为第二序列位置时，编码装置可以对与第一位置与第二位置之间的差有关的信息进行编码并且可以传送所编码的信息。
[0328] 解码装置可以使用以信号形式发出的差信息来导出在初始参考图片列表中当前层的层间参考图片集要添加到的位置。
[0329] 这样的标记信息可以在该标记信息包括在视频级别(video level)、序列级别、图片级别或切片级别中的情况下以信号的形式被发出。
[0330] 接着，解码装置基于标记信息生成参考图片列表(S1520)。
[0331] 当指示是否使用参考层的参考图片集信息的上述标记信息为1时，可以在构造当前图片的初始参考图片列表时在不作改变的情况下使用参考层的参考图片集。
[0332] 当标记信息为0时，在不使用参考层的信息的情况下独立构造当前图片的初始参考图片列表。
[0333] 预测单元可以基于与参考图片列表的修改有关的另外的信息来修改初始参考图片列表。
[0334] 预测单元可以基于初始参考图片列表或修改的最终参考图片列表来执行当前图片的预测(S1530)。
[0335] 在预测当前图片时，包括在层间参考图片集中的参考图片通过长期参考图片进行表示，并且解码装置可以将包括在层间参考图片集中的参考图片用作当前图片的参考图片。
[0336] 在上述示例性系统中，虽然已经基于作为一系列步骤或块的流程图对方法进行了描述，但是本发明不限于步骤的特定序列，其中，一些步骤可以按照与上述步骤的序列不同的序列来执行，或者与步骤同时执行。此外，因为上述实施方式包括示例的各个方面，所以应当理解的是实施方式的组合同样对应于本发明的实施方式。因此，明显的是，本发明可以包括属于本发明的所附权利要求的范围的所有替换、修改和改变。
[0337] 工业实用性
[0338] 本发明可以用于对具有多层结构的视频信号进行编码。