视频编码中的层切换专利检索-视频编码层视听技术与设备专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

视频编码中的层切换

阅读：408发布：2020-05-11

IPRDB可以提供视频编码中的层切换专利检索，专利查询，专利分析的服务。并且一种多层或多视图视频(1)通过以下方式进行编码：对在切换点(2)处重合的第一层或视图(10)中的图片(12)和第二层或视图(20)中的图片(22)之中的一个图片进行编码，所述切换点(2)定义在第一层或视图(10)与第二层或视图(20)之间的切换。将在切换点(2)处重合的第一层或视图(10)中的图片(12)和第二层或视图(20)中的图片(22)之中的另一图片编码为跳过图片。该实施例由此降低了对具有切换点(2)的多层或多视图视频(1)进行编码和解码的复杂度，并减小了表示在切换点(2)处重合的编码图片所需的比特数。，下面是视频编码中的层切换专利的具体信息内容。

权利要求

1.一种用于对包括多个层或视图(10，20)的多层或多视图视频(1)进行编码的方法，所述方法包括：对在切换点(2)处重合的所述多层或多视图视频(1)的第一层或视图(10)中的图片(12)和第二层或视图(20)中的图片(22)之中的一个图片进行编码(S1)，所述切换点(2)定义在所述多层或多视图视频(1)中的所述第一层或视图(10)与所述第二层或视图(20)之间的切换；以及将在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的另一图片编码(S2)为跳过图片。

2.根据权利要求1所述的方法，其中：对在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的一个图片进行编码(S1)包括：使用率失真优化、固定数量比特和固定质量等级中的至少一个，对在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所述一个图片进行编码(S1)。

3.根据权利要求1或2所述的方法，还包括：识别(S11)所述多层或多视图视频(1)中的所述切换点(2)。

4.根据权利要求1至3中任一项所述的方法，还包括：对所述第一层或视图(10)中直至所述切换点(2)的图片(14)进行编码(S10)。

5.根据权利要求1至4中任一项所述的方法，还包括：对所述第二层或视图(20)中在所述切换点(2)之后的图片(24)进行编码(S12)。

6.根据权利要求1至5中任一项所述的方法，还包括：将在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所述另一图片的输出标志设置为0，以指示在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所述另一图片不由解码器输出。

7.根据权利要求1至6中任一项所述的方法，其中，对在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所述另一图片进行编码(S2)包括：将在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所述另一图片编码(S2)为跳过图片，所述跳过图片指示要从所述多层或多视图视频(1)中的根据编码和解码顺序的前一图片(12)拷贝采样值或要使用所述采样值的重采样版本。

8.根据权利要求1至7中任一项所述的方法，其中，对在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所述另一图片进行编码(S2)包括：使用高效视频编码HEVC的合并模式，将在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所述另一图片编码(S2)为跳过图片。

9.根据权利要求1至8中任一项所述的方法，其中

对在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的一个图片进行编码(S1)包括：对所述多层视频(1)中在所述切换点(2)处重合的基层(10)中的图片(12)进行编码(S50)；以及对在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所述另一图片进行编码(S2)包括：将所述多层视频(1)中在所述切换点(2)处重合的增强层(20)中的图片(22)编码(S51)为跳过图片。

10.根据权利要求1至9中任一项所述的方法，其中所述多层视频(1)中的每一层(10，

20)具有相应的层标识符，所述方法还包括：

将标志single_layer_for_non_irap_flag设置(S60)为等于1，以指示在每个接入单元AU(30，32)中至多存在两个图片(12，22)，并且当在同一AU(30)中存在两个图片(12，22)时，最高层(20)中的图片(22)是帧内随机接入点IRAP图片(22)；以及在与所述多层视频(1)的编码版本相对应的编码比特流(40)中发信号通知(S61)：所述IRAP图片(22)中的每一块被编码为跳过块。

11.根据权利要求1至10中任一项所述的方法，其中：在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)具有相同的图片顺序计数POC值，并属于同一接入单元AU(30)。

12.根据权利要求1至11中任一项所述的方法，其中：所述切换点(2)处重合的所述第一层或视图10中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)表示相同原始图像的具有不同分辨率和/或质量等级的不同版本。

13.根据权利要求1至12中任一项所述的方法，其中所述第一层或视图(10)和所述第二层或视图(20)包括相同视频内容的具有不同分辨率和/或质量等级的不同版本。

14.一种用于对多层视频(1)进行编码的方法，其中所述多层视频(1)中的每一层(10，

20)具有相应的层标识符，所述方法包括：

将标志single_layer_for_non_irap_flag设置(S70)为等于1，以指示在每个接入单元AU(30，32)中至多存在来自所述多层视频(1)中的两个不同层(10，20)的两个图片(12，22)，并且当在同一AU(30)中存在两个图片(12，22)时，所述两个不同层(10，20)中的最高层(20)中的图片(22)是帧内随机接入点IRAP图片(22)；以及在与所述多层视频(1)的编码版本相对应的编码比特流(40)中发信号通知(S71)：所述IRAP图片(22)中的每一块被编码为跳过块。

15.一种多层或多视图视频编码器(100，200)，操作用于：

对在切换点(2)处重合的多层或多视图视频(1)的第一层或视图(10)中的图片(12)和第二层或视图(20)中的图片(22)之中的一个图片进行编码，所述切换点(2)定义在所述多层或多视图视频(1)中的所述第一层或视图(10)与所述第二层或视图(20)之间的切换，所述多层或多视图视频(1)包括多个层或视图(10，20)；以及将在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的另一图片编码为跳过图片。

16.根据权利要求15所述的多层或多视图视频编码器，还包括：

处理器(110，210)；以及

存储器(120，220)，其中所述处理器(110，210)操作用于：

对在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所述一个图片进行编码；以及将在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所述另一图片编码为跳过图片。

17.根据权利要求16所述的多层或多视图视频编码器，其中所述处理器(110，210)操作用于：使用率失真优化、固定数量比特和固定质量等级中的至少一个，对在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所述一个图片进行编码。

18.根据权利要求16或17所述的多层或多视图视频编码器，其中所述处理器(110，210)操作用于：对所述第一层或视图(10)中直至所述切换点(2)的图片(14)进行编码。

19.根据权利要求16至18中任一项所述的多层或多视图视频编码器，其中所述处理器(110，210)操作用于：对所述第二层或视图(20)中在所述切换点(2)之后的图片(24)进行编码。

20.根据权利要求16至19中任一项所述的多层或多视图视频编码器，其中所述处理器(110，210)操作用于：识别所述多层或多视图视频(1)中的所述切换点(2)。

21.根据权利要求16至20中任一项所述的多层或多视图视频编码器，其中所述处理器(110，210)操作用于：将在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所述另一图片的输出标志设置为

0，以指示在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所述另一图片不由解码器输出。

22.根据权利要求16至21中任一项所述的多层或多视图视频编码器，其中所述处理器(110，210)操作用于：将在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所述另一图片编码为跳过图片，所述跳过图片指示要从所述多层或多视图视频(1)中的根据编码和解码顺序的前一图片(12)拷贝采样值或要使用所述采样值的重采样版本。

23.根据权利要求16至22中任一项所述的多层或多视图视频编码器，其中所述处理器(110，210)操作用于：使用高效视频编码HEVC的合并模式，将在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的所述另一图片编码为跳过图片。

24.根据权利要求16至23中任一项所述的多层或多视图视频编码器，其中所述处理器(110，210)操作用于：对在所述切换点(2)处重合的所述多层视频(1)的基层(10)中的图片(12)进行编码；以及

将在所述切换点(2)处重合的所述多层视频(1)的增强层(20)中的图片(22)编码为跳过图片。

25.根据权利要求16至24中任一项所述的多层或多视图视频编码器，其中所述多层视频(1)中的每一层(10，20)具有相应的层标识符，其中所述处理器(110，210)操作用于：将标志single_layer_for_non_irap_flag设置为等于1，以指示在每个接入单元AU(30，32)中至多存在两个图片(12，22)，并且当在同一AU(30)中存在两个图片(12，22)时，最高层(20)中的图片(22)是帧内随机接入点IRAP图片(22)；以及在与所述多层视频(1)的编码版本相对应的编码比特流(40)中发信号通知：所述IRAP图片(22)中的每一块被编码为跳过块。

26.一种多层或多视图视频编码器(300)，包括：

第一编码单元(310)，操作用于对包括多个层或视图(10，20)的多层或多视图视频(1)的第一层或视图(10)中直至切换点(2)的图片(14)进行编码，所述切换点(2)定义所述多层或多视图视频(1)中的所述第一层或视图(10)与第二层或视图(20)之间的切换；

单元(320)，操作用于确定要被编码为跳过图片的在所述切换点(2)处重合的所述第一层或视图(10)中的图片(12)和所述第二层或视图(20)中的图片(22)之中的一个图片；

第二编码单元(330)，操作用于将所确定的图片(22)编码为跳过图片；以及输入/输出单元(340)，操作用于发送与所述多层或多视图视频(1)的编码版本相对应的编码比特流(40)。

27.一种多层或多视图视频编码器(400)，包括：

第一编码单元(410)，用于对在切换点(2)处重合的多层或多视图视频(1)的第一层或视图(10)中的图片(12)和第二层或视图(20)中的图片(22)之中的一个图片进行编码，所述切换点(2)定义所述多层或多视图视频(1)中的所述第一层或视图(10)和所述第二层或视图(20)之间的切换，所述多层或多视图视频(1)包括多个层或视图(10，20)；以及第二编码单元(410)，用于将在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的另一图片编码为跳过图片。

28.一种用于对多层视频(1)进行编码的多层视频编码器(100，200)，其中所述多层视频(1)的每一层(10，20)具有相应的层标识符，所述多层视频编码器(100，200)操作用于：将标志single_layer_for_non_irap_flag设置(S70)为等于1，以指示在每个接入单元AU(30，32)中至多存在来自所述多层视频(1)中的两个不同层(10，20)的两个图片(12，22)，并且当在同一AU(30)中存在两个图片(12，22)时，所述两个不同层(10，20)中的最高层(20)中的图片(22)是帧内随机接入点IRAP图片(22)；以及在与所述多层视频(1)的编码版本相对应的编码比特流(40)中发信号通知：所述IRAP图片(22)中的每一块被编码为跳过块。

29.一种发送单元(500)，包括根据权利要求15-28中任一项所述的多层或多视图视频编码器(100，200，300)。

30.一种包括代码装置的计算机程序(630)，在由处理器(610)执行时使所述处理器(610)：对在切换点(2)处重合的所述多层或多视图视频(1)的第一层或视图(10)中的图片(12)和第二层或视图(20)中的图片(22)之中的一个图片进行编码，所述切换点(2)定义在包括多个层或视图(10，20)的所述多层或多视图视频(1)中的所述第一层或视图(10)与所述第二层或视图(20)之间的切换；以及将在所述切换点(2)处重合的所述第一层或视图(10)中的所述图片(12)和所述第二层或视图(20)中的所述图片(22)之中的另一图片编码为跳过图片。

31.一种计算机程序产品(640)，包括计算机可读代码装置和根据权利要求30所述的计算机程序(630)，所述计算机程序(630)存储在所述计算机可读代码装置上。

说明书全文

视频编码中的层切换

技术领域

[0001] 该实施例一般涉及多层或多视图视频的编码，并具体涉及对多层或多视图视频中在切换点处重合的这种多层或多视图视频的图片进行编码。

背景技术

[0002] 高效视频编码(HEVC，ITU-T H.265|ISO/IEC 23008-2)是在联合协作小组-视频编码(JCT-VC)中发展的新近视频编码标准，联合协作小组-视频编码(JCT-VC)是运动图像专家组(MPEG)和国际电信单元(ITU)电信标准化部门(ITU-T)之间的协作项目。HEVC使用基于块的混合方案，该方案采用空间(帧内)预测和时间(帧间)预测。仅使用帧内预测(即帧内图片)对视频序列的第一图片编码，因为不存在可用的时间参考。

[0003] 视频编码和解码的基本概念是通过采用视频数据中的空间和时间冗余来对视频序列或流的视频数据进行压缩和解压缩。一般地，在视频序列的同一图片(帧内预测)或其他图片(帧间预测)内相对于参考像素块对像素块(现有技术中也称为采样)进行编码和解码。例如，HEVC针对帧内预测规定了33种定向模式、平面的和DC帧内预测模式。帧内预测模式使用来自先前已经被解码的相邻预测块(即像素块)的数据。帧间预测可以使用来自其他图片中的一个或更多个预测块的数据。这些参考块通常由相应的运动矢量(MV)标识。HEVC允许两个MV模式，其是高级运动矢量预测(AMVP)和合并模式。AMVP使用来自参考图片的数据并且还可以使用相邻预测块的数据。合并模式允许MV从相邻预测块继承。然后与帧内预测模式的表示或MV数据一起编码并使用当前像素块和参考像素块之间的差异，作为像素块的编码表示。然后在解码器处对从编码器输出的得到的编码比特流输出进行解码，以得到视频序列或流中的图片的解码表示。

[0004] HEVC的扩展是一种可缩放扩展(SHVC)，其允许单个编码比特流包含同一视频的具有不同分辨率和/或质量的不同版本。与以独立的流发送视频的不同版本相比，允许层间的预测提高了编码效率。可缩放视频编码的特定使用情况是使用多个层以创建自适应视频比特流的自适应分辨率改变(ARC)。当需要改变分辨率时，自适应视频编码器切换至具有适合当前网络条件的分辨率的层，并继续编码。还可以在一层内以及在HEVC的不可缩放版本中进行分辨率改变，但是针对那种情况，每次改变分辨率时，需要使用帧内图片，这降低了编码效率。

[0005] SHVC流中的每个编码图片与表示图片输出顺序的图片顺序计数(POC)值相关联。具有较高POC值的图片比具有较低POC值的图片更晚输出。在SHVC中，可能存在被认为属于相同存取单元(AU)的来自不同层的具有相同POC值的图片。这通常意味着它们表示相同原始图像的不同版本(例如一个完整分辨率和一个下采样)，并且如果输出该不同版本，则它们将被同时输出。当发信号通知同一AU中的多于一个图片时，这些图片必须属于不同层，即具有不同的层标识符nuh_layer_id。

[0006] 可缩放比特流中的最低层被称为基层，并且具有层标识符0。较高层被称为增强层并具有高于0的层标识符。在SHVC中，增强层中的帧内随机接入点(IRAP)图片是一类不参考增强层的任意图片的图片。然而，允许参考基层。IRAP图片还禁止按照解码顺序的在IRAP图片之后的图片参考按照解码顺序的在IRAP图片之前的图片。

[0007] 在典型SHVC流中，在每个时刻，在每个AU中的所有层中存在图片，但是在ARC的情况下，编码器通常将选择把single_layer_for_non_irap_flag设置为等于1。Single_layer_for_non_irap_flag等于1指示在每个AU中(即，每个时刻)至多存在两个图片，并且当在同一AU中存在两张图片时，最高层中的图片一定是IRAP图片。

[0008] 当该标志等于1时，一般在基层中或者在增强层中的每个AU中仅存在一个图片。唯一的例外是当增强层图片被发信号通知为IRAP图片时。在那个AU中，允许在基层和增强层二者中均具有图片。这意味着基层图片可以由增强层用于预测。这还意味着增强层图片不能参考增强层中的任何图片，因为它被编码为IRAP图片。从较低层至较高层的横越(traversing)被称为向上切换。相应地，向较低层的横越被称为向下切换。

[0009] 在使用SHVC用于自适应分辨率改变的典型情况下，如图1所示的预测结构对于层切换将是有利的。原因在于，然后在视频中的每个时刻仅提供单个图片就足够了。然而，IRAP图片被约束为仅包含根据相同POC的图片的帧内预测或层间预测。这意味着如图2所示，在两个层10，20上，在切换点2处一定存在图片12、22，以不将IRAP限制为只帧内编码。当SHVC被用于自适应分辨率改变时，解码器通常只在仅输出这些图片12，22之一。然而，直接编码器实施方式将不考虑这一点，并尽可能高效地对切换点2处的图片12，22二者进行编码，这将导致花费比特来对图片中将永远不显示的细节进行编码。该冗余编码增加了比特流的大小，并增加了编码和解码二者的复杂度。

发明内容

[0010] 一般目的在于提供对多层或多视图视频的有效编码。

[0011] 具体目的在于提供对包括定义了不同层或视图之间切换的切换点的这种多层或多视图视频的有效编码。

[0012] 通过本文定义的实施例来实现这些及其他目的。

[0013] 本实施例的一方面涉及：一种用于对包括多个层或视图的多层或多视图视频进行编码的方法。该方法包括：对在切换点处重合的该多层或多视图视频的第一层或视图中的图片和第二层或视图中的图片之中的一个图片进行编码，所述切换点定义在该多层或多视图视频中的该第一层或视图与该第二层或视图之间的切换。该方法还包括：将在该切换点处重合的该第一层或视图中的该图片和该第二层或视图中的该图片的另一图片编码为跳过图片。

[0014] 本实施例的相关方面限定了一种多层或多视图编码器，可操作用于：对在切换点处重合的该多层或多视图视频的第一层或视图中的图片和第二层或视图中的图片之中的一个图片进行编码，所述切换点定义在该多层或多视图视频中的该第一层或视图与该第二层或视图之间的切换。该多层或多视图编码器还可操作用于：将在该切换点处重合的该第一层或视图中的该图片和该第二层或视图中的该图片的另一图片编码为跳过图片。

[0015] 实施例的另一相关方面限定了一种多层或多视图编码器，包括：第一编码单元，可操作用于对包括多个层或视图的多层或多视图视频的第一层或视图中直至切换点的图片进行编码，所述切换点定义该多层或多视图视频中的该第一层或视图与第二层或视图之间的切换。多层或多视图编码器还包括：单元，可操作用于确定要被编码为跳过图片的在该切换点处重合的该第一层或视图中的图片和该第二层或视图中的图片之中的一个图片；第二编码单元，可操作用于将所确定的图片编码为跳过图片。所述多层或多视图编码器包括：输入/输出单元，可操作用于发送与该多层或多视图视频的编码版本相对应的比特流。

[0016] 实施例的其他相关方面限定了：一种多层或多视图编码器，包括：第一编码单元，用于对在切换点处重合的多层或多视图视频的第一层或视图中的图片和第二层或视图中的图片之中的一个图片进行编码，所述切换点定义该多层或多视图视频中的该第一层或视图和该第二层或视图之间的切换。所述多层或多视图编码器还包括：第二编码单元，用于将在该切换点处重合的该第一层或视图中的该图片和该第二层或视图中的该图片之中的另一图片编码为跳过图片。

[0017] 本实施例的另一方面涉及一种用于对多层视频进行编码的方法，其中该多层视频中的每一层具有相应的层标识符。该方法包括：将标志single_layer_for_non_irap_flag设置为等于1，以指示在每个接入单元(AU)中至多存在来自该多层视频中的两个不同层的两个图片，并且当在同一AU中存在两个图片时，该两个不同层中的最高层中的图片是帧内随机接入点(IRAP)图片。该方法还包括：在与该多层视频的编码版本相对应的编码比特流中发信号通知：IRAP图片的每一块被编码为跳过块。

[0018] 该实施例的相关方面定义了一种用于对多层视频进行编码的多层视频编码器，其中该多层视频中的每一层具有相应的层标识符。多层视频编码器可操作用于：将标志single_layer_for_non_irap_flag设置为等于1，以指示在每个接入单元AU中至多存在的两个图片，并且当在同一AU中存在两个图片时，最高层中的图片是IRAP图片。所述多层视频编码器还可操作用于：在与该多层视频的编码版本相对应的编码比特流中发信号通知：IRAP图片中的每一块被编码为跳过块。

[0019] 该实施例的另一相关方面限定了一种用于对多层视频进行编码的多层视频编码器，其中该多层视频中的每一层具有相应的层标识符。所述多层视频编码器包括标志设置单元，可操作用于：将标志single_layer_for_non_irap_flag设置为等于1，以指示在每个AU中至多存在两个图片，并且当在同一AU中存在两个图片时，最高层中的图片是IRAP图片。所述多层视频编码器还包括信号通知单元，可操作用于：在与该多层视频的编码版本相对应的编码比特流中发信号通知：IRAP图片中的每一块被编码为跳过块。

[0020] 该实施例的另一方面限定了一种用于对多层视频进行编码的多层视频编码器，其中该多层视频中的每一层具有相应的层标识符。所述多层视频编码器包括标志设置单元，用于：将标志single_layer_for_non_irap_flag设置为等于1，以指示在每个AU中至多存在的两个图片，并且当在同一AU中存在两个图片时，最高层中的图片是IRAP图片。所述多层视频编码器还包括信号通知单元，用于：在与该多层视频的编码版本相对应的编码比特流中发信号通知：IRAP图片中的每一块被编码为跳过块。

[0021] 该实施例的另一方面涉及发送单元，该发送单元包括根据上述的多层或多视图视频编码器。

[0022] 该实施例的另一方面限定了一种包括代码装置的计算机程序，该代码装置在由处理器执行时使该处理器：对在切换点处重合的该多层或多视图视频的第一层或视图中的图片和第二层或视图中的图片之中的一个图片进行编码，所述切换点定义在该多层或多视图视频中的该第一层或视图与该第二层或视图之间的切换。该代码装置还使该处理器：将在该切换点处重合的该第一层或视图中的该图片和该第二层或视图中的该图片之中的另一图片编码为跳过图片。

[0023] 该实施例的另一方面限定了一种包括代码装置的计算机程序，该代码装置在由处理器执行时使该处理器：将标志single_layer_for_non_irap_flag设置为等于1，以指示在每个接入单元AU中至多存在两个图片，并且当在同一AU中存在两个图片时，最高层中的图片是IRAP图片。该代码装置还使该处理器：与该多层视频的编码版本相对应的编码比特流中发信号通知：IRAP图片中的每一块被编码为跳过块。

[0024] 该实施例还包括一种计算机程序产品，包括计算机可读代码装置和根据上述的计算机程序，该计算机程序产品存储在计算机可读代码装置上。

[0025] 该实施例通过对多层或多视图视频中的不同层或视图之间的在切换点处重合的图片中的至少一个编码为跳过图片，提供了一种高效的多层或多视图视频编码。这显著降低了切换点处的编码复杂度，也降低了解码期间的复杂度。将切换点处的图片之一编码为跳过图片的另一优点在于：通常减少了发信号通知在切换点处重合的编码图片所需的比特数。

附图说明

[0026] 通过参考以下结合附图的描述，能够最佳地理解实施例及其更多的目的和优点，其中：

[0027] 图1示出了根据具有较低POC值的图片的禁止预测；

[0028] 图2示出了在层切换处的合法预测；

[0029] 图3示意性示出了根据实施例的不同层之间的切换点；

[0030] 图4是根据实施例的用于对多层或多视图视频进行编码的方法的流程图；

[0031] 图5是示出图4中所示的方法的附加可选步骤的流程图；

[0032] 图6是示出图4中所示的方法的附加可选步骤的流程图；

[0033] 图7是示出图4中所示的方法的附加可选步骤的流程图；

[0034] 图8是示出图4中所示的方法的附加可选步骤的流程图；

[0035] 图9是示出根据另一实施例的用于对多层或多视图视频进行编码的方法的流程图；

[0036] 图10是示出图4中所示的方法的附加可选步骤的流程图；

[0037] 图11是示出根据附加实施例的用于对多层或多视图视频进行编码的方法的流程图；

[0038] 图12是示出根据另一实施例的用于对多层或多视图视频进行编码的方法的流程图；

[0039] 图13示意性示出了跳过基层图片的向上切换；

[0040] 图14示意性示出了跳过增强层图片的向上切换；

[0041] 图15示意性示出了跳过增强层图片的向下切换；

[0042] 图16示意性示出了跳过基层图片的向下切换；

[0043] 图17示意性示出了不输出增强层中的第一图片的向上切换；

[0044] 图18是根据实施例的多层或多视图视频编码器的框图；

[0045] 图19是根据另一实施例的多层或多视图视频编码器的框图；

[0046] 图20是根据其他实施例的多层或多视图视频编码器的框图；

[0047] 图21是根据另一实施例的多层或多视图视频编码器的框图；

[0048] 图22示意性示出了从发送单元向接收单元发送编码比特流；以及

[0049] 图23示意性示出了根据实施例的用户终端和计算机程序。

具体实施方式

[0050] 附图中，相同的参考数字用于表示类似或对应的单元。

[0051] 本实施例一般涉及对多层或多视图视频编码。具体地，该实施例提供了对与在多层或多视图视频中的层或视图之间的切换点有关的或在所述切换点处重合(coinciding)的这种多层或多视图视频的有效编码。

[0052] 通常，例如使用HEVC的可缩放扩展(SHVC)所获得的所谓的多层视频1(在现有技术中也称为可缩放视频)包括提供包括如图3中所示的图片12、14、22、24的多个(即至少两个)层10，20的可缩放比特流。可缩放比特流中的最低层10被标记为基层，并且通常具有等于0的层标识符。在优选实施例中，不参考可缩放比特流的其他层中的任意图片22、24，对基层10中的图片12、14编码和解码。可缩放比特流中的其他一个或多个层20被标记为一个或多个增强层20。增强层20通常具有非0层标识符。可以参考增强层20内的图片22、24和/或较低层(例如较低增强层，即具有比当前增强层20低的层标识符)或基层10内的图片12来对增强层20内的图片22、24进行编码和解码。

[0053] 可缩放性可以例如表示分辨率中的可缩放性，即提供不同层10、20中的不同空间分辨率，或提供不同层10、20中的不同时间分辨率。备选地，或附加地，可缩放性能够表示质量的可缩放性。例如，可以相同的空间分辨率但不同质量来对不同层10、20进行编码。可缩放性的相关形式通常被标记为信噪比(SNR)可缩放性或保真度可缩放性。还可以具有关于分辨率可缩放性和质量可缩放性的组合可缩放性。

[0054] 例如使用HEVC的3D或多视图扩展所获得的多视图视频包括提供承载不同视图中呈现的图片的视频数据的视频流。这些不同的视图可以代表从稍微不同的摄像头或视角捕获场景的不同摄像头，或来自不同视角的合成视频。与可缩放比特流相类似，多视图视频1的视图之一可以被认为是基视图10，在基视图10中的图片12、14优选地不参考其他视图20中的任意图片22、24进行编码和解码。然而，可以通过参考非基视图20中呈现的图片22、24和/或另一视图(例如基视图10)中呈现的图片22、24来对非基视图20的图片22、24进行编码和解码。

[0055] 本文所公开的实施例可以应用于对多层视频编码以及对多视图视频编码。多层视频和多视图视频可以统一标记为多层/视图视频、或实际上简记为多层视频。在后一种情况下，多层视频被认为包含具有多个基层和增强层的可缩放视频和具有多个视图的多视图视频二者。然而，本文中多层或多视图视频的表达通常被用于表示被组织为不同可缩放层或视图的图片的这类视频。

[0056] 图4是根据实施例用于对多层或多视图视频1进行编码的方法的流程图。该方法优选地通过编码器以及优选地通过多层或多视图视频编码器(有时分别标记为可缩放视频编解码器或编码器或多视图编解码器或编码器)来执行。该方法包括：在步骤S1中，对在切换点2处重合的多层或多视图视频1的第一层或视图10中的图片12和第二层或视图20中的图片22之一进行编码，切换点2定义多层或多视图视频1中的在第一层或视图10与第二层或视图20之间的切换。该方法还包括：在步骤S2中，将在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22之中的另一图片编码为跳过图片。

[0057] 因此，如图4中所示的方法涉及对至少2个不同层或视图10、20中的图片12、22进行编码，并且其中这些图片12、22在切换点2处重合。如图3中所示，该切换点2定义了第一层或视图10与第二层或视图20之间的切换。如图3中所示，该切换可以从较低层或视图10切换到较高层或视图20。在这种情况下，该切换可以从基层或视图10切换到增强层或视图20。备选地，切换可以从增强层或视图切换到更高的(例如具有更高层或视图标识符)增强层或视图。然而，如图15和16中所示，还可以具有从较高层或视图向较低层或视图的切换，并且本文将进一步讨论。切换点2由此与多层或多视图视频1中的层或视图10、20的切换相对应。

[0058] 多层或多视图视频1在切换点2处包括第一层或视图10中的图片12和第二层或视图20中的图片22二者。在该切换点2前后，如图3中所示，多层或多视图视频1可以包括层或视图10、20中仅一层或一个视图的图片14、24。

[0059] 在一个实施例中，接入单元(AU)30、32可以用于组织多层或多视图视频1中的图片。在这种情况下，属于同一AU的全部图片12、22优选地具有表示输出顺序或图片的相同POC值。在具体实施例中，要求属于同一AU的全部图片12、22具有同一POC值。多层或多视图视频1优选地仅具有在切换点2处有多于一个图片12、22的AU 30。这意味着在切换点2之前或之后的AU 32通常仅包括来自一层或视图20的相应图片24。

[0060] 因此，在对两个层或视图10、20之一进行编码和对两个层或视图10、20中的另一层或视图进行编码之间的切换点2处重合的图片12、22之一被编码为跳过图片。因此，在步骤S2中，在切换点2处重合的图片12、22中的至少一个将被编码为跳过图片。在图4的步骤S1中被编码的图片也可以被编码为跳过图片，但是不必须是跳过图片。例如，它将被编码为帧内预测图片(I图片)或帧间预测图片(P或B图片)。

[0061] 如上所述，在切换点2处呈现比特流中来自层或视图10、20的的图片12、22。然而，在大多数情况下，这些图片12、22中仅有一个将在解码后使用。切换点2处图片中的该冗余度导致了应当被最小化的附加比特和复杂度。根据实施例，在切换点2处，比特流代表来自层或视图10、20二者的图片12、22，并且编码器被配置为将切换点2处的图片12、22之一编码为跳过图片，以避免上述冗余度。

[0062] 将图片编码为跳过图片(有时在现有技术中也称为被跳过的图片)显著降低了对图片编码和解码的复杂度。此外，表示编码后的跳过图片所需的比特数远小于表示编码后的非跳过图片(例如编码后的I、P或B图片)所需的比特数。

[0063] 这不同于传统技术，在传统技术中使用例如率失真优化、固定数量比特或固定质量等级将每张图片编码为尽可能接近原始图片。

[0064] 因此并且在一个实施例中，比特流中发信号通知为前一图片的副本的图片(不具有任何附加像素信息)可以被称为跳过或被跳过的图片。当前在HEVC中，在一个实施例中，通过在块等级上发信号通知采样(即像素值)应从已经解码的图片拷贝来实现跳过或被跳过的图片。存在例如使用具有0运动矢量和无残差的帧间模式或使用合并模式来发信号通知块应从另一图片中的相应位置拷贝采样值的不同方式。这里，导致当前图片和参考图片的相同像素值的信号通知的任何方法或类型被认为是“跳过图片”。在SHVC的情况下，被用于参考的图片可能具有不同的分辨率，在这种情况下术语“跳过图片”在一个实施例中指拷贝参考图片的重采样(典型地，放大比例的(up-scaled))版本，而不改变任何值(即无残差编码)。

[0065] 在一个实施例中，术语”跳过图片“还可以包括图片以及不导致所产生的图片是前一图片的精确拷贝的创建这些图片的手段。一个示例是当通过将来自两个先前图片的采样混合在一起创建跳过或被跳过的图片时。另一示例是当来自前一图片的运动矢量被应用于前一图片以创建当前图片时。

[0066] 在该实施例中，术语跳过图片和被跳过的图片被用于描述同一事物。在一个实施例中，跳过图片或被跳过的图片是针对其不存在发信号通知影响图片的解码(即采样的生成)的结果的低等级信息的图片。换言之，在一个实施例中不存在发信号通知影响解码过程的块等级信息(例如残差信息或运动矢量)。在一个实施例中，整个图片仅基于高等级信息进行解码，例如从哪张图片拷贝采样值，或应向哪张图片应用重缩放过程以从中产生采样的指示。

[0067] 这里，在一个实施例中，低等级信息指在块等级发信号通知的内容，例如采样自适应偏移(SAO)值以及预测模式信息。在一个实施例中，高等级信息指在片或图片等级上发信号通知的内容，例如去块化参数、加权预测的权重和片配置。

[0068] 一般地，HEVC、SHVC和多视图视频编码中的图片被定义为单色格式的发光(亮度)采样的阵列或例如4∶2∶0、4∶2∶2和4∶4∶4的彩色格式的发光(亮度)采样的阵列和色度采样的两个相应阵列。这里，如本文所使用的对采样或像素以及采样值或像素值的引用可以分别被称为亮度或色度采样和亮度或色度值。因此，亮度和色度采样也可以被称为像素值或像素数据。

[0069] 在一个实施例中，图4的步骤S2包括将在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22中的另一图片编码为跳过图片，所述跳过图片指示要从多层或多视图视频1中的根据编码和解码顺序的前一图片12拷贝采样值或要使用采样值的重采样版本。

[0070] 因此，在特定实施例中，将图片编码为跳过图片包括指示要从多层或多视图视频中的前一图片拷贝跳过图片的采样值。在图3中，图片12、14、22、24之间的箭头指示编码和解码顺序。因此，基于前一图片22对图片24进行编码和解码。相应地，基于前一图片14对图片12进行编码和解码。在该特定实施例中，跳过图片由此是前一图片的直接拷贝，并且这些图片均将具有相同的采样值。

[0071] 注意，根据编码和解码顺序的前一图片可以在同一层或视图中被呈现为要被编码为跳过图片的当前图片，或在另一层或视图中呈现。

[0072] 在另一特定实施例中，将图片编码为跳过图片包括指示在跳过图片中使用前一图片的采样值的重采样版本(例如放大或缩小版本)。因此，在该特定实施例中，如果两张图片具有不同的分辨率，则跳过图片是前一图片的重采样版本(例如放大或缩小版本)。优选地，完成采样值的重采样，而不改变该值(即，优选地不涉及任何残差编码)。如本领域公知的，残差编码涉及对当前图片中的采样值与参考图片的或从参考图片获得的采样值之间的差异进行编码。例如，如果跳过图片的分辨率是前一图片分辨率的两倍，则拷贝放大采样值可以包括将来自前一图片的像素位置(x，y)＝(i，j)处的采样值指派给跳过图片中的像素位置(x，y)＝(i，j)，(i+1，j)，(i，j+1)，(i+1，j+1)。

[0073] 因此，在一个实施例中，将图片编码为跳过图片指示将从多层或多视图视频中的根据编码和解码顺序的前一图片导出采样值或采样值的重采样版本。

[0074] 在另一实施例中，图4的步骤S2包括：使用HEVC或HEVC的扩展(例如HEVC的可缩放、3D或多视图扩展)的合并模式，将在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22中的另一图片编码为跳过图片。

[0075] HEVC的合并模式指示将从相邻预测单元或块继承运动矢量。因此，使用合并模式对预测单元进行编码具有以下优点：针对预测单元不需要执行运动矢量估计过程以获得预测单元的运动矢量。作为清楚的对比，从已经编码的预测单元继承运动矢量。

[0076] 在另一实施例中，图4的步骤S2包括：将在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22中的另一图片编码为缺少运动信息和残差信息的跳过图片。因此，针对跳过图片的预测单元不需要确定运动矢量或残差。在一个实施例中，运动矢量可以被推断为零运动矢量。备选地，从如上针对合并模式所述的根据编码和解码顺序的先前预测单元中推断运动矢量。

[0077] 图4中步骤S2的另一实施例包括：将切换点处重合的第一层或视图10中的图片12和第二层或视图20中的图片22中的另一图片编码为跳过图片，所述跳过图片指示不存在对影响跳过图片的解码过程的块等级信息的信号通知。这种块等级信息通常指残差信息和运动矢量(即运动信息)。

[0078] 图4中步骤S2的其他实施例包括：对切换点处重合的第一层或视图10中的图片12和第二层或视图20中的图片22中的另一图片编码为跳过图片，所述跳过图片指示应向根据编码和解码顺序的哪一或哪些先前图片应用重缩放过程以生成跳过图片的采样值。

[0079] 以上呈现的实施例基本指同一件事。因此，不需要任何运动估计过程或计算任何编码残差来对跳过图片进行编码，这显著简化了编码过程以及解码过程。此外，需要发信号通知编码图片的数据量通过将图片编码为跳过图片而显著降低。

[0080] 然而，图4的步骤S2中进行编码的图片被编码为跳过图片，图4的步骤S1中进行编码的图片可以用传统技术进行编码。例如，可以对该图像进行编码以得到编码图像，该编码图像在解码时得到与原始图片尽可能接近的解码图片。这意味着可以使用例如率失真优化、固定数量的比特或固定质量等级来对步骤S1中编码的图片进行编码。

[0081] 存在用于尽可能高效地对图片进行编码的若干技术，但是它们典型基于试图用尽可能少的比特来使得重构的(编码的)图片看起来与原始(未压缩的)图片尽可能类似。一般，存在对于复杂度、最大比特率和/或最小质量等级的辅助约束。该技术包括不限于，使用固定或恒定数量的比特、使用固定或恒定质量等级或使用率失真优化。率失真优化意味着编码器试图使比特率和失真的加权和最小化，即重构图片不同于原始图片的程度。

[0082] 因此，步骤S1的实施例包括使用率失真优化、固定数量比特和固定质量等级中的至少一个来对在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22之一进行编码。

[0083] 通常，表达“率失真优化”统指由编码器执行的考虑了质量(即失真)和编码数据的大小(即速率)二者的压缩方法。在视频压缩中，通常估计得到的采样值的质量(失真)，但是还存在用于测量变换后的采样的质量(失真)(例如变换系数)的方法。

[0084] 失真度量可以是但不限于完全参考模型，其中使用例如绝对差的和(SAD)、平方差的和(SSD)或结构相似度(SSIM)来将编码和重构后的采样值与原始采样值进行比较。备选地，失真度量可以是无参考模型，其中使用试探法或复杂度度量来对编码采样值进行估计。另一备选可以是完全参考和无参考模型二者的组合。

[0085] 可以例如关于比特数或其近似、或二进制算术编码器(bin)的个数或其近似来对该速率进行测量。

[0086] 率失真优化的特殊情况是所谓的拉格朗日优化，其中编码器尝试使失真(D)与λ或拉格朗日乘数(λ)乘以速率(R)的加和(即arg_min(D+λR))最小化。拉格朗日乘数被选为对失真和速率之间的折中进行平衡。通常例如针对模式选择，例如帧内模式与帧间模式，针对运动矢量选择和/或针对变换系数选择，在块等级上执行拉格朗日优化。

[0087] 因此，这里使用率失真优化指示通过考虑期望的、近似的或事实上的实际失真以及期望的、近似的或事实上的实际速率二者的编码，或将编码期间其判决中的至少一个基于期望的、近似的或事实上的实际失真以及期望的、近似的或事实上的实际速率二者的编码。

[0088] 使用固定数量比特进行编码通常包括对图片进行编码以实现最高可能质量(例如最低可能失真)，但是针对对该图片编码使用固定数量比特或不多于该固定数量比特。相应地，使用固定质量等级进行编码通常包括对图片进行编码以实现最低可能速率(例如最低比特数)，但是使用固定质量等级(例如固定失真等级)或比该固定质量等级高的质量(例如比固定失真等级低的失真等级)。

[0089] 当在步骤S1中对图片进行编码时，还可以使用率失真优化、固定比特数和固定质量等级中的至少两个。例如，如步骤S1中执行的编码可以包括使用固定(最大)数量比特和固定(最小)质量等级二者来对图片编码。

[0090] 在特定实施例中，步骤S1包括使用符合ITU-T H.265，2013年4月，SERIES H：AUDIVISUAL AND MULTIMEDIA SYSTEMS，Infrastructure of audiovisual services-Coding of moving video，High efficiency video coding的编码器、和/或符合该HEVC标准的扩展(具体地，HEVC的可缩放扩展、HEVC的3D扩展和/或HEVC的多视图扩展)的编码器，来对在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22进行编码。

[0091] 图5是示出图4中所示的方法的附加可选步骤的流程图。步骤S10可以包括对第一层或视图10中直至切换点2的图片14进行编码。如对第一层或视图10中的根据编码和解码顺序的在切换点2处重合的图片12之前的图片14执行的编码通常根据如上针对步骤S1所讨论的那样执行，即优选地使用率失真优化、固定数量比特和固定质量等级中的至少一个。

[0092] 如果如图3中所示第一层或视图10是基层或视图10，则步骤S10中的编码优选地包括：使用利用从基层或视图10内根据编码和解码顺序的先前图片中选择的参考图片的帧内或帧间模式来对图片14进行编码。如果作为替代，第一层或视图是增强层或视图20，则通常可以在增强层或视图20中或在较低层或视图(例如基层或视图10)中呈现的图片中选择任意参考图片。然而，如果single_layer_for_non_irap_flag被设置为等于1，则增强层或视图20中的图片可以参考来自一个或更多个较低层或视图中的一个或更多个图片，或参考来自当前增强层或视图20中的图片，但是通常不会参考它们二者。

[0093] 图5中所示的步骤S11包括识别多层或多视图视频1中的切换点2。因此，步骤S11优选地包括识别针对从对第一层或视图10中的图片12、14进行编码切换至对第二层或视图20中的图片22、24进行编码的需要。

[0094] 可以根据各实施例来执行步骤S1中的识别。例如，见图22，执行切换的选择可以至少部分基于用于从发送单元500(其中正在发生编码)向接收单元510(其中会发生解码)发送编码比特流40的无线或有线通信网络的当前网络条件信息来执行。例如，可以改善网络条件使得可以提高用于发送编码比特流40的可用带宽或比特率。在这种情况下，可以例如通过切换至(更高)增强层或视图来提高多层或多视图视频的分辨率或质量。相应地，如果网络条件恶化导致了可用带宽和/或比特率的降低，则可能存在例如通过切换至基层或视图来降低多层或多视图视频的分辨率或质量的需要。

[0095] 备选地，层或视图之间的切换可以基于针对例如分辨率或质量的改变的用户发起的请求。用户可以是包括编码器的设备的用户，或事实上其中正在发生对视频的解码和/或回放的设备的用户。

[0096] 此外，编码器可以基于当前容量等级(例如由中央处理单元(CPU)负载所表示的)来决定在层或视图之间切换。如果编码器确定或验证存在可用计算资源，则它可以选择提高分辨率并切换至对增强层或视图或更高层级的增强层或视图进行编码。

[0097] 在另一实施例中，编码器可以基于它从网络得到的例如关于拥塞或丢包率的反馈来决定在层或视图之间切换。如果丢包率高于阈值，则编码器可以选择减小分辨率并降低比特率，例如通过向下切换至对较低层或视图进行编码。

[0098] 如上所述并如图4的步骤S1、S2所示，切换点2处的编码正在发生，即，将在切换点2处重合的图片12、22之一编码为跳过图片。

[0099] 图5中的以下步骤S12包括对第二层或视图20中自切换点2或切换点2之后的图片24进行编码。如对第二层或视图中的根据编码和解码顺序的在切换点2处重合的图片22之后的图片24执行的编码通常如上针对步骤S1所讨论的那样执行，即优选地使用率失真优化、固定数量比特和固定质量等级中的至少一个。

[0100] 多层或多视图视频1可以包括一个或更多个切换点2。在这种情况下，优选地在每个这种切换点2处执行图4中所示的操作，而优选地，如上结合图5的步骤S10和S12所讨论的，即优选地使用率失真优化、固定数量比特和固定质量等级中的至少一个，对层或视图10、20中在切换点2之前、之间或之后的图片14、24进行编码。

[0101] 如上所述，多层或多视图视频1包括切换点2处的第一层或视图10和第二层或视图20二者中的图片12和图片22。然而，在回放期间，通常将仅向用户显示并呈现这些图片12、
22中的一个。在一个实施例中，编码比特流(即多层或多视图视频1的编码表示)可以发信号通知应当由解码器输出切换点处这些图片12、22中的哪一个以供显示。

[0102] 图6是示出图4中用于发信号通知应当由解码器输出在切换点2处重合的哪个图片的方法的附加可选步骤的流程图。该方法从图4中的步骤S2继续。下一步骤S20包括：将在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22中的另一图片的输出标志设置为0，以指示在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22的另一图片将不被解码器输出。

[0103] 因此在该实施例中，在图4的步骤S2中被编码为跳过图片的图片的输出标志被设置为预定值，优选为零(0bin)，以由此指示在解码器解码之后不应输出跳过图片。在一个实施例中，通过解码器输出与输出显示相对应。

[0104] 在可选实施例中，该方法还可以包括：将在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22之一的输出标志设置为1，以指示在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22之一要由解码器输出。

[0105] 在该实施例中，在图4的步骤S1中被编码的图片的输出标志被设置为预定值，优选为1(1bin)，以由此指示该图片应在解码器解码之后输出，优选地，输出以供显示。

[0106] 在另一实施例中，备选地或附加地，可以由除解码器以外的其他实体(例如转码器或网络节点)使用输出标志。然后转码器或网络节点可以使用图片的输出标志值，以确定是否应当输出该图片。输出可以例如涉及输出用于发送、输出用于在存储器中存储等。

[0107] HEVC定义网络抽象层(NAL)。在NAL单元中封装HEVC的全部数据(即视频和非视频二者)。NAL单元以报头(2字节)开始，其中包含NAL单元类型，NAL单元类型标识NAL单元中承载什么类型的数据。在NAL单元报头中的nal_unit_type码字中发送NAL单元类型，并且该类型指示并定义应当如何解析并解码NAL单元。比特流由一系列串联的NAL单元组成。

[0108] 在SHVC中，简化增强层中整个跳过或被跳过图片的信号通知的建议已经被提出为指示跳过整个图片的一种新类型的NAL单元。

[0109] 图7是示出实现这种实施例的图4中的方法的附加可选步骤的流程图。该方法从图4中的步骤S2继续。下一步骤S30包括：在包括NAL单元报头的NAL单元中封装在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22中的另一图片的编码数据。
下一步骤S31包括将NAL单元报头中的NAL单元类型码字设置为定义值，该定义值指示NAL单元包括跳过图片的编码数据。

[0110] 因此，步骤S30由此在NAL单元中封装如在步骤S2中编码的跳过图片的编码数据。取决于要编码为跳过图片的特定原始图片，例如图片中的片数，可以在步骤S30中在一个或更多个NAL单元中封装编码数据。在步骤S31中被设置为定义值以发信号通知NAL单元包括跳过图片的编码数据的NAL单元类型码字优选是先前提到的nal_unit_type码字。

[0111] 通常，HEVC图片被划分为一个或更多个片。每个片具有包含解码该片的必要信息的片头。在SHVC中，已经提出了使用片头中的标志42(标志42在图22中示例性示出的图片的所有片中必须具有相同值)简化增强层中的整个跳过或被跳过图片的信号通知的建议。

[0112] 图8是示出实现这种实施例的图4中的方法的附加可选步骤的流程图。在该实施例中，在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22中的另一图片包括至少一个片。该方法从图4中的步骤S2继续。下一步骤S40包括将至少一个片的相应片头中的标志设置为定义值，该定义值指示在跳过图片中呈现至少一个片。

[0113] 在图4的步骤S2中被编码为跳过图片的图片中的每个片的片头中的相应标志由此被设置为定义值，例如1，以指示在被编码为跳过图片的图片中呈现该片。

[0114] 在一个实施例中，如图3所示，多层或多视图视频1是多层视频1，多层视频1包括基层10和增强层20。针对这种多层视频1，图9中示出了图4的特定实施方式示例。该方法包括：在步骤S50中，对多层视频1中在切换点2处重合的基层10中的图片12进行编码。图9的步骤S51包括：将多层视频1中在切换点2处重合的增强层20中的图片22编码为跳过图片。

[0115] 因此，在该实施方式示例中，在切换点2处，增强层20中呈现的图片22被编码为跳过图片，而优选地使用率失真优化、固定数量比特和固定质量等级中的至少一个来对基层10中的相应图片12进行编码。

[0116] 在SHVC中，可能存在被认为属于相同AU的来自不同层的具有相同POC值的图片，该POC值表示图片的输出顺序。在典型SHVC流中，每个AU中在所有层中存在图片，但是在ARC的情况下，编码器通常将选择把single_layer_for_non_irap_flag设置为等于1。single_layer_for_non_irap_flag等于1指示在每个AU中存在至多两个图片，并且当在同一AU中存在两张图片时，最高层中的图片一定是IRAP图片。当发信号通知同一AU中的多于一个图片时，这些图片必须属于不同层，即具有不同的由码字表示的层标识符nuh_layer_id。

[0117] 那么，在基层中或者在增强层中，在每个AU中仅存在一个图片。唯一的例外是当增强层图片被发信号通知为IRAP图片时。在那个AU中，允许在基层和增强层二者中均具有图片。这意味着基层图片可以由增强层用于预测。这还意味着增强层图片不能参考增强层中的任何图片，因为它被编码为IRAP图片。

[0118] 在一个实施例中，多层或多视图视频1是其中每个层10、20具有(例如由码字nuh_layer_id表示的)相应层标识符的多层视频1。图10然后示出这种实施例的图4所示方法的附加可选步骤的流程图。图10的步骤S60包括将标志single_layer_for_non_irap_flag设置为等于1(1bin)以指示在每个AU 30、32中存在至多两张图片12、22，并且当在同一AU 30中存在两张图片12、22时，最高层20中的图片22是IRAP图片22。该方法还包括：在步骤S61中，在与多层视频1的编码版本相对应的编码比特流中发信号通知：IRAP图片22的每一块被编码为跳过块。

[0119] 最高层20通常是具有基层10和增强层20的多层视频1的增强层20。然而，如果多层视频1中层间的切换是在两个增强层之间，则上述最高层优选是具有最高层标识符(即，最高nuh_layer_id值)的增强层。

[0120] 根据各实施例可以在步骤S61中执行在编码比特流中发信号通知将IRAP图片中的每个块编码为跳过块。例如，语法元素(例如码字或标志)可以包括在编码比特流中或与编码比特流相关联。作为示例，编码比特流通常包括承载控制数据的各参数集，或与承载控制数据的各参数集相关联，该控制数据可以在对多层视频中的图片编码表示进行解码时由解码器使用。不同的这种参数集可以包括图片参数集(PPS)、序列参数集(SPS)和视频参数集(VPS)。一般地，PPS承载适用于关于包括该图片的全部片的PPS的图片。SPS包括适用于多层视频中的图片序列的控制数据，而VPS包含适用于完整视频序列的控制数据。

[0121] 在这种情况下，片头承载PPS标识符，PPS标识符标识适用于图片的当前片的特定PPS。PPS可以进而包括标识特定SPS的SPS标识符，该特定SPS适用于包含指引具有该SPS标识符的PPS的PPS标识符的片头的图片。SPS可以进而包括标识特定VPS的VPS标识符。

[0122] 用于在步骤S61中的信号通知的语法元素(例如码字或标志)可以因此在参数集中(例如在VPS、SPS或PPS中)呈现。

[0123] 备选地，用于在步骤S61中发信号通知的语法元素(例如码字或标志)可以在参数集扩展中(例如VPS扩展、SPS扩展或PPS扩展中)呈现。在这种情况下，相关参数集优选地包括扩展标志(例如vps_extension_flag、sps_extension_flag或pps_extension_flag)，以指示参数集包括参数集扩展。

[0124] 此外，针对在步骤S61中的信号通知还可以使用编码比特流中呈现的或与编码比特流相关联的其他数据结构。这种其他数据结构的非限制性示例包括视频可用性信息(VUI)和补充增强信息(SEI)。前者的示例是VPS VUI，而SEI可以具有各种类型SEI消息的形式。可以例如由包括VPS扩展或VPS中呈现的vps_vui_presence_flag指示存在VPS VUI。

[0125] 在备选实施例中，可以在要编码为跳过图片的IRAP图片中的片的片头中呈现用于步骤S61中的信号通知的语法元素(例如码字或标志)。

[0126] 步骤S61中的例如由码字或标志表示的信号通知优选地在同一语法或数据结构中呈现为single_layer_for_non_irap_flag。

[0127] IRAP图片的块是采样或像素的块。这种块通常被表示为HEVC内的编码单元(CU)。

[0128] 在一个实施例中，在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22具有相同POC值并属于同一AU。

[0129] 在另一实施例中，在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22表示相同原始图像的具有不同分辨率和/或质量等级的不同版本。在该实施例的特定实施方式示例中，多层或多视图视频1由此是具有有着不同分辨率和/或质量等级的层的多层视频1。因此，在该实施方式示例中，第一层10和第二层20包括相同视频内容的具有不同分辨率和/或质量等级的不同版本。

[0130] 图11是示出限定用于对多层视频1进行编码的方法的实施例的另一方面的流程图。多层视频1的每层10、20具有相应的层标识符。该方法包括：在步骤S70中，将标志(例如，single_layer_for_non_irap_flag)设置为等于1，以指示在每个AU 30、32中存在至多两张图片12、22，并且当在同一AU 30中存在两张图片12、22时，最高层20中的图片22是IRAP图片22。该方法还包括：在步骤S71中，在与多层视频1的编码版本相对应的编码比特流中发信号通知：IRAP图片22的每一块被编码为跳过块。

[0131] 由此图11的步骤S70和S71与图10中所示的步骤S60和S61基本相对应，但不必须结合图4的步骤S1和S2来实现。因此，上述关于步骤S60和S61的各实施例和实施方式示例的讨论应用于图11中所示的并包括步骤S70和S71的方法。

[0132] 在特定实施方式示例中，编码比特流包括以下定义的VPS：

[0133]

[0134] vps_extension_flag等于0指示在VPS RBSP语法结构中不呈现vps_extension()语法结构。Vps_extension_flag等于1指示在VPS RBSP语法结构中呈现vps_extension()语法结构。

[0135] vps_extension_alignment_bit_equal_to_one应等于1。

[0136]

[0137] vps_vui_present_flag等于1指示在VPS中呈现vps_vui()语法结构。Vps_vui_present_flag等于0指示在VPS中不呈现vps_vui()语法结构。

[0138]

[0139]

[0140] single_layer_for_non_irap_flag等于1指示接入单元的全部VCL NAL单元具有相同nuh_layer_id值，或者由接入单元的VCL NAL单元使用两个nuh_layer_id值，并且具有较高nuh_layer_id值的图片是IRAP图片。

[0141] higher_layer_irap_skip_flag等于1指示针对指向VPS的每个IRAP图片，针对该VPS在相同接入单元中存在具有nuh_layer_id的较低值的另一图片，应用以下限制：

[0142] -针对IRAP图片的全部编码单元：

[0143] -cu_skip_flag[i][j]应等于1。

[0144] 编码器可以将single_layer_for_non_irap_flag和higher_layer_irap_skip_flag二者设置为等于1，作为对于解码器的每当相同接入单元中存在两张图片时的指示，具有较高huh_layer_id的图片是针对其可以通过使用另一图片作为输入针对帧间层参考图片应用重采样过程来导出解码采样的IRAP图片。

[0145] 在一个实施例中，cu_skip_flag[i][j]等于1指示跳过当前编码单元。例如，这可以指示当对P或B片解码时，在cu_skip_flag[i][j]之后除合并的候选索引merge_idx[i][j]之外不再解析更多语法元素。阵列索引i，j优选地指示当前编码单元中相对于图片的左上像素或采样的左上像素或采样的的位置。

[0146] 根据实施例，提供了用于对比特流进行编码的编码器，该比特流包含具有例如与不同层相关联的不同分辨率和/或质量的相同视频的不同版本。图12中示出了相应方法。在步骤S80中，编码器对第一层中直至它决定或被告知切换至第二层的点的图片进行编码。在层切换处，比特流表示来自两层的图片，并且编码器被配置为在步骤S81中将层切换处的图片之一编码为跳过图片以避免先前提到的冗余。因此，切换点处的图片之一可以用传统技术编码，在传统技术中，使用例如率失真优化、固定数量比特或固定质量等级将每张图片编码为尽可能接近原始图片，并且切换点处的另一图片是被跳过的图片。

[0147] 换言之，编码器通过对同一接入单元中的两个不同层中的图片进行编码来对层切换进行编码，其中两个不同层中的图片之一被编码为被跳过的图片，所述被跳过的图片暗指不添加模式信息、运动信息或残差信息。

[0148] 实施例的至少一些的优点在于将图片编码为被跳过的复杂度低，该实施例在对切换点进行编码时使额外复杂度最小。比特成本也会最小，原因在于在对将不被输出的图片进行编码时花费了尽可能少的额外比特。

[0149] 尽管在SHVC和HEVC的上下文中描述了实施例，但实施例不限于SHVC或HEVC，还可以应用于其他编解码器。

[0150] 以下示例实施例应用于基层和增强层之间的切换点。然而，该实施例不限于那种情况，而是可以处于任意层之间(例如从一个增强层到另一增强层)的切换点处。

[0151] 该实施例不限于仅存在两个层或仅从一层向另一层执行切换时的情况，而是可以应用于在相同接入单元中的若干层上执行切换的情况。

[0152] 实施例不限于层之间分辨率不同的情况，还可以应用于层之间任意类型的差异，例如在不同层中使用不同工具。

[0153] 此外，实施例不限于可缩放编解码器，还适用于例如多视图编解码器的其他分层编解码器，在这种情况下切换点与视图的切换相对应。

[0154] 这里以下将描述各示例实施例。

[0155] 示例性实施例1

[0156] 在一个实施例中，编码器将切换点2处的基层图片12编码为跳过。参见图13，切换点2处的增强层图片22预测来自基层10中的跳过图片12的像素数据。

[0157] 编码器可以被配置为执行以下步骤：

[0158] 1.编码器对基层图片编码，直至它决定或被告知切换至更高层20的点(即创建切换点2)为止。

[0159] 2.在切换点2处，编码器将基层图片12编码为跳过图片。

[0160] 3.然后，使用根据切换点2处的基层图片12的预测，对切换点2的增强层图片22进行编码。

[0161] 在本实施例的一个版本中，将基层10中的跳过图片的输出标志设置为0，以使解码器知晓不应当输出该图片12。

[0162] 编码器可以被配置为执行以下步骤：

[0163] 1.编码器对基层图片编码，直至它决定或被告知切换至更高层20的点(即创建切换点2)为止。

[0164] 2.在切换点2处，编码器将基层图片12编码为跳过图片，并将该图片的输出标志设置为0。

[0165] 3.使用根据切换点2处的基层图片12的预测，对切换点2的增强层图片22进行编码，并且该图片的输出标志被设置为1。

[0166] 示例性实施例2

[0167] 在一个实施例中，编码器将切换点2处的增强层图片22编码为跳过图片。见图14，切换点2处的基层图片12的像素数据被缩放为增强层的尺寸，并被用于增强层图片22中的预测。

[0168] 编码器可以被配置为执行以下步骤：

[0169] 1.编码器对基层图片编码，直至它决定或被告知切换至更高层20的点(即创建切换点2)为止。

[0170] 2.在切换点2处，编码器对基层图片12进行编码。

[0171] 3.然后，使用基层图片12作为参考，将切换点2的增强层图片22编码为跳过图片。

[0172] 示例性实施例3

[0173] 针对下切换点还可以用相反顺序使用示例实施例1和2。参见图15和16，编码器可以将切换点2处的增强层图片22或基层图片12编码为跳过图片。

[0174] 编码器可以被配置为执行以下步骤：

[0175] 1.编码器对增强层图片编码，直至它决定会被告知切换至更低层10的点(即创建切换点2)为止。

[0176] 2.在切换点2处，编码器将增强层图片22编码为正常或跳过。

[0177] 3.然后，使用增强层图片22作为参考，将切换点2的基层图片12编码为正常或跳过(与增强层图片22相反)。

[0178] 示例性实施例4

[0179] 在一个实施例中，示例实施例1、2或3被实现为例如，编码器在比特流中发信号通知每个块作为跳过块。

[0180] 编码器可以被配置为执行以下步骤：

[0181] 1.编码器创建具有跳过图片的切换点。

[0182] 2.编码器将图片中的每个块反复地编码为跳过块，即用帧间预测、用零运动矢量和无残差对其进行编码。

[0183] 示例性实施例5

[0184] 在一个实施例中，示例实施例1、2或3被实现为例如，编码器通过语法元素在图片的每个片头中发信号通知该图片被跳过。

[0185] 编码器可以被配置为执行以下步骤：

[0186] 1.编码器创建具有跳过图片的切换点。

[0187] 2.编码器将图片编码为包括语法元素的一个或更多个片头，该语法元素指示该图片被跳过。

[0188] 示例性实施例6

[0189] 在一个实施例中，示例实施例1、2或3被实现为例如，编码器发信号通知解码为跳过图片的特定类型的NAL单元。

[0190] 编码器可以被配置为执行以下步骤：

[0191] 1.编码器创建具有跳过图片的切换点。

[0192] 2.编码器使用指示该图片被跳过的NAL单元类型来对图片进行编码。

[0193] 示例性实施例7

[0194] 在一个实施例中，示例实施例1或2用以下附加内容来实现：在切换点处将目标层的输出延迟一个图片。参见图17，目标层中的切换点图片是具有设置为0的图片输出标志的编码或跳过图片。

[0195] 编码器可以被配置为执行以下步骤：

[0196] 1.编码器对基层图片编码，直至它决定会被告知切换至更高层的点(即创建切换点)为止。

[0197] 2.在切换点处，编码器对基层图片进行编码。图片可以被跳过或不被跳过。

[0198] 3.然后，使用基层图片作为参考，对切换点的增强层图片进行编码。如果基层图片没有被跳过，则将该增强层图片编码为被跳过的，并且反之亦然。将增强层图片编码为不被输出，即输出标志被设置为0。

[0199] 根据实施例的另一方面，提供了对比特流进行编码的编码器，该比特流包含相同视频的具有例如与不同层相关联的不同分辨率和/或质量的不同版本。编码器包括第一编码单元，第一编码单元用于对第一层中直至它决定或被告知切换至第二层的点的图片进行编码，用于确定要将哪张图片编码为跳过图片的单元。在层切换处，比特流表示来自两层的图片，并且编码器包括被配置为将层切换处的图片之一编码为跳过图片以避免以上提到的冗余的单元。见图20，编码器包括输入/输出单元，用于发送编码比特流和其他信息(例如指示跳过图片的信号通知)。

[0200] 编码器可以由根据图19的包括处理器和存储器的计算机来实现。所述存储器包含可以由所述处理器执行的指令，由此所述编码器可操作用于执行根据图12的方法。

[0201] 编码器可以在发送单元(例如摄像机或移动设备)中实现。

[0202] 因此，实施例的一方面涉及一种多层或多视图视频编码器，可操作用于对在切换点2处重合的多层或多视图视频1的第一层或视图10中的图片12和第二层或视图20中的图片22之一进行编码，所述切换点2定义多层或多视图视频1中的第一层或视图10与第二层或视图20之间的切换，该多层或多视图视频1包括多个层或视图10、20。多层或多视图视频还可操作用于：将切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22中的另一图片编码为跳过图片。

[0203] 图18示出了包含处理器110和存储器120的多层或多视图视频编码器100的特定实施方式实施例。处理器110和存储器120优选地彼此互连，以实现正常处理功能。多层或多视图视频100的处理器110可操作用于、被配置为或适于：对切换点2处的第一层或视图10中的图片12和第二层或视图20中的图片22之一进行编码。处理器110还可操作用于：将切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22中的另一图片编码为跳过图片。

[0204] 处理器110优选地还可操作用于：使用如本文先前讨论的率失真优化、固定数量比特和固定质量等级中的至少一个，对切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22之一进行编码。

[0205] 在一个实施例中，处理器110优选地还可操作用于：识别多层或多视图视频1中的切换点2。处理器110可以例如基于改变视频分辨率或质量的请求(例如向上切换或向下切换的请求)来识别切换点2。可以从接收编码多层或多视图视频的用户终端或从监测通信网络的网络条件的网络实体接收这种请求，该通信网络用于将编码后的多层或多视图视频从编码实体传送给解码实体。备选地，处理器110例如基于当前处理容量等级的信息和/或网络性能的反馈(例如关于拥塞或丢包率)来识别针对切换点的需要。

[0206] 处理器110优选地可操作用于：对第一层或视图10中直至切换点2的图片14进行编码。在这种情况下，处理器110优选地使用率失真优化、固定数量比特和固定质量等级中的至少一个，在切换点2处对图片12之前的这些图片14进行编码。处理器110还优选地或附加地可操作用于：对第二层或视图20中在切换点2之后的图片24进行编码。在这种情况下，处理器110优选地使用率失真优化、固定数量比特和固定质量等级中的至少一个，对切换点2处的图片22之后的这些图片24进行编码。

[0207] 在一个实施例中，处理器110优选地可操作用于：将在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22中的另一图片的输出标志设置为0，以指示在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22中的另一图片将不被解码器输出。因此，在该实施例中，处理器110优选地可操作用于将切换点2处被编码为跳过图片的图片的输出标志设置为值例如0，其向解码器通知在解码之后不应输出(例如输出以供显示)该图片。

[0208] 处理器110优选地可操作用于：将在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22中的另一图片编码为跳过图片，所述跳过图片指示将从多层或多视图视频1的根据编码和解码顺序的前一图片12拷贝采样值或将使用采样值的重采样版本。

[0209] 例如，如果图3中在切换点2处重合的第二层或视图20中的图片22被处理器110编码为跳过图片，则从在切换点2处重合的第一层或视图10中的图片12拷贝采样值(优选地，采样值的重采样版本)。换言之，跳过图片22的采样值将是图片12的采样值的重采样(通常放大的)版本。如果两张图片12、22具有不同分辨率，则重采样是必要的。然而，重采样过程优选地不改变采样值，即优选地，不向重采样值添加任何残差。

[0210] 在一个实施例中，处理器110优选地可操作用于：使用HEVC的合并模式，将在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22中的另一图片编码为跳过图片。

[0211] 在特定实施方式实施例中，处理器110优选地可操作用于：对在切换点2处重合的多层视频1的基层10中的图片12进行编码。处理器110还可操作用于：将切换点2处重合的多层视频1的增强层20中的图片22编码为跳过图片。在优选实施例中，处理器110可操作用于使用率失真优化、固定数量比特和固定质量等级中的至少一个来对基层10中的图片12进行编码。

[0212] 在一个实施例中，多层视频1的每层10、20具有相应的层标识符(例如，nuh_layer_id)。然后，处理器110优选地可操作用于：将标志(例如，single_layer_for_non_irap_flag)设置为等于1，以指示在每个AU 30、32中存在至多两张图片12、22，并且当在同一AU 30中存在两张图片12、22时，最高层20中的图片22是IRAP图片22。处理器110优选地还可操作用于：在与多层视频1的编码版本相对应的编码比特流中发信号通知：IRAP图片22的每一块被编码为跳过块。

[0213] 例如，处理器110优选地可操作用于：将single_layer_for_non_irap_flag和higher_layer_irap_skip_flag二者设置为1，以对解码器指示：每当相同AU 30中存在两张图片12、22时，具有较高层标识符(nuh_layer_id)的图片22是针对其通过使用具有较低层标识符的图片12作为输入针对帧间层应用重采样过程来导出解码采样值的IRAP图片。因此，如果这两个标志均被设置为1，则从图片12向IRAP图片22拷贝采样值的重采样版本。

[0214] 除处理器210和存储器220之外，多层或多视图视频编码器200可以附加地包括图19中所示的输入和输出单元230。该输入和输出单元230然后优选地可操作用于接收要由多层或多视图视频编码器200进行编码的多层或多视图视频1的图片12、14、22、24。输入和输出单元230优选地还可操作用于：例如用本文先前提到的NAL单元的编码流的形式来输出编码图片。

[0215] 图20是多层或多视图编码器300的另一实施例的示意性框图。多层或多视图编码器300包括：第一编码单元310，其可操作用于对包括多个层或视图10、20的多层或多视图视频1的第一层或视图10中直至切换点2为止的图片14进行编码，所述切换点2定义多层或多视图视频1的在第一层或视图10与第二层或视图20之间的切换。多层或多视图编码器300还包括单元320，可操作用于确定要被编码为跳过图片的在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22之一。第二编码单元330可操作用于将所确定的图片22编码为跳过图片。多层或多视图编码器300还包括：输入/输出单元340，可操作用于发送与多层或多视图视频1的编码版本相对应的编码比特流40。

[0216] 图21中示出了多层或多视图编码器400的其他实施例。多层或多视图编码器400包括：第一编码单元410，用于对在切换点2处重合的多层或多视图视频1的第一层或视图10中的图片12和第二层或视图20中的图片22之一进行编码，所述切换点2定义包括多个层或视图10、20的多层或多视图视频1中的第一层或视图10与第二层或视图20之间的切换。多层或多视图编码器400还包括第二编码单元410，用于将在切换点2处重合的第一层或视图10中的图片12和第二层或视图20中的图片22中的另一图片编码为跳过图片。

[0217] 该实施例的另一方面涉及用于对多层视频1进行编码的多层视频编码器，其中多层视频1的每一层10、20具有相应的层标识符。多层视频编码器可操作用于：将标志(single_layer_for_non_irap_flag)设置为等于1，以指示在每个AU 30、32中至多存在来自多层视频1中的两个不同层10、20的两张图片12、22，并且当在同一AU 30中存在两张图片12、22时，两个不同层10，20中的最高层20中的图片22是IRAP图片22。多层视频编码器优选地还可操作用于：在与多层视频1的编码版本相对应的编码比特流40中发信号通知：IRAP图片22的每一块被编码为跳过块。

[0218] 在一个实施例中，多层视频编码器优选地可操作用于通过将标志higher_layer_irap_skip_flag设置为定义值(优选地1)来执行比特流40中的信号通知，以指示IRAP图片22的每个块被编码为跳过块。多层视频编码器优选地可操作用于在编码比特流40的VPS中(例如编码比特流40的VPS VUI中)插入这两个标志single_layer_for_non_irap_flag和higher_layer_irap_skip_flag。

[0219] 在特定实施例中，多层视频编码器可操作用于在编码比特流40中发信号通知IRAP图片22的每个块被编码为跳过块，指示通过对来自同一AU 30中的两张图片12、22的两个不同层10，20的最低层20中的图片12的采样值进行重采样来导出该块的解码采样值。

[0220] 如图18和19中所示，根据该方面的多层视频编码器可以被实现为处理器110、210和存储器120、220。在这种情况下，处理器110、210可操作用于将标志single_layer_for_non_irap_flag设置为等于1。处理器110、210还可操作用于：在编码比特流40中发信号通知IRAP图片22的每一块被编码为跳过块。

[0221] 备选地，多层视频编码器可以被实现为包括标志设置单元和信号通知单元。在这种情况下，标志设置单元可操作用于将标志single_layer_for_non_irap_flag设置为等于1，并且信号通知单元可操作用于：例如通过将标志higher_layer_irap_skip_flag设置为等于1，在编码比特流40中发信号通知IRAP图片22的每一块被编码为跳过块。

[0222] 在其他实施例中，多层视频编码器包括用于将标志single_layer_for_non_irap_flag设置为等于1的标志设置单元。多层视频编码器还包括信号通知单元，用于例如通过将标志higher_layer_irap_skip_flag设置为等于1，在编码比特流40中发信号通知IRAP图片22的每一块被编码为跳过块。

[0223] 将理解的是可以用各种方式组合并重新布置本文所描述的方法和设备。

[0224] 例如，可以用由适合的处理器处理电路执行的硬件或软件或其组合来实现实施例。

[0225] 可以使用任意传统技术(例如离散电路或集成电路技术)用硬件(包括一般目的电子电路和特定应用电路二者)来实现本文所描述的步骤、功能和/或单元。

[0226] 特定示例包括一个或更多个合适配置的数字信号处理器和其他已知电子电路，例如用于执行特别功能的互连的分立逻辑门、或者应用专用集成电路(ASIC)。

[0227] 备选地，本文所述的步骤、功能和/或单元的至少一部分可以用软件实现，例如由例如一个或更多个处理单元的适合的处理电路来执行的计算机程序。

[0228] 因此，当由一个或更多个处理器执行时，本文呈现的流程图可被认为是计算机流程图。参见图21，相应装置可定义为一组功能模块或单元，其中由处理器执行的每个步骤对应于功能模块或单元。在这种情形中，功能模块或单元被实现为在处理器上运行的计算机程序。

[0229] 处理电路的示例包括但不限于，一个或更多个微处理器、一个或更多个数字信号处理器(DSP)、一个或更多个中央处理单元(CPU)、视频加速硬件、和/或任意合适的可编程逻辑电路，例如一个或更多个现场可编程门阵列(FPGA)或者一个或更多个可编程逻辑控制器(PLC)。

[0230] 还应理解，可以重用其中实现了提出的技术的任意传统设备的通用处理能力。还可以例如通过重新编程现有的软件或者通过添加新的软件组件来重新使用现有的软件。

[0231] 在下文中，将参照图23描述计算机实施方式的示例。图23示出了包括处理电路(例如一个或更多个处理器610)和存储器620的用户终端600。在该特定示例中，上述步骤、功能、过程、模块和/或框的至少一部分用计算机程序630实现，计算机程序630加载到存储器620中用于处理器610的执行。处理器610和存储器620彼此互联，实现常规软件执行。可选输入/输出设备(未示出)还可以与处理器610和/或存储器620互联，以支持相关数据的输入和/或输出，例如多层或多视图视频的图片和/或例如NAL单元中的编码图片。

[0232] 术语“计算机”应当在一般意义上解释为能够执行程序代码或计算机程序指令以执行特定处理、确定或计算任务的任意系统、设备或装置。

[0233] 在特定实施例中，计算机程序630包括程序代码或代码装置，其当由处理器610或用户终端600执行时使得处理器610或用户终端600：在一个实施例中，对在切换点处重合的多层或多视图视频的第一层或视图中的图片和第二层或视图中的图片之一进行编码，所述切换点定义多层或多视图视频中的第一层或视图与第二层或视图之间的切换，该多层或多视图视频包括多个层或视图。编码装置还使得处理器610或用户终端600：将在切换点2处重合的第一层或视图中的图片和第二层或视图中的图片中的另一图片编码为跳过图片。

[0234] 在另一实施例中，编码装置当由处理器610或用户终端600执行时，使得处理器610或计算机：将标志(single_layer_for_non_irap_flag)设置为等于1，以指示在每个AU中至多存在来自多层视频中的两个不同层的两张图片，并且当在同一AU中存在两张图片时，两个不同层中的最高层中的图片是IRAP图片22。编码装置还使得处理器610或用户终端600：在与多层视频的编码版本相对应的编码比特流中发信号通知IRAP图片22的每一块被编码为跳过块。

[0235] 图23还示出了一种计算机程序产品640，包括计算机可读代码装置和计算机程序630，根据上述计算机程序产品630存储在所述计算机可读代码装置上。

[0236] 软件或计算机程序630可实现为计算机程序产品640，计算机程序产品640通常承载在或存储在计算机可读介质上。计算机可读介质可包括一个或更多个可移除或不可移除的存储设备，包括但不限于ROM、RAM、紧致盘(CD)、数字多用途盘(DVD)、通用串行总线存储器(USB)、硬盘驱动(HDD)存储设备、闪存、或者任意其他常规存储设备。因此，计算机程序630可被加载到计算机或用户终端600的操作存储器中，以由其处理器610来执行。

[0237] 计算机/处理器不是必须仅用于仅执行上述步骤、功能、过程和/或块，而是还可以执行其他任务。

[0238] 如本文所指出的，编码器可以定义为功能模块的组，其中功能模块实现为在处理器上运行的计算机程序。因此，驻留在存储器中的计算机程序可以被组织为合适的功能模块，所述功能模块被配置为，当被处理器执行时，执行上述步骤和/或任务的至少一部分。图21中示出了这些功能模块的示例。

[0239] 如图22中所示，多层或多视图编码器可以用发送单元500来实现。发送单元500可以例如是摄像机或移动设备，例如移动电话、膝上型计算机、平板电脑等。发送单元500然后将与多层或多视图视频的编码版本相对应的编码比特流发送给接收单元510，在接收单元510中可以发生对多视图视频的解码以及优选地还会发生对多层或多视图视频的回放。

[0240] 该实施例适用于可以创建或在比特流上操作(例如编辑)的编码器和任意单元，包括例如由无线电基站或媒体感知网络单元代表的网络节点。

[0241] 上述实施例被理解为本发明的几个说明性示例。本领域技术人员将理解，在不脱离本发明的范围的前提下，可以对实施例作出各种修改、合并和改变。尤其是，不同实施例中的不同部分的方案可在其他技术上可行配置中进行组合。然而，本发明的范围由所附权利要求限定。

标题	发布/更新时间	阅读量
分层结构预判的快速视频编码方法-专利编号CN102186070A	2020-05-13	388
用于可伸缩视频编码的层间预测方法-专利编号CN105052144B	2020-05-11	1151
多层视频编码-专利编号CN101313583A	2020-05-11	915
基于多层的视频编码方法及其装置-专利编号CN101467461B	2020-05-12	693
用于可缩放视频编码的层间预测-专利编号CN105765979A	2020-05-13	1193
视频编码中的层切换-专利编号CN105612746A	2020-05-11	407
用于多层视频编码的编解码器架构-专利编号CN104429071A	2020-05-12	986
用于增强层视频编码的适应性量化-专利编号CN102057677B	2020-05-12	646
多层视频编码-专利编号CN101313583B	2020-05-11	761
用于增强层视频编码的适应性量化-专利编号CN102057677A	2020-05-13	237

视频编码中的层切换

视频编码中的层切换

技术领域

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式