用于多层视频编码的编解码器架构专利检索-视频编码层视听技术与设备专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

用于多层视频编码的编解码器架构

阅读：988发布：2020-05-12

IPRDB可以提供用于多层视频编码的编解码器架构专利检索，专利查询，专利分析的服务。并且提供了用于实施视频编码系统(VCS)的系统、方法和手段。所述VCS可以被配置为接收视频信号，所述视频信号可包括一个或多个层(例如，基础层(BL)和/或一个或多个增强层(EL))。所述VCS可以被配置为例如使用图像级层间预测过程将BL图像处理为层间参考(ILR)图像。VCS可以被配置为选择处理后的ILR图像或增强层(EL)参考图像中的一者或两者。所选择的参考图像可以包括EL参考图像或ILR图像中的一者。VCS可以被配置为使用所选择的ILR图像或EL参考图像中的一者或多者来预测当前EL图像。VCS可以被配置为将处理后的ILR图像存储在EL解码图像缓存(DPB)中。，下面是用于多层视频编码的编解码器架构专利的具体信息内容。

权利要求

1.一种视频编码方法，该方法包括：

接收视频信号，所述视频信号包括一个或多个层；

使用图像级层间预测过程将基础层(BL)图像处理为层间参考(ILR)图像；

选择处理后的ILR图像或增强层(EL)参考图像中的一者或两者；以及使用所选择的ILR图像或所述EL参考图像中的一者或多者来预测当前EL图像。

2.根据权利要求1所述的方法，其中所述视频信号包括BL和一个或多个EL。

3.根据权利要求1所述的方法，该方法还包括将所述处理后的ILR图像存储到EL解码图像缓存(DPB)中。

4.根据权利要求1所述的方法，该方法还包括从所述BL中提取BL信息，其中所述BL信息包括BL模式信息或BL运动信息中的一者或多者。

5.根据权利要求4所述的方法，该方法还包括基于包括所提取的BL信息的信息处理所述BL图像。

6.根据权利要求1所述的方法，该方法还包括：

将BL信息从第一格式转换为第二格式；以及

在EL编码中使用转换后的BL信息。

7.根据权利要求6所述的方法，其中所述第一格式与BL编解码器相关，而所述第二格式与EL编解码器相关，并且其中所述第一格式不同于所述第二格式。

8.根据权利要求1所述的方法，其中所选择的参考图像包括所述EL参考图像或所述ILR图像中的一者。

9.根据权利要求1所述的方法，其中所述处理后的ILR图像是非共位的ILR图像。

10.根据权利要求1所述的方法，其中多个所选择的参考图像对应于公共时间实例。

11.根据权利要求1所述的方法，其中将所述BL图像处理为ILR图像包括将所述BL图像格式化为适用于对所述当前EL图像进行预测的格式。

12.根据权利要求11所述的方法，其中所述格式依赖于BL编解码器与EL编解码器之间的可分级性的类型。

13.根据权利要求12所述的方法，其中所述BL编解码器与所述EL编解码器之间的所述可分级性的类型包括以下中的一者或多者：空间可分级性或色度格式可分级性。

14.根据权利要求13所述的方法，其中对所述BL图像进行格式化包括对所述BL图像进行上采样。

15.根据权利要求12所述的方法，其中所述BL编解码器与所述EL编解码器之间的所述可分级性的类型包括以下中的一者或多者：质量可分级性、空间可分级性、视图可分级性、标准可分级性或纵横比可分级性。

16.根据权利要求15所述的方法，其中对BL图像进行格式化包括以下中的一者或多者：去噪、恢复或重定向所述BL图像。

17.根据权利要求12所述的方法，其中所述BL编解码器与所述EL编解码器之间的所述可分级性的类型包括视图可分级性。

18.根据权利要求17所述的方法，其中对BL图像进行格式化包括对所述BL图像应用视差补偿。

19.根据权利要求12所述的方法，其中所述BL编解码器与所述EL编解码器之间的所述可分级性的类型包括位深可分级性。

20.根据权利要求19所述的方法，其中对BL图像进行格式化包括对所述BL图像进行逆色调映射。

21.根据权利要求1所述的方法，该方法还包括将层间预测(ILP)信息分包。

22.根据权利要求21所述的方法，其中所述ILP信息包括一个或多个上采样滤波器信息、一个或多个上采样系数、一个或多个去噪系数、一个或多个视差补偿参数或一个或多个逆色调映射参数。

23.根据权利要求21所述的方法，该方法还包括通过网络抽象层(NAL)单元发送分包后的ILP处理信息。

24.一种视频编码系统，该系统包括：

处理器，该处理器被编程为：

接收视频信号，所述视频信号包括一个或多个层；

使用图像级层间预测过程将基础层(BL)图像处理为层间参考(ILR)图像；

选择处理后的ILR图像或增强层(EL)参考图像中的一者或两者；以及使用所选择的ILR图像或所述EL参考图像中的一者或多者来预测当前EL图像。

25.根据权利要求24所述的系统，其中所述视频信号包括BL和一个或多个EL。

26.根据权利要求24所述的系统，其中所述处理器还被编程为将所述处理后的ILR图像存储到EL解码图像缓存(DPB)中。

27.根据权利要求24所述的系统，其中所述处理器还被编程为从所述BL中提取BL信息，其中所述BL信息包括BL模式信息或BL运动信息中的一者或多者。

28.根据权利要求27所述的系统，其中所述处理器还被编程为基于包括所提取的BL信息的信息处理所述BL图像。

29.根据权利要求24所述的系统，其中所述处理器还被编程为：将BL信息从第一格式转换为第二格式；以及

在EL编码中使用转换后的BL信息。

30.根据权利要求29所述的系统，其中所述第一格式与BL编解码器相关，而所述第二格式与EL编解码器相关，并且其中所述第一格式不同于所述第二格式。

31.根据权利要求24所述的系统，所述所选择的参考图像包括所述EL参考图像或所述ILR图像中的一者。

32.根据权利要求24所述的系统，其中所述处理后的ILR图像是非共位的ILR图像。

33.根据权利要求24所述的系统，其中多个所选择的参考图像对应于公共时间实例。

34.根据权利要求24所述的系统，其中将所述BL图像处理为ILR图像包括将所述BL图像格式化为适用于对所述当前EL图像进行预测的格式。

35.根据权利要求34所述的系统，其中所述格式依赖于BL编解码器与EL编解码器之间的可分级性的类型。

36.根据权利要求35所述的系统，其中所述BL编解码器与所述EL编解码器之间的所述可分级性的类型包括以下中的一者或多者：空间可分级性或色度格式可分级性。

37.根据权利要求36所述的系统，其中对所述BL图像进行格式化包括对所述BL图像进行上采样。

38.根据权利要求35所述的系统，其中所述BL编解码器与所述EL编解码器之间的所述可分级性的类型包括以下中的一者或多者：质量可分级性、空间可分级性、视图可分级性、标准可分级性或纵横比可分级性。

39.根据权利要求38所述的系统，其中对BL图像进行格式化包括以下中的一者或多者：去噪、恢复或重定向所述BL图像。

40.根据权利要求35所述的系统，其中所述BL编解码器与所述EL编解码器之间的所述可分级性的类型包括视图可分级性。

41.根据权利要求40所述的系统，其中对BL图像进行格式化包括对所述BL图像应用视差补偿。

42.根据权利要求35所述的系统，其中所述BL编解码器与所述EL编解码器之间的所述可分级性的类型包括位深可分级性。

43.根据权利要求42所述的系统，其中对BL图像进行格式化包括对所述BL图像进行逆色调映射。

44.根据权利要求24所述的系统，其中所述处理器还被编程为将层间预测(ILP)信息分包。

45.根据权利要求44所述的系统，其中所述ILP信息包括一个或多个上采样滤波器信息、一个或多个上采样系数、一个或多个去噪系数、一个或多个视差补偿参数或一个或多个逆色调映射参数。

46.根据权利要求44所述的系统，其中所述处理器还被编程为通过网络抽象层(NAL)单元发送分包后的ILP信息。

说明书全文

用于多层视频编码的编解码器架构

[0001] 相关申请的交叉引用

[0002] 本申请要求2012年07月09日提交的美国临时专利申请No.61/699,356和2012年12月06日提交的美国临时专利申请No.61/734,264的权益，所述申请的内容以引用的方式结合于此。

背景技术

[0003] 近年来，多媒体技术和移动通信经历了巨大的发展并在商业上取得了成功。无线通信技术显著增长了无线带宽，并改善了对移动用户的服务质量。例如，与第二代(2G)和/或第三代(3G)相比，第三代合作伙伴计划(3GPP)长期演进(LTE)标准改善了服务质量。

[0004] 由于无线网络上高带宽的可应用性，在有线网络上可用的视频和多媒体内容可以使得用户期望对来自各种具有不同大小、质量和/或连接能力的移动设备的内容的等效按需访问。

[0005] 为使各种类型的视频内容在网络上可用，可以使用一种或多种视频编码和压缩机制。视频编码系统可以用于压缩数字视频信号，例如，来减小所述信号的存储需求和/或传输带宽。基于一种或多种视频编码标准的各种类型的视频压缩技术可以被使用。所述标准可包括例如H.261、MPEG-1、MPEG-2、H.263、MPEG-4部分2、以及H.264/MPEG-4部分10AVC、高效视频编码(HEVC)等等。视频编码标准的扩展(如H.264(可分级(scalable)视频编码(SVC))和/或可分级HEVC)可以被使用。所提供的可分级编码机制存在缺点且不完善。

发明内容

[0006] 提供了用于实施视频编码系统(VCS)的系统、方法和手段。包括例如基础层(BL)编码器、增强层(EL)编码器、层间预测(ILP)处理和管理单元等的VCS可被配置成接收视频信号。该视频信号可以包括一个或多个层(如基础层(BL)和/或一个或多个增强层(EL))。VCS可例如使用图像级层间预测过程将BL图像处理成层间参考(ILR)图像。处理后的ILR图像可以是非共位(non-collocated)的ILR图像。

[0007] 将BL图像处理成ILR图像可以包括将BL图像格式化成适用于对当前EL图像进行预测的格式。该格式可依赖于BL编解码器与EL编解码器间的可分级性的类型。BL编解码器与EL编解码器间的可分级性的类型可以包括以下中的一者或多者：空间可分级性、色度格式可分级性、质量可分级性、空间可分级性、视图可分级性或位深可分级性。格式化可包括以下中的一者或多者：上采样、去噪、恢复、或重定向、视差补偿或逆色调映射。

[0008] VCS可选择经处理的ILR图像或增强层(EL)参考图像中的一者或两者。所选择的参考图像可包括EL参考图像或ILR图像中的一者。多个所选择的参考图像可对应于公共时间实例。

[0009] VCS可使用所选择的ILR图像或EL参考图像中的一者或多者来预测当前EL图像。VCS可将被处理过的ILR图像存储到EL解码图像缓存(DPB)中。VCS可从BL中提取BL信息。所述BL信息可以包括BL模式信息或BL运动信息中的一者或多者。VCS可基于包括所提取的BL信息的信息来处理BL图像。VCS可将BL信息从第一格式转换为第二格式，并在EL编码中使用转换后的BL信息。所述第一格式可以与BL编解码器相关，以及所述第二格式可以与EL编解码器相关，且所述第一格式不同于所述第二格式。

[0010] VCS可将ILP信息分包(packetize)，并发送所述ILP信息，例如，经由网络抽象层(NAL)单元。ILP信息可包括例如上采样滤波器信息、一个或多个上采样系数、一个或多个去噪系数、一个或多个视差补偿参数、一个或多个逆色调映射参数等。

附图说明

[0011] 从以下以示例方式给出的描述并结合附图可以获得更详细的理解。

[0012] 图1是示出可分级视频编码系统的图。

[0013] 图2是示出使用多视图视频编码(MVC)来对立体视频(例如具有左视图和右视图)进行编码的预测结构的示例的图；

[0014] 图3是示出两层可分级视频编码器的架构的示例的图。

[0015] 图4是示出两层可分级视频解码器的架构的示例的图。

[0016] 图5是示出基于块的单层视频编码器的示例的图。

[0017] 图6是示出基于块的单层视频解码器的示例的图。

[0018] 图7是示出支持图像级层间预测(ILP)的两层可分级编码系统的示例的图。

[0019] 图8是示出支持图像级ILP的两层可分级解码系统的示例的图。

[0020] 图9是示出使用针对增强层编码使能的时间预测和层间预测的两层系统的示例的图。

[0021] 图10是示出ILP处理和管理单元的示例的图。

[0022] 图11示出了使用层间运动矢量预测的示例预测结构。

[0023] 图12是示出了可以使用增强型ILP处理和管理单元的可分级编码系统的示例的图。

[0024] 图13A是可以实施一个或多个公开的实施方式的示例通信系统的系统图。

[0025] 图13B是可以在图13A所示的通信系统中使用的示例无线发射/接收单元(WTRU)的系统图。

[0026] 图13C是可以在图13A所示的通信系统中使用的示例无线电接入网和示例核心网的系统图。

[0027] 图13D是可以在图13A所示的通信系统中使用的另一示例无线电接入网和另一示例核心网的系统图。

[0028] 图13E是可以在图13A所示的通信系统中使用的另一示例无线电接入网和另一示例核心网的系统图。

具体实施方式

[0029] 现在将参照各个附图描述示例性实施方式的详细描述。虽然该描述提供了可能实施的详细示例，但应当注意的是，细节是示例性的，并且不以任何方式限制本申请的范围。此外，附图可以示出流程图，其旨在是示例性的。可使用其他实施方式。在适当的情况下，消息的顺序可被改变。如果不需要，则消息可被省略，并且可增加附加的流。

[0030] 可分级视频编码可改善在异构网络上对在具有不同能力的设备上运行的视频应用的体验质量。可分级视频编码可以最高表示(例如，时间分辨率、空间分辨率、质量等等)对信号编码一次，但依赖于客户端设备上运行的某些应用所需的特定速率和表示来使能从视频流的子集进行解码。与不可分级的解决方案相比，可分级视频编码可节省带宽和/或存储空间。国际视频标准(如MPEG-2视频、H.263、MPEG4视觉、H.264等)可以具有支持可分级性模式的工具和/或配置文件。

[0031] 图1是示出基于块的混合可分级视频编码系统的示例的图。可通过对输入视频信号进行下采样来产生可由层1(例如，基础层)表示的空间/时间信号分辨率。合适的量化器(例如，Q1)的设置可导致特定质量等级的基础信息。可以是更高层分辨率等级中的一者或多者(例如，所有)的近似的基础层重建Y1可以在对随后的层进行编码/解码中被使用，例如，以更有效地对随后的更高层进行编码。上采样单元1010和/或1012可对基础层重建信号执行上采样以达到层2的分辨率。可遍及每一层(例如，1,2…N)来执行下采样和上采样。下采样率和上采样率可根据两个给定层间的可分级性的维度而不同。

[0032] 如图1所示，对于任意给定的较高层n(2≤n≤N)，可通过从当前层n信号中减去经上采样的较低层信号(例如，层n-1信号)来产生差信号。所获取的差信号可被编码。如果由两层(例如，n1和n2)表示的视频信号具有相同的空间分辨率，对应的下采样和上采样操作可以被旁路。可在不使用任何来自更高层的解码信息的情况下，对任意给定的层n(1≤n≤N)或多个层进行解码。如图1的系统所采用的，依赖于对除基础层外的层的残差信号(例如，两层间的差信号)的编码可导致视觉伪像(artifact)。所述视觉伪像可能是由于对残差信号进行量化和标准化以限制其动态范围的期望，和/或在残差的编码期间执行的附加量化。一个或多个较高层编码器可采用运动估计和/或运动补偿预测作为编码模式。在残差信号中的运动估计和/或运动补偿可与常规运动估计不同，并且，例如，可更易于产生视觉伪像。更复杂的残差量化、和在对残差信号进行量化和标准化以限制其动态范围的期望与在所述残差的编码期间执行的附加量化之间的联合量化可被利用，并可增加系统复杂度，例如，以使所述视觉伪像最小化。图1的系统可以不考虑其他层间预测模式，这会限制其能实现的压缩效率等级。

[0033] 可分级视频编码(SVC)是H.264的扩展，其可以使能部分比特流的传输和解码，例如以提供具有较低时间或空间分辨率或者降低的保真度的视频服务，同时在给定部分比特流的速率的情况下，保持重建质量(例如，较高的重建质量)。SVC可包括单环路解码，其可以提供SVC解码器在正被解码的层处建立一个运动补偿环路，而在其他更低层处不建立运动补偿环路。例如，如果比特流包括2层：层1(例如，基础层)和层2(例如，增强层)。解码器可通过设置解码图像缓存和运动补偿预测(例如，针对层1而不针对层2；层2可依赖于层1)来重建层2视频。SVC可以不需要来自将被全部重建的更低层的参考图像，这可降低计算复杂度和解码器利用的存储空间。通过被约束的层间纹理预测可实现单环路解码。对于给定层中的块(例如，当前块)，如果对应的低层块以内模式被编码(例如，受限制的内预测)，可利用来自更低层的空间纹理预测。当更低层块以内模式被编码时，其可以被重建，而不需要运动补偿操作和解码图像缓存。SVC可利用附加的层间预测技术，例如，运动矢量预测、残差预测、模式预测等。SVC的单环路解码特征可降低计算复杂度和/或解码器所利用的存储空间。单环路解码可例如通过强烈依赖于块级层间预测实施来实现满意的性能而增加实施复杂度。编码器设计和计算复杂度可以被增加，以使可以实现期望的性能，例如，以补偿通过施加单环路解码约束而导致的性能损失。具有足够性能的SVC可能不支持交错(interlaced)内容的可分级编码，这会影响其在广播工业的应用。

[0034] 多视图视频编码(MVC)是H.264的示例扩展，其可以提供视图可分级性。视图可分级性意味着基础层比特流可被解码以重建常规的2D视频，而附加的增强层可被解码以重建相同视频信号的其他视图表示。当一个或多个视图(例如，所有视图)被合并在一起并由合适的3D显示器显示时，用户可以合适的深度感体验3D视频。图2是示出使用MVC对具有左视图(例如，层1)和右视图(例如，层2)的立体视频进行编码的示例预测结构的图。如图2中的示例所示，可以用IBBP预测结构对左视图视频编码。可以用PBBB预测结构对右视图视频编码。例如，在右视图中，与左视图中的第一I图像2002的第一共位图像可以被编码为P图像2004。右视图中其他图像中的每一者可以被编码为B图像，例如，使用来自右视图中的时间参考的第一预测和来自左视图中的层间参考的第二预测。MVC可能不支持单环路解码。例如如图2所示，右视图(例如，层2)视频的解码可能需要左视图(例如，层1)中的全部图像可用，其可在两个视图/层中支持运动补偿环路。

[0035] MVC可包括(例如，仅包括)高级语法变化，并且不包括对H.264/AVC的块级变化。例如，由于底层MVC编码器/解码器逻辑可以保持相同并且可被复制，切片(slice)级/图像级的参考图像(例如，仅参考图像)可被正确配置以使能MVC。MVC可通过扩展图2的示例来支持多于两个的视图的编码，以在多个视图之间执行层间预测。

[0036] 运动图像专家组(MPEG)帧兼容(MFC)编码可以被用作编码技术。3D内容可以是包括一个或多个视图(如左视图和右视图)的立体3D视频。可通过将两个视图打包/复用成一个帧、使用编解码器(例如，H.264/AVC)压缩以及传送被打包的视频来实现立体3D内容分发。在接收机侧，在解码之后，帧可以被拆包并被显示为两个视图。所述视图可在时域和/或空间域中被复用。当所述视图在空间域中被复用时，所述两个视图可在空间上按照因子(例如，因子2)来被下采样，并按照各种排列(arrangement)被打包，例如，以保持相同的图像大小。举例来说，图像可被排列有图像的左半部分上的下采样后的左视图，以及图像的右半部分上的下采样后的右视图。其他排列可以包括上和下(top-and-bottom)、逐行、棋盘格等等。用于实现帧兼容3D视频的特定排列可由帧打包排列SEI信息来传达。空间下采样可导致视图中的混淆现象以及降低视觉质量和3D视频的用户体验。焦点可以被放在提供对帧兼容(例如，被打包为同一帧的两个视图)基础层视频的可分级扩展，和/或为改善的3D体验提供一个或多个增强层以恢复全分辨率视图。虽然其在提供3D视频分发方面是适合的，但使能全分辨率MFC的底层技术可与空间可分级性技术相关。

[0037] 可提供HEVC的可分级增强。标准可分级性可指当用一种标准(例如H.264/AVC或MPEG2)对基础层进行编码、同时可用另一标准(例如HEVC标准)对一个或多个增强层进行编码时的可分级性的类型。标准可分级性可提供对使用之前的标准编码的旧有内容的向后兼容性，并且可以使用一个或多个增强层提高旧有内容的质量。

[0038] 可提供3D视频编码(3DV)。3DV可提供一个或多个不同的视图可分级性，其可以裸眼立体(autostereoscopic)应用为目标。裸眼立体显示和应用可以允许人们体验3D，而无需笨重的眼镜。为了在没有眼镜的情况下实现良好的3D体验，可以采用多于两个的视图。对多于两个的视图(例如，9个视图或10个视图)进行编码会很昂贵。3DV可采用对具有相对较大视差的少量视图(例如，2或3个视图)一起编码、和/或与一个或多个可以提供视图的深度信息的深度图编码的混合方式。这可被称为多视图加深度(MVD)。在显示器侧，编码后的视图和深度图可以被解码。使用视图合成技术利用解码后的视图和它们的深度图来生成其余视图。3DV可利用多种实现方式来对视图和深度图编码，例如，采用不同标准的组合对其编码，例如但不限于H.264/AVC、MVC、HEVC等等。3DV可用一种标准(例如，H.264/AVC)对基础层编码，而用另一种标准(例如，HEVC)对一个或多个增强层编码。

[0039] 表1提供了不同类型的可分级性和可以支持他们的对应的标准的示例。位深可分级性和色度格式可分级性可与主要由专业视频应用使用的视频格式(如高于8位视频和高于YUV4:2:0的色度采样格式)相关联。可提供纵横比可分级性。

[0040] 表1

[0041]

[0042]

[0043] 可分级视频编码可提供与使用基础层比特流的第一视频参数集相关联的第一视频质量等级。可分级视频编码可提供与使用一个或多个增强层比特流的一个或多个增强型参数集相关联的一个或多个更高质量等级。视频参数集可包括空间分辨率、帧速率、重建视频质量(例如，以SNR、PSNR、VQM、视觉质量等的形式)、3D能力(例如，具有两个或更多个视图)、亮度和色度位深、色度格式和底层单层编码标准中的一者或多者。如表1所示，不同的使用情况可能需要不同类型的可分级性。如此处讨论的，可分级编码架构可提供可被配置成支持一种或多种可分级性(如表1所列出的分级性)的公共结构。可分级编码架构可以最小的配置工作量(effort)来灵活地支持不同的可分级性。可分级编码架构可包括至少一种不需要改变块级操作的优选的操作模式，以使在可分级编码系统中最大限度地重新使用编码逻辑(例如，编码和/或解码逻辑)。例如，可提供基于图像级层间处理和管理单元的可分级编码架构，其中可在图像级执行层间预测。

[0044] 图3是两层可分级视频编码器的示例架构的图。举例来说，通过可实现空间可分级性的下采样过程，增强层视频输入和基础层视频输入可彼此对应。如图3所示，可使用下采样器3002对增强层视频进行下采样。基础层编码器3006(例如，本示例中的HEVC编码器)可逐块对基础层视频输入进行编码，并生成基础层比特流。图5是示出可被用作图3中的基础层编码器的示例基于块的单层视频编码器的图。如图5所示，单层编码器可使用如空间预测5020(如被称为内预测)和/或时间预测5022(例如，被称为间预测和/或运动补偿预测)的技术来实现有效压缩，和/或预测输入视频信号。编码器可具有能选择最合适的预测形式的模式判定逻辑5002。编码器判定逻辑可以基于速率和失真考虑的组合。编码器可分别使用转换单元5004和量化单元5006来转换和量化预测残差(例如，输入信号与预测信号间的差信号)。被量化的残差和模式信息(如内或间预测)以及预测信息(例如，移动矢量、参考图像索引、内预测模式等等)可以在熵编码器5008被进一步压缩，并被打包成输出视频比特流。编码器还可通过对被量化的残差施加逆量化(如使用逆量化单元5010)和逆转换(例如，使用逆转换器5012)以获取重建残差，来生成重建视频信号。编码器可把重建视频信号添加回至预测信号5014。重建视频信号可通过环路滤波处理5016(例如，使用去块滤波器、采样自适应偏移和/或自适应环路滤波器)，并被存储在参考图像存储库(store)5018中，以用于预测将来的视频信号。

[0045] 术语参考图像存储库在这里可与术语解码图像缓存或DPB替换使用。图6是示例基于块的单层解码器的框图，该基于块的单层解码器可接收由图5的编码器产生的视频比特流，并可以重建待被显示的视频信号。在视频解码器处，比特流可以由熵解码器6002解析。残差系数可以被逆量化(例如，使用逆量化单元6004)和逆转换(例如，使用逆转换单元6006)以获得重建残差。可利用编码模式和预测信息来获得预测信号。可使用空间预测6010和/或时间预测6008来完成这一步骤。预测信号和重建残差可以被叠加在一起以得到重建视频。此外，重建视频可通过环路滤波(例如，使用环路滤波器6014)。然后，重建视频可被存储在参考图像存储库6012中，以被显示和/或被用于解码将来的视频信号。

[0046] 如在图3的示例可分级编码器中示出的，在增强层，增强层(EL)编码器3004可采用更高空间分辨率(和/或其他视频参数的更高值)的EL输入视频信号。EL编码器3004可以与基础层视频编码器3006基本相似的方式产生EL比特流，例如，利用空间和/或时间预测来实现压缩。附加的预测形式(此处被称为层间预测(ILP)(例如，图3中阴影箭头所指示的))可在增强编码器处可用以改善其编码性能。不像基于在当前增强层中的编码视频信号来得出预测信号的空间和时间预测，层间预测可基于来自基础层(和/或当在可分级系统中存在多于两个的层时的其他更低层)的编码视频信号来得出预测信号。在可分级系统中，可存在至少两种形式的层间预测，即图像级ILP和块级ILP。此处讨论图像级ILP和块级ILP。比特流复用器(例如，图3中的MUX 3014)可将基础层和增强层比特流合并在一起，以产生一个可分级的比特流。

[0047] 图4是两层可分级视频解码器的示例架构的框图。图4的两层可分级视频解码器架构可对应于图3的可分级编码器。例如，解复用器(例如，DEMUX 4002)可将可分级比特流分为基础层和增强层比特流。基础层解码器4006可对基础层比特流解码并重建基础层视频。增强层解码器4004可对增强层比特流解码。增强层解码器可使用来自当前层的信息和/或来自一个或多个相关(dependent)层(如基础层)的信息进行上述步骤。例如，来自一个或多个相关层的所述信息可通过层间处理，这在使用图像级ILP和/或块级ILP时可以被实现。虽然图3和图4中未示出，在MUX 3014处，附加ILP信息可与基础层和增强层比特流一起被复用。ILP信息可由DEMUX 4002解复用。

[0048] 图7是支持图像级ILP的两层可分级编码系统的示例。图7中的BL编码器7006(如HEVC编码器)可使用空间和/或时间预测的组合来对BL视频输入编码，例如但不限于参考图5所讨论的。BL编码器可建立用于存储重建的图像的基础层DPB 7010，以例如通过时间运动补偿预测来执行对输入视频信号的预测。在增强层中，EL编码器7004可以以与BL编码器7006基本上相似的方式运行。可提供参考图像以供EL编码器对输入EL视频进行预测的增强层DPB 7008可包括来自当前增强层的参考图像和/或来自一个或多个相关层的DPB(例如，图7所示的BL DPB 7010)的参考图像。来自BL DPB的参考图像可在被用于预测EL视频之前由层间预测处理和管理单元7012进行处理。层间预测处理和管理单元7012可在使用来自BL DPB 7010的图像预测EL视频之前先对其进行处理。ILP处理和管理单元7012可将存储在BL DPB 7010中的一个或多个参考图像处理成适用于增强层视频的预测的格式。ILP处理和管理单元7012可管理处理后的参考图像，并自适应性地决定哪些被处理的图像可以被用作由EL编码器7004进行的对EL视频的预测。

[0049] ILP处理和管理单元可将存储在BL DPB中的参考图像处理成适用于增强层视频的预测的格式。处理的本质可以基于BL与EL间的可分级性的类型。例如，如果BL视频和EL视频具有不同的空间分辨率，所述处理可涉及上采样，以对准BL和EL空间分辨率。所述处理可传达在上采样过程中使用的参数。例如，ILP处理和管理单元7012可建立预定义的上采样滤波器集合。ILP处理和管理单元7012可选择预定义的上采样滤波器中的一者或多者来对BL DPB中的图像进行上采样，并且可以在比特流中发送一个或多个对应的滤波器索引。例如，解码器可执行相同的上采样过程。ILP处理和管理单元可得出(例如，自适应地得出)有益于使用的一个或多个上采样滤波器(例如，就某种意义而言，经上采样的参考可以用于更有效地预测EL视频，并产生更良好的速率失真特性)。当使用自适应上采样滤波器时，滤波器系数和滤波器分接头(tap)的大小可被包括在比特流中。

[0050] 在另一个SNR或质量可分级性的示例中，BL视频和EL视频可以具有相同的分辨率。BL视频可用粗量化(例如，较低比特速率和较低质量)编码，然而EL视频可用细量化(例如，较高比特速率和较高质量)编码。ILP处理和管理单元7012可对BL DPB 7010中的参考图像执行去噪和/或图像恢复类型的操作。所述去噪或恢复操作可包括但不限于自适应滤波器(例如，基于最小二乘或LS技术)、采样自适应偏移(SAO)(例如，可被HEVC支持)和/或以减小量化噪声为目标的其他类型的去噪滤波器。在去噪或恢复操作中使用的相应参数可被用信号发送至解码器。所述去噪或恢复技术可与上采样过程合并，以改善对于空间可分级性情况的预测效率。如图7所示，编码的EL比特流、编码的BL比特流和ILP信息可被复用(如MUX 7014)成可分级HEVC比特流。

[0051] 作为视图可分级性的示例，BL视频和EL视频可代表立体3D视频的两个视图。BL视频可代表一个视图而EL视频可代表另一个补充视图。ILP处理和管理单元可对BL DPB中的参考图像施加视差补偿，以使其成为对于EL视频的有效预测信号。对于执行相同的视差补偿处理的解码器，在视差补偿期间使用的参数(例如，在使用仿射变换的情况下的仿射变换参数，和/或在使用翘曲(warp)的情况下的翘曲参数)可以在比特流中被用信号发送。

[0052] 表2示出了ILP处理和管理单元可以执行的功能的示例和特定功能可以被使用所针对的对应的可分级性类型的列表。

[0053] 表2

[0054]

[0055] ILP处理和管理单元可管理处理后的参考图像，并可决定(例如，自适应地决定)哪些参考图像可被用作由EL编码器进行的预测。ILP处理和管理单元可确定有多少处理后的ILP图像和哪些处理后的ILP图像可被用于当前增强层图像的预测。图9是示出使用对增强层编码使能的时间预测和层间预测的两层系统的示例的图。对于时间预测，图9中的预测结构可被称为分层B预测。对于EL图像，其参考图像可以是时域中的参考图像、BL中其共位的图像和/或共位的BL图像的时间参考图像的组合。例如，图像EL2 9006可根据时间参考(如EL0 9004和/或EL4 9008)和/或层间参考(BL2 9010，BL0 9002，BL4 9012)被预测。层间参考的集合(BL2，BL0，BL4)可在被用于预测EL2图像9006前先由ILP处理和管理单元处理。如此处所述，ILP处理可将BL参考图像处理成适用于EL的格式(如合适的空间分辨率，位深等)，和/或例如通过对基础层图像施加去噪和/或恢复来改善ILP参考的预测质量。

[0056] 处理后的ILP参考图像可提供有效的预测信号。从增强层中的多个参考中进行选择可能会引起问题。例如，在块级，用于指示哪个或哪些参考图像可以被选择以获得一个或多个预测信号的信令开销会增大。因为可以对扩展的参考图像集合执行运动估计，所以编码复杂度也会增大。参考图像选择和管理可提供有效的可分级编码，而不增加复杂度。

[0057] 图10是示例ILP处理和管理单元的图。在时间实例“t”，基础层共位图像BLt1054和来自BL DPB 1056的其参考图像BLt-1、BLt-2和BLt+1可被处理以成为ILPt、ILPt-1、ILPt-2和ILPt+1。这些ILP参考和时间参考ELt-1、ELt-2和ELt+1可以由ILP管理单元1064检查。可以选择一个子集。在图10的示例中，被选择的参考图像可包括非共位的层间参考图像(如ILPt+1 1070)。对于其他示例，所选择的参考图像可包括对应于相同时间实例的多于一个的参考图像(如，ILPt+1 1070和ELt+1 1068)。

[0058] 例如，ILP管理单元1064可在当前EL图像(ELt)与时间和层间参考的合并集(ELt-1，ELt-2，ELt+1，ILPt，ILPt-1，ILPt-2，ILPt+1)中的一个或多个参考之间执行运动估计(例如，整数像素运动估计)。ILP管理单元1014可收集当前图像与被检查的一个或多个参考图像间的运动估计失真(如，平方误差的和，均方误差，和/或绝对转换失真的和)。ILP管理单元1064可选择导致运动估计失真低于预定义的阈值的参考图像的子集。ILP处理和管理单元1064可按照失真增加的顺序选择参考图像的子集，直到选出预定义数量的参考。可采用多通道编码来执行ILP管理操作。例如，第一编码通道可用于获取适合于选择参考图像的子集的视频编码统计，而一个或多个随后的编码通道可被用于对当前EL图像编码，直到编码性能(如，依据其速率失真特性)被认为符合要求。如图10所示，当确定要使用哪些参考图像时，ILP管理单元1064可将增强层视频作为其的一个输入。

[0059] 执行图像级ILP可允许底层低级编码和解码逻辑保持与在单层非可分级的系统中使用的那些基本上相同。例如，如图7所示，增强层编码器(如HEVC编码器)可以以与基础层编码器(如HEVC编码器)基本上相同的方式运行，可能的例外是在图像或切片级进行最小的重新配置(例如，以包括层间参考图像)。ILP处理和管理单元可使能可分级编码。ILP处理和管理单元可在系统中作为附加块运行。许多应用都非常期望这种特性，因为单层编码器和解码器设计可被最大限度地重新使用，因此显著降低实施复杂度。

[0060] 图7中的EL编码器7004可将在ILP处理和ILP管理期间使用的各种参数用信号发送给图8中的EL解码器8004，以能够构建和使用相同的层间参考。这些信息(在此处被称为ILP信息)可作为可分级比特流的一部分被发送。如图7所示，ILP处理和管理单元7012可将ILP信息从包括BL和EL视频的编码视频数据的分组中单独分包。可从视频分组中单独发送ILP信息，来以独立的方式实施ILP处理和管理单元并降低实施复杂度。例如，在HEVC和H.264中，网络抽象层(NAL)单元可以被作为分包单元。对于使用HEVC和H.264作为底层单层编解码器的可分级系统，ILP处理和管理单元可以在单独的NAL单元中发送ILP信息。在图7中，MUX 7014可对用EL比特流和BL比特流携带ILP信息的NAL单元进行复用。例如，如图8所示，DEMUX单元8002可接收包括NAL单元的可分级比特流，所述NAL单元对应于BL编码切片/图像、EL编码切片/图像以及ILP信息。DEMUX单元可对比特流进行解复用，并向BL解码器发送对应于BL编码切片/图像的NAL单元，向EL解码器发送对应于EL编码切片/图像的NAL单元，以及向ILP处理和管理单元发送对应于ILP信息的NAL单元。

[0061] 可分级视频编码系统可在HEVC中使用自适应参数集(APS)来传达ILP处理和管理单元所需的ILP信息。APS分组可以是单独的NAL单元，例如具有特定的nal_单元_类型(nal_unit_typ)。APS NAL单元可包括在单层编码中使用的编码参数，如自适应环路滤波(ALF)参数和/或去块滤波器参数。每个APS NAL单元可被分配一个aps_id，其可由编码切片使用以识别从哪个APS获取这些编码参数。HEVC中的APS语法可包括1比特标志，aps_扩展_标志(aps_extension_flag)。例如，当aps_extension_flag被设置为1时，随后可以是附加的APS数据。此处所公开的可分级系统可携带作为APS扩展的一部分的ILP信息。ILP信息可包括ILP处理参数(例如，在空间可分级性被使能的情况下的上采样滤波器，在视图可分级性被使能的情况下的视差补偿参数，在位深可分级性被使能的情况下的逆色调映射参数等等)。ILP信息可包括ILP管理参数。ILP管理参数可指定时间参考和/或层间参考的子集来预测当前EL图像，可与其他参考图像信令进行合并。ILP管理参数可能不是APS扩展的一部分，且可以作为切片片段报头的一部分被用信号发送。

[0062] 层间处理可从基础层DPB中得出重建的纹理，并应用高级滤波技术，以及在层间处理期间可依赖于来自基础层比特流的某个模式和运动信息，例如，以改善增强层中的编码效率。ILP可利用超过来自BL DPB的重建的纹理数据的基础层信息。可提供内模式相关方向滤波器(IMDDF)。例如，内编码基础层块的内预测模式可用于选择合适的方向滤波器，所述方向滤波器在增强层编码期间被用来进行层间预测前先被应用到基础层重建图像。可提供运动场映射(MFM)。来自基础层比特流的块运动信息(例如，其可包括参考图像索引和运动矢量)可被映射以形成针对ILR图像的“虚拟”运动场。所映射的虚拟运动场可被用于例如通过由HEVC支持的时间运动矢量预测(TMVP)来预测增强层运动。

[0063] 来自基础层比特流的模式和运动信息是否可用取决于BL解码器的特定实施。例如，如果图8中的可分级解码系统使用HEVC的ASIC实施作为其BL解码器，BL解码器可能不通过开放应用程序接口(API)向ILP处理和管理单元提供模式和运动信息。当来自基础层的附加的模式和运动信息(例如，如图8中的点划线所示)不可用时，高级ILP处理可被禁用。

[0064] 标准可分级性可允许BL编解码器和EL编解码器(如图7和图8中的编解码器)是不同的编解码器。例如，BL编解码器可使用H.264/AVC标准而EL编解码器可使用HEVC标准。当BL和EL编解码器不同时，对EL编解码器有用的某个信息可不自动存在于BL编解码器中。例如，HEVC标准可利用参考图像集(PRS)来实现DPB管理。在H.264/AVC标准中，可以由滑动窗DPB管理和存储管理命令选项(MMCO)的组合提供类似于RPS的功能性。如果EL编解码器根据例如此处所述的一种或多种实施执行层间RPS预测，并且如果BL编解码器因其基于H.264/AVC而不产生RPS信息，就不能以直接的方式应用层间RPS预测。在一些情况下，例如，如果BL编解码器使用不同于EL编解码器的标准，对EL编解码器有用的一种或多种类型的信息可能是不可用的。

[0065] 例如，由于实施限制，基础层(BL)视频比特流信息可变得不可用，和/或不具有用于有效的EL视频编码的合适的格式。此处所述的实施可包括增强型ILP处理和管理单元。所述增强型ILP单元可执行附加功能，以改善编码效率和/或提供对可分级编码系统的最大设计灵活性。

[0066] 可提供增强型ILP单元。可利用增强型ILP单元来在不降低可分级编码效率的情况下克服限制(如，实施限制)。增强型ILP单元可将存储在BL DPB中的参考图像处理为适合于对增强层视频进行预测的格式。增强型ILP单元可管理处理后的参考图像和/或决定(例如，自适应地决定)哪些处理后的图像将被用作由EL编码器进行的对EL视频的预测。增强型ILP单元可从基础层比特流中提取可被用于层间预测的模式和运动信息。例如，增强型ILP单元可使用被提取的模式和运动信息来将存储在BL DPB中的参考图像处理为适合于对增强层视频进行预测的格式。增强型ILP单元可将来自基础层比特流的信息转化为将在增强层编码中使用的合适的格式。例如，增强型ILP单元可将在H.264/AVC BL编解码器中使用的滑动窗DPB管理和MMCO转化为将由EL中的HEVC编解码器使用的RPS。

[0067] 图12是示出使用增强型ILP单元1202的可分级解码系统的示例的图。如图12所示，增强型ILP单元1202可执行一个或多个功能，例如包括对信息进行处理、管理、提取或转化。增强型ILP单元1202可利用BL重建图像，并根据由比特流解复用器(DEMUX)提供的ILP信息来应用层间处理技术，以生成处理后的BL重建图像。如果BL解码器1212不能提供用于层间处理的信息，(例如，BL解码器1212提供重建的BL图像但不提供BL比特流的模式和运动信息)，增强型ILP单元1202可得出该信息(例如，通过增强型ILP单元的提取功能，例如，如此处所述)。一个或多个处理后的BL重建图像可被插入到EL DPB 1214中，以进行增强层编码。

[0068] 增强型ILP单元1202可利用DEMUX 1216提供的ILP信息，并可确定所述一个或多个处理后的BL重建图像中的哪些可被插入到EL DPB 1214中。增强型ILP单元可确定处理后的BL重建图像的顺序。BL信息可能不具有用于增强型ILP单元(例如，用于增强型ILP单元的管理功能)的合适的格式。例如，如果BL比特流使用不同于由EL编解码器使用的标准的标准来被编码，BL信息可能不具有合适的格式。如果BL信息不具有用于增强型ILP单元1202的合适的格式，增强型ILP单元1202可将BL信息重新格式化和/或转化为合适的格式(例如，通过增强型ILP单元1202的转化功能，例如此处所述的)。如图5中的示例所示，增强型ILP单元1202可利用经转化的BL信息来执行合适的参考图像缓存管理。

[0069] 增强型ILP单元1202可提取BL信息。例如，如果BL视频信息能够由增强型ILP单元(例如，对于增强型ILP单元的处理功能)使用，但所述BL视频信息不可从BL解码器获得，则增强型ILP单元可以解析BL比特流并提取所述信息(例如，例如但不限于BL模式和运动信息)。所解析和提取出的信息可被增强型ILP单元使用(例如，被增强型ILP单元的处理功能所使用)。例如，BL模式信息可包括但不限于：基础层块是间编码的还是内编码的，对于内编码的基础层块的定向内预测模式等。BL运动信息可包括但不限于：基础层块划分、基础层块预测方向信息(例如，单向预测或双向预测)、基础层块运动矢量、基础层块参考图像索引等等。

[0070] 增强型ILP单元可转化BL信息。例如，如果BL视频信息不具有将由增强层编码使用的合适的格式，则增强型ILP单元可将BL视频信息重新格式化和转化为适用于增强层编码的格式。例如，当可分级系统(例如，图7和图8中所示例的)使用不同的BL和EL编解码器时，增强型ILP单元可重新格式化和转化BL信息。当可分级系统中使用混合编解码器时，增强型ILP单元可将来自BL编解码器的信息转化和准备成将由EL编解码器使用的合适的格式。例如，当增强层编解码器使用HEVC时，基于来自H.264/AVC基础层编解码器的滑动窗和MMCO命令的DPB管理信息可被转化为用于EL编码的RPS。增强型ILP单元可将来自任意BL编解码器的BL信息重新格式化并转化为可由任意增强层编解码器使用的信息。如图12所示，增强型ILP单元的输出可包括例如处理后的BL图像，所述处理后的BL图像可被插入到EL解码图像缓存(DPB)1214中，以进行有效的层间预测。增强型ILP单元可输出BL模式和运动信息，经转化的RPS信息等。

[0071] 增强型ILP单元1202可提供可用于实现有效可分级视频编码的信息，例如当这种附加信息不容易从基础层编解码器中获得时。增强型ILP单元1202可被设计用于使单层编解码器实施的使用最大化。增强型ILP单元1202可在BL编解码器与EL编解码器间提供无缝且有效的接口，例如，通过引入单层编解码器实施无法执行的功能。例如，增强型ILP单元1202可允许有效的可分级编码，而不影响基础层和增强层编解码器的较低级的功能(例如，内预测、间预测、转换、量化、逆转换、逆量化、环路滤波、块重建等等)。可在具有高编码效率和能支持混合编解码器架构(例如，基础层编码器和/或解码器以及增强层编码器和/或解码器可采用不同的编解码器)的可分级系统中使用增强型ILP单元1202。增强型ILP单元可降低实施成本并保持可分级编码效率。

[0072] 参考图3和图4，块级ILP可被用于进一步改善可分级编码性能。虽然块级ILP可能需要增强层编码器和解码器具有和基础层编码器和解码器不同的底层逻辑(例如，以附加编码模式、针对算法编码的附加环境(context)等的形式)，但是块级ILP可允许编码器基于速率失真考虑从扩展的操作模式集合中做选择。附加的选择可表现在以更高可分级编码性能的形式。例如，视频编码标准可以是具有图5和图6所示的框图的混合的基于块的视频编码系统。

[0073] 在HEVC的情况下，视频块在被用于预测时可被称为预测单元(PU)，在被用作编码单元时可被称为编码树块(CTB)，以及在被用于转换和逆转换时可被称为转换单元(TU)。HEVC可使用基于四叉树(QT)的分区(partitioning)。因为基础层和增强层视频信号是相关的，对应的块编码模式和大小(包括但不限于PU、TU和CTB)也是相关的。增强层编码器和解码器可利用所述相关来改善增强层中的QT分裂的编码、PU、TU和CTB模式和/或大小。
这可减小信令开销。当在两层之间使能空间可分级性时，可首先应用块大小调整。例如，如果EL视频和BL视频的空间比率是2:1时(例如，EL视频在每个维度中是2倍那么大)，则基础层PU、TU和CTB的大小在被用于预测增强层块大小前可在每个维度中乘以因子2。基础层块模式和/或大小可被用作附加的二进制算法编码器的环境，以对增强层块模式和/或大小进行编码。视频编码系统可将得出的块(例如，PU、TU或者CTB)信息(例如，模式和/或大小)分配给图像级层间参考图像。视频编码设备可使用这些得出的块信息来预测在层(例如EL层)处的块。

[0074] 当在同一时间实例t，针对基础层和增强层图像和/或切片使能运动补偿预测时，来自基础层的运动矢量可被用于预测增强层中的运动矢量。例如，当空间可分级性被使能时，来自基础层的运动矢量可以被适当地分级。例如，如图11所示，在同一时间实例t，在BL1102中，可在时间实例(t-1)利用运动矢量MVa 1106从BL参考预测水平散列的块1104。
如果在时间实例(t-1)1108从EL参考预测出，EL中的分级水平散列的块可以具有其值接近于R*MVa的运动矢量，其中R可以是空间分级比率。对于EL中垂直散列的块1110，对应的基础层垂直散列的块1112可从时间实例(t-2)1114利用运动矢量MVb来预测。如果在时间实例(t-2)1116从EL参考预测出，EL中的分级垂直散列的块可以具有其值基本上接近于R*MVb的运动矢量。当视图可分级性被使能时，代表第一视图的来自基础层的运动矢量可被翘曲和/或仿射变换，以补偿视图偏差，以使它们能与代表第二视图的增强层中的运动矢量最大限度地相关。为了利用层间运动矢量间的这种强相关性，分级基础层运动矢量(或在视图可分级性的情况下被翘曲/转换的运动矢量)可被用作运动矢量预测者，以减少增强层运动矢量编码比特。

[0075] 块级层间预测可涉及根据基础层残差预测增强层中的残差信号。例如，残差预测可以在从增强层残差中减去来自基础层的块残差(例如，如果需要，在被上采样成合适的维度之后)的情况下被执行，以进一步减少增强层残差能量和对其进行编码所需的比特数。可使用块级层间预测技术来以类似于在SVC中所使用的方式对EL纹理(例如，像素值)编码。在以上讨论的可分级系统中，可以图像级ILP的形式提供纹理预测。

[0076] 用于多层视频编码的可分级架构(例如，灵活的可分级架构)可被重配置为支持表1所列的不同类型的可分级性中的任意一者。例如，一个操作模式可集中于图像级ILP。例如，ILP处理和管理单元可处理基础层参考图像，使得基础层参考图像集可以具有合适的格式，并可以为增强层视频编码提供准确和有效的预测信号。例如，ILP处理和管理单元可从时间参考和处理后的层间参考的组合中选择子集，以实现任意良好的速率、失真和/或计算复杂度的权衡。例如，ILP处理和管理单元可将ILP信息分包成单独的NAL单元，使得可以以对基础和增强层编码器和解码器操作最小的干扰来执行层间预测操作。图像级ILP的包含物可以通过允许可分级系统在基础层和增强层处最大限度地重新使用单层编码器和解码器逻辑来降低实施复杂度。

[0077] 图13A是在其中可以实施一个或多个公开的实施方式的示例通信系统100的图。通信系统100可以是向多个无线用户提供内容(例如语音、数据、视频、消息发送、广播等)的多接入系统。通信系统100可以使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问这些内容。例如，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)，时分多址(TDMA)，频分多址(FDMA)，正交FDMA(OFDMA)，单载波FMDA(SC-FDMA)等。

[0078] 如图13A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、和/或102d(其通常或整体上被称为WTRU 102)，无线电接入网(RAN)103/104/105，核心网106/107/109，公共交换电话网(PSTN)108、因特网110和其他网络112。不过应该理解的是，公开的实施方式考虑到了任何数量的WTRU、基站、网络和/或网络元件。WTRU
102a、102b、102c、102d的每一个可以是被配置为在无线环境中进行操作和/或通信的任何类型的设备。作为示例，WTRU 102a、102b、102c、102d可以被配置为传送和/或接收无线信号，并可以包括无线发射/接收单元(WTRU)、移动站、固定或者移动用户单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、消费电子产品等等。

[0079] 通信系统100还可以包括基站114a和基站114b。基站114a、114b的每一个都可以是被配置为与WTRU 102a、102b、102c、102d中的至少一个无线对接以便于接入一个或者多个通信网络(例如核心网106/107/109、因特网110和/或网络112)的任何类型的设备。作为示例，基站114a、114b可以是基站收发信台(BTS)、节点B、e节点B、家用节点B、家用e节点B、站点控制器、接入点(AP)、无线路由器等等。虽然基站114a、114b的每一个被描述为单独的元件，但是应该理解的是，基站114a、114b可以包括任何数量的互连基站和/或网络元件。

[0080] 基站114a可以是RAN 103/104/105的一部分，所述RAN 103/104/105还可以包括其他基站和/或网络元件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站114a和/或基站114b可以被配置为在特定地理区域内传送和/或接收无线信号，该区域可以被称为小区(未显示)。小区还可以被划分为小区扇区。例如，与基站114a关联的小区可以划分为三个扇区。因此，在一种实施方式中，基站114a可以包括三个收发信机，即每一个用于小区的一个扇区。在一种实施方式中，基站114a可以使用多输入多输出(MIMO)技术，因此可以将多个收发信机用于小区的每一个扇区。

[0081] 基站114a、114b可以通过空中接口115/116/117与WTRU 102a、102b、102c、102d中的一个或者多个通信，该空中接口115/116/117可以是任何合适的无线通信链路(例如，射频(RF)、微波、红外(IR)、紫外(UV)、可见光等)。可以使用任何合适的无线电接入技术(RAT)来建立空中接口115/116/117。

[0082] 更具体地，如上所述，通信系统100可以是多接入系统，并可以使用一种或者多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 103/104/105中的基站114a和WTRU 102a、102b、102c可以实施例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括例如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)的通信协议。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。

[0083] 在一种实施方式中，基站114a和WTRU 102a、102b、102c可以实施例如演进型UMTS陆地无线电接入(E-UTRA)的无线电技术，其可以使用长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口115/116/117。

[0084] 在一种实施方式中，基站114a和WTRU 102a、102b、102c可以实施例如IEEE802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA20001X、CDMA2000EV-DO、暂行标准2000(IS-2000)、暂行标准95(IS-95)、暂行标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强型数据速率(EDGE)、GSM EDGE(GERAN)等等的无线电技术。

[0085] 图13A中的基站114b可以是无线路由器、家用节点B、家用e节点B或者接入点，例如，并且可以使用任何适当的RAT以便于局部区域中的无线连接，例如商业场所、住宅、车辆、校园等等。在一种实施方式中，基站114b和WTRU 102c、102d可以实施例如IEEE 802.11的无线电技术来建立无线局域网(WLAN)。在一种实施方式中，基站114b和WTRU 102c、102d可以实施例如IEEE 802.15的无线电技术来建立无线个域网(WPAN)。在另一种实施方式中，基站114b和WTRU 102c、102d可以使用基于蜂窝的RAT(例如，WCDMA，CDMA2000，GSM，LTE，LTE-A等)来建立微微小区或毫微微小区。如图13A所示，基站114b可以具有到因特网110的直接连接。因此，基站114b可以不需要经由核心网106/107/109而接入因特网110。

[0086] RAN 103/104/105可以与核心网106/107/109通信，所述核心网106/107/109可以是被配置为向WTRU 102a、102b、102c、102d中的一个或多个提供语音、数据、应用和/或网际协议上的语音(VoIP)服务等的任何类型的网络。例如，核心网106/107/109可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等、和/或执行高级安全功能，例如用户认证。虽然图13A中未示出，应该理解的是，RAN 103/104/105和/或核心网106/107/109可以与使用和RAN 103/104/105相同的RAT或不同RAT的其他RAN进行直接或间接的通信。例如，除了连接到正在使用E-UTRA无线电技术的RAN103/104/105之外，核心网106/107/109还可以与使用GSM无线电技术的RAN(未示出)通信。

[0087] 核心网106/107/109还可以充当WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供普通老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用公共通信协议的全球互联计算机网络和设备系统，所述协议例如有TCP/IP网际协议组中的传输控制协议(TCP)、用户数据报协议(UDP)和网际协议(IP)。网络112可以包括被其他服务提供商拥有和/或运营的有线或无线通信网络。例如，网络112可以包括连接到一个或多个RAN的核心网，该RAN可以使用和RAN103/104/105相同的RAT或不同的RAT。

[0088] 通信系统100中的WTRU 102a、102b、102c、102d的某些或全部可以包括多模式能力，即WTRU 102a、102b、102c、102d可以包括用于在不同无线链路上与不同无线网络进行通信的多个收发信机。例如，图13A中示出的WTRU 102c可被配置为与可以使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。

[0089] 图13B是示例WTRU 102的系统图。如图13B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和其他外围设备138。应该理解的是，在保持与实施方式一致时，WTRU 102可以包括前述元件的任何子组合。而且，实施方式考虑了基站114a和114b和/或基站114a和114b可以表示的节点(诸如但不局限于收发信台(BTS)、节点B、站点控制器、接入点(AP)、家用节点B、演进型家用节点B(e节点B)、家用演进型节点B(HeNB)、家用演进型节点B网关和代理节点等)，可以包括图13B所描述的和这里描述的元件中的一些或每个。

[0090] 处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或使WTRU 102能够运行于无线环境中的任何其他功能。处理器118可以耦合到收发信机120，所述收发信机120可耦合到发射/接收元件122。虽然图13B描述了处理器118和收发信机120是单独的部件，但是应该理解的是，处理器118和收发信机120可以一起被集成在电子封装或芯片中。

[0091] 发射/接收元件122可以被配置为通过空中接口115/116/117将信号传送到基站(例如，基站114a)，或从基站(例如，基站114a)接收信号。例如，在一种实施方式中，发射/接收元件122可以是被配置为传送和/或接收RF信号的天线。在一种实施方式中，发射/接收元件122可以是被配置为传送和/或接收例如IR、UV或可见光信号的发射器/检测器。在另一种实施方式中，发射/接收元件122可以被配置为传送和接收RF和光信号两者。应当理解，发射/接收元件122可以被配置为传送和/或接收无线信号的任何组合。

[0092] 另外，虽然发射/接收元件122在图13B中被描述为单个元件，但是WTRU 102可以包括任意数量的发射/接收元件122。更具体的，WTRU 102可以使用MIMO技术。因此，在一种实施方式中，WTRU 102可以包括用于通过空中接口115/116/117传送和接收无线信号的两个或更多个发射/接收元件122(例如，多个天线)。

[0093] 收发信机120可以被配置为调制要由发射/接收元件122传送的信号和/或解调由发射/接收元件122接收的信号。如上面提到的，WTRU 102可以具有多模式能力。因此收发信机120可以包括用于使得WTRU 102能够经由多个RAT(例如UTRA和IEEE 802.11)通信的多个收发信机。

[0094] WTRU 102的处理器118可以耦合到下述设备，并且可以从下述设备中接收用户输入数据：扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如，液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)。处理器118还可以输出用户数据到扬声器/麦克风124、键盘126和/或显示器/触摸板128。另外，处理器118可以从任何类型的适当的存储器访问信息，并且可以存储数据到任何类型的适当的存储器中，所述存储器例如不可移除存储器130和/或可移除存储器132。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器存储设备。可移除存储器132可以包括用户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等等。在一个实施方式中，处理器118可以从在物理上没有位于WTRU 102上(例如位于服务器或家用计算机(未示出)上)的存储器访问信息，并且可以将数据存储在该存储器中。

[0095] 处理器118可以从电源134接收电力，并且可以被配置为分发和/或控制到WTRU102中的其他部件的电力。电源134可以是给WTRU 102供电的任何适当的设备。例如，电源134可以包括一个或更多个干电池(例如，镍镉(NiCd)、镍锌(NiZn)、镍氢(NiMH)、锂离子(Li-ion)等等)，太阳能电池，燃料电池等等。

[0096] 处理器118还可以耦合到GPS芯片组136，所述GPS芯片组136可以被配置为提供关于WTRU 102的当前位置的位置信息(例如，经度和纬度)。作为来自GPS芯片组136的信息的补充或作为其替代，WTRU 102可以通过空中接口115/116/117从基站(例如，基站114a、114b)接收位置信息和/或基于从两个或更多个邻近基站接收的信号的定时来确定其位置。应当理解，在保持实施方式的一致性时，WTRU 102可以通过任何适当的位置确定方法来获得位置信息。

[0097] 处理器118还可以耦合到其他外围设备138，所述外围设备138可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备138可以包括加速计、电子罗盘、卫星收发信机、数字相机(用于照片或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、蓝牙模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。

[0098] 图13C是根据实施方式的RAN 103和核心网106的系统图。如上所述，RAN 103可使用UTRA无线电技术以通过空中接口115与WTRU 102a、102b、102c通信。RAN 103还可以与核心网106通信。如图13C所示，RAN 103可以包括节点B 140a、140b、140c，所述节点B 140a、140b、140c的每一个可以包括一个或多个用于通过空中接口115与WTRU 102a、102b、102c通信的收发信机。节点B 140a、140b、140c的每一个可以与RAN 103内的特定小区(未显示)关联。RAN 103还可以包括RNC 142a、142b。应当理解的是，在保持实施方式的一致性时，RAN 103可以包括任意数量的节点B和RNC。

[0099] 如图13C所示，节点B 140a、140b可以与RNC 142a通信。此外，节点B 140c可以与RNC 142b通信。节点B 140a、140b、140c可以经由Iub接口与各自的RNC 142a、142b通信。RNC 142a、142b可以经由Iur接口相互通信。RNC 142a、142b的每一个可以被配置为控制与其连接的各个节点B 140a、140b、140c。另外，RNC 142a、142b的每一个可以被配置为执行或支持其他功能，例如外环功率控制、负载控制、准入控制、分组调度、切换控制、宏分集、安全功能、数据加密等等。

[0100] 图13C中所示的核心网106可以包括媒体网关(MGW)144、移动交换中心(MSC)146、服务GPRS支持节点(SGSN)148、和/或网关GPRS支持节点(GGSN)。尽管前述元件的每一个被描述为核心网106的一部分，应当理解的是，这些元件中的任何一个可以被除核心网运营商以外的实体拥有和/或运营。

[0101] RAN 103中的RNC 142a可以经由IuCS接口连接至核心网106中的MSC 146。MSC146可以连接至MGW 144。MSC 146和MGW 144可以向WTRU 102a、102b、102c提供到电路交换网络(例如PSTN 108)的接入，以便于WTRU 102a、102b、102c与传统陆线通信设备之间的通信。

[0102] RAN 103中的RNC 142a还可以经由IuPS接口连接至核心网106中的SGSN 148。SGSN 148可以连接至GGSN 150。SGSN 148和GGSN 150可以向WTRU 102a、102b、102c提供到分组交换网络(例如因特网110)的接入，以便于WTRU 102a、102b、102c与IP使能设备之间的通信。

[0103] 如上所述，核心网106还可以连接至网络112，该网络112可以包括由其他服务提供商拥有和/或运营的其他有线或无线网络。

[0104] 图13D是根据实施方式的RAN 104和核心网107的系统图。如上所述，RAN 104可使用E-UTRA无线电技术以通过空中接口116与WTRU 102a、102b、102c通信。RAN 104还可以与核心网107通信。

[0105] RAN 104可包括e节点B 160a、160b、160c，但可以理解的是，在保持与各种实施方式的一致性的同时，RAN 104可以包括任意数量的e节点B。e节点B 160a、160b、160c的每一个可包括一个或多个用于通过空中接口116与WTRU 102a、102b、102c通信的收发信机。在一种实施方式中，e节点B 160a、160b、160c可以实施MIMO技术。因此，e节点B 160a例如可以使用多个天线来向WTRU 102a传送无线信号，以及从该WTRU 102a接收无线信号。

[0106] e节点B 160a、160b、160c的每一个可以与特定小区关联(未显示)，并可以被配置为处理无线电资源管理决策、切换决策、在上行链路和/或下行链路中的用户调度等等。如图8D所示，e节点B 160a、160b、160c可以通过X2接口相互通信。

[0107] 图8D中所示的核心网107可以包括移动性管理网关(MME)162、服务网关164和/或分组数据网络(PDN)网关166。虽然前述元件的每一个被描述为核心网107的一部分，应当理解的是，这些元件中的任意一个可以由除了核心网运营商之外的实体拥有和/或运营。

[0108] MME 162可以经由S1接口连接到RAN 104中的e节点B 160a、160b、160c的每一个，并可以作为控制节点。例如，MME 162可以负责认证WTRU 102a、102b、102c的用户、承载激活/去激活、在WTRU 102a、102b、102c的初始附着期间选择特定服务网关等等。MME 162还可以提供控制平面功能，以用于在RAN 104与使用例如GSM或者WCDMA的其他无线电技术的其他RAN(未显示)之间切换。

[0109] 服务网关164可以经由S1接口连接到RAN 104中的eNB 160a、160b、160c的每一个。服务网关164通常可以路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。服务网关164还可以执行其他功能，例如在e节点B间切换期间锚定用户平面、当下行链路数据对于WTRU 102a、102b、102c可用时触发寻呼、管理和存储WTRU 102a、102b、102c的上下文等等。

[0110] 服务网关164还可以连接到PDN网关166，该PDN网关166可以向WTRU 102a、102b、102c提供到分组交换网络(例如因特网110)的接入，以便于WTRU 102a、102b、102c与IP使能设备之间的通信。

[0111] 核心网107可以便于与其他网络的通信。例如，核心网107可以向WTRU 102a、102b、102c提供到电路交换网络(例如PSTN 108)的接入，以便于WTRU 102a、102b、102c与传统陆线通信设备之间的通信。例如，核心网107可以包括IP网关(例如IP多媒体子系统(IMS)服务器)，或者与之通信，该IP网关作为核心网107与PSTN 108之间的接口。另外，核心网107可以向WTRU 102a、102b、102c提供到网络112的接入，该网络112可以包括被其他服务提供商拥有和/或运营的其他有线或无线网络。

[0112] 图13E是根据实施方式的RAN 105和核心网109的系统图。RAN 105可以是使用IEEE 802.16无线电技术通过空中接口117与WTRU 102a、102b、102c进行通信的接入服务网络(ASN)。如下面进一步讨论的，WTRU 102a、102b、102c，RAN 105和核心网109的不同功能实体之间的通信链路可以被定义为参考点。

[0113] 如图13E所示，RAN 105可以包括基站180a、180b、180c和ASN网关182，但应当理解的是，在保持与实施方式的一致性的同时，RAN 105可以包括任意数量的基站和ASN网关。基站180a、180b、180c的每一个可以与RAN 105中特定小区(未示出)关联，并可以包括一个或多个用于通过空中接口117与WTRU 102a、102b、102c通信的收发信机。在一个实施方式中，基站180a、180b、180c可以实施MIMO技术。因此，基站180a例如可以使用多个天线来向WTRU 102a传送无线信号，以及从其接收无线信号。基站180a、180b、180c还可以提供移动性管理功能，例如切换(handoff)触发、隧道建立、无线电资源管理，业务分类、服务质量策略执行等等。ASN网关182可以充当业务聚集点，并且可以负责寻呼、用户简档(profile)的缓存、到核心网109的路由等等。

[0114] WTRU 102a、102b、102c与RAN 105之间的空中接口117可以被定义为实施802.16规范的R1参考点。另外，WTRU 102a、102b、102c的每一个可以与核心网109建立逻辑接口(未显示)。WTRU 102a、102b、102c与核心网109之间的逻辑接口可以被定义为R2参考点，其可以用于认证、授权、IP主机(host)配置管理和/或移动性管理。

[0115] 基站180a、180b、180c的每一个之间的通信链路可以被定义为包括便于WTRU切换和基站间数据转移的协议的R8参考点。基站180a、180b、180c与ASN网关182之间的通信链路可以被定义为R6参考点。R6参考点可以包括用于便于基于与WTRU 102a、102b、102c的每一个关联的移动性事件的移动性管理的协议。

[0116] 如图13E所示，RAN 105可以连接至核心网109。RAN 105与核心网109之间的通信链路可以被定义为包括例如便于数据转移和移动性管理能力的协议的R3参考点。核心网109可以包括移动IP本地代理(MIP-HA)184，认证、授权、计费(AAA)服务器186和网关188。尽管前述的每个元件被描述为核心网109的一部分，应当理解的是，这些元件中的任意一个可以由除核心网运营商以外的实体拥有和/或运营。

[0117] MIP-HA可以负责IP地址管理，并可以使得WTRU 102a、102b、102c能够在不同ASN和/或不同核心网之间漫游。MIP-HA 184可以向WTRU 102a、102b、102c提供对分组交换网络(例如因特网110)的接入，以便于WTRU 102a、102b、102c与IP使能设备之间的通信。AAA服务器186可以负责用户认证和支持用户服务。网关188可便于与其他网络互通。例如，网关188可以向WTRU 102a、102b、102c提供对电路交换网络(例如PSTN 108)的接入，以便于WTRU 102a、102b、102c与传统陆线通信设备之间的通信。此外，网关188可以向WTRU
102a、102b、102c提供对网络112的接入，该网络112可以包括由其他服务提供商拥有和/或运营的其他有线或无线网络。

[0118] 尽管未在图1E中显示，应当理解的是，RAN 105可以连接至其他ASN，并且核心网109可以连接至其他核心网。RAN 105与其他ASN之间的通信链路可以被定义为R4参考点，该R4参考点可以包括用于协调RAN 105与其他ASN之间的WTRU 102a、102b、102c的移动性的协议。核心网109与其他核心网之间的通信链路可以被定义为R5参考，该R5参考可以包括便于本地核心网与被访问核心网之间的互通的协议。

[0119] 本领域的普通技术人员可理解，每个特征或元素可以单独使用或与其他特征和元素进行组合使用。此外，此处描述的方法可以在引入到计算机可读介质中并供计算机或处理器运行的计算机程序、软件或固件中实施。计算机可读介质的示例包括电信号(通过有线或无线连接传送)和计算机可读存储介质。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、例如内部硬盘和可移除磁盘的磁介质、磁光介质和例如CD-ROM磁盘和数字多用途碟片(DVD)的光介质。与软件关联的处理器可以被用于实施在WTRU、WTRU、终端、基站、RNC或任何主计算机中使用的射频收发信机。

[0120] 尽管使用两层可分级系统进行了描述，但本领域的技术人员可以将这里讨论的架构扩展成多层可分级视频编码系统。此外，尽管HEVC常被用作样本单层编解码器，但系统可以较少地依赖于底层单层视频编解码器本身，并且可以与任意其他单层编解码器合并。本领域的普通技术人员将能认识到，每个特征或元素能够被单独使用，或与其他特征和元素进行任意组合。

[0121] 此处描述的方法可以在引入到计算机可读介质中并供计算机或处理器运行的计算机程序、软件或固件中实施。计算机可读介质的示例包括电信号(通过有线或无线连接传送)和计算机可读存储介质。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、例如内部硬盘和可移除磁盘的磁介质、磁光介质和例如CD-ROM磁盘和数字多用途碟片(DVD)的光介质。与软件关联的处理器可以被用于实施在WTRU、WTRU、终端、基站、RNC或任何主计算机中使用的射频收发信机。

标题	发布/更新时间	阅读量
分层结构预判的快速视频编码方法-专利编号CN102186070A	2020-05-13	388
用于可伸缩视频编码的层间预测方法-专利编号CN105052144B	2020-05-11	1151
多层视频编码-专利编号CN101313583A	2020-05-11	916
基于多层的视频编码方法及其装置-专利编号CN101467461B	2020-05-12	694
用于可缩放视频编码的层间预测-专利编号CN105765979A	2020-05-13	1193
视频编码中的层切换-专利编号CN105612746A	2020-05-11	407
用于多层视频编码的编解码器架构-专利编号CN104429071A	2020-05-12	987
用于增强层视频编码的适应性量化-专利编号CN102057677B	2020-05-12	647
多层视频编码-专利编号CN101313583B	2020-05-11	762
用于增强层视频编码的适应性量化-专利编号CN102057677A	2020-05-13	239

用于多层视频编码的编解码器架构

用于多层视频编码的编解码器架构

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式