针对编码效率的一般改进的新数字视频编码技术具有多种新结构特 性。具体而言，一个重要的新特性是可分级性(scalability)。在可分级编 码中，一个特别而重要的新特性是可分级性。在可分级编码中，原始或源 信号使用两个或更多分层地结构化的比特流来表示。分层结构意味着给定 比特流的解码取决于在该分层结构中更低的某些或所有其它比特流的可用 性。每一比特流及其所依赖的比特流提供了对原始信号的在特定时域、质 量(即，在信噪比即SNR方面)、或空域分辨率下的表示。
应当理解的是，术语“可分级”不是指在数量方面的量值或数值范围， 而是指编码技术提供一组不同的比特流的能力，这些不同的比特流一般对 应于原始或源信号的在不同“等级”的分辨率或其它质量下的表示。被称 为可分级视频编码(SVC)的ITU-T H.264附录G规范是提供时间、质量、 或空间维度三者中的视频编码可分级性的视频编码标准的示例。SVC是 H.264标准(也称为高级视频编码即AVC)的扩展。也提供所有这三种类 型的可分级性的较早标准的示例是ISO MPEG-2(还公布为ITU-T H.262)。 ITU G.729.1(也称为G.729EV)是提供可分级音频编码的标准的示例。在 共同转让的国际专利申请PCT/US06/028365中描述了专门为诸如视频会议 之类的交互式视频通信应用设计的可分级视频编码技术。
将可分级性的概念引入视频和音频编码中作为对流传送和广播中的分 发问题的解决方案，且为了使给定的通信系统与不同的接入网络(例如以 不同的带宽连接的客户机)、网络状况(例如带宽波动)、以及客户机设 备(例如使用大监视器的个人计算机相对于具有小得多的屏幕的手持设备) 一起工作。
共同转让的国际专利申请PCT/US06/028365描述了被称为可分级视频 通信服务器(SVCS)的新型服务器的设计。SVCS能有利地将可分级编码 的视频用于高质量和低延迟的视频通信，且相比于传统切换或转码多点控 制单元(MCU)具有显著降低的复杂程度。同样，共同转让的国际专利申 请PCT/US06/62569描述了一种复合可分级视频编码服务器(CSVCS)，其 具有与SVCS相同的优点但产生单个已编码输出比特流。国际专利申请 PCT/US07/80089描述了一种多播可分级视频编码服务器(MSVCS)，其具 有与SVCS相同的优点但利用可用的多播通信信道。在以下说明中为方便 起见，这三种不同类型的服务器(SVCS、CSVCS、以及MSVCS)将共同 被称为SVCS，除非另外说明。
可分级视频编码设计和SVCS架构可按照更有利的方法来使用，在共 同转让的国际专利申请PCT/US06/028367、PCT/US06/027368、 PCT/US06/061815、PCT/US07/062357、以及PCTUS07/063335中描述了这 些方法。这些申请分别描述了可分级编码技术和SVCS架构用于服务器之 间的有效中继、减少抖动缓冲延迟、误差复原和随机访问、用来提高编码 效率且减小分组丢失的可分级视频比特流的“细化(thinning)”、以及码率控 制的使用。另外，共同转让的国际专利申请PCT/US07/65554描述了用于在 可分级视频编码格式和其它格式之间转码的技术。
典型的可分级视频编码系统中的分层编码过程遵循金字塔设计。第一 基本层利用适合于单层编码的基线编码技术来构造。在SVC的情况下，该 基本层利用H.264AVC来编码。按此方法编码基本层具有的好处是，最低 可分级层与仅能处理不可分级视频的系统后向兼容。附加层(称为增强层) 通过对原始信号与较低层的已解码输出之间的差异的进一步编码来构造。 该过程类似于对原始信号的连续逼近。
各个附加增强层提高了已编码信号在三个可能的保真维度之一中的保 真度：时间、质量(或SNR)、或空间。时间增强在被添加到基本层时提 供具有更高的每秒图像或帧数(fps)的信号表示。在质量可分级性中空间 或时间分辨率都不会被改变；相反，残差编码误差以更精细的量化来进一 步编码。因为更精细的量化将导致更高的SNR，所以这种形式的可分级性 通常被称为SNR可分级性。SNR可分级性进一步被划分成粗粒度和细粒度 可分级性(分别是CGS和FGS)。它们的差别在于，在后一种情况下使用 嵌入的编码方案对残差编码误差编码，从而即使在解码过程中仅使用增强 层的一小部分，也能允许较低层SNR的改善。来自FGS层的可用比特越多， 对较低层的SNR的改善越好。为此，该技术也被称为“渐进式精细化 (progressive refinement)”。在CGS中，整个增强层在解码期间一般都必 须可用。最后，空间增强提供较高空间分辨率下的信号表示(例如CIF相 对于QCIF)。应当注意的是，为了构造残差编码误差，即原始信号与较低 层的已解码输出之间的差异，较低层的输出必须被升采样至原始信号的分 辨率。
视频编码中的高编码效率通过利用用于预测图像内容的有效模型，加 上所得预测误差的适当变形(例如利用离散余弦变换或整数逼近)、量化、 以及对所得量化水平和由预测和编码过程产生的副信息的熵编码来实现。 一种用于产生给定视频信号的多个表示的简单机制可以是创建原始信号的 相应子集的两个或更多个单独的编码。此技术通常被称为同播 (simulcasting)。可分级视频编码通过将较低层用作较高层的编码的预测 参考可达到相比于同播更高的编码增益。该层间预测利用了在视频信号的 三个维度上存在的固有冗余。因此在可分级视频编码器中，通过附加的预 测模式选项使较低层数据可用。这些附加选项在编码器最小化已编码视频 信号的失真同时保持给定的比特预算的任务中给予编码器更多的灵活性。 同时应当注意的是，因为要检查更多的可能性，所以附加选项会使编码任 务更加复杂。
SVC的一个重要特征是使用了单循环解码。这通过将编码器限制为仅 将可通过解析比特流直接或的较低层数据用于层间预测来实现。换言之， 解码较高层的解码器不需要完全解码较低层(即重构实际像素)，而仅需 要解析较低层的比特流数据。这显著地降低了解码器的计算要求，而且是 相对于诸如MPEG-2中使用的编码设计之类的较早的可分级编码设计的重 大改进。
不过即使在单循环解码的情况下，可分级编码中的解码器的任务在计 算上要求仍很高，因为对于每一层的每一个宏块(MB)或宏块分区，编码 器都必须根据预测模式、运动向量、以及量化器设置作出决策。计算需求 在诸如视频会议之类的实时应用中甚至会更加明显，因为图像在视频会议 中必须在给定的时间量内以极小延迟来处理。
当前考虑的事项是要改进可分级视频编码系统以便可执行计算上高效 的编码。具体而言，所关注的涉及通过在已编码视频信号中对预测模式的 适当信令来改进编码效率。
发明概述
提供了利用特别的层间预测模式(称为套叠式模式(telescopic mode)) 的用于可分级视频编码的系统和方法。这些模式促进了编码器的具有改善 的编码效率的加速操作。
一种可分级视频通信系包括适用于或被配置成用于套叠式模式操作的 解码器和编码器。解码器接收具有增强目标层和其它层的已编码单元组的 可分级数字视频比特流。该数字视频比特流包括与已编码单元组关联的控 制数据(包括预测控制数据)，以及与各单独的已编码单元相关联的控制 (包括预测)、纹理、或运动数据。解码器解码与目标层和至少一个附加 层的已编码单元组相关联的控制数据，以及与目标层和至少一个附加层的 各单独的已编码单元相关联的控制、纹理、或运动数据。耦合到解码器的 预测器如与目标层或至少一个附加层的已编码单元组相关联的预测控制数 据用信号通知地、或根据与目标层或至少一个附加层的各单独的已编码单 元相关联的预测控制数据，来生成对目标层的多个已编码单元的控制、纹 理、或运动数据的预测参考。组合器将所生成的预测参考与相应的与目标 层的多个已编码单元相关联的已解码的控制、纹理、或运动数据相组合以 产生对应于目标层的多个已编码单元的已解码图像。
与目标层或至少一个附加层的已编码单元组相关联的预测控制数据以 及与目标层或至少一个附加层的各单独的已编码单元相关联的预测控制数 据包括层间预测控制数据。预测器被配置成当数字视频比特流中不存在与 目标层的已编码单元组的各单独的已编码单元相关联的相应层间预测控制 数据时使用由与目标层的已编码单元组相关联的层间预测控制数据所指示 的值。
编码器接收要发送的数字视频输入图像。可任选的降采样器可生成输 入图像的在较低分辨率下的经将采样的图像。耦合至可任选工作的降采样 器或输入的第一预测估计器和提供要用作参考图像的多个先前解码的基本 层图像的第一组合器生成与该(可任选地经降采样的)图像的多个已编码 单元相关联的第一组控制(包括预测)和运动数据预测参考、或与该(可 任选地经将采样的)图像的已编码单元组相关联的控制数据(包括预测控 制数据)，并生成对应于已编码单元的第一预测参考图像的各部分。
耦合至第一预测估计器和可任选将采样器或输入的第一比较器计算 (任选地经将采样的)输入图像与第一预测参考图像的各部分之间的差异， 并生成与(可任选地经将采样的)输入图像的多个已编码单元相关联的第 二组控制(包括预测)和纹理数据、以及与(任选地经将采样的)输入图 像的已编码单元组相关联的控制(包括预测)数据。耦合至第一比较器和 第一预测估计器的第一组合器将所生成的第二组控制(包括预测)和纹理 数据与其在第一预测参考图像中的相应部分相组合以生成新的基本层已解 码图像的相应部分。
耦合至输入的第二预测估计器和提供要用作参考图像的多个先前已解 码的增强层图像的第二组合器生成与该输入图像的多个已编码单元相关联 的第三组控制(包括预测)和运动数据预测参考、或与该输入图像的已编 码单元组相关联的控制数据(包括预测控制数据)，并生成对应于已编码 单元的第二预测参考图像的各部分。
耦合至第二预测估计器和输入的第二比较器计算输入图像与第二预测 参考图像的各部分之间的差异，并生成与输入图像的多个已编码单元相关 联的第四组控制(包括预测)和纹理数据、以及与输入图像的已编码单元 组相关联的控制(包括预测)数据。
耦合至第二比较器和第二预测估计器的第二组合器将所生成的第四组 控制(包括预测)和纹理数据与其在第二预测参考图像中的相应部分相组 合以生成新的增强层已解码图像的相应部分。
编码器对第一组控制(包括预测)和运动数据以及第二组控制(包括 预测)和纹理数据进行编码以产生基本层比特流，对第三组控制(包括预 测)和运动数据和第四组控制(包括预测)和纹理数据进行编码以产生增 强层比特流，并将这些数据多路复用成单个输出比特流。
第三和第四组控制数据包括层间预测控制数据。第二预测估计器和第 二比较器对输入图像的一个或多个已编码单元组中的层间预测控制数据值 进行设置，以使输入图像的已编码单元中与输入图像的一个或多个已编码 单元组相关联的相应层间预测控制数据值不被发送。
附图简述
图1是可分级视频通信系统的示例性架构的示意性图解。根据本发明 的原理，该系统可具有类似于常规系统的设计，但其组件还被配置成提供 套叠式模式操作。
图2是AVC单层视频编码器的常规结构的示意性图解。根据本发明的 原理，该系统可具有类似于常规系统的块设计，但它还被配置成提供套叠 式模式操作。
图3是AVC单层视频解码器的结构的示意性图解。根据本发明的原理， 该系统可具有类似于常规系统的块设计，但它还被配置成提供套叠式模式 操作。
图4是具有三个质量可分级性层的常规SVC可分级视频编码器的结构 的示意性图解。根据本发明的原理，该系统可具有类似于常规系统的块设 计，但它还被配置成提供套叠式模式操作。
图5是具有三个空间可分级性层的常规SVC可分级视频编码器的结构 的示意性图解；
图6是根据本发明的原理的用于在SVC JD7编解码器中使用自适应预 测标记的示例性语法和语义修改的图解；以及
图7是根据本发明的原理的用于在SVC JD8编解码器中提供完整的套 叠式模式标记的示例性语法和语义修改的图解。
除非另外指明，否则全部附图中的相同附图标记和符号用来表示所示 实施例的相同特征、元素、组件、或部分。而且，当现在将参考附图来具 体描述本发明时，这一描述是结合说明性实施例来完成的。
本发明的详细描述
提供了利用特殊的层间预测模式(称为套叠式模式)的用于可分级视 频编码的系统和方法。
图1示出使用可分级编码的视频通信系统100的示例性架构。通信系 统100包括可分级视频编码器110，其在通信网络120上与可分级视频解码 器130通信。在通信系统100的优选实施例中，使用H.264SVC编码格式 (‘SVC’)来进行视频通信。(参见例如SVC JD7规范，T.Wiegand、G. Sullivan、J.Reichel、H.Schwarz、M.Wien编辑的“联合草案7：可分级视 频编码(Joint Draft 7：Scalable Video Coding)”，联合视频小组，案卷JVT- T201，克拉根福，2006年7月，其全部内容通过引用结合于本文中)。SVC 是H.264视频编码标准(“AVC”)的可分级视频编码扩展(附录G)。
经SVC编码的比特流可被结构化成数个分量或层。基本层提供在某一 基本保真度下的源信号表示。附加层(增强层)提供在另外的可分级维度 (例如时间、质量、或空间)下的改善的信号表示的信息。已编码比特流 的层通常以金字塔结构来形成，在该结构中层的解码需要一个或更多个较 低层的存在。
应当注意的是，AVC标准通过使用参考图像列表和相关联的参考图像 列表重排序(或MMCO)命令已经支持时间可分级性。SVC流的最底层通 过设计与AVC规范兼容。
继续参考图1，可分级视频编码器的输出包括两层，层0和层1，其中 层0是基本层而层1是增强层。虽然图1为简单起见仅示出两个示例性层， 但应能理解本发明可无限制地适用于具有任意数量的空间或质量增强层的 情况。同样，虽然图1将两层示为作为单独的流在单个通信网络120上传 送，但应能理解对应于这两层的流可按照多种可能的配置在任意数量的实 际网络连接上传送。这些可能的配置例如可包括其中所有流都被多路复用 到一起以便传送的配置、和其中多于实际数量的空间或质量层在进行数据 的进一步多路分解时(例如当使用数据划分时、或当数据基于其低层时间 分层被多路分解时)被传送的配置。
图2示出包括块202-218的AVC单层视频编码器200的设计或架构。 所示设计是具有运动补偿的基于块的混合编码的典型代表，其基本包括所 有的标准视频编解码器，不过在AVC编码器中每一块具有明显更多的操作 选项。已编码比特流包括经多路复用的纹理数据(经量化的变换系数)、 运动数据、以及针对高编码效率来熵编码的控制数据。纹理数据是在使用 运动补偿的或帧内预测之后得到的经量化的残差预测误差，而运动数据是 执行经运动补偿的预测所必需的数据(运动向量差值等)。如同任意预测 编码方案一样，编码器在其预测循环中包含解码器。在图2中，编码器200 的解码器组件(即块206-214)被放置于解码器子单元200A中。
图3示出独立AVC解码器300的设计或架构。AVC解码器300的设 计与图2中所示的解码器子单元200A相同，其中仅有的区别是还包括熵解 码器/多路分解器310(它在编码器中不是必需的)。应当注意的是，图3 中所示的解码器子单元200A的块206-214的位置已被重新安排以便改善可 读性。
确定编码器的效率和复杂程度的关键操作单元是它的编码控制和运动 估计单元(例如编码器控制单元202和运动估计单元216，图2)。编码器 控制单元负责决定合适的操作模式以针对给定比特率最大化质量(或等效 地最小化编码失真)。运动估计单元协同编码器控制单元一起工作，这表 现在后者影响前者的估计过程。运动估计是视频编码中计算强度最大的运 算，尤其是在具有四分之一像素支持的现代编解码器中。
可分级视频编解码器可通过将单层编解码器用作基础利用金字塔结构 来构造。在共同转让的国际专利申请PCT/US06/028365中描述了专门为诸 如视频会议之类的交互式视频通信应用设计的可分级视频编码技术。在其 中SVC被用作可分级视频编解码器的本发明的优选实施例中，增强层同样 建立在AVC基本层之上。
图4示意性地示出具有三个质量层的针对质量可分级性的常规SVC编 码器400的示例性结构。在SVC编码器400中，最低层与AVC兼容(通 过设计)。对于增强层的编码过程可将较低层数据用于层间预测，这在该 图中通过标记为“层间预测”的垂直箭头来表示。根据SVC的单循环设计原 理，可用于层间预测的数据类型是帧内、运动、和残差数据。所得的增强 层纹理和运动数据被类似地编码到基本(AVC)层。虽然图4将不同层数 据示为在单个输出比特流中一起多路复用，但不同层比特流可在任意数量 (例如，如果使用了数据划分或者如果层还包括时间可分级性分量，则包 括大于层数量的数量)的信道上发送。
图5示意性地示出具有三个空间层的针对空间可分级性的SVC编码器 500的示例性结构。针对空间可分级性的SVC编码器500不同于针对质量 可分级性的SVC编码器400，它与图4仅有的差别是前者的输入被降采样 以便构造两个较低的空间层。同样，最低层与AVC兼容，且层间预测过程 可使用来自较低层的帧内、运动、和残差数据，这些数据都针对参考层的 目标分辨率进行了适当缩放或升采样。对应于图4和图5中所示的编码器 400和500的针对质量和空间可分级性的解码器分别与图3中所示的解码器 300基本相同，除添加的层间预测模式可用和将升采样/缩放用于空间可分 级性中的纹理/运动数据之外。
诸如编码器400和500之类的单层和可分级的视频编码器中的关键工 程设计问题是计算复杂程度相对于压缩效率的折衷。在所有视频编码标准 中，标准规范仅指定比特流的结构和解码过程；编码过程保留未指定。此 外，视频编码标准不提供针对编码器设计中的高效编码策略的任意指导。
本文中所描述的本发明的系统和方法涉及促进可分级的视频编码器的 加速操作以及对解码器的适当信令和改善的编码效率。
视频编码器(单层或可分级)在编码图像数据时必须作出数个决策。 对于每个宏块(MB)，编码器必须作出有关帧内/帧间编码、预测模式选 择、运动模式和向量选择、量化器选择等等的决策。在缺少其它制约因素 的情况下，编码器的目标是作出这些决策以最小化已编码信号的失真同时 将输出比特率保持在给定的约束条件内。此过程被称为认识到编码器寻求 对给定码率最小化失真时的码率-失真优化(RDO)。不过，优化问题的维 度非常大。通常在有效编码器的设计中使用快速的、次优的算法和试探。 应当注意的是，在真实的视频编码系统中，感知因素会规定编码器中的决 策以获得对于人类观察者而言更愉悦的结果，但这些决策实际上增加了如 按照峰值信噪比(PSNR)来表述的量化失真。这些决策通常是应用专用的。 例如，对于针对广播和视频会议应用而调谐的两个编码器可使用不同的配 置，因为这两个编码器的主题和工作比特率是极其不同的。
编码过程可由决策树来表示，编码器必须遍历该决策树以针对特定的 MB、图像、或图像组作出最终编码决策。具体而言，对于可分级视频编码， 该树的大小要显著大于用于单层编码器的决策树的大小，因为不仅必须针 对基本层(等效于单层编码器)，还须针对存在的每个增强层来作出决策。 因此计算需求相当高，而且重要的是提供不具有用于完全考虑所有编码选 择的足够计算资源的编码器能够得到合适的简化编码策略的方法。合适的 编码策略的实现对于需要实时和低延迟操作的实时、对话服务尤其重要。 例如在实况广播编码器的情况下，合适的简化编码策略可认识到编码器必 须实时工作，但它的延迟要求要松得多。对于实现同样重要的是编码器必 须能够向解码器发信号通知这一简化编码策略的结果而不会不利地影响编 码性能。
计算需求通常在编码标准开发中未作为关键设计因素来考虑，且这样 的编解码器的开发是利用模拟软件来执行，该模拟软件允许运行所需长的 时间以获得优化的编码效率结果(例如每张图像一个小时或更长)。因此， 根据这些标准的比特流的常规设计不满足加速编码器决策制定的需要，这 表现在简化编码策略中的信令会招致显著的比特率开销。
根据本发明，针对可分级视频编码的特定类型的加速决策制定是在本 文中被称为“套叠式(telescopic)”操作的技术。利用此技术，通过摒除对 增强层的编码决策的完全优化、并取而代之利用在基本层中作出的决策， 实现了加速的编码器操作。虽然对此类决策的进一步精细化可能会实现改 善的编码效率，但它们已经表现出非常好的计算复杂度相对于编码效率的 折衷。此技术对于场景活动一般较低的视频会议素材尤其有效。
SVC JD7中的编解码器是AVC设计(ITU-T Rec.H.264|ISO/IEC 14496-10版本4，“针对一般视听服务的高级视频编码(Advanced video coding for generic audiovisual services)”，2005，其全部内容通过引用结合在 本文中且被称为“AVC规范”)的扩展。AVC规范的文本实际上是SVC JD7 的文本的组成部分，而SVC扩展构成AVC规范的新附录G。如较早所述， SVC比特流中的基本层通过设计是与AVC兼容的比特流。AVC规范的章 节7.3.3(片首部句法)、7.3.4(片数据句法)、以及7.3.5(宏块层句法)， 包括其各子部分，定义了已编码图像数据的详细句法。片首部(章节7.3.3) 包括影响整个片的参数，诸如片中的第一宏块的地址的指示符 (first_mb_in_slice)、片类型(I、P、B、S、或SP)、影响片中的所有宏 块的量化器设置(slice_qp_delta)、以及解块滤波器设置、加权表、和参 考图像列表重排序命令。片数据(章节7.3.4)句法特别地允许从当前片中 跳过多个初始宏块。实际宏块数据在章节7.3.5中描述。该数据包括定义对 当前宏块所使用的预测模式的宏块类型(mb_type)、发信号通知对应于当 前宏块的多个色度和亮度块的哪一个具有非零变换系数的已编码块模式、 以及在当前宏块处开始的有效量化器设置(mb_qp_delta)。
宏块类型是关键的参数，因为它发信号通知编码器已选择多个预测模 式的哪一个来对当前宏块编码。SVC JD7表7.11至7.14总结了AVC中可 用的宏块类型。例如，对于P片(表7.13)，模式1对应于预测模式 ′P_L0__L016x8′，其中16×16宏块被拆分成两个16×8区，且使用两个运动 向量来根据第一参考图像列表(L0)中包含的参考图像预测每一部分。实 际运动向量数据(mvd_10，编码为差异)在章节7.3.5.1中示出，且如果所 使用的参考图像不是缺省时包括其可任选索引(ref_idx_10)。预测过程的 结果是由章节7.3.5.3和相关联的子章节中描述的句法表示的残差数据。
SVC JD7规范中的增强层的相应结构在章节G.7.3.3至G.7.3.7中定义。 这些结构类似于AVC中使用的那些结构，但具有针对SVC中存在的增加 的选项的附加数据。一般而言，它们的设计使较低层中存在的数据可用于 当前层的编码。换言之，已编码比特流参数可通过直接引用它们而不是对 其重新编码(层间预测)以在较高层中重复使用。对于单循环解码，这排 除了仅能通过完全解码而获得的数据，因为它们会使低于当前层的层的完 整解码循环的可用性成为必需从而导致多循环设计。
尤其重要的是片首部参数base_id_plus1(章节G.7.3.4)，其标识了在 使用层间预测时用于当前层的参考层。应当注意的是，参数base_id_plus1 不是指整个比特流的基本层，而仅指用作用于预测当前层的基础或参考的 特定层。这些参数按照空间可分级性层、质量可分级性层、以及片段顺序 (当使用FGS或渐进细化片时)对参考层的坐标进行联合编码。如果 base_id_plus1的值为零时，则不使用层间预测(例如在最低层中)。
当使用层间预测时(即当base_id_plus1不为零时)，在比特流中存在 参数自适应预测标记(adaptive_prediction_flag)(章节G.7.3.4)。该自适应 预测标记通过控制参数基本模式标记(base_mode_flag)的存在和值来影响如 何在宏块层中使用层间预测(章节G.7.3.6)。当设置了基本模式标记时， 则宏块类型、参考索引、以及运动向量在适用时从相应的参考(基本)层 宏块中推断。
片的每一宏块的基本模式标记的存在通过自适应预测标记在片级控 制。当未设置自适应预测标记时，则不需要发送基本模式标记。对于基本 模式标记推断值1(置位)，从而强制所有宏块(在裁剪窗口内，即，当相 应的较低层数据在基本层中存在时)使用基本层模式和运动信息。因此通 过将自适应预测标记置为零，可实现片宽(slice-wide)套叠式模式预测， 其中基本层决策和数据在增强层中被重复使用。基本模式标记的消除还导 致对于利用CAVLC熵编码的30fps的CIF序列能节省约12Kbps。
不过，如章节G.7.3.6.3所见，SVC JD7设计的显著缺点是当未设置自 适应预测标记时，则残差预测标记(residual_prediction_flag)被推断为对每一 宏块都是设置的片宽。与非帧内宏块相关的残差预测标记表示增强残差信 号是从基本宏块(或子宏块)的(可能经升采样的)重构的残差信号来预 测的。然而，不论是否使用自适应预测都始终强制使用残差预测会降低编 码效率。同样，无论是否使用自适应预测都强制残差预测始终关闭的替代 方案又会降低给定比特率的质量。
利用标准测试序列的扩展性实验结果指出，对一切情况而言，当在宏 块的基础上设置残差预测时的码率-失真曲线始终高于将残差预测设置为 始终开或始终关时的相应曲线。等效地，对于给定的比特率且在不使用自 适应预测时(自适应预测标记被设置为零)，能够自适应地使用残差预测 相比于残差预测始终开或始终关的情况能导致更高的PSNR。
实验结果示出要使编码器能使用套叠式模式决策并高效地将其发信号 通知给解码器，各种预测模态必须是：a)在片首部发信号通知以便片宽的使 用，以及b)通过独立的标记发信号通知以消除不同模态的耦合。片级的信 令模式决策允许消除宏块或宏块分区级的相应信令，这将导致压缩效率提 高。
在其中使用了SVC JD7的本发明的示例性实施例中，片首部可用新的 标记自适应残差预测标记(adaptive_residual_prediction_flag)来扩充。当此标 记未被设置时(即设置为零)，则对片的每一个宏块采用残差预测标记的 默认值。在本发明的示例性实现中的残差预测标记的默认值被设置为1。
图6示出本发明的优选实施例中的应用于SVC JD7编解码器的示例性 句法和语义600。对SVC JD7规范的审视同样揭示出运动相关层间预测标 记，即运动预测标记10(motion_prediction_flag_10)和运动预测标记 11(motion_prediction_flag_11)(章节G.7.3.6.1和G.7.3.6.2)也是加速的编 码器操作的可能目标。这些标记(当被设置为1时)表示(可能经缩放的) 基本运动向量被用作它(们)所属的宏块(或宏块分区)的(多个)运动 向量的列表0(或相应地，列表1)的(多个)运动向量预测器。同样，对 于涉及纹理预测的残差预测标记，对于片的所有宏块或宏块分区允许层间 运动预测在片级设置是有利的。
为提供编码器针对片中的所有宏块或宏块分区打开或关闭层间预测标 记的更多灵活性，在片级对应在相应的标记未在每一宏块或宏块分区中自 适应地设置时使用的默认值进行编码是有利的。这样的在片级编码既可应 用于基本模式标记又可应用于运动预测标记。不过，当默认基本模式标记 被设置为1时，运动预测标记是无用的且不需要被发送。这些标记的组合 对编码器和解码器提供完全的套叠式模式支持。
图7示出应用于其中对SVC JD8编解码器(参见T.Wiegand、G. Sullivan、J.Reichel、H.Schwarz、M.Wien编辑的“联合草案8：可分级视 频编码(Joint Draft 8：Scalable Video Coding)”，联合视频小组，案卷JVT- U201，杭州，2006年10月，其全部内容通过引用结合于本文中)添加完 整的套叠式模式支持的情况的本发明的优选实施例的示例性句法和语义 700。为本发明的目的，SVC JD8和JD7之间的主要差别是，在JD8中NAL 单元首部标记，即基本层标记(layer_base_flag)指定(当被设置为1时)对 当前片段没有使用(编码模式、运动、采样值、和/或残差预测的)层间预 测，而且参数base_id_plus1被重新命名为base_id。
作为示例，为了发信号通知解码器增强层是利用基本层信息编码的， 自适应预测标记应被设置为0，默认基本模式标记(default_base_mode_flag) 应被设置为1，而自适应残差预测标记应被设置为0。标记自适应运动预测 标记(adaptive_motion_prediction_flag)和默认运动预测标记 (default_motion_prediction_flag)未被使用，且未被编码。增强层片的宏块(使 用SVC JD8规范)将仅包含已编码块模式(coded_block_pattern)数据，该数 据指示在其相应的亮度或色度块的任一个中不存在非零系数。通过将一附 加标记引入片首部可免去发送已编码块模式数据的需要，该附加标记指示 对当前片将不发送任何宏块数据，且将使用上述套叠式模式标记配置。
虽然在本文中在SVC视频编码标准的上下文中描述了本发明的技术， 但本发明的原理可应用于使用层间预测的任意可分级视频编码方案。另外， 本发明的技术可应用于视频比特流的任意已编码单元，诸如图像或图像组， 且不仅限于片级。同样，该技术可应用于当对其发信号通知了预测模式的 最小已编码单元不同于宏块时的情况(例如包括已编码单元的甚至是任意 形状的块或任何其它结构)。
虽然相信已经描述的内容是本发明的优选实施例，但本领域普通技术 人员将认识到可作出其它和进一步的改变和修改而不背离本发明的精神， 而且目的是要求保护如落入本发明真实范围内的所有这些变化和修改。
应当理解的是，根据本发明，本文中所描述的技术可利用硬件和软件 的任意合适的组合来实现。用于实现和操作上述码率估计和控制技术的软 件(即指令)可在计算机可读介质上提供，这些计算机可读介质可包括但 不限于，固件、存储器、存储设备、微控制器、微处理器、集成电路、ASIC、 可在线下载的介质、以及其它可用介质。