在可伸缩视频编码中的图像分隔符

摘要

对包含在NAL单元类型值中的图像分隔符的使用，该NAL单元类型值预留在当前AVC或SVC规范中。本发明以这样的方式为H.264/AVC基本层提供可伸缩性信息，即比特流保持可由H.264/AVC解码器来解码。此外，本发明的图像分隔符基本数据单元可以包含许多其他语法元素，相比较于纯H.264/AVC比特流语法，这些其他语法元素有助于更容易地处理比特流。

权利要求

1.一种用于编码视频的方法，该方法包括：

将图像的序列编码成访问单元的序列，至少一个访问单元包括：

至少一个第一基本数据单元，其与第一编码图像关联并且至少包含该第一编码图像的子集，第一编码图像可根据第一算法解码，至少一个第二基本数据单元，其与第二编码图像关联并且至少包含该第二编码图像的子集，以及与访问单元中的编码图像关联的至少一个图像分隔符基本数据单元，其中所述至少一个图像分隔符基本数据单元配置成根据所述第一算法在随后解码处理中被选择性地忽略。

2.根据权利要求1所述的方法，其中：

与所述第一编码图像关联的至少一个第一基本数据单元在与所述第二编码图像关联的至少一个第二基本数据单元之前；以及与所述第一编码图像关联的第一图像分隔符基本数据单元在所有其他包含所述第一编码图像的条带或条带数据部分的基本数据单元之前。

3.根据权利要求1所述的方法，其中与所述第二编码图像关联的第二图像分隔符基本数据单元在所有其他包含所述第二编码图像的条带或条带数据部分的基本数据单元之前，并且跟在与所述第一编码图像关联的所有基本数据单元之后。

4.根据权利要求1所述的方法，其中至少一个图像分隔符基本数据单元包括由下面的各项构成的组中的至少一项，该组包括：时间可伸缩性分层；优先级标识符；冗余图像标识符；瞬时解码刷新图像指示符；帧内图像指示符；随机访问图像指示符；以及关键图像指示符。

5.一种用于编码视频的设备，包括：

用于将图像的序列编码成访问单元的序列的装置，至少一个访问单元包括：

至少一个第一基本数据单元，其与第一编码图像关联并且至少包含该第一编码图像的子集，第一编码图像可根据第一算法解码，至少一个第二基本数据单元，其与第二编码图像关联并且至少包含该第二编码图像的子集，以及与访问单元中的编码图像关联的至少一个图像分隔符基本数据单元，其中所述至少一个图像分隔符基本数据单元配置成根据第一算法在随后解码处理中被选择性地忽略。

6.根据权利要求5所述的设备，其中：

与所述第一编码图像关联的至少一个第一基本数据单元在与所述第二编码图像关联的至少一个第二基本数据单元之前；以及与所述第一编码图像关联的每个图像分隔符基本数据单元在所有其他包含所述第一编码图像的条带或条带数据部分的基本数据单元之前。

7.根据权利要求5所述的设备，其中与所述第二编码图像关联的第二图像分隔符基本数据单元在所有其他包含所述第二编码图像的条带或条带数据部分的基本数据单元之前，并且跟在与所述第一编码图像关联的所有基本数据单元之后。

8.根据权利要求5所述的设备，其中至少一个图像分隔符基本数据单元包括由下面的各项构成的组中的至少一项，该组包括：时间可伸缩性分层；优先级标识符；冗余图像标识符；瞬时解码刷新图像指示符；帧内图像指示符；随机访问图像指示符；以及关键图像指示符。

9.一种用于将包括访问单元的编码视频信号解码的方法，该访问单元包括可根据第一算法解码的第一图像和第二图像，包括：解码包括在访问单元中的至少一个图像分隔符基本数据单元，至少一个图像分隔符基本数据单元包括与第一图像关联的第一图像分隔符基本数据单元和与第二图像关联的第二图像分隔符基本数据单元的至少一个，所述至少一个图像分隔符基本数据单元配置成根据第一算法在编码视频信号的子集的解码期间被选择性地忽略；以及使用包含在至少一个图像分隔符基本数据单元中的信息来解码编码视频信号的随后基本数据单元。

10.根据权利要求9所述的方法，其中通过忽略与相应的图像分隔符基本数据单元关联的图像的解码，使用包含在每个或其中一个图像分隔符基本数据单元内的信息。

11.根据权利要求9所述的方法，其中至少一个图像分隔符基本数据单元包括用于关键图像识别的语法元素，并且其中，作为对指示的关键图像的响应，与所述至少一个图像分隔符基本数据单元关联的图像被完全解码。

12.一种用于将包括访问单元的编码视频信号解码的设备，该访问单元包括可根据第一算法解码的第一图像和第二图像，该设备包括：用于解码包括在访问单元中的至少一个图像分隔符基本数据单元的装置，至少一个图像分隔符基本数据单元包括与第一图像关联的第一图像分隔符基本数据单元和与第二图像关联的第二图像分隔符基本数据单元的至少一个，所述至少一个图像分隔符基本数据单元配置成根据第一算法在编码视频信号的子集的解码期间被选择性地忽略；以及用于使用包含在至少一个图像分隔符基本数据单元中的信息来解码编码视频信号的随后基本数据单元的装置。

13.根据权利要求12所述的设备，其中通过忽略与相应的图像分隔符基本数据单元关联的图像的解码，使用包含在每个或其中一个图像分隔符基本数据单元内的信息。

14.根据权利要求12所述的设备，其中至少一个图像分隔符基本数据单元包括用于关键图像识别的语法元素，并且其中，作为对指示的关键图像的响应，与所述至少一个图像分隔符基本数据单元关联的图像被完全解码。

说明书

在可伸缩视频编码中的图像分隔符

技术领域

[0001] 本发明一般地涉及视频编码的领域。更具体地，本发明涉及可伸缩视频编码和解码。

背景技术

[0002] 本部分旨在为权利要求书中陈述的本发明提供背景或上下文。在此的描述可能包括可以研究的概念，但不必是那些之前已经想到或者研究的概念。因此，除非在此指出，在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就被认为是现有技术。

[0003] 视频编码标准包括ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-TH.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual和ITU-T H.264(也称为ISO/IEC MPEG-4AVC)。此外，当前正在致力于开发新的视频编码标准。正在开发的一个类此标准是可伸缩视频编码(SVC)标准，其将成为H.264/AVC的可伸缩扩展。另一此类的努力涉及中国视频编码标准的开发。

[0004] SVC可以提供可伸缩视频比特流。可伸缩视频比特流的一部分可以被提取并且解码成具有降级的回放视觉质量。当前，可伸缩视频比特流包含非可伸缩基本层和一个或多个增强层。增强层可以增强时间解析度(即，帧率)、空间解析度或由低层或其部分所代表的视频内容的质量。在某些情况下，增强层的数据可以在某个位置后截断，甚至在任意的位置，并且每个截断的位置可以包括代表不断增强的视觉质量的某些附加数据。此类的可伸缩性被称为精细(粒度)可伸缩性(FGS)。相比较于FGS，由不提供精细可伸缩性的质量增强层所提供的可伸缩性称为粗粒度(CGS)。基本层也可以被设计成FGS可伸缩。

[0005] 在最近的SVC规范中提供时间可伸缩性的机制涉及“分层B图像编码结构”，其本质上类似于当前的高级视频编码(AVC)。AVC完全支持该特征并且信令部分可以通过使用子序列相关补充增强信号(SEI)消息来实现。

[0006] 对于提供空间和CGS可伸缩性的机制，类似于早期标准的常规分层编码技术结合多个新的层间预测方法来使用。可以被层间预测的数据包括帧内纹理、动作和冗余。单循环解码(single-loopdccoding)可以通过受限的帧内纹理预测模式来实现，由此层间帧内纹理预测可以应用到宏块(MB)，对于这些宏块，基本层的相应块位于帧内MB。同时，位于基本层中的那些帧内MB使用受限的帧内预测。在单循环解码中，解码器仅需要对期望回放的可伸缩层(称为期望层)执行运动补偿和全图像重构，因此解码复杂度被极大地减小。除期望层以外的所有层不需要被完全解码，因为不用于层间预测(其是层间帧内纹理预测、层间运动预测或层间冗余预测)的MB的所有或一部分数据不需要用于期望层的重构。

[0007] 空间可伸缩性已经被概括为使得基本层成为增强层的剪切和缩放版本。量化和熵编码模块被调整以提供FGS能力。该编码模式称为渐近细化，其中通过重复地减小量化步长并且应用类似于子位元平面编码的“循环”熵编码，变换系数的渐近细化被编码。

[0008] 当前草案SVC标准中的可伸缩层结构特征在于三个变量，称为时间_级、相关性_id和质量_级。时间_级变量用于指示时间可伸缩性或帧率。包括更小时间_级值的图像的层具有比包括更大时间_级的图像的层更小的帧率。相关性_id用于指示层间编码相关性分层。在任何时间位置，更小相关性_id值的图像可以用于针对具有更大相关性_id值的图像的编码的层间预测。质量_级变量用于指示FGS层分层。在任何时间位置并且具有相同的相关性_id值，具有质量_级值等于QL的FGS图像使用具有质量_级值等于QL-1的FGS图像或基本质量图像(即，当QL-1＝0时的非FGS图像)来进行层间预测。

[0009] SVC的一个设计目标是保持与AVC的后向兼容性。换句话说，基本层应该与AVC兼容。为了实现该目标，在AVC中预留的两个新的NAL单元类型用于增强层中的编码条带。针对增强层，除其他信息以外(包括简单_优先级_id和可丢弃_标志)，三个变量-时间_级、相关性_id和质量_级在比特流中发送。简单_优先级_id指示NAL单元的优先级，并且可丢弃_标志指示NAL单元是否可由具有更高相关性_id值的任意层来进行层间预测。

[0010] 常规视频编码标准已经对基本比特流(即，解码器可解析的自包含比特流)规定了一种结构。比特流已经包括若干种层，通常包括下面的若干种：序列层、图像组(GOP)层、图像层、条带层(slicelayer)、宏块层和块层。每个层的比特流通常包括头部和相关数据。

[0011] H.264/AVC和SVC编码标准的语法包括网络抽取层(NAL)单元。NAL单元的流不会同样地形成基本比特流，因为在NAL单元中没有启始码字。相反，NAL必须根据H.264/AVC编码标准的附件B以启始码字来进行成帧以便形成基本比特流。

[0012] H.264/AVC编码标准在条带层处和以下包含头部，但其不包括图像、GOP、或序列头部。相反，参数集的概念代替了这样的头部。有两种类型的参数集：序列参数集和图像参数集。在H.264/AVC编码标准中，在编码的视频序列中，仅一个序列参数集是有效的，即，在即时解码刷新(IDR)图像(包括)到下一IDR图像(不包括)之间。在图像内，仅一个图像参数集是有效的，但每个图像可以激活新的图像参数集。在SVC中，相关性_id的每个值可以专用于其自身的序列参数集。

[0013] 根据H.264/AVC编码标准的访问单元包括一个基本编码图像、零个或多个冗余编码图像和零个或多个附属编码图像。在一些系统中，访问单元边界的检测可以通过向比特流中插入访问单元分隔符NAL单元而被简化。根据SVC的访问单元可以包括用于基本层的一个基本编码图像并且可以包含多个增强的编码图像，但每相关性_id、时间_级和质量_级的唯一组合，至多一个不是冗余编码图像的增强编码图像。

[0014] SVC流的基本层通常是AVC-兼容的，即，AVC解码器可以解码SVC流的基本层并且忽略SVC特定数据。通过规定特定于SVC并且预留用于SVC未来中使用并且根据AVC规范需要被忽略的编码条带NAL单元类型，该特征已经被实现。

[0015] 访问单元分隔符是在H.264/AVC中规定的NAL单元，其可以作为访问单元的第一NAL单元插入。访问单元分隔符包含访问单元的基本图像的图像编码类型。

[0016] 针对SVC增强层而不是针对基本层发送变量时间级、相关性_id、质量_级、简单_优先级_id和可丢弃_标记。相反，根据SVC规范，对于AVC兼容基本层，变量既不被指定(可丢弃_标记)或被推导为等于零(其他四个变量)。然而，这造成问题，即针对基本层的重要信息不能与针对增强层的重要信息那样被有效地发送(AVC兼容基本层总是具有等于0的相关性_id和质量_级)。首先，基本层图像的时间可伸缩性分层不能被发送，即，时间_级的值涉及使用子序列特征的AVC基本层。第二，不能发送基本层图像或基本层图像的一部分是否可通过具有更高的相关性_id值(即，可丢弃_标记的值)而用于层间预测。第三，基本层图像的期望优先级值，即，值简单_优先级_id不能被发送。

[0017] 尽管存在潜在的方法来实现某些信号发送，但每个自身具有其缺陷。例如，尽管AVC中的子序列信息补充增强信息(SEI)消息可以用于发送基本层的时间可伸缩性分层，但消息除了时间_级以外包含多个语法元素(对应于子序列信息SEI消息中的子序列_层语法元素)，导致在比特率方面的潜在低效。传统的视频编码标准使用图像头部来区分编码的图像并且携带图像特定语法元素。

发明内容

[0018] 本发明提供对包含在NAL单元类型值(在各种实施方式中是14)中的图像分隔符的使用，该NAL单元类型值在当前AVC或SVC规范中预留。本发明以这样的方式为H.264/AVC基本层提供可伸缩性信息，即比特流保持可由H.264/AVC解码器来解码。此外，本发明的图像分隔符基本数据单元可以包含许多其他语法元素，相比较于纯H.264/AVC比特流语法，这些其他语法元素有助于更容易地处理比特流。

[0019] 本发明相比较于常规方法具有多个显著的优势。本发明支持对时间可伸缩性分层的发送，以及针对AVC-兼容基本层SVC可伸缩流的其他信息，而没有破坏后向兼容性，因为图像分隔符NAL单元可以由AVC解码器丢弃。本发明也使得比特流解析更为容易，因为许多操作可以基于编码的图像而不是基于单个的NAL单元来执行。相比较而言，H.264/AVC和SVC标准规定基于NAL单元的解码处理。在许多系统中，没有提供图像的附加成帧或封装，而是比特流解析逐NAL单元地执行。有时需要比特流的深度解码以得出图像是否有用于产生期望的解码结果。在特定的操作中尤其如此，例如寻找和快速的前向播放。在寻找操作中，例如，解码器必须查找IDRNAL单元，接着重绕回到相应的访问单元开始的地方(例如，参数集SEI NAL单元可以先于访问单元中的IDR NAL)并且在此之后开始解码。

[0020] 不像一些传统的实现，本发明的图像分隔符在视频比特流的上下文中规定而不是在文件格式或RTP净荷格式上规定。这使得视频解码器使用包括在图像分隔符中的信息(例如，省略不必要的图像的解码)。文件格式和RTP净荷格式的类似信息可以不用于解码器。

[0021] 相比较于图像头部，当存在至少一个增强层时，本发明的图像分隔符可以包含影响H.264/AVC兼容基本层的解码处理的语法元素。还未针对图像头部来规定此类的条件解码。图像头部是常规编解码器中的比特流语法的整体一部分(即，对于比特流中的每个图像，图像头部总是存在)。在H.264/AVC中并没有规定图像分隔符，但H.24/AVC解码器可以安全地忽略它(即，它不会影响H.264/AVC兼容基本层的解码处理)。

[0022] 本发明的各种实施方式包括生成图像分隔符的编码器，以及解析图像分隔符并且基于图像分隔符的值和期望操作点(例如针对回放的层/时间级)来省略图像的解码。本发明的实施方式也包括比特流解析器，其将NAL单元传送到解码器并且基于图像分隔符的值来去除图像。

[0023] 本发明的这些和其它优点及特征、以及其操作的组织和方法将从结合附图的以下具体描述中变得清楚，其中在下文描述的数幅附图中，类似单元通篇地具有相似类似标号。

附图说明

[0024] 图1示出结合本发明使用的通用多媒体通信系统；

[0025] 图2是可以在本发明的实现中使用的移动电话的透视图；

[0026] 图3是图2的移动电话的电话电路的示意图；以及

[0027] 图4是根据本发明的各种实施方式的访问单元的结合的示图。

具体实施方式

[0028] 本发明涉及在可伸缩视频编码中使用图像分隔符。图像分隔符可以在访问单元中的第一编码图像之前或在访问单元中的任意其他编码图像之前。由于AVC规范中的某些约束，针对在访问单元中的第一编码图像(即，基本层中的基本编码图像)之前的图像分隔符来从不同于针对在访问单元中的任意其他编码图像之前的图像分隔符的值范围选择NAL单元类型。这里术语“图像分隔符”统一用于两种NAL单元类型。访问单元的第一编码图像之前的图像分隔符NAL单元称为基本编码图像描述NAL单元，并且访问单元的任意其他编码图像之前的图像分隔符NAL单元称为随后编码图像描述NAL单元。NAL单元类型值从那些预留在当前AVC和SVC规范中的值选择，例如对于基本编码图像描述NAL单元为14，而对于随后编码图像描述NAL单元为22。

[0029] 图像分隔符涉及编码图像并且是解码顺序中的编码图像的第一NAL单元。应该注意到将要解码的比特流可以从位于实际任意类型的网络内的远程设备接收。另外，比特流可以从本地硬件或软件接收。还应该注意到尽管包含在这里的文本和例子专门描述编码处理，但本领域技术人员很容易理解相同的概念和原理也适用于相应的解码处理并且反之亦然。

[0030] 基本编码图像描述NAL单元的解码顺序先于基本层中的基本编码图像的VCL NAL单元。使用14的NAL单元类型，因为其是可以开始新的访问单元的预留值之一。图4描述基本编码图像描述NAL单元的解码顺序以及相对于访问单元内的其他NAL单元的随后编码图像描述访问单元。

[0031] 用于基本编码图像描述NAL单元的NAL单元类型14是一种单元类型，如果它是可以开始新的访问单元的那些NAL单元的第一个NAL单元，那么它的存在表明新的访问单元的开始。因此，其仅可以用于基本编码图像(在基本层中)。因此，另一NAL单元类型(22)用于随后编码图像描述NAL单元。AVC规范约束NAL单元类型22不先于基本编码图像的第一个VCL NAL单元(在基本层中)，并且因此NAL单元类型22不能用于基本编码图像描述NAL单元，并且因此NAL单元类型22不能用于基本编码图像描述NAL单元。用于两个NAL单元的语法结构(基本编码图像描述和随后编码图像描述)在本发明的不同实施方式中可以或可以不相同。因此应该理解本发明的基本编码图像描述和随后编码图像描述二者可以结合这里所述的语法和信息。

[0032] 本发明的图像分隔符包含下面的信息集的至少一个：

[0033] 1.时间可伸缩性分层。

[0034] 2.优先级标识符。

[0035] 3.关键图像指示符。

[0036] 4.关于完整的图像或图像的一部分或没有图像的一部分是否由具有更高的相关性_id值的任意层用于层间预测的指示。

[0037] 5.指示符，表明图像是否是包含不应被丢弃的NAL单元的非-参考/参考图像，和/或不同的NAL单元集合的nal_ref_idc的最大值的指示符。

[0038] 6.冗余图像指示符，指示图像是否是编码冗余图像。

[0039] 7.附属图像指示符，指示图像是否是编码附属图像。

[0040] 8.瞬时解码刷新(IDR)图像指示符，表明图像和具有相关性_id的相同值的所有后续图像可以被正确地解码而没有参考它们之前的并且具有相同的相关性_id值的任意图像。

[0041] 9.指示符，表明图像以及具有与图像相同的相关性_id值的所有后续图像可以被正确地解码而没有参考在它们之前并且具有相同的相关性_id值并且具有相同或更大的时间_级值的任意那些图像。该指示符也可以表明比特流可以从具有其他时间_级值和相同相关性_id值的时间层切换到具有该指示符的图像的时间_级。

[0042] 10.帧内图像指示符，表明该图像可以被解码而没有参考在它之前的任意图像。

[0043] 11.指示符，表明图像可以被解码而没有参考在它之前并且具有相同的相关性_id值的任意图像。

[0044] 12.自包含随机访问图像指示符，表明该图像和所有随后的图像可以被正确地解码而没有参考在其之前的任何图像并且所有数据，包括参数集，被包括在比特流中用于图像和跟在该图像后的图像。

[0045] 13.图像类型指示符，指示在编码的图像可能出现的什么类型的条带。

[0046] 14.指示符，需要哪些部分解码处理以便解码图像(例如，如果图像是帧内编码图像，则不需要那些帧间预测解码处理)。

[0047] 15.应用在编码图像的语法和语义中的约束的指示符，例如任意条带排序指示符(表明图像的条带是否按栅格-扫描顺序)和灵活宏块排序指示符(表明图像任意条带中的宏块是否在栅格-扫描顺序中总是彼此相邻)。

[0048] 16.对仅可应用于当前图像的图像参数集的修改。例如，条带组映射将每个块的分配告知条带组。

[0049] 17.指示符，用于可能编码图像中的错误或失配的出现。

[0050] 在下面示出根据本发明的各种实施方式的用于可伸缩信息的图像分隔符的示例性语法。这些语法元素的值应用于SVC访问单元中的基本编码图像(在基本层中)的解码。注意到利用循环声明“while(more_rbsp_data()”，对该NAL单元的潜在未来扩展也是能够支持的。

[0051]primary_coded_pic_descr(){ C 描述符
simple_priority_id 11 u(6)
key_pic_flag 11 u(1)
temporal_level 11 u(3)
while(more_rbsp_data())
rbsp_trailing_bits() 11
}

[0052] 在上面示出的表中，“C”列指示语法元素的“种类”。因为图像分隔符是新的语法结构，先前未用的种类值(11)在这些特定的实施方式中被使用。然而，其他未用的种类值也是可以使用的。

[0053] 简单_优先级_id规定用于编码图像的VCL NAL单元的优先级标识符。如果图像的VCL NAL单元的每个与NAL单元头部或参考的序列参数集中的语法元素简单_优先级_id关联，则图像分隔符中的简单_优先级_id等于NAL单元头部或序列参数集中的简单_优先级_id的值。

[0054] 时间_级规定用于编码图像的时间级别。如果图像的VCL NAL单元的每个与NAL单元头部或参考的序列参数集中的语法元素时间_级关联，则图像分隔符中的时间_级等于NAL单元头部或序列参数集中的时间_级的值。

[0055] 在基本编码图像描述NAL单元中，key_pic_flag等于1指示基本层中的基本编码图像是关键图像的基本表示。在基本编码图像描述NAL单元中，key_pic_flag等于0指示基本层中的基本编码图像不是关键图像的基本表示。随后编码图像描述NAL中的key_pic_flag表明相应的编码图像是关键图像。SVC编码处理中使用的变量KeyPictureFlag设置成等于key_pic_flag。也应该注意到在本发明的各种实施方式中，根据可伸缩扩展，key_pic_flag被添加到用于条带的条带头部语法。当AVC基本层中的关键图像被识别时，将要解码的期望层具有等于0的相关性_id，并且质量_级大于0，接着AVC基本层中的关键图像被完全解码。通常，当识别出具有质量_级等于0的关键图像时，将要解码的期望层具有大于0的质量_级，并且将要解码的期望层具有与针对关键图像相同的相关性_id，关键图像被完全解码。

[0056] 图1示出结合本发明使用的通用多媒体通信系统。如图1中所示，数据源100以模拟、未压缩数字、或压缩数字格式或这些格式的任意组合来提供源信号。编码器110将源信号编码成编码媒体比特流。编码器110能够编码多于一种的媒体类型，例如音频和视频，或者多于一个编码器110被要求来编码不同媒体类型的源信号。编码器110也可以获得合成生成的输入，例如图像和文本，或其能够产生合成媒体的编码比特流。在下文中，为了简化描述，仅一种媒体类型的一个编码媒体比特流的处理被考虑。然而，应该注意到通常实时广播服务包括若干个流(通常至少一个音频、视频和文本字幕流)。还应该注意到该系统可以包括许多编码器，但在下文中，为了简化描述并且不失一般性，仅考虑一个编码器110。

[0057] 编码的媒体比特流被传输到存储器120。存储器120可以包括任意类型的大容量存储器以存储编码的媒体比特流。存储器120中编码的媒体比特流的格式可以是基本自包含比特流格式，或一个或多个编码的媒体比特流可以被封装进容器文件中。一些系统“实时”操作，即，省去存储器并且将编码的媒体比特流从编码器110直接传输到发送器130。接着编码的媒体比特流被传输到发送器130，基于需要，其也被称为服务器。在传输中使用的格式可以是基本自包含比特流格式、分组流格式、或一个或多个编码的媒体比特流可以被封装进容器文件中。编码器110、存储器120和发送器130可以驻留在相同的物理设备中或者它们可以被包括在分离的设备中。编码器110和发送器130可结合直播实时内容操作，在该情况下，编码的媒体比特流通常不永久地存储，而是在内容编码器110和/或发送器130中缓存短的时间段以消除处理延迟、传输延迟和编码的媒体比特流中的变化。

[0058] 发送器130使用通信协议栈发送编码的媒体比特流。栈可以包括但不限于实时传输协议(RTP)、用户数据报协议(UDP)、互联网协议(IP)。当通信协议栈是基于分组的，则发送器130可以将编码的媒体比特流封装进分组。例如，当RTP被使用时，发送器130可以根据RTP净荷格式将编码的媒体比特流封装进RTP分组。通常，每个媒体类型具有专用的RTP净荷格式。应该再次注意的是系统可以包含多于一个的发送器130，但为了简化的目的，下面的描述仅考虑一个发送器130。

[0059] 发送器130可以或可以不通过通信网络连接到网关140。网关140可以执行不同类型的功能，例如将根据一种通信协议栈的分组流转换到另一种通信协议栈，组合和派生数据流并且根据下行链路和/或接收机能力来操纵数据流，例如根据主要的下行链路网络条件来控制前向流的比特率。网关140的例子包括多点会议控制单元(MCU)，电路交换和分组交换视频电话、蜂窝服务器上的一键通(PoC)、数字视频广播-手持(DVB-H)系统中的IP封装器、或将广播传输本地地转发到归属无线网络的机顶盒之间的网关。当使用RTP时，网关140称为RTP混合器并且充当RTP连接的端点。

[0060] 可选地，可以通过其他方式将编码的媒体比特流从发送器130传输到接收器150，例如当将盘或设备连接到发送器130时，将编码的媒体比特流存储到便携式大容量盘或设备并且接着将盘或设备连接到接收器150。

[0061] 系统包括一个或多个接收器150，其通常能够接收、去调制和去封装传输的信号成编码的媒体比特流。去封装可以包括去除接收器不能解码或其期望不解码的数据。编解码器媒体比特流通常由解码器160进一步处理，其输出是一个或多个未压缩的媒体流。最后，呈现器170可以利用例如扬声器或显示器重生未压缩的媒体流。接收器150、解码器160和呈现器170可以驻留于相同的物理设备中或它们可以被包括在分离的设备中。

[0062] 比特速率、解码复杂度和图像大小方面的可伸缩性是用于不同类和易生成错误环境的期望属性。该属性是期望的，从而解决例如对比特速率、显示器解析度、网络吞吐量和接收设备中的计算功率的约束的限制。

[0063] 图2和图3示出了本发明可以在其中实现的一个代表性移动电话12。然而，应当理解，本发明不旨在限于一种特定类型的移动电话12或其他电子设备。在图2和图3中示出的一些特征或所有的特征可以被组合进在图1中绘出的任意或所有的设备中。

[0064] 图2和图3的移动电话12包括外壳30、液晶显示器形式的显示器32、小键盘34、麦克风36、耳机38、电池40、红外端口42、天线44、根据本发明一个实施例的通用UICC形式的智能卡46、读卡器48、无线接口电路52、编解码器电路54、控制器56以及存储器58。单独的电路和元件可以是本领域公知的所有类型，例如Nokia范围内的移动电话系列。

[0065] 本发明的通信设备可以使用各种传输技术进行通信，包括但不限于，码分多址(CDMA)、全球移动通信系统(GSM)、通用移动通信系统(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议/互联网协议(TCP/IP)、短消息传递服务(SMS)、多媒体消息传递服务(MMS)、电子邮件、即时消息传递服务(IMS)、蓝牙、IEEE802.11等。通信设备可以使用各种介质进行通信，包括但不限于无线电、红外、激光、线缆连接等。

[0066] 在方法操作的一般背景下描述了本发明，在一个实施方式其可通过程序产品来实施，该程序产品包括计算机可执行指令，例如由网络化环境中的计算机所执行的程序代码。一般地，程序模块包括执行特定任务或实施特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令、关联的数据结构以及程序模块提供用于执行这里公开的方法的步骤的程序代码的例子。这类可执行指令或关联的数据结构的特定序列提供用于实施这类步骤中所述的功能的相应动作的例子。

[0067] 可利用标准的编程技术来完成本发明的软件和web实施，该编程技术具有基于规则的逻辑和其他逻辑以完成各种数据库搜索步骤、相关步骤、比较步骤和判定步骤。应该注意到这里和权利要求书中所使用的措词“组件”和“模块”旨在包括使用一行或多行软件代码的实施和/或硬件实施，和/或用于接收人工输入的设备。

[0068] 为了示例和描述已经提供了本发明的实施方式的上述描述。不旨在穷举或将本发明限制于这里所公开的实施，根据本发明的上述教导或从本发明的实践可获得修改和变形。选择和描述实施方式以解释本发明的原理及其实际应用，从而使得本领域技术人员在各种实施方式中以及利用适于预期特定使用的各种修改来实施本发明。