应用加强轨道

摘要

描述了通过应用加强轨道提供增强的数字媒体播放的系统和方法。应用加强轨道来自主要内容，所述应用加强轨道与所述主要内容相关联并且被编码从而有助于与内容相关的一个或多个性能，例如图像搜索。

权利要求

1.一种对用于播放的媒体文件进行编码的方法，包括：从原始媒体文件提取出视频轨道，其中内容被编码在所述视频轨道中；

使用编码后的内容对应用加强轨道进行编码，其中，编码应用加强轨道包括放弃至少一些内容；以及产生媒体文件，所述媒体文件包括来自所述原始媒体文件的被编码在视频轨道中的内容以及相伴随的应用加强轨道。

2.根据权利要求1所述的方法，其中，通过对内容进行二次取样，从内容中丢弃信息。

3.根据权利要求2所述的方法，其中，对内容的二次取样还包括将内容的分辨率等级降低特定的因数，从而产生应用加强轨道。

4.根据权利要求2所述的方法，其中，对内容的二次取样还包括将内容的帧速率降低特定的因数，从而产生应用加强轨道。

5.根据权利要求4所述的方法，其中，产生媒体文件还包括，在编码内容的所述视频轨道上嵌入伴随的应用加强轨道的部分。

6.根据权利要求4所述的方法，其中，产生媒体文件还包括，将伴随的应用加强轨道集成为媒体文件中的一个块。

7.根据权利要求1所述的方法，其中，所述应用加强轨道仅包括视频。

8.根据权利要求1所述的方法，其中，所述应用加强轨道包含每个关键帧之间相隔特定时间间隔的关键帧。

9.根据权利要求1所述的方法，其中，产生包括来自原始媒体文件的内容以及伴随的应用加强轨道的媒体文件还包括：无论关键帧的大小以及关键帧之间的时间周期的频率，重新对内容进行编码使得压缩最大化，从而产生压缩的视频轨道，所述压缩的视频轨道具有与所述视频轨道相同的分辨率和帧速率；以及产生包括所述压缩的视频轨道和伴随的应用加强轨道的媒体文件；

其中，所述媒体文件包括所述压缩的视频轨道，并且所述应用加强轨道小于所述原始的媒体文件。

10.根据权利要求1所述的方法，其中，所述内容为压缩后的内容。

11.一种对用于播放的媒体文件进行解码的方法，包括：获取媒体文件，所述媒体文件包括经压缩的内容以及伴随的应用加强轨道，所述应用加强轨道是所述经压缩的内容的子集；

播放所述经压缩的内容；以及

以与图像搜索速度成比例的速率、从所述经压缩的内容最近播放的部分确定的位置对所述应用加强轨道的帧进行解码。

12.根据权利要求11所述的方法，其中，所述应用加强轨道仅包括关键帧。

13.根据权利要求11所述的方法，还包括至少一个位于与邻近帧相距恒定时间差中的delta帧。

14.根据权利要求11所述的方法，其中，当超出预先确定的图像搜索速度时，仅对关键帧进行解码。

15.根据权利要求11所述的方法，其中，当超出预先确定的图像搜索速度时，与相关的delta帧一起跳过所选择数量的关键帧。

16.根据权利要求11所述的方法，其中，所述应用加强轨道为所述媒体文件的一部分并且是具有减小的帧速率和分辨率的经压缩的内容。

17.一种用于播放媒体文件的系统，包括：

媒体服务器，配置为从原始媒体文件产生至少一个应用加强轨道，所述至少一个应用加强轨道和所述原始媒体文件共同具有至少一个帧并且其文件大小基本上小于所述原始媒体文件；以及客户处理器，其与所述媒体服务器通过网络互通，并且配置为将针对所述原始媒体文件的请求发送给所述媒体服务器，所述媒体服务器配置为发送被请求的原始媒体文件以及所述至少一个应用加强轨道。

18.根据权利要求17所述的系统，其中，所述客户处理器还包括播放引擎，所述播放引擎配置为对所述应用加强轨道进行解码并且确定所述应用加强轨道中被要求遵守用户播放指令的部分。

19.根据权利要求18所述的系统，其中，所述应用加强轨道仅包含关键帧。

20.一种媒体播放器，包括：

用户接口，配置为接收用户指令；以及

播放引擎，配置为对包括内容和相伴的作为内容子集的应用加强轨道的媒体文件进行解码；

其中，所述播放引擎配置为，响应于经过所述用户接口接收到的用户指令，开始播放内容；

其中，所述播放引擎配置为，响应于对于经过所述用户接口接收到的用户指令的接收，选择所述应用加强轨道的一部分，并且选择所述播放引擎最近播放的内容的部分。

21.根据权利要求20所述的媒体播放器，其中，所述播放引擎配置为，响应于对于经过所述用户接口接收到的用户指令的接收、从基于所述播放引擎最近播放的应用加强轨道部分确定的位置开始播放内容。

22.根据权利要求21所述的媒体播放器，其中，所述应用加强轨道是所述媒体文件的一部分并且是一个关键帧序列，所述关键帧使用内容的相应帧的时间戳来印上时间戳。

23.根据权利要求22所述的媒体播放器，其中，所述关键帧与内容的相应帧的分辨率相比较具有更低的分辨率。

说明书

应用加强轨道

技术领域

[0001] 本发明一般地涉及数字视频分发和播放系统，具体地，涉及提供加强播放控制的数字视频分发和播放系统。

背景技术

[0002] 数字视频革命从物理媒体分发模式演变到电子媒体分布模式，后者利用内容分发网络(CDN)和消费者等级网络(CGN-例如住宅互联网和家用网络)，用于将内容分发至设备。高级视频编码(AVC/H.264)标准的应用在当今的光学和广播工业中是普遍的，但是在适用于CDN/CGN分发的比特率上，这个标准的利用还没有在用于包括全高清(1080p)视频而统一和开放的规格中实现。

[0003] 但是，数字视频格式通常被设计为有效地支持内容的播放。其它公共的用户功能通常通过增加播放器的复杂度(从而增加成本)或者牺牲其它功能、限制用户体验的质量而得到支持。

[0004] 例如，通过对多媒体文件的数字编码而进行的图像搜索通常通过仅显示相关视频流的关键帧(内帧)来执行。关键帧被显示的时间对应于用户执行图像搜索的速度，并且当要求进行高速的图像搜索时，一些关键帧可能会被错过。可替代的方法可以以更高的速率对所有或部分视频流进行解码，并且显示选择性的帧从而在视觉上增加显示的速度。由于在所显示的图像之间的时间差的粗糙和不一致性，这些进行图像搜索的方法可能会向客户传送差的视频体验。更复杂的事情是，根据是否在向前或相反方向上执行图像搜索，设备的工作情况不同。最后，设备可能要求视频流以高于以正常速度播放视频的标准速率几倍的速度被读取，这向设备的子系统提出了挑战。

[0005] 类似地，在具有单个或多个播放主题的播放过程中执行或要求执行的其它典型功能经常受限于它们向用户传送一致的、高质量体验的能力。

发明内容

[0006] 一般地，本发明提供一种特定的操作点集合，其设计来使得个人电脑(PC)和消费电子(CE)平台上的兼容性最大，从而产生高质量的视频，其数据速率比H.264第4级的数据速率低40％进行编码，而仍然可以保持好的图像质量。

[0007] 具体地，CDN/CGN压缩设置在图像搜索上的作用提供了一种增强光媒体上的常规图像搜索的用户体验的方法和系统。所述方法和系统在前向和后向方向上提供了平滑的图像搜索能力，操作速度从2x至200x并可以超出这个范围，可用于PC和CE装置上，这些装置通过CDN/CGN从光盘或电子源存取内容。当组合时，这些特征能够为旨在许多类型的网络上传输的内容提供高质量的用户体验。

[0008] 在这里提供的许多实施例中，提供了图像搜索过程中一致的视觉行为，其在前向和后向的搜索方向上都能很好的工作，而同时基本上减少了对于装置在传送高质量体验上的要求。

[0009] 在一个实施例中，提供一种对用于播放的媒体文件进行编码的方法。该方法包括：从原始媒体文件提取出视频轨道，其中内容被编码在所述视频轨道中；使用编码后的内容对应用加强轨道进行编码，其中，对应用加强轨道进行编码包括放弃至少一些内容；产生媒体文件，所述媒体文件包括来自所述原始媒体文件的被编码在视频轨道中的内容以及相伴随的应用加强轨道。

[0010] 在另一个实施例中，所述对用于播放的媒体文件进行编码的方法包括：获取媒体文件，所述媒体文件包括经压缩的内容以及伴随的应用加强轨道，所述应用加强轨道是所述经压缩的内容的子集；播放所述经压缩的内容；以与图像搜索速度成比例的速率、从所述经压缩的内容最近播放的部分确定的位置对所述应用加强轨道的帧进行解码。

[0011] 在另一个实施例中，一种用于播放媒体文件的系统，包括媒体服务器和用户处理器。所述媒体服务器配置为从原始媒体文件产生至少一个应用加强轨道，所述至少一个应用加强轨道和所述原始媒体文件共同具有至少一个帧并且其文件大小基本上小于所述原始媒体文件。所述客户处理器与所述媒体服务器通过网络互通，并且配置为将针对所述原始媒体文件的请求发送给所述媒体服务器。所述媒体服务器配置为发送被请求的原始媒体文件以及所述至少一个应用加强轨道。

[0012] 在另一个实施例中，一种媒体播放器包括：用户接口，配置为接收用户指令；播放引擎，配置为对包括内容和相伴的作为内容子集的应用加强轨道的媒体文件进行解码。所述播放引擎配置为，响应于经过所述用户接口接收到的用户指令，开始播放内容。所述播放引擎配置为，响应于对于经过所述用户接口接收到的用户指令的接收，选择所述应用加强轨道的一部分，并且选择所述播放引擎最近播放的内容的部分。

[0013] 通过结合附图所进行的以下描述，本发明的上述特征和其它特征以及获取和使用它们的方式将会更加明显并且将得到最好的理解。附图仅对本发明的典型实施例进行描述，因此并不旨在限制本发明的范围。

附图说明

[0014] 图1表示每秒24帧速率的一秒钟视频的帧分布示意图；

[0015] 图2表示每秒24帧速率的一秒钟视频的帧分布示意图；

[0016] 图3表示每秒24帧速率的一秒钟视频的帧分布示意图；

[0017] 图4表示每秒24帧速率的一秒钟视频的帧分布示意图；

[0018] 图5表示预先确定的视频内容部分的帧分布示意图；

[0019] 图6表示根据本发明实施例的视频内容和应用加强轨道的文件分布示意图；

[0020] 图7表示根据本发明的实施例的视频同容和应用加强轨道的文件分布示意图；

[0021] 图8表示根据本发明实施例的视频同容和应用加强轨道的文件分布示意图；

[0022] 图9表示根据本发明的实施例将视频内容空间收缩转化为应用加强轨道的示意图；

[0023] 图10表示根据本发明的实施例将视频内容时间收缩转化为应用加强轨道的示意图；

[0024] 图11表示根据本发明的实施例的2秒钟应用加强轨道的视频的帧分布示意图；

[0025] 图12表示根据本发明的实施例的2秒钟应用加强轨道的视频的帧分布示意图；

[0026] 图13表示根据本发明的实施例在一秒钟的每秒24帧的视频中的帧分布示意图；

[0027] 图14A-B表示帧的示意性帧分布；

[0028] 图14C表示根据本发明的实施例的应用加强轨道的视频的帧分布示意图；

[0029] 图15表示96KHz取样速率和24比特取样大小的两个信道视频的音频分布示意图；

[0030] 图16表示根据本发明的实施例将音频内容在空间上缩放转化到应用加强轨道中的示意图；

[0031] 图17表示根据本发明的实施例将音频内容在时间上缩放转化到应用加强轨道中的示意图；

[0032] 图18示出了根据本发明的实施例对应用加强轨道和内容进行编码的处理流程图；

[0033] 图19表示根据发明的实施例对应用加强轨道和内容进行编码、传送和解码的系统的网络示意图；以及

[0034] 图20表示根据本发明的实施例播放应用加强轨道和内容的处理的流程图。

具体实施方式

[0035] 一般地，数字视频播放系统被提供来保证无论播放速度或方向如何都能平滑地播放，其允许在置于设备上的处理负荷降低的同时能够向用户传送高质量的体验。

[0036] 数字压缩视频通常使用例如在MPEG委员会定义的算法(例如，MPEG-2，MPEG-4 Part 2和MPEG-4 Part 10)进行编码。这些算法将来自源材料的图像编码为“关键帧”和“delta帧”的序列。

[0037] 关键帧包含播放来自源视频的特定图像所需要的所有数据。delta帧包含一个或多个之前解码的图像和其编码的图像之间的差异数据。一般地，存在源图像和编码帧的1∶1的映射。但是，当相对于源视频序列以不同的帧速率进行视频编码时，就不会是1∶1的映射。因此，为了对视频序列的帧F进行解码，必须首先对形成F中所包含的差异值基础的所有帧进行解码。递归地应用，这个解码方法最终需要关键帧来开始解码过程，这是因为它并不基于任何之前被解码的图像。因此，典型的编码器产生的第一个帧是关键帧。

[0038] 由于关键帧独立于其它帧进行编码，所以它们需要更多的存储空间(或在传送过程中更多的带宽)，一般而言，关键帧比delta帧具有更高的成本。为了对本发明进行描述，使用了关键帧(K)比delta帧(D)的成本比12，其中，从编码的视频内容的范围观测中选择了比率3∶1。

[0039] 图1示出了创建编码的比特流20的最小带宽方法的简化示意图(假设没有场景变化)，其中，所有的源图像被编码为delta帧21。在每秒钟24帧的一秒钟视频中的帧成本分布是低的，其成本等于delta帧的数量剩以delta帧的成本(D)。但是，这个方法是不可行的，因为至少第一个帧必须被编码为关键帧并且在文件中的其它位置上需要插入其它的关键帧以便有利于特技播放(trick play)，例如图像搜索和随机播放功能。正如这里所述以及其它类似的以下特征中所述的，解码顺序是从左到右，并且每个相关帧的放置顺序也是从左到右的。

[0040] 图2提供了第1秒视频轨道的视图，其中，可以看出，第一个编码的帧是关键帧31，之后是delta帧32。因此，第一秒的这个轨道的成本与仅使用图1的方法相比增加了大约8％(成本＝1*K+23*D＝26)。

[0041] 图3和图4示出了当关键帧的频率增加时成本是如何增加的。平衡点在于，关键帧的更频繁使用在能够解码至更接近比特流中随机选择的点方面提供了更大的灵活性。在图3中，两个关键帧41在22个delta帧42之间相隔(成本＝2*K+22*D＝28)。在图4中，关键帧51的数量增加并且关键帧在更小数量的delta帧52中被间隔(成本＝4*K+20*D＝32)。

[0042] 为了通过编码的视频比特流执行快速的图像搜索，解码器应当增加其解码速率从而与用户要求的速度相匹配。但是，由于例如磁盘I/O、存储器I/O和处理器本身的原因而在典型系统中带来的性能瓶颈，这并不总是可行的。另外，由于往前的按时间顺序播放优化的编码方法的性质，反向解码可能是麻烦的。所以大部分系统可能最后依赖于这样的方案，例如丢弃某些delta帧的处理或仅按顺序和用户正在进行的图像搜索的方向和速度确定的速率处理关键帧。

[0043] 基于至少前面所述的因素，例如DVD的许多视频格式保证在多媒体内容的整个持续时间上存在规则插入的关键帧。事实上，DVD格式要求在整个内空上大约每600ms插入一个关键帧。这个规则的关键帧的插入传递了好的图像搜索功能，但是代价是由于频繁使用关键帧而极大的增加了文件大小。例如这些的方案基本上利用类似于图2、3和4中的关键帧/delta帧分布将内容编码为片段。

[0044] 下面描述根据本发明的实施例对视频内容进行编码的多个有效的方法和系统。一个这种编码方法和系统在没有场景变化的情况下至少每10秒以及对于H.264内容而言每4秒插入关键帧一次，并且在场景变化的位置上附加插入关键帧。这保证了对通常产生的内容的有效编码。例如，与DVD编码方法(大约每秒钟2个关键帧)相比较，根据本发明实施例的方法产生小得多的文件大小。

[0045] 图5中示出了根据本发明的实施例进行编码的内容60中关键帧61和加强帧62的分布。但是，利用这种潜在的低频率和非确定的关键帧的放置，基于前面所描述的性能规格，特技播放的性能可能会受到极大的影响。如前所述，以更频繁的、规则的间隔放置额外的关键帧将会向例如图像搜索的应用提供一致的、高质量的性能。但是，引入更多的关键帧也增加了视频编码的任何部分的成本。成本还取决于选择的时间周期。例如，每秒钟6个关键帧的系统将提供较平滑的图像搜索功能(在仅依赖于关键帧解码的系统中)，但是将每秒钟视频的成本增加50％。这个高成本对于大部分宽等级的应用而言是不能被允许的。

[0046] 在图5中，应当注意，图中所示的视频部分比之前附图中所示的一秒钟要长，从而更好地图示出这个情况下的帧分布。因此，关键帧61和delta帧62比之前所示附图中看起来要小。还应当注意，附图不必须要根据规定比例，而仅仅是概念性地图示，从而有利于描述本发明的各个实施例。

[0047] 大部分设备提供妥协的用户体验的另一个功能领域是在向用户提供多内容文件列表时。许多设备仅显示文件名称的文字，并且可以为每个内容片段显示静态图形按钮。这种情况下的更高质量的体验可以是这样的，即提供显示所有或部分内容的视频序列的活生生的按钮。但是，这个类型的能力将需要播放引擎，其能够同时对许多内容片段进行解码，而这通常是不可行的。

[0048] 应用加强轨道

[0049] 应用加强轨道(AET)是以改善一个或多个应用或应用特性的性能的方式进行编码的媒体轨道。一般而言，AET是源内容的一个或多个轨道的重新编码的版本。大部分AET包含比原文件少得多的数据，并且数据以可以在一个或多个加强应用或特性开始运行时能够容易地加强用户体验的形式存在。AET中的数据通常设计为使得应用不需要获得比处理内容更高的性能。

[0050] 因此，设计为允许通过原来以每秒30帧(fps)的帧速率编码的标题来进行“6x”图像搜索的AET可以通过将原来的视频重新编码为5fps的速率而产生。因此，即使当AET被用于传送“6x”图像搜索，设备将承担小于或等于解码原来视频所需要的负载的“1x”。为了进一步加强这个例子，原来的视频可以在空间上将分辨率缩小为其每个垂直和水平维度上原来大小的50％(导致每个帧的像素数量的四个减少的因子)；在这种情况下，设备可以执行“24x”图像搜索，而不需要超过“1x”的原有像素的解码性能。

[0051] 当AET可以被直接记录在相同的文件中作为它们提供加强的内容，或者它们可以存储在单独的文件中。当作为它们加强的内容存储在相同的文件中时，加强轨道数据可以内插有内容，或者可以在文件中的任何位置上位于一个或多个邻接的块中。图6-8示出了加强轨道数据可以与其加强的内容相关联的一些不同方法。可以利用任何一个方法、组合方法或所有的方法来存储AET。在图6中，内容71位于一个文件中，并且相关的AET 72位于独立的文件中。在图7，AET 82在内容81之后或之前。内容91嵌入在AET 92的各个部分中，或者内容91和AET 92组合在一起来产生组合的内容AET文件93。

[0052] 视频AET

[0053] 作为例子，设计为改善图像搜索和/或通过预览引擎显示动态图标的性能的视频AET可以通过选择性地将内容缩放到不同的空间和时间分辨率、然后利用规则的关键帧图案对这个缩放后的版本重新编码到数据流中而创建，在几个实施例中，利用规则的delta帧的图案进行重新编码。

[0054] 图9示出了将视频源101在空间上缩放到合适大小的加强轨道102。缩放量可以增加或减小源视频的空间分辨率，并且可以改变源视频的纵横比。空间缩放还可以通过将原来的图像增加或切割到AET中所要的大小而实现。图10示出了在时间上将视频源111缩放为降低速率的增加轨道112。但是，使用的缩放比例可能增加或减少来自源视频的分辨率。空间缩放可以在时间缩放之前，反之亦可。

[0055] 图11和12示出了视频AET 120和130中关键帧和delta帧的顺序和分布的例子，其中，AET包含关键帧121和131和delta帧122和132。在这些例子中，图11示出了根据本发明实施例的加强前向图像搜索的帧顺序和分布，图2示出了根据本发明实施例的加强后向图像搜索的帧顺序和分布。标记为“sk”的帧123和133示出了来自初始的源内容的相应帧已经被跳过。

[0056] 在这些例子中，在图像搜索过程中，AET中的每个帧以与用户请求的图像搜索速度成比例的速率被解码和显示。当图像搜索速度要求的解码和显示速率超出设备的能力时，设备可以改变模式，例如从处理所有帧改变为处理要求的关键帧或处理预先选择来支持所要求的搜索速度的关键帧。由于关键帧在整个AET上以规则的间隔放置，所以从关键帧到关键帧的图像性能将是一致的。

[0057] 在如图11和12的类似方案中，每个delta帧可以从单个关键帧(例如，最接近的规则放置的关键帧)预测。在这种编码方法中，能够创建这样的AET，其不需要超过两个解码周期来在AET中显示任何帧。这个方案在执行快速图案搜索时使得关键帧至关键帧的跳跃得以改进，并且在对所有关键帧和一些delta帧进行解码和显示的情况下允许中间状态的速度。这种编码方法还能支持双向图像搜索。

[0058] 再次参考图12，设计来特别支持反向图像搜索的图像搜索AET通过在相反的时间顺序对源视频进行编码而产生，同时以时间顺序放置初始的被压缩或被编码的内容。这个方法允许通过读取文件中反向顺序放置的AET执行反向的特技播放，这也是正确的解码顺序。这个方法最好地允许内容媒体轨道块与反向图像搜索AET块的交叉。

[0059] 图13示出了单个图像搜索AET UO，其被编码以支持前向搜索和反向搜索。这个方法仅使用关键帧141而没有delta帧。由于关键帧包含绝对数据，不需要暗示的指令来对其进行解码，所以有利于反向或前向图像搜索。下面参照图19讨论仅包括根据本发明实施例的关键帧的AET的其它例子。

[0060] 图14A-C进一步描述了图像搜索AET 150，其被编码来支持前向搜索和反向搜索。在图14A中，提供了以每秒25帧编码的样本视频150，其包括帧内类型(I帧)151、双向预测帧(B帧)152和单向预测帧(P帧)153。如图所示，帧内间的距离不是均匀的，这在图14B中显示得更为清楚。帧内间的时间距离以及这些帧内比特率在不同的帧上变化很大。这些问题随着图像搜索AET 150的添加已经被解决(图14C)。帧内的比特率更加均匀，时间距离也相一致。在光学以及流播放的情况下，这些因素将在平滑的前向和反向操作期间产生更好的用户体验。

[0061] 这种视频AET还可以包含轨道数据中的信息，其将编码后的视频帧与原来标题中的相应帧或时间周期相关联。这个信息可以被编码为相对于内容的时间线相关的时间戳，或者文件位置偏移，或者任何其它的机构。

[0062] 图示的AET也可以利用图像搜索使用的相同属性加强内容预览体验。在典型的内容预览模式中，内容的降低分辨率的版本与可用于识别内容的其它信息一起被显示，所述可用于识别内容的其它信息例如是文件名、持续时间等。

[0063] 通过使用例如图13中所示的视频AET，内容预览引擎可以读取将要预览的每个标题的部分或全部AET数据，然后解码和显示一个屏幕上的多个AET。由于AET设计为具有主要内容的一小部分的处理需要，所以这个多标题的活动的预览成为可能，而不需要增加设备的性能。

[0064] 音频和其它媒体AET

[0065] 在与视频AET相似的方式中，可以通过遵循与创建视频AET中所用的相同原则来创建其它AET。这种适用于AET的媒体轨道包括音频和字幕轨道。用于从音频轨道创建音频AET 170、175的示例方式在图16和图17中显示。图15示出了音频轨道160。在图示的实施例中，音频轨道被取样，并且取样被结合在AET中从而能够结合视频AET播放取样。

[0066] 生成AET

[0067] 在用户希望将一个或多个AET添加到一片内容中的情况中，创建和存储(“生成”)AET的处理将会耗费时间和处理功率。如果在用户希望利用内容时这个时间和处理需要被加至用户头上，则这将不会形成好的用户体验，这是因为在继续任何启动的操作之前用户将被逼迫进行等待。

[0068] 在一个实施例中，通过与另一个例如下载、向磁盘录制或第一次播放的操作相平行地执行产生AET的处理，可以不再需要等待AET的产生处理，或减少这一需要。另一个实施例是将AET集成到当用户的计算机没有被积极使用时运行的“背景任务”中，从而允许内容的用户个人目录在用户利用计算机执行其它应用程序时被处理。

[0069] 在图18中，提供了执行AET产生处理的一个实施例。内容被二次抽样至较低的分辨率(181)，然后这个较低分辨率的内容被第二次抽样至较低的帧速率(183)。低分辨、低帧速率被编码为视频AET，作为仅有比特流(185)的关键帧。产生的数据被包括在内容(187)中，例如，被写入/嵌入到内容中或附加至内容的尾部。

[0070] 例如，通过实验的测试，通过从源中获取25％的空间数据(像素)和21％的时间数据(帧)，可以丢弃接近95％的原始数据。产生的帧均被编码为关键帧，已知它是非常效率低的。但是，由于正在编码的源仅是原始数据大小的5％，所以已经发现视频AET文件可能是百分之几至10％原始内容的大小(一般来说，7.5％可用于估算编码视频AET文件的大小)。

[0071] 通过实验测试确定的以下例子也被提供来至少示出相对于文件大小的图像搜索加强。分辨率为1920*816的“正常编码”(即，每秒钟一个或多个关键帧)的电影(即，23.976fps)具有大约10GB的文件大小。文件利用每4秒钟一个或多个关键帧的关键帧速率进行重新灌录，将文件大小减小为8.23GB，即17.7％的分辨率。然后内容被二次抽样为
480*272的分辨率以及5fps的帧速率(分别为25％和21％)，从而产生AET源。然后AET源仅被编码为关键帧，产生大约618MB的AET文件大小。“最佳编码”和“图像搜索加强”的组合文件大小为8.85GB。这从原来文件大小中节省了1.15GB，并且包括改进的图像搜索性能。另外，先进的视频播放器和媒体管理器可以使用AET来显示生动的内容预览。在这个例子中，设备可以执行接近“40x”的图像搜索(前向或后向的时间线)，而不需要超过”1x”的源视频系统的性能。通过跳过关键帧从而将系统性能保持在执行图像搜索的设备(或软件)的限制中，可以实现更快速度的图像搜索。

[0072] 图19中示出了根据本发明的实施例的播放系统。渐进式播放系统190包括连接到网络194的媒体服务器192。媒体文件存储在媒体服务器194上并且可以由配备有客户应用程序的装置进行存取。媒体文件被编码有内容文件，该内容文件耦合到应用加强轨道或嵌入到应用加强轨道。在图示的实施例中，存取媒体服务器上媒体文件的装置包括个人电脑196、消费电子装置和便携式装置，所述消费电子装置例如是连接到例如电视机200的播放装置的机顶盒198，所述便携式装置例如是个人数字助理202或移动电话。上述装置和媒体服务器192可以在通过网关206连接到互联网204的网络194上进行通信。在其它实施例中，媒体服务器192和上述装置在互联网上进行通信。

[0073] 上述装置配置有可以从媒体服务器192请求媒体文件的全部或一部分以便进行播放的客户应用程序。客户应用程序的实现形式可以是软件、固件、硬件或这些形式的组合。在许多实施例中，装置播放所下载媒体文件的媒体。在几个实施例中，装置提供能够使得另一个装置播放媒体的一个或多个输出。在一个例子中，当媒体文件包括一个或多个应用加强轨道时，根据本发明实施例的配置有客户应用程序的装置可以使用AET来向使用者提供特技播放功能。当使用者提供特技播放指令时，装置使用AET来执行特技执行功能。在许多实施例中，客户应用程序使用允许下载媒体文件中特定字节范围的传输协议请求媒体文件的全部或一部分。一个这样的协议是HTTP 1.1协议，其由互联网协会(InternetSociety)或BitTorrent公布并且可以从网站www.bittorrent.org获取。在其它实施例中，可以使用其它协议和/或机制来从媒体服务器获取媒体文件的特定部分。

[0074] 在图20中，示出了利用应用加强轨道的一个实施例。例如，从媒体服务器接收到或找到媒体文件(211)。媒体文件被审查以便提取出应用加强轨道(212)。媒体播放器的用户界面允许使用者与媒体文件进行交互，例如提供特技播放请求(213)。例如，使用者可以指示希望将媒体内容前向快进。同样，媒体播放器存取AET并且在前向方向上平移AET。在一个实施例中，媒体播放器确定正在播放的内容的时间和位置，并且相对于内容定位相应的AET的时间和位置(214)。在许多实施例中，使用AET中的时间戳定位相应的位置。在许多实施例中，使用索引定位相应的位置。媒体播放器从这个位置按顺序解码或播放AET中的帧，直至使用者请求停止(215)。通过2x、4x等快进用户请求，AET被编码或播放的速度也可以由使用者改变。后退请求以相同的方式工作但是与快进请求的方向相反。在使用者“播放”请求，媒体播放器确定AET相对于内容的时间和位置，并且从这个位置按顺序对内容中的帧进行解码，直至接收到另一个用户请求。

[0075] 在许多实施例中，利用对应于AET中的帧的时间戳定位帧可以包括，利用包含在多媒体文件中的索引中所希望的时间戳之前的最接近的时间戳来定位关键帧，解码关键帧，并且解码关键帧和具有所希望时间戳的差别帧之间的差别帧。在该点上，可以使用具有更高分辨率的内容开始播放。在许多实施例中，使用其它技术在特技播放模式中观看AET中的低分辨率内容和包含多媒体文件中全部内容的更高分辨率的轨道之间进行无缝过渡。

[0076] 如果时间戳不存在于例如音频视频隔行扫描(AVI)文件的媒体文件中，则定位开始点从而播放更高分辨率的内容基于媒体文件中的AET的位置。在一个实施例中，虽然时间戳不存在于AET或内容中，时间戳来自帧的数量以及相关的帧速率。使用这个时间戳，可以定位高分辨率内容中的对应于AET帧或最接近的AET帧的帧，反之亦然。

[0077] 一般地，应用加强轨道来自它们相关联的主要内容。它们通常被编码来帮助实现与内容相关的一个或多个功能，例如图像搜索或内容预览，并且可以存储在与主要内容相同的文件中，或者存储在一个或多个独立的文件中。AET提供改进功能的许多因素，但是仅引起与主内容相关的成本(存储、传送速度等)的稍微增强。事实上，由于AET是主内容的一小部分成本，仅需要该轨道来执行功能从而可以降低观看内容或与内容相交互的整个成本。

[0078] AET并不依赖于任何单个类型的媒体数据或编码标准，事实上它可以同等地适用于许多广泛使用的视频标准(MPEG-2，MPEG-4 Part 2以及H.264)以及广泛应用的媒体格式(DivX，DVD，蓝光磁盘，HD-DVD)。

[0079] 在许多实施前面所述的方法和系统中，可以在前向或反向方向上进行可变速度的图像搜索，相对于主内容文件的大小仅增加文件大小的成本5％。另外，这些相同的轨道可用于内容预览的直观显示。

[0080] 最后，应当理解，虽然为了进行图示已经描述了本发明的优选实施例，但是这些描述不应当被视为是对本发明的限制。因此，本领域的技术人员可以进行各种修改、调整以及替代，它们并不脱离本发明的精神和范围。