用于媒体流传送的客户端、内容创建器实体及其方法转让专利

申请号 : CN201180048227.8

文献号 : CN103141115B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : P.弗勒杰德T.艾纳松

申请人 : 瑞典爱立信有限公司

摘要 :

本发明的实施例涉及用于实现技巧模式的方法和装置。这通过将轨道内的样本指派到样本群组(其中,样本群组内的所有样本属于一个时间级)并且通过允许客户端访问独立于更低时间级的一个时间级来实现。这样,增大了客户端有关不同帧速率的播出的灵活性,这能够产生更低的带宽利用。

权利要求 :

1.一种在内容创建器实体(610)中用于能够实现包括至少一个初始化段和至少一个媒体段的文件的系统的技巧模式的方法,其中所述至少一个媒体段包括具有多个媒体样本的至少一个轨道,并且所述至少一个初始化段包括所述至少一个媒体段的描述,所述方法包括:-识别(501)一个轨道内具有相同时间级的媒体样本,

-将所述媒体样本编组(502)成样本群组,使得一个样本群组内的所有媒体样本具有相同时间级,

-为所述样本群组标记(503)在所述至少一个初始化段中指示相应样本群组的样本的时间级的时间级信息,以及-在所述至少一个初始化段中添加(504)指示所述时间级是否能够被独立解码而不使用来自更低时间级的群组的样本的信息。

2.如权利要求1所述的方法,其中所述时间级信息与样本编组类型相关联。

3.如权利要求2所述的方法,其中所述时间级信息是样本群组描述索引。

4.如权利要求1-3任一项所述的方法,其中所述时间级是否能够被独立解码而不使用来自更低时间级的群组的样本的信息包括在所述样本群组描述中。

5.如权利要求3所述的方法,其中所述样本群组描述索引还包括rate_factor参数,所述rate_factor参数是对应于通过以原始样本速率播放当前和更低时间级的所有样本而实现的增大时间进度的正整数。

6.如权利要求3所述的方法,其中所述样本群组描述索引还包括data_offset参数,所述data_offset参数是相对于带有所述样本的时间级的媒体段的开始,指向第一样本的开始的整数。

7.如权利要求1-3任一项所述的方法,其中所述媒体段的段类型框styp中的“tele”用于表明所述媒体段的样本被编组,使得更低时间级的样本在更高时间级的那些样本之前。

8.一种在客户端(620)中用于能够以所需速率实现包括至少一个初始化段和至少一个媒体段的文件的系统的技巧模式的方法,其中所述至少一个媒体段包括具有多个媒体样本的至少一个轨道,并且所述至少一个初始化段包括所述至少一个媒体段的描述,所述方法包括:-接收(510)包括所述至少一个媒体段的描述的文件的初始化段,其中所述客户端配置成识别是否包括指示所述媒体段的时间级是否能够被独立解码而不使用来自更低时间级的群组的样本的信息,如果包括指示所述时间级是否能够独立解码而不使用来自更低时间级时间级的群组的样本的信息(511),则-确定(512)能够独立于其它级被解码的时间级,对于每个段:-基于所述所需速率和哪些时间级能够被独立解码而不使用来自更低时间级的群组的样本的信息,确定(513)要下载媒体段的哪些时间级,-下载(514)所述初始化段到对应媒体段,-确定(515)所述媒体段内相关时间级的物理位置,以及-下载(516)所述媒体段的确定的时间级。

9.如权利要求8所述的方法,其中所述时间级信息与样本编组类型相关联。

10.如权利要求9所述的方法,其中所述时间级信息是样本群组描述索引。

11.如权利要求8-10任一项所述的方法,其中所述时间级是否能够被独立解码而不使用来自更低时间级的群组的样本的信息包括在所述样本群组描述中。

12.如权利要求10所述的方法,其中所述样本群组描述索引还包括rate_factor参数,所述rate_factor参数是对应于通过以原始样本速率播放当前和更低时间级的所有样本而实现的增大时间进度的正整数。

13.如权利要求10所述的方法,其中所述样本群组描述索引还包括data_offset参数,所述data_offset参数是相对于带有所述样本的时间级的媒体段的开始,指向第一样本的开始的整数。

14.如权利要求8-10任一项所述的方法,其中所述媒体段的段类型框styp中的“tele”用于表明所述媒体段的样本被编组,使得更低时间级的样本在更高时间级的那些样本之前。

15.一种用于能够实现包括至少一个初始化段和至少一个媒体段的文件的系统的技巧模式的内容创建器实体(610),其中所述至少一个媒体段包括具有多个媒体样本的至少一个轨道,并且所述至少一个初始化段包括所述至少一个媒体段的描述,所述内容创建器实体包括处理器(612),所述处理器配置成识别一个轨道内具有相同时间级的媒体样本,将所述媒体样本编组成样本群组,使得一个样本群组内的所有媒体样本具有相同时间级,为所述样本群组标记在所述至少一个初始化段中指示相应样本群组的样本的时间级的时间级信息,以及在所述至少一个初始化段中添加指示所述时间级是否能够被独立解码而不使用来自更低时间级的群组的样本的信息。

16.如权利要求15所述的内容创建器实体,其中所述时间级信息与样本编组类型相关联。

17.如权利要求16所述的内容创建器实体,其中所述时间级信息是样本群组描述索引。

18.如权利要求15-17任一项所述的内容创建器实体,其中所述时间级是否能够被独立解码而不使用来自更低时间级的群组的样本的信息包括在所述样本群组描述中。

19.如权利要求17所述的内容创建器实体,其中所述样本群组描述索引还包括rate_factor参数,所述rate_factor参数是对应于通过以原始样本速率播放当前和更低时间级的所有样本而实现的增大时间进度的正整数。

20.如权利要求17所述的内容创建器实体,其中所述样本群组描述索引还包括data_offset参数,所述data_offset参数是相对于带有所述样本的时间级的媒体段的开始,指向第一样本的开始的整数。

21.如权利要求15-17任一项所述的内容创建器实体,其中所述媒体段的段类型框styp中的“tele”用于表明所述媒体段的样本被编组,使得更低时间级的样本在更高时间级的那些样本之前。

22.一种用于能够以所需速率实现包括至少一个初始化段和至少一个媒体段的文件的系统的技巧模式的客户端(620),其中所述至少一个媒体段包括具有多个媒体样本的至少一个轨道,并且所述至少一个初始化段包括所述至少一个媒体段的描述,所述客户端包括输入/输出部分(626),所述输入/输出部分配置成接收包括所述至少一个媒体段的描述的文件的初始化段,其中所述客户端还包括处理器(622),所述处理器配置成识别是否包括指示所述媒体段的时间级是否能够被独立解码而不使用来自更低时间级的群组的样本的信息,以及配置成确定能够独立于其它级被解码的时间级,其中所述处理器配置成对于每个段,基于所述所需速率和哪些时间级能够被独立解码而不使用来自更低时间级的群组的样本的信息,确定要下载媒体段的哪些时间级,所述输入/输出部分(626)配置成下载所述初始化段到对应媒体段,所述处理器(622)配置成确定所述媒体段内相关时间级的物理位置,以及所述输入/输出部分(626)配置成下载所述媒体段的确定的时间级。

23.如权利要求22所述的客户端,其中所述时间级信息与样本编组类型相关联。

24.如权利要求23所述的客户端,其中所述时间级信息是样本群组描述索引。

25.如权利要求22-24任一项所述的客户端,其中所述时间级是否能够被独立解码而不使用来自更低时间级的群组的样本的信息包括在所述样本群组描述中。

26.如权利要求24所述的客户端,其中所述样本群组描述索引还包括rate_factor参数,所述rate_factor参数是对应于通过以原始样本速率播放当前和更低时间级的所有样本而实现的增大时间进度的正整数。

27.如权利要求24所述的客户端,其中所述样本群组描述索引还包括data_offset参数,所述data_offset参数是相对于带有所述样本的时间级的媒体段的开始,指向第一样本的开始的整数。

28.如权利要求22-24任一项所述的客户端,其中所述媒体段的段类型框styp中的“tele”用于表明所述媒体段的样本被编组,使得更低时间级的样本在更高时间级的那些样本之前。

说明书 :

用于媒体流传送的客户端、内容创建器实体及其方法

技术领域

[0001] 本发明的实施例涉及媒体流传送,并且具体地说,涉及实现技巧模式。

背景技术

[0002] 对媒体尤其是视频的超文本传输协议(HTTP)流传送的兴趣在增长。这已演变成超出简单的渐进式下载,提供两个新特征:适应性和直播内容。实现此的方式是将内容分割成多个段或文件,每个段或文件对应于小间隔的内容,例如,10秒的内容。为客户端提供也称为媒体呈现描述的清单(manifest)文件,该文件列出不同段及获取它们的地方,并且客户端逐一获取它们。分割成经象HTTP等标准web协议获取的不同段/文件也据称是缓存友好(cache-friendly)或内容分发网络友好(Content Distribution Network (CDN) friendly),这是因为与基于象实时流传送协议(RTSP)等协议的流传送服务器不同,它不要求在服务器或缓存中的任何状态。
[0003] 3GPP最近在PSS的第9版中标准化了一种用于HTTP流传送的解决方案,称为自适应HTTP流传送(AHS)。扩展版本称为3GP-DASH(HTTP上的动态自适应流传送),并且当前在第10版中指定。运动图像专家组(MPEG)当前在标准化基于3GPP AHS的HTTP上的动态自适应流传送(DASH)。
[0004] AHS和DASH解决方案及用于HTTP流传送的其它解决方案使用由客户端从服务器获取的两种不同类型的文件。第一种类型是描述会话并且具体而言是内容的可用的各种变型的清单。在AHS和DASH中,清单是MDP文件,并且提供有关不同期间的信息,并且因而提供在某个期间内媒体的不同表示的段。第二种类型是包含在媒体文件中的媒体本身。在AHS和DASH中,这些是基于ISO(国际标准化组织)文件格式,并且由初始段和媒体段组成。
[0005] 为在媒体中快速导航,通常通过快进或快退而允许技巧模式和交替播出速率,即,以更高速度更快播放媒体流的表示或甚至向后播放。这样,用户能够在视觉上搜索流,并且在所想要位置开始正常播放。
[0006] “快进”的最简单方法是比其原始速率更快播放流。此方法具有要求大量处理能力的缺陷,以及如果内容在远程服务器上,则要求增大的下载速率。例如,为能够以10倍速快进,将需要十倍的解码复杂性。图1示出速度是正常速度的两倍情况下的快进。
[0007] 快进的简化方法是只播放I帧,或更具体地说,只播放随机访问点(RAP),即,关键帧。视I帧之间的距离而定,这大幅降低了复杂性。通过将每隔一个I帧解码,可能实现还更快的技巧模式,但如果视频未使用时间级编码,则不容易实现对应于微小图像距离的技巧模式。图2示出在I帧之间的跳跃以便能够实现快进。
[0008] 此解决方案的另一缺陷是此解决方案的高开销(带宽需求)。完整的流(所有帧)必须被发送到过滤和丢弃“不想要的”帧(大部分帧)的接收器。
[0009] 也称为样本的帧能够被划分到时间级中。一个时间级内的所有样本能够只取决于相同时间级内的样本或更低时间级内的样本。支持时间级的视频编解码器的示例是H.264 (MPEG-4 AVC),其是最新技术视频编码标准。它是混合编解码器,除图片内的冗余外,它还利用了消除图片之间的冗余(使用B和P图片)。
[0010] H.264支持限制图片之间相关性的几种方式,从而能够从比特流提取独立帧的子集并将其编码而不使用流的任何剩余图片。例如,我们能够提取就固定图片组(GOP)结构而言将在媒体流中有规律出现的I帧。其它的选项是利用分层B和/或P图片以提取媒体流的时间级。
[0011] 时间可扩展性编码结构的示例在图3中示出。在图3中,将图片(I、P和B)按其级0、1、2或3编索引。图形显示,一个时间级内的样本只取决于相同时间级内的样本或更低时间级内的样本。
[0012] 相应地,能够如下获得不同的快进(ff)速度(普通播出倍数):
[0013] 通过使用第0级的图片,实现ff x8,
[0014] 通过使用第0和1级的图片,实现ff x4,
[0015] 通过使用第0、1和2级的图片,实现ff x2,
[0016] 正常播放对应于所有第0、1、2和3级。
[0017] 3GPP和MPEG分别使其HTTP流传送输送格式基于3GP文件格式和MP4文件格式,这些文件格式又基于ISO基媒体文件格式。
[0018] 3GP或MP4文件的文件结构是面向对象型,并且文件由称为框的一系列对象形成。框的结构根据其类型推断。一些框只包含其它框,而大多数框包含数据。文件的所有数据包含在框中。
[0019] 文件能够被划分成包含在类型“moov”的电影框中的初始电影元数据部分和包含在类型“moof”的电影片段框中的多个增量电影片段。每个电影片段在时间上延长电影(多媒体呈现)。电影框和电影片段框是包含客户端解码和渲染媒体呈现需要的信息的元数据框。实际媒体数据存储在类型“mdat”的媒体数据框中。所有这些框(“moov”、“moof”和“mdat”)是顶级框,即,只由文件包含并且不由任何其它框包含。
[0020] 对于3GP-DASH和MPEG DASH,使用3GP和MP4文件的分段版本。有两种主要类型的段:
[0021] 初始化段:包含电影框(“moov”)但无电影片段。
[0022] 媒体段:包含一个或多个电影片段(“moof”)和在媒体数据框(“mdat”)中的对应媒体数据但无电影框。
[0023] 如上为HTTP流传送所述,客户端首先需要MPD,其包括到相关初始化和媒体段的指针。随后,通过下载一个初始化段(或者在并行呈现用于例如音频和视频的情况下的几个初始化段),客户端初始化HTTP流传送。之后,客户端通过下载如MPD中所述媒体段,继续HTTP流传送。
[0024] 图片以文件格式存储为访问单元。默认情况下,它们在比特流中按解码顺序显示。图4示出访问单元在电影片段中按其默认比特流顺序存储的示例。有三个时间级(0、1和2)。
[0025] 图4示出按解码顺序在片段中带有不同时间级的访问单元:I(0)、P(4)、B(2)、B(1)、B(3)、P(8)、B(6)、B(5)、B(7)等。括号中的数字表示呈现顺序,即,在屏幕上渲染帧的顺序:I(0)、B(1)、B(2)、B(3)、P(4)、B(5)、B(6)、B(7)、P(8)等。I(0)、P(4)、P(8)、P(36)在第0时间级中;B(2)、B(6)、B(34)在第1时间级中;B(1)、B(3)、B(5)、B(7)、B(33)、B(35)在第2时间级中。
[0026] 如果客户端想要只下载属于某个时间级的样本,则它需要发出几个HTTP GET字节范围请求以便避免下载超过所需的数据。例如,如果客户端想要下载第0时间级,则它需要下载对应于快进x4的访问单元I(0)、P(4)、P(8)等。对于ff x2,将需要第0和1时间级,即,访问单元I(0)、P(4)、B(2)、P(8)、B(6)等。

发明内容

[0027] 如上所提及的一样,用于实现技巧模式的现有技术方法在解码复杂性和信令开销方面具有几个缺陷,例如,获得请求的发出。
[0028] 本发明的实施例的目的是实现改进的解决方案以实现技巧模式。
[0029] 此目的通过将轨道内的样本指派到样本群组(其中,样本群组内的所有样本属于一个时间级)并且通过允许客户端访问独立于更低时间级的一个时间级来实现。这样,增大了客户端有关不同帧速率的播出的灵活性,这能够产生更低的带宽利用。
[0030] 根据本发明的实施例的第一方面,提供了一种在内容创建器实体中用于能够实现文件的系统的技巧模式的方法。文件的系统包括至少一个初始化段和至少一个媒体段,其中至少一个媒体段包括具有多个媒体样本的至少一个轨道,并且至少一个初始化段包括至少一个媒体段的描述。在方法中,识别一个轨道内具有相同时间级的媒体样本,并且将媒体样本编组,使得一个样本群组内的所有媒体样本具有相同时间级。将样本群组标记至少一个初始化段中指示相应样本群组的样本的时间级的时间级信息,并且在至少一个初始化段中添加指示时间级是否能够被独立解码而不使用来自更低时间级时间级的群组的样本的信息。
[0031] 根据本发明的实施例的第二方面,提供了一种在客户端中用于能够以所需速率实现文件的系统的技巧模式的方法。文件的系统包括至少一个初始化段和至少一个媒体段,其中至少一个媒体段包括具有多个媒体样本的至少一个轨道,并且至少一个初始化段包括至少一个媒体段的描述。在方法中,接收包括至少一个媒体段的描述的文件的初始化段,其中,客户端配置成识别是否包括指示时间级是否能够被独立解码而不使用来自更低时间级的群组的样本的信息。如果包括指示时间级是否能够独立解码而不使用来自更低时间级的群组的样本的信息,则确定能够独立于其它级被解码的时间级。对于每个段,基于所需速率和哪些时间级能够被独立解码而不使用来自更低时间级的群组的样本的信息,确定要下载媒体段的哪些时间级,下载初始化段到对应媒体段,确定媒体段内相关时间级的物理位置,以及下载媒体段的确定的时间级。
[0032] 根据本发明的实施例的第三方面,提供了一种用于能够实现文件的系统的技巧模式的内容创建器实体。文件的系统包括至少一个初始化段和至少一个媒体段,其中,至少一个媒体段包括具有多个媒体样本的至少一个轨道,并且至少一个初始化段包括至少一个媒体段的描述。内容创建器实体包括处理器,处理器配置成识别一个轨道内具有相同时间级的媒体样本,将媒体样本编组成样本群组,使得一个样本群组内的所有媒体样本具有相同时间级,为样本群组标记在至少一个初始化段中指示相应样本群组的样本的时间级的时间级信息,以及在至少一个初始化段中添加指示时间级是否能够被独立解码而不使用来自更低时间级时间级的群组的样本的信息。
[0033] 根据本发明的实施例的第四方面,提供了一种用于能够以所需速率实现文件的系统的技巧模式的客户端。文件的系统包括至少一个初始化段和至少一个媒体段,其中,至少一个媒体段包括具有多个媒体样本的至少一个轨道,并且至少一个初始化段包括至少一个媒体段的描述。客户端包括输入/输出部分,输入/输出部分配置成接收包括至少一个媒体段的描述的文件的初始化段,其中,客户端还包括处理器,处理器配置成识别是否包括指示时间级是否能够被独立解码而不使用来自更低时间级的群组的样本的信息,以及配置成确定能够独立于其它级被解码的时间级,并且处理器配置成对于每个段,基于所需速率和哪些时间级能够被独立解码而不使用来自更低时间级的群组的样本的信息,确定要下载媒体段的哪些时间级。输入/输出部分配置成下载初始化段到对应媒体段,并且处理器配置成确定媒体段内相关时间级的物理位置。此外,输入/输出部分配置成下载媒体段的确定的时间级。
[0034] 本发明的实施例有关的优点是它们与由3GP和MP4文件使用的H.264的现有存储格式后向兼容。

附图说明

[0035] 图1示出根据现有技术的正常速度和通过以更高速度播放的快进。
[0036] 图2示出根据现有技术的正常速度和通过跳过B/P帧的快进。
[0037] 图3示出根据现有技术用于时间可扩展性的分层B图片编码。
[0038] 图4示出根据现有技术按解码顺序在片段中带有不同时间级的样本。
[0039] 图5a显示根据本发明的实施例、示出在内容创建器中的方法的流程图。
[0040] 图5b显示根据本发明的实施例、示出在客户端中的方法的流程图。
[0041] 图6以示意图方式示出根据本发明的实施例的客户端和内容创建器实体。
[0042] 图7示出根据本发明的实施例、带有划分到样本群组中的多个样本的轨道。

具体实施方式

[0043] 相应地,轨道内的样本在分层时间级中被编组,使得客户端能够推断在包含一个或多个电影片段的媒体段中的样本的时间级。这通过使用将轨道或轨道片段的所有样本编组成时间级中的样本编组来实现。应注意的是,时间级也可称为时间层。
[0044] 如前面所述,也称为样本的帧能够被划分到时间级中。一个时间级内的所有样本能够只取决于相同时间级内的样本或更低时间级内的样本。
[0045] 根据ISO/ IEC 14496-12:2008 | 15444-12:2008:“信息技术—音频视觉对象的编码—第12部分:ISO基媒体文件格式”|“信息技术—JPEG 2000图像编码系统—第12部分:ISO基媒体文件格式”("Information technology - Coding of audio-visual objects - Part 12: ISO base media file format" | "Information technology - JPEG 2000 image coding system - Part 12: ISO base media file format"),样本编组是基于编组准则使轨道中的每个样本成为一个样本群组的成员的指派。样本编组中的样本群组不限于是连续样本,并且可包含非相邻样本。由于对于轨道中的样本,可存在多于一个样本编组,因此,每个样本编组具有类型字段以指示编组的类型。例如,文件可能包含用于相同轨道的两个样本编组:基于样本到时间级的指派的一个编组和基于样本到子序列的指派的另一编组。
[0046] 样本编组由两个链接的数据结构表示:(1)SampleToGroup框表示样本到样本群组的指派;(2)SampleGroupDescription框包含用于每个样本群组、描述群组的属性的样本群组条目。基于不同的编组准则,可存在SampleToGroup和SampleGroupDescription框的多个实例。这些实例通过用于指示编组的类型的类型字段区分。
[0047] 通过使用SampleToGroup框,提供对电影片段内的样本群组结构的支持,用于此框的容器是轨道片段框(“traf”)。
[0048] SampleToGroup框能够用于查找轨道片段中的样本所属的群组和该样本群组的相关联描述。表被紧凑编码,每个条目提供具有相同样本群组描述符的一系列样本的第一样本的索引。样本群组描述ID是引用SampleGroupDescription框的索引,其包含描述每个样本群组的特性的并且在SampleTableBox中存在的条目。如果存在用于轨道片段中样本的多于一个样本编组,则可存在SampleToGroup框的多个实例。SampleToGroup框的每个实例具有区分不同样本编组的类型码。相关联SampleGroupDescription将指示用于编组类型的相同值。
[0049] 根据本发明的实施例的第一方面,提供了一种在内容创建器实体中用于能够实现文件的系统的技巧模式的方法。文件的系统包括至少一个初始化段和至少一个媒体段,其中至少一个媒体段包括具有多个媒体样本的至少一个轨道,并且至少一个初始化段包括至少一个媒体段的描述。如图5a的流程图中所示,方法包括:
[0050] 501. 识别一个轨道内具有相同时间级的媒体样本。
[0051] 502. 将媒体样本编组成样本群组,使得一个样本群组内的所有媒体样本具有相同时间级。
[0052] 503. 为样本群组标记在至少一个初始化段中指示相应样本群组的样本的时间级的时间级信息。
[0053] 504. 在至少一个初始化段中添加指示时间级是否能够被独立解码而不使用来自更低时间级时间级的群组的样本的信息。
[0054] 根据一个实施例,时间级信息与样本编组类型相关联,并且时间级信息可以是样本群组描述索引。
[0055] 此外,根据又一实施例,在样本群组描述中包括时间级是否能够被独立解码而不使用来自更低时间级的群组的样本的信息。下面的样本群组定义(“tele”)指示用于每级(群组)的此信息。
[0056]
[0057] 通过添加指示时间级是否能够被独立解码而不使用来自更低时间级的群组的样本的信息,增大了在备选帧速率方面的灵活性。
[0058] 根据本发明的实施例的第二方面,提供了一种在客户端中的方法。方法包括在图5b的流程图中示出的以下步骤。
[0059] 在第一步骤510中,接收包括样本群组描述的文件的初始化段,其中,客户端配置成识别是否包括指示时间级是否能够被独立解码而不使用来自更低时间级的群组的样本的信息。
[0060] 如果包括指示时间级是否能够独立解码而不使用来自更低时间级时间级的群组的样本的信息511,则确定512能够独立于其它级被解码的时间级。
[0061] 随后,基于所需速率和哪些时间级能够被独立解码而不使用来自更低时间级的群组的样本的信息,确定513要下载媒体段的哪些级。
[0062] 508. 下载初始化段到对应媒体段,并且确定媒体段内相关时间级的物理位置。
[0063] 下载514媒体段的确定时间级。
[0064] 为每个段重复516步骤507-509。
[0065] 现在转到图6,包括初始化段660和媒体段665的文件的系统由根据本发明的实施例的媒体内容创建器实体610创建。内容创建器实体610包括处理器612、存储器614和用于发送和接收消息的输入/输出部分616。处理器612配置成执行本文中描述的内容创建器实体功能,并且存储器614配置成例如存储带有文件描述的初始化段和媒体段。客户端620包括处理器622、存储器624和用于发送和接收消息的输入/输出部分626。处理器622配置成执行本文中描述的客户端功能,并且存储器624配置成例如存储带有文件描述的初始化段和媒体段。媒体内容创建器610的示例是TV运营商和电信运营商,并且客户端620的示例是PC、机顶盒、移动电话、平板电脑及电视机。
[0066] 如图6所示,客户端620发送651对来自文件的系统670的初始化段660的请求。内容创建器实体610发送652请求的初始化段660,并且客户端620接收653在类型“moov”的电影框中包含文件描述信息的初始化段660。基于客户端的所需速率640和文件描述信息,客户端请求654不同媒体段665。媒体段对应于根据时间级排序到样本群组中的样本。随后,由客户端620下载655请求的媒体段665。
[0067] 为进一步例示本发明的实施例,提供了图7。图7示出带有不同时间级1、2和3的样本的轨道。从图7中能够看到,使用第1时间级的样本提供一个速率,使用第2时间级的样本提供另一速率,以及使用第3时间级的样本提供仍有的另一速率。在现有技术解决方案中,假设一个时间级的样本取决于更低时间级的样本。通过使用本发明的实施例,除例如第2和1时间级的样本外,可能只使用例如第2或3时间级的样本。因此,通过允许一个时间级的样本独立于更低时间级的样本使用,增大了在可能速率的数量方面的灵活性,并且能够提供更多备选速率以实现技巧模式。
[0068] 在仅I帧用于实现技巧模式时,指示时间级能够被独立解码而不使用来自更低时间级的群组的样本的信息也能够有用。I帧被划分到不同时间级中,例如,每隔一个I帧在第1时间级上,以及每隔一个I帧在第2时间级上。由于I帧不取决于任何其它帧,因此,根据本发明的实施例、指示时间级是否能够被独立解码而不使用来自更低时间级时间级的群组的样本的信息能够用于选择I帧的群组以便实现技巧模式,以提供某个速率。因此,虽然在I帧之间不存在相关性,但原来预期用于指示在时间级之间相关性的参数能够用于指示只应使用一部分的I帧,这增大了灵活性。
[0069] 时间级中比特流的另一示例是具有按解码顺序的常规I(内部)帧,并且在其之间有P(预测)帧(P),例如,
[0070]
[0071] 在此情况下,能够通过仅将I帧移到P帧之前,使得能够以更容易的方式下载一个级来将媒体容器(mdat)在时间上排序:
[0072]
[0073] 注意,将内部帧以分层方式排序以允许在单帧内速度后的双帧内速度。因此,在此示例中,有用于I帧的两个时间级和用于I和P帧的一个时间级:
[0074] □通过使用对应于例如第1级等基本级的图片I0、I8、I16、I24等,实现ff x8,[0075] □通过使用对应于例如第1和2级等基本级和上面的一级的图片I0、I4、I8、I12等,实现ff x4,
[0076] □正常播放对应于所有图片I0、P1、P2、P3、I4、P5、P6、P7等,这些图片对应于例如第1、2和3级等所有级。
[0077] 现在,通过在轨道片段框中为每个I帧使用一个轨道运行(Track Run),并且为随后的3个P使用一个轨道运行,能够实现样本号的逻辑解码顺序:
[0078]
[0079] 其中,每个trun指向上述在时间上排序的媒体容器(mdat)中的数据。
[0080] 因此,通过将样本划分到不同时间级中,客户端可能通过只下载一些时间级的样本而限制要求的带宽。此外,通过添加表明一个或多个时间级能够独立于其它级被使用的可能性,由于增大了选择要下载的不同时间级的样本的灵活性,因此,增大了要求的带宽的颗粒度。
[0081] 根据一个实施例,时间级信息与样本编组类型相关联。根据又一实施例,样本编组类型是样本群组描述索引。这暗示在一个样本群组内样本的时间级被指示为样本描述索引。
[0082] 另外,根据又一实施例,在样本群组描述索引中包括时间级是否能够被独立解码而不使用来自更低时间级的群组的样本的信息。
[0083] 作为示例,引入了与时间级相关联、称为“tele”的编组类型以基于样本的时间级将所有样本编组。根据一个实施例,轨道片段框(traf)中包含的Sample-To-Group框(sbgp)根据此编组类型定义样本编组。群组描述索引对应于时间级,并且一般采用连续值,如1、2、3等。
[0084] 在其它实施例中,在例如用于“tele”编组类型的附带样本群组描述中,提供有关时间级的其它信息:
[0085]
[0086] 其中:
[0087] 参数rate_factor是对应于通过以原始样本速率播放当前和更低时间级的所有样本而实现的增大时间进度的正整数。注意,时间级可以是群组描述索引。
[0088] 参数data_offset是相对于带有此群组描述的时间级的包含文件的开始,指向第一样本的开始的整数。
[0089] 此外,可将参数data_offset添加到在轨道片段头框中建立的隐式或显式data_offset,和/或可在样本群组描述中省略参数data_offset。
[0090] 根据另一备选,时间级能够作为整数值被显式包括在样本群组描述中,而不是与群组描述索引相同,和/或时间级也可对应于群组描述索引减去1,或者任何其它整数。
[0091] 在本发明仍有的另一实施例中,媒体段的段类型框(styp)中标记“tele”的存在表明段的媒体数据被编组,使得更低时间级的样本在更高时间级的那些样本之前。如上所述样本编组在此情况下向客户端提供了有关级的数量及其在文件中位置的其它信息。
[0092] 媒体段的styp中标记“tele”的存在向客户端提供了媒体段是否携带有关在时间上排序级的信息的早期指示。标记先在段中表明,因此,如果客户端开始下载段,则它能够非常快地检查以后在段中查找时间级信息是否有意义。