存储多媒体数据的存储介质和再现多媒体数据的方法和设备转让专利
申请号 : CN200580000092.2
文献号 : CN1764974B
文献日 : 2010-12-15
发明人 : 金海光
申请人 : 世宗大学校产学协力团 , 三星电子株式会社
摘要 :
提供一种用于存储多媒体数据的存储介质、以及用于再现多媒体数据的方法和设备。该存储介质包括：至少一个媒体流；和附加信息，其中所述媒体流被划分成在网络上流式传输的流式数据和在网络上下载的下载数据，并且所述附加信息指示如何组合所述流式数据和所述下载数据。
权利要求 :
1.一种再现多媒体数据的方法，所述方法包括：接收关于组成多媒体数据的至少一个媒体流的数据结构的内容附加信息；
请求下载数据 以及接收和存储所述下载数据；和请求流式数据 以及接收所述流式数据，其中，基于网络的数据传输率和将接收至少一个媒体流的终端的输入缓冲器容量二者的至少之一，所述媒体流被划分成下载数据和流式数据。
2.如权利要求1所述的方法，其中所述内容附加信息包括：关于组成多媒体数据的多个媒体流的信息；和关于所述多个媒体流的属性的流附加信息。
3.如权利要求2所述的方法，其中所述流附加信息包括：关于与组成媒体流的第一子流数据和第二子流数据对应的每个标识符的信息，第一子流数据由流式数据组成，第二子流数据由下载数据组成；
关于所述第一子流数据和第二子流数据的每个子流是下载数据还是流式数据的信息；和关于所述下载数据和所述流式数据的结构的信息。
4.如权利要求1所述的方法，还包括根据所述附加信息的内容，使用所存储的下载和流式数据以恢复和再现原始媒体流。
5.一种用于再现多媒体数据的设备，所述设备包括：信息接收单元，用于从服务器接收有关组成多媒体数据的至少一个媒体流的数据结构的内容附加信息；
下载子流缓冲器，用于从服务器接收下载子流；
流式子流缓冲器，用于从服务器接收流式子流；和解码器，用于基于所述内容附加信息组合所述下载子流和所述流式子流以组成所述媒体流，并且解码所述媒体流，其中，基于网络的数据传输率和将接收至少一个媒体流的终端的输入缓冲器容量二者的至少之一，所述媒体流被划分成下载子流数据和流式子流。
6.如权利要求5所述的设备，还包括下载子流存储单元，用于存储多个从所述流式服务器接收的、由下载数据组成的下载子流。
7.如权利要求5所述的设备，还包括去复用器，用于从接收自所述流式服务器的流式数据产生多个流式子流。
8.如权利要求5所述的用于再现多媒体数据的设备，还包括再现器，用于根据在所解码的媒体流之间的时间同步来再现所解码的媒体流。
9.如权利要求5所述的用于再现多媒体数据的设备，其中通过网络传送下载子流。
10.一种用于接收多媒体数据的方法，所述方法包括：接收关于组成多媒体数据的至少一个媒体流的数据结构的内容附加信息；
检查是否存储容量足以存储所述多媒体数据；
如果所述存储容量足以存储下载数据，则请求所述下载数据，并且接收和存储所述下载数据，其中，基于网络的数据传输率和将接收至少一个媒体流的终端的输入缓冲器容量二者的至少之一，所述至少一个媒体流被划分成下载数据和流式数据。
11.如权利要求10所述的接收多媒体数据的方法，其中所述方法还包括接收和存储流式数据。
12.如权利要求11所述的接收多媒体数据的方法，所述方法还包括请求流式数据。
13.如权利要求11所述的接收多媒体数据的方法，所述方法还包括从所存储的下载数据和流式数据再现原始多媒体数据。
说明书 :
技术领域
本发明涉及多媒体内容的编码，尤其是涉及一种存储多媒体数据的存储介质，以及用于再现所述多媒体数据的方法和设备，其中所述多媒体数据是针对于流式传输而构造的。
背景技术
诸如视频数据、音频数据、计算机动画数据或它们的任意组合这样的多媒体数据是根据每一数据的时间同步或数据之间的时间同步来同步再现的。例如，时间同步信息被包含在音频数据和视频数据的每一个中以便它们被一起同步地再现，并且指示应当输出它们的时间的信息包含在它们的每一个中。通过在有线/无线网络(例如因特网)上流式传输这样的多媒体数据，可以将教育、娱乐或其它内容提供给用户。
某些网络条件，诸如网络抖动、信道带宽、传输延迟、分组丢失率、误码率等，以及终端设置，诸如数据量、存储容量等，限制了流式传输业务。
韩国专利公开第2002-95001号公开了一种组合传统下载和流式传输技术的流式传输业务技术，其中，多媒体流文件被划分成下载文件和流式文件(streaming file)，并且当用户通过终端请求期望的流时，该终端检查是否在其自己内部存在相应的下载文件，如果不存在这样的下载文件，则对应于该期望的流的流式文件和下载文件被一起从服务器传送到该终端。另一方面，如果在终端中存在相应的下载文件，则仅仅流式文件从服务器传送到该终端。所述简单组合传统下载和流式传输技术的流式传输业务技术仅仅在终端和服务器两者提前认可组合流式文件和下载文件的预定格式时才工作，并且不能提供组合各种流式文件和下载文件的各种其它结构。同时，当在终端中没有找到相应的下载文件时，该流式传输业务技术可能不工作，因此该终端应当从服务器下载文件，这占据了终端中的相当多的存储空间。
某些网络条件，诸如网络抖动、信道带宽、传输延迟、分组丢失率、误码率等，以及终端设置，诸如数据量、存储容量等，限制了流式传输业务。
韩国专利公开第2002-95001号公开了一种组合传统下载和流式传输技术的流式传输业务技术，其中，多媒体流文件被划分成下载文件和流式文件(streaming file)，并且当用户通过终端请求期望的流时，该终端检查是否在其自己内部存在相应的下载文件，如果不存在这样的下载文件，则对应于该期望的流的流式文件和下载文件被一起从服务器传送到该终端。另一方面，如果在终端中存在相应的下载文件，则仅仅流式文件从服务器传送到该终端。所述简单组合传统下载和流式传输技术的流式传输业务技术仅仅在终端和服务器两者提前认可组合流式文件和下载文件的预定格式时才工作，并且不能提供组合各种流式文件和下载文件的各种其它结构。同时，当在终端中没有找到相应的下载文件时，该流式传输业务技术可能不工作，因此该终端应当从服务器下载文件，这占据了终端中的相当多的存储空间。
发明内容
本发明提供一种存储多媒体数据的存储介质，和一种用于再现多媒体数据的方法以及设备，其中，通过利用与内容有关的附加信息来提供组合各种流式传输和下载技术的多媒体内容业务。
本发明提供一种再现多媒体数据的方法，所述方法包括：接收关于组成多媒体数据的至少一个媒体流的数据结构的内容附加信息；请求下载数据，以及接收和存储所述下载数据；和请求流式数据，以及接收所述流式数据，其中，基于网络的数据传输率和将接收至少一个媒体流的终端的输入缓冲器容量二者的至少之一，所述媒体流被划分成下载数据和流式数据。
本发明还提供一种用于再现多媒体数据的设备，所述设备包括：信息接收单元，用于从服务器接收有关组成多媒体数据的至少一个媒体流的数据结构的内容附加信息，下载子流缓冲器，用于从服务器接收下载子流；流式子流缓冲器，用于从服务器接收流式子流；和解码器，用于基于所述内容附加信息组合所述下载子流和所述流式子流以组成所述媒体流，并且解码所述媒体流，其中，基于网络的数据传输率和将接收至少一个媒体流的终端的输入缓冲器容量二者的至少之一，所述媒体流被划分成下载子流数据和流式子流。”
本发明还提供一种用于接收多媒体数据的方法，所述方法包括：接收关于组成多媒体数据的至少一个媒体流的数据结构的内容附加信息；检查是否存储容量足以存储所述多媒体数据；如果所述存储容量足以存储下载数据，则请求所述下载数据，并且接收和存储所述下载数据，其中，基于网络的数据传输率和将接收至少一个媒体流的终端的输入缓冲器容量二者的至少之一，所述至少一个媒体流被划分成下载数据和流式数据。
根据本发明，提供组合流式传输和下载技术的多媒体业务，因此，尽管在具有小的存储器的情况下，多媒体数据再现设备也可以提供多媒体业务。
本发明提供一种再现多媒体数据的方法，所述方法包括：接收关于组成多媒体数据的至少一个媒体流的数据结构的内容附加信息；请求下载数据，以及接收和存储所述下载数据；和请求流式数据，以及接收所述流式数据，其中，基于网络的数据传输率和将接收至少一个媒体流的终端的输入缓冲器容量二者的至少之一，所述媒体流被划分成下载数据和流式数据。
本发明还提供一种用于再现多媒体数据的设备，所述设备包括：信息接收单元，用于从服务器接收有关组成多媒体数据的至少一个媒体流的数据结构的内容附加信息，下载子流缓冲器，用于从服务器接收下载子流；流式子流缓冲器，用于从服务器接收流式子流；和解码器，用于基于所述内容附加信息组合所述下载子流和所述流式子流以组成所述媒体流，并且解码所述媒体流，其中，基于网络的数据传输率和将接收至少一个媒体流的终端的输入缓冲器容量二者的至少之一，所述媒体流被划分成下载子流数据和流式子流。”
本发明还提供一种用于接收多媒体数据的方法，所述方法包括：接收关于组成多媒体数据的至少一个媒体流的数据结构的内容附加信息；检查是否存储容量足以存储所述多媒体数据；如果所述存储容量足以存储下载数据，则请求所述下载数据，并且接收和存储所述下载数据，其中，基于网络的数据传输率和将接收至少一个媒体流的终端的输入缓冲器容量二者的至少之一，所述至少一个媒体流被划分成下载数据和流式数据。
根据本发明，提供组合流式传输和下载技术的多媒体业务，因此，尽管在具有小的存储器的情况下，多媒体数据再现设备也可以提供多媒体业务。
附图说明
图1示出根据本发明的多媒体数据结构；
图2示出包括下载段和流式段的媒体流；
图3示出从图2的媒体流收集的下载子流和流式子流；
图4示出图3的附加信息的内容；
图5是图解根据本发明实施例的、从服务器向再现设备提供的流式传输业务的框图；
图6是根据本发明实施例的再现设备的框图；以及
图7是兼容MPEG-4标准的附加信息的实施例。
图2示出包括下载段和流式段的媒体流；
图3示出从图2的媒体流收集的下载子流和流式子流；
图4示出图3的附加信息的内容；
图5是图解根据本发明实施例的、从服务器向再现设备提供的流式传输业务的框图；
图6是根据本发明实施例的再现设备的框图；以及
图7是兼容MPEG-4标准的附加信息的实施例。
具体实施方式
根据本发明的一个方面，提供一种存储多媒体数据的存储介质，所述多媒体数据包括：至少一个媒体流；和附加信息，其中所述媒体流包括在网络上流式传输的流式数据和在网络上下载的下载数据，并且所述附加信息指示如何组合所述流式数据和所述下载数据。
根据本发明的一个方面，所述关于在网络上传送的数据的附加信息还包括关于具有所述数据的文件的名称、位置、数据尺寸、和/或元信息的信息。
根据本发明的一个方面，所述媒体流包括用于组合第一子流和第二子流以便恢复媒体流的内容附加信息，其中所述第一子流包括流式数据，而所述第二子流包括下载子流。
根据本发明的一个方面，所述内容附加信息包括：关于组成多媒体数据的多个媒体流的信息；和关于所述多个媒体流的属性的流附加信息。
根据本发明的一个方面，所述流附加信息包括：关于所述第一子流和所述第二子流的标识符的信息；关于所述第一子流或所述第二子流是下载数据还是流式数据的信息；和关于所述下载数据和所述流式数据的结构的信息。
根据本发明的另一方面，提供一种在终端中再现多媒体数据的方法，所述方法包括：在网络上接收关于组成多媒体数据的至少一个媒体流的数据结构的内容附加信息；根据所述内容附加信息来在所述网络上请求下载数据，以及接收和存储得到的下载数据；根据所述内容附加信息来在所述网络上请求流式数据，以及接收和存储得到的流式数据；和根据所述内容附加信息，使用在终端中存储的下载和流式数据以恢复和再现原始媒体流。
根据本发明的一个方面，所述内容附加信息包括：关于组成多媒体数据的多个媒体流的信息；和关于所述媒体流的属性的流附加信息。
根据本发明的一个方面，所述流附加信息包括：关于组成媒体流的所述第一子流和所述第二子流的标识符的信息；关于所述第一子流或所述第二子流是下载数据还是流式数据的信息；和关于所述下载数据和所述流式数据的结构的信息。
仍根据本发明的另一方面，提供一种用于再现多媒体数据的设备，所述设备包括：下载子流缓冲器，用于在网络上从流式服务器接收下载子流；流式子流缓冲器，用于在网络上从流式服务器接收流式子流(streaming substream)；解码器，用于组合所述下载子流和所述流式子流以组成媒体流，并且解码所述媒体流；和再现器，用于根据在所解码的媒体流之间的时间同步来再现所解码的媒体流。
根据本发明的一个方面，所述设备还包括下载子流存储单元，用于存储多个从所述流式服务器接收的、包括下载数据的下载子流。
根据本发明的一个方面，所述设备还包括去复用器，用于从接收自所述流式服务器的流式数据产生多个流式子流。
图1示出根据本发明的多媒体数据结构。
多媒体内容可以包括各种数据，例如，视频、音频、文本等，它们中的每一种都可称为媒体流。参照图1，多媒体内容的示例包括3个媒体流：媒体流A 110、媒体流B 120、和媒体流C 130，它们的每一个都包括实现内同步的媒体内时间同步信息和用于与其它媒体流同步的媒体间时间同步信息。可以通过使用系统基准时钟来产生媒体内时间同步信息和媒体间时间同步信息。
现在将详细描述时间同步信息。在MPEG-4系统的情况下，再现每一媒 体流的起始时间被记录在二进制格式的节点信息的‘startTime’或场景描述(BIFS)中。与每一媒体流的位置有关的信息也被记录在BIFS中。媒体流被分成多个访问单元，它们是解码的基本单元，并且被承载在同步层分组(SL分组)中。关于合成时间戳(CTS)，解码器时间戳(DTS)和目标时钟基准(OCR)的信息被记录在SL分组的报头中。通过使用与CTS、DTS和OCR有关的信息，可以实现在一个媒体流内以及在多个媒体流之间的时间同步。
图2示出包括下载段和流式段的媒体流。
参照图2，媒体流110、120、130的每一个都包括下载段(加阴影的部分)和流式段。在服务器开始流式传输之前，所述下载段在网络上从该服务器下载至终端，而通过服务器的流式传输，所述流式段被实时地传送到终端。根据网络的数据传输率和终端的输入缓冲器容量来确定流式段的尺寸和下载段的尺寸。例如，为了避免输入缓冲器上溢(overflow)和下溢(underflow)，可以将输入缓冲器的一部分分配给流式段，而输入缓冲器的其余部分被分配给下载段。在MPEG-4系统的情况下，下载段和流式段包括多个访问单元。
图3示出从图2的媒体流收集的下载子流和流式子流。
参照图3，例如，图2的流A可以被分成下载子流A-1 310和流式子流A-2 320。下载子流A-1 310可以包括下载段A2、A4和A6，而流式子流A-2320可以包括流式段A1、A3、A5和A7。
类似地，例如，图2的流B包括下载子流B-1 330和流式子流B-2 340。下载子流B-1 330可以包括B2、B4和B6，而流式子流B-2 340可以包括B1、B3和B5。
此外，例如，图2的流C可以被分成下载子流C-1 350和流式子流C-2 360。下载子流C-1 350可以包括C2、和C4，而流式子流C-2 360可以包括C1、C3和C5。
附加信息370是利用下载子流和流式子流来恢复原始媒体流所需的。
图4示出图3的附加信息370的内容。
这里，注意在传统内容编码方法中实际使用的、用于表示版权信息、元数据信息、关键字信息等的术语也可以被包含在图4中所示的附加信息中。因此，现在将按照根据本发明实施例提供的流式传输业务来描述附加信息。
参照图4，‘streaming_contents_addtional information’440是关于由流式传输业务提供的多媒体内容的信息，并且可以包括组成多媒体内容的流的数量 ‘stream_number’442以及每一个流的附加信息‘stream_additional information’444。
‘stream_additional information’444包括与用于标识相应的流的标识符‘stream_identifier’432有关的信息以及关于下载子流434和流式子流436的信息。整个流可以由下载子流或流式子流组成，并且按照与下载子流434或流式子流436有关的信息(它们的每一个都是布尔数据格式)的布尔值，还包括关于下载子流或流式子流的流附加信息。
关于下载子流或流式子流的流附加信息被记录为‘substream_additionalinformation’420。‘substream_additional information’420可以包括组成子流的段的数量‘segment_count’422、子流的尺寸‘substream_size’424、以及段的列表‘segment_list’426。‘segment_list’426可以包括以字节为单位的段的起始位置‘segment_start’412和段的尺寸‘segment_size’414。
图5是图解根据本发明实施例的、从服务器向再现设备提供的流式传输业务的框图。
这里，也可以使用在流式传输业务的验证、会话管理等中采用的传统协议，但是，将根据本发明的一个方面的附加协议来描述图5中所示的流式传输业务。
首先，在步骤S510，终端向服务器请求流式内容。在步骤S520，服务器向终端传送如图4所示的、关于所请求的流式内容的附加信息。在步骤S530，终端根据该附加信息来确定它是否具有足够存储容量来下载该流式内容，如果是，则它请求服务器下载该流式内容的下载子流。在步骤S540，服务器向该终端传送所述下载子流并且所述终端在下载子流存储单元中存储所述下载子流。在完成下载子流的下载之后，在步骤S550，终端向服务器请求流式传输业务。在步骤S560a，终端组合在数据存储单元中存储的下载子流和由服务器的流式传输业务提供的实时流式子流，以在步骤S560b根据该附加信息产生和再现原始流式内容。
图6是根据本发明实施例的再现设备(终端)的框图。
参照图6，可以预先从服务器传送下载子流并且将其存储在下载子流存储单元610中。通过去复用器606将通过网络604从服务器602传送的实时流式子流分离成几个流，例如3个流，并且在解码开始之前，根据关于解码时间符号，例如MPEG-4系统中的DTS的信息和流标识符，每一个流被存储 在子流缓冲器1 630a、子流缓冲器2 630b、或子流缓冲器3 630a中。下载子流缓冲器1 620a、下载子流缓冲器2 620b和下载子流缓冲器3 620c存储由存储于下载子流存储单元610中的下载子流所分离出的流。根据流类型分别设置解码前缓冲器1 640a、解码前缓冲器2 640b和解码前缓冲器3 640c。对于媒体流，解码前缓冲器1 640a通过根据关于下载和流式子流的解码时间戳的信息来访问下载子流缓冲器1 620a和流式子流缓冲器1 630a，顺序地读取和输出下载和流式子流。
因而，媒体流解码器650a和650b、以及再现器670可以以与传统方法/设备中的相同方式操作。在图6中，存在媒体流所需的2个解码前缓冲器640a和640b，它们是根据可扩展编码压缩方法的基础层流(base layer stream)和基本层流(elementary layer stream)的例子。
图7图解根据本发明另一实施例的兼容MPEG-4标准的附加信息。
根据MPEG-4标准，关于内容的结构的信息由BIFS和对象描述符(OD)表示，它们一起被称为初始对象描述符(IOD)。图7的实施例使用在用于描述MPEG-4媒体流的基本流描述符中包含的扩展描述符，以便诸如图4中所示的附加信息兼容于传统MPEG-4。参照图7，‘downloadSubstream’和‘streamingSubstream’是指示当前媒体流是包括下载子流还是包括流式子流的信息，并且每一个包括从下载子流或流式子流分离出的段的数量‘numberOfSegment’、以字节为单位的相应子流的尺寸‘subStreamSize’、构成相应子流(多个)的段的以字节为单位的开始位置‘SegmentStartPosition’和段的尺寸‘SegmentSize’。‘URL_flag’、‘URLlength’和‘URLstring’被用来指示相应子流(多个)的URL位置，根据其，终端可以下载该下载子流以及向该URL位置请求流式子流的流式传输。
如果不要求与传统MPEG-4流的兼容，关于媒体流的附加信息可以包括表示如图7所示信息的新描述符以及用于MPEG-4系统的描述符。
可以通过对所有下载流的长度求和来提前估计终端的下载流存储单元的所需存储容量。另外，下载流存储单元的所需存储容量也可以由包含在关于媒体内容的附加信息中的信息来确定。在MPEG-4系统的情况下，关于下载流存储单元的所需存储容量的信息被记录在IOD上。终端比较根据该信息的下载流存储单元的存储容量和下载流存储单元的实际可用存储空间，并且由比较结果确定是否请求从服务器下载流。
也有可能通过计算机可读代码来实现根据本发明实施例的、上述的再现多媒体数据的方法。组成计算机可读代码的代码和代码段可以容易地被本技术领域人员所推知。该计算机可读代码可以由计算机可读介质来传送、以及由计算机来读取和运行。这样的计算机可读介质包括所有类型的存储装置，例如磁存储装置、光数据存储装置等。计算机可读介质也包括以载波，例如因特网传输形式实现的任何物体。
虽然已经示出和描述了本发明的一些实施例，但是本技术领域人员应当理解在没有脱离本发明的原理和精神的情况下，可以在这些实施例中进行变化，本发明的范围由权利要求及其等价物所限定。
根据本发明的一个方面，所述关于在网络上传送的数据的附加信息还包括关于具有所述数据的文件的名称、位置、数据尺寸、和/或元信息的信息。
根据本发明的一个方面，所述媒体流包括用于组合第一子流和第二子流以便恢复媒体流的内容附加信息，其中所述第一子流包括流式数据，而所述第二子流包括下载子流。
根据本发明的一个方面，所述内容附加信息包括：关于组成多媒体数据的多个媒体流的信息；和关于所述多个媒体流的属性的流附加信息。
根据本发明的一个方面，所述流附加信息包括：关于所述第一子流和所述第二子流的标识符的信息；关于所述第一子流或所述第二子流是下载数据还是流式数据的信息；和关于所述下载数据和所述流式数据的结构的信息。
根据本发明的另一方面，提供一种在终端中再现多媒体数据的方法，所述方法包括：在网络上接收关于组成多媒体数据的至少一个媒体流的数据结构的内容附加信息；根据所述内容附加信息来在所述网络上请求下载数据，以及接收和存储得到的下载数据；根据所述内容附加信息来在所述网络上请求流式数据，以及接收和存储得到的流式数据；和根据所述内容附加信息，使用在终端中存储的下载和流式数据以恢复和再现原始媒体流。
根据本发明的一个方面，所述内容附加信息包括：关于组成多媒体数据的多个媒体流的信息；和关于所述媒体流的属性的流附加信息。
根据本发明的一个方面，所述流附加信息包括：关于组成媒体流的所述第一子流和所述第二子流的标识符的信息；关于所述第一子流或所述第二子流是下载数据还是流式数据的信息；和关于所述下载数据和所述流式数据的结构的信息。
仍根据本发明的另一方面，提供一种用于再现多媒体数据的设备，所述设备包括：下载子流缓冲器，用于在网络上从流式服务器接收下载子流；流式子流缓冲器，用于在网络上从流式服务器接收流式子流(streaming substream)；解码器，用于组合所述下载子流和所述流式子流以组成媒体流，并且解码所述媒体流；和再现器，用于根据在所解码的媒体流之间的时间同步来再现所解码的媒体流。
根据本发明的一个方面，所述设备还包括下载子流存储单元，用于存储多个从所述流式服务器接收的、包括下载数据的下载子流。
根据本发明的一个方面，所述设备还包括去复用器，用于从接收自所述流式服务器的流式数据产生多个流式子流。
图1示出根据本发明的多媒体数据结构。
多媒体内容可以包括各种数据，例如，视频、音频、文本等，它们中的每一种都可称为媒体流。参照图1，多媒体内容的示例包括3个媒体流：媒体流A 110、媒体流B 120、和媒体流C 130，它们的每一个都包括实现内同步的媒体内时间同步信息和用于与其它媒体流同步的媒体间时间同步信息。可以通过使用系统基准时钟来产生媒体内时间同步信息和媒体间时间同步信息。
现在将详细描述时间同步信息。在MPEG-4系统的情况下，再现每一媒 体流的起始时间被记录在二进制格式的节点信息的‘startTime’或场景描述(BIFS)中。与每一媒体流的位置有关的信息也被记录在BIFS中。媒体流被分成多个访问单元，它们是解码的基本单元，并且被承载在同步层分组(SL分组)中。关于合成时间戳(CTS)，解码器时间戳(DTS)和目标时钟基准(OCR)的信息被记录在SL分组的报头中。通过使用与CTS、DTS和OCR有关的信息，可以实现在一个媒体流内以及在多个媒体流之间的时间同步。
图2示出包括下载段和流式段的媒体流。
参照图2，媒体流110、120、130的每一个都包括下载段(加阴影的部分)和流式段。在服务器开始流式传输之前，所述下载段在网络上从该服务器下载至终端，而通过服务器的流式传输，所述流式段被实时地传送到终端。根据网络的数据传输率和终端的输入缓冲器容量来确定流式段的尺寸和下载段的尺寸。例如，为了避免输入缓冲器上溢(overflow)和下溢(underflow)，可以将输入缓冲器的一部分分配给流式段，而输入缓冲器的其余部分被分配给下载段。在MPEG-4系统的情况下，下载段和流式段包括多个访问单元。
图3示出从图2的媒体流收集的下载子流和流式子流。
参照图3，例如，图2的流A可以被分成下载子流A-1 310和流式子流A-2 320。下载子流A-1 310可以包括下载段A2、A4和A6，而流式子流A-2320可以包括流式段A1、A3、A5和A7。
类似地，例如，图2的流B包括下载子流B-1 330和流式子流B-2 340。下载子流B-1 330可以包括B2、B4和B6，而流式子流B-2 340可以包括B1、B3和B5。
此外，例如，图2的流C可以被分成下载子流C-1 350和流式子流C-2 360。下载子流C-1 350可以包括C2、和C4，而流式子流C-2 360可以包括C1、C3和C5。
附加信息370是利用下载子流和流式子流来恢复原始媒体流所需的。
图4示出图3的附加信息370的内容。
这里，注意在传统内容编码方法中实际使用的、用于表示版权信息、元数据信息、关键字信息等的术语也可以被包含在图4中所示的附加信息中。因此，现在将按照根据本发明实施例提供的流式传输业务来描述附加信息。
参照图4，‘streaming_contents_addtional information’440是关于由流式传输业务提供的多媒体内容的信息，并且可以包括组成多媒体内容的流的数量 ‘stream_number’442以及每一个流的附加信息‘stream_additional information’444。
‘stream_additional information’444包括与用于标识相应的流的标识符‘stream_identifier’432有关的信息以及关于下载子流434和流式子流436的信息。整个流可以由下载子流或流式子流组成，并且按照与下载子流434或流式子流436有关的信息(它们的每一个都是布尔数据格式)的布尔值，还包括关于下载子流或流式子流的流附加信息。
关于下载子流或流式子流的流附加信息被记录为‘substream_additionalinformation’420。‘substream_additional information’420可以包括组成子流的段的数量‘segment_count’422、子流的尺寸‘substream_size’424、以及段的列表‘segment_list’426。‘segment_list’426可以包括以字节为单位的段的起始位置‘segment_start’412和段的尺寸‘segment_size’414。
图5是图解根据本发明实施例的、从服务器向再现设备提供的流式传输业务的框图。
这里，也可以使用在流式传输业务的验证、会话管理等中采用的传统协议，但是，将根据本发明的一个方面的附加协议来描述图5中所示的流式传输业务。
首先，在步骤S510，终端向服务器请求流式内容。在步骤S520，服务器向终端传送如图4所示的、关于所请求的流式内容的附加信息。在步骤S530，终端根据该附加信息来确定它是否具有足够存储容量来下载该流式内容，如果是，则它请求服务器下载该流式内容的下载子流。在步骤S540，服务器向该终端传送所述下载子流并且所述终端在下载子流存储单元中存储所述下载子流。在完成下载子流的下载之后，在步骤S550，终端向服务器请求流式传输业务。在步骤S560a，终端组合在数据存储单元中存储的下载子流和由服务器的流式传输业务提供的实时流式子流，以在步骤S560b根据该附加信息产生和再现原始流式内容。
图6是根据本发明实施例的再现设备(终端)的框图。
参照图6，可以预先从服务器传送下载子流并且将其存储在下载子流存储单元610中。通过去复用器606将通过网络604从服务器602传送的实时流式子流分离成几个流，例如3个流，并且在解码开始之前，根据关于解码时间符号，例如MPEG-4系统中的DTS的信息和流标识符，每一个流被存储 在子流缓冲器1 630a、子流缓冲器2 630b、或子流缓冲器3 630a中。下载子流缓冲器1 620a、下载子流缓冲器2 620b和下载子流缓冲器3 620c存储由存储于下载子流存储单元610中的下载子流所分离出的流。根据流类型分别设置解码前缓冲器1 640a、解码前缓冲器2 640b和解码前缓冲器3 640c。对于媒体流，解码前缓冲器1 640a通过根据关于下载和流式子流的解码时间戳的信息来访问下载子流缓冲器1 620a和流式子流缓冲器1 630a，顺序地读取和输出下载和流式子流。
因而，媒体流解码器650a和650b、以及再现器670可以以与传统方法/设备中的相同方式操作。在图6中，存在媒体流所需的2个解码前缓冲器640a和640b，它们是根据可扩展编码压缩方法的基础层流(base layer stream)和基本层流(elementary layer stream)的例子。
图7图解根据本发明另一实施例的兼容MPEG-4标准的附加信息。
根据MPEG-4标准，关于内容的结构的信息由BIFS和对象描述符(OD)表示，它们一起被称为初始对象描述符(IOD)。图7的实施例使用在用于描述MPEG-4媒体流的基本流描述符中包含的扩展描述符，以便诸如图4中所示的附加信息兼容于传统MPEG-4。参照图7，‘downloadSubstream’和‘streamingSubstream’是指示当前媒体流是包括下载子流还是包括流式子流的信息，并且每一个包括从下载子流或流式子流分离出的段的数量‘numberOfSegment’、以字节为单位的相应子流的尺寸‘subStreamSize’、构成相应子流(多个)的段的以字节为单位的开始位置‘SegmentStartPosition’和段的尺寸‘SegmentSize’。‘URL_flag’、‘URLlength’和‘URLstring’被用来指示相应子流(多个)的URL位置，根据其，终端可以下载该下载子流以及向该URL位置请求流式子流的流式传输。
如果不要求与传统MPEG-4流的兼容，关于媒体流的附加信息可以包括表示如图7所示信息的新描述符以及用于MPEG-4系统的描述符。
可以通过对所有下载流的长度求和来提前估计终端的下载流存储单元的所需存储容量。另外，下载流存储单元的所需存储容量也可以由包含在关于媒体内容的附加信息中的信息来确定。在MPEG-4系统的情况下，关于下载流存储单元的所需存储容量的信息被记录在IOD上。终端比较根据该信息的下载流存储单元的存储容量和下载流存储单元的实际可用存储空间，并且由比较结果确定是否请求从服务器下载流。
也有可能通过计算机可读代码来实现根据本发明实施例的、上述的再现多媒体数据的方法。组成计算机可读代码的代码和代码段可以容易地被本技术领域人员所推知。该计算机可读代码可以由计算机可读介质来传送、以及由计算机来读取和运行。这样的计算机可读介质包括所有类型的存储装置，例如磁存储装置、光数据存储装置等。计算机可读介质也包括以载波，例如因特网传输形式实现的任何物体。
虽然已经示出和描述了本发明的一些实施例，但是本技术领域人员应当理解在没有脱离本发明的原理和精神的情况下，可以在这些实施例中进行变化，本发明的范围由权利要求及其等价物所限定。