信息处理设备和信息处理方法转让专利
申请号 : CN200480042409.4
文献号 : CN1926872B
文献日 : 2010-09-29
发明人 : 加藤元树
申请人 : 索尼株式会社
摘要 :
本发明涉及一种用于处理包括基本流和多个级别扩展流之流的信息处理设备、信息处理方法、程序和数据结构。发送器将音频流编码成基本流BS和第一到第n扩展流Ext1到ExtN。发送器参考表(90，91)，生成具有各个类型流的PID的TS分组(92、93-1到93-n)以及表的TS分组(90，91)，并且将所生成的TS分组输出到接收器。接收器参考表的TS分组(90，91)，确定其能够处理的流的类型。接收器选择具有与其能够处理的流相关联的PID的TS分组并且解码该TS分组。本发明能够适用于进行编码和解码的发送器和接收器。
权利要求 :
1.一种信息处理设备，包括：
编码装置，用于编码输入流，使得在基本流和具有基本流之扩展性的第一到第n扩展流中，至少包括基本流和第一扩展流；
表生成装置，用于生成其中写入了用于将分别识别由编码装置编码的基本流和第一到第n扩展流的ID与基本流和第一到第n扩展流相关联的信息的表；
添加装置，用于将对应的ID添加到由编码装置编码的基本流和第一到第n扩展流；以及打包装置，用于将通过添加装置添加了ID的基本流和第一到第n扩展流、以及表打包成TS分组；
其中，在TS分组的报头中，传输优先标志被用于区分传输分组的有效载荷数据是否是基本音频流或者是第一扩展流。
2.一种信息处理方法，包括：
编码步骤，用于编码输入流，使得在基本流和具有基本流之扩展性的第一到第n扩展流中，至少包括基本流和第一扩展流；
表生成步骤，用于生成其中写入了用于将分别识别由编码步骤的处理所编码的基本流和第一到第n扩展流的ID与基本流和第一到第n扩展流相关联的信息的表；
添加步骤，用于将对应的ID添加到由编码步骤的处理所编码的基本流和第一到第n扩展流；以及打包步骤，用于将通过添加步骤的处理被添加了ID的基本流和第一到第n扩展流、以及表打包成TS分组，其中，在TS分组的报头中，传输优先标志被用于区分传输分组的有效载荷数据是否是基本音频流或者是第一扩展流。
3.一种信息处理设备，包括：
输入装置，用于输入流，所述流包括形成基本流的TS分组、形成具有基本流之扩展性的第一到第n扩展流的每一个的TS分组、以及存储了表的TS分组，在所述表中，写入了用于将分别识别所述TS分组的ID与由所述TS分组形成的基本流和第一到第n扩展流相关联的信息；
确定装置，用于参考由输入装置输入的TS分组中所存储的表，并且确定可处理流的类型；
选择装置，用于从流中选择具有与由确定装置确定的可处理的流相关联的ID的TS分组；以及解码装置，用于解码由选择装置选择的TS分组，
其中，在TS分组的报头中，传输优先标志被用于区分传输分组的有效载荷数据是否是基本音频流或者是第一扩展流。
4.根据权利要求3的信息处理设备，还包括：
缓冲装置，用于相对于每个ID，缓冲由选择装置选择的TS分组。
5.一种信息处理方法，包括：
输入步骤，用于输入流，所述流包括形成基本流的TS分组、形成具有基本流之扩展性的第一到第n扩展流的每一个的TS分组、以及存储了表的TS分组，在所述表中，写入了用于将分别识别所述TS分组的ID与由所述TS分组形成的基本流和第一到第n扩展流相关联的信息；
确定步骤，用于参考由输入步骤的处理所输入的TS分组中所存储的表，并且确定可处理流的类型；
选择步骤，用于从流中选择具有与由确定步骤的处理所确定的可处理的流相关联的ID的TS分组；以及解码步骤，用于解码由选择步骤的处理所选择的TS分组，其中，在TS分组的报头中，传输优先标志被用于区分传输分组的有效载荷数据是否是基本音频流或者是第一扩展流。
6.一种信息处理设备，包括：
编码装置，用于编码整个流的至少基本流，所述整个流可以包括基本流和具有基本流之扩展性的第一到第n扩展流；
第一添加装置，用于将相同的第一ID添加到基本流和第一到第n扩展流中的由编码装置编码的流，所述第一ID被用于识别整个流；
第二添加装置，用于将第二ID添加到基本流和第一到第n扩展流中的由编码装置编码的流，所述第二ID被用于识别基本流和第一到第n扩展流的每一个；以及打包装置，用于将通过第一添加装置和第二添加装置添加了第一ID和第二ID的基本流和第一到第n扩展流打包成TS分组，其中，在TS分组的报头中，传输优先标志被用于区分传输分组的有效载荷数据是否是基本音频流或者是第一扩展流。
7.根据权利要求6的信息处理设备，其中：
所述编码装置编码包括在整个流中的、形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组，使得要被同时再现的TS分组以形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组的顺序，被顺次配置。
8.根据权利要求6的信息处理设备，其中：
当对应于基本流同步单位的第一到第n扩展流的任何同步单位存在时，所述编码装置在第一到第n扩展流中编码具有存在的同步单位的扩展流、以及基本流。
9.根据权利要求8的信息处理设备，其中：
当对应于基本流同步单位的第一到第n扩展流的任何同步单位存在时，所述编码装置在第一到第n扩展流中编码具有存在的同步单位的扩展流以及基本流，并且不编码不具有存在的同步单位的扩展流，由此使用可变位速率来编码整个流。
10.一种信息处理方法，包括：
编码步骤，用于编码整个流的至少基本流，所述整个流可以包括基本流和具有基本流之扩展性的第一到第n扩展流；
第一添加步骤，用于将相同的第一ID添加到基本流和第一到第n扩展流中的由编码步骤的处理所编码的流，所述第一ID被用于识别整个流；
第二添加步骤，用于将第二ID添加到基本流和第一到第n扩展流中的由编码步骤的处理所编码的流，所述第二ID被用于识别基本流和第一到第n扩展流的每一个；以及打包步骤，用于将通过第一添加步骤和第二添加步骤的处理添加了第一ID和第二ID的基本流和第一到第n扩展流打包成TS分组，其中，在TS分组的报头中，传输优先标志被用于区分传输分组的有效载荷数据是否是基本音频流或者是第一扩展流。
11.一种信息处理设备，包括：
输入装置，用于输入整个流，所述整个流可以包括形成基本流的TS分组和形成具有基本流之扩展性的第一到第n扩展流之每一个的TS分组；
选择装置，基于用于识别整个流的第一ID、识别基本流和第一到第n扩展流之每一个的第二ID、以及预先设置的预定条件，从整个流中选择可处理的TS分组，所述第一ID和第二ID被存储在由输入装置输入的每一个TS分组中；以及解码装置，用于解码由选择装置选择的TS分组，
其中，在TS分组的报头中，传输优先标志被用于区分传输分组的有效载荷数据是否是基本音频流或者是第一扩展流。
12.根据权利要求11的信息处理设备，其中：
对于输入装置，可以输入整个流，包括形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组，所述TS分组以要被同时再现的TS分组的次序和以形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组的顺序配置。
13.根据权利要求11的信息处理设备，其中：
输入到输入装置的整个流至少包括被编码的基本流，并且还包括对应于基本流的同步单位并使用可变位速率编码的第一到第n扩展流。
14.一种信息处理方法，包括：
输入步骤，用于输入整个流，所述整个流可以包括形成基本流的TS分组和形成具有基本流之扩展性的第一到第n扩展流之每一个的TS分组；
选择步骤，基于用于识别整个流的第一ID、识别基本流和第一到第n扩展流之每一个的第二ID、以及预先设置的预定条件，从整个流中选择可处理的TS分组，所述第一ID和第二ID被存储在由输入步骤的处理所输入的每一个TS分组中；以及解码步骤，用于解码由选择步骤的处理所选择的TS分组，其中，在TS分组的报头中，传输优先标志被用于区分传输分组的有效载荷数据是否是基本音频流或者是第一扩展流。
说明书 :
技术领域
本发明涉及一种信息处理设备、信息处理方法、程序和数据结构，更具体地说，涉及一种用于处理包括基本流和多个级别的扩展流的流的信息处理设备、信息处理方法、程序和数据结构。
背景技术
MPEG(运动图像专家组)2音频流具有后向兼容性，使得其即使通过MPEG1音频解码器也能够进行再现。换言之，MPEG2音频流具有包括MPEG1音频流部分作为基本部分和MPEG2音频部分作为其扩展部分的结构。
在DVD(数字通用盘)视频格式中，公开了用于将MPEG2音频流多路复用成程序流的技术(例如，非专利文献1)。图1表示DVD视频格式中程序流1的结构。图1的程序流1包括：视频包11、MPEG2音频包12、和多个包13-1到13-j(j是任意的自然数)。
MPEG2音频包12包括：包(pack)报头21、PES(打包基本流(PacketizedElementary Stream))分组(packet)报头22、MPEG1音频数据(基本)23、PES分组报头24、以及MPEG2音频数据(扩展)25。另外，MPEG2音频包12的有效载荷包括具有PES分组报头22和MPEG1音频数据23的MPEG1音频PES分组、以及具有PES分组报头24和MPEG2音频数据25的MPEG2音频扩展PES分组。
当再现MPEG2音频包12时，仅仅能够解码MPEG1音频流的再现设备(仅仅用于MPEG1的再现设备)仅仅分离和再现对应于MPEG1音频流部分的PES分组报头22和MPEG1音频数据23。能够进行直到MPEG2音频流之解码的再现设备(能够再现达扩展音频流的再现设备)分离和再现基本音频流和扩展音频流。具体地，后者再现设备除了再现PES分组报头22和MPEG1音频数据23之外还再现对应于MPEG2扩展音频流的PES分组报头24和MPEG2音频数据25。
DVD Specifications for Read-Only Disc Part 3；Version 1.1。
在DVD(数字通用盘)视频格式中，公开了用于将MPEG2音频流多路复用成程序流的技术(例如，非专利文献1)。图1表示DVD视频格式中程序流1的结构。图1的程序流1包括：视频包11、MPEG2音频包12、和多个包13-1到13-j(j是任意的自然数)。
MPEG2音频包12包括：包(pack)报头21、PES(打包基本流(PacketizedElementary Stream))分组(packet)报头22、MPEG1音频数据(基本)23、PES分组报头24、以及MPEG2音频数据(扩展)25。另外，MPEG2音频包12的有效载荷包括具有PES分组报头22和MPEG1音频数据23的MPEG1音频PES分组、以及具有PES分组报头24和MPEG2音频数据25的MPEG2音频扩展PES分组。
当再现MPEG2音频包12时，仅仅能够解码MPEG1音频流的再现设备(仅仅用于MPEG1的再现设备)仅仅分离和再现对应于MPEG1音频流部分的PES分组报头22和MPEG1音频数据23。能够进行直到MPEG2音频流之解码的再现设备(能够再现达扩展音频流的再现设备)分离和再现基本音频流和扩展音频流。具体地，后者再现设备除了再现PES分组报头22和MPEG1音频数据23之外还再现对应于MPEG2扩展音频流的PES分组报头24和MPEG2音频数据25。
DVD Specifications for Read-Only Disc Part 3；Version 1.1。
发明内容
本发明要解决的问题
但是，近年来，对于流扩展性，在图1所示程序流的情况下，流结构被确定为格式。因此，存在的问题是，不能够添加进一步的音频流扩展。
这导致扩展性的缩小并且引起难于实现再现设备标准化的问题。
另外，当音频流是广播时，通过使用TS(传输流)来实现广播是普遍的。但是，在图1所示的程序流编码方法中，TS的使用是不合适的。具体地，对应于包(例如图1的MPEG2音频包12)的TS分组具有188字节的相对小的长度。当两个PES分组，即基本部分(MPEG1)和扩展部分(MPEG2)，被多路复用于TS分组中时，将产生编码效率低的问题。
本发明是基于上述问题得到的，其意图能够编码和解码包括基本流和多个级别扩展流的流。
解决问题的手段
本发明的第一信息处理设备包括：编码装置，用于编码输入流，使得在基本流和具有基本流之扩展性的第一到第n扩展流中，至少包括基本流和第一扩展流；表生成装置，用于生成其中写入了用于将分别识别由编码装置编码的基本流和第一到第n扩展流的ID与基本流和第一到第n扩展流相关联的信息的表；添加装置，用于将对应的ID添加到由编码装置编码的基本流和第一到第n扩展流；以及打包装置，用于将通过添加装置添加了ID的基本流和第一到第n扩展流以及表打包成TS分组。
本发明的第一信息处理方法包括：编码步骤，用于编码输入流，使得在基本流和具有基本流之扩展性的第一到第n扩展流中，至少包括基本流和第一扩展流；表生成步骤，用于生成其中写入了用于将分别识别由编码步骤的处理所编码的基本流和第一到第n扩展流的ID与基本流和第一到第n扩展流相关联的信息的表；添加步骤，用于将对应的ID添加到由编码步骤的处理所编码的基本流和第一到第n扩展流；以及打包步骤，用于将通过添加步骤的处理被添加了ID的基本流和第一到第n扩展流以及表打包成TS分组。
本发明的第一程序是一种用于使计算机执行处理的程序，包括：编码步骤，用于编码输入流，使得在基本流和具有基本流之扩展性的第一到第n扩展流中，至少包括基本流和第一扩展流；表生成步骤，用于生成其中写入了用于将分别识别由编码步骤的处理所编码的基本流和第一到第n扩展流的ID与基本流和第一到第n扩展流相关联的信息的表；添加步骤，用于将对应的ID添加到由编码步骤的处理所编码的基本流和第一到第n扩展流；以及打包步骤，用于将通过添加步骤的处理被添加了ID的基本流和第一到第n扩展流以及表打包成TS分组。
根据本发明的第一方面，编码输入流，使得在基本流和具有基本流之扩展性的第一到第n扩展流中，至少包括基本流和第一扩展流。生成其中写入了用于将分别识别被编码的基本流和被编码的第一到第n扩展流的ID与基本流和第一到第n扩展流相关联的信息的表。对应的ID被添加到被编码的基本流和被编码的第一到第n扩展流。基本流、第一到第n扩展流以及表被打包成TS分组。
本发明的第二信息处理设备包括：输入装置，用于输入流，所述流包括形成基本流的TS分组、形成具有基本流之扩展性的第一到第n扩展流的每一个的TS分组、以及存储了表的TS分组，在所述表中，写入了用于将分别识别所述TS分组的ID与由所述TS分组形成的基本流或第一到第n扩展流相关联的信息；确定装置，用于参考由输入装置输入的TS分组中所存储的表和确定可处理流的类型；选择装置，用于从流中选择具有与由确定装置确定的可处理的流相关联的ID的TS分组；以及解码装置，用于解码由选择装置选择的TS分组。
第二信息处理设备还可以包括：缓冲装置，用于相对于每个ID，缓冲由选择装置选择的TS分组。
本发明的第二信息处理方法包括：输入步骤，用于输入流，所述流包括形成基本流的TS分组、形成具有基本流之扩展性的第一到第n扩展流的每一个的TS分组、以及存储了表的TS分组，在所述表中，写入了用于将分别识别所述TS分组的ID与由所述TS分组形成的基本流或第一到第n扩展流相关联的信息；确定步骤，用于参考由输入步骤的处理所输入的TS分组中所存储的表和确定可处理流的类型；选择步骤，用于从流中选择具有与由确定步骤的处理所确定的可处理的流相关联的ID的TS分组；以及解码步骤，用于解码由选择步骤的处理所选择的TS分组。
本发明的第二程序是一种用于使计算机执行处理的程序，包括：输入步骤，用于输入流，所述流包括形成基本流的TS分组、形成具有基本流之扩展性的第一到第n扩展流的每一个的TS分组、以及存储了表的TS分组，在所述表中，写入了用于将分别识别所述TS分组的ID与由所述TS分组形成的基本流或第一到第n扩展流相关联的信息；确定步骤，用于参考由输入步骤的处理所输入的TS分组中所存储的表和确定可处理流的类型；选择步骤，用于从流中选择具有与由确定步骤的处理所确定的可处理的流相关联的ID的TS分组；以及解码步骤，用于解码由选择步骤的处理所选择的TS分组。
根据本发明的第二方面，输入流，所述流包括形成基本流的TS分组、形成具有基本流之扩展性的第一到第n扩展流的每一个的TS分组、以及存储了表的TS分组，在所述表中，写入了用于将分别识别所述TS分组的ID与由所述TS分组形成的基本流或第一到第n扩展流相关联的信息。参考表和确定可处理流的类型。从流中，选择和解码具有与被确定为可处理的流相关联的ID的TS分组。
本发明的第一数据结构是整个流的数据结构，所述整个流包括：形成基本流的TS分组；形成具有基本流之扩展性的第一到第n扩展流的每一个的TS分组；以及存储了表的TS分组，在所述表中，写入了用于将形成基本流或第一到第n扩展流的TS分组与识别这些TS分组的ID相关联的信息。形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组的每一个的报头包括用于识别TS分组的ID。
形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组被包括在整个流中，并且以要被同时再现的TS分组的次序和以形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组的顺序来配置。
根据本发明的第三方面，整个流包括：形成基本流的TS分组；形成具有基本流之扩展性的第一到第n扩展流的每一个的TS分组；以及存储了表的TS分组，在所述表中，写入了用于将形成基本流或第一到第n扩展流的TS分组与识别这些TS分组的ID相关联的信息。形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组的每一个的报头包括用于识别TS分组的ID。
本发明的第三信息处理设备包括：编码装置，用于编码整个流的至少基本流，所述整个流可以包括基本流和具有基本流之扩展性的第一到第n扩展流；第一添加装置，用于将相同的第一ID添加到基本流和第一到第n扩展流中的由编码装置编码的流，所述第一ID被用于识别整个流；第二添加装置，用于将第二ID添加到基本流和第一到第n扩展流中的由编码装置编码的流，所述第二ID被用于识别基本流和第一到第n扩展流的每一个；以及打包装置，用于将通过第一添加装置和第二添加装置添加了第一ID和第二ID的基本流和第一到第n扩展流打包成TS分组。
编码装置可以编码形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组，所述分组被包括在整个流中，使得要被同时再现的TS分组以形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组的顺序，被顺次配置。
当对应于基本流同步单位的第一到第n扩展流的任何同步单位存在时，编码装置可以在第一到第n扩展流中编码具有存在的同步单位的扩展流、以及基本流。
当对应于基本流同步单位的第一到第n扩展流的任何同步单位存在时，编码装置可以在第一到第n扩展流中编码具有存在的同步单位的扩展流以及基本流，并且可以不编码不具有存在的同步单位的扩展流，由此使用可变位速率来编码整个流。
本发明的第三信息处理方法包括：编码步骤，用于编码整个流的至少基本流，所述整个流可以包括基本流和具有基本流之扩展性的第一到第n扩展流；第一添加步骤，用于将相同的第一ID添加到基本流和第一到第n扩展流中的由编码步骤的处理所编码的流，所述第一ID被用于识别整个流；第二添加步骤，用于将第二ID添加到基本流和第一到第n扩展流中的由编码步骤的处理所编码的流，所述第二ID被用于识别基本流和第一到第n扩展流的每一个；以及打包步骤，用于将通过第一添加步骤和第二添加步骤的处理添加了第一ID和第二ID的基本流和第一到第n扩展流打包成TS分组。
本发明的第三程序是一种用于使计算机执行处理的程序，包括：编码步骤，用于编码整个流的至少基本流，所述整个流可以包括基本流和具有基本流之扩展性的第一到第n扩展流；第一添加步骤，用于将相同的第一ID添加到基本流和第一到第n扩展流中的由编码步骤的处理所编码的流，所述第一ID被用于识别整个流；第二添加步骤，用于将第二ID添加到基本流和第一到第n扩展流中的由编码步骤的处理所编码的流，所述第二ID被用于识别基本流和第一到第n扩展流的每一个；以及打包步骤，用于将通过第一添加步骤和第二添加步骤的处理添加了第一ID和第二ID的基本流和第一到第n扩展流打包成TS分组。
根据本发明第四方面，编码整个流的至少基本流，所述整个流可以包括基本流和具有基本流之扩展性的第一到第n扩展流。用于识别整个流的相同的第一ID和用于识别基本流和第一到第n扩展流的每一个的第二ID被添加到在基本流和第一到第n扩展流中的由编码装置编码的流。被添加第一ID和第二ID的基本流和第一到第n扩展流被打包成TS分组。
本发明的第四信息处理设备包括：输入装置，用于输入整个流，所述整个流可以包括形成基本流的TS分组和形成具有基本流之扩展性的第一到第n扩展流之每一个的TS分组；选择装置，基于用于识别整个流的第一ID、识别基本流和第一到第n扩展流之每一个的第二ID、以及预先设置的预定条件，从整个流中选择可处理的TS分组，所述第一ID和第二ID被存储在由输入装置输入的每一个TS分组中；以及解码装置，用于解码由选择装置选择的TS分组。
对于输入装置，可以输入整个流，包括形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组，所述分组以要被同时再现的TS分组的次序和以形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组的顺序配置。
输入到输入装置的整个流可以至少包括被编码的基本流，并且还可以包括对应于基本流的同步单位并使用可变位速率编码的第一到第n扩展流。
本发明的第四信息处理方法包括：输入步骤，用于输入整个流，所述整个流可以包括形成基本流的TS分组和形成具有基本流之扩展性的第一到第n扩展流之每一个的TS分组；选择步骤，基于用于识别整个流的第一ID、识别基本流和第一到第n扩展流之每一个的第二ID、以及预先设置的预定条件，从整个流中选择可处理的TS分组，所述第一ID和第二ID被存储在由输入步骤的处理所输入的每一个TS分组中；以及解码步骤，用于解码由选择步骤的处理所选择的TS分组。
本发明的第四程序是一种用于使计算机执行处理的程序，包括：输入步骤，用于输入整个流，所述整个流可以包括形成基本流的TS分组和形成具有基本流之扩展性的第一到第n扩展流之每一个的TS分组；选择步骤，基于用于识别整个流的第一ID、识别基本流和第一到第n扩展流之每一个的第二ID、以及预先设置的预定条件，从整个流中选择可处理的TS分组，所述第一ID和第二ID被存储在由输入步骤的处理所输入的每一个TS分组中；以及解码步骤，用于解码由选择步骤的处理所选择的TS分组。
根据本发明的第五方面，输入整个流，所述整个流可以包括形成基本流的TS分组和形成具有基本流之扩展性的第一到第n扩展流之每一个的TS分组。基于被存储在每一个TS分组中的用于识别整个流的第一ID和识别基本流及第一到第n扩展流之每一个的第二ID、以及基于预先设置的预定条件，从整个流中选择可处理的TS分组并解码。
本发明的第二数据结构是整个流的数据结构，所述整个流包括：形成基本流的TS分组；以及当对应于基本流同步单位的第一到第n扩展流的任何同步单位存在时，在第一到第n扩展流中，形成具有存在的同步单位的扩展流的TS分组。形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组的每一个的报头包括：用来识别整个流的第一ID；以及识别基本流和第一到第n扩展流之每一个的第二ID。
形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组被包括在整个流中，并且可以以要被同时再现的TS分组的次序和以形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组的顺序配置。
整个流可以至少包括基本流，并且还可以包括形成对应于基本流的同步单位的第一到第n扩展流的TS分组，TS分组的数量是可变的。
根据本发明第六方面，整个流包括：形成基本流的TS分组；以及当对应于基本流同步单位的第一到第n扩展流的任何同步单位存在时，在第一到第n扩展流中，形成具有存在的同步单位的扩展流的TS分组。形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组的每一个的报头包括：用来识别整个流的第一ID；以及识别基本流和第一到第n扩展流之每一个的第二ID。
优点
根据本发明第一方面，能够实现按照流扩展的处理。特别是，根据本发明，即使当流被扩展时，也能够按照在接收侧的信息处理设备实现编码。
根据本发明第二方面，能够实现按照流扩展的处理。特别是，根据本发明，即使当输入了被扩展的流时，也能够按照信息处理设备的处理能力实现解码。
根据本发明第三方面，能够获得按照流扩展的数据结构。特别是，根据本发明，即使当流被扩展时，也能够根据接收侧的信息处理设备获得数据结构。
根据本发明第四方面，能够实现按照流扩展的处理。特别是，根据本发明，即使当流被扩展时，也能够按照在接收侧的信息处理设备实现编码。
根据本发明第五方面，能够实现按照流扩展的处理。特别是，根据本发明，即使当输入了被扩展的流时，也能够按照信息处理设备的处理能力实现解码。
根据本发明第六方面，能够实现按照流扩展的处理。特别是，根据本发明，即使当流被扩展时，也能够根据接收侧的信息处理设备获得数据结构。
但是，近年来，对于流扩展性，在图1所示程序流的情况下，流结构被确定为格式。因此，存在的问题是，不能够添加进一步的音频流扩展。
这导致扩展性的缩小并且引起难于实现再现设备标准化的问题。
另外，当音频流是广播时，通过使用TS(传输流)来实现广播是普遍的。但是，在图1所示的程序流编码方法中，TS的使用是不合适的。具体地，对应于包(例如图1的MPEG2音频包12)的TS分组具有188字节的相对小的长度。当两个PES分组，即基本部分(MPEG1)和扩展部分(MPEG2)，被多路复用于TS分组中时，将产生编码效率低的问题。
本发明是基于上述问题得到的，其意图能够编码和解码包括基本流和多个级别扩展流的流。
解决问题的手段
本发明的第一信息处理设备包括：编码装置，用于编码输入流，使得在基本流和具有基本流之扩展性的第一到第n扩展流中，至少包括基本流和第一扩展流；表生成装置，用于生成其中写入了用于将分别识别由编码装置编码的基本流和第一到第n扩展流的ID与基本流和第一到第n扩展流相关联的信息的表；添加装置，用于将对应的ID添加到由编码装置编码的基本流和第一到第n扩展流；以及打包装置，用于将通过添加装置添加了ID的基本流和第一到第n扩展流以及表打包成TS分组。
本发明的第一信息处理方法包括：编码步骤，用于编码输入流，使得在基本流和具有基本流之扩展性的第一到第n扩展流中，至少包括基本流和第一扩展流；表生成步骤，用于生成其中写入了用于将分别识别由编码步骤的处理所编码的基本流和第一到第n扩展流的ID与基本流和第一到第n扩展流相关联的信息的表；添加步骤，用于将对应的ID添加到由编码步骤的处理所编码的基本流和第一到第n扩展流；以及打包步骤，用于将通过添加步骤的处理被添加了ID的基本流和第一到第n扩展流以及表打包成TS分组。
本发明的第一程序是一种用于使计算机执行处理的程序，包括：编码步骤，用于编码输入流，使得在基本流和具有基本流之扩展性的第一到第n扩展流中，至少包括基本流和第一扩展流；表生成步骤，用于生成其中写入了用于将分别识别由编码步骤的处理所编码的基本流和第一到第n扩展流的ID与基本流和第一到第n扩展流相关联的信息的表；添加步骤，用于将对应的ID添加到由编码步骤的处理所编码的基本流和第一到第n扩展流；以及打包步骤，用于将通过添加步骤的处理被添加了ID的基本流和第一到第n扩展流以及表打包成TS分组。
根据本发明的第一方面，编码输入流，使得在基本流和具有基本流之扩展性的第一到第n扩展流中，至少包括基本流和第一扩展流。生成其中写入了用于将分别识别被编码的基本流和被编码的第一到第n扩展流的ID与基本流和第一到第n扩展流相关联的信息的表。对应的ID被添加到被编码的基本流和被编码的第一到第n扩展流。基本流、第一到第n扩展流以及表被打包成TS分组。
本发明的第二信息处理设备包括：输入装置，用于输入流，所述流包括形成基本流的TS分组、形成具有基本流之扩展性的第一到第n扩展流的每一个的TS分组、以及存储了表的TS分组，在所述表中，写入了用于将分别识别所述TS分组的ID与由所述TS分组形成的基本流或第一到第n扩展流相关联的信息；确定装置，用于参考由输入装置输入的TS分组中所存储的表和确定可处理流的类型；选择装置，用于从流中选择具有与由确定装置确定的可处理的流相关联的ID的TS分组；以及解码装置，用于解码由选择装置选择的TS分组。
第二信息处理设备还可以包括：缓冲装置，用于相对于每个ID，缓冲由选择装置选择的TS分组。
本发明的第二信息处理方法包括：输入步骤，用于输入流，所述流包括形成基本流的TS分组、形成具有基本流之扩展性的第一到第n扩展流的每一个的TS分组、以及存储了表的TS分组，在所述表中，写入了用于将分别识别所述TS分组的ID与由所述TS分组形成的基本流或第一到第n扩展流相关联的信息；确定步骤，用于参考由输入步骤的处理所输入的TS分组中所存储的表和确定可处理流的类型；选择步骤，用于从流中选择具有与由确定步骤的处理所确定的可处理的流相关联的ID的TS分组；以及解码步骤，用于解码由选择步骤的处理所选择的TS分组。
本发明的第二程序是一种用于使计算机执行处理的程序，包括：输入步骤，用于输入流，所述流包括形成基本流的TS分组、形成具有基本流之扩展性的第一到第n扩展流的每一个的TS分组、以及存储了表的TS分组，在所述表中，写入了用于将分别识别所述TS分组的ID与由所述TS分组形成的基本流或第一到第n扩展流相关联的信息；确定步骤，用于参考由输入步骤的处理所输入的TS分组中所存储的表和确定可处理流的类型；选择步骤，用于从流中选择具有与由确定步骤的处理所确定的可处理的流相关联的ID的TS分组；以及解码步骤，用于解码由选择步骤的处理所选择的TS分组。
根据本发明的第二方面，输入流，所述流包括形成基本流的TS分组、形成具有基本流之扩展性的第一到第n扩展流的每一个的TS分组、以及存储了表的TS分组，在所述表中，写入了用于将分别识别所述TS分组的ID与由所述TS分组形成的基本流或第一到第n扩展流相关联的信息。参考表和确定可处理流的类型。从流中，选择和解码具有与被确定为可处理的流相关联的ID的TS分组。
本发明的第一数据结构是整个流的数据结构，所述整个流包括：形成基本流的TS分组；形成具有基本流之扩展性的第一到第n扩展流的每一个的TS分组；以及存储了表的TS分组，在所述表中，写入了用于将形成基本流或第一到第n扩展流的TS分组与识别这些TS分组的ID相关联的信息。形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组的每一个的报头包括用于识别TS分组的ID。
形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组被包括在整个流中，并且以要被同时再现的TS分组的次序和以形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组的顺序来配置。
根据本发明的第三方面，整个流包括：形成基本流的TS分组；形成具有基本流之扩展性的第一到第n扩展流的每一个的TS分组；以及存储了表的TS分组，在所述表中，写入了用于将形成基本流或第一到第n扩展流的TS分组与识别这些TS分组的ID相关联的信息。形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组的每一个的报头包括用于识别TS分组的ID。
本发明的第三信息处理设备包括：编码装置，用于编码整个流的至少基本流，所述整个流可以包括基本流和具有基本流之扩展性的第一到第n扩展流；第一添加装置，用于将相同的第一ID添加到基本流和第一到第n扩展流中的由编码装置编码的流，所述第一ID被用于识别整个流；第二添加装置，用于将第二ID添加到基本流和第一到第n扩展流中的由编码装置编码的流，所述第二ID被用于识别基本流和第一到第n扩展流的每一个；以及打包装置，用于将通过第一添加装置和第二添加装置添加了第一ID和第二ID的基本流和第一到第n扩展流打包成TS分组。
编码装置可以编码形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组，所述分组被包括在整个流中，使得要被同时再现的TS分组以形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组的顺序，被顺次配置。
当对应于基本流同步单位的第一到第n扩展流的任何同步单位存在时，编码装置可以在第一到第n扩展流中编码具有存在的同步单位的扩展流、以及基本流。
当对应于基本流同步单位的第一到第n扩展流的任何同步单位存在时，编码装置可以在第一到第n扩展流中编码具有存在的同步单位的扩展流以及基本流，并且可以不编码不具有存在的同步单位的扩展流，由此使用可变位速率来编码整个流。
本发明的第三信息处理方法包括：编码步骤，用于编码整个流的至少基本流，所述整个流可以包括基本流和具有基本流之扩展性的第一到第n扩展流；第一添加步骤，用于将相同的第一ID添加到基本流和第一到第n扩展流中的由编码步骤的处理所编码的流，所述第一ID被用于识别整个流；第二添加步骤，用于将第二ID添加到基本流和第一到第n扩展流中的由编码步骤的处理所编码的流，所述第二ID被用于识别基本流和第一到第n扩展流的每一个；以及打包步骤，用于将通过第一添加步骤和第二添加步骤的处理添加了第一ID和第二ID的基本流和第一到第n扩展流打包成TS分组。
本发明的第三程序是一种用于使计算机执行处理的程序，包括：编码步骤，用于编码整个流的至少基本流，所述整个流可以包括基本流和具有基本流之扩展性的第一到第n扩展流；第一添加步骤，用于将相同的第一ID添加到基本流和第一到第n扩展流中的由编码步骤的处理所编码的流，所述第一ID被用于识别整个流；第二添加步骤，用于将第二ID添加到基本流和第一到第n扩展流中的由编码步骤的处理所编码的流，所述第二ID被用于识别基本流和第一到第n扩展流的每一个；以及打包步骤，用于将通过第一添加步骤和第二添加步骤的处理添加了第一ID和第二ID的基本流和第一到第n扩展流打包成TS分组。
根据本发明第四方面，编码整个流的至少基本流，所述整个流可以包括基本流和具有基本流之扩展性的第一到第n扩展流。用于识别整个流的相同的第一ID和用于识别基本流和第一到第n扩展流的每一个的第二ID被添加到在基本流和第一到第n扩展流中的由编码装置编码的流。被添加第一ID和第二ID的基本流和第一到第n扩展流被打包成TS分组。
本发明的第四信息处理设备包括：输入装置，用于输入整个流，所述整个流可以包括形成基本流的TS分组和形成具有基本流之扩展性的第一到第n扩展流之每一个的TS分组；选择装置，基于用于识别整个流的第一ID、识别基本流和第一到第n扩展流之每一个的第二ID、以及预先设置的预定条件，从整个流中选择可处理的TS分组，所述第一ID和第二ID被存储在由输入装置输入的每一个TS分组中；以及解码装置，用于解码由选择装置选择的TS分组。
对于输入装置，可以输入整个流，包括形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组，所述分组以要被同时再现的TS分组的次序和以形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组的顺序配置。
输入到输入装置的整个流可以至少包括被编码的基本流，并且还可以包括对应于基本流的同步单位并使用可变位速率编码的第一到第n扩展流。
本发明的第四信息处理方法包括：输入步骤，用于输入整个流，所述整个流可以包括形成基本流的TS分组和形成具有基本流之扩展性的第一到第n扩展流之每一个的TS分组；选择步骤，基于用于识别整个流的第一ID、识别基本流和第一到第n扩展流之每一个的第二ID、以及预先设置的预定条件，从整个流中选择可处理的TS分组，所述第一ID和第二ID被存储在由输入步骤的处理所输入的每一个TS分组中；以及解码步骤，用于解码由选择步骤的处理所选择的TS分组。
本发明的第四程序是一种用于使计算机执行处理的程序，包括：输入步骤，用于输入整个流，所述整个流可以包括形成基本流的TS分组和形成具有基本流之扩展性的第一到第n扩展流之每一个的TS分组；选择步骤，基于用于识别整个流的第一ID、识别基本流和第一到第n扩展流之每一个的第二ID、以及预先设置的预定条件，从整个流中选择可处理的TS分组，所述第一ID和第二ID被存储在由输入步骤的处理所输入的每一个TS分组中；以及解码步骤，用于解码由选择步骤的处理所选择的TS分组。
根据本发明的第五方面，输入整个流，所述整个流可以包括形成基本流的TS分组和形成具有基本流之扩展性的第一到第n扩展流之每一个的TS分组。基于被存储在每一个TS分组中的用于识别整个流的第一ID和识别基本流及第一到第n扩展流之每一个的第二ID、以及基于预先设置的预定条件，从整个流中选择可处理的TS分组并解码。
本发明的第二数据结构是整个流的数据结构，所述整个流包括：形成基本流的TS分组；以及当对应于基本流同步单位的第一到第n扩展流的任何同步单位存在时，在第一到第n扩展流中，形成具有存在的同步单位的扩展流的TS分组。形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组的每一个的报头包括：用来识别整个流的第一ID；以及识别基本流和第一到第n扩展流之每一个的第二ID。
形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组被包括在整个流中，并且可以以要被同时再现的TS分组的次序和以形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组的顺序配置。
整个流可以至少包括基本流，并且还可以包括形成对应于基本流的同步单位的第一到第n扩展流的TS分组，TS分组的数量是可变的。
根据本发明第六方面，整个流包括：形成基本流的TS分组；以及当对应于基本流同步单位的第一到第n扩展流的任何同步单位存在时，在第一到第n扩展流中，形成具有存在的同步单位的扩展流的TS分组。形成基本流的TS分组和形成第一到第n扩展流之每一个的TS分组的每一个的报头包括：用来识别整个流的第一ID；以及识别基本流和第一到第n扩展流之每一个的第二ID。
优点
根据本发明第一方面，能够实现按照流扩展的处理。特别是，根据本发明，即使当流被扩展时，也能够按照在接收侧的信息处理设备实现编码。
根据本发明第二方面，能够实现按照流扩展的处理。特别是，根据本发明，即使当输入了被扩展的流时，也能够按照信息处理设备的处理能力实现解码。
根据本发明第三方面，能够获得按照流扩展的数据结构。特别是，根据本发明，即使当流被扩展时，也能够根据接收侧的信息处理设备获得数据结构。
根据本发明第四方面，能够实现按照流扩展的处理。特别是，根据本发明，即使当流被扩展时，也能够按照在接收侧的信息处理设备实现编码。
根据本发明第五方面，能够实现按照流扩展的处理。特别是，根据本发明，即使当输入了被扩展的流时，也能够按照信息处理设备的处理能力实现解码。
根据本发明第六方面，能够实现按照流扩展的处理。特别是，根据本发明，即使当流被扩展时，也能够根据接收侧的信息处理设备获得数据结构。
附图说明
图1表示DVD视频格式中的程序流的结构。
图2是表示应用本发明的第一实施例的发送/接收系统的整个构成的例子的示意图。
图3是表示图2发送器结构的例子的方框图。
图4表示其中多路复用了基本音频流和多个级别扩展音频流的TS的结构。
图5表示其中多路复用了基本音频流和多个级别扩展音频流的TS的结构。
图6是表示由图3发送器执行的TS分组发送处理的流程图。
图7表示PAT表的例子。
图8表示PMT表的例子。
图9是表示TS分组生成处理的流程图。
图10是表示图2接收器构成例子的方框图。
图11表示仅仅能够解码基本音频流的音频流处理部分的结构的例子。
图12是表示由图10接收器执行的TS分组接收处理的流程图。
图13是表示由图11的音频流处理部分执行的音频流处理过程的流程图。
图14表示能够解码基本音频流和第一扩展音频流的音频流处理部分的结构的例子。
图15表示能够解码基本音频流和第一及第二扩展音频流的音频流处理部分的结构的例子。
图16表示能够解码基本音频流和第一到第n扩展音频流的音频流处理部分的结构的例子。
图17是表示由图16的音频流处理部分执行的音频流处理过程的流程图。
图18表示能够解码基本音频流和第一到第n扩展音频流的音频流处理部分的结构的例子。
图19表示TS分组的顺序。
图20是表示应用本发明的第二实施例的发送器的结构例子的方框图。
图21说明PMT表的另一个例子。
图22说明其中多路复用了基本音频流和多个级别的扩展音频流的TS的结构。
图23说明其中多路复用了基本音频流和多个级别的扩展音频流的TS的结构。
图24是表示TS分组生成处理的流程图。
图25说明对应于图23的TS分组的结构。
图26说明其中多路复用了基本音频流和第一扩展音频流的TS的结构。
图27说明对应于图26的TS分组的结构。
图28表示能够解码基本音频流和第一到第n扩展音频流的音频流处理部分的结构的例子。
图29表示TS分组的顺序。
图30是表示由图28的音频流处理部分执行的音频流处理过程的流程图。
图31是表示由图28的音频流处理部分执行的音频流处理过程的流程图。
图32能够解码基本音频流的音频流处理部分的结构的例子。
图33表示TS分组的顺序。
图34表示能够解码基本音频流和第一扩展流的音频流处理部分的结构的例子。
图35表示TS分组的顺序。
图36是表示个人计算机的示意图。
图37说明TS分组的结构的另一个例子。
附图标号说明
40发送/接收系统；41发送器；42接收器；71输入部分；72音频编码器；73基本缓冲器；71-1到74-n扩展缓冲器；76TS打包部分；77发送部分；90到92，以及93-1到93-n TS分组；121接收部分；122音频流处理部分；123输出部分；151输入部分；152过滤器控制部分；153PID过滤器；154基本缓冲器；155音频解码器；201PID过滤器；202扩展缓冲器；203音频解码器；231PID过滤器；232音频解码器；261PID过滤器；262音频解码器；301PID过滤器；302缓冲器；303音频解码器；310发送器；311提取信息添加部分；312TS打包部分；313Sub_id添加部分；404Sub_id过滤器控制部分；405Sub_id过滤器。
图2是表示应用本发明的第一实施例的发送/接收系统的整个构成的例子的示意图。
图3是表示图2发送器结构的例子的方框图。
图4表示其中多路复用了基本音频流和多个级别扩展音频流的TS的结构。
图5表示其中多路复用了基本音频流和多个级别扩展音频流的TS的结构。
图6是表示由图3发送器执行的TS分组发送处理的流程图。
图7表示PAT表的例子。
图8表示PMT表的例子。
图9是表示TS分组生成处理的流程图。
图10是表示图2接收器构成例子的方框图。
图11表示仅仅能够解码基本音频流的音频流处理部分的结构的例子。
图12是表示由图10接收器执行的TS分组接收处理的流程图。
图13是表示由图11的音频流处理部分执行的音频流处理过程的流程图。
图14表示能够解码基本音频流和第一扩展音频流的音频流处理部分的结构的例子。
图15表示能够解码基本音频流和第一及第二扩展音频流的音频流处理部分的结构的例子。
图16表示能够解码基本音频流和第一到第n扩展音频流的音频流处理部分的结构的例子。
图17是表示由图16的音频流处理部分执行的音频流处理过程的流程图。
图18表示能够解码基本音频流和第一到第n扩展音频流的音频流处理部分的结构的例子。
图19表示TS分组的顺序。
图20是表示应用本发明的第二实施例的发送器的结构例子的方框图。
图21说明PMT表的另一个例子。
图22说明其中多路复用了基本音频流和多个级别的扩展音频流的TS的结构。
图23说明其中多路复用了基本音频流和多个级别的扩展音频流的TS的结构。
图24是表示TS分组生成处理的流程图。
图25说明对应于图23的TS分组的结构。
图26说明其中多路复用了基本音频流和第一扩展音频流的TS的结构。
图27说明对应于图26的TS分组的结构。
图28表示能够解码基本音频流和第一到第n扩展音频流的音频流处理部分的结构的例子。
图29表示TS分组的顺序。
图30是表示由图28的音频流处理部分执行的音频流处理过程的流程图。
图31是表示由图28的音频流处理部分执行的音频流处理过程的流程图。
图32能够解码基本音频流的音频流处理部分的结构的例子。
图33表示TS分组的顺序。
图34表示能够解码基本音频流和第一扩展流的音频流处理部分的结构的例子。
图35表示TS分组的顺序。
图36是表示个人计算机的示意图。
图37说明TS分组的结构的另一个例子。
附图标号说明
40发送/接收系统；41发送器；42接收器；71输入部分；72音频编码器；73基本缓冲器；71-1到74-n扩展缓冲器；76TS打包部分；77发送部分；90到92，以及93-1到93-n TS分组；121接收部分；122音频流处理部分；123输出部分；151输入部分；152过滤器控制部分；153PID过滤器；154基本缓冲器；155音频解码器；201PID过滤器；202扩展缓冲器；203音频解码器；231PID过滤器；232音频解码器；261PID过滤器；262音频解码器；301PID过滤器；302缓冲器；303音频解码器；310发送器；311提取信息添加部分；312TS打包部分；313Sub_id添加部分；404Sub_id过滤器控制部分；405Sub_id过滤器。
具体实施方式
下面，参考图2到19，说明本发明的第一实施例。
图2是表示使用本发明的发送/接收系统整个构成的例子的示意图。
该发送/接收系统40包括发送器41和接收器42。发送器41是用于发送包括多个TS分组的流的设备，例如是广播台。接收器42是用于接收该流的家用设备，例如是家用置顶盒。
在本实施例中，发送器41编码音频流以产生TS分组和发送该TS分组，接收器42接收该TS分组并解码该TS分组以获得该音频流。
图3是表示图2发送器41的结构例子的方框图。
发送器41包括输入部分71、音频编码器72、基本缓冲器73、扩展缓冲器74-1到74-n、提取信息添加部分75、TS打包部分76、以及发送部分77，其
中n是等于或大于1的任意自然数。
要被发送的音频流被输入到输入部分71。音频编码器72编码音频流。图3中的音频编码器72是对应于第n个扩展音频流的编码器。就是说，音频编码器72能够将音频流编码成基本流和从第一级到第n级的多级扩展音频流。
在本实施例中，级别值n越大，扩展性越高，导致音频再现质量越好，功能性越高。音频编码器72将音频流编码成基本流和第一到第n的扩展流，并将编码的流提供给对应级的扩展缓冲器74-1到74-n。例如，音频编码器72将编码的基本音频流(BS)提供给基本缓冲器73，将编码的第一扩展音频流(Ext1)提供给扩展缓冲器74-1，将编码的第二扩展音频流(Ext2)提供给扩展缓冲器74-2，以及类似地将编码的第n扩展音频流(ExtN)提供给扩展缓冲器74-n。这里，扩展音频流的级别对应于缓冲器的标号。而且，基本音频流被表示为BS，第一到第n扩展音频流分别被表示为Ext1到ExtN。
在本实施例的编码器72将音频流分离成基本音频流和第一到第n扩展音频流之后，可以编码这些流。另外，作为编码音频流的结果，基本音频流和第一到第n扩展音频流可以被输出。
基本缓冲器73存储(缓冲)基本音频流，扩展缓冲器74-1到74-n分别存储(缓冲)第一到第n扩展音频流。在TS打包部分76的控制之下，基本缓冲器73和扩展缓冲器74-1到74-n读出其中存储的音频流。
提取信息添加部分75生成作为提取信息的表，以便在解码侧从基本音频流和第一到第n扩展音频流中提取出希望级别的扩展音频流。表中写入了用于将分别识别基本音频流和第一到第n扩展音频流的ID(第一实施例中为PID(分组识别))与基本音频流和第一到第n扩展音频流相关联的信息。具体地，表包括PAT(程序相关表)和PMT(程序映射表)。表的细节下面参考图7和8说明。提取信息添加部分75将表提供给TS打包部分76。
TS打包部分76控制基本缓冲器73和扩展缓冲器74-1到74-n以获得基本音频流和第一到第n扩展音频流，并且还获得由提取信息添加部分75提供的表。而且，TS打包部分76将表打包成TS分组，并且基于表，将基本音频流和第一到第n扩展音频流打包成TS分组(生成TS分组)。此时，TS打包部分76基于表来添加用于识别流类型(基本音频流和第一到第n扩展音频流)的PID。TS打包部分76将所生成的TS分组提供给发送部分77。发送部分77发送TS分组。这里，多个TS分组被顺次发送，由此导致一个流(由多个TS分组构成)的发送。
在第一实施例中，PID识别构成MPEG TS的每个分组(TS分组(传输流分组))，并且具有唯一值的PID被添加到每个分组。换言之，为了接收侧的接收器42选择希望级别的扩展音频流的分组，被添加到该分组的PID是必需的。
下面，参考图4和5说明其中多路复用了基本音频流和多个级别的扩展音频流的TS(传输流)的结构。
在图4的例子中，TS包括基本音频流81和第一到第n扩展音频流82-1到82-n。基本音频流81和第一到第n扩展音频流82-1到82-n的每一个以预定数目的音频样本作为单位被编码，每个单位通过被括号括的标注表示出。具体地，例如，基本音频流81被分成多个单位BS(1)，BS(2)，...，BS(n)和被编码。具有相同标注的一组单位例如BS(1)，Ext1(1)，Ext2(1)，...，ExtN(1)被音频编码器72同步地编码和被同步地再现(解码)。
TS打包部分76将基本音频流81和第一到第n扩展音频流82-1到82-n多路复用成具有不同PID(分组ID)的TS分组，如图5所示。一个TS分组例如存储了188字节的数据。
图5的TS流包括其中写入了PAT(程序相关表)的TS分组90、其中写入了PMT(程序映射表)的TS分组91、PID＝a0的基本音频流(BS)的TS分组92、PID＝a1的第一扩展音频流(Ext1)的TS分组93-1、PID＝a2的第二扩展音频流(Ext2)的TS分组93-2、...、以及PID＝aN的第n扩展音频流(ExtN)的TS分组93-n。每隔预定周期，发送器41就发送表的TS分组91。
在本实施例中，接收侧的接收器42能够至少解码基本音频流(BS)。当接收侧的接收器42能够再现直到预定的第m级的扩展音频流时(m是等于或大于1的自然数，并且m≤n)，则接收器42能够解码基本音频流和第一到第m扩展音频流。关于基本音频流和扩展音频流之间的关系，例如，能够解码的扩展音频流的值n越大，则音频再现的质量越好，功能性越高。
下面，参考图6的流程图，说明由图3的发送器41执行的TS分组发送处理。该处理在发送器41电源开启将音频流输入到输入部分71时开始。
在步骤S11，输入部分71接收输入视频流。在步骤S12，输入部分71将所接收的音频流输出到音频编码器72。
在步骤S13，音频编码器72编码基本音频流和第一到第n扩展音频流。结果，音频编码器72如图4所示以(垂直)同步的形式输出基本音频流和第一到第n扩展音频流。
在步骤S14，音频编码器72对于每个级别(流的类型)分开地输出被编码的音频流。具体地，音频编码器72将被编码的基本音频流输出到基本缓冲器73，将被编码的第一扩展音频流输出到扩展缓冲器74-1，将被编码的第二扩展音频流输出到扩展缓冲器74-2，以及将被编码的第n扩展音频流输出到扩展缓冲器74-n。
在步骤S15，基本缓冲器73和第一到第n扩展缓冲器74-1到74-n分别存储(缓冲)被编码的音频流。
在步骤S16，基本缓冲器73和第一到第n扩展缓冲器74-1到74-n以预定时序分别输出被编码的音频流。实际上，TS打包部分76控制缓冲器(基本缓冲器73和第一到第n扩展缓冲器74-1到74-n)以便从中读出对应的音频流。
在步骤S17，提取信息添加部分75生成表和将表提供给TS打包部分76。具体地，提取信息添加部分75生成如图7和8所示的表和将表提供给TS打包部分76。
图7表示PAT(程序相关表)。具体地，在该PAT中，写入了对应于每个程序号码的PMT-PID。在图7的例子中，程序号码1的PMT-PID是“X”，程序号码2的PMT-PID是“Y”。PMT-PID的值由图8所示的PMT(程序映射表)引用。图8中，写入了PID是“X”情况下的stream_entry。具体地，PMT包括BASE_PID＝a0，Ext1_PID＝a1，Ext2_PID＝a2，...，ExtN_PID＝aN。显然，根据图7和8，基本音频流(BS)的PID是“a0”，第一扩展音频流Ext1的PID是
“a1”，第二扩展音频流Ext2的PID是“a2”，以及类似地，第n扩展音频流ExtN的PID是“aN”。因此，如图5所示，对应于编码级别的PID是可以识别的。
在本实施例中，PAT和PMT以不同的TS分组传输。换言之，如图5所示，传输其中写入了PAT的表的TS分组90和其中写入了PMT的表的TS分组91。
回来参考图6，在步骤S18，TS打包部分76执行TS分组生成处理。下面参考图9说明处理的细节。由TS打包部分76生成的TS分组被输出到发送部分77。
在步骤S19，发送部分77将TS分组(包括多个TS分组的音频流)发送到接收器42。具体地，发送包括表的TS分组90和91、基本音频流的TS分组92以及第一到第n扩展音频流的TS分组93-1到93-n的流。此后，处理完成。尽管在本实施例中TS分组被发送到接收器42，但是TS分组也可以被记录在各种类型的记录媒体中(未示出)。或者，可以通过将TS分组记录在记录媒体中，然后将记录媒体提供给接收器42来间接地执行TS分组向接收器42的发送。
下面，参考图9的流程图，说明在图6步骤S18中的TS分组生成处理的细节。
在步骤S31，TS打包部分76获得表。这些表是诸如图7和8所示的那些表，它们在图6的步骤S17中生成。就是说，这些表包括其中写入了分别识别基本音频流和第一到第n扩展音频流的PID以及分别识别基本音频流和第一到第n扩展音频流的信息的信息。
在步骤S32，TS打包部分76将表打包成TS分组(基于表生成TS分组)以及将TS分组输出到发送部分77(以及发送部分77反过来将TS分组发送到接收器42)。因此，其中写入了图5中PAT的TS分组90和其中写入了PMT的TS分组91被生成且被输出到发送部分77。在该处理中，TS分组被仅仅发送一次。然而，实际上，每隔预定的时间周期，就发送其中表被写入的TS分组。因此，即使当接收器42在中间开始接收流时，接收器42也能够获得表，由此可靠地解码流。
在步骤S33，基于表，TS打包部分76将PID从基本缓冲器73和第一到第n扩展缓冲器74-1到74-n中添加到对应的音频流。尽管表通过步骤S31的处理被打包成TS分组以及然后被发送，但这里假设表是由TS打包部分76保持。因此，PID＝a0被添加到基本音频流(BS)，PID＝a1被添加到第一扩展音频流(Ext1)，PID＝a2被添加到第二扩展音频流(Ext2)，以及类似地，PID＝aN被添加到第n扩展音频流(ExtN)。
在步骤S34，基于来自基本缓冲器73和第一到第n扩展缓冲器74-1到74-n的音频流，TS打包部分76分别生成TS分组。如图5所示，基本音频流和第一到第n扩展音频流被生成为具有各自不同PID(分组ID)的TS分组。换言之，用于确定流类型的PID被添加到TS分组。
在步骤S35，TS打包部分76将所生成的TS分组输出到发送部分77。此后，处理返回到图6的步骤S18。
通过图6和9的处理，能够编码第n扩展音频流的发送器41将所编码的数据分离成基本音频流和第一到第n扩展音频流；基于表将PID添加到音频流；将所分离的音频流打包成TS分组并发送该TS分组；以及将表打包成TS分组和发送该TS分组。换言之，包括具有用于识别流类型的PID的多个TS分组和表的TS分组的音频流被发送到接收器42。
由发送器41发送的流包括形成基本音频流的TS分组、形成第一到第n扩展音频流的TS分组、以及表的TS分组，在所述表中写入了用于将分别识别这些TS分组的PID与基本音频流和第一到第n扩展音频流相关联的信息。由于识别音频流类型的PID被添加到形成基本音频流的TS分组和形成第一到第n扩展音频流的TS分组，因此接收侧能够按照其处理能力执行解码。下面说明接收侧的接收器42。
图10是表示图2接收器42结构例子的方框图。
接收器42包括接收部分121、音频流处理部分122和输出部分123。接收部分121接收TS分组，音频流处理部分122执行涉及音频流的处理。具体地，音频流处理部分122通过例如解码所接收TS分组来提取音频流。输出部分123输出由音频流处理部分122处理的音频流。
音频流处理部分122根据其解码能力提取不同的音频流。下面说明音频流处理部分122。
图11是表示音频流处理部分122的结构例子的示意图，该音频流处理部分122包括能够仅仅解码基本音频流的音频解码器。
图11的音频流处理部分122包括输入部分151、过滤器控制部分152、PID过滤器153、基本缓冲器154和音频解码器155。
输入部分151接收由图10的接收部分121提供的音频流的TS分组的输入。在音频流的TS分组中，输入部分151将表的TS分组(图7和8中说明的表)提供给过滤器控制部分152，以及将剩余的TS分组(例如，具有图5中的PID的基本音频流的TS分组和第一到第n扩展音频流的TS分组)提供给PID过滤器153。例如，当视频流和音频流的TS分组被接收部分121接收时，输入部分151仅仅获得音频流的TS分组。
过滤器控制部分152基于所获得的表来控制PID过滤器153的操作。具体地，过滤器控制部分152记忆其能够处理的流的类型，并且过滤器控制部分152确定基于表其能够处理的流的类型。过滤器控制部分152在表中参考其能够处理的流的PID并控制PID过滤器153，使得选择具有与其能够处理的流相关的PID的TS分组。例如，过滤器控制部分152将与能够解码的流的类型相关的PID的值作为要被选择的PID的值通知给PID过滤器153。
在过滤器控制部分152的控制之下，PID过滤器153选择(提取)TS分组。具体地，基于由过滤器控制部分152报告的PID，PID过滤器153选择具有相同PID的TS分组并将TS分组提供给对应的缓冲器。每个缓冲器存储(缓冲)由PID过滤器153选择的TS分组。音频解码器155获得每个缓冲器中存储的TS分组和解码这些TS分组。
在图11的例子中，音频流处理部分122仅仅具有对应于基本音频流的音频解码器155，不能够解码第一到第n扩展音频流。在这种情况下，过滤器控制部分152记忆其能够处理的流类型仅仅是基本音频流，并且过滤器控制部分152在表中参考对应于基本音频流的PID。在这种情况下，音频流处理部分122确定BASE_PID是其能够处理的流的类型和在表中参考PID＝a0。过滤器控制部分152控制PID过滤器153，使得选择具有可解码流的PID的TS分组。例如，过滤器控制部分152将可解码流的ID或者要被通过的PID的值通知给PID过滤器153。基于由过滤器控制部分152报告的PID即PID＝a0，PID过滤器153选择具有PID＝a0的TS分组并将TS分组提供给基本缓冲器154。当第一到第n扩展音频流的TS分组被提供时，PID过滤器153不选择这些分组。换言之，当仅仅具有PID＝a0的基本音频流的TS分组被提供时，PID过滤器153选择TS分组和将TS分组提供给后级的基本缓冲器154。
基本缓冲器154存储由PID过滤器153选择和提供的基本音频流的TS分组。基本缓冲器154工作以使得在接收侧的TS分组同步和与音频解码器155同步。尽管在图11的例子中仅仅提供了一个基本缓冲器154，但也可以串接提供两个缓冲器用作为基本缓冲器154，所述两个缓冲器包括用于使得在接收侧的TS分组同步的缓冲器和用于使得与音频解码器155同步的缓冲器。音频解码器155解码基本音频流的TS分组和输出所解码的基本音频流。
下面，参考图12的流程图说明由图10的接收器42执行的TS分组接收处理。当接收TS分组的指令被发出给接收器42时，该处理被启动。
在步骤S51，接收器42的接收部分121接收TS分组(包括多个TS分组的流)。这些TS分组例如是在图6的步骤S19中由发送器41发送的TS分组。
在步骤S52，接收部分121提取音频流的TS分组和将TS分组提供给音频流处理部分122。例如，当由接收部分121接收的TS分组包括视频流的TS分组时，接收部分121仅仅提取音频流的TS分组和将TS分组提供给音频流处理部分122。
在步骤S53，音频流处理部分122执行音频流处理过程，用于根据音频流处理部分122的解码能力，解码音频流(包括多个TS分组的音频流)的TS分组。参考图13说明处理的细节。由音频流处理部分122处理的音频流被提供给输出部分123。
在步骤S54，输出部分123将解码的音频流输出到例如扬声器，未示出。此后，处理结束。
通过图12中的处理，接收了TS分组，并且音频流的TS分组被处理(解码)和输出。
下面，参考图13的流程图，说明作为图12步骤S53例子的基本音频流处理过程。该处理是由图11音频流处理部分122执行的处理。具体地，该处理是由能够仅仅解码基本音频流的音频流处理部分122执行的处理。
在步骤S71，输入部分151接收音频流(包括多个TS分组的音频流)的TS分组的输入。音频流的TS分组对应于包括表的TS分组、基本音频流的TS分组、以及第一到第n扩展音频流的TS分组的音频流，它们在上述图6的步骤S19中由发送器41发送。
在步骤S72，输入部分151将表的TS分组提供给过滤器控制部分152。具体地，由于音频流的TS分组包括表的TS分组、基本音频流的TS分组、以及第一到第n扩展音频流的TS分组，因此输入部分151在这些TS分组中将表的TS分组提供给过滤器控制部分152。
在步骤S73，输入部分151将添加了PID的TS分组提供给PID过滤器153。具体地，在图5中，输入部分151将添加了PID的基本音频流的TS分组和第一到第n扩展音频流的TS分组提供给PID过滤器153。
在步骤S74，过滤器控制部分152参考表和确定音频解码器155能够处理的流的类型。具体地，过滤器控制部分152记忆其能够处理的流的类型是基本音频流并且基于表确定其能够处理的流的类型。过滤器控制部分152在表中参考其能够处理的流的PID和控制PID过滤器153，以便选择与其能够处理的基本流相关的具有PID＝a0的TS分组。
在步骤S75，(基于上述确定)在过滤器控制部分152的控制之下，PID过滤器153选择对应的TS分组和将TS分组提供给基本缓冲器154。具体地，在过滤器控制部分152的控制之下，PID过滤器153选择具有PID＝a0的TS分组即基本音频流的TS分组和将TS分组提供给基本缓冲器154。
在步骤S76，基本缓冲器154存储所提供的TS分组。这里存储的TS分组是基本音频流的TS分组。
在步骤S77，基本缓冲器154用预定的时序将TS分组输出到音频解码器155。
在步骤S78，音频解码器155解码所提供的基本音频流的TS分组，并且在步骤S79，输出所解码的音频流。
由于PID被添加到TS分组以及TS分组(基本音频流和第一到第n扩展音频流的TS分组)的PID和类型之间的关系被写入在表中，因此即使仅仅能够解码例如图11所示的基本音频流的音频流处理部分122(接收器42)，也能够仅仅选择和解码对应于基本音频流的TS分组。也就是说，即使当被扩展到多个级别的音频流被发送时，具有图11音频流处理部分122的接收器42也仅仅能够提取基本音频流和再现基本音频流。
下面，参考图14，说明具有能够解码基本音频流和第一扩展音频流的音频解码器的音频流处理部分122。
图14是表示音频流处理部分122的结构例子的示意图，该音频流处理部分122包括能够解码基本音频流和第一扩展音频流的音频解码器。在本示意图中，对应于图11的部分使用了相同的标号来参照，并且其说明省略，以避免重复。
除了图11的音频流处理部分122之外，图14的音频流处理部分122包括第一扩展缓冲器202。音频解码器203不仅能够解码基本音频流而且还能够解码第一扩展音频流。PID过滤器153不仅能够提取基本音频流而且还能够提取第一扩展音频流。
图14的音频流处理部分122包括输入部分151、过滤器控制部分152、PID过滤器201、基本缓冲器154、第一扩展缓冲器202、和音频解码器203。
过滤器控制部分152基于表来控制PID过滤器201的操作。具体地，过滤器控制部分152记忆其能够处理的流的类型，并且基于表确定其能够处理的流的类型。过滤器控制部分152在表中参考其能够处理的流的PID并控制PID过滤器201，使得选择具有与其能够处理的流相关的PID的TS分组。在图14的例子中，过滤器控制部分152控制PID过滤器201，使得将具有PID＝a0的TS分组提供给基本缓冲器154和将具有PID＝a1的TS分组提供给第一扩展缓冲器202。在过滤器控制部分152的控制之下，PID过滤器201提取TS分组。换言之，PID过滤器201选择具有PID＝a0的TS分组和将该TS分组提供给基本缓冲器154，以及选择具有PID＝a1的TS分组和将该TS分组提供给第一扩展缓冲器202。
基本缓冲器154存储(缓冲)由PID过滤器201提取的基本音频流的TS分组，第一扩展缓冲器202存储由PID过滤器201提取的第一扩展音频流的TS分组。音频解码器203获得基本缓冲器154和第一扩展缓冲器202中存储的TS分组和解码该TS分组。
在图14的例子中，音频流处理部分122具有对应于基本音频流和第一扩展音频流的音频解码器203，并且不能够解码第二到第n扩展音频流。在这种情况下，(由过滤器控制部分152的确定)过滤器控制部分152的控制之下，PID过滤器201提取PID＝a0的TS分组和PID＝a1的TS分组。换言之，当第二到第n扩展音频流的TS分组被提供时，PID过滤器201并不选择这些分组。当具有PID＝a0的基本音频流的TS分组被提供时，PID过滤器201选择该分组并将该分组提供给后级的基本缓冲器154。当具有PID＝a1的第一扩展音频流的TS分组被提供时，PID过滤器201选择该分组并将该分组提供给后级的第一扩展缓冲器202。
基本缓冲器154存储由PID过滤器201选择和提供的基本音频流(PID＝a0)的TS分组。基本缓冲器154工作以使得在接收侧的TS分组同步和与音频解码器203同步。第一扩展缓冲器202存储由PID过滤器201选择和提供的第一扩展音频流(PID＝a1)的TS分组。第一扩展缓冲器202工作以使得在接收侧的TS分组同步和与音频解码器203同步。尽管在图14的例子中提供了一个基本缓冲器154和一个扩展缓冲器202，但也可以串接提供两个缓冲器用作为每个缓冲器，所述两个缓冲器包括用于使得在接收侧的TS分组同步的缓冲器和用于使得与音频解码器203同步的缓冲器。音频解码器203解码基本音频流的TS分组和第一扩展音频流的TS分组，并且输出所解码的基本音频流和所解码的第一扩展音频流。
如上述，能够解码基本音频流和第一扩展音频流的接收器42(图14中的音频流处理部分122)能够仅仅分离和再现基本音频流和第一扩展音频流。
下面，参考图15，说明具有能够解码基本音频流和第一及第二扩展音频流的音频解码器的音频流处理部分122。
图15是表示音频流处理部分122的结构例子的示意图，该音频流处理部分122包括能够解码基本音频流和第一及第二扩展音频流的音频解码器。在本示意图中，对应于图11和14的部分使用了相同的标号来参考，并且其说明省略，以避免重复。
图15的音频流处理部分122包括用作为图14第一扩展缓冲器202的第一扩展缓冲器202-1，另外还包括第二扩展缓冲器202-2。音频解码器232不仅能够解码基本音频流和第一扩展音频流，而且还能够解码第二扩展音频流。PID过滤器231能够提取基本音频流和第一及第二扩展音频流。
图15的音频流处理部分122包括输入部分151、过滤器控制部分152、PID过滤器231、基本缓冲器154、第一扩展缓冲器202-1、第二扩展缓冲器202-2、和音频解码器232。
过滤器控制部分152记忆其能够处理的流的类型，并且基于表确定其能够处理的流的类型。过滤器控制部分152在表中参考其能够处理的流的PID并控制PID过滤器231，使得选择具有与其能够处理的流相关的PID的TS分组。在图15的例子中，过滤器控制部分152控制PID过滤器231，使得将具有PID＝a0的TS分组提供给基本缓冲器154，将具有PID＝a1的TS分组提供给第一扩展缓冲器202-1，以及将具有PID＝a2的TS分组提供给第二扩展缓冲器202-2。在过滤器控制部分152的控制之下，PID过滤器231提取TS分组。换言之，PID过滤器231选择具有PID＝a0的TS分组和将该TS分组提供给基本缓冲器154，选择具有PID＝a1的TS分组和将该TS分组提供给第一扩展缓冲器202-1，以及选择具有PID＝a2的TS分组和将该TS分组提供给第二扩展缓冲器202-2。
第二扩展缓冲器202-2存储由PID过滤器231选择的第二扩展音频流的TS分组。音频解码器232获得基本缓冲器154和第一及第二扩展缓冲器202-1和202-2中存储的TS分组和解码该TS分组。
在图15的例子中，音频流处理部分122具有对应于基本音频流和第一及第二扩展音频流的音频解码器232，并且不能够解码第三到第n扩展音频流。在这种情况下，在过滤器控制部分152的控制之下，PID过滤器231提取(选择)PID＝a0的TS分组、PID＝a1的TS分组和PID＝a2的TS分组。换言之，当第三到第n扩展音频流的TS分组被提供时，PID过滤器231并不选择这些分组。当具有PID＝a0的基本音频流的TS分组被提供时，PID过滤器231选择该分组并将该分组提供给后级的基本缓冲器154。当具有PID＝a1的第一扩展音频流的TS分组被提供时，PID过滤器231选择该分组并将该分组提供给后级的第一扩展缓冲器202-1。当具有PID＝a2的第二扩展音频流的TS分组被提供时，PID过滤器231选择该分组并将该分组提供给后级的第二扩展缓冲器202-2。
基本缓冲器154存储由PID过滤器231选择和提供的基本音频流(PID＝a0)的TS分组。基本缓冲器154工作以使得在接收侧的TS分组同步和与音频解码器232同步。第一扩展缓冲器202-1存储由PID过滤器231选择和提供的第一扩展音频流(PID＝a1)的TS分组。第一扩展缓冲器202-1工作以使得在接收侧的TS分组同步和与音频解码器232同步。第二扩展缓冲器202-2存储由PID过滤器231选择和提供的第二扩展音频流(PID＝a2)的TS分组。第二扩展缓冲器202-2工作以使得在接收侧的TS分组同步和与音频解码器232同步。
尽管在图15的例子中提供了一个基本缓冲器154、一个扩展缓冲器202-1和一个扩展缓冲器202-2，但也可以串接提供两个缓冲器用作为每个缓冲器，所述两个缓冲器包括用于使得在接收侧的TS分组同步的缓冲器和用于使得与音频解码器232同步的缓冲器。音频解码器232解码基本音频流的TS分组和第一及第二扩展音频流的TS分组，并且输出所解码的基本音频流和所解码的第一及第二扩展音频流。
如上述，能够解码基本音频流和第一及第二扩展音频流的接收器42(图15中的音频流处理部分122)能够分离和再现基本音频流和第一及第二扩展音频流。
下面，参考图16，说明具有能够解码基本音频流和第一到第n扩展音频流的音频解码器的音频流处理部分122。
图16是表示音频流处理部分122的结构例子的示意图，该音频流处理部分122包括能够解码基本音频流和第一到第n扩展音频流的音频解码器。在本示意图中，对应于图15的部分使用了相同的标号来参考，并且其说明省略，以避免重复。
除了图15的之外，图16的音频流处理部分122包括第三到第n扩展缓冲器202-3(未示出)至202-n。音频解码器262不仅能够解码基本音频流和第一及第二扩展音频流，而且还能够解码第三到第n扩展音频流。PID过滤器261能够提取基本音频流和甚至第一到第n扩展音频流。
图16的音频流处理部分122包括输入部分151、过滤器控制部分152、PID过滤器261、基本缓冲器154、第一到第n扩展缓冲器202-1到202-n、和音频解码器262。
过滤器控制部分152记忆基本音频流和第一到第n扩展音频流是其能够处理的流的类型。基于表，过滤器控制部分152确定其能够处理的流的类型。过滤器控制部分152在表中参考其能够处理的流的PID并控制PID过滤器261，使得选择具有与其能够处理的流相关的PID的TS分组。在图16的例子中，过滤器控制部分152控制PID过滤器261，使得将具有PID＝a0的TS分组提供给基本缓冲器154，将具有PID＝a1的TS分组提供给第一扩展缓冲器202-1，将具有PID＝a2的TS分组提供给第二扩展缓冲器202-2，以及类似地，将具有PID＝aN的TS分组提供给第n扩展缓冲器202-n。在过滤器控制部分152的控制之下，PID过滤器261提取TS分组。换言之，PID过滤器261选择具有PID＝a0的TS分组和将该TS分组提供给基本缓冲器154，选择具有PID＝a1的TS分组和将该TS分组提供给第一扩展缓冲器202-1，选择具有PID＝a2的TS分组和将该TS分组提供给第二扩展缓冲器202-2，以及类似地，选择具有PID＝aN的TS分组和将该TS分组提供给第n扩展缓冲器202-n。
第三到第n扩展缓冲器202-3到202-n存储由PID过滤器261提取的第三到第n扩展音频流的对应TS分组。音频解码器262获得基本缓冲器154和第一至第n扩展缓冲器202-1和202-n中存储的TS分组和解码该TS分组。
在图16的例子中，音频流处理部分122具有对应于基本音频流和第一到第n扩展音频流的音频解码器262，也就是说，其能够解码所有的直到第n级的所接收扩展音频流。在这种情况下，在过滤器控制部分152的控制之下，PID过滤器261提取PID＝a0到aN的TS分组并将这些TS分组提供给对应的缓冲器(基本缓冲器154和第一到第n扩展缓冲器202-1到202-n)。
基本缓冲器154存储由PID过滤器261选择和提供的基本音频流(PID＝a0)的TS分组。基本缓冲器154工作以使得在接收侧的TS分组同步和与音频解码器262同步。第一扩展缓冲器202-1存储由PID过滤器261选择和提供的第一扩展音频流(PID＝a1)的TS分组。第一扩展缓冲器202-1工作以使得在接收侧的TS分组同步和与音频解码器262同步。第二扩展缓冲器202-2存储由PID过滤器261选择和提供的第二扩展音频流(PID＝a2)的TS分组。第二扩展缓冲器202-2工作以使得在接收侧的TS分组同步和与音频解码器262同步。类似地，第n扩展缓冲器202-n存储由PID过滤器261选择和提供的第n扩展音频流(PID＝aN)的TS分组。第n扩展缓冲器202-n工作以使得在接收侧的TS分组同步和与音频解码器262同步。尽管在图16的例子中提供了每一个基本缓冲器154和第一到第n扩展缓冲器202-1到202-n，但也可以串接提供两个缓冲器用作为每个缓冲器，所述两个缓冲器包括用于使得在接收侧的TS分组同步的缓冲器和用于使得与音频解码器262同步的缓冲器。音频解码器262解码基本音频流的TS分组和第一到第n扩展音频流的TS分组，并且输出所解码的基本音频流和所解码的第一到第n扩展音频流。
下面，参考图17的流程图，说明作为图12步骤S53例子的第n音频流处理过程。该处理是由图16音频流处理部分122执行的处理。具体地，该处理是除了基本音频流之外能够解码第一到第n扩展音频流的由音频流处理部分122执行的处理。
在步骤S91，输入部分151接收音频流(包括多个TS分组的音频流)的TS分组的输入。音频流的TS分组对应于包括表的TS分组、基本音频流的TS分组、以及第一到第n扩展音频流的TS分组的音频流，它们在上述图6的步骤S19中由发送器41发送。
在步骤S92，输入部分151将表的TS分组提供给过滤器控制部分152。具体地，由于音频流的TS分组包括表的TS分组、基本音频流的TS分组、以及第一到第n扩展音频流的TS分组，因此输入部分151在这些TS分组中将表的TS分组提供给过滤器控制部分152。
在步骤S93，输入部分151将添加了PID的TS分组提供给PID过滤器261。具体地，在图5中，输入部分151将添加了PID的基本音频流和第一到第n扩展音频流的TS分组提供给PID过滤器261。
在步骤S94，过滤器控制部分152参考表和确定音频解码器262能够处理的流的类型。具体地，过滤器控制部分152记忆其能够处理的流的类型是基本音频流和第一到第n扩展音频流，并且基于表确定其能够处理的流的类型。也就是说，过滤器控制部分152从表中检测基本音频流和第一到第n扩展音频流。换言之，过滤器控制部分152参考表和确定其能够处理的流的类型，以及确定与这些流相关的PID作为其能够处理的流的类型。过滤器控制部分152控制PID过滤器261，以便选择与基本流相关的具有PID＝a0的TS分组和与第一到第n扩展音频流相关的具有PID＝a1到aN的TS分组。
如上述，过滤器控制部分152控制PID过滤器261，使得将基本音频流的TS分组和第一到第n扩展音频流的TS分组分别提供给基本缓冲器154和第一到第n扩展缓冲器202-1到202-n。由于在图17的处理中音频解码器262能够解码基本音频流和第一到第n扩展音频流，因此过滤器控制部分152控制PID过滤器261，使得将具有PID＝a0，a1，a2，....，aN的TS分组提供给对应的缓冲器。
在步骤S95，基于过滤器控制部分152的确定(被确定为可处理的流的类型)，PID过滤器261选择开关和将对应的TS分组提供给后级的缓冲器。具体地，PID过滤器261使用开关来选择具有PID＝a0的TS分组即基本音频流的TS分组，并且将该TS分组提供给后级的基本缓冲器154。另外，PID过滤器261使用开关来选择具有PID＝a1到aN的TS分组即第一到第n扩展音频流的TS分组，并且将这些TS分组提供给后级的对应的第一到第n扩展缓冲器202-1到202-n。
在步骤S96，基本缓冲器154和第一到第n扩展缓冲器202-1到202-n分别存储所提供的TS分组。
在步骤S97，基本缓冲器154和第一到第n扩展缓冲器202-1到202-n用预定的时序将TS分组输出到音频解码器262。
在步骤S98，音频解码器262解码所提供的基本音频流和第一到第n扩展音频流的TS分组，并且在步骤S99，输出所解码的音频流。
如上述，所接收流包括形成基本音频流的TS分组、形成第一到第n扩展音频流的TS分组、以及表的TS分组，在所述表中写入了用于将分别识别这些TS分组的PID与基本音频流和第一到第n扩展音频流相关联的信息。由于识别音频流类型的PID被添加到形成基本音频流的TS分组和形成第一到第n扩展音频流的TS分组，因此，能够解码例如图16所示的基本音频流和第一到第n扩展音频流的音频流处理部分122(接收器42)能够执行解码。
能够解码基本音频流和第一到第m扩展音频流(m是大于或等于1和小于或等于n的自然数)的接收器42能够分离和再现基本音频流和第一到第m扩展音频流。
下面，说明包括能够解码基本音频流和第一到第n扩展音频流的音频流处理部分122的接收器42结构的另一个例子。图18是表示解码基本音频流和第一到第n扩展音频流的音频流处理部分122的结构例子的示意图。
图18的音频流处理部分122被限制于TS多路复用。具体地，必要的是，在TS中，要被同步再现的编码单位要以基本音频流和第一到第n扩展音频流的顺序被顺次编码。也就是说，在TS中，编码单位需要以BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序被顺次编码。换言之，由接收器42的接收部分121接收的TS分组以BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序被输入到输入部分151，并且输入部分151以BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序将TS分组提供给PID过滤器301。就是说，被包括在全部流中的、形成基本音频流的TS分组和形成第一到第n扩展音频流的TS分组以这种方式配置，其使得要同时被再现的TS分组以形成基本音频流和第一到第n扩展音频流的TS分组的顺序被顺次配置(在编码侧的发送器41按这个顺序输出TS分组)。
不必要的情况是出现对应于基本音频流同步单位的扩展音频流的同步单位。例如，在整个流包括基本音频流和第一扩展音频流的情况下，当所有对应于基本音频流同步单位的扩展音频流的同步单位存在时，TS分组以BS(1)，Ext1(1)，BS(2)，Ext1(2)，BS(3)，Ext1(3)，...的顺序配置。但是，例如，当对应于BS(2)的Ext1(2)不存在时，如图37所示，TS分组以BS(1)，Ext1(1)，BS(2)，Ext1(2)，BS(3)，Ext1(3)，...的顺序配置。
也就是说，音频流至少包括形成基本音频流的TS分组以及还包括对应于基本音频流同步单位的第一到第n扩展音频流的TS分组，其中，第一到第n扩展音频流的TS分组的数目是可变的。换言之，一个音频流至少包括基本音频流并且可以包括第一到第n扩展音频流。当对应于基本音频流同步单位的第一到第n扩展音频流的任何同步单位(要同时再现的预定单位)存在时，在第一到第n扩展音频流中，具有存在的同步单位的扩展流被编码。结果，基本音频流被包括在整个音频流中，然而形成扩展音频流的TS分组的数目是可变的(可以仅仅包括对应于第一扩展音频流的TS分组，或者可以包括对应于第一到第三扩展音频流的TS分组)。
在使用可变位速率的音频流编码中，对于原始音频信号的信息量小的部分(时间间隔)，当基本音频流中的信息是足够的而扩展流中的信息是不必要的时候，采用这种编码方法。其降低了不存在扩展流信息的时间间隔的位速率。
图18的音频流处理部分122包括输入部分151、过滤器控制部分152、PID过滤器301、缓冲器302、和音频解码器303。
过滤器控制部分152控制PID过滤器301以便将具有PID＝a0到aN的TS分组提供给缓冲器302。在过滤器控制部分152的控制之下，PID过滤器301提取TS分组。换言之，PID过滤器301顺序地将具有PID＝a0到aN的TS分组提供给缓冲器302。由于TS中的TS分组以BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序被顺次编码，因此，PID过滤器301将TS中的TS分组以BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序提供给缓冲器302。
缓冲器302存储以BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序被顺次提供的TS分组。音频解码器303获得缓冲器302中存储的TS分组和解码该TS分组。
在图18的例子中，音频流处理部分122具有对应于基本音频流和第一到第n扩展音频流的音频解码器303，因此能够解码所有所接收的基本音频流和第一到第n扩展音频流。在这种情况下，在过滤器控制部分152的控制之下，PID过滤器301提取PID＝a0到aN的TS分组并将这些TS分组提供给缓冲器302。
缓冲器302存储由PID过滤器301顺序选择和提供的音频流(PID＝a0到aN)的TS分组。缓冲器302工作以使得在接收侧的TS分组同步和与音频解码器303同步。尽管在图18的例子中提供了一个缓冲器302，但也可以串接提供两个缓冲器用作为缓冲器302，所述两个缓冲器包括用于使得在接收侧的TS分组同步的缓冲器和用于使得与音频解码器303同步的缓冲器。音频解码器303顺序地解码基本音频流的TS分组和第一到第n扩展音频流的TS分组，并且输出所解码的基本音频流和所解码的第一到第n扩展音频流。
根据图18，与图16相比，缓冲器的数量减少了，由此实现了低成本。尽管图16的缓冲器数量多于图18的，但其优点在于编码TS分组的顺序没有限制。
根据第一实施例，在再现包括基本音频流和多个级别的扩展音频流的多路复用音频流的情况下，提供了一种多路复用流编码和解码方法，该方法用于仅仅能够解码基本音频流的接收器42(例如，具有图11音频流处理部分122的接收器42)，该接收器42分离和仅仅再现基本音频流；以及用于能够再现直到预定第n级的扩展音频流的接收器42(例如，具有图16音频流处理部分122的接收器42)，该接收器42分离和再现基本音频流和直到第n级的扩展音频流。
也就是说，能够编码包括基本音频流和多个级别扩展音频流的流，使得按照接收侧的处理能力其是可解码的。换言之，当包括基本音频流和多个级别扩展音频流的流被发送时，在接收侧的设备能够确定其能够处理的流的类型，以及仅仅能够解码和再现其能够处理的流。
由于仅仅需要将PID添加到每个TS分组和添加表，因此该方法容易地适用于传输流。
如上述，根据本发明第一实施例，PID被用来识别形成MPEG-TS的每个分组(TS分组)，并且基于PID来识别每一个基本音频流和第一到第n扩展音频流。下面，参考图20到35，说明本发明第二实施例的情况，其中，Sub_id被用来识别形成MPEG-TS的每个分组(TS分组)，并且基于Sub_id来识别每一个基本音频流和第一到第n扩展音频流。因此，对应于第一实施例部分的本实施例部分将参考第一实施例说明(图1到19)。
第二实施例的发送/接收系统类似于上述图2的发送/接收系统40。下面，说明本实施例中形成发送/接收系统40的发送器和接收器的结构例子。
图20是表示使用第二实施例发送器的结构例子的方框图。
除了输入部分71、音频编码器72、基本缓冲器73、扩展缓冲器74-1到74-n、以及发送部分77之外，发送器310还包括提取信息添加部分311和TS打包部分312，其中n表示任意自然数(大于或等于1的整数)。在示意图中，对应于图3的部分使用了相同的附图标号来参照，其说明省略，以避免重复。就是说，输入部分71、音频编码器72、基本缓冲器73、扩展缓冲器74-1到74-n、以及发送部分77的每一个都具有与上述图3对应部分的类似功能。
提取信息添加部分311生成表(PAT和PMT)，其是用于在解码侧提取一个音频流的提取信息。音频流的例子可以是某个运动图像(内容)的日语配音或者英语配音。表中，定义了音频流的预定类型。例如，提取信息添加部分311生成图7所示的上述PAT和图21所示的PMT，并将这些表提供给TS打包部分312。
图21是说明传输流(TS)的PMT的例子。在上述图8中(第一实施例)，多个PID被写入(进入)stream_entry()。在图21的例子中，写入了表示音频流编码方法的Audio_stream_type(表示编码类型的信息)和一个PID。在本例中，TS的PAT与图7的相同。
具体地，图7中PMT-PID的值由图21中的PMT参考。图21中，写入了PID为“X”情况下的stream_entry。就是说，写入了Audio_stream_type和Audio_PID＝a0。根据图7和21，能够识别相同类型的音频流(一个音频流)。换言之，对应于一个内容的一个音频流能够使用图7和21的表(PAT和PMT)识别。
回来参考图20，TS打包部分312包括Sub_id添加部分313。在Sub_id添加部分313中，将Sub_id与TS分组类型相关联的预定条件被预先设定。根据该条件，Sub_id添加部分313将Sub_id添加到TS分组的报头。例如，设定条件使得允许Sub_id添加部分313将Sub_id＝0添加到从基本缓冲器73提供的基本音频流(BS)，将Sub_id＝1添加到从第一扩展缓冲器74-1提供的第一扩展音频流(Ext1)，将Sub_id＝2添加到从第二扩展缓冲器74-2提供的第二扩展音频流(Ext2)，以及类似地，将Sub_id＝N添加到从第n扩展缓冲器74-n提供的第n扩展音频流(ExtN)。与所述条件相同的条件被设置在接收侧(解码侧)，如下文所述。
TS打包部分312控制基本缓冲器73和扩展缓冲器74-1到74-n以获得基本音频流和第一到第n扩展音频流，并且还获得由提取信息添加部分311提供的表(图7和21)。TS打包部分312将表打包成TS分组，并且基于在Sub_id添加部分313中设置的预定条件和基于表，将基本音频流和第一到第n扩展音频流打包成TS分组(生成TS分组)。此时，TS打包部分312将PID即对一个音频流为公共的识别信息添加到每个TS分组的报头，并且TS打包部分312的Sub_id添加部分313根据预定条件将识别流类型(基本音频流和第一到第n扩展音频流)的Sub_id添加到每个TS分组的报头。TS打包部分312将所生成的TS分组提供给发送部分77。
发送部分77发送TS分组。这里，多个TS分组被顺次发送，由此导致一个流(包括多个TS分组)的发送。
在本发明第二实施例中，PID不是表示TS分组之编码类型的扩展性的信息，而是识别一个音频流的信息，并且Sub_id是表示TS分组编码类型扩展性的信息。换言之，能够基于Sub_id来识别流的类型(基本音频流和第一到第n扩展音频流)。由于Sub_id被添加到每个TS分组的报头，因此在解码侧的接收器能够选择希望级别的扩展音频流的分组。
下面，参考图22和23说明其中多路复用了基本音频流和多个级别的扩展音频流的TS(传输流)的结构。
如图22所示，TS打包部分312将相同(公共)的PID(PID＝a0)和不同的Sub_id(分组ID)添加到上述图4中的基本音频流81和第一到第n扩展音频流82-1到82-n的每一个的报头上，由此生成TS分组。一个TS分组例如存储了188字节的数据。
图22的TS流包括其中写入了PAT(与图5的PAT 90相同的信息，即图7的PAT)的表的TS分组320、其中写入了PMT(与图21的PMT相同的信息)的表的TS分组321、具有PID＝a0和Sub_id＝0的基本音频流(BS)的TS分组322、具有PID＝a0和Sub_id＝1的第一扩展音频流(Ext1)的TS分组323-1、具有PID＝a0和Sub_id＝2的第二扩展音频流(Ext2)的TS分组323-2、...，以及具有PID＝a0和Sub_id＝N的第n扩展音频流(ExtN)的TS分组323-n。每隔预定周期，发送器310就发送表的TS分组320和321。PID表示传输分组报头的PID。
图4中的基本音频流81和第一到第n扩展音频流82-1到82-n的每一个以预定数目的音频样本作为单位被编码，每个单位通过被括号括的标注表示出。具体地，基本音频流81被分成多个单位BS(1)，BS(2)，...，BS(n)和被编码。类似地，例如，第一扩展音频流82-1被分成多个单位Ext1(1)，Ext1(2)，...，Ext1(n)和被编码。关于基本音频流81和第一到第n扩展音频流82-1到82-n，具有相同标注的一组单位例如BS(1)和Ext1(1)到ExtN(1)被图20中的音频编码器72同步地编码和被在接收侧的接收器42同步地再现(解码)。
下面，参考图23，更详细地说明其中多路复用了基本音频流和多个级别的扩展音频流的图22中的TS(传输流)的结构。
首先，TS打包部分312将图23(图23的上行)的基本音频流81和第一到第n扩展音频流82-1到82-n打包成PES分组的流，如图23的中间行所示，由此生成PES分组流330。PESH表示PES分组报头。接着，TS打包部分312将形成PES分组流330的PES分组的每一个打包和多路复用成TS分组333到340，如图23底行所示。根据在Sud_id添加部分313中设置的条件和从提取信息添加部分311提供的表，TS打包部分312将PID和Sud-id添加到每个TS分组的报头，其中，“PID”表示传输分组报头的PID，“Sid”表示Sud_id。尽管TS打包部分312实际上添加了各种其它类型的信息，但这些类型的信息并不直接涉及本发明，因此其说明省略。TS打包部分312将从提取信息添加部分311提供的表打包成TS分组。就是说，在从提取信息添加部分311提供的表中，TS打包部分312将PAT打包成TS分组331和将PMT打包成TS分组332。
如图23的底行所示，一个音频帧(整个BS(1)或者整个Ext1(1))没有被包括在一个TS分组中。具体地，一个TS分组存储了预定数据长度的数据，因此一个音频帧(整个BS(1))被分成(分离成)多个TS分组。在图23的例子中，BS(1)被分成TS分组333和334。
在图23的例子中，PMT的TS分组332被表示成通过发送部分77发送，处于PAT的TS分组331之后和TS分组333之前。但是，实际上，PMT的TS分组332每隔预定周期由发送器41发送。
在图22和23所示的第二实施例中，对应于一个音频流的每个TS分组的PID即对应于包括音频流的基本音频流和第一到第n扩展音频流的所有类型的每个TS分组的PID是相同的(PID＝a0)。这将符合于本实施例中接收侧的结构(下面参考从图28开始的附图来说明该结构)。依赖于接收器的结构，对于对应于包括音频流的基本音频流和第一到第n扩展音频流的所有类型的每个TS分组，并不总是需要具有相同的PID。例如，不同的PID可以被添加到包括基本音频流和第一到第n扩展音频流的不同类型的TS分组上。
下面，说明由图20的发送器310执行的TS分组发送处理。由于该处理基本上类似于图6流程图所示的处理，因此参考图6的流程图和仅仅说明与图6的处理不同的点。由于步骤S11到步骤S16的处理与使用图6上述的处理相同，因此省略其说明。
在步骤S17，图20的提取信息添加部分311生成表和将表提供给TS打包部分312。具体地，提取信息添加部分311生成如图7所示的PMT表和如图21所示的PAT表，并将表提供给TS打包部分311。
在步骤S18，TS打包部分312执行TS分组生成处理。下面参考图24详细说明该处理。由TS打包部分312生成的TS分组被输出到发送部分77。
在步骤S19，发送部分77将TS分组(包括多个TS分组的音频流)发送到接收器42(图10)。具体地，包括PAT和PMT(表)的TS分组320和321、基本音频流的TS分组322以及第一到第n扩展音频流的TS分组323-1到323-n的流被发送到接收器42。此后，处理结束。尽管在本实施例中TS分组被发送到接收器42(图10)，但是TS分组也可以被记录在各种类型的记录媒体中，未示出。或者，可以通过将TS分组记录在记录媒体中、然后将记录媒体提供给接收器42(图10)来间接地进行TS分组向接收器42(图10)的发送。
下面，参考图24的流程图，详细说明第二实施例中在图6的步骤S18中的TS分组生成处理。
在步骤S131，TS打包部分312获得表(PAT和PMT)。这些表是在图6的步骤S17中生成的PAT和PMT，它们分别被示于图7和21。
在步骤S132，TS打包部分312将表(PAT和PMT)打包成TS分组(基于PAT和PMT生成TS分组)以及将TS分组输出到发送部分77。发送部分77反过来将表发送到接收器42。因此，其中写入了图7中PAT的TS分组320和其中写入了PMT(见图22)的TS分组321被生成且被输出到发送部分77。在该处理中，TS分组被发送一次。然而，实际上，每隔预定的时间周期，就发送其中表被写入的TS分组。因此，即使当接收器在中间开始接收流时，接收器也获得表，由此能够可靠地解码流。
在步骤S133，基于在Sub_id添加部分313设置的预定条件和基于表，TS打包部分312将PID和Sub_id从基本缓冲器73和扩展缓冲器74-1到74-n添加到每个音频流。表本身通过步骤S131的处理被打包成TS分组，然后被发送。这里，假设表是由TS打包部分312保持。基于表，TS打包部分312将PID＝a0从基本缓冲器73和扩展缓冲器74-1到74-n添加到每个音频流，以及基于在Sub_id添加部分313设置的预定条件，将对应的Sub_id从基本缓冲器73和扩展缓冲器74-1到74-n添加到每个音频流。在第二实施例中，PID是a0(相同)，Sub_id的值作为0，1，2，...，N变化。
通过该处理，PID＝a0和Sub_id＝0被添加到基本音频流(BS)，PID＝a0和Sub_id＝1被添加到第一扩展音频流(Ext1)，PID＝a0和Sub_id＝2被添加到第二扩展音频流(Ext2)，以及类似地，PID＝a0和Sub_id＝N被添加到第n扩展音频流(ExtN)。换言之，添加了每个类型流不同的识别信息。
在步骤S134，基于来自基本缓冲器73和扩展缓冲器74-1到74-n的音频流，TS打包部分312分别生成TS分组。因此，如图22所示，相同的PID和不同的Sub_id被添加到基本音频流和第一到第n扩展音频流，由此生成TS分组。更具体地，相同音频帧中的TS分组被给予相同的Sub_id(见图23中的Sid)。
在步骤S135，TS打包部分312将所生成的TS分组输出到发送部分77。此后，处理返回到图6的步骤S18。
通过图6和24的处理，能够编码第n扩展音频流的发送器310(图20)将所编码的数据分离成基本音频流和第一到第n扩展音频流。基于Sub_id添加部分313中设置的预定条件和基于表，发送器310将PID和Sub_id添加到被分离的音频流；将音频流打包成TS分组，并发送该TS分组。就是说，发送器310(图20)将包括具有用于识别流类型的Sub_id之报头的TS分组和表的TS分组的音频流发送到接收器42。
由发送器310发送的流包括形成基本音频流和第一到第n扩展音频流的TS分组、以及其中写入了PAT和PMT的TS分组。由于形成基本音频流和第一到第n扩展音频流的每一个TS分组的报头都包括用于识别一个音频流的PID和用于识别在音频流中包括的TS分组类型的Sub_id，因此接收侧能够按照其处理能力进行解码。
下面，说明由发送器310发送的TS分组的结构例子。图25说明发送图22中TS(传输流)的基本音频流和第一到第n扩展音频流的每个TS分组的结构。
在图25所示MPEG 2系统的TS分组报头的句法中，private_data_byte可以进入adaptation_field()中。private_data_byte的一个字节被用于Sub_id的目的。在图25的例子中，被写入Sub_id的部分对应于private_data_byte。
更具体地，TS分组的报头包括transport_packet中从sync_byte到Sub_id的描述(即写入了PID和Sub_id)，并且实际数据(音频流)包括有效载荷描述。在图22的例子中，其中写入了PID＝a0和Sub_id＝0的TS分组的第一块322对应于TS分组的报头，其中写入了BS的TS分组322的后块对应于TS分组的有效载荷。
在adaptation_field中，adaptation_field的数据长度被写入adaptation_field_length，标志对应于其它的信息。而且，transport_private_data_flag是表示存在private_data的标志。在图25的例子中，“1”就是表示存在private_data。private_data的数据长度被写入transport_private_data_lengs。在图25的例子中，“1”就是表示private_data(Sub_id)的数据长度是一个字节的事实。而且，Sub_id被设置为private_data。Sub_id的数据长度是一个字节，如由transport_private_data_length＝1表示的。就是说，值0，1，2，...，n根据TS分组的类型被写入Sub_id中。具体地，当TS分组对应于基本音频流时写入“0”，当TS分组对应于第一扩展音频流时写入“1”。以该方式，PID和Sub_id被写入到每个TS分组的报头。
在图23和25所示的例子中，说明包括基本音频流和多个级别扩展音频流的音频流的TS分组的结构。下面，参考图26和27，说明仅仅包括基本音频流和第一扩展音频流的音频流的TS分组。
图26是说明在多路复用了基本音频流和第一扩展音频流情况下的传输流的结构。在说明中，对应于图23的部分使用了相同的附图标号来参照。
参考图26，为了识别TS分组的类型，代替Sub_id，使用了transport_priority(被写作为图26中的tp)。首先，TS打包部分312将音频流81和第一扩展音频流82-1(图26的上行)打包成PES分组的流，如图26的中间行所示，由此生成PES分组流370。接着，TS打包部分312将形成PES分组流370的PES分组的每一个打包和多路复用成TS分组371到378，如图26底行所示。根据在Sub-id添加部分313中设置的条件和从提取信息添加部分311提供的表，TS打包部分312将PID和transport_priority添加到每个TS分组的报头。TS打包部分312实际添加了各种其它类型的信息。TS打包部分312将从提取信息添加部分311提供的表(PAT和PMT)打包成TS分组。就是说，TS打包部分312将PAT打包成TS分组331和将PMT打包成TS分组332。
图27是说明发送图26中TS(传输流)的基本音频流和第一扩展音频流的每个TS分组的结构。
在图27所示MPEG2系统的TS分组报头的句法中，transport_priority标志被用于区分传输分组的有效载荷数据是否是基本音频流或者是第一扩展音频流。在图27的例子中，transport_priority＝1表示基本音频流，transport_priority＝0表示第一扩展音频流。因此，transport_priority＝1被添加到较高优先级的流上(基本音频流)。
TS分组的报头包括transport_packet中从sync_byte到continuity_counter的描述(即写入了PID和transport_priority)，并且实际数据(音频流)包括有效载荷描述。在图26的例子中，其中写入了PID＝a0和tp＝1的TS分组371的第一块对应于TS分组的报头，其中写入了BS的TS分组371的后块对应于TS分组的有效载荷。
在音频流仅仅包括基本音频流和第一扩展音频流的情况下，TS分组可以具有图27所示的结构。与图25的TS分组的结构进行比较，报头的数据量减少了。不用说，图25的TS分组的结构可以用于音频流仅仅包括基本音频流和第一扩展音频流的情况。
在传输分组报头中定义Sub_id的方法不局限于图25和27的方法，其它的句法字段也是可应用的。
下面，说明第二实施例中在再现侧的接收器42(图10)的结构例子。在本实施例中，在再现侧的接收器42能够至少解码基本音频流(BS)。当在再现侧的接收器42能够再现直到预定的第m级的扩展音频流时(m是等于或大于1的自然数，并且m≤n)，接收器42(图10)能够解码基本音频流和第一到第m扩展音频流。关于基本音频流和扩展音频流之间的关系，例如，能够解码的扩展音频流的值n越大，则音频再现的质量越好，功能性越高。
首先，参考图28，说明在第二实施例中具有能够解码基本音频流和第一到第n扩展音频流的音频流处理部分122的接收器42(图10)的结构例子。在图28的例子中，如图18和19的情况，说明TS多路复用方法被限制情况下执行流处理过程的音频流处理部分122。就是说，图28表示被应用在下述情况下的音频流处理部分122的例子，即，在TS中，要被同步再现的编码单位以基本音频流和第一到第n扩展音频流的顺序被顺次编码。换言之，被包括在全部流中的、形成基本音频流的TS分组和形成第一到第n扩展音频流的TS分组以这种方式配置，使得要同时被再现的TS分组以形成基本音频流和第一到第n扩展音频流的TS分组的顺序被顺次配置(在编码侧的发送器41按这个顺序输出TS分组)。
图28的音频流处理部分122包括输入部分401、PID过滤器控制部分402、PID过滤器403、Sub_id过滤器控制部分404、Sub_id过滤器405、缓冲器406、和音频解码器407。
输入部分401接收由接收部分121(图10)提供的音频流的TS分组(其中要被同步再现的编码单位以基本音频流和第一到第n扩展音频流的顺序被顺次输入的TS分组)的输入。在音频流的TS分组中，输入部分401将表(使用图7和21上述的PAT和PMT表)的TS分组提供给PID过滤器控制部分402，以及将剩余的TS分组(例如，被添加了图23中的PID和Sub_id的基本音频流和第一到第n扩展音频流的TS分组)提供给PID过滤器403。输入部分401将基本音频流和具有PID和Sub_id的第一到第n扩展音频流的每一个TS分组(除PAT和PMT之外的TS分组)的报头提供给Sub_id过滤器控制部分404。例如，当输入到输入部分401的音频流的TS分组具有图25所示的结构时，图25中从sync_byte到Sub_id的报头被提供给Sub_id过滤器控制部分404。当输入到输入部分401的音频流的TS分组具有图27所示的结构时，从sync_byte到continuity_counter的报头被提供给Sub_id过滤器控制部分404。
PID过滤器控制部分402基于所获得的表来控制PID过滤器403的操作(图7和21)。例如，基于图7和21中的PAT和PMT，PID过滤器控制部分402控制PID过滤器403的操作，使得具有被写入其报头中的Audio_PID＝a0的TS分组提供给Sub_id过滤器控制部分404(切换PID过滤器403的开关)。
在PID过滤器控制部分402的控制之下，PID过滤器403选择(提取)TS分组。例如，在PID过滤器控制部分402的控制之下，PID过滤器403将具有被写入其报头中的PID＝a0的TS分组提供给后级的Sub_id过滤器405。
基于在由输入部分401提供的每个TS分组的报头中写入的Sub_id信息(值)和基于在Sub_id过滤器控制部分404中预先设置的预定条件，Sub_id过滤器控制部分404控制Sub_id过滤器405的操作。与在上述发送器310(图20)的Sub_id添加部分313中设置的条件相同的条件被设置在Sub_id过滤器控制部分404中。因此，基于该预先设定的条件和由输入部分401提供的每个TS分组的Sub_id值，Sub_id过滤器控制部分404确定音频解码器407能够处理的流的类型和控制Sub_id过滤器405的操作(切换Sub_id过滤器405的开关)。在图28的例子中，Sub_id过滤器控制部分404确定音频解码器407能够处理的流的类型是基本音频流和第一到第n扩展音频流，并且控制Sub_id过滤器405使得将具有Sub_id＝0到N的TS分组提供给缓冲器406。
在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405选择(提取)TS分组。具体地，在Sub_id过滤器控制部分404的控制下，Sub_id过滤器405选择对应于报头中写入的Sub_id值的开关。例如，Sub_id过滤器控制部分404的控制下，Sub_id过滤器405顺序地将在其报头中写入的具有Sub_id＝0，1，2，...，N的TS分组提供给后级的缓冲器406。如图22和23所示，TS分组以在TS中的BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序被顺次编码。因此，如图29所示，Sub_id过滤器405以TS中BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序将TS分组的有效载荷数据提供给缓冲器406。
缓冲器406存储(缓冲)由Sub_id过滤器405提供的TS分组。缓冲器406是音频缓冲器，其操作使得与音频解码器407同步。具体地，缓冲器406存储以BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序被顺次提供的TS分组(数据)。而且，缓冲器406以预定的时序将缓冲的TS分组输出到音频解码器407(即，音频解码器407以预定的时序获得在缓冲器406中存储的TS分组)。音频解码器407解码由缓冲器406提供的TS分组。音频解码器407将被解码的音频流提供给后级的输出部分123(图10)。
根据第二实施例中的图28，PID值不具有依赖于流类型(基本音频流和第一到第n扩展音频流)的不同值，而Sub_id值具有依赖于流类型的不同值。因此，包括基本和扩展音频流之组合的音频流能够被看作一个整体，并且该整体被给予一个PID值而能够进行管理。当应用于将基本音频流和多个级别的扩展音频流管理作为一个流的应用时，这是特别有利的。
由具有图28音频流处理部分122的接收器42(图10)执行的TS分组接收处理基本上类似于图12，但是，在图12的步骤S53中，音频流处理过程的细节不同。使用图30和31的流程图，说明作为图12步骤S53处理的例子的第n扩展音频流处理过程。该处理是由图28的音频流处理部分122执行的处理。即，该处理是由能够解码基本音频流和第一到第n扩展音频流的音频流处理部分122执行的处理。
在步骤S171，输入部分401接收音频流(包括多个TS分组的音频流)的TS分组的输入。音频流的TS分组对应于包括表的TS分组(图7和21)、以及基本音频流和第一到第n扩展音频流的TS分组的一个音频流，它们在上述图6的步骤S19中由发送器41发送。
在步骤S172，输入部分401将表的TS分组(图7和21)提供给PID过滤器控制部分402。具体地，由于音频流的TS分组包括表(PAT和PMT)的TS分组、基本音频流的TS分组、以及第一到第n扩展音频流的TS分组(见图22和23)，因此输入部分401在这些TS分组中将表的TS分组(图7和21)提供给PID过滤器控制部分402。
在步骤S173，输入部分401将具有PID的TS分组提供给PID过滤器403。具体地，参考图22和23，具有PID的基本音频流和第一到第n扩展音频流的TS分组被提供给PID过滤器403。
在步骤S174，PID过滤器控制部分402参考表(图7和21)和确定音频解码器407能够处理的流的类型。就是说，PID过滤器控制部分402参考表以检测其能够处理的一个流(本例中为具有PID＝a0的一个音频流)，并且确定被添加到该流的PID为其能够处理的流类型。PID过滤器控制部分402控制PID过滤器403，以便选择具有PID＝a0的被确定为可处理的TS分组(与音频流相关的TS分组)。
通过步骤S174的处理，PID过滤器控制部分402控制PID过滤器403，使得将形成具有相同PID(添加PID＝a0)的一个音频流的基本音频流的TS分组和第一到第n扩展音频流的TS分组提供给Sub_id过滤器405。
在步骤S175，在PID过滤器控制部分402的控制之下，PID过滤器403选择开关以将对应的TS分组提供给在后级的Sub_id过滤器405。具体地，PID过滤器403切换开关以选择具有PID＝a0的TS分组即一个音频流，并且将该TS分组提供给在后级的Sub_id过滤器405。
在步骤S176，基于在步骤S173处理中由输入部分401提供的TS分组的报头信息和基于在Sub_id过滤器控制部分404中预先设置的预定条件，Sub_id过滤器控制部分404确定音频解码器407能够处理的流的类型和控制Sub_id过滤器405。例如，Sub_id过滤器控制部分404确定音频解码器407能够处理的流类型是基本音频流和第一到第n扩展音频流。预定条件，诸如Sub_id＝0对应于基本音频流、Sub_id＝1对应于第一扩展音频流、以及类似地Sub_id＝N对应于第n扩展音频流的事实被预先设置在Sub_id过滤器控制部分404中。基于该条件，Sub_id过滤器控制部分404控制Sub_id过滤器405的操作，使得将被确定为可管理的流类型提供给在后级的缓冲器406。在Sub_id过滤器控制部分404中设置的条件与在上述发送器310(图20)的Sub_id添加部分313中设置的条件相同(该条件表示例如Sub_id＝0对应于基本音频流)。基于Sub_id，能够精确地识别流的类型。
在步骤S177，在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405选择开关以将对应的TS分组提供给在后级的缓冲器406。例如，在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405切换开关以将在报头中具有Sub_id＝0的TS分组通过Sub_id过滤器405的Sub_id＝0的线提供给缓冲器406。在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405切换开关以将在报头中具有Sub_id＝1的TS分组通过Sub_id过滤器405的Sub_id＝1的线提供给缓冲器406。因此，数据以图29所示的TS分组的顺序被提供给缓冲器406。
在步骤S178，缓冲器406存储(缓冲)由Sub_id过滤器405提供的TS分组。因此以图29的BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序顺次提供的TS分组存储在缓冲器406中。
在步骤S179，缓冲器406以预定的时序将TS分组输出到音频解码器407。例如，缓冲器406顺序地将以图29所示的BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序被顺次缓冲的TS分组用预定的时序输出到音频解码器407。
在步骤S180，音频解码器407顺序地解码由缓冲器406提供的TS分组(以BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序提供的TS分组)。在步骤S181，音频解码器407顺序地输出被解码的音频流。
通过图30和31的处理，要被接收的流包括形成基本音频流的TS分组、形成第一到第n扩展音频流的TS分组、以及用于分配PID的表(图7和21的PAT和PMT)。识别一个音频流的PID和识别音频流类型的Sub_id被添加到每一个形成基本音频流的TS分组和第一到第n扩展音频流的TS分组上。因此，图28所示的能够解码基本音频流和第一到第n扩展音频流的音频流处理部分122(接收器42)能够容易地进行解码。
参考图28到31，已经说明了具有能够解码图22和23中TS的音频流处理部分122的接收器42(图10)。作为另一个例子，使用图32，说明在能够解码图22和23中TS的音频流处理部分122的音频解码器407能够仅仅解码基本音频流情况下的结构例子。图32中，对应于图28的部分使用了相同的附图标号，其说明省略，以避免重复。
基于在由输入部分401提供的每个TS分组的报头中写入的Sub_id信息(值)和基于在Sub_id过滤器控制部分404中预先设置的预定条件，Sub_id过滤器控制部分404控制Sub_id过滤器405的操作。在图32的例子中，Sub_id过滤器控制部分404确定音频解码器407能够处理的音频流的类型是基本音频流，并且基于预定条件，确认基本音频流对应于Sub_id＝0。Sub_id过滤器控制部分404控制Sub_id过滤器405，使得将具有Sub_id＝0的TS分组提供给缓冲器406。
在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405选择(提取)TS分组。在图32的例子中，在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405选择对应于报头中写入的Sub_id＝0值的开关并且将基本音频流提供给缓冲器406。
在图32的例子中，音频流处理部分122仅仅具有对应于基本音频流的音频解码器407，并且不能够解码第一到第n级扩展音频流。在这种情况下，Sub_id过滤器控制部分404记忆其能够处理的流类型是基本音频流。基于预先设定的预定条件(例如表示Sub_id＝0对应于基本音频流、以及Sub_id＝1对应于第一扩展音频流的条件)，Sub_id过滤器控制部分404参考对应于基本音频流的Sub_id。在这种情况下，Sub_id过滤器控制部分404确定Sub_id＝0对应于其能够处理的流类型，并且控制Sub_id过滤器405使得选择具有可解码流的Sub_id的TS分组。例如，Sub_id过滤器控制部分404将可解码流的ID或者允许通过的Sub_id号码(Sub_id＝0)通知给Sub_id过滤器405。基于由Sub_id过滤器控制部分404报告的这个Sub_id即Sub_id＝0，Sub_id过滤器405选择具有Sub_id＝0的TS分组并将该TS分组提供给缓冲器406。当第一到第n扩展音频流的TS分组被提供时，Sub_id过滤器405不选择这些分组。就是说，仅仅当具有Sub_id＝0的基本音频流的TS分组被提供时，Sub_id过滤器405选择基本音频流的TS分组和将该TS分组提供给后级的缓冲器406。因此，如图33所示，Sub_id过滤器405选择基本音频流的TS分组和将该TS分组提供给后级的缓冲器406。
由于由具有图32音频流处理部分122的接收器42(图10)执行的TS分组接收处理类似于图12、30和31，因此其说明省略。图32中的Sub_id过滤器控制部分404控制Sub_id过滤器405使得将具有Sub_id＝0的TS分组提供给后级的缓冲器406，并且在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405切换开关。结果，如图33所示，Sub_id过滤器405仅仅将基本音频流的TS分组提供给缓冲器406。音频解码器407解码由缓冲器406以预定时序提供的基本音频流的TS分组。
由于表示一个音频流的PID和表示流类型的Sub_id被添加到每个TS分组的报头，因此即使能够仅仅解码基本音频流的音频流处理部分122(接收器42)，诸如图32所示的，也能够仅仅选择和解码对应于基本音频流的TS分组。就是说，当被扩展成多个级别的音频流被发送时，即使具有图32音频流处理部分122的接收器42也能够仅仅提取和再现基本音频流。由于Sub_id没有被添加到TS分组的有效载荷而是添加到报头上，因此接收器42基于报头能够确定TS分组是否是可处理的，而不用看TS分组的有效载荷。结果，能够快速完成处理。
在上述第二实施例中，已经说明了具有能够解码图22和23中TS的音频流处理部分122的接收器42(图10)的例子。作为另一个例子，使用图34，说明在能够解码图22和23中TS的音频流处理部分122的音频解码器407能够仅仅解码基本音频流和第一扩展音频流情况下的结构例子。
基于在由输入部分401提供的每个TS分组的报头中写入的Sub_id信息(值)和基于在Sub_id过滤器控制部分404中预先设置的预定条件，Sub_id过滤器控制部分404控制Sub_id过滤器405的操作。在图34的例子中，Sub_id过滤器控制部分404确定音频解码器407能够处理的流的类型是基本音频流和第一扩展音频流，并且基于预定条件，确认基本音频流和第一扩展音频流对应于Sub_id＝0和1。Sub_id过滤器控制部分404控制Sub_id过滤器405，使得将具有Sub_id＝0和1的TS分组提供给缓冲器406。
在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405选择(提取)TS分组。在图34的例子中，在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405选择对应于报头中写入的Sub_id＝0和1的值的开关并且将基本音频流和第一扩展音频流提供给缓冲器406。
在图34的例子中，音频流处理部分122仅仅具有对应于基本音频流和第一扩展音频流的音频解码器407，并且能够解码第二到第n扩展音频流。在这种情况下，Sub_id过滤器控制部分404记忆其能够处理的流类型是基本音频流和第一扩展音频流。基于预先设定的预定条件(例如表示Sub_id＝0对应于基本音频流、以及Sub_id＝1对应于第一扩展音频流的条件)，Sub_id过滤器控制部分404参考对应于基本音频流和第一扩展音频流的Sub_id。在这种情况下，Sub_id过滤器控制部分404确定Sub_id＝0和1对应于其能够处理的流类型，并且控制Sub_id过滤器405使得选择具有可解码流的Sub_id的TS分组。例如，Sub_id过滤器控制部分404将可解码流的ID或者允许通过的Sub_id号码(Sub_id＝0和1)通知给Sub_id过滤器405。基于由Sub_id过滤器控制部分404报告的该Sub_id即Sub_id＝0和1，Sub_id过滤器405选择具有Sub_id＝0和1的TS分组并将该TS分组提供给缓冲器406。当第二到第n扩展音频流的TS分组被提供时，Sub_id过滤器405不选择这些分组。就是说，仅仅当具有Sub_id＝0和1的基本音频流和第一扩展音频流的TS分组被提供时，Sub_id过滤器405选择基本音频流和第一扩展音频流的TS分组，并且将该TS分组提供给后级的缓冲器406。因此，如图35所示，Sub_id过滤器405选择基本音频流和第一扩展音频流的TS分组和将该TS分组提供给后级的缓冲器406。
由于由具有图34音频流处理部分122的接收器42(图10)执行的TS分组接收处理类似于图12、30和31，因此其说明省略。图34中的Sub_id过滤器控制部分404控制Sub_id过滤器405使得将具有Sub_id＝0和1的TS分组提供给后级的缓冲器406，并且在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405切换开关。结果，如图35所示，Sub_id过滤器405仅仅将基本音频流和第一扩展音频流的TS分组提供给缓冲器406。音频解码器407解码由缓冲器406以预定时序提供的基本音频流和第一扩展音频流的TS分组。
如上述，能够解码基本音频流和第一扩展音频流的接收器42(图34中的音频流处理部分122)能够仅仅分离和再现基本音频流和第一扩展音频流。
当TS是其中要被同步再现的编码单位以基本音频流和第一到第n扩展音频流的顺序被顺次编码和提供的音频流时，能够应用图28、32和34所示的结构。与第一实施例中的图16等比较，能够减少缓冲器的数量。同时音频流处理部分也能够以低成本实现。
在第二实施例之接收器42的音频流处理部分122(图28、32和34)的例子中，如同图18的情况，已经说明了其中当TS多路复用被限制时进行流处理过程的情况。但是，如第一实施例的图11、14、15和16所示，对不同类型的流可以提供不同的缓冲器。在这种情况下，尽管缓冲器的数量增加了，但TS多路复用变成没有限制，由此提高了接收器42的自由度。
在图28、32和34例子的音频流处理部分122中，输入部分401将每个TS分组的报头提供给Sub_id过滤器控制部分404。但是，或者，PID过滤器403的输出(具有PID＝a0的TS分组)也可以被提供给Sub_id过滤器控制部分404。在这种情况下，基于不是由输入部分401而是由PID过滤器403提供的每一个TS分组的报头，Sub_id过滤器控制部分404控制Sub_id过滤器405。
根据第二实施例，在包括基本音频流和多个级别扩展音频流的多路复用音频流被再现的情况下，提供了一种多路复用流编码和解码方法，该方法用于能够仅仅解码基本音频流的接收器42(例如，具有图32音频流处理部分122的接收器42)，该接收器42仅仅分离和再现基本音频流；以及该方法用于能够再现直到预定第n级的扩展音频流的接收器42(例如，具有图28音频流处理部分122的接收器42)，该接收器42分离和再现基本音频流和直到第n级的扩展音频流。
也就是说，根据在发送侧的发送器41(例如，图20的发送器41)，能够编码包括基本音频流和多个级别扩展音频流的流，使得按照接收侧的处理能力其是可解码的。换言之，当包括基本音频流和多个级别扩展流的流被发送时，在接收侧的设备(例如图28、32和34)能够确定其能够处理的流的类型，以及仅仅能够解码和再现其能够处理的流。
由于仅仅需要将PID和Sub_id添加到每个TS分组的报头，因此该方法容易适用于传输流。
由于仅仅一个字节的流需要被包括在具有188字节的一个TS分组中，其是相对小量的数据，也就是说，基本音频流和扩展音频流不需要被包括在一个TS分组中，因此，能够进行具有高编码效率的编码。
因为流结构不是由格式限定，因此即使当扩展被添加到音频流时，就是说，即使当n增大时，也能够进行据此的编码和解码。就是说，即使能够仅仅解码基本音频流的设备，也能够解码被添加了扩展的音频流。
本发明不局限于具有编码器的发送器41，而是能够应用于进行编码的所有信息处理设备。同时，本发明不局限于具有解码器的接收器42，而是能够应用于进行解码的所有信息处理设备。
在上述例子中，已经说明了其中本发明被应用于音频流的编码和解码的情况。但是，本发明不局限于此，而是能够应用于视频流的编码和解码。换言之，本发明能够应用于诸如音频流或者视频流的流。
上述连续处理能够由硬件执行或者能够由软件执行。在这种情况下，上述处理由图36所示的个人计算机500来执行。
在图36中，根据ROM 502中存储的程序或者从存储部分508装载到RAM
503的程序，CPU 501执行各种类型的处理。RAM 503存储CPU 501所要求的数据以执行各种类型的处理。
CPU 501、ROM 502和RAM 503通过内部总线504相互连接。内部总线504还连接到输入/输出接口505。
输入/输出接口505连接到包括键盘和鼠标的输入部分506、包括由CRT、LCD等形成的显示器及扬声器的输出部分507、包括硬盘的存储部分508、以及包括调制解调器和终端适配器的通信部分509。通信部分509通过包括电话线和CATV的各种类型的网络来进行通信处理。
输入/输出接口505连接到驱动器510，如果需要，诸如磁盘、光盘、磁光盘或者半导体存储器的可移去媒体521被装载到驱动器510。如果需要，从中读出的计算机程序被安装在存储部分508中。
当连续处理由软件执行时，形成软件的程序从网络或者记录媒体中安装。
如图36所示，记录媒体包括封装媒体(package medium)和硬盘，所述封装媒体包括分配用于给用户提供程序的程序记录可移去媒体521，所述硬盘包括以内置于设备中的形式提供给用户的程序记录ROM 502和程序记录存储部分508。
在本说明书中，不用说，构成计算机程序的步骤包括以时间序列方式以给定顺序进行的处理步骤，以及包括并行或者分离执行的处理步骤，即使它们不总是以时间序列方式执行。
另外，在本说明书中，系统意味着包括多个装置的设备整体。
图2是表示使用本发明的发送/接收系统整个构成的例子的示意图。
该发送/接收系统40包括发送器41和接收器42。发送器41是用于发送包括多个TS分组的流的设备，例如是广播台。接收器42是用于接收该流的家用设备，例如是家用置顶盒。
在本实施例中，发送器41编码音频流以产生TS分组和发送该TS分组，接收器42接收该TS分组并解码该TS分组以获得该音频流。
图3是表示图2发送器41的结构例子的方框图。
发送器41包括输入部分71、音频编码器72、基本缓冲器73、扩展缓冲器74-1到74-n、提取信息添加部分75、TS打包部分76、以及发送部分77，其
中n是等于或大于1的任意自然数。
要被发送的音频流被输入到输入部分71。音频编码器72编码音频流。图3中的音频编码器72是对应于第n个扩展音频流的编码器。就是说，音频编码器72能够将音频流编码成基本流和从第一级到第n级的多级扩展音频流。
在本实施例中，级别值n越大，扩展性越高，导致音频再现质量越好，功能性越高。音频编码器72将音频流编码成基本流和第一到第n的扩展流，并将编码的流提供给对应级的扩展缓冲器74-1到74-n。例如，音频编码器72将编码的基本音频流(BS)提供给基本缓冲器73，将编码的第一扩展音频流(Ext1)提供给扩展缓冲器74-1，将编码的第二扩展音频流(Ext2)提供给扩展缓冲器74-2，以及类似地将编码的第n扩展音频流(ExtN)提供给扩展缓冲器74-n。这里，扩展音频流的级别对应于缓冲器的标号。而且，基本音频流被表示为BS，第一到第n扩展音频流分别被表示为Ext1到ExtN。
在本实施例的编码器72将音频流分离成基本音频流和第一到第n扩展音频流之后，可以编码这些流。另外，作为编码音频流的结果，基本音频流和第一到第n扩展音频流可以被输出。
基本缓冲器73存储(缓冲)基本音频流，扩展缓冲器74-1到74-n分别存储(缓冲)第一到第n扩展音频流。在TS打包部分76的控制之下，基本缓冲器73和扩展缓冲器74-1到74-n读出其中存储的音频流。
提取信息添加部分75生成作为提取信息的表，以便在解码侧从基本音频流和第一到第n扩展音频流中提取出希望级别的扩展音频流。表中写入了用于将分别识别基本音频流和第一到第n扩展音频流的ID(第一实施例中为PID(分组识别))与基本音频流和第一到第n扩展音频流相关联的信息。具体地，表包括PAT(程序相关表)和PMT(程序映射表)。表的细节下面参考图7和8说明。提取信息添加部分75将表提供给TS打包部分76。
TS打包部分76控制基本缓冲器73和扩展缓冲器74-1到74-n以获得基本音频流和第一到第n扩展音频流，并且还获得由提取信息添加部分75提供的表。而且，TS打包部分76将表打包成TS分组，并且基于表，将基本音频流和第一到第n扩展音频流打包成TS分组(生成TS分组)。此时，TS打包部分76基于表来添加用于识别流类型(基本音频流和第一到第n扩展音频流)的PID。TS打包部分76将所生成的TS分组提供给发送部分77。发送部分77发送TS分组。这里，多个TS分组被顺次发送，由此导致一个流(由多个TS分组构成)的发送。
在第一实施例中，PID识别构成MPEG TS的每个分组(TS分组(传输流分组))，并且具有唯一值的PID被添加到每个分组。换言之，为了接收侧的接收器42选择希望级别的扩展音频流的分组，被添加到该分组的PID是必需的。
下面，参考图4和5说明其中多路复用了基本音频流和多个级别的扩展音频流的TS(传输流)的结构。
在图4的例子中，TS包括基本音频流81和第一到第n扩展音频流82-1到82-n。基本音频流81和第一到第n扩展音频流82-1到82-n的每一个以预定数目的音频样本作为单位被编码，每个单位通过被括号括的标注表示出。具体地，例如，基本音频流81被分成多个单位BS(1)，BS(2)，...，BS(n)和被编码。具有相同标注的一组单位例如BS(1)，Ext1(1)，Ext2(1)，...，ExtN(1)被音频编码器72同步地编码和被同步地再现(解码)。
TS打包部分76将基本音频流81和第一到第n扩展音频流82-1到82-n多路复用成具有不同PID(分组ID)的TS分组，如图5所示。一个TS分组例如存储了188字节的数据。
图5的TS流包括其中写入了PAT(程序相关表)的TS分组90、其中写入了PMT(程序映射表)的TS分组91、PID＝a0的基本音频流(BS)的TS分组92、PID＝a1的第一扩展音频流(Ext1)的TS分组93-1、PID＝a2的第二扩展音频流(Ext2)的TS分组93-2、...、以及PID＝aN的第n扩展音频流(ExtN)的TS分组93-n。每隔预定周期，发送器41就发送表的TS分组91。
在本实施例中，接收侧的接收器42能够至少解码基本音频流(BS)。当接收侧的接收器42能够再现直到预定的第m级的扩展音频流时(m是等于或大于1的自然数，并且m≤n)，则接收器42能够解码基本音频流和第一到第m扩展音频流。关于基本音频流和扩展音频流之间的关系，例如，能够解码的扩展音频流的值n越大，则音频再现的质量越好，功能性越高。
下面，参考图6的流程图，说明由图3的发送器41执行的TS分组发送处理。该处理在发送器41电源开启将音频流输入到输入部分71时开始。
在步骤S11，输入部分71接收输入视频流。在步骤S12，输入部分71将所接收的音频流输出到音频编码器72。
在步骤S13，音频编码器72编码基本音频流和第一到第n扩展音频流。结果，音频编码器72如图4所示以(垂直)同步的形式输出基本音频流和第一到第n扩展音频流。
在步骤S14，音频编码器72对于每个级别(流的类型)分开地输出被编码的音频流。具体地，音频编码器72将被编码的基本音频流输出到基本缓冲器73，将被编码的第一扩展音频流输出到扩展缓冲器74-1，将被编码的第二扩展音频流输出到扩展缓冲器74-2，以及将被编码的第n扩展音频流输出到扩展缓冲器74-n。
在步骤S15，基本缓冲器73和第一到第n扩展缓冲器74-1到74-n分别存储(缓冲)被编码的音频流。
在步骤S16，基本缓冲器73和第一到第n扩展缓冲器74-1到74-n以预定时序分别输出被编码的音频流。实际上，TS打包部分76控制缓冲器(基本缓冲器73和第一到第n扩展缓冲器74-1到74-n)以便从中读出对应的音频流。
在步骤S17，提取信息添加部分75生成表和将表提供给TS打包部分76。具体地，提取信息添加部分75生成如图7和8所示的表和将表提供给TS打包部分76。
图7表示PAT(程序相关表)。具体地，在该PAT中，写入了对应于每个程序号码的PMT-PID。在图7的例子中，程序号码1的PMT-PID是“X”，程序号码2的PMT-PID是“Y”。PMT-PID的值由图8所示的PMT(程序映射表)引用。图8中，写入了PID是“X”情况下的stream_entry。具体地，PMT包括BASE_PID＝a0，Ext1_PID＝a1，Ext2_PID＝a2，...，ExtN_PID＝aN。显然，根据图7和8，基本音频流(BS)的PID是“a0”，第一扩展音频流Ext1的PID是
“a1”，第二扩展音频流Ext2的PID是“a2”，以及类似地，第n扩展音频流ExtN的PID是“aN”。因此，如图5所示，对应于编码级别的PID是可以识别的。
在本实施例中，PAT和PMT以不同的TS分组传输。换言之，如图5所示，传输其中写入了PAT的表的TS分组90和其中写入了PMT的表的TS分组91。
回来参考图6，在步骤S18，TS打包部分76执行TS分组生成处理。下面参考图9说明处理的细节。由TS打包部分76生成的TS分组被输出到发送部分77。
在步骤S19，发送部分77将TS分组(包括多个TS分组的音频流)发送到接收器42。具体地，发送包括表的TS分组90和91、基本音频流的TS分组92以及第一到第n扩展音频流的TS分组93-1到93-n的流。此后，处理完成。尽管在本实施例中TS分组被发送到接收器42，但是TS分组也可以被记录在各种类型的记录媒体中(未示出)。或者，可以通过将TS分组记录在记录媒体中，然后将记录媒体提供给接收器42来间接地执行TS分组向接收器42的发送。
下面，参考图9的流程图，说明在图6步骤S18中的TS分组生成处理的细节。
在步骤S31，TS打包部分76获得表。这些表是诸如图7和8所示的那些表，它们在图6的步骤S17中生成。就是说，这些表包括其中写入了分别识别基本音频流和第一到第n扩展音频流的PID以及分别识别基本音频流和第一到第n扩展音频流的信息的信息。
在步骤S32，TS打包部分76将表打包成TS分组(基于表生成TS分组)以及将TS分组输出到发送部分77(以及发送部分77反过来将TS分组发送到接收器42)。因此，其中写入了图5中PAT的TS分组90和其中写入了PMT的TS分组91被生成且被输出到发送部分77。在该处理中，TS分组被仅仅发送一次。然而，实际上，每隔预定的时间周期，就发送其中表被写入的TS分组。因此，即使当接收器42在中间开始接收流时，接收器42也能够获得表，由此可靠地解码流。
在步骤S33，基于表，TS打包部分76将PID从基本缓冲器73和第一到第n扩展缓冲器74-1到74-n中添加到对应的音频流。尽管表通过步骤S31的处理被打包成TS分组以及然后被发送，但这里假设表是由TS打包部分76保持。因此，PID＝a0被添加到基本音频流(BS)，PID＝a1被添加到第一扩展音频流(Ext1)，PID＝a2被添加到第二扩展音频流(Ext2)，以及类似地，PID＝aN被添加到第n扩展音频流(ExtN)。
在步骤S34，基于来自基本缓冲器73和第一到第n扩展缓冲器74-1到74-n的音频流，TS打包部分76分别生成TS分组。如图5所示，基本音频流和第一到第n扩展音频流被生成为具有各自不同PID(分组ID)的TS分组。换言之，用于确定流类型的PID被添加到TS分组。
在步骤S35，TS打包部分76将所生成的TS分组输出到发送部分77。此后，处理返回到图6的步骤S18。
通过图6和9的处理，能够编码第n扩展音频流的发送器41将所编码的数据分离成基本音频流和第一到第n扩展音频流；基于表将PID添加到音频流；将所分离的音频流打包成TS分组并发送该TS分组；以及将表打包成TS分组和发送该TS分组。换言之，包括具有用于识别流类型的PID的多个TS分组和表的TS分组的音频流被发送到接收器42。
由发送器41发送的流包括形成基本音频流的TS分组、形成第一到第n扩展音频流的TS分组、以及表的TS分组，在所述表中写入了用于将分别识别这些TS分组的PID与基本音频流和第一到第n扩展音频流相关联的信息。由于识别音频流类型的PID被添加到形成基本音频流的TS分组和形成第一到第n扩展音频流的TS分组，因此接收侧能够按照其处理能力执行解码。下面说明接收侧的接收器42。
图10是表示图2接收器42结构例子的方框图。
接收器42包括接收部分121、音频流处理部分122和输出部分123。接收部分121接收TS分组，音频流处理部分122执行涉及音频流的处理。具体地，音频流处理部分122通过例如解码所接收TS分组来提取音频流。输出部分123输出由音频流处理部分122处理的音频流。
音频流处理部分122根据其解码能力提取不同的音频流。下面说明音频流处理部分122。
图11是表示音频流处理部分122的结构例子的示意图，该音频流处理部分122包括能够仅仅解码基本音频流的音频解码器。
图11的音频流处理部分122包括输入部分151、过滤器控制部分152、PID过滤器153、基本缓冲器154和音频解码器155。
输入部分151接收由图10的接收部分121提供的音频流的TS分组的输入。在音频流的TS分组中，输入部分151将表的TS分组(图7和8中说明的表)提供给过滤器控制部分152，以及将剩余的TS分组(例如，具有图5中的PID的基本音频流的TS分组和第一到第n扩展音频流的TS分组)提供给PID过滤器153。例如，当视频流和音频流的TS分组被接收部分121接收时，输入部分151仅仅获得音频流的TS分组。
过滤器控制部分152基于所获得的表来控制PID过滤器153的操作。具体地，过滤器控制部分152记忆其能够处理的流的类型，并且过滤器控制部分152确定基于表其能够处理的流的类型。过滤器控制部分152在表中参考其能够处理的流的PID并控制PID过滤器153，使得选择具有与其能够处理的流相关的PID的TS分组。例如，过滤器控制部分152将与能够解码的流的类型相关的PID的值作为要被选择的PID的值通知给PID过滤器153。
在过滤器控制部分152的控制之下，PID过滤器153选择(提取)TS分组。具体地，基于由过滤器控制部分152报告的PID，PID过滤器153选择具有相同PID的TS分组并将TS分组提供给对应的缓冲器。每个缓冲器存储(缓冲)由PID过滤器153选择的TS分组。音频解码器155获得每个缓冲器中存储的TS分组和解码这些TS分组。
在图11的例子中，音频流处理部分122仅仅具有对应于基本音频流的音频解码器155，不能够解码第一到第n扩展音频流。在这种情况下，过滤器控制部分152记忆其能够处理的流类型仅仅是基本音频流，并且过滤器控制部分152在表中参考对应于基本音频流的PID。在这种情况下，音频流处理部分122确定BASE_PID是其能够处理的流的类型和在表中参考PID＝a0。过滤器控制部分152控制PID过滤器153，使得选择具有可解码流的PID的TS分组。例如，过滤器控制部分152将可解码流的ID或者要被通过的PID的值通知给PID过滤器153。基于由过滤器控制部分152报告的PID即PID＝a0，PID过滤器153选择具有PID＝a0的TS分组并将TS分组提供给基本缓冲器154。当第一到第n扩展音频流的TS分组被提供时，PID过滤器153不选择这些分组。换言之，当仅仅具有PID＝a0的基本音频流的TS分组被提供时，PID过滤器153选择TS分组和将TS分组提供给后级的基本缓冲器154。
基本缓冲器154存储由PID过滤器153选择和提供的基本音频流的TS分组。基本缓冲器154工作以使得在接收侧的TS分组同步和与音频解码器155同步。尽管在图11的例子中仅仅提供了一个基本缓冲器154，但也可以串接提供两个缓冲器用作为基本缓冲器154，所述两个缓冲器包括用于使得在接收侧的TS分组同步的缓冲器和用于使得与音频解码器155同步的缓冲器。音频解码器155解码基本音频流的TS分组和输出所解码的基本音频流。
下面，参考图12的流程图说明由图10的接收器42执行的TS分组接收处理。当接收TS分组的指令被发出给接收器42时，该处理被启动。
在步骤S51，接收器42的接收部分121接收TS分组(包括多个TS分组的流)。这些TS分组例如是在图6的步骤S19中由发送器41发送的TS分组。
在步骤S52，接收部分121提取音频流的TS分组和将TS分组提供给音频流处理部分122。例如，当由接收部分121接收的TS分组包括视频流的TS分组时，接收部分121仅仅提取音频流的TS分组和将TS分组提供给音频流处理部分122。
在步骤S53，音频流处理部分122执行音频流处理过程，用于根据音频流处理部分122的解码能力，解码音频流(包括多个TS分组的音频流)的TS分组。参考图13说明处理的细节。由音频流处理部分122处理的音频流被提供给输出部分123。
在步骤S54，输出部分123将解码的音频流输出到例如扬声器，未示出。此后，处理结束。
通过图12中的处理，接收了TS分组，并且音频流的TS分组被处理(解码)和输出。
下面，参考图13的流程图，说明作为图12步骤S53例子的基本音频流处理过程。该处理是由图11音频流处理部分122执行的处理。具体地，该处理是由能够仅仅解码基本音频流的音频流处理部分122执行的处理。
在步骤S71，输入部分151接收音频流(包括多个TS分组的音频流)的TS分组的输入。音频流的TS分组对应于包括表的TS分组、基本音频流的TS分组、以及第一到第n扩展音频流的TS分组的音频流，它们在上述图6的步骤S19中由发送器41发送。
在步骤S72，输入部分151将表的TS分组提供给过滤器控制部分152。具体地，由于音频流的TS分组包括表的TS分组、基本音频流的TS分组、以及第一到第n扩展音频流的TS分组，因此输入部分151在这些TS分组中将表的TS分组提供给过滤器控制部分152。
在步骤S73，输入部分151将添加了PID的TS分组提供给PID过滤器153。具体地，在图5中，输入部分151将添加了PID的基本音频流的TS分组和第一到第n扩展音频流的TS分组提供给PID过滤器153。
在步骤S74，过滤器控制部分152参考表和确定音频解码器155能够处理的流的类型。具体地，过滤器控制部分152记忆其能够处理的流的类型是基本音频流并且基于表确定其能够处理的流的类型。过滤器控制部分152在表中参考其能够处理的流的PID和控制PID过滤器153，以便选择与其能够处理的基本流相关的具有PID＝a0的TS分组。
在步骤S75，(基于上述确定)在过滤器控制部分152的控制之下，PID过滤器153选择对应的TS分组和将TS分组提供给基本缓冲器154。具体地，在过滤器控制部分152的控制之下，PID过滤器153选择具有PID＝a0的TS分组即基本音频流的TS分组和将TS分组提供给基本缓冲器154。
在步骤S76，基本缓冲器154存储所提供的TS分组。这里存储的TS分组是基本音频流的TS分组。
在步骤S77，基本缓冲器154用预定的时序将TS分组输出到音频解码器155。
在步骤S78，音频解码器155解码所提供的基本音频流的TS分组，并且在步骤S79，输出所解码的音频流。
由于PID被添加到TS分组以及TS分组(基本音频流和第一到第n扩展音频流的TS分组)的PID和类型之间的关系被写入在表中，因此即使仅仅能够解码例如图11所示的基本音频流的音频流处理部分122(接收器42)，也能够仅仅选择和解码对应于基本音频流的TS分组。也就是说，即使当被扩展到多个级别的音频流被发送时，具有图11音频流处理部分122的接收器42也仅仅能够提取基本音频流和再现基本音频流。
下面，参考图14，说明具有能够解码基本音频流和第一扩展音频流的音频解码器的音频流处理部分122。
图14是表示音频流处理部分122的结构例子的示意图，该音频流处理部分122包括能够解码基本音频流和第一扩展音频流的音频解码器。在本示意图中，对应于图11的部分使用了相同的标号来参照，并且其说明省略，以避免重复。
除了图11的音频流处理部分122之外，图14的音频流处理部分122包括第一扩展缓冲器202。音频解码器203不仅能够解码基本音频流而且还能够解码第一扩展音频流。PID过滤器153不仅能够提取基本音频流而且还能够提取第一扩展音频流。
图14的音频流处理部分122包括输入部分151、过滤器控制部分152、PID过滤器201、基本缓冲器154、第一扩展缓冲器202、和音频解码器203。
过滤器控制部分152基于表来控制PID过滤器201的操作。具体地，过滤器控制部分152记忆其能够处理的流的类型，并且基于表确定其能够处理的流的类型。过滤器控制部分152在表中参考其能够处理的流的PID并控制PID过滤器201，使得选择具有与其能够处理的流相关的PID的TS分组。在图14的例子中，过滤器控制部分152控制PID过滤器201，使得将具有PID＝a0的TS分组提供给基本缓冲器154和将具有PID＝a1的TS分组提供给第一扩展缓冲器202。在过滤器控制部分152的控制之下，PID过滤器201提取TS分组。换言之，PID过滤器201选择具有PID＝a0的TS分组和将该TS分组提供给基本缓冲器154，以及选择具有PID＝a1的TS分组和将该TS分组提供给第一扩展缓冲器202。
基本缓冲器154存储(缓冲)由PID过滤器201提取的基本音频流的TS分组，第一扩展缓冲器202存储由PID过滤器201提取的第一扩展音频流的TS分组。音频解码器203获得基本缓冲器154和第一扩展缓冲器202中存储的TS分组和解码该TS分组。
在图14的例子中，音频流处理部分122具有对应于基本音频流和第一扩展音频流的音频解码器203，并且不能够解码第二到第n扩展音频流。在这种情况下，(由过滤器控制部分152的确定)过滤器控制部分152的控制之下，PID过滤器201提取PID＝a0的TS分组和PID＝a1的TS分组。换言之，当第二到第n扩展音频流的TS分组被提供时，PID过滤器201并不选择这些分组。当具有PID＝a0的基本音频流的TS分组被提供时，PID过滤器201选择该分组并将该分组提供给后级的基本缓冲器154。当具有PID＝a1的第一扩展音频流的TS分组被提供时，PID过滤器201选择该分组并将该分组提供给后级的第一扩展缓冲器202。
基本缓冲器154存储由PID过滤器201选择和提供的基本音频流(PID＝a0)的TS分组。基本缓冲器154工作以使得在接收侧的TS分组同步和与音频解码器203同步。第一扩展缓冲器202存储由PID过滤器201选择和提供的第一扩展音频流(PID＝a1)的TS分组。第一扩展缓冲器202工作以使得在接收侧的TS分组同步和与音频解码器203同步。尽管在图14的例子中提供了一个基本缓冲器154和一个扩展缓冲器202，但也可以串接提供两个缓冲器用作为每个缓冲器，所述两个缓冲器包括用于使得在接收侧的TS分组同步的缓冲器和用于使得与音频解码器203同步的缓冲器。音频解码器203解码基本音频流的TS分组和第一扩展音频流的TS分组，并且输出所解码的基本音频流和所解码的第一扩展音频流。
如上述，能够解码基本音频流和第一扩展音频流的接收器42(图14中的音频流处理部分122)能够仅仅分离和再现基本音频流和第一扩展音频流。
下面，参考图15，说明具有能够解码基本音频流和第一及第二扩展音频流的音频解码器的音频流处理部分122。
图15是表示音频流处理部分122的结构例子的示意图，该音频流处理部分122包括能够解码基本音频流和第一及第二扩展音频流的音频解码器。在本示意图中，对应于图11和14的部分使用了相同的标号来参考，并且其说明省略，以避免重复。
图15的音频流处理部分122包括用作为图14第一扩展缓冲器202的第一扩展缓冲器202-1，另外还包括第二扩展缓冲器202-2。音频解码器232不仅能够解码基本音频流和第一扩展音频流，而且还能够解码第二扩展音频流。PID过滤器231能够提取基本音频流和第一及第二扩展音频流。
图15的音频流处理部分122包括输入部分151、过滤器控制部分152、PID过滤器231、基本缓冲器154、第一扩展缓冲器202-1、第二扩展缓冲器202-2、和音频解码器232。
过滤器控制部分152记忆其能够处理的流的类型，并且基于表确定其能够处理的流的类型。过滤器控制部分152在表中参考其能够处理的流的PID并控制PID过滤器231，使得选择具有与其能够处理的流相关的PID的TS分组。在图15的例子中，过滤器控制部分152控制PID过滤器231，使得将具有PID＝a0的TS分组提供给基本缓冲器154，将具有PID＝a1的TS分组提供给第一扩展缓冲器202-1，以及将具有PID＝a2的TS分组提供给第二扩展缓冲器202-2。在过滤器控制部分152的控制之下，PID过滤器231提取TS分组。换言之，PID过滤器231选择具有PID＝a0的TS分组和将该TS分组提供给基本缓冲器154，选择具有PID＝a1的TS分组和将该TS分组提供给第一扩展缓冲器202-1，以及选择具有PID＝a2的TS分组和将该TS分组提供给第二扩展缓冲器202-2。
第二扩展缓冲器202-2存储由PID过滤器231选择的第二扩展音频流的TS分组。音频解码器232获得基本缓冲器154和第一及第二扩展缓冲器202-1和202-2中存储的TS分组和解码该TS分组。
在图15的例子中，音频流处理部分122具有对应于基本音频流和第一及第二扩展音频流的音频解码器232，并且不能够解码第三到第n扩展音频流。在这种情况下，在过滤器控制部分152的控制之下，PID过滤器231提取(选择)PID＝a0的TS分组、PID＝a1的TS分组和PID＝a2的TS分组。换言之，当第三到第n扩展音频流的TS分组被提供时，PID过滤器231并不选择这些分组。当具有PID＝a0的基本音频流的TS分组被提供时，PID过滤器231选择该分组并将该分组提供给后级的基本缓冲器154。当具有PID＝a1的第一扩展音频流的TS分组被提供时，PID过滤器231选择该分组并将该分组提供给后级的第一扩展缓冲器202-1。当具有PID＝a2的第二扩展音频流的TS分组被提供时，PID过滤器231选择该分组并将该分组提供给后级的第二扩展缓冲器202-2。
基本缓冲器154存储由PID过滤器231选择和提供的基本音频流(PID＝a0)的TS分组。基本缓冲器154工作以使得在接收侧的TS分组同步和与音频解码器232同步。第一扩展缓冲器202-1存储由PID过滤器231选择和提供的第一扩展音频流(PID＝a1)的TS分组。第一扩展缓冲器202-1工作以使得在接收侧的TS分组同步和与音频解码器232同步。第二扩展缓冲器202-2存储由PID过滤器231选择和提供的第二扩展音频流(PID＝a2)的TS分组。第二扩展缓冲器202-2工作以使得在接收侧的TS分组同步和与音频解码器232同步。
尽管在图15的例子中提供了一个基本缓冲器154、一个扩展缓冲器202-1和一个扩展缓冲器202-2，但也可以串接提供两个缓冲器用作为每个缓冲器，所述两个缓冲器包括用于使得在接收侧的TS分组同步的缓冲器和用于使得与音频解码器232同步的缓冲器。音频解码器232解码基本音频流的TS分组和第一及第二扩展音频流的TS分组，并且输出所解码的基本音频流和所解码的第一及第二扩展音频流。
如上述，能够解码基本音频流和第一及第二扩展音频流的接收器42(图15中的音频流处理部分122)能够分离和再现基本音频流和第一及第二扩展音频流。
下面，参考图16，说明具有能够解码基本音频流和第一到第n扩展音频流的音频解码器的音频流处理部分122。
图16是表示音频流处理部分122的结构例子的示意图，该音频流处理部分122包括能够解码基本音频流和第一到第n扩展音频流的音频解码器。在本示意图中，对应于图15的部分使用了相同的标号来参考，并且其说明省略，以避免重复。
除了图15的之外，图16的音频流处理部分122包括第三到第n扩展缓冲器202-3(未示出)至202-n。音频解码器262不仅能够解码基本音频流和第一及第二扩展音频流，而且还能够解码第三到第n扩展音频流。PID过滤器261能够提取基本音频流和甚至第一到第n扩展音频流。
图16的音频流处理部分122包括输入部分151、过滤器控制部分152、PID过滤器261、基本缓冲器154、第一到第n扩展缓冲器202-1到202-n、和音频解码器262。
过滤器控制部分152记忆基本音频流和第一到第n扩展音频流是其能够处理的流的类型。基于表，过滤器控制部分152确定其能够处理的流的类型。过滤器控制部分152在表中参考其能够处理的流的PID并控制PID过滤器261，使得选择具有与其能够处理的流相关的PID的TS分组。在图16的例子中，过滤器控制部分152控制PID过滤器261，使得将具有PID＝a0的TS分组提供给基本缓冲器154，将具有PID＝a1的TS分组提供给第一扩展缓冲器202-1，将具有PID＝a2的TS分组提供给第二扩展缓冲器202-2，以及类似地，将具有PID＝aN的TS分组提供给第n扩展缓冲器202-n。在过滤器控制部分152的控制之下，PID过滤器261提取TS分组。换言之，PID过滤器261选择具有PID＝a0的TS分组和将该TS分组提供给基本缓冲器154，选择具有PID＝a1的TS分组和将该TS分组提供给第一扩展缓冲器202-1，选择具有PID＝a2的TS分组和将该TS分组提供给第二扩展缓冲器202-2，以及类似地，选择具有PID＝aN的TS分组和将该TS分组提供给第n扩展缓冲器202-n。
第三到第n扩展缓冲器202-3到202-n存储由PID过滤器261提取的第三到第n扩展音频流的对应TS分组。音频解码器262获得基本缓冲器154和第一至第n扩展缓冲器202-1和202-n中存储的TS分组和解码该TS分组。
在图16的例子中，音频流处理部分122具有对应于基本音频流和第一到第n扩展音频流的音频解码器262，也就是说，其能够解码所有的直到第n级的所接收扩展音频流。在这种情况下，在过滤器控制部分152的控制之下，PID过滤器261提取PID＝a0到aN的TS分组并将这些TS分组提供给对应的缓冲器(基本缓冲器154和第一到第n扩展缓冲器202-1到202-n)。
基本缓冲器154存储由PID过滤器261选择和提供的基本音频流(PID＝a0)的TS分组。基本缓冲器154工作以使得在接收侧的TS分组同步和与音频解码器262同步。第一扩展缓冲器202-1存储由PID过滤器261选择和提供的第一扩展音频流(PID＝a1)的TS分组。第一扩展缓冲器202-1工作以使得在接收侧的TS分组同步和与音频解码器262同步。第二扩展缓冲器202-2存储由PID过滤器261选择和提供的第二扩展音频流(PID＝a2)的TS分组。第二扩展缓冲器202-2工作以使得在接收侧的TS分组同步和与音频解码器262同步。类似地，第n扩展缓冲器202-n存储由PID过滤器261选择和提供的第n扩展音频流(PID＝aN)的TS分组。第n扩展缓冲器202-n工作以使得在接收侧的TS分组同步和与音频解码器262同步。尽管在图16的例子中提供了每一个基本缓冲器154和第一到第n扩展缓冲器202-1到202-n，但也可以串接提供两个缓冲器用作为每个缓冲器，所述两个缓冲器包括用于使得在接收侧的TS分组同步的缓冲器和用于使得与音频解码器262同步的缓冲器。音频解码器262解码基本音频流的TS分组和第一到第n扩展音频流的TS分组，并且输出所解码的基本音频流和所解码的第一到第n扩展音频流。
下面，参考图17的流程图，说明作为图12步骤S53例子的第n音频流处理过程。该处理是由图16音频流处理部分122执行的处理。具体地，该处理是除了基本音频流之外能够解码第一到第n扩展音频流的由音频流处理部分122执行的处理。
在步骤S91，输入部分151接收音频流(包括多个TS分组的音频流)的TS分组的输入。音频流的TS分组对应于包括表的TS分组、基本音频流的TS分组、以及第一到第n扩展音频流的TS分组的音频流，它们在上述图6的步骤S19中由发送器41发送。
在步骤S92，输入部分151将表的TS分组提供给过滤器控制部分152。具体地，由于音频流的TS分组包括表的TS分组、基本音频流的TS分组、以及第一到第n扩展音频流的TS分组，因此输入部分151在这些TS分组中将表的TS分组提供给过滤器控制部分152。
在步骤S93，输入部分151将添加了PID的TS分组提供给PID过滤器261。具体地，在图5中，输入部分151将添加了PID的基本音频流和第一到第n扩展音频流的TS分组提供给PID过滤器261。
在步骤S94，过滤器控制部分152参考表和确定音频解码器262能够处理的流的类型。具体地，过滤器控制部分152记忆其能够处理的流的类型是基本音频流和第一到第n扩展音频流，并且基于表确定其能够处理的流的类型。也就是说，过滤器控制部分152从表中检测基本音频流和第一到第n扩展音频流。换言之，过滤器控制部分152参考表和确定其能够处理的流的类型，以及确定与这些流相关的PID作为其能够处理的流的类型。过滤器控制部分152控制PID过滤器261，以便选择与基本流相关的具有PID＝a0的TS分组和与第一到第n扩展音频流相关的具有PID＝a1到aN的TS分组。
如上述，过滤器控制部分152控制PID过滤器261，使得将基本音频流的TS分组和第一到第n扩展音频流的TS分组分别提供给基本缓冲器154和第一到第n扩展缓冲器202-1到202-n。由于在图17的处理中音频解码器262能够解码基本音频流和第一到第n扩展音频流，因此过滤器控制部分152控制PID过滤器261，使得将具有PID＝a0，a1，a2，....，aN的TS分组提供给对应的缓冲器。
在步骤S95，基于过滤器控制部分152的确定(被确定为可处理的流的类型)，PID过滤器261选择开关和将对应的TS分组提供给后级的缓冲器。具体地，PID过滤器261使用开关来选择具有PID＝a0的TS分组即基本音频流的TS分组，并且将该TS分组提供给后级的基本缓冲器154。另外，PID过滤器261使用开关来选择具有PID＝a1到aN的TS分组即第一到第n扩展音频流的TS分组，并且将这些TS分组提供给后级的对应的第一到第n扩展缓冲器202-1到202-n。
在步骤S96，基本缓冲器154和第一到第n扩展缓冲器202-1到202-n分别存储所提供的TS分组。
在步骤S97，基本缓冲器154和第一到第n扩展缓冲器202-1到202-n用预定的时序将TS分组输出到音频解码器262。
在步骤S98，音频解码器262解码所提供的基本音频流和第一到第n扩展音频流的TS分组，并且在步骤S99，输出所解码的音频流。
如上述，所接收流包括形成基本音频流的TS分组、形成第一到第n扩展音频流的TS分组、以及表的TS分组，在所述表中写入了用于将分别识别这些TS分组的PID与基本音频流和第一到第n扩展音频流相关联的信息。由于识别音频流类型的PID被添加到形成基本音频流的TS分组和形成第一到第n扩展音频流的TS分组，因此，能够解码例如图16所示的基本音频流和第一到第n扩展音频流的音频流处理部分122(接收器42)能够执行解码。
能够解码基本音频流和第一到第m扩展音频流(m是大于或等于1和小于或等于n的自然数)的接收器42能够分离和再现基本音频流和第一到第m扩展音频流。
下面，说明包括能够解码基本音频流和第一到第n扩展音频流的音频流处理部分122的接收器42结构的另一个例子。图18是表示解码基本音频流和第一到第n扩展音频流的音频流处理部分122的结构例子的示意图。
图18的音频流处理部分122被限制于TS多路复用。具体地，必要的是，在TS中，要被同步再现的编码单位要以基本音频流和第一到第n扩展音频流的顺序被顺次编码。也就是说，在TS中，编码单位需要以BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序被顺次编码。换言之，由接收器42的接收部分121接收的TS分组以BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序被输入到输入部分151，并且输入部分151以BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序将TS分组提供给PID过滤器301。就是说，被包括在全部流中的、形成基本音频流的TS分组和形成第一到第n扩展音频流的TS分组以这种方式配置，其使得要同时被再现的TS分组以形成基本音频流和第一到第n扩展音频流的TS分组的顺序被顺次配置(在编码侧的发送器41按这个顺序输出TS分组)。
不必要的情况是出现对应于基本音频流同步单位的扩展音频流的同步单位。例如，在整个流包括基本音频流和第一扩展音频流的情况下，当所有对应于基本音频流同步单位的扩展音频流的同步单位存在时，TS分组以BS(1)，Ext1(1)，BS(2)，Ext1(2)，BS(3)，Ext1(3)，...的顺序配置。但是，例如，当对应于BS(2)的Ext1(2)不存在时，如图37所示，TS分组以BS(1)，Ext1(1)，BS(2)，Ext1(2)，BS(3)，Ext1(3)，...的顺序配置。
也就是说，音频流至少包括形成基本音频流的TS分组以及还包括对应于基本音频流同步单位的第一到第n扩展音频流的TS分组，其中，第一到第n扩展音频流的TS分组的数目是可变的。换言之，一个音频流至少包括基本音频流并且可以包括第一到第n扩展音频流。当对应于基本音频流同步单位的第一到第n扩展音频流的任何同步单位(要同时再现的预定单位)存在时，在第一到第n扩展音频流中，具有存在的同步单位的扩展流被编码。结果，基本音频流被包括在整个音频流中，然而形成扩展音频流的TS分组的数目是可变的(可以仅仅包括对应于第一扩展音频流的TS分组，或者可以包括对应于第一到第三扩展音频流的TS分组)。
在使用可变位速率的音频流编码中，对于原始音频信号的信息量小的部分(时间间隔)，当基本音频流中的信息是足够的而扩展流中的信息是不必要的时候，采用这种编码方法。其降低了不存在扩展流信息的时间间隔的位速率。
图18的音频流处理部分122包括输入部分151、过滤器控制部分152、PID过滤器301、缓冲器302、和音频解码器303。
过滤器控制部分152控制PID过滤器301以便将具有PID＝a0到aN的TS分组提供给缓冲器302。在过滤器控制部分152的控制之下，PID过滤器301提取TS分组。换言之，PID过滤器301顺序地将具有PID＝a0到aN的TS分组提供给缓冲器302。由于TS中的TS分组以BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序被顺次编码，因此，PID过滤器301将TS中的TS分组以BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序提供给缓冲器302。
缓冲器302存储以BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序被顺次提供的TS分组。音频解码器303获得缓冲器302中存储的TS分组和解码该TS分组。
在图18的例子中，音频流处理部分122具有对应于基本音频流和第一到第n扩展音频流的音频解码器303，因此能够解码所有所接收的基本音频流和第一到第n扩展音频流。在这种情况下，在过滤器控制部分152的控制之下，PID过滤器301提取PID＝a0到aN的TS分组并将这些TS分组提供给缓冲器302。
缓冲器302存储由PID过滤器301顺序选择和提供的音频流(PID＝a0到aN)的TS分组。缓冲器302工作以使得在接收侧的TS分组同步和与音频解码器303同步。尽管在图18的例子中提供了一个缓冲器302，但也可以串接提供两个缓冲器用作为缓冲器302，所述两个缓冲器包括用于使得在接收侧的TS分组同步的缓冲器和用于使得与音频解码器303同步的缓冲器。音频解码器303顺序地解码基本音频流的TS分组和第一到第n扩展音频流的TS分组，并且输出所解码的基本音频流和所解码的第一到第n扩展音频流。
根据图18，与图16相比，缓冲器的数量减少了，由此实现了低成本。尽管图16的缓冲器数量多于图18的，但其优点在于编码TS分组的顺序没有限制。
根据第一实施例，在再现包括基本音频流和多个级别的扩展音频流的多路复用音频流的情况下，提供了一种多路复用流编码和解码方法，该方法用于仅仅能够解码基本音频流的接收器42(例如，具有图11音频流处理部分122的接收器42)，该接收器42分离和仅仅再现基本音频流；以及用于能够再现直到预定第n级的扩展音频流的接收器42(例如，具有图16音频流处理部分122的接收器42)，该接收器42分离和再现基本音频流和直到第n级的扩展音频流。
也就是说，能够编码包括基本音频流和多个级别扩展音频流的流，使得按照接收侧的处理能力其是可解码的。换言之，当包括基本音频流和多个级别扩展音频流的流被发送时，在接收侧的设备能够确定其能够处理的流的类型，以及仅仅能够解码和再现其能够处理的流。
由于仅仅需要将PID添加到每个TS分组和添加表，因此该方法容易地适用于传输流。
如上述，根据本发明第一实施例，PID被用来识别形成MPEG-TS的每个分组(TS分组)，并且基于PID来识别每一个基本音频流和第一到第n扩展音频流。下面，参考图20到35，说明本发明第二实施例的情况，其中，Sub_id被用来识别形成MPEG-TS的每个分组(TS分组)，并且基于Sub_id来识别每一个基本音频流和第一到第n扩展音频流。因此，对应于第一实施例部分的本实施例部分将参考第一实施例说明(图1到19)。
第二实施例的发送/接收系统类似于上述图2的发送/接收系统40。下面，说明本实施例中形成发送/接收系统40的发送器和接收器的结构例子。
图20是表示使用第二实施例发送器的结构例子的方框图。
除了输入部分71、音频编码器72、基本缓冲器73、扩展缓冲器74-1到74-n、以及发送部分77之外，发送器310还包括提取信息添加部分311和TS打包部分312，其中n表示任意自然数(大于或等于1的整数)。在示意图中，对应于图3的部分使用了相同的附图标号来参照，其说明省略，以避免重复。就是说，输入部分71、音频编码器72、基本缓冲器73、扩展缓冲器74-1到74-n、以及发送部分77的每一个都具有与上述图3对应部分的类似功能。
提取信息添加部分311生成表(PAT和PMT)，其是用于在解码侧提取一个音频流的提取信息。音频流的例子可以是某个运动图像(内容)的日语配音或者英语配音。表中，定义了音频流的预定类型。例如，提取信息添加部分311生成图7所示的上述PAT和图21所示的PMT，并将这些表提供给TS打包部分312。
图21是说明传输流(TS)的PMT的例子。在上述图8中(第一实施例)，多个PID被写入(进入)stream_entry()。在图21的例子中，写入了表示音频流编码方法的Audio_stream_type(表示编码类型的信息)和一个PID。在本例中，TS的PAT与图7的相同。
具体地，图7中PMT-PID的值由图21中的PMT参考。图21中，写入了PID为“X”情况下的stream_entry。就是说，写入了Audio_stream_type和Audio_PID＝a0。根据图7和21，能够识别相同类型的音频流(一个音频流)。换言之，对应于一个内容的一个音频流能够使用图7和21的表(PAT和PMT)识别。
回来参考图20，TS打包部分312包括Sub_id添加部分313。在Sub_id添加部分313中，将Sub_id与TS分组类型相关联的预定条件被预先设定。根据该条件，Sub_id添加部分313将Sub_id添加到TS分组的报头。例如，设定条件使得允许Sub_id添加部分313将Sub_id＝0添加到从基本缓冲器73提供的基本音频流(BS)，将Sub_id＝1添加到从第一扩展缓冲器74-1提供的第一扩展音频流(Ext1)，将Sub_id＝2添加到从第二扩展缓冲器74-2提供的第二扩展音频流(Ext2)，以及类似地，将Sub_id＝N添加到从第n扩展缓冲器74-n提供的第n扩展音频流(ExtN)。与所述条件相同的条件被设置在接收侧(解码侧)，如下文所述。
TS打包部分312控制基本缓冲器73和扩展缓冲器74-1到74-n以获得基本音频流和第一到第n扩展音频流，并且还获得由提取信息添加部分311提供的表(图7和21)。TS打包部分312将表打包成TS分组，并且基于在Sub_id添加部分313中设置的预定条件和基于表，将基本音频流和第一到第n扩展音频流打包成TS分组(生成TS分组)。此时，TS打包部分312将PID即对一个音频流为公共的识别信息添加到每个TS分组的报头，并且TS打包部分312的Sub_id添加部分313根据预定条件将识别流类型(基本音频流和第一到第n扩展音频流)的Sub_id添加到每个TS分组的报头。TS打包部分312将所生成的TS分组提供给发送部分77。
发送部分77发送TS分组。这里，多个TS分组被顺次发送，由此导致一个流(包括多个TS分组)的发送。
在本发明第二实施例中，PID不是表示TS分组之编码类型的扩展性的信息，而是识别一个音频流的信息，并且Sub_id是表示TS分组编码类型扩展性的信息。换言之，能够基于Sub_id来识别流的类型(基本音频流和第一到第n扩展音频流)。由于Sub_id被添加到每个TS分组的报头，因此在解码侧的接收器能够选择希望级别的扩展音频流的分组。
下面，参考图22和23说明其中多路复用了基本音频流和多个级别的扩展音频流的TS(传输流)的结构。
如图22所示，TS打包部分312将相同(公共)的PID(PID＝a0)和不同的Sub_id(分组ID)添加到上述图4中的基本音频流81和第一到第n扩展音频流82-1到82-n的每一个的报头上，由此生成TS分组。一个TS分组例如存储了188字节的数据。
图22的TS流包括其中写入了PAT(与图5的PAT 90相同的信息，即图7的PAT)的表的TS分组320、其中写入了PMT(与图21的PMT相同的信息)的表的TS分组321、具有PID＝a0和Sub_id＝0的基本音频流(BS)的TS分组322、具有PID＝a0和Sub_id＝1的第一扩展音频流(Ext1)的TS分组323-1、具有PID＝a0和Sub_id＝2的第二扩展音频流(Ext2)的TS分组323-2、...，以及具有PID＝a0和Sub_id＝N的第n扩展音频流(ExtN)的TS分组323-n。每隔预定周期，发送器310就发送表的TS分组320和321。PID表示传输分组报头的PID。
图4中的基本音频流81和第一到第n扩展音频流82-1到82-n的每一个以预定数目的音频样本作为单位被编码，每个单位通过被括号括的标注表示出。具体地，基本音频流81被分成多个单位BS(1)，BS(2)，...，BS(n)和被编码。类似地，例如，第一扩展音频流82-1被分成多个单位Ext1(1)，Ext1(2)，...，Ext1(n)和被编码。关于基本音频流81和第一到第n扩展音频流82-1到82-n，具有相同标注的一组单位例如BS(1)和Ext1(1)到ExtN(1)被图20中的音频编码器72同步地编码和被在接收侧的接收器42同步地再现(解码)。
下面，参考图23，更详细地说明其中多路复用了基本音频流和多个级别的扩展音频流的图22中的TS(传输流)的结构。
首先，TS打包部分312将图23(图23的上行)的基本音频流81和第一到第n扩展音频流82-1到82-n打包成PES分组的流，如图23的中间行所示，由此生成PES分组流330。PESH表示PES分组报头。接着，TS打包部分312将形成PES分组流330的PES分组的每一个打包和多路复用成TS分组333到340，如图23底行所示。根据在Sud_id添加部分313中设置的条件和从提取信息添加部分311提供的表，TS打包部分312将PID和Sud-id添加到每个TS分组的报头，其中，“PID”表示传输分组报头的PID，“Sid”表示Sud_id。尽管TS打包部分312实际上添加了各种其它类型的信息，但这些类型的信息并不直接涉及本发明，因此其说明省略。TS打包部分312将从提取信息添加部分311提供的表打包成TS分组。就是说，在从提取信息添加部分311提供的表中，TS打包部分312将PAT打包成TS分组331和将PMT打包成TS分组332。
如图23的底行所示，一个音频帧(整个BS(1)或者整个Ext1(1))没有被包括在一个TS分组中。具体地，一个TS分组存储了预定数据长度的数据，因此一个音频帧(整个BS(1))被分成(分离成)多个TS分组。在图23的例子中，BS(1)被分成TS分组333和334。
在图23的例子中，PMT的TS分组332被表示成通过发送部分77发送，处于PAT的TS分组331之后和TS分组333之前。但是，实际上，PMT的TS分组332每隔预定周期由发送器41发送。
在图22和23所示的第二实施例中，对应于一个音频流的每个TS分组的PID即对应于包括音频流的基本音频流和第一到第n扩展音频流的所有类型的每个TS分组的PID是相同的(PID＝a0)。这将符合于本实施例中接收侧的结构(下面参考从图28开始的附图来说明该结构)。依赖于接收器的结构，对于对应于包括音频流的基本音频流和第一到第n扩展音频流的所有类型的每个TS分组，并不总是需要具有相同的PID。例如，不同的PID可以被添加到包括基本音频流和第一到第n扩展音频流的不同类型的TS分组上。
下面，说明由图20的发送器310执行的TS分组发送处理。由于该处理基本上类似于图6流程图所示的处理，因此参考图6的流程图和仅仅说明与图6的处理不同的点。由于步骤S11到步骤S16的处理与使用图6上述的处理相同，因此省略其说明。
在步骤S17，图20的提取信息添加部分311生成表和将表提供给TS打包部分312。具体地，提取信息添加部分311生成如图7所示的PMT表和如图21所示的PAT表，并将表提供给TS打包部分311。
在步骤S18，TS打包部分312执行TS分组生成处理。下面参考图24详细说明该处理。由TS打包部分312生成的TS分组被输出到发送部分77。
在步骤S19，发送部分77将TS分组(包括多个TS分组的音频流)发送到接收器42(图10)。具体地，包括PAT和PMT(表)的TS分组320和321、基本音频流的TS分组322以及第一到第n扩展音频流的TS分组323-1到323-n的流被发送到接收器42。此后，处理结束。尽管在本实施例中TS分组被发送到接收器42(图10)，但是TS分组也可以被记录在各种类型的记录媒体中，未示出。或者，可以通过将TS分组记录在记录媒体中、然后将记录媒体提供给接收器42(图10)来间接地进行TS分组向接收器42(图10)的发送。
下面，参考图24的流程图，详细说明第二实施例中在图6的步骤S18中的TS分组生成处理。
在步骤S131，TS打包部分312获得表(PAT和PMT)。这些表是在图6的步骤S17中生成的PAT和PMT，它们分别被示于图7和21。
在步骤S132，TS打包部分312将表(PAT和PMT)打包成TS分组(基于PAT和PMT生成TS分组)以及将TS分组输出到发送部分77。发送部分77反过来将表发送到接收器42。因此，其中写入了图7中PAT的TS分组320和其中写入了PMT(见图22)的TS分组321被生成且被输出到发送部分77。在该处理中，TS分组被发送一次。然而，实际上，每隔预定的时间周期，就发送其中表被写入的TS分组。因此，即使当接收器在中间开始接收流时，接收器也获得表，由此能够可靠地解码流。
在步骤S133，基于在Sub_id添加部分313设置的预定条件和基于表，TS打包部分312将PID和Sub_id从基本缓冲器73和扩展缓冲器74-1到74-n添加到每个音频流。表本身通过步骤S131的处理被打包成TS分组，然后被发送。这里，假设表是由TS打包部分312保持。基于表，TS打包部分312将PID＝a0从基本缓冲器73和扩展缓冲器74-1到74-n添加到每个音频流，以及基于在Sub_id添加部分313设置的预定条件，将对应的Sub_id从基本缓冲器73和扩展缓冲器74-1到74-n添加到每个音频流。在第二实施例中，PID是a0(相同)，Sub_id的值作为0，1，2，...，N变化。
通过该处理，PID＝a0和Sub_id＝0被添加到基本音频流(BS)，PID＝a0和Sub_id＝1被添加到第一扩展音频流(Ext1)，PID＝a0和Sub_id＝2被添加到第二扩展音频流(Ext2)，以及类似地，PID＝a0和Sub_id＝N被添加到第n扩展音频流(ExtN)。换言之，添加了每个类型流不同的识别信息。
在步骤S134，基于来自基本缓冲器73和扩展缓冲器74-1到74-n的音频流，TS打包部分312分别生成TS分组。因此，如图22所示，相同的PID和不同的Sub_id被添加到基本音频流和第一到第n扩展音频流，由此生成TS分组。更具体地，相同音频帧中的TS分组被给予相同的Sub_id(见图23中的Sid)。
在步骤S135，TS打包部分312将所生成的TS分组输出到发送部分77。此后，处理返回到图6的步骤S18。
通过图6和24的处理，能够编码第n扩展音频流的发送器310(图20)将所编码的数据分离成基本音频流和第一到第n扩展音频流。基于Sub_id添加部分313中设置的预定条件和基于表，发送器310将PID和Sub_id添加到被分离的音频流；将音频流打包成TS分组，并发送该TS分组。就是说，发送器310(图20)将包括具有用于识别流类型的Sub_id之报头的TS分组和表的TS分组的音频流发送到接收器42。
由发送器310发送的流包括形成基本音频流和第一到第n扩展音频流的TS分组、以及其中写入了PAT和PMT的TS分组。由于形成基本音频流和第一到第n扩展音频流的每一个TS分组的报头都包括用于识别一个音频流的PID和用于识别在音频流中包括的TS分组类型的Sub_id，因此接收侧能够按照其处理能力进行解码。
下面，说明由发送器310发送的TS分组的结构例子。图25说明发送图22中TS(传输流)的基本音频流和第一到第n扩展音频流的每个TS分组的结构。
在图25所示MPEG 2系统的TS分组报头的句法中，private_data_byte可以进入adaptation_field()中。private_data_byte的一个字节被用于Sub_id的目的。在图25的例子中，被写入Sub_id的部分对应于private_data_byte。
更具体地，TS分组的报头包括transport_packet中从sync_byte到Sub_id的描述(即写入了PID和Sub_id)，并且实际数据(音频流)包括有效载荷描述。在图22的例子中，其中写入了PID＝a0和Sub_id＝0的TS分组的第一块322对应于TS分组的报头，其中写入了BS的TS分组322的后块对应于TS分组的有效载荷。
在adaptation_field中，adaptation_field的数据长度被写入adaptation_field_length，标志对应于其它的信息。而且，transport_private_data_flag是表示存在private_data的标志。在图25的例子中，“1”就是表示存在private_data。private_data的数据长度被写入transport_private_data_lengs。在图25的例子中，“1”就是表示private_data(Sub_id)的数据长度是一个字节的事实。而且，Sub_id被设置为private_data。Sub_id的数据长度是一个字节，如由transport_private_data_length＝1表示的。就是说，值0，1，2，...，n根据TS分组的类型被写入Sub_id中。具体地，当TS分组对应于基本音频流时写入“0”，当TS分组对应于第一扩展音频流时写入“1”。以该方式，PID和Sub_id被写入到每个TS分组的报头。
在图23和25所示的例子中，说明包括基本音频流和多个级别扩展音频流的音频流的TS分组的结构。下面，参考图26和27，说明仅仅包括基本音频流和第一扩展音频流的音频流的TS分组。
图26是说明在多路复用了基本音频流和第一扩展音频流情况下的传输流的结构。在说明中，对应于图23的部分使用了相同的附图标号来参照。
参考图26，为了识别TS分组的类型，代替Sub_id，使用了transport_priority(被写作为图26中的tp)。首先，TS打包部分312将音频流81和第一扩展音频流82-1(图26的上行)打包成PES分组的流，如图26的中间行所示，由此生成PES分组流370。接着，TS打包部分312将形成PES分组流370的PES分组的每一个打包和多路复用成TS分组371到378，如图26底行所示。根据在Sub-id添加部分313中设置的条件和从提取信息添加部分311提供的表，TS打包部分312将PID和transport_priority添加到每个TS分组的报头。TS打包部分312实际添加了各种其它类型的信息。TS打包部分312将从提取信息添加部分311提供的表(PAT和PMT)打包成TS分组。就是说，TS打包部分312将PAT打包成TS分组331和将PMT打包成TS分组332。
图27是说明发送图26中TS(传输流)的基本音频流和第一扩展音频流的每个TS分组的结构。
在图27所示MPEG2系统的TS分组报头的句法中，transport_priority标志被用于区分传输分组的有效载荷数据是否是基本音频流或者是第一扩展音频流。在图27的例子中，transport_priority＝1表示基本音频流，transport_priority＝0表示第一扩展音频流。因此，transport_priority＝1被添加到较高优先级的流上(基本音频流)。
TS分组的报头包括transport_packet中从sync_byte到continuity_counter的描述(即写入了PID和transport_priority)，并且实际数据(音频流)包括有效载荷描述。在图26的例子中，其中写入了PID＝a0和tp＝1的TS分组371的第一块对应于TS分组的报头，其中写入了BS的TS分组371的后块对应于TS分组的有效载荷。
在音频流仅仅包括基本音频流和第一扩展音频流的情况下，TS分组可以具有图27所示的结构。与图25的TS分组的结构进行比较，报头的数据量减少了。不用说，图25的TS分组的结构可以用于音频流仅仅包括基本音频流和第一扩展音频流的情况。
在传输分组报头中定义Sub_id的方法不局限于图25和27的方法，其它的句法字段也是可应用的。
下面，说明第二实施例中在再现侧的接收器42(图10)的结构例子。在本实施例中，在再现侧的接收器42能够至少解码基本音频流(BS)。当在再现侧的接收器42能够再现直到预定的第m级的扩展音频流时(m是等于或大于1的自然数，并且m≤n)，接收器42(图10)能够解码基本音频流和第一到第m扩展音频流。关于基本音频流和扩展音频流之间的关系，例如，能够解码的扩展音频流的值n越大，则音频再现的质量越好，功能性越高。
首先，参考图28，说明在第二实施例中具有能够解码基本音频流和第一到第n扩展音频流的音频流处理部分122的接收器42(图10)的结构例子。在图28的例子中，如图18和19的情况，说明TS多路复用方法被限制情况下执行流处理过程的音频流处理部分122。就是说，图28表示被应用在下述情况下的音频流处理部分122的例子，即，在TS中，要被同步再现的编码单位以基本音频流和第一到第n扩展音频流的顺序被顺次编码。换言之，被包括在全部流中的、形成基本音频流的TS分组和形成第一到第n扩展音频流的TS分组以这种方式配置，使得要同时被再现的TS分组以形成基本音频流和第一到第n扩展音频流的TS分组的顺序被顺次配置(在编码侧的发送器41按这个顺序输出TS分组)。
图28的音频流处理部分122包括输入部分401、PID过滤器控制部分402、PID过滤器403、Sub_id过滤器控制部分404、Sub_id过滤器405、缓冲器406、和音频解码器407。
输入部分401接收由接收部分121(图10)提供的音频流的TS分组(其中要被同步再现的编码单位以基本音频流和第一到第n扩展音频流的顺序被顺次输入的TS分组)的输入。在音频流的TS分组中，输入部分401将表(使用图7和21上述的PAT和PMT表)的TS分组提供给PID过滤器控制部分402，以及将剩余的TS分组(例如，被添加了图23中的PID和Sub_id的基本音频流和第一到第n扩展音频流的TS分组)提供给PID过滤器403。输入部分401将基本音频流和具有PID和Sub_id的第一到第n扩展音频流的每一个TS分组(除PAT和PMT之外的TS分组)的报头提供给Sub_id过滤器控制部分404。例如，当输入到输入部分401的音频流的TS分组具有图25所示的结构时，图25中从sync_byte到Sub_id的报头被提供给Sub_id过滤器控制部分404。当输入到输入部分401的音频流的TS分组具有图27所示的结构时，从sync_byte到continuity_counter的报头被提供给Sub_id过滤器控制部分404。
PID过滤器控制部分402基于所获得的表来控制PID过滤器403的操作(图7和21)。例如，基于图7和21中的PAT和PMT，PID过滤器控制部分402控制PID过滤器403的操作，使得具有被写入其报头中的Audio_PID＝a0的TS分组提供给Sub_id过滤器控制部分404(切换PID过滤器403的开关)。
在PID过滤器控制部分402的控制之下，PID过滤器403选择(提取)TS分组。例如，在PID过滤器控制部分402的控制之下，PID过滤器403将具有被写入其报头中的PID＝a0的TS分组提供给后级的Sub_id过滤器405。
基于在由输入部分401提供的每个TS分组的报头中写入的Sub_id信息(值)和基于在Sub_id过滤器控制部分404中预先设置的预定条件，Sub_id过滤器控制部分404控制Sub_id过滤器405的操作。与在上述发送器310(图20)的Sub_id添加部分313中设置的条件相同的条件被设置在Sub_id过滤器控制部分404中。因此，基于该预先设定的条件和由输入部分401提供的每个TS分组的Sub_id值，Sub_id过滤器控制部分404确定音频解码器407能够处理的流的类型和控制Sub_id过滤器405的操作(切换Sub_id过滤器405的开关)。在图28的例子中，Sub_id过滤器控制部分404确定音频解码器407能够处理的流的类型是基本音频流和第一到第n扩展音频流，并且控制Sub_id过滤器405使得将具有Sub_id＝0到N的TS分组提供给缓冲器406。
在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405选择(提取)TS分组。具体地，在Sub_id过滤器控制部分404的控制下，Sub_id过滤器405选择对应于报头中写入的Sub_id值的开关。例如，Sub_id过滤器控制部分404的控制下，Sub_id过滤器405顺序地将在其报头中写入的具有Sub_id＝0，1，2，...，N的TS分组提供给后级的缓冲器406。如图22和23所示，TS分组以在TS中的BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序被顺次编码。因此，如图29所示，Sub_id过滤器405以TS中BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序将TS分组的有效载荷数据提供给缓冲器406。
缓冲器406存储(缓冲)由Sub_id过滤器405提供的TS分组。缓冲器406是音频缓冲器，其操作使得与音频解码器407同步。具体地，缓冲器406存储以BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序被顺次提供的TS分组(数据)。而且，缓冲器406以预定的时序将缓冲的TS分组输出到音频解码器407(即，音频解码器407以预定的时序获得在缓冲器406中存储的TS分组)。音频解码器407解码由缓冲器406提供的TS分组。音频解码器407将被解码的音频流提供给后级的输出部分123(图10)。
根据第二实施例中的图28，PID值不具有依赖于流类型(基本音频流和第一到第n扩展音频流)的不同值，而Sub_id值具有依赖于流类型的不同值。因此，包括基本和扩展音频流之组合的音频流能够被看作一个整体，并且该整体被给予一个PID值而能够进行管理。当应用于将基本音频流和多个级别的扩展音频流管理作为一个流的应用时，这是特别有利的。
由具有图28音频流处理部分122的接收器42(图10)执行的TS分组接收处理基本上类似于图12，但是，在图12的步骤S53中，音频流处理过程的细节不同。使用图30和31的流程图，说明作为图12步骤S53处理的例子的第n扩展音频流处理过程。该处理是由图28的音频流处理部分122执行的处理。即，该处理是由能够解码基本音频流和第一到第n扩展音频流的音频流处理部分122执行的处理。
在步骤S171，输入部分401接收音频流(包括多个TS分组的音频流)的TS分组的输入。音频流的TS分组对应于包括表的TS分组(图7和21)、以及基本音频流和第一到第n扩展音频流的TS分组的一个音频流，它们在上述图6的步骤S19中由发送器41发送。
在步骤S172，输入部分401将表的TS分组(图7和21)提供给PID过滤器控制部分402。具体地，由于音频流的TS分组包括表(PAT和PMT)的TS分组、基本音频流的TS分组、以及第一到第n扩展音频流的TS分组(见图22和23)，因此输入部分401在这些TS分组中将表的TS分组(图7和21)提供给PID过滤器控制部分402。
在步骤S173，输入部分401将具有PID的TS分组提供给PID过滤器403。具体地，参考图22和23，具有PID的基本音频流和第一到第n扩展音频流的TS分组被提供给PID过滤器403。
在步骤S174，PID过滤器控制部分402参考表(图7和21)和确定音频解码器407能够处理的流的类型。就是说，PID过滤器控制部分402参考表以检测其能够处理的一个流(本例中为具有PID＝a0的一个音频流)，并且确定被添加到该流的PID为其能够处理的流类型。PID过滤器控制部分402控制PID过滤器403，以便选择具有PID＝a0的被确定为可处理的TS分组(与音频流相关的TS分组)。
通过步骤S174的处理，PID过滤器控制部分402控制PID过滤器403，使得将形成具有相同PID(添加PID＝a0)的一个音频流的基本音频流的TS分组和第一到第n扩展音频流的TS分组提供给Sub_id过滤器405。
在步骤S175，在PID过滤器控制部分402的控制之下，PID过滤器403选择开关以将对应的TS分组提供给在后级的Sub_id过滤器405。具体地，PID过滤器403切换开关以选择具有PID＝a0的TS分组即一个音频流，并且将该TS分组提供给在后级的Sub_id过滤器405。
在步骤S176，基于在步骤S173处理中由输入部分401提供的TS分组的报头信息和基于在Sub_id过滤器控制部分404中预先设置的预定条件，Sub_id过滤器控制部分404确定音频解码器407能够处理的流的类型和控制Sub_id过滤器405。例如，Sub_id过滤器控制部分404确定音频解码器407能够处理的流类型是基本音频流和第一到第n扩展音频流。预定条件，诸如Sub_id＝0对应于基本音频流、Sub_id＝1对应于第一扩展音频流、以及类似地Sub_id＝N对应于第n扩展音频流的事实被预先设置在Sub_id过滤器控制部分404中。基于该条件，Sub_id过滤器控制部分404控制Sub_id过滤器405的操作，使得将被确定为可管理的流类型提供给在后级的缓冲器406。在Sub_id过滤器控制部分404中设置的条件与在上述发送器310(图20)的Sub_id添加部分313中设置的条件相同(该条件表示例如Sub_id＝0对应于基本音频流)。基于Sub_id，能够精确地识别流的类型。
在步骤S177，在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405选择开关以将对应的TS分组提供给在后级的缓冲器406。例如，在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405切换开关以将在报头中具有Sub_id＝0的TS分组通过Sub_id过滤器405的Sub_id＝0的线提供给缓冲器406。在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405切换开关以将在报头中具有Sub_id＝1的TS分组通过Sub_id过滤器405的Sub_id＝1的线提供给缓冲器406。因此，数据以图29所示的TS分组的顺序被提供给缓冲器406。
在步骤S178，缓冲器406存储(缓冲)由Sub_id过滤器405提供的TS分组。因此以图29的BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序顺次提供的TS分组存储在缓冲器406中。
在步骤S179，缓冲器406以预定的时序将TS分组输出到音频解码器407。例如，缓冲器406顺序地将以图29所示的BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序被顺次缓冲的TS分组用预定的时序输出到音频解码器407。
在步骤S180，音频解码器407顺序地解码由缓冲器406提供的TS分组(以BS(1)，Ext1(1)，Ext2(1)，...ExtN(1)，BS(2)，Ext1(2)，Ext2(2)，...ExtN(2)的顺序提供的TS分组)。在步骤S181，音频解码器407顺序地输出被解码的音频流。
通过图30和31的处理，要被接收的流包括形成基本音频流的TS分组、形成第一到第n扩展音频流的TS分组、以及用于分配PID的表(图7和21的PAT和PMT)。识别一个音频流的PID和识别音频流类型的Sub_id被添加到每一个形成基本音频流的TS分组和第一到第n扩展音频流的TS分组上。因此，图28所示的能够解码基本音频流和第一到第n扩展音频流的音频流处理部分122(接收器42)能够容易地进行解码。
参考图28到31，已经说明了具有能够解码图22和23中TS的音频流处理部分122的接收器42(图10)。作为另一个例子，使用图32，说明在能够解码图22和23中TS的音频流处理部分122的音频解码器407能够仅仅解码基本音频流情况下的结构例子。图32中，对应于图28的部分使用了相同的附图标号，其说明省略，以避免重复。
基于在由输入部分401提供的每个TS分组的报头中写入的Sub_id信息(值)和基于在Sub_id过滤器控制部分404中预先设置的预定条件，Sub_id过滤器控制部分404控制Sub_id过滤器405的操作。在图32的例子中，Sub_id过滤器控制部分404确定音频解码器407能够处理的音频流的类型是基本音频流，并且基于预定条件，确认基本音频流对应于Sub_id＝0。Sub_id过滤器控制部分404控制Sub_id过滤器405，使得将具有Sub_id＝0的TS分组提供给缓冲器406。
在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405选择(提取)TS分组。在图32的例子中，在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405选择对应于报头中写入的Sub_id＝0值的开关并且将基本音频流提供给缓冲器406。
在图32的例子中，音频流处理部分122仅仅具有对应于基本音频流的音频解码器407，并且不能够解码第一到第n级扩展音频流。在这种情况下，Sub_id过滤器控制部分404记忆其能够处理的流类型是基本音频流。基于预先设定的预定条件(例如表示Sub_id＝0对应于基本音频流、以及Sub_id＝1对应于第一扩展音频流的条件)，Sub_id过滤器控制部分404参考对应于基本音频流的Sub_id。在这种情况下，Sub_id过滤器控制部分404确定Sub_id＝0对应于其能够处理的流类型，并且控制Sub_id过滤器405使得选择具有可解码流的Sub_id的TS分组。例如，Sub_id过滤器控制部分404将可解码流的ID或者允许通过的Sub_id号码(Sub_id＝0)通知给Sub_id过滤器405。基于由Sub_id过滤器控制部分404报告的这个Sub_id即Sub_id＝0，Sub_id过滤器405选择具有Sub_id＝0的TS分组并将该TS分组提供给缓冲器406。当第一到第n扩展音频流的TS分组被提供时，Sub_id过滤器405不选择这些分组。就是说，仅仅当具有Sub_id＝0的基本音频流的TS分组被提供时，Sub_id过滤器405选择基本音频流的TS分组和将该TS分组提供给后级的缓冲器406。因此，如图33所示，Sub_id过滤器405选择基本音频流的TS分组和将该TS分组提供给后级的缓冲器406。
由于由具有图32音频流处理部分122的接收器42(图10)执行的TS分组接收处理类似于图12、30和31，因此其说明省略。图32中的Sub_id过滤器控制部分404控制Sub_id过滤器405使得将具有Sub_id＝0的TS分组提供给后级的缓冲器406，并且在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405切换开关。结果，如图33所示，Sub_id过滤器405仅仅将基本音频流的TS分组提供给缓冲器406。音频解码器407解码由缓冲器406以预定时序提供的基本音频流的TS分组。
由于表示一个音频流的PID和表示流类型的Sub_id被添加到每个TS分组的报头，因此即使能够仅仅解码基本音频流的音频流处理部分122(接收器42)，诸如图32所示的，也能够仅仅选择和解码对应于基本音频流的TS分组。就是说，当被扩展成多个级别的音频流被发送时，即使具有图32音频流处理部分122的接收器42也能够仅仅提取和再现基本音频流。由于Sub_id没有被添加到TS分组的有效载荷而是添加到报头上，因此接收器42基于报头能够确定TS分组是否是可处理的，而不用看TS分组的有效载荷。结果，能够快速完成处理。
在上述第二实施例中，已经说明了具有能够解码图22和23中TS的音频流处理部分122的接收器42(图10)的例子。作为另一个例子，使用图34，说明在能够解码图22和23中TS的音频流处理部分122的音频解码器407能够仅仅解码基本音频流和第一扩展音频流情况下的结构例子。
基于在由输入部分401提供的每个TS分组的报头中写入的Sub_id信息(值)和基于在Sub_id过滤器控制部分404中预先设置的预定条件，Sub_id过滤器控制部分404控制Sub_id过滤器405的操作。在图34的例子中，Sub_id过滤器控制部分404确定音频解码器407能够处理的流的类型是基本音频流和第一扩展音频流，并且基于预定条件，确认基本音频流和第一扩展音频流对应于Sub_id＝0和1。Sub_id过滤器控制部分404控制Sub_id过滤器405，使得将具有Sub_id＝0和1的TS分组提供给缓冲器406。
在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405选择(提取)TS分组。在图34的例子中，在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405选择对应于报头中写入的Sub_id＝0和1的值的开关并且将基本音频流和第一扩展音频流提供给缓冲器406。
在图34的例子中，音频流处理部分122仅仅具有对应于基本音频流和第一扩展音频流的音频解码器407，并且能够解码第二到第n扩展音频流。在这种情况下，Sub_id过滤器控制部分404记忆其能够处理的流类型是基本音频流和第一扩展音频流。基于预先设定的预定条件(例如表示Sub_id＝0对应于基本音频流、以及Sub_id＝1对应于第一扩展音频流的条件)，Sub_id过滤器控制部分404参考对应于基本音频流和第一扩展音频流的Sub_id。在这种情况下，Sub_id过滤器控制部分404确定Sub_id＝0和1对应于其能够处理的流类型，并且控制Sub_id过滤器405使得选择具有可解码流的Sub_id的TS分组。例如，Sub_id过滤器控制部分404将可解码流的ID或者允许通过的Sub_id号码(Sub_id＝0和1)通知给Sub_id过滤器405。基于由Sub_id过滤器控制部分404报告的该Sub_id即Sub_id＝0和1，Sub_id过滤器405选择具有Sub_id＝0和1的TS分组并将该TS分组提供给缓冲器406。当第二到第n扩展音频流的TS分组被提供时，Sub_id过滤器405不选择这些分组。就是说，仅仅当具有Sub_id＝0和1的基本音频流和第一扩展音频流的TS分组被提供时，Sub_id过滤器405选择基本音频流和第一扩展音频流的TS分组，并且将该TS分组提供给后级的缓冲器406。因此，如图35所示，Sub_id过滤器405选择基本音频流和第一扩展音频流的TS分组和将该TS分组提供给后级的缓冲器406。
由于由具有图34音频流处理部分122的接收器42(图10)执行的TS分组接收处理类似于图12、30和31，因此其说明省略。图34中的Sub_id过滤器控制部分404控制Sub_id过滤器405使得将具有Sub_id＝0和1的TS分组提供给后级的缓冲器406，并且在Sub_id过滤器控制部分404的控制之下，Sub_id过滤器405切换开关。结果，如图35所示，Sub_id过滤器405仅仅将基本音频流和第一扩展音频流的TS分组提供给缓冲器406。音频解码器407解码由缓冲器406以预定时序提供的基本音频流和第一扩展音频流的TS分组。
如上述，能够解码基本音频流和第一扩展音频流的接收器42(图34中的音频流处理部分122)能够仅仅分离和再现基本音频流和第一扩展音频流。
当TS是其中要被同步再现的编码单位以基本音频流和第一到第n扩展音频流的顺序被顺次编码和提供的音频流时，能够应用图28、32和34所示的结构。与第一实施例中的图16等比较，能够减少缓冲器的数量。同时音频流处理部分也能够以低成本实现。
在第二实施例之接收器42的音频流处理部分122(图28、32和34)的例子中，如同图18的情况，已经说明了其中当TS多路复用被限制时进行流处理过程的情况。但是，如第一实施例的图11、14、15和16所示，对不同类型的流可以提供不同的缓冲器。在这种情况下，尽管缓冲器的数量增加了，但TS多路复用变成没有限制，由此提高了接收器42的自由度。
在图28、32和34例子的音频流处理部分122中，输入部分401将每个TS分组的报头提供给Sub_id过滤器控制部分404。但是，或者，PID过滤器403的输出(具有PID＝a0的TS分组)也可以被提供给Sub_id过滤器控制部分404。在这种情况下，基于不是由输入部分401而是由PID过滤器403提供的每一个TS分组的报头，Sub_id过滤器控制部分404控制Sub_id过滤器405。
根据第二实施例，在包括基本音频流和多个级别扩展音频流的多路复用音频流被再现的情况下，提供了一种多路复用流编码和解码方法，该方法用于能够仅仅解码基本音频流的接收器42(例如，具有图32音频流处理部分122的接收器42)，该接收器42仅仅分离和再现基本音频流；以及该方法用于能够再现直到预定第n级的扩展音频流的接收器42(例如，具有图28音频流处理部分122的接收器42)，该接收器42分离和再现基本音频流和直到第n级的扩展音频流。
也就是说，根据在发送侧的发送器41(例如，图20的发送器41)，能够编码包括基本音频流和多个级别扩展音频流的流，使得按照接收侧的处理能力其是可解码的。换言之，当包括基本音频流和多个级别扩展流的流被发送时，在接收侧的设备(例如图28、32和34)能够确定其能够处理的流的类型，以及仅仅能够解码和再现其能够处理的流。
由于仅仅需要将PID和Sub_id添加到每个TS分组的报头，因此该方法容易适用于传输流。
由于仅仅一个字节的流需要被包括在具有188字节的一个TS分组中，其是相对小量的数据，也就是说，基本音频流和扩展音频流不需要被包括在一个TS分组中，因此，能够进行具有高编码效率的编码。
因为流结构不是由格式限定，因此即使当扩展被添加到音频流时，就是说，即使当n增大时，也能够进行据此的编码和解码。就是说，即使能够仅仅解码基本音频流的设备，也能够解码被添加了扩展的音频流。
本发明不局限于具有编码器的发送器41，而是能够应用于进行编码的所有信息处理设备。同时，本发明不局限于具有解码器的接收器42，而是能够应用于进行解码的所有信息处理设备。
在上述例子中，已经说明了其中本发明被应用于音频流的编码和解码的情况。但是，本发明不局限于此，而是能够应用于视频流的编码和解码。换言之，本发明能够应用于诸如音频流或者视频流的流。
上述连续处理能够由硬件执行或者能够由软件执行。在这种情况下，上述处理由图36所示的个人计算机500来执行。
在图36中，根据ROM 502中存储的程序或者从存储部分508装载到RAM
503的程序，CPU 501执行各种类型的处理。RAM 503存储CPU 501所要求的数据以执行各种类型的处理。
CPU 501、ROM 502和RAM 503通过内部总线504相互连接。内部总线504还连接到输入/输出接口505。
输入/输出接口505连接到包括键盘和鼠标的输入部分506、包括由CRT、LCD等形成的显示器及扬声器的输出部分507、包括硬盘的存储部分508、以及包括调制解调器和终端适配器的通信部分509。通信部分509通过包括电话线和CATV的各种类型的网络来进行通信处理。
输入/输出接口505连接到驱动器510，如果需要，诸如磁盘、光盘、磁光盘或者半导体存储器的可移去媒体521被装载到驱动器510。如果需要，从中读出的计算机程序被安装在存储部分508中。
当连续处理由软件执行时，形成软件的程序从网络或者记录媒体中安装。
如图36所示，记录媒体包括封装媒体(package medium)和硬盘，所述封装媒体包括分配用于给用户提供程序的程序记录可移去媒体521，所述硬盘包括以内置于设备中的形式提供给用户的程序记录ROM 502和程序记录存储部分508。
在本说明书中，不用说，构成计算机程序的步骤包括以时间序列方式以给定顺序进行的处理步骤，以及包括并行或者分离执行的处理步骤，即使它们不总是以时间序列方式执行。
另外，在本说明书中，系统意味着包括多个装置的设备整体。