三维数字多媒体广播系统

IPRDB

API 数据接口

专利申请

使用指引 chat嘟嘟

会员体验

联系我们

交流群

现在联系顾问~

三维数字多媒体广播系统
申请号	CN200480043775.1	申请日	2004-12-30	公开(公告)号	CN1998233B	公开(公告)日	2011-12-07
申请人	韩国电子通信研究院;			发明人	尹国镇; 曹叔嬉; 徐廷一; 朴基尹; 严基纹; 张恩荣; 姜京玉; 安忠铉; 李寿寅;
摘要	本发明提供了一种三维数字多媒体广播(3D DMB)系统。本发明可以提供一种3D DMB系统，用于通过根据传统的系统结构来处理双目3D图像和3D声音而在保持与传统的DMB系统的兼容性的同时向用户提供更逼真的3D音频/视频(AV)服务。所述3D DMB系统包括：视频编码器，用于接收和编码双目3D图像的视频信号；音频编码器，用于接收和编码3D声音的音频信号；分组化器，用于将所编码的视频和音频信号分组化为同步层(SL)分组；以及，复用器，用于变换和复用由所述分组化器分组化的所述SL分组。一种3DDMB接收系统包括：去复用器，用于去复用包括双目3D图像信息和3D声音信息的流；去分组化器，用于去分组化所述SL分组，并且输出3D视频信号和3D声音音频信号的编码流；视频解码器，用于解码所述双目3D图像的视频信号的编码流；音频解码器，用于解码3D声音音频信号的编码流；以及，场景恢复器，用于通过使用从所述视频解码器和音频解码器接收的视频/3D附加视频信号和音频/3D附加音频信号来形成和输出2D AV或者3D AV场景。
权利要求	1.一种三维数字多媒体广播发送系统，包括：视频编码装置，用于接收和编码双目三维图像的视频信号；音频编码装置，用于接收和编码三维声音的音频信号；对象描述符/二进制格式场景产生装置，用于关于双目三维图像或者三维声音产生场景编码流的对象描述符和二进制格式；同步层分组化装置，用于将从所述视频编码装置、音频编码装置和对象描述符/二进制格式场景产生装置输入的流分组化为同步层分组；以及复用装置，用于变换和复用由所述同步层分组化装置分组化的同步层分组，并且输出复用的同步层分组，其中，所述对象描述符个别地用于关于视频信号/三维视频的三维附加视频信号，或者关于音频信号/三维音频的三维附加音频信号，表达该三维视频或三维音频；所述对象描述符从属地包括针对作为视频信号的左或右视频和右或左视频的所述三维附加视频信号的两个ES_Descriptor，以表达该三维视频；以及所述对象描述符从属地包括针对一个对象描述符低音频信号和三维附加音频信号的两个ES_Descriptor，以表达该三维音频。 2.根据权利要求1的发送系统，其中，所述视频编码装置包括：第一视频编码装置，用于编码双目三维图像的左或右视频信号，作为三维视频的视频信号；以及第二视频编码装置，用于编码在所述左和右视频信号之中的在该第一视频编码装置中未编码的信号，作为三维视频的三维附加视频信号。 3.根据权利要求1的发送系统，其中，所述音频编码装置包括：第一音频编码装置，用于编码单声道音频信号或者立体声音频信号，作为三维音频的音频信号；以及第二音频编码装置，用于编码3声道附加音频信号，作为三维音频的三维附加音频信号。 4.根据权利要求2的发送系统，其中，所述第一视频编码装置包括：第一视频前处理装置，用于变换所输入的视频信号的图像大小；以及第一视频编码装置，用于编码在该第一视频前处理装置中变换后的信号。 5.根据权利要求4的发送系统，其中，所述第二视频编码装置包括：第二视频前处理装置，用于将所输入的视频信号的大小变换为在高度或宽度上为在该第一视频前处理装置中变换后的大小的一半的图像大小；以及第二视频编码装置，用于编码在该第二视频前处理装置中变换后的信号。 6.根据权利要求1的发送系统，其中，所述对象描述符包括对象类型信息，用于关于所述三维附加视频信号或者所述三维附加音频信号提供向后兼容性。 7.根据权利要求1的发送系统，其中所述ES_Descriptor将关于所述三维附加视频信号的Stream Type建立为Visual，将ObjectTypeIndication建立为User private，将关于所述三维附加音频信号的Stream Type建立为Audio，并且将ObjectTypeIndication建立为User private，以便关于所述三维附加视频信号或者所述三维附加音频信号提供向后兼容性。 8.一种三维数字多媒体广播接收系统，包括：去复用装置，用于通过去复用包括双目三维图像信息和三维声音信息的流来输出同步层分组；去分组化装置，用于去分组化所述同步层分组，并且输出双目三维视频信号和三维声音音频信号的编码流；视频解码装置，用于关于所述双目三维视频信号来解码编码流；音频解码装置，用于关于所述三维声音音频信号来解码编码流；对象描述符/二进制格式场景解码装置，用于解码所述同步层分组，并且输出二进制格式场景和对象描述符；以及场景恢复装置，用于通过使用从所述视频解码装置和音频解码装置输入的视频或三维附加视频信号和音频或三维附加音频信号，来形成和输出二维音频或视频或者三维音频或视频场景，其中，所述对象描述符个别地用于关于视频信号/三维视频的三维附加视频信号，或者关于音频信号/三维音频的三维附加音频信号，表达该三维视频或三维音频；所述对象描述符从属地包括针对作为视频信号的左或右视频和所述右或左视频的三维附加视频信号的两个ES_Descriptor，以表达该三维视频；以及所述对象描述符从属地包括针对一个对象描述符低音频信号和三维附加音频信号的两个ES_Descriptor，以表达该三维音频。 9.根据权利要求8的接收系统，其中，所述视频解码装置包括：第一视频解码装置，用于通过从所述去分组化装置接收视频编码流来关于所述双目三维视频信号的左或右图像解码视频编码流，作为三维视频的视频信号；第二视频解码装置，用于通过从所述去分组化装置接收视频编码流来关于在该左和右视频之中的、未被输入第一视频解码装置中的信号而解码视频编码流，作为三维视频的三维附加视频信号；以及视频后处理装置，用于根据从外部输入的视频恢复模式信息来将由该第一视频解码装置和该第二视频解码装置解码的视频信号输出为二维视频信号或者三维视频信号。 10.根据权利要求9的接收系统，其中，从所述第二视频解码装置输入的视频编码流的图像大小在高度或宽度上为从该第一视频解码装置接收的视频编码流的图像大小的一半。 11.根据权利要求8的接收系统，其中，所述音频解码装置包括：第一音频解码装置，用于通过从所述去分组化装置接收单声道音频编码流或者立体声音频编码流来解码单声道音频编码流或者立体声音频编码流，作为三维音频的音频信号；第二音频解码装置，用于通过从所述去分组化装置接收3声道附加音频编码流来解码 3声道附加音频编码流，作为三维音频的三维附加音频信号；以及音频后处理装置，用于根据从外部输入的音频恢复模式信息，将由该第一音频解码装置和该第二音频解码装置解码的音频信号输出为二维音频信号或者三维音频信号。
说明书全文	三维数字多媒体广播系统技术领域 [0001] 本发明涉及一种三维数字多媒体广播(3-dimensional Digital MultimediaBroadcasting，3D DMB)系统；具体地涉及3D DMB发送和接收系统，用于通过编码3D音频/视频(AV)来发送3D AV，并且通过将所接收的信号解码为3DAV来向用户提供服务，以便在保持与传统的DMB系统的兼容性的同时来向用户提供更逼真的立体声广播。背景技术 [0002] 由于计算机和通信技术的发展已经显著地改变了人们之间的通信的领域，并且通过将各种多媒体的各种数据连接到诸如数字多媒体广播(DMB)之类的移动技术而取代传统的单向服务来积极地使用双向服务。 [0003] DMB系统是用于在任何时间和任何地点向移动用户提供诸如视频、音频和数据之类的各种多媒体服务的广播系统，并且已经在世界上在韩国第一次准备了DMB系统的服务。 [0004] 作为发送系统的DMB系统使用数字音频广播(DAB)来作为发送系统，使用MPEG-4来作为媒体处理方法，并且使用MPEG-4和MPEG-2系统来作为用于复用、同步和发送媒体数据的规范。可以通过使用DMB系统来向用户提供高质量的CD水平的音频和视频服务。 [0005] 同时，已经引人注目地研发了用于处理具有左右图像的双目(binocular)3D运动图像的技术，并且随后已经尝试集成3D运动图像和数字广播。 [0006] 在处理3D运动图像中在数据量、同步和系统复杂性上存在许多困难，这与传统的2运动图像不同，而且，没有向移动系统中的用户提供用于处理通过照像机输入的真实画面图像的服务，因为一般将焦点集中于计算机图形(CG)处理上。 [0007] 而且，由于多声道声音音频的迅速传播和3D音频获取和恢复技术的发展，用户对数字广播中的立体声的需求日益增加。 [0008] 如上所述，由于对于3D AV的日益增加的兴趣和要求，在诸如体育转播、广告、教育、医疗服务和游戏之类的各种应用领域中使用3D AV。但是，因为DMB服务的焦点集中于2DAV上，所以DMB服务具有真实感和3D效果非常低的问题。 [0009] 需要实现新的MPEG-4系统信息和结构、用于编码/解码3D AV同时保持与传统的DMB系统的兼容的方法、用于根据用户在接收端的选择将3D AV显示为2D AV或者3D AV的方法、以及用于提供2D或者3D AV服务以基于传统的DMB系统来表达3D AV的系统。 [0010] 发明内容 [0011] 技术问题 [0012] 因此，本发明的目的是提供一种三维(3D)数字多媒体广播系统(DMB)，用于提供3D音频/视频(AV)服务，所述系统通过使用传统的系统结构来处理双目的3D运动图像和 3D声音而保持与传统的DMB系统的兼容，并且向用户提供更逼真的3DAV服务。 [0013] 通过下面的说明将理解本发明的其他目的和优点，并且通过如下所述的根据本发明的实施例，本发明的其他目的和优点将变得更清楚。同样清楚的是，可以通过在权利要求及其组合中定义的手段来容易地体现本发明的目的和优点。 [0014] 技术方案 [0015] 根据本发明的一个方面，提供了一种三维数字多媒体广播(3D DMB)发送系统，包括：视频编码装置，用于接收和编码双目3D图像的视频信号；音频编码器，用于接收和编码3D声音的音频信号；对象描述符/二进制格式场景产生装置，用于关于双目三维图像或者三维声音产生场景编码流的对象描述符和二进制格式；同步层分组化装置，用于将从所述视频编码装置、音频编码装置和对象描述符/二进制格式场景产生装置输入的流分组化为同步层分组；以及复用装置，用于变换和复用由所述同步层分组化装置分组化的同步层(SL)分组，并且输出复用的SL分组，其中，所述对象描述符个别地用于关于视频信号/三维视频的三维附加视频信号，或者关于音频信号/三维音频的三维附加音频信号，表达该三维视频或三维音频；所述对象描述符从属地包括针对作为视频信号的左或右视频和右或左视频的所述三维附加视频信号的两个ES_Descriptor，以表达该三维视频；以及所述对象描述符从属地包括针一个对象描述符低对音频信号和三维附加音频信号的两个ES_Descriptor，以表达该三维音频。 [0016] 根据本发明的另一个方面，提供了一种三维数字多媒体广播(3D DMB)接收系统，包括：去复用装置，用于通过去复用包括双目3D图像信息和3D声音信息的流来输出SL分组；去分组化装置，用于去分组化所述SL分组，并且输出双目3D视频信号和3D声音音频信号的编码流；视频解码装置，用于关于所述双目3D视频信号解码编码流；音频解码装置，用于关于所述3D声音音频信号来解码编码流；对象描述符/二进制格式场景解码装置，用于解码所述同步层分组，并且输出二进制格式场景和对象描述符；以及场景恢复装置，用于通过使用从所述视频解码装置和音频解码装置输入的视频/3D附加视频信号和音频/3D附加音频信号，来形成和输出2D音频/视频(AV)或者3D AV场景，其中，所述对象描述符个别地用于关于视频信号/三维视频的三维附加视频信号，或者关于音频信号/三维音频的三维附加音频信号，表达该三维视频或三维音频；所述对象描述符从属地包括针对作为视频信号的左或右视频和所述右或左视频的三维附加视频信号的两个ES_Descriptor，以表达该三维视频；以及所述对象描述符从属地包括针对一个对象描述符低音频信号和三维附加音频信号的两个ES_Descriptor，以表达该三维音频。 [0017] 附图说明 [0018] 通过下面结合附图说明优选实施例，本发明的上述和其他目的和特征将会变得清楚，其中： [0019] 图1是示出根据本发明的一个实施例的三维数字多媒体广播(3D DMB)发送系统的方框图； [0020] 图2是图解图1的视频编码模块的方框图； [0021] 图3是图解图1的3D附加视频编码模块的方框图； [0022] 图4是图解图1的音频编码模块的方框图； [0023] 图5是图1的3D附加音频编码模块； [0024] 图6是图解图5的附加音频前处理器的方框图； [0025] 图7是图解图1的系统编码模块的方框图； [0026] 图8是示出根据本发明的一个实施例的对象描述符(object descriptor，OD)的数据结构的方框图； [0027] 图9是图解在图1的在M2上的M4(M4over M2)模块的方框图； [0028] 图10是示出根据本发明的一个实施例的3D数字多媒体广播接收系统的方框图； [0029] 图11是图解在图10的在M4上的M2(M2over Me)模块的方框图； [0030] 图12是图解图10的系统分析模块的方框图； [0031] 图13是图解图10的3D视频解码模块的方框图； [0032] 图14是图10的3D音频解码模块的方框图； [0033] 图15是图解图14的3D音频后处理器的方框图； [0034] 图16是图解图10的场景产生模块的方框图。 [0035] 具体实施方式 [0036] 通过下面参见附图来说明实施例，本发明的其他目的和优点将变得清楚。因此，本发明所属领域的技术人员可以容易地具体化本发明的技术思想和范围。另外，如果认为关于现有技术的详细说明可能使得本发明的要点模糊，则在此不提供详细说明。而且，在本发明的数字多媒体发送和接收系统中，可以在超短波数字广播视频发送/接收匹配的规范文件可以有益于说明每个元件的功能和操作的范围中，在本说明书中包括电信技术联合会的超短波数字广播视频发送/接收匹配的规范文件。以下参见附图来详细说明本发明的优选实施例。 [0037] 图1是根据本发明的一个实施例的三维数字多媒体广播(3D DMB)发送系统的方框图。 [0038] 本发明的3D数字多媒体广播发送系统是这样的系统，它用于接收音频/视频(AV)数据即视频信号和音频信号和3D附加AV数据即3D附加视频信号和3D附加音频信号、基于MPEG-4来编码该AV数据和3D附加AV数据、以及输出复用的MPEG-2传输流(TS)。 [0039] 如图1中所示，所述3D数字多媒体广播发送系统包括视频编码模块110、3D附加视频编码模块130、音频编码模块120、3D附加音频编码模块140、系统编码模块150和在M2上的M4模块160。 [0040] 在此，视频编码模块110是用于将双目3D运动图像的左图像和右图像之一编码为MPEG-4部分10高级视频编码(Advanced Video Coding，AVC)基线类(baseline profile)规格的模块。 [0041] 音频编码模块120是用于将从外部发送的音频信号编码为MPEG-4位片算术编码(Bit Sliced Arithmetic Coding，BSAC)规格的模块。 [0042] 3D附加音频编码模块140是用于将从外部输入的3D附加音频信号编码为MPEG-4比特BSAC规格的模块。 [0043] 系统编码模块150产生、编码MPEG-4初始对象描述符(Initial ObjectDescriptor，IOD)/OD/二进制格式场景(Binary Format for Scene，BIFS)数据，并且把通过使用从所述4个编码模块110-140输出的基本流(Elementary Stream，ES)产生的对象描述符(OD)/二进制格式场景(BIFS)流和从外部接收的数据分组化为同步层(SL)分组。 [0044] 在M2上的M4模块160接收SL分组数据，将SL分组数据分组化为MPEG-2TS，将被分组化的MPEG-2TS复用为一个MPEG-2TS，并且输出所述MPEG-2TS。 [0045] 图2是图解图1的视频编码模块的方框图。 [0046] 如图2中所示，视频编码模块110包括视频前处理器(pre-processor)111和视频编码器113。视频前处理器111从外部接收关于双目3D运动图像的左或右视频信号，并且将所述图像的大小变换为四分之一视频图形阵列(QuaterVideo Graphic Array，QVGA)320×240或者公共中间格式(Common IntermediateFormat，CIF)352×288的大小。视频编码器113输出视频基本流(ES)，它是通过把大小在附加的视频前处理器111中被转换的视频信号编码成以MPEG-4部分10高级视频编码(AVC)基线类规格和编码参数——它是比特率而获得的。在此，视频编码模块110可以接收和处理一般的2D运动图像视频信号。 [0047] 图3是图解图1的3D附加视频编码模块的方框图。 [0048] 如图3中所示，3D附加视频编码模块130包括附加视频前处理器131和附加视频编码器133。附加视频前处理器131从外部接收关于双目3D运动图像的左或右视频信号，并且将所述图像的大小变换为160×240/320×120或者176×288/352×144，其被缩小为在高度或者宽度上是所述QVGA/CIF大小的一半。附加视频编码器133输出3D附加视频ES，它是通过把在附加视频前处理器131中变换后的视频信号编码成MPEG-4部分10AVC基线类规格和编码参数——它是比特率而获得的。 [0049] 图4是图解图1的音频编码模块的方框图。 [0050] 如图4中所示，音频编码模块120包括音频前处理器121和音频编码器123。音频前处理器121变换从外部接收的音频信号的分辨率和采样频率以满足MPEG-4BSAC规范。音频编码器123接收在音频前处理器121中变换后的音频信号和在3D附加音频编码模块 140中产生的双声道下混合(downmix)音频信号，并且也产生音频ES，所述音频ES被基于编码参数——它是比特率——而编码为MPEG-4BSAC规格。 [0051] 图5是根据本发明的一个实施例的图1的3D附加音频编码模块。 [0052] 如图5中所示，3D附加音频编码模块140包括附加音频前处理器141和附加音频编码器143。附加音频前处理器141通过使用从外部接收的3D附加音频信号来产生和输出双声道下混合(downmix)信号和3声道3D附加音频信号，其中，所述双声道下混合(downmix)信号被输出到MPEG-4音频编码模块120的音频编码器123。附加音频编码器143通过将所述3声道3D附加音频信号编码为MPEG-4BSAC规格而输出3D附加音频ES。在此，所述3D附加音频信号可以是各种多声道立体声信号，诸如5声道立体声信号或者5.1 声道立体声信号，所述5声道立体声信号包括左前扬声器信号L、右前扬声器信号R、前中扬声器信号C、左后扬声器信号LS和右后扬声器信号RS，在所述5.1声道立体声信号中，向所述5个信号加上了亚低音(Sub-Woofer)信号SW。 [0053] 图6是图解图5的附加音频前处理器的方框图。 [0054] 如图6中所示，附加音频前处理块141包括前处理器145和声道混合器147。前处理器145从外部接收作为各种声道立体声信号的3D附加音频信号，处理诸如采样频率和量化比特数目之类的信号特性，并且产生其中执行低通滤波的5声道立体声信号。声道混合器147通过使用由ITU-R BS.775-1规范定义的混合方法从所述5声道立体声信号产生双声道下混合信号LO和R0以及3声道附加音频信号T、Q1和Q2。 [0055] 在此，所述双声道下混合信号LO和R0是当播放立体声时使用的左/右音频信号，并且所述3声道附加音频信号T、Q1和Q2是用于重组原始信号的信号。而且，当输入到前处理器145的3D附加音频信号是5声道立体声信号时，前处理器145可以在无需任何特殊处理的情况下输出所输入的信号。 [0056] 图7是图解图1的系统编码模块的方框图。 [0057] 如图7中所示，系统编码模块150包括SL分组化器(packetizer)151、OD/BIFS产生器153和初始对象描述符(IOD)产生器155。 [0058] 在此，OD/BIFS产生器153通过使用从外部接收的OD/BIFS文本数据来产生和输出OD/BIFS ES。通过关于视频/3D附加视频和音频/3D附加音频个别地使用一个OD来表达3D AV。 [0059] 而且，SL分组化器151从上述的4个编码模块接收视频ES、音频ES、3D附加视频ES、3D附加音频ES和OD/BIFS ES，并且通过根据韩国移动多媒体广播规范将其中每个分组化为SL分组来输出它们。 [0060] IOD产生器155通过使用从外部发送的IOD文本数据来产生和输出IODES。 [0061] 图8是示出根据本发明的一个实施例的对象描述符(OD)的数据结构的方框图。 [0062] 在视频中，针对左或右视频和右或左视频的3D附加视频的两个ES_Descriptor(ES描述符)被从属地包括在一个OD中，以在保持与传统DMB系统的OD/BIFS结构兼容的同时表达3D AV。而且，在音频中，针对一个 OD低音频和和3D附加音频的两个ES_Descriptor具有从属(subordinate)关系。 [0063] 可以通过使用MPEG-4OD的Stream DependenceFlag和depends On_ES_ID来表达所述从属关系。 [0064] 而且，将3D附加视频ES的ObjectTypeIndication设置为User Private(用户专用)，并且将stream type(流类型)设置为Visual(可视)，以提供3D AV服务同时保持与传统DMB系统兼容。3D附加音频ES的ObjectTypeIndication被设置为User Private(用户专用)，并且stream type(流类型)被设置为Audio(音频)。根据传统DMB系统规范来设置其他的视频和音频ES。 [0065] 传统DMB系统不能通过此来关于3D附加AV流识别ObjectTypeIndication信息，并且也不能接收相关的3D附加AV编码流。 [0066] 结果，由于传统的DMB系统可以识别仅一般的2D视频和音频，并且接收仅仅相关的编码流，因此向用户提供了后向兼容，其可以被接收为关于3DAV的2D运动图像。 [0067] 图9是图解图1的在M2上的M4模块的方框图。 [0068] 如图9中所示，在M2上的M4模块160包括分组化的基本流(PacketizedElemenary Stream，PES)分组化器161、PES到TS分组化器162、复用器163、开关164、14496部分分组化器165、PSI产生器166、节目专用信息PSI部分到TS分组化器167和14496部分到TS分组化器168。 [0069] 开关164从系统编码模块150接收OD/BIFS SL分组，并且根据SL分组的编码信息来向PES分组化器161或者14496部分分组化器165输出OD/BIFSSL分组。 [0070] 从系统编码模块150接收的视频SL分组、音频SL分组、3D附加视频SL分组、3D附加音频SL分组以及从开关164输入的OD/BIFS SL分组被PES分组化器161分别分组化为PES，并且输出到PES到TS分组化器162。 [0071] 从开关164输入的OD/BIFS SL分组被14496部分分组化器165分组化为14496部分，并且输出到TS分组化器168。 [0072] PSI产生器166通过使用从系统编码模块150接收的IOD信息来产生包括节目关联表(Program Association Table，PMT)部分(PA_section)和节目映射表(Program Map Table，PMT)部分(PM_section)的PSI，并且向PSI部分到TS分组化器167输出所述PSI。 [0073] 所输入的PES分组被PES到TS分组化器162分组化为MPEG-2TS并且输出到复用器163。 [0074] 所输入地14496部分被14496部分到TS分组化器168分组化为MPEG-2TS，并且输出到复用器163。 [0075] 所述PSI信息被PSI部分到TS分组化器167输入和分组化为MPEG-2TS，并且输出到复用器163。 [0076] 所输入的MPEG-2TS被复用器163复用为一个传输流，并且复用的MPEG-2TS被输出。 [0077] 图10是示出根据本发明的一个实施例的3D数字多媒体广播接收系统的方框图。 [0078] 本发明的3D数字多媒体广播接收系统是用于去复用和解码从外部输入的复用的MPEG-2TS，并且向用户显示2D AV或者3D AV的系统。 [0079] 如图10中所示，所述3D数字多媒体广播接收系统包括在M4上的M2模块210、系统分析模块220、3D视频解码模块230、3D音频解码模块240和场景产生模块250。 [0080] 在此，在M4上的M2模块210通过去复用和去分组化从外部输入的复用的MPEG-2TS来输出视频SL分组、音频SL分组、3D附加视频SL分组、3D附加音频SL分组、OD/BIFS SL分组和IOD数据。 [0081] 系统分析模块220去分组化包括视频SL分组、音频SL分组、3D附加视频SL分组、3D附加音频SL分组和OD/BIFS SL分组的所接收的SL分组，将所述SL分组输出为包括视频ES、音频ES、3D附加视频ES和3D附加音频ES的编码流，并且通过解码IOD数据和OD/BIFS数据来输出IOD数据和OD/BIFS数据。 [0082] 3D视频解码模块230通过解码该视频ES和3D附加视频编码ES来将视频ES和3D附加视频编码ES输出为2D视频场景或者3D视频场景。 [0083] 3D音频解码模块240通过解码该音频ES和3D附加音频ES来将3D音频信号输出为2D或者3D音频信号。 [0084] 场景产生模块250通过使用从3D视频解码模块230和3D音频解码模块240接收的2D/3D视频信号和2D/3D音频信号来根据BIFS的定义而形成和输出场景。 [0085] 图11是图解图10的在M4上的M2模块的方框图。 [0086] 如图11中所示，在M4上的M2模块210包括去复用器211、TS到PES 去分组化器212、TS到14496部分去分组化器213、TS到PSI部分去分组化器214、PES去分组化器215、 14496部分分析器216和PSI部分分析器217。 [0087] 去复用器211个别地去复用从外部输入的被复用的MPEG-2TS，并且将去复用的MPEG-2TS输出为关于视频ES、音频ES、3D附加视频ES、3D附加音频ES、OD/BIFS、14496部分和PSI的单个MPEG-2TS。 [0088] TS到PES去分组化器212从去复用器211接收视频、音频、3D附加视频、3D附加音频和OD/BIFS的MPEG-2TS，并且通过将MPEG-2TS去分组化为PES分组来将所述MPEG-2TS输出到PES去分组化器215。 [0089] TS到14496部分去分组化器213接收14496部分的MPEG-2TS，并且通过将MPEG-2TS去分组化为14496部分而向14496部分分析器216输出所述MPEG-2TS。 [0090] TS到PSI部分去分组化器214接收PSI的MPEG-2TS，并且通过将所述MPEG-2TS去分组化为PMP部分来向PSI部分分析器217输出所述MPEG-2TS。 [0091] PES去分组化器215从TS到PES去分组化器212接收关于视频、音频、3D附加视频、3D附加音频和OD/BIFS的每个PES分组，并且通过将所述PES分组去分组化为SL分组来输出视频SL分组、音频SL分组、3D附加视频SL分组、3D附加音频SL分组和OD/BIFS SL分组。 [0092] 14496部分分析器216从TS到14496部分去分组化器213接收14496部分，并且通过提取OD/BIFS SL分组来输出OD/BIFS SL分组。 [0093] PSI部分分析器217接收PAT部分和PMT部分，并且通过提取IOD数据来输出IOD数据。 [0094] 图12是图解图10的系统分析模块的方框图。 [0095] 如图12中所示，系统分析模块220包括SL去分组化器221、OD/BIFS解码器222和IOD解码器223。 [0096] SL去分组化器221从在M4上的M2模块210接收视频SL分组、音频SL分组、3D附加视频SL分组、3D附加音频SL分组和OD/BIFS SL分组，将它们的每个去分组化为编码流，并且输出视频ES和输出3D附加视频ES到3D视频解码模块230，输出音频ES和3D附加音频ES到3D音频解码模块240，输出OD/BIFS数据到OD/BIFS解码器222。 [0097] OD/BIFS解码器222解码从SL去分组化器221发送的OD/BIFS编码数据，并且向场景产生模块250输出解码的BIFS信息，其中，所解码的OD信息用于初始化每个媒体解码器。 [0098] IOD解码器223通过接收和解码IOD编码数据来输出IOD编码数据，并且解码的IOD数据用于提取OD/BIFS数据。 [0099] 图13是图解图10的3D视频解码模块的方框图。 [0100] 如图13中所示，3D视频解码模块230包括视频解码器231、附加视频解码器233和3D视频后处理器235。 [0101] 视频解码器231 从系统分析模块 220的SL去分组化器221接收320×240/352×288图像大小的MPEG-4部分10AVC规格的视频ES，并且通过解码所述视频ES来向3D视频后处理器235输出所述视频ES。 [0102] 附加视频解码器233从系统分析模块220的SL去分组化器221接收160×240/320×120或者176×288/352×144图像大小的MPEG-4部分10AVC规格的3D附加视频ES，并且通过解码所述3D附加视频ES来向3D视频后处理器235输出3D附加视频ES。 [0103] 3D视频后处理器235分别从视频解码器231和附加视频解码器233接收解码的视频信号和3D附加视频信号，并且当从用户输入的视频恢复模式信息是3D视频恢复模式时通过根据场来合成信号而将视频信号和3D附加视频信号输出为QUGA320×240或者CIF352×288的3D视频信号，或者当视频恢复模式信息是2D视频恢复模式时仅仅输出320×240/352×288图像大小的2D视频信号，而忽略所接收的3D附加视频信号。用户可以通过此选择期望的显示方法来欣赏3D AV。 [0104] 图14是图10的3D音频解码模块的方框图。 [0105] 如图14中所示，3D音频解码模块240包括音频解码器241、附加音频解码器243和3D音频后处理器245。 [0106] 音频解码器241从系统分析模块220的SL去分组化器221接收MPEG-4BSAC规格的音频ES，并且通过解码音频ES而向3D音频后处理器245输出所述音频ES。 [0107] 附加音频解码器243从系统分析模块220的SL去分组化器221接收MPEG-4BSAC规格的3D附加音频ES，并且通过解码所述3D附加音频ES来向3D音频后处理器245输出所述3D附加音频ES。 [0108] 3D音频后处理器245从音频解码器241和附加音频解码器243接收解码的音频信号和3D附加音频信号，通过使用从用户输入的音频恢复信息来产生和输出2D或者3D音频信号。 [0109] 图15是图解图14的3D音频后处理器的方框图。 [0110] 如图15中所示，3D音频后处理器245包括3D/3D开关246、去矩阵化(de-matrixer)器247和虚拟3D合成器248。 [0111] 2D/3D开关246当从用户接收的音频恢复模式信息是3D音频恢复模式时，通过合成解码的音频信号和3D附加音频信号来输出5声道的3D音频信号L0、R0、T、Q1和Q2，或者当音频恢复模式信息是2D音频恢复模式时仅仅输出3D音频信号L0和R0，而忽略被输入的3D附加音频信号。 [0112] 去矩阵化器247接收音频信号和3D音频信号，并且通过使用ITU-RBS.775-1规范来输出5声道音频信号L、R、C、LS和RS。 [0113] 虚拟3D合成器248通过将所述5声道音频信号变换为由双声道的虚拟声音信号L和R形成的3D音频信号来接收和输出所述5声道音频信号。 [0114] 图16是图解图10的场景产生模块的方框图。 [0115] 如图16所示，场景产生模块250包括场景形成单元251和呈现器(renderer)253。 [0116] 场景形成单元251从3D视频解码模块230和3D音频解码模块240接收诸如2D/3D视频信号和2D/3D音频信号的AV数据，并且向呈现器253输出根据从系统分析模块220的OD/BIFS解码器222接收的BIFS数据来构成场景的、诸如2D/3D视频场景和2D/3D音频的AV场景。 [0117] 呈现器253通过呈现所述AV场景来接收和输出来自场景形成单元251的诸如2D/3D视频场景和2D/3D音频的AV场景。 [0118] 因此，有可能实现一种系统，它能够在保持与传统DMB系统兼容的同时向用户提供3D AV内容服务。 [0119] 如详细所述，本发明可以被体现为程序，并且被存储在计算机可读记录介质中，诸如CD-ROM、RAM、ROM、软盘、硬盘和磁光盘。因为可以由本领域内的技术人员容易地实现所述处理，因此在此不进一步说明。 [0120] 本发明可以在保持与传统数字多媒体广播(DMB)系统兼容的同时向用户提供二维音频/视频(2D AV)或者更逼真的三维(3D)AV服务。 [0121] 而且，本发明具有附加的效果：本发明可以通过使用传统的DMB系统经济地实现一种提供3D AV服务的系统。 [0122] 虽然已经参见某些的优选实施例而描述了本发明，但是对于本领域内的技术人员而言很清楚，可以在不脱离如所附的权利要求所限定的本发明的范围的情况下，进行各种改变和修改。