多路媒体流传输和接收的方法、装置及系统

摘要

本发明的实施例公开了一种多路媒体数据流传输和接收的方法、装置及系统，涉及网络技术，能够解决多路媒体流不能自由组合输出的问题。多媒体通信中多路媒体数据流的传输方法，包括：对要传输的多路媒体数据流进行分组；对所述分组后的多路媒体数据流进行分组描述；传输所述分组后的多路媒体数据流及与所述媒体数据流对应的分组描述。多媒体通信中多路媒体数据流的接收处理方法，包括：接收带有分组描述的多路媒体数据流及与所述媒体数据流对应的分组描述；根据所述接收的多路媒体数据流的分组描述，分组输出所述媒体数据流。本发明的实施例适用于多媒体通信中的多路媒体流传输和输出。

权利要求

1.一种多媒体通信中多路媒体数据流传输的方法，其特征在于，包括：对要传输的多路媒体数据流进行分组；

对所述分组后的多路媒体数据流进行分组描述，所述分组描述为所述多路媒体数据流中的每路媒体数据流指定组别特征；其中，对所述分组后的多路媒体数据流进行分组描述，包括：在与媒体数据流相关的控制协议中携带分组描述；

传输所述分组后的多路媒体数据流及与所述媒体数据流对应的分组描述。

2.如权利要求1所述的方法，其特征在于，所述对要传输的多路媒体数据流进行分组具体为：根据媒体数据流的接口之间的位置关系进行分组，即将同一物理接口或位置相近的物理接口的媒体数据流分为一组；或通过音频和/或视频的空间位置进行分组，即通过摄像机获取图像的空间位置，麦克风获取声音的空间位置，将图像的空间位置、和/或声音位置一致或相近的视频、和/或音频作为一组；或利用阵列麦克风拾取出多路音源位置，形成相应的独立音频流后，将所述多路音频流进行分组；或通过广角摄像机获取到全景图像后，将所述全景图像切分成多路分离的图像后，将多路视频流进行分组。

3.如权利要求1或2所述的方法，其特征在于，所述对要传输的多路媒体数据流进行分组，包括：由会议控制设备通过转发多路媒体数据流的分组关系更改分组关系；或由会议控制设备对不同会场的多路媒体数据流进行分组。

4.如权利要求1或2所述的方法，其特征在于，所述的媒体数据流具体为以下的一种或多种：音频流、视频流、数据流。

5.一种多媒体通信中多路媒体数据流接收处理的方法，其特征在于，包括：接收带有分组描述的多路媒体数据流及与所述媒体数据流对应的分组描述，所述分组描述为所述多路媒体数据流中的每路媒体数据流指定组别特征，其中，所述分组描述携带于与媒体数据流相关的控制协议中；

根据所述接收的多路媒体数据流的分组描述，分组输出所述媒体数据流，使所述多路媒体数据流中的每路媒体数据流输出到与其分组相对应的输出接口或输出设备上。

6.如权利要求5所述的方法，其特征在于，根据所述接收的多路媒体数据流的分组描述，分组输出所述媒体数据流包括：根据所述接收的媒体数据流的分组描述将所述接收的视频数据输出到相应的视频输出接口；和/或将所述接收的音频数据输出到相应的音频数据接口；和/或

将所述接收的数据业务数据输出到相应的数据业务数据输出接口。

7.如权利要求6所述的方法，其特征在于，将所述接收的数据业务数据输出到相应的数据业务数据输出接口包括：所述数据业务数据输出接口对接收到的多个发送端的数据业务数据进行切换输出。

8.如权利要求5所述的方法，其特征在于，根据所述接收的多路媒体数据流的分组描述，分组输出所述媒体数据流包括：根据所述接收的多路媒体数据流的分组描述，将视频数据输出到相应的显示设备上，获取所述显示设备的空间位置信息，将与所述视频数据相关的音频数据用至少一个扬声设备输出，使得输出的音频空间位置与所述显示设备的空间位置相同或相近。

9.如权利要求5所述的方法，其特征在于，还包括：

根据所述接收的媒体数据流的分组描述对输出接口输出的视频数据、音频数据或数据业务数据进行切换。

10.一种多媒体通信中多路媒体数据流传输的装置，其特征在于，包括：分组单元，用于对要传输的多路媒体数据流进行分组；

分组描述单元，对所述分组后的多路媒体数据流进行分组描述，所述分组描述为所述多路媒体数据流中的每路媒体数据流指定组别特征；其中，所述分组描述单元对所述分组后的多路媒体数据流进行分组描述，包括：在与媒体数据流相关的控制协议中携带分组描述；

数据传输单元，传输所述分组后的多路媒体数据流及与所述媒体数据流对应的分组描述。

11.根据权利要求10所述的装置，其特征在于，所述分组单元通过以下任一项对要传输的多路媒体数据流进行分组：根据媒体数据流的接口之间的位置关系进行分组，即将同一物理接口或位置相近的物理接口的媒体数据流分为一组；或通过音频和/或视频的空间位置进行分组，即通过摄像机获取图像的空间位置，麦克风获取声音的空间位置，将图像的空间位置、和/或声音位置一致或相近的视频、和/或音频作为一组；或利用阵列麦克风拾取出多路音源位置，形成相应的独立音频流后，将所述的多路音频流进行分组；或通过广角摄像机获取到全景图像后，将所述全景图像切分成多路分离的图像后，将多路视频流进行分组。

12.根据权利要求10至11中任一项所述的装置，其特征在于，所述媒体数据流具体为以下的一种或多种：音频流、视频流、数据流。

13.一种多媒体通信中多路媒体数据流接收处理的装置，其特征在于，包括：接收单元，用于接收带有分组描述的多路媒体数据流及与所述媒体数据流对应的分组描述，所述分组描述为所述多路媒体数据流中的每路媒体数据流指定组别特征，所述分组描述携带于与媒体数据流相关的控制协议中；

输出单元，用于根据所述接收的多路媒体数据流的分组描述，分组输出所述媒体数据流，使所述多路媒体数据流中的每路媒体数据流输出到与其分组相对应的输出接口或输出设备上。

14.根据权利要求13所述的装置，其特征在于，还包括：

切换单元，用于根据所述接收单元接收的媒体数据流的分组描述对所述输出单元输出的媒体数据流进行切换。

15.一种会议终端，其特征在于，包括：

发送装置，用于获取要传输的多路媒体数据流并进行分组，对所述分组后的多路媒体数据流进行分组描述，并传输所述分组后的多路媒体数据流及与所述媒体数据流对应的分组描述；其中，对所述分组后的多路媒体数据流进行分组描述，包括：在与媒体数据流相关的控制协议中携带分组描述；

和/或

接收处理装置，用于接收带有分组描述的多路媒体数据流及与所述媒体数据流对应的分组描述，所述分组描述携带于与媒体数据流相关的控制协议中，并根据所述接收的多路媒体数据流的分组描述，分组输出所述媒体数据流，使所述多路媒体数据流中的每路媒体数据流输出到与其分组相对应的输出接口或输出设备上；

其中，所述分组描述为所述多路媒体数据流中的每路媒体数据流指定组别特征。

16.根据权利要求15所述的会议终端，其特征在于，所述发送装置包括：分组单元，用于对要传输的多路媒体数据流进行分组，包括根据媒体数据流的接口之间的位置关系进行分组，或通过音频和/或视频的空间位置进行分组，或利用阵列麦克风拾取出多路音源位置，形成相应的独立音频流后，将所述的多路音频流进行分组；或通过广角摄像机获取到全景图像后，将所述全景图像切分成多路分离的图像后，将多路视频流进行分组；

分组描述单元，对所述分组后的多路媒体数据流进行分组描述；包括在媒体数据流或与媒体数据流相应的承载通道中携带分组描述；或在与媒体数据流相关的控制协议中携带分组描述；或在媒体数据流中增加携带与媒体数据相应的分组描述的控制消息；

数据传输单元，传输所述分组后的多路媒体数据流及与所述媒体数据流对应的分组描述。

17.一种多媒体通信中多路媒体数据流传输的系统，其特征在于，包括：数据获取装置，包括视频获取设备、音频获取设备或数据获取设备，用于获取多路媒体数据流；

传输装置，用于对所述数据获取装置获取的多路媒体数据流进行分组，对所述分组后的多路媒体数据流进行分组描述，并传输所述分组后的多路媒体数据流及与所述媒体数据流对应的分组描述；其中，对所述分组后的多路媒体数据流进行分组描述，包括：在与媒体数据流相关的控制协议中携带分组描述；

接收处理装置，用于接收带有分组描述的多路媒体数据流及与所述媒体数据流对应的分组描述，并根据所述接收的多路媒体数据流的分组描述，分组输出所述媒体数据流，使所述多路媒体数据流中的每路媒体数据流输出到与其分组相对应的输出接口或输出设备上；

数据输出装置，用于将所述分组后的媒体数据流通过视频输出设备、音频输出设备或数据输出设备进行输出；

其中，所述分组描述为所述多路媒体数据流中的每路媒体数据流指定组别特征。

18.根据权利要求17所述的系统，其特征在于，所述传输装置包括：分组单元，用于对要传输的多路媒体数据流进行分组，包括根据媒体数据流的接口之间的位置关系进行分组，或通过音频和/或视频的空间位置进行分组，或利用阵列麦克风拾取出多路音源位置，形成相应的独立音频流后，将所述的多路音频流进行分组；或通过广角摄像机获取到全景图像后，将所述全景图像切分成多路分离的图像后，将多路视频流进行分组；

分组描述单元，对所述分组后的多路媒体数据流进行分组描述；包括在媒体数据流或与媒体数据流相应的承载通道中携带分组描述；或在与媒体数据流相关的控制协议中携带分组描述；或在媒体数据流中增加携带与媒体数据相应的分组描述的控制消息；

数据传输单元，传输所述分组后的多路媒体数据流及与所述媒体数据流对应的分组描述。

19.根据权利要求17或18所述的系统，其特征在于，还包括：会议控制设备，用于通过转发媒体数据流分组关系更改分组关系，或对不同会场的多路媒体数据流进行分组。

说明书

多路媒体流传输和接收的方法、装置及系统

技术领域

[0001] 本发明涉及网络技术，尤其涉及一种多媒体通信中多路媒体流传输和接收的方法、装置及系统。

背景技术

[0002] 为了进一步增强会议的临床感，在会议电视中，常常需要同时传送一个会场的多个(或多组)与会人的视频、音频以及数据。基于ITU-T H.239的标准定义了会议电视中多路媒体流的传输，终端和终端以及终端和MCU(MultipointControl Unit，多点控制单元)之间可以传送多路媒体流，目前该标准只定义了如何传送一路辅助视频流，同时H.239只定义了每路媒体流的角色，该角色可以是活动图像或幻灯片内容，但并不能表明多路媒体流之间的关系，因此接收端获取到多路媒体数据后，需要由接收端进行操作处理后再进行输出。

[0003] 如图1所示为现有技术的会议电视中多一种路媒体流传输的方法示意图。会场A和会场B分别放置两套会议电视终端，每套终端供1个(或1组)与会人使用。其中，各套终端分别包括摄像头、麦克风、显示设备和扬声器等设备。另外，两个会场A、B之间通过交换机连接网络。会场A的终端1与会场B的终端3建立连接，会场A的终端2与会场B的终端4建立连接，这样会场A的终端1将呈现会场B的终端3采集的声像和数据，会场A的终端2将呈现会场B的终端4采集的声像和数据。反过来，会场B的终端3将呈现会场A的终端1采集的声像和数据，会场B的终端4将呈现会场A的终端2采集的声像和数据。通过这样的技术方案，实现了两个会场双路视音频流的传送。

[0004] 现有技术中还有另一种为视频布局产生对应音频位置的方法，包括：由MCU产生合成多个端点图像的多画面视频和与多画面布局相应的声音位置信息，并根据接收端的扬声器情况将多个音频流、多画面视频和声音位置信息发送给接收端，接收端根据位置信息使用多个音频流进行重现，使得与会者听到的端点声音的位置和多画面中端点的位置(布局)接近。对于与会者来说，与在显示屏近端处的扬声器处的音频广播相比较，在屏幕远端的扬声器处的音频广播可能被衰减，或者被延时。这种方案能够增强会议的临床感。但这种方案中声音位置由MCU确定，由终端执行，缺乏灵活性，终端不能对声音的位置作自主调整。现有技术无法实现多媒体通信中多路媒体流自由组合输出，并且没有考虑到数据业务的传输和处理。

发明内容

[0005] 本发明的实施例提供了一种多媒体通信中多路媒体流传输和输出的方法、装置和系统，能够解决多媒体通信中多路媒体流不能自由组合输出的问题。

[0006] 本发明的实施例采用如下技术方案：

[0007] 一种多媒体通信中多路媒体数据流的传输方法，包括：

[0008] 对要传输的多路媒体数据流进行分组；对所述分组后的多路媒体数据流进行分组描述；传输所述分组后的多路媒体数据流及与所述媒体数据流对应的分组描述。

[0009] 本发明的实施例还提供了一种多媒体通信中多路媒体数据流的接收处理方法，包括：接收带有分组描述的多路媒体数据流；根据所述接收的多路媒体数据流的分组描述，分组输出所述媒体数据流。

[0010] 本发明的实施例还提供了一种多媒体通信中多路媒体数据流的传输装置，包括：分组单元，用于对要传输的多路媒体数据流进行分组；分组描述单元，对所述分组后的多路媒体数据流进行分组描述；数据传输单元，传输所述分组后的多路媒体数据流及与所述媒体数据流对应的分组描述。

[0011] 本发明的实施例还提供了一种多媒体通信中多路媒体数据流的接收处理装置，包括：接收单元，用于接收带有分组描述的多路媒体数据流及与所述媒体数据流对应的分组描述；输出单元，用于根据所述接收的多路媒体数据流的分组描述，分组输出所述媒体数据流。

[0012] 本发明的实施例还提供了一种会议终端，包括：

[0013] 发送装置，用于获取要传输的多路媒体数据流并进行分组，对所述分组后的多路媒体数据流进行分组描述，并传输所述分组后的多路媒体数据流及与所述媒体数据流对应的分组描述；和/或

[0014] 接收处理装置，用于接收带有分组描述的多路媒体数据流及与所述媒体数据流对应的分组描述，并根据所述接收的多路媒体数据流的分组描述，分组输出所述媒体数据流。

[0015] 本发明的实施例还提供了一种多媒体通信中多路媒体数据流传输的系统，包括：

[0016] 数据获取装置，包括视频获取设备、音频获取设备或数据获取设备，用于获取多路媒体数据流；

[0017] 传输装置，用于对所述数据获取装置获取的多路媒体数据流进行分组，对所述分组后的多路媒体数据流进行分组描述，并传输所述分组后的多路媒体数据流及与所述媒体数据流对应的分组描述；

[0018] 接收处理装置，用于接收带有分组描述的多路媒体数据流及与所述媒体数据流对应的分组描述，并根据所述接收的多路媒体数据流的分组描述，分组输出所述媒体数据流；

[0019] 数据输出装置，用于将所述分组后的媒体数据流通过视频输出设备、音频输出设备或数据输出设备进行输出。

[0020] 本发明实施例提供的多媒体通信中多路媒体流传输和接收的方法、装置及系统，能够将多路媒体数据进行分组，并且对各个分组进行分组描述，将分组后多媒体数据流以及分组描述进行发送；而在接收到携带分组描述的多媒体数据流以及与所述多媒体数据流对应的分组描述后，根据这些分组描述，分组输出所述媒体数据流，因而实现了多路媒体流的自由组合输出。

附图说明

[0021] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

[0022] 图1为现有技术会议电视中多路媒体流传输的方法示意图；

[0023] 图2为本发明实施例多媒体通信中多路媒体数据流传输的方法流程图；

[0024] 图3为本发明实施例多媒体通信中多路媒体数据流输出的方法流程图；

[0025] 图4为本发明实施例一多媒体通信中多路媒体数据流传输和输出的方法示意图；

[0026] 图5为本发明实施例一的方法流程图；

[0027] 图6为本发明实施例一多路媒体流在输入端进行分组的示意图；

[0028] 图7为本发明实施例一多路媒体流在输出端进行分组的示意图；

[0029] 图8为本发明实施例二多媒体通信中多路媒体数据流传输和输出的方法示意图；

[0030] 图9为本发明实施例三多媒体通信中多路媒体数据流传输和输出的方法流程图；

[0031] 图10为本发明实施例多媒体通信中多路媒体数据流传输的装置示意图；

[0032] 图11为本发明实施例多媒体通信中多路媒体数据流接收处理的装置示意图；

[0033] 图12为本发明实施例多媒体通信中多路媒体数据流传输的系统示意图。

具体实施方式

[0034] 下面结合附图对本发明实施例多媒体通信中多路媒体流传输和接收的方法、装置和系统进行详细描述。

[0035] 应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0036] 如图2所示，本发明的实施例多媒体通信中多路媒体流传输的方法，包括：

[0037] S201、对要传输的多路媒体数据流进行分组。

[0038] 其中，要对多路媒体数据流进行分组可以采用以下任一种方式：

[0039] 根据媒体数据流的接口之间的位置关系进行分组，即将同一物理接口或位置相近的物理接口的媒体数据流分为一组；或通过音频和/或视频的空间位置进行分组，即通过摄像机获取图像的空间位置，麦克风获取声音的空间位置，将图像的空间位置、和/或声音位置一致或相近的视频、和/或音频作为一组；或利用阵列麦克风拾取出多路音源位置，形成相应的独立音频流后，将所述多路音频流进行分组；或通过广角摄像机获取到全景图像后，将所述全景图像切分成多路分离的图像后，将所述的多路视频流进行分组。

[0040] S202、对所述分组后的多路媒体数据流进行分组描述。

[0041] 具体地，可以通过在媒体数据流或与媒体数据流相应的承载通道中携带分组描述；或在与媒体数据流相关的控制协议中携带分组描述；或在媒体数据流中增加携带与媒体数据相应的分组描述的控制消息，从而实现对分组后的多路媒体数据流进行分组描述。

[0042] S203、传输所述分组后的多路媒体数据流及与所述媒体数据流对应的分组描述。

[0043] 本发明实施例提供的多路媒体流传输的方法通过将多路媒体数据流进行分组，并给分组后的媒体数据流加上分组描述，能够为传输的媒体数据流指定组别特征，接收终端能够根据该分组描述进行相应的输出处理，从而实现了多路媒体流在不同终端的自由组合传输。

[0044] 如图3所示，本发明的实施例多媒体通信中多路媒体流接收处理的方法，包括：

[0045] S301、接收带有分组描述的多路媒体数据流以及与所述媒体数据流对应的分组描述。

[0046] 具体地，分组描述可以携带在媒体数据流或与媒体数据流相应的承载通道中；或携带在与媒体数据流相关的控制协议中；或携带在媒体数据流中增加的控制消息中。

[0047] S302、根据所述接收的多路媒体数据流的分组描述，分组输出所述媒体数据流及与所述媒体数据流对应的分组描述。

[0048] 本发明的实施例多媒体通信中多路媒体流接收处理的方法通过接收带有分组描述的多路媒体数据流以及与所述媒体数据流对应的分组描述，再根据所述分组描述分组输出所述媒体数据，从而实现了多路媒体流能够在不同终端的自由组合输出。

[0049] 下面通过不同场景下多媒体通信中多路媒体流的传输和输出的实际应用对本发明的具体实施方式进行说明。

[0050] 实施例一

[0051] 如图4所示，为本实施例多路媒体流传输和输出场景的示意图。本实施例以会场A发送多路媒体流、会场B接收多路媒体流为例。必须说明的是，在实际应用中，会场A和会场B一般同时包括发送和接收设备，在终端上也同时包括发送和接收设备。为了方便说明本发明，本发明的实施例做了简化。

[0052] 本实施例中，会场A包括与会人P1和P2，终端1，P1和P2分别有与之对应的麦克风1、摄像1和数据处理设备1(比如一台电脑)，会场B包括终端2，多个与会人P3，分别位于位置1的显示器1和扬声器1，和位置3的显示器3和扬声器3，位于位置2的显示器2。终端1与终端2通过网络连接。如图5所示，基本的处理过程如下：

[0053] S501、终端1采集到6路媒体数据并进行分组。这6组媒体数据包括：数据业务媒体1、数据业务媒体2，视频媒体1、视频媒体2，音频媒体1、音频媒体2。

[0054] 可以根据媒体数据流的接口之间的位置关系进行分组，即将同一物理接口或位置相近的物理接口的媒体数据流分为一组。如图6所示，将这6路媒体流划分为两组L1和L2，其中L1组的媒体数据与与会人P1对应，包括：数据业务媒体1，视频媒体1，音频媒体1；L2组的媒体流与与会人P2对应，包括：数据业务媒体2，视频媒体2，音频媒体2。

[0055] 上述为终端1根据接口关系确定分组的方法，对应与会人P1的视频输入、音频输入、数据业务输入接口收到的数据作为L1组，对应与会人P2的视频输入、音频输入、数据业务输入接口收到的数据作为L2组。视频接口可以是CVBS(Composite Video Broadcast Signal或Composite Video Blanking and Sync，复合视频广播信号)接口、S-Video(Separate Video，分离视频)接口、VGA(VideoGraphics Array，视频图像阵列)接口、DVI(Digital Visual Interface，数字视频)接口等。音频接口可以是各种形式MIC(Medium Interface Connector，媒体接口连接器)、Line IN(输入信号)模拟或数字接口。数据业务接口可以是网口、USB，也可以是VGA接口(数据内容在PC上已经转换为视频输出)，数据业务内容包括文件或幻灯片播放。这些接口物理上也可能是合并的，例如视频接口和音频接口可以合并为HDMI(High Definition Multimedia Interface，高清晰多媒体)接口或IEEE1394接口，甚至视频、音频、数据业务可以均通过USB接口连接，这种情况下视频、音频、数据业务还可以通过逻辑通道进行传输。

[0056] 本发明并不局限于此，各分组也可能存在多组视频、音频、数据业务流，例如分组L1也可以有两路音频输入，两路视频输入。

[0057] 确定分组关系的方法还可以是，通过音频和/或视频的空间位置进行分组，即通过摄像机获取图像的空间位置，麦克风获取声音的空间位置，将图像的空间位置、和/或声音位置一致或相近的视频、和/或音频作为一组。

[0058] 确定分组关系的方法还可以是，利用阵列麦克风拾取出多路音源位置，形成相应的独立音频流后，将所述多路音频流进行分组；或通过广角摄像机获取到全景图像后，将所述全景图像切分成多路分离的图像后，将所述的多路视频流进行分组。之后再将相应的视频媒体和音频媒体分类到一组，例如可以将视频媒体和音频媒体根据位置关系进行分组。即进行分组的媒体流可以是通过其他手段构成的，而不一定是直接从接口获得的。

[0059] S502、终端1将经过分组后的媒体数据流进行压缩编码。

[0060] S503、对所述分组后的多路媒体数据流进行分组描述。

[0061] 对多路媒体数据流进行分组描述有如下三种方式：

[0062] 方式一在媒体数据流或与媒体数据流相应的承载通道中携带分组描述。

[0063] 例如，RTP的扩展头部或媒体数据流中可以携带分组描述。具体地，可以在RTP的扩展头部或媒体数据流中的扩展字段或特定字段中填充组别特征。

[0064] 例如，在RTP的扩展头部(RTP Header Extension)填充分组描述字段，具有相同分组描述的RTP流，为同一组。或者，还可以在相应的承载通道中标识分组描述，例如，在RTP的数据(payload)中进行字段扩展，增加分组描述。

[0065] 另外还可以自定义RTP的扩展头部，并在自定义的扩展头部内携带分组描述。

[0066] SIP/SDP通信中也可以通过在RTP中进行标识，实现分组描述的携带。

[0067] 方式二在与媒体流相关的控制协议中携带分组描述信息。具体地，可以在控制协议中的扩展字段中填充组别特征。

[0068] 以H.323标准为例，每一个媒体流都会分配对应的会话ID(sessionID)，这样就可以通过为每个会话ID指定分组描述来关联相关的会话，比如在打开逻辑通道(OpenLogicalChannel)消息中，扩展一个分组描述字段，用于填充分组描述，如下面的定义：

[0069] OpenLogicalChannel ::＝SEQUENCE

[0070] {

[0071] forwardLogicalChannelNumber LogicalChannelNumber，

[0072] forwardLogicalChannelParametersSEQUENCE

[0073] {

[0074] portNumber INTEGER(0..65535)OPTIONAL，

[0075] dataType DataType，

[0076] multiplexParameters CHOICE

[0077] {

[0078] h222LogicalChannelParameters H222LogicalChannelParameters，

[0079] h223LogicalChannelParameters H223LogicalChannelParameters，

[0080] v76LogicalChannelParametersV76LogicalChannelParameters，

[0081] ...，

[0082] h2250LogicalChannelParameters H2250LogicalChannelParameters，

[0083] none NULL --for use with Separate Stack when[0084] --multiplexParameters are not required[0085] --or appropriate

[0086] }，

[0087] ...，

[0088] forwardLogicalChannelDependency LogicalChannelNumber OPTIONAL，[0089] --also used to refer to the primary logical channel when using video redundancy

[0090] coding

[0091] replacementFor LogicalChannelNumber OPTIONAL，

[0092] groupID INTEGER(0..65535)OPTIONAL

[0093] }，

[0094] --Used to specify the reverse channel for bi-directional open request[0095] reverseLogicalChannelParameters SEQUENCE

[0096] {

[0097] dataType DataType，

[0098] multiplex Parameters CHOICE

[0099] {

[0100] --H.222parameters are never present in reverse direction[0101] h223LogicalChannelParameters H223LogicalChannelParameters，[0102] v76LogicalChannelParameters V76LogicalChannelParameters，[0103] ...，

[0104] h2250LogicalChannelParameters H2250LogicalChannelParameters[0105] }OPTIONAL，--Not present for H.222

[0106] ...，

[0107] reverseLogicalChannelDependency LogicalChannelNumber OPTIONAL，[0108] --also used to refer to the primary logical channel when using video redundancy

[0109] coding

[0110] replacementFor LogicalChannelNumber OPTIONAL

[0111] }OPTIONAL，--Not present for uni-directional channel request[0112] ...，

[0113] separateStack NetworkAccessParameters OPTIONAL，

[0114] --for Open responder to establish the stack[0115] encryptionSync EncryptionSync OPTIONAL --used only by Master[0116] }

[0117] 其中groupID即为扩展的分组描述字段，用于填充分组描述。

[0118] 方式三在媒体数据流中增加携带相应的媒体数据的分组描述的控制消息。具体地，在各所述控制消息中定义了组别特征，在所述控制消息的消息体中包括属于同一分组的至少一个媒体流。

[0119] 例如，增加一个控制消息，该消息用于通知对端哪些媒体数据是同一分组。假设分组L1的的视频、音频、数据业务数据的会话逻辑通道号分别为1，2，3，则传送一个消息GroupIndication，该消息中包含逻辑通道号1，2，3，这样接收端根据该消息判断逻辑通道号1，2，3的媒体数据是同一组的。

[0120] 采用SIP/SDP协议进行多媒体通信时，也可以通过采用多个会话(session)的方式来实现分组描述的携带。例如：

[0121] v＝0

[0122] o＝mhandley 28908445262890842807IN IP4126.16.64.4

[0123] s＝P1

[0124] m＝audio 49170RTP/AVP 0

[0125] m＝video 51372RTP/AVP 31

[0126] m＝application 32416udp wb

[0127] v＝0

[0128] o＝mhandley 28908445262890842807IN IP4126.16.64.4

[0129] s＝P2

[0130] m＝audio 49171RTP/AVP 0

[0131] m＝video 51373RTP/AVP 31

[0132] m＝application 32417udp wb

[0133] 其中，会话P1(S＝P1)对应于分组L1，会话P2(S＝P1)对应于分组L2，分别包含音频、视频和应用数据流。

[0134] 当然也可以通过增加一个属性来说明分组，例如：

[0135] v＝0

[0136] m＝audio 49170RTP/AVP 0

[0137] m＝video 51372RTP/AVP 31

[0138] m＝application 32416udp wb

[0139] m＝audio 49171RTP/AVP 0

[0140] m＝video 51373RTP/AVP 31

[0141] m＝application 32417udp wb

[0142] g＝491705137232416

[0143] g＝491715137332417

[0144] 通过g＝491705137232416这一说明将端口49170，51372，32416相应的媒体数据划分为一组，通过g＝491715137332417将49171，51373，32417端口相应的媒体数据划分为另外一组。

[0145] 另外，也可以通过直接扩展媒体描述，增加分组说明来实现分组，例如：

[0146] v＝0

[0147] m＝audio 49170RTP/AVP 0group1

[0148] m＝video 51372RTP/AVP 31group1

[0149] m＝application 32416udp wb group1

[0150] m＝audio 49171RTP/AVP 0group2

[0151] m＝video 51373RTP/AVP 31group2

[0152] m＝application 32417udpwb group2

[0153] 这样，媒体描述中的group1，group2用于说明该媒体流对应的组号，相同组号的媒体流为同一组。group1和group2可以是数字或字符标识。

[0154] S504、终端1将多路媒体数据发送给终端2。

[0155] S505、终端2接收到带有分组描述的媒体数据，进行解码解压缩处理。

[0156] S506、根据分组描述输出媒体数据。

[0157] 如图4、图7所示，具体为：根据分组关系，确定将分组L1对应的视频数据1和音频数据1输出到位置1的显示器1和扬声器1，将分组L2的视频数据2和音频数据2输出到位置3的显示器3和扬声器3，将分组L1和L2的数据业务媒体1和数据业务媒体2按需输出到位置2的显示器2。

[0158] 本发明的实施例还可以实现数据业务数据输出接口对获取到的多个发送端的数据业务进行切换输出，即可以按需切换。例如，当发送端的与会人P1讲解幻灯片时则将数据业务输出接口切换到L1的数据业务输出，当P2讲解幻灯片时切换到L2的数据业务输出。这里的视频、音频、数据业务输出接口也可以是和前面提到的输入接口一样的各种形式和组合。

[0159] 本发明的实施例还可以实现根据所述接收的媒体数据流的分组描述对输出接口输出的视频数据、音频数据或数据业务数据进行切换。例如，终端2还可以进一步根据分组描述，自动控制当与会人P1讲解幻灯片时，将视频输出1和视频输出2接口的输出内容都切换为分组L1的视频，将音频输出1和音频输出2都切换为输出分组L1的音频，这样可以使得会场B的与会人能够在各自的显示器上同时看到P1的图像，在各自的扬声器上听到P1的声音。进一步地，同时接收端可以通知发送端暂停发生L2组的视音频采集或者暂停L2组的视音频的传输，以减少对带宽的占用。

[0160] 连接终端1和终端2的网络可以是电路域网络(如E1/SDH/ISDN)，也可以是分组网络(如IP网络)，通信协议可以采用H.320/H.323/H.324/SIP等。

[0161] 上述实施例中，将视频媒体1、音频媒体1和数据业务媒体1划分为1组，这是一种常见的应用情况，但实际的分组可以非常灵活，例如将视频媒体2作为1组，将音频媒体2与视频媒体1作为1组。

[0162] 通过上述步骤，本发明实施例实现了通过分组将多路媒体数据进行传输和输出，从而接收端能够将多路媒体流进行自由组合输出，还解决了与视音频对应的数据业务的传送和控制。本发明实施例还实现了在一个会场使用单个终端，因此也解决了现有技术使用多个终端带来的成本过高的问题。

[0163] 实施例二

[0164] 在实施例一的基础上，本实施例多路媒体数据流传输和输出的方法还可以通过中间设备(譬如：会议控制设备，具体可以为多点控制单元MCU)来处理。

[0165] MCU在接收到携带分组描述的媒体数据流及相应的分组描述之后，获取各路媒体数据的分组描述，并可以根据输出需要重新确定各路媒体数据流的分组关系。本实施例中，可以通过多点控制单元MCU转发媒体数据流的分组关系从而更改媒体数据流之间的分组关系，或重新生成多路媒体数据流的分组关系。

[0166] 如图8所示，终端1发送的视频媒体流和音频媒体流，以及终端3发送的数据业务媒体流在MCU处组合为一个新组L后发送给终端2。具体的组合方式不限于上述实施例。

[0167] 可以理解：在视讯会议中，会议控制设备主要完成主要媒体流控制，因此，采用这种方式能够较为灵活地根据一些会议终端的请求，将相应的媒体流(音频媒体流、视频媒体流以及数据媒体流)结合在一起，能够多样化的满足用户的需求。

[0168] 本发明实施例实现了通过分组将多路媒体流进行传输和输出，从而接收端能够将多路媒体流进行自由组合输出，还解决了与视音频对应的数据业务媒体流的传送和控制。

[0169] 实施三

[0170] 本实施例为在实施一中传输多路媒体数据流的基础上，终端2输出多路媒体流的方法，具体包括如下步骤：

[0171] S901、在会场B中布置多个扬声器；

[0172] S902、终端2获取会场B中各显示器的空间位置信息；

[0173] S903、将接收到的分组L1中视频数据1通过位置1的显示器1输出，分组L2中的视频数据2通过位置3的显示器3输出。

[0174] S904、将接收到的分组L1的音频数据1通过会场B中的至少一个扬声器进行输出，使得其空间位置感与位置1的显示器1相同或相近。

[0175] S905、将接收到的分组L2的音频数据2通过会场B中的至少一个扬声器进行输出，使得其空间位置感与位置3的显示器3相同或相近。

[0176] 上述步骤S904和S905并不局限于上述顺序，步骤S905可以在步骤S904之前。

[0177] 本实施例能够在多会场中实现与会人听到的声音与相应的视频位置相同或相近，因而更好地实现了会议电视的真实感。

[0178] 本发明的实施例还提供了一种多路媒体流传输的装置，能够解决多路媒体流只能在特定的终端之间传输的问题。

[0179] 如图10所示，本发明的实施例多媒体通信中多路媒体数据流传输的装置，包括：

[0180] 分组单元101，用于对要传输的多路媒体数据流进行分组；

[0181] 分组描述单元102，对所述分组后的多路媒体数据流进行分组描述；

[0182] 数据传输单元103，传输所述分组后的多路媒体数据流及与所述媒体数据流对应的分组描述。

[0183] 进一步地，在本发明一较佳实施例中所述分组单元101可以通过以下任一种方式对媒体数据流进行分组：根据媒体数据流的接口之间的位置关系进行分组，即将同一物理接口或位置相近的物理接口的媒体数据流分为一组；或通过音频和/或视频的空间位置进行分组，即通过摄像机获取图像的空间位置，麦克风获取声音的空间位置，将图像的空间位置、和/或声音位置一致或相近的视频、和/或音频作为一组；或利用阵列麦克风拾取出多路音源位置，形成相应的独立音频流后，将所述多路音频流进行分组；或通过广角摄像机获取到全景图像后，将所述全景图像切分成多路分离的图像后，将所述的多路视频流进行分组。

[0184] 所述分组描述单元102可以采用以下任一种方式对分组后的媒体数据流进行分组描述：在在媒体数据流或与媒体数据流相应的承载通道中携带分组描述；或在与媒体数据流相关的控制协议中携带分组描述；或在媒体数据流中增加携带与媒体数据相应的分组描述的控制消息。

[0185] 本实施例中所述媒体数据流具体可以为以下的一种或多种：音频流、视频流、数据流。

[0186] 本发明的实施例多媒体通信中多路媒体数据流传输的装置，通过分组单元将多路媒体数据进行分组，分组描述单元对多媒体数据流进行分组描述，从而实现了多路媒体流通过一个终端进行传输，并使得接收终端能够根据分组描述相应分组输出各媒体数据，实现了多路媒体数据在不同终端的自由组合传输。

[0187] 本发明还提供了一种多媒体通信中多路媒体数据流接收处理的装置，能够解决多路媒体流不能自由组合输出的问题。

[0188] 如图11所示，本发明的实施例多媒体通信中多路媒体数据流接收处理的装置，包括接收单元111和输出单元112。

[0189] 接收单元111，用于接收带有分组描述的多路媒体数据流及与所述媒体数据流对应的分组描述。其中，分组描述可以携带在媒体数据流或与媒体数据流相应的承载通道中；或携带在与媒体数据流相关的控制协议中；或携带在媒体数据流中增加的控制消息中。

[0190] 输出单元112，用于根据所述接收的多路媒体数据流的分组描述，分组输出所述媒体数据流。

[0191] 进一步地，所述装置还可以包括：切换单元，用于根据所述接收单元接收的媒体数据流的分组描述对所述输出单元输出的媒体数据流进行切换。所述装置还可以包括暂停单元，用于在所有输出端口都切换到指定组的媒体数据流时，暂停除指定组外的其它组的媒体数据流的采集或传输。

[0192] 本发明的实施例多媒体通信中多路媒体数据流接收处理的装置在接收到带有分组描述的多路媒体数据流及与所述媒体数据流对应的分组描述时，能够根据分组描述，分组输出所述媒体数据流，从而实现了多路媒体流能够在不同终端自由输出。另外，切换单元还能够对特定分组的媒体数据的传输进行切换，暂停单元能够暂停某些组的媒体数据的采集或传输，减缓了网络压力。

[0193] 本发明的实施例提供的多媒体通信中多路媒体流传输的装置，以及接收处理的装置，可以参照上述方法实施例一、二、三，实现多媒体通信中多路媒体流的自由组合输出。

[0194] 本发明的实施例还提供了一种会议终端，包括发送装置和接收处理装置。

[0195] 所述发送装置，用于获取要传输的多路媒体数据流并进行分组，对所述分组后的多路媒体数据流进行分组描述，并传输所述分组后的多路媒体数据流及与所述媒体数据流对应的分组描述；和/或

[0196] 所述接收处理装置，用于接收带有分组描述的多路媒体数据流及与所述媒体数据流对应的分组描述，并根据所述接收的多路媒体数据流的分组描述，分组输出所述媒体数据流。

[0197] 对于一个会议终端来说，优选同时具有发送装置和接收处理装置。

[0198] 在上述方案的基础上，所述发送装置进一步包括：

[0199] 分组单元，用于对要传输的多路媒体数据流进行分组，包括根据媒体数据流的接口之间的位置关系进行分组，或通过音频和/或视频的空间位置进行分组，或利用阵列麦克风拾取出多路音源位置，形成相应的独立音频流后，将所述的多路音频流进行分组；或通过广角摄像机获取到全景图像后，将所述全景图像切分成多路分离的图像后，将所述的多路视频流进行分组；

[0200] 分组描述单元，对所述分组后的多路媒体数据流进行分组描述；包括在媒体数据流或与媒体数据流相应的承载通道中携带分组描述；或在与媒体数据流相关的控制协议中携带分组描述；或在媒体数据流中增加携带与媒体数据相应的分组描述的控制消息；

[0201] 数据传输单元，传输所述分组后的多路媒体数据流及与所述媒体数据流对应的分组描述。

[0202] 本发明的实施例会议终端，能够实现对要发送的多媒体数据流的分组以及分组描述的携带，从而能够将多路媒体数据流进行分组发送，而在接收到分组发送的多媒体数据流以及对应的分组描述后，能够根据该分组描述将各媒体数据流进行输出，从而实现了将多路媒体数据自由组合输出。

[0203] 本发明的实施例还提供了一种多媒体通信中多路媒体流传输的系统，能够解决多路媒体流不能自由组合输出的问题。

[0204] 本实施例可以与图4的实施例结合进行说明。如图12所示，本发明的实施例多媒体通信中多路媒体流传输的系统，包括：数据获取装置121、传输装置122、接收处理装置123以及数据输出装置124。其中，

[0205] 所述数据获取装置121，包括视频获取设备、音频获取设备或数据获取设备，用于获取多路媒体数据流。

[0206] 所述传输装置122，用于对所述数据获取装置获取的多路媒体数据流进行分组，对所述分组后的多路媒体数据流进行分组描述，并传输所述分组后的多路媒体数据流及与所述媒体数据流对应的分组描述。

[0207] 所述接收处理装置123，用于接收带有分组描述的多路媒体数据流及与所述媒体数据流对应的分组描述，并根据所述接收的多路媒体数据流的分组描述，分组输出所述媒体数据流。

[0208] 所述数据输出装置124，用于将所述分组后的媒体数据流通过视频输出设备、音频输出设备或数据输出设备进行输出。

[0209] 在上述方案的基础上，所述传输装置进一步可以包括：

[0210] 分组单元，用于对要传输的多路媒体数据流进行分组，包括根据媒体数据流的接口之间的位置关系进行分组，或通过音频和/或视频的空间位置进行分组，或利用阵列麦克风拾取出多路音源位置，形成相应的独立音频流后，将所述的多路音频流进行分组；或通过广角摄像机获取到全景图像后，将所述全景图像切分成多路分离的图像后，将所述的多路视频流进行分组；

[0211] 分组描述单元，对所述分组后的多路媒体数据流进行分组描述；包括在媒体数据流或与媒体数据流相应的承载通道中携带分组描述；或在与媒体数据流相关的控制协议中携带分组描述；或在媒体数据流中增加携带与媒体数据相应的分组描述的控制消息；

[0212] 数据传输单元，传输所述分组后的多路媒体数据流及与所述媒体数据流对应的分组描述。

[0213] 在本发明的一较佳实施例中，所述系统还可以包括：

[0214] 会议控制设备，用于通过转发媒体数据流分组关系更改分组关系，或对不同会场的多路媒体数据流进行分组。所述会议控制设备可以为MCU。

[0215] 本发明实施例提供的多媒体通信中多路媒体流传输的系统，通过传输装置对多路媒体数据进行分组，对所述分组后的多路媒体数据流进行分组描述，并发送所述带有分组描述的媒体数据以及对应的分组描述，而输出装置接收到多路媒体数据和分组描述后，根据所述分组描述分组输出所述媒体数据，从而能够实现多路媒体流的自由组合输出；所述系统中优选的MCU还能够对媒体数据的分组关系进行更改或者是转发通过转发媒体数据流分组关系进而更改分组关系，因而能够实现多路媒体流的自由组合输出。

[0216] 本发明的实施例提供的多媒体通信中多路媒体流传输的系统，可以参照上述方法实施例一、二、三，实现多媒体通信中多路媒体流传输、接收和输出处理。

[0217] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

[0218] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。