对多路数据进行合成的方法、服务器及音乐教学系统

摘要

本发明公开了对多路数据进行合成的方法、服务器及音乐教学系统。其中对多路数据进行合成的方法适于在服务器中执行。该方法包括下述步骤。接收多路媒体终端所发送的视频数据。每路视频数据包括一个或多个视频帧。每个视频帧包括对应其采集时间的时间戳。根据每路视频帧的时间戳，选定用于对视频帧对齐的基准时间点。根据每路视频数据的帧率，选择其中一路作为合成基准数据。从所选定的基准时间点开始，按时间顺序依次选择合成基准数据中的一个视频帧，并从其余每路视频数据中查询时间戳早于且最接近于所选择视频帧的一帧。对所选择的视频帧和所查询到的视频帧执行合成操作，以获取一种或多种码流的合成视频帧。

权利要求

1.一种对多路数据进行合成的方法，该方法适于在服务器中执行，该方法包括：接收多路媒体终端所发送的视频数据，所接收的每路视频数据包括一个或多个视频帧，其中每个视频帧包括对应该视频帧采集时间的时间戳；

根据每路视频数据中视频帧的时间戳，选定用于对所接收的多路视频数据进行对齐的基准时间点；

根据每路视频数据的帧率，选择所接收的多路视频数据中一路作为合成基准数据；

从所选定的基准时间点开始，按时间顺序依次选择该合成基准数据中的一个视频帧，并从所接收的非合成基准数据的、每路视频数据中查询时间戳早于且最接近于所选择视频帧的一帧；以及对所选择的视频帧和所查询到的视频帧执行合成操作，以获取一种或多种码流的合成视频帧；

其中，所述选定用于对所接收的多路视频数据进行对齐的基准时间点的步骤包括：对所接收的每路视频数据的、最先被接收的视频帧的时间戳进行比较，选择时间值最晚的时间戳作为基准时间点。

2.如权利要求1所述的方法，还包括：

对所接收的每路视频数据中、时间戳早于所述基准时间点的视频帧执行删除操作。

3.如权利要求1所述的方法，其中，所述选择所接收的多路视频数据中一路作为合成基准数据的步骤包括：选择所接收的多路视频数据中帧率最高的一路作为合成基准数据。

4.如权利要求1-3中任一项所述的方法，其中，所述对所选择的视频帧和所查询到的视频帧执行合成操作，以获取一种或多种码流的合成视频帧的步骤包括：对所选择的视频帧和所查询到的视频帧执行解码操作；以及对经过解码操作的视频帧执行合成操作以获取所述一种或多种码流的合成视频帧。

5.如权利要求4所述的方法，其中，所述对经过解码操作的视频帧执行合成操作以获取所述合成视频帧的步骤包括：对所述经过解码操作的视频帧中一个或多个进行裁剪操作以调整图像尺寸。

6.如权利要求1所述的方法，还包括：

接收多路媒体终端所发送的音频数据，其中每路音频数据包括一个或多个音频帧，每个音频帧包括对应其采集时间的时间戳；

根据每路音频数据中音频帧的时间戳，将所接收的多路音频数据中音频帧执行时间对齐操作；以及将经过对齐操作的音频帧合成为一路合成音频帧。

7.如权利要求6所述的方法，其中，

向媒体播放设备传输所述合成视频帧和/或所述合成音频帧。

8.一种对多路数据进行合成的服务器，包括：接收器，适于接收多路媒体终端所发送的视频数据，所接收的每路视频数据包括一个或多个视频帧，其中每个视频帧包括对应该视频帧采集时间的时间戳；

基准选择器，适于根据每路视频数据中视频帧的时间戳，选定用于对所接收的多路视频数据进行对齐的基准时间点；

帧率选择器，适于根据每路视频数据的帧率，选择所接收的多路视频数据中一路作为合成基准数据；以及合成引擎，适于从所选定的基准时间点开始，按时间顺序依次选择该合成基准数据中的一个视频帧，并从所接收的非合成基准数据的、每路视频数据中查询时间戳早于且最接近于所选择视频帧的一帧，对所选择的视频帧和所查询到的视频帧执行合成操作，以获取一种或多种码流的合成视频帧；

其中，所述基准选择器适于根据下述方式选定用于所接收的多路视频数据进行对齐的基准时间点：对所接收的每路视频数据的、最先被接收的视频帧的时间戳进行比较，选择时间值最晚的时间戳作为基准时间点。

9.如权利要求8所述的服务器，其中所述基准选择器还适于：对所接收的每路视频数据中、时间戳早于所述基准时间点的视频帧执行删除操作。

10.如权利要求8所述的服务器，其中，所述帧率选择器适于根据下述方式选择所接收的多路视频数据中一路作为合成基准数据：选择所接收的多路视频数据中帧率最高的一路作为合成基准数据。

11.如权利要求8-10中任一项所述的服务器，其中，所述合成引擎适于根据下述方式对所选择的视频帧和所查询到的视频帧执行合成操作，以获取一种或多种码流的合成视频帧：对所选择的视频帧和所查询到的视频帧执行解码操作；以及对经过解码操作的视频帧执行合成操作以获取所述一种或多种码流的合成视频帧。

12.如权利要求 11所述的服务器，其中，所述合成引擎在对经过解码操作的视频帧执行合成操作之前，还适于：对所述经过解码操作的视频帧中一个或多个进行裁剪操作以调整图像尺寸。

13.如权利要求8所述的服务器，其中，

所述接收器还适于：接收多路媒体终端所发送的音频数据，其中每路音频数据包括一个或多个音频帧，每个音频帧包括对应其采集时间的时间戳；以及所述合成引擎还适于：根据每路音频数据中音频帧的时间戳，将所接收的多路音频数据中音频帧执行时间对齐操作，和将经过对齐操作的音频帧合成为一路合成音频帧。

14.如权利要求13所述的服务器，还包括发送器，适于向媒体播放设备传输所述合成视频帧和/或所述合成音频帧。

15.一种音乐教学系统，包括：

媒体终端，适于采集视频数据和音频数据；

如权利要求8-14中任一项所述的对多路数据进行合成的服务器；以及媒体播放设备，适于从所述服务器获取合成视频帧和/或合成音频帧。

说明书

对多路数据进行合成的方法、服务器及音乐教学系统

技术领域

[0001] 本发明涉及通信领域，尤其涉及对多路数据进行合成的方法、服务器及音乐教学系统。

背景技术

[0002] 目前，在例如视频会议或网络直播等实时通信方案中，采集媒体数据的终端可以采集视频帧和音频帧等媒体数据，并传输到服务器。服务器在接收到媒体数据后，可以向媒体播放端传输媒体数据。另外，媒体服务器在向媒体播放端传输媒体数据之前，也可以对媒体数据进行数据处理。例如，服务器可以将来自多路采集终端的视频帧合成为画中画。

[0003] 例如，申请号为CN200810131309.9的专利公开了一种会议系统，包括采集终端、服务器和图像显示装置。采集终端可以将所采集的图像发送到服务器中。服务器可以将所接收的图像数据进行合成，然后将合成图像向图像显示装置传输。

[0004] 然而，在现有的数据合成方案中，通常以一路画面作为主画面，而合成画面中多个图像之间的时间关联性很低。

发明内容

[0005] 为此，本发明提供一种新的对多路数据进行合成的方案，有效的解决了上面至少一个问题。

[0006] 根据本发明的一个方面，提供一种对多路数据进行合成的方法，该方法适于在服务器中执行。该方法包括下述步骤。接收多路媒体终端所发送的视频数据。所接收的每路视频数据包括一个或多个视频帧。其中每个视频帧包括对应该视频帧采集时间的时间戳。根据每路视频数据中视频帧的时间戳，选定用于对所接收的多路视频数据进行对齐的基准时间点。根据每路视频数据的帧率，选择所接收的多路视频数据中一路作为合成基准数据。从所选定的基准时间点开始，按时间顺序依次选择该合成基准数据中的一个视频帧，并从所接收的非合成基准数据的、每路视频数据中查询时间戳早于且最接近于所选择视频帧的一帧。对所选择的视频帧和所查询到的视频帧执行合成操作，以获取一种或多种码流的合成视频帧。

[0007] 根据本发明的又一个方面，提供一种对多路数据进行合成的服务器，包括接收器、基准选择器、帧率选择器和合成引擎。接收器适于接收多路媒体终端所发送的视频数据。所接收的每路视频数据包括一个或多个视频帧。其中每个视频帧包括对应该视频帧采集时间的时间戳。基准选择器适于根据每路视频数据中视频帧的时间戳，选定用于对所接收的多路视频数据进行对齐的基准时间点。帧率选择器适于根据每路视频数据的帧率，选择所接收的多路视频数据中一路作为合成基准数据。合成引擎适于从所选定的基准时间点开始，按时间顺序依次选择该合成基准数据中的一个视频帧，并从所接收的非合成基准数据的、每路视频数据中查询时间戳早于且最接近于所选择视频帧的一帧。然后，合成引擎对所选择的视频帧和所查询到的视频帧执行合成操作，以获取一种或多种码流的合成视频帧。

[0008] 根据本发明的又一个方面，提供一种音乐教学系统，包括根据本发明的媒体终端、服务器和媒体播放端媒体终端，适于采集视频数据和音频数据。服务器适于对从来自多路媒体终端的媒体数据进行合成。媒体播放设备适于从服务器获取合成视频帧和/或合成音频帧。

[0009] 根据本发明的对多路数据进行合成的方案，在接收来自多路媒体终端的视频帧时，可以根据视频帧的采集时间，对视频帧依次执行对齐操作，进而将经过对齐的视频帧合成为一路视频帧。特别是，根据本发明的合成方案使得合成视频帧中各部分画面具有较高的时间同步性。这样，根据本发明的媒体播放设备可以通过接收一路合成视频帧，实现对多路媒体终端所采集图像的同步直播。需要说明的是，根据本发明的合成方案对于在线音乐教学等流媒体直播系统而言，可以极大提高系统性能。另外，根据本发明的合成方案还可以根据期望的码流，生成多种码流的合成视频帧。这样，根据本发明的媒体服务器可以向媒体播放设备传输与当前网速匹配的视频帧码流，从而保证数据传输的高实时性，以进一步提高直播系统的性能。

附图说明

[0010] 为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

[0011] 图1示出了根据本发明一个示例性音乐教学系统100的框图；

[0012] 图2示出了根据本发明一些实施例的对多路数据进行合成的服务器200的框图；

[0013] 图3示出了根据本发明一些实施例的对多路数据进行合成的方法300的流程图；以及

[0014] 图4示出了根据本发明一些实施例的对多路数据进行合成的方法400的流程图。

具体实施方式

[0015] 下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

[0016] 图1示出了根据本发明一个示例性音乐教学系统100的框图。如图1所示，音乐教学系统100可以包括多个学生客户端110、服务器120和老师客户端130。在音乐教学系统100中，学生客户端110和老师客户端130通过服务器120进行实时通信，以便进行在线音乐教学。例如，在学生进行演奏时，学生客户端110可以被实现为媒体终端，采集与学生演奏相关的诸如视频和音频等媒体数据，并通过服务器120向老师客户端130传输这些媒体数据。老师客户端130可以被实现为媒体播放设备，接收并播放媒体数据，以便老师实时了解学生的演奏情况。同时，老师客户端130也可以被实现为媒体终端，采集老师对学生演奏的反馈指导或者教学演示等内容的媒体数据，并通过服务器120向学生客户端传输。学生客户端110可以被实现为媒体播放设备，接收并播放来自老师客户端130的媒体数据，以便老师对学生演奏进行实时反馈，或者实时地对学生进行教学演示。总之，学生客户端110和老师客户端130都可以被实现为媒体终端或媒体播放设备。为了简化描述，下文中不再区分媒体终端和媒体播放设备的具体类型。这里，媒体数据例如包括演奏乐器的指法、气息、乐器声音和指导文案等教学内容，但不限于此。

[0017] 通常，音乐教学系统对实时性和同步性等方面有较高的要求。本发明针对音乐教学系统的服务器环节，提出了一种新的数据合成方案。下面结合图2对音乐教学系统中的服务器进行进一步的示例性说明。需要说明的是，根据本发明的服务器可以被应用在音乐教学系统中，但并不限于此。例如，根据本发明的服务器也可以应用在例如视频会议、比赛直播等实时流媒体方案中。

[0018] 图2示出了根据本发明一些实施例的对多路数据进行合成的服务器200的框图。服务器200可以对来自一个或多个媒体终端的媒体数据进行数据处理，并且将经过处理的数据传输到一个或多个媒体播放设备。虽然服务器200被描绘成单个实体，但是服务器200的功能可以分散在多个计算设备、计算集群或数据中心中，并且服务器200的组件可以驻留在多个地理位置中。

[0019] 服务器200包括接收器210、基准选择器220、帧率选择器230、合成引擎240和发送器250。

[0020] 接收器210适于接收来自多路媒体终端的音频数据和视频数据。每个媒体终端通常以网络数据包的方式将音频数据和视频数据传输到媒体播放设备。其中，视频数据是指接收器210依次接收的多个视频数据包。每个视频数据包为媒体终端对一个音频帧进行网络传输所封装成的网络数据包。在根据本发明一个实施例中，一个视频数据包消息格式示例为:

[0021] TCP_info+AV_Info+VideoData

[0022] 其中，TCP_info为TCP传输协议头。

[0023] AV_Info包括视频帧控制参数：

[0024] DWORD c_type控制类型；

[0025] __int64 stamp时间戳；

[0026] DWORD c_value控制数值。

[0027] VideoData为一个视频帧对应的视频压缩数据，其压缩格式例如为H.264，但不限于此。AV_Info中所包括的时间戳为视频帧的采集时间。换言之，该时间戳为媒体终端采集原始图像的捕获时间。

[0028] 在接收到一个视频数据包时，接收器210可以从其中提取出视频帧(AV_Info+VideoData)。另外，接收器210可以被配置为包括网络缓冲区211，并且可以将所提取的视频帧存放到网络缓冲区211中。在根据本发明一个实施例中，接收器210将视频帧存放到网络缓存区211的代码示例如下：

[0029] m_VideoRecRing->Set((char)pBuf,nLen,(char*)&vsinfo,sizeof(AV_Info))[0030] 其中pBuf是视频帧的临时缓冲，nLen是视频帧的长度，vsinfo为视频帧控制参数。

[0031] 另外，在根据本发明一个实施例中，网络缓冲区211被配置为包括多个分配区。这样，每路媒体终端可以对应一个分配区。接收器210可以将来自同一个媒体终端的视频帧存放到同一个分配区中。

[0032] 基准选择器220适于根据每路媒体终端的视频帧的时间戳，选定用于对齐多路视频帧的基准时间点。通常，每路媒体终端是按照采集时间顺序传输视频帧的。基准选择器220可以从每路视频帧中查询该路最先被接收的视频帧的时间戳。基准选择器220可以对查询到的时间戳进行比较，并将时间值最晚的时间戳作为基准时间点。基准选择器220可以删除每路视频数据中时间戳早于基准时间点的视频帧。

[0033] 帧率选择器230适于从多路媒体终端的视频帧中选择一路数据作为合成基准数据。在一个实施例中，帧率选择器230选择帧率最高的一路作为合成基准数据，但不限于此。

[0034] 合成引擎240可以从基准时间点开始，按时间顺序依次选择合成基准数据中一个视频帧，并且从合成基准数据之外的每路视频数据中查询时间戳早于并且最接近于所选择视频帧的时间戳的视频帧。换言之，合成引擎240可以执行多次对齐操作。在每次对齐操作中，合成引擎240将所选择和所查询的视频帧作为一组时间戳匹配的视频帧，尽管这组视频帧的时间戳之间可能存在微小的时间差。下面将根据本发明的一个实施例对每次的对齐操作进行示例性说明。例如，与服务器200连接的媒体终端共有A和B两路。

[0035] 来自A路媒体终端的视频帧的采集帧率为25帧/秒，其从基准时间点开始的时间戳依次为：40ms 80ms 120ms 160ms…

[0036] 来自B路媒体终端的视频帧的采集帧率为10帧/秒，其从基准时间点开始的时间戳依次为：10ms 110ms 210ms 310ms…

[0037] 为了简化描述，这里所示出时间戳之间的差距在1秒时长内，并省略了每个时间戳的小时、分钟和秒单位级的数值而仅示出了毫秒单位级的具体数值。其中，A路视频帧作为合成基准数据。在执行一次对齐操作时，合成引擎240选择了时间戳为40ms的视频帧。另外，合成引擎240从非合成基准数据的B路中查询时间戳早于且最接近于40ms的视频帧。所查询到的视频帧为10ms对应的视频帧。这样，合成引擎240在本次对齐操作中将40ms和10ms所对应的视频帧作为一组时间戳匹配的视频帧。在执行又一次对齐操作时，合成引擎240从B路视频帧中查询时间戳早于且最接近于80ms的视频帧。所查询到的视频帧为10ms对应的视频帧。这样，合成引擎将80ms和10ms对应的视频帧作为一组时间戳匹配的视频帧。依次类推，120ms和110ms为一组时间戳匹配的视频帧，这里不再赘述。

[0038] 需要说明的是，与服务器200进行通信的多路媒体终端之间实现了时间同步。换言之，每路视频帧的时间戳具有相同的时间基准。对于合成引擎240根据时间戳执行对齐操作而选定的每组时间戳匹配的视频帧来说，其中每个视频帧的采集时间的差值很小，因此具有较高的时间同步性。在此基础上，合成引擎240继续对每组视频帧进行合成操作时，使得所合成视频帧中各部分画面具有较高的时间同步性。综上，根据本发明的服务器200可以将来自多个媒体终端的视频帧合成为一路视频帧，并且每个合成视频帧中各部分画面具有较高的同步性。

[0039] 另外，合成引擎240还可以在将每组时间戳匹配的视频帧合成为一个视频帧的过程中调节这个视频帧的码流。具体而言，合成引擎240首先对每组视频帧执行解码操作。例如，一组视频帧包括4个视频帧(即媒体终端为4路)，合成引擎240通过执行解码操作获取了4张640*480的图像。取决于期望的合成码流，合成引擎240可以选择对4张图像进行尺寸调整。例如，合成引擎240通过裁剪操作将每张图像调整为320*240，但不限于此。在一个实施例中，合成引擎240调整图像大小的代码示例为：

[0040] void CDsCaptureDemoDlg::YUVToYUV(BYTE*pDesStr,int DesWidth,int DesHeight,BYTE*pSourceStr,int SourceWidth,int SourceHeight)

[0041] 调整之前，SourceWidth＝640,SourceHeight＝480即640*480的yuv图像。

[0042] 经过调整变换后，变成DesWidth＝320，DesHeight＝240即320*240的yuv图像。

[0043] 随后，合成引擎240对经过裁剪的图像进行图像合成，并编码为一个合成视频帧。这样，根据本发明的合成引擎240可以通过对图像尺寸的调整生成多种码流的合成视频帧。

[0044] 发送器250可以向媒体播放设备传输所生成的合成视频帧。具体而言，本发明的发送器250可以向媒体播放设备传输与当前网速匹配的合成视频帧码流。这样，服务器200在向媒体播放设备传输来自多个媒体终端的视频数据时，具有较高的传输实时性。

[0045] 另外，根据本发明的服务器200还可以将所接收的多路音频数据合成为一路音频数据。具体而言，接收器210所接收每路音频数据包括一个或多个音频帧。每个音频帧包括多个音频样点和该音频帧的时间戳。该时间戳例如为多个音频样点中第一样点的采集时间。合成引擎240可以根据该时间戳对多路音频帧执行时间对齐操作，然后将经过对齐操作的音频帧合成为一路合成音频帧。

[0046] 图3示出了根据本发明一些实施例的对多路数据进行合成的方法300的流程图。方法300适于在根据本发明的媒体服务器中执行。

[0047] 如图3所示，方法300始于步骤S310。在步骤S310中，接收多路媒体终端所发送的视频数据。所接收的每路视频数据包括一个或多个视频帧。其中每个视频帧包括对应该视频帧采集时间的时间戳。随后，方法进入步骤S320，根据每路视频数据中视频帧的时间戳，选定用于对所接收的多路视频数据进行对齐的基准时间点。根据本发明一个实施例，在步骤S320中，对所接收的每路视频数据的、最先被接收的视频帧的时间戳进行比较，并选择时间值最晚的时间戳作为基准时间点。在步骤S320中，还可以对所接收的每路视频数据中、时间戳早于所述基准时间点的视频帧执行删除操作。

[0048] 另外，方法300还包括步骤S330。在步骤S330中，根据每路视频数据的帧率，选择所接收的多路视频数据中一路作为合成基准数据。根据本发明一个实施例，在步骤S330中，选择所接收的多路视频数据中帧率最高的一路作为合成基准数据。但不限于此，取决于期望合成视频帧的帧率，在步骤S330中也可以选择其他帧率的一路视频数据作为合成基准数据。

[0049] 随后，方法300执行步骤S340。在步骤S340中，从所选定的基准时间点开始，按时间顺序依次选择该合成基准数据中的一个视频帧，并且从所接收的非合成基准数据的、每路视频数据中查询时间戳早于且最接近于所选择视频帧的时间戳的视频帧。如上所述，在步骤S340中基于视频帧的时间戳，从每路视频数据中选择了一个视频帧，并将所选的视频帧作为一组时间戳匹配的视频帧。随后，方法300可以执行步骤S350。在步骤S350中，对所选择的视频帧和所查询到的视频帧执行合成操作，以获取一种或多种码流的合成视频帧。根据本发明一个实施例，在步骤S350中首先对所选择的视频帧和所查询到的视频帧执行解码操作。然后，在步骤S350中对经过解码操作的视频帧执行合成操作以获取所述一种或多种码流的合成视频帧。其中，为了合成多中码流，可以在合成视频帧之前对经过解码操作的视频帧(即一帧图像)，进行裁剪操作以调整图像尺寸。这里，方法300的具体实施方式已在对图2的描述中公开，这里不再赘述。

[0050] 图4示出了根据本发明一些实施例的对多路数据进行合成的方法400的流程图。方法400适于在根据本发明的媒体服务器中执行。

[0051] 如图4所示，方法400始于步骤S410。在步骤S410中，接收多路媒体终端所发送的视频数据。所接收的每路视频数据包括一个或多个视频帧。其中每个视频帧包括对应该视频帧采集时间的时间戳。随后，方法进入步骤S420，根据每路视频数据中视频帧的时间戳，选定用于对所接收的多路视频数据进行对齐的基准时间点。根据本发明一个实施例，在步骤S420中，对所接收的每路视频数据的、最先被接收的视频帧的时间戳进行比较，并选择时间值最晚的时间戳作为基准时间点。在步骤S420中，还可以对所接收的每路视频数据中、时间戳早于所述基准时间点的视频帧执行删除操作。

[0052] 另外，方法400还包括步骤S430。在步骤S430中，根据每路视频数据的帧率，选择所接收的多路视频数据中一路作为合成基准数据。根据本发明一个实施例，在步骤S430中，选择所接收的多路视频数据中帧率最高的一路作为合成基准数据。但不限于此，取决于期望合成视频帧的帧率，在步骤S430中也可以选择其他帧率的一路视频数据作为合成基准数据。

[0053] 随后，方法400执行步骤S440。在步骤S440中，从所选定的基准时间点开始，按时间顺序依次选择该合成基准数据中的一个视频帧，并且从所接收的非合成基准数据的、每路视频数据中查询时间戳早于且最接近于所选择视频帧的时间戳的视频帧。如上所述，在步骤S440中基于视频帧的时间戳，从每路视频数据中选择了一个视频帧，并将所选的视频帧作为一组时间戳匹配的视频帧。随后，方法400可以执行步骤S450。在步骤S450中，对所选择的视频帧和所查询到的视频帧执行合成操作，以获取一种或多种码流的合成视频帧。根据本发明一个实施例，在步骤S450中首先对所选择的视频帧和所查询到的视频帧执行解码操作。然后，在步骤S450中对经过解码操作的视频帧执行合成操作以获取所述一种或多种码流的合成视频帧。其中，为了合成多中码流，可以在合成视频帧之前对经过解码操作的视频帧(即一帧图像)，进行裁剪操作以调整图像尺寸。

[0054] 另外，根据本发明一个实施例，方法400还包括步骤S460。在步骤S460中，接收多路采集端所发送的音频数据。其中，每路音频数据包括一个或多个音频帧。每个音频帧包括对应其采集时间的时间戳。随后，方法400执行步骤S470。在步骤S470中，根据每路音频数据中音频帧的时间戳，将所接收的多路音频数据中音频帧执行时间对齐操作。随后，方法400进入步骤S480,将经过对齐操作的音频帧合成为一路合成音频帧。另外，方法400还包括步骤S490，向媒体播放设备传输合成视频帧和/或合成音频帧。这里，方法400的具体实施方式已在图2的说明中公开，这里不再赘述。

[0055] 在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

[0056] 类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

[0057] 本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

[0058] 本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

[0059] 此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

[0060] 此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

[0061] 如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

[0062] 尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。