在组通信会话期间选择性格式化媒体转让专利

申请号 : CN201180065449.0

文献号 : CN103329579B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : B·R·帕特尔M·林德纳

申请人 : 高通股份有限公司

摘要 :

在一个实施例中,在组通信会话期间,从属于通信组的第一组接入终端接收媒体,其中,接收的媒体对应于用于呈现给属于所述通信组的第二组接入终端的内容。在一个示例中,可以或者在仲裁所述组通信会话的应用服务器处或者替代地在属于所述第二组接入终端的对于所述接收的媒体的目标接入终端处接收所述媒体。确定与所述第一组接入终端或所述第二组接入终端中的接入终端相关联的位置信息,并且以确定的位置信息为基础选择性重新格式化所述接收的媒体。

权利要求 :

1.一种在组通信会话期间格式化媒体的方法,包括:

在所述组通信会话期间,从属于通信组的第一组接入终端接收媒体,其中,接收的媒体对应于用于呈现给属于所述通信组的第二组接入终端的内容;

确定与所述第一组接入终端或所述第二组接入终端中的至少一个接入终端相关联的位置信息,其中,所述确定的位置信息对应于所述第一组接入终端或所述第二组接入终端中的所述至少一个接入终端的物理或地理位置;以及以确定的位置信息为基础选择性重新格式化所述接收的媒体,包括:针对所述第二组接入终端中的给定接入终端,至少部分地基于在与所述第一组接入终端中的至少一个接入终端相关联的位置信息和与所述给定接入终端相关联的位置信息之间的相对关系,来确定用于将所述接收的媒体呈现给所述第二组接入终端中的所述给定接入终端的呈现排列;以及针对所述第二组接入终端中的所述给定接入终端,根据从相对位置信息确定的所述呈现排列,配置至少一个输出帧以包括所述接收的媒体。

2.如权利要求1所述的方法,其中,所述方法进一步包括:

从所述第二组接入终端中的至少一个接入终端接收关于选择的媒体重新格式化协议的指示,并且其中,还根据所述选择的媒体重新格式化协议,来针对所述第二组接入终端中的所述至少一个接入终端执行所述选择性重新格式化。

3.如权利要求2所述的方法,其中,对于所述第二组接入终端中不提供接收的指示的任何剩余接入终端,以默认媒体重新格式化协议为基础来执行选择性重新格式化。

4.如权利要求1所述的方法,其中,接收、确定和选择性重新格式化步骤由仲裁所述组通信会话的应用服务器执行。

5.如权利要求4所述的方法,进一步包括:

将选择性重新格式化的媒体发射到所述第二组接入终端。

6.如权利要求1所述的方法,其中,接收、确定和选择性重新格式化步骤由属于所述第二组接入终端的对于所述接收的媒体的目标接入终端执行。

7.如权利要求6所述的方法,进一步包括:

将选择性重新格式化的媒体呈现在所述目标接入终端上。

8.如权利要求1所述的方法,其中,所述组通信会话对应于组音频通信会话,并且所述接收的媒体对应于音频媒体。

9.如权利要求8所述的方法,其中,所述接收的媒体对应于一维(1D)音频媒体,并且选择性重新格式化步骤将所述1D音频媒体转换为三维(3D)音频媒体。

10.如权利要求8所述的方法,其中,针对所述第二组接入终端中的所述给定接入终端,确定所述呈现排列进一步包括:对于所述第二组接入终端中的所述给定接入终端,选择对于所述第一组接入终端中的至少一个接入终端的虚拟起始点或方向;以及对于所述第二组接入终端中的所述给定接入终端,配置至少一个三维(3D)音频输出帧以包括位于选择的虚拟起始点或方向处的所述第一组接入终端中的所述至少一个接入终端的音频媒体。

11.如权利要求10所述的方法,

其中,选择性重新格式化步骤由仲裁所述组通信会话的应用服务器执行,并且其中,对于所述第二组接入终端中的每一个接入终端独立地执行所述选择性重新格式化步骤,以使得所述应用服务器对于所述第二组接入终端中的每一个接入终端配置不同的3D音频输出帧。

12.如权利要求1所述的方法,其中,所述组通信会话对应于组视频通信会话,并且所述接收的媒体对应于视频媒体。

13.如权利要求12所述的方法,其中,针对所述第二组接入终端中的所述给定接入终端,确定所述呈现排列进一步包括:对于所述第二组接入终端中的所述给定接入终端,选择对于从所述第一组接入终端中的至少一个接入终端接收的视频媒体的视觉排列;以及对于所述第二组接入终端中的所述给定接入终端,配置至少一个视频输出帧以包括根据选择的视觉排列的所述第一组接入终端中的所述至少一个接入终端的所述视频媒体。

14.如权利要求13所述的方法,

其中,选择性重新格式化步骤由仲裁所述组通信会话的应用服务器执行,并且其中,对于所述第二组接入终端中的每一个接入终端独立地执行所述选择性重新格式化步骤,以使得所述应用服务器对于所述第二组接入终端中的每一个接入终端配置不同的视频输出帧。

15.一种配置为在组通信会话期间格式化媒体的装置,包括:

用于在所述组通信会话期间从属于通信组的第一组接入终端接收媒体的单元,其中,接收的媒体对应于用于呈现给属于所述通信组的第二组接入终端的内容;

用于确定与所述第一组接入终端或所述第二组接入终端中的至少一个接入终端相关联的位置信息的单元,其中,所述确定的位置信息对应于所述第一组接入终端或所述第二组接入终端中的所述至少一个接入终端的物理或地理位置;以及用于以确定的位置信息为基础选择性重新格式化所述接收的媒体的单元,包括:用于针对所述第二组接入终端中的给定接入终端,至少部分地基于在与所述第一组接入终端中的至少一个接入终端相关联的位置信息和与所述给定接入终端相关联的位置信息之间的相对关系,来确定用于将所述接收的媒体呈现给所述第二组接入终端中的所述给定接入终端的呈现排列的单元;以及用于针对所述第二组接入终端中的所述给定接入终端,根据从相对位置信息确定的所述呈现排列,配置至少一个输出帧以包括所述接收的媒体的单元。

16.如权利要求15所述的装置,其中,所述装置进一步包括:用于从所述第二组接入终端中的至少一个接入终端接收关于选择的媒体重新格式化协议的指示的单元,并且其中,还根据所述选择的媒体重新格式化协议,来针对所述第二组接入终端中的所述至少一个接入终端执行所述选择性重新格式化。

17.如权利要求15所述的装置,其中,所述装置对应于仲裁所述组通信会话的应用服务器。

18.如权利要求15所述的装置,其中,所述装置对应于属于所述第二组接入终端的对于所述接收的媒体的目标接入终端。

19.一种配置为在组音频通信会话期间格式化媒体的方法,包括:在所述组音频通信会话期间,从属于通信组的第一组接入终端接收音频媒体,所述音频媒体用于呈现给属于所述通信组的第二组接入终端;

确定与所述第一组接入终端或所述第二组接入终端中的至少一个接入终端相关联的位置信息,其中,所述确定的位置信息对应于所述第一组接入终端或所述第二组接入终端中的所述至少一个接入终端的物理或地理位置;以及以确定的位置信息为基础选择性重新格式化所述接收的音频媒体,包括:针对所述第二组接入终端中的给定接入终端,选择关于在所述第一组接入终端中的至少一个接入终端的虚拟起始点或方向;以及针对所述第二组接入终端中的所述给定接入终端,配置至少一个三维(3D)音频输出帧以包括位于所选择的虚拟起始点或方向处的在所述第一组接入终端中的所述至少一个接入终端的所述音频媒体。

20.如权利要求19所述的方法,其中,所述方法进一步包括:从所述第二组接入终端中的至少一个接入终端接收关于选择的媒体重新格式化协议的指示,并且其中,还根据所述选择的媒体重新格式化协议,来针对所述第二组接入终端中的所述至少一个接入终端执行所述选择性重新格式化。

21.如权利要求19所述的方法,其中,所述选择性重新格式化的步骤由仲裁所述组音频通信会话的应用服务器执行。

22.如权利要求19所述的方法,其中,所述选择性重新格式化的步骤由属于所述第二组接入终端的对于所述接收的音频媒体的目标接入终端执行。

23.一种用于在组视频通信会话期间格式化媒体的方法,所述方法包括:在所述组视频通信会话期间,从属于通信组的第一组接入终端接收视频媒体,所述视频媒体用于呈现给属于所述通信组的第二组接入终端;

确定与所述第一组接入终端或所述第二组接入终端中的至少一个接入终端相关联的位置信息,其中,所述确定的位置信息对应于所述第一组接入终端或所述第二组接入终端中的所述至少一个接入终端的物理或地理位置;以及以确定的位置信息为基础选择性重新格式化所述接收的视频媒体,包括:针对所述第二组接入终端中的给定接入终端,选择关于从所述第一组接入终端接收的所述视频媒体的视觉排列;以及针对所述第二组接入终端中的所述给定接入终端,根据所述选择的视觉排列,配置至少一个视频输出帧以包括从所述第一组接入终端中的所述至少一个接入终端接收的所述视频媒体。

24.如权利要求23所述的方法,其中,所述方法进一步包括:从所述第二组接入终端中的至少一个接入终端接收关于选择的媒体重新格式化协议的指示,并且其中,还根据所述选择的媒体重新格式化协议,来针对所述第二组接入终端中的所述至少一个接入终端执行所述选择性重新格式化。

25.如权利要求23所述的方法,其中,所述选择性重新格式化的步骤由仲裁所述组视频通信会话的应用服务器执行。

26.如权利要求23所述的方法,其中,所述选择性重新格式化的步骤由属于所述第二组接入终端的对于所述接收的视频媒体的目标接入终端执行。

说明书 :

在组通信会话期间选择性格式化媒体

技术领域

[0001] 本发明的实施例涉及在组通信会话期间选择性格式化媒体。

背景技术

[0002] 无线通信系统已经经历了多代的发展,包括第一代模拟无线电话服务(1G)、第二代(2G)数字无线电话服务(包括过渡的2.5G和2.75G网络)以及第三代(3G)高速数据/具有互联网能力的无线服务。目前存在很多种不同类型的无线通信系统在使用,包括蜂窝和个人通信服务(PCS)系统。已知的蜂窝系统的示例包括蜂窝模拟改进移动电话系统(AMPS)、以码分多址(CDMA)、频分多址(FDMA)、时分多址(TDMA)、TDMA的全球移动接入(GSM)变体,以及使用TDMA和CDMA技术二者的较新的混合数字通信系统为基础的数字蜂窝系统。
[0003] 在美国,电信工业协会/电子工业协会在题为“Mobile Station-Base Station Compatibility Standard for Dual-Mode Wideband Spread Spectrum Cellular System”的TIA/EIA/IS-95-A中对用于提供CDMA移动通信的方法进行了标准化,本文中将其称为IS-95。在TIA/EIA标准IS-98中描述了组合的AMPS&CDMA系统。在涵盖被称为宽带CDMA(WCDMA)、CDMA2000(例如以CMDA20001xEV-DO标准为例)或TD-SCDMA的IMT-2000/UM,或者国际移动电信系统2000/通用移动电信系统,标准中描述了其它通信系统。
[0004] 在无线通信系统中,移动站、手持设备、或接入终端(AT)从固定位置基站(也被称为小区站点或小区)接收信号,该基站支持位于临近或围绕该基站的特定地理区域内的通信链路或服务。基站提供到接入网络(AN)/无线接入网络(RAN)的入口点,该接入网络(AN)/无线接入网络(RAN)通常是使用以标准互联网工程任务组(IETF)为基础的协议的分组数据网络,该协议支持以服务质量(QoS)要求为基础区分业务的方法。因此,基站通常经过空中接口与AT进行交互,并且经过互联网协议(IP)网络数据分组与AN进行交互。
[0005] 在无线电信系统中,一键通(PTT)功能正在变为受服务扇区和客户欢迎。PPT可以支持经过诸如CDMA、FDMA、TDMA、GSM等等的标准商业无线基础设施进行操作的“分发”语音服务。在分发模式中,端点(AT)之间的通信发生在虚拟组内,其中,将一个“发言者”的语音发射到一个或多个“听众”。这一类型的通信的单个实例通常被称为分发呼叫,或被简单地称为PTT呼叫。PTT呼叫是组的实例,其定义呼叫的特性。组本质上由成员列表和诸如组名称或组标识的相关联的信息定义。
[0006] 传统上,无线通信网络内的数据分组已经配置为被发送到单个目的地或接入终端。将数据到单个目的地的发射称为“单播”。由于移动通信已经增加,向多个接入终端并发地发射给定数据的能力变得更加重要。因此,已经采取了协议以支持相同分组或消息到多个目的地或目标接入终端的并发数据发射。“广播”指的是数据分组到所有目的地或接入终端(例如,在由给定服务提供商服务的给定小区内等等)的发射,而“多播”指的是数据分组到目的地或接入终端的给定组的发射。在一个示例中,目的地的给定组或“多播组”可以包括多于一个可能的目的地或接入终端并且少于所有可能的目的地或接入终端(例如,在由给定服务提供商服务的给定组内等等)。然而,在某些情况中,多播组仅包括一个接入终端,与单播类似,或者替代地多播组包括所有接入终端(例如,在小区或扇区内),与广播类似,也是可能的。
[0007] 可以按照多种方式在无线通信系统内执行广播和/或多播,例如执行多个序列的单播操作以适应多播组,分配唯一的广播/多播信道(BCH)用于同时处理多个数据发射等等。在2007年3月1日公开的发明名称为“Push-To-Talk Group Call System Using CDMA1x-EVDO Cellular Network”的美国专利申请公开No.2007/0049314中描述了使用广播信道进行一键通通信的传统系统,该申请的内容以整体引用的方式并入本文。如在公开No.2007/0049314中描述的,广播信道可以使用传统信令技术用于一键通呼叫。尽管广播信道的使用与传统单播技术相比较会改善带宽要求,但是广播信道的传统信令仍然会造成额外的开销和/或延迟,并且可能使系统性能恶化。
[0008] 第三代合作伙伴项目2(“3GPP2”)定义了广播-多播服务(BCMCS)规范用于支持CDMA2000网络中的多播通信。因此,2006年2月14日发布的题为“CDMA2000High Rate Broadcast-Multicast Packet Data Air Interface Specification”的3GPP2的BCMCS规范版本,版本1.0C.S0054-A,以整体引用的方式并入本文。

发明内容

[0009] 在一个实施例中,在组通信会话期间,从属于通信组的第一组接入终端接收媒体,其中,接收的媒体对应于用于呈现给属于所述通信组的第二组接入终端的内容。在一个示例中,可以在仲裁所述组通信会话的应用服务器处或者替代地在属于所述第二组接入终端的对于所述接收的媒体的目标接入终端处接收所述媒体。确定与所述第一组接入终端或所述第二组接入终端中的接入终端相关联的位置信息,并且以确定的位置信息为基础选择性重新格式化所述接收的媒体。

附图说明

[0010] 通过结合附图考虑的同时参考下面的详细描述,将很容易获得对本发明的实施例以及许多伴随的优点的更加全面的了解以及更好的理解,提供所述附图仅用于说明目的而非限制本发明,在附图中:
[0011] 图1是根据本发明至少一个实施例的支持接入终端和接入网络的无线网络架构的图。
[0012] 图2A说明了根据本发明实施例的载波网络。
[0013] 图2B说明了根据本发明至少一个实施例更加详细的图1的无线通信的示例。
[0014] 图3是根据本发明至少一个实施例的接入终端的说明。
[0015] 图4A说明了传统的半双工组通信会话处理。
[0016] 图4B说明了传统的全双工组通信会话处理。
[0017] 图4C更加详细地说明了在图4A和图4B期间在应用服务器处发生的处理。
[0018] 图4D和图4E说明了图4C的处理的实现示例。
[0019] 图5A说明了传统的全双工组视频通信会话处理。
[0020] 图5B说明了在图5A期间发生的混合的实现示例。
[0021] 图5C说明了当如图5B所示混合视频流时在接入终端处实现的视频回放的示例。
[0022] 图6A说明了根据本发明至少一个实施例在应用服务器处实现的高级媒体重新格式化或混合处理。
[0023] 图6B说明了图6A的处理的示例实现。
[0024] 图7A说明了根据本发明实施例应用于组音频通信会话的图6A的处理的更加详细的实现示例。
[0025] 图7B说明了根据本发明实施例关于给定接入终端的虚拟起始点或方向。
[0026] 图7C说明了根据本发明实施例关于另一给定接入终端的虚拟起始点或方向。
[0027] 图7D说明了根据本发明实施例在在线扑克游戏期间扑克玩家在虚拟牌桌附近的排列。
[0028] 图7E说明了根据本发明实施例虚拟起始点或方向如何用于向接入终端传达虚拟牌桌周围的扑克玩家的相对位置。
[0029] 图7F说明了根据本发明实施例图7A的处理在半双工组通信会话处理内的实现。
[0030] 图7G说明了根据本发明实施例图7A的处理在全双工组通信会话处理内的实现。
[0031] 图8A说明了根据本发明实施例应用于组视频通信会话的图6A的处理的更加详细的实现示例。
[0032] 图8B说明了根据本发明实施例用于如图7D和7E说明的在线扑克游戏的视频媒体的示例视觉排列。
[0033] 图8C说明了根据本发明另一实施例用于如图7D和7E说明的在线扑克游戏的视频媒体的示例视觉排列。
[0034] 图8D说明了根据本发明实施例图6A的处理在全双工组视频通信会话处理内的实现。
[0035] 图9A和图9B说明了根据本发明至少一个实施例在组通信会话期间的高级媒体重新格式化或混合处理。
[0036] 图9C说明了根据本发明实施例图9A和图9B的处理在半双工组音频通信会话处理内的实现。
[0037] 图9D说明了根据本发明实施例图9A的处理在全双工组音频通信会话处理内的实现。
[0038] 因此,图9E说明了根据本发明实施例图9A的处理在全双工组视频通信会话处理内的实现。

具体实施方式

[0039] 在下面的描述和描绘本发明具体实施例的相关附图中公开了本发明的方面。在不偏离本发明的范围的情况下,可以设计替代实施例。此外,将不再详细描述或者将省略本发明的公知元件,以避免混淆本发明的相关细节。
[0040] 本文使用的词语“示例性”和/或“示例”意味着“用作示例、实例或说明”。本文中描述为“示例性”和/或“示例”的任何实施例不应该被解释为比其它实施例更优选或更有利。类似地,术语“本发明实施例”不要求本发明的所有实施例都包括讨论的特征、优点或操作模式。
[0041] 进而,按照例如要由计算设备的元件执行的动作的序列描述许多实施例。将意识到,本文描述的各种动作可以由专用电路(例如,专用集成电路(ASIC))、由一个或多个处理器执行的程序指令或它们的组合来执行。此外,可以认为本文描述的这些动作的序列完全实现在任何形式的计算机可读存储介质中,该存储介质具有存储在其中的相对应的一组计算机指令,在执行时,该指令会使相关联的处理器执行本文描述的功能。因而,可以按照许多不同的形式实现本发明的各个方面,所有形式都被预期位于请求保护的主题的范围内。此外,对于本文描述的每一个实施例,任何这样的实施例的相对应形式都可以在本文中被描述为例如“配置为执行描述的动作的逻辑”。
[0042] 高数据速率(HDR)用户站,本文中被称为接入终端(AT),可以是移动的或静止的,并且可以与一个或多个HDR基站进行通信,所述基站在本文中被称为调制解调器池收发机(MPT)或基站(BS)。接入终端经过一个或多个调制解调器池收发机向HDR基站控制器发射数据分组和接收数据分组,该HDR基站控制器被称为调制解调器池控制器(MPC)、基站控制器(BSC)和/或分组控制功能(PCF)。调制解调器池收发机和调制解调器池控制器是被称为接入网络的网络的一部分。接入网络在多个接入终端之间传输数据分组。
[0043] 接入网络可以进一步连接到该接入网络外侧的附加网络,例如公司内联网或互联网,并且可以在每一个接入终端和这样的外侧网络之间传输数据分组。已经与一个或多个调制解调器池收发机建立了活动业务信道连接的接入终端被称为活动接入终端,并且被认为处于业务状态。处于正在与一个或多个调制解调器池收发机建立活动业务信道连接的处理中的接入终端被认为处于连接建立状态。接入终端可以是经过无线信道或经过有线信道,例如使用光纤或同轴电缆,进行通信的任何数据设备。接入终端可以进一步是多种类型的设备中的任何一种,包括但不局限于PC卡、压缩闪存、外部或内部调制解调器或者无线或有线电话。接入终端经过其向调制解调器池收发机发送信号的通信链路被称为反向链路或业务信道。调制解调器池收发机经过其向接入终端发送信号的通信链路被称为前向链路或业务信道。如本文使用的,术语业务信道可以指带前向或反向业务信道。
[0044] 图1说明了根据本发明至少一个实施例的无线系统100的一个示例性实施例的框图。系统100可以包含接入终端,例如蜂窝电话102,经过空中接口104与接入网络或无线接入网络(RAN)120进行通信,该接入网络或RAN120能够将接入终端102连接到在分组交换数据网络(例如,内联网、互联网和/或载波网络126)和接入终端102、108、110、112之间提供数据连接的网络设备。如这里所示,接入终端可以是蜂窝电话102、个人数字助理108、寻呼机110,这里将其表示为两路文本寻呼机,或者甚至是具有无线通信入口的单独计算机平台
112。因而,本发明的实施例可以实现在包括无线通信入口或具有无线通信能力的任何形式的接入终端上,包括但不局限于,无线调制解调器、PCMCIA卡、个人计算机、电话或它们的任意组合或子组合。进而,如本文使用的,术语“接入终端”、“无线设备”、“客户端设备”、“移动终端”及其变体可以互换使用。
[0045] 回来参照图1,无线网络100的部件以及本发明示例性实施例的元件的相互关系不局限于说明的配置。系统100仅仅是示例性的,并且可以包括允许诸如无线客户端计算设备102、108、110、112的远程接入终端在彼此之间和之中和/或在经由空中接口104连接的部件和RAN120之间和之中进行空中通信的任何系统,包括但不局限于,载波网络126、互联网和/或其它远程服务器。
[0046] RAN120控制发送到基站控制器/分组控制功能(BSC/PCF)122的消息(典型地作为数据分组进行发送)。BSC/PCF122负责在分组数据服务节点(参见图2A 160“PDSN”)和接入终端102/108/110/112之间的信令、建立和销毁承载信道(即,数据信道)。如果能够进行链路层加密,则BSC/PCF122也在将内容经过空中接口104转发之前对其进行加密。BSC/PCF122的功能在本领域中公知,并且出于简洁目的将不再进行进一步讨论。载波网络126可以通过网络、互联网和/或公共交换电话网络(PSTN)与BSC/PCF122进行通信。替代地,BSC/PCF122可以直接连接到互联网或外部网络。典型地,载波网络126和BSC/PCF122之间的网络或互联网连接传输数据,而PSTN传输语音信息。BSC/PCF122可以连接到多个基站(BS)或调制解调器池收发机(MPT)124。按照与载波网络类似的方式,BSC/PCF122典型地通过用于数据传输和/或语音信息的网络、互联网和/或PSTN连接到MPT/BS124。MPT/BS124可以向诸如蜂窝电话102的接入终端无线地广播数据消息。如本领域公知的,MPT/BS124、BSC/PCF122和其它部件可以形成RAN120。然而,也可以使用替代配置,并且本发明并不局限于说明的配置。例如,在另一实施例中,可以将BSC/PCF122和一个或多个MPT/BS124的功能整合到具有BSC/PCF122和MPT/BS124二者的功能的单个“混合”模块中。
[0047] 图2A说明了根据本发明实施例的载波网络126。在图2A的实施例中,载波网络126包括分组数据服务节点(PDSN)160、广播服务节点(BSN)165、应用服务器170和互联网175。然而,在替代实施例中,应用服务器170和其它部件可以位于载波网络外侧。PDSN160例如利用cdma2000无线接入网络(RAN)(例如,图1的RAN120)为移动站(例如以图1的102、108、110和112为例的接入终端)提供到互联网175、内联网和/或远程服务器(例如,应用服务器170)的接入。用作网关,PDSN160可以提供简单IP和移动IP接入、外地代理支持和分组传输。如本领域公知的,PDSN160可以用作认证、授权和计费(AAA)服务器以及其它支持基础设施的客户端,并且为移动站提供到IP网络的网关。如图2A所示,PDSN160可以经由传统的A10连接与RAN120(例如,BSC/PCF122)进行通信。A10连接在本领域内公知,并且出于简洁目的将不再进行进一步描述。
[0048] 参照图2A,广播服务节点(BSN)165可以配置为支持多播和广播服务。下面将更加详细地描述BSN165。BSN165经由广播(BC)A10连接与RAN120(例如,BSC/PCF122)进行通信,并且经由互联网175与应用服务器170进行通信。BC A10连接用于传送多播和/或广播消息。因此,应用服务器170经由互联网175向PDSN160发送单播消息,并且经由互联网175向BSN165发送多播消息。
[0049] 通常,如下面将更加详细描述的,RAN120经过空中接口104的广播信道(BCH)向一个或多个接入终端200发射经由BC A10连接从BSN165接收的消息。
[0050] 图2B更加详细地说明了图1的无线通信100的示例。具体而言,参照图2B,将AT1…N表示为在由不同的分组数据网络端点服务的位置处连接到RAN120。因此,AT1和AT3在由第一分组数据网络端点162(例如,可以对应于PDSN160、BSN165、归属代理(HA)、外地代理(FA)等等)服务的部分处连接到RAN120。第一分组数据网络端点162转而经由路由单元188连接到互联网175和/或认证、授权和收费(AAA)服务器182、配置服务器184、互联网协议(IP)多媒体子系统(IMS)/会话初始化协议(SIP)注册服务器186和/或应用服务器170中的一个或多个。AT2和5…N在由第二分组数据网络端点164(例如,可以对应于PDSN160、BSN165、FA、HA等等)服务的部分处连接到RAN120。与第一分组数据网络端点162类似,第二分组数据网络端点164转而经由路由单元188连接到互联网175和/或AAA服务器182、配置服务器184、IMS/SIP注册服务器186和/或应用服务器170中的一个或多个。AT4直接连接到互联网175,并且然后可以经过互联网175连接到上面描述的任何系统部件。
[0051] 参照图2B,将AT1、3和5…N说明为无线手机,将AT2说明为无线平板PC,并且将AT4说明为有线桌面站。然而,在其它实施例中,将意识到,无线通信系统100可以连接到任何类型的AT,并且图2B中说明的示例并不意在限制可以在该系统内实现的AT的类型。而且,尽管将AAA182、配置服务器184、IMS/SIP注册服务器186和应用服务器170分别说明为结构上分离的服务器,但是在本发明的至少一个实施例中,可以合并这些服务器中的一个或多个。
[0052] 进而,参照图2B,将应用服务器170说明为包括多个媒体控制复合体(MCC)1…N170B,以及多个区域分发器1…N170A。区域分发器170A和MCC170B共同包括在应用服务器170内,在至少一个实施例中,这可以对应于服务器的分布式网络,共同用于仲裁无线通信系统100内的通信会话(例如,经由IP单播和/或IP多播协议的半双工组通信会话)。例如,由于应用服务器170仲裁的通信会话理论上会发生在位于系统100内的任何位置的AT之间,因此分布多个区域分发器170A和MCC以降低仲裁的通信会话的时延(例如,以使得南美的MCC不中继位于中国的会话参与者之间的来回的媒体)。因而,当参照应用服务器170时,将意识到,可以由区域分发器170A中的一个或多个和/或MCC170B中的一个或多个实施相关联的功能。区域分发器170A通常负责与建立通信会话相关的任何功能(例如,处理AT之间的信令消息、调度和/或发送宣告消息等等),而MCC170B负责在呼叫实例的时段期间主持通信会话,包括进行呼入信令以及在仲裁的通信会话期间媒体的实际交换。
[0053] 参照图3,诸如蜂窝电话的接入终端200(这里是无线设备)具有平台202,该平台202可以接收并执行从RAN120发射的最终可以来自载波网络126、互联网和/或其它远程服务器和网络的软件应用、数据和/或命令。平台202可以包括可操作地耦接到专用集成电路(“ASIC”208)、或其它处理器、微处理器、逻辑电路或其它数据处理设备的收发机206。
ASIC208或其它处理器执行应用编程接口(“API”)210层,该API210层与无线设备的存储器
212中的任何驻留程序接口。存储器212可以由只读或随机访问存储器(RAM和ROM)、EEPROM、闪存卡,或对计算机平台通用的任何存储器组成。平台202还可以包括能够保持在存储器
212中没有被活动使用的应用的本地数据库214。本地数据库214典型地是闪存单元,但是可以是本领域公知的任何辅助存储设备,例如磁介质、EEPROM、光介质、磁带、软盘或硬盘等等。如本领域公知的,内部平台202部件也可以可操作地耦接到外部设备,例如天线222、显示器224、一键通按钮228和键区226等等其它部件。
[0054] 因此,本发明的实施例可以包括具有执行本文描述的功能的能力的接入终端。如本领域普通技术人员将意识到的,各种逻辑元件可以被实现在分立元件、在处理器上执行的软件模块或用于完成本文公开的功能的软件和硬件的任何组合中。例如,ASIC208、存储器212、API210和本地数据库214都可以可互操作地用于加载、存储和执行本文公开的各种功能,并且因而用于执行这些功能的逻辑可以分布于各种元件上。替代地,可以将这些功能并入一个分立的部件中。因此,认为图3中的接入终端的特征仅是说明性的,并且本发明并不局限于说明的特征或排列。
[0055] 接入终端102和RAN120之间的无线通信可以基于不同的技术,例如码分多址(CDMA)、WCDMA、时分多址(TDMA)、频分多址(FDMA)、正交频分复用(OFDM)、全球移动通信(GSM)或者可以在无线通信网络或数据通信网络中使用的其它协议。数据通信典型地位于客户端设备102、MPT/BS124和BSC/PCF122之间。BSC/PCF122可以连接到多个数据网络,例如载波网络126、PSTN、互联网、虚拟私人网络等等,从而允许接入终端102接入更广的通信网络。如上面讨论的以及本领域公知的,可以使用各种网络和配置从RAN向接入终端发射语音发射和/或数据。因此,本文提供的说明并不意在限制本发明的实施例,而仅仅是辅助描述本发明的实施例的各个方面。
[0056] 图4A说明了传统的半双工组通信会话(例如,呼叫、传输会话等等)处理。图4A的组通信会话可以对应于由IP多播协议或IP单播协议支持的组通信会话。在IP多播中,下行链路广播信道(BCH)在一个或多个扇区内承载单个多播流以到达每一个“监听”多播组成员,同时在下行链路控制信道上发射分离的调度消息(例如,广播开销消息(BOM)),该消息指示多播组成员如何能够调谐到下行链路BCH。在IP单播中,将每一个组消息发射到每一个组通信会话参与者或多播组成员,作为被单独寻址到每一个组成员的分离的单播消息。进而,图4A涉及其中在组音频通信会话的组成员之间共享音频帧的描述。然而,稍后参照图5A-5C描述在组视频通信会话的组成员之间共享视频帧的示例。
[0057] 参照图4A,在400中,给定AT(“AT A”)经由RAN120向应用服务器170发送请求以发起组通信会话。例如,组通信会话可以对应于一键通(PTT)或一键传输(PTX)会话,并且可以以AT A的用户按下AT A上的PTT或PTX按钮为基础来提示400中请求的发射。应用服务器170从AT A接收组通信会话请求,并且在无线通信系统100的一个或多个扇区中发射宣告消息,405。至少AT B…E接收该宣告消息,并且确定加入宣告的组通信会话。因此,AT B…E向应用服务器170发送呼叫接受消息,并且还向RAN120发送注册消息(例如,
BCMCSFlowRegistration消息)以注册到该组通信会话,410和415。来自每一个AT B…E的呼叫接受消息和注册消息可以或者在反向链路接入信道上在分离的消息内进行发送,或者替代地可以被捆绑到相同的消息内。
[0058] 在从AT B…E中对该宣告消息的第一响应者接收呼叫接受消息之后,应用服务器170向AT A准许对于该组通信会话的发言权,420。因此,在接收到发言权准许消息之后,AT A播放音调以向AT A的用户指示该用户可以开始讲话,并且AT A开始在反向链路信道上向RAN120发射音频媒体,然后RAN120将该音频媒体转发到应用服务器170,425。在425中音频媒体的发射可以包括实际包括语音数据的数据帧和/或不包括语音数据的静默帧(例如以当AT A的用户暂停讲话时为例)。
[0059] 在一个示例中,在425中发射的音频媒体流中的每一个帧可以对应于实时传输协议(RTP)分组或数据报,或者替换地为RTCP(RTP控制协议)分组。40个八位字节开销RAP分组的报头部分可以按照下面进行配置:
[0060]
[0061] 表1-RTP分组报头的示例
[0062] 参照表1,RTP分组报头部分的字段在本领域内公知,并且出于简洁目的将不再进行进一步描述。在RTP报头部分之后,RTP分组包括数据有效载荷部分。数据有效载荷部分可以包括语音和/或视频的数字化采样。
[0063] 返回到图4A的425,可以将来自AT A的在425中发射的音频媒体分类为“1D音频”。1D音频对应于当由音频输出设备回放时没有配置为提供空间定向的音频。相反,3D音频可以配置为对于某些声音传达空间定向。例如,对于电影通常编码3D音频以支持用于增强观影体验的声音。从而,当由适当的扬声器系统播放电影时,观影者将听到该电影的声音好像是从它们在电影中示出的相对位置发出的声音(例如,与在电影屏幕上出现在用户眼前的对象相关联的声音,好像从与该对象在屏幕上的位置相匹配的位置发出,例如从观众右边、从观众下边、从观众后面等等)。
[0064] 应用服务器170包括媒体控制复合体(MCC)170B模块,处理来自发言权持有者的媒体流的接收,以及到一个或多个“监听”组成员的输出流到组通信会话的转码。换句话说,MCC170B将RTP分组内的帧复制并从AT A向每一个AT B…E进行重新广播。由于通过MCC170B生成输出流,因此应用服务器170向AT B…E发射包括来自输出流的输出帧的RTP分组,作为一系列组消息,430,并且AT B…E监控该组消息用于组通信会话,435和440。AT B…E接收组消息并且经由相关联的音频输出设备(例如,电话的嵌入式扬声器、头戴式耳机、双耳式耳机等等)将接收的音频媒体作为1D音频输出,436和441。将意识到,436和441中1D音频的输出意味着将来自AT A的音频媒体输出到AT B…E的用户而没有其中定位1D音频的源(即,在这种情况下,AT A的用户)的感知。而是,如在1D音频中典型的情况,由于简单地从该音频输出设备本身发出,因此1D音频的源将出现在任何听众面前。
[0065] 然后,组通信会话继续某一时间段,直到AT A的用户确定放弃发言权,445。445可以对应于来自AT A的放弃发言权的明确指令,或者以来自AT A的不活动时段(即,太多静默帧)为基础。在确定AT A放弃了组通信会话的发言权之后,应用服务器170向AT B…E发送发言权释放消息,450。假设AT B的用户以及AT C…E中的至少一个确定尝试获得对发言权的控制,并且向应用服务器170发送发言权请求消息,455和460。应用服务器170从而接收多个发言权请求消息,并且评估请求该发言权的AT的优先级水平以确定接下来将要被准许发言权的AT。例如,以组通信会话的类型为基础,RAN120可以评估在RAN120处维护的一个或多个优先级表,并且可以将发言权准许给请求该发言权的AT中具有最高优先级的AT。例如,可以按照下面配置该优先级表:
[0066]
[0067] 表2-评估发言权请求的优先级表
[0068] 在465中,假设应用服务器170确定AT B在对于组通信会话的呼叫类型的请求AT中具有最高优先级水平,并且应用服务器170向AT B发送发言权准许消息。接下来,AT B播放音调以通知AT B的用户该AT B现在具有发言权,并且AT B开始在一个或多个RTP分组内向应用服务器170发射1D音频媒体(例如,数据帧、静默帧等等),470,然后,由MCC170B将该音频媒体转换为输出流并且重新发射到AT A和C…E,475。
[0069] AT A和C…E监控组消息用于组通信会话,480和485。AT A和C…E接收组消息并且经由相关联的音频输出设备(例如,电话的嵌入式扬声器、头戴式耳机、双耳式耳机等)输出接收的音频媒体作为1D音频,490和495。将意识到,490和495中1D音频的输出意味着将来自AT B的音频媒体输出到AT A和C…E的用户,而没有其中定位1D音频的源(即,在这种情况下,AT B的用户)的感知。而是,如在1D音频中典型的情况,由于简单地从该音频输出设备本身发出,因此1D音频的源将出现在任何听众面前。
[0070] 作为半双工会话的特性,图4A的组通信会话中的某些AT仅发射帧(例如,在RTP分组内),而该组通信会话中的其它AT仅接收帧(例如,在RTP分组内)。图4A的处理的一种替代是全双工组通信会话,下面参照图4B进行描述。在全双工会话中,每一个会话参与者都可以发射和接收帧(例如,在RTP分组内)。
[0071] 图4B说明了传统的全双工组通信会话处理。如图4A所示,图4B的组通信会话可以对应于由IP多播协议或IP单播协议支持的组通信会话。参照图4B,400B到415B对应于图4A的400到415,并且因此出于简洁目的将不再进行进一步讨论。
[0072] 在420B中,代替向会话发起者(即,AT A)准许发言权,应用服务器170向加入该组通信会话的每一个AT发送消息指示会话可以开始,420B。在接收到消息420B时,AT A…E中的任意一个可以开始讲话,并且从而发送音频媒体(例如,数据帧或静默帧),425B、430B、435B。与图4A中相同,在425B、430B和435B中发射的音频媒体对应于1D音频。
[0073] 返回到图4B,在440B中,应用服务器170的MCC170B从AT A…E接收音频媒体,对聚合的媒体流进行去抖动,并且然后生成包括在特定时间间隔内来自每一个AT A…E的所有媒体内容的输出流。然后,应用服务器170将产生的1D音频媒体流发送到每一个AT A…E作为一个或多个RTP分组内的一系列聚合帧,440B。然而,要意识到,每一个AT A…E接收包含来自所有会话参与者,除了它自己,的帧的聚合媒体流以避免反馈问题。因而,AT A接收由来自AT B…E的聚合媒体组成的输出流,AT B接收由来自AT A和C…E的聚合媒体组成的输出流,依此类推。AT A…E分别从应用服务器170接收其各自的音频帧,445B、450B和455B。然后,AT A…E向它们的用户输出来自其各自音频帧的1D音频,460B、465B和470B。
[0074] 图4C更加详细地说明了在图4A的430、图4A的475和/或图4B的440B的发送步骤期间在应用服务器170处发生的处理。参照图4C,应用服务器170接收一个或多个帧用于发射到AT的组,400C。例如,在图4A的430中,应用服务器170接收在图4A的425处发送的来自AT A的帧,并且在图4A的475中,应用服务器170接收在图4A的470处发送的来自ATB的帧。在进一步示例中,在图4B的440B中,应用服务器170接收在图4B的425B和435B之间发送的来自每一个AT A…E的帧。
[0075] 在400C中接收每一个帧时,处理对于服务器仲裁的组通信会话的媒体交换的特定MCC170B的控制器将来自400C的每一个接收的帧添加到对于相关联的AT的去抖动缓冲器中的相对应的队列中,405C。当MCC170B处的混合器准备好时,该混合器对于特定时隙从该去抖动缓冲器的各自队列移除一个或多个帧,并且对该一个或多个帧执行混合操作,410C。在半双工的情况下,典型地存在仅来自一个AT(即,当前的发言权持有者)的帧,以使得不需要执行媒体的实际混合,不需要使用去抖动缓冲器并且可以简单地如接收的那样将帧从MCC170B进行转发而没有报头修改。因此,图4C主要涉及对于全双工会话执行的处理。在全双工的情况下,典型地存在来自多于一个AT(例如,尽管不必每时隙来自每一个AT)的帧,以使得混合器在特定时隙内混合每一个帧内的实际媒体或有效载荷部分,如本领域公知的。将意识到,还有可能在全双工中在某一时间段内具有仅从一个AT接收的帧,与在半双工中一样,例如当一个会话参与者在该会话期间进行大部分讲话时。然而,当在全双工会话期间接收到单个帧时,仍然像当接收多个帧时那样使用去抖动缓冲器,以使得仍然经历与去抖动缓冲器相关联的延迟。在410C中混合这些帧之后,控制器指导将混合的帧发射到组。
[0076] 图4D和图4E说明了图4C的处理的实现示例。具体地说,图4D说明了其中如图4B中那样在每一个时隙期间每一个AT A…E都发射帧的全双工会话实现示例,并且图4E说明了其中在某一时间段内的每一个时隙期间仅AT1发射帧的实现示例(例如,在其中AT A碰巧在该时间段内进行全部发言的全双工会话中)。
[0077] 参照图4D,在处理组通信会话的仲裁的应用服务器170的MCC170B处从每一个AT A…E接收数据流(例如,一系列帧),400C。MCC170B的控制器将来自400C的每一个接收的帧添加到对于相关联的AT的去抖动缓冲器中的队列,405C。如图4D所示,对于每一个AT A…E的队列示出了等待由混合器进行处理或混合的多个帧(例如,由从其接收帧的相对应的AT的字母表示)。当在给定时隙内帧到达其各自队列的顶部时,控制器将这些帧从去抖动缓冲器中的队列移除,并且将这些帧发送到混合器用于混合,410C。这样,混合器在410C中对在给定时隙内来自每一个AT A…E的帧进行混合。在图4D中实现这一混合的方式是这样的以使得产生1D音频。换句话说,当在目标AT处回放时,音频媒体的源将被认为对于每一个扬声器相同。
[0078] 然后,控制器指导将混合帧发射到组通信会话的每一个会话参与者,415C。如图4D中所示,发送到每一个AT的混合帧包括来自每一个其它AT的媒体,以使得发送到AT A的混合帧包括来自AT B+C+D+E的帧,发送到AT B的混合帧包括来自AT A+C+D+E的帧,发送到AT C的混合帧包括来自AT A+B+D+E的帧,发送到AT D的混合帧包括来自AT A+B+C+E的帧,并且发送到AT E的混合帧包括来自AT A+B+C+D的帧。
[0079] 参照图4E,在处理组通信会话的仲裁的应用服务器170的MCC170B处仅从AT A接收数据流(例如,一系列语音或高数据速率帧),400C。可以在半双工会话期间,或者甚至在其中仅一个AT发送语音媒体用于发射到组的全双工会话期间的某一时间段内,发生仅从一个AT(例如,在这种情况下,AT A)接收帧。将意识到,在MCC170B处可以从一个或多个其它AT B…E接收其它帧,但是这些帧在图4E中被假设对应于噪声帧或静默帧(例如,低数据速率帧等等),并且控制器170A配置为丢弃这样的帧并且制止将这样的帧添加到去抖动缓冲器处的队列。控制器将来自400C的每一个接收的帧(例如,意味着每一个接收的语音帧或高数据速率帧,同时排除噪声帧和/或静默帧)添加到对于相关联的AT(即,AT A)的去抖动缓冲器中的队列,405C。
[0080] 如图4E中所示,对于每一个AT A的队列示出了等待由混合器进行处理或混合的多个帧(例如,由AT A的队列中的字母‘A’表示),而对于AT B…E的队列分别为空,因为假设在某一时间段内没有从AT B…E接收到语音分组。当在给定时隙处对于AT A的帧达到其队列的顶部时,控制器将该帧从去抖动缓冲器中的队列移除,并且将该帧发送到混合器用于混合,410C。这样,混合器在410C中在给定时隙内对来自AT A的帧执行混合操作。在这种情况下,由混合器执行的混合操作对应于格式化输入帧中的媒体,以使得输出帧的RTP报头适合于输出流(例如,修改来自AT A的输入流的序列号以对应于输出流中下一帧的正确序列号,依此类推)。然后,控制器指导将混合的(或者在这种情况下,格式化的)帧发射到组通信会话的一个或多个会话参与者,415C。
[0081] 如图4E中所示,发送到每一个AT的混合帧包括来自对于该时隙正在发射帧的每一个其它AT的媒体。在这种情况下,由于对于当前时隙仅AT A正在发射帧,因此发送到每一个AT B…E的格式化的帧仅包括AT A的帧,并且可以向AT A发送NULL帧(例如,不包括媒体的帧)。替代地,尽管在图4E中没有示出,但是代替NULL帧,在415C中可以不向AT A发射帧。
[0082] 本领域的普通技术人员将意识到,向参与组通信会话的目标AT提供1D音频足够传送相关联的音频内容,但是1D音频不能够提供对于音频媒体的基于位置的3D表示。
[0083] 图5A说明了传统的全双工组视频通信会话处理。图5A的组视频通信会话可以对应于由IP多播协议或IP单播协议支持的组通信会话。
[0084] 参照图5A,在500中,给定AT(“AT A”)经由RAN120向应用服务器170发送请求以发起组视频通信会话(例如,配置为交换视频并且可选地也交换音频的会话)。应用服务器170从AT A接收组视频通信会话请求,并且在无线通信系统100的一个或多个扇区中发射宣告消息,505。至少ATB…E接收该宣告消息,并确定加入宣告的组通信会话。因此,AT B…E向应用服务器170发送呼叫接受消息,并且还向RAN120发送注册消息(例如,BCMCSFlowRegistration消息)以注册到该组视频通信会话,510和515。来自每一个AT B…E的呼叫接受消息和注册消息可以在反向链路接入信道上在分离的消息内进行发送,或者替代地可以被捆绑在相同的消息内。
[0085] 在接收呼叫接受消息之后,应用服务器170向已经加入组通信会话的每一个AT发送消息指示会话可以开始,520。在接收消息520时,任何ATA…E可以开始发送视频媒体(例如,并且也可选地发送音频媒体),525、530和535。
[0086] 返回到图5A,在540中,应用服务器170的MCC170B从AT A…E接收视频媒体,使聚合的媒体流去抖动,并且然后根据默认混合规则在特定时间间隔内生成包括来自每一个AT A…E的所有媒体内容的输出流。下面将参照图5B和图5C进一步详细地描述默认混合规则,但是通常对应于组合来自各自AT的视频媒体以向每一个目标AT提供视频输出帧的方式。
[0087] 应用服务器170然后将产生的混合视频媒体流作为一个或多个RTP分组内的一系列聚合帧发送到每一个AT A…E,545。然而,要意识到,每一个AT A…E可以接收包含来自所有会话参与者,除了它自己,的帧的聚合媒体流,以避免反馈问题(例如,即使用户希望浏览他/她自己的视频媒体流,在一个示例中,这可以在单独AT处内部完成而不涉及应用服务器170)。因而,AT A接收由来自AT B…E的聚合媒体组成的输出流,AT B接收由来自AT A和C…E的聚合媒体组成的输出流,依此类推。
[0088] 每一个AT A…E对于来自应用服务器170的组消息(即,视频媒体流)的接收监控下行链路信道,550、555和560。从而,每一个AT A…E接收,并且然后经由与各自AT相关联的显示设备输出视频媒体流,565、570和575。
[0089] 图5B说明了在图5A的540处发生的混合的实现示例。关于图4C的通用混合处理描述图5B,尽管将意识到,图4C主要关于音频帧进行描述,而图5B涉及混合视频帧。
[0090] 参考图5B,在处理组通信会话的仲裁的应用服务器170的MCC170B处从每一个AT A…E接收视频帧的流,400C。MCC170B的控制器将来自400C的每一个接收帧添加到对于相关联的AT的去抖动缓冲器中的队列,405C。如图5B中所示,对于每一个AT A…E的队列示出了等待由混合器进行处理或混合的多个帧(例如,由从其接收帧的相对应的AT的字母表示)。当对于给定时隙的帧到达其各自队列的顶部时,控制器将这些帧从去抖动缓冲器中的队列移除,并将这些帧发送到混合器用于根据对于视频帧的默认混合规则进行混合,410C。这样,混合器在410C中对给定时隙内来自每一个AT A…E的帧进行混合。
[0091] 参照图5B,控制器指导将混合帧发射到组视频通信会话的每一个会话参与者,415C。如图5B中所示,发送到每一个AT的混合帧包括来自每一个其它AT的媒体,以使得发送到AT A的混合帧包括来自AT B+C+D+E的帧,发送到AT B的混合帧包括来自AT A+C+D+E的帧,发送到AT C的混合帧包括来自AT A+B+D+E的帧,发送到AT D的混合帧包括来自ATA+B+C+E的帧,并且发送到AT E的混合帧包括来自AT A+B+C+D的帧。
[0092] 更具体地说,在图5B中,默认混合规则是按照顺时针方式并且按照A…E的顺序(除了目标AT)组合来自各自AT的视频媒体。因而,由于存在提供视频媒体的五个(5)AT,因此每一个AT将一次在输出视频流中提供由总共四个(4)组合的视频帧(即,四个其它AT的视频流而没有目标AT自己的视频流)。图5B的示例示出了可用于表示来自每一个各自AT的视频帧的具有四个位置的网格。意在用于AT A的网格(或视频输出帧)从而具有位于左上部分中的AT B的视频帧,位于右上部分中的AT C的视频帧,位于左下部分中的AT D的视频帧以及位于右下部分中的AT E的视频帧。通过回顾图5B将意识到输出视频帧或流中的剩余视频帧排列。
[0093] 图5C说明了当如图5B中所示对来自AT B…E的视频流进行混合时在AT A处实现的视频回放的示例。因此,AT B…E的用户分别对自己进行录像并且提供由应用服务器170根据默认混合规则进行混合且然后发送到ATA用于呈现给AT A的用户的视频帧。如上面关于图5B描述的,这意味着AT B的视频帧显示在AT A的显示器的左上部分中,AT C的视频帧显示在AT A的显示器的右上部分中,AT D的视频帧显示在AT A的显示器的左下部分中,并且AT E的视频帧显示在AT A的显示器的右下部分中。
[0094] 本领域的普通技术人员将意识到,关于图4A-4E描述的组通信会话的1D音频回放不考虑各自呼叫参与者的虚拟或物理位置。因而,如果每一个呼叫参与者位于不同的国家,建筑物的不同楼层或不同的在线聊天室或扑克游戏就坐位置,则以一种方式混合音频,以使得从目标AT的用户的角度,将呼叫参与者感知为源自相同的源或者起始点或方向。并且,关于图5A-5C描述的组视频通信的AT专有视频部分的位置的排列不以呼叫参与者的各自位置为基础,而是以默认混合算法的结果为基础。
[0095] 因此,本发明的实施例涉及当格式化媒体用于在组通信会话期间呈现给接入终端的用户时考虑位置信息。这些实施例可以涉及组音频通信会话(例如,如图7A-7C中所示)或组视频通信会话(例如,如图8A-8C所示)。这些实施例可以实现在应用服务器170处(例如,如图6-8C中所示),或者替代地可以实现在AT本身处(例如,如图9A-9E中所示)。组通信会话本身可以是半双工、混合双工(例如,多于一个会话参与者并且少于所有会话参与者可以持有发言权)或全双工(例如,每一个会话参与者都可以向所述组发送媒体或持有发言权)。
[0096] 图6A说明了根据本发明至少一个实施例在应用服务器170处实现的高级媒体重新格式化或混合处理。参照图6A,应用服务器170仲裁AT A…E之间的组通信会话(例如,音频和/或视频组通信会话),并且应用服务器170从AT A…E中的第一组AT接收媒体用于发射到通信组,600。从其接收媒体的第一组AT可以对应于参与该通信会话的单个AT、所有AT或中间数量的AT。接下来,应用服务器170确定与AT A…E中的一个或多个相关联的位置信息,605。
[0097] 在一个示例中,位置信息可以对应于一个或多个AT的地理定位或位置。例如,AT A…E可以将其各自地理定位(例如经由GPS或一些其它位置确定机制计算)报告给应用服务器170。这些报告可以是周期性的,可以在建立通信会话时触发或者可以经由一些其它基础来提供。在替代示例中,位置信息可以代替地对应于各自AT的服务区域。例如,对哪一个基站当前正在服务AT的了解可以给予应用服务器170关于该AT的位置的粗劣位置估计。
[0098] 在另一示例中,位置信息可以是虚拟的并且根本不以地理定位为基础。例如,假设组通信会话与在线扑克游戏相关联。典型地,就好像玩家坐在实际的牌桌周围一样向玩家(或观众)视觉呈现在线扑克游戏。然而,玩家在牌桌周围的‘虚拟’位置不需要与他们在真实世界中的物理位置有任何关系。来自全世界的玩家都可以经由在线头像和/或视频馈送而表示为一起坐在一个牌桌旁。在这种情况下,虚拟牌桌周围各自扑克玩家的虚拟位置可以由应用服务器170解释为位置信息。这一类型的位置信息可以由应用服务器170从主持该扑克游戏的服务器(可以对应于也可以不对应于应用服务器170)获取,或者替代地可以以各自扑克玩家进入该游戏的到达顺序为基础进行推断。
[0099] 在605中获取一个或多个AT的位置信息之后,应用服务器170以确定的位置信息为基础选择性重新格式化来自600的接收的媒体。下面提供如何重新格式化接收的媒体的多种不同示例。在610中重新格式化媒体之后,应用服务器170将重新格式化的媒体发送到AT A…E的第二组,615。在一个示例中,第一组和第二组可以相同,例如当全双工会话中的每一个参与者从其它会话参与者接收媒体时。然而,第一组和第二组也可以不同,例如在第一组对应于讲话者者或发言权持有者而第二组对应于听众或非发言权持有者的半双工会话期间。将意识到,不需要将媒体发送回到提供该媒体的AT,以使得在本发明的至少一个实施例中,每一个参与AT仅能够从其它AT接收媒体。然而,这是一种简单的示例实现,因为至少在理论上可能存在特定AT的用户会想要他/她的视频流从应用服务器170反馈到他/她的AT。
[0100] 图6B说明了图6A的处理的示例实现。在图6A中,将接收的媒体描述为由应用服务器170以在605中确定的位置信息为基础进行重新格式化。图6B集中于其中应用服务器170对于目标AT中的至少一个重新格式化媒体的方式以该目标AT进行的选择为基础的示例实现。例如,在其中媒体属于音频的示例中,选择的媒体重新格式化协议可以对应于将女性讲话者定位在目标用户的“前面”,而将男性讲话者定位在目标用户的“左边”或“右边”。在另一示例中,特定用户可能他或她的左耳是聋的,并且选择的媒体重新格式化协议可以对应于将讲话者定位在用户的“右边”的不同点处。将意识到,存在可以由任何数量的用户从预定的媒体重新格式化协议选择集中或者以用户定制的方式进行选择的多种媒体重新格式化协议。从而,在某些实现中,应用服务器170可以根据一个或多个选择以逐个用户或逐个目标为基础重新格式化接收的媒体。
[0101] 因此,参照图6B,应用服务器170从AT A…E的第二组中的至少一个接收选择的媒体重新格式化协议的指示,600B。如上所述,选择的媒体重新格式化协议可以对应于关于应用服务器170如何重新格式化对于一个或多个特定目标AT的媒体(例如,音频媒体、视频媒体等等)的指令。接下来,应用服务器170从AT A…E中的第一组AT接收媒体用于发射到通信组,600,并且应用服务器170确定与AT A…E中的一个或多个相关联的位置信息,605。
[0102] 在605中获得一个或多个AT的位置信息之后,应用服务器170在610中至少部分地以确定的位置信息为基础选择性重新格式化来自600的接收的媒体。具体而言,在图6B的实施例中,610的选择性重新格式化步骤包括根据它们各自选择的媒体重新格式化协议对于在600中提供指示的AT选择性重新格式化接收的媒体,605B。如果在第二组AT内存在在600B中没有提供媒体重新格式化协议选择的任何剩余AT,则应用服务器170也对于该剩余AT选择性重新格式化来自第一组AT的接收的媒体,610B。在一个示例中,610B的选择性重新格式化可以以确定的位置信息为基础经由在不了解关于给定用户在媒体排列上的偏好的情况下选择的某一类型的默认媒体重新格式化协议来发生。在610中重新格式化媒体之后,应用服务器170将重新格式化的媒体发送到AT A…E的第二组,615。
[0103] 图7A说明了根据本发明实施例应用于组音频通信会话的图6A的处理的更加详细的实现示例。
[0104] 参照图7A,应用服务器170正在仲裁包括AT A…E之间的音频媒体交换的组通信会话,并且应用服务器170从AT A…E中的一组AT接收音频媒体用于发射到通信组,700A。图7A的700A与图6A的600类似,除了700A更专门涉及音频媒体。在一个示例中,在700A中接收的音频媒体可以按照1D音频格式到达应用服务器170。接下来,与图6A的605中相同,应用服务器170确定与AT A…E中的一个或多个相关联的位置信息,705A。
[0105] 接下来,对于作为接收的媒体的目标的AT A…E的第二组中的每一个,应用服务器170以确定的位置信息为基础确定所述组中的每一个AT的接收的音频媒体的虚拟起始点或方向,710A。稍后将从AT A的角度参照图7B到7E描述虚拟起始点或方向的示例。在710A中确定了虚拟起始点或方向之后,应用服务器170对于第二组AT中的每一个生成3D音频输出帧,包括关于目标AT位于相对应的虚拟起始点或方向处的接收的音频媒体,715A。将意识到,如果每一个AT A…E将要接收3D音频帧,则该第二组AT可以包括每一个AT A…E。在另一示例中,如果仅一个特定AT正在提供音频媒体,则除了提供该音频媒体的AT之外的每一个AT可以是用于接收该3D音频的AT的目标AT以减少到发射AT的反馈。在这种情况下,第二组可以包括AT A…E中除了提供音频媒体的AT之外的每一个AT。
[0106] 在715A中生成3D音频输出帧之后,应用服务器170向它们相对应的目标AT发送3D音频帧,720A。如上所述,每一个AT A…E可以接收由源AT的不同组构成的音频帧(例如,AT A被发送有由来自AT B…E的音频媒体组成的音频帧,依此类推)。并且,将意识到,对于特定的音频帧,可以关于目标AT的位置信息来考虑该组AT的位置信息。从而,在至少一个实施例中,相同AT的虚拟起始点或方向在目标AT之间变化。下面关于图7B到7E更加详细地描述这一方面。
[0107] 参照图7B,说明了与AT A相关联的音频输出设备700B(例如,在这一实施例中表示为一组耳机)。被说明为一组耳机的音频输出设备700B意在代表可以连接到AT A的音频输出设备的类型的非限制性示例。将AT A表示为由音频输出设备700B包围,这意在表示为了解释图7B的目的而假设AT A(或AT A的用户)由耳机包围。围绕AT A的音频输出设备700B是对于每一个AT B…E的虚拟起始点或方向的示例。例如,将AT E表示为位于AT A的左边,来自AT E的音频到达左边的耳朵或左边的耳机,将ATB和C表示为位于AT A的上面和左边,来自AT B和C的音频到达AT A的左边的耳朵或耳机,并且将AT D表示为位于AT A的右边,来自AT D的音频到达AT A的右边的耳朵或耳机。除了到达AT A处‘右边’耳朵或‘左边’耳朵的音频,还存在传达到AT A的用户的方向感知。从这个意义上,认为输出到AT A的用户的音频是三维(3D)的,因为期望AT A的用户关联到特定AT的音频从其发出的3D位置或方向。尽管来自AT B、C和E的音频分别是基本上从左边的‘耳朵’或耳机输出到AT A的用户,但是配置3D音频输出(例如,由图6和7A的实施例中的应用服务器170)以使得当AT A的用户尝试查明音频流的虚拟源时,AT E的音频将表现出源自与AT B和/或C的音频不同的源位置。
[0108] 图7C与图7B类似,除了图7B从AT B的角度示出了AT A和C…E的虚拟起始点或方向的示例。因此,参照图7B,将音频输出设备700B(例如,在这一实施例中表示为一组耳机)说明为与AT B相关联。例如,在图7C中,将AT C表示为位于AT B的左边,来自AT C的音频到达左边的耳朵或左边的耳机,将AT E和A表示为位于AT B的上面和左边,来自AT E和AT A的音频到达AT B的左边的耳朵或耳机,并且将AT D表示为位于AT B的右边,来自AT D的音频到达AT B的右边的耳朵或耳机。除了音频在AT B处到达‘右边’耳朵还是‘左边’耳朵,还存在传达到AT B的用户的方向感知。与图7B类似,尽管来自AT A、C和E的音频分别是基本上从左边的‘耳朵’或耳机输出到AT B的用户,但是配置3D音频(例如,由图6和7A的实施例中的应用服务器170)以使得当AT B的用户尝试查明音频流的虚拟源时,AT C的音频将表现为源自与AT A和/或E的音频不同的源位置(或来自不同的方向)。
[0109] 参照图7B和7C,在至少一个实施例中,分派到AT A…E的不同虚拟起始点或方向可以以它们各自的位置信息为基础。例如,在图7B中,具有位于AT A的‘左边’的其虚拟起始点或方向的AT B、C和E可以用于向AT A的用户传达AT B、C和E位于AT A的西边。同样,具有位于AT A的‘右边’的其虚拟起始点或方向的AT D可以用于向AT A的用户传达ATD位于AT A的东边。还‘高于’AT E的AT B和C的虚拟起始点或方向可以进一步用于传达相关联的高度(例如,AT B和C处于高于AT E的地面上),或者可以传达AT B和C比AT E更往北。并且,AT B和C的虚拟起始点或方向之间的类似性可以用于向AT A的用户传达AT B和C在位置方面相对靠近在一起(例如,AT B和C位于同一房间、同一州、同一国家,在彼此的阈值距离内等等)。将意识到,经由对于在组通信会话期间向该组发射媒体的AT的虚拟起始点或方向的排列能够传达很多种不同类型的物理和/或地理位置信息。
[0110] 图7D说明了根据本发明实施例在在线扑克游戏期间围绕虚拟牌桌700D的扑克玩家的排列。因此,在AT A处按顺时针顺序开始,将这些AT表示为AT A、AT D、AT E、AT B和AT C。传统上,如果扑克游戏配置为支持与其中玩家能够彼此讲话的组通信会话相关联,则扑克玩家的相对位置不经由用于支持该组通信会话的1D语音传达到彼此。
[0111] 图7E说明了根据本发明实施例AT B…E的虚拟起始点或方向如何用于向AT A传达扑克玩家在虚拟牌桌700D周围的相对位置的示例。在图7E的实施例中,从AT A的角度,建立AT B…E的虚拟起始点或方向以使得AT A听见其它扑克玩家讲话,好像就坐在实际的牌桌周围一样。换句话说,AT D虚拟地就坐在AT A的左边,从而AT D的音频媒体将向AT A的用户表现为好像来自AT A的左边(并且也可能在前面),依此类推。因此,提供AT B…D的位置的人工感测的3D音频可以在在线扑克游戏期间为AT A提供更加身临其境的体验。
[0112] 图7F说明了根据本发明实施例图7A的处理在半双工组通信会话处理中的实现。图7F的700F到725F基本上分别对应于图4A的400到425,因此为了简洁起见将不再进行进一步描述。
[0113] 在730F中,在应用服务器170开始从AT A接收音频媒体(如图7A的700A)之后,应用服务器170确定AT A…E的位置信息(例如,如图7A的705A)。如上所述,该位置信息可以对应于AT A…E的物理位置,例如地理坐标和/或服务区域,或者对应于AT A…E的虚拟位置,例如AT A的用户在虚拟牌桌周围的就坐位置。
[0114] 接下来,对于每一个AT B…E,应用服务器170以确定的位置信息为基础确定AT A的虚拟起始点或方向,735F(例如,图7A中的710A)。例如,应用服务器170可以将AT A的位置信息与AT B…E中的目标AT的位置信息进行比较以确定AT A的虚拟起始点或方向。因而,在一个示例中,如果AT A的位置在目标AT的位置的西边,则应用服务器170可以按照3D音频将虚拟起始点或方向设置在目标AT的左边。而且,735F的确定关于每一个目标AT可以是相对的。因而,如果AT A的虚拟扑克座位位于AT B和C之间,则发送到AT B和C的3D音频将例如以AT A就坐到AT B的左边和AT C的右边为基础而使AT A表现为来自不同的方向。
[0115] 替代地,735F的确定不需要将AT A的位置与任何其它位置进行比较。而是,在至少一个实施例中,AT A的位置可以由其自己在确定对于每一个目标AT的虚拟起始点或方向时使用。例如,对于至少一个目标AT,应用服务器170可以建立用于国内呼叫参与者的第一预定虚拟起始点或方向以及用于国际呼叫参与者的第二预定虚拟起始点或方向。因而,与AT B…E的位置无关,AT A的位置可以由应用服务器170使用以选择将被预期向目标AT传递讲话者(在这种情况下,AT A)的国内或国际状态的虚拟起始点或方向。
[0116] 在确定AT A关于每一个目标AT的虚拟起始点或方向之后,应用服务器170生成对于每一个AT B…E的3D音频输出帧,包括位于对于各自目标AT的相对应的虚拟起始点或方向处的AT A的音频媒体,740F(例如,如图7A中的715A)。应用服务器170在745F中向AT B…E发送3D音频输出帧(例如,如图7A的720A)。每一个AT B…E监控与组通信会话相关联的组消息,750F和755F。从而,AT B…E分别从应用服务器170接收其各自的3D音频输出帧,并且经由音频输出设备输出包含在其中的3D音频,760F和765F。
[0117] 图7G说明了根据本发明实施例图7A的处理在全双工组通信会话处理中的实现。图7G的700G到735G基本上分别对应于图4B的400B到435B,因此为了简洁起见,将不再进行进一步描述。
[0118] 在740G中,在应用服务器170开始从AT A…E接收音频媒体(例如,如图7A的700A)之后,应用服务器170确定AT A…E的位置信息(例如,如图7A的705A)。如上所述,该位置信息可以对应于AT A…E的物理位置,例如地理坐标和/或服务区域,或者对应于AT A…E的虚拟位置,例如AT A…E的用户在虚拟牌桌周围的就坐位置。
[0119] 接下来,对于每一个AT A…E,应用服务器170以确定的位置信息为基础确定对于每一个其它AT的虚拟起始点或方向,745G(例如,图7A的710A)。例如,应用服务器170可以将每一个AT的位置信息与每一个其它AT的位置信息进行比较以确定虚拟起始点或方向。因而,如果AT A是目标AT,则可以将AT A的位置与每一个AT B…E的位置进行比较。这些比较的每一个产生对于特定AT的特定虚拟起始点或方向。替代地,对于至少一个AT,可以省去比较,并且该AT的位置信息可以简单地用于建立虚拟起始点或方向。例如,在至少一个实施例中,假设位于美国之外的AT从目标AT处的3D音频输出的角度总是在左边耳朵或左侧输出。在这种情况下,可以部分地以其位置为基础而与其对于目标AT的相对位置无关地向国际AT分派虚拟起始点或方向。
[0120] 在确定每一个目标AT的虚拟起始点或方向的组之后,应用服务器170生成对于每一个AT A…E的3D音频输出帧,包括位于各自目标AT的相对应的虚拟起始点或方向处的各自AT的音频媒体,750G(例如,如图7A的715A)。应用服务器170在755G中向AT A…E发送3D音频输出帧(例如,如图7A的720A)。每一个AT A…E监控与组通信会话相关联的组消息,760G、765G和770G。从而,AT A…E分别从应用服务器170接收其各自的3D音频输出帧,并且经由音频输出设备将包含在其中的3D音频输出,775G、780G和785G。
[0121] 尽管图7A-7G的实施例通常描述其中组通信会话对应于组音频通信的图6A的处理的示例实现,但是本发明的其它实施例涉及关于组视频通信会话实现图6A的处理,如下面将参照图8A到8C进行描述的。
[0122] 因此,图8A说明了根据本发明实施例应用于组视频通信会话的图6A的处理的更加详细的实现示例。
[0123] 参照图8A,应用服务器170仲裁包括AT A…E之间的视频媒体的交换的组通信会话,并且应用服务器170从AT A…E中的第一组AT接收视频媒体用于发射到通信组,800A。图8A的800A与图6A的600类似,除了800A更加具体地涉及视频媒体。接下来,如图6A的605,应用服务器170确定与AT A…E中的一个或多个相关联的位置信息,805A。
[0124] 在确定AT A…E中的一个或多个AT的位置信息之后,对于每一个ATA…E,应用服务器170以确定的位置信息为基础确定该组AT的每一个AT的接收的视频媒体的视觉排列,810A。下面更加详细地描述接收的视频媒体的视觉排列的示例。在810A中确定接收的视频媒体的视觉排列之后,对于AT A…E的第二组中的每一个(例如,对于全双工会话可以与第一组相同,或者在半双工会话的情况下不同),应用服务器170生成包括根据815A中确定的视觉排列而排列的接收的视频媒体的视频输出帧。例如,如果仅一个特定AT提供视频媒体,则除了提供该视频媒体的AT以外的每一个AT可以是用于接收该视频输出帧的目标AT以减少到发射AT的反馈。
[0125] 在815A中生成视频输出帧之后,应用服务器170将该视频输出帧发送到它们相对应的目标AT,820A。如上所述,每一个AT A…E可以接收由源AT的不同组构成的视频输出帧(例如,AT A被发送有由来自AT B…E的视频媒体构成的视频输出帧,依此类推)。并且,将意识到,可以相对于对于特定音频帧的目标AT的位置信息来考虑该组AT的位置信息。从而,在至少一个实施例中,视觉排列内每一个AT的位置可以在目标AT之间变化。下面将参照图8B和8C更加详细地描述这一方面。
[0126] 图8B说明了如图7D和7E说明的对于在线扑克游戏的目标AT A来自AT B…E的视频媒体的示例视觉排列。如图8B中所示,与图5B和5C不同,建立视觉排列以使得AT B…E在该视频输出帧中的位置对应于它们在虚拟牌桌处到AT A的各自位置。因而,AT A的用户可以浏览如图8B中所示的视频输出帧,并且理解AT D被虚拟地表示为在虚拟牌桌处位于AT A的左边,AT C被虚拟地表示为在虚拟牌桌处位于AT A的右边,依此类推。
[0127] 图8C说明了如图7D和7E中说明的对于在线扑克游戏的目标AT B来自AT A和C…E的视频媒体的示例视觉排列。如图8C中所示,与图8B类似而与图5B和5C不同,建立该视觉排列以使得AT A和C…E在视频输出帧内的位置对应于它们在虚拟牌桌处到AT B的各自位置。因而,AT B的用户可以浏览如图8C中所示的视频输出帧,并且理解AT C被虚拟地表示为在虚拟牌桌处位于AT B的左边,AT E被虚拟地表示为在虚拟牌桌处位于AT B的右边,依此类推。
[0128] 图8D说明了根据本发明实施例图6A的处理在全双工组视频通信会话处理中的实现。图8D的800D到835D基本上分别对应于图5A的500到535,因此为了简洁起见将不再进行进一步描述。
[0129] 在840D中,在应用服务器170开始从AT A…E接收视频媒体(例如,如图8A的800A)之后,应用服务器170确定AT A…E的位置信息(例如,如图8A的805A)。如上所述,该位置信息可以对应于AT A…E的物理信息,例如地理坐标和/或服务区域,或者对应于AT A…E的虚拟位置,例如AT A…E的用户在虚拟牌桌周围的就坐位置。
[0130] 接下来,对于每一个AT A…E,应用服务器170以确定的位置信息为基础确定对于每一个其它AT的视频媒体的视觉排列,845D(例如,如图8A的810A)。例如,应用服务器170可以将每一个AT的位置信息与每一个其它AT的位置信息进行比较以确定虚拟起始点或方向。因而,如果AT A是目标AT,则可以将AT A的位置与每一个AT B…E的位置进行比较。这些比较的每一个产生用于呈现给目标AT的特定视觉排列。
[0131] 在确定要呈现给每一个目标AT的视觉排列之后,应用服务器170对于每一个AT A…E生成视频输出帧,包括根据对于各自目标AT的视觉排列定位的各自AT的视频媒体,850D(例如,如图8A的815A)。应用服务器170在855D中向AT A…E发送该视频输出帧(例如,如图8A的820A)。每一个AT A…E监控与组通信会话相关联的组消息,860D、865D和870D。从而,AT A…E分别从应用服务器170接收它们各自的视频输出帧,并且经由显示器输出包含在其中的特殊排列的视频媒体,875D、880D和885D。
[0132] 将意识到,图6A到8D已经描述了涉及其中应用服务器170负责以及在该应用服务器170处获得的一个或多个参与AT的位置信息为基础选择性重新格式化媒体用于发射到参与组通信会话的多个目标AT的实施例。在本发明的另一实施例中,‘原始’或未格式化的媒体(例如,1D音频和/或没有位于基于位置的视觉排列中的视频输出帧)可以由应用服务器170发送到目标AT,在目标AT本身处(由其各自用户处理)实现基于位置的重新格式化。将意识到,这样的实施例可能潜在地消耗更多的带宽和/或系统资源,但是与输出其媒体的方式相比较,可以为用户提供更多的控制和灵活性。
[0133] 图9A和9B说明了根据本发明至少一个实施例在组通信会话期间的高级媒体重新格式化或混合处理。参照图9A,应用服务器170正在仲裁ATA…E之间的组通信会话(例如,音频和/或视频组通信会话),并且应用服务器170从AT A…E中的第一组AT接收媒体用于发射到AT A…E中的第二组AT,900A。从其接收媒体的第一组AT可以对应于参与通信会话的单个AT、所有AT或中间数量的AT。同样,第二组AT可以对应于参与通信会话的所有AT,或者替代地可以对应于除了在第一组中提供媒体的AT之外的参与通信会话的所有AT。接下来,应用服务器170确定与AT A…E中的一个或多个相关联的位置信息,905A。图9A的900A和905A分别类似于图6A的600和605。
[0134] 在905A中获得一个或多个AT的位置信息之后,代替如图6A的610中在应用服务器170处重新格式化媒体,应用服务器170将未格式化的媒体连同确定的位置信息一起发送到每一个各自目标AT,910A。将意识到,这允许每一个目标AT关于如何重新格式化该媒体做出它们自己的独立决定。在一个示例中,发生在910A中的媒体转发对应于向每一个目标AT发送分离的未混合媒体流。因而,在涉及AT A…E的全双工音频会话中,ATA将在910A中被从AT B…E发送四个(4)分离的音频流,依此类推。在一个示例中,910A的发射可以根据IP单播协议和/或IP多播协议来执行。
[0135] 图9B说明了根据本发明实施例图9A的处理对于所述媒体在目标AT之一处的接续。参照图9B,目标AT从应用服务器170接收未格式化的媒体连同确定的位置信息,900B。然后,以确定的位置信息为基础,目标AT选择性重新格式化从900B接收的媒体。在至少一个实施例中,在910A和900B中从应用服务器170传达到目标AT的确定的位置信息可以包括除了目标AT以外的一个或多个AT的位置信息,预期目标AT能够计算出其自己的位置信息(例如,经由GPS或一些其它机制)。因而,在这一替代实施例中,在905B之前,可以存在对于目标AT确定其自身位置的附加操作(图9B中未示出)用于在905B的选择性重新格式化操作中使用。在一个示例中,905B的选择性重新格式化操作类似于图6A的610,除了是在目标AT处而不是在应用服务器170处执行。并且,图6A的610的选择性重新格式化操作对于每一个目标AT执行,而905B的选择性重新格式化操作仅对于执行图9B的处理的目标AT(尽管这一处理可以同时在每一个目标AT处执行)执行。在一个示例中,905B的选择性重新格式化步骤可以按照专用于接收媒体的每一个目标AT的方式来执行。例如,目标AT的用户可以指示他/她关于媒体排列的偏好,并且然后该目标AT可以根据用户偏好的媒体排列来执行905B的选择性重新格式化步骤。不同目标AT的用户可以具有关于媒体排列的不同偏好。在图6B中,这一方面通过使目标AT将用户媒体排列偏好,或选择的媒体重新格式化协议,与应用服务器170相关来实现。在图9B中,由于目标AT自己负责重新格式化媒体,因此选择的媒体重新格式化协议不需要如图6B的600B中那样传送到应用服务器170,但是仍然要在905B中由各自目标AT实现。
[0136] 在905B中重新格式化媒体之后,目标AT将选择性重新格式化的媒体输出到其用户,910B。如果选择性重新格式化的媒体包括音频,则910B的输出可以包括经由连接到目标AT的扬声器输出3D音频。如果选择性重新格式化的媒体包括视频,则910B的输出可以包括经由连接到目标AT的显示器输出根据基于位置的视觉排列而排列的视频输出帧。
[0137] 图9C说明了根据本发明实施例图9A和9B的处理在半双工组音频通信会话处理中的实现。图9C的900C到925C基本上分别对应于图7F的700F到725F,因此为了简洁起见将不再进行进一步描述。
[0138] 在930C中,在应用开始从AT A接收媒体之后,应用服务器170确定与至少AT A相关联的位置信息,930C。在应用服务器170确定AT A的位置信息之后,应用服务器170将AT A的音频媒体作为1D音频连同确定的位置信息一起发送到每一个各自目标AT(即,AT B…E),935A。AT B…E分别从应用服务器170接收音频媒体,并且每一个AT B…E部分地以从应用服务器170传送的AT A的确定的位置信息为基础来确定对于AT A的接收的音频媒体的虚拟起始点或方向,940C和945C。将意识到,在一个示例中,940C和945C的确定也可以部分地以每一个目标AT的自身位置为基础,或者可以在每一个目标AT处独立地确定或者可以在应用服务器170处确定并且然后与AT A的自身位置信息一起发送到每一个目标AT。
[0139] 在每一个AT B…E处确定对于AT的虚拟起始点或方向之后,AT B…E以各自的虚拟起始点或方向为基础将AT A的接收的音频媒体重新格式化为3D音频,950C和955C(例如,与图7A的715A类似,虽然在目标AT处而非应用服务器170处执行)。在将音频媒体重新格式化为3D音频格式之后,AT B…E经由音频输出设备将重新格式化的3D音频媒体输出到它们各自的用户,960C和965C。
[0140] 图9D说明了根据本发明实施例图9A的处理在全双工组音频通信会话处理中的实现。图9D的900D到935D基本上分别对应于图4B的400B到435B,因此为了简洁起见不再进行进一步描述。
[0141] 在940D中,在应用服务器170开始从AT A…E接收音频媒体(例如,如图9A的900A)之后,应用服务器170确定AT A…E的位置信息(例如,如图9A的905A)。在应用服务器170确定AT A…E的位置信息之后,应用服务器170将AT A…E的音频媒体作为1D音频连同确定的位置信息一起发送到每一个各自目标AT(即,AT A…E),945D。在一个示例中,应用服务器170可以将来自每一个AT的每一个音频流发送到每一个ATA…E。在另一示例中,应用服务器
170可以将除了目标AT自己的音频媒体以外的每一个音频流发送到每一个AT A…E,以使得AT A接收AT B…E的媒体,依此类推。同样,关于位置信息,应用服务器170可以将对于每一个AT A…E确定的位置信息发送到每一个目标AT。替代地,应用服务器170可以发送对于AT A…E中除了各个目标AT之外的每一个AT的位置信息,以使得AT A接收关于AT B…E而非AT A本身的位置信息(在至少一个实施例中,AT A可以大概自己进行确定)。
[0142] AT A…E分别从应用服务器170接收音频媒体,并且每一个AT A…E部分地以从应用服务器170传达的AT的确定的位置信息为基础确定对于接收的音频媒体的每一个提供者的虚拟起始点或方向,950D、955D和960D。将意识到,在一个示例中,950D、955D和960D的确定也可以部分地以每一个目标AT自身的位置为基础,该自身的位置或者可以在每一个目标AT处独立地确定,或者可以在应用服务器170处确定并且然后连同其它AT的位置信息一起发送到每一个目标AT。
[0143] 在每一个AT A…E处确定对于媒体提供者(即,除了目标AT以外的AT)的虚拟起始点或方向之后,AT A…E以各自的虚拟起始点或方向为基础将接收的音频媒体重新格式化为3D音频,965D、970D和975D(例如,与图9B的905B类似)。在将音频媒体重新格式化为3D音频格式之后,ATA…E经由音频输出设备将重新格式化的3D音频媒体输出到它们各自的用户,980D、985D和990D。
[0144] 尽管图9C和9D的实施例描述了其中组通信会话对应于组音频通信的图9A的处理的示例实现,但是本发明的其它实施例涉及关于组视频通信会话的图9A的处理的实现,正如将参照图9E进行描述的。
[0145] 因此,图9E说明了根据本发明实施例图9A的处理在全双工组视频通信会话处理内的实现。图9E的900E到935E基本上分别对应于图5A的500到535,因此为了简洁起见将不再进行进一步描述。
[0146] 在940E中,在应用服务器170开始从AT A…E接收视频媒体(例如,如图9A的900A)之后,应用服务器170确定AT A…E的位置信息(例如,如图9A的900A)。在应用服务器170确定AT A…E的位置信息之后,应用服务器170将AT A…E的视频媒体作为1D音频连同确定的位置信息一起发送到每一个各自目标AT(即,AT A…E),945E。在一个示例中,应用服务器170可以将来自每一个AT的每一个视频流发送到每一个AT A…E。在另一示例中,应用服务器170可以将除了目标AT自己的视频媒体以外的每一个视频流发送到每一个AT A…E,以使得AT A接收AT B…E的媒体,依此类推。同样,关于位置信息,应用服务器170可以将对于每一个AT A…E确定的位置信息发送到每一个目标AT。替代地,应用服务器170可以发送对于AT A…E中除了各自目标AT以外的每一个AT的位置信息,以使得AT A接收关于AT B…E而非AT A本身的位置信息(在至少一个实施例中,AT A可以大概自己进行确定)。
[0147] AT A…E分别从应用服务器170接收视频媒体,并且每一个AT A…E以确定的位置信息为基础确定对于每一个其它AT的视频媒体的视觉排列,950E、955E和960E(例如,如图8A的810A,虽然图9E中的这一操作在各自目标AT处而非应用服务器170处执行)。将意识到,在一个示例中,905E、955E和960E的确定也可以部分地以每一个目标AT自己的位置为基础,或者可以在每一个目标AT处独立确定或者可以在应用服务器170处确定并且然后连同其它AT的位置信息一起发送到每一个目标AT。
[0148] 在每一个AT A…E处确定对于来自各自媒体提供者(即,除了目标AT以外的AT)的视频媒体的视觉排列之后,AT A…E依照它们确定的视觉排列重新格式化接收的视频媒体,965E、970E和975E。在根据它们各自的视觉排列重新格式化视频媒体之后,AT A…E经由显示器将重新格式化的视频媒体输出到它们各自的用户,980E、985E和990E。
[0149] 尽管本发明的上述实施例通常涉及在全双工会话期间选择性混合帧,但是将意识到同样的通用教导如何可以应用于混合双工实现中。在混合双工会话中,两个或更多个参与者可以同时讲话而其它参与者只是侦听。因而,在混合全双工会话期间,对于某一时间段,无论何时低于阈值数量(例如,一个)的发言者在给定时间段内正在讲话,都可以激活抖动缓冲器旁路过程以节省仲裁该混合全双工会话的MCC170B处的资源。
[0150] 本领域的普通技术人员将意识到,可以使用各种不同的科技和技术中的任何一种来表示信息和信号。例如,在上面的描述中通篇提及的数据、指令、命令、信息、信号、比特、符号和码片等可以由电压、电流、电磁波、磁场或磁粒子、光场或光粒子、或者其任何组合来表示。
[0151] 进而,本领域的普通技术人员将意识到,结合本文公开的实施例描述的各种说明性逻辑框、模块、电路和算法步骤均可以实现为电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的这一可互换性,上面通常按照其功能描述了各种说明性部件、框、模块、电路和步骤。至于这样的功能是实现为硬件还是实现为软件,取决于特定的应用和对整个系统施加的设计约束条件。熟练的技术人员可以对于每一个特定的应用,以变通的方式实现描述的功能,但是这样的实现决策不应该被解释为偏离本发明的保护范围。
[0152] 可以利用设计为执行本文描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件部件或者这些部件的任何组合来实现或执行结合本文公开的实施例描述的各种说明性逻辑块、模块和电路。通用处理器可以是微处理器,但是替代地,该处理器可以是任何传统的处理器、控制器、微控制器或状态机。也可以将处理器实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的组合、或任何其它这样的配置。
[0153] 结合本文公开的实施例描述的方法、序列和/或算法可以直接实现在硬件、处理器执行的软件模块或它们的组合中。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或本领域已知的任何其它形式的存储介质中。示例性存储介质耦接到处理器,以使得处理器可以从存储介质读取信息并且向该存储介质写入信息。替代地,存储介质可以整合到处理器中。处理器和存储介质可以位于ASIC中。ASIC可以位于用户设备(例如,接入终端)中。替代地,处理器和存储介质可以作为用户终端中的分立部件。
[0154] 在一个或多个示例性实施例中,本文描述的功能可以实现在硬件、软件、固件,或它们的任意结合中。如果实现在软件中,则所述功能可以作为一条或多条指令或代码存储在计算机可读介质上或进行传输。计算机可读介质包括计算机存储介质和通信介质,包括促进将计算机程序从一个地方转移到另一个地方的任何介质。存储介质可以是可以由计算机访问的任何可用介质。通过示例而非限制的方式,这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备,或者可以用于以指令或数据结构的形式承载或存储期望程序代码,并且能够由计算机访问的任何其它介质。并且,任何连接也都可以适当地被称作计算机可读介质。例如,如果通过同轴电缆、纤维光缆、双绞线、数字用户线(DSL)、或诸如红外、无线电或微波的无线技术从网站、服务器、或其它远程源传输软件,则该同轴电缆、纤维光缆、双绞线、DSL、或诸如红外、无线电和微波的无线技术包含在介质的定义中。本文使用的磁盘和光盘,包括压缩光盘(CD)、激光光盘、光学光盘、数字多用途盘(DVD)、软盘和蓝光光盘,其中,磁盘通常磁性地再现数据,而光盘则使用激光光学地再现数据。上述的结合也应该包含在计算机可读介质的范围内。
[0155] 尽管前面的公开示出了本发明的说明性实施例,但是应该注意到,在不偏离由所附权利要求定义的本发明的范围的情况下,可以做出各种改变和修改。本文描述的根据本发明实施例的方法权利要求的功能、步骤和/或动作不需要以任何特定的顺序执行。而且,尽管以单数形式描述或请求保护了本发明的元件,但是除非明确说明限制为单数,否则也可以预期复数形式。