会场终端音频信号处理方法及会场终端和视讯会议系统

摘要

本发明实施例公开了会场终端音频信号处理方法及会场终端和视讯会议系统。其中，一种会场终端音频信号处理方法，包括：会场终端接收可移动音频拾取设备所拾取的音频信号，并获取可移动音频拾取设备当前相对于会场终端的方向；生成该音频信号对应的多声道音频信号；根据可移动音频拾取设备当前相对于该会场终端的方向，调整该多声道音频信号中至少1个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于会场终端的方向相匹配，得到调整后的多声道音频信号；发送调整后的多声道音频信号。本发明实施例的方案有利于解决可移动音频拾取设备部署场景下的声像匹配问题。

权利要求

1.一种视讯会议系统，其特征在于，包括：

第一会场终端和第二会场终端，所述第一会场终端和所述第二会场终端通过网络相连接；所述第一会场终端所在的会场部署有可移动音频拾取设备以及图像拍摄设备；

其中，所述第一会场终端，用于接收所述可移动音频拾取设备所拾取的音频信号，并获取所述可移动音频拾取设备当前相对于所述第一会场终端的方向；接收所述图像拍摄设备针对所述可移动音频拾取设备当前所在区域所拍摄的图像信号；生成所述音频信号对应的多声道音频信号，所述多声道为至少两个声道；根据所述可移动音频拾取设备当前相对于所述第一会场终端的方向，调整所述多声道音频信号中的至少一个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与所述可移动音频拾取设备当前相对于所述第一会场终端的方向相匹配；发送所述图像信号和调整后的多声道音频信号；

所述第二会场终端，用于接收来自所述第一会场终端的图像信号和调整后的多声道音频信号；播放所述图像信号和调整后的多声道音频信号。

2.根据权利要求1所述的视讯会议系统，其特征在于，包括：

所述第一会场终端生成的多声道音频信号的声道个数与所述第二会场终端支持的声道个数相等。

3.一种会场终端音频信号处理方法，其特征在于，包括：

会场终端接收可移动音频拾取设备所拾取的音频信号，并获取所述可移动音频拾取设备当前相对于所述会场终端的方向；

生成所述音频信号对应的多声道音频信号，其中，所述多声道为至少两个声道；

根据所述可移动音频拾取设备当前相对于所述会场终端的方向，调整所述多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与所述可移动音频拾取设备当前相对于所述会场终端方向相匹配；

发送所述调整后的多声道音频信号。

4.根据权利要求3所述的方法，其特征在于，

所述接收可移动音频拾取设备所拾取的音频信号，并获取所述可移动音频拾取设备当前相对于所述会场终端的方向，包括：接收所述可移动音频拾取设备所拾取的音频信号，并通过图像识别技术确定该可移动音频拾取设备当前相对于所述会场终端的方向；

或者，

通过至少两个音频接收模块接收所述可移动音频拾取设备所拾取的音频信号；并通过各音频接收模块接收到的音频信号的差异，确定所述可移动音频拾取设备当前相对于所述会场终端的方向；

或者，

接收所述可移动音频拾取设备所拾取的音频信号；接收所述可移动音频拾取设备发送的位置识别信息；并通过所述位置识别信息确定所述可移动音频拾取设备当前相对于所述会场终端的方向。

5.根据权利要求4所述的方法，其特征在于，

所述各音频接收模块接收到的音频信号的差异，包括：各音频接收模块接收到音频信号的时间差、相位差、强度差中的至少一项。

6.根据权利要求4所述的方法，其特征在于，所述接收所述可移动音频拾取设备发送的位置识别信息；并通过所述位置识别信息确定所述可移动音频拾取设备当前相对于所述会场终端的方向，包括：接收所述可移动音频拾取设备发送的红外信号；

使用红外信号图像识别技术分析所述红外信号的发送方向得到所述可移动音频拾取设备当前相对于所述会场终端的方向；或者，使用红外信号定位技术计算所述红外信号的发送方向得到所述可移动音频拾取设备当前相对于所述会场终端的方向。

7.一种会场终端，其特征在于，包括：

接收确定单元，用于接收可移动音频拾取设备所拾取的音频信号，并获取所述可移动音频拾取设备当前相对于所述会场终端的方向；

调整单元，用于生成所述音频信号对应的多声道音频信号；根据所述可移动音频拾取设备当前相对于所述会场终端的方向调整所述多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于所述会场终端的方向相匹配；

发送单元，用于发送所述调整单元调整后的多声道音频信号。

8.根据权利要求7所述的会场终端，其特征在于，

所述接收确定单元包括：第一位置确定子模块和至少两个接收模块；

所述至少两个接收模块，用于分别接收所述会场终端所在会场的可移动音频拾取设备所拾取的音频信号；

第一位置确定子模块，用于通过所述至少两个接收模块中各接收模块接收到的音频信号的差异确定所述可移动音频拾取设备当前相对于所述会场终端的方向；

或者，

所述接收确定单元包括：信息接收模块和第二位置确定子模块；

其中，所述信息接收模块，用于接收所述会场终端所在会场的可移动音频拾取设备所拾取的音频信号和该可移动音频拾取设备发送的位置识别信息；

所述第二位置确定子模块，用于通过所述位置识别信息确定所述可移动音频拾取设备当前相对于所述会场终端的方向；

或者，

所述接收确定单元包括：接收模块和图像识别模块；

其中，所述接收模块，用于接收所述会场终端所在会场的可移动音频拾取设备所拾取的音频信号；

所述图像识别模块，用于通过图像识别技术确定所述可移动音频拾取设备当前相对于所述会场终端的方向。

9.一种视讯会议系统，其特征在于，包括：

第三会场终端、第四会场终端以及会议服务器，其中，所述第三会场终端和所述第四会场终端通过网络与所述会议服务器相连接，所述第三会场终端所在的会场部署有可移动音频拾取设备以及图像拍摄设备；

所述第三会场终端，用于接收所述可移动音频拾取设备所拾取的音频信号，并获取所述可移动音频拾取设备相对于第三会场终端的方向；接收所述图像拍摄设备针对所述可移动音频拾取设备当前所在区域所拍摄的图像信号；根据所述可移动音频拾取设备当前相对于第三会场终端的方向，生成指示出所述音频信号播放时所呈现声音方向的方向指示信息，其中，所述方向指示信息指示出的所述音频信号播放时所要呈现的声音方向与所述可移动音频拾取设备当前相对于第三会场终端的方向相匹配；发送所述图像信号、音频信号和方向指示信息；

所述会议服务器，用于接收所述第三会场终端发送的图像信号、音频信号和方向指示信息；生成所述音频信号对应的多声道音频信号，所述多声道为至少两个声道；根据所述方向指示信息调整所述多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使得该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于第三会场终端的方向相匹配；发送所述图像信号和调整后的多声道音频信号；

所述第四会场终端，用于接收所述会议服务器发送的图像信号和调整后的多声道音频信号；播放该图像信号和调整后的多声道音频信号。

10.一种视讯会议系统，其特征在于，包括：

第五会场终端和第六会场终端，所述第五会场终端和所述第六会场终端通过网络相连接；所述第五会场终端所在的会场部署有可移动音频拾取设备以及图像拍摄设备；

第五会场终端，用于接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备当前相对于第五会场终端的方向；接收图像拍摄设备针对该可移动音频拾取设备当前所在区域所拍摄的图像信号；根据该可移动音频拾取设备当前相对于第五会场终端的方向，生成用于指示所述音频信号播放时所呈现声音方向的方向指示信息，其中，所述方向指示信息指示出的所述音频信号播放时所呈现的声音方向与所述可移动音频拾取设备当前相对于第五会场终端的方向相匹配；发送所述图像信号、音频信号和方向指示信息；

第六会场终端，用于接收来自第五会场终端的图像信号、音频信号和该音频信号对应的方向指示信息；播放该图像信号并根据所述方向指示信息播放该音频信号。

11.一种会场终端音频信号处理方法，其特征在于，包括：

会场终端接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备当前相对于所述会场终端的方向；

根据所述可移动音频拾取设备当前相对于所述会场终端的方向，生成用于指示所述音频信号播放时所呈现声音方向的方向指示信息，其中，所述方向指示信息指示出的所述音频信号播放时所要呈现的声音方向与所述可移动音频拾取设备当前相对于所述会场终端方向相匹配；

发送所述音频信号和方向指示信息。

12.一种会场终端，其特征在于，包括：

接收确定单元，用于接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备当前相对于所述会场终端的方向；

生成单元，用于根据所述可移动音频拾取设备当前相对于所述会场终端的方向，生成用于指示所述音频信号播放时所要呈现的声音方向的方向指示信息，其中，所述方向指示信息指示出的所述音频信号播放时所要呈现的声音方向与所述可移动音频拾取设备当前相对于所述会场终端方向相匹配；

发送单元，用于发送所述音频信号和所述方向指示信息。

13.一种会议服务器，其特征在于，包括：

第二接收单元，用于接收会场终端发送的图像信号、音频信号和方向指示信息，其中，所述音频信号由可移动音频拾取设备拾取，所述方向指示信息根据所述可移动音频拾取设备当前相对于所述会场终端的方向生成，用于指示所述音频信号播放时所要呈现的声音方向；

第二调整单元，用于生成所述音频信号对应的多声道音频信号，所述多声道包括至少两个声道；根据该方向指示信息调整该多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使得该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于所述会场终端的方向相匹配；

第二发送单元，用于发送所述图像信号和第二调整单元调整后的多声道音频信号。

说明书

会场终端音频信号处理方法及会场终端和视讯会议系统

技术领域

[0001] 本发明涉及通信技术领域，特别涉及会场终端音频信号处理方法及会场终端和视讯会议系统。

背景技术

[0002] 目前的视讯会议系统一般包括：会场终端和会议服务器(图1中会议服务器以多点控制单元(MCU，Multipoint Control Unit)为例)。在一个视讯会议系统中，每个会场均具有至少1个会场终端，各会场终端采集各自会场的声音、图像并编码发送给MCU。多点控制单元按照一定的方式对声音、图像进行处理(例如声音混音、图像转发或组成多画面等处理)，并将处理后的声音和图像发送给视讯会议中的其他各个会场终端，各会场终端解码输出远端会场的声音和图像，实现远程视讯通信的目的。

[0003] 随着视讯技术的不断发展，交互性、易用性成为视讯会议系统的一个发展方向，实现面对面的交互感成为人们追求的目标。人们不再仅仅满足于看到清晰的图像，听到悦耳的声音，“真人大小”、“眼对眼”、“听音辨位”等更高层次的需求已成为是视讯会议系统发展的方向。例如，在3屏远程呈现会场的应用场景下，人们可能还期望不需要抬头看说话人，就能够从声音的方向上判断出是谁在说话，即“听音辨位”，从而获得更强的现场感。

[0004] 视讯会议系统一般采用固定式的麦克风等作为音频拾取设备，一个或多个麦克风固定在桌面或者天花板上，用来拾取发言者的声音。当会议室较大或发言人位置不确定的情况下，还可能会采用可移动音频拾取设备(例如无线麦克风等)作为固定式音频拾取设备的一种补偿。

[0005] 在“听音辨位”的功能需求下，视讯会议系统中的可移动音频拾取设备的声像匹配问题，成为一个影响会议效果的关键因素。而业内目前还没有一种在部署了可移动音频拾取设备场景下能够较好的解决其声像匹配问题，以实现“听音辨位”功能的有效方案。

发明内容

[0006] 本发明实施例提供会场终端音频信号处理方法及会场终端和视讯会议系统，以便实现可移动音频拾取设备部署场景下的声像匹配。

[0007] 为解决上述技术问题，本发明所提供以下技术方案实现：

[0008] 一种视讯会议系统，包括：

[0009] 第一会场终端和第二会场终端，所述第一会场终端和所述第二会场终端通过网络相连接；所述第一会场终端所在的会场部署有可移动音频拾取设备以及图像拍摄设备；

[0010] 其中，所述第一会场终端，用于接收所述可移动音频拾取设备所拾取的音频信号，并获取所述可移动音频拾取设备当前相对于所述第一会场终端的方向；接收所述图像拍摄设备针对所述可移动音频拾取设备当前所在区域所拍摄的图像信号；生成所述音频信号对应的多声道音频信号，所述多声道为至少两个声道；根据所述可移动音频拾取设备当前相对于所述第一会场终端的方向，调整所述多声道音频信号中的至少一个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与所述可移动音频拾取设备当前相对于所述第一会场终端的方向相匹配；发送所述图像信号和调整后的多声道音频信号；

[0011] 所述第二会场终端，用于接收来自所述第一会场终端的图像信号和调整后的多声道音频信号；播放所述图像信号和调整后的多声道音频信号。

[0012] 一种会场终端音频信号处理方法，包括：

[0013] 会场终端接收可移动音频拾取设备所拾取的音频信号，并获取所述可移动音频拾取设备当前相对于所述会场终端的方向；

[0014] 生成所述音频信号对应的多声道音频信号，其中，所述多声道为至少两个声道；

[0015] 根据所述可移动音频拾取设备当前相对于所述会场终端的方向，调整所述多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与所述可移动音频拾取设备当前相对于所述会场终端方向相匹配；

[0016] 发送所述调整后的多声道音频信号。

[0017] 一种会场终端，包括：

[0018] 接收确定单元，用于接收可移动音频拾取设备所拾取的音频信号，并获取所述可移动音频拾取设备当前相对于所述会场终端的方向；

[0019] 调整单元，用于生成所述音频信号对应的多声道音频信号；根据所述可移动音频拾取设备当前相对于所述会场终端的方向调整所述多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于所述会场终端的方向相匹配；

[0020] 发送单元，用于发送所述调整单元调整后的多声道音频信号。

[0021] 一种视讯会议系统，包括：

[0022] 第三会场终端、第四会场终端以及会议服务器，其中，所述第三会场终端和所述第四会场终端通过网络与所述会议服务器相连接，所述第三会场终端所在的会场部署有可移动音频拾取设备以及图像拍摄设备；

[0023] 所述第三会场终端，用于接收所述可移动音频拾取设备所拾取的音频信号，并获取所述可移动音频拾取设备相对于第三会场终端的方向；接收所述图像拍摄设备针对所述可移动音频拾取设备当前所在区域所拍摄的图像信号；根据所述可移动音频拾取设备当前相对于第三会场终端的方向，生成指示出所述音频信号播放时所呈现声音方向的方向指示信息，其中，所述方向指示信息指示出的所述音频信号播放时所要呈现的声音方向与所述可移动音频拾取设备当前相对于第三会场终端的方向相匹配；发送所述图像信号、音频信号和方向指示信息；

[0024] 所述会议服务器，用于接收所述第三会场终端发送的图像信号、音频信号和方向指示信息；生成所述音频信号对应的多声道音频信号，所述多声道为至少两个声道；根据所述方向指示信息调整所述多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使得该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于第三会场终端的方向相匹配；发送所述图像信号和调整后的多声道音频信号；

[0025] 所述第四会场终端，用于接收所述会议服务器发送的图像信号和调整后的多声道音频信号；播放该图像信号和调整后的多声道音频信号。

[0026] 一种视讯会议系统，包括：

[0027] 第五会场终端和第六会场终端，所述第五会场终端和所述第六会场终端通过网络相连接；所述第五会场终端所在的会场部署有可移动音频拾取设备以及图像拍摄设备；

[0028] 第五会场终端，用于接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备当前相对于第五会场终端的方向；接收图像拍摄设备针对该可移动音频拾取设备当前所在区域所拍摄的图像信号；根据该可移动音频拾取设备当前相对于第五会场终端的方向，生成用于指示所述音频信号播放时所呈现声音方向的方向指示信息，其中，所述方向指示信息指示出的所述音频信号播放时所呈现的声音方向与所述可移动音频拾取设备当前相对于第五会场终端的方向相匹配；发送所述图像信号、音频信号和方向指示信息；

[0029] 第六会场终端，用于接收来自第五会场终端的图像信号、音频信号和该音频信号对应的方向指示信息；播放该图像信号并根据所述方向指示信息播放该音频信号。

[0030] 一种会场终端音频信号处理方法，包括：

[0031] 会场终端接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备当前相对于所述会场终端的方向；

[0032] 根据所述可移动音频拾取设备当前相对于所述会场终端的方向，生成用于指示所述音频信号播放时所呈现声音方向的方向指示信息，其中，所述方向指示信息指示出的所述音频信号播放时所要呈现的声音方向与所述可移动音频拾取设备当前相对于所述会场终端方向相匹配；

[0033] 发送所述音频信号和方向指示信息。

[0034] 一种会场终端，包括：

[0035] 接收确定单元，用于接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备当前相对于所述会场终端的方向；

[0036] 生成单元，用于根据所述可移动音频拾取设备当前相对于所述会场终端的方向，生成用于指示所述音频信号播放时所要呈现的声音方向的方向指示信息，其中，所述方向指示信息指示出的所述音频信号播放时所要呈现的声音方向与所述可移动音频拾取设备当前相对于所述会场终端方向相匹配；

[0037] 发送单元，用于发送所述音频信号和所述方向指示信息。

[0038] 一种会议服务器，包括：

[0039] 第二接收单元，用于接收会场终端发送的图像信号、音频信号和方向指示信息，其中，所述音频信号由可移动音频拾取设备拾取，所述方向指示信息根据所述可移动音频拾取设备当前相对于所述会场终端的方向生成，用于指示所述音频信号播放时所要呈现的声音方向；

[0040] 第二调整单元，用于生成所述音频信号对应的多声道音频信号，所述多声道包括至少两个声道；根据该方向指示信息调整该多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使得该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于所述会场终端的方向相匹配；

[0041] 第二发送单元，用于发送所述图像信号和第二调整单元调整后的多声道音频信号。

[0042] 由上可见，本发明实施例的一种方案中，会场终端接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备当前相对于该会场终端的方向；并接收图像拍摄设备针对该可移动音频拾取设备当前所在区域所拍摄的图像信号；生成该音频信号对应的多声道音频信号；根据该可移动音频拾取设备当前相对于该会场终端的方向，调整该多声道音频信号中的至少1个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于该会场终端的方向相匹配；发送该图像信号和调整后的多声道音频信号。由于该会场终端调整了该多声道音频信号中的至少1个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于该会场终端的方向相匹配，这就为其它会场终端在接收到该图像信号和调整后的多声道音频信号后，能够以声像匹配的效果来播放该图像信号和该调整后的音频信号奠定了基础，也就有利于实现视讯会议系统部署可移动音频拾取设备场景下的“听音辨位”功能。

[0043] 本发明实施例的另一种方案中，会场终端接收可移动音频拾取设备所拾取的音频信号，获取该可移动音频拾取设备相对于会场终端的方向；根据该可移动音频拾取设备当前相对于会场终端的方向，生成指示出该音频信号播放时所呈现声音方向的方向指示信息；发送该音频信号和方向指示信息。由于该会场终端生成并发送的方向指示信息所指示出的该音频信号播放时所要呈现的声音方向，与该可移动音频拾取设备当前相对于该会场终端方向相匹配；这就为会议服务器或其它的会场终端在接收到该音频信号和方向指示信息后，根据该方向指示信息对音频信号进行调整或播放，进而以声像匹配的效果来播放音频信号和对应的图像信号奠定了基础，也就有利于实现视讯会议系统部署可移动音频拾取设备场景下的“听音辨位”功能。

附图说明

[0044] 为了更清楚地说明本发明实施例和现有技术中的技术方案，下面将对实施例和现有技术描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0045] 图1为现有技术的一种视讯会议系统的示意图；

[0046] 图2为本发明实施例提供的视讯会议系统中声相产生过程的示意图；

[0047] 图3为本发明实施例提供的一种视讯会议系统的示意图；

[0048] 图4为本发明实施例提供的一种会场终端音频信号处理方法的流程示意图；

[0049] 图5为本发明实施例提供的一种模块化音频信号处理的示意图；

[0050] 图6为本发明实施例提供的另一种模块化音频信号处理的示意图；

[0051] 图7为本发明实施例提供的再一种模块化音频信号处理的示意图；

[0052] 图8-a为本发明实施例提供的另一种视讯会议系统的示意图；

[0053] 图8-b为本发明实施例提供的一种会议服务器的示意图；

[0054] 图9为本发明实施例提供的再一种视讯会议系统的示意图；

[0055] 图10为本发明实施例提供的一种会场终端的示意图；

[0056] 图11为本发明实施例提供另一种会场终端的示意图。

具体实施方式

[0057] 本发明实施例提供会场终端音频信号处理方法及会场终端和视讯会议系统，以便实现可移动音频拾取设备部署场景下的声像匹配。

[0058] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0059] 本发明实施例中，声音的方向是指发声物体在声场中的发声方向，就是声源相对于接收端(接收端可能是为人或会场终端等设备)的方向，例如是靠左还是靠右。人耳是靠两耳拾取到的声音信号之间的时间差和声级差，来判别声音的方位。这就是所谓的“双耳效应”。所谓的“听音辨位”就是指利用声音的方向信息，辨别出发言人的位置。

[0060] 例如，图2所示，以双声道为例来描述视讯会议系统中声音方向的产生过程。假设“麦克风_左”、“麦克风_右”具有相同的特性且放置朝向相同，并且“扬声器_左”、“扬声器_左”具有相同的特性、音量控制一致且均朝向“听音位置”放置。

[0061] 当“发声位置A”讲话时，与“麦克风_右”相比，由于“麦克风_左”距发言人距离较近，因此，其拾取到的声音较大且延时较小，在分别经过“扬声器_左”、“扬声器_右”播放后，由于左声道声音较大且播放时间较早，故听音者会感觉到声音从左边方向出来，于是声音就有了方向信息。

[0062] 同理，当“发声位置C”发声时，听音者会感觉声音从右边方向出来。

[0063] 当“发声位置B”讲话时，由于“麦克风_左”、“麦克风_右”距发言人距离相当，故拾取到的声音大小、延时基本一致，在分别经过“扬声器_左”、“扬声器_右”播放后，由于两个声道声音大小、延时基本一致，故听音者会感觉到声音从中间方向出来。

[0064] 声像匹配问题：

[0065] 声像匹配，即声音和图像间的匹配，是指播放出的声音的方向与图像中声源显示方位之间相匹配。在视讯会议系统中，除了有声音信息外，还可以看到与本会场视频通信的对端的图像，若在本会场端显示器中显示的对端发言人在图像的左边位置，则声音需要从左方播放出来，若发言人在图像的右边位置，则声音需要从右方播放出来，这样才能做到声音与图像匹配。

[0066] 本发明实施例中的可移动音频拾取设备例如可以指：无线麦克风、长线麦克风等移动式的音频拾取设备。

[0067] 可以理解的是，可移动音频拾取设备的位置可能随着持有该可移动音频拾取设备的发言者的移动而不断移动。

[0068] 本发明实施例中力求提供一种在部署可移动音频拾取设备场景下用以解决其声像匹配问题的方案，以便实现部署可移动音频拾取设备场景下的“听音辨位”功能。

[0069] 下面首先从一种视讯会议系统的角度进行描述。

[0070] 参见图3，本发明实施例提供的一种视讯会议系统，可以包括：第一会场终端310和第二会场终端320。其中，第一会场终端310和第二会场终端320可以通过通信网络相连接，第一会场终端所在的会场部署有可移动音频拾取设备以及图像拍摄设备，在图3中未示出通信网络、可移动音频拾取设备以及图像拍摄设备等。

[0071] 其中，第一会场终端310，用于接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备当前相对于第一会场终端310的方向；接收上述图像拍摄设备针对该可移动音频拾取设备当前所在区域所拍摄的图像信号；生成该音频信号对应的多声道音频信号(该多声道为至少两个声道)；根据该可移动音频拾取设备当前相对于第一会场终端310的方向，调整该多声道音频信号中的至少1个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于第一会场终端310的方向相匹配；发送该图像信号和调整后的多声道音频信号。

[0072] 在实际应用中，第一会场终端310和其它会场终端可以在会议建立过程中协商会议的声道数量，通过协商，第一会场终端310生成的多声道音频信号的声道个数与第二会场终端320支持的声道个数相等。

[0073] 在实际应用中，第一会场终端310可采用多种多样的方式获取可移动音频拾取设备当前相对于第一会场终端310的方向。

[0074] 可以理解，此处是以第一会场终端310作为绝对参考系来体现方向的，当然第一会场终端310也可获取可移动音频拾取设备当前相对于其它参照物(例如为会议屏幕、图像拍摄设备或其它设备)的方向，而基于该参照物和第一会场终端310的方位关系，也就相当于获得了可移动音频拾取设备当前相对于第一会场终端310的方向。第一会场终端310还可获取可移动音频拾取设备当前的位置。

[0075] 作为实施方式的举例，可以有如下几种方式实现可移动音频拾取设备当前相对于第一会场终端310的方向的获取：

[0076] (1)第一会场终端310接收可移动音频拾取设备所拾取的音频信号，并通过图像识别技术确定该可移动音频拾取设备当前相对于第一会场终端310的方向(该方向例如相对于第一会场终端310靠左、居中或靠右等)；

[0077] (2)第一会场终端310可通过至少两个接收模块接收可移动音频拾取设备所拾取的音频信号；通过该至少两个接收模块接收到的音频信号的差异(该差异可包括各接收模块接收到音频信号的时间差、相位差、强度差中的至少1项)，确定该可移动音频拾取设备当前相对于第一会场终端310的方向；

[0078] (3)第一会场终端310接收可移动音频拾取设备所拾取的音频信号，并接收该可移动音频拾取设备发送的位置识别信息(该位置识别信息是能够用以识别可移动音频拾取设备当前的方位的任意信息)；通过该位置识别信息确定该可移动音频拾取设备当前相对于第一会场终端310的方向。

[0079] 其中，第一会场终端310接收可移动音频拾取设备的位置识别信息，并通过位置识别信息确定该可移动音频拾取设备当前相对于第一会场终端310的方向，举例说明如下实施方式：

[0080] 1)接收所述可移动音频拾取设备发送的红外信号；使用红外信号图像识别技术分析该红外信号的发送方向得到可移动音频拾取设备当前相对于第一会场终端310的方向；或者，

[0081] 2)接收所述可移动音频拾取设备发送的红外信号；使用红外信号定位技术计算该红外信号的发送方向，得到该可移动音频拾取设备当前相对于第一会场终端310的方向。

[0082] 当然，第一会场终端310亦可采用其它的方式，来获取可移动音频拾取设备当前相对于第一会场终端310的方向，而本发明的所有实施例中对此均不加限制，其它各实施例均可采用类似的方式实施。

[0083] 第二会场终端320，用于接收来自第一会场终端310的图像信号和调整后的多声道音频信号；播放该图像信号和调整后的多声道音频信号。

[0084] 在实际应用中，会议服务器可接收第一会场终端310发送的图像信号和调整后的音频信号，对其进行混音等处理后向其它会场终端发送；而第二会场终端320可从会议服务器接收来自第一会场终端310的该图像信号和调整后的多声道音频信号。

[0085] 由上可见，本实施例中的会场终端接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备当前相对于该会场终端的方向；并接收图像拍摄设备针对该可移动音频拾取设备当前所在区域所拍摄的图像信号；生成该音频信号对应的多声道音频信号；根据该可移动音频拾取设备当前相对于该会场终端的方向，调整该多声道音频信号中的至少1个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于该会场终端的方向相匹配；发送该图像信号和调整后的多声道音频信号，由于该会场终端调整该多声道音频信号中的至少1个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于该会场终端的方向相匹配，这就为其它会场终端在接收到该图像信号和调整的后的多声道音频信号后，能够以声像匹配的效果来播放该图像信号和该调整后的音频信号奠定了基础，也就有利于实现视讯会议系统部署可移动音频拾取设备场景下的“听音辨位”功能。

[0086] 下面从视讯会议系统的音频信号发送端的角度进行描述。

[0087] 本发明一种会场终端音频信号处理方法的一个实施例，包括：会场终端接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备当前相对于该会场终端的方向；生成该音频信号对应的多声道音频信号，该多声道为至少两个声道；根据该可移动音频拾取设备当前相对于该会场终端的方向，调整该多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于该会场终端方向相匹配，得到调整后的多声道音频信号；发送该调整后的多声道音频信号。

[0088] 参见图4，具体步骤可以包括：

[0089] 401、会场终端接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备当前相对于该会场终端的方向；

[0090] 本实施例中，可移动音频拾取设备所拾取的音频信号为单路信号。

[0091] 在实际应用中，会场终端可采用多种多样的方式获取可移动音频拾取设备当前相对于会场终端的方向。可以理解，此处是以会场终端作为绝对参考系来体现方向的，当然会场终端也可以获取可移动音频拾取设备当前相对于其它参照物(例如为会议屏幕、图像拍摄设备或其它设备)的方向，而基于该参照物和会场终端的方位关系，也就相当于获得了可移动音频拾取设备当前相对于会场终端的方向。会场终端还可获取可移动音频拾取设备当前的位置。

[0092] 可以理解的是，本实施例的会场终端可采用如上述实施例中第一会场终端310获取可移动音频拾取设备当前相对于其的方向的类似方式，来获取可移动音频拾取设备当前相对于会场终端的方向，此处不再赘述。

[0093] 402、会场终端生成接收到的音频信号对应的多声道音频信号(该多声道为至少两个声道)；并根据上述可移动音频拾取设备当前相对于会场终端的方向，调整该多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于该会场终端方向相匹配；

[0094] 403、会场终端发送上述调整后的多声道音频信号。

[0095] 此外，上述会场终端还可接收图像拍摄设备(若存在)针对包括该可移动音频拾取设备当前所在区域所拍摄的图像信号，并发送该图像信号。相应的，会议服务器(例如MCU)可接收该会场终端发送的调整后的多声道音频信号(和该图像信号)，对其执行混音等处理后向其它会场终端转发，而其它会场终端则可以接收并播放该调整后的多声道音频信号(和对应的图像信号)，以获得声像匹配效果。

[0096] 由上可见，本实施例中的会场终端接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备当前相对于该会场终端的方向；生成该音频信号对应的多声道音频信号，根据该可移动音频拾取设备当前相对于该会场终端的方向，调整该多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于该会场终端方向相匹配。由于会场根据该可移动音频拾取设备当前相对于该会场终端的方向，调整该多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于该会场终端方向相匹配，这就为其它的会场终端在接收到该调整后的多声道音频信号后，能够以声像匹配的效果来播放对应的图像信号和该调整后的多声道音频信号奠定了基础，也就有利于实现视讯会议系统部署可移动音频拾取设备场景下的“听音辨位”功能。

[0097] 为便于更好的理解和实施本发明实施例的方案，下面以将会场终端划分为若干个模块，各个模块相互配合实现音频信号处理的场景为例，进行具体而详细的介绍。其中，本实施例中以在视讯会议系统中部署的可移动音频拾取设备为无线麦克风的应用场景为例，当然，部署其它类型的可移动音频拾取设备的应用场景与之类似。

[0098] 图5～图7中示出了三种举例的实施方式，可以理解，会场终端还可能采用其它的模块划分方式来进行音频信号的处理。

[0099] 参见图5，图5中通过在会场终端增加用于接收无线麦克风拾取的音频信号的接收模块的个数，来达到识别无线麦克风当前位置的目的。

[0100] 其中，根据无线麦克风当前位置定位精度的需求不同，会场终端中的接收模块的个数大于等于2个。

[0101] 音频信号处理流程可如图5所示，其中，实箭头线为数据流方向，虚线箭头线为控制流方向，后续实施例不再一一说明。

[0102] 501、无线麦克风向会场终端发送音频拾取模块拾取的音频信号；

[0103] 其中，图5中的会场终端可包括：方位识别模块、调整模块、编码发送模块和多个接收模块。

[0104] 502、会场终端中部署的多个接收模块分别接收无线麦克风发送的音频信号，该多个接收模块分别将接收到的该音频信号发送给方位识别模块进行位置分析；

[0105] 503、方位识别模块利用多个接收模块信号之间的时间差、相位差和/或强度差等信息，计算出无线麦克风当前相对于会场终端的方向，例如计算出的方向为相对于会场终端如靠左、居中或靠右等；

[0106] 方位识别模块将定位出的无线麦克风当前相对于会场终端的方向(可看成音源方向)信息发给调整模块。

[0107] 方位识别模块还可根据信噪比、音量、连续性等参数，从接收到的N路音频信号中选择其中的1路(例如选出音频信号质量较优的一路)发送给调整模块。

[0108] 504、调整模块生成接收到的音频信号对应的多声道音频信号(该多声道包括至少两个声道)；根据无线麦克风当前相对于会场终端的方向，调整该多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该无线麦克风当前相对于该会场终端方向相匹配；并将调整后的多声道音频信号送给编码发送模块。

[0109] 505、编码发送模块将多声道音频信号进行编码并发送。

[0110] 此外，图5所示会场终端还可接收图像拍摄设备(若存在)针对包括该无线麦克风当前的位置在内的区域所拍摄的图像信号，并发送该图像信号。相应的，会议服务器(例如MCU)接收该会场终端发送的调整后的多声道音频信号(和该图像信号)，对其执行混音等处理后向其它会场终端转发，而其它会场终端则可以接收并播放该调整后的多声道音频信号(和对应的图像信号)，以获得声像匹配效果。

[0111] 参见图6，该图中通过在无线麦克风中增加用于发送位置识别信息(该位置识别信息是能够用以识别可移动音频拾取设备当前的位置的信息)的位置识别信息发送模块，在会场终端中增加方位识别模块，以达到识别无线麦克风当前位置的目的。

[0112] 其音频信号处理流程可如图6所示，可包括：

[0113] 601、无线麦克风向会场终端发送拾取模块拾取的音频信号；

[0114] 602、无线麦克风中部署的位置识别信息发送模块向会场终端发送位置识别信息；

[0115] 其中，图6所示会场终端可包括；接收模块、方位识别模块、调整模块和编码发送模块。

[0116] 603、会场终端中的接收模块接收无线麦克风发送的音频信号，将接收到的音频信号发送给调整模块；

[0117] 604、方位识别模块接收无线麦克风发送的位置识别信息，根据接收到的该位置识别信号判断出该无线麦克风当前相对于会场终端的方向，并将该无线麦克风当前相对于会场终端的方向信息发给调整模块，作为调整模块调整的依据；

[0118] 本步骤中，方位识别模块位置识别的方式包括但不限于如下两种方式：

[0119] 红外图像识别法：在移动麦克风上增加红外信号发射模块(即位置识别信息发送模块)，在会场终端配备红外摄像机。方位识别模块通过红外摄像机拍摄到的图像，利用图像识别技术分析移动麦克风相对于会场终端的方向。

[0120] 红外信号定位法：在移动麦克风上增加红外信号发射模块(即位置识别信息发送模块)，在会场终端增加红外信号接收器，而方位识别模块利用成熟的红外信号定位技术，计算出移动麦克风当前相对于会场终端的方向。

[0121] 605、调整模块生成接收到的音频信号对应的多声道音频信号(该多声道为至少两个声道)；根据无线麦克风当前相对于会场终端的方向，调整该多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该无线麦克风当前相对于该会场终端方向相匹配；并将调整后的多声道音频信号送给编码发送模块；

[0122] 606、编码发送模块将多声道音频信号进行编码并发送。

[0123] 此外，图6所示会场终端还可接收图像拍摄设备(若存在)针对包括该无线麦克风当前的位置在内的区域所拍摄的图像信号，并发送该图像信号。相应的，会议服务器(例如MCU)接收该会场终端发送的调整后的多声道音频信号(和该图像信号)，对其执行混音等处理后向其它会场终端转发，而其它会场终端则可以接收并播放该调整后的多声道音频信号(和对应的图像信号)，以获得声像匹配效果。

[0124] 参见图7，图7中通过图像识别方法识别出移动麦克风的位置，从而指导本实施例在不需要增加任何硬件设备的条件下，进行音频信号处理

[0125] 其音频信号处理流程可如图7所示，可包括：

[0126] 701、无线麦克风向会场终端发送拾取模块拾取的音频信号；

[0127] 其中，图7所示会场终端可包括：接收模块、方位识别模块、调整模块和编码发送模块。

[0128] 702、会场终端的接收模块接收无线麦克风发送的音频信号，将接收到的音频信号发送给调整模块。

[0129] 703、方位识别模块通过图像识别技术，分析出当前无线麦克风当前相对于会场终端的方向，并将该无线麦克风当前相对于会场终端的方向信息发给调整模块，作为调整模块调整的依据。

[0130] 其中，图像识别技术是识别图像中目标的一种技术，例如比较常见的人脸识别就是图像识别技术的一种，此处不再详述。

[0131] 704、调整模块生成接收到的音频信号对应的多声道音频信号(该多声道为至少两个声道)；根据无线麦克风当前相对于会场终端的方向，调整该多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该无线麦克风当前相对于该会场终端方向相匹配；并将调整后的多声道音频信号送给编码发送模块。

[0132] 705、编码发送模块将多声道音频信号进行编码并发送。

[0133] 此外，图7所示会场终端还可接收图像拍摄设备(若存在)针对包括该无线麦克风当前的位置在内的区域所拍摄的图像信号，并发送该图像信号。相应的，会议服务器(例如MCU)接收该会场终端发送的调整后的音频信号(和该图像信号)，对其执行相应处理后向其它会场终端转发，而其它会场终端则可以接收并播放该调整后的音频信号(和对应的图像信号)，以获得声像匹配效果。

[0134] 由上可见，本实施例中的会场终端接收例如无线麦克风等可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备当前相对于该会场终端的方向；生成该音频信号对应的多声道音频信号，根据该可移动音频拾取设备当前相对于该会场终端的方向，调整该多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于该会场终端方向相匹配。由于会场根据该可移动音频拾取设备当前相对于该会场终端的方向，调整该多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于该会场终端方向相匹配，这就为其它的会场终端在接收到该调整后的多声道音频信号后，能够以声像匹配的效果来播放对应的图像信号和该调整后的多声道音频信号奠定了基础，也就有利于实现视讯会议系统部署可移动音频拾取设备场景下的“听音辨位”功能。

[0135] 需要说明的是，上述实施例中主要是以发送音频信号的会场终端来调整可移动音频拾取设备所拾取的音频信号，以使该调整后的音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于会场终端方向相匹配为例进行说明，当然，亦可由会议服务器(如MCU)或者由接收音频信号的会场终端或其它设备来调整可移动音频拾取设备所拾取的音频信号的延迟和/或相位和/或信号强度等。

[0136] 下面介绍由会议服务器(如MCU)或者由接收音频信号的会场终端调整可移动音频拾取设备所拾取的音频信号的场景。

[0137] 下面从视讯会议系统的角度进行描述。

[0138] 本发明一种视讯会议系统的另一个实施例，参见图8，可包括：第三会场终端810、会议服务器820和第四会场终端830。

[0139] 其中，第三会场终端810，用于接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备相对于第三会场终端810的方向；接收该图像拍摄设备针对该可移动音频拾取设备当前所在区域所拍摄的图像信号；根据该可移动音频拾取设备当前相对于第三会场终端810的方向，生成指示出该音频信号播放时所呈现声音方向的方向指示信息(该方向指示信息例如为方向标识或辅助声像信息)，其中，该方向指示信息指示出的该音频信号播放时所要呈现的声音方向与该可移动音频拾取设备当前相对于第三会场终端810方向相匹配；发送该图像信号、音频信号和方向指示信息。

[0140] 其中，第三会场终端810获取可移动音频拾取设备当前相对于第三会场终端810的方向的具体方法可以参考上述实施例中的实现方式。

[0141] 举例来说，第三会场终端810可根据该可移动音频拾取设备当前相对于第三会场终端810的方向，生成指示出该音频信号播放时所呈现声音方向的方向标识，并可在用于承载该音频信号的报文的头域中或其它位置添加该方向标识并发送；或者，第三会场终端810可根据该可移动音频拾取设备当前相对于第三会场终端810的方向生成音频信号对应的声相辅助信息(基于该声相辅助信息来自调整的音频信号播放时所呈现声音方向与可移动音频拾取设备当前相对于第三会场终端810的方向相匹配)，并在对应该音频信号的待发送码流中添加该声相辅助信息并发送。

[0142] 会议服务器820，用于接收第三会场终端810发送的图像信号、音频信号和方向指示信息；生成该音频信号对应的多声道音频信号(该多声道为至少两个声道)；根据该方向指示信息调整该多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使得该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于第三会场终端810的方向相匹配；发送该图像信号和调整后的多声道音频信号；

[0143] 第四会场终端830，用于接收会议服务器820发送的图像信号和调整后的多声道音频信号；播放该图像信号和调整后的多声道音频信号。

[0144] 由上可见，本实施例中的会场终端接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备相对于会场终端的方向；根据该可移动音频拾取设备当前相对于会场终端的方向，生成指示出该音频信号播放时所呈现声音方向的方向指示信息；发送该音频信号和方向指示信息，由于该会场终端生成并发送的方向指示信息指示出的该音频信号播放时所要呈现的声音方向与该可移动音频拾取设备当前相对于该会场终端方向相匹配；这就为会议服务器或其它的会场终端在接收到该音频信号和方向指示信息后，可根据该方向指示信息对音频信号进行调整播放，进而能够以声像匹配的效果来播放音频信号和对应的图像信号奠定了基础，也就有利于实现视讯会议系统部署可移动音频拾取设备场景下的“听音辨位”功能。

[0145] 下面再从视讯会议系统的会议服务器的角度进行描述。

[0146] 本发明会场终端音频信号处理方法的另一个实施例，可包括：会议服务器接收会场终端发送的图像信号、音频信号和方向指示信息，其中，该音频信号由可移动音频拾取设备拾取，该方向指示信息根据该可移动音频拾取设备当前相对于该会场终端的方向生成，用于指示该音频信号播放时所要呈现的声音方向；生成该音频信号对应的多声道音频信号，该多声道包括至少两个声道；根据该方向指示信息调整该多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使得该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于上述会场终端的方向相匹配；发送上述图像信号和调整后的多声道音频信号。

[0147] 参见图8-b，本发明实施提供的一种会议服务器，可包括：第二接收单元821、第二调整单元822和第二发送单元823。

[0148] 其中，第二接收单元821，用于接收会场终端发送的图像信号、音频信号和方向指示信息，其中，该音频信号由可移动音频拾取设备拾取，该方向指示信息根据该可移动音频拾取设备当前相对于该会场终端的方向生成，用于指示该音频信号播放时所要呈现的声音方向；

[0149] 第二调整单元822，用于生成该音频信号对应的多声道音频信号，该多声道包括至少两个声道；根据该方向指示信息调整该多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使得该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于上述会场终端的方向相匹配；

[0150] 第二发送单元823，用于发送上述图像信号和第二调整单元822调整后的多声道音频信号。

[0151] 可以理解，该会议服务器还可通过部署其它模块若干个模块，以实施上述功能，此处不再举例。

[0152] 本发明一种视讯会议系统的再一个实施例，参见图9，可包括：第五会场终端910和第六会场终端920。

[0153] 其中，第五会场终端910，用于接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备当前相对于第五会场终端的方向；接收图像拍摄设备针对该可移动音频拾取设备当前所在区域所拍摄的图像信号；根据该可移动音频拾取设备当前相对于第五会场终端910的方向，生成用于指示该音频信号播放时所呈现声音方向的方向指示信息(该方向指示信息例如为方向标识或辅助声像信息)，其中，该方向指示信息指示出的上述音频信号播放时所呈现的声音方向与该可移动音频拾取设备当前相对于第五会场终端910方向相匹配；发送该图像信号、音频信号和方向指示信息。

[0154] 举例来说，第五会场终端910可根据该可移动音频拾取设备当前相对于第五会场终端910的方向，生成指示出该音频信号播放时所呈现声音方向的方向标识，并可在用于承载该音频信号的报文的头域中或其它位置添加该方向标识并发送；或者，第五会场终端910可根据该可移动音频拾取设备当前相对于第五会场终端910的方向生成音频信号对应的声相辅助信息(基于该声相辅助信息来自调整的音频信号播放时所呈现声音方向与可移动音频拾取设备当前相对于第五会场终端910的方向相匹配)，并在对应该音频信号的待发送码流中添加该声相辅助信息并发送。

[0155] 第六会场终端920，用于接收来自第五会场终端910的图像信号、音频信号和该音频信号对应的方向指示信息；播放该图像信号并根据该方向指示信息播放该音频信号。

[0156] 在实际应用中，若该方向指示信息指示出的音频信号播放时所呈现的声音方向为左方，则第六会场终端920可只在左边喇叭播放该音频信号；或者第六会场终端920亦可通过多声道播放该音频信号，但增大左边喇叭的音量和/或调低其它喇叭的音量，或者调整其它喇叭的相位和延迟，进而使得该音频信号播放时所呈现的声音方向与该可移动音频拾取设备当前相对于第五会场终端910方向相匹配。

[0157] 由上可见，本实施例中的第五会场终端910接收可移动音频拾取设备所拾取的音频信号，获取该可移动音频拾取设备相对于会场终端的方向；根据该可移动音频拾取设备当前相对于会场终端的方向，生成指示出该音频信号播放时所呈现声音方向的方向指示信息；发送该音频信号和方向指示信息，由于该第五会场终端910生成并发送的方向指示信息指示出的该音频信号播放时所要呈现的声音方向与该可移动音频拾取设备当前相对于该会场终端方向相匹配；这就为会议服务器或其它的会场终端在接收到该音频信号和方向指示信息后，可根据该方向指示信息对音频信号进行调整播放，进而能够以声像匹配的效果来播放音频信号和对应的图像信号奠定了基础，也就有利于实现视讯会议系统部署可移动音频拾取设备场景下的“听音辨位”功能。

[0158] 下面再从视讯会议系统的发送音频信号的会场终端角度进行描述。

[0159] 本发明会场终端音频信号处理方法的另一个实施例，可包括：会场终端接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备当前相对于上述会场终端的方向；根据上述可移动音频拾取设备当前相对于上述会场终端的方向，生成用于指示上述音频信号播放时所呈现声音方向的方向指示信息(该方向指示信息例如为方向标识或辅助声像信息)，其中，该方向指示信息指示出的上述音频信号播放时所要呈现的声音方向与该可移动音频拾取设备当前相对于上述会场终端方向相匹配；发送该音频信号和方向指示信息。

[0160] 由上可见，本实施例中的会场终端接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备相对于会场终端的方向；根据该可移动音频拾取设备当前相对于会场终端的方向，生成指示出该音频信号播放时所呈现声音方向的方向指示信息；发送该音频信号和方向指示信息，由于该会场终端生成并发送的方向指示信息指示出的该音频信号播放时所要呈现的声音方向与该可移动音频拾取设备当前相对于该会场终端方向相匹配；这就为会议服务器或其它的会场终端在接收到该音频信号和方向指示信息后，可根据该方向指示信息对音频信号进行调整播放，进而能够以声像匹配的效果来播放音频信号和对应的图像信号奠定了基础，也就有利于实现视讯会议系统部署可移动音频拾取设备场景下的“听音辨位”功能。

[0161] 本发明实施例还提供一种会场终端1000，包括：接收确定单元1010、调整单元1020和发送单元1030。

[0162] 其中，接收确定单元1010，用于接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备当前相对于会场终端1000的方向；

[0163] 调整单元1020，用于生成该音频信号对应的多声道音频信号；根据该可移动音频拾取设备当前相对于会场终端1000的方向调整该多声道音频信号中至少一个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于会场终端1000的方向相匹配，得到调整后的多声道音频信号；

[0164] 发送单元1030，发送上述调整单元得到的调整后的多声道音频信号。

[0165] 在一种应用场景下，接收确定单元1010可包括：第一位置确定子模块和至少两个接收模块；

[0166] 其中，接收模块，用于接收可移动音频拾取设备所拾取的音频信号；

[0167] 第一位置确定子模块，用于上述至少两个接收模块中各接收模块接收到的音频信号的差异确定该可移动音频拾取设备当前相对于会场终端1000的方向；

[0168] 或者，

[0169] 接收确定单元1010可包括：信息接收模块和第二位置确定子模块

[0170] 其中，信息接收模块，用于接收可移动音频拾取设备所拾取的音频信号和该可移动音频拾取设备发送的位置识别信息；

[0171] 第二位置确定子模块，用于通过上述位置识别信息确定上述可移动音频拾取设备当前相对于会场终端1000的方向；

[0172] 或者，

[0173] 接收确定单元1010可包括：接收模块和图像识别模块。

[0174] 其中，接收模块，用于接收可移动音频拾取设备所拾取的音频信号；

[0175] 图像识别模块，用于通过图像识别技术确定该可移动音频拾取设备当前相对于会场终端1000的方向。

[0176] 可以理解的是，本实施例中的会场终端1000可如上述方法实施例中的会场终端，其各个功能模块的功能可以根据上述实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

[0177] 由上可见，本实施例会场终端1000接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备当前相对于该会场终端的方向；并接收图像拍摄设备针对该可移动音频拾取设备当前所在区域所拍摄的图像信号；生成该音频信号对应的多声道音频信号；根据该可移动音频拾取设备当前相对于该会场终端的方向，调整该多声道音频信号中的至少1个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于该会场终端的方向相匹配；发送该图像信号和调整后的多声道音频信号，由于该会场终端调整该多声道音频信号中的至少1个声道音频信号的延迟、相位和/或信号强度，以使该调整后的多声道音频信号播放时所呈现出的声音方向与该可移动音频拾取设备当前相对于该会场终端的方向相匹配，这就为其它会场终端在接收到该图像信号和调整的后的多声道音频信号后，能够以声像匹配的效果来播放该图像信号和该调整后的音频信号奠定了基础，也就有利于实现视讯会议系统部署可移动音频拾取设备场景下的“听音辨位”功能。

[0178] 参见图11、本发明实施例提供的另一种会场终端1100，可包括：接收确定单元1110、生成单元1120和发送单元1130。

[0179] 其中，接收确定单元1110，用于接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备当前相对于会场终端1100的方向；

[0180] 生成单元1120，用于根据该可移动音频拾取设备当前相对于会场终端1100的方向，生成用于指示该音频信号播放时所要呈现的声音方向的方向指示信息，其中，该方向指示信息指示出的音频信号播放时所要呈现的声音方向与该可移动音频拾取设备当前相对于会场终端1100方向相匹配；

[0181] 发送单元1130，用于发送方向指示信息和接收确定单元1110接收的音频信号。

[0182] 可以理解的是，本实施例中的会场终端1100可如上述方法实施例中的会场终端，其各个功能模块的功能可以根据上述实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

[0183] 由上可见，本实施例会场终端1100接收可移动音频拾取设备所拾取的音频信号，并获取该可移动音频拾取设备相对于会场终端的方向；根据该可移动音频拾取设备当前相对于会场终端的方向，生成指示出该音频信号播放时所呈现声音方向的方向指示信息；发送该音频信号和方向指示信息，由于该会场终端生成并发送的方向指示信息指示出的该音频信号播放时所要呈现的声音方向与该可移动音频拾取设备当前相对于该会场终端方向相匹配；这就为会议服务器或其它的会场终端在接收到该音频信号和方向指示信息后，可根据该方向指示信息对音频信号进行调整播放，进而能够以声像匹配的效果来播放音频信号和对应的图像信号奠定了基础，也就有利于实现视讯会议系统部署可移动音频拾取设备场景下的“听音辨位”功能。

[0184] 需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

[0185] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

[0186] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，上述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

[0187] 以上对本发明实施例所提供的会场终端音频信号处理及会场终端和视讯会议系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。