通过麦克风的机会性使用的音频增强转让专利

申请号 : CN201610580914.9

文献号 : CN106375902B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : J.M.基尔希B.D.汤姆森

申请人 : 哈曼国际工业有限公司

摘要 :

一种音频处理系统包括与麦克风动态网络相关联的一组麦克风和接收器。所述接收器被配置来识别由所述多个麦克风中的被指定为主麦克风的麦克风接收的第一信号,并且识别包括在所述多个麦克风中的麦克风子组,其中所述子组中的每个麦克风与对应于所述第一信号的各自信号相关联。所述接收器还被配置来基于所述第一信号和所述各自信号来计算包括在所述子组中的每个麦克风的加权因数,并且机会性地建立与不包括在所述多个麦克风中的与所述麦克风动态网络相关联的麦克风的连接;并且基于从此麦克风接收的信号,调整所述子组中的所述麦克风中的至少一个的加权因数。

权利要求 :

1.一种音频处理系统,其包括:

多个麦克风,其与麦克风动态网络相关联;以及

接收器,其耦接到所述多个麦克风并且被配置来:

识别包括在所述多个麦克风中的被指定为主麦克风的麦克风所接收的第一信号;

识别包括在所述多个麦克风中的麦克风子组,其中所述麦克风子组中的每个麦克风与对应于所述第一信号的各自信号相关联;

至少部分地基于所述第一信号和所述各自信号之间的相干性的强度,计算包括在所述麦克风子组中的每个麦克风的加权因数;

建立与不包括在所述多个麦克风中的与所述麦克风动态网络相关联的第一麦克风的连接;以及基于从所述第一麦克风接收的信号,调整包括在所述麦克风子组中的至少一个麦克风的加权因数。

2.如权利要求1所述的音频处理系统,其中所述接收器还被配置来对从包括在所述麦克风子组中的每个麦克风接收的麦克风信号执行时间对齐操作。

3.如权利要求1所述的音频处理系统,其中所述接收器还被配置来选择包括在所述多个麦克风中的麦克风作为所述主麦克风,所述主麦克风输出信号,在阈值量的时间内,该输出信号的振幅大于包括在所述多个麦克风中的其他麦克风中的每一个产生的输出信号的振幅。

4.如权利要求1所述的音频处理系统,其中所述接收器还被配置来选择主麦克风,包括:预选包括在所述多个麦克风中的第二麦克风,所述第二麦克风输出信号,在阈值量的时间内,该输出信号的振幅大于包括在所述多个麦克风中的其他麦克风中的每一个产生的输出信号的振幅;以及选择包括在所述多个麦克风中的第三麦克风,所述第三麦克风呈现信号部分,所述第三麦克风呈现所述信号部分发生在比所述第二麦克风呈现的对应信号部分更早的时间。

5.如权利要求1所述的音频处理系统,其中所述接收器还被配置来基于包括在所述麦克风子组中的第二麦克风的灵敏度评定等级,来调整所述第二麦克风的所述加权因数。

6.如权利要求1所述的音频处理系统,其中所述接收器还被配置来基于检测与包括在所述麦克风子组中的第二麦克风相关联的运动,来调整所述第二麦克风的所述加权因数。

7.如权利要求1所述的音频处理系统,其中所述接收器还被配置来基于与包括在所述麦克风子组中的第二麦克风相关联的无线传输等待时间,来调整所述第二麦克风的所述加权因数。

8.如权利要求1所述的音频处理系统,其中所述接收器还被配置来基于包括在所述麦克风子组中的第二麦克风与所述主麦克风之间的距离,来调整所述第二麦克风的所述加权因数。

9.如权利要求1所述的音频处理系统,其还包括多个接收天线,并且其中选择麦克风作为主麦克风包括:从包括在所述多个接收天线中的每个接收天线接收定向信号;

基于所述定向信号计算定向角;以及

基于所述定向角来选择所述主麦克风。

10.一种通过包括在多个麦克风中的一个或多个麦克风的机会性使用来增强音频的方法,该方法包括:识别包括在所述多个麦克风中的被指定为主麦克风的麦克风所接收的第一信号;

识别包括在所述多个麦克风中的麦克风子组,其中所述麦克风子组中的每个麦克风与对应于所述第一信号的各自信号相关联;

至少部分地基于所述第一信号和所述各自信号之间的相干性的强度,计算包括在所述麦克风子组中的每个麦克风的加权因数;

建立与不包括在所述多个麦克风中的第一麦克风的连接;以及

基于从所述第一麦克风接收的信号,调整包括在所述麦克风子组中的至少一个麦克风的加权因数。

11.如权利要求10所述的方法,还包括对从包括在所述麦克风子组中的每个麦克风接收的麦克风信号执行时间对齐操作。

12.如权利要求10所述的方法,计算包括在所述麦克风子组中的每个麦克风的加权因数包括:执行在所述多个麦克风中的其他麦克风中的每一个相对于所述主麦克风的互相关。

13.如权利要求12所述的方法,其中执行其他麦克风中的每一个相对于所述主麦克风的互相关包括:搜索与另一个麦克风相关联的麦克风信号的时间窗口,其中所述时间窗口基于与包括在所述多个麦克风中的任何两个麦克风之间的最大声学延迟相关联的第一延迟。

14.如权利要求13所述的方法,其中所述时间窗口还基于与无线传输等待时间相关联的第二延迟,所述无线传输等待时间与所述另一个麦克风相关联。

15.如权利要求10所述的方法,还包括基于所述加权因数对从包括在所述麦克风子组中的每个麦克风接收的麦克风信号执行混合操作以便产生混合麦克风信号。

说明书 :

通过麦克风的机会性使用的音频增强

[0001] 背景
[0002] 本公开的实施方案领域
[0003] 本公开的实施方案大体涉及音频信号处理,并且更确切地说,涉及通过麦克风的机会性使用的音频增强。
[0004] 相关技术的描述
[0005] 音频增强通常用于改善具体个人在组群设定下听到说话的特定人员或其他声源的能力,诸如在会议室中的小组会议。在一个实例中,以及非限制地,听力受损的参与者可通过放置到所述参与者的一耳或双耳中的助听器或类似听音器来倾听说话人员。此类助听器通常将具用于接收外耳区域中存在的声音的内置式麦克风、以及为了放大声音并且将所放大的声音投射到内耳中的目的放大器和扬声器。在另一个实例中,以及非限制地,远程参与者可通过扬声器电话或其他电话会议装置来倾听说话人员。此类装置从会议室的内部通过麦克风接收声音,将所接收的声音转换成电信号,并且将所述电信号传输到远程电话会议装置。远程电话会议装置处理电信号,并且将输出传输到扬声器或其他听音器,以使得远程参与者可听到会议室内的声音。
[0006] 关于以上方法的一个问题是助听器或电话会议装置的麦克风通常远离说话人员。也就是,助听器的麦克风通常嵌入到助听器自身中,所述助听器被放置到参与者的耳中。类似地,电话会议装置的麦克风通常嵌入到电话会议装置中,所述电话会议装置时常放置在会议室中心,诸如在会议室内的主会议桌上。在两种情况下,鉴于说话人员通常位于房间一侧或位于会议室桌的一端处,麦克风的位置通常是与房间内说话人员相距一个显著距离。
总体上,随着麦克风与感兴趣源之间的距离增加,在麦克风处接收的音频的品质降级。关于以上方法的另一个问题是此类装置通常相对均等地放大所有声音。其结果是,收听者可能难以听到特定的感兴趣源(诸如说话的特定人员的声音),特别在环境中存在其他音频源的情况下(诸如噪声和侧面会话)。
[0007] 这些问题的一个解决方案是在更接近演讲者处放置有线或无线的远程麦克风。例如,与助听器相关联的无线麦克风可被放置在说话人员的附近。在另一个实例中,与电话会议装置相关联的有线或无线的“圆盘”样式麦克风可能类似地被放置在会议室桌上、或在接近说话人员的某个其他位置处。
[0008] 关于这些解决方案的一个缺点是说话人员或其他声源的位置随时间改变。在一个实例中,说话人员可能从远程麦克风附近的位置走到或另外移动到远离所述远程麦克风的位置。在另一个实例中,声源可从说话人员改变到打断以便询问或突然插入意见的另一个人,或改变到回放媒体内容(诸如音频或视听片段)的内容播放器。在此类情况下,主麦克风和远程麦克风两者可以是相对远离新人员说话的地方或新声源位于的地方。关于以上解决方案的另一个缺点是听力受损个人必须忍受在房间中呈现远程麦克风和放置远程麦克风的窘迫,这可向广大组群将该人员识别为听力受损个人。
[0009] 如上述示出的,用于在组群设定下为某些个人增强音频的新技术将是有用的。
[0010] 概述
[0011] 所陈述的一个或多个实施方案包括音频处理系统,所述音频处理系统包括与麦克风动态网络相关联的一组麦克风和接收器。接收器被配置来识别包括在该多个麦克风中的被指定为主麦克风的麦克风所接收的第一信号。接收器还被配置来识别包括在该多个麦克风中的麦克风子组,其中所述麦克风子组中的每个麦克风与对应于第一信号的各自信号相关联。接收器还被配置来至少部分地基于第一信号和各自信号,计算包括在所述麦克风子组中的每个麦克风的加权因数。接收器还被配置来建立与不包括在该多个麦克风中的与麦克风动态网络相关联的第一麦克风的连接。接收器还被配置来基于从第一麦克风接收的信号,调整包括在所述麦克风子组中的麦克风中的至少一个的加权因数。
[0012] 其他实施方案包括但不限于:实现所公开技术的一个或多个方面的音频接收器,和包括用于执行所公开技术的一个或多个方面的指令的计算机可读介质,以及用于执行所公开技术的一个或多个方面的方法。
[0013] 本文所述方法的至少一个优点是相对于特定感兴趣源为收听者增强音频,因为较靠近所述感兴趣源放置的麦克风比较远离的麦克风对混合音频信号具有更强的影响。本文所述方法的另一个优点是由于检测到附加的无线麦克风并且将其添加到动态混合中,改善声音的性能和品质。
[0014] 附图若干视图简述
[0015] 因此,为了可详细理解上文陈述的一个或多个实施方案的所述特征,可通过参考某些特定实施方案来对以上简要概述的一个或多个实施方案进行更具体的描述,这些实施方案中的一些在附图中示出。然而,应注意,附图仅示出典型的实施方案,且因此不应被视为以任何方式限制其范围,因为本公开的范围也包括其它实施方案。
[0016] 图1示出被配置来实现各种实施方案的一个或多个方面的音频处理系统;
[0017] 图2示出根据各种实施方案的图1的音频处理系统的应用;以及
[0018] 图3为根据各种实施方案的用于通过一个或多个麦克风的机会性使用来增强音频的方法步骤的流程图。
[0019] 详述
[0020] 在以下描述中,阐述众多具体细节以提供对某些具体实施方案的更透彻理解。然而,本领域的技术人员将明白,其他实施方案可在没有这些具体细节中的一个或多个细节的情况下或在具有另外具体细节的情况下加以实践。
[0021] 如本文进一步描述的,音频处理系统使得一个或多个收听者能够听到通过自组织网络配置联网在一起的多个麦克风的动态混合。有助于动态混合的具体麦克风组随着条件改变机会性地改变。由于其他收听者与包括一个或多个麦克风的无线装置一起到达,这些附加麦克风被添加到网络配置。也就是,当此类麦克风变得可用的时,麦克风被机会性地添加到动态混合中。当收听者连同其无线装置一起离开时,与这些装置相关联的麦克风被从动态混合移除。此外,麦克风基于各种变化条件被机会性地添加于或移除自有助于动态混合的麦克风组,所述各种变化条件包括但不限于:通电或断电的麦克风或装置、感兴趣源位置的改变(诸如当说话者移动时)、麦克风或装置位置的改变和导致来自一个或多个麦克风或装置的信号延迟的网络拥塞。换言之,连接到音频处理系统的麦克风和相关联装置的数量随时间变化,有助于动态混合的连接麦克风和相关联装置的数量也随时间改变。
[0022] 连接麦克风被分等级以便确定主麦克风。另外,多个麦克风是时间对齐的,以便加强一个或多个感兴趣源。麦克风的时间对齐和混合响应于变化声学条件动态地变化,所述变化声学条件包括但不限于:麦克风数量和位置的改变、感兴趣源位置的改变、从一个感兴趣源到另一个的改变以及收听者身体位置或头部定向的改变。来自多个麦克风的信号是相对于感兴趣源时间对齐的,以便减少声学相位干涉的可能性。
[0023] 系统综述
[0024] 图1示出被配置来实现各种实施方案的一个或多个方面的音频处理系统100。如图所示,音频处理系统100包括但不限于无线麦克风110、有线麦克风120、天线130、接收器140和扬声器150。在各种实施方案中,音频处理系统100可以是个人装置(诸如由特定收听者佩戴的头戴耳机)、或共用装置(诸如扬声器电话或其他电话会议装置)。
[0025] 无线麦克风110包括被配置来进行以下的任何音频接收装置:从环境接收声学信号,将所接收的声学信号转换成数字信号,以及通过发射天线将所述数字信号传输到接收器(诸如接收器140)。在各种实施方案中,每一个无线麦克风110可处于任何技术可行的形式,包括但不限于移动电话的麦克风、膝上计算机或平板计算机的麦克风以及内置到另一种装置(诸如笔、圆盘形物体或电视遥控器)中的麦克风。任何一个或多个无线麦克风110可附接到或嵌入到墙壁、天花板、会议室桌或其他表面。任何一个或多个无线麦克风110可能未附接到任何特定表面。此类未附接的无线麦克风110可停留在特定房间或空间中,或可按需例如由正在开会的参与者运输。任何一个或多个无线麦克风110可与具有无线通信能力的另一种装置或设备相关联,包括但不限于,设备、安全报警器和环境控制器(诸如恒温器)。无线麦克风110被配置来通过无线通信网络160与其他无线麦克风110以及与接收器140通信。在一些实施方案中,无线麦克风110通过无线通信网络160通信到接收天线130,并且接收天线130继而与接收器140通信。
[0026] 有线麦克风120任选地包括在音频处理系统100中。有线麦克风120通过电缆、扬声器导线或其他物理连接附接到接收器140。任何一个或多个有线麦克风120可附接到或嵌入到墙壁、天花板、会议室桌或其他表面。可替代地,与个人听音器相关联的有线麦克风120可被嵌入到由收听者佩戴的头戴受话器或头戴耳机中。
[0027] 基于在接收器140的范围内或连接到接收器140的麦克风110和120的数量,无线麦克风110和有线麦克风120(本文共同称为“麦克风110和120”)的总数量随时间变化。基于对接收器140的接近度、形成与接收器140无线连接的能力和相对于其他范围内的无线麦克风110的音频贡献水平的组合,确定无线麦克风110在接收器140的范围内。每个麦克风110和
120通常与特定位置(诸如会议室)相关联、或与特定收听者相关联,如同个人拥有的无线麦克风110一样。
[0028] 在一些实施方案中,被配置来形成与接收器140连接的有线或无线的装置(未明显示出)可具有两个或更多个相关联的麦克风110和120。此类无线装置可通过接收器140来改善空间滤波(本文也称为波束形成),以便利用此类装置的定向。具有多个麦克风110和120的无线装置可以朝向感兴趣源来对准或操纵,以便提供用于加重感兴趣源和削弱环境中的其他源的更好能力。
[0029] 在一些实施方案中,一个或多个麦克风110和120可包括内置式处理器,包括但不限于,中央处理单元(CPU)、数字信号处理器(DSP)和微控制器。此类内置式处理器可执行与麦克风相关联的各种操作,包括但不限于,均衡化、噪声降低、音频动态范围压缩和数据压缩。
[0030] 接收天线130接收诸如无线麦克风110的各种无线装置所传输的信号。继而,接收天线130将接收信号传输到接收器140以用于处理。取决于接收天线130的数量,由接收器140确定无线麦克风110的位置。
[0031] 如果无线麦克风110被放置在平面(诸如水平面)中,那么如果存在两个或更多个接收天线130,则接收器140能够确定来自无线麦克风110的到达角。如果存在三个或更多个接收天线130,则接收器140附加地能够确定无线麦克风110的范围或距离。附加的大量天线改善到达角和范围计算的准确度。在一个实例中,在双耳接收器系统(诸如头戴耳机)中,每耳两根天线可用于分辨到达角和范围。
[0032] 如果无线麦克风110未被放置在平面中,而是存在于三维体积中,那么如果存在两个或更多个接收天线130,则接收器140能够确定无线麦克风110位于的表面或平面。如果存在三个或更多个接收天线130,则接收器140能够确定无线麦克风110定位所沿着的线。如果存在四个或更多个接收天线130,则接收器140能够确定无线麦克风110位于的点。附加的大量天线改善到达角和范围计算的准确度。在一个实例中,在双耳接收器系统(诸如头戴耳机)中,每耳两根天线可用于分辨到达角和范围。如果来自一些或所有无线麦克风110发射器的数据包是同步的,那么进一步改善范围和角度估计,并且需要较少的接收天线130以用于准确计算。
[0033] 接收器140对从无线麦克风110、有线麦克风120和接收天线130接收的信号执行各种音频处理操作。在各种实施方案中,接收器140可以是状态机、中央处理单元(CPU)、数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或被配置来处理数据和执行软件应用的任何装置或结构。
[0034] 由接收器140执行的一个操作是用于确定强度、以及从而确定每个麦克风的距离或位置的接近度操作。接收器140采用三角测量技术、信号强度和GPS数据中的一种或多种以便执行所述接近度操作。
[0035] 由接收器140执行的另一种操作是用于确定每个麦克风的离轴角的定位操作。接收器140采用一种或多种方法,包括但不限于,三角测量技术、延迟计算、无线定位技术和GPS数据定位技术以便执行定位操作。
[0036] 由接收器140执行的又一个操作是麦克风信号的组合或混合。接收器140将权重分配到每个麦克风信号,其中由相对于收听者的面部的离轴角和每个麦克风的接近度动态确定所述权重。接收器140执行波束成形操作或空间滤波操作以便聚焦声音的接收方向。接收器140还基于所计算的权重来执行所有或一部分麦克风110和120的选择和混合。接收器140还执行相干性估计,以便加强仅在多个麦克风110和120上存在的信号,并且抑制仅在单个麦克风上存在的信号。
[0037] 在一些实施方案中,接收器140可与音频处理系统100相关联,其是由特定收听者佩戴的个人装置。在此类实施方案中,接收器140可执行转向功能,以使得当收听者转动面向不同讲话人时,从无线麦克风110和有线麦克风120接收的麦克风信号可被动态加权以便在收听者正面向的方向上聚焦拾取模式。
[0038] 在其他实施方案中,接收器140可与音频处理系统100相关联,其由若干收听者共享,如在扬声器电话或其他电话会议装置的情况下。在此类实施方案中,接收器140也可执行本文描述的某些其他操作,包括但不限于,确定麦克风110和120的离轴角、接近度检测、混合和相干性估计。
[0039] 在操作中,接收器140识别从两个或更多个麦克风110和120接收的对应信号,将所述对应信号时间对齐,计算每个对应信号的加权因数,以及根据所计算的加权因数来混合或组合所述对应信号。在各种实施方案中,接收器140可通过互相关技术来执行这些功能。在这些实施方案中,接收器140可首先选择针对其来互相关与接收器140通信的其他麦克风
110和120的麦克风。在执行互相关之前选择麦克风减少互相关操作的总数目。如果在互相关之前未选择麦克风,则所需的互相关操作的数目由N*(N-1)给出,其中N是麦克风110和
120的数目。如果在互相关之前选择麦克风,那么将互相关操作的数目减少到N-1。所以例如,如果接收器140与10个麦克风110和120通信,那么在互相关之前选择麦克风可将互相关操作的数目从90减少到9。
[0040] 接收器140通过限定参考麦克风或通过确定主麦克风来选择麦克风。接收器140通过选择具有已知的等待时间和品质的特定麦克风来限定参考麦克风。例如,接收器140可选择放置在房间中心处的相对高品质有线麦克风作为参考麦克风。在互相关期间,所有其他麦克风110和120将与参考麦克风互相关。
[0041] 可替代地,接收器140确定麦克风110和120中哪一个是在特定时间点的主麦克风。被确定为主麦克风的麦克风是所选择的麦克风。在互相关期间,所有其他麦克风110和120与主麦克风互相关。
[0042] 接收器140执行一个或多个操作以便确定主麦克风。在一个实例中,接收器140可分析每个麦克风的振幅,并且选择呈现最响(最高振幅)信号持续阈值时间量的麦克风作为主麦克风。在此实例中,呈现最响信号的麦克风被假定为最靠近感兴趣源(诸如主说话者)。此方法通常良好地工作,除非主说话者具有呈现较低音量但物理上更靠近所述说话者的袖珍麦克风。
[0043] 在另一个实例中,接收器140可针对参考麦克风执行所有其他麦克风110和120的第一互相关传送。接收器140选择其与参考麦克风的互相关呈现参考麦克风中存在的信号的最早峰值的麦克风。在此实例中,在最早时间点时呈现感兴趣源的麦克风被假定为最靠近感兴趣源。此方法通常良好地工作,除非存在显著的噪声或响亮的侧面会话。
[0044] 在另一个实例中,接收器140可执行一整组的N*(N-1)个互相关操作而不用预选麦克风。接收器140随后将选择呈现最早信号峰值的麦克风,所述最早信号峰值也存在于阈值数目的麦克风110和120中。此方法良好地工作以便发现主要存在的感兴趣源,尽管此方法是比以上描述的其他方法更加计算密集的。
[0045] 在另一个实例中,多个固定麦克风110和120可能被放置在候选主麦克风110和120的池中。在此类实施方案中,接收器140指定麦克风110和120的子组(诸如三个)为麦克风110和120的组。通常,候选主麦克风110和120是放置在房间中适当位置处的固定的、较高品质麦克风110和120。接收器140执行候选主麦克风110和120的池中的麦克风110和120中的互相关。随后基于互相关的结果从所述池选择主麦克风。
[0046] 在选择主麦克风之后,接收器140执行所有麦克风110和120与主麦克风的互相关。接收器140将较高的加权因数分配到与主麦克风强相关的麦克风110和120。接收器140将对应较低的加权因数分配到与主麦克风弱相关的麦克风110和120。接收器140可使用任何技术可行的互相关方法,包括但不限于卷积和模式识别。在一些实施方案中,为简化互相关操作,接收器140可限制搜索与主麦克风相关的信号的时间窗口。例如,如果在麦克风110和
120之间的最大距离已知为33英尺、对应于30ms,并且由于无线传输的最大容许等待时间是
10ms,则接收器检查40ms窗口以便发现主麦克风与其他麦克风110和120中的每一个之间的相关性。如果特定麦克风在40ms窗口内不与主麦克风相关,则麦克风不拾取信号,或麦克风正经历超过10ms限制的无线传输延迟。
[0047] 在各种实施方案中,接收器140可执行附加操作以便调整在互相关期间确定的加权因数。在一个实施方案中,接收器140可补偿麦克风110和120中的响度差异。接收器140可提高呈现较响信号的麦克风的加权因数,并且降低呈现较安静信号的麦克风的加权因数。在一个实施方案中,接收器140可补偿麦克风与主麦克风之间的定时差异。在麦克风更靠近主麦克风的假设下,接收器140可提高呈现在时间上更靠近主麦克风的信号的麦克风的加权因数。在麦克风更远离主麦克风的假设下,接收器140可降低呈现在时间上更远离主麦克风的信号的麦克风的加权因数。
[0048] 在另一个实施方案中,接收器140可补偿麦克风110和120中由于无线传输的等待时间差异。有线麦克风120可具有仅与房间的声学延迟和导线传输时间有关的延迟。无线麦克风110可由于数字化、数据打包以及将数字音频数据包传输到接收器140的过程招致变化的等待时间。例如,假定声速是1127英尺/秒(即每毫秒一英尺多一点),由于无线传输的11ms的等待时间与11英尺的距离一致。因此,为更好地估计距离,接收器140可在基于与感兴趣源的距离确定加权因数时补偿无线传输延迟。
[0049] 在另一个实施方案中,接收器140可除确定麦克风110和120中的最早或最响的峰值之外,执行相干性估计测试。在此实施方案中,在麦克风110与120中比较信号特征(诸如形状、带宽和其他度量)以便更好地确定两个麦克风110和120是否已经拾取相同源。较强的相干性可增加加权因数,而较弱的相干性可减少加权因数。
[0050] 在另一个实施方案中,接收器140可测量麦克风移动。接收器140可检测麦克风正快速移动,诸如当某人正在转笔或快速移动具有内置式麦克风的某个其他装置时。如果接收器140检测到麦克风正经历快速移动,则接收器140可对应地减少那个麦克风的加权因数。
[0051] 在另一个实施方案中,接收器140可由于麦克风灵敏度评定等级中的差异来调整加权因数。当在相同距离下暴露到相同声波时,高灵敏的麦克风对比较不灵敏的麦克风可报告伪较高音量级。在此类情况下,更灵敏的麦克风接收器140可基于较高报告音量向更灵敏的麦克风分配较高加权因数。如果接收器140具有关于麦克风110和120在所述环境下的灵敏度的数据,那么接收器可基于麦克风110和120的变化灵敏度来调整加权因数。
[0052] 在另一个实施方案中,接收器140可执行三角测量操作,以便创建所有麦克风110和120放置在房间中的地点的草图。接收器140指导每个麦克风发射由其他麦克风110和120接收的超声波信号。其他麦克风110和120注意到接收超声波信号的时间。针对每个其他麦克风110和120重复所述过程。根据此数据,接收器140执行三角测量以便将信号延迟时间转换到距离,并且随后创建麦克风放置的三角测量图。在选择主麦克风之后,如本文描述的,接收器140可使用三角测量图以便确定哪些其他麦克风110和120最靠近主麦克风。接收器140可增加更靠近的麦克风110和120的加权因数,并且减少更远离的麦克风110和120的加权因数。
[0053] 在另一个实施方案中,接收器140可执行多维加权操作。作为一个实例,接收器140可基于时间维度和音量维度两者创建加权因数。接收器140将较高的加权因数分配到呈现既早又响的信号的麦克风。接收器140将中等的加权因数分配到呈现早且柔和或晚且响的信号的麦克风110和120。接收器140将较低的加权因数分配到呈现既晚又柔和的信号的麦克风。
[0054] 在确定和调整加权因数之后,接收器140确定哪些麦克风110和120混合到最终输出中。在一个实施方案中,接收器140可将所有的麦克风110和120混合在一起,其中加权因数确定每个麦克风对所述混合的贡献。可替代地,接收器140可消除具有低于特定阈值的加权因数的麦克风110和120。接收器140随后将混合中的麦克风110和120的信号时间对齐。例如,如果麦克风A与主麦克风相关,但相对于主麦克风延迟20ms,那么接收器140通过使主麦克风信号延迟20ms来将所述信号时间对齐。通过将麦克风相对于感兴趣源时间对齐,接收器140减少声学相位干涉的可能性。一旦所有的麦克风信号是时间对齐的,接收器140根据加权因数对所述时间对齐的麦克风信号执行混合。
[0055] 扬声器150包括从接收器140接收音频信号并且向一个或多个用户发射对应声音的一个或多个扬声器。如果音频处理系统100是个人装置,那么扬声器150可嵌入到将声音投射到特定收听者耳中的头戴受话器或头戴耳机。如果音频处理系统100是共用装置,那么扬声器150可嵌入在从主电话会议装置接收信号并且将声音发射到一个或多个远程定位的收听者的第二远程电话会议装置中。
[0056] 无线通信网络160包括被配置来将无线麦克风110和其他装置与接收器140无线连接的任何一种或多种无线通信网络技术,包括但不限于无线以太网和蓝牙。在一个实施方案中,无线通信网络160可被配置成类似于星形网络,除允许多个接收器之外。在另一个实施方案中,由于接收器140确定诸如无线麦克风110的发射器位置而不是倒过来,无线通信网络160可被配置成类似于地域群播网络的倒转。随着更多的无线麦克风110与无线通信网络160建立连接,无线通信网络160的网格密度增加,从而导致在组合来自无线麦克风110的信号时改善信噪比(SNR)。在一些实施方案中,无线通信网络160可被配置来允许无线麦克风110彼此联网并且用作彼此的中继器。
[0057] 在一些实施方案中,可通过设置发动常数和释放常数来减少或消除突然的噪声(诸如掉落笔或将杯子响亮地放置在桌上)。例如,将发动时间设置到20ms将消除短于20ms的噪声,而许可长于20ms的响亮声音(诸如谈话)。
[0058] 尽管在特定实施方案的上下文中描述所公开的技术,但是各种修改和变化是可能的。在一个实施方案中,如果麦克风处于与感兴趣源相同的角度,但被定位相对远离感兴趣源,则接收器可能不能够正确地将麦克风时间对齐。在另一个实施方案中,被太远隔离地放置的麦克风110和120可能在较高频率下未适当地波束成形。然而,此类麦克风110和120可能仍被混合到最后输出中。在又另一个实施方案中,放置在收听者的口袋中的麦克风可由接收器140估计为太远离轴的。然而,此类麦克风仍可以是声学上良好的源。在又另一个实施方案中,可在所公开的系统中部署安全措施以便减少隐私侵犯的可能性,诸如针对具有不应连接到网络的无线麦克风的附近“旁观者”。在个人无线麦克风的情况下,硬物理开关可用于禁用到无线麦克风的电力,或禁用无线麦克风或使其静音,以便确保无线麦克风是非活动。在另一个实施方案中,无线麦克风110和/或有线麦克风120可被部署在不同于会议室的环境中。作为一个实例,无线麦克风110和/或有线麦克风120可被附接到电线杆、建筑物和其他基础设施,以使得麦克风110和120可彼此联网以及与行人所具有的无线麦克风110联网。当收听者沿路径行走、跑动或环绕时,来自各种麦克风110和120的麦克风信号可被动态加权以便聚焦收听者周围附近的拾取模式。
[0059] 音频处理系统的操作
[0060] 图2示出根据各种实施方案的图1的音频处理系统100的应用。如图所示,本地参与者210、220、230、240、250和260参与会议,并且音频处理系统280获得其语音信号,其中音频处理系统280是图1的音频处理系统100的实施方案。音频处理系统280接收并且处理麦克风信号以便传输到远程参与者(未明确示出)。音频处理系统280从各种源获得这些麦克风信号,包括但不限于,嵌入到音频处理系统280中的麦克风(未明确示出)、在与用户210相关联的手机215内的麦克风、在与用户260相关联的膝上计算机265内的麦克风、与用户250相关联的圆盘麦克风257以及附接到会议桌200的固定麦克风270和275。音频处理系统280包括接收天线(在图2中未明确示出)以便使音频转向并且确定感兴趣源,如本文进一步描述的。本地参与者210、220、230、240、250和260也倾听会议音频。
[0061] 如还示出的,参与者230和250每个分别具有音频处理系统235和255,其中音频处理系统235和255也是图1的音频处理系统100的实施方案。音频处理系统235和255为各自参与者230和250接收和处理麦克风信号。这些麦克风包括嵌入到音频处理系统235和255中的麦克风(未明确示出)、在与用户210相关联的手机215内的麦克风、在与用户260相关联的膝上计算机265内的麦克风、与用户250相关联的圆盘麦克风257以及附接到会议桌200的固定麦克风270和275。
[0062] 音频处理系统235和255每个包括在参与者230和250移动和转动其头部时检测位置和定向的多个接收天线(未明确示出)。音频处理系统235和255使用来自接收天线的数据以便使声音转向,并且分别为各自参与者230和250确定感兴趣源。接收天线数据增加或替代本文描述的感兴趣源确定。因为参与者230正看着参与者240,所以音频处理系统235确定参与者230的感兴趣源在参与者240的方向上,即使本文描述的其他技术确定感兴趣源在不同方向上。类似地,因为参与者250正看着参与者220,所以音频处理系统255确定参与者250的感兴趣源在参与者220的方向上,即使本文描述的其他技术确定感兴趣源在不同方向上。
[0063] 音频处理系统280、235和255中的每一个选择主麦克风,执行互相关,计算加权因数,以及混合麦克风信号以分别用于远程用户、用户230和用户250。音频处理系统235和255将混合麦克风信号传输到通常以头戴受话器或耳机的形式的一个或多个扬声器。音频处理系统280将混合麦克风信号传输到与对应的远程电话会议装置相关联的一个或多个远程扬声器。
[0064] 图3为根据各种实施方案的用于通过一个或多个麦克风的机会性使用来增强音频的方法步骤的流程图。尽管结合图1至图2的系统描述了方法步骤,但是本领域技术人员将理解的是,被配置来以任何顺序执行方法步骤的任何系统都在本公开的范围内。
[0065] 如图所示,方法300始于步骤302,其中与多个麦克风通信的与音频处理系统100相关联的接收器140选择麦克风作为主麦克风。所述麦克风可以是无线麦克风110,或可替代地是耦接到接收器140的有线麦克风120。接收器140通过本文所述的任何一种或多种方法来选择麦克风,所述方法包括但不限于,选择呈现最响信号的麦克风,选择具有与感兴趣源相关联的最早峰值的麦克风,在麦克风中执行互相关以便确定哪个麦克风具有感兴趣源的最高品质信号。
[0066] 在步骤304处,接收器140选择麦克风子组,其中所述麦克风子组中的每个麦克风已经接收对应主麦克风信号中存在的信号或与所述信号相关联的信号。在步骤306处,接收器140基于来自每个麦克风的信号相对于来自主麦克风的信号,计算麦克风子组中的每个麦克风的加权因数。在步骤308处,接收器140检测麦克风已经被添加到音频处理系统100。在步骤310处,接收器140基于一个或多个附加条件,调整麦克风子组中的一个或多个麦克风的加权因数。这些条件中的一个是可基于从已经添加到音频处理系统100的麦克风接收的信号来调整一个或多个麦克风的加权因数。如本文所讨论的,这些附加条件也包括但不限于:一麦克风的移动、来自麦克风的信号的响度、在每个麦克风与主麦克风之间的距离、由于无线麦克风的传输时间的等待时间量、多麦克风的移动和麦克风的灵敏度。
[0067] 在步骤312处,接收器140选择麦克风子组混合。在各种实施方案中,接收器140可选择所有麦克风混合,或在替代方式中,接收器140可选择其加权因数超过阈值的麦克风子组。在步骤314处,接收器140将所选择的麦克风组的麦克风信号时间对齐。在步骤316处,接收器140基于加权因数对所述时间对齐的麦克风信号执行混合。在步骤318处,接收器140将混合音频传输到一个或多个扬声器(诸如扬声器150)。在各种实施方案中,一个或多个扬声器可在与接收器140相同的房间中,或可远程定位在另一个建筑物、城市、州或国家中。音频处理系统100的接收器140以连续循环继续执行方法300的步骤。在这些实施方案中,在执行步骤318之后,方法300继续到步骤302,如以上所述。方法300的步骤继续以连续循环来执行,直到某些事件发生,诸如将接收器140或音频处理系统100断电。
[0068] 总而言之,所公开的技术使得一个或多个收听者能够听到通过自组织网络配置联网在一起的多个麦克风的动态混合。在其他收听者与包括一个或多个麦克风的无线装置一起到达时,这些附加麦克风被添加到网络配置。也就是,当此类麦克风变得可用的时,麦克风被机会性地添加到动态混合中。多个麦克风被分等级以便确定主麦克风。另外,多个麦克风是时间对齐的,以便加强一个或多个感兴趣源。麦克风的时间对齐和混合响应于变化声学条件动态地变化,所述变化声学条件包括但不限于:麦克风数量和位置的改变、感兴趣源位置的改变、从一个感兴趣源到另一个的改变以及收听者身体位置或头部定向的改变。来自多个麦克风的信号是相对于感兴趣源时间对齐的,以便减少声学相位干涉的可能性。
[0069] 本文所述方法的至少一个优点是相对于特定感兴趣源为收听者增强音频,因为较靠近所述感兴趣源放置的麦克风比较远离的麦克风对混合音频信号具有更强的影响。其结果是,减少诸如外来噪声的过度混响和放大的不良效应。收听者听到与感兴趣源相关联的相对较高品质的声音,而诸如噪声和侧面会话的其他声音被抑制。本文所述方法的另一个优点是由于检测到附加的无线麦克风并且将其添加到动态混合中,改善声音的性能和品质。从而在各种设置(诸如会议室)中以相对于先前方法更加稳健和灵活的方式为收听者增强音频。
[0070] 已经出于说明目的呈现了各种实施方案的描述内容,但是其并不意在是排他性的或者限于所公开的实施方案。在不背离所描述实施方案的范围和精神的情况下,许多修改和变化对于本领域普通技术人员来说将是明显的。
[0071] 本文实施方案的各方面可以体现为系统、方法或计算机程序产品。因此,本公开的各方面可以采用以下形式:完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或将软件与硬件方面组合的实施方案,所述实施方案在本文中一般都可以称为“电路”、“模块”或“系统”。此外,本公开的各方面可采用在一个或多个计算机可读介质上实施的计算机程序产品形式,所述计算机可读介质具有在该介质上实施的计算机可读程序代码。
[0072] 可以使用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是(例如)但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置或者前述介质的任何合适组合。计算机可读存储介质的更具体实例(并非详尽清单)将包括以下介质:具有一根或多根导线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁性存储装置或前述介质的任何合适组合。在本文件的上下文中,计算机可读存储介质可以是可包含或存储供指令执行系统、设备或装置使用或与其联用的程序的任何有形介质。
[0073] 上文中参照根据本公开实施方案的方法、设备(系统)和计算机程序产品的流程图图解和/或方框图来描述本公开的各方面。应了解,流程图图解和/或方框图的每一个方框以及流程图图解和/或方框图的方框组合可以通过计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器来产生一种机器,以使得通过计算机或其他可编程数据处理设备的处理器来执行的指令允许实现在流程图和/或方框图的一个或多个方框中指定的功能/操作。这类处理器可不限于通用处理器、专用处理器、特殊应用处理器或现场可编程。
[0074] 附图中的流程图和方框图示出根据本公开的各种实施方案的系统、方法和计算机程序产品的可能实现的架构、功能性和操作。在这方面,流程图或方框图中的每个方框可以表示代码模块、代码区段或代码的一部分,其包括用于实现所指定的逻辑功能的一个或多个可执行指令。也应注意到,在一些替代实现中,方框中提到的功能可以不按附图中提到的顺序出现。例如,连续展示的两个方框实际上可以实质上同时执行,或者这些方框有时可以按相反的顺序执行,这取决于所涉及的功能性。还将注意到,方框图和/或流程图的每个方框以及方框图和/或流程图中的方框组合可以由基于特殊用途硬件的系统或特殊用途硬件和计算机指令的组合实现,该基于特殊用途硬件的系统执行指定功能或动作。
[0075] 虽然上述内容是针对本公开的实施方案,但是可以在不背离其基本范围的情况下,设想出本公开的其他和另外实施方案,而且其范围由随附的权利要求书加以确定。