用于空间选择性音频增强的方法和设备

摘要

本发明描述多通道音频信号的空间选择性增强。

权利要求

1.一种处理包含第一音频输入通道和第二音频输入通道的多通道信号的方法，所述方法包括：对所述第一音频输入通道执行有源噪声消除操作以产生反噪声信号；

处理所述多通道信号以获得源分量，所述处理包含对所述多通道信号执行空间选择性处理操作以使所述源分量与背景分量分离；

处理所述获得的源分量以产生目标分量；以及

组合所述反噪声信号与基于所述目标分量的经增强信号以产生音频输出信号；

其中，处理所述获得的源分量包括通过放大经分离源分量来增加所述获得的源分量的可感知性，其中所述经分离源分量为从第一说话语言翻译至不同于所述第一说话语言的第二说话语言的语音内容。

2.根据权利要求1所述的处理多通道信号的方法，其中所述方法包括组合所述目标分量与所述经分离背景分量以产生所述经增强信号。

3.根据权利要求1所述的处理多通道信号的方法，其中所述空间选择性处理操作包含在源方向上应用波束以产生所述源分量。

4.根据权利要求1所述的处理多通道信号的方法，其中所述空间选择性处理操作包含在源方向上应用空波束以产生所述背景分量。

5.根据权利要求4所述的处理多通道信号的方法，其中所述空间选择性处理操作包含在噪声源的方向上应用第二空波束以产生所述背景分量。

6.根据权利要求1所述的处理多通道信号的方法，其中所述空间选择性处理操作是基于以下各项当中的至少一者：(A)所述第一与第二音频输入通道之间的相位差，和(B)所述第一与第二音频输入通道之间的增益差。

7.根据权利要求1所述的处理多通道信号的方法，其中所述处理所述获得的源分量进一步包括通过以下各项当中的至少一者来增加所述获得的源分量的所述可感知性：压缩所述经分离源分量的动态范围，去混响所述经分离源分量，以及更改所述经分离源分量的频谱。

8.根据权利要求1所述的处理多通道信号的方法，其中所述增加所述获得的源分量的可感知性包含改变所述语音内容的速度。

9.根据权利要求1所述的处理多通道信号的方法，其中所述增加所述获得的源分量的可感知性包含将所述目标分量产生为具有比所述经分离源分量大的数目的音调周期。

10.根据权利要求1所述的处理多通道信号的方法，其中所述方法包括驱动扬声器以产生基于所述音频输出信号的声信号，其中所述扬声器经安置以佩戴于用户的耳朵处且指向所述用户的耳道处，且其中所述有源噪声消除操作是基于由误差麦克风产生的信号，其中所述误差麦克风经安置以指向所述耳道处。

11.根据权利要求1所述的处理多通道信号的方法，其中所述对所述多通道信号执行空间选择性处理操作以使所述源分量与所述背景分量分离包含使除了用户外的人的话音与所述背景分量分离。

12.一种用于处理包含第一音频输入通道和第二音频输入通道的多通道信号的设备，所述设备包括：用于对所述第一音频输入通道执行有源噪声消除操作以产生反噪声信号的装置；

用于处理所述多通道信号以获得源分量的装置，所述用于处理的装置包含用于对所述多通道信号执行空间选择性处理操作以使所述源分量与背景分量分离的装置；

用于处理所述获得的源分量以产生目标分量的装置；以及

用于组合所述反噪声信号与基于所述目标分量的经增强信号以产生音频输出信号的装置；

其中，用于处理所述获得的源分量的装置包括用于通过放大经分离源分量来增加所述获得的源分量的可感知性的装置，其中所述经分离源分量为从第一说话语言翻译至不同于所述第一说话语言的第二说话语言的语音内容。

13.根据权利要求12所述的设备，其中所述设备包含用于组合所述目标分量与所述经分离背景分量以产生所述经增强信号的装置。

14.根据权利要求12所述的设备，其中所述空间选择性处理操作包含在源方向上应用波束以产生所述源分量。

15.根据权利要求12所述的设备，其中所述空间选择性处理操作包含在源方向上应用空波束以产生所述背景分量。

16.根据权利要求15所述的设备，其中所述空间选择性处理操作包含在噪声源的方向上应用第二空波束以产生所述背景分量。

17.根据权利要求12所述的设备，其中所述空间选择性处理操作是基于以下各项当中的至少一者：(A)所述第一与第二音频输入通道之间的相位差，和(B)所述第一与第二音频输入通道之间的增益差。

18.根据权利要求12所述的设备，其中所述用于处理所述获得的源分量的装置进一步包括用于通过以下各项当中的至少一者来增加所述获得的源分量的所述可感知性的装置：压缩所述经分离源分量的动态范围，去混响所述经分离源分量，以及更改所述经分离源分量的频谱。

19.根据权利要求12所述的设备，其中所述增加所述获得的源分量的可感知性包含改变所述语音内容的速度。

20.根据权利要求12所述的设备，其中所述增加所述获得的源分量的可感知性包含将所述目标分量产生为具有比所述经分离源分量大的数目的音调周期。

21.根据权利要求12所述的设备，其中所述设备包括用于驱动扬声器以产生基于所述音频输出信号的声信号的装置，其中所述扬声器经安置以佩戴于用户的耳朵处且指向所述用户的耳道处，且其中所述有源噪声消除操作是基于由误差麦克风产生的信号，其中所述误差麦克风经安置以指向所述耳道处。

22.根据权利要求12所述的设备，其中所述对所述多通道信号执行空间选择性处理操作以使所述源分量与所述背景分量分离包含使除了用户外的人的话音与所述背景分量分离。

23.一种用于处理包含第一音频输入通道和第二音频输入通道的多通道信号的设备，所述设备包括：有源噪声消除滤波器，其经配置以对所述第一音频输入通道执行有源噪声消除操作以产生反噪声信号；

增强现实处理模块，其经配置以处理所述多通道信号以获得源分量，所述模块包含：空间选择性滤波器，其经配置以对所述多通道信号执行空间选择性处理操作以使所述源分量与背景分量分离；以及增强模块，其经配置以(A)处理所述获得的源分量以产生目标分量，且(B)输出基于所述目标分量的经增强信号；以及音频输出级，其经配置以组合所述反噪声信号与所述经增强信号以产生音频输出信号；

其中，所述增强模块经配置以通过放大经分离源分量来增加所述获得的源分量的可感知性，其中所述经分离源分量为从第一说话语言翻译至不同于所述第一说话语言的第二说话语言的语音内容。

24.根据权利要求23所述的设备，其中所述增强模块经配置以组合所述目标分量与所述经分离背景分量以产生所述经增强信号。

25.根据权利要求23所述的设备，其中所述空间选择性处理操作包含在源方向上应用波束以产生所述源分量。

26.根据权利要求23所述的设备，其中所述空间选择性处理操作包含在源方向上应用空波束以产生所述背景分量。

27.根据权利要求26所述的设备，其中所述空间选择性处理操作包含在噪声源的方向上应用第二空波束以产生所述背景分量。

28.根据权利要求23所述的设备，其中所述空间选择性处理操作是基于以下各项当中的至少一者：(A)所述第一与第二音频输入通道之间的相位差，和(B)所述第一与第二音频输入通道之间的增益差。

29.根据权利要求23所述的设备，其中所述增强模块进一步经配置以通过以下各项当中的至少一者来增加所述获得的源分量的所述可感知性：压缩所述经分离源分量的动态范围，去混响所述经分离源分量，以及更改所述经分离源分量的频谱。

30.根据权利要求23所述的设备，其中所述增加所述获得的源分量的可感知性包含改变所述语音内容的速度。

31.根据权利要求23所述的设备，其中所述增加所述获得的源分量的可感知性包含将所述目标分量产生为具有比所述经分离源分量大的数目的音调周期。

32.根据权利要求23所述的设备，其中所述音频输出级经配置以驱动扬声器以产生基于所述音频输出信号的声信号，其中所述扬声器经安置以佩戴于用户的耳朵处且指向所述用户的耳道处，且其中所述有源噪声消除操作是基于由误差麦克风产生的信号，其中所述误差麦克风经安置以指向所述耳道处。

33.根据权利要求23所述的设备，其中所述对所述多通道信号执行空间选择性处理操作以使所述源分量与所述背景分量分离包含使除了用户外的人的话音与所述背景分量分离。

说明书

用于空间选择性音频增强的方法和设备

[0001] 依据35U.S.C.§119主张优先权

[0002] 本专利申请案主张2011年2月23日申请且转让给本受让人的题目为“使用ANC头戴式耳机的音频增强现实(AUDIO AUGMENTED REALITY USING ANC HEADSET)”的第61/445,974号临时申请案的优先权。

技术领域

[0003] 本发明涉及音频信号处理。

背景技术

[0004] 术语“增强现实(或AR)”指代通过计算机产生的感测输入对所感知环境的增强。相比之下，术语“虚拟现实”指代用模拟环形代替真实环境。

[0005] 虚拟现实增强已得到广泛证明。在视频应用中，通过简单地应用经增强元素作为不透明覆层来覆盖原始元素，用对应经增强元素代替环境的原始元素是相对容易的。虚拟增强现实的一个实例是黄色的计算机产生的“第一次进攻”线，其现在是足球游戏广播的共同特征。

发明内容

[0006] 根据一般配置的处理多通道信号的方法包含对多通道信号的第一音频输入通道执行有源噪声消除操作以产生反噪声信号。此方法还包含处理所述多通道信号以获得源分量，其中所述处理包含对所述多通道信号执行空间选择性处理操作以使所述源分量与背景分量分离。此方法还包含处理获得的源分量以产生目标分量，以及组合所述反噪声信号与基于所述目标分量的经增强信号以产生音频输出信号。还揭示了具有有形特征的计算机可读存储媒体(例如，非暂时性媒体)，所述有形特征致使读取所述特征的机器执行此方法。

[0007] 根据一般配置的用于处理多通道信号的设备包含用于对多通道信号的第一音频输入通道执行有源噪声消除操作以产生反噪声信号的装置。此设备还包含用于处理所述多 通道信号以获得源分量的装置，其中所述处理包含对所述多通道信号执行空间选择性处理操作以使所述源分量与背景分量分离。此设备还包含用于处理获得的源分量以产生目标分量的装置，以及用于组合所述反噪声信号与基于所述目标分量的经增强信号以产生音频输出信号的装置。

[0008] 根据另一一般配置的用于处理多通道信号的设备包含有源噪声消除滤波器，其经配置以对多通道信号的第一音频输入通道执行有源噪声消除操作以产生反噪声信号。此设备还包含增强现实处理模块，其经配置以处理多通道信号以获得源分量。所述增强现实处理模块包含空间选择性滤波器，其经配置以对多通道信号执行空间选择性处理操作以使源分量与背景分量分离，且包含增强模块，其经配置以(A)处理获得的源分量以产生目标分量，和(B)输出基于目标分量的经增强信号。此设备还包含音频输出级，其经配置以组合所述反噪声信号与所述经增强信号以产生音频输出信号。

附图说明

[0009] 图1A展示根据一般配置的方法M100的流程图。

[0010] 图1B展示佩戴于用户的右耳上的头戴式耳机HS10的使用的俯视图。

[0011] 图2A到2D展示无线头戴式耳机HS10的各种视图。

[0012] 图3A到3D展示多麦克风便携式音频感测装置HS20的各种视图。

[0013] 图4A到5C分别展示耳杯的右侧实施方案ECR10、ECR20、ECR30、ECR40、ECR50和ECR60的水平横截面。

[0014] 图6A和6B分别展示一对头戴受话器的典型使用情况的俯视图和前视图。

[0015] 图7A展示根据一般配置的设备A100的框图。

[0016] 图7B展示在头部安装式ANC装置与处理装置PD10之间设备A100的元件划分的一个实例。

[0017] 图8A展示包含音频预处理级AP10的布置的框图。

[0018] 图8B和8C展示包含音频预处理级AP10的实施方案AP20的布置的框图。

[0019] 图9A展示耳塞式耳机EB10的左侧实例。

[0020] 图9B展示设备A100的实施方案A200的框图。

[0021] 图10A展示耳塞式耳机EB20的左侧实例的侧视图。

[0022] 图10B展示耳塞式耳机EB30的实例的前视图。

[0023] 图10C展示载运麦克风ML10和MR10的耳塞式耳机的使用情况。

[0024] 图11展示设备A200的实施方案A210的框图。

[0025] 图12A到12E展示如本文描述的可用以载运麦克风和/或扬声器的装置的额外实例。

[0026] 图13A展示模块AR10的实施方案AR20的框图。

[0027] 图13B展示增强模块AM10的实施方案AM20的框图。

[0028] 图13C展示SSP模块SM10的实施方案SM20的框图。

[0029] 图14A展示选择三个空间扇区当中的所要一者的实例。

[0030] 图14B展示选择五个空间扇区当中的所要一者的实例。

[0031] 图14C展示设备A210的实施方案A200的框图。

[0032] 图15展示多个可选择空间扇区的实例的俯视图。

[0033] 图16A和16B展示其中所提出方案用以支持“仿生耳”应用的实例。

[0034] 图17A展示耳朵裸露的用户A的所感知声音增益的空间模式的实例。

[0035] 图17B展示用户A的所感知声音增益的空间模式的实例。

[0036] 图18A展示经分离源分量的所感知音频增益的空间模式的实例。

[0037] 图18B展示目标分量的所感知音频增益的空间模式的实例。

[0038] 图19展示用户A的所感知声音增益的空间模式的实例。

[0039] 图20A和20B展示其中所提出方案用以支持现场语音的翻译的实例。

[0040] 图21到24展示声音增益的空间模式的实例。

[0041] 图25A展示增强现实处理模块AR10的实施方案AR30的框图。

[0042] 图25B展示增强模块AM20和AM30的实施方案AM40的框图。

[0043] 图26A展示增强模块AR20的实施方案AR100的框图。

[0044] 图26B展示根据一般配置的设备MF100的框图。

[0045] 图27A展示一般ANC系统的框图。

[0046] 图27B和27C分别展示头戴式耳机HS10和HS20的实施方案HS15和HS25的实例。

[0047] 图28A到28C分别展示耳塞式耳机EB30以及耳杯ECR20和ECR20的实施方案EB32、ECR15和ECR25。

具体实施方式

[0048] 尚未追求音频现实增强是因为难以有效地控制音频环境。举例来说，无法用类似于视频元素的简单覆层来移除传入的声音元素，且难以选择性地传递和阻挡自然声音到达用户的耳朵。

[0049] 可使用常规助听器来加强用户听见环境声音的能力。虽然助听器可放大环境声音，然而，其并不阻挡环境声音，使得此装置并不提供用于增强音频现实的有效控制。虽然 已使用无源头戴式耳机来阻挡环境声音，但其阻挡能力有限。

[0050] 在收听预先记录的媒体或远程通信时可使用有源噪声消除(ANC)头戴式耳机来消除环境声音。本文描述的系统、方法和设备可与多麦克风(例如，立体声音响)有源噪声消除(ANC)头戴式耳机一起使用以提供环境声音的选择性控制和增强。揭示了音频增强现实的各种使用情况及其通过ANC头戴式耳机和移动装置的有效实施。

[0051] 除非通过上下文明确限制，否则本文使用术语“信号”来指示其任何普通意义，包含在电线、总线或其它传输媒体上表达的存储器位置(或存储器位置集合)的状态。除非通过上下文明确限制，否则本文使用术语“产生”来指示其任何普通意义，例如计算或以其它方式制作。除非通过上下文明确限制，否则本文使用术语“计算”来指示其任何普通意义，例如计算、评估、估计和/或从多个值进行选择。除非通过上下文明确限制，否则使用术语“获得”来指示其任何普通意义，例如计算、导出、接收(例如，从外部装置)和/或检索(例如，从存储元件阵列)。除非通过上下文明确限制，否则使用术语“选择”来指示其任何普通意义，例如识别、指示、应用和/或使用两者或两者以上的集合中的至少一者且少于全部。

[0052] 当在本描述和权利要求书中使用术语“包括”的情况下，其并不排除其它元件或操作。术语“基于”(如“A基于B”中)用以指示其任何普通意义，包含以下情况：(i)“从...导出”(例如，“B是A的前体”)，(ii)“至少基于”(例如，“A至少基于B”)，且在特定上下文中适当的情况下，(iii)“等于”(例如，“A等于B”)。类似地，术语“响应于”用以指示其任何普通意义，包含“至少响应于”。

[0053] 对多麦克风音频感测装置的麦克风的“位置”的参考指示所述麦克风的声学敏感面的中心的位置，除非上下文另外指示。根据特定上下文，有时使用术语“通道”来指示信号路径且在其它时用以指示由此路径载运的信号。除非另外指示，否则使用术语“串联”来指示两个或两个以上项目的序列。术语“对数”用以指示以10为基的对数，但此运算向其它基的扩展在本发明的范围内。术语“频率分量”用以指示信号的一组频率或频带当中的一者，例如信号的频域表示的样本(例如，如快速傅立叶变换所产生)或信号的子带(例如，巴克(Bark)尺度或梅尔(mel)尺度子带)。

[0054] 除非另外指示，否则具有特定特征的设备的操作的任何揭示也明确地既定揭示具有类似特征的方法(且反之亦然)，且根据特定配置的设备的操作的任何揭示也明确地既定揭示根据类似配置的方法(且反之亦然)。术语“配置”可参考如其特定上下文所指示的方法、设备和/或系统来使用。术语“方法”、“过程”、“程序”和“技术”一般地且可互换地使用，除非特定上下文另外指示。术语“设备”和“装置”也一般地且可互换地使 用，除非特定上下文另外指示。术语“元件”和“模块”通常用以指示较大配置的一部分。除非通过上下文明确限制，否则本文使用术语“系统”来指示其任何普通意义，包含“进行交互以服务于共同目的的元件群组”。通过参考文献的一部分的任何并入也应理解为在其中此些定义出现在所述文献中的其它地方将所述部分内参考的术语或变量的定义并入，以及将所并入部分中参考的任何图式并入。

[0055] 可假定，在所发射声场的近场和远场区中，波前分别是球形的和平面的。近场可界定为距声音接收器(例如，麦克风阵列)小于一个波长的空间区。在此定义下，到所述区的边界的距离与频率成反比变化。在例如两百、七百和两千赫兹的频率下，到单波长边界的距离分别是约170、49和17厘米。改为考虑近场/远场边界处于距麦克风阵列的特定距离处(例如，距阵列的麦克风或距阵列的质心50厘米，或者距阵列的麦克风或距阵列的质心1米或1.5米)可为有用的。

[0056] 有源噪声消除(ANC，也称为有源噪声减少)是通过产生作为噪声波的相反形式(例如，具有相同电平和反转的相位)的波形来有效地减少空中的声学噪声的技术，所述波形也称为“反相”或“反噪声”波形。ANC系统通常使用一个或一个以上麦克风来拾取外部噪声参考信号，从噪声参考信号产生反噪声波形，且通过一个或一个以上扬声器再生反噪声波形。此反噪声波形与原始噪声波相消地干涉而减少到达用户的耳朵的噪声的电平。

[0057] ANC头戴式耳机可如本文描述用作有效机制来控制环境声音向用户耳朵中的传递且改善用户的环境收听能力。所提出方案中的ANC头戴式耳机的使用可提供与常规增强现实技术可实现的情况相比更有效的用虚拟音频对真实音频信号的代替。

[0058] ANC头戴式耳机通常包含靠近用户耳朵定位以俘获环境声音的一个或一个以上参考麦克风。此一或多个麦克风还有利地经定位以用于俘获用于增强现实应用的音频信号，且可用以提供对环境声音的选择性俘获和处理以用于基于空间分集的选择性信号处理和增强。

[0059] 图1A展示根据一般配置的处理多通道信号的方法M100的流程图，所述方法包含任务T100、T200、T300和T400。任务T100对多通道信号的第一音频输入通道执行ANC操作以产生反噪声信号。任务T200处理包含第一音频输入通道和第二音频输入通道的多通道信号以获得多通道信号的源分量。任务T200包含对多通道信号执行空间选择性处理(SSP)操作以使源分量与多通道信号的背景分量分离。任务T300处理所获得的源分量以产生目标分量。任务T300通常包含增加所获得的源分量的可感知性。任务T400组合反噪声信号与基于目标分量的经增强信号以产生音频输出信号。

[0060] 听筒或具有两个或两个以上麦克风的其它头戴式耳机是一种便携式音频感测装置(例如，通信装置)，其可经配置以执行方法M100的实施方案。此头戴式耳机可为有线或无线的。举例来说，无线头戴式耳机可经配置以支持经由与例如蜂窝式电话手持机等电话装置的通信(例如，使用如华盛顿州贝尔维尤市的蓝牙特殊兴趣组公司发布的BluetoothTM协议的版本)的半双工或全双工电话。

[0061] 图2A到2D展示可经配置以执行方法M100的实施方案的无线头戴式耳机HS10的各种视图。头戴式耳机HS10包含载运双麦克风阵列的外壳Z10和从外壳延伸的听筒Z20。大体上，头戴式耳机的外壳可如图2A、2B和2D中所示为矩形或另外细长的(例如，形状类似于微型话筒吊杆)，或可较为圆化或甚至为圆形的。外壳也可封闭电池和处理器和/或其它处理电路(例如，印刷电路板和安装于其上的组件)且可包含电端口(例如，微型通用串行总线(USB)或用于电池充电的其它端口)和用户接口特征，例如一个或一个以上按钮开关和/或LED。通常，外壳沿着其主轴的长度在从1到3英寸的范围内。

[0062] 在方法M100的此实施方案中，第一音频输入通道是基于由头戴式耳机的主要麦克风产生的信号，且第一音频输入通道是基于由头戴式耳机的次要麦克风产生的信号。通常，每一麦克风安装于头戴式耳机内位于外壳中用作声端口的一个或一个以上小孔后方。图2B到2D展示用于装置HS10的主要麦克风的声端口Z50和用于装置HS10的次要麦克风的声端口Z40的位置。听筒Z20将来自产生基于音频输入信号的声信号的头戴式耳机的扬声器的声音引导到用户的耳道中。

[0063] 头戴式耳机还可包含紧固装置，例如耳钩Z30，其通常可从头戴式耳机拆卸。外部耳钩可为例如可逆的以允许用户配置头戴式耳机以在任一耳朵上使用。或者，头戴式耳机的听筒可经设计为内部紧固装置(例如，耳塞)，其可包含可装卸式听筒以允许不同用户使用不同大小(例如，直径)的听筒以更好地配合到特定用户的耳道的外部部分。图1B展示佩戴于用户的右耳上的头戴式耳机HS10的使用的俯视图。

[0064] 图3A到3D展示作为可经配置以执行方法M100的实施方案的无线头戴式耳机的另一实例的多麦克风便携式音频感测装置HS20的各种视图。装置HS20包含经圆化的椭圆形外壳Z12和可经配置为耳塞的听筒Z22。图3A到3D还展示用于主要麦克风的声端口Z52和用于装置HS20的次要麦克风的声端口Z42的位置。可能主要麦克风端口Z52可被至少部分地遮挡(例如，由用户接口按钮)。

[0065] 具有两个或两个以上麦克风的耳杯或各自具有至少一个麦克风的一对耳杯(通常通过将佩戴于用户头部上的带子而接合)是可经配置以执行方法M100的实施方案的另一种便携式通信装置。图4A到5C分别展示此些耳杯(也称为头戴受话器)的右侧实施方案 ECR10、ECR20、ECR30、ECR40、ECR50和ECR60的水平横截面，此些耳杯包含经布置以基于到用户耳朵的音频输出信号而产生声信号的扬声器RLS10。此些耳杯可经配置为贴耳式(即，在使用期间搁置于用户的耳朵上而不包围耳朵)或罩耳式(即，在使用期间包围用户的耳朵)。这些实例还包含一个或一个以上麦克风MR10、MR20、MR30，其经布置以经由耳杯外壳中的声端口接收环境声信号且产生对应输入音频信号所基于的信号。可能希望使麦克风隔离以免通过耳杯的结构从扬声器RLS10接收到机械振动。

[0066] 将了解，本文描述的各种右侧耳杯的左侧实例是类似地配置的。图6A和6B分别展示一对头戴受话器的典型使用情况的俯视图和前视图。此实例包含耳杯ECR40的实施方案ECR42、对应左侧耳杯ECL42，以及接合两个耳杯的带子BD10。

[0067] 图7A展示根据一般配置的设备A100的框图，所述设备包含ANC滤波器AF10、增强现实(AR)处理模块AR10和音频输出级AO10。设备A100可用以执行方法M100的实施方案。举例来说，ANC滤波器AF10可用以执行任务T100，AR处理模块AR10可用以执行任务T200和T300，且音频输出级AO10可用以执行任务T400。

[0068] 在如本文描述的多麦克风音频感测装置的操作期间，两个或两个以上麦克风的阵列产生多通道信号，其中每一通道是基于麦克风中的对应一者对声环境的响应。一个麦克风可比另一麦克风更直接地接收特定声音，使得对应通道彼此不同以共同地提供与使用单一麦克风可俘获的情况相比对声环境的更完整表示。

[0069] 音频感测装置可能需要对由麦克风产生的信号执行一个或一个以上处理操作以产生对应的多通道信号。举例来说，此装置可包含如图8A中所示的布置，其包含音频预处理级AP10。音频预处理级AP10经配置以对由麦克风产生的信号执行一个或一个以上此操作，其可包含(不限于)阻抗匹配、模/数转换、增益控制和/或模拟和/或数字域中的滤波，以产生多通道信号MCS10，使得每一通道SI10和SI20是基于对应麦克风对声信号的响应。

[0070] 图8B展示此布置的框图，其包含包括模拟预处理级P10a和P10b的音频预处理级AP10的实施方案AP20。在一个实例中，级P10a和P10b各自经配置以对来自麦克风MR10和MR20的对应信号执行高通滤波操作(例如，以50、100或200Hz的截止频率)。

[0071] 预处理级可能需要产生对应多通道信号作为数字信号，即作为样本序列。举例来说，音频预处理级AP20包含模/数转换器(ADC)C10a和C10b，其各自经布置以对对应模拟通道进行取样。用于声学应用的典型取样速率包含8kHz、12kHz、16kHz和在从约8到约16kHz的范围内的其它频率，但也可使用高达约32、44.1、48或192kHz的取样速率。在此特定实例中，音频预处理级AP20还包含数字预处理级P20a和P20b，其各 自经配置以对对应经数字化通道执行一个或一个以上预处理操作(例如，回波消除、噪声减少和/或频谱成形)以产生多通道信号MCS10的对应通道SI10、SI20。图8C展示其中音频预处理级AP20经布置以基于由对应麦克风ML10和MR10产生的信号而产生音频输入通道SI10和SI20的实例。

[0072] 对于其中ANC装置足够大(例如，头戴受话器)的情况，设备A100可实施于装置内。在其它情况下，可能需要在头部安装式ANC装置内实施设备A100的一些元件，且在便携式处理装置PD10内实施设备A100的其它元件。此处理装置的实例包含(不限于)蜂窝式电话手持机、智能电话或其它移动通信装置，个人数字助理(PDA)或其它手持式计算装置，和笔记型计算机、膝上型计算机、上网本计算机、平板计算机或其它便携式计算装置。图7B展示在头部安装式ANC装置(例如，如本文描述的头戴式耳机、耳杯或耳塞式耳机)与处理装置PD10之间设备A100的此种元件划分的一个实例。在此实例中，设备A100的部分A102A(即，ANC滤波器AF10和音频输出级AO10)实施于ANC装置内，且设备A100的部分A102B(即，AR处理模块AR10)实施于PD10内。在设备A100的这种和其它实施方案中，AR处理模块AR10通常实施于数字域中，而ANC滤波器AF10可经实施以在模拟域或数字域中执行ANC滤波，且同样，音频输出级AO10可经实施以在模拟域或数字域中组合信号SG10与SA10以产生输出信号SO10。

[0073] 便携式处理装置PD10与ANC装置之间通道SI10和SI20以及信号SG10的通信可在有线和/或无线发射通道上发生。可用以支持此通信链路的无线方法的实例包含用于短程通信(例如，从几英寸到几英尺)的低功率无线电规范，例如蓝牙(例如，头戴式耳机或如蓝牙核心规范版本4.0中描述的其它简档[包含经典蓝牙、蓝牙高速以及蓝牙低能量协议1，华盛顿州科克兰市蓝牙SIG公司)、Peanut(加利福尼亚州圣迭戈市高通公司)和ZigBee(例如，如ZigBee2007规范和/或ZigBee RF4CE规范中描述，ZigBee联盟，加利福尼亚州圣雷蒙市)。在此些装置之间可使用的其它无线发射通道包含例如红外和超声等非无线电通道。

[0074] 在另一实例中，麦克风和扬声器实施于一个或一个以上耳塞式耳机内。图9A展示耳塞式耳机EB10的左侧实例，其包含处于有绳实施方案中的扬声器LLS10以及麦克风ML10和ML20。在此实例中，麦克风ML20安装于绳CD10的半刚性线缆部分CB10上，位于距麦克风ML10约3到4厘米的距离处。半刚性线缆CB10可经配置为柔性的且轻重量的，还足够坚硬以在使用期间保持麦克风ML20定向于相对恒定的方向上(例如，相对于麦克风ML10)。图10A展示另一耳塞式耳机EB20的左侧实例的侧视图，其中麦克风ML20安装于耳塞式耳机处的绳CD20的应变释放部分内，使得在使用期间麦克风 ML20定向于相对恒定的前向方向上(例如，相对于麦克风ML10)。

[0075] 在另一实例中，麦克风ML10和MR10实施于一对耳塞式耳机中的相应者内。图10B展示耳塞式耳机EB30的实例的前视图，其含有左扬声器LLS10和左麦克风ML10。在使用期间，耳塞式耳机EB30佩戴于用户的左耳处以将由左扬声器LLS10产生的声信号(例如，从经由绳CD30接收的音频输出信号SO10的实例)引导到用户的耳道中。可能希望将声信号引导到用户的耳道中的耳塞式耳机(例如，EB10、EB20、EB30)的一部分由例如弹性体(例如，硅酮橡胶)等弹性材料制成或由弹性材料覆盖，使得其可舒适地佩戴以与用户的耳道形成密封。

[0076] 对于其中增强现实应用将信号传递到用户的耳朵的情况，ANC头戴式耳机也可递送最高保真度声音(例如，在双耳线索方面)。图9B展示设备A100的实施方案A200的框图，其包含第二ANC滤波器AF20和第二音频输出级AO20。ANC滤波器AF10的第二实例AF20经配置以产生基于第二音频输入通道SI20的第二反噪声信号SA20，且音频输出级AO10的第二实例AO20经配置以将经增强信号SG10与反噪声信号SA20组合以产生第二音频输出信号SO20。

[0077] 包含设备A200的装置通常经配置以包含分别佩戴于用户的一只耳朵处(例如，如本文描述的头戴式耳机、耳杯或耳塞式耳机内)以提供第一音频输入信号SI10且由音频输出信号SO10驱动的麦克风和扬声器，以及分别佩戴于用户的另一只耳朵处(例如，如本文描述的另一头戴式耳机、耳杯或耳塞式耳机内)以提供第二音频输入信号SI20且由音频输出信号SO20驱动的另一麦克风和扬声器。举例来说，设备A200可实施于如本文描述的一对头戴式耳机、耳杯(例如，头戴受话器)或耳塞式耳机中的一者或两者内和／或便携式处理装置PD10的实例内。对于其中设备A200以一对无线头戴式耳机实施的情况，此些头戴式耳机可经配置以使用本文描述的无线通道中的任一者与装置PD10和／或彼此传送相应的音频输入和输出信号。

[0078] 设备A100经实施以从至少两个麦克风接收音频输入信号，但如果使用两个以上麦克风则可预期更好的性能(例如，增加的方向选择性)。图11展示设备A200的实施方案A210的框图，其包含AR处理模块AR10的实施方案AR12。在此实例中，模块AR12经配置以对音频输入通道SI10、SI20和SI30执行空间选择性处理操作以使源分量与背景分量分离。音频输入通道SI30可基于由参考头部安装式麦克风安置的各种实例如本文描述的额外麦克风ML20、MR20或MC10产生的信号。将了解，AR处理模块AR10可以此方式类似地扩展以处理4个、5个或任意大数目的音频输入通道。

[0079] 图10C展示其中载运麦克风ML10、MR10和对应左扬声器和右扬声器(未图示)的耳 塞式耳机经实施以经由绳CD40将音频输入信号SI10、SI20、SI30传送到便携式处理装置PD10作为便携式媒体播放器PD20的实施方案和从所述实施方案传送音频输出信号SO10、SO20的使用情况。在此情况下，第三音频输入信号SI30是基于由绳安装式麦克风ML20产生的信号。

[0080] 图12A到12E展示如本文描述的可用以载运麦克风和／或扬声器的装置的额外实例。图12A展示眼镜(例如，处方眼镜、太阳镜或安全眼镜)，其将双耳对ML10、MR10的每一麦克风安装于边撑(temp1e)上且将另一麦克风MR20安装于边撑或对应端片上。图12B展示头盔，其中麦克风MC10安装于用户面部(例如，用户的嘴巴处)的前方且双耳对ML10、MR10的每一麦克风安装于用户头部的对应侧处。图12C到12E展示护目镜(例如，滑雪护目镜)的实例，其中双耳对ML10、MR10的每一麦克风安装于用户头部的对应侧处，其中这些实例中的每一者展示额外麦克风MC10的不同对应位置。用于与本文描述的设备A1()()的实施方案一起使用的麦克风的安置的额外实例包含但不限于以下情况：鸭舌帽或圆帽的帽檐或边缘、翻领、胸袋或肩部。

[0081] 有源噪声消除滤波器AF10经配置以接收第一输入音频通道SI10且执行有源噪声消除操作以产生对应反噪声信号SA10。通常希望配置ANC滤波器AF10以产生反噪声信号SA10以在振幅上与声噪声匹配且在相位上与声噪声相反。滤波器AF10还可执行信号处理操作(例如，时间延迟匹配或最小化、增益放大和／或频率响应均衡)以实现最佳噪声消除。可能希望配置ANC滤波器AF10以对信号进行高通滤波(例如，衰减高振幅、低频率声信号)。另外或替代地，可能希望配置ANC滤波器AF10以对信号进行低通滤波(例如，使得ANC影响在高频下随着频率减小)。因为到声噪声从麦克风行进到扬声器时反噪声信号SA10应当是可用的，所以由ANC滤波器AF10引起的处理延迟不会超过极短时间(通常约30到60微秒)。

[0082] 滤波器AF10可经配置以在模拟域和／或数字域中以及在时间域和／或变换域(例如，傅立叶变换或其它频域)中执行ANC操作。ANC滤波器AF10可执行以产生反噪声信号SA10的ANC操作的实例包含相位反转滤波操作、最小均方(LMS)滤波操作(例如，滤波参考(“滤波x”)LMS，如第2006／0069566号美国专利申请公开案(Nadiar等人)和别处所描述)以及数字虚拟地球算法(例如，如第5，105,377号美国专利(Ziegler)中描述)。ANC滤波器AF10可执行的LMS滤波操作的其它实例包含滤波误差(“滤波E”)LMS、滤波U LMS以及其它变型(例如，子带LMS、步长大小正规化LMS等)。

[0083] 为了获得数字域中的极低等待时间(例如，大约10微秒)，可能希望实施ANC滤波器AF10以在脉冲密度调制(PDM)域中执行ANC滤波，且使用在脉冲码调制(PCM)域中 执行的算法来调适此PDM滤波器的系数。在此情况下，PDM域具有低分辨率(例如，1、2或4个位的位宽度)和极高的取样速率(例如，大约100kHz、1MHz或甚至10MHz)，且PCM域具有较高分辨率(例如，8、10、12或16个位或更多的位宽度)和较低时钟速率(例如，大约1或10kHz，例如8、12、16、32、44.1或48kHz)。PDM滤波可通过数字硬件执行，例如现场可编程门阵列(FPGA)、专用集成电路(ASIC)或专用标准产品(ASSP)。PCM调适可使用PCM域中的自适应ANC算法的实施方案来执行，所述算法使用软件(例如，供例如DSP等处理器执行的指令)。ANC滤波器AF10的此实施方案的实例在例如2011年1月13日公开的题目为“用于自适应有源噪声消除的系统、方法、设备和计算机可读媒体(SYSTEMS，METHODS，APPARATUS，AND COMPUTER-READABLE MEDIA FOR ADAPTIVE ACTIVE NOISE CANCELLATION)”的第2011／0007907号美国专利申请公开案中描述。(应注意，ANC滤波器AF20可类似地实施为如本文描述的ANC滤波器AF10的第二实例。)

[0084] 增强现实处理模块AR10经配置以处理包含第一音频输入通道SI10和第二音频输入通道SI10的多通道信号且产生经增强信号SG10。图13A展示模块AR10的实施方案AR20的框图，其包含空间选择性处理(SSP)模块SM10和增强模块AM10。

[0085] 空间选择性处理(SSP)模块SM10经配置以包含SSP滤波器，其经配置以对多通道信号执行SSP操作以使多通道信号的源分量SC10与背景分量分离。此SSP操作可基于例如音频输入通道之间的相位差和／或增益差。来自例如麦克风阵列的轴线附近的附近源的声音可基于增益差而区别于背景分量(例如，来自远处源的声音和漫射声音)。在一个实例中，SSP滤波器经实施以基于接近度而分离源分量，使得在通道之间具有满足(或者超过)阈值的增益差的帧与其它帧分离。在此情况下，每一通道的帧的增益可在时域中计算为每样本的总能量(例如，平方样本和)或平均能量，或者在频域中基于例如平方量值和。

[0086] 通道之间的增益差也可用以使从所需方向范围(即，相对于麦克风阵列的轴线)到达的信号与背景分量(例如，从其它方向到达的声音)分离。图14A展示其中SSP滤波器使用多通道信号的帧n的增益差GD[n]与增益差阈值TL之间的关系的状态来使从三个空间扇区(即，端射扇区1、边射扇区2和端射扇区3)中的所需一者到达的信号与其它信号分离的实例。图14B展示其中SSP滤波器使用增益差GD[n]与第一增益差阈值TL1之间的关系的状态以及增益差GD[n]与第二增益差阈值TL2之间的关系的状态来选择从5个空间扇区中的所需一者到达的信号的实例。图15展示包含无线头戴式耳机HS10和单麦克风头戴式耳机HS30的实施方案中的多个可选择空间扇区的另一实例的俯视图。

[0087] 通道之间的相位差也可用以使从所需方向范围到达的信号与背景分量(例如，从其它方向到达的声音)分离。在此情况下，可能希望配置SSP滤波器以通过仅传递在多通道信号中的相位差指示处于所需范围内的到达方向的那些频率区间，而从音频输入通道中的一者或一者以上产生空间分离源分量。

[0088] 多通道信号的“方向相干性”界定为信号的各种频率分量从同一方向到达的程度。对于理想上方向相干的通道对，相位差与频率的比率值对于所有频率均等于常数k，其中k的值与到达方向θ和到达时间延迟τ相关。在另一实例中，SSP滤波器经配置以传递在所需方向范围内充分方向相干的帧。

[0089] SSP模块SM10内的SSP滤波器可执行的方向选择性SSP操作的其它实例包含波束成形和盲源分离(BSS)。可用以产生一个或一个以上滤波器以选择对应方向上的分量的波束成形方法的实例包含一般化旁瓣消除(GSC)、最小方差无失真响应(MVDR)和线性约束最小方差(LCMV)波束成形器。BSS方法的实例包含独立分量分析(ICA)和独立向量分析(IVA)，其通过朝向干扰点源导向空波束而操作。

[0090] SSP滤波器可经配置以在固定方向上应用空间选择性处理操作(例如，以使从用户的前向方向到达的信号与包含从其它方向到达的信号的背景分量分离)。或者，所需到达方向可由用户经由例如装置PD10的用户接口(例如，触摸屏显示器)来选择或以其它方式指示。在此情况下，可能希望装置的头部安装式部分包含一个或一个以上磁力计、陀螺仪和／或加速度计，其经配置以跟踪用户头部的旋转，使得SSP滤波器可经实施以适于在用户的头部旋转时维持选定方向(相对于固定外部参考，例如地球的重力和／或磁场)。此调适可包含例如通过选择不同增益差阈值关系、选择相位差与频率的不同比率或选择定向于不同对应方向中的一组波束成形滤波器中的不同一者，来选择不同空间扇区。

[0091] 除了由SSP滤波器执行的空间域中的源分量的分离，还可能希望实施SSP模块SM10以同样在一个或一个以上其它域中分离源分量。图13C展示SSP模块SM10的实施方案SM20的框图，其包含如本文描述的SSP滤波器SF10和域选择性滤波器DF10。滤波器DF10经配置以处理由SSP滤波器SF10产生的空间分离源分量，以便在一个或一个以上额外域中使其分离。在一个实例中，滤波器DF10经实施以对空间分离源分量执行话音活动检测(VAD)操作以使语音活动帧与语音非活动帧分离(例如，在时域中)。

[0092] 此VAD操作可基于一个或一个以上因数，例如帧能量、信噪比、周期性、语音和／或残余(例如，线性预测译码残余)的自相关、零交叉率和／或第一反射系数。此分类可包含将此因数的值或量值与阈值进行比较和／或将此因数的变化的量值与阈值进行比较。替代地或另外，此分类可包含将一个频带中的此因数(例如能量)的值或量值或者此因数的 变化的量值与另一频带中的相似值进行比较。可能希望实施滤波器DF10以基于多个准则(例如，能量、零交叉率等)和／或最近VAD决策的存储器而执行话音活动检测。滤波器DF10可执行的话音活动检测操作的一个实例包含将空间分离源分量的高频带和低频带能量与相应阈值进行比较，如例如2007年1月题目为“用于宽带扩展频谱数字系统的加强型可变速率编解码器，话音服务选项3、68和70(Enhanced Variable Rate Codec，Speech Service Options3，68，and70for Wideband Spread Spectrum Digital Systems)”的3GPP2文献C.S0014-C版本1.0的章节4.7(4-49页到4-57页)中所描述。

[0093] 另外或替代地，滤波器DF10可经实施以对空间分离源分量执行线性预测译码(LPC)分析操作以支持LPC和／或时域中的语音内容的分离。在一个此实例中，滤波器DF10经实施以基于例如共振峰结构(例如，不太窄和／或不太宽的带宽)和／或频谱倾斜来使语音帧与其它内容分离。在另一实例中，滤波器DF10经实施以根据LPC残余计算音调频率估计，且基于所指示音调频率范围使特定语音帧与其它内容分离(例如，以选择仅来自男性讲话者的语音、仅来自女性讲话者的语音，或仅来自婴儿的哭声或其它发声)。此选择可由用户指示(例如，经由装置PD10的用户接口)。音调估计程序例如在www-dot-3gpp-dot-org在线可用的EVRC(加强型可变速率编解码器)文献C.S0014-C的章节4.6.3(4-44到4-49页)中描述。此LPC分析也可用以使来自特定人的语音帧与其它语音内容分离。

[0094] 另外或替代地，滤波器DF10可经实施以通过处理空间分离源分量以分离仅呈所指示说话语言(例如，仅英语，或仅韩语)的语音内容，而产生源分量SC10。待选择的语言可由用户指示(例如，经由装置PD10的用户接口)。举例来说，滤波器DF10可经实施以使用隐式马尔可夫模型(HMM)处理来识别可能包含呈所指示语言的内容的分离源分量的帧。

[0095] 增强模块AM10经配置以对源分量SC10执行增强操作以产生目标分量且产生基于目标分量的经增强信号SG10。图13B展示增强模块AM10的实施方案AM20的框图，其经配置以输出目标分量TC10作为经增强信号SG10。增强模块AM20包含源处理模块PM10，其经配置以通过增加源分量SC10的可感知性来处理源分量SC10以产生目标分量TC10。

[0096] 源处理模块PM10可执行以增加源分量SC10的可感知性的操作的实例包含(不限于)以下各项：放大、均衡、去混响、噪声减少、语音速度更改，和语音音调移位。此些操作可由用户经由例如装置PD10的用户接口(例如，触摸屏显示器)来选择和／或配置。

[0097] 源处理模块PM10可经实施以通过使用估计空间传递函数对分量进行逆滤波，来对 源分量SC10进行去混响。可能希望执行此逆滤波而不使源分量SC10白化。在一个实例中，源分量SC10空间上与之分离的背景分量用以估计经反转空间传递函数。

[0098] 源处理模块PM10可经实施以根据用户的偏好来均衡源分量SC10和／或补偿用户的听力损失(例如，提升高频)。在另一实例中，源处理模块PM10经实施以通过和谐地扩展源分量SC10的低频内容来执行心理学低音加强(PBE)操作。此操作可加强低频内容的可感知性和／或可引导性。

[0099] 源处理模块PM10可经实施以对源分量SC10执行噪声减少操作。此操作可包含例如在非语音间隔期间减少源分量SC10的电平和／或从源分量SC10频谱减去噪声估计，其中噪声估计在频域中计算为非语音间隔上的时间平均和／或基于从非语音方向到达的分量(例如，源分量SC10空间上与之分离的背景分量)的频谱。

[0100] 源处理模块PM10可经实施以对源分量SC10执行语音速度更改操作。通过在时间上扩展或压缩语音信号而执行的此操作通常用以减慢语音内容的速度，且通常包含LPC分析操作以使共振峰结构与提供音调信息的残余分离。源处理模块PM10可经实施以通过扩展每一帧的长度、将音调周期插入有话音的语音片段中且类似地扩展无话音的语音片段(例如，使用随机激励信号)以及执行LPC合成操作以在所需速度下再生语音内容，而执行此减慢。此减慢也可包含用经时间扩展的语音内容代替静默周期。此语音速度更改操作可由用户通过选择速度更改因数(例如，0.7、0.75、0.8、0.9、1.1、1.2、1.25、1.3等)来配置。

[0101] 源处理模块PM10可经实施以对源分量SC10执行语音音调移位操作以改变语音内容的音调频率。源处理模块PM10可经实施以通过执行LPC分析操作以提取音调信息、压缩或扩展残余信号而不改变帧的长度以及执行LPC合成操作以再生具有所需音调的语音内容，而执行此操作。此语音速度更改操作可由用户通过选择所需音调范围或音调更改因数(例如，在0.5、0.7、或0.8到1.2、1.4、1.5、1.7或2的范围内)来配置。

[0102] 音调模块AM10(或AM20)可经配置以包含自动增益控制(AGC)模块，其经布置以压缩经增强信号SG10的动态范围。此模块可经配置以提供余量定义和／或主音量设定。替代地或另外，增强模块AM10(或AM20)可经配置以包含峰值限制器，其经布置以限制经增强信号SG10的电平。

[0103] 音频输出级AO10经配置以组合反噪声信号SA10与经增强信号SG10以产生音频输出信号SO10。举例来说，音频输出级AO10可经实施为混合器，其经配置以通过混合反噪声信号SA10与经增强信号SG10而产生音频输出信号SO10。音频输出级AO10还可经配置以通过将反噪声信号SA10、经增强信号SG10或两个信号的混合从数字形式 转换为模拟形式和／或通过对此信号执行任何其它所需音频处理操作(例如，滤波、放大、应用增益因数和／或控制此信号的电平)，而产生音频输出信号SO10。音频输出级AO10还可经配置以提供与扬声器的阻抗匹配、通向扬声器的音频-频率发射路径，和／或经布置以接收或传送音频输出信号SO10的其它电、光或磁性接口(例如，音频输出插孔，或到无线发射电路的接口)。

[0104] 可能希望实施AR处理模块AR10(例如，以实施增强模块AM10或AM20)以对经增强信号SG10执行SSP操作以产生双耳音频输出。举例来说，可能希望产生经增强信号SG10作为立体声信号以提供类似于源分量的原始方向的所感知到达方向。此配置可通过产生对应于真实环境(例如，视觉上感知)的双耳线索而加强用户的增强现实体验。图14C展示设备A210的实施方案A220的框图，其包含AR处理模块AR12的此实施方案AR14。在此情况下，AR处理模块AR14可包含增强模块AM10(或AM20)的实施方案，其基于从多通道输入信号获得(例如，如本文描述)的类似方向信息而执行波束成形或增益差(例如，平衡控制)操作以产生经增强信号SG10作为通道SG10a和SG10b的立体声对。

[0105] 方法M100的实施方案的使用情况包含用以增加多通道信号的源分量的可感知性的许多有价值的应用。一种此应用是方向选择性放大，其可通俗地称为“仿生耳”。另一此应用是用例如已经转换、减慢、均衡和／或放大的版本现场代替所接收语音信号。通过增加经分离源分量的可感知性来处理所俘获环境声音(即，由头戴式耳机或由头戴式耳机耦合到的处理装置)以产生经增强信号可包含以下操作中的一者或一者以上：通过源或到达方向来分离所俘获声音；根据一个或一个以上准则(例如，方向、距离、语音辨识、声音分类)识别所关注的源；加强、变换、阻挡、传递或以另外方式修改经分离流；和／或对选定流应用有用的信号处理(例如，个人化均衡、减慢语音、音调移位和／或语言翻译)。此处理还可包含混合经处理声音且将所得经增强信号播放到用户的耳朵中。

[0106] 在“仿生耳”应用中，设备A100的用户感知到来自环境的特定声音变为较容易感知，而其它声音被阻挡和／或变为较不容易感知。图16A和16B展示其中执行方法M100的实施方案以支持“仿生耳”应用的实例。图16A描绘在真实环境中在此实例中发生的事：讲话者B询间“老奶奶，您能过来这里吗”且用户A由于从其它方向到达的干扰声音而不能听见或理解讲话者B的语音。

[0107] 图16B描绘在具有增强现实的相同情境中用户A听见的内容：讲话者B的请求的经放大版本，其中其它声音被衰减。在此实例中，ANC滤波器AF10阻挡环境声音，且AR处理模块AR10执行多麦克风空间选择性处理以分离来自一个或一个以上特定源或 方向的声音。此技术可用以通过将来自特定源(讲话者B)的声音放大进入用户A的耳朵但阻挡一般环境声音使其不传递到用户A的耳朵，而获得如图19所示的空间音频增益模式。结果是用户A除了通过ANC装置的扬声器处理和播放的来自特定源(或方向)的声音之外听到极少的环境声音。用于此“仿生耳”应用的其它使用情况包含实时放大教师或讲师的话音，同时抑制环境噪声。

[0108] 图17A展示耳朵裸露的用户A的所感知声音增益的空间模式的实例。在此实例中，1的增益等效于正常听力条件。图17B展示使用如本文描述的ANC装置的双耳实施方案(例如，具有设备A200的实施方案的一对头戴式耳机、头戴受话器或耳塞式耳机)的用户A的所感知声音增益的空间模式的实例。此图展示使用ANC滤波器AF10和AF20产生的空间音频增益模式的实例，其中周围环境的所感知增益在用户的耳朵处减少。

[0109] 图18A展示由任务T200的多麦克风信号处理操作的方向选择性实施方案产生的经分离源分量的所感知音频增益的空间模式的实例。在此实例中，从用户的前方方向到达的声音以正常增益传递，同时从其它方向到达的声音被阻挡。图18B展示通过放大源分量产生的目标分量的所感知音频增益的空间模式的实例。

[0110] 在此“仿生耳”实例中，包含ANC参考麦克风的麦克风阵列拾取环境声音X(=讲话者B的语音Y+其它方向和漫射环境声音Z)且产生音频输入信号SI10和SI20。AR处理模块AR10执行多麦克风空间选择性处理以使语音分量Y(即，源分量SC10)与其它声音分量Z分离。AR处理模块AR10还处理语音信号Y以产生目标语音信号Y′。在此情况下，此处理包含放大语音分量Y且还可包含均衡分量Y、去混响分量Y以模拟近距离，和／或减慢分量Y的语音内容(例如，减慢25％或50％)。空间选择性处理减少剩余声音分量Z的电平以产生经缩放分量Z′(=aZ，其中a＜＜1)，且AR模块AR10产生进入ANC头戴式耳机的经增强信号X′(=Y′+Z′)。ANC头戴式耳机产生反噪声信号以阻挡来自耳朵的环境声音X，且音频输出级AO10将经增强信号X′播放到用户的耳朵。

[0111] 选定源分量可经放大(例如，如图18B中说明)和／或另外处理(例如，均衡、减慢、音调移位和／或去混响，如本文描述)以增加分量的可感知性。

[0112] 图20A和20B展示其中执行方法M100的实施方案以支持现场语音从一种讲话语言到另一种的翻译的实例。图20A描绘在现实中发生的事(例如，讲话者B询问“ usted )，且图20B描绘用户A以增强现实所听见的内容(例如，“你说西班牙语吗”)。

[0113] 如图20A和20B中所示的实例可经实施以使得讲话者B的原始语音由ANC装置抑制，但其它环境声音传递(例如，通过基于多麦克风的侧音混合)到用户的耳朵。在此情 况下，用户A听见周围环境的现有声音，来自讲话者B的语音除外。处理装置PD10可经配置以执行如本文描述的多麦克风SSP技术(例如，基于通道之间的相位差和/或通道之间的增益差)以选择性地分离讲话者B的语音(例如，基于估计到达方向)。处理装置PD10还可经配置以提取(例如，辨识)和翻译语音信息且合成同时翻译结果(例如，通过文本到语音(TTS))。随后将经合成TTS声音混合到ANC装置中(任选地通过方向线索寻找)。

[0114] 增强模块AM10(例如，源处理模块PM10)可经实施以通过处理源分量SC10以执行语音到文本操作(例如，使用隐式马尔可夫模型处理)以辨识语音内容、将所辨识文本从源语言翻译为目标语言且执行文本到语音操作以产生目标分量TC10，来执行同时语音翻译。增强模块AM10可经实施以在用户选择的话音或音调中(例如，在低音调到中音调话音中)产生经翻译目标分量，或提取和应用原始讲话者的话音的一个或一个以上特性(例如，音调频率)。可能希望配置装置PD10以显示指示正翻译的特定源语言的图标(例如，对应的国旗)。在类似实例中，用户A可听见讲话者B的语音的同时版本，其已经减慢、音调移位和/或均衡。

[0115] 图18A展示用于多麦克风信号处理的音频增益的空间模式的实例。在此实例中，从用户的前方方向到达的声音以正常增益传递，同时从其它方向到达的声音被阻挡。图21展示应用图18A的实例以获得将来自特定源(讲话者B)的声音传递到用户A的耳朵中但阻挡一般环境声音使其不传递到用户A的耳朵的空间音频增益模式。

[0116] 在此同时翻译实例中，包含ANC参考麦克风的麦克风阵列拾取环境声音X(=讲话者B的语音Y+所有其它环境声音Z)且产生音频输入信号SI10和SI20。AR处理模块AR10执行多麦克风空间选择性处理以使语音分量Y(即，源分量SC10)与其它声音分量Z分离。AR处理模块AR10还将语音信号Y翻译为目标语言(例如，通过文本到语音或“TTS”)以产生目标语音信号Y′且产生进入ANC头戴式耳机的经增强信号X′(=Y′+Z)。替代地或另外，AR处理模块AR10可经配置以减慢信号Y50％以产生Y′和/或另外执行如本文描述的额外增加可感知性的处理(例如，音调移位、去混响)以产生目标分量。ANC头戴式耳机产生反噪声信号以阻挡来自耳朵的环境声音X，且音频输出级AO10将经增强信号X′播放到耳朵。

[0117] 如上所述，音频增强可包含将其它环境声音(例如，背景分量)与目标分量一起传递到用户的耳朵。可能希望单独地应用若干信号处理技术于多个环境声音源以产生经增强信号。在一个此实例中，用户A正在道路附近的人行道上与讲话者B谈话。在此情况下，用户A希望以话音放大服务(即，“仿生耳”)听见讲话者B，但也仍希望听见人行道环境 的声音。同时用户A不希望听见汽车产生的较大路边噪声。如本文描述的基于ANC头戴式耳机的增强现实方案可提供此用户体验，如本文描述。

[0118] 图22展示用于多麦克风信号处理的音频增益的空间模式的实例。在此实例中，从用户的前方方向到达的声音被阻挡，同时从其它方向到达的声音以正常增益传递。图23展示应用图22的实例以获得将环境声音传递到用户A的耳朵但阻挡来自特定源(讲话者B)的声音使其不传递到用户A的耳朵的空间音频增益模式。如参考以上现场翻译实例所描述，来自讲话者B的丢失的语音可用语音信息的经翻译版本代替(例如，经由TTS)。

[0119] 在如图24中说明的组合情境的实例中，从第一方向范围到达的声音被语言翻译(例如，经由TTS)代替，从第二方向范围到达的声音被阻挡(例如，道路噪声)，且从第三方向范围到达的声音被传递(例如，人行道声音)。ANC装置将环境声音(例如，人行道声音)传递到用户A的耳朵，但空间选择性处理阻挡了来自特定源(讲话者B)和特定噪声方向的声音进入用户A的耳朵。经增强处理将来自讲话者B的语音的经放大(且可能经减慢)版本注入到用户A的耳朵。用户A听见人行道声音和经处理的来自讲话者B的声音，但听到很少的来自道路的汽车噪声。

[0120] 在此空间分集实例中，包含ANC参考麦克风的麦克风阵列拾取环境声音X(=讲话者B的语音Y+人行道声音Z+道路噪声W)且产生音频输入信号SI10和SI20。AR处理模块AR10执行多麦克风空间选择性处理以使来自用户B的语音分量Y(即，源分量SC10)、来自方向C的人行道声音Z以及来自方向D的道路噪声W分离。AR处理模块AR10处理(例如，放大、均衡、去混响和/或减慢)语音信号Y以产生目标语音信号Y′、传递人行道声音分量Z，且产生进入ANC装置的经增强信号X′(=Y′+Z)。ANC装置产生反噪声信号以阻挡来自耳朵的环境声音X，且音频输出级AO10将经增强信号X′播放到耳朵。

[0121] 图25A展示增强现实处理模块AR10的实施方案AR30的框图，其包含SSP滤波器SF10的实施方案SF20和增强模块AM10的实施方案AM30。滤波器SF20经配置以对多通道信号执行SSP操作以使源分量SC10与背景分量BC10分离。滤波器SF20可经配置以产生背景分量BC10作为多通道信号与空间分离源分量之间的差(例如，作为未选定的频率区间或帧)。替代地，滤波器SF20可经实施以对多通道信号执行SSP操作以使背景分量BC10与源分量SC10分离且可能与其它声音分离。在此情况下，滤波器SF20可经实施以使用本文描述的SSP操作中的任一者(例如，基于增益和/或相位差、波束成形、BSS)产生背景分量BC10。

[0122] 举例来说，滤波器SF20可经实施以通过应用在不同于源分量的方向的一方向上具 有宽波束的波束成形滤波器而从多通道信号产生背景分量BC10。在另一实例中，滤波器SF20经实施以通过应用在待排除的源的方向上(例如，在源分量的方向上和/或在噪声源的方向上(例如，如在上文论述的实例中在道路噪声源W的方向D上))具有空波束的一个或一个以上波束成形滤波器而从多通道信号产生背景分量BC10。增强模块AM30经配置以产生经增强信号SG10的实施方案SG20，其基于目标分量TC10且基于经分离背景分量BC10。

[0123] 图25B展示包含混合器MX10的增强模块AM20和AM30的实施方案AM40的框图，所述混合器经配置以混合(例如，相加)目标分量TC10与经分离背景分量BC10以产生经增强信号SG20。

[0124] 可能希望实施AR处理模块AR10以检测和传递警报声音，例如警笛、车喇叭、警示或既定警告、警戒或俘获人的注意力的其它声音。此些声音通常是与例如语音和噪声分量等其它声音信号相比具有窄带宽的音调分量。图26A展示AR处理模块AR10的实施方案AR100的框图，其包含警报声音检测器WD10。警报声音检测器WD10经配置以检测仅出现在特定频率范围内(例如，从约500或1000赫兹到约2或3千赫)、具有窄带宽(例如，不大于约50、100或200赫兹)、具有尖锐分布(例如，从一个帧到下一帧具有不小于约50％、75％或100％的能量增加)和/或具有高于阈值(例如，婴儿哭喊的声音)的音调频率的声音。警报声音检测器WD10可经配置以在时域、LPC域和/或在变换域(例如，傅立叶或其它频域)中执行此检测，且产生对应的警报指示SW10。在另一实例中，警报声音检测器WD10经配置以通过多普勒效应检测来检测正在接近的车辆的声音。

[0125] AR处理模块AR100还包含增强模块AM10的实施方案AM100，其经配置以响应于警报指示SW10而取消源分量SC10的增强。AR处理模块AR100还可经配置以响应于警报指示SW10而超驰ANC操作和/或将额外音频指示提供到用户(例如，以产生警示声音)。

[0126] 由警报声音检测器WD10执行的检测可为非方向性的(例如，在一个音频输入通道上、分别在两个或两个以上音频输入通道上，和/或在一个以上音频输入通道的总和上)。替代地，检测器WD10可经实施以向增强模块AM100指示警报声音的方向以用于选择和/或增强(例如，放大)检测到的警报声音。在双耳实施方案中，此增强可包含方向线索寻找以向用户指示警报声音的到达方向。在此情况下，可能希望不超驰ANC操作和/或对警报声音执行PBE操作以增强低频率的方向性。

[0127] 对方法M100和/或设备A100的额外增强可包含对书写环境的音频翻译(例如，呈另一语言的标志的音频翻译)。额外应用包含虚拟声杖，其经配置以产生音调变化以指示物 理障碍，作为对视觉障碍用户的导航辅助。

[0128] 图26B展示根据一般配置的设备MF100的框图。设备MF100包含用于对第一音频输入通道执行有源噪声消除操作以产生反噪声信号的装置F100(例如，如本文参考任务T100和/或ANC滤波器AF10的实施方案所描述)。设备MF100还包含用于处理多通道信号以获得源分量的装置F200，包含用于对多通道信号执行空间选择性处理操作以使源分量与背景分量分离的装置(例如，如本文参考任务T200和/或SSP模块SM10的实施方案所描述)。设备MF100还包含用于处理获得的源分量以产生目标分量的装置F300(例如，如本文参考任务T300和/或增强模块AM10的实施方案所描述)。设备MF100还包含用于组合反噪声信号与基于目标分量的经增强信号以产生音频输出信号的装置F400(例如，如本文参考任务T400和/或音频输出级AO10的实施方案所描述)。

[0129] 图27A展示一般ANC系统的框图。自适应滤波器W(z)用以估计从检测待消除的外部噪声的参考麦克风(例如，麦克风ML10或MR10)到比参考麦克风更靠近用户的耳道(例如，在耳道内、指向耳道和/或在扬声器发射的声场内)且检测用户耳朵处的声误差的误差麦克风的主要路径传递函数P(z)。还可能希望估计次要路径传递函数S(z)，其包含从由滤波器W(z)产生的反噪声信号到用以调适滤波器W(z)的误差信号的电和声路径。举例来说，滤波X LMS算法基于误差信号和基于参考信号的通过S(z)的估计而滤波的版本来调适滤波器W(z)。另外或替代地，可能希望考虑从反噪声信号到参考麦克风的反馈路径传递函数F(z)。任务T100和/或ANC滤波器AF10可根据这些ANC原理中的任一者来实施。举例来说，图27B和
27C分别展示头戴式耳机HS10和HS20的实施方案HS15和HS25的实例，其各自包含ANC误差麦克风ME10的实例，且图28A到28C分别展示耳塞式耳机EB30以及耳杯ECR20和ECR20的类似实施方案EB32、ECR15和ECR25。

[0130] 从图27A，可了解混合经增强信号SG10与反噪声信号SA10可致使经增强信号SG10声学上反馈到参考信号(例如，音频输入通道)中和/或声学上前馈到误差信号中。因此，可能希望将经增强信号SG10的经反转版本混合到参考信号和误差信号中的一者或两者中以减少经增强信号SG10对ANC滤波器调适的影响。

[0131] 本文揭示的方法和设备可一般地应用于任何收发和/或音频感测应用中，尤其是此些应用的移动或另外便携式的实例中。举例来说，本文揭示的配置范围包含驻留于经配置以采用码分多址(CDMA)空中接口的无线电话通信系统中的通信装置。然而，所属领域的技术人员将了解，具有如本文描述的特征的方法和设备可驻留于采用所属领域的技术人员已知的广范围技术的各种通信系统中的任一者中，所述系统例如采用经由有线和/ 或无线(例如，CDMA、TDMA、FDMA和/或TD-SCDMA)发射通道的IP话音(VoIP)的系统。

[0132] 明确预期且在此揭示，本文揭示的通信装置可适用于包交换(举例来说，经布置以根据例如VoIP等协议而载运音频发射的有线和/或无线网络)和/或电路交换的网络中。还明确预期且在此揭示，本文揭示的通信装置可适用于窄带译码系统(例如，对约4或5千赫的音频频率范围进行编码的系统)中和/或用于宽带译码系统(例如，对大于5千赫的音频频率进行编码的系统)中，包含全频带宽带译码系统和分频带宽带译码系统。

[0133] 提供对所描述配置的先前呈现以使得所属领域的技术人员能够制作或使用本文揭示的方法和其它结构。本文展示和描述的流程图、框图和其它结构仅仅是实例，且这些结构的其它变型也在本发明的范围内。对这些配置的各种修改是可能的，且本文呈现的一般原理也可适用于其它配置。因此，本发明不希望限于上文展示的配置，而是应被赋予与本文以任何方式(包含在所申请的形成本发明一部分的所附权利要求书中)揭示的原理和新颖特征一致的最广范围。

[0134] 所属领域的技术人员将了解，可使用多种不同技艺和技术中的任一种来表示信息和信号。举例来说，可通过电压、电流、电磁波、磁场或磁性粒子、光场或光学粒子或者其任何组合来表示整个以上描述中可能参考的数据、指令、命令、信息、信号、位和符号。

[0135] 实施如本文揭示的配置的重要设计要求可包含最小化处理延迟和/或计算复杂性(通常以每秒百万指令或MIPS来测量)，尤其是计算密集型应用，例如在高于8千赫(例如，12、16、32、44.1、48或192kHz)的取样速率下的话音通信的应用。

[0136] 如本文描述的多麦克风处理系统的目标可包含实现10到12dB的总体噪声减少，在所要讲话者的移动期间保留话音电平和音色，获得噪声已移动到背景中而非激进噪声移除的感知，语音的去混响，和/或启用针对较激进噪声减少的后处理(例如，掩蔽和/或噪声减少)的选项。

[0137] 如本文揭示的设备(例如，设备A100、A200、MF100)可实施于视为适合于既定应用的硬件与软件和/或与固件的任何组合中。举例来说，此设备的元件可制造为例如驻留于同一芯片上或芯片组中的两个或两个以上芯片之间的电子和/或光学装置。此装置的一个实例是例如晶体管或逻辑门等逻辑元件的固定或可编程阵列，且这些元件中的任一者均可实施为一个或一个以上此阵列。这些元件中的任两个或两个以上或甚至全部均可实施于相同阵列内。此阵列可实施于一个或一个以上芯片内(例如，包含两个或两个以上芯片的芯片组内)。

[0138] 本文揭示的设备(例如，设备A100、A200、MF100)的各种实施方案的一个或一个以上元件也可整体或部分地实施为一个或一个以上指令集，其经布置以在一个或一个以上固定或可编程逻辑元件阵列上执行，例如微处理器、嵌入式处理器、IP核心、数字信号处理器、FPGA(现场可编程门阵列)、ASSP(专用标准产品)和ASIC(专用集成电路)。如本文揭示的设备的实施方案的各种元件中的任一者也可体现为一个或一个以上计算机(例如，包含经编程以执行一个或一个以上指令集或指令序列的一个或一个以上阵列的机器，也称为“处理器”)，且这些元件中的任两者或两者以上或甚至全部均可实施于相同的此计算机内。

[0139] 如本文揭示的处理器或用于处理的其它装置可制造为例如驻留于同一芯片上或芯片组中的两个或两个以上芯片之间的一个或一个以上电子和/或光学装置。此装置的一个实例是例如晶体管或逻辑门等逻辑元件的固定或可编程阵列，且这些元件中的任一者均可实施为一个或一个以上此阵列。此阵列可实施于一个或一个以上芯片内(例如，包含两个或两个以上芯片的芯片组内)。此些阵列的实例包含逻辑元件的固定或可编程阵列，例如微处理器、嵌入式处理器、IP核心、DSP、FPGA、ASSP和ASIC。如本文揭示的处理器或用于处理的其它装置还可体现为一个或一个以上计算机(例如，包含经编程以执行一个或一个以上指令集或指令序列的一个或一个以上阵列的机器)或其它处理器。如本文描述的处理器可能用以执行并非与空间选择性音频增强直接相关的任务或其它指令集，例如与其中嵌入处理器的装置或系统(例如，音频感测装置)的另一操作相关的任务。如本文揭示的方法的一部分也可能由音频感测装置的处理器执行，且所述方法的另一部分在一个或一个以上其它处理器的控制下执行。

[0140] 所属领域的技术人员将了解，结合本文所揭示的配置描述的各种说明性模块、逻辑块、电路和测试和其它操作可实施为电子硬件、计算机软件或所述两者的组合。此些模块、逻辑块、电路和操作可用经设计以产生如本文揭示的配置的通用处理器、数字信号处理器(DSP)、ASIC或ASSP、FPGA或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行。举例来说，此配置可至少部分地实施为硬连线电路、制造于专用集成电路中的电路配置，或加载到非易失性存储装置中的固件程序或者作为机器可读代码从数据存储媒体加载或加载到数据存储媒体中的软件程序，此代码是可由例如通用处理器或其它数字信号处理单元等逻辑元件阵列执行的指令。通用处理器可以是微处理器，但在替代方案中，所述处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。软件模 块可驻留在非暂时性存储媒体中，例如RAM(随机存取存储器)、ROM(只读存储器)、例如快闪RAM等非易失性RAM(NVRAM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、寄存器、硬盘、可装卸式盘、或CD-ROM或此项技术中已知的任何其它形式的存储媒体。说明性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息和向存储媒体写入信息。在替代方案中，存储媒体可与处理器成一体式。处理器和存储媒体可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器和存储媒体可作为离散组件驻留在用户终端中。

[0141] 应注意，本文揭示的各种方法(例如，方法M100和通过本文描述的各种设备的操作的描述而揭示的其它方法)可由例如处理器等逻辑元件阵列执行，且如本文描述的设备的各种元件可部分地实施为经设计以在此阵列上执行的模块。如本文使用，术语“模块”或“子模块”可指代呈软件、硬件或固件形式的包含计算机指令(例如，逻辑表达式)的任何方法、设备、装置、单元或计算机可读数据存储媒体。应了解，多个模块或系统可组合为一个模块或系统，且一个模块或系统可分离为多个模块或系统以执行相同功能。当以软件或其它计算机可执行指令实施时，过程的元件本质上是用以执行相关任务的代码段，例如具有例程、程序、对象、组件、数据结构和类似物。术语“软件”应理解为包含源代码、汇编语言代码、机器代码、二进制码、固件、宏代码、微代码、可由逻辑元件阵列执行的任一个或一个以上指令集或指令序列，和此些实例的任何组合。程序或代码段可存储在处理器可读存储媒体中或由体现于发射媒体或通信链路上的载波中的计算机数据信号发射。

[0142] 本文揭示的方法、方案和技术的实施方案也可有形地体现(例如，以如本文列出的一个或一个以上计算机可读存储媒体的有形计算机可读特征)为可由包含逻辑元件阵列(例如，处理器、微处理器、微控制器或其它有限状态机)的机器读取和/或执行的一个或一个以上指令集。术语“计算机可读媒体”可包含可存储或传送信息的任何媒体，包含易失性、非易失性、可装卸和不可装卸的存储媒体。计算机可读媒体的实例包含电子电路、半导体存储器装置、ROM、快闪存储器、可擦除ROM(EROM)、软磁盘或其它磁性存储装置、CD-ROM/DVD或其它光学存储装置、硬盘、光纤媒体、射频(RF)链路，或可用以存储所要信息且可被存取的任何其它媒体。计算机数据信号可包含可经由例如电子网络通道、光纤、空气、电磁、RF链路等等传输媒体传播的任何信号。代码段可经由例如因特网或内联网等计算机网络而下载。在任一情况下，本发明的范围均不应解释为受到此些实施例的限制。

[0143] 本文描述的方法(例如，方法M100和通过本文描述的各种设备的操作的描述而揭示 的其它方法)的任务中的每一者可直接以硬件、以由处理器执行的软件模块或以所述两者的组合来体现。在如本文揭示的方法的实施方案的典型应用中，逻辑元件(例如，逻辑门)阵列经配置以执行方法的各种任务中的一者、一者以上或甚至全部。任务中的一者或一者以上(可能全部)也可实施为代码(例如，一个或一个以上指令集)，体现于计算机程序产品(例如，一个或一个以上数据存储媒体，例如磁盘、快闪或其它非易失性存储器卡、半导体存储器芯片等等)中，其可由包含逻辑元件阵列(例如，处理器、微处理器、微控制器或其它有限状态机)的机器(例如，计算机)读取和/或执行。如本文揭示的方法的实施方案的任务也可由一个以上此阵列或机器执行。在这些或其它实施方案中，任务可在用于无线通信的装置内执行，所述装置例如蜂窝式电话或具有此通信能力的其它装置。此装置可经配置以与电路交换式和/或包交换式网络(例如，使用例如VoIP等一个或一个以上协议)通信。举例来说，此装置可包含经配置以接收和/或发射经编码帧的RF电路。

[0144] 明确揭示了本文揭示的各种方法可由便携式通信装置(例如，手持机、头戴式耳机或便携式数字助理(PDA))执行，且本文描述的各种设备可包含在此装置内。典型的实时(例如，在线)应用是使用此移动装置进行的电话谈话。

[0145] 在一个或一个以上示范性实例中，本文描述的操作可以硬件、软件、固件或其任一组合来实施。如果以软件实施，那么此些操作可作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输。术语“计算机可读媒体”包含计算机可读存储媒体和通信(例如，发射)媒体。举例来说而非限制，计算机可读存储媒体可包括存储元件阵列，例如半导体存储器(可包含(不限于)动态或静态RAM、ROM、EEPROM和/或快闪RAM)或铁电、磁阻、双向、聚合或相变存储器；CD-ROM或其它光盘存储装置；和/或磁盘存储装置或其它磁性存储装置。此存储媒体可以可由计算机存取的指令或数据结构的形式存储信息。通信媒体可包括可用以载运呈指令或数据结构形式的所要程序代码且可由计算机存取的任何媒体，包含促进计算机程序从一处到另一处的传送的任何媒体。而且，恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电和/或微波等无线技术从网站、服务器或其它远程源传输软件，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电和/或微波等无线技术包含在媒体的定义中。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及B1u-ray DiscTM(加利福尼亚州环球城蓝光光盘协会)，其中磁盘通常以磁性方式再生数据，而光盘使用激光以光学方式再生数据。上文的组合也应包含在计算机可读媒体的范围内。

[0146] 如本文描述的声信号处理设备(例如，设备A100、MF100)可并入到接受语音输入以 便控制某些操作的电子装置中，或可另外得益于来自背景噪声的所要噪声的分离，例如通信装置。许多应用可得益于加强或分离清晰的所要声音与源自多个方向的背景声音。此些应用可包含电子或计算装置中的人机接口，所述装置并入有例如话音辨识和检测、语音加强和分离、话音激活的控制等等能力。可能希望实施此声信号处理设备以适合于仅提供有限处理能力的装置中。

[0147] 本文描述的模块、元件和装置的各种实施方案的元件可制造为例如驻留于同一芯片上或芯片组中的两个或两个以上芯片之间的电子和/或光学装置。此装置的一个实例是例如晶体管或门的逻辑元件的固定或可编程阵列。本文描述的设备的各种实施方案的一个或一个以上元件也可整体或部分地实施为一个或一个以上指令集，其经布置以在一个或一个以上固定或可编程逻辑元件阵列上执行，例如微处理器、嵌入式处理器、IP核心、数字信号处理器、FPGA、ASSP和ASIC。

[0148] 如本文描述的设备的实施方案的一个或一个以上元件可能用以执行并非与设备的操作直接相关的任务或其它指令集，例如与其中嵌入所述设备的装置或系统的另一操作相关的任务。还可能此设备的实施方案的一个或一个以上元件具有共同结构(例如，用以在不同时间执行对应于不同元件的代码部分的处理器、经执行以在不同时间执行对应于不同元件的任务的指令集，或在不同时间执行不同元件的操作的电子和/或光学装置的布置)。