封闭区域中的噪声事件定位和分类

摘要

部署在封闭区域内的拾音换能器阵列耦合到录音器。耦合到录音器的处理器提供按钮或语音识别器，封闭区域中的人通过该按钮或语音识别器发出表示出现要求对其进行分类的声音的命令。处理器被编程为通过提取从录音器复制的音频片段并将其存储在数字存储器中来响应发出的命令，其中片段对应于在发出的命令之前、期间和之后捕获的声音。处理器将存储的音频片段传送到人工智能系统，人工智能系统经过训练以关于什么产生声音而对声音进行分类。人工智能系统可以采用经过训练的模型特征提取、神经网络分类系统和/或声音到达方向分析。

权利要求

1.一种用于对声音进行分类的系统，包括：

包括以预定模式布置的多个单独的拾音换能器的至少一个阵列，每个阵列部署在封闭区域中的已知位置；

录音器，其耦合到所述至少一个换能器并被配置为存储由所述至少一个换能器捕获的声音；以及处理器，其耦合到所述录音器并具有用户界面，所述封闭区域内的人通过所述用户界面发出表示出现要求对其进行分类的声音的命令；

所述处理器具有被配置为存储至少一个音频片段的关联数字存储器；

所述处理器被编程为通过提取和存储从所述录音器复制的音频片段来响应发出的命令，所述片段对应于在所述发出的命令之前、期间和之后捕获的声音；并且所述处理器具有数据传输端口，通过所述数据传输端口将存储的音频片段传送到人工智能系统，所述人工智能系统经过训练以关于什么产生声音而对声音进行分类；

其中所述人工智能系统包括声音方向提取系统，所述声音方向提取系统相对于由所述单独的拾音换能器捕获的声音的起源来估计声音方向并确定所述起源在所述封闭区域中的位置；并且其中所述人工智能系统分析由所述单独的拾音换能器捕获的声音的到达时间信息，以估计所述声音方向并确定所述起源在所述封闭区域中的位置。

2.根据权利要求1所述的系统，其中所述录音器是将声音存储为数字数据的数字音频记录电路。

3.根据权利要求1所述的系统，其中所述录音器是将声音存储为具有关联时间戳数据的数字数据的数字音频记录电路。

4.根据权利要求1所述的系统，其中所述录音器是使用所述处理器实现的。

5.根据权利要求1所述的系统，其中所述音频片段具有预定长度。

6.根据权利要求1所述的系统，其中所述用户界面提供按钮，所述人利用所述按钮发出表示出现要求对其进行分类的声音的所述命令。

7.根据权利要求1所述的系统，其中所述用户界面提供语音识别器，所述人通过所述语音识别器发出表示出现要求对其进行分类的声音的语音命令。

8.根据权利要求1所述的系统，其中所述数据传输端口耦合到所述封闭区域中的通信系统，用于与基于地面的人工智能系统进行通信，所述基于地面的人工智能系统经过训练以关于什么产生声音而对声音进行分类。

9.根据权利要求1所述的系统，其中所述人工智能系统包括采用特征提取的至少一个经过训练的模型识别系统。

10.根据权利要求1所述的系统，其中所述人工智能系统包括至少一个神经网络分类系统。

11.根据权利要求10所述的系统，其中所述神经网络分类系统被配置为对声音的声谱图表示进行操作。

12.根据权利要求10所述的系统，其中所述神经网络分类系统被配置为对声音的多维表示进行操作。

说明书

封闭区域中的噪声事件定位和分类

技术领域

[0001] 本公开总体上涉及噪声源识别和诊断。更具体地，本公开涉及诸如载客运载工具、船舶或建筑物的封闭区域中的噪声源识别和诊断系统。

背景技术

[0002] 本节提供与本公开相关的背景信息，其不一定是现有技术。

[0003] 随着运载工具或船舶内部空间变得越来越安静——通过设计者方面的重大努力——乘客变得能够听到曾经被发动机和风噪声掩盖的声音，从温和但令人讨厌的嘎嘎声到各种各样的其他滴答声、呼呼声、摩擦声、嗡嗡声和沉闷声，所有这些都可能表明机载系统处于发生故障的过程中。建筑物内的噪声也可以用于识别与HAVC和其他系统相关的根本问题。

[0004] 自然地，运载工具拥有者或乘客想要通过纠正根本原因来识别、诊断和制止所有这些声音。遗憾的是，这可能是困难的。在典型的飞行器场景中，乘客听到的异常声音被报告给机组成员，机组成员将报告中继给地面维护人员，地面维护人员进而可能需要联系飞行器制造商的工程部门来寻求指导。挑战通常涉及试图重现状况，以便维护人员和工程部门可以听到乘客报告的内容。然而，当谈到飞行器时，涉及许多变量——偏航、俯仰、滚转、重力、湍流、温度、天气状况、发动机转速、飞机重量、跑道表面状况、起落架位置等等。这些变量中的任何一个或多个都可能与乘客听到的异常声音是否可被复制有关。因此，关于声音是否可以被识别、诊断和纠正，可能会受到很大影响。类似的讨论也适用于诸如汽车的其他载客运载工具，或者人们可能因噪声问题而烦恼的其他封闭区域。

发明内容

[0005] 所公开的解决方案采用特殊的机载麦克风阵列设备，其连续捕获封闭区域内的所有声音并将捕获的数据存储在循环缓冲器中，该循环缓冲器足以保存在感兴趣事件之前、期间和之后的关于声音的有意义的数据量。麦克风阵列设备各自采用具有预定义物理布置的多个麦克风换能器，因此它们可以用于捕获到达方向信息，该信息用于确定每个捕获的声音来自何处。

[0006] 当乘客听到他或她想要报告的异常声音时，乘客按下按钮或发出语音命令(其可以被相同的麦克风阵列设备拾取)，并且该命令使系统复制存储在循环缓冲器中的数据的一部分，该部分表示所报告的事件之前、期间和之后的时间跨度。尽管循环缓冲器不断被擦除和重写，但是复制的部分被存储在单独的存储器中，在那里可以稍后对其进行分析。如果需要，可以将复制的部分无线传输到在基于地面的设施处托管的云存储服务器，在那里可以使用经过训练的模型识别器、神经网络或两者对其进行分析，以识别所报告的声音的最可能原因，并可选地提供关于表现出观察到的声音的组件的平均故障间隔时间(MTBF，Mean Time Between Failure)的工程数据。

[0007] 除了声音本身的识别之外，所公开的解决方案还使用到达方向信息来为分析提供非常有用的附加维度。在这方面，声音来自何处的定位——如从飞行器内不同位置处的多个不同麦克风阵列设备听到——可能是强有力的区分因素。

[0008] 根据所公开的声音事件定位和识别系统的一个方面，提供了一种用于对声音进行分类的系统。该系统包括部署在飞行器内的已知位置的至少一个拾音换能器或换能器阵列。耦合到换能器或换能器阵列的录音器被配置为存储由(多个)换能器捕获的声音。

[0009] 耦合到录音器的处理器提供用户界面，飞行器内的人通过该用户界面发出表示出现要求对其进行分类的声音的命令。可以使用用户操作的按钮或语音命令。处理器具有关联数字存储器，其被配置为存储与时间戳数据相关联的至少一个音频片段。处理器被编程为通过提取和存储从录音器复制的音频片段来响应发出的命令，其中片段对应于在发出的命令之前、期间和之后捕获的声音。处理器具有数据传输端口，通过该数据传输端口将存储的音频片段传送到人工智能系统，该人工智能系统经过训练以关于什么产生声音而对声音进行分类。

[0010] 可以使用从由以下各项组成的组中选择的系统来实现人工智能系统：采用特征提取的经过训练的模型识别系统、神经网络分类系统、使用由单独换能器捕获的声音的到达时间分析来估计声音方向的声音方向提取系统、及其组合。

附图说明

[0011] 本文描述的附图仅用于说明所选实施例的目的，而不是所有可能的实现方式。附图的特定选择不旨在限制本公开的范围。

[0012] 图1示出了示例性飞行器机舱，其示出了用于放置麦克风换能器阵列的适当位置；

[0013] 图2示出了一种示例性换能器阵列，其特征在于以螺旋配置布置的多个麦克风换能器；

[0014] 图3是声学波形图，其说明了由阵列的两个麦克风换能器捕获的信号如何相关以及如何测量到达时间差；

[0015] 图4示出了如何可以通过三角测量来使用两个间隔开的麦克风换能器的到达时间以估计空间中声音的起源或来源；

[0016] 图5是示出录音器和处理器如何被配置为捕获声音并保存声音片段以供稍后分析的电子电路图；

[0017] 图6是有助于理解所公开的系统如何操作的过程流程图；

[0018] 图7是飞行器机队的透视图，其将捕获的声音片段数据中继到基于地面的数据处理中心进行分类；

[0019] 图8是示出一个或多个处理器或可编程门阵列设备如何被配置为实现用于对捕获的声音片段进行分类的人工智能系统的框图；

[0020] 图9示出了可以由图8的人工智能系统的神经网络部分进行分析的类型的示例性三维声谱图像。

具体实施方式

[0021] 为了帮助定位、分类和诊断封闭区域内的异常声音，麦克风阵列和电子数据捕获电路的系统被部署在封闭区域内。该系统连续捕获封闭区域中的声音，但是仅响应于来自注意到声音的乘客的命令而保存特定异常声音的记录。这些保存的记录被传送到执行多阶段分析的数据处理中心，以对声音进行分类，从而帮助解决原因。

[0022] 如图1中所示，多个麦克风阵列10各自包括布置成预定义模式的多个单独的麦克风换能器12，诸如图2中所示的螺旋模式。其他预定义模式也将起作用。每个麦克风阵列能够捕获信息，通过该信息可以使用给定声音在每个单独麦克风处的到达时间来确定每个声音的起源方向。图3和图4示出了这是如何进行的。

[0023] 如图3中所示，来自事件的声音——由在事件源处起源的声波携带——分别作为时变信号14a和14b到达麦克风12a和12b。在图3中，声波到达麦克风12a的时间早于它到达麦克风12b的时间。因此，在两个麦克风处存在可测量的到达时间差，其在图3中的dt示出。由于预定义阵列模式中所有麦克风的间距和方向是已知的，因此任何一对麦克风之间的到达时间差dt可以与该对麦克风的物理间距和方向相关。这允许通过三角测量来计算事件源的起源18，如图4中所示。为了简化这种说明，图4示出了二维平面，其中从起源18传播到麦克风12a和12b的距离分别由线x和y表示。可以对所有其他成对的麦克风组合执行这种相同的三角测量分析，以提高准确性。

[0024] 使用螺旋阵列以及其他二维模式，可以在三维空间中定位事件源。这是因为任何两个麦克风换能器和事件源将位于公共平面中。与第一对不共线的不同麦克风换能器对与事件源将位于不同的平面中。因此，使用许多不同的麦克风换能器对进行三角测量会产生包含许多相交平面的集合，并且这些平面占据并定义三维空间。

[0025] 因此，虽然飞行器内可能有许多不同的麦克风阵列布置，但是一种适当的布置是在每个机舱空间内的天花板上部署麦克风阵列。示例性位置在图1中示出，如阵列的参考数字10所示。

[0026] 用于实现噪声事件定位和识别系统的电子电路在图5中示出。麦克风阵列10耦合到录音器设备21的音频数据缓冲器20，音频数据缓冲器20被配置为将来自麦克风阵列的数字化音频比特流存储为带时间戳的数字音频数据。如果麦克风阵列本身不提供数字输出，则可以使用适当的模数转换器(ADC，未示出)将从麦克风阵列10捕获的声音转换为数字音频格式。重要的是，所有音频流的数字化都以时间同步的方式进行转换(例如，ADC都由相同的时钟驱动)，以便来自每个阵列中每个麦克风的数据流都是时间同步的。这是必需的，以便捕获的音频数据可以用于上面讨论的事件源定位。

[0027] 录音器设备21的音频数据缓冲器20的大小应具有足够的数字存储器，以保存预定量的从每个麦克风阵列内的每个麦克风捕获的音频数据、以及时间戳信息。虽然可以提供足够的数字存储器来存储整个飞行中捕获的数字音频，但这通常不是必需的。在大多数应用中，在缓冲器中捕获预定义时间量、诸如例如大约20到30分钟的数据可能就足够了，然后以循环方式重用缓冲器以捕获后续20到30分钟的数据，较早的时间段被覆盖。因此，音频数据缓冲器20可以被配置为循环缓冲器。

[0028] 音频数据缓冲器20可以根据诸如在22处示出的预定义的缓冲器数据结构来组织。缓冲器数据结构22通过预编程被配置为分配用于麦克风标识符(Mic ID)的存储、用于一帧或更多帧的数字音频帧数据(所捕获声音的记录数字音频数据)和时间戳的存储。如上所述，在执行事件源位置分析时需要时间戳。

[0029] 执行事件源位置分析还需要每个阵列中的每个麦克风在物理上位于飞行器机舱内部的参考系内的位置的记录。因此，每个麦克风的位置信息存储在适当的麦克风数据存储器24中，其使用适当的数据结构(诸如麦克风位置记录数据结构26)来配置。对于每个麦克风标识符(Mic ID)，存储诸如麦克风类型、任何麦克风校准数据和麦克风坐标的信息。如上所述，每个麦克风位置都使用飞行器参考系中的坐标(诸如x、y、z坐标)指定。以这种方式，所有麦克风都在空间上相关，以允许执行准确的事件源定位。

[0030] 处理器28被耦合以访问音频数据缓冲器20和麦克风数据存储器24。事件存储器30还耦合到处理器28，事件存储器30被配置为在每次飞行器乘员报告事件时，存储在音频数据缓冲器20中捕获的信息的选定部分。具体而言，当飞行器乘员听到他或她想要报告为烦人的或可能与故障部件有关的噪声时，乘员可以按下耦合到处理器28的按钮32，或者通过说出预定义的短语来口头宣告听到噪声。这种口头宣告由语音识别器系统34处理，语音识别器系统34耦合到处理器28并被配置为监测由麦克风阵列10捕获的音频流。按钮可以位于座位或厨房，或者它可以使用诸如智能电话或平板的个人便携式设备被访问。按钮应当定位为使其不会被意外击中从而导致不必要的报告。

[0031] 当通过按钮按压或口头命令来发信号通知事件时，处理器将一部分数据从音频数据缓冲器20复制到事件存储器30。为了允许充足的信息用于分析所捕获的声音，处理器复制并传输观察到事件之前的一定量时间(例如，5分钟)和观察到事件之后的一定量时间(例如，5分钟)。按下按钮或说出命令的时间戳被捕获作为事件存储器记录的一部分。

[0032] 如果需要，处理器28可以被编程为使用麦克风坐标和时间戳信息对存储在事件存储器记录中的每个记录执行事件源位置分析。可替代地，可以在事件存储器30的内容已经被传输到服务中心以供分析之后，稍后执行事件源位置分析。为了提供捕获的事件记录以供分析，处理器28耦合到飞行器的通信系统36。

[0033] 图6给出了使用中的噪声源识别和诊断系统的概览。在50处开始，来自麦克风阵列的数据被监测(复制到音频数据缓冲器)。这是连续发生的，其中缓冲器以循环方式被覆盖。

[0034] 当在52处发生噪声事件时，乘客按下按钮32(图5)或发出语音命令，如在54处。处理器在56处通过记录预定义时间量(诸如例如噪声事件通知之前五分钟到噪声事件通知之后五分钟)的数据来进行响应。如上所述，这是通过将选定的时间段(大约十分钟)复制到事件存储器30(图5)来执行的。

[0035] 如果需要，提供额外的确认步骤57以让乘客在上传数据之前确认。因此，如果乘客意外击中按钮或发出语音命令，则他们可以简单地取消。

[0036] 在此后的适当时间，如在58处，将记录在事件存储器中的数据上传到数据处理中心，如果需要，该数据处理中心可以利用云数据存储和/或基于云的处理服务器。

[0037] 一旦在数据处理中心接收到数据，就如在60处对数据执行人工智能分类。这种分类的细节将在下面结合图8讨论。

[0038] 作为分类的结果，在62处，数据处理中心采用处理器来评估被分类的噪声是否是新问题。这种决定是由数据处理中心处理器基于分配的似然分数、即被分析的声音数据符合任何预训练的噪声模型来执行的。

[0039] 如果似然分数低(表明这是新问题)，则在64处将声音数据和分析结果发送到工程部门，以进行更深入的分析。这种分析可能包括使带时间戳的声音数据与单独提供的健康趋势监测系统(HTMS，Health Trend Monitoring System)相关，以提供更多诊断信息供工程部门考虑。

[0040] 如果似然分数高(表明这是先前已知的问题)，则在66处将声音数据和分析结果发送到客户支持部门，然后如在68处通过实施已知解决方案来解决已知问题。

[0041] 所公开系统的模块化允许捕获噪声数据以用于人工智能系统的分析和训练。因此，在维护客户机密性的同时(捕获的噪声数据仅用于噪声数据分析，删除了噪声事件前后的数据)，来自飞行器机队的噪声数据可以合并以用于人工智能系统训练。

[0042] 参考图7，示出了飞行器70的机队，它们都与基于地面或基于卫星的天线72或者地理上分布的天线的联合集合进行通信。在每个飞行器内捕获的噪声事件数据通过这种基于地面或基于卫星的天线系统传送，以中继到数据处理中心74。如果需要，可以在传输之前对数据进行压缩和/或加密。还传送存储在麦克风数据存储器24中的麦克风位置和关于每个麦克风的其他数据。如图所示，数据处理中心可以使用经由现有电信基础设施发送的加密数据流来接收数据。这种现有基础设施可以包括基于云的数据存储和处理服务。因此，数据处理中心的物理位置可以存在于一个或多个云服务器中，这些云服务器可以位于或可以不位于同一物理位置。机载系统可以用于基于麦克风阵列数据来分析到达方向(DOA，Directional of Arrival)信息。为了节省通信带宽，可以仅传输来自麦克风阵列之一或一部分的数据以及DOA信息。

[0043] 最初，经由飞行器通信系统36接收的事件声音数据将识别飞行器标识符，诸如其飞行器尾号，以及为每个事件捕获的整个(十分钟)记录。

[0044] 在处理事件数据的过程中，表示事件之前和之后的实际记录声音的大部分原始数据将被去除，以保护客户机密性。仅保留包含实际事件的声音的相关部分。

[0045] 参考图8，传入的事件数据包80被传递到数据处理中心74的噪声分类和分析处理器。图8中所示的模块是由分类和分析处理器执行的处理步骤。

[0046] 事件数据包80用于三个分析路径，一个路径(模块82和84)提取位置信息，一个路径(模块86、88和90)通过特征提取来处理记录的音频数据，并且一个路径(模块92和94)通过深度学习神经网络分析来处理记录的音频数据。然后使用这三个路径的结果在模块96中执行分类。

[0047] 事件起源位置分析

[0048] 通过在时间上向前或向后移动单独麦克风信号直到阵列中每个麦克风的信号峰值是时间对齐的，使从麦克风阵列记录的数字音频数据相关，作为阵列信号数据82。为实现对齐而增加或减少的时间量表示到达时间差，然后使用到达时间差来计算事件源起源的位置。这种相关在图3中示出。

[0049] 在事件起源位置分析中还使用从麦克风数据存储器24(图5)获得的数据。根据相对于飞行器参考系的关于麦克风位置的空间信息，并根据通过使阵列信号数据82相关而提取的到达时间信息，数据处理中心处理器如上所述使用麦克风对进行三角测量，以确定事件起源在飞行器参考系空间中的位置信息84。将该位置信息84馈送到分类模块96。

[0050] 特征提取分析

[0051] 通过操控时间信号数据86(时域数据)以产生一个或多个不同特征族，对记录的事件数据80执行特征提取。这是由模块88处的数字信号处理器(DSP)执行的，其以不同的形式(即在不同的分析域中)表示时间信号数据，每个强调数据的不同方面。例如，DSP可以对时间信号数据86执行快速傅里叶变换(FFT)，以表示频域中的数据。这样做，揭露了事件的频率内容以供分析。

[0052] 虽然频率内容可以用于对事件声音进行分类，但是也使用其他变换——每种变换提供理解事件声音的不同方式。这种变换处理的一些示例包括：

[0053] RMS：针对给定时间间隔计算均方根信号功率。这种均方根信息允许在事件声音的响度如何随时间波动的方面理解事件声音。

[0054] 峰度：峰度是事件声音中存在峰值或瞬变的程度的统计量度。峰度允许将环境噪声与人造声音分离。

[0055] 小波：小波分析揭示事件声音的频率内容如何随时间变化。

[0056] 虽然以上代表在声音分类中有用的一些变换，但是该列表绝不是穷举的。

[0057] 一旦在88处已经由DSP对数据进行处理，则在90处执行特征提取。在特征提取过程中，通过每个DSP处理变换所揭示的特征被表示为根据一个或多个预定义模型组织的参数。通过这种参数化，可以将特征集合与使用来自已知源的声音所训练的先前构建的模型进行比较。通过对于飞行器上所有遭受故障的部件和振动结构的声音产生的特征预先构建模型，使通过以下方式对未知声音进行分类变得可能：相对于每个经过训练的模型测试未知声音，以获得未知声音可能已由每个经过训练的模型生成的似然分数。然后使用具有最高似然分数的模型对未知声音进行分类。在一些情况下，使用n个最佳似然分数来关于什么导致未知声音产生几个“意见”。通过使用由模块84获得的位置信息，有可能从这些n个最佳选项中选择正确的原因。

[0058] 深度学习神经网络

[0059] 深度学习神经网络由节点层(计算机实现的神经元)组成。第一层，称为输入层，后面是多个隐藏层，其最终馈送到输出层。神经元通过称为突触的连接相互耦合，突触具有关联权重，关联权重影响前一个神经元在整个神经网络中的重要性。这些权重通过训练进行调整。

[0060] 除了具有可训练的权重之外，神经元还被配置为嵌入所谓的激活函数，该激活函数控制神经元生成什么信息以传递到下一层。

[0061] 针对所公开的事件声音分类器，深度学习神经网络被设计为对记录的事件数据80进行操作，就好像它是多维图形信息一样。将记录的音频数据表示为图形数据是深度学习神经网络的优势之一。因此，记录的事件数据以声谱图(spectrogram)92的形式表示，该声谱图92例如可以通过将数字音频数据图形化地表示为瀑布图(waterfall diagram)来产生，该瀑布图在单个图形图像中既传达音频声音的频率分布又传达它们的时变性质。因此，单个图形图像将具有三个维度：信号强度、频率和时间。为了在二维图像帧中呈现这种三维信息，可以使用颜色来传达三个维度之一。在图9中对此示出了说明，其中颜色维度以灰度显示。

[0062] 以与训练特征提取模型的方式相似的方式，深度学习神经网络94关于声音集合进行训练，这些声音很可能是用于训练特征提取模型的相同声音。在训练过程中，这些声音被表示为三维图形图像，以表示信号强度、频率和时间。

[0063] 在采用位置信息、特征提取和深度学习神经网络分析之后，最终分类模块96做出最终决定：是否可以根据训练声音之一对事件声音进行分类，或者事件声音是否表示新事物。上面讨论了位置信息可以如何帮助挑选出通过特征提取所识别的最可能候选。可以使用相同的过程来验证神经网络候选——如果神经网络候选存在于通过阵列信号数据观察到的位置，则候选经过验证；如果不是，则候选受到质疑。

[0064] 可以使用类似的过程来权衡特征提取和神经网络过程的结果。如果特征提取结果和神经网络结果相符，并且与位置信息一致，则可以为分类分配非常高的置信度。在一些情况下，神经网络候选可能对应于n个最佳特征提取候选之一。这种相关可以用于增加该候选的似然分数。

[0065] 尽管在前述详细描述中已经提出了至少一个示例性实施例，但是应当理解，存在大量的变型。还应当理解，示例性实施例或多个示例性实施例仅是示例，并且不旨在以任何方式限制本发明的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实现如本文考虑的示例性实施例的便利路线图。应当理解，在不脱离如所附权利要求中阐述的本发明的范围的情况下，可以在示例性实施例中描述的元件的功能和布置中进行各种改变。