一种耳机音频处理方法及装置

摘要

本发明公开了一种耳机音频处理方法及装置，具体涉及音频处理技术领域，具体包括以下步骤：音频获取模块安装在耳机内部，通过脉宽调制技术对音频进行处理传输至音频特征提取模块，然后音频特征提取模块通过音频频谱处理、音位处理以及非结构音频处理获得音频特征；然后音频降噪处理模块根据音频特征提取模块已经特征提取的音频读取后进行音频去噪处理，获得去噪音频；接着去噪检测模块对去噪进一步降噪，获得降噪音频，保证音频输出质量；本发明通过音频特征提取模块将噪声数据和正常的音频数据划分到相应的区域内，为音频降噪处理提供了基础，通过去噪检测模块在精度和时间效率上具有大幅度提高为去噪后的音频实时监测。

权利要求

1.一种耳机音频处理方法，其特征在于：其运行步骤具体如下：

步骤S1、音频获取模块安装在耳机内部，通过脉宽调制技术对音频进行处理传输至音频特征提取模块，然后音频特征提取模块通过音频频谱处理、音位处理以及非结构音频处理获得音频特征；

步骤S2、然后音频降噪处理模块根据音频特征提取模块已经特征提取的音频读取后进行音频去噪处理，获得去噪音频；

步骤S3、接着去噪检测模块对去噪进一步降噪，获得降噪音频，保证音频输出质量；

步骤S4、最后三维立体声模块利用HPPR混合混响的模拟方式和参数化预测的方式获得三维立体混合音频；

所述音频降噪处理模块采用平均化处理的方式将不同的特征提取后的原始音频数据作为数值型数据，输入单个音频，步骤如下：音频数据集为X={X1,X2,X3,…,Xi,…,Xm}，此处m是音频文件的个数，Xi代表第i个音频文件；

音频输入为Xi={Xi（1）,Xi（2）,Xi（3）,…,Xi（j）,…,Xi（n）}，此处n代表特征的种类；

音频输出为ACC(X)，

具体步骤如下：

A1：对实时音频特征提取的特征信息进行预处理；

A2：按照7:2:1的比例划分训练、验证和测试集；

A3：训练得到去噪模型，每10个音频数据集展示一次检测结果并记录至为音频数据库；

A4：调整数据参数并优化模型结构；

A5：输出ACC(X)，

其中ACC(X)为降噪处理后的音频；

所述去噪检测模块是通过引用池化层理念将原始音频数据中的所有信息集中到一个点上，其中包含噪声点和去噪点，所述噪声与主音频之间存在映射关系H(·)，即通过噪声点 和去噪点（t）去噪模型和降噪模型去除噪声：去噪模型： ；

降噪模型： ，

其中 为去噪音频， 为降噪音频，H(t)为主音频中存在的去噪点，i为第i个音频文件,所述去噪检测模块对原始音频先去噪大部分噪声，再利用降噪模型进行降噪处理，得到纯净的音频，所述去噪检测模块利用去噪点和降噪点两种关系分析出不同的特征提取规则，依据不同的特征提取规则使得每一个音频都具有详细的标识，经过去噪和降噪处理后的数据准确的学习噪声特征，易于区分噪声音频和清洗噪声音频。

2.根据权利要求1所述的一种耳机音频处理方法，其特征在于：所述音频特征提取模块包括音频频谱处理单元、音位处理单元和非结构音频处理单元，所述音频频谱处理单元通过快速傅里叶变换的方式进行处理，傅里叶公式计算中，通过周期函数将不同的振动和不同相位的正弦波进行叠加，获得不同音频频谱，通过计算频谱投影点与最接近峰值之间的距离得到相位差，利用相位差绘制准确的正弦函数。

3.根据权利要求2所述的一种耳机音频处理方法，其特征在于：所述音位处理单元是对音频按照序列分出的三个部分，即音位、音节和音素，利用音位通过梅尔频率倒谱系数的方式进行处理，获得音位对应特定的音素或单个音位对应一组音素中的任何一个，所述非结构音频处理单元通过对音频类非结构化数据进行整个向量化标识，利用连续数值离散化的方式将其划分不同音域范围。

4.根据权利要求1所述的一种耳机音频处理方法，其特征在于：所述三维立体声模块通过音频的物理特性和感知特性利用HPPR混合混响的模拟方式在音频特征处理后建立卷积ISM建模的短早期音频与音频信号模拟，之后利用早期混响后的参数化预测模型自动计算确定获得三维立体混合音频，所述参数化预测模型依据卷积ISM建模处理后的音频再利用FDN实现后期的混响效果。

5.根据权利要求4所述的一种耳机音频处理方法，其特征在于：所述卷积ISM建模是在一个封闭的环境中，一个点声源产生的混响由一系列特定位置的虚拟声源产生的声压来进行建模，获得立体修正音频。

说明书

一种耳机音频处理方法及装置

技术领域

[0001] 本发明涉及音频处理技术领域，更具体地说，本发明涉及一种耳机音频处理方法及装置。

背景技术

[0002] 随着无线通信技术的快速发展，无线通信技术的应用场合越来越多，例如将无线通信技术应用于耳机上，使得无线耳机具有很高的便捷性，因此受到人们的青睐，随着智能电子产品越来越成为人们生活中不可或缺的产品，无线耳机也成了智能电子产品播放音频的产品，无线耳机在传输音频时，常常因为音频数据采集、接收以及数据传输过程中，各个模块或装置出现相互干扰的情形，使得无线耳机出现不同的噪声，给人们在使用耳机时降低了用户的体验感。

[0003] 目前耳机音频处理主要通过使用耳机壳外侧装置的麦克风来测量环境噪声，利用噪声消除信号将扬声器位置外的环境噪声消除，为了从耳道麦克风信号中去除主音频信号来识别剩余的环境噪声，从耳道麦克风信号中减去主音频信号滤波后的正确相位和幅度，但是嘈杂的环境中，需要主要分析的是音频以外的环境杂音，没有对音频在传输过程中产生的噪声进行处理，此外去除的杂音效果不好无法到达三维立体身临其境的音频效果，因此需要一种新的一种耳机音频处理方法。

发明内容

[0004] 为了克服现有技术的上述缺陷，本发明的实施例提供一种耳机音频处理方法及装置，通过音频特征提取模块将噪声数据和正常的音频数据划分到相应的区域内，为音频降噪处理提供了基础，通过去噪检测模块在精度和时间效率上具有大幅度提高为去噪后的音频实时监测，通过三维立体声模块利用HPPR混合混响的模拟方式和参数化预测的方式获得三维立体混合音频确保早期混响和后期混响在音域中平滑过渡，使得音频具有快速且真实立体的混合效果，使得用户具有身临其境的感觉，以解决上述背景技术中提出的问题。

[0005] 为实现上述目的，本发明提供如下技术方案：一种耳机音频处理方法，其运行步骤具体如下：

[0006] 步骤S1、音频获取模块安装在耳机内部，通过脉宽调制技术对音频进行处理传输至音频特征提取模块，然后音频特征提取模块通过音频频谱处理、音位处理以及非结构音频处理获得音频特征；

[0007] 步骤S2、然后音频降噪处理模块根据音频特征提取模块已经特征提取的音频读取后进行音频去噪处理，获得去噪音频；

[0008] 步骤S3、接着去噪检测模块对去噪进一步降噪，获得降噪音频，保证音频输出质量；

[0009] 步骤S4、最后三维立体声模块利用HPPR混合混响的模拟方式和参数化预测的方式获得三维立体混合音频。

[0010] 一种耳机音频处理装置，包括音频获取模块、音频特征提取模块、音频降噪处理模块、去噪检测模块、三维立体声模块，所述音频获取模块安装在耳机内部，通过脉宽调制技术对音频进行处理传输至音频特征提取模块，所述音频特征提取模块通过音频频谱处理、音位处理以及非结构音频处理获得音频特征，所述音频降噪处理模块根据音频特征提取模块已经特征提取的音频读取后进行音频去噪处理，获得去噪音频，所述去噪检测模块是对去噪进一步降噪，获得降噪音频，保证音频输出质量，所述三维立体声模块利用HPPR混合混响的模拟方式和参数化预测的方式获得三维立体混合音频。

[0011] 在一个优选的实施方式中，所述音频特征提取模块包括音频频谱处理单元、音位处理单元和非结构音频处理单元，所述音频频谱处理单元通过快速傅里叶变换的方式进行处理，由于音频是通过振动产生，傅里叶公式计算中，通过周期函数将不同的振动和不同相位的正弦波进行叠加，获得不同音频频谱，通过计算频谱投影点与最接近峰值之间的距离得到相位差，利用相位差绘制准确的正弦函数。

[0012] 在一个优选的实施方式中，所述音位处理单元是对音频按照序列分出的三个部分，即音位、音节和音素，利用音位通过梅尔频率倒谱系数的方式进行处理，获得音位对应特定的音素或单个音位对应一组音素中的任何一个，所述非结构音频处理单元通过对音频类非结构化数据进行整个向量化标识，利用连续数值离散化的方式将其划分不同音域范围，这是由于噪声数据存在于离群区间，因此将噪声数据和正常的音频数据划分到相应的区域内，为音频降噪处理提供了基础。

[0013] 在一个优选的实施方式中，所述音频降噪处理模块采用平均化处理的方式将不同的特征提取后的原始音频数据作为数值型数据，输入单个音频，步骤如下：

[0014] 音频数据集为X={X1,X2,X3,…,Xi,…,Xm}，此处m是音频文件的个数，Xi代表第i个音频文件；

[0015] 音频输入为Xi={Xi（1）,Xi（2）,Xi（3）,…,Xi（j）,…,Xi（n）}，此处n代表特征的种类；

[0016] 音频输出为ACC(X)，

[0017] 具体步骤如下：

[0018] A1：对实时音频特征提取的特征信息进行预处理；

[0019] A2：按照7:2:1的比例划分训练、验证和测试集；

[0020] A3：训练得到去噪模型，每10个音频数据集展示一次检测结果并记录至为音频数据库；

[0021] A4：调整数据参数并优化模型结构；

[0022] A5：输出ACC(X)，

[0023] 其中ACC(X)为降噪处理后的音频，Dense‑DNN模型为去噪模型，通过音频降噪处理模块处理的过程，快速根据处理好的音频特征进行降噪处理为去噪检测模块做好了基础。

[0024] 在一个优选的实施方式中，所述去噪检测模块是通过引用池化层理念将原始音频数据中的所有信息集中到一个点上，其中包含噪声点和去噪点，所述噪声与主音频之间存在映射关系 ，即通过噪声点 和去噪点（t）去噪模型和降噪模型去除噪声：

[0025] 去噪模型： ；

[0026] 降噪模型： ，

[0027] 其中 为去噪音频， 为降噪音频，H(t)为主音频中存在的去噪点，i为第i个音频文件,所述去噪检测模块对原始音频先去噪大部分噪声，再利用降噪模型进行降噪处理，得到纯净的音频，所述去噪检测模块利用去噪点和降噪点两种关系分析出不同的特征提取规则，依据不同的特征提取规则使得每一个音频都具有详细的标识，经过去噪和降噪处理后的数据准确的学习噪声特征，易于区分噪声音频和清洗噪声音频，通过去噪检测模块在精度和时间效率上具有大幅度提高为去噪后的音频实时监测。

[0028] 在一个优选的实施方式中，所述三维立体声模块通过音频的物理特性和感知特性利用HPPR混合混响的模拟方式在音频特征处理后建立卷积ISM建模的短早期音频与音频信号模拟，之后利用早期混响后的参数化预测模型自动计算确定获得三维立体混合音频，所述参数化预测模型依据卷积ISM建模处理后的音频再利用FDN实现后期的混响效果，此方式确保早期混响和后期混响在音域中平滑过渡，使得音频具有快速且真实立体的混合效果，使得用户具有身临其境的感觉。

[0029] 在一个优选的实施方式中，所述卷积ISM建模是在一个封闭的环境中，一个点声源产生的混响由一系列特定位置的虚拟声源产生的声压来进行建模，获得立体修正音频，减少卷积运算，确保了音频的三维立体混合的真实性。

附图说明

[0030] 图1为本发明的系统结构框图。

[0031] 图2为本发明的方法流程图。

具体实施方式

[0032] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0033] 本申请实施例可以应用于计算机系统/服务器，其可与众多其他通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境等等。

[0034] 计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令（诸如程序模块）的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

[0035] 实施例1

[0036] 本实施例提供了如图1所示一种耳机音频处理装置，包括音频获取模块、音频特征提取模块、音频降噪处理模块、去噪检测模块、三维立体声模块，所述音频获取模块安装在耳机内部，通过脉宽调制技术对音频进行处理传输至音频特征提取模块，所述音频特征提取模块通过音频频谱处理、音位处理以及非结构音频处理获得音频特征，所述音频降噪处理模块根据音频特征提取模块已经特征提取的音频读取后进行音频去噪处理，获得去噪音频，所述去噪检测模块是对去噪进一步降噪，获得降噪音频，保证音频输出质量，所述三维立体声模块利用HPPR混合混响的模拟方式和参数化预测的方式获得三维立体混合音频。

[0037] 本实施例提供了如图2所示一种耳机音频处理方法，具体运行方式如下：

[0038] 步骤S1、音频获取模块安装在耳机内部，通过脉宽调制技术对音频进行处理传输至音频特征提取模块，然后音频特征提取模块通过音频频谱处理、音位处理以及非结构音频处理获得音频特征；

[0039] 本实施例需要具体说明的是音频特征提取模块包括音频频谱处理单元、音位处理单元和非结构音频处理单元，所述音频频谱处理单元通过快速傅里叶变换的方式进行处理，由于音频是通过振动产生，傅里叶公式计算中，通过周期函数将不同的振动和不同相位的正弦波进行叠加，获得不同音频频谱，通过计算频谱投影点与最接近峰值之间的距离得到相位差，利用相位差绘制准确的正弦函数。

[0040] 其中需要具体说明的是音位处理单元是对音频按照序列分出的三个部分，即音位、音节和音素，利用音位通过梅尔频率倒谱系数的方式进行处理，获得音位对应特定的音素或单个音位对应一组音素中的任何一个。

[0041] 其中需要具体说明的是非结构音频处理单元通过对音频类非结构化数据进行整个向量化标识，利用连续数值离散化的方式将其划分不同音域范围，这是由于噪声数据存在于离群区间，因此将噪声数据和正常的音频数据划分到相应的区域内，为音频降噪处理提供了基础。

[0042] 步骤S2、然后音频降噪处理模块根据音频特征提取模块已经特征提取的音频读取后进行音频去噪处理，获得去噪音频；

[0043] 本实施例需要具体说明的是音频降噪处理模块采用平均化处理的方式将不同的特征提取后的原始音频数据作为数值型数据，输入单个音频，步骤如下：

[0044] 音频数据集为X={X1,X2,X3,…,Xi,…,Xm}，此处m是音频文件的个数，Xi代表第i个音频文件；

[0045] 音频输入为Xi={Xi（1）,Xi（2）,Xi（3）,…,Xi（j）,…,Xi（n）}，此处n代表特征的种类；

[0046] 音频输出为ACC(X)，

[0047] 具体步骤如下：

[0048] A1：对实时音频特征提取的特征信息进行预处理；

[0049] A2：按照7:2:1的比例划分训练、验证和测试集；

[0050] A3：训练得到去噪模型，每10个音频数据集展示一次检测结果并记录至为音频数据库；

[0051] A4：调整数据参数并优化模型结构；

[0052] A5：输出ACC(X)，

[0053] 其中ACC(X)为降噪处理后的音频，Dense‑DNN模型为去噪模型，通过音频降噪处理模块处理的过程，快速根据处理好的音频特征进行降噪处理为去噪检测模块做好了基础。

[0054] 步骤S3、接着去噪检测模块对去噪进一步降噪，获得降噪音频，保证音频输出质量；

[0055] 本实施例需要具体说明的是去噪检测模块是通过引用池化层理念将原始音频数据中的所有信息集中到一个点上，其中包含噪声点和去噪点，所述噪声与主音频之间存在映射关系 ，即通过噪声点 和去噪点（t）去噪模型和降噪模型去除噪声：

[0056] 去噪模型： ；

[0057] 降噪模型：  ，

[0058] 其中 为去噪音频， 为降噪音频，H(t)为主音频中存在的去噪点，i为第i个音频文件,所述去噪检测模块对原始音频先去噪大部分噪声，再利用降噪模型进行降噪处理，得到纯净的音频，所述去噪检测模块利用去噪点和降噪点两种关系分析出不同的特征提取规则，依据不同的特征提取规则使得每一个音频都具有详细的标识，经过去噪和降噪处理后的数据准确的学习噪声特征，易于区分噪声音频和清洗噪声音频，通过去噪检测模块在精度和时间效率上具有大幅度提高为去噪后的音频实时监测。

[0059] 步骤S4、最后三维立体声模块利用HPPR混合混响的模拟方式和参数化预测的方式获得三维立体混合音频。

[0060] 本实施例需要具体说明的是三维立体声模块通过音频的物理特性和感知特性利用HPPR混合混响的模拟方式在音频特征处理后建立卷积ISM建模的短早期音频与音频信号模拟，之后利用早期混响后的参数化预测模型自动计算确定获得三维立体混合音频，此方式确保早期混响和后期混响在音域中平滑过渡，使得音频具有快速且真实立体的混合效果，使得用户具有身临其境的感觉。

[0061] 其中需要具有说明的是卷积ISM建模是在一个封闭的环境中，一个点声源产生的混响由一系列特定位置的虚拟声源产生的声压来进行建模，从而获得立体修正音频，所述参数化预测模型依据卷积ISM建模处理后的音频再利用FDN实现后期的混响效果，减少卷积运算，确保了音频的三维立体混合的真实性。

[0062] 最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。