一种信号处理方法、装置及终端转让专利

申请号 : CN201710524410.X

文献号 : CN109218920B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 陈日林李贤胜赵翔宇

申请人 : 华为技术有限公司

摘要 :

本申请提供一种信号处理方法、装置及终端,涉及音频技术领域,可以在生成环绕音的过程中,补偿获得的心形指向性信号的低频损失,提高该心形指向性信号低频段的信噪比。具体方案包括:获取麦克风阵列中第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号;对各个麦克风的信号进行差分处理,得到第一初始指向性信号、第二初始指向性信号、第三初始指向性信号和第四初始指向性信号;基于维纳滤波方法,分别对各个初始指向性信号进行低频补偿,得到第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号;根据各个指向性信号,得到第一声场分量、第二声场分量、第三声场分量和第四声场分量。

权利要求 :

1.一种信号处理方法,其特征在于,应用于包括至少4个全指向性麦克风组成的麦克风阵列的终端;

所述方法包括:

获取所述麦克风阵列中第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号,其中,所述第一麦克风、所述第二麦克风和所述第三麦克风位于第一平面内,所述第四麦克风位于所述第一平面外;

对所述第一麦克风的信号、所述第二麦克风的信号、所述第三麦克风的信号和所述第四麦克风的信号进行差分处理,得到第一初始指向性信号、第二初始指向性信号、第三初始指向性信号和第四初始指向性信号;

基于维纳滤波方法,分别对所述第一初始指向性信号、所述第二初始指向性信号、所述第三初始指向性信号和所述第四初始指向性信号进行低频补偿,得到第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号;

根据所述第一指向性信号、所述第二指向性信号、所述第三指向性信号和所述第四指向性信号,得到第一声场分量、第二声场分量、第三声场分量和第四声场分量;

所述基于维纳滤波方法,分别对所述第一初始指向性信号、所述第二初始指向性信号、所述第三初始指向性信号和所述第四初始指向性信号进行低频补偿,得到第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号,包括:根据所述第一初始指向性信号、所述第二初始指向性信号、所述第三初始指向性信号和所述第四初始指向性信号,计算全指向性麦克风信号;

计算所述全指向性麦克风信号的自功率谱;

计算第一互功率谱,第二互功率谱,第三互功率谱和第四互功率谱,其中,所述第一互功率谱为所述全指向性麦克风信号与所述第一初始指向性信号的互功率谱,所述第二互功率谱为所述全指向性麦克风信号与所述第二初始指向性信号的互功率谱,所述第三互功率谱为所述全指向性麦克风信号与所述第三初始指向性信号的互功率谱,所述第四互功率谱为所述全指向性麦克风信号与所述第四初始指向性信号的互功率谱;

根据所述第一互功率谱和所述自功率谱得到第一增益,根据所述第二互功率谱和所述自功率谱得到第二增益,根据所述第三互功率谱和所述自功率谱得到第三增益,根据所述第四互功率谱和所述自功率谱得到第四增益;

根据所述第一增益和所述第一初始指向性信号得到第一指向性信号,根据所述第二增益和所述第二初始指向性信号得到第二指向性信号,根据所述第三增益和所述第三初始指向性信号得到第三指向性信号,根据所述第四增益和所述第四初始指向性信号得到第四指向性信号。

2.根据权利要求1所述的方法,其特征在于,所述根据所述第一互功率谱和所述自功率谱得到第一增益,包括:根据所述第一互功率谱与所述自功率谱的比值,得到第一增益。

3.根据权利要求2所述的方法,其特征在于,所述对所述第一麦克风的信号进行差分处理,得到第一初始指向性信号,包括:根据所述第一麦克风的信号与所述第二麦克风的信号的时延差,对所述第一麦克风的信号和所述第二麦克风的信号进行差分处理,得到第一初始指向性信号。

4.根据权利要求3所述的方法,其特征在于,所述根据所述第一指向性信号,得到第一声场分量包括:采用解码矩阵,对所述第一指向性信号进行求逆处理,得到第一声场分量,所述解码矩阵为预先设置的。

5.根据权利要求4所述的方法,其特征在于,在所述获取所述麦克风阵列中第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号之前,还包括:确定所述终端的工作状态为第一工作状态,所述第一工作状态为平放状态、竖直状态和横向状态中任一种;其中,所述终端处于所述第一工作状态时,所述第一麦克风、所述第二麦克风和所述第三麦克风位于第一平面内,所述第四麦克风位于所述第一平面外。

6.根据权利要求1-5中任一项所述的方法,其特征在于,在所述得到第一声场分量、第二声场分量、第三声场分量和第四声场分量之后,还包括:根据所述第一声场分量、所述第二声场分量、所述第三声场分量和所述第四声场分量,获得至少一路扬声器激励信号。

7.一种信号处理装置,其特征在于,应用于包括至少4个全指向性麦克风组成的麦克风阵列的终端;

所述装置包括:

获取模块,用于获取所述麦克风阵列中第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号,其中,所述第一麦克风、所述第二麦克风和所述第三麦克风位于第一平面内,所述第四麦克风位于所述第一平面外;

差分模块,用于对所述获取模块获取的所述第一麦克风的信号、所述第二麦克风的信号、所述第三麦克风的信号和所述第四麦克风的信号进行差分处理,得到第一初始指向性信号、第二初始指向性信号、第三初始指向性信号和第四初始指向性信号;

补偿模块,用于基于维纳滤波方法,分别对所述差分模块得到的所述第一初始指向性信号、所述第二初始指向性信号、所述第三初始指向性信号和所述第四初始指向性信号进行低频补偿,得到第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号;

声场生成模块,用于根据所述补偿模块得到的所述第一指向性信号、所述第二指向性信号、所述第三指向性信号和所述第四指向性信号,得到第一声场分量、第二声场分量、第三声场分量和第四声场分量;

所述补偿模块,具体用于,根据所述差分模块得到的所述第一初始指向性信号、所述第二初始指向性信号、所述第三初始指向性信号和所述第四初始指向性信号,计算全指向性麦克风信号;计算所述全指向性麦克风信号的自功率谱;计算第一互功率谱,第二互功率谱,第三互功率谱和第四互功率谱,其中,所述第一互功率谱为所述全指向性麦克风信号与所述第一初始指向性信号的互功率谱,所述第二互功率谱为所述全指向性麦克风信号与所述第二初始指向性信号的互功率谱,所述第三互功率谱为所述全指向性麦克风信号与所述第三初始指向性信号的互功率谱,所述第四互功率谱为所述全指向性麦克风信号与所述第四初始指向性信号的互功率谱;根据所述第一互功率谱和所述自功率谱得到第一增益,根据所述第二互功率谱和所述自功率谱得到第二增益,根据所述第三互功率谱和所述自功率谱得到第三增益,根据所述第四互功率谱和所述自功率谱得到第四增益;根据所述第一增益和所述第一初始指向性信号得到第一指向性信号,根据所述第二增益和所述第二初始指向性信号得到第二指向性信号,根据所述第三增益和所述第三初始指向性信号得到第三指向性信号,根据所述第四增益和所述第四初始指向性信号得到第四指向性信号。

8.根据权利要求7所述的装置,其特征在于,所述补偿模块具体用于,根据所述第一互功率谱与所述自功率谱的比值,得到第一增益。

9.根据权利要求8所述的装置,其特征在于,所述差分模块,具体用于,根据所述获取模块得到的所述第一麦克风的信号与所述第二麦克风的信号的时延差,对所述第一麦克风的信号和所述第二麦克风的信号进行差分处理,得到第一初始指向性信号。

10.根据权利要求9所述的装置,其特征在于,所述声场生成模块,具体用于,采用解码矩阵,对所述补偿模块得到的所述第一指向性信号进行求逆处理,得到第一声场分量,所述解码矩阵为预先设置的。

11.根据权利要求10所述的装置,其特征在于,还包括:

确定模块,用于在所述获取模块获取所述麦克风阵列中第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号之前,确定所述终端的工作状态为第一工作状态,所述第一工作状态为平放状态、竖直状态和横向状态中任一种;其中,所述第一麦克风、所述第二麦克风和所述第三麦克风位于第一平面内,所述第四麦克风位于所述第一平面外。

12.根据权利要求7-11中任一项所述的装置,其特征在于,还包括:

扬声器信号生成模块,用于根据所述声场生成模块得到的所述第一声场分量、所述第二声场分量、所述第三声场分量和所述第四声场分量,获得至少一路扬声器激励信号。

13.一种终端,其特征在于,包括:一个或多个处理器、存储器、音频电路和总线;

所述音频电路包括至少4个麦克风;

所述存储器用于存储至少一个指令,所述一个或多个处理器、所述存储器和所述音频电路通过所述总线连接,当所述终端运行时,所述一个或多个处理器执行所述存储器存储的所述至少一个指令,以使所述终端通过所述音频电路执行如权利要求1-6中任一项所述的信号处理方法。

14.一种计算机存储介质,其特征在于,包括:至少一个指令;

当所述至少一个指令在计算机上运行时,使得所述计算机执行如权利要求1-6中任一项所述的信号处理方法。

说明书 :

一种信号处理方法、装置及终端

技术领域

[0001] 本发明实施例涉及音频技术领域,特别涉及一种信号处理方法、装置及终端。

背景技术

[0002] 随着4G技术和5G技术的发展,宽带(Broad band)的急剧增长,环绕声的录制与播放技术在当前移动终端中应用的越来越多。其中,环绕声的声场可以为三维声场。
[0003] 当前可以使用4个指向性麦克风分别采集4个不同方向的心型指向性信号(简称为指向性信号),以生成三维声场的声场分量W、X、Y和Z。其中,上述声场分量W、X、Y和Z为B-format格式的信号。随后,可以解码上述声场分量W、X、Y和Z以获得指向不同方向的扬声器激励信号,输出这些扬声器激励信号便可以生成环绕声。然而,移动终端上无法配置上述指向性麦克风,而可以配置全指向性麦克风。此时,可以通过4个全指向性的麦克风采集声音信号,并使用差分方法处理这些全指向性的麦克风采集到的声音信号,以得到4个不同方向的指向性信号。其中,上述采用差分方法得到的4个不同方向的指向性信号是存在严重的低频损失的,且信噪比较低。
[0004] 现有技术中,为了提高上述采用差分方法得到的4个指向性信号的信噪比,可以采用低通滤波器对该4个指向性信号进行低频补偿。存在的问题是,采用上述低通滤波器虽然补偿了4个差分处理后的指向性信号地低频损失,但是同时抬高了该4个指向性信号的本底噪声,使得该4个指向性信号低频段的信噪比较低。从而,根据这4个指向性信号得到的扬声器激励信号的质量有待提高。

发明内容

[0005] 本申请提供一种信号处理方法、装置及终端,可以在生成环绕音的过程中,补偿获得的心形指向性信号的低频损失,提高该心形指向性信号低频段的信噪比。
[0006] 为达到上述目的,本申请采用如下技术方案:
[0007] 第一方面,提供一种信号处理方法,应用于包括至少4个全指向性麦克风组成的麦克风阵列的终端;该方法包括:获取麦克风阵列中第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号,其中,第一麦克风、第二麦克风和第三麦克风位于第一平面内,第四麦克风位于第一平面外;对第一麦克风的信号、第二麦克风的信号、第三麦克风的信号和第四麦克风的信号进行差分处理,得到第一初始指向性信号、第二初始指向性信号、第三初始指向性信号和第四初始指向性信号;基于维纳滤波方法,分别对第一初始指向性信号、第二初始指向性信号、第三初始指向性信号和第四初始指向性信号进行低频补偿,得到第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号;根据第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号,得到第一声场分量、第二声场分量、第三声场分量和第四声场分量。
[0008] 需要说明的是,本申请提供的信号处理方法,终端采用基于维纳滤波方法,可以补偿得到的心形指向性信号的低频损失,进而提高心形指向性信号的信噪比。从而,终端可以提高根据补偿后的心形指向性信号得到的声场分量W、X、Y和Z的质量。即终端可以提高根据该声场分量W、X、Y和Z得到的环绕音的质量。
[0009] 并且,由于本申请提供的终端包括的麦克风阵列中第一麦克风、第二麦克风、第三麦克风位于第一平面内,第四麦克风位于第一平面外;因此,上述麦克风阵列为三维的;从而,终端可以根据三维的麦克风阵列中的麦克风获得的信号生成三维的环绕音。
[0010] 结合第一方面,在第一种可能的实现方式中,上述基于维纳滤波方法,对第一初始指向性信号、第二初始指向性信号、第三初始指向性信号和第四初始指向性信号进行低频补偿,得到第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号可以包括:根据第一初始指向性信号、第二初始指向性信号、第三初始指向性信号和第四初始指向性信号,计算全指向性麦克风信号;计算全指向性麦克风信号的自功率谱;计算第一互功率谱,第二互功率谱,第三互功率谱和第四互功率谱,其中,第一互功率谱为全指向性麦克风信号与第一初始指向性信号的互功率谱,第二互功率谱为全指向性麦克风信号与第二初始指向性信号的互功率谱,第三互功率谱为全指向性麦克风信号与第三初始指向性信号的互功率谱,第四互功率谱为全指向性麦克风信号与第四初始指向性信号的互功率谱;根据第一互功率谱和自功率谱得到第一增益,根据第二互功率谱和自功率谱得到第二增益,根据第三互功率谱和自功率谱得到第三增益,根据第四互功率谱和自功率谱得到第四增益;根据第一增益和第一初始指向性信号得到第一指向性信号,根据第二增益和第二初始指向性信号得到第二指向性信号,根据第三增益和第三初始指向性信号得到第三指向性信号,根据第四增益和第四初始指向性信号得到第四指向性信号。
[0011] 其中,由于维纳滤波的滤波器的输出与期望输出之间的均方误差为最小,因此终端基于维纳滤波方法,分别对第一初始指向性信号、第二初始指向性信号、第三初始指向性信号和第四初始指向性信号进行低频补偿,得到的第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号的低频损失可以得到较好的补偿。如此,上述第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号的低频段的信噪比得以提高,即该第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号的信噪比得以提高。
[0012] 结合第一种可能的实现方式,在第二种可能的实现方式中,上述根据第一互功率谱和自功率谱得到第一增益,根据第二互功率谱和自功率谱得到第二增益,根据第三互功率谱和自功率谱得到第三增益,根据第四互功率谱和自功率谱得到第四增益可以包括:根据第一互功率谱与自功率谱的比值,得到第一增益;根据第二互功率谱与自功率谱的比值,得到第二增益;根据第三互功率谱与自功率谱的比值,得到第三增益;根据第四互功率谱和自功率谱的比值,得到第四增益。
[0013] 需要说明的是,本申请提供的信号处理方法中,终端可以获得上述各个心形指向性信号的增益,该增益可以赋予心形指向性信号方向性,同时保留该心形指向性信号的频域特性。从而,终端获得的补偿后的心形指向性信号既具有方向性,又具有全通频响特性,达到了低频补偿的效果。
[0014] 结合第二种可能的实现方式,在第三种可能的实现方式中,由于终端包括的麦克风阵列中的4个麦克风获得同一声源发出的信号是有时延差的,因此终端可以根据上述4个麦克风的信号结合该4个麦克风的信号之间的时延差,获得4个心形指向性信号。具体的,上述对第一麦克风的信号、第二麦克风的信号、第三麦克风的信号和第四麦克风的信号进行差分处理,得到第一初始指向性信号、第二初始指向性信号、第三初始指向性信号和第四初始指向性信号可以包括:根据第一麦克风的信号与第二麦克风的信号的时延差,对第一麦克风的信号和第二麦克风的信号进行差分处理,得到第一初始指向性信号;根据第二麦克风的信号与第三麦克风的信号的时延差,对第二麦克风的信号和第三麦克风的信号进行差分处理,得到第二初始指向性信号;根据第三麦克风的信号与第一麦克风的信号的时延差,对第三麦克风的信号和第一麦克风的信号进行差分处理,得到第三初始指向性信号;根据第四麦克风的信号与第一麦克风、第二麦克风、第三麦克风中任一麦克风的信号的时延差,对第四麦克风的信号和任一麦克风的信号进行差分处理,得到第四初始指向性信号。
[0015] 其中,本申请中终端对各个麦克风的信号进行差分处理的过程中,可以消除各个麦克风的信号之间的时延差。从而,终端可以得到质量较好的心形指向性信号,进而得到质量较好的环绕音。
[0016] 结合第三种可能的实现方式,在第四种可能的实现方式中,上述根据第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号,得到第一声场分量、第二声场分量、第三声场分量和第四声场分量可以包括:采用解码矩阵,对第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号进行求逆处理,分别得到第一声场分量、第二声场分量、第三声场分量和第四声场分量,该解码矩阵为预先设置的。
[0017] 具体的,在经过低频补偿后的各个心形指向性信号的向量(记为C)和解码矩阵(记为D)已知的情形下,这里D表示4个心形指向性信号对应的解码矩阵,终端可以计算B=D-1C,以得到声场分量W、X、Y和Z组成的矩阵(记为B)。其中,由于终端通过上述矩阵求逆的方法可以获得声场分量W、X、Y和Z组成的矩阵的最优解,即上述声场分量W、X、Y和Z的质量较好,因此根据该声场分量W、X、Y和Z得到的环绕音的质量较好。
[0018] 结合第四种可能的实现方式,在第五种可能的实现方式中,在上述获取麦克风阵列中第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号之前还可以包括:确定终端的工作状态为第一工作状态,第一工作状态为平放状态、竖直状态和横向状态中任一种;其中,终端处于第一工作状态时,上述第一麦克风、所述第二麦克风和所述第三麦克风位于第一平面内,所述第四麦克风位于所述第一平面外。
[0019] 其中,在不同的工作状态下终端中平行于水平面的平面是不同的,即第一平面不同。终端确定出其工作状态便确定出了上述第一平面。并且,在终端处于不同工作状态时,本申请中提供的第一麦克风、第二麦克风、第三麦克风和第四麦克风具体指代的麦克风不同。从而,终端可以根据其工作状态的不同,确定出不同的第一麦克风、第二麦克风、第三麦克风和第四麦克风,使得根据这4个麦克风的信号得到的4个心形指向性信号更能够体现出实际中的声场,进而得到的环绕音的质量较好。
[0020] 结合第一方面或上述任一种可能的实现方式,在第六种可能的实现方式中,在上述得到第一声场分量、第二声场分量、第三声场分量和第四声场分量之后还可以包括:根据第一声场分量、第二声场分量、第三声场分量和第四声场分量,获得至少一路扬声器激励信号。
[0021] 具体的,本申请提供的方法中,终端可以包括用于输出上述至少一路扬声器激励信号的至少1个扬声器。在解码矩阵确定已知的情况下,例如5.0系统扬声器对应的解码矩阵D5.0,终端可以计算获得扬声器的激励信号C5.0=D5.0B。随后,终端通过扬声器输出该扬声器激励信号C5.0之后,便生成环绕音。
[0022] 结合第六种可能的实现方式,在第七种可能的实现方式中,上述获取麦克风阵列中第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号还可以包括:采集第一麦克风、第二麦克风、第三麦克风和第四麦克风的初始信号,第一麦克风、第二麦克风、第三麦克风和第四麦克风的初始信号均为时域信号;分别对第一麦克风、第二麦克风、第三麦克风和第四麦克风的初始信号进行傅里叶变换,得到第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号,第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号均为频域信号。其中,终端将各个麦克风采集的初始信号变换到频域,使得变换得到的各个麦克风的信号可以适用于上述基于维纳滤波方法的信号处理方法中,以实现本申请的目的。
[0023] 第二方面,本申请提供一种信号处理装置,应用于包括至少4个全指向性麦克风组成的麦克风阵列的终端;该装置包括:获取模块、差分模块、补偿模块和声场生成模块。其中,获取模块,用于获取麦克风阵列中第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号,其中,第一麦克风、第二麦克风和第三麦克风位于第一平面内,第四麦克风位于第一平面外;差分模块,用于对获取模块获取的第一麦克风的信号、第二麦克风的信号、第三麦克风的信号和第四麦克风的信号进行差分处理,得到第一初始指向性信号、第二初始指向性信号、第三初始指向性信号和第四初始指向性信号;补偿模块,用于基于维纳滤波方法,分别对差分模块得到的第一初始指向性信号、第二初始指向性信号、第三初始指向性信号和第四初始指向性信号进行低频补偿,得到第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号;声场生成模块,用于根据补偿模块得到的第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号,得到第一声场分量、第二声场分量、第三声场分量和第四声场分量。
[0024] 结合第二方面,在第一种可能的实现方式中,上述补偿模块,具体可以用于根据差分模块得到的第一初始指向性信号、第二初始指向性信号、第三初始指向性信号和第四初始指向性信号,计算全指向性麦克风信号;计算全指向性麦克风信号的自功率谱;计算第一互功率谱,第二互功率谱,第三互功率谱和第四互功率谱,其中,第一互功率谱为全指向性麦克风信号与第一初始指向性信号的互功率谱,第二互功率谱为全指向性麦克风信号与第二初始指向性信号的互功率谱,第三互功率谱为全指向性麦克风信号与第三初始指向性信号的互功率谱,第四互功率谱为全指向性麦克风信号与第四初始指向性信号的互功率谱;根据第一互功率谱和自功率谱得到第一增益,根据第二互功率谱和自功率谱得到第二增益,根据第三互功率谱和自功率谱得到第三增益,根据第四互功率谱和自功率谱得到第四增益;根据第一增益和第一初始指向性信号得到第一指向性信号,根据第二增益和第二初始指向性信号得到第二指向性信号,根据第三增益和第三初始指向性信号得到第三指向性信号,根据第四增益和第四初始指向性信号得到第四指向性信号。
[0025] 结合第一种可能的实现方式,在第二种可能的实现方式中,上述补偿模块具体可以用于根据第一互功率谱与自功率谱的比值,得到第一增益;根据第二互功率谱与自功率谱的比值,得到第二增益;根据第三互功率谱与自功率谱的比值,得到第三增益;根据第四互功率谱和自功率谱的比值,得到第四增益。
[0026] 结合第二种可能的实现方式,在第三种可能的实现方式中,上述差分模块,具体可以用于根据上述获取模块得到的第一麦克风的信号与第二麦克风的信号的时延差,对第一麦克风的信号和第二麦克风的信号进行差分处理,得到第一初始指向性信号;根据上述获取模块得到第二麦克风的信号与第三麦克风的信号的时延差,对第二麦克风的信号和第三麦克风的信号进行差分处理,得到第二初始指向性信号;根据上述获取模块得到第三麦克风的信号与第一麦克风的信号的时延差,对第三麦克风的信号和第一麦克风的信号进行差分处理,得到第三初始指向性信号;根据上述获取模块得到第四麦克风的信号与第一麦克风、第二麦克风、第三麦克风中任一麦克风的信号的时延差,对第四麦克风的信号和任一麦克风的信号进行差分处理,得到第四初始指向性信号。
[0027] 结合第三种可能的实现方式,在第四种可能的实现方式中,上述声场生成模块,具体可以用于采用解码矩阵,对上述补偿模块得到的第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号进行求逆处理,分别得到第一声场分量、第二声场分量、第三声场分量和第四声场分量,该解码矩阵为预先设置的。
[0028] 结合第四种可能的实现方式,在第五种可能的实现方式中,上述装置还可以包括:确定模块。其中,确定模块,用于在上述获取模块获取麦克风阵列中第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号之前,确定终端的工作状态为第一工作状态,第一工作状态为平放状态、竖直状态和横向状态中任一种;其中,上述终端处于第一工作状态时,上述第一麦克风、所述第二麦克风和所述第三麦克风位于第一平面内,所述第四麦克风位于所述第一平面外。
[0029] 结合第六种可能的实现方式,在第七种可能的实现方式中,上述装置还可以包括:采集模块。所述采集模块,用于在上述获取模块得到麦克风阵列中第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号之前,采集第一麦克风、第二麦克风、第三麦克风和第四麦克风的初始信号,第一麦克风、第二麦克风、第三麦克风和第四麦克风的初始信号均为时域信号;上述获取模块,具体用于分别对上述采集模块得到的第一麦克风、第二麦克风、第三麦克风和第四麦克风的初始信号进行傅里叶变换,得到第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号,第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号均为频域信号。
[0030] 第三方面,本申请提供一种终端,该终端包括:一个或多个处理器、存储器、音频电路和总线;该音频电路包括至少4个麦克风;该存储器用于存储至少一个指令;该一个或多个处理器、该存储器和该音频电路通过该总线连接,当该终端运行时,该一个或多个处理器执行该存储器存储的至少一个指令,以使该终端通过该音频电路执行如第一方面或其任一种可能的实现方式中的信号处理方法。
[0031] 第四方面,本申请提供一种计算机存储介质,该计算机存储介质包括:至少一个指令;当该至少一个指令在计算机上运行时,使得计算机执行如第一方面或其各种可能的实现方式中的信号处理方法。
[0032] 第五方面,本申请提供一种计算机程序产品,该计算机程序产品包括:至少一个指令;当该至少一个指令在计算机上运行时,使得计算机执行如第一方面或其各种可能的实现方式中的信号处理方法。
[0033] 需要说明的是,本申请的第三方面中的一个或多个处理器可以为第二方面中的获取模块、差分模块、补偿模块、声场生成模块和扬声器信号生成模块等功能模块的集成,上述一个或多个处理器可以实现上述第二方面的各个功能模块的功能。第二方面和第三方面中各个模块的详细描述以及有益效果分析可以参考上述第一方面及其各种可能的实现方式中的对应描述及技术效果,此处不再赘述。

附图说明

[0034] 图1为本发明实施例提供的一种终端可能的结构示意图一;
[0035] 图2a为本发明实施例提供的一种终端包括的麦克风阵列的示意图;
[0036] 图2b为本发明实施例提供的一种麦克风阵列的示意图一;
[0037] 图2c为本发明实施例提供的一种麦克风阵列的示意图二;
[0038] 图3为本发明实施例提供的一种信号处理方法的流程图一;
[0039] 图4为本发明实施例提供的一种信号处理方法的流程图二;
[0040] 图5为本发明实施例提供的一种信号处理方法的流程图三;
[0041] 图6为本发明实施例提供的一种信号处理方法的流程图四;
[0042] 图7为本发明实施例提供的一种信号处理方法的流程图五;
[0043] 图8为本发明实施例提供的一种信号处理方法的流程图六;
[0044] 图9为本发明实施例提供的一种信号处理方法的流程图七;
[0045] 图10为本发明实施例提供的一种信号处理方法的流程图八;
[0046] 图11为本发明是实施例提供的一种信号处理装置的结构示意图一;
[0047] 图12为本发明是实施例提供的一种信号处理装置的结构示意图二;
[0048] 图13为本发明是实施例提供的一种信号处理装置的结构示意图三;
[0049] 图14为本发明是实施例提供的一种信号处理装置的结构示意图四;
[0050] 图15为本发明是实施例提供的一种终端可能的结构示意图二。

具体实施方式

[0051] 本发明实施例提供一种信号处理方法,可以应用于终端生成环绕音的过程中,具体应用于终端对获得的心形指向性信号进行处理的过程中,可以补偿该心形指向性信号的低频损失,并提高该心形指向性信号低频段的信噪比。
[0052] 例如,本发明实施例中的终端可以是手机、可穿戴设备、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等,本发明实施例对此不作任何限制。
[0053] 以下实施例以手机作为例子来说明终端如何实现实施例中的具体技术方案。如图1所示,本实施例中的终端可以为手机100。下面以手机100为例对实施例进行具体说明。
[0054] 应该理解的是,图示手机100仅仅是终端的一个范例,并且手机100可以具有比图中所示出的更过的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图1中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
[0055] 如图1所示,手机100包括:音频电路110、存储器120、输入单元130、显示单元140、传感器150、RF(Radio Frequency,射频)电路160、无线保真(Wireless Fidelity,Wi-Fi)模块170、处理器180、以及电源190等部件。本领域技术人员可以理解,图1中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
[0056] 下面结合图1对手机100的各个构成部件进行具体的介绍:
[0057] 音频电路110中包括麦克风组件111和扬声器组件112,该音频电路110可提供用户与手机100之间的音频接口。其中,麦克风组件111中可以包括至少4个全指向性麦克风,用于采集声音信号。可选的,上述麦克风阵列中麦克风的个数不唯一,如4个或6个,本发明实施例对此不作限定。上述全指向性麦克风获得的声音信号为全指向性信号,该全指向性麦克风为360度录音,多用于聊天通讯。其中,在一些实施例中,上述一个或多个全指向性麦克风可以设置在手机100各个面上的边沿位置。如各个面上偏向任一顶点所在位置或者偏向任一侧边的位置。示例性的,如图2a中示出终端的麦克风阵列包括6个麦克风mic1、mic2、mic3、mic4、mic5和mic6。其中,mic1、mic2、mic3、mic4、mic5和mic6位于终端相应平面上偏向顶点所在的位置。上述扬声器组件112中可以包括至少1个扬声器,该扬声器组件112用于输出扬声器激励信号,以生成环绕音。
[0058] 存储器120可用于存储软件程序及数据。处理器180通过运行存储在存储器120的软件程序及数据,从而执行手机100的各种功能以及数据处理。存储器120可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音录制功能或声音播放功能等)等;存储数据区可存储根据手机100的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0059] 输入单元130(如触摸屏)可用于接收输入的数字或字符信息,以及产生与手机100的用户设置以及功能控制有关的信号输入。具体地,输入单元130可以包括触控面板131,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板131上或在触控面板131附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板131可包括触摸检测装置和触摸控制器两个部分(图1中未示出)。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器180,并能接收处理器180发来的指令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板131。
[0060] 显示单元140(即显示屏)可用于显示由用户输入的信息或提供给用户的信息以及手机100的各种菜单的图形用户界面(Graphical User Inter face,GUI)。显示单元140可包括设置在手机100正面的显示面板141。其中,显示面板141可以采用液晶显示器、发光二极管等形式来配置。
[0061] 其中,在一些实施例中,手机100正面的底部还可以设置有光学触摸按键;还设置有触控面板131和显示面板141,触控面板131覆盖在显示面板141之上。当触控面板131检测到在其上或附近的触摸操作后,传送给处理器180以确定触摸事件,随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图1中,触控面板131与显示面板141是作为两个独立的部件来实现手机100的输入和输入功能,但是在某些实施例中,可以将触控面板131与显示面板141集成而实现手机100的输入和输出功能,集成后的触控面板131与显示面板141可以简称为触摸显示屏。
[0062] 在另外的一些实施例中,上述触控面板131还可以设置有压力感应传感器,这样用户在上述触控面板上进行触摸操作时,触控面板还能检测到该触摸操作的压力,进而手机100能够更准确地检测该触摸操作。
[0063] 手机100还可以包括至少一种传感器150,比如光传感器、运动传感器、地磁传感器以及其他传感器。其中,上述运动传感器可以用于根据加速度传感器采集的信息获取手机100的方位信息。例如,该方位信息可以为指示手机100与水平面之间的角度的信息,如夹角为0度时手机100处于平放状态。上述加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏转化、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机100还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
[0064] RF电路160可用于收发信息或通话过程中,信号的接收和发送,可以将基站的下行信息接收后,给处理器180处理;另外,将涉及上行的数据发送给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。此外,RF电路110还可以通过无线通信与网络和其他移动设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统、通用分组无线服务、码分多址、宽带码分多址、长期演进、电子邮件、短消息服务等。
[0065] Wi-Fi属于短距离无线传输技术,手机100可以通过Wi-Fi模块170帮助用户收发电子邮件、浏览网页和访问流媒体等,它为用户提供了无线的宽带互联网访问,如可以为用户提供音频数据的收发。
[0066] 处理器180是手机100的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器120内的软件程序,以及调用存储在存储器120内的数据,执行手机100的各种功能和处理数据,从而对手机进行整体监控。在一些实施例中,处理器180可包括一个或多个处理单元;处理器180还可以集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器180中。另外,处理器180还可以处理上述麦克风组件111采集到的声音信号得到心形指向性信号,以得到用于生成环绕音的扬声器激励信号。其中,本发明实施例中提供的环绕音可以为三维的环绕音,该环绕音可以根据基于x轴的心形指向性信号、基于y轴的心形指向性信号和基于z轴的心形指向性信号获得,该x轴、该y轴和该z轴可以是自然坐标系的坐标轴。
[0067] 手机100还包括给各个部件供电的电源190(比如电池)。电源可以通过电源管理系统与处理器180逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗等功能。可以理解的是,在以下实施例中,电源190可以用于给扬声器组件111和麦克风组件112供电。
[0068] 尽管未示出,手机100还可以包括蓝牙模块、摄像头等功能模块,在此不再一一赘述。例如,蓝牙模块,用于通过蓝牙这种短距离通讯协议来与其他设备进行信息交互。手机100可以通过蓝牙模块与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接,从而进行数据交互。
[0069] 以下实施例中的方法均可以在具有上述硬件结构的手机100中实现。
[0070] 可以理解,本发明后续实施例中的方法步骤可以由上述终端执行,或者本发明实施例提供的信号处理方法的执行主体也可以是终端中的部分功能模块,如终端的中央处理器(Central Processing Unit,CPU),本发明实施例对此不做限制。其中,本发明实施例以下以终端执行信号处理方法为例,对本发明实施例提供的图像处理方法进行详细说明。
[0071] 其中,上述至少4个麦克风可以划分出至少一个麦克风组。至少一个麦克风组中每个麦克风组中均可以包括第一麦克风、第二麦克风、第三麦克风和第四麦克风。其中,第一麦克风、第二麦克风和第三麦克风可以位于第一平面内,第四麦克风可以位于第一平面外,该第一平面可以为终端上的任一平面且第一平面可以平行于水平面。例如,手机等终端可以看作一个六面体,即该终端具有6个平面。此时,上述第一平面可以为该6个平面中的任一平面。
[0072] 需要说明的是,上述第一麦克风、第二麦克风和第三麦克风可以在第一平面上组成三角形,如直角三角形或锐角三角形等,本发明实施例对此不作限制。上述第四麦克风与上述第一麦克风、第二麦克风和第三麦克风中任一麦克风的连线可以垂直于该第一平面,如第四麦克风与第二麦克风的连线垂直于第一平面。
[0073] 另外,通常上述第一麦克风、第二麦克风和第三麦克风可以在终端的第一平面上的边沿位置,如第一平面中偏向任一顶点所在位置或者偏向任一侧边的位置。同样的,第四麦克风可以位于相应平面上的边沿位置。
[0074] 进一步的,如图2b示出了图2a中的mic1、mic2、mic3、mic4、mic5和mic6在图2a所示终端上各个位置之间的关系。
[0075] 其中,假设图2b中示出的mic1、mic2、mic3和mic6所在的平面为第一平面,则mic4和mic5位于第一平面外,第一平面平行于水平面,即x轴和y轴所在的平面。此时,若mic4为第四麦克风,则第一麦克风、第二麦克风和第三麦克分可以分别为mic1、mic2、mic3,或者mic6、mic2、mic3,或者mic1、mic2、mic6,共3个麦克风组。若mic5为第四麦克风,则第一麦克风、第二麦克风和第三麦克分可以分别为mic6、mic1、mic2,或者mic6、mic1、mic3,或者mic2、mic1、mic3,共3个麦克风组。也就是说,在终端包括如图2b所示的6个麦克风组成的麦克风阵列时,该麦克风阵列可以划分出6个麦克风组。
[0076] 由于本发明实施例中终端包括的麦克风阵列中的每个麦克风组中均包括第一麦克风、第二麦克风、第三麦克分和第四麦克风,因此为了方便说明本发明实施例提供的信号处理方法,本发明实施例以下仅以终端包括的一个麦克风组中的第一麦克风、第二麦克风、第三麦克分和第四麦克风为例进行说明。
[0077] 示例性的,如图2c中示出的麦克风阵列中包括一个麦克风组,该麦克风组中包括的第一麦克风、第二麦克风和第三麦克分分别为mic1、mic2、mic3,第四麦克风可以为mic4。本发明实施例以下仅以图2c示出终端包括的麦克风阵列为例,说明本发明实施例提供的信号处理方法。
[0078] 本发明实施例提供一种信号处理方法,如图3所示,该信号处理方法可以包括S301-S304:
[0079] S301、终端获取麦克风阵列中第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号。
[0080] 示例性的,上述步骤301可以由图1所示手机100中包括的音频电路160执行。
[0081] 具体的,结合图2c中示出的麦克风阵列,步骤301中终端获取的第一麦克风的信号可以为mic1的信号,记为S1(jw);第二麦克风的信号可以为mic2的信号,记为S2(jw);第三麦克风的信号可以为mic3的信号,记为S3(jw);第四麦克风的信号可以为mic4的信号,记为S4(jw)。其中,上述S1(jw)、S2(jw)、S3(jw)和S4(jw)为频域信号。
[0082] 进一步的,终端生成环绕音的过程中,可以根据上述S1(jw)、S2(jw)、S3(jw)和S4(jw)获得上述基于x轴的心形指向性信号、基于y轴的心形指向性信号和基于z轴的心形指向性信号。具体的,本发明实施例提供的信号处理方法,终端可以执行步骤302:
[0083] S302、终端对第一麦克风的信号、第二麦克风的信号、第三麦克风的信号和第四麦克风的信号进行差分处理,得到第一初始指向性信号、第二初始指向性信号、第三初始指向性信号和第四初始指向性信号。
[0084] 具体的,由于第一麦克风、第二麦克风、第三麦克风位于第一平面内且第一平面可以平行于水平面,因此终端可以从第一麦克风的信号、第二麦克风的信号、第三麦克风的信号中选择麦克风的信号两两之间进行差分处理,以得到基于x轴的心形指向性信号和基于y轴的心形指向性信号。同理,在第四麦克风与第二麦克风的连线垂直于该第一平面的情况下,终端可以对第二麦克风的信号与第四麦克风的信号进行差分处理,以得到基于z轴的心形指向性信号。终端对上述第一麦克风、第二麦克风、第三麦克风的信号中两两之间的差分处理是相同的。
[0085] 其中,上述任一初始指向性信号是由两个麦克风的信号经过差分处理获得的,而差分处理在频响上表现为一个高通滤波器,因此经过差分处理的两个麦克风的信号的低频被削弱,即得到的上述初始指向性信号存在低频损失。
[0086] 另外,虽然上述初始指向性信号存在低频损失,但由于该初始指向性信号为心形指向性信号,因此该初始指向性信号具有一定的方向性,如基于x轴方向。
[0087] 具体的,上述基于x轴的心形指向性信号和基于y轴的心形指向性信号可以包括第一初始指向性信号(记为C1(jw))、第二初始指向性信号(记为C2(jw))和第三初始指向性信号(记为C3(jw))。上述基于z轴的心形指向性信号可以为第四初始指向性信号(记为C4(jw))。
[0088] 随后,终端可以对上述第一初始指向性信号、第二初始指向性信号、第三初始指向性信号和第四初始指向性信号进行低频补偿。具体的,本发明实施例提供的信号处理方法,终端可以执行步骤303:
[0089] S303、终端基于维纳滤波方法,分别对第一初始指向性信号、第二初始指向性信号、第三初始指向性信号和第四初始指向性信号进行低频补偿,得到第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号。
[0090] 需要说明的是,维纳滤波(wiener filtering)是一种基于最小均方误差准则、对平稳过程的最优估计器。这种滤波器的输出与期望输出之间的均方误差为最小,是一个最佳滤波系统。
[0091] 具体的,由于维纳滤波的滤波器的输出与期望输出之间的均方误差为最小,因此终端基于维纳滤波方法,分别对第一初始指向性信号、第二初始指向性信号、第三初始指向性信号和第四初始指向性信号进行低频补偿,得到的第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号的低频损失可以得到较好的补偿。如此,上述第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号的低频段的信噪比得以提高,即该第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号的信噪比得以提高。
[0092] 随后,终端可以根据低频补偿后的心形指向性信号,如第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号,获得生成环绕音的三维声场中的声场分量W、X、Y和Z。具体的,本发明实施例提供的信号处理方法,终端可以执行步骤304:
[0093] S304、终端根据第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号,得到第一声场分量、第二声场分量、第三声场分量和第四声场分量。
[0094] 示例性的,上述步骤302-304均可以由图1所示手机100中包括的处理器180执行。
[0095] 具体的,上述第一声场分量可以为声场分量X,第二声场分量可以为声场分量Y,第三声场分量可以为声场分量Z,第四声场分量可以为声场分量W。其中,声场分量X、Y和Z均具有方向性的;声场分量X为基于x轴的1阶信号,声场分量Y为基于y轴的1阶信号,声场分量Z为基于z轴的1阶信号。声场分量W为不具有方向性的0阶信号。
[0096] 需要说明的是,本发明实施例提供的信号处理方法,终端采用基于维纳滤波方法,可以补偿得到的心形指向性信号的低频损失,进而提高心形指向性信号的信噪比。从而,终端可以提高根据补偿后的心形指向性信号得到的声场分量W、X、Y和Z的质量。即终端可以提高根据该声场分量W、X、Y和Z得到的环绕音的质量。
[0097] 并且,由于本发明实施例提供的终端包括的麦克风阵列中第一麦克风、第二麦克风、第三麦克风位于第一平面内,第四麦克风位于第一平面外;因此,上述麦克风阵列为三维的;从而,终端可以根据三维的麦克风阵列中的麦克风获得的信号生成三维的环绕音。
[0098] 可选的,若本发明实施例提供的终端包括的麦克风阵列包括多个麦克风组,则终端可以分别对该多个麦克风组中的每一个麦克风组中的第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号执行上述信号处理方法,得到多组声场分量W、X、Y和Z。随后,终端可以对上述多组声场分量W、X、Y和Z进行均值处理等操作,得到一组用于生成环绕音的声场分量W、X、Y和Z。其中,上述生成环绕音的一组声场分量W、X、Y和Z是由多组声场分量W、X、Y和Z得到的,因此上述生成环绕音的一组声场分量W、X、Y和Z的质量更好,即该环绕音的质量更好。
[0099] 进一步的,在一种可能的实现方式中,以下以步骤401-404对上述步骤303进行详细说明,即对上述终端基于维纳滤波对各个初始指向性信号进行低频补偿的过程详细说明。示例性的,如4所示的信号处理方法中,图3所示的步骤303可以包括步骤401-404:
[0100] S401、终端根据第一初始指向性信号、第二初始指向性信号、第三初始指向性信号和第四初始指向性信号,计算全指向性麦克风信号。
[0101] 其中,由于两个心形指向性的近似合成了一个全指向性麦克风信号,所以上述全指向性麦克风信号可以采用
[0102]
[0103] 得到,该全指向性麦克风信号可以记为P1(jw)。
[0104] S402、终端计算全指向性麦克风信号的自功率谱。
[0105] 其中,信号的功率谱是功率谱密度函数的简称,它定义为单位频带内的信号功率,表示信号功率随着频率的变化情况,即信号功率在频域的分布状况。
[0106] 上述全指向性麦克风信号的自功率谱可以用于指示总体的全指向的麦克风信号的能量,对应于上述4个麦克风的信号的整体。
[0107] 具体的,终端可以采用E{P(jw)P*(jw)}得到上述全指向性麦克风信号P1(jw)的自功率谱,即该全指向性麦克风信号P1(jw)的自功率谱可以记为E{P(jw)P*(jw)}。
[0108] S403、终端计算第一互功率谱,第二互功率谱,第三互功率谱和第四互功率谱。
[0109] 其中,上述第一互功率谱为全指向性麦克风信号与第一初始指向性信号的互功率谱,第二互功率谱为全指向性麦克风信号与第二初始指向性信号的互功率谱,第三互功率谱为全指向性麦克风信号与第三初始指向性信号的互功率谱,第四互功率谱为全指向性麦克风信号与第四初始指向性信号的互功率谱。
[0110] 具体的,终端可以采用E{C1(jw)P*(jw)}得到上述第一互功率谱;采用[0111] E{C2(jw)P*(jw)}得到上述第二互功率谱;采用E{C3(jw)P*(jw)}得到上述第三互功率谱;采用E{C4(jw)P*(jw)}得到上述第四互功率谱。
[0112] 需要说明的是,上述任一互功率谱可以为由任一全指向性的麦克风的信号获得的相应初始指向性信号的能量。
[0113] S404、终端根据第一互功率谱和自功率谱得到第一增益,根据第二互功率谱和自功率谱得到第二增益,根据第三互功率谱和自功率谱得到第三增益,根据第四互功率谱和自功率谱得到第四增益。
[0114] 其中,上述第一增益可以记为G1(jw),第二增益可以记为G2(jw),第三增益可以记为G3(jw),第四增益可以记为G4(jw)。
[0115] 可选的,本发明实施例提供的方法,上述步骤404具体可以为步骤501。示例性的,如图5所示的信号处理方法流程图中,图4所示的步骤404可以替换为步骤501:
[0116] S501、终端根据第一互功率谱与自功率谱的比值,得到第一增益;根据第二互功率谱与自功率谱的比值,得到第二增益;根据第三互功率谱与自功率谱的比值,得到第三增益;根据第四互功率谱和自功率谱的比值,得到第四增益。
[0117] 示例性的,终端可以采用
[0118]
[0119]
[0120]
[0121]
[0122] 计算得到第一增益G1(jw)、第二增益G2(jw)、第三增益G3(jw)和第四增益G4(jw)。
[0123] 随后,终端便可以根据得到的各个增益对相应的初始指向性信号进行低频补偿。具体的,本发明实施例提供的信号处理方法,如图4或图5所示的方法中终端可以执行步骤
405:
[0124] S405、终端根据第一增益和第一初始指向性信号得到第一指向性信号,根据第二增益和第二初始指向性信号得到第二指向性信号,根据第三增益和第三初始指向性信号得到第三指向性信号,根据第四增益和第四初始指向性信号得到第四指向性信号。
[0125] 具体的,终端可以采用
[0126]
[0127]
[0128]
[0129]
[0130] 计算得到第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号;
[0131] 其中,上述第一指向性信号可以记为 上述第二指向性信号可以记为
[0132] 上述第三指向性信号可以记为 上述第四指向性信号可以记为
[0133] 需要说明的是,本发明实施例提供的信号处理方法中,终端可以获得上述各个心形指向性信号的增益,该增益可以赋予心形指向性信号方向性,同时保留该心形指向性信号的频域特性。从而,终端获得的补偿后的心形指向性信号既具有方向性,又具有全通频响特性,达到了低频补偿的效果。
[0134] 进一步的,在一种可能的实现方式中,由于终端包括的麦克风阵列中的4个麦克风获得同一声源发出的信号是有时延差的,因此终端可以根据上述4个麦克风的信号结合该4个麦克风的信号之间的时延差,获得4个心形指向性信号。具体的,上述实施例中的步骤302具体可以位步骤601。示例性的,如图6所示的信号处理方法中,图3中的步骤302可以替换为步骤601:
[0135] S601、终端根据第一麦克风的信号与第二麦克风的信号的时延差,对第一麦克风的信号和第二麦克风的信号进行差分处理,得到第一初始指向性信号;根据第二麦克风的信号与第三麦克风的信号的时延差,对第二麦克风的信号和第三麦克风的信号进行差分处理,得到第二初始指向性信号;根据第三麦克风的信号与第一麦克风的信号的时延差,对第三麦克风的信号和第一麦克风的信号进行差分处理,得到第三初始指向性信号;根据第三麦克风的信号与第一麦克风、第二麦克风、第三麦克风中任一麦克风的信号的时延差,对第四麦克风的信号和任一麦克风的信号进行差分处理,得到第四初始指向性信号。
[0136] 具体的,终端可以采用
[0137] C1(jw)=S1(jw)-S2(jw)exp(-jwτ12)
[0138] C2(jw)=S2(jw)-S3(jw)exp(-jwτ23)
[0139] C3(jw)=S3(jw)-S1(jw)exp(-jwτ31)
[0140] C4(jw)=S4(jw)-S2(jw)exp(-jwτ42)
[0141] 计算得到第一初始指向性信号C1(jw)、第二初始指向性信号C2(jw)、第三初始指向性信号C3(jw)和第四初始指向性信号C4(jw)。
[0142] 其中,上述第一麦克风的信号可以记为S1(jw),第二麦克风的信号可以记为S2(jw),第三麦克风的信号可以记为S3(jw),第四麦克风的信号可以记为S4(jw)。第一麦克风的信号与第二麦克风的信号的时延差可以记为τ12,第二麦克风的信号与第三麦克风的信号的时延差可以记为τ23,第三麦克风的信号与第一麦克风的信号的时延差可以记为τ31;第四麦克风的信号与第二麦克风的信号的时延差可以记为τ42。
[0143] 其中,本发明实施例中终端对各个麦克风的信号进行差分处理的过程中,可以消除各个麦克风的信号之间的时延差。从而,终端可以得到质量较好的心形指向性信号,进而得到质量较好的环绕音。
[0144] 进一步的,在一种可能的实现方式中,本发明实施例提供的信号处理方法中,上述步骤304具体可以为步骤701。示例性的,如图7所示的信号处理方法,图3所示的步骤304可以替换为步骤701:
[0145] S701、终端采用解码矩阵,对第一指向性信号、第二指向性信号、第三指向性信号和第四指向性信号进行求逆处理,分别得到第一声场分量、第二声场分量、第三声场分量和第四声场分量。
[0146] 其中,上述解码矩阵可以为终端预先设置的。显然在声场分量W、X、Y和Z组成的矩阵(记为B)和解码矩阵(记为D)已知的情形下,终端可以得到解码方程C=DB,C即为上述各个经过低频补偿后的心形指向性信号(如第一指向性信号等)构成的向量。不同扬声器对应的解码矩阵不同,例如,5.0系统扬声器对应解码矩阵和5.1系统扬声器对应解码矩阵不同。
[0147] 类似的,在经过低频补偿后的心形指向性信号的向量C和解码矩阵D已知的情形下,这里D表示4个心形指向性信号对应的解码矩阵,终端可以计算得到B=D-1C,就计算获得声场分量W、X、Y和Z。
[0148] 其中,终端通过上述矩阵求逆的方法可以获得声场分量W、X、Y和Z组成的矩阵的最优解,上述声场分量W、X、Y和Z的质量较好,从而根据该声场分量W、X、Y和Z得到的环绕音的质量较好。
[0149] 进一步的,终端在处理至少4个麦克风的信号之前,还可以先确定终端中的第一平面。本发明实施例提供的方法,在上述步骤301之前还可以包括步骤801。示例性的,如图8所示的信号处理方法,图3所示的步骤301之前还可以包括步骤801:
[0150] S801、终端确定终端的工作状态为第一工作状态。
[0151] 其中,上述终端的第一工作状态可以为平放状态、竖直状态和横向状态中任一种。终端处于第一工作状态时,终端的麦克风阵列中包括上述第一麦克风、第二麦克风、第三麦克风和第四麦克风。在不同的工作状态下终端中平行于水平面的平面是不同的,即第一平面不同。终端确定出其工作状态便确定出了上述第一平面。
[0152] 示例性的,如图2a中示出的终端,该终端的工作状态为平放状态。显然,若图2a所示的终端处于竖直状态,则该终端的第一平面可以为mic1、mic5、mic4和mic2所在的平面。若图2a所示的终端处于竖直状态,则该终端的第一平面可以为mic2、mic4和mic3所在的平面。
[0153] 其中,本发明实施例中,在终端处于不同工作状态时,上述第一麦克风、第二麦克风、第三麦克风和第四麦克风具体指代的麦克风不同。例如,图2a示出的终端所处的第一工作状态为竖直工作状态时,第一麦克风、第二麦克风、第三麦克风可以为图2b所示的mic1、mic5、mic4和mic2中的3个,第四麦克风可以为mic3和mic6中的1个。终端所处的第一工作状态为横向工作状态时,第一麦克风、第二麦克风、第三麦克风可以为图2a所示的mic3、mic4和mic2,第四麦克风可以为图2a所示的mic1、mic5和mic6中的1个。
[0154] 需要说明的是,终端可以利用加速度等传感器计算获得与水平面的夹角(<90度)。当夹角<30度时,近似认为该终端的工作状态为上述平方状态。当夹角>60度时近似认为终端垂直于水平面,再判断竖直握持还是横向握持。但是,当上述夹角在30~60度之间时,终端可以提示无法准确进行声场录音。可选的,终端可以在其显示屏,如图1所示的手机100的显示面板141上显示提示消息“不支持录音”等。
[0155] 可选的,终端根据其当前的与终端的界面相关的系统参数确定。例如,若终端当前的系统参数为参数1,则表示该终端被竖直握持,即该终端处于竖直状态;若终端当前的系统参数为参数2,则表示该终端被横向握持,即该终端处于横向状态。本发明实施例中对上述“终端判断竖直握持还是横向握持”的具体实现方式不作限制。示例性的,终端也可以根据其中的加速度计等传感器采集的数据,执行上述“终端判断竖直握持还是横向握持”。
[0156] 需要说明的是,本发明实施例提供的信号处理方法,终端可以根据其工作状态的不同,确定出不同的第一麦克风、第二麦克风、第三麦克风和第四麦克风,使得根据这4个麦克风的信号得到的4个心形指向性信号更能够体现出实际中的声场,进而得到的环绕音的质量较好。
[0157] 进一步的,本发明实施例提供的信号处理方法,在上述步骤301之前还可以包括步骤901,相应步骤301可以替换为步骤902。示例性的,如图9所示的信号处理方法中,图8中的步骤301之前还可以包括步骤901,步骤301可以替换为步骤902:
[0158] S901、终端采集第一麦克风、第二麦克风、第三麦克风和第四麦克风的初始信号。
[0159] 其中,第一麦克风、第二麦克风、第三麦克风和第四麦克风的初始信号均为时域信号。
[0160] S902、终端分别对第一麦克风、第二麦克风、第三麦克风和第四麦克风的初始信号进行傅里叶变换,得到第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号。
[0161] 其中,上述第一麦克风、第二麦克风、第三麦克风和第四麦克风的信号均为频域信号。
[0162] 需要说明的是,终端将各个麦克风采集的初始信号变换到频域,使得变换得到的各个麦克风的信号可以适用于上述基于维纳滤波的低频滤波方法中,以实现本申请的目的。
[0163] 进一步的,本发明实施例提供的信号处理方法,在上述步骤304或步骤701之后还可以包括步骤1001。示例性的,如图10所示的信号处理方法,图7中的步骤701之后还可以包括步骤1001:
[0164] S1001、终端根据第一声场分量、第二声场分量、第三声场分量和第四声场分量,获得至少一路扬声器激励信号。
[0165] 其中,本发明实施例提供的方法中,终端可以包括至少1个扬声器,用于输出上述至少一路扬声器激励信号。结合上述实施例中对步骤701的描述,当解码矩阵确定时,例如5.0系统扬声器对应的解码矩阵D5.0,终端可以计算获得扬声器的激励信号C5.0=D5.0B。随后,终端通过扬声器输出该扬声器激励信号C5.0之后,便生成上述环绕音。
[0166] 上述主要从终端的角度对本发明实施例提供的方案进行了介绍。可以理解的是,终端为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的算法步骤,本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
[0167] 本发明实施例可以根据上述方法示例对应用于终端的信号处理装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
[0168] 在采用对应各个功能划分各个功能模块的情况下,图11示出了本发明实施例提供的信号处理装置的一种可能的组成示意图,如图11所示,信号处理装置11可以包括:获取模块111、差分模块112、补偿模块113和声场生成模块114。
[0169] 其中,获取模块111,用于支持信号处理装置11执行上述实施例中的S301和S902,和/或用于本文所描述的技术的其它过程。差分模块112,用于支持信号处理装置11执行上述实施例中的S302和S601,/或用于本文所描述的技术的其它过程。补偿模块113,用于支持信号处理装置11执行上述实施例中的S303、S401、S402、S403、S404、S405和S501,/或用于本文所描述的技术的其它过程。声场生成模块114,用于支持信号处理装置11执行上述实施例中的S304和S701,/或用于本文所描述的技术的其它过程。
[0170] 进一步的,如图12所示,为本发明实施例中提供的信号处理装置的另一种可能的组成示意图。图12中,信号处理装置11还可以包括:确定模块115。其中,确定模块115,用于支持信号处理装置11执行上述实施例中的S801,/或用于本文所描述的技术的其它过程。
[0171] 进一步的,如图13所示,为本发明实施例中提供的信号处理装置的另一种可能的组成示意图。图13中,信号处理装置11还可以包括:采集模块116。其中,采集模块116,用于支持信号处理装置11执行上述实施例中的S901,/或用于本文所描述的技术的其它过程。
[0172] 进一步的,如图14所示,为本发明实施例中提供的信号处理装置的另一种可能的组成示意图。图14中,信号处理装置11还可以包括:扬声器信号生成模块117。其中,扬声器信号生成模块117,用于支持信号处理装置11执行上述实施例中的S1001,/或用于本文所描述的技术的其它过程。
[0173] 需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。上述应用于终端的信号处理装置用于执行上述信号处理方法,因此可以达到与上述信号处理方法相同的效果。
[0174] 在采用集成的单元的情况下,上述获取模块111、差分模块112、补偿模块113和声场生成模块114、确定模块115和扬声器信号生成模块117等可以集成在一个处理模块中实现。上述处理模块可以是处理器或控制器,例如可以是CPU,通用处理器,数字信号处理器(Digital Signal Processor,DSP),专用集成电路(Application-Specific Integrated Circuit,ASIC),现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种举例说明逻辑方框,模块和电路。上述处理单元也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。存储模块可以是存储器。上述采集模块151可以由终端的音频电路中的麦克风实现。除此之外,上述应用于终端的信号处理装置还可以包括其他的功能模块,例如上述信号处理装置还可以包括扬声器信号输出模块,该扬声器信号输出模块可以由终端的音频电路中的扬声器实现。
[0175] 当上述处理模块为处理器,存储模块为存储器时,本发明实施例提供一种如图15所示的终端15。如图15所示,终端15包括:处理器151、存储器152、音频电路153以及总线154。其中,处理器151、存储器152和音频电路153通过总线154相互连接。示例性的,上述音频电路153中可以包括至少4个麦克风。另外,该音频电路153还可以包括至少1个扬声器。
[0176] 其中,上述总线154可以是外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(Extended Industry  Standard Architecture,EISA)总线等。上述总线154可以分为地址总线、数据总线、控制总线等。为便于表示,图15中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
[0177] 本发明实施例提供的应用于终端15的信号处理装置中各个模块的详细描述以及各个模块执行上述实施例中的相关方法步骤后所带来的技术效果可以参考本发明方法实施例中的相关描述,此处不再赘述。
[0178] 通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0179] 在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0180] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0181] 另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。所述集成的单元如果以软件功能单元的形式实现并作为独立的计算机程序产品销售或使用时,可以存储在一个计算机可读取存储介质中。
[0182] 本申请的技术方案在使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括至少一个指令。在计算机上加载和执行所述指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通过计算机、专用计算机、计算机网络、或者其他可编程装置。所述指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机可以从一个网站站点、计算机、服务器或数据中心通过同轴电缆、光纤、数字用户线(DSL)等有线方式,或红外、无线、微波等无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是软盘、硬盘、磁带等磁性介质,或者固态硬盘(SolidState Disk,SSD)等半导体介质。
[0183] 以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。