本发明公开了一种基于角度映射表的虚拟声重放方法、电子设备及介质，所述方法包括步骤：步骤1、输入拟重放的目标虚拟声像的距离和空间方位角度；步骤2、检索角度映射表，提取出匹配空间方位角度；步骤3、从基准距离的HRTF数据库中提取出与匹配空间方位角度对应的HRTF数据，作为目标虚拟声像的匹配HRTF；步骤4、采用匹配HRTF对拟重放的单通路声信号进行滤波，获得双耳重放信号，进一步馈给耳机或扬声器重放。本发明基于单个距离（即基准距离）的HRTF数据，可实现任意多个距离的虚拟声像重放，降低了对硬件设备的存储要求。
1.一种基于角度映射表的虚拟声重放方法，其特征是，包括步骤：
步骤1、输入拟重放的目标虚拟声像的距离和空间方位角度；
步骤2、检索角度映射表，提取出匹配空间方位角度；所述角度映射表的获取方法具体包括步骤：步骤21、获取多个不同声源距离的HRTF数据库；
步骤22、选取一个基准距离，采用距离算法评估不同距离HRTF和基准距离HRTF的相似度，形成角度映射表；具体包括：步骤221、对N个不同距离r、M个不同空间方位ψ的HRTF数据H(r,ψ)进行带限滤波，频率范围取3-15kHz，其中，每个特定距离HRTF数据库由M个不同空间方位的HRTF离散数据构成；
步骤222、选取某个距离rk作为基准距离，采用距离算法，计算任意距离rl的HRTF数据和基准距离rk的HRTF数据之间的相关性Sk,l:其中，k、l是距离编号，一共有N个不同距离；m、n是空间方位编号，一共有M个不同空间方位；H(rk,ψm)表示位于基准距离rk、空间方位角ψm的HRTF；H(rl,ψn)表示位于某个距离rl、空间方位角ψn的HRTF；F表示采用的距离算法；
步骤223、取公式(1)的最大值max{Sk,l}，记录max{Sk,l}所对应的空间方位(rl,ψ'n)；
步骤224、对于基准距离rk的M个不同空间方位ψm，逐个实施步骤222和步骤223，即可逐个获取任意距离rl的M个最相似空间方位角度ψ'n；
步骤225、将所述ψm与ψ'n对应放置，即形成关于距离k～l的空间角度映射表；
步骤226、重复实施步骤222～步骤225，即可获取(N-1)个关于基准距离rk的角度映射表；
步骤3、从基准距离的HRTF数据库中提取出与匹配空间方位角度对应的HRTF数据，作为目标虚拟声像的匹配HRTF；
步骤4、采用匹配HRTF对拟重放的单通路声信号进行滤波，获得双耳重放信号，进一步馈给耳机或扬声器重放。
2.根据权利要求1所述的一种基于角度映射表的虚拟声重放方法，其特征是，步骤21中，所述的多个不同声源距离的HRTF数据库中包括远场HRTF和近场HRTF，其中，所述远场HRTF不随声源距离r变化，仅需选取一个远场距离。
3.根据权利要求1所述的一种基于角度映射表的虚拟声重放方法，其特征是，步骤21中，通过消声室测量或三维头模扫描计算的方式获取所述多个不同声源距离的HRTF数据库。
4.根据权利要求1所述的一种基于角度映射表的虚拟声重放方法，其特征是，步骤21中，所述多个不同声源距离的HRTF数据库采用德国TH 测量的HRTF数据库、北京大学和中国科学院声学研究所联合测量的HRTF数据库。
5.根据权利要求1所述的一种基于角度映射表的虚拟声重放方法，其特征是：步骤4中，所述双耳重放信号馈给扬声器重放之前，先对所述双耳重放信号进行串声消除处理。
6.一种基于角度映射表的虚拟声重放装置，用于执行权利要求1所述的基于角度映射表的虚拟声重放方法，其特征在于，包括：输入模块，用于输入拟重放的目标虚拟声像的距离和空间方位角度；
检索模块，用于检索角度映射表，提取出匹配空间方位角度；
HRTF数据提取模块，用于从基准距离的HRTF数据库中提取出与匹配空间方位角度对应的HRTF数据，作为目标虚拟声像的匹配HRTF；
虚拟声重放模块，用于采用匹配HRTF对拟重放的单通路声信号进行滤波，获得双耳重放信号，进一步馈给耳机或扬声器重放。
7.一种电子设备，其特征在于：包括存储器、处理器、存储在存储器上并可在处理器上运行的计算机程序，所述处理器运行所述程序时，实现如权利要求1至5中任一项所述的虚拟声重放方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的虚拟声重放方法。
一种基于角度映射表的虚拟声重放方法、电子设备及介质
技术领域
[0001] 本发明涉及三维空间声的虚拟重放技术，具体涉及一种基于角度映射表的虚拟声重放方法、电子设备及介质。
背景技术
[0002] 虚拟现实(virtual reality,VR)技术包含多种人类感知的模拟，例如视觉感知、听觉感知等。通常，采用基于头相关传输函数(head-related transfer function,HRTF)的虚拟声重放技术实现听觉感知的虚拟。HRTF是声源距离r的函数。一般以r＝1.0m为远场和近场的分界，远场HRTF不随r而变化，而近场HRTF随r而变化。在VR中，为了实现多个距离声像的虚拟感知，需要知晓多个距离的HRTF数据，每个距离又包括多个空间方位。不同距离的HRTF数据可以通过测量或者计算的方式获取。测量需要特定的空间(例如消声室)和专业的测量设备；而计算通常需要先采用高精度扫描仪获取听者头部和耳廓的三维模型，再导入高性能计算机进行近似计算(例如边界元法)。无论测量还是计算，都是逐个方位、逐个距离进行，因此比较耗时，难以应用于实时的虚拟声重放和VR。当然，也可以先进行多距离HRTF的线下测量或计算，再将其存储在虚拟声重放的硬件系统中，采用实时调用的方法实现多距离虚拟声像。然而，多距离HRTF数据量较大(距离的数量×空间方位的数量×频率/时间的长度)，将占用较多存储资源。此外，如果需要实现个性化HRTF的虚拟声重放，还需要存储不同听者(即使用者)的多距离HRTF数据，相应所需的存储量将更大。因此，有必要研究多距离HRTF存储的优化方法。
发明内容
[0003] 针对多距离虚拟声像合成中多距离HRTF存储的优化问题，本发明提供了一种利用角度映射表查找单个距离HRTF数据库(即基准HRTF数据库)，进而提取出任意距离的匹配HRTF的虚拟声重放方法、电子设备及介质。本发明可以有效减小多距离虚拟声像合成中多距离HRTF数据的存储量。
[0004] 为实现上述目的，本发明采用如下技术方案实现：
[0005] 一种基于角度映射表的虚拟声重放方法，包括如下步骤：
[0006] 步骤1、输入拟重放的目标虚拟声像的距离和空间方位角度；
[0007] 步骤2、检索角度映射表，提取出匹配空间方位角度；
[0008] 步骤3、从基准距离的HRTF数据库中提取出与匹配空间方位角度对应的HRTF数据，作为目标虚拟声像的匹配HRTF；
[0009] 步骤4、采用匹配HRTF对拟重放的单通路声信号进行滤波，获得双耳重放信号，进一步馈给耳机或扬声器重放。
[0010] 进一步地，步骤2中所述角度映射表的获取方法具体包括步骤：
[0011] 步骤21、获取多个不同声源距离的HRTF数据库；
[0012] 步骤22、选取一个基准距离，采用距离算法评估不同距离HRTF和基准距离HRTF的相似度，形成角度映射表。
[0013] 进一步地，步骤21中，所述的多个不同声源距离的HRTF数据库中包括远场HRTF和近场HRTF，通常，以声源距离r＝1.0m为远场和近场的分界，其中，所述远场HRTF不随声源距离r变化，仅需选取一个远场距离。
[0014] 进一步地，步骤21中，通过消声室测量或三维头模扫描计算的方式获取所述多个不同声源距离的HRTF数据库。
[0015] 进一步地，步骤21中，所述多个不同声源距离的HRTF数据库采用德国TH 测量的HRTF数据库、北京大学和中国科学院声学研究所联合测量的HRTF数据库。
[0016] 进一步地，所述步骤22具体包括：
[0017] 步骤221、对N个不同距离r、M个不同空间方位ψ的HRTF数据H(r,ψ)进行带限滤波，频率范围取3-15kHz，其中，每个特定距离HRTF数据库由M个不同空间方位的HRTF离散数据构成；
[0018] 步骤222、选取某个距离rk作为基准距离，采用距离算法，计算任意距离rl的HRTF数据和基准距离rk的HRTF数据之间的相关性Sk,l:
[0019]
[0020] 其中，k、l是距离编号，一共有N个不同距离；m、n是空间方位编号，一共有M个不同空间方位；H(rk,ψm)表示位于基准距离rk、空间方位角ψm的HRTF；H(rl,ψn)表示位于某个距离rl、空间方位角ψn的HRTF；F表示采用的距离算法；
[0021] 步骤223、取公式(1)的最大值max{Sk,l}，记录max{Sk,l}所对应的空间方位(rl,ψ'n)；
[0022] 步骤224、对于基准距离rk的M个不同空间方位ψm，逐个实施步骤222和步骤223，即可逐个获取任意距离rl的M个最相似空间方位角度ψ'n；
[0023] 步骤225、将所述ψm与ψ'n对应放置，即形成关于距离k～l的空间角度映射表；
[0024] 步骤226、重复实施步骤222～步骤225，即可获取(N-1)个关于基准距离rk的角度映射表。
[0025] 进一步地，步骤4中，所述双耳重放信号馈给扬声器重放之前，先对所述双耳重放信号进行串声消除处理。
[0026] 一种基于角度映射表的虚拟声重放装置，包括：
[0027] 输入模块，用于输入拟重放的目标虚拟声像的距离和空间方位角度；
[0028] 检索模块，用于检索角度映射表，提取出匹配空间方位角度；
[0029] HRTF数据提取模块，用于从基准距离的HRTF数据库中提取出与匹配空间方位角度对应的HRTF数据，作为目标虚拟声像的匹配HRTF；
[0030] 虚拟声重放模块，用于采用匹配HRTF对拟重放的单通路声信号进行滤波，获得双耳重放信号，进一步馈给耳机或扬声器重放。
[0031] 一种电子设备，包括存储器、处理器、存储在存储器上并可在处理器上运行的计算机程序，所述处理器运行所述程序时，实现如权利要求1至7中任一项所述的虚拟声重放方法。
[0032] 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的虚拟声重放方法。
[0033] 本发明的原理是：HRTF表征了声波从声源到耳的传输过程中听者生理结构(例如头部、耳廓、躯干等)和声波的相互作用。对于不同距离的声源，由于视差等原因，上述物理过程有所差异，从而引起HRTF特征的空间畸变。例如，水平面上H(r＝1.0m,ψ＝0°)与H(r＝0.5m,ψ＝10°)最相似，而非H(r＝0.5m,ψ＝0°)。因此，可以采用距离算法评估不同距离HRTF的相似性，描绘出不同距离的角度映射表；通过查询角度映射表，便可获知和目标距离的角度对应的已知距离的角度；进而，从已知HRTF数据库中提取相应的HRTF，作为匹配HRTF。
[0034] 相比于现有技术，本发明可有效减小多距离虚拟声像合成中多距离HRTF数据的存储量。假设需要重放N个不同距离、M个不同空间方位的虚拟声像，HRTF数据的长度为L，那么需要存储的数据量为N×M×L。采用本发明之后，需要存储一个距离、M个不同空间方位的HRTF数据，以及(N-1)个角度映射表(每个映射表由M个不同空间方位的映射值组成)。本发明中，HRTF的存储数据量为1×M×L，角度映射表的存储数据量为(N-1)×M，因此采用本发明后的数据量为M×L+(N-1)×M＝M×(L+N-1)。本发明可以实现的数据存储量的减少率R为：
[0035]
[0036] 如果取L＝512、N＝4，则数据存储量的减少率R＝75％；如果取L＝512、N＝6，则数据存储量的减少率R＝83％。可见，重放的距离越多，数据存储量的减少率越大，优越性越明显。
附图说明
[0037] 图1是本发明实施例的实现原理图；
[0038] 图2是实施例空间角度映射表的示例；
[0039] 图3是本发明实施例的信号实现处理流程图。
具体实施方式
[0040] 下面结合附图对本发明做进一步的说明，但本发明要求保护范围并不局限于实施例表示的范围。
[0041] 图1是本发明的一种基于角度映射表的虚拟声重放方法的原理图。它利用不同距离HRTF特征的相似性，实现了单个距离HRTF推测其它任意距离HRTF的方法，从而有效减小了多距离虚拟声重放中多距离HRTF数据存储量过大的问题，降低了对硬件设备的存储要求。
[0042] 一种基于角度映射表的虚拟声重放方法，包括步骤：
[0043] 步骤1、输入拟重放的目标虚拟声像的距离和空间方位角度；
[0044] 步骤2、检索角度映射表，提取出匹配空间方位角度；
[0045] 步骤3、从基准距离的HRTF数据库中提取出与匹配空间方位角度对应的HRTF数据，作为目标虚拟声像的匹配HRTF；
[0046] 步骤4、采用匹配HRTF对拟重放的单通路声信号(如音乐或语言片段)进行滤波，获得双耳重放信号，进一步馈给耳机或扬声器重放。
[0047] 具体而言，步骤2中所述角度映射表的获取方法具体包括步骤：
[0048] 步骤21、获取多个不同声源距离的HRTF数据库；
[0049] 步骤22、选取一个基准距离，采用距离算法评估不同距离HRTF和基准距离HRTF的相似度，形成角度映射表。
[0050] 具体而言，步骤21中所述的多个声源距离HRTF数据库，包括远场HRTF和近场HRTF。通常，以声源距离r＝1.0m为远场和近场的分界。由于远场HRTF不随r变化，所以只需要选取一个远场距离。
[0051] 具体而言，步骤21中，通过消声室测量或三维头模扫描计算的方式获取所述多个不同声源距离的HRTF数据库。或者，所述多个不同声源距离的HRTF数据库可采用已有研究组公开了的多个声源距离HRTF数据库，包括德国TH 测量的HRTF数据库、北京大学和中国科学院声学研究所联合测量的HRTF数据库。
[0052] 具体而言，所述步骤22具体包括：
[0053] 步骤221、对N个不同距离r、M个不同空间方位ψ的HRTF数据H(r,ψ)进行带限滤波，频率范围取3-15kHz，其中，每个特定距离HRTF数据库由M个不同空间方位的HRTF离散数据构成；
[0054] 步骤222、选取某个距离rk作为基准距离，采用距离算法，计算任意距离rl的HRTF数据和基准距离rk的HRTF数据之间的相关性Sk,l:
[0055]
[0056] 其中，k、l是距离编号，一共有N个不同距离；m、n是空间方位编号，一共有M个不同空间方位；H(rk,ψm)表示位于基准距离rk、空间方位角ψm的HRTF；H(rl,ψn)表示位于某个距离rl、空间方位角ψn的HRTF；F表示采用的距离算法；
[0057] 步骤223、取公式(1)的最大值max{Sk,l}，记录max{Sk,l}所对应的空间方位(rl,ψ'n)；
[0058] 步骤224、对于基准距离rk的M个不同空间方位ψm，逐个实施步骤222和步骤223，即可逐个获取任意距离rl的M个最相似空间方位角度ψ'n；
[0059] 步骤225、将上述ψm与ψ'n对应放置，即形成关于距离k～l的空间角度映射表；
[0060] 步骤226、重复实施步骤222～步骤225，即可获取(N-1)个关于基准距离rk的角度映射表。
[0061] 具体而言，步骤4中，所述双耳重放信号馈给扬声器重放之前，先对所述双耳重放信号进行串声消除处理。其中，串声消除算法的具体数学形式和扬声器的数量、摆放方式有关。
[0062] 下面以水平面的一个示例说明本发明的实施过程。选取基准距离rk为1.00m，目标距离rl分别为0.25m、0.50m、0.75m；选取六个不同的空间方位ψ＝30°、60°、90°、120°、150°、180°；采用频谱失真度作为距离函数，评估不同距离HRTF的相似性，获取如图2所示的角度映射表。在实际应用中，如果输入的目标虚拟声像的距离为0.50m、方位角为64°，那么通过查询图2可知基准距离的匹配空间方位角为60°，进而从已知的基准距离HRTF数据库中提取
60°的HRTF数据作为匹配HRTF数据，用于进一步的虚拟声重放的信号处理。需要指出的是，HRTF本质上是关于空间方位角度的连续函数，而HRTF的测量或者计算只能获取HRTF在离散空间方位角度的数据，因此角度映射表由离散的空间方位角度组成。在实际应用中，目标虚拟声像可以处于任意的空间方位角度。如果目标虚拟声像的空间方位角度不在角度映射表中，可以通过表中已有空间方位角度的曲线拟合，获取所需空间方位角度的映射关系。
[0063] 本发明可采用算法语言(如Matlab、C++、Python)编制的软件在多媒体计算机上实现。图3是发明实施例的信号实现的处理流程图。
[0064] 为了实现上述实施例，本发明实施例还提供了一种基于角度映射表的虚拟声重放装置，包括：
[0065] 输入模块，用于输入拟重放的目标虚拟声像的距离和空间方位角度；
[0066] 检索模块，用于检索角度映射表，提取出匹配空间方位角度；
[0067] HRTF数据提取模块，用于从基准距离的HRTF数据库中提取出与匹配空间方位角度对应的HRTF数据，作为目标虚拟声像的匹配HRTF；
[0068] 虚拟声重放模块，用于采用匹配HRTF对拟重放的单通路声信号进行滤波，获得双耳重放信号，进一步馈给耳机或扬声器重放。
[0069] 为了实现上述实施例，本发明实施例还提供了一种电子设备，包括存储器、处理器、存储在存储器上并可在处理器上运行的计算机程序，所述处理器运行所述程序时，实现如权利要求1至7中任一项所述的虚拟声重放方法。
[0070] 为了实现上述实施例，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的虚拟声重放方法。
[0071] 尽管参照特定的优选实施例示出并描述了本发明专利，但本领域技术人员应当理解，本说明书中列举的具体实施方案和实施例，只不过是为了理解本发明的技术内容，不是对本发明的限制。在不背离本发明的主旨和范围的情况下，本发明在形式上和细节上可以进行改变，凡本领域的普通技术人员根据上述描述所做的润饰、修改或等同替换，均属于本发明所保护的范围。
