一种三维音频系统距离调制方法

摘要

本发明涉及一种三维音频系统距离调制方法，包括将M路多声道三维音频信号简化为N路多声道三维音频信号，计算多声道系统中虚拟声像与听音点处的距离；计算中心点处的声学特征，包括中心点处接收的声压、粒子速度及双耳声压；建立距离最优模型，重新分配扬声器信号恢复距离感知。本发明基于基础声学中的部分原理，理论基础完善，计算代价小，能还原出原始距离感知，可以应用于各种精简扬声器系统当中。

权利要求

1.一种三维音频系统距离调制方法，其特征在于，包括以下步骤：步骤1：按照中心点处声压不变且粒子速度不变准则，将M声道三维音频系统简化成N声道三维音频系统；

步骤2：将M声道三维音频系统的M路音频信号及参数传送至N声道三维音频系统，所述参数包括M路信号中的粒子速度v，以及从采集信号中提取出的声源与听音点之间的距离d0、中心点声压p和双耳声压pL0、pR0，其中d0、p、pL0和pR0无损传输；

步骤3：在N声道三维音频系统中，从接收的输入信号中提取出M声道三维音频系统的参数；

步骤4：在N声道三维音频系统中，计算中心点处的声压p和双耳声压pL、pR，计算虚拟声像到中心点的距离d，求解出虚拟声像到中心点的距离d用扬声器的功率Wi、扬声器与中心距离di、左右耳距离dLi和dRi的表示式，计算中心点处的粒子速度v'；

步骤5：建立距离调制最优模型，求解各扬声器信号调整的权值因子wi；所述距离调制最优模型用于通过调节扬声器信号的功率来改变虚拟声像到中心的距离d，使距离d与原始的距离d0尽量接近，同时保持中心点处声压与粒子速度v'不变；

步骤6：利用步骤5求解的权值因子wi，调节扬声器输入信号，使虚拟声像到中心点的距离d与原始的距离d0的差异最小。

2.如权利要求1所述三维音频系统距离调制方法，其特征在于：步骤1的实现方式为，按照以下公式，用重建声场中一个扬声器ζ替代原声场中三个扬声器ξ1、ξ2和ξ3，替代条件是扬声器ζ在扬声器ξ1、ξ2和ξ3所构成的球面三角形内，其中，r为扬声器ξ1、ξ2和ξ3所构成的球面三角形所在球面的半径，(x,y,z)为中心点位置， 表示第j个扬声器ξj的位置，j的取值为1,2,3；(ζx,ζy,ζz)是扬声器ζ的位置，qj(ω)是扬声器ξj信号的频域表示，|r-ζ|表示扬声器ζ与中心点(j)处的距离，|r-ξ |表示扬声器ξj与中心点处的距离，系数G是音频信号在空气中传播的声学常量，k表示波速，其值为2πf/c0，其中c0表示标准声速，s(ω)表示信号的频域表示，即傅里叶变换后的结果，i为虚数单位，e表示指数形式。

3.如权利要求2所述三维音频系统距离调制方法，其特征在于：步骤4具体实现方式如下，计算中心点处的声压p和双耳声压pL、pR如下式，

其中，di表示第i个扬声器到中心点的距离，dLi表示第i个扬声器到左耳距离，dRi表示第i个扬声器到右耳距离，Wi表示第i个扬声器的功率，wi表示第i个扬声器功率的权重，N表示扬声器个数，i的取值为1,2,…N；

计算虚拟声像到中心点的距离d如以下函数f(wiWi)，

其中，i的取值为1,2,…N；

计算中心点处的粒子速度v'，

其中，i为虚数单位，j取值为1,2,…N。

4.如权利要求3所述三维音频系统距离调制方法，其特征在于：步骤5所述距离调制最优模型如下，目标函数：minΔd＝d-d0

约束条件：

其中，dL,dR分别表示虚拟声像与左耳的距离、虚拟声像与右耳的距离，R表示头部半径。

说明书

一种三维音频系统距离调制方法

技术领域

[0001] 本发明属于声学领域，尤其涉及多声道三维音频系统的精简、优化技术。

背景技术

[0002] 传统的5.1声道是为了制造包围感而不是为了定位，因此侧面音响数目较少，声像位置不稳定，因此，负责制定日本的移动电话及数码广播等相关标准的日本广播协会和日本最大的媒体机构NHK(Nippon NHK)科学技术研究实验室于2004年正式提出22.2多声道原型系统，并将该系统列入面向下一代超高清电视的三维音频标准。日本广播协会将该系统中的扬声器阵列设置为三层结构以实现三维沉浸效果，中间层距下层间隔2米，上层距下层间隔6.28米，在三层扬声器共同作用下，在听者周围重建三维声像，克服了环绕声在高度感知方面的不足。

[0003] K.Hiyama等研究发现在水平方向上的扬声器之间若满足夹角为45度，即可获得足够的水平声音包络，Keiichi Kubota通过主观测试显示垂直方向上扬声器之间满足夹角45度，就能很好的保持高度方向上的一致性。因此，在22.2多声道系统中，在中间层设置了10个扬声器，其中8个按照两两水平方位角度间隔45度，并在屏幕方向增加两个扬声器用来匹配视频图像的声音定位，其水平方位角大致在60度和120度的位置上；在上层设置了9个扬声器，其中8个扬声器两两水平方位角度间隔45度，与中间层的8个扬声器保持一致，其目的是为了保持垂直空间一致性，剩下一个扬声器位于上层平面正中间；在下层屏幕方向设置5个扬声器，其中3个两两水平方位角间隔45度，剩下2个为低频扬声器，这5个扬声器与中间层和上层在屏幕方向的扬声器保持在同一垂直面上。22.2多声道系统能够在听音者周围重建一个3D声象，在整个屏幕区域内实现稳定的声音定位。使用语义差异法的主观测试结果显示，22.2声道在450英寸UHDTV的影院环境中对各种效果的体验都比
2声道或5.1声道要好近5％；通过音效工程师和音效设计师对22.2声道中每个声道的量度估计(Magnitude estimation)显示22.2的每个声道均能被有效使用。2011年NHK通过二次重建进一步将22.2声道下混为10声道或8声道，依然可以达到原22.2声道的重建效果。ISO/IEC的MPEG标准工作组也着手制定基于22.2声道三维音频系统标准，并在2011年的需求提案中指出感知无失真压缩编码是该系统的重要需求之一。

[0004] 2011年8月，日本广播协会(NHK)实验室的Akio Ando将22.2多声道3D音频系统(如图2)精简为10.2声道，该成果发表在IEEE Transactions on Audio,Speech and LanguageProcessing上。其精简的原理是用一个扬声器代替包围该扬声器的三个扬声器，重新调整扬声器的分配信号以保持中心点处的声压和粒子速度不变。虽然中心点处的声场物理特性未变，但是声源到中心点处的距离被损失，导致听音者缺少对音源的真实的距离感受。同时，不同的应用环境配置的声道数不同，如家庭应用环境的面积不同、娱乐环境的需求不同，都会导致实际应用中扬声器在数量上有差异，为了适应多声道系统配置上的区别，提高重现声场的包围感与沉浸感，必须在各种应用环境中调制出声场的距离感知，为听音者在三维声场中提供真实的三维音频空间感受。

发明内容

[0005] 本发明针对现有的多声道音频系统距离感知的丢失问题，提出一种能恢复重现声场中距离感知的技术方法。

[0006] 达到上述目的，本发明提供一种三维音频系统距离调制方法，包括以下步骤：

[0007] 步骤1：按照中心点处声压不变且粒子速度不变准则，将M声道三维音频系统简化成N声道三维音频系统；

[0008] 步骤2：将M声道三维音频系统的M路音频信号及参数传送至N声道三维音频系统，所述参数包括从M路信号中的粒子速度v，以及从采集信号中提取出的声源与听音点之间的距离d0、中心点声压p和双耳声压pL0、pR0，其中d0、p、pL0和pR0无损传输；

[0009] 步骤3：在N声道三维音频系统中，从接收的输入信号中提取出M声道三维音频系统的参数；

[0010] 步骤4：在N声道三维音频系统中，计算中心点处的声压p和双耳声压pL、pR，计算虚拟声像到中心点的距离d，求解出虚拟声像到中心点的距离d用扬声器的功率Wi、扬声器与中心距离di、左右耳距离dLi和dRi的表示式，计算中心点处的粒子速度v'；

[0011] 步骤5：建立距离调制最优模型，求解各扬声器信号调整的权值因子wi；所述距离调制最优模型用于通过调节扬声器信号的功率来改变虚拟声像到中心的距离d，使距离d与原始的距离d0尽量接近，同时保持中心点处声压与粒子速度v'不变；

[0012] 步骤6：利用步骤5求解的权值因子wi，调节扬声器输入信号，使虚拟声像到中心点的距离d与原始的距离d0的差异最小。

[0013] 而且，步骤1的实现方式为，按照以下公式，用重建声场中一个扬声器ζ替代原声场中三个扬声器ξ1、ξ2和ξ3，替代条件是扬声器ζ在扬声器ξ1、ξ2和ξ3所构成的球面三角形内，

[0014]

[0015]

[0016] 其中，r为扬声器ξ1、ξ2和ξ3所构成的球面三角形所在球面的半径，(x，y,z)为中心点位置， 表示第j个扬声器ξj的位置，j的取值为1,2,3；(ζx,ζy,ζz)是扬声器ζ的位置，qj(ω)是扬声器ξj信号的频域表示，|r-ζ|表示扬声器ζ与中心(j)点处的距离，|r-ξ |表示扬声器ξj与中心点处的距离，系数G是音频信号在空气中传播的声学常量，k表示波速，其值为2πf/c0，其中c0表示标准声速，s(ω)表示信号的频域表示，即傅里叶变换后的结果，i为虚数单位，e表示指数形式。

[0017] 而且，步骤4具体实现方式如下，

[0018] 计算中心点处的声压p和双耳声压pL，、pR如下式，

[0019]

[0020]

[0021]

[0022] 其中，di表示第i个扬声器到中心点的距离，dLi表示第i个扬声器到左耳距离，dRi表示第i个扬声器到右耳距离，Wi表示第i个扬声器的功率，wi表示第i个扬声器功率的权重，N表示扬声器个数，i的取值为1,2,…N；

[0023] 计算虚拟声像到中心点的距离d如以下函数f(wiWi)，

[0024]

[0025] 其中，i的取值为1,2,…N；

[0026] 计算中心点处的粒子速度v'，

[0027]

[0028] 其中，i为虚数单位，j取值为1,2,…N。

[0029] 而且，步骤5所述距离调制最优模型如下，

[0030] 目标函数：minΔd＝d-d0

[0031] 约束条件：

[0032] 其中，dL,dR分别表示虚拟声像与左耳的距离、虚拟声像与右耳的距离，R表示头部半径。

[0033] 本发明基于基础声学中的部分原理，理论基础完善，计算代价小，能还原出原始距离感知，可以应用于各种精简扬声器系统当中。

附图说明

[0034] 图1是本发明实施例的距离调制模型框架图。

[0035] 图2是22.2多声道系统工作示意图。

[0036] 图3是本发明实施例的精简后的多声道三维音频系统虚拟声像示意图。

[0037] 图4是本发明实施例的扬声器组距离、声压示意图。

[0038] 图5是本发明实施例的距离调制目标示意图。

具体实施方式

[0039] 本发明设计的一种三维音频系统精简优化技术包括：采集M多声道三维音频系统信号，从获得的信号中可以计算中心点处声压、左右耳处声压及音源到中心点距离，并建立声压、距离映射模型，依据模型可计算出距离信息。将M多声道三维信号简化至N多声道三维信号。简化过程中保持中心点声压、粒子速度等物理特性不变，并且将原始音源与听音者的距离传送至接收端。根据N路多声道扬声器信号计算虚拟声源到中心点处的距离及中心点处的声压、左右耳声压和粒子速度建立距离调制模型，调节N路扬声器信号，使听音点与虚拟声源的距离与原始距离一致。

[0040] 具体实施时，可以采用软件技术实现本发明流程的自动运行，下面以实施例结合附图对本发明作进一步说明：

[0041] 为达到距离调制的目的，本发明实施例执行的具体步骤如下：

[0042] 步骤1：按照中心点处声压不变且粒子速度不变准则，将M声道三维音频系统简化成N声道三维音频系统，以将M多声道信号简化为N多声道信号。

[0043] 实施例按照中心点处声压不变、粒子速度不变准则（如下式所示），由M多声道系统简化成N多声道系统，简化的原理是用重建声场中一个扬声器ζ替代原声场中三个扬声器ξ1、ξ2和ξ3，替代条件是扬声器ζ在扬声器ξ1、ξ2和ξ3所构成的球面三角形内：

[0044]

[0045]

[0046] 式中r为扬声器ξ1、ξ2和ξ3所构成的球面三角形所在球面的半径，(x，y,z)为中心点位置（即球面的原点）， 表示第j个扬声器ξj的位置，j的取值为1,2,3；(ζx,ζy,ζz)是扬声器ζ的位置，qj(ω)是扬声器ξj信号的频域表示，|r-ζ|表示扬声器ζ与中心点处的距离，|r-ξ(j)|表示扬声器ξj与中心点处的距离，系数G是音频信号在空气中传播的声学常量，k表示波速，其值为2πf/c0，其中c0表示标准声速，s(ω)表示信号的频域表示，即傅里叶变换后的结果，i为虚数单位，e表示指数形式。

[0047] 步骤2：将M声道三维音频系统的M路信号及参数传送至N声道三维音频系统，所述参数包括从M路信号中的粒子速度v，以及从采集信号中提取出的声源与听音点之间的距离d0、中心点声压p和双耳声压pL0、pR0，其中d0、p、pL0、pR0无损传输。

[0048] 步骤3：在N多声道三维音频系统中，从接受的信号中提取出M声道三维音频系统的参数，即步骤2传送的原始距离、中心点声压、双耳声压等信息。

[0049] 步骤4：在N声道三维音频系统中，计算中心点处的声压p和双耳声压pL、pR，计算虚拟声像到中心点的距离d，求解出虚拟声像到中心点的距离d用扬声器的功率Wi、扬声器与中心距离di、左右耳距离dLi、dRi的表示式，计算中心点处的粒子速度v'。

[0050] 实施例采用以下子步骤：

[0051] 步骤4.1计算中心点处的声压和双耳声压。

[0052] N多声道三维音频系统中计算中心点处接收到的声压p、双耳接收到的声压pL，pR，如图3。计算过程如下式。其中di表示第i个扬声器到中心点的距离，dLi表示第i个扬声器到左耳距离，dRi表示第i个扬声器到右耳距离，Wi表示第i个扬声器的功率，wi表示第i个扬声器功率的权重，N表示扬声器个数.计算模拟图如图3、图4所示。

[0053]

[0054]

[0055]

[0056] 其中，i的取值为1,2,…N。

[0057] 步骤4.2计算虚拟声像到中心点的距离d如下所示。求解出虚拟声像到中心点的距离d用扬声器的功率、扬声器与中心距离、左右耳距离表示为函数f(wiWi)：

[0058]

[0059] 其中，i的取值为1,2,…N。

[0060] 步骤4.3计算中心点处的粒子速度。

[0061]

[0062] 其中，i为虚数单位，j取值为1,2，...N。

[0063] 步骤5：建立距离调制最优模型，求解各扬声器信号调整的权值因子wi；所述距离调制最优模型用于通过调节扬声器信号的功率来改变虚拟声像到中心的距离d，使距离d与原始的距离d0尽量接近，同时保持中心点处声压与粒子速度v'不变。

[0064] 以上过程保证了中心点处接收到的声压与粒子速度声学物理特征与M多声道三维音频系统中完全一致，但是虚拟声像与中心点处的距离与原始距离存在较大差异，如图5所示。

[0065] 步骤5.1在获得距离d与扬声器信号、扬声器与中心点处距离、扬声器与左右耳距离等因素之间的关系后，可以通过调节扬声器信号的功率来改变虚拟声像的距离使之与原始距离尽可能接近，同时保持中心点处声压与粒子速度不变，按此建立距离调制最优模型：

[0066] 目标函数：minΔd＝d-d0

[0067] 约束条件：

[0068] 其中dL,dR分别表示虚拟声像与左耳的距离、虚拟声像与右耳的距离，R表示头部半径，d0采用步骤2所得结果。

[0069] 步骤5.2解步骤5.1中的距离调制最优模型。具体实施时，可利用现有最优化软件Lingo求解该模型，获得各扬声器信号调整的权重因子wi。

[0070] 步骤6：利用调整权值因子wi，调节扬声器输入信号功率，使虚拟声像到中心点的距离d与原始的距离d0的差异最小。

[0071] 根据步骤5中求解的扬声器信号调整权重因子，重新调整扬声器信号，达到声像距离与原始声音事件的距离的差异最小化的目的。实施例根据步骤5所得扬声器信号权值wi和未优化前的N多声道三维音频信号重新分配扬声器信号以恢复原始的距离感知。

[0072] 具体实施时，可以采用软件模块化技术实现相应系统，参见图1，包括扬声器简化模块2、声像距离计算模块4、声学物理特征计算模块5、距离调制模块7、扬声器信号重分配模块10。其中原始M路多声道音频信号标记为1，简化后的N路多声道音频信号标记为3，距离、声压、粒子速度等参数传递标记为6，原始距离、声压参数标记为8，模型求解后的权值参数标记为9。

[0073] 扬声器简化模块2：根据已有结论，听音点处的声学特征可以用声压和粒子速度决定，因此获取标准的M路多声道信号1后，通过该模块将M声道三维音频信号简化为N声道三维音频信号，同时保持声压和粒子速度不变，将声道数量减少而不改变中心点处的声学特征，但该模块的缺点是距离信息受损。实际应用中输入与输出系统可以为任意数量的声道数，实现从M声道到N声道的转换(M,N为整数,M>N)，并且转换过程中保持听音点处声压和粒子速度不变。

[0074] 距离计算模块4：以N路音频信号3为输入，根据声学理论中声音能量、声压与距离之间的衰减关系，计算声像与中心点之间的距离。此模块运用声音信号在空气中的衰减原理计算多声道系统中虚拟声像与听音点处的距离。其输入为N路三维音频信号3，输出为虚拟声像与听音点之间的距离。

[0075] 中心点处声学特征计算模块5：由N路三维音频信号3计算中心点处的声学特征，包括中心点处接收的声压、粒子速度及双耳声压。其输入为N路三维音频信号3及每个扬声器与听音点处的距离，输出为中心点处的声压、粒子速度和双耳声压。

[0076] 距离调制模块7：由距离计算模块4、中心点声学特征计算模块5和无损传输的参数8，以重建的声像距离与原始距离之差为目标函数，声学特征保持不变为约束条件，建立距离差最小值优化模型。目标是使虚拟声像与听音点的距离与原始距离差值最小，约束条件为保持听音点处声压与粒子速度不变，解此模型后输出扬声器信号调整权值参数9。

[0077] 扬声器信号重分配模块10：根据扬声器组信号调整参数9，重新分配扬声器信号分配。

[0078] 本发明中所描述的具体实施例仅仅是对本发明作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。