基于对象的音频的虚拟渲染

摘要

描述了用于通过对每个对象进行双耳渲染、接着在馈送相应的多个扬声器对的多个串音消除电路之间平移所得的立体声双耳信号来虚拟地渲染基于对象的音频的系统的实施例。与现有技术的利用单对扬声器的虚拟渲染相比，所描述的实施例改进了在串音消除器甜蜜点内部和外部的收听者的空间印象。还描述了改进的用于串音消除器的均衡技术，其被从串音消除器滤波器和双耳滤波器两者计算并且应用于正被虚拟化的单音音频信号。所描述的技术改进了对于甜蜜点外部的收听者的音色，并且使当从标准渲染切换到虚拟渲染时的音色偏移变小。

权利要求

1.一种用于虚拟渲染基于对象的音频的方法，包括：

将对象信号和相应的对象信号位置应用于双耳滤波器对以产生双耳信号，其中，所述对象信号和所述对象信号位置与所述基于对象的音频的音频对象相关联；

将所述双耳信号乘以平移系数以产生缩放双耳信号，所述平移系数是基于相对于各串音消除器的方位的对象信号位置而计算的；

在多个串音消除器之间平移从所述双耳滤波器对产生的所述双耳信号，其中，串音消除器之间的所述平移由与每个音频对象相关联的位置控制；

对所述缩放双耳信号求和；和

将串音消除处理应用于求和的缩放双耳信号以产生用于通过扬声器回放的扬声器信号对，其中，所述扬声器包括在扬声器外壳内的多个驱动器阵列，并且所述多个驱动器阵列包括前发射驱动器以及侧发射驱动器或向上发射驱动器。

2.根据权利要求1所述的方法，其中，所述双耳滤波器对利用所述对象信号在三维空间中相对于收听区域中的收听者的期望位置的头部相关传递函数(HRTF)对。

3.根据权利要求1所述的方法，其中，所述基于对象的音频包括传统内容，所述传统内容被配置用于在包括按所定义的环绕声配置设置的扬声器阵列的环绕声系统中回放，并且其中，所述传统内容的固定声道位置包括所述对象信号的各自对象。

4.根据权利要求1所述的方法，其中，所述对象信号是时变信号，并且所述对象信号与三维空间中的位置相关联。

5.根据权利要求1所述的方法，其中，双耳滤波器函数对基于位置相关联的音频对象被应用于对象信号。

6.根据权利要求1所述的方法，其中，所述扬声器是具有侧发射驱动器对的条状音箱。

7.根据权利要求1所述的方法，其中，所述扬声器是具有向上发射驱动器对的条状音箱。

8.根据权利要求1所述的方法，其中，所述扬声器是具有前发射驱动器对的条状音箱。

9.一种用于在收听环境下通过多个扬声器对虚拟渲染基于对象的音频的系统，包括：接收器级，所述接收器级接收多个对象信号；

多个双耳滤波器，被配置为将双耳滤波器函数对应用于一个或多个对象信号中的每个对象信号以产生各自的双耳信号，其中，对象信号的至少一部分包括时变对象，并且其中，每个双耳滤波器根据各自的对象信号的对象位置被选择；

多个平移电路，被配置为基于相对于各串音消除器电路的方位的对象位置计算用于每个对象信号的多个平移系数，其中，所述多个平移系数中的每个平移系数乘以各自的双耳信号以产生多个缩放双耳信号；

多个求和器电路，被配置为将用于所述多个平移系数中的每个平移系数的相应的缩放双耳信号求和以产生多个和信号；和多个串音消除器电路，每个串音消除器电路将串音消除处理应用于所述多个和信号中的每个和信号以产生用于通过各自的扬声器对输出的扬声器信号对，其中，所述扬声器对被包封在扬声器外壳内，并且所述扬声器对包括前发射驱动器以及侧发射驱动器或向上发射驱动器。

10.根据权利要求9所述的系统，其中，所述双耳滤波器对中的每个利用对象信号在三维空间中相对于收听区域中的收听者的期望位置的一对头部相关传递函数(HRTF)之一。

11.根据权利要求9所述的系统，其中，每个平移电路实现平移函数，所述平移函数被配置为以将各个对象信号的期望位置传递到收听区域中的多个收听者中的每个收听者的方式将所述多个对象信号中的每个对象信号分发给所述多个扬声器对中的每个扬声器对。

12.根据权利要求10所述的系统，其中，对象信号的期望位置包括感知上在收听者上方的位置，并且其中，对象信号由下列之一回放：物理地置于收听者上方的扬声器、以及被配置为使声波朝向收听区域的天花板投射以便向下反射到收听者的向上发射驱动器。

13.根据权利要求9所述的系统，其中，扬声器是具有侧发射驱动器对的条状音箱。

14.根据权利要求9所述的系统，其中，扬声器是具有向上发射驱动器对的条状音箱。

15.根据权利要求9所述的系统，其中，扬声器是具有前发射驱动器对的条状音箱。

说明书

基于对象的音频的虚拟渲染

[0001] 相关申请的交叉引用

[0002] 本申请要求2013年8月31日提交的美国临时优先权申请No.61/695,944的优先权，该申请的全部内容通过引用并入此。

技术领域

[0003] 一种或多种实现总体涉及音频信号处理，更具体地，涉及基于对象的音频的虚拟渲染和均衡。

背景技术

[0004] 背景部分中所讨论的主题不应仅由于其在背景部分中被提及而被假定为现有技术。类似地，在背景部分中提及的或者与背景部分的主题相关联的问题不应被假定为以前已经在现有技术中被认识到。背景部分中的主题仅表示不同方法，这些方法本身也可以是发明。

[0005] 空间音频通过扬声器对的虚拟渲染通常涉及立体声双耳信号的创建，该立体声双耳信号然后被馈送通过串音消除器以产生左扬声器信号和右扬声器信号。双耳信号表示到达收听者的左耳和右耳的期望声音，并且被合成以模拟三维(3D)空间中的特定音频场景，该特定音频场景可能包含在不同位置处的大量源。串音消除器试图消除或减小立体声扩音器回放中固有的自然串音，以使得双耳信号的左声道基本上仅被递送到收听者的左耳，右声道基本上仅被递送到收听者的右耳，从而保留双耳信号的意图。通过这样的渲染，音频对象被“虚拟地”放置在3D空间中，这是因为扩音器不必物理地位于所渲染的声音看似是从其发出的点处。

[0006] 串音消除器的设计基于从扬声器到收听者的耳朵的音频传输的模型。图1例示了目前已知的用于串音消除器的音频传输模型。信号sL和sR表示从左扬声器104和右扬声器106发送的信号，信号eL和eR表示到达收听者102的左耳和右耳的信号。每个耳朵信号被建模为左扬声器信号和右扬声器信号之和，每个扬声器信号被单独的线性时不变传递函数H滤波，该传递函数H对从每个扬声器到该耳朵的声学传输进行建模。这四个传递函数108通常使用头部相关传递函数(HRTF)来进行建模，这些HRTF根据所假定的相对于收听者102的扬声器布置被选择。通常，HRTF是表征耳朵如何从空间中的点接收声音的响应；用于两个耳朵的HRTF对可以用于合成看似从空间中的特定点发出的双耳声音。

[0007] 图1中所描绘的模型可以写成如下的矩形方程形式：

[0008] 或e＝Hs   (1)

[0009] 方程1反映了一个特定频率的信号之间的关系，并且意在于应用于整个感兴趣频率范围，这同样适用于所有的后面的相关方程。如方程2中所示，可以通过对矩阵H进行求逆来实现串音消除器矩阵C：

[0010]

[0011] 给定左双耳信号bL和右双耳信号bR，扬声器信号sL和sR被计算为该双耳信号乘以串音消除器矩阵：

[0012] s＝Cb其中

[0013] 将方程3代入方程1中并且注意到C＝H-1，得到：

[0014] e＝HCb＝b   (4)

[0015] 换句话说，通过将串音消除器应用于双耳信号产生扬声器信号来得到收听者的耳朵处的信号，该信号等于双耳信号。这假定矩阵H对从扬声器到收听者的耳朵的音频的物理声学传输进行了完美建模。实际上，情况可能将并非如此，因此，方程4一般将是近似的。然而，在实践中，该近似通常接近得足以使得收听者将基本上感知到双耳信号b所想要的空间印象。

[0016] 双耳信号b常常是通过应用双耳渲染滤波器BL和BR从单耳音频

[0017] 对象信号o合成的：

[0018] 或b＝Bo   (5)

[0019] 渲染滤波器对B最经常是由HRTF对给定的，该HRTF对被选为给予对象信号o从空间中的相对于收听者的关联位置发出的印象。用方程形式，该关系可以表示为：

[0020] B＝HRTF{pos(o)}   (6)

[0021] 在以上方程6中，pos(o)表示对象信号o在3D空间中相对于收听者的期望位置。该位置可以用笛卡尔(x,y,z)坐标或任何其他等同坐标系(诸如极系)来表示。该位置还可以随时间变化，以便模拟对象通过空间的移动。函数HRTF{}意在于表示可根据位置寻址的HRTF集合。存在有在实验室中从人类主体测量的许多这样的集合，诸如CIPIC数据库，其是对于若干个不同主体的高空间分辨率HRTF测量的公共域数据库。可替代地，该集合可以由诸如球形头部模型的参数化模型构成。在实际实现中，用于构造串音消除器的HRTF常常选自用于产生双耳信号的同一集合，但是这不是必需的。

[0022] 在许多应用中，空间中的各种位置处的大量对象被同时渲染。在这样的情况下，双耳信号由其相关联的HRTF被应用的对象信号之和给定：

[0023] 其中Bi＝HRTF{pos(oi)}   (7)

[0024] 通过该多对象双耳信号，产生扬声器信号的整个渲染链由以下给出：

[0025]

[0026] 在许多应用中，对象信号oi由多声道信号(诸如由左、中央、右、左环绕和右环绕构成的5.1信号)的各个声道给定。在这种情况下，与每个对象相关联的HRTF可以被选为对应于与每个声道相关联的固定扬声器位置。这样，5.1环绕声系统可以通过一组立体声扩音器被虚拟化。在其他应用中，对象可以是被允许在3D空间中的任何地方自由地移动的源。在下一代空间音频格式的情况下，方程8中的对象集合可以由自由移动的对象和固定声道两者构成。

[0027] 虚拟空间音频渲染处理器的一个缺点是效果高度依赖于收听者坐在串音消除器的设计中所假定的相对于扬声器的最佳位置。因此，所需要的是即使收听者未处于最佳收听位置仍保持双耳信号所意图的空间印象的虚拟渲染系统和处理。

发明内容

[0028] 描述了用于虚拟渲染基于对象的音频内容和改进对于串音消除器的均衡化的系统和方法的实施例。虚拟器涉及：通过对每个对象进行双耳渲染、接着在对相应的多个扬声器对进行馈送的大量串音消除电路之间平移(pan)所得的立体声双耳信号，来虚拟渲染基于对象的音频。与现有技术的利用单对扬声器的虚拟渲染相比，本文中所描述的方法和系统改进了在串音消除器甜蜜点内部和外部的收听者的空间印象。

[0029] 通过在多个串音消除器之间平移从每个音频对象产生的双耳信号，虚拟空间渲染方法扩展到多对扬声器。串音消除器之间的平移由与每个音频对象相关联的位置控制，这个位置被用于选择与每个对象相关联的双耳滤波器对。多个串音消除器被设计用于并且被馈送到相应的多个扬声器对，每个扬声器对具有相对于所意图的收听位置的不同的物理位置和/或方位。

[0030] 实施例还包括改进的用于串音消除器的均衡化处理，该均衡化处理是从应用于正被虚拟化的单音音频信号的串音消除器和双耳滤波器两者计算的。该均衡化处理导致对于甜蜜点外部的收听者的音色得到改进，并且当从标准渲染切换到虚拟渲染时的音色偏移(timbre shift)变小。

[0031] 通过引用并入

[0032] 本说明书中所提及的每个出版物、专利和/或专利申请的全部内容通过引用并入本文，就如同分别明确地指示各个出版物和/或专利申请通过引用并入一样。

附图说明

[0033] 在下图中，相似的标号用于指示相似的元件。尽管下图描绘了各种例子，但是一种或多种实现不限于这些图中所描绘的例子。

[0034] 图1例示目前已知的串音消除器系统。

[0035] 图2例示三个收听者相对于虚拟空间渲染的最佳位置放置的例子。

[0036] 图3是根据实施例的用于在多个串音消除器之间平移从音频对象产生的双耳信号的系统的框图。

[0037] 图4是例示根据实施例的在多个串音消除器之间平移双耳信号的方法的流程图。

[0038] 图5例示根据实施例的可以与虚拟渲染系统一起使用的扬声器对阵列。

[0039] 图6是描绘根据实施例的应用于单个对象o的均衡化处理的示图。

[0040] 图7是例示根据实施例的对于单个对象执行均衡化处理的方法的流程图。

[0041] 图8是根据实施例的将均衡化处理应用于多个对象的系统的框图。

[0042] 图9是描绘根据第一实施例的对于渲染滤波器的频率响应的曲线图。

[0043] 图10是描绘根据第二实施例的对于渲染滤波器的频率响应的曲线图。

具体实施方式

[0044] 描述用于通过多对扬声器虚拟渲染基于对象的音频以及改进对于这样的虚拟渲染的均衡化方案的系统和方法，但是应用不如此受限。本文中所描述的一个或多个实施例的各方面可以在音频或视听系统中实现，所述音频或视听系统对包括执行软件指令的一个或多个计算机或处理装置的混音、渲染和回放系统中的源音频信息进行处理。所描述的任一实施例可以单独使用，或者以任何组合相互一起使用。尽管各个实施例的动机可能是克服在本说明书中的一个或多个地方中可能讨论的或暗指的现有技术的各种缺陷，但是实施例不必然解决这些缺陷中的任何一个。换句话说，不同实施例可以解决在本说明书中可能讨论的不同缺陷。一些实施例可以仅部分解决一些缺陷，或者仅解决在本说明书中可能讨论的一个缺陷，并且一些实施例可以不解决这些缺陷中的任何一个。

[0045] 实施例意在于解决已知的虚拟音频渲染处理的关于下述事实的一般限制，即，效果高度依赖于收听者位于串音消除器的设计中所假定的相对于扬声器的位置。如果收听者不在该最佳收听位置(所谓的“甜蜜点”)，则串音消除效果可能部分或完全受损，并且双耳信号所意图实现的空间印象不被收听者感知到。对于多个收听者(在这种情况下，收听者中仅一个可以有效地占据甜蜜点)，这是特别成问题的。例如，在如图2中所描绘的三个收听者坐在沙发上的情况下，三个人中只有中央收听者202才将有可能享用扬声器204和206回放的虚拟空间渲染的全部益处，这是因为只有该收听者处于串音消除器的甜蜜点。因此，实施例旨在改进最佳位置外部的收听者的体验，同时保持或者可能增强最佳位置处的收听者的体验。

[0046] 示图200例示了用串音消除器产生的甜蜜点位置202的创建。应指出，方程3所描述的串音消除器对于双耳信号的应用以及方程5和7所描述的双耳滤波器对于对象信号的应用在频域中可以直接实现为矩阵乘法。然而，在时域中可以通过与按各种拓扑布置的适当的FIR(有限脉冲响应)或IIR(无限脉冲响应)滤波器进行卷积来实现等同应用。实施例包括所有这样的变型。

[0047] 在空间音频再现中，可以通过利用多于两个的扬声器将甜蜜点202扩展到多于一个的收听者。这最经常的是通过如5.1环绕声系统那样用多于两个的扬声器环绕更大的甜蜜点来实现的。在这样的系统中，意图从一个(多个)收听者后面听到的声音例如是由物理地位于他们后面的扬声器产生的，就这点而论，所有收听者都感知到这些声音来自后面。另一方面，在通过立体声扬声器进行虚拟空间渲染的情况下，来自后面的音频的感知由用于产生双耳信号的HRTF控制，并且将仅被位于甜蜜点202的收听者适当地感知到。甜蜜点外部的收听者将有可能感知到音频是从在他们前面的立体声扬声器发出的。尽管具有益处，但是这样的环绕声系统的安装对于许多消费者是不实用的。在某些情况下，消费者可能更愿意使所有扬声器保持位于收听环境的前面，常常与电视显示器并置。在其他情况下，空间或设备可用性可能受到约束。

[0048] 实施例针对以组合以下益处的方式与虚拟空间渲染结合使用多个扬声器对，即，对于在甜蜜点外部的收听者使用多个两个的扬声器，并且以允许所有所用的扬声器基本上并置的方式保持或增强甜蜜点内部的收听者的体验，但是这样的并置不是必需的。通过在多个串音消除器之间平移从每个音频对象产生的双耳信号，虚拟空间渲染方法扩展到多个扩音器对。串音消除器之间的平移由与每个音频对象相关联的位置控制，这个位置用于选择与每个对象相关联的双耳滤波器对。多个串音消除器被设计用于并且馈送到相应的多个扬声器对，每个扬声器对具有相对于所意图的收听位置的不同的物理位置和/或方位。

[0049] 如上所述，就多对象双耳信号而言，产生扬声器信号的整个渲染链由方程8的求和表达式给出。可以通过如下将方程8扩展到M对扬声器来描述该表达式：

[0050]

[0051] 在以上方程9中，变量具有以下赋值：

[0052] oi＝用于N个之中的第i对象的音频信号

[0053] Bi＝由Bi＝HRTF{pos(oi)}给定的用于第i对象的双耳滤波器对

[0054] aij＝将用于第i对象的系数平移到第j串音消除器中

[0055] Cj＝用于第j扬声器对的串音消除器矩阵

[0056] sj＝发送到第j扬声器对的立体声扬声器信号

[0057] 与每个对象i相关联的M个平移系数通过使用将该对象的可能时变的位置取作输入的平移函数来计算：

[0058]

[0059] 方程9和10等同地用图3中所描绘的框图表示。图3例示了用于在多个串音消除器之间平移从音频对象产生的双耳信号的系统，图4是例示根据实施例的用于在多个串音消除器之间平移双耳信号的方法的流程图。如示图300和400中所示，对于N个对象信号中的每个oi，首先应用根据对象位置pos(oi)被选择的一对双耳滤波器Bi来产生双耳信号，步骤402。同时，平移函数基于对象位置pos(oi)计算M个平移系数ai1…aiM，步骤404。每个平移系数分别乘以双耳信号，产生M个缩放双耳信号，步骤406。对于M个串音消除器中的每个Cj，将来自所有N个对象的第j缩放双耳信号相加，步骤408。串音消除器然后对该和信号进行处理以产生通过第j扩音器对回放的第j扬声器信号对sj，步骤410。应指出，图4中所示的步骤的次序不严格固定为所示的顺序，并且所示的步骤或动作中的一些可以按与处理400的顺序不同的顺序在其他步骤之前或之后执行。

[0060] 为了将多个扩音器对的益处扩展到甜蜜点外部的收听者，平移函数以帮助将(混音器或内容创建器想要的)对象的希望物理位置传递给这些收听者的方式将对象信号分发给扬声器对。例如，如果对象意在于从头顶被听到，则平移器将对象平移到对于所有收听者最有效地再现高度感知的扬声器对。如果对象意在于在侧面被听到，则平移器将对象平移到对于所有收听者最有效地再现宽度感知的扬声器对。更一般地，平移函数将每个对象的期望空间位置与每个扬声器对的空间再现能力进行比较，以便计算最佳平移系数集合。

[0061] 一般地，任何实际数量的扬声器对可以按任何适当的阵列使用。在典型的实现中，三个扬声器对可以按如图5中所示的全都并置在收听者的前面的阵列被利用。如示图500中所示，收听者502处于相对于扬声器阵列504的位置。该阵列包括在相对于该阵列的轴的特定方向上投射声音的若干个驱动器。例如，如图5中所示，第一驱动器对506指向收听者的前面(前发射驱动器)，第二对508指向侧面(侧发射驱动器)，第三对510指向上(向上发射驱动器)。这些对被标记为前506、侧508和高度510，并且与每个相关联的分别是串音消除器CF、CS和CH。

[0062] 对于用于每个音频对象的双耳滤波器以及与每个扬声器对相关联的串音消除器的产生两者，利用参数化球形头部模型HRTF。在实施例中，这样的参数化球形头部模型HRTF可以如标题为“Surround Sound Virtualizer and Method with Dynamic Range Compression”的美国专利申请No.13/132,570(公布号No.US 2011/0243338)中所描述的那样产生，该申请通过引用并入此并且作为附录1附到本文。一般地，这些HRTF仅取决于对象相对于收听者的正中面的角度。如图5中所示，该正中面处的角度被定义为零度，向左的角度被定义为负，向右的角度被定义为正。

[0063] 对于图5中所示的扬声器布局，假定扬声器角度θC对于所有三个扬声器对都是相同的，因此，串音消除器矩阵C对于所有三个对都是相同的。如果每对没有处于大致相同的位置处，则可以对于每对不同地设置该角度。设HRTFL{θ}和HRTFR{θ}定义处于角度θ的与音频源相关联的左参数化HRTF滤波器和右参数化HRTF滤波器，如方程2中所定义的串音消除器矩阵的四个元素由以下方程给出：

[0064] HLL＝HRTFL{-θC}(11a)

[0065] HLR＝HRTFR{-θC}   (11b)

[0066] HRL＝HRTFL{-θC}   (11c)

[0067] HRR＝HRTFR{θC}   (11d)

[0068] 与每个音频对象信号oi相关联的是用笛卡尔坐标{xi yi zi}给出的可能时变的位置。因为优选实施例中所采用的参数化HRTF不包含任何海拔高度线索，所以在从HRTF函数计算双耳滤波器对时，仅利用对象位置的x和y坐标。这些{xi yi}坐标被变换为等同的半径和角度{ri θi}，其中，该半径被归一化为位于0与1之间。在实施例中，参数化HRTF不取决于离收听者的距离，因此，该半径如下地合并到左双耳滤波器和右双耳滤波器的计算中：

[0069]

[0070]

[0071] 当半径为0时，双耳滤波器在所有频率上都只为1，并且收听者在两个耳朵处平等地听到对象信号。这对应于对象位置准确地位于收听者的头部内时的情况。当半径为1时，滤波器等于以角度θi定义的参数化HRTF。对半径项取平方根使滤波器的这个插值偏向更好地保留空间信息的HRTF。指出，因为参数化HRTF模型不包含距离线索，所以这个计算是需要的。不同的HRTF集合可能合并有这样的线索，在这种情况下，方程12a和12b所描述的插值将不是必要的。

[0072] 对于每个对象，用于三个串音消除器中的每个的平移系数被从相对于每个消除器的方位的对象位置{xi yi zi}计算。向上发射扬声器对510意在于通过使声音从天花板或收听环境的其他上表面反射以从上方传递声音。就这点而论，其相关联的平移系数与海拔高度坐标zi成比例。前发射对和侧发射对的平移系数由从{xi yi}坐标推导的对象角度θi管控。当θi的绝对值小于30度时，将对象整个地平移到前对506。当θi的绝对值在30度与90度之间时，平移对象至前对506与侧对508之间；当θi的绝对值大于90度时，将对象整个地平移到侧对508。通过该平移算法，甜蜜点502上的收听者接收到所有三个串音消除器的益处。另外，通过向上发射对添加了海拔高度的感知，并且侧发射为混合到侧面和背面的对象添加了扩散元素，这可以增强感知到的环绕感。对于甜蜜点外部的收听者，消除器丧失了它们的大部分有效性，但是这些收听者仍然从向上发射对得到海拔高度感知，并且从前面到侧面平移得到直达声与扩散声之间的变化。

[0073] 如示图400中所示，所述方法的实施例涉及使用平移函数基于对象位置计算平移系数，步骤404。设aiF、aiS和aiH表示第i对象平移到前串音消除器、侧串音消除器和高度串音消除器中的平移系数，这些平移系数的计算的算法由以下方程给出：

[0074]

[0075] 如果abs(θi)＜30，

[0076]

[0077] αiS＝0   (13c)

[0078] 否则abs(θi)＜90，

[0079]

[0080]

[0081] 否则，

[0082] αiF＝0   (13f)

[0083]

[0084] 应指出，以上算法使每一个对象信号的功率保持为它被平移时的样子。该功率保持可以表达为：

[0085]

[0086] 在实施例中，使用平移和互相关的虚拟化方法和系统可以应用于包含动态对象信号连同固定声道信号的混合的下一代空间音频格式。这样的系统可以对应于2012年4月20日提交的、标题为“System and Method for Adaptive Audio Signal Generation,Coding and Rendering”的未决的美国临时专利申请61/636,429中所描述的空间音频系统，该申请特此通过引用并入并且作为附录2附到本文。在使用环绕声阵列的实现中，可以通过将固定的空间位置分配给每个声道来用以上算法对固定声道信号进行处理。在由左、右、中央、左环绕、右环绕、左高和右高构成的七声道信号的情况下，可以假定以下{r θ z}坐标：

[0087] 左：{1,-30,0}

[0088] 右：{1,30,0}

[0089] 中央：{1,0,0}

[0090] 左环绕：{1,-90,0}

[0091] 右环绕：{1,90,0}

[0092] 左高：{1,-30,1}

[0093] 右高：{1,30,1}

[0094] 如图5中所示，优选的扬声器布局还可以包含单个分立的中央扬声器。在这种情况下，中央声道可以被直接路由到中央扬声器，而不是被图4的电路处理。在纯粹的基于声道的传统信号用优选实施例渲染的情况下，因为每个对象位置是静态的，所以系统400中的所有元素始终是随时间恒定的。在这种情况下，所有这些元素都可以在系统启动时预先被计算一次。另外，双耳滤波器、平移系数和串音消除器可以预先组合为用于每个固定对象的M对固定滤波器。

[0095] 尽管已经关于具有前/侧/向上发射驱动器的并置驱动器阵列对于实施例进行了描述，但是任何实际数量的其他实施例也是可能的。例如，可以排除侧面扬声器对，仅留有面向前的扬声器和面向上的扬声器。此外，向上发射对可以用在面向前的扬声器对的上方放置在天花板附近并且直接指向收听者的扬声器对取代。该配置还可以扩展到例如沿着屏幕的侧面的从下到上隔开的大量扬声器对。

[0096] 对于虚拟渲染的均衡

[0097] 实施例还针对改进的对于串音消除器的均衡化，其是从应用于正被虚拟化的单音音频信号的串音消除器和双耳滤波器两者计算的。结果是对于甜蜜点外部的收听者的音色得到改进，并且当从标准渲染切换到虚拟渲染时的音色偏移较小。

[0098] 如上所述，在某些实现中，虚拟渲染效果通常高度取决于收听者坐在串音消除器的设计中所假定的相对于扬声器的位置。例如，如果收听者不坐在右甜蜜点中，则串音消除效果可能部分或完全受损。在这种情况下，双耳信号所意图获得的空间印象不被收听者完全感知到。另外，甜蜜点外部的收听者常常可能抱怨所得的音频的音色不自然。

[0099] 为了解决这个音色问题，已经提出了方程2中的串音消除器的各种均衡化，目标是使得无论收听者的位置如何，双耳信号b的感知音色对于所有收听者都更加自然。这样的均衡化可以添加到根据以下方程的扬声器信号的计算：

[0100] s＝ECb   (14)

[0101] 在以上方程14中，E是应用于左扬声器信号和右扬声器信号两者的单个均衡滤波器。为了检查这样的均衡化，方程2可以重新布置为以下形式：

[0102]

[0103] 其中

[0104] 以及

[0105] 如果假定收听者对称地置于在两个扬声器之间，则ITFL＝ITFR，EQFL＝EQFR，并且方程6缩简为：

[0106]

[0107] 基于串音消除器的这个公式表述，可以使用数个均衡滤波器E。例如，在双耳信号为单声道(左信号和右信号相等)的情况下，可以使用以下滤波器：

[0108]

[0109] 用于双耳信号的两个声道在统计上独立的情况的替代滤波器可以表达为：

[0110]

[0111] 这样的均衡化可以关于双耳信号b的感知音色提供益处。然而，双耳信号b时常是通过应用双耳渲染滤波器BL和BR从单耳音频对象信号o合成的：

[0112] 或b＝Bo   (19)

[0113] 渲染滤波器对B最经常地是由如下的HRTF对给定的，该HRTF对被选为给予对象信号o从空间中的相对于收听者的关联位置发出的印象。用方程形式，该关系可以表达为：

[0114] B＝HRTF{pos(o)}   (20）

[0115] 在该方程中，pos(o)表示对象信号o在3D空间中相对于收听者的期望位置。该位置可以用笛卡尔(x,y,z)坐标或任何其他等同坐标系(诸如极系)表示。该位置还可以随时间变化，以便模拟对象通过空间的移动。函数HRTF{}意在表示可根据位置寻址的HRTF集合。存在有在实验室中从人类主体测量的许多这样的集合，诸如CIPIC数据库。可替代地，该集合可以由参数化模型(诸如前面提及的球形头部模型)构成。在实际实现中，用于构造串音消除器的HRTF通常选自用于产生双耳信号的同一集合，但是这不是必需的。

[0116] 将方程19代入14中给出了根据以下方程从对象信号计算的经均衡化的扬声器信号：

[0117] s＝ECBo   (21)

[0118] 在许多虚拟空间渲染系统中，用户能够从音频信号o的标准渲染切换到利用方程21的双耳化的串音消除的渲染。在这样的情况下，音色偏移可能是由于应用串音消除器C和双耳化滤波器B两者而导致的，并且这样的偏移可能被收听者感知为不自然的。如方程17和
18举例说明的仅从串音消除器计算的均衡滤波器E不能消除该音色偏移，因为它没有考虑双耳化滤波器。实施例涉及消除或减小该音色偏移的均衡滤波器。

[0119] 应指出，方程14所描述的均衡滤波器和串音消除器对于双耳信号的应用以及方程19所描述的双耳滤波器对于对象信号的应用在频域中可以直接实现为矩阵乘法。然而，在时域中可以通过与按各种拓扑布置的适当的FIR(有限脉冲响应)或IIR(无限脉冲响应)滤波器进行卷积来实现等同的应用。实施例基本上适用于所有这样的变化。

[0120] 为了设计改进的均衡滤波器，有用的是，将方程21扩展到其分量左扬声器信号和右扬声器信号：

[0121]

[0122] 其中

[0123] RL＝(EQFL)(BL-BRITFR)   (22b)

[0124] RR＝(EQFR)(BR-BLITFL)   (22c)

[0125] 在以上方程中，扬声器信号可以表达为左渲染滤波器RL和右渲染滤波器RR、其后将均衡E应用于对象信号o。这些渲染滤波器中的每个均是如方程22b和22c中所见的串音消除器C和双耳滤波器B两者的函数。处理根据这两个渲染滤波器RL和RR来计算均衡滤波器E，其目标是无论收听者相对于扬声器的位置如何，都实现自然音色，并且音色与在不虚拟化的情况下渲染音频信号时的音色基本上是相同的。

[0126] 在任何特定频率，对象信号混合到左扬声器信号和右扬声器信号中可以大致表达为：

[0127]

[0128] 在以上方程23中，aL和aR是混合系数，这些混合系数可以随频率变化。对象信号混合到左扬声器信号和右扬声器信号中以用于非虚拟渲染的方式因此可以用方程23描述。通过实验发现，对象信号o的感知音色或谱平衡用左扬声器信号和右扬声器信号的组合功率良好地建模。这在这两个扩音器周围的宽收听区域是适用的。从方程23，非虚拟化扬声器信号的组合功率由以下方程给出：

[0129] PNV＝(|αL|2+|αR|2)|o|2   (24)

[0130] 从方程13，虚拟化扬声器信号的组合功率由以下方程给出：

[0131] PV＝|E|2(|RL|2+|RR|2)|o|2   (25)

[0132] 通过设置PV＝PNV并且求解E，找到最佳均衡滤波器Eopt：

[0133]

[0134] 方程26中的均衡滤波器Eopt提供用于虚拟化渲染的音色，该音色在宽收听区域上是一致的并且与非虚拟化渲染的音色基本相同。可以看出，Eopt作为渲染滤波器RL和RR的函数被计算，这些渲染滤波器又是串音消除器C和双耳化滤波器B两者的函数。

[0135] 在许多情况下，对象信号混合到左扬声器信号和右扬声器信号中以用于非虚拟渲染将遵循功率守恒平移定律，这意味着以下方程27的等值适用于所有频率。

[0136] |αL|2+|αR|2＝1   (27)

[0137] 在这种情况下，均衡滤波器简化为：

[0138]

[0139] 通过利用该滤波器，左扬声器信号和右扬声器信号的功率谱之和等于对象信号的功率谱。

[0140] 图6是描绘根据实施例的应用于单个对象o的均衡化处理的示图，图7是例示根据实施例的对于单个对象执行均衡化处理的方法的流程图。如示图700中所示，首先计算作为对象的可能时变的位置的函数的双耳滤波器对B，步骤702，然后将双耳滤波器对B应用于对象信号以产生立体声双耳信号，步骤704。接着，如步骤706中所示，将串音消除器C应用于双耳信号以产生预先均衡的立体声信号。最后，应用均衡滤波器E来产生立体声扩音器信号s，步骤708。均衡滤波器可以作为串音消除器C和双耳滤波器对B两者的函数被计算。如果对象位置是时变的，则双耳滤波器将随时间变化，这意味着均衡E滤波器也将随时间变化。应指出，图7中所示的步骤的次序不严格固定为所示的顺序。例如，均衡滤波器处理708可以在串音消除器处理706之前或之后应用。还应指出，如图6中所示，实线601意在于描绘音频信号流程，而虚线603意在于表示参数流程，其中，参数是与HRTF函数相关联的那些参数。

[0141] 在许多应用中，位于空间中各个可能时变的位置处的大量音频对象信号被同时渲染。在这样的情况下，双耳信号由其相关联的HRTF被应用的对象信号之和给出：

[0142] 其中Bi＝HRTF{pos(oi)}   (29)

[0143] 通过该多对象双耳信号，产生扬声器信号的整个渲染链(包括本发明的均衡化)由以下给出：

[0144]

[0145] 与单对象方程21相比，均衡滤波器移到了串音消除器的前面。通过这样做，可以从总和中拉出所有分量对象信号共同的串音。另一方面，每个均衡滤波器Ei对于每个对象是独有的，因为它取决于每个对象的双耳滤波器Bi。

[0146] 图8是根据实施例的对通过同一串音消除器输入的多个对象同时应用均衡化处理的系统的框图800。在许多应用中，对象信号oi由多声道信号(诸如由左、中央、右、左环绕和右环绕构成的5.1信号)的各个声道给出。在这种情况下，与每个对象相关联的HRTF可以被选为对应于与每个声道相关联的固定扬声器位置。这样，5.1环绕声系统可以通过一组立体声扩音器虚拟化。在其他应用中，对象可以是被允许在3D空间中的任何地方自由地移动的源。在下一代空间音频格式的情况下，方程30中的对象集合可以由自由移动的对象和固定声道构成。

[0147] 在实施例中，串音消除器和双耳滤波器是基于参数化球形头部模型HRTF的。这样的HRTF用对象相对于收听者的正中面的方位角参数化。正中面处的角度被定义为零度，向左的角度被定义为负，向右的角度被定义为正。给定串音消除器和双耳滤波器的这个具体公式表述，根据方程28计算最佳均衡滤波器Eopt。图9是描绘根据第一实施例的对于渲染滤波器的频率响应的曲线图。如图9中所示，绘图900描绘了与20度的物理扬声器分隔角和-30度的虚拟对象位置相对应的渲染滤波器RL和RR以及所得的均衡滤波器Eopt的幅度频率响应。对于不同的扬声器分隔配置，可以获得不同的响应。图10是描绘根据第二实施例的对于渲染滤波器的频率响应的曲线图。图10描绘了关于20度的物理扬声器分隔和-30度的虚拟对象位置的绘图1000。

[0148] 本文中所描述的虚拟化和均衡技术的各方面表示用于通过适当的扬声器和回放装置回放音频和/或音频/视觉内容的系统的各方面，并且可以表示收听者体验所捕捉的内容的回放的任何环境，诸如电影院、音乐厅、露天剧场、住宅或房间、收听展位、汽车、游戏控制台、耳机或耳麦系统、公共广播(PA)系统、或任何其他回放环境。实施例可以在家庭影院环境中应用，在家庭影院环境中，空间音频内容与电视内容相关联，应指出，实施例还可以在其他基于消费者的系统中实现。包括基于对象的音频和基于声道的音频的空间音频内容可以与任何相关内容(相关联的音频、视频、图形等)结合使用，或者它可以构成孤立的音频内容。回放环境可以是从耳机或近场监视器到小房间或大房间、汽车、露天竞技场、音乐厅等的任何适当的收听环境。

[0149] 本文中所描述的系统的各方面可以在用于对数字或数字化音频文件进行处理的适当的基于计算机的声音处理网络环境下实现。自适应音频系统的部分可以包括一个或多个网络，这些网络包括任何期望数量的单独的机器，包括用于缓冲和路由在计算机之间传输的数据的一个或多个路由器(未示出)。这样的网络可以构建在各种不同的网络协议上，并且可以是互联网、广域网(WAN)、局域网(LAN)或它们的任何组合。在网络包括互联网的实施例中，一个或多个机器可以被配置为通过web浏览器程序访问互联网。

[0150] 组件、方框、处理或其他功能组件中的一个或多个可以通过控制系统的基于处理器的计算装置的执行的计算机程序来实现。还应指出，就它们的行为、寄存器传送、逻辑组件和/或其他特性而言，本文中所公开的各种功能可以使用硬件、固件的任何数量的组合来描述，和/或被描述为包含在各种机器可读或计算机可读介质中的数据和/或指令。其中可以包含这样的格式化的数据和/或指令的计算机可读介质包括，但不限于，各种形式的物理(非暂态)、非易失性存储介质，诸如光、磁或半导体存储介质。

[0151] 除非上下文另有明确要求，否则在整个描述和权利要求书中，词语“包含”等要从与排他的或穷举的意义完全不同的包括性的意义上来进行解释；也就是说，从“包括，但不限于”的意义上来进行解释。使用单数或复数的词语分别还包括复数或单数。另外，词语“在本文中”、“在下文中”、“以上”、“以下”和类似含义的词语是指作为整体的本申请，而不是指本申请的任何特定部分。当关于两个或更多个项目的列表使用词语“或”时，该词语覆盖该词语的下列全部解释：该列表中的任一项目、该列表中的所有项目、以及该列表中的项目的任何组合。

[0152] 虽然已经以举例的方式就特定实施例而言描述了一种或多种实现，但是要理解一种或多种实现不限于所公开的实施例。相反，意图覆盖本领域的技术人员将显而易见的各种修改和类似的布置。因此，所附权利要求书的范围应被给予最广泛的解释，以便包含所有这样的修改和类似的布置。