音频设备及其音频提供方法

摘要

提供了一种音频设备及其音频提供方法。所述音频提供方法包括：接收包括多个声道的音频信号；将具有所述多个声道之中给予高度感的声道的音频信号施加到滤波器，以产生将分别被输出到多个扬声器的多个虚拟音频信号；将组合增益值和延时值应用于所述多个虚拟音频信号，使得通过所述多个扬声器分别被输出的所述多个虚拟音频信号形成具有平面波的声场；通过所述多个扬声器分别输出应用了组合增益值和延时值的所述多个虚拟音频信号。滤波器将所述音频信号处理为具有高度感。

权利要求

1.一种渲染音频信号的方法，所述方法包括：接收包括至少一个高度输入声道的多声道信号；

基于头相关传递函数获得用于所述至少一个高度输入声道的滤波器系数；

获得用于所述至少一个高度输入声道的平移增益，其中，所述平移增益取决于频率范围和所述至少一个高度输入声道的位置；

基于所述滤波器系数和所述平移增益对所述至少一个高度输入声道执行高度渲染，以通过多个输出声道提供提高的声音图像。

2.如权利要求1所述的方法，获得平移增益的步骤包括：基于所述多个输出声道中的每个声道是同侧声道还是对侧声道，对用于所述多个输出声道中的每个声道的平移增益进行修改，其中，同侧声道是与所述至少一个高度输入声道位于相同方向的声道，对侧声道是位于所述至少一个高度输入声道的相反方向的声道。

3.如权利要求1所述的方法，其中，所述多个输出声道是水平声道。

4.如权利要求1所述的方法，所述方法还包括：确定高度渲染的类型；

其中，高度渲染还基于确定的高度渲染的类型被执行。

5.如权利要求4所述的方法，其中，高度渲染的类型包括音色渲染和空间渲染中的至少一个。

6.如权利要求4所述的方法，其中，高度渲染的类型基于包括在音频信号的音频比特流中的信息被确定。

7.如权利要求1所述的方法，其中，所述至少一个高度输入声道信号中的每个声道信号被分布到所述多个输出声道信号中的至少一个声道信号。

8.一种渲染音频信号的设备，所述设备包括：接收单元，被配置为接收包括至少一个高度输入声道的多声道信号；

获得单元，被配置为基于头相关传递函数获得用于所述至少一个高度输入声道的滤波器系数，并获得用于所述至少一个高度输入声道的平移增益，其中，所述平移增益取决于频率范围和所述至少一个高度输入声道的位置；

渲染单元，被配置为基于所述滤波器系数和所述平移增益对所述至少一个高度输入声道执行高度渲染，以通过多个输出声道提供提高的声音图像。

说明书

音频设备及其音频提供方法

技术领域

[0001] 本发明涉及一种音频设备及其音频提供方法，具体地讲，涉及一种通过使用位于同一平面上的多个扬声器来产生和提供给予高度感的虚拟音频的音频设备及其音频提供
方法。

背景技术

[0002] 随着视频和声音处理技术的发展，已大量生产图像和声音品质高的内容。需要图像和声音品质高的内容的用户期望逼真的视频和音频，因此，已积极开展关于3维(3D)视频和3D音频的研究。

[0003] 3D音频是这样的技术：多个扬声器位于水平面上的不同位置，并输出相同的音频信号或不同的音频信号，以使用户能够感知到空间感。然而，真实的音频在水平面上的各个位置被提供，还在不同的高度被提供。因此，需要开发用于有效地再现在不同的高度被提供的音频信号的技术。

[0004] 在现有技术中，如图1a所示，音频信号通过与第一高度相应的音色转换滤波器(例如，头相关传输滤波器(HRTF)校正滤波器)被滤波，多个音频信号通过复制滤波后的音频信号被产生。多个增益应用单元分别基于分别与将输出产生的多个音频信号的多个扬声器相
应的增益值，来对该产生的多个音频信号进行放大或衰减，放大或衰减后的声音信号分别
通过相应的扬声器被输出。因此，可通过使用位于同一平面上的多个扬声器来产生给予高
度感的虚拟音频。

[0005] 然而，在现有技术的虚拟音频信号产生方法中，最佳听音位置很窄，因此，在通过系统真实地再现音频的情况下，其性能是有限的。也就是说，在现有技术中，如图1b中所示，由于仅在一点(例如，位于中央的区域0)对音频进行最优化和渲染，因此用户在除了那一点以外的区域(例如，位于中央左侧的区域X)无法正常地听到给予高度感的虚拟音频信号。

发明内容

[0006] 技术问题

[0007] 本发明提供了一种音频设备及其音频提供方法，其中，由于通过使用延时值，多个虚拟音频信号形成具有平面波的声场，用户能够在各个区域听到虚拟音频信号。

[0008] 此外，本发明提供了一种基于将从其产生虚拟音频信号的音频信号的声道类型，基于根据频率的不同的增益值的音频设备及其音频提供方法，其中，通过所述音频设备及
其音频提供方法，用户能够在各个区域听到虚拟音频信号。

[0009] 技术方案

[0010] 根据本发明构思的一方面，提供了一种由音频设备执行的音频提供方法，其中，所述音频提供方法包括：接收包括多个声道的音频信号；通过将具有所述多个声道之中给予高度感的声道的音频信号施加到滤波器来产生将分别被输出到多个扬声器的多个虚拟音
频信号，其中，滤波器将所述音频信号处理为具有高度感；将组合增益值和延时值应用于所述多个虚拟音频信号，使得通过所述多个扬声器分别被输出的所述多个虚拟音频信号形成
具有平面波的声场；通过所述多个扬声器分别输出应用了组合增益值和延时值的所述多个
虚拟音频信号。

[0011] 所述产生将分别被输出到多个扬声器的多个虚拟音频信号的步骤可包括：将滤波后的音频信号复制为与所述多个扬声器的数量相应；将与所述多个扬声器中的每一个扬声
器相应的平移增益值应用于通过所述复制而获得的多个音频信号中的每一个音频信号，使
得滤波后的音频信号具有虚拟的高度感，从而产生所述多个虚拟音频信号。

[0012] 所述应用步骤可包括：将与所述多个扬声器之中的用于实现具有平面波的声场的至少两个扬声器相应的虚拟音频信号乘以组合增益值；将延时值应用于与所述至少两个扬
声器相应的虚拟音频信号。

[0013] 所述应用步骤可包括：将增益值0应用于与所述多个扬声器之中的除了所述至少两个扬声器以外的扬声器相应的音频信号。

[0014] 所述应用步骤可包括：将延时值应用于分别与所述多个扬声器相应的所述多个虚拟音频信号；将应用了延时值的所述多个虚拟音频信号乘以最终增益值，其中，最终增益值通过将平移增益值与组合增益值相乘来获得。

[0015] 将音频信号处理为具有高度感的滤波器可以是头相关传输滤波器(HRTF)。

[0016] 所述分别输出应用了组合增益值和延时值的所述多个虚拟音频信号的步骤可包括：将与特定声道相应的虚拟音频信号和具有所述特定声道的音频信号相混合，以通过与
所述特定声道相应的扬声器输出通过所述混合而获得的音频信号。

[0017] 根据本发明构思的另一方面，提供了一种音频设备，其中，所述音频设备包括：输入单元，被配置为接收包括多个声道的音频信号；虚拟音频产生单元，被配置为将具有所述多个声道之中给予高度感的声道的音频信号施加到滤波器，以产生将分别被输出到多个扬声器的多个虚拟音频信号，其中，滤波器被配置为将所述音频信号处理为具有高度感；虚拟音频处理单元，被配置为将组合增益值和延时值应用于所述多个虚拟音频信号，使得通过
所述多个扬声器分别被输出的所述多个虚拟音频信号形成具有平面波的声场；输出单元，
被配置为通过所述多个扬声器分别输出应用了组合增益值和延时值的所述多个虚拟音频
信号。

[0018] 虚拟音频处理单元还可被配置为：将滤波后的音频信号复制为与所述多个扬声器的数量相应，并将与所述多个扬声器中的每一个扬声器相应的平移增益值应用于通过所述
复制获得的多个音频信号中的每一个音频信号，使得滤波后的音频信号具有虚拟的高度
感，从而产生所述多个虚拟音频信号。

[0019] 虚拟音频处理单元还可被配置为：将与所述多个扬声器之中的用于实现具有平面波的声场的至少两个扬声器相应的虚拟音频信号乘以组合增益值，并将延时值应用于与所
述至少两个扬声器相应的虚拟音频信号。

[0020] 虚拟音频处理单元还可被配置为：将增益值0应用于与所述多个扬声器之中的除了所述至少两个扬声器以外的扬声器相应的音频信号。

[0021] 虚拟音频处理单元还可被配置为：将延时值应用于分别与所述多个扬声器相应的所述多个虚拟音频信号，并将应用了延时值的所述多个虚拟音频信号乘以最终增益值，其
中，最终增益值是通过将平移增益值与组合增益值相乘而获得的。

[0022] 被配置为将音频信号处理为具有高度感的滤波器可以是头相关传输滤波器(HRTF)。

[0023] 输出单元还可被配置为：将与特定声道相应的虚拟音频信号和具有所述特定声道的音频信号相混合，以通过与所述特定声道相应的扬声器输出通过所述混合而获得的音频
信号。

[0024] 根据本发明构思的另一方面，提供了一种由音频设备执行的音频提供方法，其中，所述音频提供方法包括：接收包括多个声道的音频信号；将具有所述多个声道之中给予高度感的声道的音频信号施加到滤波器，其中，滤波器将所述音频信号处理为具有高度感；通过基于将从其产生虚拟音频信号的音频信号的声道类型，根据频率将不同的增益值应用于
所述音频信号来产生多个虚拟音频信号；通过多个扬声器分别输出所述多个虚拟音频信
号。

[0025] 所述产生多个虚拟音频信号的步骤可包括：将滤波后的音频信号复制为与扬声器的数量相应；基于将从其产生虚拟音频信号的音频信号的声道类型来确定同侧扬声器和对
侧扬声器；将低频带加强滤波器应用于与同侧扬声器相应的虚拟音频信号，并将高通滤波
器应用于与对侧扬声器相应的虚拟音频信号；将平移增益值乘以与同侧扬声器相应的音频
信号和与对侧扬声器相应的音频信号，以产生所述多个虚拟音频信号。

[0026] 根据本发明构思的另一方面，提供了一种音频设备，其中，所述音频设备包括：输入单元，接收包括多个声道的音频信号；虚拟音频产生单元，将具有所述多个声道之中给予高度感的声道的音频信号施加到滤波器，并通过基于将从其产生虚拟音频信号的音频信号的声道类型，根据频率将不同的增益值应用于所述音频信号来产生多个虚拟音频信号，其
中，滤波器将所述音频信号处理为具有高度感；输出单元，分别通过多个扬声器输出所述多个虚拟音频信号。

[0027] 虚拟音频产生单元可将滤波后的音频信号复制为与扬声器的数量相应，基于将从其产生虚拟音频信号的音频信号的声道类型来确定同侧扬声器和对侧扬声器，将低频带加
强滤波器应用于与同侧扬声器相应的虚拟音频信号，将高通滤波器应用于与对侧扬声器相
应的虚拟音频信号，并将平移增益值乘以与同侧扬声器相应的音频信号和与对侧扬声器相
应的音频信号，以产生所述多个虚拟音频信号。

[0028] 根据本发明构思的另一方面，提供了一种由音频设备执行的音频提供方法，其中，所述音频提供方法包括：接收包括多个声道的音频信号；确定是否以给予高度感的形式对具有所述多个声道之中的给予高度感的声道的音频信号进行渲染；基于确定结果将所述多
个声道之中的一些声道施加到滤波器，其中，滤波器将所述一些声道处理为具有高度感；将增益值应用于应用了滤波器的信号以产生多个虚拟音频信号；通过所述多个扬声器分别输
出所述多个虚拟音频信号。

[0029] 所述确定步骤可包括：基于所述多个声道之间的相关性和相似度，确定是否以给予高度感的形式对具有给人予高度感的声道的音频信号进行渲染。

[0030] 根据本发明构思的一方面，提供了一种由音频设备执行的音频提供方法，所述音频提供方法包括：接收包括多个声道的音频信号；将所述多个声道之中的至少一些声道施
加到滤波器以产生虚拟音频信号，其中，滤波器将所述至少一些声道处理为具有高度感；通过可由外部装置运行的编解码器对产生的虚拟音频信号进行重新编码；将重新编码后的虚
拟音频信号输出到外部。

[0031] 有益效果

[0032] 如上所述，根据本发明的各个实施例，用户在各个位置听到音频设备提供的给予高度感的虚拟音频信号。

附图说明

[0033] 图1a和图1b是用于描述现有技术的虚拟音频提供方法的示图；

[0034] 图2是示出根据本发明示例性实施例的音频设备的配置的框图；

[0035] 图3是用于描述根据本发明示例性实施例的具有平面波声场的虚拟音频的示图；

[0036] 图4至图7是用于描述根据本发明各个示例性实施例的对11.1声道的音频信号进行渲染以通过7.1声道扬声器输出渲染后的音频信号的方法的示图；

[0037] 图8是用于描述根据本发明的示例性实施例的由音频设备执行的音频提供方法的示图；

[0038] 图9是示出根据本发明另一示例性实施例的音频设备的配置的框图；

[0039] 图10和图11是用于描述根据本发明各个示例性实施例的对11.1声道的音频信号进行渲染以通过7.1声道扬声器输出渲染后的音频信号的方法的示图；

[0040] 图12是用于描述根据本发明的另一示例性实施例的由音频设备执行的音频提供方法的示图；

[0041] 图13是用于描述对11.1声道的音频信号进行渲染以通过7.1声道扬声器输出渲染后的音频信号的现有技术方法的示图；

[0042] 图14至图20是用于描述根据本发明各个示例性实施例的通过使用多种渲染方法通过7.1声道扬声器输出11.1声道的音频信号的方法的示图；

[0043] 图21是用于描述根据本发明示例性实施例的当使用具有诸如MPEG环绕的结构的声道扩展编解码器时，通过使用多种渲染方法来执行渲染的示例性实施例的示图；

[0044] 图22至图25是用于描述根据本发明示例性实施例的多声道音频提供系统的示图。

具体实施方式

[0045] 在下文中，将参照附图来详细描述本发明构思的示例实施例。提供本发明构思的实施例以使本公开将是彻底而完全的，本发明构思的实施例将本发明构思的构思全面地传
达给本领域普通技术人员。然而，本发明构思可以以许多不同形式实施，不应被理解为局限于阐述于此的实施例。然而，这不将本发明构思限制为落入特定实施例内，应理解的是，本发明构思涵盖落入本发明构思的思想和技术范围内的所有修改、等同物和替代物。相似的
标号始终指示相似的元件。为了说明书的清晰起见，附图中所示出的结构的尺寸以及元件
之间的间隔可被夸大。

[0046] 将理解的是，尽管在此使用包括诸如第一和第二的普通数字的术语来描述各个元件，但这些元件不应受限于这些术语。这些术语仅用于将一个元件与另一个元件进行区分。

[0047] 在下面的描述中，技术术语仅用于解释特定实施例，而不是对发明构思进行限制。除非具有相反的指示，否则单数形式的术语可包括复数形式。除非另有定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与示例实施例所属领域的普通技术人员的通
常理解相同的含义。还应理解的是，术语(诸如在通用词典中定义的术语)应被解释为具有
与它们在相关领域的背景下的含义一致的含义，除非在本文中明确地另有定义，否则所述
术语不应以理想化或过于正式的意义被解释。

[0048] 在示例性实施例中，在此描述的“……模块”或“……单元”执行至少一个功能或操作，并可以以硬件、软件或硬件和软件的组合被实现。此外，除了利用特定硬件实现的“……模块”或“……单元”以外，多个“……模块”或多个“……单元”可被集成为至少一个模块，并因此利用至少一个处理器(未示出)被实现。

[0049] 在下文中，将参照附图详细描述示例性实施例。在附图描述中，相似的标号始终指示相似的元件，不提供关于相同的元件的重复描述。

[0050] 图2是示出根据本发明示例性实施例的音频设备100的配置的框图。如图2所示，音频设备100可包括输入单元110、虚拟音频产生单元120、虚拟音频处理单元130和输出单元
140。根据本发明的示例性实施例，音频设备100可包括可位于同一水平面上的多个扬声器。

[0051] 输入单元100可接收包括多个声道的音频信号。在这种情况下，输入单元110可接收包括给予不同的高度感的多个声道的音频信号。例如，输入单元110可接收11.1声道的音频信号。

[0052] 虚拟音频产生单元120可将具有多个声道之中给予高度感的声道的音频信号施加到音色转换滤波器，其中，音色转换滤波器将音频信号处理为具有高度感，以产生将通过多个扬声器输出的多个虚拟音频信号。具体地讲，虚拟音频产生单元120可使用HRTF校正滤波器，以通过使用位于水平面上的多个扬声器对在比所述扬声器的实际位置高的高度产生的
声音进行建模。在这种情况下，HRTF校正滤波器可包括从声源的空间位置到用户的双耳的
路径的信息(即，频率传输特性)。除了当声音到达双耳时产生的耳间强度差(ILD)和耳间时间差(ITD)等以外，HRTF校正滤波器可根据诸如由于耳廓导致的反射的复杂路径的特性根
据声音的传输方向而改变的现象来识别3D声音。由于HRTF校正滤波器沿空间的角方向具有
独特特性，因此HRTF校正滤波器可通过使用所述独特特性来产生3D声音。

[0053] 例如，当11.1声道的音频信号被输入时，虚拟音频产生单元120可将在11.1声道的音频信号中具有上方左前置声道的音频信号施加到HRTF校正滤波器，以产生7个将通过具
有7.1声道布局的多个扬声器输出的音频信号。

[0054] 在本发明的示例性实施例中，虚拟音频产生单元120可对通过由音色转换滤波器进行滤波而获得的音频信号进行复制以与扬声器的数量相应，并可分别将分别与扬声器相
应的平移增益值应用到通过复制获得的音频信号以使音频信号具有虚拟的高度感，从而产
生多个虚拟音频信号。在本发明的另一示例性实施例中，虚拟音频产生单元120可对通过由音色转换滤波器进行滤波而获得的音频信号进行复制以与扬声器的数量相应，从而产生多
个虚拟音频信号。在这种情况下，可由虚拟音频处理单元130应用平移增益值。

[0055] 虚拟音频处理单元130可将组合增益值和延时值应用到多个虚拟音频信号以使通过多个扬声器输出的多个虚拟音频信号构成具有平面波的声场，而不是在一个点产生的最
佳听音位置，以使观众能够在各个点听到虚拟音频信号。

[0056] 在本发明的示例性实施例中，虚拟音频处理单元130可将与多个扬声器之中用于实现具有平面波的声场的至少两个扬声器相应的虚拟音频信号乘以组合增益值，并可将延
时值应用到与所述至少两个扬声器相应的虚拟音频信号。虚拟音频处理单元130可将增益
值“0”应用到与除了多个扬声器之中的至少两个扬声器以外的扬声器相应的音频信号。例如，为了将与上方左前置声道相应的11.1声道的音频信号产生为虚拟音频信号，虚拟音频
产生单元120产生七个虚拟音频信号，在实现将被再现为产生的七个虚拟音频信号之中的
与左前置声道相应的信号的信号FLTFL的过程中，虚拟音频处理单元130可将分别与多个7.1声道扬声器之中的中前置声道、左前置声道和左侧环绕声道相应的虚拟音频信号乘以组合
增益值，并可将延时值应用到音频信号，以对将通过分别与中前置声道、左前置声道和左侧环绕声道相应的扬声器输出的多个虚拟音频信号进行处理。此外，在实现信号FLTFL的过程中，虚拟音频处理单元130可将分别与作为7.1声道扬声器中的对侧声道的右前置声道、右
侧环绕声道、左后置声道和右后置声道相应的虚拟音频信号乘以组合增益值“0”。

[0057] 在本发明的另一示例性实施例中，虚拟音频处理单元130可将延时值应用到分别与多个扬声器相应的多个虚拟音频信号，并可将通过将平移增益值与组合增益值相乘获得
的最终增益值应用到应用了延时值的所述多个虚拟音频信号，从而产生具有平面波的声
场。

[0058] 输出单元140可通过与处理后的多个虚拟音频信号相应的扬声器输出所述处理后的所述多个虚拟音频信号。在这种情况下，输出单元140可将与特定声道相应的虚拟音频信号与具有所述特定声道的音频信号相混合，以通过与所述特定声道相应的扬声器输出通过
所述混合获得的音频信号。例如，输出单元140可将与上方左前置声道相应的虚拟音频信号与通过对上方左前置声道进行处理而产生的音频信号相混合，以通过与左前置声道相应的
扬声器输出通过所述混合获得的音频信号。

[0059] 音频设备100使得用户能够在各种位置听到由音频设备100提供的给予高度感的虚拟音频信号。

[0060] 在下文中，将参照图4至图7详细描述根据示例性实施例的将11.1声道的音频信号渲染成虚拟音频信号，以通过7.1声道扬声器输出11.1声道的音频信号之中给予不同的高
度感的与每个声道相应的音频信号的方法。

[0061] 图4是用于描述根据本发明的各个示例性实施例的将具有上方左前置声道的11.1声道的音频信号渲染成虚拟音频信号，以通过7.1声道扬声器输出所述虚拟音频信号的方
法的示图。

[0062] 首先，当具有上方左前置声道的11.1声道的音频信号被输入时，虚拟音频产生单元120可将输入的具有上方左前置声道的音频信号施加到音色转换滤波器H。此外，虚拟音
频产生单元120可将应用了音色转换滤波器H的与上方左前置声道相应的音频信号复制为
七个音频信号，随后可分别将所述七个音频信号输入到分别与7声道扬声器相应的多个增
益应用单元。在虚拟音频产生单元120中，七个增益应用单元可将音色转换后的音频信号乘以7声道平移增益“GTFL,FL、GTFL,FR、GTFL,FC、GTFL,SL、GTFL,SR、GTFL,BL和GTFL,BR”，以产生7声道虚拟音频信号。

[0063] 此外，虚拟音频处理单元130可将输入的7声道虚拟音频信号的与多个扬声器之中用于实现具有平面波的声场的至少两个扬声器相应的虚拟音频信号乘以组合增益值，并将
延时值施加到与所述至少两个扬声器相应的虚拟音频信号。具体而言，如图3所示，当期望将具有左前置声道的音频信号转换为以特定角度(例如，30度)输入的平面波时，虚拟音频
处理单元130可通过使用扬声器将音频信号乘以平面波组合所需的组合增益值“AFL,FL、
AFL,FC和AFL,SL”，并可将延时值“dTFL,FL、dTFL,FC和dTFL,SL”应用到通过所述相乘获得的信号，以产生具有平面波的形式的虚拟音频信号，其中，所述扬声器具有左前置声道、中前置声道、左侧环绕声道，并且是位于与入射方向相同的半平面(例如，左侧信号的左半平面和中心，在右侧信号中，右半平面和中心)的扬声器。这可被表示为下面的等式：

[0064] FLTFL，FL＝AFL，FLSFLTFL(n-dTFL，FL)＝AFL，FLSGTFL，FLSH*TFL(n-dTFL，FL)[0065] FCTFL，FL＝AFL，FCSFLTFL(n-dTFL，FC)＝AFL，FCSGTFL，FLSH*TFL(n-dTFL，FC)[0066] SLTFL，FL＝AFL，SLSFLTFL(n-dTFL，SL)＝AFL，SLsGTFL，FLSH*TFL(n-dTFL，SL)[0067] 此外，虚拟音频处理单元130可将通过具有右前置声道、右侧环绕声道、右后置声道和左后置声道且不位于与入射方向相同的半平面的扬声器输出的虚拟音频信号的组合
增益值“AFL,FR、AFL,SR、AFL,BL和AFL,BR”设置为0。

[0068] 因此，如图4所示，虚拟音频处理单元130可产生用于实现平面波的七个虚拟音频W W W W W W W
信号“FLTFL、FRTFL、FCTFL、SLTFL、SRTFL、BLTFL和BRTFL”。

[0069] 在图4中，描述了虚拟音频产生单元120将音频信号乘以平移增益值，以及虚拟音频处理单元130将音频信号乘以组合增益值，但这仅仅是示例性实施例。在其他示例性实施例中，虚拟音频处理单元130可将音频信号乘以通过将平移增益值与组合增益值相乘获得
的最终增益值。

[0070] 具体而言，如图6所示，虚拟音频处理单元130可首先将延时值应用到由音色转换滤波器H对其音色进行了转换的多个虚拟音频信号，随后可将最终增益值应用到具有应用
了延时值的虚拟音频信号，以产生具有有着平面波形式的声场的多个虚拟音频信号。在这
种情况下，虚拟音频处理单元130可将图4的虚拟音频产生单元120的增益应用单元的平移
增益值“G”与图4的虚拟音频处理单元130的增益应用单元的组合增益值“A”整合，以计算最终增益值“PTFL,FL”。这可被表示为下面的等式：

[0071]

[0072] 其中，s指示S＝{FL,FR,FC,SL,SR,BL,BR}的元素。

[0073] 在图4至图6中，以上已描述了11.1声道的音频信号之中与上方左前置声道相应的音频信号被渲染为虚拟音频信号的示例性实施例，但可通过上述方法对11.1声道的音频信
号之中给予不同的高度感的分别与上方右前置声道、上方左侧环绕声道和上方右侧环绕声
道相应的音频信号进行渲染。

[0074] 具体而言，如图7所示，分别与上方左前置声道、上方右前置声道、上方左侧环绕声道、上方右侧环绕声道相应的音频信号可分别由多个虚拟声道组合单元渲染为多个虚拟音频信号，通过所述渲染获得的所述多个虚拟音频信号可与分别与7.1声道扬声器相应的音
频信号相混合并被输出，其中，所述多个虚拟声道组合单元包括虚拟音频产生单元120和虚拟音频产生单元130。

[0075] 图8是用于描述根据本发明示例性实施例的由音频设备100执行的音频提供方法的示图。

[0076] 首先，在操作S810，音频设备100可接收音频信号。在这种情况下，接收的音频信号可以是给予多种高度感的多声道的音频信号(例如，11.1声道)。

[0077] 在操作S820，音频设备100可将具有多个声道之中给予高度感的声道的音频信号施加到将音频信号处理为具有高度感的音色转换滤波器，以产生将通过多个扬声器输出的
多个虚拟音频信号。

[0078] 在操作S830，音频设备100可将组合增益值和延时值应用到产生的多个虚拟音频信号。在这种情况下，音频设备100可将组合增益值和延时值应用到所述多个虚拟音频信
号，以使所述多个虚拟音频信号具有平面波声场。

[0079] 在操作S840，音频设备100可分别将产生的多个虚拟音频信号输出到多个扬声器。

[0080] 如上所述，音频设备100可将延时值和组合增益值应用到多个虚拟音频信号，以渲染出具有平面波声场的虚拟音频信号，因此，用户在各个位置听到由音频设备100提供的给予高度感的虚拟音频信号。

[0081] 在上述示例性实施例中，为使用户在各个位置而不是一个点听到给予高度感的虚拟音频信号，虚拟音频信号可被处理为具有平面波声场，但这仅仅是示例性实施例。在其他示例性实施例中，为使用户在各个位置听到给予高度感的虚拟音频信号，可通过另一种方
法来处理虚拟音频信号。具体而言，音频设备100可基于将从其产生虚拟音频信号的音频信号的声道类型，根据频率将不同的增益值应用到音频信号，以使用户能够在各个区域听到
虚拟音频信号。

[0082] 在下文中，将参照图9至图12来描述根据本发明另一示例性实施例的虚拟音频信号提供方法。图9是示出根据本发明另一示例性实施例的音频设备900的配置的框图。首先，音频设备900可包括输出单元910、虚拟音频产生单元920和输出单元930。

[0083] 输入单元910可接收包括多个声道的音频信号。在这种情况下，输入单元910可接收包括给予不同的高度感的多个声道的音频信号。例如，输入单元910可接收11.1声道的音频信号。

[0084] 虚拟音频产生单元920可将具有多个声道之中给予高度感的声道的音频信号施加到将音频信号处理为具有高度感的滤波器，并可基于将从其产生虚拟音频信号的音频信号
的声道类型，根据频率将不同的增益值应用到音频信号，以产生多个虚拟音频信号。

[0085] 具体而言，虚拟音频产生单元920可复制滤波后的音频信号以相应于扬声器的数量，并可基于将从其产生虚拟音频信号的音频信号的信道类型来确定同侧扬声器和对侧扬
声器。具体而言，基于将从其产生虚拟音频信号的音频信号的信道类型，虚拟音频产生单元
920可将位于同一方向的扬声器确定为同侧扬声器，并可将位于相反方向的扬声器确定为
对侧扬声器。例如，当将从其产生虚拟音频信号的音频信号是具有上方左前置声道的音频
信号时，虚拟音频产生单元920可将分别和与上方左前置声道位于同一方向或最接近于上
方左前置声道的方向的左前置声道、左侧环绕声道和左后置声道相应的扬声器确定为同侧
扬声器，并可将分别和位于与上方左前置声道的方向的相反方向的右前置声道、右侧环绕
声道和右后置声道相应的扬声器确定为对侧扬声器。

[0086] 此外，虚拟音频产生单元920可将低频带加强滤波器(boost filter)应用于与同侧扬声器相应的虚拟音频信号，并可将高通滤波器应用于与对侧扬声器相应的虚拟音频信
号。具体而言，虚拟音频产生单元920可将低频带加强滤波器应用于与同侧扬声器相应的虚拟音频信号以调节整体的音色平衡，并可将高通滤波器应用于与对侧扬声器相应的虚拟音
频信号，其中，高通滤波器滤波出影响声像定位的高频域。

[0087] 通常，音频信号的低频分量在很大程度上影响基于ITD的声像定位，音频信号的高频分量在很大程度上影响基于ILD的声像定位。具体地讲，当听众沿一个方向移动时，对于ILD而言，可有效地设置平移增益，通过调节左声源向右移动或右声源向左移动的程度，听众持续听到平滑的音频信号。然而，对于ITD而言，来自近的扬声器的声音首先被耳朵听到，因此，当听众移动时，发生左右定位反相。

[0088] 在声像定位中，有必要解决左右定位反相。为了解决这个问题，虚拟音频处理单元920可在与位于与声源相反的方向的对侧扬声器相应的虚拟音频信号中去除影响ITD的低
频分量，并可仅滤波出主要影响ILD的高频分量。因此，防止了由低频分量导致的左右定位反相，声像的位置可由基于高频分量的ILD保持。

[0089] 此外，虚拟音频产生单元920可将平移增益值乘以与同侧扬声器相应的音频信号和与对侧扬声器相应的音频信号，以产生多个虚拟音频信号。具体而言，虚拟音频产生单元
920可将用于声像定位的平移增益值乘以与同侧扬声器相应且通过低频带加强滤波器的音
频信号以及与对侧扬声器相应且通过高通滤波器的音频信号，以产生多个虚拟音频信号。
也就是说，虚拟音频产生单元920可基于声像的位置，根据多个虚拟音频信号的频率将不同的增益值应用于音频信号，以产生多个虚拟音频信号。

[0090] 输出单元930可通过与多个虚拟音频信号相应的扬声器输出所述多个虚拟音频信号。在这种情况下，输出单元930可将与特定声道相应的而虚拟音频信号与具有特定声道的音频信号相混合，以通过与该特定声道相应的扬声器输出通过所述混合而获得的音频信
号。例如，输出单元930可将与左前置声道相应的虚拟音频信号与通过处理上方左前置声道而产生的音频信号相混合，以通过与左前置声道相应的扬声器输出通过所述混合而获得的
音频信号。

[0091] 在下文中，将参照图10详细描述根据示例性实施例的将11.1声道的音频信号渲染为虚拟音频信号，以通过7.1声道扬声器输出11.1声道的音频信号之中给予不同的高度感
的与每个声道相应的音频信号的方法。

[0092] 图10和图11是根据本发明各个示例性实施例的用于描述对11.1声道的音频信号进行渲染以通过7.1声道扬声器输出渲染后的音频信号的方法的示图。

[0093] 首先，当具有上方左前置声道的11.1声道的音频信号被输入时，虚拟音频产生单元920可将输入的具有上方左前置声道的音频信号施加于音色转换滤波器H。此外，虚拟音
频产生单元920可将应用了音色转换滤波器H的与上方左前置声道相应的音频信号复制为
七个音频信号，随后可根据具有上方左前置声道的音频信号的位置确定同侧扬声器和对侧
扬声器。也就是说，虚拟音频产生单元920可将分别与位于与具有上方左前置声道的音频信号的方向相同的方向的左前置声道、左侧环绕声道和左后置声道相应的扬声器确定为同侧
扬声器，并可将分别于位于与具有上方左前置声道的音频信号的方向相反的方向的右前置
声道、右侧环绕声道和右后置声道的扬声器确定为对侧扬声器。

[0094] 此外，虚拟音频产生单元920可通过使用低频带加强滤波器在多个复制后的虚拟音频信号之中滤波出与同侧扬声器相应的虚拟音频信号。此外，虚拟音频产生单元920可将通过低频带加强滤波器的虚拟音频信号输入到分别与左前置声道、左侧环绕声道和左后置
声道相应的多个增益应用单元，并可将音频信号乘以用于将音频信号定位于上方左前置声
道的位置处的多声道平移增益值“GTFL,FL、GTFL,SL和GTFL,BL”，从而产生3声道虚拟音频信号。

[0095] 此外，虚拟音频产生单元920可通过使用高频滤波器在多个复制后的虚拟音频信号之中滤波出与对侧扬声器相应的虚拟音频信号。此外，虚拟音频产生单元920可将通过高通滤波器的虚拟音频信号输入到分别与右前置声道、右侧环绕声道和右后置声道相应的多
个增益应用单元，并可将音频信号乘以用于将音频信号定位于上方左前置声道的位置处的
多声道平移增益值“GTFL,FR、GTFL,SR和GTFL,BR”，从而产生3声道虚拟音频信号。

[0096] 此外，对于与中前置声道而不是同侧扬声器或对侧扬声器相应的虚拟音频信号而言，虚拟音频产生单元920可通过使用与同侧扬声器相同的方法或与对侧扬声器相同的方
法来对与中前置声道相应的虚拟音频信号进行处理。在本发明的示例性实施例中，如图10
所示，可通过与同侧扬声器相应的虚拟音频信号相同的方法来对与中前置声道相应的虚拟
音频信号进行处理。

[0097] 在图10中，以上已描述了将11.1声道的音频信号之中的与上方左前置声道相应的音频信号渲染为虚拟音频信号的示例性实施例，但可通过上面参照图10所述的方法对11.1
声道的音频信号之中给予不同的高度感的分别与上方右前置声道、上方左侧环绕声道和上
方右侧环绕声道相应的音频信号进行渲染。

[0098] 在本发明的另一示例性实施例中，可通过将上面参照图6描述的虚拟音频提供方法与上面参照图10描述的虚拟音频提供方法整合来实现图11中示出的音频设备1100。具体
而言，音频设备1100可通过使用音色转换滤波器H对输入的音频信号执行音色转换，为了使不同的增益值将被应用于音频信号，音频设备1100可基于从其产生虚拟音频信号的音频信
号的声道类型，根据频率通过使用低频带增强滤波器来滤波出与同侧扬声器相应的虚拟音
频信号，并可通过使用高通滤波器滤波出与对侧扬声器相应的音频信号。此外，音频设备
100可将延时值“d”和最终增益值“P”应用到多个虚拟音频信号，以使所述多个虚拟音频信号构成具有平面波的声场，从而产生虚拟音频信号。

[0099] 图12是用于描述根据本发明另一示例性实施例的由音频设备900执行的音频提供方法的示图。

[0100] 首先，在操作S1210，音频设备900可接收音频信号。在这种情况下，接收的音频信号可以是给予多种高度感的多声道的音频信号(例如，11.1声道)。

[0101] 在操作S1220，音频设备900可将具有多个声道之中给予高度感的声道的音频信号施加到滤波器，其中，滤波器将音频信号处理为具有高度感。在这种情况下，具有多个声道之中给予高度感的声道的音频信号可以是具有上方左前置声道的音频信号，将音频信号处
理为具有高度感的滤波器可以是HRTF校正滤波器。

[0102] 在操作S1230，音频设备900可基于将从其产生虚拟音频信号的音频信号的声道类型，根据频率将不同的增益值应用到音频信号，以产生多个虚拟音频信号。

[0103] 具体而言，音频设备900可将滤波后的音频信号复制为与扬声器的数量相应，并可基于将从其产生虚拟音频信号的音频信号的声道类型来确定同侧扬声器和对侧扬声器。音
频设备900可将低频带加强滤波器应用于与同侧扬声器相应的虚拟音频信号，可将高通滤
波器应用于与对侧扬声器相应的虚拟音频信号，并可将平移增益值乘以与同侧扬声器相应
的音频信号和与对侧扬声器相应的音频信号，以产生多个虚拟音频信号。

[0104] 在操作S1240，音频设备900可输出所述多个虚拟音频信号。

[0105] 如上所述，音频设备900可基于将从其产生虚拟音频信号的音频信号的声道类型，根据频率将不同的增益值应用到音频信号，因此，用户在各个位置听到由音频设备900提供的给予高度感的虚拟音频信号。

[0106] 在下文中，将描述本发明的另一示例性实施例。具体而言，图13是用于描述对11.1声道的音频信号进行渲染以通过7.1声道扬声器输出渲染后的音频信号的现有技术方法的示图。首先，编码器1310可对11.1声道的声道的音频信号、多个对象音频信号和与所述多个对象音频信号相应的多条轨道信息进行编码，以产生比特流。此外，解码器1320可对接收到的比特流进行解码，以将11.1声道的声道音频信息输出到混合单元1340，并将所述多个对
象音频信号和与所述多个对象音频信号相应的多条轨道信息输出到对象渲染单元1330。对
象渲染单元1330可通过使用轨道信息将对象音频信号渲染为11.1声道，并可将渲染为11.1
声道的对象音频信号输出到混合单元1340。混合单元1340可将11.1声道的声道的音频信号
与渲染为11.1声道的对象音频信号相混合，以产生11.1声道的音频信号，并可将产生的
11.1声道的音频信号输出到虚拟音频渲染单元1350。如上面参照图2至图12所所述，虚拟音频渲染单元1350可通过使用分别具有11.1声道音频信号之中给予不同的高度感的四个声
道(例如，上方左前置声道、上方右前置声道、上方左侧环绕声道和上方右侧环绕声道)的音频信号来产生多个虚拟音频信号，并可将产生的所述多个虚拟音频信号与其他声道相混
合，以输出7.1声道音频信号。

[0107] 然而，如上所述，在通过对具有11.1声道音频信号之中给予不同的高度感的四个声道的音频信号进行一致的处理来产生虚拟音频信号的情况下，当具有宽频带(比如掌声
或雨声)、不具有声道间互相关(ICC)(即，具有低的相关性)且具有脉冲特性的音频信号被
渲染为虚拟音频信号时，音频质量恶化。具体地讲，由于当产生虚拟音频信号时音频质量恶化得更加严重，因此可通过基于音色进行下混合来执行产生虚拟音频信号的渲染操作，而
不对具有脉冲特性的音频信号执行产生虚拟音频信号的渲染操作，以提供更好的声音质
量。

[0108] 在下文中，将参照图14至图16描述基于音频信号的渲染信息来确定音频信号的渲染类型的示例性实施例。

[0109] 图14是用于描述根据本发明的各个示例性实施例的音频设备根据音频信号的渲染信息对11.1声道的音频信号执行不同的渲染方法以产生7.1声道的音频信号的方法的示
图。

[0110] 编码器1410可接收11.1声道的声道音频信号、多个对象音频信号、与所述多个对象音频信号相应的轨道信息和音频信号的渲染信息，并对11.1声道的声道音频信号、多个
对象音频信号、与所述多个对象音频信号相应的轨道信息和音频信号的渲染信息进行编
码。在这种情况下，音频信号的渲染信息可表示音频信号的类型，并可包括关于输入的音频信号是否为具有脉冲特性的音频信号的信息、关于输入的音频信号是否为具有宽频带的音
频信号的信息以及关于输入的音频信号在ICC方面是否为低的信息中的至少一种。此外，音频信号的渲染信息可包括关于对音频信号进行渲染的方法的信息。也就是说，音频信号的
渲染信息可包括关于通过音色渲染方法和空间渲染方法中哪一个对音频信号进行渲染的
信息。

[0111] 解码器1420可对通过编码获得音频信号进行解码，以将11.1声道的声道音频信号和音频信号的渲染信息输出到混合单元1440，并将所述多个对象音频信号、与所述多个对
象音频信号相应的轨道信息和音频信号的渲染信息输出到混合单元1440。

[0112] 对象渲染单元1430可通过使用输入到其中的多个对象音频信号和与所述多个对象音频信号相应的轨道信息来产生11.1声道的对象音频信号，并可将产生的11.1声道的对
象音频信号输出到混合单元1440。

[0113] 第一混合单元1440可将输入到其中的11.1声道的声道音频信号与11.1声道的对象音频信号相混合，以产生11.1声道的音频信号。此外，第一混合单元1440可包括渲染单
元，其中，渲染单元对从音频信号的渲染信息产生的11.1声道的音频信号进行渲染。具体而言，第一混合单元1440可基于音频信号的渲染信息来确定音频信号是否为具有脉冲特性的
音频信号，音频信号是否为具有宽频带的音频信号以及音频信号在ICC方面是否为低。当音频信号是具有脉冲属性的音频信号、音频信号是具有宽频带的音频信号或者音频信号在
ICC方面为低时，第一混合单元1440可将11.1声道的音频信号输出到第一混合单元1450。另一方面，当音频信号不具有上述特性时，第一混合单元1440可将11.1声道的音频信号输出
到第二渲染单元1460。

[0114] 第一渲染单元1450可通过使用音色渲染方法来对输入到其中的11.1声道的音频信号之中给予不同的高度感的四个音频信号进行渲染。具体而言，第一渲染单元1450可通
过使用第一声道下混合方法将11.1声道音频信号之中分别与上方左前置声道、上方右前置
声道、上方左侧环绕声道和上方右侧环绕声道相应的音频信号渲染为左前置声道、右前置
声道、左侧环绕声道和上方右侧环绕声道，并可将通过所述下混合获得的具有四个声道的
音频信号与具有其他声道的音频信号相混合，以将7.1声道音频信号输出到第二混合单元
1470。

[0115] 第二渲染单元1460可通过使用上面参照图2至图13所述的空间渲染方法，将输入到其中的11.1声道的音频信号之中具有不同的高度感的四个音频信号渲染为给予高度感
的虚拟音频信号。

[0116] 第二混合单元1470可输出通过第一渲染单元1450和第二渲染单元1460中的至少一个输出的7.1声道的音频信号。

[0117] 在上述示例性实施例中，以上已描述了第一渲染单元1450和第二渲染单元1460通过使用音色渲染方法和空间渲染方法中的至少一个来渲染音频信号，但这仅仅是示例性实
施例。在其他示例性实施例中，对象渲染单元1430可基于音频信号的渲染信息，通过使用音色渲染方法和空间渲染方法中的至少一个来渲染对象音频信号。

[0118] 此外，在上述示例性实施例中，以上已描述了在编码之前通过分析音频信号来确定音频信号的渲染信息。然而，例如，可由混音工程师制作音频信号的渲染信息并进行编码以反映创建内容的意图，可通过各种方法来获得音频信号的渲染信息。

[0119] 具体而言，编码器1410可分析所述多个声道音频信号、所述多个对象音频信号和轨道信息，以产生音频信号的渲染信息。更具体地讲，编码器1410可提取多用于对音频信号进行分类的特征，并可将提取出的特征传授给分类器以分析输入到编码器1410中的多个声
道音频信号或多个对象音频信号是否具有脉冲特性。此外，编码器1410可分析对象音频信
号的轨道信息，当对象音频信号是静态时，编码器1410可产生允许通过使用音色渲染方法
执行渲染的渲染信息。当对象音频信号包括运动(motion)时，编码器1410可产生允许通过
使用空间渲染方法执行渲染的渲染信息。也就是说，对于具有脉冲特征并具有没有运动的
静态特性的音频信号，编码器1410可产生允许通过使用音色渲染方法执行渲染的渲染信
息，否则，编码器1410可产生允许使用空间渲染方法执行渲染的渲染信息。在这种情况下，可通过计算对象音频信号的每帧的移动距离来估计运动是否被检测到。

[0120] 当对于通过音色渲染方法和空间渲染方法中的哪一个执行了渲染的分析基于软决策而不是硬决策时，编码器1410可基于音频信号的特性，通过基于音色渲染方法的渲染
操作和基于空间渲染方法的渲染操作的组合来执行渲染。例如，如图15所示，当第一对象音频信号OBJ1、第一轨道信息TRJ1和编码器1410分析音频信号的特性而产生的渲染权重值RC
被输入时，对象渲染单元1430可通过使用渲染权重值RC来确定针对音色渲染方法的权重值
WT和针对空间渲染方法的权重值WS。此外，对象渲染单元1430可将输入的第一对象音频信号OBJ1乘以针对音色渲染方法的权重值WT以基于音色渲染方法执行渲染，并将输入的第一对
象音频信号OBJ1乘以针对空间渲染方法的权重值WS以基于空间渲染方法执行渲染。此外，
如上所述，对象渲染单元1430可对其他对象音频信号执行渲染。

[0121] 作为另一示例，如图16所示，当第一声道音频信号CH1和编码器1410分析音频信号的特性而产生的渲染权重值RC被输入时，第一混合单元1440可通过使用渲染权重值RC来确
定针对音色渲染方法的权重值WT和针对空间渲染方法的权重值WS。此外，第一混合单元1440可将输入的第一声道音频信号CH1乘以针对音色渲染方法的权重值WT以将通过所述相乘获
得的值输出到第一渲染单元1450，并可将输入的声道音频信号CH1乘以针对空间渲染法的
权重值WS以将通过所述相乘获得的值输出到第二渲染单元1460。此外，如上所述，第一混合渲染单元1440可将其他声道音频信号乘以权重值，以分别将通过所述相乘获得的值输出到
第一渲染单元1450和第二渲染单元1460。

[0122] 在上述示例性实施例中，以上已描述了编码器1410获得音频信号的渲染信息，但这仅仅是示例性实施例。在其他示例性实施例中，解码器1420可获得音频信号的渲染信息。
在这种情况下，编码器1410可不发送渲染信息，解码器1420可直接产生渲染信息。

[0123] 此外，在另一示例性实施例中，解码器1420可产生允许通过使用音色渲染方法来渲染声道音频信息的渲染信息以及允许通过使用空间渲染方法来渲染对象音频信号的渲
染信息。

[0124] 如上所述，可根据音频信号的渲染信息来通过不同的方法执行渲染操作，防止了由于音频信号的特性而导致的音质恶化。

[0125] 在下文中，将描述当对象音频信号不是单独的并且仅存在所有音频信号被渲染并混合的声道音频信号时，通过分析声道音频信号来确定声道音频信号的渲染方法的方法。
具体地讲，将描述分析对象音频信号以从声道音频信号中提取对象音频信号分量，通过使
用空间渲染方法对对象音频信号执行渲染以提供虚拟的高度感，并通过使用音色渲染方法
对环境音频信号执行渲染的方法。

[0126] 图17是用于描述根据是否从11.1声道中的给予不同的高度感的四个上方音频信号中检测到掌声，通过不同的方法执行渲染的示例性实施例的示图。

[0127] 首先，掌声检测单元1710可确定是否从11.1声道中的给予不同的高度感的四个上方音频信号中检测到掌声。

[0128] 在掌声检测单元1710使用硬决策的情况下，掌声检测单元1710可确定下面的输出信号。

[0129] 当检测到掌声时：TFLA＝TFL,TFRA＝TFR,TSLA＝TSL,TSRA＝TSR,TFLG＝0,TFRG＝0,TSLG＝0,TSRG＝0

[0130] 当未检测到掌声时：TFLA＝0,TFRA＝0,TSLA＝0,TSRA＝0,TFLG＝TFL,TFRG＝TFR,TSLG＝TSL,TSRG＝TS

[0131] 在这种情况下，输出信号可由编码器而不是掌声检测单元1710计算出，并以标记的形式被发送。

[0132] 在掌声检测单元1710使用软决策的情况下，掌声检测单元1710可基于掌声是否被检测到以及掌声的强度，将信号乘以权重值“α和β”来确定输出信号。

[0133] TFLA＝αTFLTFL,TFRA＝αTFRTFR,TSLA＝αTSLTSL,TSRA＝αTSRTSR,TFLG＝βTFLTFL,TFRG＝βTFRTFR,TSLG＝βTSLTSL,TSRG＝βTSRTSR

[0134] 输出信号中的信号“TFLG、TFRG、TSLG和TSRG”可被输出到空间渲染单元1730，并可通过空间渲染法进行渲染。

[0135] 输出信号中的信号“TFLA、TFRA、TSLA和TSRA”可被确定为掌声分量，并可被输出到渲染分析单元1720。

[0136] 将参照图18来描述渲染分析单元1720确定掌声分量并分析渲染方法的方法。渲染分析单元1720可包括变频器1721、相关性计算器1723、渲染方法确定器1725和信号分离器
1727。

[0137] 变频器1721可将输入其中的信号“TFLA、TFRA、TSLA和TSRA”转换到频域，以输出信号“TFLAF,TFRAF,TSLAF和TSRAF”。在这种情况下，变频器1721可将信号表示为滤波器组(诸如，正交镜像滤波器组(QMF))的子频带采样，随后可输出信号“TFLAF、TFRAF、TSLAF和TSRAF”。

[0138] 相关性计算器1723可针对多个频带中的每一个频带，计算作为信号“TFLAF和TSLAF”之间的相关性的信号“xLF”、作为信号“TFRAF和TSRAF”之间的相关性的信号“xRF”、作为信号“TFLAF和TFRAF”之间的相关性的“xFF”以及作为信号“TSLAF和TSRAF”之间的相关性的信号“xSF”。在这种情况下，当两个信号之一为0时，相关性计算器1723可将相关性计算为1。这是因为当信号仅位于一个声道时，使用空间渲染法。

[0139] 渲染方法确定器1725可从由相关性计算器1723计算出的相关性计算将用于空间渲染法的权重值“wTFLF、wTFRF、wTSLF和wTSRF”，如下面的等式所表示的那样：

[0140] wTFLF＝mapper(max(xLF，xFF))

[0141] wTFRF＝mapper(max(xRF，xFF))

[0142] wTSLF＝mapper(max(xLF，xSF))

[0143] wTSRF＝mapper(max(xRF，xSF))

[0144] 其中，max表示选择两个系数中大的数的函数，mapper表示通过非线性映射将0与1之间的值映射到0与1之间的值的各种类型的函数。

[0145] 渲染方法确定器1725可针对多个频带中的每一个频带使用不同的映射器。具体而言，由于延时所导致的信号干扰变得更加严重，并且带宽在高频变得更宽，所以信号大多混合，因此，当针对每个频带使用不同的映射器时，声音质量和信号分离度比在所有频带使用相同的映射器的情况提升得更多。图19是示出映射器的在渲染方法确定器1725针对每个频
带使用具有不同的特性的映射器时的特性的曲线图。

[0146] 此外，当没有一个信号时(即，当相似度函数值为0或1，并且仅在一侧进行平移时)，相关性计算器1723可将相关性计算为1。然而，由于与因转换到频域而导致的旁瓣或本底噪声相应的信号被产生，因此当通过在其中设置阈值(例如，0.1)，相似度函数值具有等于或小于阈值的相似度值时，可选择空间渲染方法，从而防止出现噪声。图20是用于根据相似度值来确定用于渲染方法的权重值的曲线图。例如，当相似度函数值等于或小于0.1时，权重值可被设置为选择空间渲染方法。

[0147] 信号分离器1727可将转换为频域的信号“TFLAF、TFRAF、TSLAF和TSRAF”乘以由渲染方法确定器1725确定的权重值“wTFLF、wTFRF、wTSLF和wTSRF”，以将信号“TFLAF、TFRAF、TSLAF和TSRAF”转换为频域，随后可将信号“TFLAS、TFRAS、TSLAS和TSRAS”输出到空间渲染单元1730。

[0148] 此外，信号分离器1727可将通过从输入到其中的信号“TFLAF、TFRAF、TSLAF和TSRAF”减去输出到空间渲染单元1730的信号“TFLAS、TFRAS、TSLAS和TSRAS”而获得的信号“TFLAT、TFRAT、TSLAT和TSRAT”输出到音色渲染单元1740。

[0149] 因此，输出到空间渲染单元1730的信号“TFLAS、TFRAS、TSLAS和TSRAS”可构成与位于A A四个上方声道音频信号的对象相应的信号，输出到音色渲染单元1740的信号“TFLT、TFR T、TSLAT和TSRAT”可构成与扩散的声音(diffused sound)相应的信号。

[0150] 因此，当通过上述处理通过音色渲染方法和空间渲染方法中的至少一种方法来渲染在声道之间的相关性方面低的音频信号(诸如掌声或雨声)时，音质恶化的影响被最小
化。

[0151] 实际上，多声道音频编解码器大多使用用于压缩数据的ICC(比如，MPEG环绕)。在这种情况下，声道电平差(CLD)和ICC通常可用作参数。作为对象编码技术的MPEG空间音频
对象编码(SAOC)可具有与其相似的形式。在这种情况下，内部编码操作可使用将信号从下
混合信号扩展为多声道音频信号的声道扩展技术。

[0152] 图21是用于描述根据本发明示例性实施例的当使用具有诸如MPEG环绕的结构的声道扩展编解码器时，通过使用多种渲染方法来执行渲染的示例性实施例的示图。

[0153] 声道编解码器的解码器可基于CLD来分离与上层音频信号相应的比特流的声道，随后去相关器可基于ICC来对声道之间的相关性进行校正。作为结果，干缩的声道声源
(dried channel sound)和扩散的声道声源可彼此分离并被输出。干缩的声道声源可通过
空间渲染方法进行渲染，扩散的声道声源可通过音色渲染方法进行渲染。

[0154] 为了有效地使用本结构，声道编解码器可单独地压缩并发送中层音频信号和上层音频信号，或者在一个到两个/两个到三个(OTT/TTT)盒子的树结构中，中层音频信号和上
层音频信号可彼此分离，随后通过压缩单独的声道被发送。

[0155] 此外，可针对上层声道来检测掌声，并将掌声作为比特流进行发送。在计算作为等同于掌声的声道数据的信号“TFLA、TFRA、TSLA和TSRA”的操作中，解码器可通过使用空间渲染法对声道基于CLD被分离的声源进行渲染。在频域中执行作为空间渲染的操作因子的滤波、加权和求和的情况下，可执行相乘、加权和求和，因此，可在不增加操作的数量的情况下执行滤波、加权和求和。此外，在通过使用音色渲染方法对基于ICC产生的扩散的声源进行渲染的操作中，可通过加权和求和来执行渲染，因此，空间渲染和音色渲染可在增加少量操作的情况下被全部执行。

[0156] 在下文中，将参照图22至图25来描述根据本发明各个示例性实施例的多声道音频提供系统。具体地讲，图22至图25示出通过使用位于同一平面上的扬声器来提供给予高度
感的虚拟音频信号的多声道音频提供系统。

[0157] 图22是用于描述根据本发明第一示例性实施例的多声道音频提供系统的示图。

[0158] 首先，音频设备可从媒体接收多声道音频信号。此外，音频设备可对多声道音频信号进行解码，并可将解码后的多声道音频信号中的与扬声器相应的声道音频信号与从外部输出的交互效果音频信号相混合，以产生第一音频信号。

[0159] 此外，音频设备可对解码后的多声道音频信号中的给予不同的高度感的声道音频信号执行垂直平面音频信号处理。在这种情况下，垂直平面音频信号处理可以是通过使用
水平平面扬声器来产生给予高度感的虚拟音频信号的操作，并可使用上述虚拟音频信号产
生技术。

[0160] 此外，音频设备可将经过垂直平面处理后的音频信号与从外部输出的交互效果音频信号进行混合，以产生第二音频信号。

[0161] 此外，音频设备可将第一音频信号与第二音频信号相混合，以将通过所述混合获得的信号输出到相应的水平平面音频扬声器。

[0162] 图23是用于描述根据本发明第二示例性实施例的多声道音频提供系统的示图。

[0163] 首先，音频设备可从媒体接收多声道音频信号。此外，音频设备可将多声道音频信号与从外部输出的交互效果音频信号相混合，以产生第一音频信号。

[0164] 此外，音频设备可对第一音频信号执行垂直平面音频信号处理以与水平平面音频扬声器的布局相应，并可将通过所述处理获得的信号输出到相应的水平平面音频扬声器。

[0165] 此外，音频设备可对已执行了垂直平面音频信号处理的第一音频信号进行编码，并可将通过所述编码获得的音频信号发送到外部音频视频(AV)接收器。在这种情况下，音
频设备可按照现有的AV接收器能够支持的格式(比如，Dolby数字格式、DTS格式等)对音频
信号进行编码。

[0166] 外部AV接收器可对已执行了垂直平面音频信号处理的第一音频信号进行处理，并可将通过所述处理获得的音频信号输出到相应的水平平面音频扬声器。

[0167] 图24是用于描述根据本发明第三示例性实施例的多声道音频提供系统的示图。

[0168] 首先，音频设备可从媒体接收多声道音频信号，并可接收从外部(例如，遥控器)输出的交互效果音频信号。

[0169] 此外，音频设备可对接收到的多声道音频信号执行垂直平面音频信号处理以与水平平面扬声器的布局相应，还可对接收到的交互效果音频信号执行垂直平面音频信号处理
以相应于扬声器布局。

[0170] 此外，音频设备可将已执行了垂直平面音频信号处理的多声道音频信号与交互效果音频信号相混合以产生第一音频信号，并可将第一音频信号输出到相应的水平平面音频
扬声器。

[0171] 此外，音频设备可对第一音频信号进行编码，并可将通过所述编码获得的音频信号发送到外部AV接收器。在这种情况下，音频设备可按照现有的AV接收器能够支持的格式
(比如，Dolby数字格式、DTS格式等)对音频信号进行编码。

[0172] 外部AV接收器可对已执行了垂直平面音频信号处理的第一音频信号进行处理，并可将通过所述处理获得的音频信号输出到相应的水平平面音频扬声器。

[0173] 图25是用于描述根据本发明第四示例性实施例的多声道音频提供系统的示图。

[0174] 音频设备可立刻将从媒体输入的多声道音频信号发送到外部的AV接收器。

[0175] 外部的AV接收器可对多声道音频信号进行解码，并可对解码后的多声道音频信号执行垂直平面音频信号处理以与水平平面音频扬声器的布局相应。

[0176] 此外，外部AV接收器可通过水平平面扬声器来输出已执行了垂直平面音频信号处理的多声道音频信号。

[0177] 应理解的是，应仅以描述性意义考虑描述于此的示例性实施例，而不是出于限制的目的。对于每个示例性实施例中的特征或方面的描述通常应被视为可用于其他示例性实
施例中的其他相似特征或方面。虽然已参照附图描述了一个或更多个示例性实施例，但是
本领域普通技术人员将理解的是，在不脱离权利要求所限定的精神或范围的情况下，可在
此做出形式和细节上的各种改变。