具有流式传输能力的音频输入和输出装置转让专利

申请号 : CN201880046732.0

文献号 : CN110915220B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : G·真加勒A·马特奥斯·索莱D·斯卡伊尼S·S·巴尔卡利

申请人 : 杜比实验室特许公司杜比国际公司

摘要 :

公开了向音频输入和输出装置提供流式传输能力的方法、系统和计算机程序产品。音频处理装置将上游装置连接到下游装置。所述上游装置插入到所述音频处理装置的输入端口中。所述音频处理装置拦截从所述上游装置到所述下游装置的信号。所述音频处理装置将所述信号转换为数字数据并将所述数字数据流式传输到服务器。所述数字数据可以包含元数据,例如输入增益。所述音频处理装置可以响应于来自所述服务器的指令而调整所述输入增益。所述音频处理装置将所述音频信号的透传副本馈送到输出端口。用户可以在常见信号链中将所述下游装置连接到所述音频处理装置的所述输出端口中。所述流式传输不会影响所述用户的工作流。

权利要求 :

1.一种用于处理音频信号的方法,其包括:由音频处理装置拦截从音频信号路径中的上游装置传输的音频信号;

由所述音频处理装置将所述音频信号编码为数字数据,所述数字数据包括经过数字编码的音频信号和指示所述上游装置的一或多个属性的装置类型元数据;

由所述音频处理装置向服务器计算机流式传输所述数字数据;

由所述音频处理装置从所述服务器计算机接收关于修改所述音频处理装置的增益的一或多个指令,所述增益是由所述服务器计算机基于经过流式传输的数字数据而确定的且补偿所述上游装置的所述一或多个属性;以及根据所述一或多个指令修改所述音频处理装置的所述增益,由此根据经修改的增益调整所述音频信号的信号增益;以及向所述音频信号路径中的下游装置提供经调整的音频信号。

2.根据权利要求1所述的方法,其中所述上游装置包含有线连接到所述音频处理装置的麦克风、计算机或乐器,所述下游装置包含音频记录器或放大器,并且所述音频信号是模拟信号或数字音频信号。

3.根据权利要求1至2中任一权利要求所述的方法,其中要修改的所述增益包含所述音频处理装置的数字编码器的增益或在所述音频信号已经由所述数字编码器进行编码之后的编码后数字增益中的至少一个。

4.根据权利要求1至2中任一权利要求所述的方法,其中将所述音频信号编码为数字数据包括对所述音频信号的多个通道执行联合有损编解码器优化。

5.根据权利要求1至2中任一权利要求所述的方法,其包括:由所述音频处理装置从所述服务器计算机接收经过流式传输的音频信号,所述经过流式传输的音频信号包含所述服务器计算机提供的所述数字数据;以及向监测装置提供所述经过流式传输的音频信号。

6.一种用于处理音频信号的方法,其包括:由服务器计算机从插入到信号路径中并被配置成在音频记录会话中记录音频的多个音频处理装置接收经过流式传输的数字音频数据,所述经过流式传输的数字音频数据包括经过数字编码的音频信号;

由所述服务器计算机从所述音频处理装置中的音频处理装置接收指示上游装置的一或多个属性的装置类型元数据;

由所述服务器计算机基于所述经过流式传输的数字音频数据确定对应于所述音频处理装置中的每个音频处理装置的相应增益,以实现所述音频记录会话的音效,其中确定所述音频处理装置的所述相应增益包括确定补偿所述上游装置的所述一或多个属性的增益;

对所述音频处理装置中的每个音频处理装置生成相应指令,每个指令能操作以使对应音频处理装置在记录期间调整到相应增益;以及由所述服务器计算机在所述音频记录会话期间向所述对应音频处理装置提供每个指令以调整相应记录电平。

7.根据权利要求6所述的方法,其中确定对应于所述音频处理装置中的每个音频处理装置的所述相应增益包括以下中的至少一个:平衡所述音频处理装置之间的信号电平或响应于用户输入而加重对应于给定音频处理装置的主表演者。

8.根据权利要求6到7中任一权利要求所述的方法,其包括:由所述服务器计算机基于与所述经过流式传输的数字音频数据相关联的装置类型元数据确定特定音频处理装置的电池电量和所述特定音频处理装置与所述服务器计算机之间的通信带宽;

基于所述电池电量和所述通信带宽确定平衡节省电池和最小化带宽消耗的需求的特定有损压缩方案;

对所述特定音频处理装置生成特定指令,所述特定指令指定应在所述特定音频处理装置上使用所述特定有损压缩方案;以及向所述特定音频处理装置提供所述特定指令。

9.根据权利要求6到7中任一权利要求所述的方法,其包括:由所述服务器计算机基于来自特定音频处理装置的数字音频数据检测房间声级或反馈电平超过阈值;

由所述服务器计算机基于与所述经过流式传输的数字音频数据相关联的装置类型元数据确定所述特定音频处理装置的麦克风是多模式麦克风;

对所述特定音频处理装置生成特定指令,所述特定指令指定所述多模式麦克风的指向性应在全指向模式、双指向模式和心型指向模式中的两种模式之间改变;以及向所述特定音频处理装置提供所述特定指令。

10.根据权利要求6到7中任一权利要求所述的方法,其包括:使用移动装置在所述服务器计算机处注册所述音频处理装置;以及确定所述音频处理装置中的每个音频处理装置的相应标识符。

11.根据权利要求10所述的方法,其包括:提供经过注册的音频处理装置的所述标识符的列表以供显示;

接收对所述列表中的特定音频处理装置的用户选择;以及向所选音频处理装置提供用于生成光信号或声音信号的指令,所述光信号或声音信号能操作以指示所述用户选择。

12.一种用于处理音频信号的系统,其包括:一或多个处理器;以及

非暂时性计算机可读介质,所述非暂时性计算机可读介质存储有指令,所述指令当由所述一或多个处理器执行时使所述一或多个处理器执行权利要求1到11中任一权利要求所述的方法。

13.一种非暂时性计算机可读介质,其存储有指令,所述指令当由一或多个处理器执行时使所述一或多个处理器执行权利要求1到11中任一权利要求所述的方法。

说明书 :

具有流式传输能力的音频输入和输出装置

[0001] 相关申请的交叉引用
[0002] 本申请要求于2017年7月13日提交的西班牙专利申请第P201730933号、于2017年9月14日提交的美国临时专利申请第62/558,456号以及于2017年9月21日提交的欧洲专利申
请第17192421.0号的优先权,这些专利申请的公开内容通过引用整体并入本文。

技术领域

[0003] 本公开总体上涉及音频信号处理。

背景技术

[0004] 在现场表演的常规音频记录中,记录音频信号需要将声源(例如,乐器和麦克风)与记录装置进行物理连接。物理连接可以通过电缆和连接器或无线发射器和接收器进行。
记录工程师可以使用云或本地服务器执行表演的计算昂贵的高质量混音。在此类应用中,
所有信号均需要以对表演者的工作流影响最小的方式从记录装置传送到云或本地服务器。
在常规的音频信号处理中,计算机化的混音在后期制作(例如,当记录完成时)中最佳地实
现。可以对已经记录的信号执行计算昂贵的混音操作以避免干扰表演者。

发明内容

[0005] 公开了向音频输入和输出装置提供流式传输能力的技术。音频处理装置将上游装置(例如,麦克风或音乐家的乐器)连接到下游装置(例如,放大器或记录装置)。所述上游装
置插入到所述音频处理装置的输入端口中。所述音频处理装置拦截从所述上游装置到所述
下游装置的信号。音频处理装置将信号转换为数字数据、连接到无线接入点或使用其内置
式移动通信能力(例如,LTE),并且将数字数据流式传输到服务器。数字数据可以包含经过
数字编码的音频信号和元数据,例如输入增益。音频处理装置可以响应于来自服务器的指
令而调整其模拟到数字(A/D)转换器的输入增益。音频处理装置具有输出端口。所述音频处
理装置将所述音频信号的透传副本馈送到所述输出端口。用户可以在常见信号链中将所述
下游装置连接到所述音频处理装置的所述输出端口中。所述流式传输不会影响所述用户的
常规工作流。
[0006] 本说明书中所描述的特征可以实现一或多个优于常规音频和视频处理技术的优点。这些特征通过降低记录设置的复杂性来改进常规的手动音频和视频捕获和处理技术。
使用常规技术将音频流式传输到服务器可能很麻烦且通常成本很高,从而需要使用不是为
此目的而设计的现有装置。所公开的技术可以使用简单的集成式专用音频处理装置执行向
上流式传输(up‑streaming)。
[0007] 所公开的技术允许服务器在记录期间提供反馈和控制,从而避免或减少常规技术引入到记录链中的人为干预和人为错误。反馈和控制可以发生在现场记录期间而不是后期
制作期间,因此可以从开始就确保信号质量。在信号链开始时的现场反馈和控制优于误差
或缺陷可能引入到原始记录中并且在随后的混音时间期间得到消除或校正的常规技术。所
公开的技术允许捕获到的信号以对音乐家影响最小的方式直接流式传输到云或本地服务
器。当使用多个此类装置时,所述优点甚至更加明显,因为所公开的技术允许服务器通过考
虑来自所有此类装置的所有AV数据本质以及元数据来提供基于对表演的全局分析的更智
能的决策。
[0008] 所公开的技术可以向音乐家提供新颖的可能性。音频处理装置可以被配置成从服务器(例如,云或从本地服务器)接收并实施命令。服务器可以从连接到同一表演的乐器或
麦克风的其它音频处理设备接收流。因此,服务器可以向每个单独的装置提供“智能”和“高
级”命令以协调记录。
[0009] 所公开的技术可以给客户带来演播室质量的记录。在演播室环境中,人声工程师可以调整混音器从麦克风接收到的信号电平。所公开的技术可以自动调整麦克风处的增
益,相比混音器,所述麦克风在信号路径中处于更上游的位置。因此,计算装置(例如,智能
电话)可以像专业混音演播室一样工作,并且可以在不使用昂贵的专业设备的情况下产生
具有演播室质量的声音的音频记录。
[0010] 在以下附图和描述中阐述了所公开的主题的一或多个实施方案的细节。根据本说明书、附图和权利要求,所公开的主题的其它特征、方面和优点将变得显而易见。

附图说明

[0011] 图1是展示了音频处理装置向服务器流式传输现场表演事件的数字数据的记录会话的图。
[0012] 图2是展示了示例音频处理装置的图。
[0013] 图3是展示了示例音频处理装置的架构的框图。
[0014] 图4是展示了在网络环境中的示例音频处理装置的架构的框图。
[0015] 图5是由音频处理装置执行的流式传输的示例过程的流程图。
[0016] 图6是由服务器执行的流式传输控制的示例过程的流程图。
[0017] 图7是展示了实施参考图1到6所描述的特征和操作的移动装置的示例装置架构的框图。
[0018] 图8是图1到6中的用于装置的示例网络操作环境的框图。
[0019] 图9是实施参考图1到6所描述的特征和操作的示例计算装置的示例系统架构的框图。
[0020] 各附图中的相似参考符号指示相似的元件。

具体实施方式

[0021] 示例记录设置
[0022] 图1是展示了音频处理装置向服务器流式传输现场表演事件的数字数据的记录会话的图。事件100可以是产生音频内容(例如,语音、声乐或器乐)的任何事件。具体地,事件
100可以是现场表演事件,例如音乐会,其中一或多个乐器和/或一或多个歌手表演。在事件
100中可以存在一或多个声源。每个声源可以是乐器、歌手、扬声器、膝上型计算机或任何产
生声音的物品。为了方便起见,在本说明书的各个部分中,声源(包括非乐器声源)统称为乐
器。
[0023] 在所示的实例中,麦克风104和106被配置成在事件100中捕获来自乐器的音频信号。麦克风104和106中的每个麦克风分别连接到相应音频处理装置,例如音频处理装置102
和另一音频处理装置108。相对于音频处理装置102和音频处理装置108,麦克风104和106被
指定为上游装置。上游装置向音频处理装置102和音频处理装置108提供音频信号。在各种
实施方案中,上游装置不限于麦克风。例如,上游装置可以是乐器(例如,带有音频信号输出
的声音合成器或电子吉他)或音频装置(例如,数字音乐播放器或计算机)。音频信号可以是
模拟信号或数字信号。上游装置可以插入到音频处理装置102或音频处理装置108的输入端
口中。
[0024] 在一些实施方案中,音频处理装置102和音频处理装置108中的每个音频处理装置包含相应的内置式内部麦克风。用户(例如,音乐家或记录工程师)可以将音频处理装置102
和音频处理装置108放置在相应的位置以获得期望的音响效果。
[0025] 音频处理装置102和音频处理装置108的输出可以插入到下游装置110,例如,常规的声音系统或控制台。音频处理装置102和音频处理装置108的输出可以包含透传音频信
号。在所示的实例中,输出被馈送到记录装置。
[0026] 放置在上游装置与下游装置110之间的信号路径中的音频处理装置102和音频处理装置108中的每个音频处理装置拦截相应音频信号。音频处理装置102和音频处理装置
108能够将音频信号编码为数字数据。音频处理装置102和音频处理装置108可以将各种信
息(包含例如相应的记录设置、相应的输入增益电平、相应的装置信息)合并到数字数据中。
因此,数字数据可以包含经过数字编码的音频信号和元数据。
[0027] 音频处理装置102和音频处理装置108可以连接到无线网关112,例如,无线接入点或蜂窝塔。音频处理装置102和音频处理装置108可以向本地服务器114(例如,移动装置或
平板计算机,膝上型计算机或台式计算机)提供数字数据(例如,流)。音频处理装置102和音
频处理装置108可以向远程服务器(例如,向通过基于云的计算平台116提供的服务)提供数
字数据。
[0028] 服务器可以提供指令以调整音频处理装置102和音频处理装置108的各种参数。例如,服务器可以分析经过流式传输的数字数据,并且确定与来自音频处理装置108的经过数
字编码的音频信号相比,来自音频处理装置102的经过数字编码的音频信号的输入增益对
于实现特定的预先指定的音效来说过高或过低。服务器可以向音频处理装置102发送指令
以减小或增大输入增益。作为响应,音频处理装置102可以在没有人为干预的情况下减小或
增大输入增益。预先指定的音效可以包含例如具有不同类型和声学特性的麦克风之间的平
衡输入电平、对特定麦克风(例如,与主唱歌手相关联的麦克风)的加重或对必须放置成比
其它麦克风更靠近乐器的特定麦克风的去加重。
[0029] 音频处理装置102和音频处理装置108可以以各种方式进行设置。例如,音频处理装置102和音频处理装置108可以通过智能电话118上的应用通过无线连接(例如,通过个人
TM
局域网(PAN)使用Bluetooth 技术的连接)配置。音频处理装置102和音频处理装置108可以
由Web浏览器通过本地服务器114或基于云的计算平台116来配置。智能电话118或Web浏览
器的用户可以输入记录会话的设置,例如,会话名称、通道数量、服务器地址(例如,要连接
到的互联网协议(IP)地址)或上述各项的任何组合。智能电话118可以通过无线网关112连
接到各种网络装置或服务,所述服务包含本地服务器114和基于云的计算平台116。
[0030] 在一些实施方案中,音频处理装置102和音频处理装置108的至少一些参数可以由控制器设置。控制器可以与连接到控制器的每个音频处理装置共享控制信息,例如,会话设
置、主时钟、装置信息。控制器可以在音频处理装置102、音频处理装置108、本地服务器114、
基于云的计算平台116或智能电话118中的任何一个上实施。
[0031] 在一些实施方案中,控制器可以通过全自动发现和配置注册音频处理装置102和音频处理装置108。用户可以使用控制器注册音频处理装置102和音频处理装置108中的一
或多个,例如,通过向特定组分配音频处理装置102和音频处理装置108。当新的记录会话开
始时,自动发现并配置经过注册的装置。
[0032] 图2是展示了示例音频处理装置102的图。图1的音频处理装置108可以具有类似的结构。音频处理装置102可以包含一或多个计算机处理器。
[0033] 音频处理装置102包含用于从上游装置接收输入音频信号的输入端口202。例如,输入端口202可以包含具有母头XLR连接器和幻象电源(phantom power)的麦克风输入。输
入端口202可以包含带有母头插孔连接器的乐器输入。输入端口202可以包含带有母头插孔
连接器或XLR连接器的线输入。为了清楚和方便起见,仅示出了一个输入端口202。在各种实
施方案中,音频处理装置102可以包含多个输入端口。例如,音频处理装置102可以包含各自
用于立体声音频的相应通道的两个输入端口。同样,音频处理装置102可以具有用于多通道
音频的输入端口。
[0034] 音频处理装置102包含输出端口204,所述输出端口用于以输出信号的形式向下游装置提供输入音频信号的透传副本。为了清楚和方便起见,仅示出了一个输出端口204。在
各种实施方案中,音频处理装置102可以包含多个输出端口。例如,音频处理装置102可以包
含各自用于立体声音频的相应通道的两个输出端口。同样,音频处理装置102可以具有多个
输出端口,所述输出端口用于多通道音频或用于提供不同的输出路由选项。
[0035] 音频处理装置102包含输入中的每个输入的模拟或数字透传。音频处理装置102包含编码器,例如模拟/数字(A/D)转换器,所述编码器将模拟输入音频信号转换为数字数据。
音频处理装置102包含通信装置,所述通信装置用于向可配置的服务器流式传输数字数据
以及一或多个输入增益的值。通信装置可以包含具有用于与无线网关无线通信的天线206
的WiFi装置。
[0036] 音频处理装置102可以任选地包含一或多个反馈装置,例如,发光二极管(LED)208。LED 208可以向用户提供各种反馈,例如,音频剪辑或低电池电量警告。下面参考图3公
开了关于反馈的附加细节。
[0037] 图3是展示了示例音频处理装置102的架构的框图。图1的音频处理装置108可以具有类似的架构。在图3中,音频信号路径是以实线箭头示出的。控制信号路径是以虚线箭头
示出的。音频处理装置102包含多个子系统。每个子系统可以包含硬件、硬件和软件,或硬件
和固件组件。
[0038] 音频处理装置102包含一或多个输入子系统302。输入子系统302可以包含参考图2所描述的输入端口202。输入子系统302可以包含内置式麦克风。输入子系统302可以包含用
于连接到USB麦克风或声卡的通用串行总线(USB)输入端口。输入子系统302可以包含具有
组合的XLR和插孔连接器或单独连接器的组合式麦克风、线路和乐器输入。输入子系统302
可以包含上述各种组合的单声道、立体声或多通道版本。
[0039] 音频处理装置102包含一或多个输出子系统304。输出子系统304可以包含参考图2所描述的输出端口204。输出子系统304可以包含对应于输入通道的单声道、立体声或多通
道版本。输出子系统304可以对每个输入通道提供模拟透传。透传可以是硬连线的。如果输
入音频信号已经通过麦克风前置放大器或乐器前置放大器,则输出子系统304可以提供线
路电平模拟输出。在一些实施方案中,输出子系统304可以包含用于模拟耳机输出的耳机插
孔。在一些实施方案中,输出子系统304可以包含无线输出,例如,无线扬声器、无线耳机或
无线音频记录器的蓝牙输出。
[0040] 音频处理装置102包含编码器306。编码器306是被配置成执行模拟到数字(A/D)转换以将模拟输入音频信号转换为指定格式的经过数字编码的音频信号的装置。例如,编码
器可以包含24位A/D转换器。编码器306可以向各种装置提供经过数字编码的音频信号。
[0041] 在一些实施方案中,编码器306可以向经过数字编码的音频信号加入元数据以创建数字数据。编码器306可以向存储子系统308提供数字数据。存储子系统308可以包含非暂
时性存储介质,例如微型存储卡,所述非暂时性存储介质可以将数字数据存储为一或多个
数字文件。编码器306可以向流式传输子系统307提供数字数据。流式传输子系统307可以包
含例如无线收发器等装置,所述装置被配置成向远程装置(例如,服务器)提交数字数据。收
发器具有外部天线或内部天线,例如,图2中用于传输数字数据的天线206。
[0042] 在一些实施方案中,输入子系统302可以接收数字输入音频信号,例如那些通过USB连接的来自膝上型计算机的信号。然后,将编码器306配置为旁路模式,或执行到指定格
式的数字到数字转换。
[0043] 无论输入信号是模拟的还是数字的,编码器306均可以使用有损代码对数字信号进行编码。这种编码可以降低输入音频信号的比特率。流式传输子系统307可以向服务器流
式传输经过数字编码的音频数据。
[0044] 在一些实施方案中,输入子系统302可以具有多个带有不同增益的并联输入级。例如,输入子系统302可以具有到编码器306的高增益路径和低增益路径。输入子系统302通过
高增益路径向编码器306提供高增益信号。输入子系统302通过低增益路径向编码器306提
供低增益信号。编码器306分别对高增益信号和低增益信号进行编码。经过编码的音频信号
分别被流式传输到服务器。服务器可以通过组合不同增益的输入来获得合适的信号电平。
[0045] 在一些实施方案中,音频处理装置102具有多个输入子系统302,所述多个输入子系统各自对应于相应输入源,例如,左通道麦克风和右通道麦克风。编码器306可以分别对
来自每个输入源的输入音频信号进行编码,或执行联合有损编解码器优化。编码器306可以
利用输入音频信号之间的相关性和相似性以更高效地对输入音频信号进行编码,例如,通
TM
过使用各种Dolby AC‑4算法进行编码。
[0046] 音频处理装置102包含电源314。电源314包含向音频处理装置102的各种组件供应电源的装置。电源314可以被配置成向一或多个输入子系统302供应幻象电源,例如,向麦克
风供应电源。电源314可以包含一或多个电池或一或多个用于插入电源适配器的电源插孔。
在一些实施方案中,电源314可以由装置链中的下一个装置从外部幻象电源供电,这类似于
有源DI(直接输入)单元从控制台接收电源的方式。电源314可以包含允许音频处理装置102
充电的电源端口,例如,微型USB连接器或类似的连接器。
[0047] 音频处理装置102包含增益控制子系统310。增益控制子系统310是被配置成根据由服务器提供的指令来控制模拟输入的增益的装置。增益控制子系统310被配置成以元数
据的形式向服务器提交对输入音频信号应用的增益,例如加3dB。增益控制子系统310被配
置成从服务器接收用于调整增益的指令,例如从当前电平减去5分贝(dB)。因此,增益控制
子系统310可以作为智能装置进行操作,所述智能装置将整个乐队考虑在内以针对每个装
置做出决策。增益控制子系统310可以向服务器传送输入增益改变,以允许服务器将所述改
变考虑在内。经过调整的输入增益可以引起输出子系统304处的透传信号的电平和来自编
码器306的经过数字化的音频信号的电平两者均相应地发生改变。在一些实施方案中,增益
控制子系统310调整编码器306的数字数据输出的电平。增益控制子系统310可以使透传信
号保持不变。在此类实施方案中,音频处理装置102保持经过流式传输的数字数据的良好质
量,同时不会影响音频事件中乐器的电平。
[0048] 音频处理装置102包含监测子系统312。监测装置可以包含从编码器306接收经过编码的数字数据并且提供输出(例如,呈现数字数据的耳机输出或仪表输出)的装置。监测
子系统312可以耦合到增益控制子系统310,其方式为使得增益控制子系统310调整增益将
直接地或通过馈送到编码器306的音频信号的经过修改的电平来影响监测子系统312的输
出。监测子系统312可以被配置成向增益控制子系统310提供反馈以增加或减少输入音频信
号上的增益。在音频处理装置102和其它音频处理装置连接到服务器的场景中,每个装置的
监测输出可以由监测逻辑控制,所述检测逻辑允许监测整体混音或可用信号任何期望组
合,例如与更多鼓、仅一个乐器等进行的混音。监测子系统312可以向一或多个远程监视器
提供无线输出,例如蓝牙输出。
[0049] 音频处理装置102包含一或多个反馈子系统316。反馈子系统316包含被配置成向用户提供各条信息的装置,如表演者或记录工程师。反馈子系统316可以是集成装置(例如,
图2的LED 208和显示屏210)或远程反馈装置(例如,无线连接到音频处理装置102的智能电
话的显示屏)。反馈子系统316可以指示例如是否建立到无线网关或服务器的无线连接、无
线连接的状态(例如,最佳、故障、低带宽)、是否发生削波、输入增益是否增加或减少、电池
电量、信号电平、记录状态(例如开始、停止或暂停)。
[0050] 反馈子系统316可以指示发现模式,所述发现模式允许音频处理装置响应于远程输入而标识自身。如LED等光发射器可以充当发现指示器。当多个音频处理装置在同一记录
会话中同时操作时,服务器可以从多个音频处理装置中将音频处理装置102标识为具有不
适合混音的输入电平。作为响应,服务器可以自动选择音频处理装置102。然后,服务器向音
频处理装置102提供请求音频处理装置102标识自身的发现信号。
[0051] 响应于发现信号,音频处理装置102可以在反馈子系统316上提供输出以标识自身。例如,LED可以在装置之间快速区分,以允许表演者或音频工程师知道应该将哪一个装
置移动更靠近于或远离于特定乐器以获得更好的捕获效果。在一些实施方案中,用户可以
在服务器上呈现的用户界面中从装置列表选择特定音频处理装置,例如,音频处理装置
102。服务器可以向所选装置发送发现信号。响应于发现信号,发现指示器可以闪烁以指示
此装置是所选装置。同样,在服务器上执行的过程可以向用户指示特定音频处理装置由于
各种原因需要关注。所述过程可以向所述装置发送“闪烁”指令。响应于所述指令,发现指示
器可以闪烁。
[0052] 音频处理装置102包含元数据子系统318。元数据子系统318可以包含用于收集或生成记录元数据的装置和用于存储元数据的存储装置。元数据可以包含装置模型,所述装
置模型指定音频处理装置102是什么类型的装置、固件版本、所述模型和所述版本的相关特
征。所述特性可以包含例如输入类型,如单声道、立体声、方向性图。所述特性可以包含传感
器检测到的姿势,例如,位置、朝向和地理位置,所述传感器例如音频处理装置102上的全球
导航卫星系统(GNSS)接收器或以其它方式耦合到(例如,无线连接到或插入到)音频处理装
置102。所述特征可以包含电池电量、显示器尺寸和显示器设置,例如,显示器是否关闭。元
数据子系统318可以向服务器提交元数据,例如,通过流式传输子系统307。服务器可以使用
元数据作为参数来实施各种过程。例如,基于元数据,服务器可以补偿麦克风中高频响应的
缺乏。服务器可以通过操作某个LED或显示屏确定何时与音频处理装置102通信,以使音频
处理装置102呈现各种信息。
[0053] 在一些实施方案中,音频处理装置102包含时钟320。时钟320是被配置成生成一或多个时间信号的音频处理装置102的组件。音频处理装置102可以从音频信号将时间信号合
并到由编码器306生成的数字数据中。时间信号可以呈时间戳的形式或时间代码的其它形
式。时间戳和时间码可以促进来自多个装置的流的后续同步。
[0054] 在一些实施方案中,音频处理装置102包含控制子系统322。控制子系统322是被配置成从一或多个硬件控制装置接收输入的音频处理装置102的组件,例如,按钮、拨号盘、幻
灯片、开关、用于检测手势的运动传感器、远程控制器或上述的各种组合,以改变音频处理
装置102的基本功能,所述基本功能包含例如开始流式传输、停止流式传输、改变幻象电源
设置或改变增益等。控制子系统322可以被配置成接收控制功能的无线信号。可以由移动装
置(例如,智能电话)上执行的应用来提供无线信号。可以由服务器提供无线信号。作为响
应,控制子系统322可以在音频处理装置102与服务器之间建立连接。
[0055] 在一些实施方案中,音频处理装置102由控制器324控制。控制器324可以是被实施到与音频处理装置102相同的硬件主体中、或被实施为单独的硬件装置、或被实施在运行控
制器软件的现有单独装置上(例如,在移动装置或服务器上)的装置。控制器324可以在记录
会话中控制音频处理装置102以及其它音频处理装置的操作的各个方面。例如,控制器324
可以包含与音频处理装置102的时钟320和其它音频处理装置的时钟通信的主时钟326,使
得在经过流式传输的数字音频中的时间戳在用于混音的装置之间是同步的。控制器324可
以包含与音频处理装置102的元数据子系统318和其它音频处理装置的元数据子系统通信
的主元数据子系统328,以共享公共信息,例如,会话名称、记录标题、乐队名称、歌曲名称、
电池电量等。
[0056] 图4是展示了在网络环境中示例音频处理装置102的架构的框图。在网络环境中,音频处理装置102连接到服务器402。服务器402可以是计算装置,例如智能电话、平板计算
机、膝上型计算机或台式计算机或专用数字音频装置。服务器402可以被实施为一或多个计
算机共同为音频处理装置102服务的云计算平台提供的服务。例如,服务器402可以是图1的
本地服务器114或基于云的计算平台116。音频处理装置102可以通过有线或无线通信网络
连接到服务器402。
[0057] 音频处理装置102的流式传输子系统307可以向服务器402的音频存储区404提供数字数据。流式传输子系统307可以通过网络连接向音频存储区提供通过流式传输数据的
数字数据。数字数据可以包含元数据和经过数字编码的音频信号。
[0058] 在一些实施方案中,音频存储区404可以包含存储数字数据的非暂时性存储装置。音频存储区404将经过编码的音频信号存储为第一音频流406。音频存储区404可以将来自
其它音频处理装置的经过编码的音频信号存储为其它音频流。例如,多个(N)音频处理装置
可以被配置成在记录会话中进行操作。音频存储区404可以将来自第N个音频处理装置的经
过编码的音频信号存储为第N个音频流408。连接到服务器402的客户端装置(例如,流式播
放器)可以通过下载接口410下载音频流406和音频流408。
[0059] 在一些实施方案中,音频存储区404提供实时流式传输服务。实时流式传输服务允许来自音频处理装置102和其它音频处理装置的经过编码的音频信号在记录会话正在进行
的同时流式传输到一或多个音频播放装置,例如,流式播放器。
[0060] 服务器402包含监测控制子系统412。监测控制子系统412可以提供组合多个音频流(例如,音频流406和音频流408)的逻辑并且向音频处理装置102的监测子系统312提供组
合的音频流。因此,例如,通过音频处理装置102监测表演的表演者不仅可以听到表演者自
己的乐器,而且可以听到表演中的其它乐器,例如,乐队的所选部分或整支乐队的混音。
[0061] 服务器402包含增益控制子系统414。增益控制子系统414是服务器402的组件,所述服务器被配置成基于包含所接收到的元数据和音频流406与音频流408的组合的多个因
素确定音频处理装置102的增益电平。增益控制子系统414可以通过平衡音频流406和音频
流408的增益确定增加或减少音频处理装置102的当前增益。此外,增益控制子系统414可以
基于音频处理装置102的增益控制子系统310以元数据的方式提供的当前增益的值确定增
加或减小当前增益。
[0062] 例如,增益控制子系统310可以指示音频处理装置102已经以最大增益操作,或以使失真电平超过阈值的增益电平操作。作为响应,增益控制子系统414可以指示其它音频处
理装置减少增益,而不是指示音频处理装置102增加增益。增益控制子系统414可以指示增
益控制子系统310或其它增益控制子系统在记录表演的同时实时调整增益电平。
[0063] 服务器402包含主元数据子系统416。主元数据子系统416是服务器402的组件,所述服务器被配置成从音频处理装置102的元数据子系统318接收信息,例如,会话名称、记录
标题、乐队名称、歌曲名称、电池电量等。主元数据子系统416可以在连接到服务器402的多
个音频处理装置之间共享所述信息。
[0064] 服务器402可以包含与音频处理装置102的时钟320和其它音频处理装置的时钟通信的主时钟418,使得在经过流式传输的数字音频中的时间戳在用于混音的装置之间是同
步的。服务器402可以包含与音频处理装置的控制子系统322通信的控制接口420。控制接口
420可以允许用户使用用户界面来控制音频处理装置102的各种功能,或允许服务器逻辑来
控制所述功能。所述功能可以包含上述参考控制子系统322所描述的那些功能。
[0065] 示例过程
[0066] 图5是由音频处理装置执行的流式传输的示例过程的流程图。音频处理装置可以具有各种类型,例如,加密狗、透传连接器、DI单元或如智能电话等移动装置。音频处理装置
包含一或多个计算机处理器。示例音频处理装置是如上述所公开的音频处理装置102。
[0067] 音频处理装置拦截(502)从音频信号路径中的上游装置所传输的音频信号。上游装置可以包含有线连接到音频处理装置的麦克风或乐器。乐器可以是例如声音合成器、电
子乐器或来自音频系统的输出装置。音频信号可以是模拟信号或数字音频信号,例如,可以
压缩到较低比特率的信号。
[0068] 音频处理装置将音频信号编码(504)为数字数据。将音频信号编码为数字数据可以包含对音频信号的多个通道执行联合有损编解码器优化。音频处理装置可以将装置信息
包含在数字数据中。装置信息可以包含例如指示可用于记录的存储器的量的存储器量、电
池状态、指示音频处理装置的属性的装置类型元数据或上述各项的任何组合。音频信号可
以包含数字音频信号。在此类情况下,将数字音频信号编码为数字数据使用有损编码方案
来执行。
[0069] 音频处理装置向包含一或多个计算机的服务器流式传输(506)数字数据。流式传输数字数据可以是现场流式传输,同时音频信号是由音频处理装置接收。音频处理装置可
以是多个音频处理装置之一。音频处理装置中的每个音频处理装置均在服务器计算机处针
对特定记录会话进行注册。可以通过移动装置(例如,智能电话)促进注册。服务器计算机可
以是移动装置、平板装置、膝上型计算机、台式计算机或云计算环境中的一或多个计算机。
[0070] 音频处理装置从服务器计算机接收(508)关于修改音频处理装置的状态的一或多个指令。修改所述状态可以包含调整音频信号的方面。所述音频信号的所述方面可以是音
频处理装置的输入子系统或编码器的信号增益。服务器可以从连接到服务器计算机的用于
记录会话的多个音频处理装置选择音频处理装置。所述选择可以是通过用户界面的用户选
择。服务器计算机可以向音频处理装置提供指示音频处理装置被选择的指令。音频处理装
置可以提供用于显示在音频处理装置上的反馈信息,所述反馈信息指示音频处理装置被指
定为服务器计算机处的所选装置。
[0071] 音频处理装置根据一或多个指令修改(510)音频处理装置的状态。修改所述状态可以包含调整所述音频信号的所述方面。例如,音频处理装置可以增加或减少信号增益。信
号增益可以包含音频处理装置的数字编码器的增益、在音频信号已经由数字编码器进行解
码之后的编码后的数字增益或两者。调整可以直接或间接影响作为音频处理装置的输出的
一部分的透传音频信号。调整发生在现场记录期间。
[0072] 音频处理装置向音频信号路径中的下游装置提供(512)音频信号的表示。音频信号的表示可以包含以下中的至少一个:音频信号的透传或经过调整的音频信号(在确定指
令包含用于调整音频信号的方面的指令时)。在一些实施方案中,音频处理装置可以输出两
者。透传可以是音频信号的与输入相比未发生改变的副本,但是音频处理装置的各种组件
可能已经引起无意失真。下游装置可以包含例如音频记录器或放大器。因此,在音频信号路
径中插入音频处理装置不会影响记录或放大表演事件的工作流的其它方面。
[0073] 在一些实施方案中,音频处理装置从服务器计算机接收经过流式传输的音频信号。经过流式传输的音频信号包含服务器计算机提供的数字数据的表示。经过流式传输的
音频信号可以包含数字数据的表示和由另一音频处理装置向服务器计算机提交的数字数
据的混合。例如,服务器计算机可以将歌手的声音与鼓手的声音进行混合,并且将混合的音
频信号流式传输到音频处理装置。音频处理装置可以在调整或不调整的情况下向监测装置
(例如,耳机)提供经过流式传输的音频信号。
[0074] 图6是由服务器执行的流式传输控制的示例过程600的流程图。服务器可以包含一或多个独立的、内置于音频系统中或云计算环境中的计算机处理器,所述计算机处理器被
编程为执行过程600的操作。示例服务器是图4的服务器402。
[0075] 服务器从多个音频处理装置接收(602)经过流式传输的数字数据,所述多音频处理装置插入到信号路径中并被配置成在音频记录会话中记录音频。数字数据包含经过数字
编码的音频信号和元数据。每个信号路径可以包含相应的音频处理装置,所述音频处理装
置将包含麦克风或乐器的上游装置连接到包含记录器或放大器的下游装置。音频记录会话
可以是现场会话,或一或多个乐器播放预先记录的声音的会话,例如,膝上型计算机播放之
前制作的内容。
[0076] 服务器基于经过流式传输的数字数据确定(604)对应于所述音频处理装置中的每个音频处理装置的相应增益,以实现音频记录会话的音效。确定相应增益可以包含平衡音
频处理装置之间的信号电平、响应于用户输入而加重对应于给定音频处理装置的主表演者
或两者。
[0077] 在一些实施方案中,服务器从音频处理装置中的至少一个音频处理装置接收元数据。元数据可以指示上游装置或音频处理装置的一或多个属性。确定特定音频处理装置的
相应增益可以包含确定补偿上游装置或特定音频处理装置的所述一或多个属性或平衡装
置之间的数字音频数据的增益。
[0078] 服务器对每个音频处理装置生成(606)相应指令。每个指令是能操作以使相应的音频处理装置在记录期间调整到相应增益。指令可以包含相应的音频处理装置和操作者的
标识符,如增加增益、减少增益、暂停、闪烁、显示某些信息或上述各项的组合。服务器可以
使用移动装置注册音频处理装置。服务器可以例如基于在移动装置上的用户输入确定每个
音频处理装置的相应标识符。
[0079] 服务器在音频记录会话期间向对应音频处理装置提供(608)每个指令以调整相应的记录电平。对于每个装置,向音频处理装置提供指令可以同时发生或单独发生。
[0080] 在一些实施方案中,服务器可以基于与经过流式传输的数字音频数据相关联的元数据确定特定音频处理装置的电池电量低于阈值,例如,低于X伏或低于剩余Y%。服务器对
特定音频处理装置生成特定指令。特定指令可以指定在特定音频处理装置上应使用特定有
损压缩方案,以减少功耗。特定有损压缩方案可以是不同于当前压缩方案的方案,因为所指
定的特定有损压缩方案是带宽优化程度较低且计算密集度较低的方案。服务器可以向特定
装置提供特定指令。
[0081] 在一些实施方案中,服务器可以基于与经过流式传输的数字音频数据相关联的元数据确定一或多个特定音频处理装置的电池电量和在一或多个特定音频处理装置与服务
器计算机之间的通信带宽。服务器可以基于电池电量和通信带宽确定平衡节省电池和最小
化带宽消耗的需求的特定有损压缩方案。可以选择特定有损压缩以优化电池使用和带宽消
耗之间的权衡关系。服务器可以对一或多个特定音频处理装置生成特定指令,所述特定指
令指定应在所述一或多个特定的音频处理装置上使用特定有损压缩方案。服务器可以向一
或多个特定音频处理装置提供特定指令。
[0082] 在一些实施方案中,服务器可以检测事件,例如传入流中的暂停,所述事件指示特定音频处理装置与服务器之间的低带宽状况,例如网络减速。服务器对特定音频处理装置
生成特定指令。特定指令可以指定在特定音频处理装置上应使用有损压缩方案,以减少比
特率。服务器可以向特定装置提供特定指令。
[0083] 在一些实施方案中,服务器可以基于来自特定音频处理装置的数字音频数据检测房间声级或反馈电平超过阈值。另外,服务器可以基于与经过流式传输的数字音频数据相
关联的元数据确定特定音频处理装置的麦克风是多模式麦克风。服务器可以对特定音频处
理装置生成特定指令。特定指令可以指定多模式麦克风的指向性应在全指向模式、双指向
模式和心型指向模式中的两种模式之间改变,例如,从全指向模式到心型指向模式,以降低
房间声级或反馈电平。服务器可以向特定装置提供特定指令。
[0084] 示范性记录装置架构
[0085] 图7是展示了实施参考图1到6所描述的特征和操作的装置的示范性装置架构700的框图。装置可以是例如图1的音频处理装置102或108或图4的服务器402。装置可以包含存
储器接口702、一或多个数据处理器、图像处理器和/或处理器704和外围设备接口706。存储
器接口702、一或多个处理器704和/或外围设备接口706可以是单独的组件,或可以集成在
一或多个集成电路中。处理器704可以包含应用处理器、基带处理器和无线处理器。例如,移
动装置中的各种组件可以通过一或多个通信总线或信号线耦合。
[0086] 传感器、装置和子系统可以耦合到外围设备接口706以促进多种功能。例如,运动传感器710、光传感器712和接近传感器714可以耦合到外围设备接口706,以促进移动装置
的朝向、照明和接近功能。位置处理器715可以连接到外围设备接口706以提供地理定位。在
一些实施方案中,位置处理器715可以被编程为执行GNSS接收器的操作。电子磁力计716(例
如,集成电路芯片)还可以连接到外围设备接口706,以提供可以用于确定磁北方向的数据。
因此,电子磁力计716可以用作电子罗盘。运动传感器710可以包含一或多个被配置成确定
移动装置的移动速度和移动方向的变化的加速度计。气压计717可以包含一或多个连接到
外围设备接口706并被配置成测量移动装置周围的大气压力的装置。
[0087] 相机子系统720和光学传感器722(例如,电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)光学传感器)可以用于促进相机功能,如记录照片和视频剪辑。
[0088] 可以通过一或多个无线通信子系统724来促进通信功能,所述无线通信子系统可以包含射频接收器和发射器和/或光学(例如,红外线)接收器和发射器。通信子系统724的
具体设计和实施方案可以取决于旨在操作于其上的一或多个通信网络。例如,移动装置可
TM TM TM
以包含被设计成在GSM网络、GPRS网络、EDGE网络、Wi‑Fi 或WiMax 网络和Bluetooth 网络
上操作的通信子系统724。具体地,无线通信子系统724可以包含主机协议(hosting 
protocol),使得移动装置可以被配置为用于其它无线装置的基站。
[0089] 音频子系统726可以耦合到扬声器728和麦克风730,以促进如语音识别、语音复制、数字记录和电话功能等语音使能功能。音频子系统726可以被配置成从用户接收语音命
令。
[0090] I/O子系统740可以包含触摸表面控制器742和/或一或多个其它输入控制器744。触摸表面控制器742可以耦合到触摸表面746或触摸板。触摸表面746和触摸表面控制器742
可以例如使用多种触敏技术(包含但不限于电容、电阻、红外和表面声波技术)中的任何触
敏技术以及用于确定与触摸表面746的一或多个接触点的其他接近传感器阵列或其它元件
检测接触和移动或其断开。触摸表面746可以包含例如触摸屏。
[0091] 一或多个其它输入控制器744可以耦合到其它输入/控制装置748,如一或多个按钮、摇杆式开关、拇指旋轮、红外端口、USB端口和/或如触笔等指针装置。所述一或多个按钮
(未示出)可以包含用于控制扬声器728和/或麦克风730的音量的加/减按钮。
[0092] 在一个实施方案中,按压按钮,持续第一持续时间可以解除触摸屏746的锁定;并且按压按钮,持续比所述第一持续时间更长的第二持续时间可以开启或关闭移动装置的电
源。用户可以能够定制一或多个按钮的功能。触摸表面746还可以例如用于实施虚拟按钮或
软按钮和/或键盘。
[0093] 在一些实施方案中,移动装置可以呈现记录的音频和/或视频文件,如MP3、AAC和MPEG文件。在一些实施方案中,移动装置可以包含MP3播放器的功能。还可以使用其它输入/
输出和控制装置。
[0094] 存储器接口702可以耦合到存储器750。存储器750可以包含高速随机存取存储器和/或非易失性存储器,如一或多个磁盘存储装置、一或多个光存储装置和/或闪存(例如,
NAND、NOR)。存储器750可以存储操作系统752,如iOS、Darwin、RTXC、LINUX、UNIX、OS X、
WINDOWS或如VxWorks等嵌入式操作系统。操作系统752可以包含用于处理基本系统服务和
用于执行硬件相关任务的指令。在一些实施方案中,操作系统752可以包含内核(例如,UNIX
内核)。
[0095] 存储器750还可以存储用于促进与一或多个另外的装置、一或多个计算机和/或一或多个服务器通信的通信指令754。存储器750可以包含用于促进图形用户界面处理的图形
用户界面指令756;用于促进传感器相关的处理和功能的传感器处理指令758;用于促进电
话相关的过程和功能的电话指令760;用于促进电子消息相关的过程和功能的电子信息指
令762;用于促进web浏览相关的过程和功能的web浏览指令764;用于促进媒体处理相关的
过程和功能的媒体处理指令766;用于促进通用GNSS和定位相关的过程和指令的GNSS/定位
指令768;用于促进相机相关的过程和功能的相机指令770;用于促进磁力计校准的磁力计
数据772和校准指令774。存储器750还可以存储其它软件指令(未示出),如安全指令、促进
网络视频相关的过程和功能的网络视频指令和/或促进网络购物相关的过程和功能的网络
购物指令。在一些实施方案中,媒体处理指令766被分为音频处理指令和视频处理指令,以
分别促进音频处理相关的过程和功能与视频处理相关的过程和功能。还可以将激活记录和
国际移动设备身份码(IMEI)或类似的硬件标识符存储在存储器750中。存储器750可以存储
音频处理指令776,当所述音频处理指令由处理器704执行时,可以使处理器704执行包含例
如图1的音频处理装置102或图4的服务器402的操作的各种操作。
[0096] 上述标识的指令和应用中的每个指令和应用均可以对应于用于执行上述所描述的一或多个功能的一组指令。这些指令不需实施为单独的软件程序、过程或模块。存储器
750可以包含附加指令或更少的指令。此外,可以以硬件和/或软件实施移动装置的各种功
能,包含在一或多个信号处理和/或专用集成电路中实施。
[0097] 图8是图1到6中的用于装置的示例网络操作环境800的框图。装置802a和802b可以例如在数据通信中通过一或多个有线和/或无线网络810通信。无线网络812,例如蜂窝网
络,可以通过使用网关816与如因特网等广域网(WAN)814进行通信。同样,如802.11g无线接
入点等接入装置818可以提供对广域网814的通信接入。装置802a和802b中的每个装置可以
是图1的音频处理装置102或音频处理装置108,或图4的服务器402。
[0098] 在一些实施方案中,可以通过无线网络812和接入装置818建立语音和数据通信。例如,装置802a可以通过无线网络812、网关816和广域网814(例如,使用传输控制协议/互
联网协议(TCP/IP)或用户数据报协议(UDP))来拨打和接听电话呼叫(例如,使用互联网协
议语音(VoIP)协议)、发送和接收电子邮件消息(例如,使用邮局协议3(POP3)),以及检索如
网页、照片、视频等电子文档和/或流。同样,在一些实施方案中,装置802b可以通过接入装
置818和广域网814来拨打和接听电话呼叫、发送和接收电子邮件以及检索电子文档。在一
些实施方案中,装置802a或802b可以使用一或多个电缆物理连接到接入装置818,并且接入
装置818可以是个人计算机。在此配置中,装置802a或802b可以被称为“系连”装置。
[0099] 装置802a和802b还可以通过其它方式建立通信。例如,无线装置802a可以通过无线网络812与其它无线装置(例如,其它移动装置、蜂窝电话等)通信。同样,装置802a和802b
TM
可以通过使用例如Bluetooth 通信装置等一或多个通信子系统来建立对等通信820,例如
个人局域网。还可以实施其它通信协议和拓扑结构。
[0100] 装置802a或802b可以例如通过一或多个有线和/或无线网络与一或多个服务830、840和850通信。例如,一或多个音频和视频处理服务830可以提供包含如上所述的自动增益
调整和混音的音频处理的服务。混音服务840可以提供允许混音专业人员通过远程控制台
登录以对音频数据执行后期记录混音操作的用户界面。流式传输服务850可以提供允许用
户装置下载或流式传输混合的音频数据的用户界面。
[0101] 装置802a或802b还可以通过一或多个有线和/或无线网络来访问其它数据和内容。例如,装置802a或802b可以访问内容发布者,例如新闻站点、简易信息聚合(RSS)订阅、
网站、博客、社交网站、开发者网络等。可以通过响应于用户触摸例如Web对象,调用web浏览
功能或应用(例如,浏览器)来提供此类访问。
[0102] 示例系统架构
[0103] 图9是实施参考图1到6所描述的特征和操作的示例计算装置的系统架构的框图。计算装置可以是图1的音频处理装置102或图4的服务器402。可能包含具有更多或更少组件
的架构的其它架构。在一些实施方案中,架构900包含一或多个处理器902(例如,双核
处理器)、一或多个输出装置904(例如,LCD)、一或多个网络接口906、一或多个
输入装置908(例如,鼠标、键盘、触敏显示器)和一或多个计算机可读介质912(例如,RAM、
ROM、SDRAM、硬盘、光盘、闪存等)。这些组件可以通过一或多个通信通道910(例如,总线)交
换通信和数据,所述通信通道可以使用各种硬件和软件以促进组件之间的数据和控制信号
的传输。
[0104] 术语“计算机可读介质”是指参与向处理器902提供指令以供执行的介质,包含但不限于非易失性介质(例如,光盘或磁盘)、易失性介质(例如,存储器)和传输介质。传输介
质包含但不限于同轴电缆、铜线和光纤。
[0105] 计算机可读介质912可以进一步包含操作系统914(例如, 操作系统)、网络通信模块916、音频处理管理器920、视频处理管理器930和现场内容分发器940。操作系统
914可以是多用户、多处理、多任务、多线程、实时等。操作系统914执行基本任务,包含但不
限于:识别来自网络接口906和/或装置908的输入并向其提供输出;跟踪和管理计算机可读
介质912(例如,存储器或存储装置)上的文件和目录;控制外围装置;以及管理一或多个通
信通道910上的通信量。网络通信模块916包含用于建立和维护网络连接的各种组件(例如,
用于实施如TCP/IP、HTTP等通信协议的软件)。
[0106] 音频处理管理器920可以包含计算机指令,所述计算机指令当被执行时使处理器902执行如上所述各种音频处理操作,例如参考服务器402。视频处理管理器930可以包含计
算机指令,所述计算机指令当被执行时使处理器902执行视频编辑和调整操作。现场内容分
发器940可以包含计算机指令,所述计算机指令当被执行时使处理器902执行向一或多个用
户装置流式传输经过处理的现场音频数据的操作。
[0107] 可以在并行处理或对等基础结构中或在具有一或多个处理器的单个装置上实施架构900。软件可以包含多个软件组件或可以是单个代码体。
[0108] 所描述的特征可以有利地在可编程系统上执行的一或多个计算机程序中实施,所述可编程系统包含至少一个可编程处理器,所述可编程处理器耦合成从数据存储系统、至
少一个输入装置和至少一个输出装置接收数据和指令以及向其发送数据和指令。计算机程
序是可以是在计算机中直接或间接使用以执行某项活动或带来某种结果的一组指令。计算
机程序可以以包含编译或解释型语言的任何形式的编程语言(例如,Objective‑C、Java)编
写,并且可以以任何形式部署,包含作为独立程序或作为模块、组件、子程序、基于浏览器的
web应用或适合于在计算环境中使用的其它单元。
[0109] 举例来说,用于执行指令程序的合适处理器包含通用微处理器和专用微处理器,以及任何种类的计算机的唯一处理器或多个处理器或核之一。通常,处理器将从只读存储
器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器
以及用于存储指令和数据的一或多个存储器。通常,计算机还将包含一或多个用于存储数
据文件的大容量存储装置或可操作地耦合以与其进行通信;此类装置包含磁盘,如内部硬
盘和可移动磁盘;磁光盘;以及光盘。适用于有形地体现计算机程序指令和数据的存储装置
包含所有形式的非易失性存储器,举例来说,包含如EPROM、EEPROM等半导体存储装置和闪
存装置;磁盘,如内部硬盘和可移动磁盘;磁光盘;以及CD‑ROM和DVD‑ROM磁盘。处理器和存
储器可以由ASIC(专用集成电路)补充或合并在其中。
[0110] 为了提供与用户的交互,可以在具有如CRT(阴极射线管)或LCD(液晶显示器)显示器等显示装置或用于向用户显示信息的视网膜显示装置的计算机上实施所述特征。计算机
可以具有触摸表面输入装置(例如,触摸屏)或键盘以及如鼠标或轨迹球等指示装置,用户
可以通过所述指示装置向计算机提供输入。计算机可以具有用于从用户接收语音命令的语
音输入装置。
[0111] 可以在包含如数据服务器等后端组件、或包含如应用服务器或互联网服务器等中间件组件、或包含如具有图形用户界面或互联网浏览器的客户端计算机等前端组件或其任
何组合的计算机系统上实施所述特征。系统的组件可以通过数字数据通信(如通信网络)的
任何形式或任何介质来连接。通信网络的实例包含例如LAN、WAN以及形成互联网的计算机
和网络。
[0112] 计算系统可以包含客户端和服务器。客户端和服务器通常彼此远离并且典型地通过通信网络交互。由于计算机程序在相应计算机处运行并且彼此具有客户端‑服务器关系,
因而产生客户端和服务器的关系。在一些实施例中,服务器向客户端装置传输数据(例如,
HTML页面)(例如,以便向与客户端装置交互的用户显示数据和从所述用户接收用户输入)。
可以在服务器处从客户端装置接收在客户端装置处生成的数据(例如,用户互动的结果)。
[0113] 一或多个计算机的系统可以被配置成借助于在系统上安装在操作时使或使系统执行特定动作的软件、固件、硬件或其组合来执行所述动作。一或多个计算机程序可以被配
置成借助于包含指令来执行特定动作,所述指令当由数据处理设备执行时使所述设备执行
所述动作。
[0114] 虽然本说明书包含许多具体实现方案细节,但这些细节不应被解释为对任何发明或可能要求的事物的范围的限制,而是被解释为对特定于具体发明的具体实施例的特征的
描述。在本说明书中在单独的实施例的背景下描述的某些特征还可以在单个实施例中组合
地实施。相反,在单个实施例的上下文中描述的各种特征还可以在多个实施例中单独地或
以任何合适的子组合实施。此外,尽管上文可能将特征描述为以某些组合起作用并且甚至
最初是这样要求的,但在某些情况下可以将来自所要求的组合的一或多个特征从所述组合
中去除,并且可以使所要求的组合涉及子组合或子组合的变体。
[0115] 类似地,虽然在附图中以特定顺序描述了操作,但不应将这理解为要求此类操作应按所示的特定顺序或以先后顺序执行,或者应执行所有所展示操作以达到期望的结果。
在某些情况下,多任务处理和并行处理可能是有利的。此外,上述实施例中的各个系统部件
的分离不应被理解成在所有实施例中都要求这种分离,而应理解的是,所描述的程序部件
和系统通常可以一起整合在单个软件产品中或封装到多个软件产品中。
[0116] 因此,已经描述了主题的具体实施例。其它实施例在以下权利要求的范围内。在一些情况下,可以以不同的顺序执行权利要求中描述的动作,并且所述动作仍实现期望的结
果。此外,在附图中描绘的过程不一定需要所示出的特定顺序或者先后顺序来实现期望的
结果。在某些实施方案中,多任务处理和并行处理可能是有利的。
[0117] 已经描述了本发明的多个实施方案。然而,应当理解的是在不脱离本发明的精神和范围的情况下,可以进行各种修改。
[0118] 根据以下枚举型示例实施例(EEE)可以理解本发明的各个方面:
[0119] 一种方法,其包括:
[0120] 由音频处理装置拦截从音频信号路径中的上游装置传输的音频信号;
[0121] 由所述音频处理装置将所述音频信号编码为数字数据;
[0122] 由所述音频处理装置向服务器计算机流式传输所述数字数据;
[0123] 由所述音频处理装置从所述服务器计算机接收关于修改所述音频处理装置的状态的一或多个指令;
[0124] 根据所述一或多个指令修改所述音频处理装置的所述状态;以及
[0125] 向所述音频信号路径中的下游装置提供所述音频信号的表示。
[0126] 1.根据EEE 1所述的方法,其中所述音频信号的所述表示包含所述音频信号的透传。
[0127] 2.根据EEE 1所述的方法,其包括:
[0128] 由所述音频处理装置确定所述指令包含用于调整所述音频信号的方面的指令;以及
[0129] 响应于所述确定而调整所述音频信号的所述方面,其中所述音频信号的所述表示包含经过调整的音频信号。
[0130] 3.根据EEE 3所述的方法,其中所述上游装置包含有线连接到所述音频处理装置的麦克风、计算机或乐器,所述下游装置包含音频记录器或放大器,并且所述音频信号是模
拟信号或数字音频信号。
[0131] 4.根据EEE 4所述的方法,其中所述音频信号的所述方面是信号增益,所述信号增益包含所述音频处理装置的数字编码器的增益或在所述音频信号已经由所述数字编码器
进行编码之后的编码后数字增益中的至少一个。
[0132] 5.根据EEE 1所述的方法,其中:
[0133] 所述音频信号包含数字音频信号,并且
[0134] 将所述音频信号编码为数字数据是使用有损编码方案执行的。
[0135] 6.根据EEE 1所述的方法,其中将所述音频信号编码为数字数据包括对所述音频信号的多个通道执行联合有损编解码器优化。
[0136] 7.根据EEE 1所述的方法,其中所述音频处理装置是多个音频处理装置之一,所述音频处理装置中的每个音频处理装置均在所述服务器计算机处进行注册。
[0137] 8.根据EEE 8所述的方法,其中注册所述音频处理装置通过发现过程进行,并且所述音频处理装置自动进行配置。
[0138] 9.根据EEE 1所述的方法,其包括提供用于在所述音频处理装置上显示的反馈信息,所述反馈信息指示所述音频处理装置被指定为所述服务器计算机处的所选装置。
[0139] 10.根据EEE 1所述的方法,其包括由所述音频处理装置向所述服务器计算机提供装置信息,所述装置信息包含以下中的至少一个:
[0140] 存储器量,所述存储器量指示可用于记录的存储器的量;
[0141] 电池状态;或
[0142] 装置类型元数据,所述装置类型元数据指示所述音频处理装置的属性。
[0143] 11.根据EEE 1所述的方法,其包括:
[0144] 由所述音频处理装置从所述服务器计算机接收经过流式传输的音频信号,所述经过流式传输的音频信号包含所述服务器计算机提供的所述数字数据的表示;以及
[0145] 向监测装置提供所述经过流式传输的音频信号。
[0146] 12.根据EEE 12所述的方法,其中所述经过流式传输的音频信号包含所述数字数据的所述表示和另一音频处理装置提交到所述服务器计算机的数字数据的混合。
[0147] 13.一种方法,其包括:
[0148] 由服务器计算机从插入到信号路径中并被配置成在音频记录会话中记录音频的多个音频处理装置接收经过流式传输的数字音频数据;
[0149] 由所述服务器计算机基于所述经过流式传输的数字音频数据确定对应于所述音频处理装置中的每个音频处理装置的相应增益,以实现所述音频记录会话的音效;
[0150] 对所述音频装置中的每个音频处理装置生成相应指令,每个指令能操作以使对应音频处理装置在记录期间调整到相应增益;以及
[0151] 由所述服务器计算机在所述音频记录会话期间向所述对应音频处理装置提供每个指令以调整相应记录电平。
[0152] 14.根据EEE 14所述的方法,其中每个信号路径包含相应音频处理装置,所述相应音频处理装置将包含麦克风或乐器的上游装置连接到包含记录器或放大器的下游装置。
[0153] 15.根据EEE 14所述的方法,其中确定对应于所述音频处理装置中的每个音频处理装置的所述相应增益包括以下中的至少一个:平衡所述音频处理装置之间的信号电平或
响应于用户输入而加重对应于给定音频处理装置的主表演者。
[0154] 16.根据EEE 14所述的方法,其包括由所述服务器计算机从所述音频处理装置中的音频处理装置接收指示上游装置的一或多个属性的元数据,其中确定所述音频处理装置
的所述相应增益包括确定补偿所述上游装置的所述一或多个属性的增益。
[0155] 17.根据EEE 14所述的方法,其包括:
[0156] 由所述服务器计算机基于与所述经过流式传输的数字音频数据相关联的元数据确定特定音频处理装置的电池电量和所述特定音频处理装置与所述服务器计算机之间的
通信带宽;
[0157] 基于所述电池电量和所述通信带宽确定平衡节省电池和最小化带宽消耗的需求的特定有损压缩方案;
[0158] 对所述特定音频处理装置生成特定指令,所述特定指令指定应在所述特定音频处理装置上使用所述特定有损压缩方案;以及
[0159] 向所述特定音频处理装置提供所述特定指令。
[0160] 18.根据EEE 14所述的方法,其包括:
[0161] 由所述服务器计算机基于来自特定音频处理装置的数字音频数据检测房间声级或反馈电平超过阈值;
[0162] 由所述服务器计算机基于与所述经过流式传输的数字音频数据相关联的元数据确定所述特定音频处理装置的麦克风是多模式麦克风;
[0163] 对所述特定音频处理装置生成特定指令,所述特定指令指定所述多模式麦克风的指向性应在全指向模式、双指向模式和心型指向模式中的两种模式之间改变;以及
[0164] 向所述特定音频处理装置提供所述特定指令。
[0165] 19.根据EEE 14所述的方法,其包括:
[0166] 使用移动装置在所述服务器计算机处注册所述音频处理装置;以及
[0167] 确定所述音频处理装置中的每个音频处理装置的相应标识符。
[0168] 20.根据EEE 20所述的方法,其包括:
[0169] 提供经过注册的音频处理装置的所述标识符的列表以供显示;
[0170] 接收对所述列表中的特定音频处理装置的用户选择;以及
[0171] 向所选音频处理装置提供用于生成光信号或声音信号的指令,所述光信号或声音信号能操作以指示所述用户选择。
[0172] 21.一种系统,其包括:
[0173] 一或多个处理器;以及
[0174] 非暂时性计算机可读介质,所述非暂时性计算机可读介质存储有指令,所述指令当由所述一或多个处理器执行时使所述一或多个处理器执行包括EEE 1到21中任一项的操
作的操作。
[0175] 22.一种非暂时性计算机可读介质,其存储有指令,所述指令当由一或多个处理器执行时使所述一或多个处理器执行包括EEE 1到21中任一项的操作的操作。