本发明公开了基于声学传感器阵列和图像识别的声源处理系统的控制方法，(1)启动声学与图像信号混合终端；(2)采集声源的声音及图像信号，对该声音及图像信号进行处理为数据包，并将数据包发送至传输模块；(3)传输模块将数据包传输至上位机，采用内存映射文件分别创建声学文件与图像文件；(4)分别将声学数据帧和图像数据帧解析为声学数据及图像数据，并存储在创建的声学文件及图像文件中；(5)通过上位机分别显示出声学数据波形图及视频图像。本发明的有益效果是采集的信号处理为数据包传送到上位机中，信号传递统一性好，网线从逻辑上划分多条虚拟通道以分配传输不同的数据，声学数据及图像数据在传输过程中不会相互影响。
1.一种基于声学传感器阵列和图像识别的声源处理系统的控制方法，其特征在于：所述声源处理系统包括：声学与图像信号混合终端，用于感应采集声源的声音及图像信号并处理为等长的声学数据帧和图像数据帧组成的数据包；
上位机，用于接收所述数据包，将该数据包中的声学数据帧和图像数据帧处理为声学数据和图像数据，得到声学数据波形图及视频图像；
声学传感器阵列，用于感应采集声源的声音信号，声学传感器阵列上设有8个支路，且在每个支路上设有8个声学传感器单元，8个声学传感器单元包括4个主通道传感器和4个附属通道传感器，每个主通道传感器与其相对应的附属通道传感器通过平行双绞线连接，共计在声学传感器阵列上设有32个主通道传感器和32个附属通道传感器，并且声学传感器单元在曲面或平面上呈螺旋渐开型圆阵分布；
数字声信号处理模块，用于接收所述声音信号进行处理并转换为数字信号；
图像传感器，位于所述声学传感器阵列的中心，用于拍摄所述声源的光学图像；
主控单元，用于接收所述数字信号和光学图像，根据所述数字信号和光学图像处理得到声学数据帧和图像数据帧合并为数据包后，并将该数据包发送至传输模块，其中，所述主控单元中包括：晶体振荡器，用于发出振荡信号；
位时钟锁相环，用于将振荡信号转换为位时钟信号发送至位时钟分配单元中；
字节锁相环，用于将振荡信号转换为字节时钟信号，并发送至字节时钟分配单元中；
位时钟分配单元，用于接收位时钟信号并分配出与转换器相对应的位时钟输出信号；
字节时钟分配单元，用于接收位时钟信号并分配出与转换器相对应的字节时钟输出信号；
转换器，用于接收位时钟输出信号及字节时钟输出信号分别转换发送至声学传感器单元中所述控制方法包括以下步骤：
(1)搭建安装好声学与图像信号混合终端，线路连接完毕后，启动声学与图像信号混合终端，检查是否该声学与图像信号混合终端运行正常；
(2)启动声学与图像信号混合终端开始工作，采集声源的声音及图像信号后，对该声音及图像信号进行处理为等长的声学数据帧和图像数据帧组成的数据包，并将所述数据包发送至传输模块；
(2-1)主控单元的晶体振荡器分别通过位时钟锁相环与字节时钟锁相环转换为位时钟信号及字节时钟信号，并将信号发送至位时钟分配单元及字节时钟分配单元中；
(2-2)位时钟分配单元通过8个时钟分配器分配出32个位时钟输出信号，并将该位时钟输出信号发送至转换器中，同时字节时钟分配单元通过8个时钟分配器分配出32个字节时钟信号输出信号，并将该字节时钟输出信号发送至与其逐一对应的32个转换器中；
(2-3)转换器接收到位时钟输出信号与字节时钟信号输出信号后，将所述32个位时钟输出信号及32个字节时钟输出信号转换后发送至与其逐一对应的32个主通道传感器中，每个主通道传感器传输将位时钟输出信号与字节时钟信号输出信号至与其相对应的附属通道传感器中，从而完成声学传感器单元的位时钟信号及字节时钟信号的同步；
(2-4)在位时钟信号与字节时钟信号同步完成后，触发声学传感器单元工作，采集声源的声音信号，并将该声音信号发送至数字声信号处理模块；
(2-5)所述数字声信号处理模块对所述声音信号进行处理转换为数字信号，并将该数字信号发送至主控单元，经过主控单元的处理将数字信号处理为等长的声学数据帧和图像数据帧组成的数据包，将该数据包发送至传输模块；
(3)所述传输模块将所述数据包传输至上位机，所述上位机分别接收所述数据包的声学数据帧和图像数据帧，采用内存映射的方式分别创建声学文件与图像文件，使用内存操作操纵文件；
(4)在创建所述声学文件与图像文件后，分别将所述声学数据帧和图像数据帧解析为声学数据及图像数据，并将该声学数据及图像数据分别存储在所述创建的声学文件及图像文件中；
(4-1)预先设定一个指针指向已创建的所述声学文件或图像文件；
(4-2)将接收到的所述声学数据帧和图像数据帧解析为声学数据及图像数据，并将该声学数据及图像数据存储至所述指针指向的声学文件或图像文件中；
(4-3)当所述声学文件或图像文件存储满后，关闭该声学文件或图像文件，并将指针指向新的文件；
(4-4)重复步骤(4-1)-(4-3)，直至声学数据和图像数据停止传输，释放指针，并关闭所述指针指向的文件；
(5)根据所述声学与图像信号混合终端的支路号及通道号采集处理得到的声学数据及图像数据，通过所述上位机分别显示出声学数据波形图及视频图像；
(6)在所述上位机上同时显示声学数据波形图及视频图像以便于进行同步性的比较，从而完成声源数据的提取与分析。
2.根据权利要求1所述的控制方法，其特征在于：所述步骤(4)中交替存储所述声学数据及图像数据。
3.根据权利要求2所述的控制方法，其特征在于：所述传输模块采用以太网传输所述等长的声学数据帧和图像数据帧组成的数据包至上位机。
4.根据权利要求3所述的控制方法，其特征在于：所述声学数据及图像数据存储构成多幅图片并通过显示单元连续显示，呈现为动态视频。
5.根据权利要求4所述的控制方法，其特征在于：所述声学传感器单元包括主通道传感器和附属通道传感器，所述主通道传感器与其相对应的附属通道传感器通过双绞线电连接。
6.根据权利要求5所述的控制方法，其特征在于：所述声源处理系统还包括用于为声学与图像信号混合终端供电的供电单元，所述供电单元包括：电源模块，用于为所述声学与图像信号混合终端；
备用电源模块，用于在所述电源模块断电情况下为所述声学与图像信号混合终端；
控制开关，用于控制所述声学与图像信号混合终端的开闭。
7.根据权利要求6所述的控制方法，其特征在于：所述主控单元采用FPGA芯片。
一种基于声学传感器阵列和图像识别的声源处理系统的控制
方法
技术领域
[0001] 本发明属于声源定位分析技术领域，尤其是涉及一种基于声学传感器阵列和图像识别的声源处理系统的控制方法。
背景技术
[0002] 近年来，网络科技越来越发达，网络科技应用在商业洽谈、公共场所监控。网络互动平台等多个领域。目前，在声音与图像综合采集技术中，在同一空间内，通过声学传感器阵列采集空间中的声音信号，当声源距离声学传感器阵列较远时，对声源采集的声音信号清晰度低，直接影响后期对有效声音的获取与分析，当声源周围环境变化较大时，不能随着环境的变化而调整，导致无法准确获取清晰无误的有效声音信号，在对声源的监测和管理中，对于声源的有效声音获取及定位是亟需解决的重要课题和难题。
发明内容
[0003] 本发明的目的是提供一种结构简单、采集声源清晰度高、可对特定声音提取与分析、及时留存声源信息的基于声学传感器阵列和图像识别的声源处理系统的控制方法。
[0004] 本发明的技术方案如下：
[0005] 一种基于声学传感器阵列和图像识别的声源处理系统的控制方法，所述声源处理系统包括：
[0006] 声学与图像信号混合终端，用于感应采集声源的声音及图像信号并处理为等长的声学数据帧和图像数据帧组成的数据包；
[0007] 传输模块，用于传送所述数据包；
[0008] 上位机，用于接收所述数据包，将该数据包中的声学数据帧和图像数据帧处理为声学数据和图像数据，得到声学数据波形图及视频图像；
[0009] 所述控制方法包括以下步骤：
[0010] (1)搭建安装好声学与图像信号混合终端，线路连接完毕后，启动声学与图像信号混合终端，检查是否该声学与图像信号混合终端运行正常；
[0011] (2)启动声学与图像信号混合终端开始工作，采集声源的声音及图像信号后，对该声音及图像信号进行处理为等长的声学数据帧和图像数据帧组成的数据包，并将所述数据包发送至传输模块；
[0012] (3)所述传输模块将所述数据包传输至上位机，所述上位机分别接收所述数据包的声学数据帧和图像数据帧，采用内存映射文件分别创建声学文件与图像文件，使用内存操作操纵文件；
[0013] (4)在创建所述声学文件与图像文件后，分别将所述声学数据帧和图像数据帧解析为声学数据及图像数据，并将该声学数据及图像数据分别存储在所述创建的声学文件及图像文件中；
[0014] (5)根据所述声学与图像信号混合终端的支路号及通道号采集处理得到的声学数据及图像数据，通过所述上位机分别显示出声学数据波形图及视频图像；
[0015] (6)在所述上位机上同时显示声学数据波形图及视频图像以便于进行同步性的比较，从而完成声源数据的提取与分析。
[0016] 在上述技术方案中，所述步骤(4)包括以下步骤：
[0017] (4-1)预先设定一个指针指向已创建的所述声学文件或图像文件；
[0018] (4-2)将接收到的所述声学数据帧和图像数据帧解析为声学数据及图像数据，并将该声学数据及图像数据存储至所述指针指向的声学文件或图像文件中；
[0019] (4-3)当所述声学文件或图像文件存储满后，关闭该声学文件或图像文件，并将指针指向新的文件；
[0020] (4-4)重复步骤(4-1)-(4-3)，直至声学数据和图像数据停止传输，释放指针，并关闭所述指针指向的文件。
[0021] 在上述技术方案中，所述步骤(4)中交替存储所述声学数据及图像数据。
[0022] 在上述技术方案中，所述传输模块采用以太网传输所述等长的声学数据帧和图像数据帧组成的数据包至上位机。
[0023] 在上述技术方案中，所述声学数据及图像数据存储构成多幅图片并通过显示单元连续显示，呈现为动态视频。
[0024] 在上述技术方案中，所述声学传感器单元包括主通道传感器和附属通道传感器，所述主通道传感器与其相对应的附属通道传感器通过双绞线电连接。
[0025] 在上述技术方案中，所述声源处理系统还包括用于为声学与图像信号混合终端供电的供电单元，所述供电单元包括：
[0026] 电源模块，用于为所述声学与图像信号混合终端；
[0027] 备用电源模块，用于在所述电源模块断电情况下为所述声学与图像信号混合终端；
[0028] 控制开关，用于控制所述声学与图像信号混合终端的开闭。
[0029] 在上述技术方案中，所述主控单元采用FPGA芯片。
[0030] 本发明具有的优点和积极效果是：
[0031] 1.声学和图像信号混合终端将采集到声音信号及图像信号处理为等长的数据包通过传输模块传送到上位机中，便于声音及图像信号传输的整体性好，提高了数据传输的统一性。
[0032] 2.声学数据及图像数据采用同一条以太网线传输至上位机，网线从逻辑上划分多条虚拟通道以分配传输不同的数据，简化了数据传输过程，且声学数据及图像数据在传输过程中不会相互影响。
[0033] 3.采用双优先级方式保证声学数据帧优先传输，避免声学数据帧与图像数据帧产生冲突，提高采集声源的清晰度高，便于后期对特定声音的提取和分析。
附图说明
[0034] 图1是本发明的基于声学传感器阵列和图像识别的声源处理系统的结构示意图；
[0035] 图2是本发明中主控单元的上传流程图；
[0036] 图3是本发明中声源处理系统的运行流程图；
[0037] 图4是本发明中实施例1的乒乓结构的内存映射流程图；
[0038] 图5是本发明中实施例1的声学数据波形图的显示界面；
[0039] 图6是本发明中实施例1的视频图像的显示界面。
具体实施方式
[0040] 以下结合具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明，决不限制本发明的保护范围。
[0041] 实施例1
[0042] 如图1所示，本发明的基于声学传感器阵列和图像识别的声源处理系统的控制方法，其中声源处理系统包括：
[0043] 声学与图像信号混合终端，用于感应采集声源的声音及图像信号并处理为等长的声学数据帧和图像数据帧组成的数据包；
[0044] 传输模块，用于传送数据包；
[0045] 上位机，用于接收数据包，将该数据包中的声学数据帧和图像数据帧处理为声学数据和图像数据，得到声学数据波形图及视频图像；
[0046] 上述声学与图像信号混合终端包括：
[0047] 声学传感器阵列，用于感应采集声源的声音信号，声学传感器阵列上设有8个支路，且在每个支路上设有8个声学传感器单元，8个声学传感器单元包括4个主通道传感器和4个附属通道传感器，每个主通道传感器与其相对应的附属通道传感器通过平行双绞线连接，共计在声学传感器阵列上设有32个主通道传感器和32个附属通道传感器，并且声学传感器单元在曲面或平面上呈螺旋渐开型圆阵分布；
[0048] 数字声信号处理模块，用于接收声音信号进行处理并转换为数字信号；
[0049] 图像传感器，位于声学传感器阵列的中心，用于拍摄声源的光学图像；
[0050] 主控单元(FPGA芯片)，用于接收数字信号和光学图像，根据数字信号和光学图像处理得到声学数据帧和图像数据帧合并为数据包后，并将该数据包发送至传输模块。
[0051] 进一步地说，上述主控单元中包括：
[0052] 晶体振荡器，用于发出振荡信号；
[0053] 位时钟锁相环，用于将振荡信号转换为位时钟信号发送至位时钟分配单元中；
[0054] 字节锁相环，用于将振荡信号转换为字节时钟信号，并发送至字节时钟分配单元中；
[0055] 位时钟分配单元，用于接收位时钟信号并分配出与转换器相对应的位时钟输出信号；
[0056] 字节时钟分配单元，用于接收位时钟信号并分配出与转换器相对应的字节时钟输出信号；
[0057] 转换器，用于接收位时钟输出信号及字节时钟输出信号分别转换发送至声学传感器单元中。
[0058] 一种基于声学传感器阵列和图像识别的声源处理系统的控制方法，包括以下步骤：
[0059] (1)搭建安装好声学与图像信号混合终端，线路连接完毕后，启动声学与图像信号混合终端，检查是否该声学与图像信号混合终端运行正常；
[0060] (2)启动声学与图像信号混合终端开始工作，其中采集声源的声音及图像信号后，对该声音及图像信号进行处理为等长的声学数据帧和图像数据帧组成的数据包，并将数据包发送至传输模块；
[0061] (2-1)主控单元的晶体振荡器分别通过位时钟锁相环与字节时钟锁相环转换为位时钟信号及字节时钟信号，并将信号发送至位时钟分配单元及字节时钟分配单元中；
[0062] (2-2)位时钟分配单元通过8个时钟分配器分配出32个位时钟输出信号，并将该位时钟输出信号发送至转换器中，同时字节时钟分配单元通过8个时钟分配器分配出32个字节时钟信号输出信号，并将该字节时钟输出信号发送至与其逐一对应的32个转换器中；
[0063] (2-3)转换器接收到位时钟输出信号与字节时钟信号输出信号后，将所述32个位时钟输出信号及32个字节时钟输出信号转换后发送至与其逐一对应的32个主通道传感器中，每个主通道传感器传输将位时钟输出信号与字节时钟信号输出信号至与其相对应的附属通道传感器中，从而完成声学传感器单元的位时钟信号及字节时钟信号的同步；
[0064] (2-4)在位时钟信号与字节时钟信号同步完成后，触发声学传感器单元工作，采集声源的声音信号，并将该声音信号发送至数字声信号处理模块；
[0065] (2-5)所述数字声信号处理模块对所述声音信号进行处理转换为数字信号，并将该数字信号发送至主控单元，经过主控单元的处理将数字信号处理为等长的声学数据帧和图像数据帧组成的数据包，将该数据包发送至传输模块；
[0066] (3)传输模块将数据包传输至上位机，上位机分别接收数据包的声学数据帧和图像数据帧，采用内存映射文件分别创建声学文件与图像文件，使用内存操作操纵文件；
[0067] (4)在创建声学文件与图像文件后，分别将声学数据帧和图像数据帧解析为声学数据及图像数据，并将该声学数据及图像数据分别存储在创建的声学文件及图像文件中；
[0068] (5)根据声学与图像信号混合终端的支路号及通道号采集处理得到的声学数据及图像数据，通过上位机分别显示出声学数据波形图及视频图像；
[0069] (6)在上位机上同时显示声学数据波形图及视频图像以便于进行同步性的比较，从而完成声源数据的提取与分析。
[0070] 在上述技术方案中，步骤(4)包括以下步骤：
[0071] (4-1)预先设定一个指针指向已创建的声学文件或图像文件；
[0072] (4-2)将接收到的声学数据帧和图像数据帧解析为声学数据及图像数据，并将该声学数据及图像数据存储至指针指向的声学文件或图像文件中；
[0073] (4-3)当声学文件或图像文件存储满后，关闭该声学文件或图像文件，并将指针指向新的文件；
[0074] (4-4)重复步骤(4-1)-(4-3)，直至声学数据和图像数据停止传输，释放指针，并关闭指针指向的文件。
[0075] 如图3所示，上位机(计算机)嵌入声学波形显示软件以用来处理显示出声学数据波形图及视频图像，程序运行如下：
[0076] (1)启动程序，进行程序初始化，单击开始后，软件开始运行；
[0077] (2)在计算机中采用内存映射文件分别创建声学文件与图像文件，将接收到声学数据帧和图像数据帧分别存储至对应的创建好的声学文件与图像文件中；
[0078] (3)在计算机中将声学数据帧与图像数据帧解析为声学数据和图像数据并进行存储；
[0079] (4)根据存储的声学数据，选择显示声学数据波形，根据用户选择的声学传感器阵列上对应的通道号与支路号显示出相应的声学数据波形图，在软件运行界面上呈现出声学数据波形图；
[0080] (5)根据存储的图像数据，每保存两幅图片显示一幅图像，在软件运行界面上最终呈现动态视频；
[0081] (6)在软件运行界面上同时显示出声学数据波形图与动态视频后，完成软件的运行。
[0082] 如图4所示，上述步骤(4)中上位机为了实现声学传感器阵列持续产生的大数据量实时存储与状态显示，交替存储声学数据及图像数据，采用了乒乓结构的内存映射文件。
[0083] 进一步地说，内存映射是在Windows操作系统中使用的一种文件快速读写方法，它通过在内存中建立映射文件和映射视图的方法，将应用程序对磁盘等外部存储空间里进行的文件读写操作，放到内存统一的管理模式内，通过内存指针进行操作，工作过程等同于对在内存加载的磁盘文件进行操作的方式。Windows系统中，可以通过内存映射将磁盘上的数据文件直接映射到进程的地址空间。在进程能够从自己的地址空间中访问内存映射文件的数据之前，Windows要求进程先在地址空间中为映射视图预定一块区域，并保证只有该进程能够看到这个视图。视图每次仅映射到磁盘文件的一部分数据，每次视图存储完毕后，就重新建立一个新的视图，起始地址为上一个视图的结束地址。
[0084] 其中，内存映射的具体流程为：启动上位机，上位机开始运行，在上位机新建磁盘文件以及内存映射文件1和内存映射文件2，之后不断接收从主控单元传送过来的声学数据或图像数据，并实时存储至内存映射1，若内存映射1已满，则转入内存映射2继续存储，以此类推。
[0085] 进一步地说，传输模块采用以太网传输等长的声学数据帧和图像数据帧组成的数据包至上位机。
[0086] 进一步地说，声学数据及图像数据存储构成多幅图片并通过显示单元连续显示，呈现为动态视频。
[0087] 进一步地说，等长的声学数据帧与图像数据帧是通过一根以太网线进行传输的，网线内部从逻辑上划分出多条虚拟通道，并且在多条虚拟通道中设定单独的用于传输声学数据帧和图像数据帧的通道，其中设置传输图像数据帧的通道为8080，传输声学数据帧的通道为8081，声学与图像信号混合终端中的主控单元通过8081端口和8080端口将声学数据帧及图像数据帧发送至上位机，并且上位机在接收声学数据帧及图像数据帧时根据相对应的通道来区分。
[0088] 进一步地说，如图5、图6所示，在同一软件运行界面上能够显示两个通道的信号波形，便于用户对不同通道中信号的同步性进行观测；显示声学数据波形图每次显示48000个数据，并且1秒刷新一次；存储的图像数据为jpg.格式的图片，在软件运行界面上连续显示，呈现为动态视频的形式。
[0089] 实施例2
[0090] 在实施例1的基础上，步骤(4)中的实时存储可采用双层乒乓结构的内存映射文件，(双层乒乓结构的内存映射文件详见陈劲.水听器线列阵的数据采集与传输关键技术研究[D].天津：天津大学，2013.)从而完成实时存储声学传感器阵列采集的数据。
[0091] 实施例3
[0092] 如图2所示，主控单元采用双优先级的方式传输声学数据帧和图像数据帧。
[0093] 在声学数据帧和图像数据帧之间传输没有冲突时，按照时序依次进行传送；当声学数据帧和图像数据帧传输产生冲突时，设定优先输送声学数据帧。
[0094] 实施例4
[0095] 在实施例1的基础上，供电单元包括：
[0096] 电源模块，用于为声学与图像信号混合终端；
[0097] 备用电源模块，用于在电源模块断电情况下为声学与图像信号混合终端；
[0098] 控制开关，用于控制声学与图像信号混合终端的开闭。
[0099] 电源模块中包括了电压转换模块，能够将外接的交流电转换为与主控单元相配合的电压，以使主控单元的正常使用；备用电源模块中包括锂电电池，当电源模块断电或出现意外情况下，能够持续为声学与图像信号混合终端供电，使得声源处理系统能够持续进行正常工作。
[0100] 实施例5
[0101] 本发明的声源处理系统在预警监控中的应用，当监控商场、医院、娱乐广场等公共场所中，通过声学传感器阵列和图像传感器从远距离实时采集公共场所中的声音及画面，将采集到的声音及画面远程传输至上位机中，根据实际情况对声音信号进行选频，对特定的声音进行提取，并根据特定声音进行分析，在发现声音有异常时，可提前预警，降低公共场所出现危险或恐怖活动发生的可能性。
[0102] 实施例6
[0103] 本发明的声源处理系统在虚拟远程会议中的应用，声学与图像信号混合终端安装在会议场所的前方，通过声学与图像信号混合终端采集会议中发生的信号及画面，系统会提取会议中发声的全部声音信息并远程传输至上位机中，对于指定的人员发出的声音进行单独提取，并进行声音放大，便于远程参会的双方的交流沟通。
[0104] 实施例7
[0105] 本发明的声源处理系统在远程教学平台中，包括了教师用户端和学生用户端，声学与图像信号混合终端采集同一空间内的教师的声音及图像信号，并将该声音及图像信号传输至上位机中，对于特定的教师声源进行特征分析，并将该教师声源强化后传送反馈回学生用户端中，有效提高声音的传送，便于师生间的互动，提高教学效率。
[0106] 以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的等同变化与改进等，均应仍归属于本发明的专利涵盖范围之内。
