基于声纹伪造检测的数据安全防护方法及装置

摘要

本发明涉及一种基于声纹伪造检测的数据安全防护方法及装置，在获取社交元宇宙中用户的待验证的音频信号后，基于预先训练好的机器学习模型，获取音频信号对应的音频置信度。最后对音频置信度，建立数据验证权限。数据验证权限用于验证音频信号对应的用户权限。通过音频置信度表征的声纹伪造检测，进行数据验证权限建立，以用户权限的形式进行数据安全防护。基于此，通过声纹伪造检测可以有效检测出伪造的声纹信息，有效避免社交元宇宙中对于用户隐私数据的诈骗行为，提高元宇宙中的数据安全。

权利要求

1.一种基于声纹伪造检测的数据安全防护方法，其特征在于，包括步骤：获取社交元宇宙中用户的待验证的音频信号；

基于预先训练好的机器学习模型，获取所述音频信号对应的音频置信度；

对所述音频置信度，建立数据验证权限；其中，所述数据验证权限用于验证所述音频信号对应的用户权限；

所述对所述音频置信度，建立数据验证权限的过程，包括步骤：将所述音频置信度传入信任评估模型和算法，通过信任评估模型和算法，实现基于身份的持续信任评估；在执行信任评估时，参照风险因素，在风险可控的情况下弹性改变终端的访问权限；其中，风险因素包括接入终端的连接信息、设备状态、设备信息、用户信息、当前访问行为、检测到的威胁；

在所述信任评估处理获得通过后，进行强身份认证，以建立访问权限；

若通过强身份认证，则与社交元宇宙建立加密的连接并接受持续信任评估。

2.根据权利要求1所述的基于声纹伪造检测的数据安全防护方法，其特征在于，在所述基于机器学习模型，获取所述音频信号对应的音频置信度的过程之前，还包括步骤：提取所述音频信号的音频特征；其中，所述音频特征用于输入所述机器学习模型。

3.根据权利要求2所述的基于声纹伪造检测的数据安全防护方法，其特征在于，所述提取所述音频信号的音频特征的过程，包括步骤：将所述音频信号转换为MFCC语音特征，作为所述音频特征。

4.根据权利要求1所述的基于声纹伪造检测的数据安全防护方法，其特征在于，所述机器学习模型包括卷积神经网络架构。

5.根据权利要求4所述的基于声纹伪造检测的数据安全防护方法，其特征在于，所述卷积神经网络架构包括卷积池化层、空间金字塔池化层和全连接层；

其中，所述音频信号依次经过所述卷积池化层、空间金字塔池化层和全连接层处理，获得所述音频置信度。

6.根据权利要求1所述的基于声纹伪造检测的数据安全防护方法，其特征在于，还包括步骤：将所述数据验证权限上传至区块链。

7.一种基于声纹伪造检测的数据安全防护装置，其特征在于，包括：信号获取模块，用于获取社交元宇宙中用户的待验证的音频信号；

信号转换模块，用于基于预先训练好的机器学习模型，获取所述音频信号对应的音频置信度；

权限建立模块，用于对所述音频置信度，建立数据验证权限；其中，所述数据验证权限用于验证所述音频信号对应的用户权限；

所述对所述音频置信度，建立数据验证权限的过程，包括步骤：将所述音频置信度传入信任评估模型和算法，通过信任评估模型和算法，实现基于身份的持续信任评估；在执行信任评估时，参照风险因素，在风险可控的情况下弹性改变终端的访问权限；其中，风险因素包括接入终端的连接信息、设备状态、设备信息、用户信息、当前访问行为、检测到的威胁；

在所述信任评估处理获得通过后，进行强身份认证，以建立访问权限；

若通过强身份认证，则与社交元宇宙建立加密的连接并接受持续信任评估。

8.一种计算机存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现如权利要求1至6任意一项所述的基于声纹伪造检测的数据安全防护方法。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行程序时实现如权利要求1至6任意一项所述的基于声纹伪造检测的数据安全防护方法。

说明书

基于声纹伪造检测的数据安全防护方法及装置

技术领域

[0001] 本发明涉及数据安全技术领域，特别是涉及一种基于声纹伪造检测的数据安全防护方法及装置。

背景技术

[0002] 元宇宙是在扩展现实(XR)、区块链、云计算、数字孪生等新技术下的概念具化，有着众多的要素。元宇宙是整合多种新技术而产生的新型虚实相融的互联网应用和社会形态，其基于扩展现实技术提供沉浸式体验，以及数字孪生技术生成现实世界的镜像，通过区块链技术搭建经济体系，将虚拟世界与现实世界在经济系统、社交系统、身份系统上密切融合，并且允许每个用户进行内容生产和编辑。而作为“元宇宙”的分支概念，“社交元宇宙”也在一定程度上具备关键构成要素——指一个与现实平行、实时在线的虚拟世界所构成的社交场景。

[0003] 随着社交元宇宙相关技术的不断发展，可以预见到更多的问题也在接踵而来——首当其冲的便是数据和用户的个人隐私保护问题。为了让用户在元宇宙中能有更好的、更加沉浸式的体验，必然会大量收集个人信息以用于分析，这些信息一旦泄露或被滥用，将极有可能暴露用户在现实世界中的身份和生活，造成各种不良后果。目前元宇宙数据安全保护的方式是采用基于区块链的分布式存储技术，使去中心化程度提高，使数据掌控权回到用户手中。但是，这种不能避免平台的身份认证过程中伪造用户身份或者恶意用户攻击等可能泄露信息的行为。

发明内容

[0004] 基于此，有必要针对传统的数据安全保护方式不能避免平台的身份认证过程中，伪造用户身份或者恶意用户攻击等可能泄露信息的行为，提供一种基于声纹伪造检测的数据安全防护方法及装置。

[0005] 一种基于声纹伪造检测的数据安全防护方法，包括步骤：

[0006] 获取社交元宇宙中用户的待验证的音频信号；

[0007] 基于预先训练好的机器学习模型，获取音频信号对应的音频置信度；

[0008] 对音频置信度，建立数据验证权限；其中，数据验证权限用于验证音频信号对应的用户权限。

[0009] 上述的基于声纹伪造检测的数据安全防护方法，在获取社交元宇宙中用户的待验证的音频信号后，基于预先训练好的机器学习模型，获取音频信号对应的音频置信度。最后对音频置信度，建立数据验证权限。数据验证权限用于验证音频信号对应的用户权限。通过音频置信度表征的声纹伪造检测，进行数据验证权限建立，以用户权限的形式进行数据安全防护。基于此，通过声纹伪造检测可以有效检测出伪造的声纹信息，有效避免社交元宇宙中对于用户隐私数据的诈骗行为，提高元宇宙中的数据安全。

[0010] 在其中一个实施例中，在基于机器学习模型，获取音频信号对应的音频置信度的过程之前，还包括步骤：

[0011] 提取音频信号的音频特征；其中，音频特征用于输入机器学习模型。

[0012] 在其中一个实施例中，提取音频信号的音频特征的过程，包括步骤：

[0013] 将音频信号转换为MFCC语音特征，作为音频特征。

[0014] 在其中一个实施例中，机器学习模型包括卷积神经网络架构。

[0015] 在其中一个实施例中，卷积神经网络架构包括卷积池化层、空间金字塔池化层和全连接层；

[0016] 其中，音频信号依次经过卷积池化层、空间金字塔池化层和全连接层处理，获得音频置信度。

[0017] 在其中一个实施例中，对音频置信度，建立数据验证权限的过程，包括步骤：

[0018] 将所述音频置信度传入信任评估模型和算法，通过信任评估模型和算法，实现基于身份的持续信任评估；在执行信任评估时，参照接入终端的连接信息、设备状态、设备信息、用户信息、当前访问行为、检测到的威胁等风险因素，在风险可控的情况下弹性改变终端的访问权限；；

[0019] 在所述信任评估处理获得通过后，进行强身份认证，以建立访问权限。

[0020] 在其中一个实施例中，还包括步骤：

[0021] 将数据验证权限上传至区块链。

[0022] 一种基于声纹伪造检测的数据安全防护装置，包括：

[0023] 信号获取模块，用于获取社交元宇宙中用户的待验证的音频信号；

[0024] 信号转换模块，用于基于预先训练好的机器学习模型，获取音频信号对应的音频置信度；

[0025] 权限建立模块，用于对音频置信度，建立数据验证权限；其中，数据验证权限用于验证音频信号对应的用户权限。

[0026] 上述的基于声纹伪造检测的数据安全防护装置，在获取社交元宇宙中用户的待验证的音频信号后，基于预先训练好的机器学习模型，获取音频信号对应的音频置信度。最后对音频置信度，建立数据验证权限。数据验证权限用于验证音频信号对应的用户权限。通过音频置信度表征的声纹伪造检测，进行数据验证权限建立，以用户权限的形式进行数据安全防护。基于此，通过声纹伪造检测可以有效检测出伪造的声纹信息，有效避免社交元宇宙中对于用户隐私数据的诈骗行为，提高元宇宙中的数据安全。

[0027] 一种计算机存储介质，其上存储有计算机指令，计算机指令被处理器执行时实现上述任一实施例的基于声纹伪造检测的数据安全防护方法。

[0028] 上述的计算机存储介质，在获取社交元宇宙中用户的待验证的音频信号后，基于预先训练好的机器学习模型，获取音频信号对应的音频置信度。最后对音频置信度，建立数据验证权限。数据验证权限用于验证音频信号对应的用户权限。通过音频置信度表征的声纹伪造检测，进行数据验证权限建立，以用户权限的形式进行数据安全防护。基于此，通过声纹伪造检测可以有效检测出伪造的声纹信息，有效避免社交元宇宙中对于用户隐私数据的诈骗行为，提高元宇宙中的数据安全。

[0029] 一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述任一实施例的基于声纹伪造检测的数据安全防护方法。

[0030] 上述的计算机设备，在获取社交元宇宙中用户的待验证的音频信号后，基于预先训练好的机器学习模型，获取音频信号对应的音频置信度。最后对音频置信度，建立数据验证权限。数据验证权限用于验证音频信号对应的用户权限。通过音频置信度表征的声纹伪造检测，进行数据验证权限建立，以用户权限的形式进行数据安全防护。基于此，通过声纹伪造检测可以有效检测出伪造的声纹信息，有效避免社交元宇宙中对于用户隐私数据的诈骗行为，提高元宇宙中的数据安全。

附图说明

[0031] 图1为一实施方式的基于声纹伪造检测的数据安全防护方法流程图；

[0032] 图2为卷积神经网络架构处理示意图；

[0033] 图3为另一实施方式的基于声纹伪造检测的数据安全防护方法流程图；

[0034] 图4为数据验证流程图；

[0035] 图5为一实施方式的基于声纹伪造检测的数据安全防护装置模块结构图；

[0036] 图6为一实施方式的计算机内部构造示意图。

具体实施方式

[0037] 为了更好地理解本发明的目的、技术方案以及技术效果，以下结合附图和实施例对本发明进行进一步的讲解说明。同时声明，以下所描述的实施例仅用于解释本发明，并不用于限定本发明。

[0038] 图1为一实施方式的基于声纹伪造检测的数据安全防护方法流程图，如图1所示，一实施方式的基于声纹伪造检测的数据安全防护方法包括步骤S100至步骤S102：

[0039] S100，获取社交元宇宙中用户的待验证的音频信号；

[0040] S101，基于预先训练好的机器学习模型，获取音频信号对应的音频置信度；

[0041] S102，对音频置信度，建立数据验证权限；其中，数据验证权限用于验证音频信号对应的用户权限。

[0042] 在社交元宇宙中，用户的通过语音进行交流或平台登录验证。通过与社交元宇宙的载体的交流，进行音频信号的捕获。其中，社交元宇宙的载体一般为区块链或其它类型的云服务。

[0043] 在其中一个实施例中，以社交元宇宙的底层为区块链为例，实时监听用户所在的社交元宇宙平台，捕获到用户在身份认证环节或社交过程中的音频信号，作为待验证的区块链信号。

[0044] 其中，预先训练好的机器学习模型可进行音频信号的分类，判断其为真实音频或者是通过不同手段伪造的声纹信息，输出对应的置信度作为音频置信度。

[0045] 将音频信号属于预先训练好的机器学习模型中。其中，该机器学习模型的训练基于声纹伪造检测技术。声纹伪造检测技术基于深度伪造检测技术，以声纹识别的检测鉴别，作为机器学习模型的训练目的。通过预先确定的用户与训练音频，训练出机器学习模型。预先训练好的机器学习模型用于根据输入的音频信号输出音频置信度，音频置信度用于表征音频信号对应用户的真实性，或标准用户与音频信号的关联程度。其中，音频置信度越高，音频信号的真实性或关联程度越高。

[0046] 作为一个较优的实施方式，利用公开可用的ASVspoof 2019语音深度伪造数据集，进行机器学习模型的训练。

[0047] 在其中一个实施例中，机器学习模型包括卷积神经网络架构，可采用CNN架构或SVM架构的卷积神经网络架构。

[0048] 作为一个较优的实施方式，图2为卷积神经网络架构处理示意图，如图2所示，为适应音频信号的特征类型，卷积神经网络架构包括卷积池化层、空间金字塔池化层和全连接层；其中，音频信号依次经过卷积池化层、空间金字塔池化层和全连接层处理，获得音频置信度。

[0049] 需要注意的是，图3为另一实施方式的基于声纹伪造检测的数据安全防护方法流程图，如图3所示，在步骤S101中基于机器学习模型，获取音频信号对应的音频置信度的过程之前，还包括步骤S200：

[0050] S200，提取音频信号的音频特征；其中，音频特征用于输入机器学习模型。

[0051] 由于音频信号存在噪音等频段的影响，因此预先将音频信号转换为对应的音频特征，便于作为卷积神经网络架构的输入。同时，音频特征不依赖于信号的性质，对输入信号不做任何的假设和限制。同时利用了音频特征模型的转换特性，具有更好的鲁棒性，更符合人耳的听觉特性，在机器学习模型的识别过程中性能较好。

[0052] 在其中一个实施例中，通过选定的音频特征模型将音频信号转换为MFCC(Mel Frequency Cepstrum Coefficient，Mel频率倒谱系数)语音特征，作为音频特征。如图2所示，将音频信号作为原始音频，提取出MFCC音频特征。

[0053] 基于音频特征的输入，图2所示的卷积神经网络架构进行了改进。在传统的卷积神经网络架构中，卷积层后一般连接着全连接层，而全连接层的特征数是固定的，导致网络输入的大小是固定的。如果原始输入矩阵大小不统一，则需要进行裁剪或扭曲的方式进行大小的统一时，原始矩阵可能会因纵横比和尺寸的变化而丢失重要的信息。因此，在本实施例中，图2所示的卷积神经网络架构在卷积池化层和全连接层间进行空间金字塔池化处理，将最后一层卷积池化层的输出特征复制为多个级别，并用不同的步长对不同级别的特征进行最大池化，最终即可将池化得到的特征融合成为一个尺寸固定的特征作为全连接层的输入，适应输入MFCC音频特征后卷积神经网络架构输出的稳定性。

[0054] 在其中一个实施例中，如图3所示，步骤S102中对音频置信度，建立数据验证权限的过程，包括步骤S300和步骤S301：

[0055] S300，对音频置信度进行身份认证处理；

[0056] S301，在身份认证处理获得通过后，进行信任评估处理，以建立数据验证权限。

[0057] 在其中一个实施例中，将所述音频置信度传入信任评估模型和算法，通过信任评估模型和算法，实现基于身份的持续信任评估；在执行信任评估时，参照接入终端的连接信息、设备状态、设备信息、用户信息、当前访问行为、检测到的威胁等风险因素，在风险可控的情况下弹性改变终端的访问权限；；

[0058] 在所述信任评估处理获得通过后，进行强身份认证，以建立访问权限[0059] 将音频置信度输入给身份认证，根据音频置信度对用户进行基本身份验证。在其中一个实施例中，身份认证处理采用强身份认证。图4为数据验证流程图，如图4所示，采用强身份认证对用户进行基本身份验证，如果未通过则拒绝用户访问，如果用户通过这次强身份认证，就与社交元宇宙建立了加密的连接并接受持续信任评估。

[0060] 在用户在通过强身份认证并建立加密通信后，会对用户身份进行持续的信任评估处理，在全生命周期中不断评估信任等级、动态调整权限，一旦未通过评估，用户权限将被降级直至拒绝访问，如果通过评估则授权。

[0061] 其中，授权用于表征用户具备完整的访问权限。

[0062] 在其中一个实施例中，如图3所示，另一实施方式的基于声纹伪造检测的数据安全防护方法，还包括步骤S400：

[0063] S400，将数据验证权限上传至区块链。

[0064] 如图4所示，在数据验证权限出现变更或更新时，将更新后的数据验证权限上传至区块链，以保证社交元宇宙中数据安全防护的实时性。

[0065] 上述任一实施例的基于声纹伪造检测的数据安全防护方法，在获取社交元宇宙中用户的待验证的音频信号后，基于预先训练好的机器学习模型，获取音频信号对应的音频置信度。最后对音频置信度，建立数据验证权限。数据验证权限用于验证音频信号对应的用户权限。通过音频置信度表征的声纹伪造检测，进行数据验证权限建立，以用户权限的形式进行数据安全防护。基于此，通过声纹伪造检测可以有效检测出伪造的声纹信息，有效避免社交元宇宙中对于用户隐私数据的诈骗行为，提高元宇宙中的数据安全。

[0066] 图5为一实施方式的基于声纹伪造检测的数据安全防护装置模块结构图，如图5所示，一实施方式的基于声纹伪造检测的数据安全防护装置包括：

[0067] 信号获取模块100，用于获取社交元宇宙中用户的待验证的音频信号；

[0068] 信号转换模块101，用于基于预先训练好的机器学习模型，获取音频信号对应的音频置信度；

[0069] 权限建立模块102，用于对音频置信度，建立数据验证权限；其中，数据验证权限用于验证音频信号对应的用户权限。

[0070] 上述的基于声纹伪造检测的数据安全防护装置，在获取社交元宇宙中用户的待验证的音频信号后，基于预先训练好的机器学习模型，获取音频信号对应的音频置信度。最后对音频置信度，建立数据验证权限。数据验证权限用于验证音频信号对应的用户权限。通过音频置信度表征的声纹伪造检测，进行数据验证权限建立，以用户权限的形式进行数据安全防护。基于此，通过声纹伪造检测可以有效检测出伪造的声纹信息，有效避免社交元宇宙中对于用户隐私数据的诈骗行为，提高元宇宙中的数据安全。

[0071] 本发明实施例还提供了一种计算机存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述任一实施例的基于声纹伪造检测的数据安全防护方法。

[0072] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

[0073] 或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、终端、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

[0074] 与上述的计算机存储介质对应的是，在一个实施例中还提供一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行程序时实现如上述各实施例中的任意一种基于声纹伪造检测的数据安全防护方法。

[0075] 该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于声纹伪造检测的数据安全防护方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等

[0076] 上述计算机设备在获取社交元宇宙中用户的待验证的音频信号后，基于预先训练好的机器学习模型，获取音频信号对应的音频置信度。最后对音频置信度，建立数据验证权限。数据验证权限用于验证音频信号对应的用户权限。通过音频置信度表征的声纹伪造检测，进行数据验证权限建立，以用户权限的形式进行数据安全防护。基于此，通过声纹伪造检测可以有效检测出伪造的声纹信息，有效避免社交元宇宙中对于用户隐私数据的诈骗行为，提高元宇宙中的数据安全。

[0077] 以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

[0078] 以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。