一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法

摘要

本发明公开了一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法，包括如下步骤：步骤一，建立GAN模型；步骤二，添加检测模块并修改网络协议；步骤三，检测模块检测入侵；步骤四，使用基于卷积神经网络的架构；步骤一中，在协作深度学习高级网络架构的基础上生成GAN模型，并通过CAN模型来构建算法；步骤二中，向参数服务器添加了一个检测模块；然后根据修改后的协议和定义的数据埋点，在局部模型上添加一个埋点层，在埋点层之下设置输出层，本发明该主要关注与如何在协作深度学习中识别针对GAN模型攻击的准确且适应性强的信息保护方法；与其他方法相比，本发明所提出的机制可以更加准确并更加能够广泛适应的保护信息。

权利要求

1.一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法，包括如下步骤：步骤一，建立GAN模型；步骤二，添加检测模块并修改网络协议；步骤三，检测模块检测入侵；步骤四，使用基于卷积神经网络的架构；其特征在于：其中在上述的步骤一中，在协作深度学习高级网络架构的基础上生成对抗网络(GAN)模型，并通过CAN模型来构建算法；

其中在上述的步骤二中，向参数服务器(parameterserver,PS)添加了一个检测模块，并修改网络协议；然后根据修改后的协议和定义的数据埋点，在局部模型上添加一个埋点层，在埋点层之下设置输出层；

其中在上述的步骤三中，当攻击者向服务器上传参数时，反向传播过程会更新被埋点层的权重，检测模块则会立即发现入侵，若此行为被归为恶GAN模型攻击，则攻击者上传的参数将被释放，攻击者的学习进度也将会受限，并且等待下一次的加载；当最终确认为有效攻击时，解决方案会由攻击行为决定；

其中在上述的步骤四中，在MNIST数据集上实验使用基于卷积神经网络的架构，在系统中，对本地参数和全局参数进行加密传输，在受感染和不良用户在使用GAN模型攻击时，参数服务器(parameterserver,PS)会检测到入侵，并高效返回参数。

2.根据权利要求1的一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法，其特征在于：所述步骤三中，攻击者分为三种类型的攻击，即入侵者、受感染者和用户攻击。

3.根据权利要求1的一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法，其特征在于：所述步骤三中，攻击行为的解决方案：若此行为被归类为恶意上传参数，参数服务器也将会直接把攻击者列入黑名单并拒绝后续访问。

4.根据权利要求1的一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法，其特征在于：所述步骤二中，在反向传播时埋点层是最先受到影响的，在该系统的参数服务器协议中，局部模型的训练过程绕过了埋点层，即埋点层不会影响训练过程。

5.根据权利要求1的一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法，其特征在于：所述步骤四中，即使入侵者成功入侵系统，也无法解密或对参数加密，因此入侵者也无法攻击GAN模型，也不能上传恶意参数；同时也可以检测到感染的不良用户的参数上传。

说明书

一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法

技术领域

[0001] 本发明涉及协作深度学习网络系统技术领域，具体为一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法。

背景技术

[0002] 大数据的共享为政府部门、企业、科研机构提供了便利条件，然而随之而来的数据隐私安全问题日渐增多；差分隐私技术在支持隐私保护的数据挖掘与数据发布方面得到了广泛研究；深度学习最近在机器学习方面非常受欢迎，因为它能够解决端到端学习系统，其中功能和分类器同时被学习，在高度结构化和大型数据库的存在下显著提高分类准确性；它的成功归功于最近的算法突破，越来越强大的计算机以及对大量数据的访问；研究人员还考虑了深度学习对隐私的影响；通常以集中方式训练模型，所有数据由相同的训练算法处理；如果数据是用户私人数据的集合，包括习惯，个人图片，地理位置，兴趣等，则中央服务器将能够访问可能被错误处理的敏感信息；为了解决这个问题，科研人员提出了协作深度学习模型来保护训练过程中的数据隐私，如图1所示；该框架图展示了协同深度学习系统的主要组件和协议，其中各方在本地训练他们的深度学习结构并且仅共享参数的子集以试图保持他们各自的训练集私有。

[0003] 深度学习由于在图像分类和生物学应用中有着较高的有效性和精确度，因此被广泛应用在医疗领域，但由于模型中的算法数据的变化，会导致个人信息暴露从而产生严重后果；针对协作式深度学习网络系统的各种攻击都会导致信息泄露，以及分散式深度学习的多次培训并更新参数，都存在大量信息泄露风险。

[0004] 在使用深度学习模型从模糊图像中判断主体身份时会存在人为的分类错误，从而导致错误的输出；同时，由于深度学习需要在训练集中累积数据信息，这将导致更高的隐私泄露风险，尤其是在医疗领域。

[0005] GAN攻击协作试深度学习允许所有成员从设备中推断敏感信息，但是即使在已进行了差异隐私模糊处理的情况下，攻击者也可在不影响服务提供商的情况下进行攻击，获取重要敏感数据从而引起隐私泄露。

[0006] 因此设计一种在生成对抗网络(GAN)模型下，防止GAN模型攻击并保护CDL训练信息的算法，来提高稳定性，来更加准确有效的防止信息泄露，是很有意义的。

发明内容

[0007] 本发明的目的在于提供一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法，以解决上述背景技术中提出的问题。

[0008] 为了解决上述技术问题，本发明提供如下技术方案：一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法，包括如下步骤：步骤一，建立GAN模型；步骤二，添加检测模块并修改网络协议；步骤三，检测模块检测入侵；步骤四，使用基于卷积神经网络的架构；

[0009] 其中在上述的步骤一中，在协作深度学习高级网络架构的基础上生成对抗网络(GAN)模型，并通过CAN模型来构建算法；

[0010] 其中在上述的步骤二中，向参数服务器(parameterserver,PS)添加了一个检测模块，并修改网络协议；然后根据修改后的协议和定义的数据埋点，在局部模型上添加一个埋点层，在埋点层之下设置输出层；

[0011] 其中在上述的步骤三中，当攻击者向服务器上传参数时，反向传播过程会更新被埋点层的权重，检测模块则会立即发现入侵，若此行为被归为恶GAN模型攻击，则攻击者上传的参数将被释放，攻击者的学习进度也将会受限，并且等待下一次的加载；当最终确认为有效攻击时，解决方案会由攻击行为决定；

[0012] 其中在上述的步骤四中，在MNIST数据集上实验使用基于卷积神经网络的架构，在系统中，对本地参数和全局参数进行加密传输，在受感染和不良用户在使用GAN模型攻击时，参数服务器(parameterserver,PS)会检测到入侵，并高效返回参数。

[0013] 根据上述技术方案，所述步骤三中，攻击者分为三种类型的攻击，即入侵者、受感染者和用户攻击。

[0014] 根据上述技术方案，所述步骤三中，攻击行为的解决方案：若此行为被归类为恶意上传参数，参数服务器也将会直接把攻击者列入黑名单并拒绝后续访问。

[0015] 根据上述技术方案，所述步骤二中，在反向传播时埋点层是最先受到影响的，在该系统的参数服务器协议中，局部模型的训练过程绕过了埋点层，即埋点层不会影响训练过程。

[0016] 根据上述技术方案，所述步骤四中，即使入侵者成功入侵系统，也无法解密或对参数加密，因此入侵者也无法攻击GAN模型，也不能上传恶意参数；同时也可以检测到感染的不良用户的参数上传。

[0017] 与现有技术相比，本发明所达到的有益效果是：本发明该主要关注与如何在协作深度学习中识别针对GAN模型攻击的准确且适应性强的信息保护方法；与其他方法相比，本发明所提出的机制可以更加准确并更加能够广泛适应的保护信息，防止GAN模型攻击并保护CDL训练信息，并提高稳定性，更加准确有效的防止信息泄露。

附图说明

[0018] 图1是本发明协作深度学习架构结构示意图；

[0019] 图2是本发明GAN模型攻击下保护体系的结构图；

[0020] 图3是本发明防护方法的流程图。

具体实施方式

[0021] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0022] 请参阅图1-3，本发明提供一种技术方案：一种防止GAN模型攻击并保护CDL训练信息的隐私防护方法，包括如下步骤：步骤一，建立GAN模型；步骤二，添加检测模块并修改网络协议；步骤三，检测模块检测入侵；步骤四，使用基于卷积神经网络的架构；

[0023] 其中在上述的步骤一中，在协作深度学习高级网络架构的基础上生成对抗网络(GAN)模型，并通过CAN模型来构建算法；

[0024] 其中在上述的步骤二中，向参数服务器(parameterserver,PS)添加了一个检测模块，并修改网络协议；然后根据修改后的协议和定义的数据埋点，在局部模型上添加一个埋点层，在埋点层之下设置输出层；步骤二中，在反向传播时埋点层是最先受到影响的，在该系统的参数服务器协议中，局部模型的训练过程绕过了埋点层，即埋点层不会影响训练过程；

[0025] 其中在上述的步骤三中，当攻击者向服务器上传参数时，反向传播过程会更新被埋点层的权重，检测模块则会立即发现入侵，若此行为被归为恶GAN模型攻击，则攻击者上传的参数将被释放，攻击者的学习进度也将会受限，并且等待下一次的加载；当最终确认为有效攻击时，解决方案会由攻击行为决定；步骤三中，攻击者分为三种类型的攻击，即入侵者、受感染者和用户攻击；步骤三中，攻击行为的解决方案：若此行为被归类为恶意上传参数，参数服务器也将会直接把攻击者列入黑名单并拒绝后续访问；

[0026] 其中在上述的步骤四中，在MNIST数据集上实验使用基于卷积神经网络的架构，在系统中，对本地参数和全局参数进行加密传输，在受感染和不良用户在使用GAN模型攻击时，参数服务器(parameterserver,PS)会检测到入侵，并高效返回参数；步骤四中，即使入侵者成功入侵系统，也无法解密或对参数加密，因此入侵者也无法攻击GAN模型，也不能上传恶意参数；同时也可以检测到感染的不良用户的参数上传；

[0027] 本发明提出了一种更加有效的新方法，改进现有的信息保护机制；在不泄露敏感个人信息的情况下，提高数据可用性是当前深度学习应用程序的主要安全目标；在本地模型训练中，训练GAN需要达到纳什均衡，在某些情况下可以降低梯度来实现纳什均衡；GAN在训练阶段具有较强的不稳定性；在实际应用中，很难在发生器和鉴别器之间实现有效平衡，同时也缺少产生不同样本的能力，这会导致无法纠正的错误结果；其次，由于SGD易发生激荡，更加增加了GAN训练的不稳定性；在全局模式训练中，训练数据的分离和差异隐私的保证一直存在，并不完全受参数服务器可信度的影响；然而在剪裁参数值过大或过小也会增加训练难度或导致梯度消失，甚至会导致前层比后层变化更快而引起的梯度爆炸；

[0028] 而本发明提出的保护方法，我们首先考虑两个参与者(定义为A的对手或攻击者，以及定义为V的受害者)，然后扩展我们的攻击策略，考虑多个用户；如图2所示，我们向参数服务器(parameterserver,PS)添加了一个检测模块，并修改了网络协议；然后根据修改后的协议和我们定义的数据埋点，在局部模型上添加一个埋点层；每个用户可以释放任意数量的标签，并且不需要重叠这些类；其中，窃取用户信息和攻击参数服务器是攻击系统的两种方法；我们将这些角色分为三种类型的攻击，即入侵者、受感染者和用户攻击；通常，加密用于保护交换的消息不被窃听；例如，可以通过对加密数据运行计算来开发DL解决方案，或者是引入随机性来处理一个故意错误的训练集；同时，也可以通过DES或差分隐私等加密方法，阻止入侵者的GAN攻击；然而对于那些受感染的不良用户，则可以使用GAN模型执行攻击来获取个人信息；本发明使用的是CAN模型来构建算法，在埋点层之下设置输出层；因此，在反向传播时埋点层是最先受到影响的；然而在我们的参数服务器协议中，局部模型的训练过程绕过了埋点层，也就是说埋点层不会影响训练过程；然而，攻击者并不知道埋点层是如何工作的；因此，在开始训练过程时，反向传播过程会更新被埋点层的权重，当攻击者向服务器上传参数时，检测模块会则会立即发现入侵；若此行为被归为恶GAN模型攻击，则攻击者上传的参数将被释放，攻击者的学习进度也将会受限，并且等待下一次的加载；当最终确认为有效攻击时，解决方案会由攻击行为决定，参数服务器也会直接将攻击者列入黑名单并拒绝后续访问；若此行为被归类为恶意上传参数，参数服务器也将会直接把攻击者列入黑名单；我们现在已经能针对攻击制定限有效的对策，解决方案可能涉及到安全的多方计算或同态加密；对此，我们在MNIST数据集上进行了实验，并使用了基于卷积神经网络的架构；在系统中，我们对本地参数和全局参数进行加密传输，这样即使入侵者成功入侵系统，也无法解密或对参数加密，因此入侵者也无法攻击GAN模型，也不能上传恶意参数；同时，也可以检测到感染的不良用户的参数上传；因此，我们可以得出结论，在受感染和不良用户在使用GAN模型攻击时，PS会检测到入侵，并高效返回参数。

[0029] 需要说明的是，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

[0030] 最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。