模型参数验证方法、设备及可读存储介质转让专利
申请号 : CN202010830270.0
文献号 : CN111967609B
文献日 : 2021-08-06
发明人 : 吴锦和 , 李月 , 范力欣 , 张天豫
申请人 : 深圳前海微众银行股份有限公司
摘要 :
权利要求 :
1.一种模型参数验证方法,其特征在于,所述模型参数验证方法包括:接收联邦参与设备发送的加密模型参数;
将所述加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值;
获取加密模型参数对应的类别目标哈希编码值,并基于所述输出哈希编码值和所述类别目标哈希编码值,对所述加密模型参数进行验证,获得目标验证结果;
基于所述目标验证结果,确定并剔除所述联邦参与设备中存在的恶意参与设备,以进行联邦学习。
2.如权利要求1所述模型参数验证方法,其特征在于,所述哈希编码模型包括隐藏层和哈希层,
所述将所述加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值的步骤包括:将所述加密模型参数输入所述隐藏层,对所述加密模型参数进行数据处理,获得所述类别特征信息;
将所述类别特征信息输入所述哈希层,对所述类别特征信息进行极化哈希,获得极化哈希结果;
提取所述极化哈希结果中的各极化标识,并基于各所述极化标识,生成所述输出哈希编码值。
3.如权利要求1所述模型参数验证方法,其特征在于,所述基于所述输出哈希编码值和所述类别目标哈希编码值,对所述加密模型参数进行验证,获得目标验证结果的步骤包括:计算所述输出哈希编码值和所述类别目标哈希编码值之间的计算汉明距离,并将所述计算汉明距离与预设第一汉明距离阀值进行比对;
若所述计算汉明距离大于所述预设第一汉明距离阀值,则所述目标验证结果为加密模型参数可疑;
若所述计算汉明距离小于或者等于所述预设第一汉明距离阀值,则所述目标验证结果为加密模型参数可信。
4.如权利要求1所述模型参数验证方法,其特征在于,所述获取加密模型参数对应的类别目标哈希编码值的步骤包括:
获取所述加密模型参数对应的在先加密模型参数;
将所述在先加密模型参数输入所述预设哈希编码模型,以基于所述在先加密模型参数的在先类别特征信息,对所述在先加密模型参数进行哈希编码,获得所述类别目标哈希编码值。
5.如权利要求1所述模型参数验证方法,其特征在于,在所述将所述加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值的步骤之后,所述模型参数验证方法还包括:获取所述输出哈希编码值对应的各关联输出哈希编码值,并计算所述输出哈希编码值和各所述关联输出哈希编码值之间的平均哈希编码值;
获取所述平均哈希编码值对应的平均目标哈希编码值,并基于所述平均哈希编码值和所述平均目标哈希编码值,对所述加密模型参数进行验证,获得第二目标验证结果;
基于所述第二目标验证结果,确定并剔除所述联邦参与设备中存在的恶意参与设备,以进行联邦学习。
6.如权利要求1所述模型参数验证方法,其特征在于,所述基于所述目标验证结果,确定并剔除所述联邦参与设备中存在的恶意参与设备的步骤包括:基于所述目标验证结果,确定所述联邦参与设备中存在的可疑参与设备;
获取所述可疑参与设备的可疑累计次数,并将所述可疑累计次数大于预设累计次数阀值的可疑参与设备作为所述恶意参与设备,并剔除所述恶意参与设备。
7.如权利要求1所述模型参数验证方法,其特征在于,在所述将所述加密模型参数输入预设哈希编码模型,以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值的步骤之前,所述模型参数验证方法还包括:获取训练联邦模型参数和待训练哈希编码模型,并基于预设目标哈希编码方式,确定所述训练联邦模型参数对应的预设哈希编码值;
基于所述预设哈希编码值和所述训练联邦模型参数,对所述待训练哈希编码模型进行迭代训练,以优化所述待训练哈希编码模型对应的极化损失函数,直至所述待训练哈希编码模型达到预设迭代结束条件,获得所述预设哈希编码模型。
8.如权利要求7所述模型参数验证方法,其特征在于,所述基于所述预设哈希编码值和所述训练联邦模型参数,对所述待训练哈希编码模型进行迭代训练,以优化所述待训练哈希编码模型对应的极化损失函数,直至所述待训练哈希编码模型达到预设迭代结束条件,获得所述预设哈希编码模型的步骤包括:将所述训练联邦模型参数输入所述待训练哈希编码模型,以基于所述极化损失函数,对所述训练联邦模型参数进行哈希编码,获得初始哈希编码值;
计算所述初始哈希编码值和所述预设哈希编码值之间的训练汉明距离,并将所述训练汉明距离与预设第二汉明距离阀值进行比对;
若所述训练汉明距离大于所述预设第二汉明距离阀值,则判定所述待训练哈希编码模型未达到所述预设迭代结束条件,并基于所述初始哈希编码值,优化所述极化损失函数;
基于优化后的所述极化损失函数,重新进行所述待训练哈希编码模型的训练,直至所述训练汉明距离小于或者等于所述预设第二汉明距离阀值;
若所述训练汉明距离小于或者等于所述预设第二汉明距离阀值,则判定所述待训练哈希编码模型达到所述预设迭代结束条件,并将所述待训练哈希编码模型作为所述预设哈希编码模型。
9.一种模型参数验证设备,其特征在于,所述模型参数验证设备包括:存储器、处理器以及存储在存储器上的用于实现所述模型参数验证方法的程序,所述存储器用于存储实现模型参数验证方法的程序;
所述处理器用于执行实现所述模型参数验证方法的程序,以实现如权利要求1至8中任一项所述模型参数验证方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有实现模型参数验证方法的程序,所述实现模型参数验证方法的程序被处理器执行以实现如权利要求1至8中任一项所述模型参数验证方法的步骤。
说明书 :
模型参数验证方法、设备及可读存储介质
技术领域
背景技术
如对金融业对应待办事项的分发也有更高的要求。
聚合获得的聚合模型参数反馈至各参与方,以供各参与方对本地模型进行更新,但是,若各
参与方中存在恶意参与方,且恶意参与方在训练过程中提供虚假的本地模型参数,将导致
聚合模型参数的有效性变低,进而将会直接影响整体模型质量,导致整个联邦学习过程失
效,进而导致联邦学习建模的效率和精度变低。
发明内容
果;
行的所述模型参数验证方法的程序,所述模型参数验证方法的程序被处理器执行时可实现
如上述的模型参数验证方法的步骤。
法的步骤。
本申请在联邦参与设备上传加密模型参数之后,将加密模型参数输入预设哈希编码模型,
以基于所述加密模型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出
哈希编码值,进而通过判断所述输出哈希编码值与所述加密模型参数对应的类别模型哈希
编码值之间差异度是否在可接受差异度范围之内,对所述加密模型参数进行验证,获得目
标验证结果,也即,若所述输出哈希编码值与所述类别模型哈希编码值之间差异度在不可
接受差异度范围之内,则判定所述输出哈希编码值与所述类别模型哈希编码值不属于同一
模型的模型参数的哈希编码值,也即,不属于同一数据类别的哈希编码值,进而判定所述加
密模型参数为虚假模型参数,可确定所述联邦参与设备中存在恶意参与方,进而基于所述
目标验证结果,即可确定并剔除提供虚假模型参数的恶意参与设备,以进行联邦学习,进而
克服了现有技术中若各参与方中存在恶意参与方,且恶意参与方在训练过程中提供虚假的
本地模型参数,将导致联邦学习建模的效率和精度变低的技术缺陷,进而提高了联邦学习
建模的效率和精度。
附图说明
言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
具体实施方式
一样本类别的输入样本,所述预设哈希编码模型均能输出相同的哈希编码值,所述模型参
数验证设备为联邦学习建模的协调方,所述联邦参与设备至少包括一个联邦学习建模的联
邦参与方,一所述联邦参与方对应一所述预设哈希编码模型,且在每一轮联邦学习时,各联
邦参与方均会向所述协调方发送同态加密的加密模型参数,以供所述协调方对各所述加密
模型参数进行聚合处理,其中,所述聚合处理包括加权平均、加权求和等。
且所述隐藏层为基于深度学习训练好的一层或者多层神经网络,所述哈希层为所述预设深
度极化网络的输出层,用于对所述待处理数据进行哈希,并输出对应的哈希结果,且所述哈
希层为基于深度学习训练好的一层或者多层神经网络,所述加密模型参数可用矩阵或者向
量进行表示,所述类别特征信息为所述深度极化网络的隐藏层输出的所述加密模型参数对
应的数据特征表示矩阵,其中,所述数据特征表示矩阵包括所述加密模型参数对应的所有
特征信息。
得输出哈希编码值,具体地,接收各联邦参与方发送的加密模型参数,并对每一所述加密模
型参数,均执行以下步骤:
表示形式,进而获得所述数据特征表示矩阵,进而将所述数据特征表示矩阵输入所述预设
哈希编码模型的哈希层,对所述数据特征表示矩阵进行哈希,获得所述输出哈希编码值。
所述深度极化网络的隐藏层,对所述模型参数矩阵进行预设次数的卷积和池化交替处理,
获得所述模型参数矩阵对应的数据特征表示矩阵,并将所述数据特征表示矩阵作为所述类
别特征信息。
深度极化网络的哈希层,对所述数据特征表示矩阵进行全连接,获得全连接向量,进而为所
述全连接向量中的各目标比特位匹配对应的极化输出通道,并基于各所述极化输出通道,
对各所述极化输出通道各自对应的目标比特位进行极化,为各所述目标比特位赋予极化标
识,进而输出极化后的各所述目标比特位共同对应的哈希向量,并将所述哈希向量作为所
述极化哈希结果,其中,所述极化输出通道是为所述目标比特位赋予极化标识的模型输出
通道,所述极化标识为所述目标比特位的正负符号,例如,假设所述全连接向量为(a,b),所
述哈希向量为(a,‑b),进而目标比特位a对应的极化标识为+1,目标比特位b对应的极化标
识为+1。
并基于各所述极化标识和各所述极化标识对应的输出比特位在所述哈希向量中的位置,生
成所述输出哈希编码值,例如,假设所述哈希向量为1*3的向量(a,‑b,c),则输出比特位a对
的极化标识为正,输出比特位‑b对应的极化标识为负,输出比特位c对应的极化标识为正,
进而所述哈希编码值为(1,‑1,1)。
后,所述模型参数验证方法还包括:
与所述当前联邦参与方关联的联邦参与方。
希编码值对应的联邦参与方的参与方编码,其中,所述参与方编码为所述联邦参与方的标
识,进而获得所述参与方编码对应的各关联参与方编码,其中,所述关联参与方编码为所述
关联参与方的标识,进而基于各所述关联参与方编码,确定各关联参与方,进而获得基于所
述预设哈希编码模型生成的各所述关联参与方的关联输出哈希编码值,并计算所述输出哈
希编码值与各所述关联输出哈希编码值共同对应的平均值,并将所述平均值作为所述平均
输出哈希编码值。
标验证结果;
果,具体地,获取所述平均哈希编码值对应的平均目标哈希编码值,并计算所述平均哈希编
码值和所述平均目标哈希编码之间的计算汉明距离,并将所述计算汉明距离与预设距离阀
值进行比对,若所述计算汉明距离大于所述预设距离阀值,则证明所述平均哈希编码值和
所述平均目标哈希编码值不属于同一数据类别,进而所述联邦参与方及其对应的各关联参
与方中存在可疑参与方,进而对于所述输出哈希编码值和所述关联输出哈希编码值中的每
一待验证哈希编码值,均执行以下步骤:
将所述第二计算汉明距离和预设第二距离阀值进行比对,若所述第二计算汉明距离大于所
述预设第二距离阀值,则判定所述待验证哈希编码值对应的加密模型参数可疑,进而判定
所述待验证哈希编码值对应的联邦参与方或者对应的关联参与方为可疑参与方,若所述第
二计算汉明距离小于或者等于所述预设第二距离阀值,则判定所述待验证哈希编码值对应
的加密模型参数不可疑,进而判定所述待验证哈希编码值对应的联邦参与方或者对应的关
联参与方不为可疑参与方,进而所述第二目标验证结果即为对所述联邦参与方及其对应的
各关联参与方中的可疑参与方的确定结果,若所述计算汉明距离大于所述预设距离阀值,
则证明所述平均哈希编码值和所述平均目标哈希编码值属于同一数据类别,进而所述第二
目标验证结果为所述联邦参与方及其对应的各关联参与方中不存在可疑参与方,其中,所
述可疑参与方为提供可疑的加密模型参数的联邦参与方。
疑参与方对应的可疑确定次数,若所述可疑确定次数大于预设次数阀值,则确定所述可疑
参与方为恶意参与方,进而在各联邦参与方中剔除所述恶意参与方,也即,剔除恶意参与方
的联邦学习资格,以进行联邦学习,若所述可疑确定次数小于或者等于预设次数阀值,则在
聚合各联邦参与方的加密模型参数时,剔除所述可疑参与方对应的加密模型参数,并向所
述可疑参与方发送可疑通知,将所述可疑参与方从本轮联邦学习建模进行剔除,其中,所述
可疑确定次数为联邦参与方被认定为可疑参与方的次数,在每一轮联邦学习建模的迭代
中,均会进行所述可疑参与方的寻找和剔除,以进行联邦学习。
本地模型的模型参数的迭代更新为一个渐进过程,最后趋近于目标值,进而模型参数的迭
代更新范围可以预期,进而可将属于同一联邦参与方发送的加密模型参数设定为同一数据
类别。
加密模型参数对应的类别目标哈希编码值,并计算所述输出哈希编码值和所述类别目标哈
希编码值之间的计算汉明距离,并基于所述计算汉明距离,对所述加密模型参数进行验证,
获得目标验证结果,其中,所述目标验证结果为判定所述加密模型参数是否可疑的结果。
哈希编码值和所述类别目标哈希编码值进行比对,确定所述输出哈希编码值和所述类别目
标哈希编码值之间的相异比特位的比特位数量,并将所述比特位数量作为所述计算汉明距
离,并将所述计算汉明距离与预设第一汉明距离阀值进行比对,其中,所述相异比特位为所
述输出哈希编码值和所述类别目标哈希编码值中相应比特位上的比特位数值不同的比特
位,例如,假设所述输出哈希编码值为101010,所述类别目标哈希编码值为111010,则所述
相异比特位为从左至右第2位的比特位。
离阀值,则判定所述输出哈希编码值和所述类别目标哈希编码值不属于同一数据类别,进
而所述输出哈希编码值不为所述联邦参与方的本地模型的真实模型参数对应的加密模型
参数,也即所述加密模型参数为虚假加密模型参数,进而所述目标验证结果为加密模型参
数可疑,对应的联邦参与方为可疑参与方。
述预设第一汉明距离阀值,则判定所述输出哈希编码值和所述类别目标哈希编码值属于同
一数据类别,进而所述输出哈希编码值为所述联邦参与方的本地模型的真实模型参数对应
的加密模型参数,也即所述加密模型参数不为虚假加密模型参数,进而所述目标验证结果
为加密模型参数可信,对应的联邦参与方不为可疑参与方。
别目标哈希编码值。
所述类别目标哈希编码值,具体地,将所述在先加密模型参数输入所述预设哈希编码模型
的隐藏层,对所述在先加密模型参数进行数据处理,获得所述在先类别特征信息,其中,所
述在先类别特征信息为所述在先加密模型参数对应的类别特征信息,进而将所述在先类别
特征信息输入所述哈希层,对所述在先类别特征信息进行全连接,获得在先全连接向量,并
为所述在先全连接向量中的各比特位匹配对应的极化输出通道,并基于各所述极化输出通
道,对各所述极化输出通道各自对应的比特位进行极化,获得所述在先全连接向量中各比
特位对应的在先极化标识,并基于各所述在先极化标识,生成所述联邦目标哈希编码值,其
中,由于所述在先加密模型参数和所述加密模型参数为同一联邦参与方基于同一本地模型
在不同迭代轮次中发送的同态加密的模型参数,进而所述在先加密模型参数和所述加密模
型参数属于同一数据类别,进而若所述加密模型参数不为虚假模型参数,则所述在先加密
模型参数对应的输出哈希编码值和所述加密模型参数对应的输出哈希编码值应当一致,若
所述加密模型参数为虚假模型参数,则所述在先加密模型参数对应的输出哈希编码值和所
述加密模型参数对应的输出哈希编码值应当不一致,其中,所述在先加密模型参数已经确
定不为虚假模型参数。
为可疑参与方,并获取每一所述可疑参与方对应的可疑累计次数,进而基于各所述可疑累
计次数,在各所述可疑参与方中确定恶意参与方。
果,所述可疑参数方为发送的加密模型参数可疑的联邦参与方。
一所述可疑参与方的可疑累计次数,并将每一所述可疑累计次数与预设累计次数阀值进行
比对,若所述可疑累计次数大于所述预设累计次数阀值,则将所述可疑累计次数大于所述
预设累计次数阀值的可疑参与方作为恶意参与方,并剔除所述恶意参与方的联邦学习资
格,若所述可疑累计次数小于或者等于所述预设累计次数阀值,则将所述可疑累计次数小
于或者等于所述预设累计次数阀值的可疑参与方发送的加密模型参数进行剔除,获得可信
的加密模型参数,进而对剔除后的各可信的加密模型参数进行聚合,以进行联邦学习。
设备上传加密模型参数之后,将加密模型参数输入预设哈希编码模型,以基于所述加密模
型参数的类别特征信息,对所述加密模型参数进行哈希编码,获得输出哈希编码值,进而通
过判断所述输出哈希编码值与所述加密模型参数对应的类别模型哈希编码值之间差异度
是否在可接受差异度范围之内,对所述加密模型参数进行验证,获得目标验证结果,也即,
若所述输出哈希编码值与所述类别模型哈希编码值之间差异度在不可接受差异度范围之
内,则判定所述输出哈希编码值与所述类别模型哈希编码值不属于同一模型的模型参数的
哈希编码值,也即,不属于同一数据类别的哈希编码值,进而判定所述加密模型参数为虚假
模型参数,可确定所述联邦参与设备中存在恶意参与方,进而基于所述目标验证结果,即可
确定并剔除提供虚假模型参数的恶意参与设备,以进行联邦学习,进而克服了现有技术中
若各参与方中存在恶意参与方,且恶意参与方在训练过程中提供虚假的本地模型参数,将
导致联邦学习建模的效率和精度变低的技术缺陷,进而提高了联邦学习建模的效率和精
度。
对所述加密模型参数进行哈希编码,获得输出哈希编码值的步骤之前,所述模型参数验证
方法还包括:
邦模型参数为用于训练所述待训练哈希编码模型的训练数据,所述预设哈希编码值为所述
训练样本所属的训练样本类别对应的哈希编码值,其中,一所述训练样本类别对应一所述
预设哈希编码值,所述训练样本类别至少包括一个训练样本,且一所述训练样本类别对应
的一联邦参与方的本地模型。
邦参与方的对应的待训练模型哈希编码模型的训练联邦模型参数,其中,所述噪音数据包
括高斯噪音等,例如,假设所述正常联邦模型参数为(m1,m2),则训练联邦模型参数为(m1+N
(μ,σ)1,m2+N(μ,σ)2),其中,N(μ,σ)为正态分布函数,N(μ,σ)1和N(μ,σ)2均为正态分布函数
值。
储数据库中提取所述训练样本和待训练哈希编码模型,并基于预设目标哈希编码方式,对
所述训练样本进行哈希编码,生成所述训练样本所属的训练样本类别对应的预设哈希编码
值。
p*(1‑p),其中,K为所述预设哈希编码值中比特位的数量,p为所述预设哈希编码值对应的
样本属于所述分类样本的概率。
本,以基于预设高斯随机方法分别生成各所述训练样本对应的随机哈希编码值,其中,一所
述训练样本对应一个所述随机哈希编码值,进而确定各所述训练样本类别中每一所述训练
样本对应的随机哈希编码值,并分别求取每一所述训练样本类别对应的各随机哈希编码值
的平均值,获得各所述训练样本类别对应的平均哈希值,进而将所述平均哈希值作为对应
的训练样本类别中所有训练样本对应的预设哈希编码值。
待训练哈希编码模型达到预设迭代结束条件,获得所述预设哈希编码模型。
希编码模型达到预设迭代结束条件,获得所述预设哈希编码模型,具体地,将所述训练联邦
模型参数输入所述待训练哈希编码模型,以基于所述预设哈希编码值,对所述待训练哈希
编码模型进行训练更新,并判断训练更新后的所述待训练哈希编码模型是否满足预设迭代
结束条件,若训练更新后的所述待训练哈希编码模型满足预设迭代结束条件,则将训练更
新后的所述待训练哈希编码模型作为所述预设哈希编码模型,若训练更新后的所述待训练
哈希编码模型不满足预设迭代结束条件,则获取所述待训练哈希编码模型基于所述训练联
邦模型参数输出的初始哈希编码值,并基于所述初始哈希编码值和所述预设哈希编码值,
优化所述待训练哈希编码模型的各极化输出通道对应的极化损失函数,并重新所述待训练
哈希编码模型进行训练更新,直至训练更新后的所述待训练哈希编码模型满足预设迭代结
束条件。
述待训练哈希编码模型达到预设迭代结束条件,获得所述预设哈希编码模型的步骤包括:
本对应的待处理训练矩阵输入所述待训练哈希编码模型,其中,所述待处理训练矩阵为训
练样本的矩阵表示形式,进而对所述待处理训练矩阵进行哈希,获得训练哈希向量,进而基
于所述极化损失函数,对所述训练哈希向量的每一比特位进行强制极化,获得所述训练哈
希向量对应的训练极化向量,进而基于所述训练极化向量中每一比特位对应的极化标识,
生成所述训练样本对应的初始哈希编码值,其中,所述极化损失函数如下所示,
希值,所述目标哈希值为所述训练样本对应的预设哈希编码值上的比特位数值,且t^c={‑
1,+1},且所述极化损失函数收敛于0,例如,假设m为1,t^c为1,v为‑1,此时,L=2,若要使得
极化损失函数收敛于0,则需要对v进行强制极化,使得v为1,此时L=0,进而当t^c等于1时,
所述训练哈希向量比特位上的数值将朝正方向逐渐远离0,当t^c等于‑1时,所述训练哈希
向量比特位上的数值将朝负方向逐渐远离0,进而在极化成功后,获得的训练极化向量中每
一比特位的极化标识应与对应的目标哈希值一致,进一步地,由于同一训练样本类别的预
设哈希编码值相同,所以属于同一训练样本类别的各训练样本对应的训练极化向量中每一
比特位上的极化标识一致,进而基于各极化标识,获得的模型输出值一致,也即,对于属于
同一样本类别的模型输入样本,基于训练好的所述预设哈希编码模型可获得相同的哈希编
码值。
述哈希编码模型进行训练优化而得到,进而每一所述极化输出通道对应的预设强制极化参
数可能相同,也可能不同,其中,所述极化输出通道用于基于所述预设强制极化参数,通过
对应的所述极化损失函数,强制极化所述训练哈希向量中对应的比特位上的数值,并输出
所述初始哈希编码值中对应的比特位的编码数值。
编码值的每一比特位上的数值与所述预设哈希编码值的每一比特位上的数值进行比对,确
定所述初始哈希编码值和所述预设哈希编码值之间比特位数值不相同的比特位数量,并将
所述比特位数量作为所述训练汉明距离,并将所述训练汉明距离与预设第二汉明距离阀值
进行比对,例如,假设所述初始哈希编码值为向量(1,1,1,1),所述目标哈希编码结果为向
量(‑1,1,1,‑1),则所述比特位数量为2,则所述训练汉明距离为2。
化损失函数;
述极化损失函数,具体地,若所述训练汉明距离大于所述预设第二汉明距离阀值,则判定所
述极化损失函数并未在所有所述极化输出通道上收敛,也即,所述极化损失函数未收敛,进
而判定所述待训练哈希编码模型未达到所述预设迭代结束条件,进而确定所述初始哈希编
码值和所述预设哈希编码值之间的一个或者多个相异比特位,并确定各所述相异比特位对
应的未收敛极化输出通道,进而调整各所述未收敛极化输出通道对应的极化损失函数中的
预设强制极化参数,其中,所述未收敛极化输出通道为未收敛的极化损失函数对应的极化
输出通道,其中,所述待训练哈希编码模型至少包括一个极化输出通道,且所述极化输出通
道的数量与所述训练哈希向量中的比特位的数量相关,也即,一所述训练哈希向量中的比
特位对应一所述极化输出通道。
新获取所述训练数据,并基于重新获取的训练数据,对优化后的所述极化损失函数对应的
待训练哈希编码模型重新进行迭代训练,以继续优化所述极化损失函数,直至所述训练汉
明距离小于或者等于所述预设第二汉明距离阀值。
所述预设哈希编码模型。
型作为所述预设哈希编码模型,具体地,若所述训练汉明距离小于或者等于所述预设第二
汉明距离阀值,则判定所述待训练哈希编码模型达到所述预设迭代结束条件,也即,所述待
训练哈希编码模型中各所述极化输出通道对应的极化损失函数收敛,进而将所述待训练哈
希编码模型作为所述预设哈希编码模型。
行优化的参数变多,而本实施例中训练预设哈希编码模型时,只需基于简单的极化损失函
数,即可完成预设哈希编码模型的优化,进行避免了以成对相似度标签为训练目标,且在训
练时需加上约束条件以训练预设哈希编码模型的情况发生,进而可显著提高预设哈希编码
模型的构建效率。
希层对应的预设极化损失函数,直至所述待训练哈希层达到预设迭代结束条件,获得所述
哈希模型,其中,在迭代训练过程中,并未加上约束条件,且直接基于深度学习对所述待训
练哈希层进行迭代训练,进而避免了以成对相似度标签为训练目标,且加上约束条件,训练
所述待训练哈希层的情况发生,降低了模型训练时的计算复杂度,提高了哈希编码模型训
练时的计算效率,进而基于训练好的哈希编码模型,即可获取加密模型参数对应的输出哈
希编码值,进而即可实现对加密模型参数的验证,获得目标验证结果,进而基于目标验证结
果,即可确定并剔除提供虚假模型参数的恶意参与设备,以进行联邦学习,即可克服现有技
术中若各参与方中存在恶意参与方,且恶意参与方在训练过程中提供虚假的本地模型参
数,将导致联邦学习建模的效率和精度变低的技术缺陷,进而为提高联邦学习建模的效率
和精度奠定了基础。
器1005可以是高速RAM存储器,也可以是稳定的存储器(non‑volatile memory),例如磁盘
存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
显示屏(Display)、输入子模块比如键盘(Keyboard),可选矩形用户接口还可以包括标准的
有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI‑FI接口)。
部件布置。
的程序,支持模型参数验证程序以及其它软件和/或程序的运行。网络通信模块用于实现存
储器1005内部各组件之间的通信,以及与模型参数验证系统中其它硬件和软件之间通信。
果;
获得所述类别目标哈希编码值。
第二目标验证结果;
设备。
数,直至所述待训练哈希编码模型达到预设迭代结束条件,获得所述预设哈希编码模型。
所述极化损失函数;
码模型作为所述预设哈希编码模型。
现上述任一项所述的模型参数验证方法的步骤。
术领域,均同理包括在本申请的专利处理范围内。