资源数据处理方法、装置、计算机设备和存储介质转让专利

申请号 : CN202011024182.8

文献号 : CN112131607B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 靳胜鹏赵雪尧蓝利君卢笑孙艺芙李超

申请人 : 腾讯科技(深圳)有限公司

摘要 :

本申请涉及一种资源数据处理方法、装置、计算机设备和存储介质。该方法包括:将待处理资源数据输入更新资源可信度预测模型中,得到当前资源可信度;从更新资源可信度区间确定当前资源可信度对应的目标资源可信度区间;根据更新资源可信度区间与转换资源可信度的映射关系查找目标资源可信度区间对应的目标转换资源可信度;转换资源可信度是根据与更新资源可信度区间关联的原始资源可信度区间的区间值确定的,更新资源可信度区间的区间划分是根据原始资源可信度的统计分布和更新资源可信度确定的;基于目标转换资源可信度与预设转换资源可信度阈值确定待处理资源数据对应的资源数据处理结果。采用本方法能够避免隐私数据泄露,保证数据安全。

权利要求 :

1.一种资源数据处理方法,其特征在于,所述方法包括:

获取待处理资源数据,将所述待处理资源数据输入到更新资源可信度预测模型中进行预测,得到当前资源可信度,所述更新资源可信度预测模型是将原始资源可信度预测模型进行迭代更新后得到的模型;

从更新资源可信度区间中确定所述当前资源可信度对应的目标资源可信度区间,其中,所述更新资源可信度区间与转换资源可信度存在映射关系,所述转换资源可信度是根据与更新资源可信度区间关联的原始资源可信度区间的区间值确定的,所述更新资源可信度区间是统计原始资源可信度集在各个原始资源可信度区间的数量分布,基于数量分布对更新资源可信度集进行区间划分得到的,所述原始资源可信度是将标准资源数据样本输入所述原始资源可信度预测模型得到的,所述更新资源可信度是将所述标准资源数据样本输入所述更新资源可信度预测模型得到的;

根据所述映射关系查找所述目标资源可信度区间对应的目标转换资源可信度;

基于所述目标转换资源可信度与预设转换资源可信度阈值确定所述待处理资源数据对应的资源数据处理结果,所述预设转换资源可信度阈值是指所述原始资源可信度预测模型对应的资源可信度阈值。

2.根据权利要求1所述的方法,其特征在于,在所述获取待处理资源数据,将所述待处理资源数据输入到更新资源可信度预测模型中进行预测,得到当前资源可信度之前,还包括:获取所述原始资源可信度预测模型和迭代更新训练样本,所述原始资源可信度预测模型是基于历史训练样本使用深度神经网络训练得到的可信度预测模型,所述历史训练样本包括历史资源数据和对应的历史可信度,所述迭代更新训练样本包括更新资源数据和对应的更新可信度;

将所述更新资源数据作为所述原始资源可信度预测模型的输入,并将所述更新可信度作为所述原始资源可信度预测模型的标签进行训练,当达到预设训练完成条件时,得到所述更新资源可信度预测模型。

3.根据权利要求1所述的方法,其特征在于,在所述获取待处理资源数据,将所述待处理资源数据输入到更新资源可信度预测模型中进行预测,得到当前资源可信度之前,还包括:获取标准资源数据样本集、所述原始资源可信度预测模型和所述更新资源可信度预测模型;

将所述标准资源数据样本集输入所述原始资源可信度预测模型,得到原始资源可信度集,并将所述标准资源数据样本集输入所述更新资源可信度预测模型中,得到更新资源可信度集;

将所述原始资源可信度集进行区间划分,得到各个原始资源可信度区间,将所述各个原始资源可信度区间的区间值作为所述各个原始资源可信度区间对应的转换资源可信度;

统计所述原始资源可信度集在所述各个原始资源可信度区间的数量分布,基于所述数量分布对所述更新资源可信度集进行区间划分,得到各个更新资源可信度区间;

将所述各个更新资源可信度区间与对应的原始资源可信度区间的转换资源可信度关联保存,得到所述映射关系。

4.根据权利要求3所述的方法,其特征在于,所述将所述原始资源可信度集进行区间划分,得到各个原始资源可信度区间,将所述各个原始资源可信度区间的区间值作为所述各个原始资源可信度区间对应的转换资源可信度,包括:将所述原始资源可信度集进行排序,得到原始资源可信度序列,将所述原始资源可信度序列进行区间划分,得到所述各个原始资源可信度区间;

将所述各个原始资源可信度区间的区间上限值作为所述各个原始资源可信度区间对应的转换资源可信度。

5.根据权利要求3所述的方法,其特征在于,所述统计所述原始资源可信度集在所述各个原始资源可信度区间的数量分布,基于所述数量分布对所述更新资源可信度集进行区间划分,得到各个更新资源可信度区间,包括:统计所述各个原始资源可信度区间中原始资源可信度的累积数量,并获取标准资源数据样本的样本总数量,计算所述累积数量和所述样本总数量的比值,得到所述各个原始资源可信度区间的累积数量占比;

将所述更新资源可信度进行排序,得到更新资源可信度序列;

根据所述各个原始资源可信度区间的累积数量占比将所述更新资源可信度序列进行区间划分,得到所述更新资源可信度区间。

6.根据权利要求5所述的方法,其特征在于,所述根据所述各个原始资源可信度区间的累积数量占比将所述更新资源可信度序列进行区间划分,得到所述更新资源可信度区间,包括:从所述各个原始资源可信度区间确定当前原始资源可信度区间,并获取所述当前原始资源可信度区间的当前累积数量占比;

计算所述当前累积数量占比与所述更新资源可信度序列中更新资源可信度数量的乘积,得到当前更新资源可信度序列;

从所述当前更新资源可信度序列中确定当前更新资源可信度,将所述当前更新资源可信度作为区间上限值,并获取目标更新资源可信度区间的区间上限值作为区间下限值,根据所述区间上限值和所述区间下限值得到所述当前原始资源可信度区间对应的当前更新资源可信度区间。

7.根据权利要求1所述的方法,其特征在于,在所述获取待处理资源数据,将所述待处理资源数据输入到更新资源可信度预测模型中进行预测,得到当前资源可信度之前,还包括:获取所述更新资源可信度预测模型,将所述原始资源可信度预测模型替换为所述更新资源可信度预测模型,并运行所述更新资源可信度预测模型。

8.根据权利要求1所述的方法,其特征在于,所述待处理资源数据包括用户信用数据、用户行为数据、待过滤消息、待识别图像和待推荐数据中的至少一种。

9.根据权利要求1所述的方法,其特征在于,当所述待处理资源数据为用户行为数据时,所述更新资源可信度预测模型为更新异常行为检测模型,所述映射关系为更新行为异常度区间与转换行为异常度的关系,所述目标资源可信度区间为目标行为异常度区间,所述目标转换资源可信度为目标转换行为异常度;

所述基于所述目标转换资源可信度与预设转换资源可信度阈值确定所述待处理资源数据对应的资源数据处理结果,包括:当所述目标转换行为异常度超过预设转换行为异常度阈值时,得到所述用户行为数据为异常行为数据。

10.根据权利要求1所述的方法,其特征在于,当所述待处理资源数据包括待识别图像时,所述更新资源可信度预测模型为更新图像物体识别模型,所述映射关系为更新物体置信度区间与转换物体置信度的关系,所述目标资源可信度区间为目标物体置信度区间,所述目标转换资源可信度为目标转换物体置信度;

所述基于所述目标转换资源可信度与预设转换资源可信度阈值确定所述待处理资源数据对应的资源数据处理结果,包括:当所述目标转换物体置信度超过预设物体置信度阈值时,得到所述待识别图像对应的物体标识。

11.一种资源数据处理装置,其特征在于,所述装置包括:

当前可信度得到模块,用于获取待处理资源数据,将所述待处理资源数据输入到更新资源可信度预测模型中进行预测,得到当前资源可信度,所述更新资源可信度预测模型是将原始资源可信度预测模型进行迭代更新后得到的模型;

区间确定模块,用于从更新资源可信度区间中确定所述当前资源可信度对应的目标资源可信度区间;所述更新资源可信度区间与转换资源可信度存在映射关系,其中,所述转换资源可信度是根据与更新资源可信度区间关联的原始资源可信度区间的区间值确定的,所述更新资源可信度区间是统计原始资源可信度集在各个原始资源可信度区间的数量分布,基于数量分布对更新资源可信度集进行区间划分得到的,所述原始资源可信度是将标准资源数据样本输入所述原始资源可信度预测模型得到的,所述更新资源可信度是将所述标准资源数据样本输入所述更新资源可信度预测模型得到的;

目标可信度查找模块,用于根据所述映射关系查找所述目标资源可信度区间对应的目标转换资源可信度;

结果确定模块,用于基于所述目标转换资源可信度与预设转换资源可信度阈值确定所述待处理资源数据对应的资源数据处理结果,所述预设转换资源可信度阈值是指所述原始资源可信度预测模型对应的资源可信度阈值。

12.根据权利要求11所述的装置,其特征在于,所述装置,还包括:

模型获取模块,用于获取所述原始资源可信度预测模型和迭代更新训练样本,所述原始资源可信度预测模型是基于历史训练样本使用深度神经网络训练得到的可信度预测模型,所述历史训练样本包括历史资源数据和对应的历史可信度,所述迭代更新训练样本包括更新资源数据和对应的更新可信度;

迭代更新模块,用于将所述更新资源数据作为所述原始资源可信度预测模型的输入,并将所述更新可信度作为所述原始资源可信度预测模型的标签进行训练,当达到预设训练完成条件时,得到所述更新资源可信度预测模型。

13.根据权利要求11所述的装置,其特征在于,所述装置,还包括:

样本获取模块,用于获取标准资源数据样本集、所述原始资源可信度预测模型和所述更新资源可信度预测模型;

可信度得到模块,用于将所述标准资源数据样本集输入所述原始资源可信度预测模型,得到原始资源可信度集,并将所述标准资源数据样本集输入所述更新资源可信度预测模型中,得到更新资源可信度集;

转换可信度得到模块,用于将所述原始资源可信度集进行区间划分,得到各个原始资源可信度区间,将所述各个原始资源可信度区间的区间值作为所述各个原始资源可信度区间对应的转换资源可信度;

区间得到模块,用于统计所述原始资源可信度集在所述各个原始资源可信度区间的数量分布,基于所述数量分布对所述更新资源可信度集进行区间划分,得到各个更新资源可信度区间;

关联保存模块,用于将所述各个更新资源可信度区间与对应的原始资源可信度区间的转换资源可信度关联保存,得到所述映射关系。

14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。

15.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。

说明书 :

资源数据处理方法、装置、计算机设备和存储介质

技术领域

[0001] 本申请涉及互联网技术领域,特别是涉及一种资源数据处理方法、装置、计算机设备和存储介质。

背景技术

[0002] 随着人工智能AI技术的发展,出现了各种人工智能模型,目前,通过人工智能模型的使用能够提升业务水平。比如,通过使用可信度预测模型可以对数据的可信度进行预测,将可信度与设置的阈值进行比较,进而确定数据处理结果。当人工智能模型使用一段时间后,需要进行迭代更新,当对人工智能模型迭代更新后,由于更新后人工智能模型的结果分布发生变化,从而导致阈值不够准确,需要重新设置迭代更新后人工智能模型的阈值。并且,由于人工智能模型会经常进行更新迭代,从而需要不断的调整更新后人工智能模型的阈值,由于模型设置的阈值是比较隐私的数据,不断对模型设置的阈值进行调整会存在隐私数据泄露问题,造成数据安全风险。

发明内容

[0003] 基于此,有必要针对上述技术问题,提供一种能够避免不断调整模型阈值,提高模型阈值安全性的资源数据处理方法、装置、计算机设备和存储介质。
[0004] 一种资源数据处理方法,所述方法包括:
[0005] 获取待处理资源数据,将待处理资源数据输入到更新资源可信度预测模型中进行预测,得到当前资源可信度,更新资源可信度预测模型是将原始资源可信度预测模型进行迭代更新后得到的模型;
[0006] 从更新资源可信度区间中确定当前资源可信度对应的目标资源可信度区间;
[0007] 更新资源可信度区间与转换资源可信度存在映射关系,其中,转换资源可信度是根据与更新资源可信度区间关联的原始资源可信度区间的区间值确定的,更新资源可信度区间的区间划分是根据原始资源可信度的统计分布和更新资源可信度确定的,原始资源可信度是将标准资源数据样本输入原始资源可信度预测模型得到的,更新资源可信度是将标准资源数据样本输入更新资源可信度预测模型得到的;
[0008] 根据映射关系查找目标资源可信度区间对应的目标转换资源可信度;
[0009] 基于目标转换资源可信度与预设转换资源可信度阈值确定待处理资源数据对应的资源数据处理结果。
[0010] 一种资源数据处理装置,所述装置包括:
[0011] 当前可信度得到模块,用于获取待处理资源数据,将待处理资源数据输入到更新资源可信度预测模型中进行预测,得到当前资源可信度,更新资源可信度预测模型是将原始资源可信度预测模型进行迭代更新后得到的模型;
[0012] 区间确定模块,用于从更新资源可信度区间中确定当前资源可信度对应的目标资源可信度区间;更新资源可信度区间与转换资源可信度存在映射关系,其中,转换资源可信度是根据与更新资源可信度区间关联的原始资源可信度区间的区间值确定的,更新资源可信度区间的区间划分是根据原始资源可信度的统计分布和更新资源可信度确定的,原始资源可信度是将标准资源数据样本输入原始资源可信度预测模型得到的,更新资源可信度是将标准资源数据样本输入更新资源可信度预测模型得到的;
[0013] 目标可信度查找模块,用于根据映射关系查找目标资源可信度区间对应的目标转换资源可信度;
[0014] 结果确定模块,用于基于目标转换资源可信度与预设转换资源可信度阈值确定待处理资源数据对应的资源数据处理结果。
[0015] 一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
[0016] 获取待处理资源数据,将待处理资源数据输入到更新资源可信度预测模型中进行预测,得到当前资源可信度,更新资源可信度预测模型是将原始资源可信度预测模型进行迭代更新后得到的模型;
[0017] 从更新资源可信度区间中确定当前资源可信度对应的目标资源可信度区间;
[0018] 更新资源可信度区间与转换资源可信度存在映射关系,其中,转换资源可信度是根据与更新资源可信度区间关联的原始资源可信度区间的区间值确定的,更新资源可信度区间的区间划分是根据原始资源可信度的统计分布和更新资源可信度确定的,原始资源可信度是将标准资源数据样本输入原始资源可信度预测模型得到的,更新资源可信度是将标准资源数据样本输入更新资源可信度预测模型得到的;
[0019] 根据映射关系查找目标资源可信度区间对应的目标转换资源可信度;
[0020] 基于目标转换资源可信度与预设转换资源可信度阈值确定待处理资源数据对应的资源数据处理结果。
[0021] 一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
[0022] 获取待处理资源数据,将待处理资源数据输入到更新资源可信度预测模型中进行预测,得到当前资源可信度,更新资源可信度预测模型是将原始资源可信度预测模型进行迭代更新后得到的模型;
[0023] 从更新资源可信度区间中确定当前资源可信度对应的目标资源可信度区间;
[0024] 更新资源可信度区间与转换资源可信度存在映射关系,其中,转换资源可信度是根据与更新资源可信度区间关联的原始资源可信度区间的区间值确定的,更新资源可信度区间的区间划分是根据原始资源可信度的统计分布和更新资源可信度确定的,原始资源可信度是将标准资源数据样本输入原始资源可信度预测模型得到的,更新资源可信度是将标准资源数据样本输入更新资源可信度预测模型得到的;
[0025] 根据映射关系查找目标资源可信度区间对应的目标转换资源可信度;
[0026] 基于目标转换资源可信度与预设转换资源可信度阈值确定待处理资源数据对应的资源数据处理结果。
[0027] 上述资源数据处理方法、装置、计算机设备和存储介质,通过使用更新资源可信度区间与转换资源可信度的映射关系得到当前资源可信度对应的目标转换资源可信度,由于转换资源可信度是根据与更新资源可信度区间关联的原始资源可信度区间的区间值确定的,更新资源可信度区间的区间划分是根据原始资源可信度的统计分布和更新资源可信度确定的,能够使转换资源可信度的统计分布与原始资源可信度的统计分布一致。然后使用目标转换资源可信度与预设转换资源可信度阈值确定资源数据处理结果,从而不需要在模型更新迭代后对预设转换资源可信度阈值重新进行调整,避免了隐私数据的泄露问题,保证了预设转换资源可信度阈值的安全性并且使用分布一致的目标转换资源可信度与预设转换资源可信度阈值进行比对,保证了得到的资源数据处理结果的准确性。

附图说明

[0028] 图1为一个实施例中资源数据处理方法的应用环境图;
[0029] 图2为一个实施例中资源数据处理方法的流程示意图;
[0030] 图3为一个实施例中得到更新资源可信度预测模型的流程示意图;
[0031] 图4为一个实施例中得到映射关系的流程示意图;
[0032] 图5为一个具体实施例中原始资源可信度数量分布的示意图;
[0033] 图6为一个具体实施例中更新资源可信度数量分布的示意图;
[0034] 图7为一个实施例中得到转换资源可信度的流程示意图;
[0035] 图8为一个实施例中得到更新资源可信度区间的流程示意图;
[0036] 图9为一个实施例中得到当前更新资源可信度区间的流程示意图;
[0037] 图10为一个具体实施例中生成映射关系的示意图;
[0038] 图11为一个具体实施例中资源数据处理方法的流程示意图;
[0039] 图12为另一个具体实施例中资源数据处理方法的流程示意图;
[0040] 图13为一个具体实施例中资源数据处理方法的应用场景示意图;
[0041] 图14为一个具体实施例中模型评分截点的示意图;
[0042] 图15为一个实施例中资源数据处理装置的结构框图;
[0043] 图16为一个实施例中计算机设备的内部结构图。

具体实施方式

[0044] 为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
[0045] 机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
[0046] 本申请实施例提供的方案涉及人工智能的深度学习等技术,具体通过如下实施例进行说明:
[0047] 本申请提供的资源数据处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。服务器104可以从终端102获取待处理资源数据,服务器104将待处理资源数据输入到更新资源可信度预测模型中进行预测,得到当前资源可信度,更新资源可信度预测模型是将原始资源可信度预测模型进行迭代更新后得到的模型;从更新资源可信度区间中确定当前资源可信度对应的目标资源可信度区间;更新资源可信度区间与转换资源可信度存在映射关系,其中,转换资源可信度是根据与更新资源可信度区间关联的原始资源可信度区间的区间值确定的,更新资源可信度区间的区间划分是根据原始资源可信度的统计分布和更新资源可信度确定的,原始资源可信度是将标准资源数据样本输入原始资源可信度预测模型得到的,更新资源可信度是将标准资源数据样本输入更新资源可信度预测模型得到的;服务器104根据映射关系查找目标资源可信度区间对应的目标转换资源可信度;服务器104基于目标转换资源可信度与预设转换资源可信度阈值确定待处理资源数据对应的资源数据处理结果,服务器104可以将资源数据处理结果发送至终端102进行展示。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
[0048] 在一个实施例中,如图2所示,提供了一种资源数据处理方法,以该方法应用于图1中的服务器为例进行说明,可以理解的是,该资源数据处理方法也可以应用到终端中,在本实施例中,资源数据处理方法包括以下步骤:
[0049] 步骤202,获取待处理资源数据,将待处理资源数据输入到更新资源可信度预测模型中进行预测,得到当前资源可信度,更新资源可信度预测模型是将原始资源可信度预测模型进行迭代更新后得到的模型。
[0050] 其中,待处理资源数据是指需要进行处理的资源数据,该待处理资源数据可以是不同类型的数据,具体可以包括用户信用数据、用户行为数据、待过滤消息、待识别图像和待推荐数据中的至少一种。用户信用数据是指用户信贷相关的数据,包括但不限于用户贷款申请信息、用户已有贷款信息和用户贷款逾期信息等等。该用户信用数据能够用于判断对应用户是否为风险用户,从而决定是否向用户进行借款。用户行为数据是指用户在贷款过程中存在的行为的相关数据,可以包括:贷款申请页面停留时间、贷款申请操作信息等等,用户行为数据能够用户判断对应的用户是否为存在欺诈行为的用户。待过滤消息是指需要进行过滤的消息,该消息可以是短信消息、会话消息、通知消息等等。判断待过滤消息是否是垃圾消息,垃圾消息是指需要进行过滤的消息,比如,广告消息、骚扰消息、推销短信等等。当是垃圾消息就进行过滤,当不是垃圾消息时,就正常发送消息。待识别图像是指需要识别图像中的物体的图像。由物质构成的,占有一定空间的个体都称为物体,比如,该物体可以是人类、可以是动物、植物、汽车、房屋等等。待推荐数据是指需要进行推荐的数据,比如,视频、图片、新闻等等。判断待推荐数据是否需要进行推荐,当需要进行推荐时,进行推荐。当前资源可信度是指使用更新资源可信度预测模型得到的资源可信度,资源可信度用于表示待处理资源数据对应的可信程度。
[0051] 更新资源可信度预测模型是使用迭代更新训练样本原始资源可信度预测模型进行迭代更新后得到的模型,迭代更新训练样本中包括更新资源数据和对应的更新可信度。资源可信度预测模型用于对资源数据对应的类别进行区分。原始资源可信度预测模型是基于历史训练样本使用深度神经网络训练得到的可信度预测模型,历史训练样本包括历史资源数据和对应的历史可信度。
[0052] 具体地,服务器中部署运行有迭代更新后的更新资源可信度预测模型。然后当获取到待处理资源数据时,使用更新资源可信度预测模型对待处理资源数据进行处理,得到输出的可信度即得到当前更新资源可信度。
[0053] 步骤204,从更新资源可信度区间中确定当前资源可信度对应的目标资源可信度区间。
[0054] 其中,更新资源可信度区间是指更新资源可信度的资源可信度划分区间。是有多个已划分好的更新资源可信度区间。目标资源可信度区间是指包括有当前资源可信度的更新资源可信度区间。
[0055] 具体地,使用当前资源可信度在多个更新资源可信度区间中进行查找,得到对应的目标资源可信度区间。
[0056] 步骤206,更新资源可信度区间与转换资源可信度存在映射关系,其中,转换资源可信度是根据与更新资源可信度区间关联的原始资源可信度区间的区间值确定的,更新资源可信度区间的区间划分是根据原始资源可信度的统计分布和更新资源可信度确定的,原始资源可信度是将标准资源数据样本输入原始资源可信度预测模型得到的,更新资源可信度是将标准资源数据样本输入更新资源可信度预测模型得到的。
[0057] 具体地,原始资源可信度区间是指将原始资源可信度按照预设区间间隔划分后得到的区间。比如,原始资源可信度分布在0到1之间,则可以按照0.01的区间间隔进行划分,得到各个原始资源可信度区间。原始资源可信度区间的区间值可以是原始资源可信度区间的上限值,也可以是下限值,也可以是中间值等等。优选的原始资源可信度区间的区间值为原始资源可信度区间的上限值。原始资源可信度是使用原始资源可信度预测模型得到的,更新资源可信度是使用更新资源可信度预测模型得到的,原始资源可信度的分布和更新资源可信度的分布是不一致的,比如,原始资源可信度的分布区间为0到1之间,而更新资源可信度的分布区间为0.2到0.6之间。原始资源可信度的统计分布是指各个原始资源可信度区间中原始资源可信度的数量分布,每个划分后的原始资源可信度区间都对应有原始资源可信度。
[0058] 在一个实施例中,转换资源可信度可以是根据与更新资源可信度区间关联的原始资源可信度区间的区间序号确定的。该区间序号可以是按照区间的顺序得到的。
[0059] 步骤208,根据映射关系查找目标资源可信度区间对应的目标转换资源可信度。
[0060] 其中,转换资源可信度是指原始资源可信度,是将更新资源可信度进行映射转换后得到的。目标转换资源可信度是指当前资源可信度映射转换的原始资源可信度。
[0061] 具体地,服务器从预先保存的映射关系中查找到目标资源可信度区间对应的目标转换资源可信度。
[0062] 步骤210,基于目标转换资源可信度与预设转换资源可信度阈值确定待处理资源数据对应的资源数据处理结果。
[0063] 其中,预设转换资源可信度阈值是指原始资源可信度预测模型对应的资源可信度阈值,是预先设置好并一直保持不变的。资源数据处理结果是指对待处理资源数据的信任程度的处理结果,包括但不限于对待处理资源数据的信任程度为低和对待处理资源数据的信任程度为高。
[0064] 具体地,服务器将目标转换资源可信度与预设转换资源可信度阈值进行比较,当目标转换资源可信度超过预设转换资源可信度阈值时,得到待处理资源数据对应的信任程度为高。当目标转换资源可信度未超过预设转换资源可信度阈值时,得到待处理资源数据对应的信任程度为低。
[0065] 在上述资源数据处理方法中,通过使用更新资源可信度区间与转换资源可信度的映射关系得到当前资源可信度对应的目标转换资源可信度,由于转换资源可信度是根据与更新资源可信度区间关联的原始资源可信度区间的区间值确定的,更新资源可信度区间的区间划分是根据原始资源可信度的统计分布和更新资源可信度确定的,能够使转换资源可信度的统计分布与原始资源可信度的统计分布一致。然后使用目标转换资源可信度与预设转换资源可信度阈值确定资源数据处理结果,从而不需要在模型更新迭代后对预设转换资源可信度阈值重新进行调整,避免了隐私数据的泄露问题,保证了预设转换资源可信度阈值的安全性并且使用分布一致的目标转换资源可信度与预设转换资源可信度阈值进行比对,保证了得到的资源数据处理结果的准确性。
[0066] 在一个实施例中,如图3所示,在步骤202之前,即在获取待处理资源数据,将待处理资源数据输入到更新资源可信度预测模型中进行预测,得到当前资源可信度之前,还包括:
[0067] 步骤302,获取原始资源可信度预测模型和迭代更新训练样本,原始资源可信度预测模型是基于历史训练样本使用深度神经网络训练得到的可信度预测模型,历史训练样本包括历史资源数据和对应的历史可信度,迭代更新训练样本包括更新资源数据和对应的更新可信度。
[0068] 其中,原始资源可信度预测模型是指需要进行迭代更新的资源可信度预测模型。迭代更新训练样本是指在原始资源可信度预测模型使用过程中采集的训练样本。该训练样本包括更新资源数据和对应的更新可信度。深度神经网络(Deep Neural Networks,DNN)具有多层神经网络,包括输入层,隐藏层和输出层。深度神经网络的激活函数可以是S型函数,损失函数可以是交叉熵函数。
[0069] 具体地,服务器可以预先基于历史训练样本使用深度神经网络训练得到原始资源可信度预测模型。服务器也可以从部署原始资源可信度预测模型的服务器中获取到原始资源可信度预测模型,也可以从保存有原始资源可信度预测模型的服务器中获取到原始资源可信度预测模型。并且,服务器可以从数据库中获取到保存的迭代更新训练样本,也可以从互联网中采集迭代更新训练样本。
[0070] 步骤304,将更新资源数据作为原始资源可信度预测模型的输入,并将更新可信度作为原始资源可信度预测模型的标签进行训练,当达到预设训练完成条件时,得到更新资源可信度预测模型。
[0071] 具体地,预设训练完成条件可以包括训练误差小于预设阈值或者迭代次数超过最大次数。服务器将更新资源数据作为原始资源可信度预测模型的输入中进行前向传播,得到训练输出,计算训练输出与更新可信度的误差信息,当误差信息小于预设阈值时,得到更新资源可信度预测模型。当误差信息未小于预设阈值时,根据未小于预设阈值的误差信息进行反向传播迭代,直到达到预设训练完成条件时,将最后一次迭代的资源可信度预测模型作为得到的更新资源可信度预测模型。
[0072] 在一个实施例中,可以将迭代更新训练样本进行数据标准化处理,得到标准后的更新资源数据和更新可信度,比如,可以将更新训练样本进行最大最小值标准化,使优化过程变得平稳,公平对待每个样本。
[0073] 在上述实施例中,通过迭代更新训练样本对原始资源可信度预测模型进行迭代更新,得到更新资源可信度预测模型,从而能够使更新资源可信度预测模型更加的准确,方便后续业务使用。
[0074] 在一个实施例中,如图4所示,在步骤S202之前,即在获取待处理资源数据,将待处理资源数据输入到更新资源可信度预测模型中进行预测,得到当前资源可信度之前,还包括:
[0075] 步骤402,获取标准资源数据样本集、原始资源可信度预测模型和更新资源可信度预测模型。
[0076] 其中,标准资源数据样本集是指建立映射关系时使用的资源数据样本的集合,该标准资源数据样本集中包括但限于有历史资源数据和更新资源数据。
[0077] 具体地,服务器可以从数据库中获取到标准资源数据样本集、并获取到已部署使用原始资源可信度预测模型和未部署使用的更新资源可信度预测模型。
[0078] 步骤404,将标准资源数据样本集输入原始资源可信度预测模型,得到原始资源可信度集,并将标准资源数据样本集输入更新资源可信度预测模型中,得到更新资源可信度集。
[0079] 其中,原始资源可信度集中包括标准资源数据样本集中每个标准资源数据样本对应的原始资源可信度。更新资源可信度集中包括有标准资源数据样本集中每个标准资源数据样本对应的更新资源可信度。
[0080] 具体地,服务器将标准资源数据样本集分别输入到原始资源可信度预测模型和更新资源可信度预测模型中,得到原始资源可信度集和更新资源可信度集。
[0081] 步骤406,将原始资源可信度集进行区间划分,得到各个原始资源可信度区间,将各个原始资源可信度区间的区间值作为各个原始资源可信度区间对应的转换资源可信度。
[0082] 具体地,将原始资源可信度集中的原始资源可信度按照预设区间间隔进行划分,得到各个原始资源可信度区间,即将原始资源可信度集中最大的原始资源可信度作为上限,最小的原始资源可信度作为下限按照预设区间间隔进行区间划分,得到各个原始资源可信度区间,比如,最大的原始资源可信度为1,最小的原始资源可信度为0,预设区间间隔为0.01,则进行划分后得到100个原始资源可信度区间。然后服务器将各个原始资源可信度区间的区间值作为各个原始资源可信度区间对应的转换资源可信度,可以将原始资源可信度区间中的上限值作为将原始资源可信度区间对应的转换资源可信度。比如,原始资源可信度区间为0到0.01,则可以将0.01作为该原始资源可信度区间对应的转换资源可信度。
[0083] 步骤408,统计原始资源可信度集在各个原始资源可信度区间的数量分布,基于数量分布对更新资源可信度集进行区间划分,得到各个更新资源可信度区间。
[0084] 其中,数量分布是指原始资源可信度在各个原始资源可信度区间中数量的分布。更新资源可信度区间是指更新资源可信度的区间。
[0085] 具体地,服务器统计原始资源可信度集中原始资源可信度在各个原始资源可信度区间中的数量,并获取到原始资源可信度集中原始资源可信度的总数量,计算原始资源可信度在各个原始资源可信度区间中的数量与总数量的数量比值。根据该数量比值对更新资源可信度集进行区间划分,得到各个更新资源可信度区间。在一个具体的实施例中,统计的各个原始资源可信度区间的数量分布如图5所示,其中,横坐标为原始资源可信度,纵坐标为原始资源可信度在每个区间的数量占比的高斯拟合值。然后将更新资源可信度集按照相同划分区间进行划分后,得到的对照的更新资源可信度的数量分布示意图,如图6所示,其中,横坐标为更新资源可信度,纵坐标为更新资源可信度在每个区间的数量占比的高斯拟合值。明显的,原始资源可信度的分布和更新资源可信度的分布不一致,如果不更新模型阈值会导致模型的结果不准确,如果更新阈值就需要进行业务操作修改,浪费网络资源。
[0086] 步骤410,将各个更新资源可信度区间与对应的原始资源可信度区间的转换资源可信度关联保存,得到映射关系。
[0087] 具体地,服务器将各个更新资源可信度区间与对应的原始资源可信度区间的转换资源可信度关联保存,得到映射关系。
[0088] 在上述实施例中,通过原始资源可信度集在各个原始资源可信度区间的数量分布对更新资源可信度集进行区间划分,得到各个更新资源可信度区间,从而使更新资源可信度的分布和原始资源可信度的分布保持一致,然后将各个更新资源可信度区间与对应的原始资源可信度区间的转换资源可信度关联保存,得到映射关系,从而能够得到准确的映射关系,保证后续的使用。
[0089] 在一个实施例中,如图7所示,步骤406,即将原始资源可信度集进行区间划分,得到各个原始资源可信度区间,将各个原始资源可信度区间的区间值作为各个原始资源可信度区间对应的转换资源可信度,包括:
[0090] 步骤702,将原始资源可信度集进行排序,得到原始资源可信度序列,将原始资源可信度序列进行区间划分,得到各个原始资源可信度区间。
[0091] 其中,原始资源可信度序列是指按照顺序排列的原始资源可信度。
[0092] 具体地,服务器将原始资源可信度集按照由小到大的顺序进行排序,得到原始资源可信度序列,然后根据原始资源可信度集中的最大原始资源可信度和最小原始资源可信度确定待划分的原始资源可信度区间。
[0093] 然后按照预设区间间隔依次对原始资源可信度序列进行划分,得到各个原始资源可信度区间。
[0094] 步骤702,将各个原始资源可信度区间的区间上限值作为各个原始资源可信度区间对应的转换资源可信度。比如,最大原始资源可信度为1,最小原始资源可信度为0.预设区间间隔为0.01,然后进行划分得到各个原始资源可信度区间。每个原始资源可信度区间的区间上限依次为(0.01,0.02,0.03,……,0.99,1)。当需要更精确的可信度时,预设区间间隔可以设置的更小。预设区间间隔的大小在此不做限制。
[0095] 具体地,服务器之间将将各个原始资源可信度区间的区间上限值作为各个原始资源可信度区间对应的转换资源可信度。
[0096] 在上述实施例中,将原始资源可信度集进行排序,得到原始资源可信度序列,将原始资源可信度序列进行区间划分,得到各个原始资源可信度区间,然后将各个原始资源可信度区间的区间上限值作为各个原始资源可信度区间对应的转换资源可信度,保证了资源可信度的排序性没有发生改变,使得资源可信度映射前后基本不影响KS值,KS值用于验证模型对转换资源可信度超过预设转换资源可信度阈值和转换资源可信度未超过预设转换资源可信度阈值的区分能力,KS值越大,则模型的区分能力则越强。在一个具体的实施例中,如图5所示的原始资源可信度预测模型的KS值为0.2254,转换资源可信度后的更新资源可信度预测模型的KS值为0.2251,可以看到对KS值的影响较小。
[0097] 在一个实施例中,如图8所示,步骤408,即统计原始资源可信度集在各个原始资源可信度区间的数量分布,基于数量分布对更新资源可信度集进行区间划分,得到各个更新资源可信度区间,包括:
[0098] 步骤802,统计各个原始资源可信度区间中原始资源可信度的累积数量,并获取标准资源数据样本的样本总数量,计算累积数量和样本总数量的比值,得到各个原始资源可信度区间的累积数量占比。
[0099] 其中,累积数量是指原始资源可信度区间中原始资源可信度的数量与该原始资源可信度区间之前所有原始资源可信度区间中原始资源可信度的数量的和。
[0100] 具体地,服务器统计各个原始资源可信度区间中原始资源可信度的累积数量,并获取到标准资源数据样本的样本总数量,其中,该标准资源数据样本的样本总数量与原始资源可信度集中原始资源可信度的总数量是相同的。计算累积数量和样本总数量的比值,将各个原始资源可信度区间对应的比值,得到各个原始资源可信度区间的累积数量占比。
[0101] 步骤804,将更新资源可信度进行排序,得到更新资源可信度序列。
[0102] 步骤806,根据各个原始资源可信度区间的累积数量占比将更新资源可信度序列进行区间划分,得到更新资源可信度区间。
[0103] 具体地,服务器将更新资源可信度集中的更新资源可信度由小到大进行排序,得到更新资源可信度序列,然后根据各个原始资源可信度区间的累积数量占比将更新资源可信度序列进行区间划分,得到更新资源可信度区间。
[0104] 在上述实施例中,通过计算累积数量占比,然后根据累积数量占比将更新资源可信度序列进行区间划分,得到更新资源可信度区间,提高了得到的更新资源可信度区间的准确性。
[0105] 在一个实施例中,如图9所示,步骤806,即根据各个原始资源可信度区间的累积数量占比将更新资源可信度序列进行区间划分,得到更新资源可信度区间,包括:
[0106] 步骤902,从各个原始资源可信度区间确定当前原始资源可信度区间,并获取当前原始资源可信度区间的当前累积数量占比。
[0107] 具体地,各个原始资源可信度区间是按照顺序排列的,则依次选取原始资源可信度区间作为当前原始资源可信度区间,比如,先选取原始个原始资源可信度区间作为当前原始资源可信度区间。
[0108] 当前累积数量占比是指当前原始资源可信度区间对应的累积数量占比。
[0109] 步骤904,计算当前累积数量占比与更新资源可信度序列中更新资源可信度数量的乘积,得到当前更新资源可信度序列。
[0110] 其中,当前更新资源可信度序列是指当前累积数量占比对应的更新资源可信度组成的序列。
[0111] 具体的,服务器计算前累积数量占比与更新资源可信度序列中更新资源可信度总数量的乘积,得到当前累积数量占比对应的更新资源可信度数量,从更新资源可信度序列中选取当前累积数量占比对应的更新资源可信度数量的更新资源可信度组成当前更新资源可信度序列。
[0112] 步骤906,从当前更新资源可信度序列中确定当前更新资源可信度,将当前更新资源可信度作为区间上限值,并获取目标更新资源可信度区间的区间上限值作为区间下限值,根据区间上限值和区间下限值得到当前原始资源可信度区间对应的当前更新资源可信度区间。
[0113] 具体地,当前更新资源可信度是指当前更新资源可信度序列中最大的更新资源可信度,目标更新资源可信度区间是指前一个已确定的更新资源可信度区间。如果当前原始资源可信度区间为原始个原始资源可信度区间,则目标更新资源可信度区间为0,目标更新资源可信度区间的区间上限值也为0。根据区间上限值和区间下限值得到当前原始资源可信度区间对应的当前更新资源可信度区间。比如,当前原始资源可信度区间对应的累积数量占比为0.15,更新资源可信度序列中更新资源可信度数量为100,则更新资源可信度序列中更新资源可信度的数量为100与0.15的乘积15。然后依次从更新资源可信度序列选取15个更新资源可信度,得到当前更新资源可信度序列。如果当前原始资源可信度区间为原始个原始资源可信度区间,则得到区间下限值为0.当15个更新资源可信度序列中最大的更新资源可信度为0.23,则得到的原始个更新资源可信度区间为0到0.23。然后更新个更新资源可信度区间的区间下限值为0.23,当更新个原始资源可信度区间对应的累积数量占比为0.2,然后从更新资源可信度序列中未选取的更新资源可信度中依次选取100与0.2的乘积,即20个更新资源可信度,该20个更新资源可信度最大的更新资源可信度为0.41,则得到的更新个更新资源可信度区间为0.23到0.41,依次进行选取,直到各个原始资源可信度区间都确定对应的更新资源可信度区间。
[0114] 在上述实施例中,依次从更新资源可信度序列选取当前累积数量占比的更新资源可信度,得到当前更新资源可信度序列,然后根据当前更新资源可信度序列中的最大更新资源可信度确定区间上限值,将前一个原始资源可信度区间的区间上限值作为区间下限值,得到更新资源可信度区间,提高了得到更新资源可信度区间的准确性和效率。
[0115] 在一个具体的实施例中,如图10所示,为生成映射关系的示意图,具体来说:
[0116] 其中,旧模型是指原始资源可信度预测模型。新模型是指更新资源可信度预测模型。旧分数是指原始资源可信度,新分数是指更新资源可信度。样本是指标准资源数据样本。
[0117] 将10000个样本使用旧模型得到10000个旧分数后,并从小到大进行排序,并按照预设区间间隔0.01进行划分,得到各个旧分数区间,然后计算旧分数对应的样本在每个区间的累积分布,然后计算累积分布与所有样本数的比值得到累积占比,即得到累积占比序列。其中,小于0.01的样本占所有样本的0.15%,小于0.02的样本占所有样本的0.5%。然后将10000个样本使用新模型得到10000个新分数,将10000个新分数从小到大进行排序,使用累积占比序列计算新分数的分数区间的上界。其中,计算新分数数量与原始个旧分数区间的累积占比的乘积,得到原始个新分数区间中的新分数数量,即10000与0.15的乘积,为15个新分数,将这15个新分数最大的分数是0.001作为区间上限。并将对应的原始个旧分数区间的区间上限0.01作为映射后的输出,然后进一步,也可以区间上限0.01转换为整数1作为映射后的输出。计算每个累积占比对应的新分数数量,选取新分数数量中最大的新分数作为新分数区间的上限,得到各个新分数区间,并得到对应的旧分数的区间上限作为转换后的输出,关联保存转换后的输出与新分数区间,得到映射关系。其中,由于设定好的新分数区间的上下界限,有效避免新分数映射后小于0或者大于100的超界现象。在一个实施例中,映射后的新分数也可以是其他分数区间,比如,200到300区间。
[0118] 在一个实施例中,可以将映射关系保存为分段函数,如下公式(1)所示:
[0119]
[0120] 其中,x是指更新资源可信度,T是指目标转换资源可信度,p={p1,p1,...,pN}表示各个转换资源可信度。L是指更新资源可信度区间的区间界限值,包括上下界限值。N是指更新资源可信度区间的数量。
[0121] 在得到的待处理资源数据对应的更新资源可信度时,使用分段函数计算得到输出,将输出作为目标转换资源可信度。
[0122] 在上述实施例中,通过分段函数获取到目标转换资源可信度,能够有效避免映射后得到的目标转换资源可信度的超界现象,提高了效率和准确性。
[0123] 在一个实施例中,在获取待处理资源数据,将待处理资源数据输入到更新资源可信度预测模型中进行预测,得到当前资源可信度之前,还包括:
[0124] 获取更新资源可信度预测模型,将原始资源可信度预测模型替换为更新资源可信度预测模型,并运行更新资源可信度预测模型。
[0125] 具体地,服务器中部署使用原始资源可信度预测模型,用于正常的业务侧使用,在原始资源可信度预测模型使用过程中,进行更新资源数据样本的累积,当累积到一定程度时,迭代训练得到更新资源可信度预测模型,然后使用更新资源可信度预测模型替换点原始资源可信度预测模型,并运行更新资源可信度预测模型,即使用更新资源可信度预测模型进行资源数据的处理。
[0126] 在上述实施例中,通过预先将原始资源可信度预测模型替换为更新资源可信度预测模型,并运行使用,能够提高资源数据处理结果的准确性。
[0127] 在一个实施例中,待处理资源数据包括用户信用数据、用户行为数据、待过滤消息、待识别图像和待推荐数据中的至少一种。
[0128] 具体地,待处理资源数据可以包括有不同类型的数据,根据不同类型的数据使用不同的更新资源可信度预测模型来进行不同的处理。其中,每个用户都有对应的用户信用数据,根据每个用户的信用数据使用更新资源可信度预测模型来区分信贷风险用户和正常用户,其中,当目标转换资源可信度超过预设转换资源可信度阈值时,为信贷正常用户,可以正常处理该用户的信贷申请。当目标转换资源可信度未超过预设转换资源可信度阈值时,为信贷风险用户,需要进一步风险评估。每个用户都有对应的用户行为数据,根据用户行为数据使用更新资源可信度预测模型来区分具有欺诈行为的用户和正常用户。可以通过更新资源可信度预测模型来区分待过滤消息是否为垃圾消息,若是垃圾消息,则进行过滤。也可以通过更新资源可信度预测模型来识别待识别图像中的物体的置信度。还可以通过更新资源可信度预测模型来区分待推荐数据是否需要进行推荐,则是需要推荐的数据,则进行推荐处理。
[0129] 在一个实施例中,当待处理资源数据为用户行为数据时,更新资源可信度预测模型为更新异常行为检测模型,映射关系为更新行为异常度区间与转换行为异常度的关系,目标资源可信度区间为目标行为异常度区间,目标转换资源可信度为目标转换行为异常度;
[0130] 步骤210,即基于目标转换资源可信度与预设转换资源可信度阈值确定待处理资源数据对应的资源数据处理结果,包括:
[0131] 当目标转换行为异常度超过预设转换行为异常度阈值时,得到用户行为数据为异常行为数据。
[0132] 其中,异常行为包括但不限于欺诈行为和营销行为等等。行为异常度是指用户行为数据为异常用户行为数据的可信程度。异常行为检测模型用于检测用户行为数据的异常程度,异常程度越高,该用户行为数据为异常行为数据的可能性越高。预设转换行为异常度阈值是预先设置好的确定用户行为数据为异常用户行为数据的异常度阈值,是未进行更新的。
[0133] 具体地,获取用户行为数据,将用户行为数据输入到更新异常行为检测模型中进行检测,得到当前行为异常度,更新异常行为检测模型是将原始异常行为检测模型进行迭代更新后得到的模型,从更新行为异常度区间中确定当前行为异常度对应的目标行为异常度区间。更新行为异常度区间与转换行为异常度存在映射关系,其中,转换行为异常度是根据与更新行为异常度区间关联的原始行为异常度区间的区间值确定的,更新行为异常度区间的区间划分是根据原始行为异常度的统计分布和更新行为异常度确定的,原始行为异常度是将标准行为数据样本输入原始异常行为检测模型得到的,更新行为异常度是将标准行为数据样本输入更新异常行为检测模型得到的;根据映射关系查找目标行为异常度区间对应的目标转换行为异常度,当目标转换行为异常度超过预设转换行为异常度阈值时,得到用户行为数据为异常行为数据,此时,标识异常行为数据对应的用户为风险用户。标准行为数据样本中包括有异常用户行为数据和正常用户行为数据。
[0134] 在上述实施例中,通过将当前行为异常度映射为目标转换行为异常度,当目标转换行为异常度超过预设转换行为异常度阈值时,得到用户行为数据为异常行为数据,从而能避免调整预设转换行为异常度阈值,保证了阈值数据的安全性,同时提高了检测异常行为数据的准确性。
[0135] 在一个实施例中,当待处理资源数据包括待识别图像时,更新资源可信度预测模型为更新图像物体识别模型,映射关系为更新物体置信度区间与转换物体置信度的关系,目标资源可信度区间为目标物体置信度区间,目标转换资源可信度为目标转换物体置信度。
[0136] 步骤210,基于目标转换资源可信度与预设转换资源可信度阈值确定待处理资源数据对应的资源数据处理结果,包括:
[0137] 当目标转换物体置信度超过预设物体置信度阈值时,得到待识别图像对应的物体标识。
[0138] 其中,物体置信度是指图像中的物体是该物体的可信程度,该程度可以使用概率来表示,概率越高,可信程度越高,比如,识别得到的图像中物体为猫的概率为0.99,超过预设置信度阈值0.98,则该图像中的物体为猫。图像物体识别模型用于检测出图像中物体的置信度,然后根据物体的置信度确定物体的类别。预设物体置信度阈值是预先设置好的确定物体类别的置信度阈值,是不会发生变化的,未进行更新的。物体标识用于标识对应的物体,可以是物体的名称、编号和字符串等等。
[0139] 具体地,获取待识别图像,将待识别图像输入到更新图像物体识别模型中进行检测,得到当前物体置信度,更新图像物体识别模型是将原始图像物体识别模型进行迭代更新后得到的模型,从更新物体置信度区间中确定当前物体置信度对应的目标物体置信度区间。更新物体置信度区间与转换物体置信度存在映射关系,其中,转换物体置信度是根据与更新物体置信度区间关联的原始物体置信度区间的区间值确定的,更新物体置信度区间的区间划分是根据原始物体置信度的统计分布和更新物体置信度确定的,原始物体置信度是将标准图像样本输入原始图像物体识别模型得到的,更新物体置信度是将标准图像样本输入更新图像物体识别模型得到的;根据映射关系查找目标物体置信度区间对应的目标转换物体置信度,当目标转换物体置信度超过预设转换物体置信度阈值时,得到识别得到的图像中的物体类别。标准图像数据样本中包括有各种物体的图像。
[0140] 在一个实施例中,当待处理资源数据包括待过滤消息时,更新资源可信度预测模型为更新垃圾消息识别模型,映射关系为更新消息异常度区间与转换消息异常度的关系,目标资源可信度区间为目标消息异常度区间,目标转换资源可信度为目标转换消息异常度。
[0141] 其中,消息异常度是指待过滤消息是垃圾消息的可信程度。可信程度是可以用概率来进行表示,比如,该待过滤消息为垃圾消息的概率为0.99,超过预设阈值0.98,将该待过滤消息进行过滤。更新垃圾消息识别模型用于识别出待过滤消息对应的消息异常度,当消息异常度超过预设消息异常度阈值时,将对应的待过滤消息进行过滤。
[0142] 具体地,获取待过滤消息,将待过滤消息输入到更新垃圾消息识别模型中进行检测,得到当前消息异常度,更新垃圾消息识别模型是将原始垃圾消息识别模型进行迭代更新后得到的模型,从更新消息异常度区间中确定当前消息异常度对应的目标消息异常度区间。更新消息异常度区间与转换消息异常度存在映射关系,其中,转换消息异常度是根据与更新消息异常度区间关联的原始消息异常度区间的区间值确定的,更新消息异常度区间的区间划分是根据原始消息异常度的统计分布和更新消息异常度确定的,原始消息异常度是将标准消息样本输入原始垃圾消息识别模型得到的,更新消息异常度是将标准消息样本输入更新垃圾消息识别模型得到的;根据映射关系查找目标消息异常度区间对应的目标转换消息异常度,当目标转换消息异常度超过预设转换消息异常度阈值时,得到待过滤消息为垃圾消息,并进行过滤处理。标准消息数据样本中包括有垃圾消息和正常消息,从而能够方便消息的过滤。
[0143] 在一个实施例中,当待处理资源数据包括待推荐数据时,更新资源可信度预测模型为更新待推荐数据检测模型,映射关系为更新数据推荐度区间与转换数据推荐度的关系,目标资源可信度区间为目标数据推荐度区间,目标转换资源可信度为目标转换数据推荐度。
[0144] 其中,数据推荐度是指推荐待推荐数据的概率。更新待推荐数据检测模型用于检测待推荐数据对应的数据推荐度,从而确定是否进行推荐。
[0145] 具体地,获取待推荐数据,将待推荐数据输入到更新待推荐数据检测模型中进行检测,得到当前数据推荐度,更新待推荐数据检测模型是将原始待推荐数据检测模型进行迭代更新后得到的模型,从更新数据推荐度区间中确定当前数据推荐度对应的目标数据推荐度区间。更新数据推荐度区间与转换数据推荐度存在映射关系,其中,转换数据推荐度是根据与更新数据推荐度区间关联的原始数据推荐度区间的区间值确定的,更新数据推荐度区间的区间划分是根据原始数据推荐度的统计分布和更新数据推荐度确定的,原始数据推荐度是将标准推荐数据样本输入原始推荐数据检测模型得到的,更新数据推荐度是将标准推荐数据样本输入更新推荐数据检测模型得到的;根据映射关系查找目标数据推荐度区间对应的目标转换数据推荐度,当目标转换数据推荐度超过预设转换数据推荐度阈值时,将待推荐数据进行推荐处理,比如将待推荐的视频发送到用户终端展示等等。标准推荐数据样本中包括有已推荐数据和未推荐数据。
[0146] 在一个具体的实施例中,如图11所示,提供一种资源数据处理方法,具体包括以下步骤:
[0147] 步骤1102,获取原始资源可信度预测模型和迭代更新训练样本,将更新资源数据作为原始资源可信度预测模型的输入,并将更新可信度作为原始资源可信度预测模型的标签进行训练,得到更新资源可信度预测模型。
[0148] 步骤1104,获取标准资源数据样本集,分别将标准资源数据样本集输入原始资源可信度预测模型和更新资源可信度预测模型中,得到原始资源可信度集和更新资源可信度集。
[0149] 步骤1106,将原始资源可信度集进行排序,得到原始资源可信度序列,将原始资源可信度序列进行区间划分,得到各个原始资源可信度区间,将各个原始资源可信度区间的区间上限值作为各个原始资源可信度区间对应的转换资源可信度。
[0150] 步骤1108,统计各个原始资源可信度区间中原始资源可信度的累积数量,并获取标准资源数据样本的样本总数量,计算累积数量和样本总数量的比值,得到各个原始资源可信度区间的累积数量占比。
[0151] 步骤1110,将更新资源可信度进行排序,得到更新资源可信度序列,从各个原始资源可信度区间确定当前原始资源可信度区间,并获取当前原始资源可信度区间的当前累积数量占比,计算当前累积数量占比与更新资源可信度序列中更新资源可信度数量的乘积,得到当前更新资源可信度序列。
[0152] 步骤1112,从当前更新资源可信度序列中确定当前更新资源可信度,将当前更新资源可信度作为区间上限值,并获取目标原始资源可信度区间的区间上限值作为区间下限值,根据区间上限值和区间下限值得到当前更新资源可信度区间。
[0153] 步骤1114,将各个更新资源可信度区间与对应的原始资源可信度区间的转换资源可信度关联保存,得到映射关系,并运行更新资源可信度预测模型。
[0154] 步骤1116,获取待处理资源数据,将待处理资源数据输入到更新资源可信度预测模型中,得到当前资源可信度,从更新资源可信度区间中确定当前资源可信度对应的目标资源可信度区间。
[0155] 步骤1118,根据映射关系查找目标资源可信度区间对应的目标转换资源可信度。基于目标转换资源可信度与预设转换资源可信度阈值确定待处理资源数据对应的资源数据处理结果。
[0156] 在一个具体的实施例中,如图12所示,该资源数据处理方法,具体包括以下步骤:
[0157] Step1:选取标准样本集,得到目标分布。具体来说:准备标准样本集,使用旧模型对标准样本集中的每个样本进行打分,得到分数,将标准样本集按旧模型的分数由低到高排序,对评分值进行分组,得到分数分布,得到各分组的分数映射表。然后同时用新模型对标准样本集中的每个样本进行打分,得到分数,将标准样本集按新模型的分数由低到高排序。其中,新模型是对旧模型进行迭代更新后得到的模型。
[0158] Step2:确定累积占比序列,生成映射表。具体来说:计算就模型对应的分数分组中每一组中样本的累积数量占比,得到累积占比序列,然后按照累积占比序列对新模型排序后的分数进行分组,得到新模型分数分组,并确定每个新模型分数分组对应的转换后的新分数,然后将转换后的新分数和新模型分数分组管理保存得到映射表。
[0159] Step3:上线新模型,并进行分数转换。具体来说:将线上的旧模型更新为新模型,然后将用户新样本输入到新模型中,得到新模型分数,然后按照映射表进行转换,得到转换后的分数,将转换后的分数与旧模型的模型阈值进行比较,得到用户新样本的模型处理结果。
[0160] 本申请还提供一种应用场景,该应用场景应用上述的资源数据处理方法。具体地,该资源数据处理方法在该应用场景的应用如下:
[0161] 资源数据处理方法应用到在线风控系统中,如图13所示,为在线风控系统的应用场景示意图,其中,通过模型层进行风控模型的迭代更新,通过业务层进行业务的使用。具体来说:在风控模型的线上服务过程中,风控系统首先从后台数据库中拉取每个新客户请求所对应的用户特征数据,再调用更新后的风控模型进行风险预测,得到风险概率值,最后经分数映射函数比如公式(1)生成最终的风险评分以供风控业务使用,风控业务系统通过将风险评分与预设的更新前的风控模型的阈值进行比较。如图14所示,为模型的评分与cutoff决策点的示意图,cutoff是指模型评分截点,用以实现风控模型预测评分时在业务中的具体应用。比如,在信贷业务中,若基于风控模型的风险评分高于cut‑off值时,拒绝客户的借款业务申请。其中,虚线表示风险样本分布,实线表示正常样本分布。
[0162] 应该理解的是,虽然图2‑4、图7‑9、图11和图12的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2‑4、图7‑9、图11和图12中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0163] 在一个实施例中,如图15所示,提供了一种资源数据处理装置1500,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:当前可信度得到模块1502、区间确定模块1504、目标可信度查找模块1506和结果确定模块1508,其中:
[0164] 当前可信度得到模块1502,用于获取待处理资源数据,将待处理资源数据输入到更新资源可信度预测模型中进行预测,得到当前资源可信度,更新资源可信度预测模型是将原始资源可信度预测模型进行迭代更新后得到的模型;
[0165] 区间确定模块1504,用于从更新资源可信度区间中确定当前资源可信度对应的目标资源可信度区间;更新资源可信度区间与转换资源可信度存在映射关系,其中,转换资源可信度是根据与更新资源可信度区间关联的原始资源可信度区间的区间值确定的,更新资源可信度区间的区间划分是根据原始资源可信度的统计分布和更新资源可信度确定的,原始资源可信度是将标准资源数据样本输入原始资源可信度预测模型得到的,更新资源可信度是将标准资源数据样本输入更新资源可信度预测模型得到的;
[0166] 目标可信度查找模块1506,用于根据映射关系查找目标资源可信度区间对应的目标转换资源可信度;
[0167] 结果确定模块1508,用于基于目标转换资源可信度与预设转换资源可信度阈值确定待处理资源数据对应的资源数据处理结果。
[0168] 在一个实施例中,资源数据处理装置1500,还包括:
[0169] 模型获取模块,用于获取原始资源可信度预测模型和迭代更新训练样本,原始资源可信度预测模型是基于历史训练样本使用深度神经网络训练得到的可信度预测模型,历史训练样本包括历史资源数据和对应的历史可信度,迭代更新训练样本包括更新资源数据和对应的更新可信度;
[0170] 迭代更新模块,用于将更新资源数据作为原始资源可信度预测模型的输入,并将更新可信度作为原始资源可信度预测模型的标签进行训练,当达到预设训练完成条件时,得到更新资源可信度预测模型。
[0171] 在一个实施例中,资源数据处理装置1500,还包括:
[0172] 样本获取模块,用于获取标准资源数据样本集、原始资源可信度预测模型和更新资源可信度预测模型;
[0173] 可信度得到模块,用于将标准资源数据样本集输入原始资源可信度预测模型,得到原始资源可信度集,并将标准资源数据样本集输入更新资源可信度预测模型中,得到更新资源可信度集;
[0174] 转换可信度得到模块,用于将原始资源可信度集进行区间划分,得到各个原始资源可信度区间,将各个原始资源可信度区间的区间值作为各个原始资源可信度区间对应的转换资源可信度;
[0175] 区间得到模块,用于统计原始资源可信度集在各个原始资源可信度区间的数量分布,基于数量分布对更新资源可信度集进行区间划分,得到各个更新资源可信度区间;
[0176] 关联保存模块,用于将各个更新资源可信度区间与对应的原始资源可信度区间的转换资源可信度关联保存,得到映射关系。
[0177] 在一个实施例中,转换可信度得到模块,包括:
[0178] 原始区间划分单元,用于将原始资源可信度集进行排序,得到原始资源可信度序列,将原始资源可信度序列进行区间划分,得到各个原始资源可信度区间;
[0179] 转换可信度确定单元,用于将各个原始资源可信度区间的区间上限值作为各个原始资源可信度区间对应的转换资源可信度。
[0180] 在一个实施例中,更新区间得到模块,包括:
[0181] 占比得到单元,用于统计各个原始资源可信度区间中原始资源可信度的累积数量,并获取标准资源数据样本的样本总数量,计算累积数量和样本总数量的比值,得到各个原始资源可信度区间的累积数量占比;
[0182] 排序单元,用于将更新资源可信度进行排序,得到更新资源可信度序列;
[0183] 区间划分单元,用于根据各个原始资源可信度区间的累积数量占比将更新资源可信度序列进行区间划分,得到更新资源可信度区间。
[0184] 在一个实施例中,区间划分单元还用于从各个原始资源可信度区间确定当前原始资源可信度区间,并获取当前原始资源可信度区间的当前累积数量占比;计算当前累积数量占比与更新资源可信度序列中更新资源可信度数量的乘积,得到当前更新资源可信度序列;从当前更新资源可信度序列中确定当前更新资源可信度,将当前更新资源可信度作为区间上限值,并获取目标原始资源可信度区间的区间上限值作为区间下限值,根据区间上限值和区间下限值得到当前原始资源可信度区间对应的当前更新资源可信度区间。
[0185] 在一个实施例中,资源数据处理装置1500,还包括:
[0186] 模型替换模块,用于获取更新资源可信度预测模型,将原始资源可信度预测模型替换为更新资源可信度预测模型,并运行更新资源可信度预测模型。
[0187] 在一个实施例中,待处理资源数据包括用户信用数据、用户行为数据、待过滤消息、待识别图像和待推荐数据中的至少一种。
[0188] 在一个实施例中,当待处理资源数据为用户行为数据时,更新资源可信度预测模型为更新异常行为检测模型,映射关系为更新行为异常度区间与转换行为异常度的关系,目标资源可信度区间为目标行为异常度区间,目标转换资源可信度为目标转换行为异常度;
[0189] 结果确定模块1508,包括:
[0190] 异常确定模块,用于当目标转换行为异常度超过预设转换行为异常度阈值时,得到用户行为数据为异常行为数据。
[0191] 在一个实施例中,当待处理资源数据包括待识别图像时,更新资源可信度预测模型为更新图像物体识别模型,映射关系为更新物体置信度区间与转换物体置信度的关系,目标资源可信度区间为目标物体置信度区间,目标转换资源可信度为目标转换物体置信度;
[0192] 结果确定模块1508,包括:
[0193] 物体得到模块,用于当目标转换物体置信度超过预设物体置信度阈值时,得到待识别图像对应的物体标识。
[0194] 关于资源数据处理装置的具体限定可以参见上文中对于资源数据处理方法的限定,在此不再赘述。上述资源数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
[0195] 在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图16所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储资源数据样本。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种资源数据处理方法。
[0196] 本领域技术人员可以理解,图16中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0197] 在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0198] 在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0199] 在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
[0200] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read‑Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
[0201] 以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0202] 以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。