一种用户行为的处理方法、装置及设备转让专利
申请号 : CN202211332029.0
文献号 : CN115408449B
文献日 : 2023-03-07
发明人 : 赵闻飙 , 林晓彤 , 徐恪 , 李琦
申请人 : 支付宝(杭州)信息技术有限公司
摘要 :
权利要求 :
1.一种用户行为的处理方法,所述方法包括:
获取目标用户在当前时刻执行目标业务过程中的用户行为数据,并基于当前时刻获取的用户行为数据,获取所述目标用户执行所述目标业务过程中的相应用户历史行为数据;
将当前时刻获取的用户行为数据和相应所述用户历史行为数据分别输入到预先训练的编码模型中,得到所述用户行为数据对应的向量表征和相应所述用户历史行为数据对应的向量表征,所述编码模型能够对数据进行并行处理的模型;
基于所述用户行为数据对应的向量表征和相应所述用户历史行为数据对应的向量表征,确定所述用户行为数据与相应所述用户历史行为数据之间的相似度,并基于所述相似度,确定所述目标用户执行目标业务过程中用户行为分布的变化趋势信息;
基于所述目标用户执行目标业务过程中用户行为分布的变化趋势信息,确定所述用户行为数据中所述目标用户的用户行为发生突变的位置。
2.根据权利要求1所述的方法,所述方法还包括:
获取用于训练所述编码模型的训练样本,所述训练样本中包括多组不同的用户行为样本对,所述用户行为样本对包括用户执行所述目标业务过程中的用户历史行为样本和相应的用户未来行为样本,所述多组不同的用户行为样本对包括多组正样本对和多组负样本对,不同的所述用户行为样本对之间的时间间隔小于预设间隔阈值;
基于所述多组不同的用户行为样本对,并以所述正样本对中用户历史行为样本和相应的用户未来行为样本对应的向量表征之间的相似度越大,所述负样本对中用户历史行为样本和相应的用户未来行为样本对应的向量表征之间的相似度越大作为模型训练所要达到的目标对所述编码模型进行模型训练,得到训练后的编码模型。
3.根据权利要求2所述的方法,所述获取用于训练所述编码模型的训练样本,包括:获取第一用户执行所述目标业务过程中的用户历史行为数据作为所述用户历史行为样本,并获取与所述用户历史行为样本相应的用户未来行为样本,将获取的所述用户历史行为样本和相应的用户未来行为样本构建为所述用户行为样本对中的正样本对;
将构建的正样本对中的一个正样本对中的用户历史行为样本分别与构建的正样本对中的其它正样本对中的用户未来行为样本构建为所述负样本对;
基于构建的所述正样本对和构建的所述负样本对构建所述训练样本中的多组不同的用户行为样本对。
4.根据权利要求1所述的方法,所述基于所述相似度,确定所述目标用户执行目标业务过程中用户行为分布的变化趋势信息,包括:基于所述相似度计算所述相似度之间的差值;
基于所述相似度之间的差值,确定相应的移动平均值,并基于确定的移动平均值,确定所述目标用户执行目标业务过程中用户行为分布的变化趋势信息;
所述基于所述目标用户执行目标业务过程中用户行为分布的变化趋势信息,确定所述用户行为数据中所述目标用户的用户行为发生突变的位置,包括:通过寻峰算法确定所述移动平均值中的局部最大值;
基于确定的所述局部最大值对应的时间间隔,确定所述用户行为数据中所述目标用户的用户行为发生突变的位置。
5.根据权利要求4所述的方法,所述用户行为数据与相应所述用户历史行为数据之间的相似度为余弦相似度。
6.根据权利要求1‑5中任一项所述的方法,所述编码模型为基于卷积神经网络模型构建的模型,或者,所述编码模型为基于Transformer类的模型构建的模型。
7.根据权利要求1‑5中任一项所述的方法,所述编码模型为基于时域卷积网络TCN模型构建的模型。
8.根据权利要求7所述的方法,所述目标业务为金融类业务,所述方法还包括:基于所述用户行为数据中所述目标用户的用户行为发生突变的位置,对所述目标用户的账户进行风险检测;
如果确定所述目标用户的账户存在预设风险,则对所述目标用户的账户进行风险防控处理。
9.一种用户行为的处理装置,所述装置包括:
数据获取模块,获取目标用户在当前时刻执行目标业务过程中的用户行为数据,并基于当前时刻获取的用户行为数据,获取所述目标用户执行所述目标业务过程中的相应用户历史行为数据;
模型处理模块,将当前时刻获取的用户行为数据和相应所述用户历史行为数据分别输入到预先训练的编码模型中,得到所述用户行为数据对应的向量表征和相应所述用户历史行为数据对应的向量表征,所述编码模型能够对数据进行并行处理的模型;
数据处理模块,基于所述用户行为数据对应的向量表征和相应所述用户历史行为数据对应的向量表征,确定所述用户行为数据与相应所述用户历史行为数据之间的相似度,并基于所述相似度,确定所述目标用户执行目标业务过程中用户行为分布的变化趋势信息;
行为突变确定模块,基于所述目标用户执行目标业务过程中用户行为分布的变化趋势信息,确定所述用户行为数据中所述目标用户的用户行为发生突变的位置。
10.一种用户行为的处理设备,所述用户行为的处理设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:获取目标用户在当前时刻执行目标业务过程中的用户行为数据,并基于当前时刻获取的用户行为数据,获取所述目标用户执行所述目标业务过程中的相应用户历史行为数据;
将当前时刻获取的用户行为数据和相应所述用户历史行为数据分别输入到预先训练的编码模型中,得到所述用户行为数据对应的向量表征和相应所述用户历史行为数据对应的向量表征,所述编码模型能够对数据进行并行处理的模型;
基于所述用户行为数据对应的向量表征和相应所述用户历史行为数据对应的向量表征,确定所述用户行为数据与相应所述用户历史行为数据之间的相似度,并基于所述相似度,确定所述目标用户执行目标业务过程中用户行为分布的变化趋势信息;
基于所述目标用户执行目标业务过程中用户行为分布的变化趋势信息,确定所述用户行为数据中所述目标用户的用户行为发生突变的位置。
11.一种存储介质,所述存储介质用于存储计算机可执行指令,所述可执行指令在被处理器执行时实现以下流程:获取目标用户在当前时刻执行目标业务过程中的用户行为数据,并基于当前时刻获取的用户行为数据,获取所述目标用户执行所述目标业务过程中的相应用户历史行为数据;
将当前时刻获取的用户行为数据和相应所述用户历史行为数据分别输入到预先训练的编码模型中,得到所述用户行为数据对应的向量表征和相应所述用户历史行为数据对应的向量表征,所述编码模型能够对数据进行并行处理的模型;
基于所述用户行为数据对应的向量表征和相应所述用户历史行为数据对应的向量表征,确定所述用户行为数据与相应所述用户历史行为数据之间的相似度,并基于所述相似度,确定所述目标用户执行目标业务过程中用户行为分布的变化趋势信息;
基于所述目标用户执行目标业务过程中用户行为分布的变化趋势信息,确定所述用户行为数据中所述目标用户的用户行为发生突变的位置。
说明书 :
一种用户行为的处理方法、装置及设备
技术领域
背景技术
模型训练发现异常行为,因此,可以一定程度上,从用户的行为是否有明显的突变这一维
度,发现用户的异常风险。例如,用户从一种交易模式转变为另一种模式,说明用户的使用
习惯发生改变,其中可能是账户使用者发生转变或用户的交易场景发生变化,在上述变化
中可能蕴含着各类风控风险,通过对时序变化点进行检测,可以一定程度上识别到有风险
的账户,从而进行提前防控。在变化位置检测应用中,可以分为两个应用方式:在线方式和
离线方式,其中,在线方式不会运用到未来数据,主要用于事件预警;离线方式可以用来进
行历史数据检测,评估模型效能,进行在线预测时,往往会使得统计类或表征信息不全面,
从而导致识别准确率不高。为此,需要提供一种识别准确率更高的时序数据的变化位置检
测方式,从而可以使得统计类或表征信息更加全面。
发明内容
获取所述目标用户执行所述目标业务过程中的相应用户历史行为数据。将当前时刻获取的
用户行为数据和相应所述用户历史行为数据分别输入到预先训练的编码模型中,得到所述
用户行为数据对应的向量表征和相应所述用户历史行为数据对应的向量表征,所述编码模
型能够对数据进行并行处理的模型。基于所述用户行为数据对应的向量表征和相应所述用
户历史行为数据对应的向量表征,确定所述用户行为数据与相应所述用户历史行为数据之
间的相似度,并基于所述相似度,确定所述目标用户执行目标业务过程中用户行为分布的
变化趋势信息。基于所述目标用户执行目标业务过程中用户行为分布的变化趋势信息,确
定所述用户行为数据中所述目标用户的用户行为发生突变的位置。
户行为数据,获取所述目标用户执行所述目标业务过程中的相应用户历史行为数据。模型
处理模块,将当前时刻获取的用户行为数据和相应所述用户历史行为数据分别输入到预先
训练的编码模型中,得到所述用户行为数据对应的向量表征和相应所述用户历史行为数据
对应的向量表征,所述编码模型能够对数据进行并行处理的模型。数据处理模块,基于所述
用户行为数据对应的向量表征和相应所述用户历史行为数据对应的向量表征,确定所述用
户行为数据与相应所述用户历史行为数据之间的相似度,并基于所述相似度,确定所述目
标用户执行目标业务过程中用户行为分布的变化趋势信息。行为突变确定模块,基于所述
目标用户执行目标业务过程中用户行为分布的变化趋势信息,确定所述用户行为数据中所
述目标用户的用户行为发生突变的位置。
所述处理器:获取目标用户在当前时刻执行目标业务过程中的用户行为数据,并基于当前
时刻获取的用户行为数据,获取所述目标用户执行所述目标业务过程中的相应用户历史行
为数据。将当前时刻获取的用户行为数据和相应所述用户历史行为数据分别输入到预先训
练的编码模型中,得到所述用户行为数据对应的向量表征和相应所述用户历史行为数据对
应的向量表征,所述编码模型能够对数据进行并行处理的模型。基于所述用户行为数据对
应的向量表征和相应所述用户历史行为数据对应的向量表征,确定所述用户行为数据与相
应所述用户历史行为数据之间的相似度,并基于所述相似度,确定所述目标用户执行目标
业务过程中用户行为分布的变化趋势信息。基于所述目标用户执行目标业务过程中用户行
为分布的变化趋势信息,确定所述用户行为数据中所述目标用户的用户行为发生突变的位
置。
业务过程中的用户行为数据,并基于当前时刻获取的用户行为数据,获取所述目标用户执
行所述目标业务过程中的相应用户历史行为数据。将当前时刻获取的用户行为数据和相应
所述用户历史行为数据分别输入到预先训练的编码模型中,得到所述用户行为数据对应的
向量表征和相应所述用户历史行为数据对应的向量表征,所述编码模型能够对数据进行并
行处理的模型。基于所述用户行为数据对应的向量表征和相应所述用户历史行为数据对应
的向量表征,确定所述用户行为数据与相应所述用户历史行为数据之间的相似度,并基于
所述相似度,确定所述目标用户执行目标业务过程中用户行为分布的变化趋势信息。基于
所述目标用户执行目标业务过程中用户行为分布的变化趋势信息,确定所述用户行为数据
中所述目标用户的用户行为发生突变的位置。
附图说明
本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的
前提下,还可以根据这些附图获得其他的附图。
具体实施方式
的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,
本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于
本说明书保护的范围。
如笔记本电脑或台式电脑等计算机设备,或者,也可以为IoT设备(具体如智能手表、车载设
备等)等。该服务器可以是独立的一个服务器,还可以是由多个服务器构成的服务器集群
等,该服务器可以是如金融业务或网络购物业务等的后台服务器,也可以是某应用程序的
后台服务器等。本实施例中以服务器为例进行详细说明,对于终端设备的执行过程可以参
见下述相关内容,在此不再赘述。该方法具体可以包括以下步骤:
行为数据。
目标业务可以是一项业务,也可以包括多项业务,具体可以根据实际情况设定,本说明书实
施例对此不做限定。用户行为信息可以是目标用户执行目标业务的过程中目标用户进行任
意操作所产生的信息,用户行为信息具体可以包括支付操作行为的相关数据、支付金额、转
账操作行为的相关数据、转账金额、购物品类等,具体可以根据实际情况设定。用户历史行
为数据可以是当前时刻之前的某时间点或时间段内目标用户执行目标业务的过程中目标
用户进行某一项操作或连续的多项操作所产生的数据,例如,用户历史行为数据是在当前
时刻前的1分钟时,目标用户执行目标业务的过程中目标用户进行连续的多项操作所产生
的数据,基于此,在实际应用中,目标用户在当前时刻执行目标业务过程中的用户行为数据
可以作为用户未来行为数据。
有监督的模型训练发现异常行为,因此,可以一定程度上,从用户的行为是否有明显的突变
这一维度,发现用户的异常风险。例如,用户从一种交易模式转变为另一种模式,说明用户
的使用习惯发生改变,其中可能是账户使用者发生转变或用户的交易场景发生变化,在上
述变化中可能蕴含着各类风控风险,通过对时序变化点进行检测,可以一定程度上识别到
有风险的账户,从而进行提前防控。在变化位置检测应用中,可以分为两个应用方式:在线
方式和离线方式,其中,在线方式:可以是指连续观察某一随机过程,监测到变化位置时停
止检测,不会运用到未来数据,主要用于事件预警;离线方式:从已经获得的时序数据中检
测过去的变化位置,主要用作历史检测,通常情况下,离线方式可以用来进行历史数据检
测,评估模型效能,进行在线预测时,可以基于验证过的模型对未来数据进行异常位置检
测,常用的一些时序数据的变化位置检测方式,往往存在统计类或表征信息不全面的问题,
从而导致识别准确率不高。
行多个维度的特征描述,识别时间序列数据的相邻短间隔之间的特征统计差异来计算发生
变化的位置,后者,可以根据不同时间段的数据概率密度分布是否有较大差异,来判断变化
位置发生的时间,该方式对特征的定义较为敏感,同时对统计分布差异的模型或函数的准
确度要求较高,当特征维度较高或存在噪声数据时,模型的准确率会受到比较大的影响。由
于统计类方式对特征定义较为敏感,机器学习方式主要的思路是将用户的行为序列数据作
为连续的文本预测任务,将用户行为通过编码器进行表征,基于用户历史的行为数据来预
测当前的用户行为,再对比预测的数据与实际数据之间是否存在差异。上述方式由于不需
要人工定义特征,因此在一些场景中,被证明效果要优于统计类方式。但与此同时,机器学
习方式中,历史行为数据在对用户行为进行训练预测时,多数基于RNN类的网络模型进行,
该方式下RNN耗时太长,由于一次只读取、解析输入的一个字段,且必须等前一个字段处理
完,才能进行下一个字段的处理,这意味着 RNN 不能像 CNN 一样,能够进行大规模并行处
理。同时,历史行为数据在对用户行为进行表征学习时,通常通过学习过去一段时间累积的
行为数据来预测下一时刻的用户行为数据,该方式并没有学习到相邻两段连续的时间段内
行为数据的延续性信息。为此,需要提供一种识别准确率更高的时序数据的变化位置检测
方式,从而可以解决通常所存在的统计类或表征信息不全面的问题。本说明书实施例提供
一种可实现的处理方式,具体可以包括以下内容:
次的操作所产生的信息、位置信息等,如目标用户执行目标业务中的第一项业务时,可以记
录为 , 的属性信息可以包括执行第一项业务的时间、执行第一项业务过程中目标用户
每次的操作所产生的信息、位置信息等,目标用户执行目标业务中的第二项业务时,可以记
录为 , 的属性信息可以包括执行第二项业务的时间、执行第二项业务过程中目标用户
每次的操作所产生的信息、位置信息等,目标用户执行目标业务中的第三项业务时,可以记
录为 , 的属性信息可以包括执行第三项业务的时间、执行第三项业务过程中目标用户
每次的操作所产生的信息、位置信息等,……目标用户执行目标业务中的第N项业务时,可
以记录为 , 的属性信息可以包括执行第N项业务的时间、执行第N项业务过程中目标用
户每次的操作所产生的信息、位置信息等。基于上述内容,可以按照目标用户执行目标业务
的时间顺序依次排列相应的数据,得到时序数据,即 ,其中,按照
时间顺序依次排列的时序数据 的属性信息分别包括目标用户执行目标业务所
产生的用户行为数据,用户行为数据可以包括D个维度的数据,其中可以包括如每次执行目
标业务的时间、每次执行目标业务过程中每次操作所产生的信息、位置信息等,具体可以根
据实际情况设定,本说明书实施例对此不做限定。
当前时刻执行目标业务过程中的业务时序数据构建的用户行为数据,并可以基于当前时刻
获取的用户行为数据的内容,获取目标用户执行目标业务过程中的相应历史业务时序数据
构建的用户历史行为数据,具体如,可以获取目标用户在当前时刻(如当前时间点到当前时
间点之前的预设时间间隔(如10秒或20秒等)的时间点)执行目标业务过程中的业务时序数
据构建的用户行为数据,获取目标用户执行目标业务过程中当前时刻之前的预设时间间隔
(具体如1分钟或3分钟,也可以根据实际情况设定)的业务时序数据,可以将该业务时序数
据作为相应历史业务时序数据,可以基于相应的历史业务时序数据构建用户历史行为数
据。
时间点或时间段内目标用户执行目标业务过程中产生的业务时序数据,例如,用户历史行
为数据可以包括当前时刻的1分钟(或3分钟或5分钟等)前目标用户执行目标业务过程中产
生的业务时序数据、当前时刻目标用户执行目标业务之前的一次或多次目标用户执行目标
业务过程中产生的业务时序数据等,具体可以根据实际情况设定,本说明书实施例对此不
做限定。
对应的向量表征,编码模型能够对数据进行并行处理的模型。
定,本说明书实施例对此不做限定。编码模型可以用于将时序数据进行编码处理,得到相应
的特征,编码模型能够对大量数据进行并行处理。
以为输入数据对应的向量表征(或可以称为行为表征),然后,可以获取用于训练编码模型
的训练样本(即用户执行某业务所产生的业务时序数据构建的用户行为数据),可以使用该
训练样本对编码模型进行模型训练,在进行模型训练的过程中,考虑到在实际业务场景下,
简单的对训练样本中的时间序列 进行编码处理,得到相应的向量特征,可以预
先设定目标函数,可以基于该目标函数对编码模型中的模型参数进行优化处理,其中,针对
目标函数,可以对上述编码模型进行调整。之后,可以使用训练样本对编码模型进行模型训
练,同时通过上述目标函数对模型参数进行优化处理,最终得到训练后的编码模型。
的编码模型中,通过编码模型的处理,可以得到用户行为数据对应的向量表征和相应用户
历史行为数据对应的向量表征。
确定目标用户执行目标业务过程中用户行为分布的变化趋势信息。
据实际情况设定,本说明书实施例对此不做限定。
相似度,具体如,可以基于用户行为数据对应的向量表征和相应用户历史行为数据对应的
向量表征,通过余弦相似度算法计算用户行为数据与相应用户历史行为数据之间的余弦相
似度,从而得到用户行为数据与相应用户历史行为数据之间的相似度。可以基于该相似度
对目标用户执行目标业务过程中的用户行为进行分析,并可以通过相应的分析结果,基于
相应的算法计算目标用户执行目标业务过程中用户行为分布的变化趋势信息。
中查找到用户行为数据中发生变化的数据和/或存在异常的数据等,可以基于查找到的用
户行为数据中发生变化的数据和/或存在异常的数据等,确定用户行为数据中相应的目标
用户的用户行为发生突变的位置。
执行目标业务过程中的相应用户历史行为数据,然后,将当前时刻获取的用户行为数据和
相应用户历史行为数据分别输入到预先训练的编码模型中,得到用户行为数据对应的向量
表征和相应用户历史行为数据对应的向量表征,其中,编码模型能够对数据进行并行处理
的模型,可以基于用户行为数据对应的向量表征和相应用户历史行为数据对应的向量表
征,确定两者之间的相似度,并基于相似度,确定目标用户执行目标业务过程中用户行为分
布的变化趋势信息,进而确定用户行为数据中目标用户的用户行为发生突变的位置,这样,
对用户行为进行表征,替代了人工设计特征的方式,能够更好的避免统计类方式中,对人工
筛选特征的依赖,同时,在对用户行为进行表征时,选择使用类似于CNN结构的、能够对数据
进行并行处理的编码模型,避免使用RNN等网络结构而无法并行计算的问题,并且通过自监
督对比学习在用户行为序列中的应用,在无标签信息参与的同时,最大化相邻用户行为数
据对之间的互信息,从而学习短时间尺度上的相似性概念,相比于基于历史一段时间的数
据以此来预测未来的方式,能够获得更丰富紧凑的行为特征表达,进而能够在时序数据的
突变位置的检测中实现更高的准确率。
如笔记本电脑或台式电脑等计算机设备,或者,也可以为IoT设备(具体如智能手表、车载设
备等)等。该服务器可以是独立的一个服务器,还可以是由多个服务器构成的服务器集群
等,该服务器可以是如金融业务或网络购物业务等的后台服务器,也可以是某应用程序的
后台服务器等。本实施例中以服务器为例进行详细说明,对于终端设备的执行过程可以参
见下述相关内容,在此不再赘述。该方法具体可以包括以下步骤:
相应的用户未来行为样本,多组不同的用户行为样本对包括多组正样本对和多组负样本
对,不同的用户行为样本对之间的时间间隔小于预设间隔阈值。
模型构建外,还可以通过多种不同的模型或算法构建,具体可以根据实际情况设定。此外,
考虑到编码模型处理的数据为时序数据,因此,编码模型还可以为基于时域卷积网络TCN模
型构建的模型。TCN模型是指时间卷积网络模型,是一种新型的可以用来解决时间序列预测
的算法模型,TCN模型可以采用一系列任意长度的数据,并可以将其输出为相同长度的数
据,在使用一维完全卷积网络体系结构的情况下,使用因果卷积,一个关键特征是时间t的
输出仅与时间t之前发生的元素卷积,TCN模型以 CNN模型为基础,并做了如下改进:适用序
列模型:因果卷积(Causal Convolution);记忆历史:空洞卷积/膨胀卷积(Dilated
Convolution),残差模块(Residual block)。TCN模型的特点:因果卷积网络、膨胀卷积方式
(扩张卷积、空洞卷积)、残差块、激活函数、规范化、正则化和Dropout,其中,因果卷积网络对于上一层t时刻的值,只依赖于下一层t时刻及其之前的值,与传统的卷积神经网络的不
同之处在于,因果卷积网络不能看到未来的数据,它是单向的结构,不是双向的,也就是说
只有有了前面的因才有后面的果,是一种严格的时间约束模型,因果卷积网络具有下述特
点:不考虑未来的信息;追溯历史信息越久远,隐藏层越多。对于空洞卷积/膨胀卷积,单纯
的因果卷积网络还是存在传统卷积神经网络的问题,即对时间的建模长度受限于卷积核大
小的,如果获取更长的依赖关系,就需要线性的堆叠很多的层,标准的 CNN模型可以通过增
加pooling层来获得更大的感受野,而经过pooling层后肯定存在信息损失的问题。空洞卷
积是在标准的卷积里注入空洞,以此来增加感受野,空洞卷积多了一个超参数dilation
rate,指的是kernel的间隔数量(标准的 CNN模型中dilatation rate等于 1),空洞的好处
是不做pooling损失信息的情况下,增加了感受野,让每个卷积输出都包含较大范围的信
息。和传统卷积不同的是,膨胀卷积允许卷积时的输入存在间隔采样,采样率受空洞卷积的
参数控制,一般来讲,越高的层级使用的空洞卷积的参数的大小越大,所以,膨胀卷积使得
有效窗口的大小随着层数呈指数型增长,这样卷积网络用比较少的层,就可以获得很大的
感受野。因为需要处理的数据是时间序列数据,TCN模型采用一维的卷积网络。上图是 TCN
架构中的因果卷积与空洞卷积,可以看到每一层t时刻的值只依赖于上一层中t时刻及其以
前的时间的值,体现了因果卷积的特性;而每一层对上一层信息的提取,都是跳跃式的,且
逐层dilated rate以2的指数增长,体现了空洞卷积的特性。由于采用了空洞卷积,因此每
一层都要做padding(通常情况下补 0)。对于残差模块,残差链接被证明是训练深层网络的
有效方法,它使得网络可以以跨层的方式传递信息,TCN模型构建了一个残差块来代替一层
的卷积,一个残差块包含两层的卷积和非线性映射,在每层中还加入了WeightNorm和
Dropout来正则化网络。
将是相对于其各自的输入序列向右移动一定数量output_length的序列,这意味着长度
input_length的目标序列包含其各自输入序列的最后(input_length‑output_length)元
素作为第一个元素,位于输入序列最后一个条目之后的output_length元素作为它的最后
一个元素,在预测方面,这意味着该模型所能预测的最大预测视界等于output_length。使
用滑动窗口的方式,许多重叠的输入和目标序列可以创建出一个时间序列。TCN模型具有下
述特点:并行性:与在RNN模型中对后续时间步的预测必须等待其前面的任务完成的情况不
同,卷积可以并行完成,因为每一层都使用相同的滤波器,因此,在训练和评估中,长输入序
列可以在 TCN模型中作为一个整体进行处理,而不是像在 RNN模型中那样按顺序处理;灵
活的感受野大小:TCN模型可以通过多种方式改变其感受野大小;稳定的梯度:与循环架构
不同,TCN模型的反向传播路径与序列的时间方向不同,因此,TCN模型避免了梯度爆炸/消
失的问题;训练时内存要求低:在TCN模型中,滤波器跨层共享,反向传播路径仅取决于网络
深度;可变长度输入:就像 RNN 以循环方式对可变长度的输入进行建模一样,TCN 也可以
通过滑动卷积核来接收任意长度的输入。预设间隔阈值可以根据实际情况设定,具体如24
小时或1小时等。
练编码模型的训练样本,具体地,可以获取用户执行目标业务过程中的用户历史行为样本,
并可以获取与该用户历史行为样本相对应的用户未来行为样本,并可以将获取的用户历史
行为样本和与该用户历史行为样本相对应的用户未来行为样本构建为一组用户行为样本
对,可以通过上述方式,从服务器中记录的用户行为数据中获取多组不同的用户行为样本
对,可以将得到的多组不同的用户行为样本对作为正样本对,并可以从预设的数据库中获
取用户历史行为样本和用户未来行为样本构建的负样本对,可以将上述正样本对和负样本
对构建为用于训练编码模型的训练样本。
~
为样本和相应的用户未来行为样本构建为用户行为样本对中的正样本对。
练编码模型的训练样本,具体地,可以获取第一用户执行目标业务过程中的用户历史行为
样本,并可以获取与该用户历史行为样本相对应的用户未来行为样本,并可以将获取的用
户历史行为样本和与该用户历史行为样本相对应的用户未来行为样本构建为一组用户行
为样本对,可以通过上述方式,从服务器中记录的用户行为数据中选择多组随机连续的用
户行为样本对,可以将得到的多组不同的用户行为样本对作为正样本对。如图3所示,x1、
x2、x3、x4…xk为用户历史行为样本,y1、y2、y3、y4…yk为用户未来行为样本,正样本对为
(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)…(xk,yk)。
距离约束用于使每组能够采用其他组中的正样本的用户未来行为样本构造负样本对,因为
它们保证与本次的正样本对中的用户历史行为样本充分分离,在时间上彼此分离的行为样
本可能表现出比相邻行为样本弱得多的统计依赖性。
行为样本和相应的用户未来行为样本对应的向量表征之间的相似度越大作为模型训练所
要达到的目标对编码模型进行模型训练,得到训练后的编码模型。
大,负样本对中用户历史行为样本和相应的用户未来行为样本对应的向量表征之间的相似
度越大作为模型训练所要达到的目标,具体地,如图5A所示,对于任一组用户行为样本对,
可以将该用户行为样本对中的用户历史行为样本和相应的用户未来行为样本分别输入到
编码模型中,分别得到用户历史行为样本对应的向量表征和用户未来行为样本对应的向量
表征,可以计算两个向量表征之间的相似度,基于该相似度和预设的损失函数对编码模型
进行模型训练,最终,可以得到训练后的编码模型。
行为数据。
对应的向量表征,编码模型能够对数据进行并行处理的模型。
用户历史行为数据对应的向量表征之间的余弦相似度。
根MA线,用以观察变动趋势的一种技术指标。
执行目标业务过程中的相应用户历史行为数据,然后,将当前时刻获取的用户行为数据和
相应用户历史行为数据分别输入到预先训练的编码模型中,得到用户行为数据对应的向量
表征和相应用户历史行为数据对应的向量表征,其中,编码模型能够对数据进行并行处理
的模型,可以基于用户行为数据对应的向量表征和相应用户历史行为数据对应的向量表
征,确定两者之间的相似度,并基于相似度,确定目标用户执行目标业务过程中用户行为分
布的变化趋势信息,进而确定用户行为数据中目标用户的用户行为发生突变的位置,这样,
对用户行为进行表征,替代了人工设计特征的方式,能够更好的避免统计类方式中,对人工
筛选特征的依赖,同时,在对用户行为进行表征时,选择使用类似于CNN结构的、能够对数据
进行并行处理的编码模型,避免使用RNN等网络结构而无法并行计算的问题,并且通过自监
督对比学习在用户行为序列中的应用,在无标签信息参与的同时,最大化相邻用户行为数
据对之间的互信息,从而学习短时间尺度上的相似性概念,相比于基于历史一段时间的数
据以此来预测未来的方式,能够获得更丰富紧凑的行为特征表达,进而能够在时序数据的
突变位置的检测中实现更高的准确率。
付行为时序数据样本,业务时序数据为支付时序数据,用户未来行为样本为用户未来行为
时序数据样本,用户行为样本对为支付行为时序数据样本对,用户行为数据为用户支付行
为时序数据,用户历史行为数据为历史支付行为时序数据。
如笔记本电脑或台式电脑等计算机设备,或者,也可以为IoT设备(具体如智能手表、车载设
备等)等。该服务器可以是独立的一个服务器,还可以是由多个服务器构成的服务器集群
等,该服务器可以是如金融业务或网络购物业务等的后台服务器,也可以是某应用程序的
后台服务器等。本实施例中以服务器为例进行详细说明,对于终端设备的执行过程可以参
见下述相关内容,在此不再赘述。该方法具体可以包括以下步骤:
户未来行为时序数据样本,将获取的历史支付行为时序数据样本和相应的用户未来行为时
序数据样本构建为所述支付行为时序数据样本对中的正样本对,不同的支付行为时序数据
样本对之间的时间间隔小于预设间隔阈值。
样本对。
度越大,负样本对中历史支付行为时序数据样本和相应的用户未来行为时序数据样本对应
的向量表征之间的相似度越大为模型训练所要达到的目标对编码模型进行模型训练,得到
训练后的编码模型。
中的相应历史支付行为时序数据。
相应历史支付行为时序数据对应的向量表征,编码模型能够对数据进行并行处理的模型。
的余弦相似度,并基于该余弦相似度计算该余弦相似度之间的差值。
过寻峰算法确定该移动平均值中的局部最大值。
执行目标业务过程中的相应用户历史行为数据,然后,将当前时刻获取的用户行为数据和
相应用户历史行为数据分别输入到预先训练的编码模型中,得到用户行为数据对应的向量
表征和相应用户历史行为数据对应的向量表征,其中,编码模型能够对数据进行并行处理
的模型,可以基于用户行为数据对应的向量表征和相应用户历史行为数据对应的向量表
征,确定两者之间的相似度,并基于相似度,确定目标用户执行目标业务过程中用户行为分
布的变化趋势信息,进而确定用户行为数据中目标用户的用户行为发生突变的位置,这样,
对用户行为进行表征,替代了人工设计特征的方式,能够更好的避免统计类方式中,对人工
筛选特征的依赖,同时,在对用户行为进行表征时,选择使用类似于CNN结构的、能够对数据
进行并行处理的编码模型,避免使用RNN等网络结构而无法并行计算的问题,并且通过自监
督对比学习在用户行为序列中的应用,在无标签信息参与的同时,最大化相邻用户行为数
据对之间的互信息,从而学习短时间尺度上的相似性概念,相比于基于历史一段时间的数
据以此来预测未来的方式,能够获得更丰富紧凑的行为特征表达,进而能够在时序数据的
突变位置的检测中实现更高的准确率。
相应用户历史行为数据;
用户历史行为数据对应的向量表征,所述编码模型能够对数据进行并行处理的模型;
似度,并基于所述相似度,确定所述目标用户执行目标业务过程中用户行为分布的变化趋
势信息;
历史行为样本和相应的用户未来行为样本,所述多组不同的用户行为样本对包括多组正样
本对和多组负样本对,不同的所述用户行为样本对之间的时间间隔小于预设间隔阈值;
对中用户历史行为样本和相应的用户未来行为样本对应的向量表征之间的相似度越大作
为模型训练所要达到的目标对所述编码模型进行模型训练,得到训练后的编码模型。
获取的所述用户历史行为样本和相应的用户未来行为样本构建为所述用户行为样本对中
的正样本对;
息;
执行目标业务过程中的相应用户历史行为数据,然后,将当前时刻获取的用户行为数据和
相应用户历史行为数据分别输入到预先训练的编码模型中,得到用户行为数据对应的向量
表征和相应用户历史行为数据对应的向量表征,其中,编码模型能够对数据进行并行处理
的模型,可以基于用户行为数据对应的向量表征和相应用户历史行为数据对应的向量表
征,确定两者之间的相似度,并基于相似度,确定目标用户执行目标业务过程中用户行为分
布的变化趋势信息,进而确定用户行为数据中目标用户的用户行为发生突变的位置,这样,
对用户行为进行表征,替代了人工设计特征的方式,能够更好的避免统计类方式中,对人工
筛选特征的依赖,同时,在对用户行为进行表征时,选择使用类似于CNN结构的、能够对数据
进行并行处理的编码模型,避免使用RNN等网络结构而无法并行计算的问题,并且通过自监
督对比学习在用户行为序列中的应用,在无标签信息参与的同时,最大化相邻用户行为数
据对之间的互信息,从而学习短时间尺度上的相似性概念,相比于基于历史一段时间的数
据以此来预测未来的方式,能够获得更丰富紧凑的行为特征表达,进而能够在时序数据的
突变位置的检测中实现更高的准确率。
序或数据。其中,存储器802可以是短暂存储或持久存储。存储在存储器802的应用程序可以
包括一个或一个以上模块(图示未示出),每个模块可以包括对用户行为的处理设备中的一
系列计算机可执行指令。更进一步地,处理器801可以设置为与存储器802通信,在用户行为
的处理设备上执行存储器802中的一系列计算机可执行指令。用户行为的处理设备还可以
包括一个或一个以上电源803,一个或一个以上有线或无线网络接口804,一个或一个以上
输入输出接口805,一个或一个以上键盘806。
个或一个以上模块,且每个模块可以包括对用户行为的处理设备中的一系列计算机可执行
指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行
以下计算机可执行指令:
据;
对应的向量表征,所述编码模型能够对数据进行并行处理的模型;
相似度,确定所述目标用户执行目标业务过程中用户行为分布的变化趋势信息;
相应的用户未来行为样本,所述多组不同的用户行为样本对包括多组正样本对和多组负样
本对,不同的所述用户行为样本对之间的时间间隔小于预设间隔阈值;
为样本和相应的用户未来行为样本对应的向量表征之间的相似度越大作为模型训练所要
达到的目标对所述编码模型进行模型训练,得到训练后的编码模型。
历史行为样本和相应的用户未来行为样本构建为所述用户行为样本对中的正样本对;
执行目标业务过程中的相应用户历史行为数据,然后,将当前时刻获取的用户行为数据和
相应用户历史行为数据分别输入到预先训练的编码模型中,得到用户行为数据对应的向量
表征和相应用户历史行为数据对应的向量表征,其中,编码模型能够对数据进行并行处理
的模型,可以基于用户行为数据对应的向量表征和相应用户历史行为数据对应的向量表
征,确定两者之间的相似度,并基于相似度,确定目标用户执行目标业务过程中用户行为分
布的变化趋势信息,进而确定用户行为数据中目标用户的用户行为发生突变的位置,这样,
对用户行为进行表征,替代了人工设计特征的方式,能够更好的避免统计类方式中,对人工
筛选特征的依赖,同时,在对用户行为进行表征时,选择使用类似于CNN结构的、能够对数据
进行并行处理的编码模型,避免使用RNN等网络结构而无法并行计算的问题,并且通过自监
督对比学习在用户行为序列中的应用,在无标签信息参与的同时,最大化相邻用户行为数
据对之间的互信息,从而学习短时间尺度上的相似性概念,相比于基于历史一段时间的数
据以此来预测未来的方式,能够获得更丰富紧凑的行为特征表达,进而能够在时序数据的
突变位置的检测中实现更高的准确率。
U盘、光盘、硬盘等,该存储介质存储的计算机可执行指令信息在被处理器执行时,能实现以
下流程:
据;
对应的向量表征,所述编码模型能够对数据进行并行处理的模型;
相似度,确定所述目标用户执行目标业务过程中用户行为分布的变化趋势信息;
相应的用户未来行为样本,所述多组不同的用户行为样本对包括多组正样本对和多组负样
本对,不同的所述用户行为样本对之间的时间间隔小于预设间隔阈值;
为样本和相应的用户未来行为样本对应的向量表征之间的相似度越大作为模型训练所要
达到的目标对所述编码模型进行模型训练,得到训练后的编码模型。
历史行为样本和相应的用户未来行为样本构建为所述用户行为样本对中的正样本对;
务过程中的相应用户历史行为数据,然后,将当前时刻获取的用户行为数据和相应用户历
史行为数据分别输入到预先训练的编码模型中,得到用户行为数据对应的向量表征和相应
用户历史行为数据对应的向量表征,其中,编码模型能够对数据进行并行处理的模型,可以
基于用户行为数据对应的向量表征和相应用户历史行为数据对应的向量表征,确定两者之
间的相似度,并基于相似度,确定目标用户执行目标业务过程中用户行为分布的变化趋势
信息,进而确定用户行为数据中目标用户的用户行为发生突变的位置,这样,对用户行为进
行表征,替代了人工设计特征的方式,能够更好的避免统计类方式中,对人工筛选特征的依
赖,同时,在对用户行为进行表征时,选择使用类似于CNN结构的、能够对数据进行并行处理
的编码模型,避免使用RNN等网络结构而无法并行计算的问题,并且通过自监督对比学习在
用户行为序列中的应用,在无标签信息参与的同时,最大化相邻用户行为数据对之间的互
信息,从而学习短时间尺度上的相似性概念,相比于基于历史一段时间的数据以此来预测
未来的方式,能够获得更丰富紧凑的行为特征表达,进而能够在时序数据的突变位置的检
测中实现更高的准确率。
执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺
序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可
以的或者可能是有利的。
而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。
设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因
此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件
(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable Gate
Array,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员
自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作
专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻
辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,
而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言
(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL
(Advanced Boolean Expression Language)、AHDL(Altera Hardware Description
Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL
(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby
Hardware Description Language)等,目前最普遍使用的是VHDL(Very‑High‑Speed
Integrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应
该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,
就可以很容易得到实现该逻辑方法流程的硬件电路。
读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,
ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制
器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320,
存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了
以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来
使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来
实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各
种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置
视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放
器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何
设备的组合。
合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多
个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑
ROM、光学存储器等)上实施的计算机程序产品的形式。
图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这
些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程欺诈案例的串
并设备的处理器以产生一个机器,使得通过计算机或其他可编程欺诈案例的串并设备的处
理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个
方框中指定的功能的装置。
包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个
方框或多个方框中指定的功能。
算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方
框图一个方框或多个方框中指定的功能的步骤。
示例。
计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动
态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD‑ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备
或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算
机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要
素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要
素的过程、方法、商品或者设备中还存在另外的相同要素。
和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中
包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光
学存储器等)上实施的计算机程序产品的形式。
的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或
多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行
任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存
储介质中。
施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例
的部分说明即可。
改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。