埋点实时流数据处理方法、装置、计算机设备和存储介质转让专利
申请号 : CN202110158160.9
文献号 : CN113014623B
文献日 : 2022-05-10
发明人 : 杨进波 , 吕坤原 , 洪智 , 李少华 , 梁万山
申请人 : 招联消费金融有限公司
摘要 :
权利要求 :
1.一种埋点数据处理方法,其特征在于,所述方法包括:接收通过应用程序采集的多个埋点数据,并根据所述埋点数据确定对应的埋点事件;
所述埋点数据表征了用户在应用程序的页面执行的操作行为;
将对应于相同执行目的埋点事件,合并构成对应的关键事件;
获取由不同业务系统上传的多个业务事件,及接口网关上传的多个接口调用事件;所述业务事件包括当触发操作事件时,由相应的业务系统反馈的执行结果信息,所述接口调用事件包括在进行埋点事件采集时对应的接口调用信息;
生成与各个埋点事件对应的埋点码值、与各个关键事件分别对应的关键事件码值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的接口调用码值;
加载内存中预先写入的订阅应用配置,并基于所述订阅应用配置确定与各订阅方分别对应的目标码值,所述目标码值包括所述埋点码值、所述关键事件码值、所述业务码值和所述接口调用码值中的至少一种;
获取与所述目标码值对应的目标事件,并将所述目标事件推送至相应的订阅方;所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种。
2.根据权利要求1所述的方法,其特征在于,所述埋点数据包括多个字段,所述字段用于记载用户信息、设备信息和会话信息中的至少一种;在将对应于相同执行目的埋点事件,合并构成对应的关键事件之前,所述方法还包括:从所述多个埋点数据中,筛选出缺少用户信息的多个目标埋点数据;
针对各个目标埋点事件,通过预设的设备标识和/或会话标识进行用户信息的关联补全。
3.根据权利要求1所述的方法,其特征在于,在加载内存中预先写入的订阅应用配置之前,所述方法还包括:
确定所需推送的多个目标事件,所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种;
通过在所述应用程序的页面中,进行目标事件所对应的目标码值的配置;
基于配置好的目标码值、以及相应的配置方信息,生成对应的订阅应用配置,并将所述订阅应用配置写入到内存中。
4.根据权利要求1所述的方法,其特征在于,所述获取接口网关上传的多个接口调用事件,包括:
通过信息采集工具对接口网关输出的多个接口调用事件进行实时采集;所述信息采集工具包括Filebeat工具和Logstash工具中的至少一种。
5.根据权利要求1所述的方法,其特征在于,所述将所述目标事件推送至相应的订阅方,包括:
将对应筛选得到的目标事件发送到指定的消息队列中,由所述消息队列进行目标事件的存储;
当订阅方完成订阅操作后,将所述消息队列中存储的目标事件推送到相应的订阅方。
6.根据权利要求1‑5任一所述的方法,其特征在于,各个业务事件均携带有相应的属性字段,在所述将所述目标事件推送至相应的订阅方之前,所述方法还包括:基于各个业务事件分别对应的属性字段,确定所属不同事件类型且命名方式不同的多个目标属性字段;
按照统一的标识命名方式,对各个目标属性字段进行重命名;
基于重命名后的多个目标属性字段,对相应业务事件携带的属性字段进行更新。
7.根据权利要求1‑5任一所述的方法,其特征在于,所述订阅方包括设于应用服务器中的营销应用、风控应用、借款监控应用以及展位数据应用中的至少一种,所述方法还包括:当相应的订阅方接收到目标事件时,由所述订阅方根据所述目标事件,当确定用户在所述页面中执行了预设的操作行为时,触发相应的业务处理进程;其中,所述业务处理进程包括预设信息推送和访问拦截中的至少一种。
8.一种埋点实时流数据处理装置,其特征在于,所述装置包括:第一获取模块,用于接收通过应用程序采集的多个埋点数据,并根据所述埋点数据确定对应的埋点事件;所述埋点数据表征了用户在应用程序的页面执行的操作行为;
合并模块,用于将对应于相同执行目的埋点事件,合并构成对应的关键事件;
第二获取模块,用于获取由不同业务系统上传的多个业务事件,及接口网关上传的多个接口调用事件;所述业务事件包括当触发操作事件时,由相应的业务系统反馈的执行结果信息,所述接口调用事件包括在进行埋点事件采集时对应的接口调用信息;
码值获取模块,用于获取与各个埋点事件对应的埋点码值、与各个关键事件分别对应的关键事件码值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的接口调用码值;
加载模块,用于加载内存中预先写入的订阅应用配置,并基于所述订阅应用配置确定与各订阅方分别对应的目标码值,所述目标码值包括所述埋点码值、所述关键事件码值、所述业务码值和所述接口调用码值中的至少一种;
推送模块,用于获取与所述目标码值对应的目标事件,并将所述目标事件推送至相应的订阅方;所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
说明书 :
埋点实时流数据处理方法、装置、计算机设备和存储介质
技术领域
背景技术
户行为数据的实时收集。另外,实时收集到的用户行为数据将作为埋点数据包,将通过前端
上传到数据网关做拆分、补全处理,之后再上传到埋点数据库中,作为离线数据使用。
接不同的流数据源,无法进行有效的数据推送。。
发明内容
口调用事件包括在进行埋点事件采集时对应的接口调用信息;
和所述接口调用码值中的至少一种;
关键事件之前,所述方法还包括:
工具和Logstash(一个应用程序日志、事件的传输、处理、管理和搜索的平台,可以用它来统
一对应用程序日志进行收集管理)工具中的至少一种。
进程包括预设信息推送和访问拦截中的至少一种。
行结果信息,所述接口调用事件包括在进行埋点事件采集时对应的接口调用信息;
接口调用码值;
值、所述业务码值和所述接口调用码值中的至少一种;
一种。
口调用事件包括在进行埋点事件采集时对应的接口调用信息;
和所述接口调用码值中的至少一种;
口调用事件包括在进行埋点事件采集时对应的接口调用信息;
和所述接口调用码值中的至少一种;
键事件,为后续的数据分析工作打下基础,能够有效提高数据分析的准确度。同时,可获取
由不同业务系统上传的多个业务事件,及接口网关上传的多个接口调用事件。这样就可预
先对接不同的数据源,并采集和处理得到不同类型的事件。进而通过加载内存中预先写入
的订阅应用配置,确定与各订阅方分别对应的目标码值,并基于目标码值确定所需推送的
目标事件,在明确用户的订阅需求,且订阅方无需对接不同的流数据源的情况下,即可将来
源不同数据流的目标事件定向推送到对应的订阅方,大大提高了事件推送的有效性和效
率。并且,在实现与埋点行为对应的各个目标事件的推送时,无需重开发系统,提高了系统
的开发效率,减少了应用成本。
附图说明
具体实施方式
用于限定本申请。
行通信。应用程序设于终端102中,首先,由服务器110接收通过应用程序采集的多个埋点数
据,并根据埋点数据确定对应的埋点事件;当前,由服务器110将对应于相同执行目的埋点
事件,合并构成对应的关键事件。其次,服务器110获取由业务系统104上传的多个业务事
件,及接口网关106上传的多个接口调用事件。其次,由服务器110生成与各个埋点事件对应
的埋点码值、与各个关键事件分别对应的关键事件码值、与各个业务事件对应的业务码值、
以及与各个接口调用事件对应的接口调用码值。最后,再由服务器110加载内存中预先写入
的订阅应用配置,并基于订阅应用配置确定与各订阅方分别对应的目标码值;通过获取与
目标码值对应的目标事件,并将目标事件推送至相应的订阅方108。
服务器集群来实现。多个业务系统104以及可以运行在独立的第二服务器中,或者,分别运
行与不同的第二服务器中。多个订阅方108可以但不限于设于应用服务器中的营销应用、风
控应用、借款监控应用以及展位数据应用。
上运行的应用或界面中特定的流程收集的一些信息,用来跟踪应用的使用情况,指的是对
用户行为进行收集、处理的相关技术及其实施过程,比如对用户对页面中某个按钮的点击
次数、观看某个视频的时长等。埋点数据可以用来优化应用,或对应用的后续运营提供数据
支撑,是将埋点信息进行筛选、处理、整合后,得到的可以被服务器识别、运用的数据;埋点
信息可以包括访问数、访问客、停留时长、页面浏览数和跳出率等,本申请实施例对比不作
限定。
成的埋点数据包,当服务器获取到的埋点数据包时,从中拆分出相应的埋点数据,并根据拆
分得到的埋点数据确定对应的埋点事件。
能,且触发埋点时,进行埋点数据的采集,其中,采集到的埋点数据将异步上报到服务器,由
设于服务器中的数据网关进行埋点数据的接收以及处理。
的流数据源,仅在对接到服务器时,就可以获取到所需的订阅数据。因此,当前的实施方案
能够提高开发效率,以及保证数据质量。
一些关于用户的基本信息。设备信息指的是设备标识、设备所在地、设备编号等一些关于设
备的基本信息,会话信息指的是会话过程中涉及到的访问地址、访问对象、会话标识等一些
关于会话的基本信息。
中,筛选出缺少用户信息的多个目标埋点数据;针对各个目标埋点事件,通过预设的设备标
识和/或会话标识进行用户信息的关联补全。
口调用事件包括在进行埋点事件采集时对应的接口调用信息。
少一种。示例性的,后端业务处理系统可以为一个专用于处理用户身份注册的一个业务系
统。当前,由用户在具备前端界面的终端中输入了相应的用户身份信息后,输入的用户身份
信息将进一步反馈到后端业务处理系统,由后端业务处理系统根据接收到的用户信息判断
该用户是否符合申请条件,并在符合申请条件的情况下,输出“注册成功”等执行结果信息,
即生成相应的业务事件。
码值。
码值中的至少一种。
的目标码值等,本申请实施例对此不作限定。
种;通过在应用程序的页面中,进行目标事件所对应的目标码值的配置;基于配置好的目标
码值、以及相应的配置方信息,生成对应的订阅应用配置,并将订阅应用配置写入到内存
中。
口调用事件中的至少一种;由目标用户在应用程序的页面中通过点击“添加码值”按钮,并
在随之切换到的配置页面中,进行目标事件所对应的目标码值的配置;基于配置好的目标
码值、以及相应的配置方信息,生成对应的订阅应用配置,并将订阅应用配置写入到内存
中。其中,配置方信息可以为页面名称和所属模块(示例性的所属模块可以为默认模块以及
标准申请流程)。需要说明的是,在当前显示的订阅应用配置的前端界面中,也可以根据显
示的基本信息,确定应用程序的类型、应用场景以及应用说明等。示例性的,当需要删除先
前配置好的目标码值、以及相应的配置方信息时,通过触发删除链接,进行目标码和配置方
信息的删除,且,在触发删除链接的同时将生成变更通知指令,由服务器进行变更通知指令
的接收,并及时更新内存中的配置数据。
的定向推送,提高了系统开发效率。
当确定用户在页面中执行了预设的操作行为时,触发相应的业务处理进程;其中,业务处理
进程包括预设信息推送和访问拦截中的至少一种。另外,由于各个业务事件均携带有相应
的属性字段。当前实施例中,还需要由服务器基于各个业务事件分别对应的属性字段,确定
所属不同一事件类型且命名方式不同的多个目标属性字段;由服务器按照统一的标识命名
方式,对各个目标属性字段进行重命名;基于重命名后的多个目标属性字段,对相应业务事
件携带的属性字段进行更新。
当风控应用根据接收到目标事件,发现目标用户执行了违法操作行为,触发预先设置的访
问拦截进程,进行访问拦截。
式,对各个目标识别标识进行重命名,有效的提高了系统开发效率。
工作打下基础,能够有效提高数据分析的准确度。同时,可获取由不同业务系统上传的多个
业务事件,及接口网关上传的多个接口调用事件。这样就可预先对接不同的数据源,并采集
和处理得到不同类型的事件。进而通过加载内存中预先写入的订阅应用配置,确定与各订
阅方分别对应的目标码值,并基于目标码值确定所需推送的目标事件,在明确用户的订阅
需求,且订阅方无需对接不同的流数据源的情况下,即可将来源不同数据流的目标事件定
向推送到对应的订阅方,大大提高了事件推送的有效性和效率。并且,在实现与埋点行为对
应的各个目标事件的推送时,无需重开发系统,提高了系统的开发效率,减少了应用成本。
步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2和图3中的
至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时
刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次
进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地
执行。
其中:
结果信息,接口调用事件包括在进行埋点事件采集时对应的接口调用信息。
的接口调用码值。
口调用码值中的至少一种。
应的目标码值的配置;基于配置好的目标码值、以及相应的配置方信息,生成对应的订阅应
用配置,并将订阅应用配置写入到内存中。
的至少一种。
储的目标事件推送到相应的订阅方。
行重命名;基于重命名后的多个目标属性字段,对相应业务事件携带的属性字段进行更新。
包括预设信息推送和访问拦截中的至少一种。
分析工作打下基础,能够有效提高数据分析的准确度。同时,可获取由不同业务系统上传的
多个业务事件,及接口网关上传的多个接口调用事件。这样就可预先对接不同的数据源,并
采集和处理得到不同类型的事件。进而通过加载内存中预先写入的订阅应用配置,确定与
各订阅方分别对应的目标码值,并基于目标码值确定所需推送的目标事件,在明确用户的
订阅需求,且订阅方无需对接不同的流数据源的情况下,即可将来源不同数据流的目标事
件定向推送到对应的订阅方,大大提高了事件推送的有效性和效率。并且,在实现与埋点行
为对应的各个目标事件的推送时,无需重开发系统,提高了系统的开发效率,减少了应用成
本。
分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备
中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执
行以上各个模块对应的操作。
其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易
失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该
内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备
的数据库用于存储目标时间。该计算机设备的网络接口用于与外部的终端通过网络连接通
信。该计算机程序被处理器执行时以实现一种埋点实时流数据处理方法。
可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
点数据,并根据埋点数据确定对应的埋点事件;埋点数据表征了用户在应用程序的页面执
行的操作行为;将对应于相同执行目的埋点事件,合并构成对应的关键事件;获取由不同业
务系统上传的多个业务事件,及接口网关上传的多个接口调用事件;业务事件包括当触发
操作事件时,由相应的业务系统反馈的执行结果信息,接口调用事件包括在进行埋点事件
采集时对应的接口调用信息;生成与各个埋点事件对应的埋点码值、与各个关键事件分别
对应的关键事件码值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的
接口调用码值;加载内存中预先写入的订阅应用配置,并基于订阅应用配置确定与各订阅
方分别对应的目标码值,目标码值包括埋点码值、关键事件码值、业务码值和接口调用码值
中的至少一种;获取与目标码值对应的目标事件,并将目标事件推送至相应的订阅方;目标
事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种。
的埋点事件,合并构成对应的关键事件之前,从多个埋点数据中,筛选出缺少用户信息的多
个目标埋点数据;针对各个目标埋点事件,通过预设的设备标识和/或会话标识进行用户信
息的关联补全。
件、业务事件和接口调用事件中的至少一种;通过在应用程序的页面中,进行目标事件所对
应的目标码值的配置;基于配置好的目标码值、以及相应的配置方信息,生成对应的订阅应
用配置,并将订阅应用配置写入到内存中。
Logstash工具中的至少一种。
操作后,将消息队列中存储的目标事件推送到相应的订阅方。
应的属性字段,确定所属不同事件类型且命名方式不同的多个目标属性字段;按照统一的
标识命名方式,对各个目标属性字段进行重命名;基于重命名后的多个目标属性字段,对相
应业务事件携带的属性字段进行更新。
的订阅方接收到目标事件时,由订阅方根据目标事件,当确定用户在页面中执行了预设的
操作行为时,触发相应的业务处理进程;其中,业务处理进程包括预设信息推送和访问拦截
中的至少一种。
基础,能够有效提高数据分析的准确度。同时,可获取由不同业务系统上传的多个业务事
件,及接口网关上传的多个接口调用事件。这样就可预先对接不同的数据源,并采集和处理
得到不同类型的事件。进而通过加载内存中预先写入的订阅应用配置,确定与各订阅方分
别对应的目标码值,并基于目标码值确定所需推送的目标事件,在明确用户的订阅需求,且
订阅方无需对接不同的流数据源的情况下,即可将来源不同数据流的目标事件定向推送到
对应的订阅方,大大提高了事件推送的有效性和效率。并且,在实现与埋点行为对应的各个
目标事件的推送时,无需重开发系统,提高了系统的开发效率,减少了应用成本。
点数据确定对应的埋点事件;埋点数据表征了用户在应用程序的页面执行的操作行为;将
对应于相同执行目的埋点事件,合并构成对应的关键事件;获取由不同业务系统上传的多
个业务事件,及接口网关上传的多个接口调用事件;业务事件包括当触发操作事件时,由相
应的业务系统反馈的执行结果信息,接口调用事件包括在进行埋点事件采集时对应的接口
调用信息;生成与各个埋点事件对应的埋点码值、与各个关键事件分别对应的关键事件码
值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的接口调用码值;加载
内存中预先写入的订阅应用配置,并基于订阅应用配置确定与各订阅方分别对应的目标码
值,目标码值包括埋点码值、关键事件码值、业务码值和接口调用码值中的至少一种;获取
与目标码值对应的目标事件,并将目标事件推送至相应的订阅方;目标事件包括埋点事件、
关键事件、业务事件和接口调用事件中的至少一种。
目的埋点事件,合并构成对应的关键事件之前,从多个埋点数据中,筛选出缺少用户信息的
多个目标埋点数据;针对各个目标埋点事件,通过预设的设备标识和/或会话标识进行用户
信息的关联补全。
事件、业务事件和接口调用事件中的至少一种;通过在应用程序的页面中,进行目标事件所
对应的目标码值的配置;基于配置好的目标码值、以及相应的配置方信息,生成对应的订阅
应用配置,并将订阅应用配置写入到内存中。
Logstash工具中的至少一种。
阅操作后,将消息队列中存储的目标事件推送到相应的订阅方。
对应的属性字段,确定所属不同事件类型且命名方式不同的多个目标属性字段;按照统一
的标识命名方式,对各个目标属性字段进行重命名;基于重命名后的多个目标属性字段,对
相应业务事件携带的属性字段进行更新。
应的订阅方接收到目标事件时,由订阅方根据目标事件,当确定用户在页面中执行了预设
的操作行为时,触发相应的业务处理进程;其中,业务处理进程包括预设信息推送和访问拦
截中的至少一种。
础,能够有效提高数据分析的准确度。同时,可获取由不同业务系统上传的多个业务事件,
及接口网关上传的多个接口调用事件。这样就可预先对接不同的数据源,并采集和处理得
到不同类型的事件。进而通过加载内存中预先写入的订阅应用配置,确定与各订阅方分别
对应的目标码值,并基于目标码值确定所需推送的目标事件,在明确用户的订阅需求,且订
阅方无需对接不同的流数据源的情况下,即可将来源不同数据流的目标事件定向推送到对
应的订阅方,大大提高了事件推送的有效性和效率。并且,在实现与埋点行为对应的各个目
标事件的推送时,无需重开发系统,提高了系统的开发效率,减少了应用成本。
可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,
本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可
包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read‑
Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器
(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种
形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存
储器(Dynamic RandomAccess Memory,DRAM)等。
盾,都应当认为是本说明书记载的范围。
说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护
范围。因此,本申请专利的保护范围应以所附权利要求为准。