埋点实时流数据处理方法、装置、计算机设备和存储介质转让专利

申请号 : CN202110158160.9

文献号 : CN113014623B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 杨进波吕坤原洪智李少华梁万山

申请人 : 招联消费金融有限公司

摘要 :

本申请涉及一种埋点数据处理方法、装置、计算机设备和存储介质。所述方法包括:接收通过应用程序采集的多个埋点数据,并根据埋点数据确定对应的埋点事件;将对应于相同执行目的埋点事件,合并构成对应的关键事件;获取由不同业务系统上传的多个业务事件,及接口网关上传的多个接口调用事件;生成与上述各个事件分别对应的埋点码值、关键事件码值、业务码值和接口调用码值;加载内存中预先写入的订阅应用配置,并基于订阅应用配置确定与各订阅方分别对应的目标码值,目标码值包括埋点码值、关键事件码值、业务码值和接口调用码值中的至少一种;获取与目标码值对应的目标事件,将目标事件推送至订阅方。采用本方法能够能够提高系统开发效率。

权利要求 :

1.一种埋点数据处理方法,其特征在于,所述方法包括:接收通过应用程序采集的多个埋点数据,并根据所述埋点数据确定对应的埋点事件;

所述埋点数据表征了用户在应用程序的页面执行的操作行为;

将对应于相同执行目的埋点事件,合并构成对应的关键事件;

获取由不同业务系统上传的多个业务事件,及接口网关上传的多个接口调用事件;所述业务事件包括当触发操作事件时,由相应的业务系统反馈的执行结果信息,所述接口调用事件包括在进行埋点事件采集时对应的接口调用信息;

生成与各个埋点事件对应的埋点码值、与各个关键事件分别对应的关键事件码值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的接口调用码值;

加载内存中预先写入的订阅应用配置,并基于所述订阅应用配置确定与各订阅方分别对应的目标码值,所述目标码值包括所述埋点码值、所述关键事件码值、所述业务码值和所述接口调用码值中的至少一种;

获取与所述目标码值对应的目标事件,并将所述目标事件推送至相应的订阅方;所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种。

2.根据权利要求1所述的方法,其特征在于,所述埋点数据包括多个字段,所述字段用于记载用户信息、设备信息和会话信息中的至少一种;在将对应于相同执行目的埋点事件,合并构成对应的关键事件之前,所述方法还包括:从所述多个埋点数据中,筛选出缺少用户信息的多个目标埋点数据;

针对各个目标埋点事件,通过预设的设备标识和/或会话标识进行用户信息的关联补全。

3.根据权利要求1所述的方法,其特征在于,在加载内存中预先写入的订阅应用配置之前,所述方法还包括:

确定所需推送的多个目标事件,所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种;

通过在所述应用程序的页面中,进行目标事件所对应的目标码值的配置;

基于配置好的目标码值、以及相应的配置方信息,生成对应的订阅应用配置,并将所述订阅应用配置写入到内存中。

4.根据权利要求1所述的方法,其特征在于,所述获取接口网关上传的多个接口调用事件,包括:

通过信息采集工具对接口网关输出的多个接口调用事件进行实时采集;所述信息采集工具包括Filebeat工具和Logstash工具中的至少一种。

5.根据权利要求1所述的方法,其特征在于,所述将所述目标事件推送至相应的订阅方,包括:

将对应筛选得到的目标事件发送到指定的消息队列中,由所述消息队列进行目标事件的存储;

当订阅方完成订阅操作后,将所述消息队列中存储的目标事件推送到相应的订阅方。

6.根据权利要求1‑5任一所述的方法,其特征在于,各个业务事件均携带有相应的属性字段,在所述将所述目标事件推送至相应的订阅方之前,所述方法还包括:基于各个业务事件分别对应的属性字段,确定所属不同事件类型且命名方式不同的多个目标属性字段;

按照统一的标识命名方式,对各个目标属性字段进行重命名;

基于重命名后的多个目标属性字段,对相应业务事件携带的属性字段进行更新。

7.根据权利要求1‑5任一所述的方法,其特征在于,所述订阅方包括设于应用服务器中的营销应用、风控应用、借款监控应用以及展位数据应用中的至少一种,所述方法还包括:当相应的订阅方接收到目标事件时,由所述订阅方根据所述目标事件,当确定用户在所述页面中执行了预设的操作行为时,触发相应的业务处理进程;其中,所述业务处理进程包括预设信息推送和访问拦截中的至少一种。

8.一种埋点实时流数据处理装置,其特征在于,所述装置包括:第一获取模块,用于接收通过应用程序采集的多个埋点数据,并根据所述埋点数据确定对应的埋点事件;所述埋点数据表征了用户在应用程序的页面执行的操作行为;

合并模块,用于将对应于相同执行目的埋点事件,合并构成对应的关键事件;

第二获取模块,用于获取由不同业务系统上传的多个业务事件,及接口网关上传的多个接口调用事件;所述业务事件包括当触发操作事件时,由相应的业务系统反馈的执行结果信息,所述接口调用事件包括在进行埋点事件采集时对应的接口调用信息;

码值获取模块,用于获取与各个埋点事件对应的埋点码值、与各个关键事件分别对应的关键事件码值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的接口调用码值;

加载模块,用于加载内存中预先写入的订阅应用配置,并基于所述订阅应用配置确定与各订阅方分别对应的目标码值,所述目标码值包括所述埋点码值、所述关键事件码值、所述业务码值和所述接口调用码值中的至少一种;

推送模块,用于获取与所述目标码值对应的目标事件,并将所述目标事件推送至相应的订阅方;所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

说明书 :

埋点实时流数据处理方法、装置、计算机设备和存储介质

技术领域

[0001] 本申请涉及数据分析处理技术领域,特别是涉及一种埋点实时流数据处理方法、装置、计算机设备和存储介质。

背景技术

[0002] 随着前端技术的快速发展,出现了利用埋点技术进行用户行为数据的收集。所谓埋点技术就是预先在前端产品中埋下码值,当用户使用该前端产品且触发埋点时,进行用
户行为数据的实时收集。另外,实时收集到的用户行为数据将作为埋点数据包,将通过前端
上传到数据网关做拆分、补全处理,之后再上传到埋点数据库中,作为离线数据使用。
[0003] 然而,针对实时营销、实时风控、实时监控等实时应用,如果实时应用需要使用更丰富的埋点做更多的逻辑功能,现有的数据流是不能满足的,也就是传统方案无法实时对
接不同的流数据源,无法进行有效的数据推送。。

发明内容

[0004] 基于此,有必要针对上述技术问题,提供一种能够提高数据推送有效性的埋点实时流数据处理、装置、计算机设备和存储介质。
[0005] 一种埋点数据处理方法,所述方法包括:
[0006] 接收通过应用程序采集的多个埋点数据,并根据所述埋点数据确定对应的埋点事件;所述埋点数据表征了用户在应用程序的页面执行的操作行为;
[0007] 将对应于相同执行目的埋点事件,合并构成对应的关键事件;
[0008] 获取由不同业务系统上传的多个业务事件,及接口网关上传的多个接口调用事件;所述业务事件包括当触发操作事件时,由相应的业务系统反馈的执行结果信息,所述接
口调用事件包括在进行埋点事件采集时对应的接口调用信息;
[0009] 生成与各个埋点事件对应的埋点码值、与各个关键事件分别对应的关键事件码值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的接口调用码值;
[0010] 加载内存中预先写入的订阅应用配置,并基于所述订阅应用配置确定与各订阅方分别对应的目标码值,所述目标码值包括所述埋点码值、所述关键事件码值、所述业务码值
和所述接口调用码值中的至少一种;
[0011] 获取与所述目标码值对应的目标事件,并将所述目标事件推送至相应的订阅方;所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种。
[0012] 在其中一个实施例中,所述埋点数据包括多个字段,所述字段用于记载用户信息、设备信息和会话信息中的至少一种;在将对应于相同执行目的埋点事件,合并构成对应的
关键事件之前,所述方法还包括:
[0013] 从所述多个埋点数据中,筛选出缺少用户信息的多个目标埋点数据;
[0014] 针对各个目标埋点事件,通过预设的设备标识和/或会话标识进行用户信息的关联补全。
[0015] 在其中一个实施例中,在加载内存中预先写入的订阅应用配置之前,所述方法还包括:
[0016] 确定所需推送的多个目标事件,所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种;
[0017] 通过在所述应用程序的页面中,进行目标事件所对应的目标码值的配置;
[0018] 基于配置好的目标码值、以及相应的配置方信息,生成对应的订阅应用配置,并将所述订阅应用配置写入到内存中。
[0019] 在其中一个实施例中,所述获取接口网关上传的多个接口调用事件,包括:
[0020] 通过信息采集工具对接口网关输出的多个接口调用事件进行实时采集;所述信息采集工具包括Filebeat(本地文件的日志数据采集器,可监控日志目录或特定的日志文件)
工具和Logstash(一个应用程序日志、事件的传输、处理、管理和搜索的平台,可以用它来统
一对应用程序日志进行收集管理)工具中的至少一种。
[0021] 在其中一个实施例中,所述将所述目标事件推送至相应的订阅方,包括:
[0022] 将对应筛选得到的目标事件发送到指定的消息队列中,由所述消息队列进行目标事件的存储;
[0023] 当订阅方完成订阅操作后,将所述消息队列中存储的目标事件推送到相应的订阅方。
[0024] 在其中一个实施例中,各个业务事件均携带有相应的属性字段,在所述将所述目标事件推送至相应的订阅方之前,所述方法还包括:
[0025] 基于各个业务事件分别对应的属性字段,确定所属不同事件类型且命名方式不同的多个目标属性字段;
[0026] 按照统一的标识命名方式,对各个目标属性字段进行重命名;
[0027] 基于重命名后的多个目标属性字段,对相应业务事件携带的属性字段进行更新。
[0028] 在其中一个实施例中,所述订阅方包括设于应用服务器中的营销应用、风控应用、借款监控应用以及展位数据应用中的至少一种,所述方法还包括:
[0029] 当相应的订阅方接收到目标事件时,由所述订阅方根据所述目标事件,当确定用户在所述页面中执行了预设的操作行为时,触发相应的业务处理进程;其中,所述业务处理
进程包括预设信息推送和访问拦截中的至少一种。
[0030] 一种埋点实时流数据处理装置,所述装置包括:
[0031] 第一获取模块,用于接收通过应用程序采集的多个埋点数据,并根据所述埋点数据确定对应的埋点事件;所述埋点数据表征了用户在应用程序的页面执行的操作行为;
[0032] 合并模块,用于将对应于相同执行目的埋点事件,合并构成对应的关键事件;
[0033] 第二获取模块,用于获取由不同业务系统上传的多个业务事件,及接口网关上传的多个接口调用事件;所述业务事件包括当触发操作事件时,由相应的业务系统反馈的执
行结果信息,所述接口调用事件包括在进行埋点事件采集时对应的接口调用信息;
[0034] 码值获取模块,用于获取与各个埋点事件对应的埋点码值、与各个关键事件分别对应的关键事件码值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的
接口调用码值;
[0035] 加载模块,用于加载内存中预先写入的订阅应用配置,并基于所述订阅应用配置确定与各订阅方分别对应的目标码值,所述目标码值包括所述埋点码值、所述关键事件码
值、所述业务码值和所述接口调用码值中的至少一种;
[0036] 推送模块,用于获取与所述目标码值对应的目标事件,并将所述目标事件推送至相应的订阅方;所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少
一种。
[0037] 一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
[0038] 接收通过应用程序采集的多个埋点数据,并根据所述埋点数据确定对应的埋点事件;所述埋点数据表征了用户在应用程序的页面执行的操作行为;
[0039] 将对应于相同执行目的埋点事件,合并构成对应的关键事件;
[0040] 获取由不同业务系统上传的多个业务事件,及接口网关上传的多个接口调用事件;所述业务事件包括当触发操作事件时,由相应的业务系统反馈的执行结果信息,所述接
口调用事件包括在进行埋点事件采集时对应的接口调用信息;
[0041] 生成与各个埋点事件对应的埋点码值、与各个关键事件分别对应的关键事件码值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的接口调用码值;
[0042] 加载内存中预先写入的订阅应用配置,并基于所述订阅应用配置确定与各订阅方分别对应的目标码值,所述目标码值包括所述埋点码值、所述关键事件码值、所述业务码值
和所述接口调用码值中的至少一种;
[0043] 获取与所述目标码值对应的目标事件,并将所述目标事件推送至相应的订阅方;所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种。
[0044] 一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
[0045] 接收通过应用程序采集的多个埋点数据,并根据所述埋点数据确定对应的埋点事件;所述埋点数据表征了用户在应用程序的页面执行的操作行为;
[0046] 将对应于相同执行目的埋点事件,合并构成对应的关键事件;
[0047] 获取由不同业务系统上传的多个业务事件,及接口网关上传的多个接口调用事件;所述业务事件包括当触发操作事件时,由相应的业务系统反馈的执行结果信息,所述接
口调用事件包括在进行埋点事件采集时对应的接口调用信息;
[0048] 生成与各个埋点事件对应的埋点码值、与各个关键事件分别对应的关键事件码值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的接口调用码值;
[0049] 加载内存中预先写入的订阅应用配置,并基于所述订阅应用配置确定与各订阅方分别对应的目标码值,所述目标码值包括所述埋点码值、所述关键事件码值、所述业务码值
和所述接口调用码值中的至少一种;
[0050] 获取与所述目标码值对应的目标事件,并将所述目标事件推送至相应的订阅方;所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种。
[0051] 上述埋点数据处理方法、装置、计算机设备和存储介质,接收通过不同应用程序采集的多个埋点数据,基于数据分析需求,将具备相同执行目的的埋点事件合并成相应的关
键事件,为后续的数据分析工作打下基础,能够有效提高数据分析的准确度。同时,可获取
由不同业务系统上传的多个业务事件,及接口网关上传的多个接口调用事件。这样就可预
先对接不同的数据源,并采集和处理得到不同类型的事件。进而通过加载内存中预先写入
的订阅应用配置,确定与各订阅方分别对应的目标码值,并基于目标码值确定所需推送的
目标事件,在明确用户的订阅需求,且订阅方无需对接不同的流数据源的情况下,即可将来
源不同数据流的目标事件定向推送到对应的订阅方,大大提高了事件推送的有效性和效
率。并且,在实现与埋点行为对应的各个目标事件的推送时,无需重开发系统,提高了系统
的开发效率,减少了应用成本。

附图说明

[0052] 图1为一个实施例中埋点数据处理方法的应用环境图;
[0053] 图2为一个实施例中埋点数据处理方法的流程示意图;
[0054] 图3为一个实施例中埋点数据处理方法的整体系统架构图;
[0055] 图4为一个实施例中设置订阅应用配置的前端界面图;
[0056] 图5为一个实施例中埋点数据处理装置的结构框图;
[0057] 图6为一个实施例中计算机设备的内部结构图。

具体实施方式

[0058] 为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不
用于限定本申请。
[0059] 本申请提供的埋点数据处理方法,可以应用于如图1所示的应用环境中。其中,终端102、多个业务系统104、接口网关106、以及多个订阅方108分别通过网络与服务器110进
行通信。应用程序设于终端102中,首先,由服务器110接收通过应用程序采集的多个埋点数
据,并根据埋点数据确定对应的埋点事件;当前,由服务器110将对应于相同执行目的埋点
事件,合并构成对应的关键事件。其次,服务器110获取由业务系统104上传的多个业务事
件,及接口网关106上传的多个接口调用事件。其次,由服务器110生成与各个埋点事件对应
的埋点码值、与各个关键事件分别对应的关键事件码值、与各个业务事件对应的业务码值、
以及与各个接口调用事件对应的接口调用码值。最后,再由服务器110加载内存中预先写入
的订阅应用配置,并基于订阅应用配置确定与各订阅方分别对应的目标码值;通过获取与
目标码值对应的目标事件,并将目标事件推送至相应的订阅方108。
[0060] 其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器110可以用独立的第一服务器或者是多个第一服务器组成的
服务器集群来实现。多个业务系统104以及可以运行在独立的第二服务器中,或者,分别运
行与不同的第二服务器中。多个订阅方108可以但不限于设于应用服务器中的营销应用、风
控应用、借款监控应用以及展位数据应用。
[0061] 在一个实施例中,如图2所示,提供了一种埋点数据处理方法,以该方法应用于图1中的服务器110为例进行说明,包括以下步骤:
[0062] 步骤S202,接收通过应用程序采集的多个埋点数据,并根据所述埋点数据确定对应的埋点事件;所述埋点数据表征了用户在应用程序的页面执行的操作行为。
[0063] 其中,应用程序可以部署于多个执行终端中。埋点事件指的是用户在页面或程序中执行了相应的操作并触发了对应的埋点,所针对的具体操作事件;埋点是对终端等设备
上运行的应用或界面中特定的流程收集的一些信息,用来跟踪应用的使用情况,指的是对
用户行为进行收集、处理的相关技术及其实施过程,比如对用户对页面中某个按钮的点击
次数、观看某个视频的时长等。埋点数据可以用来优化应用,或对应用的后续运营提供数据
支撑,是将埋点信息进行筛选、处理、整合后,得到的可以被服务器识别、运用的数据;埋点
信息可以包括访问数、访问客、停留时长、页面浏览数和跳出率等,本申请实施例对比不作
限定。
[0064] 具体的,由服务器接收各个执行终端分别反馈的埋点数据,并根据接收到的埋点数据确定对应的埋点事件。需要说明的是,服务器接收到的也可以是由多个埋点数据所构
成的埋点数据包,当服务器获取到的埋点数据包时,从中拆分出相应的埋点数据,并根据拆
分得到的埋点数据确定对应的埋点事件。
[0065] 在其中一个实施例中,请参考图3,应用程序可以为设于执行终端中的APP,通过预先在APP中进行埋点设置,当用户调用由接口网关提供的多个接口执行由APP提供的业务功
能,且触发埋点时,进行埋点数据的采集,其中,采集到的埋点数据将异步上报到服务器,由
设于服务器中的数据网关进行埋点数据的接收以及处理。
[0066] 上述实施例中,在触发埋点时,通过应用程序进行埋点数据的采集,其中,采集到的埋点数据将异步上报到服务器,由服务器进行统一处理。这样订阅方不需要对接到不同
的流数据源,仅在对接到服务器时,就可以获取到所需的订阅数据。因此,当前的实施方案
能够提高开发效率,以及保证数据质量。
[0067] 步骤S204,将对应于相同执行目的埋点事件,合并构成对应的关键事件。
[0068] 其中,埋点数据包括多个字段,字段用于记载用户信息、设备信息和会话信息中的至少一种。需要说明的是,用户信息指的是用户喜好、用户细分、用户需求、用户联系方式等
一些关于用户的基本信息。设备信息指的是设备标识、设备所在地、设备编号等一些关于设
备的基本信息,会话信息指的是会话过程中涉及到的访问地址、访问对象、会话标识等一些
关于会话的基本信息。
[0069] 具体的,由服务器确定各个埋点时间分别对应的执行目的,将具备相同执行目的的埋点数据进行合并。
[0070] 在其中一个实施例中,在由服务器将对应于相同执行目的埋点事件,合并构成对应的关键事件之前,为了进一步保证埋点数据的完整性,还需要由服务器从多个埋点数据
中,筛选出缺少用户信息的多个目标埋点数据;针对各个目标埋点事件,通过预设的设备标
识和/或会话标识进行用户信息的关联补全。
[0071] 上述实施例中,基于数据分析需求,由服务器将对应于相同执行目的埋点事件进行合并,为后续的数据分析工作打下基础,能够有效提高数据分析的准确度。
[0072] 步骤S206,获取由不同业务系统上传的多个业务事件,及接口网关上传的多个接口调用事件;业务事件包括当触发操作事件时,由相应的业务系统反馈的执行结果信息,接
口调用事件包括在进行埋点事件采集时对应的接口调用信息。
[0073] 其中,业务系统可以为后端业务处理系统,接口调用事件可以通过信息采集工具进行实时采集;在一个实施例中,信息采集工具包括Filebeat工具和Logstash工具中的至
少一种。示例性的,后端业务处理系统可以为一个专用于处理用户身份注册的一个业务系
统。当前,由用户在具备前端界面的终端中输入了相应的用户身份信息后,输入的用户身份
信息将进一步反馈到后端业务处理系统,由后端业务处理系统根据接收到的用户信息判断
该用户是否符合申请条件,并在符合申请条件的情况下,输出“注册成功”等执行结果信息,
即生成相应的业务事件。
[0074] 步骤S208,生成与各个埋点事件对应的埋点码值、与各个关键事件分别对应的关键事件码值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的接口调用
码值。
[0075] 其中,埋点码值、关键事件码值、业务码值和接口调用码值是由服务器定义的,用于能够识别相应的事件,具体起到一个标识性的作用。
[0076] 步骤S210,加载内存中预先写入的订阅应用配置,并基于订阅应用配置确定与各订阅方分别对应的目标码值,目标码值包括埋点码值、关键事件码值、业务码值和接口调用
码值中的至少一种。
[0077] 其中,在加载内存中预先写入的订阅应用配置之前,还需要由用户进行订阅应用配置的相关信息设置,相关信息可以为所需推送到订阅方的目标事件,与目标事件所对应
的目标码值等,本申请实施例对此不作限定。
[0078] 具体的,在加载内存中预先写入的订阅应用配置之前,由服务器确定所需推送的多个目标事件,目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一
种;通过在应用程序的页面中,进行目标事件所对应的目标码值的配置;基于配置好的目标
码值、以及相应的配置方信息,生成对应的订阅应用配置,并将订阅应用配置写入到内存
中。
[0079] 在其中一个实施例中,请参考图4,其为设置订阅应用配置的前端界面图。当前由目标用户确定所需推送的多个目标事件,目标事件包括埋点事件、关键事件、业务事件和接
口调用事件中的至少一种;由目标用户在应用程序的页面中通过点击“添加码值”按钮,并
在随之切换到的配置页面中,进行目标事件所对应的目标码值的配置;基于配置好的目标
码值、以及相应的配置方信息,生成对应的订阅应用配置,并将订阅应用配置写入到内存
中。其中,配置方信息可以为页面名称和所属模块(示例性的所属模块可以为默认模块以及
标准申请流程)。需要说明的是,在当前显示的订阅应用配置的前端界面中,也可以根据显
示的基本信息,确定应用程序的类型、应用场景以及应用说明等。示例性的,当需要删除先
前配置好的目标码值、以及相应的配置方信息时,通过触发删除链接,进行目标码和配置方
信息的删除,且,在触发删除链接的同时将生成变更通知指令,由服务器进行变更通知指令
的接收,并及时更新内存中的配置数据。
[0080] 上述实施例中,在加载内存中预先写入的订阅应用配置之前,由用户进行订阅应用配置的相关信息设置,可以使得服务器在明确用户的订阅需求的情况下,实现目标事件
的定向推送,提高了系统开发效率。
[0081] 步骤S212,获取与目标码值对应的目标事件,并将目标事件推送至相应的订阅方;目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种。
[0082] 其中,由服务器将目标事件发送到指定的消息队列中,由消息队列进行目标事件的存储,并在订阅方完成订阅操作后,将消息队列中存储的目标事件推送到相应的订阅方。
[0083] 具体的,订阅方包括设于应用服务器中的营销应用、风控应用、借款监控应用以及展位数据应用中的至少一种。当相应的订阅方接收到目标事件时,由订阅方根据目标事件,
当确定用户在页面中执行了预设的操作行为时,触发相应的业务处理进程;其中,业务处理
进程包括预设信息推送和访问拦截中的至少一种。另外,由于各个业务事件均携带有相应
的属性字段。当前实施例中,还需要由服务器基于各个业务事件分别对应的属性字段,确定
所属不同一事件类型且命名方式不同的多个目标属性字段;由服务器按照统一的标识命名
方式,对各个目标属性字段进行重命名;基于重命名后的多个目标属性字段,对相应业务事
件携带的属性字段进行更新。
[0084] 在其中一个实施例中,当营销应用根据接收到目标事件,发现目标用户进入借款页面时,触发预先设置的消息推送处理进程,给目标用户推送免息券。在另一个实施例中,
当风控应用根据接收到目标事件,发现目标用户执行了违法操作行为,触发预先设置的访
问拦截进程,进行访问拦截。
[0085] 上述实施例中,由于不同业务系统上传的同类型业务事件所对应的识别标识可能存在不同的情况,为了便于后续对数据进行统一的管理,由服务器按照统一的标识命名方
式,对各个目标识别标识进行重命名,有效的提高了系统开发效率。
[0086] 上述埋点数据处理方法中,接收通过不同应用程序采集的多个埋点数据,基于数据分析需求,将具备相同执行目的的埋点事件合并成相应的关键事件,为后续的数据分析
工作打下基础,能够有效提高数据分析的准确度。同时,可获取由不同业务系统上传的多个
业务事件,及接口网关上传的多个接口调用事件。这样就可预先对接不同的数据源,并采集
和处理得到不同类型的事件。进而通过加载内存中预先写入的订阅应用配置,确定与各订
阅方分别对应的目标码值,并基于目标码值确定所需推送的目标事件,在明确用户的订阅
需求,且订阅方无需对接不同的流数据源的情况下,即可将来源不同数据流的目标事件定
向推送到对应的订阅方,大大提高了事件推送的有效性和效率。并且,在实现与埋点行为对
应的各个目标事件的推送时,无需重开发系统,提高了系统的开发效率,减少了应用成本。
[0087] 应该理解的是,虽然图2和图3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些
步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2和图3中的
至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时
刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次
进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地
执行。
[0088] 在一个实施例中,如图5所示,提供了一种埋点数据处理装置500,包括:第一获取模块501、合并模块502、第二获取模块503、码值获取模块504、加载模块505和推送模块506,
其中:
[0089] 第一获取模块501,用于接收通过应用程序采集的多个埋点数据,并根据埋点数据确定对应的埋点事件;埋点数据表征了用户在应用程序的页面执行的操作行为。
[0090] 合并模块502,用于将对应于相同执行目的埋点事件,合并构成对应的关键事件。
[0091] 第二获取模块503,用于获取由不同业务系统上传的多个业务事件,及接口网关上传的多个接口调用事件;业务事件包括当触发操作事件时,由相应的业务系统反馈的执行
结果信息,接口调用事件包括在进行埋点事件采集时对应的接口调用信息。
[0092] 码值获取模块504,用于获取与各个埋点事件对应的埋点码值、与各个关键事件分别对应的关键事件码值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应
的接口调用码值。
[0093] 加载模块505,用于加载内存中预先写入的订阅应用配置,并基于订阅应用配置确定与各订阅方分别对应的目标码值,目标码值包括埋点码值、关键事件码值、业务码值和接
口调用码值中的至少一种。
[0094] 推送模块506,用于获取与目标码值对应的目标事件,并将目标事件推送至相应的订阅方;目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种。
[0095] 在其中一个实施例中,埋点数据处理装置500还包括筛选模块,其中:
[0096] 筛选模块,用于从多个埋点数据中,筛选出缺少用户信息的多个目标埋点数据;针对各个目标埋点事件,通过预设的设备标识和/或会话标识进行用户信息的关联补全。
[0097] 在其中一个实施例中,埋点数据处理装置500还包括配置模块,其中:
[0098] 配置模块,用于确定所需推送的多个目标事件,目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种;通过在应用程序的页面中,进行目标事件所对
应的目标码值的配置;基于配置好的目标码值、以及相应的配置方信息,生成对应的订阅应
用配置,并将订阅应用配置写入到内存中。
[0099] 在其中一个实施例中,第二获取模块503,还用于通过信息采集工具对接口网关输出的多个接口调用事件进行实时采集;信息采集工具包括Filebeat工具和Logstash工具中
的至少一种。
[0100] 在一个实施例中,推送模块506,还用于将对应筛选得到的目标事件发送到指定的消息队列中,由消息队列进行目标事件的存储;当订阅方完成订阅操作后,将消息队列中存
储的目标事件推送到相应的订阅方。
[0101] 在一个实施例中,埋点数据处理装置500还包括更新模块,其中:
[0102] 更新模块,用于基于各个业务事件分别对应的属性字段,确定所属不同事件类型且命名方式不同的多个目标属性字段;按照统一的标识命名方式,对各个目标属性字段进
行重命名;基于重命名后的多个目标属性字段,对相应业务事件携带的属性字段进行更新。
[0103] 在一个实施例中,埋点数据处理装置500还包括执行模块,其中:
[0104] 执行模块,用于当相应的订阅方接收到目标事件时,由订阅方根据目标事件,当确定用户在页面中执行了预设的操作行为时,触发相应的业务处理进程;其中,业务处理进程
包括预设信息推送和访问拦截中的至少一种。
[0105] 上述埋点实时流数据处理装置,接收通过不同应用程序采集的多个埋点数据,基于数据分析需求,将具备相同执行目的的埋点事件合并成相应的关键事件,为后续的数据
分析工作打下基础,能够有效提高数据分析的准确度。同时,可获取由不同业务系统上传的
多个业务事件,及接口网关上传的多个接口调用事件。这样就可预先对接不同的数据源,并
采集和处理得到不同类型的事件。进而通过加载内存中预先写入的订阅应用配置,确定与
各订阅方分别对应的目标码值,并基于目标码值确定所需推送的目标事件,在明确用户的
订阅需求,且订阅方无需对接不同的流数据源的情况下,即可将来源不同数据流的目标事
件定向推送到对应的订阅方,大大提高了事件推送的有效性和效率。并且,在实现与埋点行
为对应的各个目标事件的推送时,无需重开发系统,提高了系统的开发效率,减少了应用成
本。
[0106] 关于埋点实时流数据处理装置的具体限定可以参见上文中对于埋点实时流数据处理方法的限定,在此不再赘述。上述埋点实时流数据处理装置中的各个模块可全部或部
分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备
中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执
行以上各个模块对应的操作。
[0107] 在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。
其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易
失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该
内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备
的数据库用于存储目标时间。该计算机设备的网络接口用于与外部的终端通过网络连接通
信。该计算机程序被处理器执行时以实现一种埋点实时流数据处理方法。
[0108] 本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备
可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0109] 在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:接收通过应用程序采集的多个埋
点数据,并根据埋点数据确定对应的埋点事件;埋点数据表征了用户在应用程序的页面执
行的操作行为;将对应于相同执行目的埋点事件,合并构成对应的关键事件;获取由不同业
务系统上传的多个业务事件,及接口网关上传的多个接口调用事件;业务事件包括当触发
操作事件时,由相应的业务系统反馈的执行结果信息,接口调用事件包括在进行埋点事件
采集时对应的接口调用信息;生成与各个埋点事件对应的埋点码值、与各个关键事件分别
对应的关键事件码值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的
接口调用码值;加载内存中预先写入的订阅应用配置,并基于订阅应用配置确定与各订阅
方分别对应的目标码值,目标码值包括埋点码值、关键事件码值、业务码值和接口调用码值
中的至少一种;获取与目标码值对应的目标事件,并将目标事件推送至相应的订阅方;目标
事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种。
[0110] 在一个实施例中,处理器执行计算机程序时还实现以下步骤:埋点数据包括多个字段,字段用于记载用户信息、设备信息和会话信息中的至少一种;在将对应于相同执行目
的埋点事件,合并构成对应的关键事件之前,从多个埋点数据中,筛选出缺少用户信息的多
个目标埋点数据;针对各个目标埋点事件,通过预设的设备标识和/或会话标识进行用户信
息的关联补全。
[0111] 在一个实施例中,处理器执行计算机程序时还实现以下步骤:在加载内存中预先写入的订阅应用配置之前,确定所需推送的多个目标事件,目标事件包括埋点事件、关键事
件、业务事件和接口调用事件中的至少一种;通过在应用程序的页面中,进行目标事件所对
应的目标码值的配置;基于配置好的目标码值、以及相应的配置方信息,生成对应的订阅应
用配置,并将订阅应用配置写入到内存中。
[0112] 在一个实施例中,处理器执行计算机程序时还实现以下步骤:通过信息采集工具对接口网关输出的多个接口调用事件进行实时采集;信息采集工具包括Filebeat工具和
Logstash工具中的至少一种。
[0113] 在一个实施例中,处理器执行计算机程序时还实现以下步骤:将对应筛选得到的目标事件发送到指定的消息队列中,由消息队列进行目标事件的存储;当订阅方完成订阅
操作后,将消息队列中存储的目标事件推送到相应的订阅方。
[0114] 在一个实施例中,处理器执行计算机程序时还实现以下步骤:各个业务事件均携带有相应的属性字段,在将目标事件推送至相应的订阅方之前,基于各个业务事件分别对
应的属性字段,确定所属不同事件类型且命名方式不同的多个目标属性字段;按照统一的
标识命名方式,对各个目标属性字段进行重命名;基于重命名后的多个目标属性字段,对相
应业务事件携带的属性字段进行更新。
[0115] 在一个实施例中,处理器执行计算机程序时还实现以下步骤:订阅方包括设于应用服务器中的营销应用、风控应用、借款监控应用以及展位数据应用中的至少一种,当相应
的订阅方接收到目标事件时,由订阅方根据目标事件,当确定用户在页面中执行了预设的
操作行为时,触发相应的业务处理进程;其中,业务处理进程包括预设信息推送和访问拦截
中的至少一种。
[0116] 上述计算机设备,接收通过不同应用程序采集的多个埋点数据,基于数据分析需求,将具备相同执行目的的埋点事件合并成相应的关键事件,为后续的数据分析工作打下
基础,能够有效提高数据分析的准确度。同时,可获取由不同业务系统上传的多个业务事
件,及接口网关上传的多个接口调用事件。这样就可预先对接不同的数据源,并采集和处理
得到不同类型的事件。进而通过加载内存中预先写入的订阅应用配置,确定与各订阅方分
别对应的目标码值,并基于目标码值确定所需推送的目标事件,在明确用户的订阅需求,且
订阅方无需对接不同的流数据源的情况下,即可将来源不同数据流的目标事件定向推送到
对应的订阅方,大大提高了事件推送的有效性和效率。并且,在实现与埋点行为对应的各个
目标事件的推送时,无需重开发系统,提高了系统的开发效率,减少了应用成本。
[0117] 在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:接收通过应用程序采集的多个埋点数据,并根据埋
点数据确定对应的埋点事件;埋点数据表征了用户在应用程序的页面执行的操作行为;将
对应于相同执行目的埋点事件,合并构成对应的关键事件;获取由不同业务系统上传的多
个业务事件,及接口网关上传的多个接口调用事件;业务事件包括当触发操作事件时,由相
应的业务系统反馈的执行结果信息,接口调用事件包括在进行埋点事件采集时对应的接口
调用信息;生成与各个埋点事件对应的埋点码值、与各个关键事件分别对应的关键事件码
值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的接口调用码值;加载
内存中预先写入的订阅应用配置,并基于订阅应用配置确定与各订阅方分别对应的目标码
值,目标码值包括埋点码值、关键事件码值、业务码值和接口调用码值中的至少一种;获取
与目标码值对应的目标事件,并将目标事件推送至相应的订阅方;目标事件包括埋点事件、
关键事件、业务事件和接口调用事件中的至少一种。
[0118] 在一个实施例中,计算机程序被处理器执行时还实现以下步骤:埋点数据包括多个字段,字段用于记载用户信息、设备信息和会话信息中的至少一种;在将对应于相同执行
目的埋点事件,合并构成对应的关键事件之前,从多个埋点数据中,筛选出缺少用户信息的
多个目标埋点数据;针对各个目标埋点事件,通过预设的设备标识和/或会话标识进行用户
信息的关联补全。
[0119] 在一个实施例中,计算机程序被处理器执行时还实现以下步骤:在加载内存中预先写入的订阅应用配置之前,确定所需推送的多个目标事件,目标事件包括埋点事件、关键
事件、业务事件和接口调用事件中的至少一种;通过在应用程序的页面中,进行目标事件所
对应的目标码值的配置;基于配置好的目标码值、以及相应的配置方信息,生成对应的订阅
应用配置,并将订阅应用配置写入到内存中。
[0120] 在一个实施例中,计算机程序被处理器执行时还实现以下步骤通过信息采集工具对接口网关输出的多个接口调用事件进行实时采集;信息采集工具包括Filebeat工具和
Logstash工具中的至少一种。
[0121] 在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将对应筛选得到的目标事件发送到指定的消息队列中,由消息队列进行目标事件的存储;当订阅方完成订
阅操作后,将消息队列中存储的目标事件推送到相应的订阅方。
[0122] 在一个实施例中,计算机程序被处理器执行时还实现以下步骤:各个业务事件均携带有相应的属性字段,在将目标事件推送至相应的订阅方之前,基于各个业务事件分别
对应的属性字段,确定所属不同事件类型且命名方式不同的多个目标属性字段;按照统一
的标识命名方式,对各个目标属性字段进行重命名;基于重命名后的多个目标属性字段,对
相应业务事件携带的属性字段进行更新。
[0123] 在一个实施例中,计算机程序被处理器执行时还实现以下步骤:订阅方包括设于应用服务器中的营销应用、风控应用、借款监控应用以及展位数据应用中的至少一种,当相
应的订阅方接收到目标事件时,由订阅方根据目标事件,当确定用户在页面中执行了预设
的操作行为时,触发相应的业务处理进程;其中,业务处理进程包括预设信息推送和访问拦
截中的至少一种。
[0124] 上述存储介质,接收通过不同应用程序采集的多个埋点数据,基于数据分析需求,将具备相同执行目的的埋点事件合并成相应的关键事件,为后续的数据分析工作打下基
础,能够有效提高数据分析的准确度。同时,可获取由不同业务系统上传的多个业务事件,
及接口网关上传的多个接口调用事件。这样就可预先对接不同的数据源,并采集和处理得
到不同类型的事件。进而通过加载内存中预先写入的订阅应用配置,确定与各订阅方分别
对应的目标码值,并基于目标码值确定所需推送的目标事件,在明确用户的订阅需求,且订
阅方无需对接不同的流数据源的情况下,即可将来源不同数据流的目标事件定向推送到对
应的订阅方,大大提高了事件推送的有效性和效率。并且,在实现与埋点行为对应的各个目
标事件的推送时,无需重开发系统,提高了系统的开发效率,减少了应用成本。
[0125] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机
可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,
本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可
包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read‑
Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器
(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种
形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存
储器(Dynamic RandomAccess Memory,DRAM)等。
[0126] 以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛
盾,都应当认为是本说明书记载的范围。
[0127] 以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来
说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护
范围。因此,本申请专利的保护范围应以所附权利要求为准。