一种日志的存储方法、装置及计算机系统转让专利
申请号 : CN202011159844.2
文献号 : CN112035425B
文献日 : 2021-11-09
发明人 : 耿志亮 , 包玉雪 , 陈旭 , 徐欣
申请人 : 南京星云数字技术有限公司
摘要 :
权利要求 :
1.一种日志的存储方法,其特征在于,所述方法包括:使用Flume日志采集系统获取预设业务平台产生的预设格式的待处理日志及所述预设业务平台对应的配置数据,所述待处理日志包括键值对及预设标识,所述键值对用于存储所述预设业务平台的历史运行记录,所述配置数据包括每一数据键对应的含义、预设数据键对应的替换规则及每一所述预设标识对应的索引库地址;
使用Flink流式计算引擎解析所述待处理日志,识别所述待处理日志包括的数据键及对应的数据值;
当包括的数据键对包含预设数据键时,根据对应的替换规则修改包括的预设数据键对应的数据值;
根据每一数据键对应的含义及对应的数据值,生成历史运行记录;
将所述历史运行记录存储至所述预设标识对应的索引库地址,其中,所述将所述历史运行记录存储至所述预设标识对应的索引库地址包括:向所述索引库地址对应的预设系统发送数据存储请求,以便所述预设系统根据所述数据存储请求返回数据访问权限;
当接收到返回的数据访问权限时,将所述历史运行记录存储至所述索引库地址。
2.根据权利要求1所述的方法,其特征在于,所述方法包括:接收用户发送的日志读取请求;
根据所述日志读取请求对应的历史运行记录,生成可视化日志;
将所述可视化日志返回给所述用户。
3.根据权利要求1所述的方法,其特征在于,所述待处理日志为Json格式。
4.一种日志的存储方法,其特征在于,所述方法包括:将产生的待处理日志发送至预设处理端,以便所述预设处理端接收待处理日志及获取对应的配置数据,所述待处理日志包括键值对及预设标识,所述键值对用于存储预设业务平台的历史运行记录,所述配置数据包括每一数据键对应的含义、预设数据键对应的替换规则及每一所述预设标识对应的索引库地址;解析所述待处理日志,识别所述待处理日志包括的数据键及对应的数据值;当包括的数据键对包含预设数据键时,根据对应的替换规则修改包括的预设数据键对应的数据值;将所述历史运行记录存储至所述预设标识对应的索引库地址,其中,所述将所述历史运行记录存储至所述预设标识对应的索引库地址包括:向所述索引库地址对应的预设系统发送数据存储请求,以便所述预设系统根据所述数据存储请求返回数据访问权限;
当接收到返回的数据访问权限时,将所述历史运行记录存储至所述索引库地址。
5.一种日志的存储装置,其特征在于,所述装置包括:获取模块,用于获取预设业务平台产生的预设格式的待处理日志及所述预设业务平台对应的配置数据,所述待处理日志包括键值对及预设标识,所述键值对用于存储所述预设业务平台的历史运行记录,所述配置数据包括每一数据键对应的含义、预设数据键对应的替换规则及每一所述预设标识对应的索引库地址;
解析模块,用于解析所述待处理日志,识别所述待处理日志包括的数据键及对应的数据值;当所述包括的数据键对包括预设数据键时,根据对应的替换规则修改包括的预设数据键对应的数据值;根据每一数据键对应的含义及对应的数据值,生成历史运行记录;
存储模块,用于将所述历史运行记录存储至所述预设标识对应的索引库地址,所述存储模块还用于向所述索引库地址对应的预设系统发送数据存储请求,以便所述预设系统根据所述数据存储请求返回数据访问权限;当接收到返回的数据访问权限时,将所述历史运行记录存储至所述索引库地址。
6.一种计算机系统,其特征在于,所述系统包括:一个或多个处理器;
以及与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:获取预设业务平台产生的预设格式的待处理日志及所述预设业务平台对应的配置数据,所述待处理日志包括键值对及预设标识,所述键值对用于存储所述预设业务平台的历史运行记录,所述配置数据包括每一数据键对应的含义、预设数据键对应的替换规则及每一所述预设标识对应的索引库地址;
解析所述待处理日志,识别所述待处理日志包括的数据键及对应的数据值;
当包括的数据键对包含预设数据键时,根据对应的替换规则修改包括的预设数据键对应的数据值;
根据每一数据键对应的含义及对应的数据值,生成历史运行记录;
将所述历史运行记录存储至所述预设标识对应的索引库地址,其中,所述将所述历史运行记录存储至所述预设标识对应的索引库地址包括:向所述索引库地址对应的预设系统发送数据存储请求,以便所述预设系统根据所述数据存储请求返回数据访问权限;
当接收到返回的数据访问权限时,将所述历史运行记录存储至所述索引库地址。
说明书 :
一种日志的存储方法、装置及计算机系统
技术领域
背景技术
工进行。然而,随着业务需求的急剧膨胀及服务的多样化发展,系统变得越来越复杂,一个
系统中可以包括多个设备、部署多个实例,导致产生的日志的数据结构不一致,在系统出现
问题时还需要运维人员进行手工定位问题发生的原因,不仅非常困难而且效率低下。
发明内容
的历史运行记录,所述配置数据包括每一数据键对应的含义、预设数据键对应的替换规则
及每一所述预设标识对应的索引库地址;
预设业务平台的历史运行记录,所述配置数据包括每一数据键对应的含义、预设数据键对
应的替换规则及每一所述预设标识对应的索引库地址;解析所述待处理日志,识别所述待
解析日志包括的数据键及对应的数据值;当包括的数据键对包含预设数据键时,根据对应
的替换规则修改包括的预设数据键对应的数据值;将所述历史运行记录存储至所述预设标
识对应的索引库地址。
预设业务平台的历史运行记录,所述配置数据包括每一数据键对应的含义、预设数据键对
应的替换规则及每一所述预设标识对应的索引库地址;
设数据键对应的数据值;根据每一数据键对应的含义及对应的数据值,生成历史运行记录;
的历史运行记录,所述配置数据包括每一数据键对应的含义、预设数据键对应的替换规则
及每一所述预设标识对应的索引库地址;
所述键值对用于存储所述预设业务平台的历史运行记录,所述配置数据包括每一数据键对
应的含义、预设数据键对应的替换规则及每一所述预设标识对应的索引库地址;解析所述
待处理日志,识别所述待解析日志包括的数据键及对应的数据值;当包括的数据键对包含
预设数据键时,根据对应的替换规则修改包括的预设数据键对应的数据值;根据每一数据
键对应的含义及对应的数据值,生成历史运行记录;将所述历史运行记录存储至所述预设
标识对应的索引库地址,通过预先规定业务平台产生的待处理日志的格式,提高了日志的
处理效率,且后续需要查阅日志时可直接获取存储的解析后的日志,不需要对日志进行再
次解析,非运维人员也可理解解析后的日志,便于非运维人员对系统产生的问题进行处理,
提高系统出现问题时的解决效率。
附图说明
本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他
的附图。
具体实施方式
发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在
没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一业务平台预设了相同的日志格式。优选的,日志可以是Json格式。
运行过程参数、执行的数据操作等用于记录平台的运行情况和使用情况的数据,本申请对
此不加限定。
简单处理,并写到各种数据接收方的能力。
的枚举值及枚举值对应的含义等数据。
代表购买成功等,本申请对此不加限定。配置数据中还可包括筛选规则,对筛选规则内包含
的数据键对应的数据值不进行存储。
批处理和流处理程序。
服务端可根据日志中该数据键对应的数据值确定用户的购买金额,并生成一条购买记录,
历史运行记录即包括该购买记录。
定。
平台的历史运行记录,所述配置数据包括每一数据键对应的含义、预设数据键对应的替换
规则及每一所述预设标识对应的索引库地址;
所述预设业务平台的历史运行记录,所述配置数据包括每一数据键对应的含义、预设数据
键对应的替换规则及每一所述预设标识对应的索引库地址;
预设数据键对应的数据值;根据每一数据键对应的含义及对应的数据值,生成历史运行记
录;
数据访问权限时,将所述历史运行记录存储至所述索引库地址。
述可视化日志返回给所述用户。
用于使用Flink流式计算引擎解析所述待处理日志,识别所述待解析日志包括的数据键及
对应的数据值。
预设业务平台的历史运行记录,所述配置数据包括每一数据键对应的含义、预设数据键对
应的替换规则及每一所述预设标识对应的索引库地址;解析所述待处理日志,识别所述待
解析日志包括的数据键及对应的数据值;当包括的数据键对包含预设数据键时,根据对应
的替换规则修改包括的预设数据键对应的数据值;将所述历史运行记录存储至所述预设标
识对应的索引库地址。
个或多个处理器读取执行时,执行如下操作:
的历史运行记录,所述配置数据包括每一数据键对应的含义、预设数据键对应的替换规则
及每一所述预设标识对应的索引库地址;
1512,输入/输出接口1513,网络接口1514,以及存储器1520。上述处理器1510、视频显示适
配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514,与存储器1520之间可以通
过通信总线1530进行通信连接。
一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请所提供的技术方案。
用于控制计算机系统1500运行的操作系统1521,用于控制计算机系统1500的低级别操作的
基本输入输出系统(BIOS)1522。另外,还可以存储网页浏览器1523,数据存储管理1524,以
及图标字体处理系统1525等等。上述图标字体处理系统1525就可以是本申请实施例中具体
实现前述各步骤操作的应用程序。总之,在通过软件或者固件来实现本申请所提供的技术
方案时,相关的程序代码保存在存储器1520中,并由处理器1510来调用执行。 输入/输出接
口1513用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配
置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键
盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示
灯等。
(例如移动网络、WIFI、蓝牙等)实现通信。
过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以
理解的是,上述设备中也可以仅包含实现本申请方案所必需的组件,而不必包含图中所示
的全部组件。
上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品
可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备
(可以是个人计算机,云服务器,或者网络设备等)执行本申请各个实施例或者实施例的某
些部分所述的方法。
系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法
实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为
分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或
者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根
据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术
人员在不付出创造性劳动的情况下,即可以理解并实施。