基于时间序列的日志分析方法和日志分析装置

摘要

本发明提供了一种基于时间序列的日志分析方法和日志分析装置，其中，所述日志分析方法包括：配置用于对日志进行分析的时间模型，所述时间模型包括待分析的日志类型、不同日志之间基于时间序列的关联关系，以及与每种所述关联关系相对应的分析策略；解析所述时间模型，得到日志的采集策略和所述分析策略；根据所述采集策略采集与所述待分析的日志类型相对应的日志；基于所述分析策略对采集到的日志之间的关联关系进行分析。本发明的技术方案可以有效地对在时间上存在关联关系的日志进行分析，同时能够提高对日志的分析效率。

权利要求

1.一种基于时间序列的日志分析方法，其特征在于，包括：配置用于对日志进行分析的时间模型，所述时间模型包括待分析的日志类型、不同日志之间基于时间序列的关联关系，以及与每种所述关联关系相对应的分析策略；

解析所述时间模型，得到日志的采集策略和所述分析策略；

根据所述采集策略采集与所述待分析的日志类型相对应的日志；

基于所述分析策略对采集到的日志之间的关联关系进行分析；

解析所述时间模型，得到日志的采集策略的步骤，具体包括：基于所述时间模型中包含的所述关联关系，确定所述采集策略。

2.根据权利要求1所述的基于时间序列的日志分析方法，其特征在于，根据所述采集策略采集与所述待分析的日志类型相对应的日志的步骤，具体包括：基于预设的采集协议，按照所述采集策略采集与所述待分析的日志类型相对应的日志。

3.根据权利要求1或2所述的基于时间序列的日志分析方法，其特征在于，所述基于时间序列的关联关系包括：不同日志之间的先后顺序、不同日志之间的时间间隔关系、不同日志之间的因果关系、在一定时间段内非此即彼的关系、时间增量关系。

4.根据权利要求1或2所述的基于时间序列的日志分析方法，其特征在于，所述采集策略包括：采集顺序、采集频率。

5.一种基于时间序列的日志分析装置，其特征在于，包括：配置单元，配置用于对日志进行分析的时间模型，所述时间模型包括待分析的日志类型、不同日志之间基于时间序列的关联关系，以及与每种所述关联关系相对应的分析策略；

解析单元，用于解析所述时间模型，得到日志的采集策略和所述分析策略；

采集单元，用于根据所述采集策略采集与所述待分析的日志类型相对应的日志；

处理单元，用于基于所述分析策略对采集到的日志之间的关联关系进行分析；

所述解析单元具体用于：

基于所述时间模型中包含的所述关联关系，确定所述采集策略。

6.根据权利要求5所述的基于时间序列的日志分析装置，其特征在于，所述采集单元具体用于：基于预设的采集协议，按照所述采集策略采集与所述待分析的日志类型相对应的日志。

7.根据权利要求5或6所述的基于时间序列的日志分析装置，其特征在于，所述基于时间序列的关联关系包括：不同日志之间的先后顺序、不同日志之间的时间间隔关系、不同日志之间的因果关系、在一定时间段内非此即彼的关系、时间增量关系。

8.根据权利要求5或6所述的基于时间序列的日志分析装置，其特征在于，所述采集策略包括：采集顺序、采集频率。

说明书

基于时间序列的日志分析方法和日志分析装置

技术领域

[0001] 本发明涉及数据分析技术领域，具体而言，涉及一种基于时间序列的日志分析方法和一种基于时间序列的日志分析装置。

背景技术

[0002] 随着大数据技术的日益发展，其在各行各业的应用越来越频繁。其中，日志分析是大数据技术的一个重要的应用方向，在众多的日志分析方案中，时间序列仅仅是作为一个属性进行存储。在后期的日志分析中仅仅提供基于时间范围的查询和抽取应用，并没有进行更深层的基于时间序列的分析处理逻辑。

[0003] 因此，如何能够基于时间序列对日志进行更加有效的分析成为亟待解决的技术问题。

发明内容

[0004] 本发明正是基于上述技术问题至少之一，提出了一种新的基于时间序列的日志分析方案，可以有效地对在时间上存在关联关系的日志进行分析，同时能够提高对日志的分析效率。

[0005] 有鉴于此，根据本发明的第一方面，提出了一种基于时间序列的日志分析方法，包括：配置用于对日志进行分析的时间模型，所述时间模型包括待分析的日志类型、不同日志之间基于时间序列的关联关系，以及与每种所述关联关系相对应的分析策略；解析所述时间模型，得到日志的采集策略和所述分析策略；根据所述采集策略采集与所述待分析的日志类型相对应的日志；基于所述分析策略对采集到的日志之间的关联关系进行分析。

[0006] 在该技术方案中，通过配置对日志进行分析的时间模型，并基于对时间模型进行解析得到的采集策略来对日志进行采集，使得对日志的采集能够考虑到日志之间基于时间序列的关联关系，进而能够过滤掉很多没有关联关系的日志，节省了对采集到的日志进行存储的空间。通过根据日志之间基于时间序列的关联关系对应的分析策略来对采集到的日志进行分析，使得能够有效地对在时间上存在关联关系的日志进行分析，并且在分析过程中，可以基于源头日志依次进行分析，极大地提高了对日志的分析效率。

[0007] 其中，在配置对日志进行分析的时间模型时，可以通过配置文件来进行配置，也可以由用户来通过交互界面来进行配置。

[0008] 在上述技术方案中，优选地，解析所述时间模型，得到日志的采集策略的步骤，具体包括：基于所述时间模型中包含的所述关联关系，确定所述采集策略。

[0009] 在该技术方案中，通过基于时间模型中包含的关联关系来确定对日志进行采集的采集策略，使得在对日志进行采集时，能够基于时序序列的关联关系来对日志进行采集，进而能够过滤掉无用日志(即没有关联关系的日志)，节省了对采集到的日志进行存储的空间。

[0010] 在上述任一技术方案中，优选地，根据所述采集策略采集与所述待分析的日志类型相对应的日志的步骤，具体包括：基于预设的采集协议，按照所述采集策略采集与所述待分析的日志类型相对应的日志。

[0011] 其中，所述采集策略包括：采集顺序、采集频率。具体地，采集顺序即是对日志进行采集时的先后顺序，采集频率即是单位时间内进行采集的次数。

[0012] 在上述任一技术方案中，优选地，所述基于时间序列的关联关系包括：不同日志之间的先后顺序、不同日志之间的时间间隔关系、不同日志之间的因果关系、在一定时间段内非此即彼的关系、时间增量关系。

[0013] 根据本发明的第二方面，还提出了一种基于时间序列的日志分析装置，包括：配置单元，配置用于对日志进行分析的时间模型，所述时间模型包括待分析的日志类型、不同日志之间基于时间序列的关联关系，以及与每种所述关联关系相对应的分析策略；解析单元，用于解析所述时间模型，得到日志的采集策略和所述分析策略；采集单元，用于根据所述采集策略采集与所述待分析的日志类型相对应的日志；处理单元，用于基于所述分析策略对采集到的日志之间的关联关系进行分析。

[0014] 在该技术方案中，通过配置对日志进行分析的时间模型，并基于对时间模型进行解析得到的采集策略来对日志进行采集，使得对日志的采集能够考虑到日志之间基于时间序列的关联关系，进而能够过滤掉很多没有关联关系的日志，节省了对采集到的日志进行存储的空间。通过根据日志之间基于时间序列的关联关系对应的分析策略来对采集到的日志进行分析，使得能够有效地对在时间上存在关联关系的日志进行分析，并且在分析过程中，可以基于源头日志依次进行分析，极大地提高了对日志的分析效率。

[0015] 其中，在配置对日志进行分析的时间模型时，可以通过配置文件来进行配置，也可以由用户来通过交互界面来进行配置。

[0016] 在上述技术方案中，优选地，所述解析单元具体用于：基于所述时间模型中包含的所述关联关系，确定所述采集策略。

[0017] 在该技术方案中，通过基于时间模型中包含的关联关系来确定对日志进行采集的采集策略，使得在对日志进行采集时，能够基于时序序列的关联关系来对日志进行采集，进而能够过滤掉无用日志(即没有关联关系的日志)，节省了对采集到的日志进行存储的空间。

[0018] 在上述任一技术方案中，优选地，所述采集单元具体用于：基于预设的采集协议，按照所述采集策略采集与所述待分析的日志类型相对应的日志。

[0019] 其中，所述采集策略包括：采集顺序、采集频率。具体地，采集顺序即是对日志进行采集时的先后顺序，采集频率即是单位时间内进行采集的次数。

[0020] 在上述任一技术方案中，优选地，所述基于时间序列的关联关系包括：不同日志之间的先后顺序、不同日志之间的时间间隔关系、不同日志之间的因果关系、在一定时间段内非此即彼的关系、时间增量关系。

[0021] 通过以上技术方案，可以有效地对在时间上存在关联关系的日志进行分析，同时能够提高对日志的分析效率。

附图说明

[0022] 图1示出了根据本发明的实施例的基于时间序列的日志分析方法的示意流程图；

[0023] 图2示出了根据本发明的实施例的基于时间序列的日志分析装置的示意框图；

[0024] 图3示出了根据本发明的实施例的基于时间序列进行日志分析的原理示意图。

具体实施方式

[0025] 为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

[0026] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

[0027] 图1示出了根据本发明的实施例的基于时间序列的日志分析方法的示意流程图。

[0028] 如图1所示，根据本发明的实施例的基于时间序列的日志分析方法，包括：

[0029] 步骤S10，配置用于对日志进行分析的时间模型，所述时间模型包括待分析的日志类型、不同日志之间基于时间序列的关联关系，以及与每种所述关联关系相对应的分析策略。

[0030] 其中，在配置对日志进行分析的时间模型时，可以通过配置文件来进行配置，也可以由用户来通过交互界面来进行配置。

[0031] 所述的基于时间序列的关联关系包括：不同日志之间的先后顺序、不同日志之间的时间间隔关系、不同日志之间的因果关系、在一定时间段内非此即彼的关系、时间增量关系。

[0032] 步骤S12，解析所述时间模型，得到日志的采集策略和所述分析策略。

[0033] 在本发明的一个实施例中，步骤S12具体包括：基于所述时间模型中包含的所述关联关系，确定所述采集策略。

[0034] 在该实施例中，通过基于时间模型中包含的关联关系来确定对日志进行采集的采集策略，使得在对日志进行采集时，能够基于时序序列的关联关系来对日志进行采集，进而能够过滤掉无用日志(即没有关联关系的日志)，节省了对采集到的日志进行存储的空间。

[0035] 步骤S14，根据所述采集策略采集与所述待分析的日志类型相对应的日志。

[0036] 在本发明的一个实施例中，步骤S14具体包括：基于预设的采集协议，按照所述采集策略采集与所述待分析的日志类型相对应的日志。

[0037] 其中，采集策略包括：采集顺序、采集频率。具体地，采集顺序即是对日志进行采集时的先后顺序，采集频率即是单位时间内进行采集的次数。

[0038] 步骤S16，基于所述分析策略对采集到的日志之间的关联关系进行分析。

[0039] 在步骤S16中，具体来说，若采集到的日志本身存在先后顺序(基于时间序列的关联关系中的一种)，则可以基于与这种关联关系相对应的分析策略来对采集到的日志进行分析。

[0040] 再如，当用户进行登录操作时，会产生登录日志，在密码认证失败导致登录错误时，会出现失败日志。当基于时间模型中的分析策略分析到在预定时长内连续多次出现失败日志时，则确定可能出现了暴力破解的事件，此时可以得到并输出分析结果。

[0041] 在图1所示的技术方案中，通过配置对日志进行分析的时间模型，并基于对时间模型进行解析得到的采集策略来对日志进行采集，使得对日志的采集能够考虑到日志之间基于时间序列的关联关系，进而能够过滤掉很多没有关联关系的日志，节省了对采集到的日志进行存储的空间。通过根据日志之间基于时间序列的关联关系对应的分析策略来对采集到的日志进行分析，使得能够有效地对在时间上存在关联关系的日志进行分析，并且在分析过程中，可以基于源头日志依次进行分析，极大地提高了对日志的分析效率。

[0042] 图2示出了根据本发明的实施例的基于时间序列的日志分析装置的示意框图。

[0043] 如图2所示，根据本发明的实施例的基于时间序列的日志分析装置200，包括：配置单元202、解析单元204、采集单元206和处理单元208。

[0044] 其中，配置单元202用于配置对日志进行分析的时间模型，所述时间模型包括待分析的日志类型、不同日志之间基于时间序列的关联关系，以及与每种所述关联关系相对应的分析策略；解析单元204用于解析所述时间模型，得到日志的采集策略和所述分析策略；采集单元206用于根据所述采集策略采集与所述待分析的日志类型相对应的日志；处理单元208用于基于所述分析策略对采集到的日志之间的关联关系进行分析。

[0045] 其中，配置单元202在配置对日志进行分析的时间模型时，可以通过配置文件来进行配置，也可以由用户来通过交互界面来进行配置。

[0046] 在本发明的一个实施例中，所述解析单元具体用于：基于所述时间模型中包含的所述关联关系，确定所述采集策略。

[0047] 在该实施例中，通过基于时间模型中包含的关联关系来确定对日志进行采集的采集策略，使得在对日志进行采集时，能够基于时序序列的关联关系来对日志进行采集，进而能够过滤掉无用日志(即没有关联关系的日志)，节省了对采集到的日志进行存储的空间。

[0048] 在本发明的一个实施例中，所述采集单元具体用于：基于预设的采集协议，按照所述采集策略采集与所述待分析的日志类型相对应的日志。

[0049] 其中，所述采集策略包括：采集顺序、采集频率。具体地，采集顺序即是对日志进行采集时的先后顺序，采集频率即是单位时间内进行采集的次数。

[0050] 上述的基于时间序列的关联关系包括：不同日志之间的先后顺序、不同日志之间的时间间隔关系、不同日志之间的因果关系、在一定时间段内非此即彼的关系、时间增量关系。

[0051] 图2所示的基于时间序列的日志分析装置200通过配置对日志进行分析的时间模型，并基于对时间模型进行解析得到的采集策略来对日志进行采集，使得对日志的采集能够考虑到日志之间基于时间序列的关联关系，进而能够过滤掉很多没有关联关系的日志，节省了对采集到的日志进行存储的空间。通过根据日志之间基于时间序列的关联关系对应的分析策略来对采集到的日志进行分析，使得能够有效地对在时间上存在关联关系的日志进行分析，并且在分析过程中，可以基于源头日志依次进行分析，极大地提高了对日志的分析效率。

[0052] 以下结合图3对本发明的技术方案做进一步说明：

[0053] 本发明主要提出了一种新的基于时间序列的日志分析方案，在日志的收集和分析过程中充分利用各类日志之间的时间关系模型，进行日志集合的模拟和分析处理。具体包括如下步骤：

[0054] 步骤1：配置对应于多个日志类型的时间模型。

[0055] 具体地，可以通过界面配置或者配置文件来配置时间模型，该时间模型包含：待分析的日志类型、日志之间基于时间序列的关联关系(包括日志之间的先后顺序、日志之间的时间间隔关系、因果关系、在一定时间段内非此即彼的关系、时间增量关系等)和针对每种关联关系的实时分析策略。

[0056] 步骤2，如图3所示，对时间模型进行解析，得到采集策略和分析策略，并将采集策略下发至采集代理，将分析策略下发至实时分析引擎。其中，采集代理是用于根据采集策略进行日志采集的。

[0057] 具体地，在将时间模型转换成对应的采集策略与分析策略时，主要是根据时间模型中的关联关系来确定采集策略。采集策略主要包含了日志的采集先后顺序、采集频率等。分析策略即上述的针对每种关联关系的分析策略。

[0058] 步骤3，根据采集策略进行日志采集，将采集到的日志传输至消息队列，并通过分布式存储的方式进行存储，同时通过实时分析引擎进行分析，并且可以进行查询与统计。

[0059] 具体地，采集代理在收到采集策略之后，转化为由定时器控制的定时任务和采集规则进行存储。采集代理基于采集协议(如图3中通过协议适配层来确定相应的采集协议)，并根据采集策略进行日志采集，收集相应类型的日志并传输给消息队列。

[0060] 步骤4，对收集的日志进行分析，并产生需要的事件。

[0061] 具体地，实时分析引擎根据分析策略对消息队列中的日志进行分析。比如：若采集到的日志本身存在先后顺序(基于时间序列的关联关系中的一种)，则可以基于与这种关联关系相对应的分析策略来对采集到的日志进行分析，如对采集到的日志的先后关系进行判断。

[0062] 再如，对于存在因果关系的日志，比如当用户进行登录操作时，会产生登录日志，在密码认证失败导致登录错误时，会出现失败日志。当基于时间模型中的分析策略分析到在预定时长内连续多次出现失败日志时，则确定可能出现了暴力破解的事件，此时可以得到并输出分析结果，以便于定位暴力破解的事件。

[0063] 本发明上述实施例的技术方案实现了如下效果：

[0064] 1、能够更有效地对在时间上存在严密关系的日志进行分析；

[0065] 2、由于是根据时间关系对日志进行采集和存储，过滤了很多无用日志，节约了大量的存储空间。

[0066] 3、由于是根据时间序列进行建模分析，因此能够抓住源头日志先行分析，并基于此逐步对其它日志进行分析，大大提高了对日志的分析效率。

[0067] 以上结合附图详细说明了本发明的技术方案，本发明提出了一种新的基于时间序列的日志分析方案，可以有效地对在时间上存在关联关系的日志进行分析，同时能够提高对日志的分析效率。

[0068] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。