一种面向安全事件数据的分布式分析方法及系统

摘要

本发明公开了一种面向安全事件数据的分布式分析方法及系统，首先，接收安全事件数据；基于接收的安全事件数据量级和/或现有硬件设备和/或处理速度要求来确定存储方案，并基于所述存储方案进行安全事件数据存储；读取所需的安全事件数据并进行分布式分析，并将分析结果汇总；其中，用于安全事件数据存储和用于分布式分析的硬件设备彼此隔离，根据各自需要采用不同的硬件设备。从而使得分析系统可以存储海量结构复杂的安全事件数据，并由于分析与存储分开，使得分析速度大幅提升。

权利要求

1.一种面向安全事件数据的分布式分析方法，其特征在于，包括：接收安全事件数据；

基于接收的安全事件数据量级和/或现有硬件设备和/或处理速度要求来确定存储方案，并基于所述存储方案进行安全事件数据存储；

读取所需的安全事件数据并进行分布式分析，并将分析结果汇总；所述分布式分析指利用多个分布式节点完成安全事件数据分析；

用于安全事件数据存储和用于分布式分析的硬件设备彼此分离，采用不同的硬件设备。

2.如权利要求1所述的方法，其特征在于，还包括：依据用户指令对分布式分析中涉及的任务进行增删管理和/或时序管理。

3.如权利要求1所述的方法，其特征在于，还包括：监控整个分析系统，如出现异常则报警。

4.如权利要求1所述的方法，其特征在于，还包括：根据系统配置定期清理分析系统。

5.如权利要求1所述的方法，其特征在于，采用json格式存储安全事件数据。

6.如权利要求1所述的方法，其特征在于，采用Map/Reduce进行分布式分析。

7.如权利要求1所述的方法，其特征在于，所述用于安全事件数据存储与用于分布式分析的硬件设备能够进行分布式线性扩展。

8.如权利要求1所述的方法，其特征在于，所述存储方案包括：相同数据多个备份或者同一数据多机分片存储。

9.一种面向安全事件数据的分布式分析系统，其特征在于，包括：数据灌入模块，接收安全事件数据，将所述安全事件数据存入数据存储模块；

数据存储模块，基于接收的安全事件数据量级和/或现有硬件设备和/或处理速度要求确定存储方案，并基于所述存储方案进行安全事件数据存储；

数据分析模块，从数据存储模块读取所需的安全事件数据并进行分布式分析，并将分析结果汇总；所述分布式分析指利用多个分布式节点完成安全事件数据分析；

所述数据存储模块与数据分析模块彼此分离，采用不同的硬件设备。

10.如权利要求9所述的系统，其特征在于，还包括：数据交互模块，依据用户指令对数据分析模块中涉及的任务进行增删管理和/或时序管理。

11.如权利要求9所述的系统，其特征在于，还包括：系统监控模块，用于监控整个分析系统，如出现异常则报警。

12.如权利要求9所述的系统，其特征在于，还包括：系统清理模块，根据系统配置定期清理分析系统。

13.如权利要求9所述的系统，其特征在于，所述数据存储模块采用json格式存储安全事件数据。

14.如权利要求9所述的系统，其特征在于，所述数据分析模块采用Map/Reduce进行分布式分析。

15.如权利要求9所述的系统，其特征在于，所述数据存储模块与数据分析模块的硬件设备能够进行分布式线性扩展。

16.如权利要求9所述的系统，其特征在于，所述存储方案包括：相同数据多个备份或者同一数据多机分片存储。

说明书

一种面向安全事件数据的分布式分析方法及系统

技术领域

[0001] 本发明涉及计算机网络安全技术领域，尤其涉及一种面向安全事件数据的分布式分析方法及系统。

背景技术

[0002] 随着计算机的出现和普及，海量的信息以数字化形式存在于网络各处，科学数据、医疗数据、人口统计数据、金融数据等等，这些数据也吸引了大量的网络攻击。并且随着网络攻击越来越多，越来越复杂，相关的安全事件数据种类繁多，数据结构也是及其复杂的。例如一个DOS（分布式攻击）事件，其攻击IP和被攻击IP个数都是不确定的，尤其是攻击IP，可能达到成千上万个；一个病毒感染事件，其行为中会嵌套多个其他行为，这种安全事件数据使用数据库和数据仓库存储已经不能满足需要了。而且，对于海量的安全事件数据进行及时分析和处理也成了网络安全领域的一大难题。

发明内容

[0003] 针对上述技术问题，本发明提供了一种面向安全事件数据的分布式分析方法及系统，根据制定的存储方案进行安全事件数据存储，并且存储与分析相互隔离，各自根据需要配置硬件设备，使得安全事件数据的存储与分析速度加快，可以及时地产生分析结果反馈给外部系统。

[0004] 本发明采用如下方法来实现：一种面向安全事件数据的分布式分析方法，包括：

[0005] 接收安全事件数据；

[0006] 基于接收的安全事件数据量级和/或现有硬件设备和/或处理速度要求来确定存储方案，并基于所述存储方案进行安全事件数据存储；

[0007] 读取所需的安全事件数据并进行分布式分析，并将分析结果汇总；所述分布式分析指利用多个分布式节点完成安全事件数据分析；

[0008] 用于安全事件数据存储和用于分布式分析的硬件设备彼此分离，采用不同的硬件设备；不同的任务采用不同的硬件设备，彼此都达到性能最大化，并且随着高速网卡的普及，安全事件数据存储与分布式分析间的网络数据传输不会成为瓶颈。

[0009] 方法中还包括：依据用户指令对分布式分析中涉及的任务进行增删管理和/或时序管理；可以实现外部系统与分析系统的实时交互。

[0010] 方法中还包括：监控整个分析系统，如出现异常则报警。

[0011] 方法中还包括根据系统配置定期清理分析系统；例如，对于分析系统运行时产生的过期日志进行自动处理。

[0012] 方法中采用json格式存储安全事件数据；可以满足数组、子对象等复杂数据的描述需求。

[0013] 方法中采用Map/Reduce进行分布式分析；运用基于内存的高速Map/Reduce实施分布式分析，进行数据挖掘，解析任务结果，并将解析的任务结果返回给外部。

[0014] 方法中所述用于安全事件数据存储和用于分布式分析的硬件设备能够进行分布式线性扩展；即当用于安全事件数据存储或者用于分布式分析的硬件设备成为分析系统的性能瓶颈时，对相应的硬件设备单独实施分布式线性扩展；例如，扩展安全事件数据存储采用存储行服务器，扩展分布式分析所使用的硬件设备时可以采用多CPU大内存的计算型服务器。

[0015] 方法中所述存储方案可以包括：相同数据多个备份或者同一数据多机分片存储；即当某台用于存储安全事件数据的服务器发生宕机，可及时启用备份服务器中存储的相关数据，为了达到一定的分析速度要求，可以将同一安全事件数据分片存储到不同的服务器中，这样存储速度会得到显著的提高。

[0016] 一种面向安全事件数据的分布式分析系统，包括：

[0017] 数据灌入模块，接收安全事件数据，将所述安全事件数据存入数据存储模块；

[0018] 数据存储模块，基于接收的安全事件数据量级和/或现有硬件设备和/或处理速度要求确定存储方案，并基于所述存储方案进行安全事件数据存储；

[0019] 数据分析模块，从数据存储模块读取所需的安全事件数据并进行分布式分析，并将分析结果汇总；所述分布式分析指利用多个分布式节点完成安全事件数据分析；

[0020] 所述数据存储模块与数据分析模块彼此分离，采用不同的硬件设备；彼此都达到性能最大化，并且随着高速网卡的普及，安全事件数据存储与分布式分析间的网络数据传输不会成为瓶颈。

[0021] 系统中还包括：数据交互模块，依据用户指令对数据分析模块中涉及的任务进行增删管理和/或时序管理；可以实现外部系统与分析系统的实时交互。

[0022] 系统中还包括：系统监控模块，用于监控整个分析系统，如出现异常则报警。

[0023] 系统中还包括：系统清理模块，根据系统配置定期清理分析系统；例如，对于分析系统运行时产生的过期日志进行自动处理。

[0024] 系统中所述数据存储模块采用json格式存储安全事件数据；可以满足数组、子对象等复杂数据的描述需求。

[0025] 系统中所述数据分析模块采用Map/Reduce进行分布式分析；运用基于内存的高速Map/Reduce实施分布式分析，进行数据挖掘，解析任务结果，并将解析的任务结果返回给外部。

[0026] 系统中所述数据存储模块与数据分析模块的硬件设备能够进行分布式线性扩展；即当用于安全事件数据存储或者用于分布式分析的硬件设备成为分析系统的性能瓶颈时，对相应的硬件设备单独实施分布式线性扩展；例如，扩展安全事件数据存储采用存储行服务器，扩展分布式分析所使用的硬件设备时可以采用多CPU大内存的计算型服务器。

[0027] 系统中所述存储方案包括：相同数据多个备份或者同一数据多机分片存储；即当某台用于存储安全事件数据的服务器发生宕机，可及时启用备份服务器中存储的相关数据，为了达到一定的分析速度要求，可以将同一安全事件数据分片存储到不同的服务器中，这样存储速度会有很显著的提高。

[0028] 综上所述，本发明提供了一种面向安全事件数据的分布式分析方法及系统，首先，基于安全事件数据量级和/或现有硬件设备和/或处理速度要求部署存储方案，可以相同数据多个备份或者同一数据分片存储，并且将存储与分析部署在不同的硬件设备上。这样提高了安全事件数据的存储与分析速度，对于相对复杂的安全事件数据的存储与分析变得简单，容易；并且存储与分析可以根据需要各自进行线性扩展与改进，使得分析系统性能达到最优。

附图说明

[0029] 为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0030] 图1为本发明提供的一种面向安全事件数据的分布式分析方法流程图；

[0031] 图2为本发明提供的一种面向安全事件数据的分布式分析系统结构图。

具体实施方式

[0032] 本发明给出了一种面向安全事件数据的分布式分析方法及系统，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明：

[0033] 本发明首先提供了一种面向安全事件数据的分布式分析方法，如图1所示，包括：

[0034] S101接收安全事件数据；

[0035] S102基于接收的安全事件数据量级和/或现有硬件设备和/或处理速度要求来确定存储方案，并基于所述存储方案进行安全事件数据存储；

[0036] S103读取所需的安全事件数据并进行分布式分析，并将分析结果汇总；所述分布式分析指利用多个分布式节点完成安全事件数据分析；

[0037] 用于安全事件数据存储和用于分布式分析的硬件设备彼此分离，采用不同的硬件设备。

[0038] 优选地，所述方法还包括：依据用户指令对分布式分析中涉及的任务进行增删管理和/或时序管理。

[0039] 优选地，所述方法还包括：监控整个分析系统，如出现异常则报警。

[0040] 优选地，所述方法还包括：根据系统配置定期清理分析系统。

[0041] 优选地，所述方法采用json格式存储安全事件数据。

[0042] 优选地，所述方法采用Map/Reduce进行分布式分析。

[0043] 优选地，所述用于安全事件数据存储和用于分布式分析的硬件设备能够进行分布式线性扩展。

[0044] 优选地，所述存储方案包括：相同数据多个备份或者同一数据多机分片存储。

[0045] 本发明还提供了一种面向安全事件数据的分布式分析系统，如图2所示，包括：

[0046] 数据灌入模块201，接收安全事件数据，将所述安全事件数据存入数据存储模块202；

[0047] 数据存储模块202，基于接收的安全事件数据量级和/或现有硬件设备和/或处理速度要求确定存储方案，并基于所述存储方案进行安全事件数据存储；

[0048] 数据分析模块203，从数据存储模块202读取所需的安全事件数据并进行分布式分析，并将分析结果汇总；所述分布式分析指利用多个分布式节点完成安全事件数据分析；

[0049] 所述数据存储模块202与数据分析模块203彼此分离，采用不同的硬件设备。

[0050] 优选地，系统中还包括：数据交互模块，依据用户指令对数据分析模块中涉及的任务进行增删管理和/或时序管理。

[0051] 优选地，系统中还包括：系统监控模块，用于监控整个分析系统，如出现异常则报警。

[0052] 优选地，系统中还包括：系统清理模块，根据系统配置定期清理分析系统。

[0053] 优选地，系统中所述数据存储模块采用json格式存储安全事件数据。

[0054] 优选地，所述数据分析模块采用Map/Reduce进行分布式分析。

[0055] 优选地，所述数据存储模块与数据分析模块的硬件设备能够根据需要进行分布式线性扩展。

[0056] 优选地，所述存储方案包括：相同数据多个备份或者同一数据多机分片存储。

[0057] 如上所述，本发明给出了一种面向安全事件数据的分布式分析方法及系统，其与传统方法的区别在于，对于传统方法来说，安全事件数据存储与分析基本在一个服务器上进行，这样限制了分析速度，本发明将安全事件数据存储与分析分开来进行，可以各自根据需要选择最优的硬件配置方案，并且对于安全事件数据存储可以根据需要制定存储方案，因此，对于海量复杂的安全事件数据可以进行快速的存储并及时产生分析结果，返回给外部系统。

[0058] 以上实施例用以说明而非限制本发明的技术方案。不脱离本发明精神和范围的任何修改或局部替换，均应涵盖在本发明的权利要求范围当中。