基于动态相似度阈值的信息系统异常变动监测方法及设备转让专利

申请号 : CN202311303495.0

文献号 : CN117056584B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 王滨胡迩腾沈剑胡峰俊毕志城王玉富邱利军

申请人 : 杭州海康威视数字技术股份有限公司

摘要 :

本申请提供一种基于动态相似度阈值的信息系统异常变动监测方法及设备,该方法包括:依据受监测目标的地址信息,抓取该受监测目标的信息系统的当前网页快照数据;依据该受监测目标的信息系统的当前网页快照数据与该受监测目标的信息系统的历史网页快照数据之间的相似度,确定该受监测目标的信息系统的相似评分;在该受监测目标的信息系统的相似评分超过该受监测目标的信息系统的异常变动阈值的情况下,将该受监测目标的信息系统的相似评分加入到历史相似评分数据;在该受监测目标的信息系统的相似评分未超过该受监测目标的信息系统的异常变动阈值的情况下,进行告警处理。该方法可以提升信息系统异常变动监测的可靠性。

权利要求 :

1.一种基于动态相似度阈值的信息系统异常变动监测方法,其特征在于,包括:对于任一受监测目标,依据该受监测目标的地址信息,抓取该受监测目标的信息系统的当前网页快照数据;

依据该受监测目标的信息系统的当前网页快照数据与该受监测目标的信息系统的历史网页快照数据之间的相似度,确定该受监测目标的信息系统的相似评分;

比较该受监测目标的信息系统的相似评分,以及,该受监测目标的信息系统的异常变动阈值;

在该受监测目标的信息系统的相似评分超过该受监测目标的信息系统的异常变动阈值的情况下,将该受监测目标的信息系统的相似评分加入到历史相似评分数据;其中,所述历史相似评分数据用于更新该受监测目标的信息系统的异常变动阈值;所述历史相似评分数据还包括未超过该受监测目标的信息系统的异常变动阈值,但是触发的告警事件被判定为误报的该受监测目标的信息系统的相似评分;

在该受监测目标的信息系统的相似评分未超过该受监测目标的信息系统的异常变动阈值的情况下,进行告警处理。

2.根据权利要求1所述的方法,其特征在于,在该受监测目标的信息系统的相似评分超过该受监测目标的信息系统的异常变动阈值的情况下,所述方法还包括:在确定满足异常变动阈值更新条件的情况下,依据该受监测目标的信息系统的历史相似评分数据,更新该受监测目标的信息系统的异常变动阈值。

3.根据权利要求2所述的方法,其特征在于,所述确定满足异常变动阈值更新条件,包括:在当前时间距离上一次该受监测目标的信息系统的异常变动阈值的更新时间达到预设时长,且在上一次该受监测目标的信息系统的异常变动阈值的更新之后,历史相似评分数据中新增相似评分的情况下,确定满足异常变动阈值更新条件;

和/或,

在上一次该受监测目标的信息系统的异常变动阈值的更新之后,历史相似评分数据中新增的相似评分的数量达到预设数量的情况下,确定满足异常变动阈值更新条件。

4.根据权利要求1所述的方法,其特征在于,受监测目标的信息系统的异常变动阈值依据该受监测目标的信息系统历史相似评分数据,通过以下方式确定:确定该受监测目标的信息系统历史相似评分数据的下四分位数和上四分位数;

依据该受监测目标的信息系统历史相似评分数据的下四分位数和上四分位数,确定该受监测目标的信息系统历史相似评分数据的四分位间距;

依据该受监测目标的信息系统历史相似评分数据的上四分位数和四分位间距,确定该受监测目标的信息系统的异常变动阈值。

5.根据权利要求1所述的方法,其特征在于,该受监测目标的信息系统的当前网页快照数据与该受监测目标的信息系统的历史网页快照数据之间的相似度,包括:在网页快照数据包括网页截图数据的情况下,该受监测目标的信息系统的当前网页截图与该受监测目标的信息系统的历史网页截图之间的第一相似度;

和/或,

在网页快照数据包括网页源码数据的情况下,该受监测目标的信息系统的当前网页源码与该受监测目标的信息系统的历史网页源码之间的第二相似度;

和/或,

在网页快照数据包括网页结构数据的情况下,该受监测目标的信息系统的当前网页结构与该受监测目标的信息系统的历史网页结构之间的第三相似度。

6.根据权利要求5所述的方法,其特征在于,所述依据该受监测目标的信息系统的当前网页快照数据与该受监测目标的信息系统的历史网页快照数据之间的相似度,确定该受监测目标的信息系统的相似评分,包括:将该受监测目标的信息系统不同维度的相似度作为向量各维度的分量值,确定向量的模,依据向量的模确定该受监测目标的信息系统的相似评分;其中,所述不同维度的相似度包括所述第一相似度、第二相似度以及第三相似度中的至少两个。

7.根据权利要求1所述的方法,其特征在于,所述进行告警处理,包括:生成告警事件;

所述进行告警处理之后,还包括:

在检测到针对所述告警事件的误报判定指令的情况下,将该受监测目标的信息系统的相似评分加入到历史相似评分数据。

8.一种基于动态相似度阈值的信息系统异常变动监测装置,其特征在于,包括:抓取单元,用于对于任一受监测目标,依据该受监测目标的地址信息,抓取该受监测目标的信息系统的当前网页快照数据;

确定单元,用于依据该受监测目标的信息系统的当前网页快照数据与该受监测目标的信息系统的历史网页快照数据之间的相似度,确定该受监测目标的信息系统的相似评分;

比较单元,用于比较该受监测目标的信息系统的相似评分,以及,该受监测目标的信息系统的异常变动阈值;

处理单元,用于在该受监测目标的信息系统的相似评分超过该受监测目标的信息系统的异常变动阈值的情况下,将该受监测目标的信息系统的相似评分加入到历史相似评分数据;其中,所述历史相似评分数据用于更新该受监测目标的信息系统的异常变动阈值;所述历史相似评分数据还包括未超过该受监测目标的信息系统的异常变动阈值,但是触发的告警事件被判定为误报的该受监测目标的信息系统的相似评分;在该受监测目标的信息系统的相似评分未超过该受监测目标的信息系统的异常变动阈值的情况下,进行告警处理。

9.根据权利要求8所述的装置,其特征在于,

所述处理单元,还用于在该受监测目标的信息系统的相似评分超过该受监测目标的信息系统的异常变动阈值,且确定满足异常变动阈值更新条件的情况下,依据该受监测目标的信息系统的历史相似评分数据,更新该受监测目标的信息系统的异常变动阈值;

其中,所述处理单元确定满足异常变动阈值更新条件,包括:在当前时间距离上一次该受监测目标的信息系统的异常变动阈值的更新时间达到预设时长,且在上一次该受监测目标的信息系统的异常变动阈值的更新之后,历史相似评分数据中新增相似评分的情况下,确定满足异常变动阈值更新条件;

和/或,

在上一次该受监测目标的信息系统的异常变动阈值的更新之后,历史相似评分数据中新增的相似评分的数量达到预设数量的情况下,确定满足异常变动阈值更新条件;

和/或,

所述确定单元,具体用于通过以下方式确定受监测目标的信息系统的异常变动阈值依据该受监测目标的信息系统历史相似评分数据:确定该受监测目标的信息系统历史相似评分数据的下四分位数和上四分位数;

依据该受监测目标的信息系统历史相似评分数据的下四分位数和上四分位数,确定该受监测目标的信息系统历史相似评分数据的四分位间距;

依据该受监测目标的信息系统历史相似评分数据的上四分位数和四分位间距,确定该受监测目标的信息系统的异常变动阈值;

和/或,

该受监测目标的信息系统的当前网页快照数据与该受监测目标的信息系统的历史网页快照数据之间的相似度,包括:在网页快照数据包括网页截图数据的情况下,该受监测目标的信息系统的当前网页截图与该受监测目标的信息系统的历史网页截图之间的第一相似度;

和/或,

在网页快照数据包括网页源码数据的情况下,该受监测目标的信息系统的当前网页源码与该受监测目标的信息系统的历史网页源码之间的第二相似度;

和/或,

在网页快照数据包括网页结构数据的情况下,该受监测目标的信息系统的当前网页结构与该受监测目标的信息系统的历史网页结构之间的第三相似度;

其中,所述确定单元依据该受监测目标的信息系统的当前网页快照数据与该受监测目标的信息系统的历史网页快照数据之间的相似度,确定该受监测目标的信息系统的相似评分,包括:将该受监测目标的信息系统不同维度的相似度作为向量各维度的分量值,确定向量的模,依据向量的模确定该受监测目标的信息系统的相似评分;其中,所述不同维度的相似度包括所述第一相似度、第二相似度以及第三相似度中的至少两个;

和/或,

所述处理单元进行告警处理,包括:

生成告警事件;

所述处理单元,还用于在检测到针对所述告警事件的误报判定指令的情况下,将该受监测目标的信息系统的相似评分加入到历史相似评分数据。

10.一种电子设备,其特征在于,包括处理器和存储器,其中,存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现权利要求1 7任一项所述的方法。

~

说明书 :

基于动态相似度阈值的信息系统异常变动监测方法及设备

技术领域

[0001] 本申请涉及信息安全技术领域,尤其涉及一种基于动态相似度阈值的信息系统异常变动监测方法及设备。

背景技术

[0002] 随着网络技术的发展,当今的企业通常需要管理大量来自不同业务场景的信息系统网络资产。为了更好的对企业中的信息系统进行安全管理和监测,通常企业需要对各个信息系统的网页变动进行感知。
[0003] 其中一种方式是基于网页内容完整性检测的篡改检测技术来实现对网页异常变动的检测,但随着动态网页技术的普及,目前这种检测技术已不再适用。
[0004] 目前,如何提高网页异常变动检测的可靠性成为一种亟待解决的技术问题。

发明内容

[0005] 有鉴于此,本申请提供一种基于动态相似度阈值的信息系统异常变动监测方法及设备。
[0006] 具体地,本申请是通过如下技术方案实现的:
[0007] 根据本申请实施例的第一方面,提供一种基于动态相似度阈值的信息系统异常变动监测方法,包括:
[0008] 对于任一受监测目标,依据该受监测目标的地址信息,抓取该受监测目标的信息系统的当前网页快照数据;
[0009] 依据该受监测目标的信息系统的当前网页快照数据与该受监测目标的信息系统的历史网页快照数据之间的相似度,确定该受监测目标的信息系统的相似评分;
[0010] 比较该受监测目标的信息系统的相似评分,以及,该受监测目标的信息系统的异常变动阈值;
[0011] 在该受监测目标的信息系统的相似评分超过该受监测目标的信息系统的异常变动阈值的情况下,将该受监测目标的信息系统的相似评分加入到历史相似评分数据;其中,所述历史相似评分数据用于更新该受监测目标的信息系统的异常变动阈值;
[0012] 在该受监测目标的信息系统的相似评分未超过该受监测目标的信息系统的异常变动阈值的情况下,进行告警处理。
[0013] 根据本申请实施例的第二方面,提供一种基于动态相似度阈值的信息系统异常变动监测装置,包括:
[0014] 抓取单元,用于对于任一受监测目标,依据该受监测目标的地址信息,抓取该受监测目标的信息系统的当前网页快照数据;
[0015] 确定单元,用于依据该受监测目标的信息系统的当前网页快照数据与该受监测目标的信息系统的历史网页快照数据之间的相似度,确定该受监测目标的信息系统的相似评分;
[0016] 比较单元,用于比较该受监测目标的信息系统的相似评分,以及,该受监测目标的信息系统的异常变动阈值;
[0017] 处理单元,用于在该受监测目标的信息系统的相似评分超过该受监测目标的信息系统的异常变动阈值的情况下,将该受监测目标的信息系统的相似评分加入到历史相似评分数据;其中,所述历史相似评分数据用于更新该受监测目标的信息系统的异常变动阈值;在该受监测目标的信息系统的相似评分未超过该受监测目标的信息系统的异常变动阈值的情况下,进行告警处理。
[0018] 根据本申请实施例的第三方面,提供一种电子设备,包括处理器和存储器,其中,[0019] 存储器,用于存放计算机程序;
[0020] 处理器,用于执行存储器上所存放的程序时,实现第一方面提供的方法。
[0021] 本申请实施例的基于动态相似度阈值的信息系统异常变动监测方法,对于任一受监测目标,依据该受监测目标的地址信息,抓取该受监测目标的信息系统的当前网页快照数据,依据该受监测目标的信息系统的当前网页快照数据与该受监测目标的信息系统的历史网页快照数据之间的相似度,确定该受监测目标的信息系统的相似评分,并比较该受监测目标的信息系统的相似评分,以及,该受监测目标的信息系统的异常变动阈值,在该受监测目标的信息系统的相似评分超过该受监测目标的信息系统的异常变动阈值的情况下,将该受监测目标的信息系统的相似评分加入到历史相似评分数据;在该受监测目标的信息系统的相似评分未超过该受监测目标的信息系统的异常变动阈值的情况下,进行告警处理,通过维护受监测目标的信息系统的历史相似评分数据,对于任一受监测目标,可以依据该受监测目标对应的历史相似评分数据对该受监测目标的信息系统的异常变动阈值进行动态更新,实现了针对每个受监测目标的信息系统的异常变动阈值的动态生成,可以更好地适应复杂多样的业务场景,从而,可以有效提升信息系统异常变动监测的可靠性。

附图说明

[0022] 图1为本申请一示例性实施例示出的一种基于动态相似度阈值的信息系统异常变动监测方法的流程示意图;
[0023] 图2为本申请一示例性实施例示出的一种基于动态相似度阈值的信息系统异常变动监测方法的流程示意图;
[0024] 图3为本申请一示例性实施例示出的一种基于动态相似度阈值的信息系统异常变动监测装置的结构示意图;
[0025] 图4为本申请一示例性实施例示出的一种电子设备的硬件结构示意图。

具体实施方式

[0026] 这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0027] 在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
[0028] 为了使本领域技术人员更好地理解本申请实施例提供的技术方案,并使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
[0029] 请参见图1,为本申请实施例提供的一种基于动态相似度阈值的信息系统异常变动监测方法的流程示意图,如图1所示,该基于动态相似度阈值的信息系统异常变动监测方法可以包括以下步骤:
[0030] 步骤S100、对于任一受监测目标,依据该受监测目标的地址信息,抓取该受监测目标的信息系统的当前网页快照数据。
[0031] 示例性的,受监测目标的地址信息可以包括受监测目标的URL(Uniform Resource Locator,统一资源定位符)地址。
[0032] 示例性的,受监测目标的信息系统的网页快照数据可以包括受监测目标的信息系统默认主页的网页快照数据。
[0033] 本申请实施例中,对于任一受监测目标,可以依据该受监测目标的地址信息,抓取该受监测目标的信息系统的网页快照数据。
[0034] 其中,最新抓取到的用于确定受监测目标的信息系统的网页快照数据可以称为当前网页快照数据。
[0035] 步骤S110、依据该受监测目标的信息系统的当前网页快照数据与该受监测目标的信息系统的历史网页快照数据之间的相似度,确定该受监测目标的信息系统的相似评分。
[0036] 本申请实施例中,历史网页快照数据可以包括抓取当前网页快照数据之前抓取到的用于确定受监测目标的信息系统的网页快照数据中的部分或全部网页快照数据。
[0037] 示例性的,可以将上一次抓取到的用于确定受监测目标的信息系统的网页快照数据确定为历史网页快照数据。
[0038] 本申请实施例中,可以依据受监测目标的信息系统的当前网页快照数据,以及,该受监测目标的信息系统的历史网页快照数据,确定受监测目标的信息系统的当前网页快照数据与历史网页快照数据之间的相似度,并依据该相似度确定该受监测目标的信息系统的相似评分。
[0039] 例如,可以依据受监测目标的信息系统的当前网页快照数据,与,上一次抓取到的该受监测目标的信息系统的网页快照数据之间的相似度,确定该受监测目标的信息系统的相似评分。
[0040] 但应该认识到,受监测目标的历史网页快照数据并不限于上一次抓取到的该受监测目标的信息系统的网页快照数据,其也可以包括上N(N≥2)次抓取到的该受监测目标的信息系统的网页快照数据。
[0041] 例如,以N=2为例,可以分别确定受监测目标的信息系统的当前网页快照数据与上2次抓取到的该受监测目标的信息系统的网页快照数据之间的相似度,并将该两个相似度的加权平均值,确定为受监测目标的信息系统的当前网页快照数据与该受监测目标的信息系统的历史网页快照数据之间的相似度。其中,不同历史网页快照数据对应的相似度的加权权重可以相同,或者,与当前时间越近的历史网页快照数据对应的相似度的加权权重越大。
[0042] 步骤S120、比较该受监测目标的信息系统的相似评分,以及,该受监测目标的信息系统的异常变动阈值。
[0043] 步骤S130、在该受监测目标的信息系统的相似评分超过该受监测目标的信息系统的异常变动阈值的情况下,将该受监测目标的信息系统的相似评分加入到历史相似评分数据;其中,历史相似评分数据用于更新该受监测目标的信息系统的异常变动阈值。
[0044] 步骤S140、在该受监测目标的信息系统的相似评分未超过该受监测目标的信息系统的异常变动阈值的情况下,进行告警处理。
[0045] 本申请实施例中,在按照上述方式确定了受监测目标的信息系统的相似评分的情况下,可以比较该受监测目标的信息系统的相似评分,以及,该受监测目标的信息系统的异常变动阈值。
[0046] 在该受监测目标的信息系统的相似评分超过该受监测目标的信息系统的异常变动阈值的情况下,可以确定该受监测目标的信息系统未发生异常变动,在该情况下,可以将该受监测目标的信息系统的相似评分加入到历史相似评分数据。
[0047] 示例性的,历史相似评分数据可以用于更新该受监测目标的信息系统的异常变动阈值,即在本申请实施例中,对于任一受监测目标,其信息系统的异常变动阈值并不是固定设置的,而是可以依据历史相似评分数据动态生成,从而,可以更好地适应复杂多样的业务场景。
[0048] 其中,考虑到在受监测目标的信息系统的相似评分超过该受监测目标的信息系统的异常变动阈值的情况下,相似度评分能够更好地表征受监测目标的信息系统的正常变动;而在受监测目标的信息系统的相似评分未超过该受监测目标的信息系统的异常变动阈值的情况下,通常对应的是受监测目标的信息系统的异常变动,而异常变动通常是非规律性的,因此,在对受监测目标的信息系统的异常变动阈值进行更新的过程中,可以依据超过异常变动阈值的相似评分对异常变动阈值进行更新,以使更新得到的异常变动阈值更好地贴合受监测目标的信息系统的正常变动,提高基于该异常变动阈值进行信息系统异常变动监测的可靠性。
[0049] 在该受监测目标的信息系统的相似评分未超过该受监测目标的信息系统的异常变动阈值的情况下,可以确定该受监测目标的信息系统发生的变动过大,存在异常,在该情况下,可以进行告警处理。
[0050] 需要说明的是,在本申请实施例中,由于各受监测目标的信息系统的异常变动阈值是动态生成的,即存在更新的情况,因此,在本申请实施例中,在对受监测目标的信息系统的相似评分与该受监测目标的信息系统的异常变动阈值进行比较的过程中,受监测目标的信息系统的异常变动阈值均指该受监测目标的信息系统的最新异常变动阈值(例如,最近一次更新后的异常变动阈值)。
[0051] 此外,考虑到按照上述方式维护的历史相似评分数据的数据量会随着时间的推移而增加,在历史相似评分数据的数量过大的情况下,会导致异常变动阈值的更新效率明显下降,为了减少异常变动阈值更新的工作量,提高异常变动阈值更新效率,对于按照上述方式维护的历史相似评分数据,可以定时删除历史相似评分数据中,对应的时间与最新系统时间之间的时间差超过预设时间阈值的历史相似评分数据,由于与最新系统时间之间的时间差过大的历史相似评分数据与当前信息系统的变动的关联性相对较小,删除这些历史相似评分数据可以在保证异常变动阈值更新性能的情况下,减少异常变动阈值更新的工作量,提高异常变动阈值更新效率,且可以减少需要存储的数据量,节省系统存储资源;或者,可以预先设定一个滑动窗口,对于按照上述方式维护的历史相似评分数据,可以按照对应的时间从先到后的顺序排序(与最新系统时间之间的时间差越小,排序越靠后),每次在进行异常变动阈值更新的情况下,可以以排序最后的历史相似评分数据为滑动窗口的起点,向前选择数量与滑动窗口大小(可以根据实际需求设定,如100条)一致的历史相似评分数据,用于异常变动阈值的更新,以减少异常变动阈值更新的工作量,提高异常变动阈值更新效率。
[0052] 可见,在图1所示方法流程中,对于任一受监测目标,依据该受监测目标的地址信息,抓取该受监测目标的信息系统的当前网页快照数据,依据该受监测目标的信息系统的当前网页快照数据与该受监测目标的信息系统的历史网页快照数据之间的相似度,确定该受监测目标的信息系统的相似评分,并比较该受监测目标的信息系统的相似评分,以及,该受监测目标的信息系统的异常变动阈值,在该受监测目标的信息系统的相似评分超过该受监测目标的信息系统的异常变动阈值的情况下,将该受监测目标的信息系统的相似评分加入到历史相似评分数据;在该受监测目标的信息系统的相似评分未超过该受监测目标的信息系统的异常变动阈值的情况下,进行告警处理,通过维护受监测目标的信息系统的历史相似评分数据,对于任一受监测目标,可以依据该受监测目标对应的历史相似评分数据对该受监测目标的信息系统的异常变动阈值进行动态更新,实现了针对每个受监测目标的信息系统的异常变动阈值的动态生成,可以更好地适应复杂多样的业务场景,从而,可以有效提升信息系统异常变动监测的可靠性。
[0053] 在一些实施例中,在该受监测目标的信息系统的相似评分超过该受监测目标的信息系统的异常变动阈值的情况下,本申请实施例提供的方案还可以包括:
[0054] 在确定满足异常变动阈值更新条件的情况下,依据该受监测目标的信息系统的历史相似评分数据,更新该受监测目标的信息系统的异常变动阈值。
[0055] 示例性的,对于任一受监测目标,在确定满足异常变动阈值更新条件的情况下,可以依据所维护的该受监测目标的信息系统的历史相似评分数据,更新该受监测目标的信息系统的异常变动阈值。
[0056] 在一个示例中,上述确定满足异常变动阈值更新条件,可以包括:
[0057] 在当前时间距离上一次该受监测目标的信息系统的异常变动阈值的更新时间达到预设时长,且在上一次该受监测目标的信息系统的异常变动阈值的更新之后,历史相似评分数据中新增相似评分的情况下,确定满足异常变动阈值更新条件。
[0058] 示例性的,可以设置一个触发异常变动阈值更新的时长,在当前时间距离上一次该受监测目标的信息系统的异常变动阈值的更新时间达到预设时长,且在上一次该受监测目标的信息系统的异常变动阈值的更新之后,历史相似评分数据中新增相似评分的情况下,可以确定满足异常变动阈值更新条件,进而,可以依据该受监测目标的信息系统的历史相似评分数据,更新该受监测目标的信息系统的异常变动阈值。
[0059] 在另一个示例中,上述确定满足异常变动阈值更新条件,可以包括:
[0060] 在上一次该受监测目标的信息系统的异常变动阈值的更新之后,历史相似评分数据中新增的相似评分的数量达到预设数量的情况下,确定满足异常变动阈值更新条件。
[0061] 示例性的,可以设置一个触发异常变动阈值更新的数量,在上一次该受监测目标的信息系统的异常变动阈值的更新之后,历史相似评分数据中新增的相似评分的数量达到预设数量的情况下,可以确定满足异常变动阈值更新条件,进而,可以依据该受监测目标的信息系统的历史相似评分数据,更新该受监测目标的信息系统的异常变动阈值。
[0062] 在一个示例中,上述预设数量可以为1条,即在上一次该受监测目标的信息系统的异常变动阈值的更新之后,历史相似评分数据中新增的相似评分的数量达到1条的情况下,确定满足异常变动阈值更新条件,即对于任一受监测目标,该受监测目标对应的历史相似评分数据中每新增1条相似评分,针对该受监测目标进行一次异常变动阈值更新。
[0063] 需要说明的是,在本申请实施例中,上述异常变动阈值更新条件可以同时生效,在该情况下,上述两种异常变动阈值更新条件其中一个被满足的情况下,可以对受监测目标的信息系统的异常变动阈值进行更新;或者,在上述两种异常变动阈值更新条件均满足的情况下,对受监测目标的信息系统的异常变动阈值进行更新。
[0064] 在一些实施例中,受监测目标的信息系统的异常变动阈值依据该受监测目标的信息系统历史相似评分数据,通过以下方式确定:
[0065] 确定该受监测目标的信息系统历史相似评分数据的下四分位数和上四分位数;
[0066] 依据该受监测目标的信息系统历史相似评分数据的下四分位数和上四分位数,确定该受监测目标的信息系统历史相似评分数据的四分位间距;
[0067] 依据该受监测目标的信息系统历史相似评分数据的上四分位数和四分位间距,确定该受监测目标的信息系统的异常变动阈值。
[0068] 示例性的,可以通过基于箱形图数据统计的方式,依据受监测目标的信息系统历史相似评分数据,确定该受监测目标的信息系统的异常变动阈值。
[0069] 示例性的,对于任一受监测目标,可以确定该受监测目标的信息系统历史相似评分数据的下四分位数和上四分位数,并依据该受监测目标的信息系统历史相似评分数据的下四分位数和上四分位数,确定该受监测目标的信息系统历史相似评分数据的四分位间距,进而,依据该受监测目标的信息系统历史相似评分数据的上四分位数和四分位间距,确定该受监测目标的信息系统的异常变动阈值。
[0070] 其中,对于任一数据集,下四分位数是指数据集按由小到大的顺序,第25%的值,上四分位数是指数据集按由小到大的顺序,第75%的值。
[0071] 在一些实施例中,该受监测目标的信息系统的当前网页快照数据与该受监测目标的信息系统的历史网页快照数据之间的相似度,包括:
[0072] 在网页快照数据包括网页截图数据的情况下,该受监测目标的信息系统的当前网页截图与该受监测目标的信息系统的历史网页截图之间的第一相似度;
[0073] 和/或,
[0074] 在网页快照数据包括网页源码数据的情况下,该受监测目标的信息系统的当前网页源码与该受监测目标的信息系统的历史网页源码之间的第二相似度;
[0075] 和/或,
[0076] 在网页快照数据包括网页结构数据的情况下,该受监测目标的信息系统的当前网页结构与该受监测目标的信息系统的历史网页结构之间的第三相似度。
[0077] 示例性的,受监测目标的信息系统的网页快照数据可以包括但不限于网页截图数据、网页源码数据以及网页结构数据等中的部分或全部。
[0078] 示例性的,网页源码数据可以包括网页加载完成后的html源代码;网页截图数据可以包括网页加载完成情况下在浏览器中呈现的渲染结果的截图;网页结构数据可以包括基于网页源码数据解析提取的网页中的所有叶子节点的xpath(XML(Extensible Markup Language,可扩展标记语言)Path Language,XML路径与语言)路径。
[0079] 相应地,在网页快照数据包括网页截图数据的情况下,该受监测目标的信息系统的当前网页截图与该受监测目标的信息系统的历史网页截图之间的相似度(可以称为第一相似度);
[0080] 在网页快照数据包括网页源码数据的情况下,该受监测目标的信息系统的当前网页源码与该受监测目标的信息系统的历史网页源码之间的相似度(可以称为第二相似度);
[0081] 在网页快照数据包括网页结构数据的情况下,该受监测目标的信息系统的当前网页结构与该受监测目标的信息系统的历史网页结构之间的相似度(可以称为第三相似度)。
[0082] 在一个示例中,上述依据该受监测目标的信息系统的当前网页快照数据与该受监测目标的信息系统的历史网页快照数据之间的相似度,确定该受监测目标的信息系统的相似评分,可以包括:
[0083] 将该受监测目标的信息系统不同维度的相似度作为向量各维度的分量值,确定向量的模,依据向量的模确定该受监测目标的信息系统的相似评分;其中,不同维度的相似度包括第一相似度、第二相似度以及第三相似度中至少两个。
[0084] 示例性的,在按照上述方式确定了受监测目标的信息系统的当前网页快照数据与历史网页快照数据之间的相似度的情况下,可以将该受监测目标的信息系统不同维度的相似度作为向量各维度的分量值,确定向量的模,依据向量的模确定该受监测目标的信息系统的相似评分。
[0085] 示例性的,不同维度的相似度可以包括上述第一相似度、第二相似度以及第三相似度中的至少两个。
[0086] 例如,以受监测目标的信息系统的网页快照数据包括网页截图数据、网页源码数据以及网页结构数据为例,上述不同维度的相似度可以包括上述第一相似度、第二相似度以及第三相似度。可以将该受监测目标的信息系统不同维度的相似度(即第一相似度、第二相似度以及第三相似度)作为向量各维度的分量值,确定向量的模,并将向量的模确定为该受监测目标的信息系统的相似评分。
[0087] 假设第一相似度为x1,第二相似度为x2,第三相似度为x3,则对应的向量为(x1,x2,x3),向量的模为 ,可以将向量的模确定为该受监测目标的信息系统的相似评分。
[0088] 在一些实施例中,上述进行告警处理,可以包括:
[0089] 生成告警事件;
[0090] 上述进行告警处理之后,还包括:
[0091] 在检测到针对告警事件的误报判定指令的情况下,将该受监测目标的信息系统的相似评分加入到历史相似评分数据。
[0092] 示例性的,以进行告警处理包括生成告警事件为例。
[0093] 示例性的,对于任一受监测目标,在按照上述方式确定该受监测目标的信息系统的相似评分未超过该受监测目标的信息系统的异常变动阈值的情况下,可以生成针对该受监测目标的告警事件。
[0094] 相关人员(如管理员)在查看该受监测目标的告警事件的过程中,可以确定该告警事件是否属于误报。
[0095] 例如,受监测目标的信息系统可能会由于正常的更新,导致按照上述方式确定的该受监测目标的信息系统的相似评分较低,进而,导致生成针对该受监测目标的告警事件,在该情况下,可以将该告警事件判定为误判。
[0096] 示例性的,在检测到针对该告警事件的误报判定指令的情况下,可以将该受监测目标的信息系统的相似评分加入到历史相似评分数据。
[0097] 需要说明的是,在本申请实施例中,历史相似评分数据可以包括正常历史相似评分数据和异常历史相似评分数据。其中,正常历史相似评分数据可以包括按照上述方式确定的超过异常变动阈值的相似评分,以及,未超过异常变动阈值,但是触发的报警事件被判定为误报的相似评分。本申请实施例中可以依据正常历史相似评分数据动态生成异常变动阈值。
[0098] 此外,由于各受监测目标的信息系统的异常变动阈值是动态生成的,即存在更新的情况,因此,在本申请实施例中,在对受监测目标的信息系统的相似评分与该受监测目标的信息系统的异常变动阈值进行比较的过程中,受监测目标的信息系统的异常变动阈值均指该受监测目标的信息系统的最新异常变动阈值(例如,最近一次更新后的异常变动阈值)。
[0099] 对于任一次确定受监测目标的信息系统的相似评分,与该相似评分进行比较的异常变动阈值均是指在确定该相似评分之前的最新异常变动阈值(例如,最近一次更新后的异常变动阈值)。
[0100] 例如,对于t1时刻确定的受监测目标的信息系统的相似评分,与该相似评分进行比较的异常变动阈值是指t1时刻之前确定的、最新的异常变动阈值。t1时刻之后确定的异常变动阈值与该相似评分之间的比较结果并不影响该相似评分为正常历史相似评分数据或异常历史相似评分数据。
[0101] 为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面结合具体实例对本申请实施例提供的技术方案进行说明。
[0102] 该实施例提供一种基于动态相似度阈值的信息系统异常变动监测系统(简称异常变动监测系统),该异常变动监测系统可以包括数据抓取模块、异常检测模块、数据处理模块、阈值计算模块等模块。
[0103] 示例性的,数据抓取模块主要负责信息系统网页快照数据的抓取;
[0104] 数据处理模块主要负责对采集到的网页快照数据进行数据处理和存储操作;
[0105] 异常检测模块主要负责基于每个目标的异常变动阈值进行异常变动检测;
[0106] 阈值计算模块主要负责计算生成每个目标当前最新的异常变动阈值,并维护动态异常变动阈值表。
[0107] 在一个示例中,数据抓取模块,可以负责定期对受监测的信息系统进行网页快照数据抓取;其中,网页快照数据可以包括网页源码和网页截图,以及基于网页源码提取的基于xpath路径表达的网页结构数据;
[0108] 数据处理模块,可以负责对采集到的网页快照数据进行数据处理操作,包括计算当前网页快照数据与历史网页快照数据每个维度的相似度,并确定总体的相似评分,并负责数据存储操作。
[0109] 异常检测模块,可以负责基于动态异常变动阈值表中维护的当前受监测目标最新的异常变动阈值,对当前网页快照数据进行异常变动检测,在按照上述方式确定的相似评分未超过该异常变动阈值的情况下,确定发生异常变动,生成相应的告警事件。
[0110] 阈值计算模块,可以负责维护动态异常变动阈值表,该表记录着每个受监测目标最新的异常变动阈值。在当前网页快照数据被判定为正常的情况下,即按照上述方式确定的相似评分超过该受监测目标最新的异常变动阈值的情况下,将当前网页快照数据对应的相似评分加入到历史相似评分数据,并重新计算生成该受监测目标最新的异常变动阈值。
[0111] 基于上述异常变动监测系统,本申请实施例提供的基于动态相似度阈值的信息系统异常变动监测方法的实现流程可以参见图2,如图2所示,该方法流程可以包括以下步骤:
[0112] S1、获取受监测目标的URL地址。
[0113] S2、通过受监测的目标URL地址,定期抓取每个受监测目标信息系统默认主页的网页快照数据。
[0114] 示例性的,网页快照数可以包括网页源码数据、网页截图数据以及网页结构数据。
[0115] 可以对每次抓取的网页快照数据进行保存。
[0116] 其中,对于保存的网页快照数据,在按照本申请实施例提供的方案确定相似评分超过异常变动阈值,或,相似评分未超过异常变动阈值,但被确定为误判的情况下,该网页快照数据可以作为历史快照数据应用于异常变动阈值的更新;否则,该网页快照数据不用于异常变动阈值的更新(该网页快照数据不作为历史网页快照数据)。
[0117] 示例性的,对于不用于异常变动阈值的更新的网页快照数据,可以不需要保存,例如,将保存的该网页快照数据删除。其中,网页源码数据包括网页加载完成后的html源代码;网页截图数据包括网页加载完成后在浏览器中呈现的渲染结果的截图;网页结构数据包括基于网页源码数据解析提取的网页中的所有叶子节点的xpath路径。
[0118] S3、对于任一受监测目标,每次抓取到网页快照数据的情况下,计算当前网页快照数据与距离当前时间最近的历史快照数据之间在网页截图数据、网页源码数据、网页结构数据三个维度的相似度:
[0119] 3.1、对于网页截图数据的相似度计算,可以分别基于三直方图算法和感知哈希算法计算网页截图之间的相似度,再将计算得到的两个相似度的平均值作为最终网页截图数据之间的相似度。
[0120] 3.2、对于网页源码数据的相似度计算,可以将源码作为字符串数据,通过编辑距离算法计算源码之间的相似度。
[0121] 3.3、对于网页结构数据的相似度计算,可以计算当前网页结构数据与历史网页结构数据中的共同xpath路径占当前网页结构数据中xpath路径总数的比重,作为网页结构相似度。
[0122] S4、基于网页截图数据、网页源码数据、网页结构数据三个维度的相似度值计算当前网页快照数据与历史网页快照数据之间的相似度。
[0123] 示例性的,可以将各维度的相似度作为向量各维度的分量值,计算向量的模,将向量的模作为两次网页快照数据之间的相似评分。
[0124] S5、建立动态异常变动阈值表,在每个目标的初始阶段,为每个受监测目标统一分配一个异常变动阈值,并在后续的迭代和对告警事件的处置中不断更新各受监测目标的异常变动阈值。
[0125] S6、将历史保存的同一受监测目标的快照数据(即历史网页快照数据)之间的相似评分数据作为动态生成异常变动阈值的训练数据,基于箱形图(Box plot)统计结果动态计算生成用于当前受监测目标的异常变动阈值:
[0126] 6.1、计算下四分位数Q3,即数据集按由小到大的顺序,第25%的值。
[0127] 6.2、计算上四分位数Q1,即数据集按由小到大的顺序,第75%的值。
[0128] 6.3、计算四分位间距IQR,即下四分位数Q3与上四分位数Q1之间的差。
[0129] 6.4、计算异常变动阈值T,将小于上四分位数(Q1)k倍IQR的值作为异常变动阈值。
[0130] 示例性的,计算公式可以为:
[0131] T=Q1‑(k×IQR)
[0132] 其中,k为经验值,例如,k可以取1.5。
[0133] S7、每次抓取到受监测目标的信息系统的网页快照数据情况下,可以基于S2‑S4的方法,计算与上一次抓取的历史网页快照数据之间的相似评分,并与异常变动阈值表中该受监测目标最新的异常变动阈值进行比较,判断受监测目标的信息系统是否发生异常变动:
[0134] 7.1、在当前相似评分超过异常变动阈值的情况下,判定该受监测目标的信息系统未发生异常变动,并将当前的相似评分加入到该受监测目标对应的历史相似评分数据中,重新计算生成该受监测目标的信息系统的异常变动阈值,更新动态异常变动阈值表。
[0135] 7.2、在当前相似评分未超过异常变动阈值的情况下,判定该受监测目标的信息系统发生异常变动,并生成相应的告警事件,待管理员手动处置告警。在告警事件被判定为误报的情况下,可以将当前相似评分加入到该受监测目标对应的历史相似评分数据中,并生成新的异常变动阈值,更新动态异常变动阈值表;否则,即告警事件未被判定为误报的情况下,不对异常变动阈值进行更新。
[0136] 以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述:
[0137] 请参见图3,为本申请实施例提供的一种基于动态相似度阈值的信息系统异常变动监测装置的结构示意图,如图3所示,该基于动态相似度阈值的信息系统异常变动监测装置可以包括:
[0138] 抓取单元310,用于对于任一受监测目标,依据该受监测目标的地址信息,抓取该受监测目标的信息系统的当前网页快照数据;
[0139] 确定单元320,用于依据该受监测目标的信息系统的当前网页快照数据与该受监测目标的信息系统的历史网页快照数据之间的相似度,确定该受监测目标的信息系统的相似评分;
[0140] 比较单元330,用于比较该受监测目标的信息系统的相似评分,以及,该受监测目标的信息系统的异常变动阈值;
[0141] 处理单元340,用于在该受监测目标的信息系统的相似评分超过该受监测目标的信息系统的异常变动阈值的情况下,将该受监测目标的信息系统的相似评分加入到历史相似评分数据;其中,所述历史相似评分数据用于更新该受监测目标的信息系统的异常变动阈值;在该受监测目标的信息系统的相似评分未超过该受监测目标的信息系统的异常变动阈值的情况下,进行告警处理。
[0142] 在一些实施例中,所述处理单元340,还用于在该受监测目标的信息系统的相似评分超过该受监测目标的信息系统的异常变动阈值,且确定满足异常变动阈值更新条件的情况下,依据该受监测目标的信息系统的历史相似评分数据,更新该受监测目标的信息系统的异常变动阈值。
[0143] 在一些实施例中,所述处理单元340确定满足异常变动阈值更新条件,包括:
[0144] 在当前时间距离上一次该受监测目标的信息系统的异常变动阈值的更新时间达到预设时长,且在上一次该受监测目标的信息系统的异常变动阈值的更新之后,历史相似评分数据中新增相似评分的情况下,确定满足异常变动阈值更新条件;
[0145] 和/或,
[0146] 在上一次该受监测目标的信息系统的异常变动阈值的更新之后,历史相似评分数据中新增的相似评分的数量达到预设数量的情况下,确定满足异常变动阈值更新条件。
[0147] 在一些实施例中,所述确定单元320,具体用于通过以下方式确定受监测目标的信息系统的异常变动阈值依据该受监测目标的信息系统历史相似评分数据:
[0148] 确定该受监测目标的信息系统历史相似评分数据的下四分位数和上四分位数;
[0149] 依据该受监测目标的信息系统历史相似评分数据的下四分位数和上四分位数,确定该受监测目标的信息系统历史相似评分数据的四分位间距;
[0150] 依据该受监测目标的信息系统历史相似评分数据的上四分位数和四分位间距,确定该受监测目标的信息系统的异常变动阈值。
[0151] 在一些实施例中,该受监测目标的信息系统的当前网页快照数据与该受监测目标的信息系统的历史网页快照数据之间的相似度,包括:
[0152] 在网页快照数据包括网页截图数据的情况下,该受监测目标的信息系统的当前网页截图与该受监测目标的信息系统的历史网页截图之间的第一相似度;
[0153] 和/或,
[0154] 在网页快照数据包括网页源码数据的情况下,该受监测目标的信息系统的当前网页源码与该受监测目标的信息系统的历史网页源码之间的第二相似度;
[0155] 和/或,
[0156] 在网页快照数据包括网页结构数据的情况下,该受监测目标的信息系统的当前网页结构与该受监测目标的信息系统的历史网页结构之间的第三相似度。
[0157] 在一些实施例中,所述确定单元320依据该受监测目标的信息系统的当前网页快照数据与该受监测目标的信息系统的历史网页快照数据之间的相似度,确定该受监测目标的信息系统的相似评分,包括:
[0158] 将该受监测目标的信息系统不同维度的相似度作为向量各维度的分量值,确定向量的模,依据向量的模确定该受监测目标的信息系统的相似评分;其中,所述不同维度的相似度包括所述第一相似度、第二相似度以及第三相似度中的至少两个。
[0159] 在一些实施例中,所述处理单元340进行告警处理,包括:
[0160] 生成告警事件;
[0161] 所述处理单元340,还用于在检测到针对所述告警事件的误报判定指令的情况下,将该受监测目标的信息系统的相似评分加入到历史相似评分数据。
[0162] 本申请实施例还提供一种电子设备,包括处理器和存储器,其中,存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现上文描述的基于动态相似度阈值的信息系统异常变动监测方法。
[0163] 请参见图4,为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可包括处理器401、存储有机器可执行指令的存储器402。处理器401与存储器402可经由系统总线403通信。并且,通过读取并执行存储器402中与基于动态相似度阈值的信息系统异常变动监测逻辑对应的机器可执行指令,处理器401可执行上文描述的基于动态相似度阈值的信息系统异常变动监测方法。
[0164] 本文中提到的存储器402可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
[0165] 在一些实施例中,还提供了一种机器可读存储介质,如图4中的存储器402,该机器可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现上文描述的基于动态相似度阈值的信息系统异常变动监测方法。例如,所述机器可读存储介质可以是ROM、RAM、CD‑ROM、磁带、软盘和光数据存储设备等。
[0166] 本申请实施例还提供了一种计算机程序产品,存储有计算机程序,并且当处理器执行该计算机程序时,促使处理器执行上文中描述的基于动态相似度阈值的信息系统异常变动监测方法。
[0167] 需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0168] 以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。