得到异常数据的方法及系统转让专利

申请号 : CN201910969970.5

文献号 : CN110674126B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 罗晓童国炜王灵军王敉佳黄泽鑫赵新宇

申请人 : 珠海格力电器股份有限公司

摘要 :

本发明公开了一种得到异常数据的方法及系统。其中,得到异常数据的方法,包括步骤:为每一条待测数据赋予一个唯一的数据标签;将所述待测数据发送给第三方软件生成带数据标签的图形,并获取所述图形对应的图像;将所述图像与预设的数据趋势曲线进行比较,找到图像中偏离所述数据趋势曲线大于预设阈值的异常点,获取异常点的数据标签,定位数据标签对应的异常数据。本发明在较低的研发成本下就可以自动获得异常数据,为厂家的异常分析提供便利的条件。

权利要求 :

1.一种得到异常数据的方法,其特征在于,包括步骤:为每一条待测数据赋予一个唯一的数据标签;

将所述待测数据发送给第三方软件生成带数据标签的图形,并获取所述图形对应的图像;

将所述图像与预设的数据趋势曲线进行比较,找到图像中偏离所述数据趋势曲线大于预设阈值的异常点,获取异常点的数据标签,定位数据标签对应的异常数据。

2.如权利要求1所述的得到异常数据的方法,其特征在于,所述数据趋势曲线与预设阈值根据经过检验的正确的实验数据得出。

3.如权利要求1所述的得到异常数据的方法,其特征在于,所述数据趋势曲线与预设阈值根据预设的数学模型得出。

4.如权利要求1所述的得到异常数据的方法,其特征在于,所述获取异常点的数据标签,定位数据标签对应的异常数据具体包括步骤:将所述图像进行放大;

直至可以清晰捕捉到数据标签的内容;

根据所述数据标签查找到对应的待测数据,将该待测数据判定为异常数据。

5.如权利要求1所述的得到异常数据的方法,其特征在于,所述待测数据为相关数据的本次取值与上一次取值之间的差值。

6.如权利要求1所述的得到异常数据的方法,其特征在于,所述第三方软件为tableau软件或spark软件。

7.如权利要求1所述的得到异常数据的方法,其特征在于,所述图形包括直方图、散点图和圆环图当中的至少一种。

8.如权利要求1所述的得到异常数据的方法,其特征在于,通过摄像头或扫描仪获取所述图形对应的图像。

9.一种采用了上述如权利要求1至8任意一项所述的得到异常数据的方法的系统,其特征在于,包括:图像获取单元,获取第三方软件生成的图形并形成图像;

数据获取单元,用于获取待测数据并为其赋予数据标签,将待测数据发送给第三方软件;

数据处理单元,将所述图像与预设的数据趋势曲线进行比较,找到图像中偏离所述数据趋势曲线的异常点,获取异常点的数据标签,定位数据标签对应的异常数据;

数据存储单元,用于存储所述预设的数据趋势曲线,以及带唯一的数据标签的待测数据和数据处理单元的处理结果。

10.如权利要求9所述的系统,其特征在于,所述图像获取单元为扫描仪或相机。

说明书 :

得到异常数据的方法及系统

技术领域

[0001] 本发明涉及数据分析技术,尤其涉及一种基于图形的快速识别异常数据的方法及系统。

背景技术

[0002] 识别数据异常的方法有多种,现有技术中往往是将待测数据与以往存储数据相比较,偏差较大,则可视为有异常,又或者根据存储数据预测绘制数据趋势曲线,判断实际值是否有偏离数据趋势曲线,若实际值偏离该数据趋势曲线,则视为异常,也可结合工程实际应用负载情况推算额定值,识别实际数据超过额定值,则可视为异常。以上方法,更多是在数据分析软件实现,要么不够直观,要么需要人为分析,不适用需要自动分析数据异常的应用场合。
[0003] 也有的现有技术将待测数据绘制成专业的图形,异常数据的点通常都会发生较大的偏离,没有规律,然后通过人工来进行判断异常点,但是这种方法虽然在图中可以看到有异常数据,但是具体异常数据代表的是哪部分具体的数据值还需要人工进一步去查验,且在数据量较多的情况下,绘图也需要占用研发成本,人工判断更加需要耗费较多的精力。而现有技术中存在比较专业的绘图软件却不能直接利用来进行自动的异常数据的分析,导致资源的浪费或耗费。

发明内容

[0004] 为了解决现有技术中如何利用第三方专业的制图软件来自动获得异常数据的技术问题,提出了得到异常数据的方法及系统。
[0005] 本发明提出的得到异常数据的方法,包括步骤:
[0006] 为每一条待测数据赋予一个唯一的数据标签;
[0007] 将所述待测数据发送给第三方软件生成带数据标签的图形,并获取所述图形对应的图像;
[0008] 将所述图像与预设的数据趋势曲线进行比较,找到图像中偏离所述数据趋势曲线大于预设阈值的异常点,获取异常点的数据标签,定位数据标签对应的异常数据。
[0009] 在一个实施例中,所述数据趋势曲线与预设阈值根据经过检验的正确的实验数据得出。在另一个实施例中,所述数据趋势曲线与预设阈值根据预设的数学模型得出。
[0010] 优选的,所述待测数据为相关数据的本次取值与上一次取值之间的差值。
[0011] 具体的,所述获取异常点的数据标签,定位数据标签对应的异常数据具体包括步骤:将所述图像进行放大;直至可以清晰捕捉到数据标签的内容;根据所述数据标签查找到对应的待测数据,将该待测数据判定为异常数据。
[0012] 具体的,所述第三方软件为tableau软件或spark软件。
[0013] 具体的,所述图形包括直方图、散点图和圆环图当中的至少一种。
[0014] 具体的,通过摄像头或扫描仪获取所述图形对应的图像。
[0015] 本发明提出的得到异常数据的系统采用了上述技术方案中的方法,该系统包括:图像获取单元,获取第三方软件生成的图形并形成图像;数据获取单元,用于获取待测数据并为其赋予数据标签,将待测数据发送给第三方软件;数据处理单元,将所述图像与预设的数据趋势曲线进行比较,找到图像中偏离所述数据趋势曲线的异常点,获取异常点的数据标签,定位数据标签对应的异常数据;数据存储单元,用于存储所述预设的数据趋势曲线,以及带唯一的数据标签的待测数据和数据处理单元的处理结果。
[0016] 具体的,所述图像获取单元为扫描仪或相机。
[0017] 本发明基于图形识别数据异常,利用第三方软件将数据顺利地通过图形绘制出来,减轻了研发成本,同时通过图像识别,就可以轻松自动找到数据异常点。

附图说明

[0018] 下面结合实施例和附图对本发明进行详细说明,其中:
[0019] 图1是本发明装置的结构框图。
[0020] 图2是本发明异常数据偏离正常数据的示意图。
[0021] 图3是本发明通过差值得到异常数据的示意图。

具体实施方式

[0022] 下面结合附图详细说明本发明的原理及实施例。
[0023] 如图1所示,本发明的系统包括了图像获取单元,数据获取单元,数据处理单元和数据存储单元。图像获取单元获取第三方软件生成的图形并形成图像。数据获取单元用来获取待测数据并为其赋予数据标签,将待测数据发送给第三方软件。数据处理单元将图像与预设的数据趋势曲线进行比较,找到图像中偏离所述数据趋势曲线的异常点,获取异常点的数据标签,定位数据标签对应的异常数据。而数据存储单元用来存储预设的数据趋势曲线,以及带唯一的数据标签的待测数据和数据处理单元的处理结果。本系统在工作时,数据获取单元与数据源和第三方软件进行通讯,从数据源获取待测试数据,并为每一条待测数据赋予一个唯一的数据标签,然后将待测数据发送给第三方软件。图像获取单元获取第三方软件生成的图形对应的图像,然后交给数据处理单元,数据处理单元对图像进行分析处理,将图像与数据存储单元中预设的数据趋势曲线进行比较,找到图像中偏离数据趋势曲线大于预设阈值的异常点,获取异常点的数据标签,然后根据数据存储单元中存储的待测数据来定位数据标签对应的异常数据。
[0024] 本发明的数据趋势曲线和预设阈值可以通过两种方式获得,一种是通过实验获取到正确的实验数据,根据正确的实验数据可以得知相应的数据趋势曲线以及相应的偏差阈值,该偏差阈值作为预设阈值。另一种是通过大数据量训练并建立数学模型,如发电数学模型,基于发电数学模型,在每天的每个时间点发电数据将可预测,通过数学模型预测的数据来得到预设的数据趋势曲线和偏差阈值,当实际数据偏离发电数学模型预测的数值大于偏差阈值时,即可视为异常。
[0025] 本发明的第三方软件为tableau软件或spark软件,以tableau工具为例,其可以对能源数据进行数据分析,并绘制了直方图、散点图、圆环图等。本发明将第三方软件绘制的这些图形通过图像获取单元获取过来展示并可以自动分析得到异常数据。采用第三方软件的好处在于可以节约研发成本,若是通过自己编程来实现图形展示,需要用java等语言重写直方图、散点图等分析图形的绘制,无成熟的接口可以直接调用,而且绘制直方图、散点图等涉及复杂数学计算过程、绘制过程,非一般人能理解,研发成本较大。
[0026] 本发明的图像获取单元可以是扫描仪也可以是摄像头。以扫描仪为例,本发明将第三方软件生成的图形(包括但不限于直方图、散点图和圆环图)通过扫描仪获取为图像,通过对图像进行分析,可以很直观地看出,圆圈标注的为异常数据,如图2所示,因为在整体系统运行过程中,每天的数据是会呈现规律性变化,正常情况下,总会在一条数据趋势曲线运行,当数据较大偏离该数据趋势曲线时,已可断定为异常数据。
[0027] 具体的,当数据处理单元找到异常点时,可以将图像进行放大,直至可以清晰捕捉到数据标签的内容,由于数据标签跟对应的待测数据之间具有关联,因此可以根据数据标签查找到对应的待测数据,再将该待测数据判定为异常数据。
[0028] 待测数据除了可以是当前系统运行的参数的一个具体取值,有了为了便于分析,待测数据还可以是相关数据的本次取值与上一次取值之间的差值。如图3所示,又以直方图为例,先以今天的数值减去昨天对应时间点的数值,再绘制直方图,结合在正常情况下,整体系统应该会在一条数据趋势曲线运行,因此每个时间点相减的值应全趋近为0,否则,数据异常,通过差值可以快速判断到异常数据。
[0029] 以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。