会员体验
专利管家(专利管理)
工作空间(专利管理)
风险监控(情报监控)
数据分析(专利分析)
侵权分析(诉讼无效)
联系我们
交流群
官方交流:
QQ群: 891211   
微信请扫码    >>>
现在联系顾问~
首页 / 专利库 / 数据治理 / 一种基于大数据的数据治理系统及其治理方法

一种基于大数据的数据治理系统及其治理方法

申请号 CN202011407979.6 申请日 2020-12-03 公开(公告)号 CN112506905A 公开(公告)日 2021-03-16
申请人 国网江苏省电力有限公司; 江苏中堃数据技术有限公司; 发明人 赵越; 罗慧; 魏清;
摘要 本发明公开了一种基于大数据的数据治理系统,数据采集模块、数据规范处理模块、存储模块、人工处理模块、数据分区模块、分发处理模块、处理结果汇总模块、数据校核模块和数据输出模块,本发明还提供了上述基于大数据的数据治理系统的制备方法,包括待处理数据的采集、对待处理数据进行规范处理和存储、将规范数据进行分区处理、将分区后的规范数据分别发送至子服务器中并进行单独处理并汇总在总服务器上以及对汇总后的数据进行校核并将校核后的数据输出,本发明通过把格式不符或内容确实的数据进行分类治理,来提高了数据计算的准确率,在治理数据的同时完成了对数据的初步分类计算,为后面的计算时间节省了时间,从而提高了数据处理的效率。
权利要求

1.一种基于大数据的数据治理系统,其特征在于,包括:数据采集模块,用于对待处理数据进行采集;

数据规范处理模块,用于对待处理数据进行规范处理;

存储模块,用于对处理后的数据进行存储;

人工处理模块,用于人工处理不规范数据,以使不规范数据符合要求;

数据分区模块,将处理后的规范数据进行分类处理;

分发处理模块,用于将分类后的数据分别发送至对应的子服务器中;

处理结果汇总模块,用于将各个子服务器中的处理后的数据汇入到总服务器中;

数据校核模块,将总服务器中的数据与原始数据进行比较,分拣出与原始数据相匹配的数据并发送至数据输出模块中,而与原始数据不匹配的数据发送至对应的子服务器中;

数据输出模块,用于将分拣出与原始数据相匹配的数据直接输出。

2.根据权利要求1所述的一种基于大数据的数据治理系统,其特征在于:所述存储模块是由多个独立的储存单元组成。

3.根据权利要求1或2所述的一种基于大数据的数据治理系统的治理方法,其特征在于:包括以下步骤:

步骤一、通过数据采集模块对待处理数据进行采集;

步骤二、通过数据规范处理模块对待处理数据进行规范处理,并将处理后的数据发送至存储模块中进行存储,而未能规范处理的数据发送至人工处理模块中,通过人工操作将不规范的数据进行处理,经人工处理模块处理后的规范数据发送至数据采集模块中;

步骤三、通过数据分区模块将规范数据进行简单地分区处理;

步骤四、通过分发处理模块将分区后的规范数据分别发送至所对应的子服务器中并进行单独处理,然后将处理后的规范数据通过处理结果汇总模块汇总在总服务器上;

步骤五、通过数据校核模块将汇总在总服务器中的数据与原始数据进行校核,经校核后的数据与原始数据相匹配的数据通过数据输出模块输出,而经校核后与原始数据不匹配的数据重新发送至其所对应的子服务器中,并重复步骤三、步骤四和步骤五。

4.根据权利要求3所述的一种基于大数据的数据治理系统的治理方法,其特征在于:所述原始数据是指储存在存储单元中的数据。

说明书全文

一种基于大数据的数据治理系统及其治理方法

技术领域

[0001] 本发明涉及数据处理技术领域,具体为一种基于大数据的数据治理系统及其治理方法。

背景技术

[0002] 数据治理是指对数据中存在的内容不规范、格式不统一等问题进行处理的过程。在数据处理进入大数据时代后,数据治理的重要性日益明显,通过有效的数据治理可以明
显提高数据处理的效率。不过,现有的数据治理过程本身就需要消耗大量的运算,不利于对
于数据处理整个过程效率的提高。

发明内容

[0003] 本发明的目的在于提供一种基于大数据的数据治理系统及其治理方法以解决上述背景技术中提出的问题。
[0004] 为实现上述目的,本发明提供如下技术方案:一种基于大数据的数据治理系统,包括:
[0005] 数据采集模块,用于对待处理数据进行采集;
[0006] 数据规范处理模块,用于对待处理数据进行规范处理;
[0007] 存储模块,用于对处理后的数据进行存储;
[0008] 人工处理模块,用于人工处理不规范数据,以使不规范数据符合要求;
[0009] 数据分区模块,将处理后的规范数据进行分类处理;
[0010] 分发处理模块,用于将分类后的数据分别发送至对应的子服务器中;
[0011] 处理结果汇总模块,用于将各个子服务器中的处理后的数据汇入到总服务器中;
[0012] 数据校核模块,将总服务器中的数据与原始数据进行比较,分拣出与原始数据相匹配的数据并发送至数据输出模块中,而与原始数据不匹配的数据发送至对应的子服务器
中;
[0013] 数据输出模块,用于将分拣出与原始数据相匹配的数据直接输出。
[0014] 进一步地,所述存储模块是由多个独立的储存单元组成。
[0015] 上述基于大数据的数据治理系统的治理方法,包括以下步骤:
[0016] 步骤一、通过数据采集模块对待处理数据进行采集;
[0017] 步骤二、通过数据规范处理模块对待处理数据进行规范处理,并将处理后的数据发送至存储模块中进行存储,而未能规范处理的数据发送至人工处理模块中,通过人工操
作将不规范的数据进行处理,经人工处理模块处理后的规范数据发送至数据采集模块中;
[0018] 步骤三、通过数据分区模块将规范数据进行简单地分区处理;
[0019] 步骤四、通过分发处理模块将分区后的规范数据分别发送至所对应的子服务器中并进行单独处理,然后将处理后的规范数据通过处理结果汇总模块汇总在总服务器上;
[0020] 步骤五、通过数据校核模块将汇总在总服务器中的数据与原始数据进行校核,经校核后的数据与原始数据相匹配的数据通过数据输出模块输出,而经校核后与原始数据不
匹配的数据重新发送至其所对应的子服务器中,并重复步骤三、步骤四和步骤五。
[0021] 进一步地,所述原始数据是指储存在存储单元中的数据。
[0022] 与现有技术相比,本发明的有益效果是:
[0023] (1)本发明将数据分区给多个子服务器进行独立运算,在运算过程中互不干扰,相对于通过一个大的服务器而言,不仅节省了运算时间,而且通过把格式不符或内容确实的
数据进行分类治理,从而来提高了数据计算的准确率。
[0024] (2)本发明在治理数据的同时完成了对数据的初步分类计算,为后面的计算时间节省了时间,从而提高了数据处理的效率。

附图说明

[0025] 图1为本发明的工作原理流程图。

具体实施方式

[0026] 下面对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技
术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范
围。
[0027] 实施例
[0028] 一种基于大数据的数据治理系统,包括:
[0029] 数据采集模块,用于对待处理数据进行采集;
[0030] 数据规范处理模块,用于对待处理数据进行规范处理;
[0031] 存储模块,用于对处理后的数据进行存储;
[0032] 人工处理模块,用于人工处理不规范数据,以使不规范数据符合要求;
[0033] 数据分区模块,将处理后的规范数据进行分类处理;
[0034] 分发处理模块,用于将分类后的数据分别发送至对应的子服务器中;
[0035] 处理结果汇总模块,用于将各个子服务器中的处理后的数据汇入到总服务器中;
[0036] 数据校核模块,将总服务器中的数据与原始数据进行比较,分拣出与原始数据相匹配的数据并发送至数据输出模块中,而与原始数据不匹配的数据发送至对应的子服务器
中;
[0037] 数据输出模块,用于将分拣出与原始数据相匹配的数据直接输出。
[0038] 在本实施例中,所述存储模块是由多个独立的储存单元组成。
[0039] 上述基于大数据的数据治理系统的治理方法,包括以下步骤:
[0040] 步骤一、通过数据采集模块对待处理数据进行采集;
[0041] 步骤二、通过数据规范处理模块对待处理数据进行规范处理,并将处理后的数据发送至存储模块中进行存储,而未能规范处理的数据发送至人工处理模块中,通过人工操
作将不规范的数据进行处理,经人工处理模块处理后的规范数据发送至数据采集模块中;
[0042] 步骤三、通过数据分区模块将规范数据进行简单地分区处理;
[0043] 步骤四、通过分发处理模块将分区后的规范数据分别发送至所对应的子服务器中并进行单独处理,然后将处理后的规范数据通过处理结果汇总模块汇总在总服务器上;
[0044] 步骤五、通过数据校核模块将汇总在总服务器中的数据与原始数据进行校核,经校核后的数据与原始数据相匹配的数据通过数据输出模块输出,而经校核后与原始数据不
匹配的数据重新发送至其所对应的子服务器中,并重复步骤三、步骤四和步骤五。
[0045] 在本实施例中,所述原始数据是指储存在存储单元中的数据
[0046] 尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等
同替换,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本
发明的保护范围之内。