数据治理系统

IPRDB

API 数据接口

专利申请

使用指引 chat嘟嘟

会员体验

联系我们

交流群

现在联系顾问~

数据治理系统
申请号	CN202110151709.1	申请日	2021-02-04	公开(公告)号	CN112817956A	公开(公告)日	2021-05-18
申请人	北京易车互联信息技术有限公司;			发明人	高磊;
摘要	本申请公开了一种数据治理系统，包括系统核心件、系统数据支撑数据库、数据输入模块、数据标准比照筛除单元、元数据标准化比照筛除模块、模型设计标准化比照筛除模块、第一数据输出模块、数据分布模块、数据集成模块、数据质量检查模块、数据质量分析模块、数据质量提升模块、第二数据输出模块、数据编号模块、资料备份数据库、主数据库、数据加密模块、安全密钥识别模块、数据统计制表模块、账号登录模块、显示模块和操作模块。本申请有益之处在于通过对数据的标准化、流程化使数据在准确性和安全性方面得到极大的提升，可以推动上游系统进行数据的更正，同时也可为决策层提供明确的数据支撑。
权利要求	1.数据治理系统，其特征在于：包括系统核心件(1)、资料备份数据库(15)和主数据库(16)，所述系统核心件(1)的内部数据标准比照筛除单元(4)、数据分布模块(8)、数据集成模块(9)、数据质量检查模块(10)、数据质量分析模块(11)和数据质量提升模块(12)，所述数据标准比照筛除单元(4)的一端与数据分布模块(8)的一端连接，所述数据分布模块(8)的另一端与数据集成模块(9)的一端连接，所述数据集成模块(9)的另一端与数据质量检查模块(10)的一端连接，所述数据质量检查模块(10)的另一端与数据质量分析模块(11)的一端连接，所述数据质量分析模块(11)的另一端与数据质量提升模块(12)的一端连接；所述数据标准比照筛除单元(4)和数据质量提升模块(12)均连接至数据编号模块(14)的一端，所述数据编号模块(14)的另一端与资料备份数据库(15)以及主数据库(16)连接；所述资料备份数据库(15)和主数据库(16)均连接至数据加密模块(17)；所述数据加密模块(17)与账号登录模块(20)的一端连接，所述账号登录模块(20)的另一端与显示模块(21)连接。 2.根据权利要求1所述的数据治理系统，其特征在于：所述系统核心件(1)的内部设置有数据输入模块(3)，所述数据输入模块(3)与数据标准比照筛除单元(4)的一端连接。 3.根据权利要求1所述的数据治理系统，其特征在于：所述数据标准比照筛除单元(4)内部包括元数据标准化比照筛除模块(5)和模型设计标准化比照筛除模块(6)。 4.根据权利要求1所述的数据治理系统，其特征在于：所述系统核心件(1)连接有系统数据支撑数据库(2)。 5.根据权利要求1所述的数据治理系统，其特征在于：所述数据标准比照筛除单元(4)和数据分布模块(8)之间设置有第一数据输出模块(7)，所述第一数据输出模块(7)的一端与数据编号模块(14)连接。 6.根据权利要求1所述的数据治理系统，其特征在于：所述数据质量提升模块(12)与第二数据输出模块(13)的一端连接，所述第二数据输出模块(13)的另一端与数据编号模块(14)连接。 7.根据权利要求1所述的数据治理系统，其特征在于：所述系统数据支撑数据库(2)的一端与数据加密模块(17)连接。 8.根据权利要求1所述的数据治理系统，其特征在于：所述显示模块(21)的一端与操作模块(22)连接，所述显示模块(21)的另一端连接至系统核心件(1)。 9.根据权利要求1所述的数据治理系统，其特征在于：所述主数据库(16)连接有数据统计制表模块(19)，所述数据统计制表模块(19)的一端与系统核心件(1)连接。 10.根据权利要求1所述的数据治理系统，其特征在于：所述数据加密模块(17)与安全密钥识别模块(18)的一端连接。
说明书全文	数据治理系统技术领域 [0001] 本申请涉及一种数据系统，具体是数据治理系统。背景技术 [0002] 数据是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的原始素材；数据可以是连续的值，比如声音、图像，称为模拟数据；也可以是离散的，如符号、文字，称为数字数据；数据治理需要使用到数据治理系统。 [0003] 现有数据治理的缺陷：第一、缺少统一的数据源采集系统；第一、缺少标准的数据字典及元数据管理字典；第三、缺少关系模型层，无层级划分，无主题划分；第四、缺少血缘关系映射系统，无法对任务上下级进行追踪；第五、缺少统一的质量管理系统，无法对数据进行偏移量、值域、规范性等检查；第六、缺少元数据管理系统，无法将数据项的业务含义与数据项进行关联。现有的解决方案、业界的已知的技术方案：方案一、Dbus数据管理系统：可以提供实时或离线数据采集，且数据采集快；方案二、DataPipeline数据融合系统：以提供数据无缝式聚合实现的操作系统，通过配置不同的数据源及连接方式以及映射关系进行数据的融合。其中的不足为第一个问题是方案一是现在很多中小型公司使用的技术解决方案，支持大部分不同类型的数据源，同时支持实时数据采集和计算，但该方案不支持元数据管理，无法进行血缘关系的映射；第二个问题是方案二是一种简单实用的数据整合工具，通过映射关系进行不同数据源之间的数据整合，但功能单一，无法进行大批量的计算，且元数据记录混乱。因此，针对上述问题提出数据治理系统。发明内容 [0004] 为了解决现有技术的不足，本申请提供数据治理系统，包括系统核心件、资料备份数据库和主数据库，所述系统核心件的内部数据标准比照筛除单元、数据分布模块、数据集成模块、数据质量检查模块、数据质量分析模块和数据质量提升模块，所述数据标准比照筛除单元的一端与数据分布模块的一端连接，所述数据分布模块的另一端与数据集成模块的一端连接，所述数据集成模块的另一端与数据质量检查模块的一端连接，所述数据质量检查模块的另一端与数据质量分析模块的一端连接，所述数据质量分析模块的另一端与数据质量提升模块的一端连接；所述数据标准比照筛除单元和数据质量提升模块均连接至数据编号模块的一端，所述数据编号模块的另一端与资料备份数据库以及主数据库连接；所述资料备份数据库和主数据库均连接至数据加密模块；所述数据加密模块与账号登录模块的一端连接，所述账号登录模块的另一端与显示模块连接。 [0005] 进一步地，所述系统核心件的内部设置有数据输入模块，所述数据输入模块与数据标准比照筛除单元的一端连接。 [0006] 进一步地，所述数据标准比照筛除单元内部包括元数据标准化比照筛除模块和模型设计标准化比照筛除模块。 [0007] 进一步地，所述系统核心件连接有系统数据支撑数据库。 [0008] 进一步地，所述数据标准比照筛除单元和数据分布模块之间设置有第一数据输出模块，所述第一数据输出模块的一端与数据编号模块连接。 [0009] 进一步地，所述数据质量提升模块与第二数据输出模块的一端连接，所述第二数据输出模块的另一端与数据编号模块连接。 [0010] 进一步地，所述系统数据支撑数据库的一端与数据加密模块连接。 [0011] 进一步地，所述显示模块的一端与操作模块连接，所述显示模块的另一端连接至系统核心件。 [0012] 进一步地，所述主数据库连接有数据统计制表模块，所述数据统计制表模块的一端与系统核心件连接。 [0013] 进一步地，所述数据加密模块与安全密钥识别模块的一端连接。 [0014] 本申请的有益效果是：本专利的发明点在于通过数据治理系统，可以给数据提供清晰度，能清晰的展示业务数据的来源与出处，为企业开发人员节省追溯成本，为营销人员节省时间；通过对数据的标准化、流程化使数据在准确性和安全性方面得到极大的提升，可以推动上游系统进行数据的更正，同时也可为决策层提供明确的数据支撑。附图说明 [0015] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。 [0016] 图1为本申请一种实施例的整体结构示意图； [0017] 图2为本申请一种实施例的数据框架模型架构图结构示意图。 [0018] 图中：1、系统核心件，2、系统数据支撑数据库，3、数据输入模块，4、数据标准比照筛除单元，5、元数据标准化比照筛除模块，6、模型设计标准化比照筛除模块，7、第一数据输出模块，8、数据分布模块，9、数据集成模块，10、数据质量检查模块，11、数据质量分析模块， 12、数据质量提升模块，13、第二数据输出模块，14、数据编号模块，15、资料备份数据库，16、主数据库，17、数据加密模块，18、安全密钥识别模块，19、数据统计制表模块，20、账号登录模块，21、显示模块，22、操作模块。具体实施方式 [0019] 为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。 [0020] 需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。 [0021] 在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。 [0022] 并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。 [0023] 此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。 [0024] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。 [0025] 请参阅图1‑2所示，数据治理系统，包括系统核心件1、资料备份数据库15和主数据库16，所述系统核心件1的内部数据标准比照筛除单元4、数据分布模块8、数据集成模块9、数据质量检查模块10、数据质量分析模块11和数据质量提升模块12，所述数据标准比照筛除单元4的一端与数据分布模块8的一端连接，所述数据分布模块8的另一端与数据集成模块9的一端连接，所述数据集成模块9的另一端与数据质量检查模块10的一端连接，所述数据质量检查模块10的另一端与数据质量分析模块11的一端连接，所述数据质量分析模块11 的另一端与数据质量提升模块12的一端连接； [0026] 所述数据标准比照筛除单元4和数据质量提升模块12均连接至数据编号模块14的一端，所述数据编号模块14的另一端与资料备份数据库15以及主数据库16连接； [0027] 所述资料备份数据库15和主数据库16均连接至数据加密模块17； [0028] 所述数据加密模块17与账号登录模块20的一端连接，所述账号登录模块20的另一端与显示模块21连接。 [0029] 所述系统核心件1的内部设置有数据输入模块3，所述数据输入模块3与数据标准比照筛除单元4的一端连接。 [0030] 所述数据标准比照筛除单元4内部包括元数据标准化比照筛除模块5和模型设计标准化比照筛除模块6。 [0031] 所述系统核心件1连接有系统数据支撑数据库2。 [0032] 所述数据标准比照筛除单元4和数据分布模块8之间设置有第一数据输出模块7，所述第一数据输出模块7的一端与数据编号模块14连接。 [0033] 所述数据质量提升模块12与第二数据输出模块13的一端连接，所述第二数据输出模块13的另一端与数据编号模块14连接。 [0034] 所述系统数据支撑数据库2的一端与数据加密模块17连接。 [0035] 所述显示模块21的一端与操作模块22连接，所述显示模块21的另一端连接至系统核心件1。 [0036] 所述主数据库16连接有数据统计制表模块19，所述数据统计制表模块19的一端与系统核心件1连接。 [0037] 所述数据加密模块17与安全密钥识别模块18的一端连接。 [0038] 功能模块解释： [0039] 1.数据标准：包含元数据标准化、模型设计标准化等。即数据标准比照筛除单元4，实现筛选，未达标的返送回去 [0040] 2.数据架构：包含数据存储、数据分布、数据集成与共享。即数据分布模块8、数据集成模块9，实现数据分布和数据集成，通过数据输入模块3输入到资料备份数据库15、主数据库16中，进行存储，存储的数据为未进行数据质量处理的数据，提供追溯 [0041] 3.数据质量：包含数据质量检查、数据质量分析及数据质量提升。即数据质量检查模块10、数据质量分析模块11、数据质量提升模块12，实现数据的质量的整合 [0042] 4.数据安全：包含数据安全策略、数据安全管理、数据安全审计。 [0043] 5.数据应用：包含数据分析、数据开发共享及数据服务。 [0044] 数据标准：对元数据及模型进行统一的映射管理，统一业务含义的指标在类型以及名称方面必须使用统一的标识。 [0045] 数据架构：采用星型维度建模，通过主外键进行码值的识别及翻译，如图2所示。 [0046] 数据质量：对接入数据进行统一的完整性、一致性、及时性、有效性、准确性、唯一性校验。 [0047] 完整性:衡量所必须的数据的完整程度。 [0048] 唯一性:针对某个数据项或某组数据，没有重复的数据值。值必须是唯一的如ID类数据。 [0049] 及时性:对于数据更新频率的满足程度，针对用户对信息获取的时间及时性要求，确保数据及时更新。 [0050] 有效性:对于数据的值、格式要求符合数据定义或业务定义的要求。 [0051] 准确性:确保数据必须反映真实的业务内容。 [0052] 一致性:数据元素的类型和含义必须一致和清晰。 [0053] 数据安全：从业务流程上控制数据安全，从数据进入中台即对数据进行加密处理，安全密钥只可保留在少数人手里，同时在对外提供敏感数据时需进行流程上的严格把控，需专业人员负责业务出口。 [0054] 数据应用：对销售人员提供具体的业务明细数据，以方便业务追踪，对管理层提供准确的统计类报表，以提供决策支持。 [0055] 使用方法：数据通过数据输入模块3输入后，进入到数据标准比照筛除单元4中，通过元数据标准化比照筛除模块5和模型设计标准化比照筛除模块6进行比照筛选，合格的数据向下一步进行输送，输送到第一数据输出模块7和数据分布模块8，通过第一数据输出模块7输送到数据编号模块14，进行编号，作为合格的原始文件，存入到资料备份数据库15和主数据库16中，用于追溯，输入到数据分布模块8后，进行分布处理，然后进入到数据集成模块9中，进行数据集成，进入到数据质量检查模块10中，进行质量检查，进入到数据质量分析模块11中，进行质量分析处理，进入到数据质量提升模块12中，进行重复数据的整理，提高数据质量，通过第二数据输出模块13，输入到数据编号模块14中，编号与上述中的原数据编号相同，存入到资料备份数据库15、主数据库16中，进行存储，进行整理； [0056] 需要进行数据的查找时，通过操作模块22进行操作，通过显示模块21进行显示，通过账号登录模块20进行登录，个别重要账号中具有安全密钥，具有安全密钥的账号，可进行操作，未具有安全密钥的账号，无法进行操作，必须额外授权才可，具有安全密钥的账号通过数据加密模块17和安全密钥识别模块18进行识别，人工可进行数据的查询、追溯； [0057] 内部还具有数据统计制表模块19，可进行自动的制表，辅助进行查询，对数据的标准化、流程化使数据在准确性和安全性方面得到极大的提升，可以推动上游系统进行数据的更正，同时也可为决策层提供明确的数据支撑。 [0058] 涉及到电路和电子元器件和模块均为现有技术，本领域技术人员完全可以实现，无需赘言，本申请保护的内容也不涉及对于软件和方法的改进。 [0059] 以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。