会员体验
专利管家(专利管理)
工作空间(专利管理)
风险监控(情报监控)
数据分析(专利分析)
侵权分析(诉讼无效)
联系我们
交流群
官方交流:
QQ群: 891211   
微信请扫码    >>>
现在联系顾问~
首页 / 专利库 / 数据治理 / 提高数据治理服务成功率的数据治理控制系统

提高数据治理服务成功率的数据治理控制系统

申请号 CN201910288687.6 申请日 2019-04-11 公开(公告)号 CN110019176A 公开(公告)日 2019-07-16
申请人 普元信息技术股份有限公司; 发明人 郭兆彬;
摘要 本发明涉及一种提高数据治理服务成功率的数据治理控制系统,包括资源分级管理子系统,用于搭建数据治理组织、验证用户身份、权限管理和分配资源;元数据管理子系统,用于采集技术、业务、操作和管理的元数据,并关联分析元数据;模型构建子系统,用于识别业务概念,并构建企业数据模型;数据标准化子系统,用于制定统一的数据业务语言;数据治理运营子系统,用于建立数据治理长效运行体系。采用了本发明的提高数据治理服务成功率的数据治理控制系统,实现了易操作,可极大的提高数据治理的服务效率及实施成功率的能力;同时还能形成一个闭环趋稳的系统,建立数据治理长效运行体系。
权利要求

1.一种提高数据治理服务成功率的数据治理控制系统,其特征在于,所述的系统包括:资源分级管理子系统,用于搭建数据治理组织、验证用户身份、权限管理和分配资源;

元数据管理子系统,与所述的资源分级管理子系统相连接,用于采集技术、业务、操作和管理的元数据,建立元模型,并关联分析元数据;

模型构建子系统,与所述的元数据管理子系统相连接,用于识别业务概念,构建主题和实体概念模型,并构建企业数据模型。

数据标准化子系统,与所述的模型构建子系统相连接,用于制定统一的数据业务语言,并记录格式及转换、编码等标准内容;

数据治理运营子系统,与所述的数据标准化子系统相连接,用于建立数据治理长效运行体系。

2.根据权利要求1所述的提高数据治理服务成功率的数据治理控制系统,其特征在于,所述的资源分级管理子系统包括:人员组织管理模块,用于管理用户组织;

身份验证模块,与所述的人员组织管理模块相连接,用于验证用户身份信息;

权限管理模块,与所述的身份验证模块相连接,用于为用户设置资源访问权限和系统操作权限;

资源分配模块,与所述的权限管理模块相连接,用于根据用户权限分配资源。

3.根据权利要求1所述的提高数据治理服务成功率的数据治理控制系统,其特征在于,所述的元数据管理子系统包括:技术元数据模块,与所述的资源分级管理子系统相连接,用于管理描述数据物理化的数据;

业务元数据模块,与所述的技术元数据模块相连接,用于管理描述数据定义的数据;

操作元数据模块,与所述的业务元数据模块相连接,用于管理描述数据处理过程的数据;

管理元数据模块,与所述的操作元数据模块相连接,用于管理描述数据属性的数据;

元模型模块,与所述的管理元数据模块相连接,用于管理符合存储企业数据现状的模型;

元数据分析模块,与所述的元模型模块相连接,用于根据多粒度和层次的元模型对元数据进行多维度的分析。

4.根据权利要求1所述的提高数据治理服务成功率的数据治理控制系统,其特征在于,所述的模型构建子系统包括:业务概念识别模块,与所述的元数据管理子系统相连接,用于对关键业务进行连续性分析,识别每个关键业务单元;

主题概念模型构建模块,与所述的业务概念识别模块相连接,用于构建通用的业务概念模型,所述的主题概念模型是通用的业务概念;

实体概念模型构建模块,与所述的主题概念模型构建模块相连接,用于构建实体概念模型,所述的实体概念模型是业务术语的唯一标识;

数据模型构建模块,与所述的实体概念模型构建模块相连接,用于构建组织内产生和消费的数据模型。

5.根据权利要求1所述的提高数据治理服务成功率的数据治理控制系统,其特征在于,所述的数据标准化子系统包括:数据属性定义模块,与所述的模型构建子系统相连接,用于梳理数据属性;

数据实体定义模块,与所述的数据属性定义模块相连接,用于进行各类数据对象的业务定义;

数据主题定义模块,与所述的数据实体定义模块相连接,用于定义数据主题。

6.根据权利要求1所述的提高数据治理服务成功率的数据治理控制系统,其特征在于,所述的数据治理运营子系统包括:数据标准全流程管理模块,与所述的数据标准化子系统相连接,用于为各业务人员和应用系统提供数据字典服务和元数据查询服务;

数据质量模块,与所述的数据标准全流程管理模块相连接,用于管理数据质量类别、质量标准和质量检核,并展示数据质量报告;

数据安全模块,与所述的数据质量模块相连接,用于根据数据类别和密级实现数据安全使用;

消息推送模块,与所述的数据安全模块相连接,用于将消息推送至用户,并提供用户处理;

数据治理评估模块,与所述的消息推送模块相连接,用于评估治理过程,生成评估报告。

7.根据权利要求2所述的提高数据治理服务成功率的数据治理控制系统,其特征在于,所述的人员组织包括数据治理委员会成员、数据资产管理员、信息系统管理员、业务数据管理员和普通用户。

8.根据权利要求3所述的提高数据治理服务成功率的数据治理控制系统,其特征在于,所述的元数据包括技术属性、管理属性和业务属性。

说明书全文

提高数据治理服务成功率的数据治理控制系统

技术领域

[0001] 本发明涉及计算机软件领域,尤其涉及大数据领域,具体是指一种提高数据治理服务成功率的数据治理控制系统。

背景技术

[0002] IT建设从60年代开始,软硬件技术在发生翻天覆地的变化,数据方面的技术和应用也在不断深化,从最早的数据应用、数据存储到现在的数据分析、数据管理、数据统计、数据整合、数据挖掘等,可是数据并不是准确和规范的,这样的数据会造成资源浪费、决策失误等损失,故很多大数据分析应用都因为数据质量不高而宣告失败。通常
[0003] 现在将数据称之为“新石油”,也被称为“新货币”,认为数据具有价,大多数组织已经意识到无序发展的大数据时代即将结束。在数据建设过程中,数据治理受到越来越多的重视,都想采用数据治理的方法对脏数据进行处理,得到标准干净数据,基于这个原因都在尝试做数据治理。虽然数据治理的基本概念,数据治理的技术要素已经初步理解,但对数据治理的建设方式方法并没有一个清晰的认知,也没有一种合适的数据治理操作方法,且基本处于“在矛盾中前行,在混沌中探索”。
[0004] 数据治理是指从使用零散的数据变为使用统一的数据、从具有很少或没有组织和流程的治理到企业范围内的综合数据治理、从尝试处理数据混乱状况到数据井井有条的一个过程。数据治理是一种数据管理概念,涉及使组织能够确保在数据的整个生命周期中存在高数据质量的能力。从范围来讲,数据治理涵盖了从前端事务处理系统、后端业务数据库到终端的数据分析,从源头到终端再回到源头形成一个闭环负反馈系统。从目的来讲,数据治理就是要对数据的获取、处理、使用进行监管,监管的职能需要具有发现、监督、控制、沟通、整合的执行力。数据治理就是处理数据的策略即如何存储、访问、验证、保护和使用数据。
[0005] 大数据治理从建设内容和实施目标上可以划分成不同的阶段,每个阶段完成不同的任务,随着阶段的递进,建设内容逐步加深,不同的企业切入点和诉求也各不相同。从数据资产管理到提升数据质量,其落地实施的过程中会遇到各种各样的难题和挑战。因数据治理实施的切入视角和侧重点不同,业界给出的数据治理定义已经不下几十种,到目前为止还未形成一个统一标准的数据治理方法。且目前技术并没有提供一种易成功的普遍适用的数据治理方法,针对该方法也没有提出有效的可操作性的解决方案。

发明内容

[0006] 本发明的目的是克服了上述现有技术的缺点,提供了一种满足正确性高、效率高、安全性高的提高数据治理服务成功率的数据治理控制系统。
[0007] 为了实现上述目的,本发明的提高数据治理服务成功率的数据治理控制系统如下:
[0008] 该提高数据治理服务成功率的数据治理控制系统,其主要特点是,所述的系统包括:
[0009] 资源分级管理子系统,用于搭建数据治理组织、验证用户身份、权限管理和分配资源;
[0010] 元数据管理子系统,与所述的资源分级管理子系统相连接,用于采集技术、业务、操作和管理的元数据,建立元模型,并关联分析元数据;
[0011] 模型构建子系统,与所述的元数据管理子系统相连接,用于识别业务概念,构建主题和实体概念模型,并构建企业数据模型;
[0012] 数据标准化子系统,与所述的模型构建子系统相连接,用于制定统一的数据业务语言,并记录格式及转换、编码等标准内容。
[0013] 数据治理运营子系统,与所述的数据标准化子系统相连接,用于建立数据治理长效运行体系。
[0014] 较佳地,所述的资源分级管理子系统包括:
[0015] 人员组织管理模块,用于管理用户组织;
[0016] 身份验证模块,与所述的人员组织管理模块相连接,用于验证用户身份信息;
[0017] 权限管理模块,与所述的身份验证模块相连接,用于为用户设置资源访问权限和系统操作权限;
[0018] 资源分配模块,与所述的权限管理模块相连接,用于根据用户权限分配资源。
[0019] 较佳地,所述的元数据管理子系统包括:
[0020] 技术元数据模块,与所述的资源分级管理子系统相连接,用于管理描述数据物理化的数据;
[0021] 业务元数据模块,与所述的技术元数据模块相连接,用于管理描述数据定义的数据;
[0022] 操作元数据模块,与所述的业务元数据模块相连接,用于管理描述数据处理过程的数据;
[0023] 管理元数据模块,与所述的操作元数据模块相连接,用于管理描述数据属性的数据;
[0024] 元模型模块,与所述的管理元数据模块相连接,用于管理符合存储企业数据现状的模型;
[0025] 元数据分析模块,与所述的元模型模块相连接,用于根据多粒度和层次的元模型对元数据进行多维度的分析。
[0026] 较佳地,所述的模型构建子系统包括:
[0027] 业务概念识别模块,与所述的元数据管理子系统相连接,用于对关键业务进行连续性分析,识别每个关键业务单元;
[0028] 主题概念模型构建模块,与所述的业务概念识别模块相连接,用于构建通用的业务概念模型,所述的主题概念模型是通用的业务概念;
[0029] 实体概念模型构建模块,与所述的主题概念模型构建模块相连接,用于构建实体概念模型,所述的实体概念模型是业务术语的唯一标识;
[0030] 数据模型构建模块,与所述的实体概念模型构建模块相连接,用于构建组织内产生和消费的数据模型。
[0031] 较佳地,所述的数据标准化子系统包括:
[0032] 数据属性定义模块,与所述的模型构建子系统相连接,用于梳理数据属性;
[0033] 数据实体定义模块,与所述的数据属性定义模块相连接,用于进行各类数据对象的业务定义;
[0034] 数据主题定义模块,与所述的数据实体定义模块相连接,用于定义数据主题。
[0035] 较佳地,所述的数据治理运营子系统包括:
[0036] 数据标准全流程管理模块,与所述的数据标准化子系统相连接,用于为各业务人员和应用系统提供数据字典服务和元数据查询服务;
[0037] 数据质量模块,与所述的数据标准全流程管理模块相连接,用于管理数据质量类别、质量标准和质量检核,并展示数据质量报告;
[0038] 数据安全模块,与所述的数据质量模块相连接,用于根据数据类别和密级实现数据安全使用;
[0039] 消息推送模块,与所述的数据安全模块相连接,用于将消息推送至用户,并提供用户处理;
[0040] 数据治理评估模块,与所述的消息推送模块相连接,用于评估治理过程,生成评估报告。
[0041] 较佳地,所述的人员组织包括数据治理委员会成员、数据资产管理员、信息系统管理员、业务数据管理员和普通用户。
[0042] 较佳地,所述的元数据包括技术属性、管理属性和业务属性。
[0043] 采用了本发明的提高数据治理服务成功率的数据治理控制系统,由于提供了一种数据治理系统,以解决现有数据治理没有一个统一标准的有效的数据治理方法的问题。从而实现了易操作,可极大的提高数据治理的服务效率及实施成功率的能力;同时还能形成一个闭环趋稳的系统,建立数据治理长效运行体系。

附图说明

[0044] 图1为本发明的提高数据治理服务成功率的数据治理控制系统的结构示意图。
[0045] 图2为本发明的提高数据治理服务成功率的数据治理控制系统的资源分级管理子系统的结构示意图。
[0046] 图3为本发明的提高数据治理服务成功率的数据治理控制系统的元数据管理子系统的结构示意图。
[0047] 图4为本发明的提高数据治理服务成功率的数据治理控制系统的模型构建子系统的结构示意图。
[0048] 图5为本发明的提高数据治理服务成功率的数据治理控制系统的数据标准化子系统的结构示意图。
[0049] 图6为本发明的提高数据治理服务成功率的数据治理控制系统的数据治理运营子系统的结构示意图。

具体实施方式

[0050] 为了能够更清楚地描述本发明的技术内容,下面结合具体实施例来进行进一步的描述。
[0051] 本发明的该提高数据治理服务成功率的数据治理控制系统,其中包括:
[0052] 资源分级管理子系统,用于搭建数据治理组织、验证用户身份、权限管理和分配资源;
[0053] 元数据管理子系统,与所述的资源分级管理子系统相连接,用于采集技术、业务、操作和管理的元数据,建立元模型,并关联分析元数据;
[0054] 模型构建子系统,与所述的元数据管理子系统相连接,用于识别业务概念,构建主题和实体概念模型,并构建企业数据模型;
[0055] 数据标准化子系统,与所述的模型构建子系统相连接,用于制定统一的数据业务语言,并记录格式及转换、编码等标准内容。
[0056] 数据治理运营子系统,与所述的数据标准化子系统相连接,用于建立数据治理长效运行体系。
[0057] 作为本发明的优选实施方式,所述的资源分级管理子系统包括:
[0058] 人员组织管理模块,用于管理用户组织;
[0059] 身份验证模块,与所述的人员组织管理模块相连接,用于验证用户身份信息;
[0060] 权限管理模块,与所述的身份验证模块相连接,用于为用户设置资源访问权限和系统操作权限;
[0061] 资源分配模块,与所述的权限管理模块相连接,用于根据用户权限分配资源。
[0062] 作为本发明的优选实施方式,所述的元数据管理子系统包括:
[0063] 技术元数据模块,与所述的资源分级管理子系统相连接,用于管理描述数据物理化的数据;
[0064] 业务元数据模块,与所述的技术元数据模块相连接,用于管理描述数据定义的数据;
[0065] 操作元数据模块,与所述的业务元数据模块相连接,用于管理描述数据处理过程的数据;
[0066] 管理元数据模块,与所述的操作元数据模块相连接,用于管理描述数据属性的数据;
[0067] 元模型模块,与所述的管理元数据模块相连接,用于管理符合存储企业数据现状的模型;
[0068] 元数据分析模块,与所述的元模型模块相连接,用于根据多粒度和层次的元模型对元数据进行多维度的分析。
[0069] 作为本发明的优选实施方式,所述的模型构建子系统包括:
[0070] 业务概念识别模块,与所述的元数据管理子系统相连接,用于对关键业务进行连续性分析,识别每个关键业务单元;
[0071] 主题概念模型构建模块,与所述的业务概念识别模块相连接,用于构建通用的业务概念模型,所述的主题概念模型是通用的业务概念;
[0072] 实体概念模型构建模块,与所述的主题概念模型构建模块相连接,用于构建实体概念模型,所述的实体概念模型是业务术语的唯一标识;
[0073] 数据模型构建模块,与所述的实体概念模型构建模块相连接,用于构建组织内产生和消费的数据模型。
[0074] 作为本发明的优选实施方式,所述的数据标准化子系统包括:
[0075] 数据属性定义模块,与所述的模型构建子系统相连接,用于梳理数据属性;
[0076] 数据实体定义模块,与所述的数据属性定义模块相连接,用于进行各类数据对象的业务定义;
[0077] 数据主题定义模块,与所述的数据实体定义模块相连接,用于定义数据主题。
[0078] 作为本发明的优选实施方式,所述的数据治理运营子系统包括:
[0079] 数据标准全流程管理模块,与所述的数据标准化子系统相连接,用于为各业务人员和应用系统提供数据字典服务和元数据查询服务;
[0080] 数据质量模块,与所述的数据标准全流程管理模块相连接,用于管理数据质量类别、质量标准和质量检核,并展示数据质量报告;
[0081] 数据安全模块,与所述的数据质量模块相连接,用于根据数据类别和密级实现数据安全使用;
[0082] 消息推送模块,与所述的数据安全模块相连接,用于将消息推送至用户,并提供用户处理;
[0083] 数据治理评估模块,与所述的消息推送模块相连接,用于评估治理过程,生成评估报告。
[0084] 作为本发明的优选实施方式,所述的人员组织包括数据治理委员会成员、数据资产管理员、信息系统管理员、业务数据管理员和普通用户。
[0085] 作为本发明的优选实施方式,所述的元数据包括技术属性、管理属性和业务属性。
[0086] 本发明的具体实施方式中,提供了一种提高数据治理服务成功率的数据治理方法,该数据治理方法包括:资源分级管理子系统、元数据管理子系统、模型构建子系统、数据标准化子系统、数据治理运营子系统。其中资源分级管理子系统用于数据治理组织的搭建及权限的分配;元数据管理子系统用于技术、业务元数据的采集、管理及关联分析;模型构建子系统用于构建数据模型;数据标准化子系统是组织对数据的定义、组织、监督和保护进行标准化的过程,用于制定统一的数据业务语言,记录格式及转换、编码等标准内容;数据治理运营子系统用于建立数据治理长效运行体系。该方法结合信息技术部、业务部、数据管理部的职能、进行闭环监管逐步形成趋稳的数据治理体系,具有易操作、易成功的特性,可极大的提高数据治理服务的成功率及实施的效率。
[0087] 本发明的目的是提供大数据环境下一种提高数据治理服务成功率的数据治理方法,以解决现有数据治理没有一个统一标准的有效的数据治理方法的问题。从而实现了易操作,可极大的提高数据治理服务效率及实施成功率的能力;同时还能形成一个闭环趋稳的系统,建立数据治理长效运行体系。
[0088] 为了实现上述的目的,本发明的一种提高数据治理服务成功率的数据治理方法如下:一种提高数据治理服务成功率的数据治理方法,其主要特点是,所述的数据治理方法如图1所示,包括:
[0089] 资源分级管理子系统,用于数据治理组织的搭建、用户身份验证、权限管理及资源的分配;
[0090] 元数据管理子系统,与所述的资源分级管理子系统相连接,用于技术、业务、操作、管理元数据的采集、元模型的建立、元数据关联分析。
[0091] 模型构建子系统,与所述的元数据管理子系统相连接,用于业务概念识别,构建主题、实体概念模型,构建企业数据模型。
[0092] 数据标准化子系统,与所述的模型构建子系统相连接,是组织对数据的定义、组织、监督和保护进行标准化的过程,用于制定统一的数据业务语言,记录格式及转换、编码等标准内容。
[0093] 数据治理运营子系统,与所述的数据标准化子系统相连接,用于建立数据治理长效运行体系。
[0094] 所述的资源分级管理子系统如图2所示,包括人员组织管理模块、身份验证模块、权限管理模块和资源分配模块。这里的资源指数据资产,该子系统对数据资产进行分级管理,不同的人员组织具有不同的访问权限,通过用户的身份信息进行验证,对不同人员设置不同的资源访问权限和系统操作权限,系统根据用户权限进行资源的分配。
[0095] 人员组织包括:数据治理委员会成员、数据资产管理员、信息系统管理员、业务数据管理员、普通用户等,根据不同的使用用户设置和分配不同的数据访问和操作权限,普通用户仅具备访问数据资源目录的权限,更高级的用户可以获得更多的数据访问和操作权限。
[0096] 所述的元数据管理子系统如图3所示,包括技术元数据模块、业务元数据模块、操作元数据模块、管理元数据模块、元模型模块、元数据分析模块。元数据是描述数据的数据,这里面有两个关键点,一是数据,另一是描述数据。元数据包括数据的技术、管理、业务等属性。技术元数据指描述数据物理化的数据,其数据类型为物理模型。业务元数据是描述数据定义的数据。操作元数据是描述数据处理过程的数据。管理元数据是描述数据属性的数据。元模型模块是一个符合存储企业数据现状的模型。元数据分析模块根据不同粒度和层次的元模型,对元数据进行不同维度的分析。
[0097] 技术元数据包含但不限于关系型数据库物理模型、NoSQL、类数据库存储模型、MPP类型数据库物理模型。业务元数据包含但不限于指企业数据标准、企业数据质量标准、企业数据指标、企业数据字典、企业数据代码、企业数据安全。操作元数据包括但不限于ETL信息、数据加工处理策略数据信息、数据处理调度信息、数据处理异常信息。管理元数据包括但不限于数据归属信息,包括但不限于业务归属、系统归属、运维归属、数据权限归属等信息,也包括技术属性信息及业务属性信息。元模型模块是把技术元数据、业务元数据、操作元数据、管理元数据进行梳理得到的一个符合存储企业数据现状的元数据模型。元数据分析模块根据不同粒度和层次的元模型,对元数据进行不同维度的分析,如:企业的数据地图、数据血统、影响分析等。具体实施方式从三个维度进行管理实施,技术维度围绕着源系统、数据平台、数据集市、数据应用,数据模型、数据库、表、字段、字段和字段间的数据关系进行管理。业务维度管理指标的业务维度、技术维度和管理维度三方面的数据、字段的中文描述、表的加工策略、表的生命周期信息、表或字段的安全等级。应用维度实现数据平台变更影响分析、血统分析、高阶数据地图。
[0098] 所述的模型构建子系统如图4所示,包括业务概念识别模块、主题概念模型构建模块、实体概念模型构建模块、数据模型构建模块。业务概念识别模块是对关键业务进行连续性分析,识别每个关键业务单元。主题概念模型是数据的一个高层分类,这些数据代表了一个机构所重要的主题的一组概念。实体概念模型是从企业角度来看每个业务域的重要事务,是表示业务术语的唯一标识。数据模型构建模块是企业整个组织内所产生和消费的数据概览,是数据单一整合定义。
[0099] 该模型构建子系统能有效用于业务构思、需求编写、模型设计、数据应用等场景中,能推动解决业务和技术沟通协作难、数据资产使用难、数据治理成果落地难等方面的问题。业务概念识别模块是对关键业务进行连续性分析,识别每个关键业务单元。主题概念模型可以表示通用的业务概念,比如客户、产品、员工和财务等,也可以表示行业特定概念。实体概念模型是表示业务术语的唯一标识。数据模型构建模块是企业整个组织内所产生和消费的数据概览,是数据单一整合定义,标识了可共享或冗余数据的功能和组织边界,没有数据冗余,数据歧义。该实施方法可降低业务认知成本和学习成本,降低操作复杂度,提升操作友好性,首先完整还原现有业务流程,采用业务主线的形式串联相关的业务部门,一个企业可能包含多条业务主线,根据主线逐一细分梳理其业务流程、业务环节、业务单元,最后识别每个关键业务单元所使用或产生的单据,业务数据会在单据中进行流转,流转过程中会涉及到单据状态的改变,每个状态改变都是由关键业务单元操作引起的,找到这些业务数据就可以进行数据模型构建,数据模型的构建需从数据应用的角度,是基于信息项或字段的元数据关系构建的,其价值重点体现在关系的丰富程度。数据模型构建属于数据分类学的内容,在此不再赘述。
[0100] 所述的数据标准化子系统如图5所示,包括数据属性定义模块、数据实体定义模块、数据主题定义模块。数据属性包括管理属性、业务属性、技术属性。数据实体是指数据属性的集合,数据实体定义模块指的是每一类数据对象的业务定义。
[0101] 数据标准化子系统具体实施方式为,数据属性的梳理,数据属性定义模块、数据实体定义模块、数据主题定义模块通过定义数据的属性,所涉及的技术属性为字段类型、字段长度,所涉及的业务属性包括、数据所有者、业务单元、业务定义等内容,所涉及的管理属性包括版本、安全分类分级、归口管理部门等内容。
[0102] 所述的数据治理运营子系统如图6所示,包括数据标准全流程管理模块、数据质量模块、数据安全模块、消息推送模块、数据治理评估模块。该子系统解决了元数据管理、数据标准、数据质量、数据安全、数据生命周期、数据服务的贯通问题。数据标准全流程管理模块应用集成框架的底层组件,包括数据字典管理和元数据管理等功能。数据质量模块是以暴露和提升系统数据质量为目标而建立的。数据安全模块是实现在适当安全保护下的数据自由流动,满足数据安全使用的需要。消息推送模块是数据治理长效运行的一种反馈手段,数据治理评估模块是形成闭环监管并促进形成趋稳的数据治理体系的模块。
[0103] 数据标准全流程管理模块为各业务人员、应用系统提供数据字典服务和元数据查询服务。数据质量模块是集数据质量类别管理、质量标准管理、质量检核管理、问题数据展现、数据质量报告组件为一体,以暴露和提升系统数据质量为目的。具体实施以数据质量问题进行识别、度量、监控、预警等的活动,并通过改善和提高组织的管理水平使数据质量获得进一步提升。数据安全模块是结合数据标准化子系统定义的数据不同类别和密级的划分,根据数据的类别和密级采用不同的使用和管理原则,实现在适当安全保护下的数据自由流动,满足数据安全使用的需要。消息推送模块是数据治理长效运行的一种反馈手段,数据标准全流程管理模块产生标准修订、标准修改、标准删除消息;数据质量模块产生数据不一致、数据缺失等消息、安全模块产生数据合规使用、数据获取等消息,消息模块将消息形成任务推送至用户,并由用户进行处理。数据治理评估模块,在用户采用上述模块进行治理时,存在某些治理任务中的程序执行失败或治理过程没有完成的情况,为了提高数据治理成功率,该评估模块根据数据治理要求对数据治理结果进行评估,生成评估报告,通过消息推送模块发送至用户,以便用户做适合的调整措施,形成闭环监管并促进形成趋稳的数据治理体系。
[0104] 本发明实施例提供了一种提高数据治理服务成功率的数据治理方法,该数据治理方法包括:资源分级管理子系统、元数据管理子系统、模型构建子系统、数据标准化子系统、数据治理运营子系统。其中资源分级管理子系统用于数据治理组织的搭建及权限的分配;元数据管理子系统用于技术、业务元数据的采集、管理及关联分析;模型构建子系统用于构建数据模型;数据标准化子系统是组织对数据的定义、组织、监督和保护进行标准化的过程,用于制定统一的数据业务语言,记录格式及转换、编码等标准内容;数据治理运营子系统用于建立数据治理长效运行体系。
[0105] 本技术方案通过组织搭建、元数据关联分析、数据模型构建、数据标准化定义、建立数据治理运营体系进行的数据治理,重点在于通过组织、模型、标准、运营角度进行闭环监管逐步形成趋稳的数据治理体系。本技术方案中所述的资源分级管理子系统重点在于对数据资产进行分级管理,对不同人员组织设置不同的资源访问权限,系统根据用户进行资源的分配,针对数据治理委员会成员、数据资产管理员、信息系统管理员、业务数据管理员、普通用户。本技术方案中所述的元数据包含技术元数据、业务元数据、操作元数据、管理元数据、元模型,并且每种元数据都包含技术、管理、业务三种属性,技术元数据包含但不限于关系型数据库物理模型、NoSQL、类数据库存储模型、MPP类型数据库物理模型。业务元数据包含但不限于指企业数据标准、企业数据质量标准、企业数据指标、企业数据字典、企业数据代码、企业数据安全。操作元数据包括但不限于ETL信息、数据加工处理策略数据信息、数据处理调度信息、数据处理异常信息。管理元数据包括但不限于数据归属信息,包括但不限于业务归属、系统归属、运维归属、数据权限归属等信息,也包括技术属性信息及业务属性信息。元模型模块是把技术元数据、业务元数据、操作元数据、管理元数据进行梳理得到的一个符合存储企业数据现状的元数据模型。本技术方案中是以主题、实体、属性三个阶层,并从业务维度、技术维度和管理维度进行实施,针对于数据治理委员会成员、数据资产管理员、信息系统管理员、业务数据管理员、普通用户等人员。
[0106] 本技术方案中元数据采集为技术、业务、操作、管理元数据的采集是通过模型构建子系统,标准化子系统的业务识别、属性梳理等手段对元数据的技术、管理、业务属性进行定义。本技术方案中的元数据分析模块根据不同粒度和层次的元模型,对元数据进行三个维度的分析,技术维度围绕着源系统、数据平台、数据集市、数据应用,数据模型、数据库、表、字段、字段和字段间的数据关系进行分析。业务维度围绕着数据、字段的中文描述、表的加工策略、表的生命周期信息、表或字段的安全等级。应用维度围绕着变更影响分析、血统分析、高阶数据地图,其中变更影响分析是元数据的变化,是否会影响其他元数据的分析,血统分析是某个元数据为终止节点,并与其有关系的所有元数据的分析。
[0107] 数据治理服务着重交付可信、安全的数据,可见数据治理重点在于实施服务的过程方法而并非结果。在数据治理实施过程中,将它们有机的关联起来,即可实现有效的数据治理实施。经过有效的数据治理,统一并规范了数据治理组织的流程制度,提供了可追溯的数据流向图,减少了数据冗余、数据歧义,提高了数据质量的一致性与正确性,通用属性的定义以及业务概念识别定义,最终提供满足业务合规性的数据跟踪,实现支撑改进业务的目标,形成数据治理的长效运行体系。通过以上各子系统的协同合作,本发明实施例的数据治理方法,以解决现有数据治理没有一个统一标准的有效的数据治理方法的问题。从而实现了易操作,可极大的提高数据治理服务效率及实施成功率的能力;同时还能形成一个闭环趋稳的系统,建立数据治理长效运行体系。
[0108] 采用了本发明的提高数据治理服务成功率的数据治理控制系统,由于提供了一种数据治理系统,以解决现有数据治理没有一个统一标准的有效的数据治理方法的问题。从而实现了易操作,可极大的提高数据治理的服务效率及实施成功率的能力;同时还能形成一个闭环趋稳的系统,建立数据治理长效运行体系。
[0109] 在此说明书中,本发明已参照其特定的实施例作了描述。但是,很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此,说明书和附图应被认为是说明性的而非限制性的。