一种数据处理方法、装置、系统、设备和存储介质

摘要

本发明属于数据管理技术领域，尤其涉及一种数据处理方法、装置、系统、设备和存储介质。数据处理方法，获取目标数据库的目标数据；根据预设的调度任务调用预设的智能分析算法引擎对所述目标数据进行处理，生成数据画像；根据所述数据画像将所述目标数据进行数据目录编排，生成目标数据目录。本发明实施例中提供的一种数据处理方法对数据库数据进行自动的智能化的数据分析，分析出数据画像，对这些数据进行编排，形成数据目录。整个过程人工干预成分少，效率高，而且产生的目录质量高，便于政府部门之间更加准确的了解各方的核心业务，有针对性的进行数据共享，开展更加广泛的合作和协同。

权利要求

1.一种数据处理方法，其特征在于，包括：

与目标数据库进行连接配置，并测试数据库连接是否连通；

配置所述目标数据库的数据获取权限；

获取目标数据库的目标数据，目标数据包括但不限于数据库元数据信息和数据库日志信息，数据库元数据信息是指元数据，为描述数据的数据，主要是描述数据属性的信息，数据库日志信息则是记录数据库数据处理变化的日志信息；

分析所述目标数据的数据库类型，根据所述目标数据的数据库类型执行对应的调度任务调用对应的预设智能分析算法引擎；

通过所述智能分析算法引擎按照预设的数据评测指标分析所述目标数据，确定所述目标数据的指标属性，所述指标属性包括但不限于数据有效性、数据完整度、数据活性中的一种或几种的组合；

根据所述目标数据的指标属性对所述目标数据进行筛选，确定核心目标数据，根据所述核心目标数据生成数据画像；

根据所述数据画像将所述目标数据进行数据目录编排，生成目标数据目录。

2.根据权利要求1所述数据处理方法，其特征在于，所述通过所述智能分析算法引擎按照预设的数据评测指标分析所述目标数据，确定所述目标数据的指标属性的步骤，还包括：根据所述目标数据的指标属性将所述目标数据中的数据进行标识分类。

3.根据权利要求1所述数据处理方法，其特征在于，所述根据所述数据画像将所述目标数据进行数据目录编排，生成目标数据目录的步骤，还包括：将所述目标数据目录发送至用户端，并接收用户端返回的目录修改信息，根据所述目录修改信息调整所述目标数据目录。

4.一种数据处理装置，其特征在于，包括：

数据获取模块，用于与目标数据库进行连接配置，并测试数据库连接是否连通；配置所述目标数据库的数据获取权限；获取目标数据库的目标数据，目标数据包括但不限于数据库元数据信息和数据库日志信息，数据库元数据信息是指元数据，为描述数据的数据，主要是描述数据属性的信息，数据库日志信息则是记录数据库数据处理变化的日志信息；

数据处理模块，用于分析所述目标数据的数据库类型，根据所述目标数据的数据库类型执行对应的调度任务调用对应的预设智能分析算法引擎；通过所述智能分析算法引擎按照预设的数据评测指标分析所述目标数据，确定所述目标数据的指标属性，所述指标属性包括但不限于数据有效性、数据完整度、数据活性中的一种或几种的组合；根据所述目标数据的指标属性对所述目标数据进行筛选，确定核心目标数据，根据所述核心目标数据生成数据画像；

目录生成模块，根据所述数据画像将所述目标数据进行数据目录编排，生成目标数据目录。

5.一种数据处理系统，其特征在于，包括：

政务数据平台，所述政务数据平台上存储有政务数据信息；

数据处理中心，所述数据处理中心包括权利要求4所述数据处理装置，用于从所述政务数据平台中获取目标数据，并执行权利要求1至3中任一项所述数据处理方法的步骤对目标数据进行处理，生成目标数据目录。

6.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至3中任一项所述数据处理方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至3中任一项所述数据处理方法的步骤。

说明书

一种数据处理方法、装置、系统、设备和存储介质

技术领域

[0001] 本发明属于数据管理技术领域，尤其涉及一种数据处理方法、装置、系统、设备和存储介质。

背景技术

[0002] 在政府的数字化转型的过程中，整合政务数据资源，摸清“数据家底”，合理开发和利用数据资源，提高政府部门之间的数据共享能力，这些措施可以有力支撑政府部门之间不同业务条线的协同并支撑政府数据资产化、清单化的工作，满足数据资源全面共享、开发和使用的需求。

[0003] 但是目前政府部门之间存在信息壁垒，人手投入不足，政务数据资源服务化、目录化的数量低等现实问题，导致政府部门之间的数据资源共享工作很难广泛开展和协同。目前，为了解决上述问题，一般采用如下三种方式：1、目录模板方式手工上报政府部门掌握的数据资源，由汇总部门编目入库形成数据资源目录；2、系统表单的方式填报政府部门掌握的数据资源，最后编目入库形成数据资源目录；3、获取数据库元数据信息作为编目初始化数据资源，然后补充填报符合目录标准的其他属性项，最后入库形成数据资源目录。

[0004] 上述三种方法虽然对政务数据资源进行了盘点和编目管理，但是投入比较大，而且人工干预的方式比较容易出错，同时形成的数据资源目录的数量和质量不高。

发明内容

[0005] 本发明实施例的目的在于提供一种数据处理方法、装置、系统、设备和存储介质，旨在解决现有技术中政务数据资源整理投入比较大，而且人工干预的方式比较容易出错，形成的数据资源目录的数量和质量不高的问题。

[0006] 本发明实施例是这样实现的，一种数据处理方法，包括：

[0007] 获取目标数据库的目标数据；

[0008] 根据预设的调度任务调用预设的智能分析算法引擎对所述目标数据进行处理，生成数据画像；

[0009] 根据所述数据画像将所述目标数据进行数据目录编排，生成目标数据目录。

[0010] 优选地，所述获取目标数据库的目标数据之前，还包括：

[0011] 与目标数据库进行连接配置，并测试数据库连接是否连通。

[0012] 优选地，所述与目标数据库进行连接配置，并测试数据库连接是否连通之后，还包括：

[0013] 配置所述目标数据库的数据获取权限。

[0014] 优选地，所述根据预设的调度任务调用预设的智能分析算法引擎对所述目标数据进行处理，生成数据画像的步骤，具体包括：

[0015] 分析所述目标数据的数据库类型，根据所述目标数据的数据库类型执行对应的调度任务调用对应的预设智能分析算法引擎；

[0016] 通过所述智能分析算法引擎按照预设的数据评测指标分析所述目标数据，确定所述目标数据的指标属性，所述指标属性包括但不限于数据有效性、数据完整度、数据活性中的一种或几种的组合；

[0017] 根据所述目标数据的指标属性对所述目标数据进行筛选，确定核心目标数据。

[0018] 优选地，所述通过所述智能分析算法引擎按照预设的数据评测指标分析所述目标数据，确定所述目标数据的指标属性的步骤，还包括：

[0019] 根据所述目标数据的指标属性将所述目标数据中的数据进行标识分类。

[0020] 优选地，所述根据所述数据画像将所述目标数据进行数据目录编排，生成目标数据目录的步骤，还包括：

[0021] 将所述目标数据目录发送至用户端，并接收用户端返回的目录修改信息，根据所述目录修改信息调整所述目标数据目录。

[0022] 本发明实施例的另一目的在于提供一种数据处理装置，包括：

[0023] 数据获取模块，用于获取目标数据库的目标数据，所述目标数据包括但不限于数据库元数据信息和数据库日志信息；

[0024] 数据处理模块，用于根据预设的调度任务调用预设的智能分析算法引擎对所述目标数据进行处理，生成数据画像；

[0025] 目录生成模块，根据所述数据画像将所述目标数据进行数据目录编排，生成目标数据目录。

[0026] 本发明实施例的另一目的在于提供一种数据处理系统，包括：

[0027] 政务数据平台，所述政务数据平台上存储有政务数据信息；

[0028] 数据处理中心，所述数据处理中心包括所述数据处理装置，用于从所述政务数据平台中获取目标数据，并执行所述数据处理方法的步骤对目标数据进行处理，生成目标数据目录。

[0029] 本发明实施例的另一目的在于提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述数据处理方法的步骤。

[0030] 本发明实施例的另一目的在于还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述数据处理方法的步骤。

[0031] 本发明实施例中提供的一种数据处理方法对数据库数据进行自动的智能化的数据分析，分析出数据画像，然后判断属于部门核心业务相关的数据，对这些数据进行编排，形成数据目录。整个过程人工干预成分少，效率高，而且产生的目录质量高。同时，基于高质量的数据目录，政府部门之间可以更加准确的了解各方的核心业务，结合自身的业务特点，有针对性的进行数据共享，从而打通业务条线，开展更加广泛的合作和协同。

附图说明

[0032] 图1为本发明实施例提供的数据处理方法的流程图；

[0033] 图2为本发明实施例提供的生成数据画像的流程图；

[0034] 图3为本发明实施例提供的另一数据处理方法的流程图；

[0035] 图4为本发明实施例提供的又一数据处理方法的流程图；

[0036] 图5为本发明实施例提供的数据处理装置的结构框图；

[0037] 图6为一个实施例提供的一种数据处理系统的结构框图；

[0038] 图7为一个实施例中计算机设备的内部结构框图。

具体实施方式

[0039] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

[0040] 可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。

[0041] 本发明实施例中的数据处理方法可以应用于包括终端以及计算机设备的环境中。计算机设备可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器；终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。

[0042] 实施例一

[0043] 如图1所示，在本发明实施例中，提出了一种数据处理方法，本实施例主要以该方法应用于终端来举例说明。一种数据处理方法，具体可以包括以下步骤：

[0044] 步骤S110，获取目标数据库的目标数据，目标数据包括但不限于数据库元数据信息和数据库日志信息；

[0045] 步骤S120，根据预设的调度任务调用预设的智能分析算法引擎对目标数据进行处理，生成数据画像；

[0046] 步骤S130，根据数据画像将目标数据进行数据目录编排，生成目标数据目录。

[0047] 在本发明实施例中，目标数据库可以包括支持mysql、oracle、sqlserver、rds等各种常用的数据库类型，并且本发明实施例中的各种数据库类型对应的多种异构数据也能够根据对应的数据库类型执行对应的调度任务来调用相应的智能分析算法来进行分析，能够满足多种异构数据进行统一处理的需求，灵活性高。

[0048] 在本发明实施例中，数据库元数据信息是指元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录，为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。数据库日志信息则是记录数据库数据处理变化的日志信息，本领域技术人员可以根据上述描述进行理解，在此不进行更为详细的描述和举例。

[0049] 在本发明实施例中，预设的调度任务是指针对不同的数据结构类型的数据，预先设定对其进行分析的智能分析算法引擎，在获取目标数据之后，对目标数据的结构类型进行分析确定之后，进而根据目标数据的结构类型执行对应的调度任务来调用相应的智能分析算法引擎来对目标数据进行分析处理。

[0050] 在本发明实施例中，预设的智能分析算法引擎主要是通过分析目标数据的中数据库元数据信息完整度、数据热度、数据重要性、数据活性四大维度10余项数据评测指标，准确反映数据核心程度，反映哪些表是临时表、“僵尸”表、生产表。整个过程人工干预少，智能分析算法引擎被初始化在系统中，被定时执行，执行结果会被自动的推送到系统中。

[0051] 在本发明实施例中，如图2所示，为本发明实施例中生成数据画像的流程图，步骤S120根据预设的调度任务调用预设的智能分析算法引擎对目标数据进行处理，生成数据画像，具体包括：

[0052] 步骤S210，分析目标数据的数据库类型，根据目标数据的数据库类型执行对应的调度任务调用对应的预设智能分析算法引擎；

[0053] 步骤S220，通过智能分析算法引擎按照预设的数据评测指标分析目标数据，确定目标数据的指标属性，指标属性包括但不限于数据有效性、数据完整度、数据活性中的一种或几种的组合；

[0054] 步骤S230，根据所述目标数据的指标属性对所述目标数据进行筛选，确定核心目标数据。

[0055] 在本发明实施例中，针对目标数据进行智能分析的结果都会携带数据有效分和完整度等指标属性，即数据画像，同时推送回来的数据排除了一些临时表、“僵尸”表，维表等数据资源，即推送回来的都是筛选过后的数据资源，同时在数据画像中对数据资源进行评分标识，数据资源携带的有效分数越高代表数据的核心程度越重要。从而使得可以实现对分析后的目标数据进行编目梳理填报，完成数据资源的目录编排。

[0056] 在本发明实施例中，步骤S220通过智能分析算法引擎按照预设的数据评测指标分析目标数据，确定目标数据的指标属性，还包括：

[0057] 根据目标数据的指标属性将目标数据中的数据进行标识分类。

[0058] 具体的，比如在政务数据的处理过程中，根据智能分析处理之后的数据，对其数据所属的业务类型或者具体的部门等进行区分标识，也可以是对其保密程度、重要程度进行标识分类，也便于政务数据的整理和管理。

[0059] 在本发明实施例中，如图3所示，为本发明实施例中提供的另一数据处理方法，其与图1中的不同在于，获取目标数据库的目标数据之前，还包括：

[0060] 步骤S310，与目标数据库进行连接配置，并测试数据库连接是否连通。

[0061] 在本发明实施例中，与数据库进行连接配置可以根据不同结构数据库类型选择不同的数据库连接方式，数据库的连接配置属于本领域常用的技术手段，在此不对其具体操作和过程进一步描述，其连接后的测试也可以根据对应的数据库类型选择不同的测试方法进行测试。

[0062] 在本发明实施例中，如图4所示，为本发明实施例中提供的另一数据处理方法，其与图3中的不同在于，执行步骤S310与目标数据库进行连接配置，并测试数据库连接是否连通之后，还包括：

[0063] 步骤S410，配置所述目标数据库的数据获取权限。

[0064] 在本发明实施例中，针对的数据库目标数据部分可能存在机密状态，比如政务数据中有些部门的数据并非公开，此时需要对该数据库数据获取权限的一个设置，主要是通过配置数据获取权限来判断是否能够有权获取数据。对应的，在执行的过程中，可以是将配置的对应验证信息发送给目标数据库，目标数据库在接受验证之后对其进行验证处理，然后允许获取数据。更多具体的数据访问权限的实现方式在此不进一步举例和描述，本领域技术人员可以根据实际情绪进行简单设计。

[0065] 在本发明实施例中，步骤S130根据数据画像将目标数据进行数据目录编排，生成目标数据目录，还包括：

[0066] 将目标数据目录发送至用户端，并接收用户端返回的目录修改信息，根据目录修改信息调整目标数据目录。

[0067] 本发明实施例中通过将目标数据目录发送给用户端进行校验或者审核，然后再此基础上进一步的完善，便于使用者根据实际情况或者需求进行数据目录的调整，提高灵活性。

[0068] 本发明实施例中提供的一种数据处理方法对数据库数据进行自动的智能化的数据分析，分析出数据画像，然后判断属于部门核心业务相关的数据，对这些数据进行编排，形成数据目录。整个过程人工干预成分少，效率高，而且产生的目录质量高。同时，基于高质量的数据目录，政府部门之间可以更加准确的了解各方的核心业务，结合自身的业务特点，有针对性的进行数据共享，从而打通业务条线，开展更加广泛的合作和协同。

[0069] 实施例二

[0070] 如图5所示，在本发明实施例中，提供了一种数据处理装置，该数据处理装置可以集成于上述的终端或计算机设备中，具体可以包括：

[0071] 数据获取模块510，用于获取目标数据库的目标数据，目标数据包括但不限于数据库元数据信息和数据库日志信息；

[0072] 数据处理模块520，用于根据预设的调度任务调用预设的智能分析算法引擎对目标数据进行处理，生成数据画像；

[0073] 目录生成模块530，根据数据画像将目标数据进行数据目录编排，生成目标数据目录。

[0074] 在本发明实施例中，目标数据库可以包括支持mysql、oracle、sqlserver、rds等各种常用的数据库类型，并且本发明实施例中的各种数据库类型对应的多种异构数据也能够根据对应的数据库类型执行对应的调度任务来调用相应的智能分析算法来进行分析，能够满足多种异构数据进行统一处理的需求，灵活性高。

[0075] 在本发明实施例中，数据库元数据信息是指元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录，为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。数据库日志信息则是记录数据库数据处理变化的日志信息，本领域技术人员可以根据上述描述进行理解，在此不进行更为详细的描述和举例。

[0076] 在本发明实施例中，预设的调度任务是指针对不同的数据结构类型的数据，预先设定对其进行分析的智能分析算法引擎，在获取目标数据之后，对目标数据的结构类型进行分析确定之后，进而根据目标数据的结构类型执行对应的调度任务来调用相应的智能分析算法引擎来对目标数据进行分析处理。

[0077] 在本发明实施例中，预设的智能分析算法引擎主要是通过分析目标数据的中数据库元数据信息完整度、数据热度、数据重要性、数据活性四大维度10余项数据评测指标，准确反映数据核心程度，反映哪些表是临时表、“僵尸”表、生产表。整个过程人工干预少，智能分析算法引擎被初始化在系统中，被定时执行，执行结果会被自动的推送到系统中。

[0078] 在本发明实施例中，数据处理模块520根据预设的调度任务调用预设的智能分析算法引擎对目标数据进行处理，生成数据画像，具体包括：

[0079] 分析目标数据的数据库类型，根据目标数据的数据库类型执行对应的调度任务调用对应的预设智能分析算法引擎；

[0080] 通过智能分析算法引擎按照预设的数据评测指标分析目标数据，确定目标数据的指标属性，指标属性包括但不限于数据有效性、数据完整度、数据活性中的一种或几种的组合；

[0081] 根据所述目标数据的指标属性对所述目标数据进行筛选，确定核心目标数据。

[0082] 在本发明实施例中，针对目标数据进行智能分析的结果都会携带数据有效分和完整度等指标属性，即数据画像，同时推送回来的数据排除了一些临时表、“僵尸”表，维表等数据资源，即推送回来的都是筛选过后的数据资源，同时在数据画像中对数据资源进行评分标识，数据资源携带的有效分数越高代表数据的核心程度越重要。从而使得可以实现对分析后的目标数据进行编目梳理填报，完成数据资源的目录编排。

[0083] 在本发明实施例中，数据处理模块520通过智能分析算法引擎按照预设的数据评测指标分析目标数据，确定目标数据的指标属性，还包括：

[0084] 根据目标数据的指标属性将目标数据中的数据进行标识分类。

[0085] 具体的，比如在政务数据的处理过程中，根据智能分析处理之后的数据，对其数据所属的业务类型或者具体的部门等进行区分标识，也可以是对其保密程度、重要程度进行标识分类，也便于政务数据的整理和管理。

[0086] 在本发明实施例中，数据获取模块510获取目标数据库的目标数据之前，还包括：

[0087] 与目标数据库进行连接配置，并测试数据库连接是否连通。

[0088] 在本发明实施例中，与数据库进行连接配置可以根据不同结构数据库类型选择不同的数据库连接方式，数据库的连接配置属于本领域常用的技术手段，在此不对其具体操作和过程进一步描述，其连接后的测试也可以根据对应的数据库类型选择不同的测试方法进行测试。

[0089] 在本发明实施例中，数据获取模块510与目标数据库进行连接配置，并测试数据库连接是否连通之后，还包括：

[0090] 配置所述目标数据库的数据获取权限。

[0091] 在本发明实施例中，针对的数据库目标数据部分可能存在机密状态，比如政务数据中有些部门的数据并非公开，此时需要对该数据库数据获取权限的一个设置，主要是通过配置数据获取权限来判断是否能够有权获取数据。对应的，在执行的过程中，可以是将配置的对应验证信息发送给目标数据库，目标数据库在接受验证之后对其进行验证处理，然后允许获取数据。更多具体的数据访问权限的实现方式在此不进一步举例和描述，本领域技术人员可以根据实际情绪进行简单设计。

[0092] 在本发明实施例中，目录生成模块530根据数据画像将目标数据进行数据目录编排，生成目标数据目录，还包括：

[0093] 将目标数据目录发送至用户端，并接收用户端返回的目录修改信息，根据目录修改信息调整目标数据目录。

[0094] 本发明实施例中通过将目标数据目录发送给用户端进行校验或者审核，然后再此基础上进一步的完善，便于使用者根据实际情况或者需求进行数据目录的调整，提高灵活性。

[0095] 本发明实施例中提供的一种数据处理装置对数据库数据进行自动的智能化的数据分析，分析出数据画像，然后判断属于部门核心业务相关的数据，对这些数据进行编排，形成数据目录。整个过程人工干预成分少，效率高，而且产生的目录质量高。同时，基于高质量的数据目录，政府部门之间可以更加准确的了解各方的核心业务，结合自身的业务特点，有针对性的进行数据共享，从而打通业务条线，开展更加广泛的合作和协同。

[0096] 实施例三

[0097] 如图6所示，在本发明实施例中，提供了一种数据处理系统，包括：

[0098] 政务数据平台610，政务数据平台上存储有政务数据信息；

[0099] 数据处理中心620，数据处理中心包括实施例中的数据处理装置，用于从政务数据平台610中获取目标数据，并执行实施例中数据处理方法的步骤对目标数据进行处理，生成目标数据目录。

[0100] 在本发明实施例中，政务数据平台610可以是针对政务部门各个不同部门设置的数据平台，比如税务局包括了办公部门、政策法规部门、货物与劳务税部门、所得税部门等，那么各个不同的部门可以独立设置对应的数据平台记载各自的业务数据。上述仅为举例说明。

[0101] 本发明实施例中提供的一种数据处理系统对数据库数据进行自动的智能化的数据分析，分析出数据画像，然后判断属于部门核心业务相关的数据，对这些数据进行编排，形成数据目录，政府部门之间可以更加准确的了解各方的核心业务，结合自身的业务特点，有针对性的进行数据共享，从而打通业务条线，开展更加广泛的合作和协同。

[0102] 实施例四

[0103] 在本发明实施例中，提出了一种计算机设备，计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

[0104] 获取目标数据库的目标数据，目标数据包括但不限于数据库元数据信息和数据库日志信息；

[0105] 根据预设的调度任务调用预设的智能分析算法引擎对目标数据进行处理，生成数据画像；

[0106] 根据数据画像将目标数据进行数据目录编排，生成目标数据目录。

[0107] 图7示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。还可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。如图7所示，该计算机设备包括该计算机设备包括通过系统总线链接的处理器、存储器、网络接口、输入装置和显示屏 。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现数据处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行数据处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

[0108] 本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0109] 实施例五

[0110] 在本发明实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：

[0111] 获取目标数据库的目标数据，目标数据包括但不限于数据库元数据信息和数据库日志信息；

[0112] 根据预设的调度任务调用预设的智能分析算法引擎对目标数据进行处理，生成数据画像；

[0113] 根据数据画像将目标数据进行数据目录编排，生成目标数据目录。

[0114] 应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

[0115] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

[0116] 以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

[0117] 以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。