一种数据存储规则自动推荐方法、装置、设备及可读存储介质转让专利

申请号 : CN201910696205.0

文献号 : CN110532262B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 安云杰魏建钟刘强

申请人 : 北京三快在线科技有限公司

摘要 :

本发明提供了一种数据存储规则自动推荐方法、装置、设备及可读存储介质,包括:响应于数据优化存储请求,提取数据仓库中多个数据表;获取用户针对各所述数据表配置的存储规则;根据所述存储规则重新存储所述多个数据表为待优化数据表;获取所述待优化数据表的属性;根据所述待优化数据表的属性,确定所述待优化数据表的多个可优化存储方案;计算各所述可优化存储方案的存储效益;将所述存储效益最高的所述可优化存储方案作为最优存储方案,推荐给所述用户。解决了现有技术基于人工经验选取优化方案效率低下且人力成本较高的问题。

权利要求 :

1.一种数据存储规则自动推荐方法,其特征在于,包括:响应于数据优化存储请求,提取数据仓库中多个数据表;

获取用户针对各所述数据表配置的存储规则;

根据所述存储规则重新存储所述多个数据表为待优化数据表;

获取所述待优化数据表的属性;

根据所述待优化数据表的属性,确定所述待优化数据表的多个可优化存储方案;

计算各所述可优化存储方案的存储效益,其中,根据可优化分区归档方案,或可优化压缩存储方案、或可优化模型优化方案中的多种,计算各所述可优化存储方案的存储效益;

将所述存储效益最高的所述可优化存储方案作为最优存储方案,推荐给所述用户;

所述计算各所述可优化存储方案的存储效益,包括:提取采用所述可优化分区归档方案时,所述待优化数据表的分区查询热度小于预设阈值的连续分区;

计算所述连续分区的存储收益,确定为所述待优化数据表的存储收益;

或,

提取采用所述可优化压缩存储方案时,所述待优化数据表中的重复字段以及对应的重复率;

根据所述重复率计算所述重复字段的存储收益,确定为所述待优化数据表的存储收益;

或,

提取采用所述可优化模型优化方案时,所述待优化数据表中的相同粒度表;

提取所述相同粒度表中的冗余字段;

计算所述冗余字段的存储收益,确定为所述待优化数据表的存储收益。

2.根据权利要求1所述的方法,其特征在于,所述根据所述存储规则重新存储所述多个数据表为待优化数据表,包括:根据所述存储规则提取各所述数据表中对应的元数据;

将所述元数据重新存储为待优化数据表。

3.根据权利要求2所述的方法,其特征在于,所述将所述元数据重新存储为待优化数据表,包括:提取所述元数据的元数据指标;所述元数据指标包括分区热度存储、字段重复记录存储、表间字段冗余存储、文件大小存储中的一种或多种;

将所述元数据按照所述分区热度存储,和/或所述字段重复记录存储,和/或所述表间字段冗余存储,和/或所述文件大小存储为待优化快照表,或待优化全量表,或待优化增量表。

4.根据权利要求3所述的方法,其特征在于,所述获取所述待优化数据表的属性,包括:根据所述元数据指标,确定所述待优化数据表的表属性;所述表属性包括快照表,或全量表,或增量表。

5.根据权利要求4所述的方法,其特征在于,所述根据所述待优化数据表的属性,确定所述待优化数据表的多个可优化存储方案,包括:在预设指标方案对应关系列表中为所述待优化快照表,或所述待优化全量表,或所述待优化增量表选择可优化分区归档方案,或可优化压缩存储方案、或可优化模型优化方案中的多种。

6.一种数据存储规则自动推荐装置,其特征在于,包括:数据表提取模块,用于响应于数据优化存储请求,提取数据仓库中多个数据表;

存储规则获取模块,用于获取用户针对各所述数据表配置的存储规则;

待优化数据表存储模块,用于根据所述存储规则重新存储所述多个数据表为待优化数据表;

待优化数据表属性获取模块,用于获取所述待优化数据表的属性;

存储方案确定模块,用于根据所述待优化数据表的属性,确定所述待优化数据表的多个可优化存储方案;

存储效益计算模块,用于计算各所述可优化存储方案的存储效益,其中,根据可优化分区归档方案,或可优化压缩存储方案、或可优化模型优化方案中的多种,计算各所述可优化存储方案的存储效益;

推荐模块,用于将所述存储效益最高的所述可优化存储方案作为最优存储方案,推荐给所述用户;

所述存储效益计算模块包括:

连续分区提取子模块,用于提取采用所述可优化分区归档方案时,所述待优化数据表的分区查询热度小于预设阈值的连续分区;

存储收益计算子模块,用于计算所述连续分区的存储收益,确定为所述待优化数据表的存储收益;

或,

重复率提取子模块,用于提取采用所述可优化压缩存储方案时,所述待优化数据表中的重复字段以及对应的重复率;

存储收益确定子模块,用于根据所述重复率计算所述重复字段的存储收益,确定为所述待优化数据表的存储收益;

或,

相同粒度表提取子模块,用于提取采用所述可优化模型优化方案时,所述待优化数据表中的相同粒度表;

冗余字段提取子模块,用于提取所述相同粒度表中的冗余字段;

收益计算子模块,用于计算所述冗余字段的存储收益,确定为所述待优化数据表的存储收益。

7.一种设备,其特征在于,包括:

处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-5之任一项所述的数据存储规则自动推荐方法。

8.一种可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够实现如权利要求1-5之任一项所述的数据存储规则自动推荐方法。

说明书 :

一种数据存储规则自动推荐方法、装置、设备及可读存储介质

技术领域

[0001] 本发明涉及网页设计技术领域,特别是涉及一种数据存储规则自动推荐方法、装置、设备及可读存储介质。

背景技术

[0002] 随着大数据存储模式的兴起,大数据在云平台上根据科学有效的配置进行存储是必须面对的紧要问题。首先,用户需要了解大数据的存储方式,再根据不同的需求使用最优化的方案进行再存储,以便高效利用资源和高效的输出数据。
[0003] 现有技术中,大部分数据优化方案都是基于人工经验进行选取,费时费力且成本过高,另一种方案是根据候选参数的排名提取重要候选参数集;根据候选参数生成训练数据库并建立预测模型;提取出目标应用程序的负载特征;根据预测模型对所述目标应用程序的负载特征进行处理,生成并输出优化配置参数及各优化配置参数的取值。该方法针对不同应用进行不同配置,缺少统一标准,效率无法保证,可行性和收益预估不准确。

发明内容

[0004] 鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据存储规则自动推荐方法、装置、设备及可读存储介质。
[0005] 根据本发明的第一方面,本发明实施例公开了一种数据存储规则自动推荐方法,具体包括:
[0006] 响应于数据优化存储请求,提取数据仓库中多个数据表;
[0007] 获取用户针对各所述数据表配置的存储规则;
[0008] 根据所述存储规则重新存储所述多个数据表为待优化数据表;
[0009] 获取所述待优化数据表的属性;
[0010] 根据所述待优化数据表的属性,确定所述待优化数据表的多个可优化存储方案;
[0011] 计算各所述可优化存储方案的存储效益;
[0012] 将所述存储效益最高的所述可优化存储方案作为最优存储方案,推荐给所述用户。
[0013] 根据本发明的第二方面,本发明实施例公开了一种数据存储规则自动推荐装置,具体包括:
[0014] 数据表提取模块,用于响应于数据优化存储请求,提取数据仓库中多个数据表;
[0015] 存储规则获取模块,用于获取用户针对各所述数据表配置的存储规则;
[0016] 待优化数据表存储模块,用于根据所述存储规则重新存储所述多个数据表为待优化数据表;
[0017] 待优化数据表属性获取模块,用于获取所述待优化数据表的属性;
[0018] 存储方案确定模块,用于根据所述待优化数据表的属性,确定所述待优化数据表的多个可优化存储方案;
[0019] 存储效益计算模块,用于计算各所述可优化存储方案的存储效益;
[0020] 推荐模块,用于将所述存储效益最高的所述可优化存储方案作为最优存储方案,推荐给所述用户。
[0021] 根据本发明的第三方面,提供了一种设备,包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如前述的数据存储规则自动推荐方法。
[0022] 根据本发明的第四方面,提供了一种可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够实现前述的数据存储规则自动推荐方法。
[0023] 本发明实施例包括以下优点,通过响应于数据优化存储请求,提取数据仓库中多个数据表;获取用户针对各所述数据表配置的存储规则;根据所述存储规则重新存储所述多个数据表为待优化数据表;获取所述待优化数据表的属性;根据所述待优化数据表的属性,确定所述待优化数据表的多个可优化存储方案;计算各所述可优化存储方案的存储效益;将所述存储效益最高的所述可优化存储方案作为最优存储方案,推荐给所述用户。可针对不同配置进行优化方案的自动选择,并推荐给用户,解决了现有技术基于人工经验选取优化方案效率低下、人力成本较高的问题,或其他基于模型计算优化方案不能根据不同应用灵活计算优化方案造成的低效低质的问题。

附图说明

[0024] 为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0025] 图1是本发明的一种数据存储规则自动推荐方法实施例的步骤流程图;
[0026] 图2是本发明的一种数据存储规则自动推荐方法实施例的步骤流程图;
[0027] 图2A是本发明的一种数据存储规则自动推荐方法数据流程示意图;
[0028] 图2B是本发明的优化方案计算流程示意图;
[0029] 图2C是模型优化方案示意图;
[0030] 图3是本发明的一种数据存储规则自动推荐装置实施例的结构框图;
[0031] 图4是本发明的一种数据存储规则自动推荐装置实施例的结构框图。

具体实施方式

[0032] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0033] 实施例一
[0034] 参照图1,示出了本发明的一种数据存储规则自动推荐方法实施例的步骤流程图,具体可以包括如下步骤:
[0035] 步骤101,响应于数据优化存储请求,提取数据仓库中多个数据表;
[0036] 本发明实施例中,在客户端接收到针对某一数据仓的优化存储请求,则提取该数据仓中存储的多个数据表,其中,优化存储的数据表通常多于两个,并作为优化存储的对象,以进一步计算需要优化的存储指标的效益。
[0037] 步骤102,获取用户针对各所述数据表配置的存储规则;
[0038] 本发明实施例中,针对上述步骤中获取的多个数据表,获取用户针对每个数据表配置的规则和指标,即存储数据的具体规则和指标,包含数据存储的分区规则、分区存储量等。
[0039] 当然,可以理解的,数据表配置的存储规则不限于上述描述,本发明实施例对此不加以限制。
[0040] 步骤103,根据所述存储规则重新存储所述多个数据表为待优化数据表;
[0041] 本发明实施例中,根据上述用户配置的存储规则,将上述多个数据表重新存储为一个新表,即为待优化数据表。
[0042] 其中,可以理解为,待优化数据表是获取的上述多个数据表中,每个数据表基于一个存储指标的数据,进而汇总为一个新的表,不一定是多个数据表中的全部数据存储为待优化数据表,对此,根据用户对数据存储优化的具体需求进行制定,本发明实施例不加以限制。
[0043] 步骤104,获取所述待优化数据表的属性;
[0044] 本发明实施例中,提取待优化数据表中的具体属性信息,如数据类型、文件大小、表间字段冗余等信息。
[0045] 当然,属性信息不限于上述描述,针对不同的数据表,获取与优化方案计算相关的数据都可定义为属性信息,本发明实施例对此不加以限制。
[0046] 步骤105,根据所述待优化数据表的属性,确定所述待优化数据表的多个可优化存储方案;
[0047] 本发明实施例中,根据待优化数据表的属性信息,即可确定待优化存储表的存储类型,进一步得到针对这种类型的预设的优化存储方案。
[0048] 例如,例如快照表会选取:分区归档、压缩存储、模型优化等规则;全量表会选取:压缩存储、模型优化等规则;增量表会选取:压缩存储、分区归档、模型优化、冷热分区等优化规则。
[0049] 当然,数据表的存储类型和对应的优化存储方案不限于上述描述,本发明实施例对此不加以限制。
[0050] 步骤106,计算各所述可优化存储方案的存储效益;
[0051] 本发明实施例中,系统根据上一步选取的优化规则进行规则计算和收益计算。
[0052] 例如分区归档规则时,计算出分区查询热度小于定值L的连续分区,根据这些连续分区计算出存储收益;压缩存储规则时:计算出重复字段与重复率,计算出重复字段对应的存储收益;模型优化规则时:模型优化是相同粒度的表间计算,需要计算出表与表之间的所有冗余字段,计算出冗余字段占用存储。
[0053] 步骤107,将所述存储效益最高的所述可优化存储方案作为最优存储方案,推荐给所述用户。
[0054] 本发明实施例中,根据上述存储收益的计算,选出存储冗余小,且效率高的,即存储效益最高的最优存储方案推荐给用户。
[0055] 在本发明实施例中,通过响应于数据优化存储请求,提取数据仓库中多个数据表;获取用户针对各所述数据表配置的存储规则;根据所述存储规则重新存储所述多个数据表为待优化数据表;获取所述待优化数据表的属性;根据所述待优化数据表的属性,确定所述待优化数据表的多个可优化存储方案;计算各所述可优化存储方案的存储效益;将所述存储效益最高的所述可优化存储方案作为最优存储方案,推荐给所述用户。实现了根据用户指定的存储规则,确定数据表类型,并确定存储优化方案以及自动计算各优化存储方案存储效益的目的,提高存储优化方案的选取效率,解决了基于人工经验选取优化方案效率低下且人力成本较高的问题。
[0056] 实施例二
[0057] 参照图2,示出了本发明的一种数据存储规则自动推荐方法实施例的步骤流程图,具体可以包括如下步骤:
[0058] 步骤201,响应于数据优化存储请求,提取数据仓库中多个数据表;
[0059] 此步骤与步骤101相同,在此不再详述。
[0060] 步骤202,获取用户针对各所述数据表配置的存储规则;
[0061] 此步骤与步骤102相同,在此不再详述。
[0062] 步骤203,根据所述存储规则提取各所述数据表中对应的元数据;
[0063] 本发明实施例中,如图2A所示,当选取多个数据表以及用户针对各数据表配置的存储规则后,获取各数据表中的元数据,其中元数据包括数据表中的分区查询热度、字段重复记录、表间字段冗余、分区存储量等指标其中的一项或者多项。
[0064] 可以理解地,元数据不限于上述描述,根据具体数据表以及用户设置规则而定,本发明实施例对此不加以限定。
[0065] 步骤204,将所述元数据重新存储为待优化数据表。
[0066] 优选地,步骤204进一步包括:
[0067] 子步骤2041,提取所述元数据的元数据指标;所述元数据指标包括分区热度存储、字段重复记录存储、表间字段冗余存储、文件大小存储中的一种或多种;
[0068] 具体地,根据获取的每个数据表的元数据,提取元数据中的指标,即如图2B所示的指标结构化存储,包括分区热度存储、字段重复记录存储、表间字段冗余存储、文件大小存储中的一种或多种。
[0069] 子步骤2042,将所述元数据按照所述分区热度存储,和/或所述字段重复记录存储,和/或所述表间字段冗余存储,和/或所述文件大小存储为待优化快照表,或待优化全量表,或待优化增量表。
[0070] 进一步地,如图2B下半部分表格所示为指标结构化存储中生成结构化存储表,其中第一列包含分区热度、字段重复记录、表间字段冗余、文件大小,第二列为表名,第三列为查询热度,以天为单位,其中包含字段、粒度和存储量,第四列最近查询时间,其中包括重复率和冗余率。
[0071] 步骤205,根据所述元数据指标,确定所述待优化数据表的表属性;所述表属性包括快照表,或全量表,或增量表。
[0072] 具体地,根据上述步骤中得到的结构化存储表,可以确定待优化数据表的类型,即快照表,或全量表,或增量表。
[0073] 步骤206,在预设指标方案对应关系列表中为所述待优化快照表,或所述待优化全量表,或所述待优化增量表选择可优化分区归档方案,或可优化压缩存储方案、或可优化模型优化方案中的一种或多种。
[0074] 具体地,对应待优化数据表的结构化存储指标,对应有预设的优化方案,存储在预设指标方案对应关系列表中,因此在此表中可以获取对应待优化存储数据表的可优化方案,即针对待优化快照表,或待优化全量表,或待优化增量表选择可优化分区归档方案,或可优化压缩存储方案、或可优化模型优化方案中的一种或多种。
[0075] 步骤207,提取采用所述可优化分区归档方案时,所述待优化数据表的分区查询热度小于预设阈值的连续分区;
[0076] 具体地,系统根据上一步选取的优化规则进行规则计算和收益计算。例如分区归档规则时:计算出分区查询热度小于定值L的连续分区,根据这些连续分区计算出存储收益。
[0077] 步骤208,计算所述连续分区的存储收益,确定为所述待优化数据表的存储收益;
[0078] 在本发明的另一实施例中,存储收益计算步骤,还可以包括:
[0079] 步骤A1,提取采用所述可优化压缩存储方案时,所述待优化数据表中的重复字段以及对应的重复率;
[0080] 步骤A2,根据所述重复率计算所述重复字段的存储收益,确定为所述待优化数据表的存储收益;
[0081] 其中,压缩存储规则时,计算出重复字段与重复率,计算出重复字段对应的存储收益。
[0082] 在本发明的另一实施例中,存储收益计算步骤,还可以包括:
[0083] 步骤B1,提取采用所述可优化模型优化方案时,所述待优化数据表中的相同粒度表;
[0084] 步骤B2,提取所述相同粒度表中的冗余字段;
[0085] 步骤B3,计算所述冗余字段的存储收益,确定为所述待优化数据表的存储收益。
[0086] 其中,模型优化规则时:模型优化是相同粒度的表间计算,需要计算出表与表之间的所有冗余字段,计算出冗余字段占用存储。
[0087] 具体地,如图2C所示,是一个待优化存储不存储效益计算实例示意图,其中输入表名,到确定该表可以使用的优化存储方案为分区归档、压缩存储、模型优化等,分别计算连续分区、重复字段、和冗余字段的存储收益,最后综合判定使用模型优化方案进行存储,存储收益为249.48MB,推荐的优化操作为删除表,并将缺字字段补充道模型。
[0088] 步骤209,将所述存储效益最高的所述可优化存储方案作为最优存储方案,推荐给所述用户。
[0089] 其中,根据收益结果对比选取最优方案,推送给用户优化建议。例如上一步计算出了分区归档的收益、压缩存储收益和模型优化收益,对比三个收益最大的作为优化建议推送给用户,包含推荐优化方案、预计收益、推荐优化明细操作。
[0090] 在本发明实施例中,通过响应于数据优化存储请求,提取数据仓库中多个数据表;获取用户针对各所述数据表配置的存储规则;根据所述存储规则提取各所述数据表中对应的元数据;将所述元数据重新存储为待优化数据表。获取所述待优化数据表的属性;根据所述待优化数据表的属性,确定所述待优化数据表的多个可优化存储方案;计算各所述可优化存储方案的存储效益;将所述存储效益最高的所述可优化存储方案作为最优存储方案,推荐给所述用户。实现了根据用户指定的存储规则,获取各存储表的元数据,根据元数据确定数据表类型,并确定存储优化方案以及自动计算各优化存储方案存储效益的目的,提高存储优化方案的选取效率。
[0091] 实施例三
[0092] 参照图3,示出了本发明的一种数据存储规则自动推荐装置实施例的结构框图,具体可以包括如下模块:
[0093] 数据表提取模块301,用于响应于数据优化存储请求,提取数据仓库中多个数据表;
[0094] 存储规则获取模块302,用于获取用户针对各所述数据表配置的存储规则;
[0095] 待优化数据表存储模块303,用于根据所述存储规则重新存储所述多个数据表为待优化数据表;
[0096] 待优化数据表属性获取模块304,用于获取所述待优化数据表的属性;
[0097] 存储方案确定模块305,用于根据所述待优化数据表的属性,确定所述待优化数据表的多个可优化存储方案;
[0098] 存储效益计算模块306,用于计算各所述可优化存储方案的存储效益;
[0099] 推荐模块307,用于将所述存储效益最高的所述可优化存储方案作为最优存储方案,推荐给所述用户。
[0100] 在本发明实施例中,通过数据表提取模块,用于响应于数据优化存储请求,提取数据仓库中多个数据表;存储规则获取模块,用于获取用户针对各所述数据表配置的存储规则;待优化数据表存储模块,用于根据所述存储规则重新存储所述多个数据表为待优化数据表;待优化数据表属性获取模块,用于获取所述待优化数据表的属性;存储方案确定模块,用于根据所述待优化数据表的属性,确定所述待优化数据表的多个可优化存储方案;存储效益计算模块,用于计算各所述可优化存储方案的存储效益;推荐模块,用于将所述存储效益最高的所述可优化存储方案作为最优存储方案,推荐给所述用户。实现了根据用户指定的存储规则,确定数据表类型,并确定存储优化方案以及自动计算各优化存储方案存储效益的目的,提高存储优化方案的选取效率,解决了基于人工经验选取优化方案效率低下且人力成本较高的问题。
[0101] 实施例四
[0102] 参照图4,示出了本发明的一种数据存储规则自动推荐装置实施例的结构框图,具体可以包括如下模块:
[0103] 数据表提取模块401,用于响应于数据优化存储请求,提取数据仓库中多个数据表;
[0104] 存储规则获取模块402,用于获取用户针对各所述数据表配置的存储规则;
[0105] 待优化数据表存储模块403,用于根据所述存储规则重新存储所述多个数据表为待优化数据表;
[0106] 优选地,所述待优化数据表存储模块403,进一步,包括:
[0107] 元数据获取子模块4031,用于根据所述存储规则提取各所述数据表中对应的元数据;
[0108] 待优化数据表存储子模块4032,用于将所述元数据重新存储为待优化数据表。
[0109] 优选地,所述待优化数据表存储子模块4032,进一步包括:
[0110] 元数据指标提起单元,用于提取所述元数据的元数据指标;所述元数据指标包括分区热度存储、字段重复记录存储、表间字段冗余存储、文件大小存储中的一种或多种;
[0111] 元数据存储单元,用于将所述元数据按照所述分区热度存储,和/或所述字段重复记录存储,和/或所述表间字段冗余存储,和/或所述文件大小存储为待优化快照表,或待优化全量表,或待优化增量表。
[0112] 待优化数据表属性获取模块404,用于获取所述待优化数据表的属性;
[0113] 优选地,所述待优化数据表属性获取模块404,进一步包括:
[0114] 表属性确定子模块4041,用于根据所述元数据指标,确定所述待优化数据表的表属性;所述表属性包括快照表,或全量表,或增量表。
[0115] 存储方案确定模块405,用于根据所述待优化数据表的属性,确定所述待优化数据表的多个可优化存储方案;
[0116] 优选地,所述存储方案确定模块405,进一步包括:
[0117] 存储方案确定子模块4051,用于在预设指标方案对应关系列表中为所述待优化快照表,或所述待优化全量表,或所述待优化增量表选择可优化分区归档方案,或可优化压缩存储方案、或可优化模型优化方案中的一种或多种。
[0118] 存储效益计算模块406,用于计算各所述可优化存储方案的存储效益;
[0119] 优选地,所述存储效益计算模块406,进一步包括:
[0120] 连续分区提取子模块4061,用于提取采用所述可优化分区归档方案时,所述待优化数据表的分区查询热度小于预设阈值的连续分区;
[0121] 存储收益计算子模块4062,用于计算所述连续分区的存储收益,确定为所述待优化数据表的存储收益;
[0122] 或,
[0123] 重复率提取子模块,用于提取采用所述可优化压缩存储方案时,所述待优化数据表中的重复字段以及对应的重复率;
[0124] 存储收益确定子模块,用于根据所述重复率计算所述重复字段的存储收益,确定为所述待优化数据表的存储收益;
[0125] 或,
[0126] 相同粒度表提取子模块,用于提取采用所述可优化模型优化方案时,所述待优化数据表中的相同粒度表;
[0127] 冗余字段提取子模块,用于提取所述相同粒度表中的冗余字段;
[0128] 收益计算子模块,用于计算所述冗余字段的存储收益,确定为所述待优化数据表的存储收益。
[0129] 推荐模块407,用于将所述存储效益最高的所述可优化存储方案作为最优存储方案,推荐给所述用户。
[0130] 对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0131] 本发明实施例还提供一种设备,包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如上述的一个或多个所述的数据存储规则自动推荐。
[0132] 本发明实施例还提供一种可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如所述的数据存储规则自动推荐。
[0133] 综上所述,在本发明实施例中,通过数据表提取模块,用于响应于数据优化存储请求,提取数据仓库中多个数据表;存储规则获取模块,用于获取用户针对各所述数据表配置的存储规则;元数据获取子模块,用于根据所述存储规则提取各所述数据表中对应的元数据;待优化数据表存储子模块,用于将所述元数据重新存储为待优化数据表。待优化数据表属性获取模块,用于获取所述待优化数据表的属性;存储方案确定模块,用于根据所述待优化数据表的属性,确定所述待优化数据表的多个可优化存储方案;存储效益计算模块,用于计算各所述可优化存储方案的存储效益;推荐模块,用于将所述存储效益最高的所述可优化存储方案作为最优存储方案,推荐给所述用户。实现了根据用户指定的存储规则,获取各存储表的元数据,根据元数据确定数据表类型,并确定存储优化方案以及自动计算各优化存储方案存储效益的目的,提高存储优化方案的选取效率。其具有如下优点:
[0134] 一.统一优化标准:统一了优化规则选取方案。
[0135] 二.提高效率:可以避免重复操作,一次性取得预计收益。
[0136] 三.节省成本:人工和系统有效结合,节省人力物力。
[0137] 本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
[0138] 本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0139] 本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0140] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0141] 这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0142] 尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0143] 最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0144] 以上对本发明所提供的一种数据存储规则自动推荐方法、装置、设备及可读存储介质,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。