一种大数据异构存储计算模型间的统一互操作系统及方法

摘要

本发明公开了一种实现大数据异构存储计算模型间统一互操作的系统，该系统包括数据控制模块、计算资源控制模块、计算处理逻辑模块、动态元数据管理模块、参数封装模块以及执行控制模块，另外本发明还公开了一种基于该大数据异构存储计算模型间的统一互操作系统的操作方法，本发明实现的对大数据异构计算存储模型的互操作的方法，可以很好的实现对各种计算模型的兼容，达到对上层应用开发的一致性封装，向最终用户屏蔽了各种异构模型的技术差异，具有通用性好、易于学习使用的特点，有效克服了现有技术中的种种缺点而具高度产业利用价值。

权利要求

1.一种大数据异构存储计算模型间的统一互操作系统的操作方法，其特征在于，包括如下步骤：调用该系统的执行控制模块提供的拦截器，实现对原始作业任务的拦截与数据定位；

基于所述执行控制模块提供的模型差异识别能力对作业任务处理逻辑和业务数据进行分析定位和封装装备；

针对业务数据调用该系统的动态元数据管理模块，通过该模块实现对该业务数据的静态数据以及动态数据的分离与定位，并形成相应的数据引用，为回填目标计算模型时的适配和装换做准备；

对经所述动态元数据管理模块分离的静态数据与动态数据，调用该系统的数据控制模块，通过该模块实现面向计算存储作业任务的动态类型转换和通用数据适配；

通过执行控制模块将完成处理和适配的业务数据与业务处理逻辑、经封装回填的业务参数、和经过识别适配转换后的资源控制和调度指令进行统一编排，实现对计算存储做业务任务的动态重构；

在形成面向异构目标计算存储作业的作业任务后，通过计算资源控制模块与执行控制模块提交对应的计算存储引擎，完成相关的计算和存储业务，实现异构模型间的统一互操作。

2.根据权利要求1所述的一种大数据异构存储计算模型间的统一互操作系统的 操作方法，其特征在于：所述静态数据为业务输入数据。

3.根据权利要求1所述的一种大数据异构存储计算模型间的统一互操作系统的 操作方法，其特征在于：所述动态数据为用户交互、配置参数及中间计算结果。

4.一种大数据异构存储计算模型间的统一互操作系统，用于实施权利要求1所述的方法，其特征在于：包括数据控制模块、计算资源控制模块、计算处理逻辑模块、动态元数据管理模块、参数封装模块以及执行控制模块；

所述数据控制模块用于实现算子与对应引擎以及作业间的数据访问、操作与适配；

所述计算资源控制模块用于实现与计算存储模型对应的计算能力以及相关资源调度管理的集成与调度；

所述计算处理模块通过对其他引擎能力调用实现对相关业务的处理；

所述动态元数据管理模块用于实现管理和控制运行时的数据对象，以支撑容器间动态交互和数据交换的能力；

所述参数封装模块提供配置和被调用能力的输入参数的统一封装与可视化人机交互能力；

所述执行控制模块提供与运行环境的对接和动态控制。

5.根据权利要求4所述的一种大数据异构存储计算模型间的统一互操作系统，其特征在于：所述运行环境包括分布式引擎总线与平台计算资源。

说明书

一种大数据异构存储计算模型间的统一互操作系统及方法

技术领域

[0001] 本发明涉及信息处理技术领域，具体为一种大数据异构存储计算模型间的统一互操作系统及方法。

背景技术

[0002] 大数据计算技术发展突飞猛进，相关的计算、存储模型层出不穷、不断演进，已经覆盖了从结构化数据、半结构化数据、非结构化数据等各种数据形态以及批处理和流处理等不同的处理模式。多样化的技术发展固然为业务应用的创新带来了更多的手段和可能，但也同样为大数据技术的普及形成了障碍，主要体现在以下几个方面：

[0003] 1、不同的(异构)大数据计算存储模型带来的编程和开发技术的复杂性，使得用户在学习和使用过程中有较高的门槛；

[0004] 2、基于不同的计算存储模型开发的应用互相之间基本没有互通的可能，从而造成业务数据被迫在系统间频繁迁移复制，降低了应用的效率；

[0005] 3、应用和下层计算存储环境的紧耦合，造成应用无法通用化，从而对应用的维护和推广带来诸多的不便。

发明内容

[0006] 针对背景技术中存在的问题，本发明提供了一种大数据异构存储计算模型间的统一互操作系统及方法。

[0007] 为实现上述目的，本发明提供如下技术方案：一种大数据异构存储计算模型间的统一互操作系统，包括数据控制模块、计算资源控制模块、计算处理逻辑模块、动态元数据管理模块、参数封装模块以及执行控制模块；

[0008] 所述数据控制模块用于实现算子与对应引擎以及作业间的数据访问、操作与适配；

[0009] 所述计算资源控制模块用于实现与计算存储模型对应的计算能力以及相关资源调度管理的集成与调度；

[0010] 所述计算处理模块通过对其他引擎能力调用实现对相关业务的处理；

[0011] 所述动态元数据管理模块用于实现管理和控制运行时的数据对象，以支撑容器间动态交互和数据交换的能力；

[0012] 所述参数封装模块提供配置和被调用能力的输入参数的统一封装与可视化人机交互能力；

[0013] 所述执行控制模块提供与运行环境的对接和动态控制。

[0014] 作为本发明一种优选的技术方案，所述运行环境包括分布式引擎总线与平台计算资源。

[0015] 本发明还提供了一种基于上述的大数据异构存储计算模型间的统一互操作系统的操作方法，包括如下步骤：

[0016] 调用该系统的执行控制模块提供的拦截器，实现对原始作业任务的拦截与数据定位；

[0017] 基于所述执行控制模块提供的模型差异识别能力对作业任务处理逻辑和业务数据进行分析定位和封装装备；

[0018] 针对业务数据调用该系统的动态元数据管理模块，通过该模块实现对该业务数据的静态数据以及动态数据的分离与定位，并形成相应的数据引用，为回填目标计算模型时的适配和装换做准备；

[0019] 对经所述动态元数据管理模块分离的静态数据与动态数据，调用该系统的数据控制模块，通过该模块实现面向计算存储作业任务的动态类型转换和通用数据适配；

[0020] 通过执行控制模块将完成处理和适配的业务数据与业务处理逻辑、经封装回填的业务参数、和经过识别适配转换后的资源控制和调度指令进行统一编排，实现对计算存储做业务任务的动态重构；

[0021] 在形成面向异构目标计算存储作业的作业任务后，通过计算资源控制模块与执行控制模块提交对应的计算存储引擎，完成相关的计算和存储业务，实现异构模型间的统一互操作。

[0022] 作为本发明一种优选的技术方案，所述静态数据为业务输入数据。

[0023] 作为本发明一种优选的技术方案，所述动态数据为用户交、配置参数及中间计算结果。

[0024] 与现有技术相比，本发明的有益效果是：本发明实现的对大数据异构计算存储模型的互操作的方法，可以很好的实现对各种计算模型的兼容，达到对上层应用开发的一致性封装，向最终用户屏蔽了各种异构模型的技术差异，具有通用性好、易于学习使用的特点，有效克服了现有技术中的种种缺点而具高度产业利用价值。

附图说明

[0025] 图1为本发明提供的一种大数据异构存储计算模型间的统一互操作系统结构示意图；

[0026] 图2为本发明提供的一种大数据异构存储计算模型间的统一互操作系统的操作方法流程图；

[0027] 图中：100-数据控制模块；200-计算资源控制模块；300-计算处理逻辑模块；400-动态元数据管理模块；500-参数封装模块；600-执行控制模块。

具体实施方式

[0028] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0029] 请参阅图1，本发明提供一种大数据异构存储计算模型间的统一互操作系统，包括数据控制模块100、计算资源控制模块200、计算处理逻辑模块300、动态元数据管理模块400、参数封装模块500以及执行控制模块600；

[0030] 所述数据控制模块100用于实现算子与对应引擎以及作业间的数据访问、操作与适配；

[0031] 所述计算资源控制模块200用于实现与计算存储模型对应的计算能力以及相关资源调度管理的集成与调度；

[0032] 所述计算处理模块300通过对其他引擎能力调用实现对相关业务的处理；

[0033] 所述动态元数据管理模块400用于实现管理和控制运行时的数据对象，以支撑容器间动态交互和数据交换的能力；

[0034] 所述参数封装模块500提供配置和被调用能力的输入参数的统一封装与可视化交互能力；

[0035] 所述执行控制模块600提供与运行环境的对接和动态控制,所述运行环境包括分布式引擎总线与平台计算资源(异构计算存储能力引擎)。

[0036] 本发明需要统一封装的对象可以分为两大类：存储模型和计算分析模型。针对存储模型，系统通过专用数据控制适配模块来提供两种访问能力：引擎标准接口调用和大规模并行化数据操作；存储类引擎提供标准访问接口(如JDBC/ODBC等)能快速提供对数据的各种访问操作，有利于数据适配的快速实现；而针对不同数据形态和大规模并行化处理的要求，本发明则根据不同的引擎工作机制来针对性的优化并行化操作策略和对应的接口能力，从而保障经适配封装的能力引擎具备大并发、高性能的工程能力支撑。针对计算分析类模型的适配，其重点在于跨域的数据共享和通过引擎服务实现动态资源的调度与管理。本发明通过对Spark SQL的RDD的扩展支持，使之成为各种分析与计算模型的通用数据对象模型。它在基于跨域数据共享能力的支撑下，实现数据与计算的对接。同时相应的计算能力的资源管理和动态调度则通过引擎容器和系统的引擎服务提供完整、灵活的全动态响应。

[0037] 如图2所示，本发明还提供了一种基于上述的大数据异构存储计算模型间的统一互操作系统的操作方法，包括如下步骤：

[0038] 将原始计算或存储模型相关的计算存储任务(作业模型1)提交至该系统；

[0039] 调用该系统的执行控制模块600提供的拦截器，实现对原始作业任务的拦截与数据定位；

[0040] 基于所述执行控制模块600提供的模型差异识别能力对作业任务处理逻辑和业务数据进行分析定位和封装装备；

[0041] 针对业务数据调用该系统的动态元数据管理模块400，通过该模块实现对该业务数据的静态数据以及动态数据的分离与定位，并形成相应的数据引用，为回填目标计算模型时的适配和装换做准备；

[0042] 对经所述动态元数据管理模块400分离的静态数据与动态数据，调用该系统的数据控制模块100，通过该模块实现面向计算存储作业任务的动态类型转换和通用数据适配；

[0043] 通过执行控制模块600将完成处理和适配的业务数据与业务处理逻辑、经封装回填的业务参数、和经过识别适配转换后的资源控制和调度指令进行统一编排(即基于动、静态环境和数据的动态统一编排)，实现对计算存储做业务任务的重构；

[0044] 在形成面向异构目标计算存储作业(作业模型2)的作业任务后，通过计算资源控制模块200与执行控制模块600提交对应的计算存储引擎，完成相关的计算和存储业务，实现异构模型间的统一互操作。

[0045] 在具体实施过程中，所述静态数据为业务输入数据，该业务输入数据包含系统环境配置参数等。

[0046] 在具体实施过程中，所述动态数据为用户交互、配置参数及中间计算结果。

[0047] 基于上述，本发明具有的优点在于：本发明实现的对大数据异构计算存储模型的互操作的方法，可以很好的实现对各种计算模型的兼容，达到对上层应用开发的一致性封装，向最终用户屏蔽了各种异构模型的技术差异，具有通用性好、易于学习使用的特点，有效克服了现有技术中的种种缺点而具高度产业利用价值。

[0048] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。