本发明公开了一种基于PaaS平台的工业大数据计算架构，从上到下依次包括：接口层、数据服务层和数据支持层；所述数据服务层连接实时数据层和历史数据层；所述数据支持层连接信息管理层和集群管理层；所述接口层，用于提供对外接口服务；所述数据服务层，用于提供数据应用服务；所述数据支持层，用于提供基于Docker容器的PaaS云平台层，通过监控集群的负载情况，分配用于存储Hana热数据库和HBase冷数据库所需要的数据服务资源；所述信息管理层，用于管理数据支持层的各项资源配置信息和数据库，通过Hana数据库管理工具和HBase数据库管理工具管理数据支持层的数据库读写业务；所述集群管理层，用于管理数据支持层的支持和调度资源。
1.一种基于PaaS平台的工业大数据计算系统，其特征在于，该工业大数据计算架构从上到下依次包括：接口层、数据服务层和数据支持层；所述数据服务层连接实时数据层和历史数据层；所述数据支持层连接信息管理层和集群管理层；
所述接口层，用于提供对外接口服务，提供与其他系统的数据访问接口；
所述数据服务层，用于提供数据应用服务，提供应用管理人员的服务功能接口；和所述数据支持层，用于提供基于Docker容器的PaaS云平台层，通过监控集群的负载情况，分配用于存储Hana热数据库和HBase冷数据库所需要的数据服务资源；
所述信息管理层，用于提供管理平台和应用服务数据，通过管理系统管理工业生产的相关信息；还用于管理数据支持层的各项资源配置信息和数据库，通过Hana数据库管理工具和HBase数据库管理工具管理数据支持层的数据库读写业务；
所述集群管理层，用于提供大数据集群环境的管理和维护，用于管理数据支持层的支持和调度资源，提供web作为接口的人机交互形式监控和调度数据支持层的各项资源与服务；
所述数据支持层从上到下依次包括：数据计算层、数据存储层、PaaS云平台层和基础设施层；
所述数据计算层，用于提供基础的大数据计算服务，包括流计算、批量计算、图计算、内存计算和学习计算，能够处理流数据、海量历史数据、图形图像数据和训练数据；所述数据计算层采用Spark内存计算技术实现标准的数据计算服务；
所述数据存储层，用于存储和管理数据，其中Hana提供的内存数据库用于管理实时热数据，HDFS分布式文件系统和HBase分布式数据库用于管理冷数据；
所述PaaS云平台层，用于提供一个快速的运行环境管理服务，使用Docker的容器机制实现服务器集群中的节点快速智能分配，通过监控集群的负载情况，快速分配Hana热数据库和HBase冷数据库所需要的服务器资源；
所述基础设施层，用于提供底层的基础设施环境，包括主机基础设施、网络基础设施和安全保密基础设施。
2.根据权利要求1所述的基于PaaS平台的工业大数据计算系统，其特征在于，所述接口层包括协议接口、服务接口和二次开发接口；
所述协议接口，用于为外部系统提供标准化的工业生产的协议接口，包括：通信协议接口、访问协议接口和数据解析接口；
所述服务接口，用于为外部系统提供应用服务接口，外部系统能够通过调用该接口访问工业平台中的数据和应用，包括数据预处理接口、数据查询接口、数据分析接口和数据挖掘接口；
所述二次开发接口用于为第三方平台和研发人员提供开发接口，包括数据接口、算法接口、数据分析接口和数据挖掘接口。
3.根据权利要求2所述的基于PaaS平台的工业大数据计算系统，其特征在于，所述数据服务层为接口层提供基础性的、通用的构件以及构件调用的服务接口；所述构件采用服务注册的形式定义构件的接口数据、交互和日志内容；所述数据服务层包括数据处理、数据分析和数据挖掘；所述数据处理包括数据清洗、数据解析、数据判读和数据建模；所述数据分析包括数据建模、算法建模、数据统计和数据可视化；所述数据挖掘包括算法建模、机器学习、模型评估和数据重构。
4.根据权利要求1所述的基于PaaS平台的工业大数据计算系统，其特征在于，所述信息管理层包括：数据管理、知识管理、算法管理、文件管理和资源配置管理；所述集群管理层包括：运行监控、服务管理、作业调度、节点管理和资源监控。
5.根据权利要求1所述的基于PaaS平台的工业大数据计算系统，其特征在于，所述数据存储层能够将实时热数据保存在Hana内存数据库中，将海量使用频率低的冷数据保存在HBase分布式列数据库中。
6.根据权利要求5所述的基于PaaS平台的工业大数据计算系统，其特征在于，所述的PaaS云平台层使用Docker容器，通过监控集群资源负载情况和数据库量，快速调节资源的分配并实现快速移植实施，Docker容器能够动态地将数据分配给数据存储层的Hana内存数据库或HBase分布式列数据库。
一种基于PaaS平台的工业大数据计算系统
技术领域
[0001] 本发明涉及工业装备领域与软件开发领域，特别是涉及一种基于PAAS平台的工业大数据计算架构。
背景技术
[0002] 随着电子技术和信息技术的发展，工业装备生产日益趋向于大型化、复杂化、高速化和自动化。工业装备系统的规模与性能也随之增大，系统各部件间耦合性也更为紧密，工业生产流成也日趋复杂化，装备本身以及生产过程的复杂化使得生产数据类型多样化，人们管理和分析数据能力亟待提高，这对工业生产管理手段提出了更高的要求。
[0003] 基于PAAS平台的工业大数据计算平台是提高工业生产数据管理能力、保障数据安全的关键技术，也对工业生产未来的高速发展具有重要意义。目前大数据在工业领域逐步发挥作用，许多领域开始定义自己的系统体系架构，在体系架构上研发工业生产中需要的特定软件，但是基于这些架构研发的软件存在着基础服务能力弱、效率低下、平台按需调节能力差等问题，已无法满足不同用户多层次、多元化、持续的需求变化。因此，需要设计一种基于PaaS平台的工业大数据计算架构，提供全面的、高效能的通用大数据计算能力，确保工业生产软件系统发挥应用的作用。
发明内容
[0004] 本发明的目的在于克服现有工业装备生产中存在的数据和服务问题，提出了一种基于PaaS平台的工业大数据计算架构，可以有效解决现有技术不足导致的基础服务能力弱、效率低下、平台按需调节能力差等问题，使用户可以依据自身需求的申请所需计算资源，提高效率并节省成本。
[0005] 为了实现上述目的，本发明提供了一种基于PaaS平台的工业大数据计算架构，该工业大数据计算架构从上到下依次包括：接口层、数据服务层和数据支持层；所述数据服务层连接实时数据层和历史数据层；所述数据支持层连接信息管理层和集群管理层；
[0006] 所述接口层，用于提供对外接口服务，提供与其他系统的数据访问接口；
[0007] 所述数据服务层，用于提供数据应用服务，提供应用管理人员的服务功能接口；和[0008] 所述数据支持层，用于提供基于Docker容器的PaaS云平台层，通过监控集群的负载情况，分配用于存储Hana热数据库和HBase冷数据库所需要的数据服务资源；
[0009] 所述信息管理层，用于提供管理平台和应用服务数据，通过管理系统管理工业生产的相关信息；还用于管理数据支持层的各项资源配置信息和数据库，通过Hana 数据库管理工具和HBase数据库管理工具管理数据支持层的数据库读写业务；
[0010] 所述集群管理层，用于提供大数据集群环境的管理和维护，用于管理数据支持层的支持和调度资源，提供web作为接口的人际交互形式监控和调度数据支持层的各项资源与服务。
[0011] 作为上述方法的一种改进，所述接口层包括协议接口、服务接口和二次开发接口；
[0012] 所述协议接口，用于为外部系统提供标准化的工业生产的协议接口，包括：通信协议接口、访问协议接口和数据解析接口；
[0013] 所述服务接口，用于为外部系统提供应用服务接口，外部系统能够通过调用该接口访问工业平台中的数据和应用，包括数据预处理接口、数据查询接口、数据分析接口和数据挖掘接口；
[0014] 所述二次开发接口用于为第三方平台和研发人员提供开发接口，包括数据接口、算法接口、数据分析接口和数据挖掘接口。
[0015] 作为上述方法的一种改进，所述数据服务层为接口层提供基础性的、通用的构件以及构件调用的服务接口；所述构件采用服务注册的形式定义构件的接口数据、交互和日志内容；所述数据服务层包括数据处理、数据分析和数据挖掘；所述数据处理包括数据清洗、数据解析、数据判读和数据建模；所述数据分析包括数据建模、算法建模、数据统计和数据可视化；所述数据挖掘包括算法建模、机器学习、模型评估和数据重构。
[0016] 作为上述方法的一种改进，所述数据支持层从上到下依次包括：数据计算层、数据存储层、PaaS云平台层和基础设施层；
[0017] 所述数据计算层，用于提供基础的大数据计算服务，包括流计算、批量计算、图计算、内存计算和学习计算，能够处理流数据、海量历史数据、图形图像数据和训练数据；所述数据计算层采用Spark内存计算技术实现标准的数据计算服务；
[0018] 所述数据存储层，用于存储和管理数据，其中Hana提供的内存数据库用于管理实时热数据，HDFS分布式文件系统和HBase分布式数据库用于管理冷数据；
[0019] 所述PaaS云平台层，用于提供一个快速的运行环境管理服务，使用Docker的容器机制实现服务器集群中的节点快速智能分配，通过监控集群的负载情况，快速分配Hana热数据库和HBase冷数据库所需要的服务器资源；
[0020] 所述基础设施层，用于提供底层的基础设施环境，包括主机基础设施、网络基础设施和安全保密基础设施。
[0021] 作为上述方法的一种改进，所述信息管理层包括：数据管理、知识管理、算法管理、文件管理和资源配置管理；所述集群管理层包括：运行监控、服务管理、作业调度、节点管理和资源监控。
[0022] 作为上述方法的一种改进，所述数据存储层能够将少量实时热数据保存在Hana 内存数据库中，将海量使用频率较低的冷数据保存在HBase分布式列数据库中。
[0023] 作为上述方法的一种改进，所述的PaaS云平台层使用Docker容器，通过监控集群资源负载情况和数据库量，快速调节资源的分配并实现快速移植实施，Docker 容器能够动态地将数据分配给数据存储层的Hana内存数据库或HBase分布式列数据库。
[0024] 本发明的优势在于：
[0025] 1、本发明建立了一种面向工业装备上生产的通用的大数据计算架构，满足不同用户、多层次、多元化的大数据计算与应用需求；
[0026] 2、本发明的系统架构基于PaaS平台的Docker容器技术，并在设计上区分工业装备冷热数据，实现动态的、高效的海量数据管理能力；
[0027] 3、本发明的系统架构使系统具备自更新、自重组能力，能够快速、灵活实现用户的业务需求，为系统的功能扩展打下基础；
[0028] 4、使用本发明系统架构设计的系统可以提高工业生产过程的可靠性，降低运营成本，提高生产效率，为工业生产过程优化提供参考。
附图说明
[0029] 图1本发明所提供的基于PaaS平台的工业大数据计算架构示意图；
[0030] 图2本发明所提供的基于PaaS平台的工业大数据计算平台物理拓扑结构示意图；
[0031] 图3为本发明提供的基于PaaS平台的工业大数据系统工作示意图。
具体实施方式
[0032] 为了保障系统架构的适用性，本发明提供了一种基于PaaS平台的工业大数据计算架构，以下结合附图及实施案例，对本发明进行进一步详细说明。
[0033] 如图1所示，为了满足不同工业装备生产的需求，本发明提供了一种基于PaaS 平台的工业大数据计算架构，从上至下且从中间到两边层次包括：接口层、数据服务层、数据计算层、数据存储层、PaaS云平台层、基础设施层、数据层、信息管理层、集群管理层。其中，[0034] 接口层用于实现和外部系统的通信和交互。该层将数据服务层提供的服务以接口的形式外放出来，标准化通讯规范，使系统拥有极好的可扩展性和生命力；
[0035] 数据服务层提供标准的数据服务，这些服务是应用层面的，一方面为接口层提供支持，另一方面为整个系统的数据管理和应用提供服务。这些数据服务包括工业数据的预处理、数据存储、数据查询、数据分析、数据训练、数据预测等等；
[0036] 数据计算层用于为数据服务层提供标准的大数据计算方式，将上层数据服务应用以大数据的形式加以计算和处理，提供的大数据计算形式包括图形图像大数据计算、流数据计算、海量数据切片计算、内存计算等，良好的数据计算层架构丰富了平台架构的计算能力和形式，是数据服务层和数据存储层的交互桥梁；
[0037] 数据存储层主要提供了“冷热数据”分开管理的能力，一方面使用Hana内存数据库存储工业生产中使用频繁的少量热数据，一方面使用HBase分布式列数据库存储海量使用频率较低的冷数据，鉴于HBase具有良好的可扩展性，这位数据的横向扩容提供的支持。基于冷热数据的存储思想能够很好的解决数据的快速响应和高量级存储的兼容性问题。
[0038] PaaS云平台提供了以Docker为基底的容器管理技术，其能够动态的管理集群软件环境的快速搭建和修改，数据存储层需要将服务器集群分为冷热数据两种管理方式，对应的Docker可以动态的定义哪些服务器分给Hana，哪些分给HBase，这对分布式系统的高效管理具有重要意义。
[0039] 基础设施层主要是提供软硬件基础设施，包括主机、存储、网络、保密环境等内容。其为PaaS云平台提供服务。
[0040] 数据层主要提供外部工业生产上数据，一方面指工业生产过程中流入的实时数据，一方面指在工业生产过程中保存的历史数据，两种数据构成了完整的数据体系，实时数据经过数据服务层的预处理存储在Hana中，历史数据经过服务层的预处理存储在HBase中。
[0041] 信息管理层主要提供信息管理平台，通过管理系统管理工业生产的相关信息，以图形化界面形式实现良好的人际交互，系统使用人员可以管理的信息包括工业生产数据、知识数据、算法、相关文件、资源配置信息等。
[0042] 集群管理层主要以图形界面的形式提供大数据集群环境的管理能力，平台使用人员通过良好的人机界面监控集群的相关信息并对其进行适当的管理，这些信息包括运行监控信息、服务信息、作业调度信息、节点信息、资源监控信息等。集群管理层的存在将大大降低集群服务器的管理成本。
[0043] 本发明提供的一种基于PaaS平台的工业大数据计算架构，其系统实现后的使用方包含三种人群，分别是工业生产制造商、工业运营服务商和第三方服务公司，如图2所示。
[0044] 在本实施例中，图3示出了一种基于PaaS平台的工业大数据计算架构拓扑示意图。如图3所示，整个拓扑结构由如下部分组成：Docker云平台、应用服务器环境、终端环境、网络环境等。
[0045] 在Docker云平台中，由内存服务器、Hadoop大数据集群和云资源管理服务器三个部分组成。内存服务器部分主要是置放Hana内存服务器，Hana内存服务可以以单节点存在也可以以集群方式存在，一般来讲，工业生产中的实时数据可由单台高性能Hana内存服务器进行管理。Hadoop大数据集群包括两台调度服务器和多台计算/存储服务器组成，其中数据计算层的Spark也部署在Hadoop大数据集群环境中，计算/存储服务器和Hana内存服务器是可以实现数据交互访问的，这也就是冷热数据实现交互的保障。云资源管理服务器用于部署Docker的管理平台，其实际是对整个的云资源软件环境进行管理。内存服务器、大数据集群和云资源管理服务器通过核心交换机进行数据交互。
[0046] 应用服务器环境包括工业生产应用服务器和大数据平台管理应用服务器。工业生产应用服务器实际上用于部署数据服务业务、接口服务业务和信息管理服务业务。大数据平台管理应用服务器部署的是集群环境的监控管理平台，实际上是对Hadoop 大数据集群环境进行管理，这包括对硬件环境资源的监控管理和大数据软件服务情况的监控管理。两台服务器也接入核心交换机，和Dcoker云平台部署在同一个网络环境中。
[0047] 终端环境包括大数据平台管理终端、云平台管理终端和平台应用访问终端。其分别对应核心交换机下方的各种应用服务。各种终端通过web的形式对服务进行访问，并需要经过防火墙，保证访问的安全性。
[0048] 最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
