一种yarn支持混合运行时的方法

摘要

本发明提供了一种yarn支持混合运行时的方法,包括构建数据处理服务器集群,容器设置，系统设置，系统运行及系统修整等五个步骤。本发明一方面有效的简化了系统构成结构，且系统维护、拓展能力强，通用性好，可有效满足多种类型数据处理及同步满足不同使用场合及场地应用作业的需要，且设备综合利用率高，在确保系统运行稳定性的同时有效降低了数据处理系统运行成本；另一方面可在有效提高数据处理作业效率的同时，有效的简化了数据及网络通讯系统的结构，降低了数据处理对硬件资源的损耗，从而有效的降低数据处理作业时硬件设备投入及加工作业的成本。

权利要求

1.一种yarn支持混合运行时的方法, 其特征在于：包括以下步骤:S1，构建数据处理服务器集群，首先构建若干数据处理服务器，且各数据处理服务器之间相互并联，并使各数据处理服务器通过智能网关与至少一个中继服务器建立数据连接，并构成数据处理服务器集群，同时为中继服务器分配至少一个Master节点，同时为中继服务器分配至少一个slave节点，并使中继服务器通过智能网关与外部网络系统建立数据连接；

S2，容器设置，完成S1步骤后，在S1步骤中的各中继服务器中，首先录入基于卷积神经网络的操控平台，然后为中继服务器设至少两个独立数据存储空间，同时设置资源调度管理器模块、节点管理器模块、yarn服务代理服务器、资源使用分析模块和虚拟化服务器，同时在Master节点处安装Flannel网络服务插件和Kubernetes网络服务管理插件，最后在Master节点设置数据库系统、镜像仓库服务系统及管理门户系统，并使各数据存储空间、资源调度管理器模块、节点管理器模块、yarn服务代理服务器、资源使用分析模块和虚拟化服务器、Flannel网络服务插件、Kubernetes网络服务管理插件、数据库系统、镜像仓库服务系统及管理门户系统分别与基于卷积神经网络的操控平台建立数据连接；

S3，系统设置，完成S2步骤，在中继服务器中首先配置基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调服务系统、hadoop底层操控系统，并使基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调系统及hadoop底层操控系统均与基于卷积神经网络的操控平台建立数据连接；然后在中继服务器中搭建hadoop集群，并在hadoop集群中根据任务特点构建若干yarn队列、同时为各yarn队列设置相应的配置参数及控制yarn队列刷新控制文件；最后在中继服务器中部署前后台tomcat服务器，即可完成系统配置；

S4，系统运行，完成S3步骤后，首先将待处理数据通过智能网关传输至中继服务器中，然后由中继服务器通过hadoop集群对接收的数据缓存，并通过前后台tomcat服务器对数据进行运行展示，并对接收的数据特点、数据所占用资源量进行评估，并根据数据特点及各类数据类别设定相应的yarn队列，然后通过hadoop集群对数据进行解析处理，并在解析处理过程中为yarn队列分别分配独立的运行资源，并最终通过前后台tomcat服务器对处理结果输出，同时将处理结果保存在数据处理服务器集群中相应的数据处理服务器中；

S5，系统修整，在S4步骤运行过程中，通过基于卷积神经网络的操控平台对中继服务器接收的各类数据处理过程进行同步监控，并对采集数据进行深度学习识别，形成相应的数据处理策略，并将数据处理策略保存在数据处理服务器中，同时将数据处理策略在中继服务器的hadoop集群中生成同步映像文件，并与各yarn队列对应匹配，并在后续同类数据处理时，直接通过数据处理策略自主调用相应资源即可实现自主数据处理和简化数据处理时硬件资源占用量。

2.根据权利要求1所述的一种yarn支持混合运行时的方法，其特征在于：S1步骤中，所述数据处理服务器集群中数据处理服务器为CISC服务器、RISC服务器中的任意一种或几种共用。

3.根据权利要求1所述的一种yarn支持混合运行时的方法，其特征在于：S2步骤中，基于卷积神经网络的操控平台为基于BP神经网络系统、CNN卷积神经网络系统中的任意一种或两种共用，且所述基于卷积神经网络的操控平台另设基于LSTM的智能预测系统的深度学习神经网络系统。

4.根据权利要求1所述的一种yarn支持混合运行时的方法，其特征在于：S3步骤中，yarn队列分为若干层级运行，每一层级中yarn队列均位于中继服务器中相应的独立数据存储空间中，且每一层级中各yarn队列所分配资源量总和占独立数据存储空间中资源量

80%—100%。

5.根据权利要求1所述的一种yarn支持混合运行时的方法，其特征在于：S4步骤中，待处理数据在传输至中继服务器中后，首先通过基于prometheus监控报警系统对接收数据进行辨识比对，然后由hadoop底层操控系统驱动基于zookeeper的分布式应用程序协调服务系统运行，由基于zookeeper的分布式应用程序协调服务系统根据接收数据特点对数据进行识别调度作业，然后基于yarn队列分别对特定类别数据进行处理，并在处理过程中通过基于prometheus监控报警系统对数据处理过程进行监控。

6.根据权利要求1所述的一种yarn支持混合运行时的方法，其特征在于：S3步骤中，经过系统配置后得到的yarn支持混合运行系统包括前后台tomcat服务器主系统、hadoop底层操控系统、资源调度管理器子系统、节点管理器模块子系统、yarn服务代理服务器子系统、资源使用分析子系统、虚拟化服务器子系统、基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调服务系统及hadoop集群子系统，其中所述前后台tomcat服务器主系统、hadoop底层操控系统相互连接，且前后台tomcat服务器主系统、hadoop底层操控系统通过基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调服务系统与hadoop集群子系统建立数据连接，所述资源调度管理器子系统、节点管理器模块子系统、yarn服务代理服务器子系统、资源使用分析子系统、虚拟化服务器子系统均嵌于hadoop集群子系统中。

7.根据权利要求6所述的一种yarn支持混合运行时的方法，其特征在于：所述的虚拟化服务器子系统另与前后台tomcat服务器主系统、hadoop底层操控系统建立数据连接。

8.根据权利要求6所述的一种yarn支持混合运行时的方法，其特征在于：所述的hadoop集群子系统为两个及两个以上时，各hadoop集群子系统间并联。

说明书

一种yarn支持混合运行时的方法

技术领域

[0001] 本发明涉及一种yarn支持混合运行时的方法，属于计算机技术领域。

背景技术

[0002] 目前随着大数据、云计算等网络技术发展的需要，为了满足不同资源处理作业的需要和提高数据资源处理作业效率的目的，往往需要通过多个hadoop集群进行不同业务处
理作业，虽然当前的数据处理系统及方法可以一定程度上满足使用的需要，但在运行过程
中一方面存在系统构成结构复杂、系统构建及维护作业难度及劳动强度大，且运行成本相
对较高；另一方面各hadoop集群运行时往往均需要配置相应的硬件系统进行支撑，在进一
步导致当前系统运行和维护成本较高的同时，也造成了在数据处理高峰时硬件资源分配紧
张，在增加系统运行成本的同时，也导致数据处理运行作业效率受到极大影响，而在系统空
闲阶段时，极易造成大量硬件设备资源处于闲置状态，从而造成了大量的资源浪费，因此当
前的数据处理系统在运行时存在较大不足，在影响数据处理运行效率的同时，也导致了大
量资源浪费，进一步增加了系统运行成本。

[0003] 此外，当前的数据处理系统在运行中，针对不同类型的数据，往往需要工作人员手动或利用专用的程序对相应数据进行处理作业，从而进一步导致了数据处理效率低下，且
数据处理自动化和智能化程度低下，同时也导致了在进行数据协调处理需要时占用大量的
资源，进一步增加了系统运行成本。

[0004] 针对这一问题，迫切需要开发一种全新的数据处理方法及系统，以满足实际工作的需要。

发明内容

[0005] 针对现有技术上存在的不足，本发明提供一种yarn支持混合运行时的方法，以克服现有同类系统运行的不足，满足实际使用的需要。

[0006] 为了达到上述目的，本发明提供如下技术方案：

[0007] 一种yarn支持混合运行时的方法,包括以下步骤:

[0008] S1，构建数据处理服务器集群，首先构建若干数据处理服务器，且各数据处理服务器之间相互并联，并使各数据处理服务器与智能网关与至少一个中继服务器建立数据连
接，并构成数据处理服务器集群，同时为中继服务器分配至少一个Master节点，同时为中继
服务器分配至少一个slave节点，并使中继服务器通过智能网关与外部网络系统建立数据
连接；

[0009] S2，容器设置，完成S1步骤后，在S1步骤中的各中继服务器中，首先录入基于卷积神经网络的操控平台，然后为中继服务器设至少两个独立数据存储空间,同时设置资源调
度管理器模块、节点管理器模块、Yarn服务代理服务器、资源使用分析模块和虚拟化服务
器，同时在Master节点处安装Flannel网络服务插件和Kubernetes网络服务管理插件，最后
在Master节点设置数据库系统、镜像仓库服务系统及管理门户系统，并使各数据存储空间、
资源调度管理器模块、节点管理器模块、Yarn服务代理服务器、资源使用分析模块和虚拟化
服务器、Flannel网络服务插件、Kubernetes网络服务管理插件、数据库系统、镜像仓库服务
系统及管理门户系统分别与基于卷积神经网络的操控平台建立数据连接；

[0010] S3，系统设置，完成S2步骤，在中继服务器中首先配置基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调服务系统、hadoop底层操控系统，并使基于
prometheus监控报警系统、基于zookeeper的分布式应用程序协调系统及hadoop底层操控
系统均与基于卷积神经网络的操控平台建立数据连接；然后在中继服务器中搭建hadoop集
群，并在hadoop集群中根据任务特点构建若干yarn队列、同时为各yarn队列设置相应的配
置参数及控制yarn队列刷新控制文件；最后在中继服务器中部署前后台tomcat服务器，即
可完成系统配置；

[0011] S4，系统运行，完成S3步骤后，首先将待处理数据通过智能网关传输至中继服务器中，然后由中继服务器通过hadoop集群对接收的数据缓存，并通过前后台tomcat服务器对
数据进行运行展示，并对接受的数据特点、数据所占用资源量进行评估，并根据数据特点及
各类数据类别设定相应的yarn队列，然后通过hadoop集群对数据进行解析处理，并在解析
处理过程中为yarn队列分别分配独立的运行资源，并最终通过前后台tomcat服务器对处理
结果输出，同时将处理结果保存在数据处理服务器集群中相应的数据处理服务器中。

[0012] S5，系统修整，在S步骤运行过程中，同步通过基于卷积神经网络的操控平台对中继服务器接收的各类数据处理过程进行同步监控，并对采集数据进行深度学习识别，形成
相应特点数据处理策略，并将数据处理策略保存在数据处理服务器中，同时将数据处理策
略在中继服务器的hadoop集群中生成同步映像文件，并与各yarn队列对应匹配，并在后续
同类特征数据处理时，直接通过数据处理策略自主调用相应资源即可实现自主数据处理和
简化数据处理时硬件资源占用量。

[0013] 进一步的，所述的S1步骤中，数据处理服务器集群中包括数据处理服务器为CISC服务器、RISC服务器中的任意一种或几种共用。

[0014] 进一步的，S2步骤中，基于卷积神经网络的操控平台为基于BP神经网络系统、CNN卷积神经网络系统中的任意一种或两种共用，且所述基于卷积神经网络的操控平台另设基
于LSTM的智能预测系统的深度学习神经网络系统。

[0015] 进一步的，所述的S3步骤中，yarn队列分为若干层级运行，每一层级中yarn队列均位于中继服务器中相应的独立数据存储空间中，且每一层级中各yarn队列所分配资源量总
和占独立数据存储空间中资源量80%—100%。

[0016] 进一步的，所述的S4步骤中，待处理数据在传输至中继服务器中后，首先通过基于prometheus监控报警系统对接收数据进行辨识比对，然后由hadoop底层操控系统驱动基于
zookeeper的分布式应用程序协调服务系统运行，由基于zookeeper的分布式应用程序协调
服务系统根据接收数据特点对数据进行识别调度作业，然后基于yarn队列分别对特定类别
数据进行处理，并在处理过程中通过基于prometheus监控报警系统对数据处理过程进行监
控。

[0017] 进一步的，所述的S3步骤，经过系统配置后得到的yarn支持混合运行系统包括前后台tomcat服务器主系统、hadoop底层操控系统、资源调度管理器子系统、节点管理器模块
子系统、Yarn服务代理服务器子系统、资源使用分析子系统、虚拟化服务器子系统、基于
prometheus监控报警系统、基于zookeeper的分布式应用程序协调服务系统及hadoop集群
子系统，其中所述前后台tomcat服务器主系统、hadoop底层操控系统相互连接，且前后台
tomcat服务器主系统、hadoop底层操控系统通过基于prometheus监控报警系统、基于
zookeeper的分布式应用程序协调服务系统与hadoop集群子系统建立数据连接，所述资源
调度管理器子系统、节点管理器模块子系统、Yarn服务代理服务器子系统、资源使用分析子
系统、虚拟化服务器子系统均嵌于hadoop集群子系统中。

[0018] 进一步的，所述的虚拟化服务器子系统另与前后台tomcat服务器主系统、hadoop底层操控系统建立数据连接。

[0019] 进一步的，所述的hadoop集群子系统为两个及两个以上时，各hadoop集群子系统间并联。

[0020] 本发明一方面有效的简化了系统构成结构，且系统维护、拓展能力强，通用性好，可有效满足多种类型数据处理及同步满足不同使用场合及场地应用作业的需要，且设备综
合利用率高，在确保系统运行稳定性的同时有效降低了数据处理系统运行成本；另一方面
可在有效提高数据处理作业效率的同时，有效的简化了数据及网络通讯系统的结构，降低
了数据处理对硬件资源的损耗，从而有效的降低数据处理作业时硬件设备投入及加工作业
的成本。

附图说明

[0021] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。

[0022] 图1为本发明运行处理方法流程图；

[0023] 图2为本发明系统构成结构示意图。

具体实施方式

[0024] 下面将结合本发明的附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本
领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明
保护的范围。

[0025] 如图1所示，一种yarn支持混合运行时的方法,包括以下步骤:

[0026] S1，构建数据处理服务器集群，首先构建若干数据处理服务器，且各数据处理服务器之间相互并联，并使各数据处理服务器与智能网关与至少一个中继服务器建立数据连
接，并构成数据处理服务器集群，同时为中继服务器分配至少一个Master节点，同时为中继
服务器分配至少一个slave节点，并使中继服务器通过智能网关与外部网络系统建立数据
连接；

[0027] S2，容器设置，完成S1步骤后，在S1步骤中的各中继服务器中，首先录入基于卷积神经网络的操控平台，然后为中继服务器设至少两个独立数据存储空间,同时设置资源调
度管理器模块、节点管理器模块、Yarn服务代理服务器、资源使用分析模块和虚拟化服务
器，同时在Master节点处安装Flannel网络服务插件和Kubernetes网络服务管理插件，最后
在Master节点设置数据库系统、镜像仓库服务系统及管理门户系统，并使各数据存储空间、
资源调度管理器模块、节点管理器模块、Yarn服务代理服务器、资源使用分析模块和虚拟化
服务器、Flannel网络服务插件、Kubernetes网络服务管理插件、数据库系统、镜像仓库服务
系统及管理门户系统分别与基于卷积神经网络的操控平台建立数据连接；

[0028] S3，系统设置，完成S2步骤，在中继服务器中首先配置基于prometheus监控报警系统、基于zookeeper的分布式应用程序协调服务系统、hadoop底层操控系统，并使基于
prometheus监控报警系统、基于zookeeper的分布式应用程序协调系统及Hadoop底层操控
系统均与基于卷积神经网络的操控平台建立数据连接；然后在中继服务器中搭建hadoop集
群，并在hadoop集群中根据任务特点构建若干yarn队列、同时为各yarn队列设置相应的配
置参数及控制yarn队列刷新控制文件；最后在中继服务器中部署前后台tomcat服务器，即
可完成系统配置；

[0029] S4，系统运行，完成S3步骤后，首先将待处理数据通过智能网关传输至中继服务器中，然后由中继服务器通过hadoop集群对接收的数据缓存，并通过前后台tomcat服务器对
数据进行运行展示，并对接受的数据特点、数据所占用资源量进行评估，并根据数据特点及
各类数据类别设定相应的yarn队列，然后通过hadoop集群对数据进行解析处理，并在解析
处理过程中为yarn队列分别分配独立的运行资源，并最终通过前后台tomcat服务器对处理
结果输出，同时将处理结果保存在数据处理服务器集群中相应的数据处理服务器中。

[0030] S5，系统修整，在S5步骤运行过程中，同步通过基于卷积神经网络的操控平台对中继服务器接收的各类数据处理过程进行同步监控，并对采集数据进行深度学习识别，形成
相应特点数据处理策略，并将数据处理策略保存在数据处理服务器中，同时将数据处理策
略在中继服务器的hadoop集群中生成同步映像文件，并与各yarn队列对应匹配，并在后续
同类特征数据处理时，直接通过数据处理策略自主调用相应资源即可实现自主数据处理和
简化数据处理时硬件资源占用量。

[0031] 本实施例中，所述的S1步骤中，数据处理服务器集群中包括数据处理服务器为CISC服务器、RISC服务器中的任意一种或几种共用。

[0032] 值得注意的，所述的S2步骤中，基于卷积神经网络的操控平台为基于BP神经网络系统、CNN卷积神经网络系统中的任意一种或两种共用，且所述基于卷积神经网络的操控平
台另设基于LSTM的智能预测系统的深度学习神经网络系统。

[0033] 此外，所述的S3步骤中，yarn队列分为若干层级运行，每一层级中yarn队列均位于中继服务器中相应的独立数据存储空间中，且每一层级中各yarn队列所分配资源量总和占
独立数据存储空间中资源量80%—100%。

[0034] 重点说明的，所述的S4步骤中，待处理数据在传输至中继服务器中后，首先通过基于prometheus监控报警系统对接收数据进行辨识比对，然后由Hadoop底层操控系统驱动基
于zookeeper的分布式应用程序协调服务系统运行，由基于zookeeper的分布式应用程序协
调服务系统根据接收数据特点对数据进行识别调度作业，然后基于yarn队列分别对特定类
别数据进行处理，并在处理过程中通过基于prometheus监控报警系统对数据处理过程进行
监控。

[0035] 如图2所示，所述的S3步骤，经过系统配置后得到的yarn支持混合运行系统包括前后台tomcat服务器主系统、Hadoop底层操控系统、资源调度管理器子系统、节点管理器模块
子系统、Yarn服务代理服务器子系统、资源使用分析子系统、虚拟化服务器子系统、基于
prometheus监控报警系统、基于zookeeper的分布式应用程序协调服务系统及hadoop集群
子系统，其中所述前后台tomcat服务器主系统、Hadoop底层操控系统相互连接，且前后台
tomcat服务器主系统、Hadoop底层操控系统通过基于prometheus监控报警系统、基于
zookeeper的分布式应用程序协调服务系统与hadoop集群子系统建立数据连接，所述资源
调度管理器子系统、节点管理器模块子系统、Yarn服务代理服务器子系统、资源使用分析子
系统、虚拟化服务器子系统均嵌于hadoop集群子系统中。

[0036] 同时，所述的虚拟化服务器子系统另与前后台tomcat服务器主系统、Hadoop底层操控系统建立数据连接。

[0037] 此外，所述的hadoop集群子系统为两个及两个以上时，各hadoop集群子系统间并联。

[0038] 本发明一方面有效的简化了系统构成结构，且系统维护、拓展能力强，通用性好，可有效满足多种类型数据处理及同步满足不同使用场合及场地应用作业的需要，且设备综
合利用率高，在确保系统运行稳定性的同时有效降低了数据处理系统运行成本；另一方面
可在有效提高数据处理作业效率的同时，有效的简化了数据及网络通讯系统的结构，降低
了数据处理对硬件资源的损耗，从而有效的降低数据处理作业时硬件设备投入及加工作业
的成本。

[0039] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵
盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。