一种大数据运算过程处理系统及其方法

摘要

本发明公开了一种大数据运算过程处理系统及其方法，包括：服务端和解析端，所述服务端内还包括一个用于存储全部原始数据的存储模块，所述解析端内包括缓存模块、函数编辑模块、方言解析模块、数据实时采集模块、数据实时处理模块和执行引擎，所述缓存模块分别与函数编辑模块和方言解析模块电性连接，所述函数编辑模块和方言解析模块均与执行引擎电性连接，所述服务端与若干个解析端通讯连接，所述数据实时采集模块与数据实时处理模块电性连接，所述数据实时处理模块与缓存模块电性连接。该大数据运算过程处理系统大大降低了用户搜索信息所花费的时间，降低了处理实时数据的响应延迟，保证了用户获取数据的时效性，进而提高用户体验。

权利要求

1.一种大数据运算过程处理系统的处理方法，大数据运算过程处理系统包括：服务端（1）、解析端（2）和云服务器（3），所述服务端（1）内还包括一个用于存储全部原始数据的存储模块（101），所述解析端（2）内包括缓存模块（201）、函数编辑模块（202）、方言解析模块（203）、数据实时采集模块（204）、数据实时处理模块（205）和执行引擎（206），所述缓存模块（201）分别与函数编辑模块（202）、方言解析模块（203）以及数据实时处理模块（205）电性连接，所述执行引擎（206）分别与函数编辑模块（202）和方言解析模块（203）电性连接，所述数据实时采集模块（204）与数据实时处理模块（205）电性连接，所述服务端（1）至少设有一个，所述解析端（2）共设有若干个，所述服务端（1）与若干个解析端（2）通讯连接，所述服务端（1）包括若干个串联的服务器（11），若干个所述服务器（11）并排设置且均为尺寸相同的长方体结构，首尾两个所述服务器（11）的顶部分别固定有与所述存储模块（101）电性连接的第一信号接收器（111）和第一信号发送器（112），所述第一信号接收器（111）和第一信号发送器（112）均与云服务器（3）通讯连接，其特征在于，包括以下步骤：步骤一，所述服务端（1）在监测到有用户设备接入时，针对所述用户设备的基本信息在存储模块（101）内设置相应的数据队列（1011），并将所述用户设备上传的原始数据存储在所述数据队列（1011）中；

步骤二，所述数据队列（1011）根据所述解析端（2）的物理地址信息创建一个用于保存所述解析端（2）对应的用户设备数目以及各用户设备标识信息的数据列表，所述解析端（2）均分配一个计数器（207），当有用户设备信息发送至该解析端（2）时，即通过所述计数器（207）记录所述解析端（2）对应的用户设备数目；

步骤三，所述服务端（1）分别确定每一个解析端（2）对应的用户设备数目，并确定出对应的用户设备数目最多的解析端（2），所述服务端（1）将原始数据发送给对应的用户设备数目最多的解析端（2）内的缓存模块（201）；

步骤四，对应的用户设备数目最多的解析端（2）以缓存模块（201）内的原始数据为基础开辟共享数据空间（2011），利用共享数据空间（2011）与缓存模块（201）内至少一个边缘数据处理器（2012）进行数据交互；步骤五，所述共享数据空间（2011）内的数据通过函数编辑模块（202）和方言解析模块（203）编辑和解析后，通过执行引擎（206）执行；

步骤六，执行引擎（206）执行后的结果通过第二信号发送器（222）发送至服务端（1），并由服务端（1）发送至用户设备上，同时自动更新该解析端（2）的用户设备数目。

2.如权利要求1所述的处理方法，其特征在于，所述解析端（2）为正四棱柱结构，所述解析端（2）上表面的中心处固定有液晶显示屏（225），所述液晶显示屏（225）的下表面电性连接有故障预警模块（226），所述故障预警模块（226）与执行引擎（206）电性连接。

3.如权利要求2所述的处理方法，其特征在于，所述液晶显示屏（225）的两侧分别固定有第二信号接收器（221）和第二信号发送器（222），所述第二信号接收器（221）与数据实时采集模块（204）电性连接，所述第二信号发送器（222）与执行引擎（206）电性连接，所述解析端（2）的四周开设有散热孔（223），所述散热孔（223）的外表面固定有过滤网（224）且内表面固定有散热风机。

4.根据权利要求1所述的处理方法，其特征在于，所述基本信息包括设备类型和IP地址。

5.根据权利要求1所述的处理方法，其特征在于，所述原始数据包括用户年龄、性别、学历以及搜索的问题。

说明书

一种大数据运算过程处理系统及其方法

技术领域

[0001] 本发明属于大数据处理技术领域，具体涉及一种大数据运算过程处理系统及其方法。

背景技术

[0002] 随着互联网的发展，基于互联网的营销业务生命周期越来越短，业务发展变化越来越快，许多业务数据量以指数级增长，这都要求对大量的数据做实时处理，并要求保证数
据准确可靠。

[0003] 在信息爆炸的时代实时数据处理技术的成熟度直接关系到产业转型升级及发展。目前最流行的莫过于Apache的开源项目Hadoop分布式计算平台，Hadoop专注于大规模数据
存储和处理。这种模型对以往的许多情形虽已足够，如系统日志分析、网页索引建立，但是
在大数据实时处理方面，Hadoop的MapReduce却显得力不从心，而业务场景中需要低延迟的
响应，希望在秒级别或者毫秒级别完成分析，得到响应，并希望能够随着数据量的增大而扩
展。

发明内容

[0004] 本发明的目的在于提供一种大数据运算过程处理方法及系统，以解决大数据在数据实时处理方面响应延迟高的问题。

[0005] 为实现上述目的，本发明提供如下技术方案：一种大数据运算过程处理系统，包括：服务端、解析端和云服务器，所述服务端内还包括一个用于存储全部原始数据的存储模
块，所述解析端内包括缓存模块、函数编辑模块、方言解析模块、数据实时采集模块、数据实
时处理模块和执行引擎，所述缓存模块分别与函数编辑模块、方言解析模块以及数据实时
处理模块电性连接，所述执行引擎分别与与函数编辑模块和方言解析模块电性连接，所述
数据实时采集模块与数据实时处理模块电性连接，所述服务端至少设有一个，所述解析端
共设有若干个，所述服务端与若干个解析端通讯连接，所述服务端包括若干个串联的服务
器，若干个所述服务器并排设置且均为尺寸相同的长方体结构，首尾两个所述服务器的顶
部分别固定有与所述存储模块电性连接的第一信号接收器和第一信号发送器，所述第一信
号接收器和第一信号发送器均与云服务器通讯连接，所述解析端为正四棱柱结构，所述解
析端上表面的中心处固定有液晶显示屏，所述液晶显示屏的下表面电性连接有故障预警模
块，所述故障预警模块与执行引擎电性连接，所述液晶显示屏的两侧分别固定有第二信号
接收器和第二信号发送器，所述第二信号接收器与数据实时采集模块电性连接，所述第二
信号发送器与执行引擎电性连接，所述解析端的四周开设有散热孔，所述散热孔的外表面
固定有过滤网且内表面固定有散热风机。

[0006] 一种大数据运算过程处理方法，包括以下步骤：

[0007] 步骤一，所述服务端在监测到有用户设备接入时，针对所述用户设备的基本信息如设备类型、IP地址在存储模块内设置相应的数据队列，并将所述用户设备上传的原始数
据如用户年龄、性别、学历以及搜索的问题存储在所述数据队列中；

[0008] 步骤二，所述数据队列根据所述解析端的物理地址信息创建一个用于保存所述解析端对应的用户设备数目以及各用户设备标识信息的数据列表，所述解析端均分配一个计
数器，当有用户设备信息发送至该解析端时，即通过所述计数器记录所述解析端对应的用
户设备数目；

[0009] 步骤三，所述服务端分别确定每一个解析端对应的用户设备数目，并确定出对应的用户设备数目最多的解析端，所述服务端将原始数据发送给对应的用户设备数目最多的
解析端内的缓存模块；

[0010] 步骤四，对应的用户设备数目最多的解析端以缓存模块内的原始数据为基础开辟共享数据空间，利用共享数据空间与缓存模块内至少一个边缘数据处理器进行数据交互；

[0011] 步骤五，所述共享数据空间内的数据通过函数编辑模块和方言解析模块编辑和解析后，通过执行引擎执行；

[0012] 步骤六，执行引擎执行后的结果通过第二信号发送器发送至服务端，并由服务端发送至用户设备上，同时自动更新该解析端的用户设备数目。

[0013] 本发明的技术效果和优点：本发明实施例中，在进行大数据处理的过程中，服务端在监测到有用户设备接入时，针对上述用户设备设置相应的数据队列，并将上述用户设备
上传的原始数据存储在上述数据队列中，分别确定每一个解析端对应的用户设备数目，并
确定出对应的用户设备数目最多的解析端，将上述原始数据发送给上述对应的用户设备数
目最多的解析端，并触发上述对应的用户设备数目最多的解析端执行以下操作：以用户设
备数目最多的解析端的原始数据为基础开辟共享数据空间，利用共享数据空间与至少一个
边缘数据处理器进行数据交互，大大降低了用户搜索信息所花费的时间，降低了处理实时
数据的响应延迟，保证了用户获取数据的时效性，进而提高用户体验。

附图说明

[0014] 图1为本发明的系统构架图；

[0015] 图2为本发明服务端的结构示意图；

[0016] 图3为本发明解析端的结构示意图。

[0017] 图中：1、服务端；101、存储模块；1011、数据队列；11、服务器；111、第一信号接收器；112、第一信号发送器；2、解析端；201、缓存模块；2011、共享数据空间；2012、边缘数据处
理器；202、函数编辑模块；203、方言解析模块；204、数据实时采集模块；205、数据实时处理
模块；206、执行引擎；207、计数器；221、第二信号接收器；222、第二信号发送器；223、散热
孔；224、过滤网；225、液晶显示屏；226、故障预警模块；3、云服务器。

具体实施方式

[0018] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。

[0019] 本发明提供了如图1‑图3中所示的一种大数据运算过程处理系统，包括：服务端1、解析端2和云服务器3，所述服务端1内还包括一个用于存储全部原始数据的存储模块101，
所述解析端2内包括缓存模块201、函数编辑模块202、方言解析模块203、数据实时采集模块
204、数据实时处理模块205和执行引擎206，所述缓存模块201分别与函数编辑模块202、方
言解析模块203以及数据实时处理模块205电性连接，所述执行引擎206分别与与函数编辑
模块202和方言解析模块203电性连接，所述数据实时采集模块204与数据实时处理模块205
电性连接，所述服务端1至少设有一个，所述解析端2共设有若干个，所述服务端1与若干个
解析端2通讯连接，所述服务端1包括若干个串联的服务器11，若干个所述服务器11并排设
置且均为尺寸相同的长方体结构，首尾两个所述服务器11的顶部分别固定有与所述存储模
块101电性连接的第一信号接收器111和第一信号发送器112，所述第一信号接收器111和第
一信号发送器112均与云服务器3通讯连接，所述解析端2为正四棱柱结构，所述解析端2上
表面的中心处固定有液晶显示屏225，所述液晶显示屏225的下表面电性连接有故障预警模
块226，所述故障预警模块226与执行引擎206电性连接，所述液晶显示屏225的两侧分别固
定有第二信号接收器221和第二信号发送器222，所述第二信号接收器221与数据实时采集
模块204电性连接，所述第二信号发送器222与执行引擎206电性连接，所述解析端2的四周
开设有散热孔223，所述散热孔223的外表面固定有过滤网224且内表面固定有散热风机。

[0020] 一种大数据运算过程处理方法，包括以下步骤：

[0021] 步骤一，所述服务端1在监测到有用户设备接入时，针对所述用户设备的基本信息如设备类型、IP地址在存储模块101内设置相应的数据队列1011，并将所述用户设备上传的
原始数据如用户年龄、性别、学历以及搜索的问题存储在所述数据队列1011中；

[0022] 步骤二，所述数据队列1011根据所述解析端2的物理地址信息创建一个用于保存所述解析端2对应的用户设备数目以及各用户设备标识信息的数据列表，所述解析端2均分
配一个计数器207，当有用户设备信息发送至该解析端2时，即通过所述计数器207记录所述
解析端2对应的用户设备数目；

[0023] 步骤三，所述服务端1分别确定每一个解析端2对应的用户设备数目，并确定出对应的用户设备数目最多的解析端2，所述服务端1将原始数据发送给对应的用户设备数目最
多的解析端2内的缓存模块201；

[0024] 步骤四，对应的用户设备数目最多的解析端2以缓存模块201内的原始数据为基础开辟共享数据空间2011，利用共享数据空间2011与缓存模块201内至少一个边缘数据处理
器2012进行数据交互；

[0025] 步骤五，所述共享数据空间2011内的数据通过函数编辑模块202和方言解析模块203编辑和解析后，通过执行引擎206执行；

[0026] 步骤六，执行引擎206执行后的结果通过第二信号发送器222发送至服务端1，并由服务端1发送至用户设备上，同时自动更新该解析端2的用户设备数目。

[0027] 最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可
以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,
凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的
保护范围之内。