一种基于大数据和云计算的数据处理方法及云计算节点转让专利
申请号 : CN202110099666.7
文献号 : CN112671932B
文献日 : 2021-12-03
发明人 : 梁志彬
申请人 : 中林云信(上海)网络技术有限公司
摘要 :
权利要求 :
1.一种基于大数据和云计算的数据处理方法,其特征在于,所述方法包括:获取针对访问数据的数据处理请求;其中,所述数据处理请求指示有需要与第一云计算节点进行访问数据交互的第二云计算节点;
根据所述数据处理请求,在第一云计算节点创建第一数据处理缓存空间,并使得所述第二云计算节点在所述第二云计算节点的本地创建第二数据处理缓存空间;
当所述第一数据处理缓存空间和所述第二数据处理缓存空间的空间配置信息满足预先配置的缓存控制策略时,构建所述第一数据处理缓存空间和所述第二数据处理缓存空间之间的数据传输链路和数据传输信令;
通过所述数据传输链路和所述数据传输信令,与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果;
将所述访问数据处理结果进行封装,得到待进行入库保存的目标数据包;
对所述目标数据包中的多个数据区块分别进行业务数据提取和协议数据提取,得到业务数据序列和协议数据序列;
通过第一关键信息提取策略,对所述业务数据序列进行第一关键信息提取,得到包括有业务数据的第一关键信息数据集;
通过第二关键信息提取策略,对所述协议数据序列进行第二关键信息提取,得到包括有协议数据的第二关键信息数据集;
基于所述第一关键信息数据集和所述第二关键信息数据集进行目标信息匹配,得到所述目标数据包中与目标提取内容相对应的目标提取数据集;其中,所述目标提取内容包括业务数据和协议数据中的至少之一,所述目标提取数据集用于对所述目标数据包进行入库保存;
其中,所述通过第一关键信息提取策略,对所述业务数据序列进行第一关键信息提取,得到包括有业务数据的第一关键信息数据集,包括:针对对应于所述业务数据序列中的每个数据区块,当数据区块的初始业务数据的数量为至少两个时,获取每个初始业务数据的业务标记值;其中,所述业务标记值用于指示对应的业务数据在预设时间区间内被统计的次数;
当业务标记值最高的初始业务数据为一个时,将所述业务标记值最高的初始业务数据作为相应数据区块的目标业务数据;
当所述业务标记值最高的初始业务数据为至少两个时,针对每个业务标记值最高的初始业务数据,获取对应的业务数据提取窗口的业务类型优先级;
根据对应的优先级最高的业务类型优先级所对应的初始业务数据,确定出相应数据区块所对应的目标业务数据;
对于每个数据区块,获取各数据区块中与相应目标业务数据对应的业务数据提取窗口的目标窗口比值;其中,所述目标窗口比值用于指示对应的业务数据提取窗口的长度占所有的业务数据提取窗口的长度的比值;
当所述目标窗口比值在预设的窗口比值区间内时,保留相对应的业务数据提取结果;
其中,保留的所述业务数据提取结果包括业务数据提取窗口、以及所述业务数据提取窗口对应的目标业务数据;
当所述目标窗口比值不在所述预设的窗口比值区间内时,将相应的数据区块的业务数据提取结果设置为空业务数据集;
基于各数据区块各自对应的业务数据提取结果,得到更新后的业务数据序列;
对所述更新后的业务数据序列进行时间戳标签识别,得到多组的业务起始数据和业务结束数据;
确定每组业务起始数据和业务结束数据之间的业务数据持续时长;
当所述业务数据持续时长大于或等于第一设定时长阈值时,将相应组的业务起始数据和业务结束数据所构成的关键信息数据集作为第一备选关键信息数据集;
对于每个第一备选关键信息数据集,根据所述第一备选关键信息数据集中各数据区块分别对应的更新后的目标业务数据,确定出现统计次数最多的特征业务类别;
将所述特征业务类别,作为相对应第一备选关键信息数据集所包括的业务数据所属的业务类别;
确定各所述第一备选关键信息数据集各自所属的业务类别;
当按时间顺序相邻的至少两个的第一备选关键信息数据集均属于相同的业务类别时,将所述至少两个的第一备选关键信息数据集进行合并,得到与所述相同的业务类别对应的第一关键信息数据集;
所述通过第二关键信息提取策略,对所述协议数据序列进行第二关键信息提取,得到包括有协议数据的第二关键信息数据集,包括:对所述协议数据序列中的各个协议数据进行时间戳标签识别,得到多个包括有协议数据的第二备选关键信息数据集;
根据各所述第二备选关键信息数据集所对应的协议类型,对属于相同协议类型的第二备选关键信息数据集进行合并,得到包括有协议数据的第二关键信息数据集;
所述通过所述数据传输链路和所述数据传输信令,与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果,包括:
通过所述数据传输链路,与所述第二云计算节点交换各自保存的访问数据的元数据信息;其中,所述元数据信息包括第一云计算节点的第一访问数据的数据包大小和所述第二云计算节点的第二访问数据的数据包大小;
将所述第二访问数据的数据包大小与所述第一访问数据的数据包大小进行对比,以确定所述第二云计算节点的数据管理模式;
根据所述数据传输链路、第一数据处理缓存空间和数据传输信令,采用所述第二云计算节点的数据管理模式对应的访问数据处理策略与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
2.根据权利要求1所述的方法,其特征在于,所述将所述第二访问数据的数据包大小与所述第一访问数据的数据包大小进行对比,以确定所述第二云计算节点的数据管理模式,包括:
计算出所述第二访问数据的数据包大小与第一云计算节点的第一访问数据的数据包大小的数据包差异比;
当所述数据包差异比未超过预设的差异比阈值时,确定所述第二云计算节点的数据管理模式为平行计算模式;
当所述数据包差异比超过所述预设的差异比阈值时,确定所述第二云计算节点的数据管理模式为差异计算模式。
3.根据权利要求2所述的方法,其特征在于,所述根据所述数据传输链路、第一数据处理缓存空间和数据传输信令,采用所述第二云计算节点的数据管理模式对应的访问数据处理策略与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果,包括:根据所述第二云计算节点的数据管理模式,在所述第二云计算节点中确定出用于与第一云计算节点进行访问数据交互的目标数据交互单元,并确定出所述目标数据交互单元的访问数据处理策略;
根据所述访问数据处理策略和所述数据传输信令,将所述第一访问数据与所述目标数据交互单元的第二访问数据通过所述数据传输链路和所述第一数据处理缓存空间进行访问数据交互,并基于所述交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果;
其中,所述根据所述第二云计算节点的数据管理模式,在所述第二云计算节点中确定出用于与第一云计算节点进行访问数据交互的目标数据交互单元,并确定出所述目标数据交互单元的访问数据处理策略,包括:当所述第二云计算节点的数据管理模式为平行计算模式时,将所述平行计算模式下所述第二云计算节点所使用的数据交互单元作为与第一云计算节点进行访问数据交互的所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为平行访问数据交互;
当所述第二云计算节点的数据管理模式为差异计算模式时,在所述差异计算模式下所述第二云计算节点所使用的所有数据交互单元中确定出预设数量的数据交互单元作为所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为差异访问数据交互;
当所述第二云计算节点的数据管理模式包括所述平行计算模式和所述差异计算模式时,在所述差异计算模式下所述第二云计算节点所使用的所有数据交互单元中确定出预设数量的数据交互单元,将所述预设数量的数据交互单元和全部的平行计算模式下所述第二云计算节点所使用的数据交互单元作为所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为混合访问数据交互;其中,所述混合访问数据交互为与所述平行计算模式下进行平行访问数据交互,并在平行访问数据交互完成之后,在所述差异计算模式下进行差异访问数据交互;
所述根据所述访问数据处理策略和所述数据传输信令,将所述第一访问数据与所述目标数据交互单元的第二访问数据通过所述数据传输链路和所述第一数据处理缓存空间进行访问数据交互,并基于所述交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果,包括:
当所述访问数据处理策略为平行访问数据交互时,通过所述数据传输链路和所述数据传输信令,将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,以作为所述第一云计算节点与所述第二云计算节点之间的访问数据处理结果;
当所述访问数据处理策略为差异访问数据交互时,接收所述差异计算模式下所述第二云计算节点发送的待计算访问数据,并根据所述待计算访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果;
当所述访问数据处理策略为混合访问数据交互时,将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,得到中间访问处理结果,以及接收所述差异计算模式下所述第二云计算节点发送的第二访问数据,并根据所述中间访问处理结果和所述差异计算模式下所述第二云计算节点发送的第二访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
4.根据权利要求3所述的方法,其特征在于,所述数据传输信令包括交互校验信息、链路校验信息和数据加密校验信息;
所述通过所述数据传输链路和所述数据传输信令,将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,以作为所述第一云计算节点与所述第二云计算节点之间的访问数据处理结果,包括:根据所述平行计算模式下所述第一云计算节点本地所保存的元数据信息,确定出所述第一云计算节点在所述平行计算模式下进行访问数据交互的预设数据量大小以及用于存储访问数据的数据存储单元的存储单元数量;
在所述第一云计算节点的缓存空间中除所述第一数据处理缓存空间以外的缓存区域创建与所述存储单元数量对应的第一数据存储单元;
对所述交互校验信息进行校验,得到交互校验结果;其中,所述交互校验结果在一次访问数据交互内保持激活状态;
采用所述交互校验结果对所述第一访问数据进行数据标记;
将数据标记后的第一云计算节点访问数据进行数据分割,得到与所述存储单元数量相对应的子访问数据,并确定出每一子访问数据存储在第一数据存储单元的存储单元序号;
将每一个所述子访问数据分别保存至各自的所述存储单元序号所对应的第一数据存储单元;
在所有的所述第一数据存储单元中确定出所述预设数据量大小对应的第一访问数据作为目标第一访问数据,并将所述目标第一访问数据保存至所述第一数据处理缓存空间;
在所述第一数据处理缓存空间中采用所述链路校验信息和所述数据加密校验信息对所述目标第一访问数据进行数据标记,并通过所述数据传输链路将数据标记后的目标第一访问数据发送至所述平行计算模式下的第二云计算节点;
接收所述平行计算模式下的第二云计算节点发送的目标第二访问数据,并在所述第一数据处理缓存空间中,采用所述数据加密校验信息对所述目标第二访问数据进行解密校验;
当所述目标第二访问数据的解密校验通过时,采用所述链路校验信息对所述目标第二访问数据进行数据标记;
计算出数据标记后的目标第二访问数据与未发送给所述平行计算模式下所述第二云计算节点的剩余第一访问数据之间的关联度,得到第一中间访问处理结果;
将所述第一中间访问处理结果发送至所述平行计算模式下的第二云计算节点,并接收所述平行计算模式下的第二云计算节点发送的第二中间访问处理结果;其中,所述第二中间访问处理结果用于指示所述平行计算模式的第二云计算节点计算出的未发送给第一云计算节点的剩余第二访问数据与所述目标第一访问数据之间的关联度;
将所述第一中间访问处理结果和所述第二中间访问处理结果进行合并,得到第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
5.根据权利要求4所述的方法,其特征在于,所述待计算访问数据包括第一待计算访问数据和第二待计算访问数据;所述数据传输信令包括数据加密校验信息、链路校验信息以及交互校验信息;
所述接收所述差异计算模式下所述第二云计算节点发送的待计算访问数据,并根据所述待计算访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果,包括:
当所述第一访问数据的数据包大小大于所述差异计算模式下所述第二云计算节点的第二访问数据的数据包大小时,接收所述差异计算模式下所述第二云计算节点发送的所述第一待计算访问数据,并在所述第一数据处理缓存空间中采用所述数据加密校验信息对所述第一待计算访问数据的进行解密校验;
当所述第一待计算访问数据的解密校验通过时,在所述第一数据处理缓存空间采用所述链路校验信息对所述第一待计算访问数据进行数据标记;
在所述第一数据处理缓存空间中计算数据标记后的第一待计算访问数据与所述第一访问数据之间的关联度,得到目标访问数据处理结果,将所述目标访问数据处理结果作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果;其中,所述第一待计算访问数据为所述差异计算模式下所述第二云计算节点按照预设的过滤策略进行数据清洗后的第二访问数据;
当所述第一访问数据的数据包大小小于或等于所述差异计算模式的第二访问数据的数据包大小时,采用所述交互校验信息对所述第一访问数据进行数据标记,并将数据标记后的第一访问数据存储至数据存储单元;
将所述数据存储单元存储至所述第一数据处理缓存空间,并采用所述链路校验信息和数据加密校验信息对所述数据存储单元中的第一访问数据进行数据标记,得到数据标记后第一访问数据;
将所述数据标记后第一访问数据发送至所述差异计算模式下的第二云计算节点,使得所述差异计算模式的第二云计算节点将所述数据标记后第一访问数据与自身保存的第二访问数据的进行合并,得到所述第二待计算访问数据;
接收所述差异计算模式下的第二云计算节点发送的所述第二待计算访问数据,并将所述第二待计算访问数据作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
6.根据权利要求4所述的方法,其特征在于,所述将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,得到中间访问处理结果,以及接收所述差异计算模式下所述第二云计算节点发送的第二访问数据,并根据所述中间访问处理结果和所述差异计算模式下所述第二云计算节点发送的第二访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果,包括:
在所述第一访问数据中确定出用于访问数据交互的第一目标待计算访问数据,并采用所述数据传输信令对所述第一目标待计算访问数据进行数据标记;
将数据标记后的所述第一目标待计算访问数据通过所述数据传输链路发送至所述平行计算模式下的第二云计算节点,并接收所述平行计算模式下的第二云计算节点发送的第二目标待计算访问数据;
在所述第一数据处理缓存空间中计算出所述第二目标待计算访问数据与所述第一访问数据中除开所述第一目标待计算访问数据之外的其他访问数据的关联度,以得到所述第一访问数据与所述平行计算模式下的第二云计算节点所发送的第二访问数据之间的中间访问处理结果;
当所述中间访问处理结果中的访问数据的数据包大小大于所述差异计算模式的第二访问数据的数据包大小时,接收所述差异计算模式下的第二云计算节点发送的当前第二访问数据,并计算出所述中间访问处理结果与所述当前第二访问数据之间的关联度,得到当前访问数据处理结果,然后将所述当前访问数据处理结果作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果;
当所述中间访问处理结果中的访问数据的数据包大小小于或大于所述差异计算模式下的第二云计算节点的第二访问数据的数据包大小时,根据所述数据传输信令,将所述中间访问处理结果进行标记后发送至所述差异计算模式下的第二云计算节点,并接收所述差异计算模式下的第二云计算节点针对所述中间访问处理结果计算关联度后发送的访问数据关联结果,并将所述访问数据关联结果作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
7.一种云计算节点,其特征在于,包括:存储器,用于存储一个或多个程序;
处理器;
当所述一个或多个程序被所述处理器执行时,实现如权利要求1‑6中任一项所述的基于大数据和云计算的数据处理方法。
说明书 :
一种基于大数据和云计算的数据处理方法及云计算节点
技术领域
背景技术
发明内容
点进行访问数据交互的第二云计算节点;根据所述数据处理请求,在第一云计算节点创建
第一数据处理缓存空间,并使得所述第二云计算节点在所述第二云计算节点的本地创建第
二数据处理缓存空间;当所述第一数据处理缓存空间和所述第二数据处理缓存空间的空间
配置信息满足预先配置的缓存控制策略时,构建所述第一数据处理缓存空间和所述第二数
据处理缓存空间之间的数据传输链路和数据传输信令;通过所述数据传输链路和所述数据
传输信令,与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云
计算节点与所述第二云计算节点之间的访问数据处理结果。
大数据和云计算的数据处理方法。
算节点创建第二数据处理缓存空间,并构建第一数据处理缓存空间和第二数据处理缓存空
间之间的数据传输链路和数据传输信令,从而通过数据传输链路和数据传输信令,使得第
一云计算节点与第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计
算节点与客户端之间的访问数据处理结果;由于该方案通过在第一云计算节点与第二云计
算节点中分别创建数据处理缓存空间,并构建第一数据处理缓存空间和第二数据处理缓存
空间之间的数据传输链路和数据传输信令,从而可以提升访问数据处理的安全性。
附图说明
具体实施方式
云游戏系统、网络直播服务器系统、网络购物系统、利用云计算技术的云办公系统、利用云
计算技术的金融数据管理系统等等。
间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条
或多条通讯总线或信号线实现电性连接。
于大数据和云计算的数据处理方法的步骤。该通信接口103可用于与其他节点设备进行信
令或数据的通信。
Memory,PROM),可擦除只读存储器(Erasable Programmable Read‑Only Memory,EPROM),
电可擦除可编程只读存储器(Electric Erasable Programmable Read‑Only Memory,
EEPROM)等。
Processor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集
成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-
Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、
分立硬件组件。
计算节点的访问数据进行处理。
一数据处理缓存空间,所述第二云计算节点在本地创建的是第二数据处理缓存空间,所述
第一数据处理缓存空间和所述第二数据处理缓存空间均是用于对数据进行处理。
缓存空间之间的数据传输链路和数据传输信令。
和所述第二数据处理缓存空间进行校验,比如采用预先配置的策略进行安全性校验以及稳
定性校验等,直至当所述第一数据处理缓存空间和所述第二数据处理缓存空间的空间配置
信息满足预先配置的缓存控制策略时,构建所述第一数据处理缓存空间和所述第二数据处
理缓存空间之间的数据传输链路和数据传输信令。
访问数据处理结果。
计算节点与所述第二云计算节点之间的访问数据处理结果。
间,并构建第一数据处理缓存空间和第二数据处理缓存空间之间的数据传输链路和数据传
输信令,从而通过数据传输链路和数据传输信令,使得第一云计算节点与第二云计算节点
进行访问数据交互,并基于交互的访问数据计算第一云计算节点与客户端之间的访问数据
处理结果;由于该方案通过在第一云计算节点与第二云计算节点中分别创建数据处理缓存
空间,并构建第一数据处理缓存空间和第二数据处理缓存空间之间的数据传输链路和数据
传输信令,从而可以提升访问数据处理的安全性。
的元数据信息;其中,所述元数据信息包括第一云计算节点的第一访问数据的数据包大小
和所述第二云计算节点的第二访问数据的数据包大小;然后,将所述第二访问数据的数据
包大小与所述第一访问数据的数据包大小进行对比,以确定所述第二云计算节点的数据管
理模式;接下来,根据所述数据传输链路、第一数据处理缓存空间和数据传输信令,采用所
述第二云计算节点的数据管理模式对应的访问数据处理策略与所述第二云计算节点进行
访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的
访问数据处理结果。如此,可以针对处于不同数据管理模式下的第二云计算节点进行针对
性的处理,提高访问数据处理的可靠性。
可以先计算出所述第二访问数据的数据包大小与第一云计算节点的第一访问数据的数据
包大小的数据包差异比;一方面,当所述数据包差异比未超过预设的差异比阈值时,确定所
述第二云计算节点的数据管理模式为平行计算模式,比如,所述平行计算模式可以用于指
示所述第二云计算节点与所述第一云计算节点采用相同的算力进行计算;另一方面,当所
述数据包差异比超过所述预设的差异比阈值时,确定所述第二云计算节点的数据管理模式
为差异计算模式。比如,所述差异计算模式可以用于指示所述第二云计算节点与所述第一
云计算节点采用不同的算力进行计算。
理策略与所述第二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算
节点与所述第二云计算节点之间的访问数据处理结果时,可以先根据所述第二云计算节点
的数据管理模式,在所述第二云计算节点中确定出用于与第一云计算节点进行访问数据交
互的目标数据交互单元,并确定出所述目标数据交互单元的访问数据处理策略;然后,根据
所述访问数据处理策略和所述数据传输信令,将所述第一访问数据与所述目标数据交互单
元的第二访问数据通过所述数据传输链路和所述第一数据处理缓存空间进行访问数据交
互,并基于所述交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数
据处理结果。
并确定出所述目标数据交互单元的访问数据处理策略时,一方面,当所述第二云计算节点
的数据管理模式为平行计算模式时,将所述平行计算模式下所述第二云计算节点所使用的
数据交互单元作为与第一云计算节点进行访问数据交互的所述目标数据交互单元,并确定
所述目标数据交互单元的访问数据处理策略为平行访问数据交互;另一方面,当所述第二
云计算节点的数据管理模式为差异计算模式时,在所述差异计算模式下所述第二云计算节
点所使用的所有数据交互单元中确定出预设数量的数据交互单元作为所述目标数据交互
单元,并确定所述目标数据交互单元的访问数据处理策略为差异访问数据交互;再一方面,
当所述第二云计算节点的数据管理模式包括所述平行计算模式和所述差异计算模式时,在
所述差异计算模式下所述第二云计算节点所使用的所有数据交互单元中确定出预设数量
的数据交互单元,将所述预设数量的数据交互单元和全部的平行计算模式下所述第二云计
算节点所使用的数据交互单元作为所述目标数据交互单元,并确定所述目标数据交互单元
的访问数据处理策略为混合访问数据交互;其中,所述混合访问数据交互为与所述平行计
算模式下进行平行访问数据交互,并在平行访问数据交互完成之后,在所述差异计算模式
下进行差异访问数据交互。
据传输链路和所述第一数据处理缓存空间进行访问数据交互,并基于所述交互的访问数据
计算第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,一方面,当所述
访问数据处理策略为平行访问数据交互时,通过所述数据传输链路和所述数据传输信令,
将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数据进行访问
数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算
模式的第二访问数据之间的关联度,以作为所述第一云计算节点与所述第二云计算节点之
间的访问数据处理结果;另一方面,当所述访问数据处理策略为差异访问数据交互时,接收
所述差异计算模式下所述第二云计算节点发送的待计算访问数据,并根据所述待计算访问
数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果;再一方面,
当所述访问数据处理策略为混合访问数据交互时,将预设数据量大小的所述第一访问数据
与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一数据处理缓存空
间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,得到
中间访问处理结果,以及接收所述差异计算模式下所述第二云计算节点发送的第二访问数
据,并根据所述中间访问处理结果和所述差异计算模式下所述第二云计算节点发送的第二
访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果。如此,
针对不同模式下的第二云计算节点进行适应性处理,从而提高访问数据处理的灵活性。
据传输信令,将预设数据量大小的所述第一访问数据与所述平行计算模式下的第二访问数
据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与所
述平行计算模式的第二访问数据之间的关联度,以作为所述第一云计算节点与所述第二云
计算节点之间的访问数据处理结果时,可以先根据所述平行计算模式下所述第一云计算节
点本地所保存的元数据信息,确定出所述第一云计算节点在所述平行计算模式下进行访问
数据交互的预设数据量大小以及用于存储访问数据的数据存储单元的存储单元数量;然
后,在所述第一云计算节点的缓存空间中除所述第一数据处理缓存空间以外的缓存区域创
建与所述存储单元数量对应的第一数据存储单元;接下来,对所述交互校验信息进行校验,
得到交互校验结果;其中,所述交互校验结果在一次访问数据交互内保持激活状态;然后,
采用所述交互校验结果对所述第一访问数据进行数据标记;接下来,将数据标记后的第一
云计算节点访问数据进行数据分割,得到与所述存储单元数量相对应的子访问数据,并确
定出每一子访问数据存储在第一数据存储单元的存储单元序号;然后,将每一个所述子访
问数据分别保存至各自的所述存储单元序号所对应的第一数据存储单元;接下来,在所有
的所述第一数据存储单元中确定出所述预设数据量大小对应的第一访问数据作为目标第
一访问数据,并将所述目标第一访问数据保存至所述第一数据处理缓存空间;然后,在所述
第一数据处理缓存空间中采用所述链路校验信息和所述数据加密校验信息对所述目标第
一访问数据进行数据标记,并通过所述数据传输链路将数据标记后的目标第一访问数据发
送至所述平行计算模式下的第二云计算节点;接下来,接收所述平行计算模式下的第二云
计算节点发送的目标第二访问数据,并在所述第一数据处理缓存空间中,采用所述数据加
密校验信息对所述目标第二访问数据进行解密校验;然后,当所述目标第二访问数据的解
密校验通过时,采用所述链路校验信息对所述目标第二访问数据进行数据标记;接下来,计
算出数据标记后的目标第二访问数据与未发送给所述平行计算模式下所述第二云计算节
点的剩余第一访问数据之间的关联度,得到第一中间访问处理结果;然后,将所述第一中间
访问处理结果发送至所述平行计算模式下的第二云计算节点,并接收所述平行计算模式下
的第二云计算节点发送的第二中间访问处理结果;其中,所述第二中间访问处理结果用于
指示所述平行计算模式的第二云计算节点计算出的未发送给第一云计算节点的剩余第二
访问数据与所述目标第一访问数据之间的关联度;接下来,将所述第一中间访问处理结果
和所述第二中间访问处理结果进行合并,得到第一云计算节点与所述第二云计算节点之间
的访问数据处理结果。如此,能够综合的计算出第一云计算节点与第二云计算节点之间的
访问数据处理结果,从而提高访问数据处理结果的可靠性。
息。基于此,所述第一云计算节点在接收所述差异计算模式下所述第二云计算节点发送的
待计算访问数据,并根据所述待计算访问数据,计算出第一云计算节点与所述第二云计算
节点之间的访问数据处理结果的过程中,当所述第一访问数据的数据包大小大于所述差异
计算模式下所述第二云计算节点的第二访问数据的数据包大小时,接收所述差异计算模式
下所述第二云计算节点发送的所述第一待计算访问数据,并在所述第一数据处理缓存空间
中采用所述数据加密校验信息对所述第一待计算访问数据的进行解密校验;其中,当所述
第一待计算访问数据的解密校验通过时,在所述第一数据处理缓存空间采用所述链路校验
信息对所述第一待计算访问数据进行数据标记;在所述第一数据处理缓存空间中计算数据
标记后的第一待计算访问数据与所述第一访问数据之间的关联度,得到目标访问数据处理
结果,将所述目标访问数据处理结果作为第一云计算节点与所述第二云计算节点之间的访
问数据处理结果;其中,所述第一待计算访问数据为所述差异计算模式下所述第二云计算
节点按照预设的过滤策略进行数据清洗后的第二访问数据;反之,当所述第一访问数据的
数据包大小小于或等于所述差异计算模式的第二访问数据的数据包大小时,采用所述交互
校验信息对所述第一访问数据进行数据标记,并将数据标记后的第一访问数据存储至数据
存储单元;然后,将所述数据存储单元存储至所述第一数据处理缓存空间,并采用所述链路
校验信息和数据加密校验信息对所述数据存储单元中的第一访问数据进行数据标记,得到
数据标记后第一访问数据;接下来,将所述数据标记后第一访问数据发送至所述差异计算
模式下的第二云计算节点,使得所述差异计算模式的第二云计算节点将所述数据标记后第
一访问数据与自身保存的第二访问数据的进行合并,得到所述第二待计算访问数据;然后,
接收所述差异计算模式下的第二云计算节点发送的所述第二待计算访问数据,并将所述第
二待计算访问数据作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果。
缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联
度,得到中间访问处理结果,以及接收所述差异计算模式下所述第二云计算节点发送的第
二访问数据,并根据所述中间访问处理结果和所述差异计算模式下所述第二云计算节点发
送的第二访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结
果时,可以先在所述第一访问数据中确定出用于访问数据交互的第一目标待计算访问数
据,并采用所述数据传输信令对所述第一目标待计算访问数据进行数据标记;然后,将数据
标记后的所述第一目标待计算访问数据通过所述数据传输链路发送至所述平行计算模式
下的第二云计算节点,并接收所述平行计算模式下的第二云计算节点发送的第二目标待计
算访问数据;接下来,在所述第一数据处理缓存空间中计算出所述第二目标待计算访问数
据与所述第一访问数据中除开所述第一目标待计算访问数据之外的其他访问数据的关联
度,以得到所述第一访问数据与所述平行计算模式下的第二云计算节点所发送的第二访问
数据之间的中间访问处理结果;然后,当所述中间访问处理结果中的访问数据的数据包大
小大于所述差异计算模式的第二访问数据的数据包大小时,接收所述差异计算模式下的第
二云计算节点发送的当前第二访问数据,并计算出所述中间访问处理结果与所述当前第二
访问数据之间的关联度,得到当前访问数据处理结果,然后将所述当前访问数据处理结果
作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果;接下来,当所述中
间访问处理结果中的访问数据的数据包大小小于或大于所述差异计算模式下的第二云计
算节点的第二访问数据的数据包大小时,根据所述数据传输信令,将所述中间访问处理结
果进行标记后发送至所述差异计算模式下的第二云计算节点,并接收所述差异计算模式下
的第二云计算节点针对所述中间访问处理结果计算关联度后发送的访问数据关联结果,并
将所述访问数据关联结果作为第一云计算节点与所述第二云计算节点之间的访问数据处
理结果。如此,按照本申请提供的上述方案,能够提高访问数据处理结果的可靠性。
是监控相机拍摄的监控视频码流,或者智能货架产生的货物销售数据;所述协议数据可以
是心跳报文或者是ARP(Address Resolution Protocol,地址解析协议)报文等。
块中所有的协议数据。
取策略,分别对业务数据序列和协议数据序列进行关键信息提取,从而分别得到包括第一
关键信息数据集和第二关键信息数据集。可以理解的是,基于上述步骤S330得到的第一关
键信息数据集为包括有业务数据的数据集,而基于上述步骤S340得到的第二关键信息数据
集则为包括有协议数据的数据集。
至少之一,也即:用户可以提取一部分业务数据,也可以提取一部分协议数据,还可以提取
一部分业务数据和一部分协议数据。如此,在获得所述第一关键信息数据集合所述第二关
键信息数据集后,通过基于所述目标提取内容对所述第一关键信息数据集合所述第二关键
信息数据集进行目标信息匹配,从而得到所述目标数据包中与所述目标提取内容对应的目
标提取数据集,进而可以基于所述目标提取数据集对所述目标数据包进行入库保存,比如
可以将所述目标提取数据集对应的哈希值作为压缩秘钥对所述目标数据包进行压缩加密,
从而将压缩加密后的所述目标数据包进行入库保存。
列,即对目标数据包中的数据区块进行了分类,分为业务数据类和协议数据类;然后分别通
过第一关键信息提取策略和第二关键信息提取策略对业务数据序列和协议数据序列进行
关键信息提取,得到包含有业务数据的第一关键信息数据集和包含协议数据的第二关键信
息数据集;接着基于第一关键信息数据集和第二关键信息数据集进行目标信息匹配,得到
与目标提取内容相对应的目标提取数据集,从而基于目标提取数据集对目标数据包进行入
库保存;相比于现有技术,能够提高数据包保存的安全性。
多个数据区块分别进行业务数据提取,得到各个数据区块中的业务数据提取窗口、以及各
业务数据提取窗口所对应的初始业务数据,比如,在本实施例中,每一个所述业务数据提取
窗口可以是一种业务数据对应的提取窗口,比如视频数据、音频数据等等;然后,基于各数
据区块中的业务数据提取窗口和相应的初始业务数据,确定业务数据序列;接下来,对所述
目标数据包中的多个数据区块分别进行协议数据识别,得到各数据区块分别对应的协议数
据内容;接着,对所述目标数据包中的多个数据区块分别进行协议类型识别,得到各数据区
块各自所遵循的目标协议类型;然后,将存在对应关系的协议数据内容和目标协议类型进
行关联;接下来,基于所述目标数据包中与预设的目标协议数据内容相关联的目标协议类
型的数据包进行协议数据提取,得到协议数据序列。
少两个时,获取每个初始业务数据的业务标记值;其中,所述业务标记值用于指示对应的业
务数据在预设时间区间内被统计的次数;一方面,当业务标记值最高的初始业务数据为一
个时,将所述业务标记值最高的初始业务数据作为相应数据区块的目标业务数据;另一方
面,当所述业务标记值最高的初始业务数据为至少两个时,针对每个业务标记值最高的初
始业务数据,获取对应的业务数据提取窗口的业务类型优先级;接下来,根据对应的优先级
最高的业务类型优先级所对应的初始业务数据,确定出相应数据区块所对应的目标业务数
据;然后,对于每个数据区块,获取各数据区块中与相应目标业务数据对应的业务数据提取
窗口的目标窗口比值;其中,所述目标窗口比值用于指示对应的业务数据提取窗口的长度
占所有的业务数据提取窗口的长度的比值;接下来,当所述目标窗口比值在预设的窗口比
值区间内时,保留相对应的业务数据提取结果;其中,保留的所述业务数据提取结果包括业
务数据提取窗口、以及所述业务数据提取窗口对应的目标业务数据;然后,当所述目标窗口
比值不在所述预设的窗口比值区间内时,将相应的数据区块的业务数据提取结果设置为空
业务数据集;接下来,基于各数据区块各自对应的业务数据提取结果,得到更新后的业务数
据序列;然后,对所述更新后的业务数据序列进行时间戳标签识别,得到多组的业务起始数
据和业务结束数据;接下来,确定每组业务起始数据和业务结束数据之间的业务数据持续
时长;然后,当所述业务数据持续时长大于或等于第一设定时长阈值时,将相应组的业务起
始数据和业务结束数据所构成的关键信息数据集作为第一备选关键信息数据集;接下来,
对于每个第一备选关键信息数据集,根据所述第一备选关键信息数据集中各数据区块分别
对应的更新后的目标业务数据,确定出现统计次数最多的特征业务类别;然后,将所述特征
业务类别,作为相对应第一备选关键信息数据集所包括的业务数据所属的业务类别;然后,
确定各所述第一备选关键信息数据集各自所属的业务类别;接下来,当按时间顺序相邻的
至少两个的第一备选关键信息数据集均属于相同的业务类别时,将所述至少两个的第一备
选关键信息数据集进行合并,得到与所述相同的业务类别对应的第一关键信息数据集。如
此,采用本申请提供的上述方案,能够准确的提取第一关键信息数据集,避免脏数据的污
染。
中的第一个非空业务数据集所对应的数据区块作为当前组的业务起始数据;然后,遍历所
述当前组的业务起始数据之后的数据区块;其中,当遍历至的当前数据区块对应的业务数
据提取结果为空业务数据集、且从所述当前数据区块开始的第二设定时长阈值内数据区块
所对应的业务数据提取结果均为空业务数据集时,将所述当前数据区块作为所述当前组的
业务结束数据;然后,将所述当前组的业务结束数据之后的第一个非空业务数据集所对应
的数据区块,作为下一次识别循环的当前组的业务起始数据,并返回所述遍历所述当前组
的业务起始数据之后的数据区块的步骤继续执行,直至得到多组的业务起始数据和业务结
束数据。
数据区块所对应的业务数据提取结果均为空业务数据集时,将所述当前数据区块作为所述
当前组的业务结束数据之前,当由遍历至的当前数据区块与所述当前组的业务起始数据所
确定的关键信息数据集时长小于第三设定时长阈值时,还可以先确定所述当前数据区块对
应的业务数据提取结果是否为空业务数据集;其中,在所述当前数据区块对应的业务数据
提取结果为非空业务数据集时,将所述当前数据区块作为所述当前组所对应的关键信息数
据集中的其中之一;然后,在所述当前数据区块对应空业务数据集、且从所述当前数据区块
开始的第二设定时长阈值内的业务数据提取结果中包括非空业务数据集时,将从所述当前
数据区块开始的所述第二设定时长阈值内的第一个非空业务数据集所对应的数据区块,作
为遍历的下一个当前数据区块,并返回所述当由遍历至的当前数据区块与所述当前组的业
务起始数据所确定的关键信息数据集时长小于第三设定时长阈值时,确定所述当前数据区
块对应的业务数据提取结果是否为空业务数据集的步骤继续执行。
述更新后的业务数据序列中,处于当前识别循环中的第一个非空业务数据集所对应的目标
数据包;然后,当所述目标数据包的后一个数据包所对应的业务数据提取结果为空业务数
据集时,将所述目标数据包对应的业务数据提取结果置为空业务数据集;或者,当所述目标
数据包的后一个数据包所对应的业务数据提取结果为非空业务数据集时,将所述目标数据
包作为当前组的业务起始数据。
以先对所述协议数据序列中的各个协议数据进行时间戳标签识别,得到多个包括有协议数
据的第二备选关键信息数据集;然后根据各所述第二备选关键信息数据集所对应的协议类
型,对属于相同协议类型的第二备选关键信息数据集进行合并,得到包括有协议数据的第
二关键信息数据集。可以理解的是,如繁多种类的业务数据不同,协议数据一般是遵循严格
的协议标准,因此可以采用较为简洁的提取方式。
目标提取数据集时,可以先获取维护设备发送的目标提取内容中的核心关键信息,可以理
解的是,所述维护设备为管理人员所使用的设备;然后,对所述核心关键信息进行关键词筛
选,得到筛选后的核心关键信息,并将所述筛选后的核心关键信息添加至对应的信息处理
节点;接下来,基于所述筛选后的核心关键信息和所述信息处理节点,对所述第一关键信息
数据集和所述第二关键信息数据集进行关键信息匹配,得到至少一个初始匹配关键信息;
然后,确定出所有初始匹配关键信息中符合预设信息筛选策略的至少一个目标匹配关键信
息,并将所有的目标匹配关键信息构建成目标提取数据集。
心关键信息中各个核心关键词的历史统计次数、阈值统计次数;然后,将历史统计次数与阈
值统计次数的差值超过设定的次数阈值的核心关键词删除,将剩余的核心关键词作为筛选
后的核心关键信息。
配,得到至少一个初始匹配关键信息时,可以先利用所述信息处理节点分别计算出每一个
所述筛选后的核心关键信息各自与所述第一关键信息数据集的第一关键信息关联度和所
述信息处理节点的第二关键信息关联度;然后,针对每一个所述筛选后的核心关键信息,当
对应的第一关键信息关联度和对应的第二关键信息关联度中的任一个关键信息关联度大
于预设的关联度阈值时,将对应的核心关键信息确定为初始匹配关键信息;接下来,针对每
一个所述筛选后的核心关键信息,当对应的第一关键信息关联度和对应的第二关键信息关
联度均小于或等于预设的关联度阈值时,则将对应的核心关键信息确定为初始匹配关键信
息;然后,针对每一个所述筛选后的核心关键信息,当对应的第一关键信息关联度和对应的
第二关键信息关联度中的其中之一大于预设的关联度阈值,且另一个小于或等于预设的关
联度阈值,则将对应的核心关键信息丢弃。如此,按照本申请提供的上述方案,可以提高关
键信息的获取准确度。
算出每个初始匹配关键信息的各个特征匹配值,并基于各个特征匹配值计算出每个初始匹
配关键信息的初始评价得分;然后,基于每个初始匹配关键信息各自所属的关键信息类型,
确定出每个初始匹配关键信息各自对应的评价得分阈值;接下来,可以先判断每个初始匹
配关键信息的初始评价得分是否大于各自对应的评价得分阈值;然后,将对应的初始评价
得分大于各自对应的评价得分阈值的至少一个初始匹配关键信息确定为目标匹配关键信
息。
存空间;
和所述第二数据处理缓存空间之间的数据传输链路和数据传输信令;
云计算节点之间的访问数据处理结果。
二云计算节点之间的访问数据处理结果时,可以用于:
第二云计算节点的第二访问数据的数据包大小;
据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数
据处理结果。
二云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二
云计算节点之间的访问数据处理结果时,可以用于:
元的访问数据处理策略;
行访问数据交互,并基于所述交互的访问数据计算第一云计算节点与所述第二云计算节点
之间的访问数据处理结果;
定出所述目标数据交互单元的访问数据处理策略时,可以用于
的所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为平行访问
数据交互;
为所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为差异访问
数据交互;
预设数量的数据交互单元,将所述预设数量的数据交互单元和全部的平行计算模式下所述
第二云计算节点所使用的数据交互单元作为所述目标数据交互单元,并确定所述目标数据
交互单元的访问数据处理策略为混合访问数据交互;其中,所述混合访问数据交互为与所
述平行计算模式下进行平行访问数据交互,并在平行访问数据交互完成之后,在所述差异
计算模式下进行差异访问数据交互;
数据处理缓存空间进行访问数据交互,并基于所述交互的访问数据计算第一云计算节点与
所述第二云计算节点之间的访问数据处理结果时,可以用于:
数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与
所述平行计算模式的第二访问数据之间的关联度,以作为所述第一云计算节点与所述第二
云计算节点之间的访问数据处理结果;
节点与所述第二云计算节点之间的访问数据处理结果;
理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关
联度,得到中间访问处理结果,以及接收所述差异计算模式下所述第二云计算节点发送的
第二访问数据,并根据所述中间访问处理结果和所述差异计算模式下所述第二云计算节点
发送的第二访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理
结果。
所述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第
一数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据
之间的关联度,以作为所述第一云计算节点与所述第二云计算节点之间的访问数据处理结
果时,具体用于:
于存储访问数据的数据存储单元的存储单元数量;
号;
间;
第一访问数据发送至所述平行计算模式下的第二云计算节点;
校验;
二中间访问处理结果用于指示所述平行计算模式的第二云计算节点计算出的未发送给第
一云计算节点的剩余第二访问数据与所述目标第一访问数据之间的关联度;
间的访问数据处理结果时,可以用于
所述第一待计算访问数据,并在所述第一数据处理缓存空间中采用所述数据加密校验信息
对所述第一待计算访问数据的进行解密校验;
作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果;其中,所述第一待
计算访问数据为所述差异计算模式下所述第二云计算节点按照预设的过滤策略进行数据
清洗后的第二访问数据;
标记后的第一访问数据存储至数据存储单元;
记后第一访问数据;
第二访问数据的进行合并,得到所述第二待计算访问数据;
处理结果。
到所述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,得到中间访问处
理结果,以及接收所述差异计算模式下所述第二云计算节点发送的第二访问数据,并根据
所述中间访问处理结果和所述差异计算模式下所述第二云计算节点发送的第二访问数据,
计算出第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,可以用于:
的第二目标待计算访问数据;
述第一访问数据与所述平行计算模式下的第二云计算节点所发送的第二访问数据之间的
中间访问处理结果;
二访问数据,并计算出所述中间访问处理结果与所述当前第二访问数据之间的关联度,得
到当前访问数据处理结果,然后将所述当前访问数据处理结果作为第一云计算节点与所述
第二云计算节点之间的访问数据处理结果;
述中间访问处理结果进行标记后发送至所述差异计算模式下的第二云计算节点,并接收所
述差异计算模式下的第二云计算节点针对所述中间访问处理结果计算关联度后发送的访
问数据关联结果,并将所述访问数据关联结果作为第一云计算节点与所述第二云计算节点
之间的访问数据处理结果。
包括业务数据和协议数据中的至少之一,所述目标提取数据集用于对所述目标数据包进行
入库保存。
对应的业务数据在预设时间区间内被统计的次数;
占所有的业务数据提取窗口的长度的比值;
口对应的目标业务数据;
对应的第一关键信息数据集。
数据集时,将所述当前数据区块作为所述当前组的业务结束数据;
据之后的数据区块的步骤继续执行,直至得到多组的业务起始数据和业务结束数据。
为空业务数据集时,将所述当前数据区块作为所述当前组的业务结束数据之前,所述处理
模块420还用于:
为空业务数据集;
所述第二设定时长阈值内的第一个非空业务数据集所对应的数据区块,作为遍历的下一个
当前数据区块,并返回所述当由遍历至的当前数据区块与所述当前组的业务起始数据所确
定的关键信息数据集时长小于第三设定时长阈值时,确定所述当前数据区块对应的业务数
据提取结果是否为空业务数据集的步骤继续执行。
集时,可以用于:
一个初始匹配关键信息时,可以用于:
度;
关键信息确定为初始匹配关键信息;
初始匹配关键信息;
联度阈值,则将对应的核心关键信息丢弃。
空间;
述第二数据处理缓存空间之间的数据传输链路和数据传输信令;
计算节点之间的访问数据处理结果。
云计算节点之间的访问数据处理结果时,可以用于:
第二云计算节点的第二访问数据的数据包大小;
据交互,并基于交互的访问数据计算第一云计算节点与所述第二云计算节点之间的访问数
据处理结果。
云计算节点进行访问数据交互,并基于交互的访问数据计算第一云计算节点与所述第二云
计算节点之间的访问数据处理结果时,可以用于:
元的访问数据处理策略;
行访问数据交互,并基于所述交互的访问数据计算第一云计算节点与所述第二云计算节点
之间的访问数据处理结果;
出所述目标数据交互单元的访问数据处理策略时,可以用于
的所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为平行访问
数据交互;
为所述目标数据交互单元,并确定所述目标数据交互单元的访问数据处理策略为差异访问
数据交互;
预设数量的数据交互单元,将所述预设数量的数据交互单元和全部的平行计算模式下所述
第二云计算节点所使用的数据交互单元作为所述目标数据交互单元,并确定所述目标数据
交互单元的访问数据处理策略为混合访问数据交互;其中,所述混合访问数据交互为与所
述平行计算模式下进行平行访问数据交互,并在平行访问数据交互完成之后,在所述差异
计算模式下进行差异访问数据交互;
处理缓存空间进行访问数据交互,并基于所述交互的访问数据计算第一云计算节点与所述
第二云计算节点之间的访问数据处理结果时,可以用于:
数据进行访问数据交互,并在所述第一数据处理缓存空间中计算得到所述第一访问数据与
所述平行计算模式的第二访问数据之间的关联度,以作为所述第一云计算节点与所述第二
云计算节点之间的访问数据处理结果;
节点与所述第二云计算节点之间的访问数据处理结果;
理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之间的关
联度,得到中间访问处理结果,以及接收所述差异计算模式下所述第二云计算节点发送的
第二访问数据,并根据所述中间访问处理结果和所述差异计算模式下所述第二云计算节点
发送的第二访问数据,计算出第一云计算节点与所述第二云计算节点之间的访问数据处理
结果。
述第一访问数据与所述平行计算模式下的第二访问数据进行访问数据交互,并在所述第一
数据处理缓存空间中计算得到所述第一访问数据与所述平行计算模式的第二访问数据之
间的关联度,以作为所述第一云计算节点与所述第二云计算节点之间的访问数据处理结果
时,具体用于:
于存储访问数据的数据存储单元的存储单元数量;
号;
间;
第一访问数据发送至所述平行计算模式下的第二云计算节点;
校验;
二中间访问处理结果用于指示所述平行计算模式的第二云计算节点计算出的未发送给第
一云计算节点的剩余第二访问数据与所述目标第一访问数据之间的关联度;
的访问数据处理结果时,可以用于
所述第一待计算访问数据,并在所述第一数据处理缓存空间中采用所述数据加密校验信息
对所述第一待计算访问数据的进行解密校验;
作为第一云计算节点与所述第二云计算节点之间的访问数据处理结果;其中,所述第一待
计算访问数据为所述差异计算模式下所述第二云计算节点按照预设的过滤策略进行数据
清洗后的第二访问数据;
标记后的第一访问数据存储至数据存储单元;
记后第一访问数据;
第二访问数据的进行合并,得到所述第二待计算访问数据;
处理结果。
述第一访问数据与所述平行计算模式的第二访问数据之间的关联度,得到中间访问处理结
果,以及接收所述差异计算模式下所述第二云计算节点发送的第二访问数据,并根据所述
中间访问处理结果和所述差异计算模式下所述第二云计算节点发送的第二访问数据,计算
出第一云计算节点与所述第二云计算节点之间的访问数据处理结果时,可以用于:
的第二目标待计算访问数据;
述第一访问数据与所述平行计算模式下的第二云计算节点所发送的第二访问数据之间的
中间访问处理结果;
二访问数据,并计算出所述中间访问处理结果与所述当前第二访问数据之间的关联度,得
到当前访问数据处理结果,然后将所述当前访问数据处理结果作为第一云计算节点与所述
第二云计算节点之间的访问数据处理结果;
述中间访问处理结果进行标记后发送至所述差异计算模式下的第二云计算节点,并接收所
述差异计算模式下的第二云计算节点针对所述中间访问处理结果计算关联度后发送的访
问数据关联结果,并将所述访问数据关联结果作为第一云计算节点与所述第二云计算节点
之间的访问数据处理结果。
包括业务数据和协议数据中的至少之一,所述目标提取数据集用于对所述目标数据包进行
入库保存。
对应的业务数据在预设时间区间内被统计的次数;
占所有的业务数据提取窗口的长度的比值;
口对应的目标业务数据;
对应的第一关键信息数据集。
数据集时,将所述当前数据区块作为所述当前组的业务结束数据;
据之后的数据区块的步骤继续执行,直至得到多组的业务起始数据和业务结束数据。
为空业务数据集时,将所述当前数据区块作为所述当前组的业务结束数据之前,所述计算
节点还用于:
为空业务数据集;
所述第二设定时长阈值内的第一个非空业务数据集所对应的数据区块,作为遍历的下一个
当前数据区块,并返回所述当由遍历至的当前数据区块与所述当前组的业务起始数据所确
定的关键信息数据集时长小于第三设定时长阈值时,确定所述当前数据区块对应的业务数
据提取结果是否为空业务数据集的步骤继续执行。
时,可以用于:
初始匹配关键信息时,可以用于:
度;
关键信息确定为初始匹配关键信息;
初始匹配关键信息;
联度阈值,则将对应的核心关键信息丢弃。