本发明公开一种基于大数据的资源数据处理方法及系统。所述方法包括：云平台获取客户端资源数据；从资源数据中提取安全数据，计算对应客户端的安全性能，根据客户端安全性能选择对应的分布式处理节点；将资源数据进行字段分割，对分割后的资源数据进行变形处理，得到变形字段，将变形字段发送给对应的分布式处理节点进行分布式存储；记录存储日志。本发明对不同安全级别的客户端数据进行分类分布式处理节点存储，并对分布式存储的数据进行安全处理，保证资源数据存储的安全性，并提高资源数据处理效率。
1.一种基于大数据的资源数据处理方法，其特征在于，包括：
从资源数据中提取安全数据，计算对应客户端的安全性能，根据客户端安全性能选择对应的分布式处理节点；
将资源数据进行字段分割，对分割后的资源数据进行变形处理，得到变形字段，将变形字段发送给对应的分布式处理节点进行分布式存储；
客户端资源数据包括客户端属性数据和安全数据，根据安全数据计算客户端安全性能，在分布式处理节点中存储客户端属性数据；
采用公式 计算客户端的安全性，其中，为客户端的安全性，表
示客户端的地址是否为云平台的非法地址域，若否，则 为1，若是，则 为0；为客户端与云平台的关联因子，该值为客户端在云平台上注册时所给定的值； 为客户端的第i个安全数据，包括硬件安全等级、软件安全等级、网络安全等级，i的取值为1到n，n为安全数据总数； 为第i个安全因子对客户端的安全性的影响权重；
在数据存储时，若要存储数据为X，X分为N个字段，分别为 ，存储方式为对每个字段进行如下操作：对 字段进行公式 计算，为 字段变形后的存储数据， 为源存储数据， 表示为 字段设定的分配因子；变形之后将字段 和均发送给对应分布式处理节点进行存储；在存储日志中记录存储客户端资源数据的分布式处理节点和其对应的分配因子 。
2.如权利要求1所述的一种基于大数据的资源数据处理方法，其特征在于，服务器在各分布式处理节点中存储的数据有安全级别，根据数据的安全性存储。
3.如权利要求1所述的一种基于大数据的资源数据处理方法，其特征在于，在云平台中为数据的安全性设置若干安全等级，每个等级都有对应的预设等级范围值；在计算出客户端安全性之后，从上述安全等级中确定该资源数据对应的客户端等级和对应的若干分布式处理节点，将资源数据分发给分布式处理节点中进行存储。
4.如权利要求1所述的一种基于大数据的资源数据处理方法，其特征在于，在存储日志中记录存储客户端资源数据的分布式处理节点和其对应的分配因子。
5.一种基于大数据的资源数据处理系统，其特征在于，包括：云平台、客户端和分布式处理节点；
云平台从资源数据中提取安全数据，计算对应客户端的安全性能，根据客户端安全性能选择对应的分布式处理节点；
云平台将资源数据进行字段分割，对分割后的资源数据进行变形处理，得到变形字段，将变形字段发送给对应的分布式处理节点进行分布式存储；
客户端资源数据包括客户端属性数据和安全数据，根据安全数据计算客户端安全性能，在分布式处理节点中存储客户端属性数据；
采用公式 计算客户端的安全性，其中，为客户端的安全性，表
示客户端的地址是否为云平台的非法地址域，若否，则 为1，若是，则 为0；为客户端与云平台的关联因子，该值为客户端在云平台上注册时所给定的值； 为客户端的第i个安全数据，包括硬件安全等级、软件安全等级、网络安全等级，i的取值为1到n，n为安全数据总数； 为第i个安全因子对客户端的安全性的影响权重；
在数据存储时，若要存储数据为X，X分为N个字段，分别为 ，存储方式为对每个字段进行如下操作：对 字段进行公式 计算，为 字段变形后的存储数据， 为源存储数据， 表示为 字段设定的分配因子；变形之后将字段 和均发送给对应分布式处理节点进行存储；在存储日志中记录存储客户端资源数据的分布式处理节点和其对应的分配因子 。
6.如权利要求5所述的一种基于大数据的资源数据处理系统，其特征在于，服务器在各分布式处理节点中存储的数据有安全级别，根据数据的安全性存储。
7.如权利要求5所述的一种基于大数据的资源数据处理系统，其特征在于，在云平台中为数据的安全性设置若干安全等级，每个等级都有对应的预设等级范围值；在计算出客户端安全性之后，从上述安全等级中确定该资源数据对应的客户端等级和对应的若干分布式处理节点，将资源数据分发给分布式处理节点中进行存储。
8.如权利要求5所述的一种基于大数据的资源数据处理系统，其特征在于，在存储日志中记录存储客户端资源数据的分布式处理节点和其对应的分配因子。
一种基于大数据的资源数据处理方法及系统
技术领域
[0001] 本发明涉及大数据技术领域，尤其涉及一种基于大数据的资源数据处理方法及系统。
背景技术
[0002] 云计算平台也称为云平台，是指基于硬件资源和软件资源的服务，提供计算、网络和存储能力。云计算平台可以划分为3类：以数据存储为主的存储型云平台，以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台。
[0003] 资源数据处理包括对资源数据的采集和分析和存储，对于资源数据的存储，一般是将接收到的资源数据进行数据归类化统计，并达成统一收集等效果。现有的数据存储方法，往往是将数据直接存储到有空余的存储空间中，并不会考虑数据本身，由此现有技术中数据的安全性也不是存储阶段所考虑的问题。基于此本发明提出一种一种基于大数据的资源数据处理方法及系统，对数据进行安全性处理，进一步保障数据的安全性。
发明内容
[0004] 本发明提供了一种基于大数据的资源数据处理方法，包括：
[0005] 云平台获取客户端资源数据；
[0006] 从资源数据中提取安全数据，计算对应客户端的安全性能，根据客户端安全性能选择对应的分布式处理节点；
[0007] 将资源数据进行字段分割，对分割后的资源数据进行变形处理，得到变形字段，将变形字段发送给对应的分布式处理节点进行分布式存储；
[0008] 记录存储日志。
[0009] 如上所述的一种基于大数据的资源数据处理方法，其中，客户端资源数据包括客户端属性数据和安全数据，根据安全数据计算客户端安全性能，在分布式处理节点中存储客户端属性数据。
[0010] 如上所述的一种基于大数据的资源数据处理方法，其中，服务器在各分布式处理节点中存储的数据有安全级别，根据数据的安全性存储。
[0011] 如上所述的一种基于大数据的资源数据处理方法，其中，在云平台中为数据的安全性设置若干安全等级，每个等级都有对应的预设等级范围值；在计算出客户端安全性之后，从上述安全等级中确定该资源数据对应的客户端等级和对应的若干分布式处理节点，将资源数据分发给分布式处理节点中进行存储。
[0012] 如上所述的一种基于大数据的资源数据处理方法，其中，在存储日志中记录存储客户端资源数据的分布式处理节点和其对应的分配因子。
[0013] 本发明还提供一种基于大数据的资源数据处理系统，包括：云平台、客户端和分布式处理节点；
[0014] 云平台获取客户端资源数据；
[0015] 云平台从资源数据中提取安全数据，计算对应客户端的安全性能，根据客户端安全性能选择对应的分布式处理节点；
[0016] 云平台将资源数据进行字段分割，对分割后的资源数据进行变形处理，得到变形字段，将变形字段发送给对应的分布式处理节点进行分布式存储；
[0017] 云平台记录存储日志。
[0018] 如上所述的一种基于大数据的资源数据处理系统，其中，客户端资源数据包括客户端属性数据和安全数据，根据安全数据计算客户端安全性能，在分布式处理节点中存储客户端属性数据。
[0019] 如上所述的一种基于大数据的资源数据处理系统，其中，服务器在各分布式处理节点中存储的数据有安全级别，根据数据的安全性存储。
[0020] 如上所述的一种基于大数据的资源数据处理系统，其中，在云平台中为数据的安全性设置若干安全等级，每个等级都有对应的预设等级范围值；在计算出客户端安全性之后，从上述安全等级中确定该资源数据对应的客户端等级和对应的若干分布式处理节点，将资源数据分发给分布式处理节点中进行存储。
[0021] 如上所述的一种基于大数据的资源数据处理系统，其中，在存储日志中记录存储客户端资源数据的分布式处理节点和其对应的分配因子。
[0022] 本发明实现的有益效果如下：本发明对不同安全级别的客户端数据进行分类分布式处理节点存储，并对分布式存储的数据进行安全处理，保证资源数据存储的安全性，并提高资源数据处理效率。
附图说明
[0023] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0024] 图1是本发明实施例一提供的一种基于大数据的资源数据处理方法流程图；
[0025] 图2是本发明实施例二提供的一种基于大数据的资源数据处理系统示意图。
具体实施方式
[0026] 下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。实施例一
[0027] 如图1所示，本发明实施例一提供一种基于大数据的资源数据处理方法，包括：
[0028] 步骤110、云平台获取客户端资源数据；
[0029] 步骤120、从资源数据中提取安全数据，计算对应客户端的安全性能，根据客户端安全性能选择对应的分布式处理节点；
[0030] 云平台接收到的客户端资源数据中包括资源属性数据和安全数据，安全数据决定云平台对这些资源数据的后续存储方式。
[0031] 具体地，采用公式 计算客户端的安全性，其中，为客户端的安全性，表示客户端的地址是否为云平台的非法地址域，若否，则 为1，若是，则 为0；
为客户端与云平台的关联因子，该值为客户端在云平台上注册时所给定的值； 为客户端的第i个安全数据，包括硬件安全等级、软件安全等级、网络安全等级，i的取值为1到n，n为安全数据总数； 为第i个安全因子对客户端的安全性的影响权重。
[0032] 在云平台中为数据的安全性设置若干安全等级，例如A等级、B等级、C等级、D等级，每个等级都有对应的预设等级范围值，例如A等级最高，可以设置为安全属性值超过预设值Rsmax的客户端可以获取/存储，B等级次之，可以设置安全属性值在0 Rsmax的客户端可以~获取/存储，C等级再次之，可以设置安全属性值在Rsmin Rsmax（Rsmax＞Rsmin＞0）的客户~
端可以获取/存储，D等级最低，可以设置安全属性值在0 Rsmin的客户端可以获取/存储。
~
[0033] 在计算出客户端安全性之后，就可以从上述等级中确定该资源数据对应的客户端等级和对应的若干分布式处理节点，将资源数据分发给分布式处理节点中进行存储。优选地，处理节点可以是在云平台上注册的多台虚拟机/物理机，也可以是服务器集群中的若干服务器，在此不作限定。
[0034] 本申请实施例中，客户端A在上传数据到云平台之后，云平台计算出客户端A的安全性能可以在B等级之下的处理节点中存储，比如处理节点找到的处理节点为B1、B2、B3、B4、B5，但是本申请的处理节点B1、B2中对于存储数据具有一定的限定，所以本申请在进行分布式处理节点存储时，在找到可以存储的处理节点之后，要分别计算这些处理节点对客户端数据的开放情况。
[0035] 具体地，采用公式 计算分布式处理节点对客户端数据的开放度，其中， 表示分布式处理节点对客户端数据的开放度；e=2.718；N表示客户端数据在该处理节点中存储的数据次数；表示该客户端在该处理节点中存储的数据量，表示该处理节点的总存储量，表示客户端安全性， 表示处理节点的安全等级。
[0036] 从各处理节点中选择对该客户端数据开放度较高的若干处理节点，进行客户端资源数据的存储。
[0037] 步骤130、将资源数据进行字段分割，对分割后的资源数据进行变形处理，得到变形字段，将变形字段发送给对应的分布式处理节点进行分布式存储；
[0038] 具体地，在数据存储时，例如要存储数据为X，X分为N个字段，分别为 ，存储方式为对每个字段进行如下操作：对 字段进行公式 计算， 为字段变形后的存储数据， 为源存储数据， 表示为 字段设定的分配因子。变形之后将字段 和 均发送给对应分布式处理节点进行存储。
[0039] 步骤140、记录存储日志；
[0040] 具体地，在此条存储日志中记录存储客户端资源数据的分布式处理节点和其对应的分配因子 。
[0041] 实施例二
[0042] 如图2所示，本发明实施例二提供一种基于大数据的资源数据处理系统，包括：云平台21、客户端22和分布式处理节点23。其中：
[0043] 云平台21获取客户端22资源数据；从资源数据中提取安全数据，计算对应客户端22的安全性能，根据客户端22安全性能选择对应的分布式处理节点23；
[0044] 云平台21接收到的客户端资源数据中包括资源属性数据和安全数据，安全数据决定云平台对这些资源数据的后续存储方式。
[0045] 具体地，采用公式 计算客户端的安全性，其中，为客户端的安全性，表示客户端的地址是否为云平台的非法地址域，若否，则 为1，若是，则 为0；
为客户端与云平台的关联因子，该值为客户端在云平台上注册时所给定的值； 为客户端的第i个安全数据，包括硬件安全等级、软件安全等级、网络安全等级，i的取值为1到n，n为安全数据总数； 为第i个安全因子对客户端的安全性的影响权重。
[0046] 在云平台中为数据的安全性设置若干安全等级，例如A等级、B等级、C等级、D等级，每个等级都有对应的预设等级范围值，例如A等级最高，可以设置为安全属性值超过预设值Rsmax的客户端可以获取/存储，B等级次之，可以设置安全属性值在0 Rsmax的客户端可以~获取/存储，C等级再次之，可以设置安全属性值在Rsmin Rsmax（Rsmax＞Rsmin＞0）的客户~
端可以获取/存储，D等级最低，可以设置安全属性值在0 Rsmin的客户端可以获取/存储。
~
[0047] 在计算出客户端安全性之后，就可以从上述等级中确定该资源数据对应的客户端等级和对应的若干分布式处理节点，将资源数据分发给分布式处理节点中进行存储。优选地，处理节点可以是在云平台上注册的多台虚拟机/物理机，也可以是服务器集群中的若干服务器，在此不作限定。
[0048] 本申请实施例中，客户端A在上传数据到云平台之后，云平台计算出客户端A的安全性能可以在B等级之下的处理节点中存储，比如处理节点找到的处理节点为B1、B2、B3、B4、B5，但是本申请的处理节点B1、B2中对于存储数据具有一定的限定，所以本申请在进行分布式处理节点存储时，在找到可以存储的处理节点之后，要分别计算这些处理节点对客户端数据的开放情况。
[0049] 具体地，采用公式 计算分布式处理节点对客户端数据的开放度，其中， 表示分布式处理节点对客户端数据的开放度；e=2.718；N表示客户端数据在该处理节点中存储的数据次数；表示该客户端在该处理节点中存储的数据量，表示该处理节点的总存储量，表示客户端安全性， 表示处理节点的安全等级。
[0050] 从各处理节点中选择对该客户端数据开放度较高的若干处理节点，进行客户端资源数据的存储。
[0051] 云平台21将资源数据进行字段分割，对分割后的资源数据进行变形处理，得到变形字段，将变形字段发送给对应的分布式处理节点23进行分布式存储；记录存储日志；
[0052] 具体地，在数据存储时，例如要存储数据为X，X分为N个字段，分别为 ，存储方式为对每个字段进行如下操作：对 字段进行公式 计算， 为字段变形后的存储数据， 为源存储数据， 表示为 字段设定的分配因子，分配因子可以随机设定满足 ，也可以令 。变形之后将字段 和 均发送给对应分布式处理节点进行存储。
[0053] 在此条存储日志中记录存储客户端资源数据的分布式处理节点和其对应的分配因子 。
[0054] 以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
