一种云计算管理系统，包括云客户数据端、数据采集模块、数据传输模块和云计算中心，所述云客户数据端用于汇总储存本地客户的相关数据，所述数据采集模块用于对云客户数据端中的数据进行采集和安全检测，并将检测的安全数据通过数据传输模块传输至云计算中心，所述云计算中心用于对接收到的数据进行存储和处理。本发明提供一种云计算管理系统，通过对采集的数据进行安全检测，确保了云计算管理系统的安全性；对云计算中心的数据存储方式和处理方式进行改进，从而有效的提高了云计算系统中数据存储的可靠性，并保证了云节点之间负载的均衡，从而有效的提高了云计算系统的应用处理性能。
1.一种云计算管理系统，其特征是，包括云客户数据端、数据采集模块、数据传输模块和云计算中心，所述云客户数据端用于汇总储存本地客户的相关数据，所述数据采集模块用于对云客户数据端中储存的数据进行采集，并对采集得到的数据集进行安全检测，当检测所述数据集中的数据为安全数据时即通过数据传输模块传输至云计算中心，由云计算中心对所述安全数据进行分布式存储和处理；所述数据采集模块用于对采集得到的数据集进行安全检测，包括数据聚类部分和恶意数据检测部分，所述数据聚类部分采用模糊C均值聚类算法将采集的数据集划分为l个子类，并给每一个子类定义一个聚类中心，采用粒子群算法寻找最优聚类中心，设所述数据划分的类别集合为{C＝c1,c2,...,cl}，对应的聚类中心集合为{V＝v1,v2,...,vl}，则定义粒子群算法的适应度函数为：式中，m是模糊指数，vj为类cj的聚类中心，uij为数据集中第i个数据样本在类别cj中的隶属度，n为数据集中的数据总数，l为聚类中心的个数；在所述粒子群算法的第k次迭代后，将粒子群中各粒子按其适应度值由大到小进行排列后组成集合F(k)＝{hi(k),i＝1,2,...M}，其中，M为粒子种群规模，hi(k)为粒子i在第k次迭代时对应的适应度值，将集合F(k)按顺序划分为两个集合H(k)和L(k)，集合H(k)由集合F(k)中前 的粒子组成，集合L(k)中由集合F(k)中后 的粒子组成，当集合H(k)和集合L(k)中的粒子的适应度值满足条件值满足条件 时，其中， 为集合H(k)中各粒子适应度值的均值， 为集合L(k)中各粒子适应度值的均值，pbest(j)为第j次迭代时的全局最优值，pbest(j+1)为第(j+1)次迭代时的全局最优值，为设定的数值较小的正数，即采用迭代的方式对粒子群中的较优粒子进行局部调整，具体为：设当前局部调整迭代次数为t，设置局部调整最大迭代次数为Tmax，在集合H(k)中随机选取三个粒子xj(k)、xm(k)和xn(k)(j
设xc(t)为生成的新粒子xc在局部调整的第t次迭代时的位置，xc(t)对应的适应度函数为h(xc(t))，当h(xc(t))>h(xj(k))时，即用粒子xc(t)替换粒子xj(k)；当适应度值h(xm(k))
当局部调整的迭代次数达到局部调整的最大迭代次数Tmax时，即停止局部调整，当集合H(k)中存在粒子的适应度值高于全局最优值对应的适应度值，则令该粒子替换全局最优值，成为新的全局最优值；所述恶意数据检测部分用于判断各分类中的数据是否为恶性数据，当检测为恶性数据时即将该类中的数据删除。
2.根据权利要求1所述的一种云计算管理系统，其特征是，所述数据采集模块定时检测云客户数据端中是否有数据更新，当检测到有数据更新时即进行数据采集。
3.根据权利要求2所述的一种云计算管理系统，其特征是，云计算中心包括数据存储单元和数据处理单元，所述数据存储单元用于对接收到安全数据进行分布式存储，所述数据处理单元用于对存储后的数据进行处理。
4.根据权利要求3所述的一种云计算管理系统，其特征是，所述数据存储单元在Hadoop云计算框架下，将接收到的数据分割成L个大小为N的数据块，并采用下列方式选择云节点存储所述数据块，具体为：(1)定义云节点i的存储优先级为Ci，则存储优先级Ci的计算公式为：
式中，N表示分割的数据块大小，fi表示服务器的当前利用率，Fbest表示服务器的最优利用率，Si表示所述接收到的数据分割的L个数据块中已经分配到云节点i的数据块数量，Oi表示云节点i的磁盘读I/O性能，a和b为权重系数，且a+b＝1；
(2)定义各个云节点存储数据块数量的存储阈值为H，则云节点i对应的存储阈值Hi为：
式中，L表示分割的数据块总数，Ci为上述计算所得的云节点i的存储优先级，Ck为云节点k的存储优先级，Y表示云节点的总数，μ为调节参数；
(3)选择云节点对数据块进行存储，设置存储的数据块副本数为3，当上传该数据块的云节点为本地节点时，NameNode选择本地节点中具有最高存储优先级且存储的数据块数小于其存储阈值的云节点存储该数据块的第一副本，当上传该数据块的云节点不是本地节点时，随意选取一个机架中具有最高存储优先级且存储的数据块数小于其存储阈值的云节点作为本地节点，存储该数据块的第一副本，选择本地节点所在机架的任一节点存储该数据块的第二副本，选择另一机架上具有最高存储优先级且存储的数据块数小于其存储阈值的云节点存储该数据块的第三副本。
一种云计算管理系统
技术领域
[0001] 本发明创造涉及云计算领域，具体涉及一种云计算管理系统。
背景技术
[0002] 云计算是一种新兴的商业模式，它是分布式计算、并行计算、网格计算、虚拟化、负载均衡等技术融合发展的产物。云计算系统服务的实现主要依靠云数据中心完成，由于云计算技术的发展，对云数据中心的要求越来越复杂。云数据中心主要由数量巨大的服务器和网络设备组成，这些网络设备和服务器的异构性强，用户的需求复杂、要求高质量的服务、要求更合理的动态资源管理，因此对云数据中心提出了更高的要求。但实际上云数据中心目前存在着效率低、成本高、能耗高等问题。
[0003] 而云资源调度技术的进步、数据存储的均衡，将灵活地管理云数据中心资源，使得云资源的利用率不断提高，资源配置更优化，云资源浪费得到改善，降低云基础设施升级的成本，更好地满足用户的使用体验。
发明内容
[0004] 针对上述问题，本发明旨在提供一种云计算管理系统。
[0005] 本发明创造的目的通过以下技术方案实现：
[0006] 一种云计算管理系统，包括云客户数据端、数据采集模块、数据传输模块和云计算中心，所述云客户数据端用于汇总储存本地客户的相关数据，所述数据采集模块用于对云客户数据端中储存的数据进行采集，并对采集得到的数据集进行安全检测，当检测所述数据集为安全数据时即通过数据传输模块传输至云计算中心，由云计算中心对所述安全数据进行分布式存储和处理；所述数据采集模块用于对采集得到的数据集进行安全检测，包括数据聚类部分和恶意数据检测部分，所述数据聚类部分采用模糊C均值聚类算法将采集的数据集划分为l个子类，并给每一个子类定义一个聚类中心，采用粒子群算法寻找最优聚类中心，设所述数据划分的类别集合为{C＝c1,c2,…,cl}，对应的聚类中心集合为{V＝v1,v2,…,vl}，则定义粒子群算法的适应度函数为：
[0007]
[0008] 式中，m是模糊指数，vj为类cj的聚类中心，uij为数据集中第i个数据样本在类别cj中的隶属度，n为数据集中的数据总数，l为聚类中心的个数；所述恶意数据检测部分用于判断各分类中的数据是否为恶性数据，当检测为恶性数据时即将该类中的数据删除。
[0009] 优选地，在所述粒子群算法的第k次迭代后，将粒子群中各粒子按其适应度值由大到小进行排列后组成集合F(k)＝{hi(k),i＝1,2,…M}(其中，M为粒子种群规模，hi(k)为粒子i在第k次迭代时对应的适应度值)，将集合F(k)按顺序划分为两个集合H(k)和L(k)，集合H(k)由集合F(k)中前 的粒子组成，集合L(k)中由集合F(k)中后 的粒子组成，当集合H(k)和集合L(k)中的粒子的适应度值满足条件值满足条件时(其中， 为集合H(k)中各粒子适应度值的
均值， 为集合L(k)中各粒子适应度值的均值，pbest(j)为第j次迭代时的全局最优值，pbest(j+1)为第(j+1)次迭代时的全局最优值，为设定的数值较小的正数)，即采用迭代的方式对粒子群中的较优粒子进行局部调整，具体为：
[0010] 设当前局部调整迭代次数为t，设置局部调整最大迭代次数为Tmax，在集合H(k)中随机选取三个粒子xj(k)、xm(k)和xn(k)(j＜m＜n)，采用下式生成新的粒子：
[0011]
[0012] 式中， 为局部调整第t次迭代时生成的粒子xc在第d维的位置，d＝1,2,…,D，其中，D为粒子群算法的搜索空间， 为粒子群算法在第k次迭代时粒子xj在第d维的位置， 为粒子群算法在第k次迭代时粒子xm在第d维的位置， 为粒子群算法在第k次迭代时粒子xn在第d维的位置，a1和a2为随机生成局部调整方向参数，且a1和a2均为大于0小于1的随机数；
[0013] 设xc(t)为生成的新粒子xc在局部调整的第t次迭代时的位置，xc(t)对应的适应度函数为h(xc(t))，当h(xc(t))＞h(xj(k))时，即用粒子xc(t)替换粒子xj(k)；当适应度值h(xm(k))＜h(xc(t))＜h(xj(k))时，即用粒子xc(t)替换粒子xm(k)；当h(xn(k))＜h(xc(t))＜h(xm(k))时，即用xc(t)替换粒子xn(k)；当h(xc(t))＜h(xn(k))时，即随机初始化a1和a2；
[0014] 当局部调整的迭代次数达到局部调整的最大迭代次数Tmax时，即停止局部调整，当集合H(k)中存在粒子的适应度值高于全局最优值对应的适应度值时，则令该粒子替换全局最优值，成为新的全局最优值。
[0015] 优选地，所述数据采集模块定时检测云客户数据端中是否有数据更新，如果检测到有数据更新则进行数据采集。
[0016] 优选地，云计算中心包括数据存储单元和数据处理单元，所述数据存储单元用于对接收到的数据进行分布式存储，所述数据处理单元用于对存储后的数据进行处理。
[0017] 优选地，所述数据存储单元在Hadoop云计算框架下，将接收到的数据分割成L个大小为N的数据块，并采用下列方式选择云节点存储所述数据块，具体为：
[0018] (1)定义云节点i的存储优先级为Ci，则存储优先级Ci的计算公式为：
[0019]
[0020] 式中，N表示分割的数据块大小，fi表示服务器的当前利用率，Fbest表示服务器的最优利用率，Si表示该文件已经分配到云节点i的数据块数量，Oi表示云节点i的磁盘读I/O性能，a和b为权重系数，且a+b＝1；
[0021] (2)定义各个云节点存储数据块数量的存储阈值为H，则云节点i对应的存储阈值Hi为：
[0022]
[0023] 式中，L表示分割的数据块总数，Ci为上述计算所得的云节点i的存储优先级，Ck为云节点k的存储优先级，Y表示云节点的总数，μ为调节参数；
[0024] (3)选择云节点对数据块进行存储，设置存储的数据块副本数为3，当上传该数据块的云节点为本地节点时，NameNode选择本地节点中具有最高存储优先级且存储的数据块数小于其存储阈值的云节点存储该数据块的第一副本(当上传该数据块的云节点不是本地节点时，随意选取一个机架中具有最高存储优先级且存储的数据块数小于其存储阈值的云节点作为本地节点，存储该数据块的第一副本)，选择本地节点所在机架的任一节点存储该数据块的第二副本，选择另一机架上具有最高存储优先级且存储的数据块数小于其存储阈值的云节点存储该数据块的第三副本。
[0025] 本发明创造的有益效果：提供一种云计算管理系统，通过对采集得到的数据集进行安全检测，保证了云计算管理系统的安全性；对云计算中心的数据存储方式和处理方式进行改进，从而有效的提高了云计算系统中数据存储的可靠性，并保证了云节点之间负载的均衡，从而有效的提高了云计算系统的应用处理性能。
附图说明
[0026] 利用附图对发明创造作进一步说明，但附图中的实施例不构成对本发明创造的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
[0027] 图1是本发明结构示意图。
具体实施方式
[0028] 结合以下实施例对本发明作进一步描述。
[0029] 参见图1，本实施例的一种云计算管理系统，包括云客户数据端1、数据采集模块2、数据传输模块3和云计算中心4，所述云客户数据端1用于汇总储存本地客户的相关数据，所述数据采集模块2用于对云客户数据端1中储存的数据进行采集，并对采集得到的数据集进行安全检测，当检测所述数据集为安全数据时即通过数据传输模块3传输至云计算中心4，由云计算中心4对所述安全数据进行分布式存储和处理；所述数据采集模块2用于对采集得到的数据集进行安全检测，包括数据聚类部分和恶意数据检测部分，所述数据聚类部分采用模糊C均值聚类算法将采集的数据集划分为l个子类，并给每一个子类定义一个聚类中心，采用粒子群算法寻找最优聚类中心，设所述数据划分的类别集合为{C＝c1,c2,…,cl}，对应的聚类中心集合为{V＝v1,v2,…,vl}，则定义粒子群算法的适应度函数为：
[0030]
[0031] 式中，m是模糊指数，vj为类cj的聚类中心，uij为数据集中第i个数据样本在类别cj中的隶属度，n为数据集中的数据总数，l为聚类中心的个数；所述恶意数据检测部分用于判断各分类中的数据是否为恶性数据，当检测为恶性数据时即将该类中的数据删除。
[0032] 本优选实施例通过对采集得到的数据集进行安全检测，保证了云计算管理系统的安全性；对云计算中心的数据存储方式和处理方式进行改进，从而有效的提高了云计算系统中数据存储的可靠性，并保证了云节点之间负载的均衡，从而有效的提高了云计算系统的应用处理性能。
[0033] 优选地，在所述粒子群算法的第k次迭代后，将粒子群中各粒子按其适应度值由大到小进行排列后组成集合F(k)＝{hi(k),i＝1,2,…M}(其中，M为粒子种群规模，hi(k)为粒子i在第k次迭代时对应的适应度值)，将集合F(k)按顺序划分为两个集合H(k)和L(k)，集合H(k)由集合F(k)中前 的粒子组成，集合L(k)中由集合F(k)中后 的粒子组成，当集合H(k)和集合L(k)中的粒子的适应度值满足条件值满足条件时(其中， 为集合H(k)中各粒子适应度值的
均值， 为集合L(k)中各粒子适应度值的均值，pbest(j)为第j次迭代时的全局最优值，pbest(j+1)为第(j+1)次迭代时的全局最优值，为设定的数值较小的正数)，即采用迭代的方式对粒子群中的较优粒子进行局部调整，具体为：
[0034] 设当前局部调整迭代次数为t，设置局部调整最大迭代次数为Tmax，在集合H(k)中随机选取三个粒子xj(k)、xm(k)和xn(k)(j＜m＜n)，采用下式生成新的粒子：
[0035]
[0036] 式中， 为局部调整第t次迭代时生成的粒子xc在第d维的位置，d＝1,2,…,D，其中，D为粒子群算法的搜索空间， 为粒子群算法在第k次迭代时粒子xj在第d维的位置， 为粒子群算法在第k次迭代时粒子xm在第d维的位置， 为粒子群算法在第k次迭代时粒子xn在第d维的位置，a1和a2为随机生成局部调整方向参数，且a1和a2均为大于0小于1的随机数；
[0037] 设xc(t)为生成的新粒子xc在局部调整的第t次迭代时的位置，xc(t)对应的适应度函数为h(xc(t))，当h(xc(t))＞h(xj(k))时，即用粒子xc(t)替换粒子xj(k)；当适应度值h(xm(k))＜h(xc(t))＜h(xj(k))时，即用粒子xc(t)替换粒子xm(k)；当h(xn(k))＜h(xc(t))＜h(xm(k))时，即用xc(t)替换粒子xn(k)；当h(xc(t))＜h(xn(k))时，即随机初始化a1和a2；
[0038] 当局部调整的迭代次数达到局部调整的最大迭代次数Tmax时，即停止局部调整，当集合H(k)中存在粒子的适应度值高于全局最优值对应的适应度值时，则令新该粒子替换全局最优值，成为新的全局最优值。
[0039] 本优选实施例引入的局部调整策略较好的平衡了粒子群的全局搜索能力和局部搜索能力，避免了算法容易陷入局部极值的缺陷，提高了算法的搜索速度，减少了算法的迭代次数和运算时间；采用迭代式局部调整策略，避免了传统的采用步长因子的局部搜索策略中步长因子难以确定的缺陷，同时增加了粒子群对整个搜索空间的搜索水平。
[0040] 优选地，所述恶意数据检测部分用于判断各分类中数据是否为恶性数据，设数据聚类部分将所述数据集划分的类别集合{C＝c1,c2,…,cl}，定义恶意数据判断因子为F(cp)，则F(cp)的计算公式为：
[0041]
[0042] 式中，F(cp)为类别cp对应的恶意数据判断因子，l为类别数，θ为调节参数，且θ＜1；
[0043] 取使得 的最小e值(其中，ρ为设置的阈值)，计算类别集合{C}中每个类别所对应的恶意数据判断因子，并将计算所得的恶意数据判断因子值按递减的顺序进行排列，则判定前e个类别为恶意数据类别。
[0044] 本优选实施例通过定义恶意数据判断因子对划分的类别进行判断，有效的实现了恶意数据类别的判断，从而实现了对采集得到的数据集中恶意数据的拦截。
[0045] 优选地，所述数据采集模块2定时检测云客户数据端1中是否有数据更新，如果检测到有数据更新即进行数据采集。
[0046] 优选地，云计算中心4包括数据存储单元41和数据处理单元42，所述数据存储单元41用于对接收到的数据进行分布式存储，所述数据处理单元42用于对存储后的数据进行处理。
[0047] 优选地，所述数据存储单元41在Hadoop云计算框架下，将接收到的数据分割成L个大小为N的数据块，并采用下列方式选择云节点存储所述数据块，具体为：
[0048] (1)定义云节点i的存储优先级为Ci，则存储优先级Ci的计算公式为：
[0049]
[0050] 式中，N表示分割的数据块大小，fi表示服务器的当前利用率，Fbest表示服务器的最优利用率，Si表示该文件已经分配到云节点i的数据块数量，Oi表示云节点i的磁盘读I/O性能，a和b为权重系数，且a+b＝1；
[0051] (2)定义各个云节点存储数据块数量的存储阈值为H，则云节点i对应的存储阈值Hi为：
[0052]
[0053] 式中，L表示分割的数据块总数，Ci为上述计算所得的云节点i的存储优先级，Ck为云节点k的存储优先级，Y表示云节点的总数，μ为调节参数；
[0054] (3)选择云节点对数据块进行存储，设置存储的数据块副本数为3，当上传该数据块的云节点为本地节点时，NameNode选择本地节点中具有最高存储优先级且存储的数据块数小于其存储阈值的云节点存储该数据块的第一副本(当上传该数据块的云节点不是本地节点时，随意选取一个机架中具有最高存储优先级且存储的数据块数小于其存储阈值的云节点作为本地节点，存储该数据块的第一副本)，选择本地节点所在机架的任一节点存储该数据块的第二副本，选择另一机架上具有最高存储优先级且存储的数据块数小于其存储阈值的云节点存储该数据块的第三副本。
[0055] 本优选实施例在对数据块进行存储时，设置存储的数据块副本数为3，能够有效的平衡系统性能和存储空间效率，在选择云节点对数据块进行存储，引入了云节点的存储优先级和存储阈值两个条件，存储优先级的限制使得选择的云节点具有较高的数据处理能力，存储阈值的限制能够控制每个文件在各个云节点上存储的数据块数量，从而能够有效的平衡各个云节点之间数据处理时间；此外，在计算各个云节点的存储优先级时，综合考虑了云节点的自身性能和数据处理的能力，进而根据云节点的存储优先级设置其对应的存储阈值，使得具有较高性能的云节点中能够存储较多的数据块，从而有利于节点之间的均衡存储，从而提高系统性能。
[0056] 优选地，所述数据处理单元42用于对存储后的数据块进行处理，并在处理过程中检测各个云节点上的任务运行情况，判断落后任务，对检测到的落后任务进行数据备份，定义云节点的权重为D，则云节点权重D的计算公式为：
[0057]
[0058] 式中，Dj表示云节点j的权重， 表示当前时刻云节点j上任务运行的实时速度，表示当前时刻云节点任务运行的平均实时速度，taskj表示云节点j上正在执行的任务个数，Taskj表示云节点j上允许执行的最大任务数，A和B表示权重系数，且A+B＝1；
[0059] 当云节点i上运行的落后任务为map任务时，选择本地机架中具有最高权重D的云节点作为对该落后任务进行数据备份的候选节点，若本地机架中没有空闲任务槽进行数据备份，则选择异地机架中具有最高权重D的云节点作为对该落后任务进行备份的候选节点，当云节点i上运行的异常任务为reduce任务时，选择云节点中具有最高权重D的云节点作为该落后任务进行数据备份的候选节点；
[0060] 设选取的候选节点为n，节点i中的任务为落后任务，对候选节点n进行检验，当候选节点n满足下列条件时，即令候选节点n对该落后任务进行数据备份，否则放弃对该落后任务进行备份，
[0061]
[0062] 式中，taskn表示云节点n上正在运行的任务数，progressi表示云节点i上任务运行的当前进度值， 表示候选节点n上任务运行的实时速度， 表示云节点i上任务运行的实时速度。
[0063] 本优选实施例对检测到的落后任务进行备份处理，相较于传统的随意选择云节点进行备份的方法，本优选实施例定义了云节点权重的计算方法，并选取具有最高权重的云节点作为对落后任务进行数据备份的候选节点，使得选取的进行数据备份的候选节点自身具有较少的任务数的同时，具有较高的任务处理速率，从而能够保证云节点之间的负载均衡；此外，对候选节点进行验证后，才决定是否进行数据备份，从而保证了数据备份任务的有效性，避免了启动无效备份任务造成的资源浪费。
[0064] 最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
