区块链数据平衡负载的索引系统及方法转让专利
申请号 : CN202011207604.5
文献号 : CN112100185B
文献日 : 2021-04-30
发明人 : 王桂东
申请人 : 深圳市穗彩科技开发有限公司
摘要 :
权利要求 :
1.一种区块链数据平衡负载的索引系统,其特征在于,所述系统包括:三个子区块链网络,分别为:由多个节点组成的数据区块链网络、由多个存储节点组成的存储区块链网络和由多个虚拟节点组成的虚拟区块链网络;所述数据区块链网络配置用于提供区块链服务,数据进入系统后,首先进入数据区块链网络,数据区块链网络对进入系统的数据进行调用;
所述虚拟节点,配置用于实时获取进入系统的数据,将数据进行哈希计算后,均衡映射到虚拟区块链网络中的多个节点;所述虚拟区块链网络中的节点接收到均衡映射后的数据后,进行第二次均衡映射,将数据映射至存储区块链网络中的存储节点中;所述存储区块链网络中的存储节点接收到经过第二次均衡映射后的数据后,对数据进行均衡处理;所述存储节点均为多个分布式存储单元组成的分布式处理网络;所述存储单元又由多个分布式存储子单元组成;所述存储节点包括:获取单元,配置用于获取K个存储单元上每个存储子单元的P个权重因子的负载度和P个权重值,K和P均为大于1的整数;优先度计算单元,用于根据所述P个权重因子的负载度和所述P个权重值进行加权平均得到每个存储子单元的优先度;
标准分片数计算单元,用于根据每个存储单元关联的存储子单元的优先度得到标准分片数;均衡判断单元,用于根据所述K个存储单元各自对应的标准分片数判断数据分布是否满足数据均衡条件;均衡单元,用于若所述均衡判断单元的判断结果为否,对所述K个存储单元进行数据均衡处理;所述虚拟节点,实时获取进入系统的数据,将数据进行哈希计算的方法执行以下步骤:在数据中选取一个目标区间,提取目标区间的感知哈希特征作为模板特征,并对数据特征算子进行初始化定位;建立两个路由表,分别为第一路由表和第二路由表;在第一路由表中,对数据特征算子进行状态坐标路由映射,对路由映射的数据特征算子位置处标注预测区域;在第二路由表中,对每一个路由映射区域提取感知哈希特征,并计算路由映射区域与目标区间的相似度;根据离目标远近的位置贡献以及感知哈希特征相似度大小更新数据特征算子权重,确定估计目标的位置,得到新的目标区间;根据数据特征算子大小和重采样估计值得到路由表中的下一个数据特征算子;得到每个路由映射区域与目标区间的相似度后,结合离目标远近的位置贡献更新数据特征算子的权重;更新完成预测数据特征算子的权重后,计算出目标的最优预测位置作为估计目标的位置,即为新的目标区间;更新权重方法为:为减少非目标位置的数据特征算子权重,根据离目标远近的位置贡献以及计算的感知哈希相似度大小两种线索共同实现自适应的调整数据特征算子权重:;其中, 是指t位置第i个数据特征算子的权重,是指t位置第i个数据特征算子的相似度,是指t 位置第i个数据特征算子的坐标位置横坐标,是指t位置第i个数据特征算子的坐标位置纵坐标,W和H是指目标区间的半宽和半高; 是指0位置第1个数据特征算子的坐标位置横坐标; 是指0位置第1个数据特征算子的坐标位置纵坐标。
2.如权利要求1所述的区块链数据平衡负载的索引系统,其特征在于,所述均衡单元包括:模拟迁移单元,根据预设的数据搬移规则对所述K个存储单元关联的存储子单元进行模拟迁移;判断单元,用于判断模拟迁移后的所述K个存储单元是否满足所述数据均衡条件;
实际迁移单元,若所述判断单元的判断结果为是,根据所述数据搬移规则对所述K个存储单元关联的存储子单元进行实际迁移;裂变单元,用于若所述判断单元的判断结果为否,从所述K个存储单元关联的存储子单元中选择至少一个存储子单元进行裂变,裂变后根据所述数据搬移规则对所述K个存储单元关联的存储子单元进行实际迁移。
3.如权利要求2所述的区块链数据平衡负载的索引系统,其特征在于,所述裂变单元配置用于确定所述K个存储单元中标准分片数最大的存储单元;确定所述标准分片数最大的存储单元中优先度最大的存储子单元;将所述优先度最大的存储子单元分裂为至少两个相同大小的存储子单元。
4.如权利要求3所述的区块链数据平衡负载的索引系统,其特征在于,所述数据搬移规则包括:根据优先度将所述K个存储单元关联的存储子单元进行分组;将每组内的存储子单元平均分配给所述K个存储单元;其中,同一组内的存储单元分配整数个存储子单元;将各个组进行平均分配后剩余的存储子单元重新分配给所述K个存储单元。
5.一种区块链数据平衡负载的索引方法,其特征在于,所述方法基于如权利要求1至4任一项所述的区块链数据平衡负载的索引系统实现。
说明书 :
区块链数据平衡负载的索引系统及方法
技术领域
背景技术
同时作为比特币的底层技术,是一串使用密码学方法相关联产生的数据块,每一个数据块
中包含了一批次比特币网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区
块。
希值范围。在分布式数据库系统新增物理节点或删除物理节点时,通过调整各个物理节点
关联的虚拟节点的数量,使各个物理节点关联的虚拟节点的数量趋于相等,使分布式数据
库系统的所有物理节点实现虚拟节点的均衡。但是,在虚拟节点的数据分布存在较大波动
的情况下,为了保证业务能正常进行,需要考虑物理节点的资源的盈余,根据数据量最大的
要求部署物理节点,导致成本的增加;或者不考虑物理节点的资源的盈余的情况下,可能会
导致物理节点过载,业务失败。
发明内容
于哈希计算的路由功能和数据特征算子的更新方法,提升了数据均衡处理的效率;在多重
数据均衡处理过程中,借助于哈希映射的唯一性,保证了数据均衡处理后的数据差错率维
持在较低水平。
点组成的虚拟区块链网络;所述数据区块链网络配置用于提供区块链服务,数据进入系统
后,首先进入数据区块链网络,数据区块链网络对进入系统的数据进行调用;所述虚拟节
点,配置用于实时获取进入系统的数据,将数据进行哈希计算后,均衡映射数据到虚拟区块
链网络中的多个节点;所述虚拟区块链网络中的节点接收到均衡映射后的数据后,进行第
二次均衡映射,将数据映射至存储区块链网络中的存储节点中;所述存储区块链网络中的
存储节点接收到经过第二次均衡映射后的数据后,对数据进行均衡处理;所述存储节点均
为多个分布式存储单元组成的分布式处理网络;所述存储单元又由多个分布式存储子单元
组成;所述存储节点包括:获取单元,配置用于获取K个存储单元上每个存储子单元的P个权
重因子的负载度和P个权重值,K和P均为大于1的整数;优先度计算单元,用于根据所述P个
权重因子的负载度和所述P个权重值进行加权平均得到每个存储子单元的优先度;标准分
片数计算单元,用于根据每个存储单元关联的存储子单元的优先度得到标准分片数;均衡
判断单元,用于根据所述K个存储单元各自对应的标准分片数判断数据分布是否满足数据
均衡条件;均衡单元,用于若所述均衡判断单元的判断结果为否,对所述K个存储单元进行
数据均衡处理。
并对数据特征算子进行初始化定位;建立两个路由表,分别为第一分区路由表和第二分区
路由表;在第一分区路由表中,对数据特征算子进行状态坐标路由映射,对路由映射的数据
特征算子位置处标注预测区域;在第二分区路由表中,对每一个路由映射区域提取感知哈
希特征,并计算路由映射区域与目标区间的相似度;根据离目标远近的位置贡献以及感知
哈希特征相似度大小更新数据特征算子权重,确定估计目标的位置,得到新的目标区间;根
据数据特征算子大小和重采样估计值得到路由表中的下一个数据特征算子;得到每个路由
映射区域与目标区间的相似度后,结合离目标远近的位置贡献更新数据特征算子的权重;
更新完成预测数据特征算子的权重后,计算目标的最优预测位置作为估计目标的位置,即
为新的目标区间;更新权重方法为:为减少非目标位置的数据特征算子权重,根据离目标远
近的位置贡献以及计算的感知哈希相似度大小两种线索共同实现自适应的调整数据特征
算子权重: ;其中, 是指t位置第i个数据特
征算子的权重, 是指t位置第i个数据特征算子的相似度, 是指t位置第i个数据特征算
子的坐标位置横坐标, 是指t位置第i个数据特征算子的坐标位置纵坐标,W和H是指目标
区间的半宽和半高; 是指0位置第1个数据特征算子的坐标位置横坐标; 是指0位置第1
个数据特征算子的坐标位置纵坐标。
储单元是否满足所述数据均衡条件;实际迁移单元,若所述判断单元的判断结果为是,根据
所述数据搬移规则对所述K个存储单元关联的存储子单元进行实际迁移;裂变单元,用于若
所述判断单元的判断结果为否,从所述K个存储单元关联的存储子单元中选择至少一个存
储子单元进行裂变,裂变后根据所述数据搬移规则对所述K个存储单元关联的存储子单元
进行实际迁移。
最大的存储子单元分裂为至少两个相同大小的存储子单元。
储单元分配整数个存储子单元;将各个组进行平均分配后剩余的存储子单元重分配给所述
K个存储单元。
助于哈希计算的路由功能和数据特征算子的更新方法,提升了数据均衡处理的效率;在多
重数据均衡处理过程中,借助于哈希映射的唯一性,保证了数据均衡处理后的数据差错率
维持在较低水平。主要通过以下过程实现:1.多重数据均衡:本发明通过建立区块链网络之
间的虚拟区块链网络和存储区块链网络,实现数据的分布式处理,进而实现多重数据均衡;
虚拟节点,实时获取进入系统的数据,将数据进行哈希计算后,均衡映射到虚拟区块链网络
中的多个节点;虚拟区块链网络中的节点接收到均衡映射后的数据后,进行第二次均衡映
射,将数据映射至存储区块链网络中的存储节点中;存储区块链网络中的存储节点接收到
经过第二次均衡映射后的数据后,对数据进行均衡处理;经过多重数据均衡处理后的数据,
数据的处理效率更高;2.数据的哈希映射:本发明的哈希映射方法,不同于传统的方法,使
用基于数据特征算子的映射,其映射效率更高,同时,通过建立两个路由表完成数据映射,
分别为第一分区路由表和第二分区路由表;在第一分区路由表中,对数据特征算子进行状
态坐标路由映射,对路由映射的数据特征算子位置处标注预测区域;在第二分区路由表中,
对每一个路由映射区域提取感知哈希特征,并计算路由映射区域与目标区间的相似度;根
据离目标远近的位置贡献以及感知哈希特征相似度大小更新数据特征算子权重,确定估计
目标的位置,得到新的目标区间;这样处理后的数据,数据差错率更小。
附图说明
具体实施方式
多个虚拟节点组成的虚拟区块链网络;所述数据区块链网络配置用于提供区块链服务,数
据进入系统后,首先进入数据区块链网络,数据区块链网络对进入系统的数据进行调用;所
述虚拟节点,配置用于实时获取进入系统的数据,将数据进行哈希计算后,均衡映射到虚拟
区块链网络中的多个节点;所述虚拟区块链网络中的节点接收到均衡映射后的数据后,进
行第二次均衡映射,将数据映射至存储区块链网络中的存储节点中;所述存储区块链网络
中的存储节点接收到经过第二次均衡映射后的数据后,对数据进行均衡处理;所述存储节
点均为多个分布式存储单元组成的分布式处理网络;所述存储单元又由多个分布式存储子
单元组成;所述存储节点包括:获取单元,配置用于获取K个存储单元上每个存储子单元的P
个权重因子的负载度和P个权重值,K和P均为大于1的整数;优先度计算单元,用于根据所述
P个权重因子的负载度和所述P个权重值进行加权平均得到每个存储子单元的优先度;标准
分片数计算单元,用于根据每个存储单元关联的存储子单元的优先度得到标准分片数;均
衡判断单元,用于根据所述K个存储单元各自对应的标准分片数判断数据分布是否满足数
据均衡条件;均衡单元,用于若所述均衡判断单元的判断结果为否,对所述K个存储单元进
行数据均衡处理。
方法,提升了数据均衡处理的效率;在多重数据均衡处理过程中,借助于哈希映射的唯一
性,保证了数据均衡处理后的数据差错率维持在较低水平。主要通过以下过程实现:1.多重
数据均衡:本发明通过建立区块链网络之间的虚拟区块链网络和存储区块链网络,实现数
据的分布式处理,进而实现多重数据均衡;虚拟节点,实时获取进入系统的数据,将数据进
行哈希计算后,均衡映射到虚拟区块链网络中的多个节点;虚拟区块链网络中的节点接收
到均衡映射后的数据后,进行第二次均衡映射,将数据映射至存储区块链网络中的存储节
点中;存储区块链网络中的存储节点接收到经过第二次均衡映射后的数据后,对数据进行
均衡处理;经过多重数据均衡处理后的数据,数据的处理效率更高;2.数据的哈希映射:本
发明的哈希映射方法,不同于传统的方法,使用基于数据特征算子的映射,其映射效率更
高,同时,通过建立两个路由表完成数据映射,分别为第一分区路由表和第二分区路由表;
在第一分区路由表中,对数据特征算子进行状态坐标路由映射,对路由映射的数据特征算
子位置处标注预测区域;在第二分区路由表中,对每一个路由映射区域提取感知哈希特征,
并计算路由映射区域与目标区间的相似度;根据离目标远近的位置贡献以及感知哈希特征
相似度大小更新数据特征算子权重,确定估计目标的位置,得到新的目标区间;这样处理后
的数据,数据差错率更小。
作为模板特征,并对数据特征算子进行初始化定位;建立两个路由表,分别为第一分区路由
表和第二分区路由表;在第一分区路由表中,对数据特征算子进行状态坐标路由映射,对路
由映射的数据特征算子位置处标注预测区域;在第二分区路由表中,对每一个路由映射区
域提取感知哈希特征,并计算路由映射区域与目标区间的相似度;根据离目标远近的位置
贡献以及感知哈希特征相似度大小更新数据特征算子权重,确定估计目标的位置,得到新
的目标区间;根据数据特征算子大小和重采样估计值得到路由表中的下一个数据特征算
子;得到每个路由映射区域与目标区间的相似度后,结合离目标远近的位置贡献更新数据
特征算子的权重;更新完成预测数据特征算子的权重后,计算目标的最优预测位置作为估
计目标的位置,即为新的目标区间;更新权重方法为:为减少非目标位置的数据特征算子权
重,根据离目标远近的位置贡献以及计算的感知哈希相似度大小两种线索共同实现自适应
的调整数据特征算子权重: ;其中, 是指t
位置第i个数据特征算子的权重, 是指t位置第i个数据特征算子的相似度, 是指t位置
第i个数据特征算子的坐标位置横坐标, 是指t位置第i个数据特征算子的坐标位置纵坐
标,W和H是指目标区间的半宽和半高; 是指0位置第1个数据特征算子的坐标位置横坐标;
是指0位置第1个数据特征算子的坐标位置纵坐标。
访问记录,以加快查找的速度。这个映射函数叫做散列函数,存放记录的数组叫做散列表。
根据散列函数f(k)和处理冲突的方法将一组关键字映射到一个有限的连续的地址集(区
间)上,并以关键字在地址集中的“像”作为记录在表中的存储位置,这种表便称为散列表,
这一映射过程称为散列造表或散列,所得的存储位置称散列地址。
使关键字经过散列函数得到一个“随机的地址”,从而减少冲突。
的所述K个存储单元是否满足所述数据均衡条件;实际迁移单元,若所述判断单元的判断结
果为是,根据所述数据搬移规则对所述K个存储单元关联的存储子单元进行实际迁移;裂变
单元,用于若所述判断单元的判断结果为否,从所述K个存储单元关联的存储子单元中选择
至少一个存储子单元进行裂变,裂变后根据所述数据搬移规则对所述K个存储单元关联的
存储子单元进行实际迁移。
将所述优先度最大的存储子单元分裂为至少两个相同大小的存储子单元。
同一组内的存储单元分配整数个存储子单元;将各个组进行平均分配后剩余的存储子单元
重分配给所述K个存储单元。
的存储区块链网络和由多个虚拟节点组成的虚拟区块链网络;所述数据区块链网络配置用
于提供区块链服务,数据进入系统后,首先进入数据区块链网络,数据区块链网络对进入系
统的数据进行调用;所述虚拟节点,配置用于实时获取进入系统的数据,将数据进行哈希计
算后,均衡映射到虚拟区块链网络中的多个节点;所述虚拟区块链网络中的节点接收到均
衡映射后的数据后,进行第二次均衡映射,将数据映射至存储区块链网络中的存储节点中;
所述存储区块链网络中的存储节点接收到经过第二次均衡映射后的数据后,对数据进行均
衡处理;所述存储节点均为多个分布式存储单元组成的分布式处理网络;所述存储单元又
由多个分布式存储子单元组成;所述存储节点包括:获取单元,配置用于获取K个存储单元
上每个存储子单元的P个权重因子的负载度和P个权重值,K和P均为大于1的整数;优先度计
算单元,用于根据所述P个权重因子的负载度和所述P个权重值进行加权平均得到每个存储
子单元的优先度;标准分片数计算单元,用于根据每个存储单元关联的存储子单元的优先
度得到标准分片数;均衡判断单元,用于根据所述K个存储单元各自对应的标准分片数判断
数据分布是否满足数据均衡条件;均衡单元,用于若所述均衡判断单元的判断结果为否,对
所述K个存储单元进行数据均衡处理。
方法,提升了数据均衡处理的效率;在多重数据均衡处理过程中,借助于哈希映射的唯一
性,保证了数据均衡处理后的数据差错率维持在较低水平。
知哈希特征作为模板特征,并对数据特征算子进行初始化定位;建立两个路由表,分别为第
一分区路由表和第二分区路由表;在第一分区路由表中,对数据特征算子进行状态坐标路
由映射,对路由映射的数据特征算子位置处标注预测区域;在第二分区路由表中,对每一个
路由映射区域提取感知哈希特征,并计算路由映射区域与目标区间的相似度;根据离目标
远近的位置贡献以及感知哈希特征相似度大小更新数据特征算子权重,确定估计目标的位
置,得到新的目标区间;根据数据特征算子大小和重采样估计值得到路由表中的下一个数
据特征算子;得到每个路由映射区域与目标区间的相似度后,结合离目标远近的位置贡献
更新数据特征算子的权重;更新完成预测数据特征算子的权重后,计算目标的最优预测位
置作为估计目标的位置,即为新的目标区间;更新权重方法为:为减少非目标位置的数据特
征算子权重,根据离目标远近的位置贡献以及计算的感知哈希相似度大小两种线索共同实
现自适应的调整数据特征算子权重: ;其中,
是指t位置第i个数据特征算子的权重, 是指t位置第i个数据特征算子的相似度, 是
指t位置第i个数据特征算子的坐标位置横坐标, 是指t位置第i个数据特征算子的坐标位
置纵坐标,W和H是指目标区间的半宽和半高; 是指0位置第1个数据特征算子的坐标位置
横坐标; 是指0位置第1个数据特征算子的坐标位置纵坐标。
突的方法进行查找。在介绍的三种处理冲突的方法中,产生冲突后的查找仍然是给定值与
关键码进行比较的过程。所以,对散列表查找效率的量度,依然用平均查找长度来衡量。
率的因素。影响产生冲突多少有以下三个因素:
素较少,产生冲突的可能性就越小。
的所述K个存储单元是否满足所述数据均衡条件;实际迁移单元,若所述判断单元的判断结
果为是,根据所述数据搬移规则对所述K个存储单元关联的存储子单元进行实际迁移;裂变
单元,用于若所述判断单元的判断结果为否,从所述K个存储单元关联的存储子单元中选择
至少一个存储子单元进行裂变,裂变后根据所述数据搬移规则对所述K个存储单元关联的
存储子单元进行实际迁移。
将所述优先度最大的存储子单元分裂为至少两个相同大小的存储子单元。
同一组内的存储单元分配整数个存储子单元;将各个组进行平均分配后剩余的存储子单元
重分配给所述K个存储单元。
户;另一方面,是将大量的并发访问或数据流量分担到多台节点设备上分别处理,以减少用
户等待响应的时间。后者主要针对Web服务器、FTP服务器、企业关键应用服务器等网络应
用。
群包括多个索引服务器;主服务器负责管理ΜΕΤΑ数据,并对索引服务器机群进行负载
平衡调度;事务服务器机群负责对分布式文件系统索引数据访问的事务控制;索引服务器
机群负责管理和读写分布式文件系统的索引数据,有效地实现了并发环境下索引数据的事
务功能。
任务在一台或者多台的索引库中发生,可能会导致抢资源的问题,从而导致索引服务器资
源不足,影响检索或者建立索引的效率。而且,检索的过程一旦出现问题,也无法判断实在
检索的具体哪个环节出了问题,修复难度大。
不包含哈希计算的方式进行负载均衡,两者中若使用哈希计算来进行负载均衡,其差错率
和计算复杂度也会相对较低。同时,数据处理过程作为负载均衡中的重要技术手段,若单纯
进行哈希计算的负载均衡的索引,不进行数据处理,也会提升差错率和计算复杂度。
内受到制约。
实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,
也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施
例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当
限定。
在此不再赘述。
应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编
程ROM、寄存器、硬盘、可移动磁盘、CD‑ROM、或技术领域内所公知的任意其它形式的存储介
质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地
描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术
方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法
来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些
更改或替换之后的技术方案都将落入本发明的保护范围之内。