区块链数据平衡负载的索引系统及方法转让专利

申请号 : CN202011207604.5

文献号 : CN112100185B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 王桂东

申请人 : 深圳市穗彩科技开发有限公司

摘要 :

本发明属于区块链技术领域,具体涉及区块链数据平衡负载的索引系统及方法,所述系统包括:三个子区块链网络,分别为:由多个节点组成的数据区块链网络、由多个存储节点组成的存储区块链网络和由多个虚拟节点组成的虚拟区块链网络;所述数据区块链网络配置用于提供区块链服务,数据进入系统后,首先进入数据区块链网络,数据区块链网络对进入系统的数据进行调用;所述虚拟节点,配置用于实时获取进入系统的数据,将数据进行哈希计算后,均衡映射数据到虚拟区块链网络中的多个节点。在多重数据均衡处理过程中,借助于哈希映射的唯一性,保证了数据均衡处理后的数据差错率维持在较低水平。

权利要求 :

1.一种区块链数据平衡负载的索引系统,其特征在于,所述系统包括:三个子区块链网络,分别为:由多个节点组成的数据区块链网络、由多个存储节点组成的存储区块链网络和由多个虚拟节点组成的虚拟区块链网络;所述数据区块链网络配置用于提供区块链服务,数据进入系统后,首先进入数据区块链网络,数据区块链网络对进入系统的数据进行调用;

所述虚拟节点,配置用于实时获取进入系统的数据,将数据进行哈希计算后,均衡映射到虚拟区块链网络中的多个节点;所述虚拟区块链网络中的节点接收到均衡映射后的数据后,进行第二次均衡映射,将数据映射至存储区块链网络中的存储节点中;所述存储区块链网络中的存储节点接收到经过第二次均衡映射后的数据后,对数据进行均衡处理;所述存储节点均为多个分布式存储单元组成的分布式处理网络;所述存储单元又由多个分布式存储子单元组成;所述存储节点包括:获取单元,配置用于获取K个存储单元上每个存储子单元的P个权重因子的负载度和P个权重值,K和P均为大于1的整数;优先度计算单元,用于根据所述P个权重因子的负载度和所述P个权重值进行加权平均得到每个存储子单元的优先度;

标准分片数计算单元,用于根据每个存储单元关联的存储子单元的优先度得到标准分片数;均衡判断单元,用于根据所述K个存储单元各自对应的标准分片数判断数据分布是否满足数据均衡条件;均衡单元,用于若所述均衡判断单元的判断结果为否,对所述K个存储单元进行数据均衡处理;所述虚拟节点,实时获取进入系统的数据,将数据进行哈希计算的方法执行以下步骤:在数据中选取一个目标区间,提取目标区间的感知哈希特征作为模板特征,并对数据特征算子进行初始化定位;建立两个路由表,分别为第一路由表和第二路由表;在第一路由表中,对数据特征算子进行状态坐标路由映射,对路由映射的数据特征算子位置处标注预测区域;在第二路由表中,对每一个路由映射区域提取感知哈希特征,并计算路由映射区域与目标区间的相似度;根据离目标远近的位置贡献以及感知哈希特征相似度大小更新数据特征算子权重,确定估计目标的位置,得到新的目标区间;根据数据特征算子大小和重采样估计值得到路由表中的下一个数据特征算子;得到每个路由映射区域与目标区间的相似度后,结合离目标远近的位置贡献更新数据特征算子的权重;更新完成预测数据特征算子的权重后,计算出目标的最优预测位置作为估计目标的位置,即为新的目标区间;更新权重方法为:为减少非目标位置的数据特征算子权重,根据离目标远近的位置贡献以及计算的感知哈希相似度大小两种线索共同实现自适应的调整数据特征算子权重:;其中, 是指t位置第i个数据特征算子的权重,是指t位置第i个数据特征算子的相似度,是指t 位置第i个数据特征算子的坐标位置横坐标,是指t位置第i个数据特征算子的坐标位置纵坐标,W和H是指目标区间的半宽和半高; 是指0位置第1个数据特征算子的坐标位置横坐标; 是指0位置第1个数据特征算子的坐标位置纵坐标。

2.如权利要求1所述的区块链数据平衡负载的索引系统,其特征在于,所述均衡单元包括:模拟迁移单元,根据预设的数据搬移规则对所述K个存储单元关联的存储子单元进行模拟迁移;判断单元,用于判断模拟迁移后的所述K个存储单元是否满足所述数据均衡条件;

实际迁移单元,若所述判断单元的判断结果为是,根据所述数据搬移规则对所述K个存储单元关联的存储子单元进行实际迁移;裂变单元,用于若所述判断单元的判断结果为否,从所述K个存储单元关联的存储子单元中选择至少一个存储子单元进行裂变,裂变后根据所述数据搬移规则对所述K个存储单元关联的存储子单元进行实际迁移。

3.如权利要求2所述的区块链数据平衡负载的索引系统,其特征在于,所述裂变单元配置用于确定所述K个存储单元中标准分片数最大的存储单元;确定所述标准分片数最大的存储单元中优先度最大的存储子单元;将所述优先度最大的存储子单元分裂为至少两个相同大小的存储子单元。

4.如权利要求3所述的区块链数据平衡负载的索引系统,其特征在于,所述数据搬移规则包括:根据优先度将所述K个存储单元关联的存储子单元进行分组;将每组内的存储子单元平均分配给所述K个存储单元;其中,同一组内的存储单元分配整数个存储子单元;将各个组进行平均分配后剩余的存储子单元重新分配给所述K个存储单元。

5.一种区块链数据平衡负载的索引方法,其特征在于,所述方法基于如权利要求1至4任一项所述的区块链数据平衡负载的索引系统实现。

说明书 :

区块链数据平衡负载的索引系统及方法

技术领域

[0001] 本发明属于区块链技术领域,具体涉及区块链数据平衡负载的索引系统及方法。

背景技术

[0002] 区块链(Block chain)是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式,是比特币的一个重要概念,它本质上是一个去中心化的数据库,
同时作为比特币的底层技术,是一串使用密码学方法相关联产生的数据块,每一个数据块
中包含了一批次比特币网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区
块。
[0003] 布式数据库技术是IT技术领域中普遍使用的一项分布式技术,其主要应用于网页页面缓存、数据库缓存等方面以满足用户对网络系统响应速度的要求。
[0004] 在基于一致性哈希算法的分布式数据库系统中,物理节点可虚拟出多个虚拟节点,然后将多个虚拟节点通过哈希算法映射到环上,这样物理节点可增大在环上映射的哈
希值范围。在分布式数据库系统新增物理节点或删除物理节点时,通过调整各个物理节点
关联的虚拟节点的数量,使各个物理节点关联的虚拟节点的数量趋于相等,使分布式数据
库系统的所有物理节点实现虚拟节点的均衡。但是,在虚拟节点的数据分布存在较大波动
的情况下,为了保证业务能正常进行,需要考虑物理节点的资源的盈余,根据数据量最大的
要求部署物理节点,导致成本的增加;或者不考虑物理节点的资源的盈余的情况下,可能会
导致物理节点过载,业务失败。

发明内容

[0005] 本发明的主要目的在于提供区块链数据平衡负载的索引系统及方法,其利用多重分布式数据平衡,实现了区块链中数据的均衡处理,同时在进行数据均衡处理过程中,借助
于哈希计算的路由功能和数据特征算子的更新方法,提升了数据均衡处理的效率;在多重
数据均衡处理过程中,借助于哈希映射的唯一性,保证了数据均衡处理后的数据差错率维
持在较低水平。
[0006] 为达到上述目的,本发明的技术方案是这样实现的:
[0007] 区块链数据平衡负载的索引系统,所述系统包括:三个子区块链网络,分别为:由多个节点组成的数据区块链网络、由多个存储节点组成的存储区块链网络和由多个虚拟节
点组成的虚拟区块链网络;所述数据区块链网络配置用于提供区块链服务,数据进入系统
后,首先进入数据区块链网络,数据区块链网络对进入系统的数据进行调用;所述虚拟节
点,配置用于实时获取进入系统的数据,将数据进行哈希计算后,均衡映射数据到虚拟区块
链网络中的多个节点;所述虚拟区块链网络中的节点接收到均衡映射后的数据后,进行第
二次均衡映射,将数据映射至存储区块链网络中的存储节点中;所述存储区块链网络中的
存储节点接收到经过第二次均衡映射后的数据后,对数据进行均衡处理;所述存储节点均
为多个分布式存储单元组成的分布式处理网络;所述存储单元又由多个分布式存储子单元
组成;所述存储节点包括:获取单元,配置用于获取K个存储单元上每个存储子单元的P个权
重因子的负载度和P个权重值,K和P均为大于1的整数;优先度计算单元,用于根据所述P个
权重因子的负载度和所述P个权重值进行加权平均得到每个存储子单元的优先度;标准分
片数计算单元,用于根据每个存储单元关联的存储子单元的优先度得到标准分片数;均衡
判断单元,用于根据所述K个存储单元各自对应的标准分片数判断数据分布是否满足数据
均衡条件;均衡单元,用于若所述均衡判断单元的判断结果为否,对所述K个存储单元进行
数据均衡处理。
[0008] 进一步的,所述虚拟节点,实时获取进入系统的数据,将数据进行哈希计算的方法执行以下步骤:在数据中选取一个目标区间,提取目标区间的感知哈希特征作为模板特征,
并对数据特征算子进行初始化定位;建立两个路由表,分别为第一分区路由表和第二分区
路由表;在第一分区路由表中,对数据特征算子进行状态坐标路由映射,对路由映射的数据
特征算子位置处标注预测区域;在第二分区路由表中,对每一个路由映射区域提取感知哈
希特征,并计算路由映射区域与目标区间的相似度;根据离目标远近的位置贡献以及感知
哈希特征相似度大小更新数据特征算子权重,确定估计目标的位置,得到新的目标区间;根
据数据特征算子大小和重采样估计值得到路由表中的下一个数据特征算子;得到每个路由
映射区域与目标区间的相似度后,结合离目标远近的位置贡献更新数据特征算子的权重;
更新完成预测数据特征算子的权重后,计算目标的最优预测位置作为估计目标的位置,即
为新的目标区间;更新权重方法为:为减少非目标位置的数据特征算子权重,根据离目标远
近的位置贡献以及计算的感知哈希相似度大小两种线索共同实现自适应的调整数据特征
算子权重: ;其中, 是指t位置第i个数据特
征算子的权重, 是指t位置第i个数据特征算子的相似度, 是指t位置第i个数据特征算
子的坐标位置横坐标, 是指t位置第i个数据特征算子的坐标位置纵坐标,W和H是指目标
区间的半宽和半高; 是指0位置第1个数据特征算子的坐标位置横坐标; 是指0位置第1
个数据特征算子的坐标位置纵坐标。
[0009] 进一步的,所述均衡单元包括:模拟迁移单元,根据预设的数据搬移规则对所述K个存储单元关联的存储子单元进行模拟迁移;判断单元,用于判断模拟迁移后的所述K个存
储单元是否满足所述数据均衡条件;实际迁移单元,若所述判断单元的判断结果为是,根据
所述数据搬移规则对所述K个存储单元关联的存储子单元进行实际迁移;裂变单元,用于若
所述判断单元的判断结果为否,从所述K个存储单元关联的存储子单元中选择至少一个存
储子单元进行裂变,裂变后根据所述数据搬移规则对所述K个存储单元关联的存储子单元
进行实际迁移。
[0010] 进一步的,所述裂变单元配置用于确定所述K个存储单元中标准分片数最大的存储单元;确定所述标准分片数最大的存储单元中优先度最大的存储子单元;将所述优先度
最大的存储子单元分裂为至少两个相同大小的存储子单元。
[0011] 进一步的,所述数据搬移规则包括:根据优先度将所述K个存储单元关联的存储子单元进行分组;将每组内的存储子单元平均分配给所述K个存储单元;其中,同一组内的存
储单元分配整数个存储子单元;将各个组进行平均分配后剩余的存储子单元重分配给所述
K个存储单元。
[0012] 本发明还提供一种基于前述系统的区块链数据平衡负载的索引方法。
[0013] 本发明的区块链数据平衡负载的索引系统及方法,具有如下有益效果:其利用多重分布式数据平衡,实现了区块链中数据的均衡处理,同时在进行数据均衡处理过程中,借
助于哈希计算的路由功能和数据特征算子的更新方法,提升了数据均衡处理的效率;在多
重数据均衡处理过程中,借助于哈希映射的唯一性,保证了数据均衡处理后的数据差错率
维持在较低水平。主要通过以下过程实现:1.多重数据均衡:本发明通过建立区块链网络之
间的虚拟区块链网络和存储区块链网络,实现数据的分布式处理,进而实现多重数据均衡;
虚拟节点,实时获取进入系统的数据,将数据进行哈希计算后,均衡映射到虚拟区块链网络
中的多个节点;虚拟区块链网络中的节点接收到均衡映射后的数据后,进行第二次均衡映
射,将数据映射至存储区块链网络中的存储节点中;存储区块链网络中的存储节点接收到
经过第二次均衡映射后的数据后,对数据进行均衡处理;经过多重数据均衡处理后的数据,
数据的处理效率更高;2.数据的哈希映射:本发明的哈希映射方法,不同于传统的方法,使
用基于数据特征算子的映射,其映射效率更高,同时,通过建立两个路由表完成数据映射,
分别为第一分区路由表和第二分区路由表;在第一分区路由表中,对数据特征算子进行状
态坐标路由映射,对路由映射的数据特征算子位置处标注预测区域;在第二分区路由表中,
对每一个路由映射区域提取感知哈希特征,并计算路由映射区域与目标区间的相似度;根
据离目标远近的位置贡献以及感知哈希特征相似度大小更新数据特征算子权重,确定估计
目标的位置,得到新的目标区间;这样处理后的数据,数据差错率更小。

附图说明

[0014] 图1为本发明的实施例提供的区块链数据平衡负载的索引系统的系统结构示意图;
[0015] 图2为本发明的实施例提供的区块链数据平衡负载的索引系统方法的方法流程示意图;
[0016] 图3为本发明的实施例提供的区块链数据平衡负载的索引系统及方法的存储单元的结构示意图;
[0017] 图4为本发明的实施例提供的区块链数据平衡负载的索引系统及方法的虚拟节点进行哈希计算的方法流程示意图;
[0018] 图5为本发明的实施例提供的区块链数据平衡负载的索引系统及方法的哈希映射的原理示意图;
[0019] 图6为本发明的实施例提供的区块链数据平衡负载的索引系统及方法的数据差错率随着数据量变化的曲线示意图与现有技术的对比实验效果示意图;
[0020] 图7为本发明的实施例提供的区块链数据平衡负载的索引系统及方法的计算复杂度随着数据量变化的曲线示意图与现有技术的对比实验效果示意图。

具体实施方式

[0021] 以下结合具体实施方式和附图对本发明的技术方案作进一步详细描述:
[0022] 实施例1
[0023] 如图1所示,区块链数据平衡负载的索引系统,所述系统包括:三个子区块链网络,分别为:由多个节点组成的数据区块链网络、由多个存储节点组成的存储区块链网络和由
多个虚拟节点组成的虚拟区块链网络;所述数据区块链网络配置用于提供区块链服务,数
据进入系统后,首先进入数据区块链网络,数据区块链网络对进入系统的数据进行调用;所
述虚拟节点,配置用于实时获取进入系统的数据,将数据进行哈希计算后,均衡映射到虚拟
区块链网络中的多个节点;所述虚拟区块链网络中的节点接收到均衡映射后的数据后,进
行第二次均衡映射,将数据映射至存储区块链网络中的存储节点中;所述存储区块链网络
中的存储节点接收到经过第二次均衡映射后的数据后,对数据进行均衡处理;所述存储节
点均为多个分布式存储单元组成的分布式处理网络;所述存储单元又由多个分布式存储子
单元组成;所述存储节点包括:获取单元,配置用于获取K个存储单元上每个存储子单元的P
个权重因子的负载度和P个权重值,K和P均为大于1的整数;优先度计算单元,用于根据所述
P个权重因子的负载度和所述P个权重值进行加权平均得到每个存储子单元的优先度;标准
分片数计算单元,用于根据每个存储单元关联的存储子单元的优先度得到标准分片数;均
衡判断单元,用于根据所述K个存储单元各自对应的标准分片数判断数据分布是否满足数
据均衡条件;均衡单元,用于若所述均衡判断单元的判断结果为否,对所述K个存储单元进
行数据均衡处理。
[0024] 采用上述技术方案,其利用多重分布式数据平衡,实现了区块链中数据的均衡处理,同时在进行数据均衡处理过程中,借助于哈希计算的路由功能和数据特征算子的更新
方法,提升了数据均衡处理的效率;在多重数据均衡处理过程中,借助于哈希映射的唯一
性,保证了数据均衡处理后的数据差错率维持在较低水平。主要通过以下过程实现:1.多重
数据均衡:本发明通过建立区块链网络之间的虚拟区块链网络和存储区块链网络,实现数
据的分布式处理,进而实现多重数据均衡;虚拟节点,实时获取进入系统的数据,将数据进
行哈希计算后,均衡映射到虚拟区块链网络中的多个节点;虚拟区块链网络中的节点接收
到均衡映射后的数据后,进行第二次均衡映射,将数据映射至存储区块链网络中的存储节
点中;存储区块链网络中的存储节点接收到经过第二次均衡映射后的数据后,对数据进行
均衡处理;经过多重数据均衡处理后的数据,数据的处理效率更高;2.数据的哈希映射:本
发明的哈希映射方法,不同于传统的方法,使用基于数据特征算子的映射,其映射效率更
高,同时,通过建立两个路由表完成数据映射,分别为第一分区路由表和第二分区路由表;
在第一分区路由表中,对数据特征算子进行状态坐标路由映射,对路由映射的数据特征算
子位置处标注预测区域;在第二分区路由表中,对每一个路由映射区域提取感知哈希特征,
并计算路由映射区域与目标区间的相似度;根据离目标远近的位置贡献以及感知哈希特征
相似度大小更新数据特征算子权重,确定估计目标的位置,得到新的目标区间;这样处理后
的数据,数据差错率更小。
[0025] 实施例2
[0026] 在上一实施例的基础上,所述虚拟节点,实时获取进入系统的数据,将数据进行哈希计算的方法执行以下步骤:在数据中选取一个目标区间,提取目标区间的感知哈希特征
作为模板特征,并对数据特征算子进行初始化定位;建立两个路由表,分别为第一分区路由
表和第二分区路由表;在第一分区路由表中,对数据特征算子进行状态坐标路由映射,对路
由映射的数据特征算子位置处标注预测区域;在第二分区路由表中,对每一个路由映射区
域提取感知哈希特征,并计算路由映射区域与目标区间的相似度;根据离目标远近的位置
贡献以及感知哈希特征相似度大小更新数据特征算子权重,确定估计目标的位置,得到新
的目标区间;根据数据特征算子大小和重采样估计值得到路由表中的下一个数据特征算
子;得到每个路由映射区域与目标区间的相似度后,结合离目标远近的位置贡献更新数据
特征算子的权重;更新完成预测数据特征算子的权重后,计算目标的最优预测位置作为估
计目标的位置,即为新的目标区间;更新权重方法为:为减少非目标位置的数据特征算子权
重,根据离目标远近的位置贡献以及计算的感知哈希相似度大小两种线索共同实现自适应
的调整数据特征算子权重: ;其中, 是指t
位置第i个数据特征算子的权重, 是指t位置第i个数据特征算子的相似度, 是指t位置
第i个数据特征算子的坐标位置横坐标, 是指t位置第i个数据特征算子的坐标位置纵坐
标,W和H是指目标区间的半宽和半高; 是指0位置第1个数据特征算子的坐标位置横坐标;
是指0位置第1个数据特征算子的坐标位置纵坐标。
[0027] 参考图5,具体的,散列表(Hash table,也叫哈希表),是根据关键码值(Key value)而直接进行访问的数据结构。也就是说,它通过把关键码值映射到表中一个位置来
访问记录,以加快查找的速度。这个映射函数叫做散列函数,存放记录的数组叫做散列表。
[0028] 给定表M,存在函数f(key),对任意给定的关键字值key,代入函数后若能得到包含该关键字的记录在表中的地址,则称表M为哈希(Hash)表,函数f(key)为哈希(Hash)函数。
[0029] 若关键字为k,则其值存放在f(k)的存储位置上。由此,不需比较便可直接取得所查记录。称这个对应关系f为散列函数,按这个思想建立的表为散列表。
[0030] 对不同的关键字可能得到同一散列地址,即k1≠k2,而f(k1)=f(k2),这种现象称为冲突(Collision)。具有相同函数值的关键字对该散列函数来说称做同义词。综上所述,
根据散列函数f(k)和处理冲突的方法将一组关键字映射到一个有限的连续的地址集(区
间)上,并以关键字在地址集中的“像”作为记录在表中的存储位置,这种表便称为散列表,
这一映射过程称为散列造表或散列,所得的存储位置称散列地址。
[0031] 若对于关键字集合中的任一个关键字,经散列函数映象到地址集合中任何一个地址的概率是相等的,则称此类散列函数为均匀散列函数(Uniform Hash function),这就是
使关键字经过散列函数得到一个“随机的地址”,从而减少冲突。
[0032] 实施例3
[0033] 在上一实施例的基础上,所述均衡单元包括:模拟迁移单元,根据预设的数据搬移规则对所述K个存储单元关联的存储子单元进行模拟迁移;判断单元,用于判断模拟迁移后
的所述K个存储单元是否满足所述数据均衡条件;实际迁移单元,若所述判断单元的判断结
果为是,根据所述数据搬移规则对所述K个存储单元关联的存储子单元进行实际迁移;裂变
单元,用于若所述判断单元的判断结果为否,从所述K个存储单元关联的存储子单元中选择
至少一个存储子单元进行裂变,裂变后根据所述数据搬移规则对所述K个存储单元关联的
存储子单元进行实际迁移。
[0034] 实施例4
[0035] 在上一实施例的基础上,所述裂变单元配置用于确定所述K个存储单元中标准分片数最大的存储单元;确定所述标准分片数最大的存储单元中优先度最大的存储子单元;
将所述优先度最大的存储子单元分裂为至少两个相同大小的存储子单元。
[0036] 实施例5
[0037] 在上一实施例的基础上,所述数据搬移规则包括:根据优先度将所述K个存储单元关联的存储子单元进行分组;将每组内的存储子单元平均分配给所述K个存储单元;其中,
同一组内的存储单元分配整数个存储子单元;将各个组进行平均分配后剩余的存储子单元
重分配给所述K个存储单元。
[0038] 实施例6
[0039] 如图2和图3所示,一种区块链数据平衡负载的索引方法,所述方法执行以下步骤:三个子区块链网络组成,分别为:由多个节点组成的数据区块链网络、由多个存储节点组成
的存储区块链网络和由多个虚拟节点组成的虚拟区块链网络;所述数据区块链网络配置用
于提供区块链服务,数据进入系统后,首先进入数据区块链网络,数据区块链网络对进入系
统的数据进行调用;所述虚拟节点,配置用于实时获取进入系统的数据,将数据进行哈希计
算后,均衡映射到虚拟区块链网络中的多个节点;所述虚拟区块链网络中的节点接收到均
衡映射后的数据后,进行第二次均衡映射,将数据映射至存储区块链网络中的存储节点中;
所述存储区块链网络中的存储节点接收到经过第二次均衡映射后的数据后,对数据进行均
衡处理;所述存储节点均为多个分布式存储单元组成的分布式处理网络;所述存储单元又
由多个分布式存储子单元组成;所述存储节点包括:获取单元,配置用于获取K个存储单元
上每个存储子单元的P个权重因子的负载度和P个权重值,K和P均为大于1的整数;优先度计
算单元,用于根据所述P个权重因子的负载度和所述P个权重值进行加权平均得到每个存储
子单元的优先度;标准分片数计算单元,用于根据每个存储单元关联的存储子单元的优先
度得到标准分片数;均衡判断单元,用于根据所述K个存储单元各自对应的标准分片数判断
数据分布是否满足数据均衡条件;均衡单元,用于若所述均衡判断单元的判断结果为否,对
所述K个存储单元进行数据均衡处理。
[0040] 采用上述技术方案,其利用多重分布式数据平衡,实现了区块链中数据的均衡处理,同时在进行数据均衡处理过程中,借助于哈希计算的路由功能和数据特征算子的更新
方法,提升了数据均衡处理的效率;在多重数据均衡处理过程中,借助于哈希映射的唯一
性,保证了数据均衡处理后的数据差错率维持在较低水平。
[0041] 实施例7
[0042] 如图4所示,在上一实施例的基础上,所述虚拟节点,实时获取进入系统的数据,将数据进行哈希计算的方法执行以下步骤:在数据中选取一个目标区间,提取目标区间的感
知哈希特征作为模板特征,并对数据特征算子进行初始化定位;建立两个路由表,分别为第
一分区路由表和第二分区路由表;在第一分区路由表中,对数据特征算子进行状态坐标路
由映射,对路由映射的数据特征算子位置处标注预测区域;在第二分区路由表中,对每一个
路由映射区域提取感知哈希特征,并计算路由映射区域与目标区间的相似度;根据离目标
远近的位置贡献以及感知哈希特征相似度大小更新数据特征算子权重,确定估计目标的位
置,得到新的目标区间;根据数据特征算子大小和重采样估计值得到路由表中的下一个数
据特征算子;得到每个路由映射区域与目标区间的相似度后,结合离目标远近的位置贡献
更新数据特征算子的权重;更新完成预测数据特征算子的权重后,计算目标的最优预测位
置作为估计目标的位置,即为新的目标区间;更新权重方法为:为减少非目标位置的数据特
征算子权重,根据离目标远近的位置贡献以及计算的感知哈希相似度大小两种线索共同实
现自适应的调整数据特征算子权重: ;其中,
是指t位置第i个数据特征算子的权重, 是指t位置第i个数据特征算子的相似度, 是
指t位置第i个数据特征算子的坐标位置横坐标, 是指t位置第i个数据特征算子的坐标位
置纵坐标,W和H是指目标区间的半宽和半高; 是指0位置第1个数据特征算子的坐标位置
横坐标; 是指0位置第1个数据特征算子的坐标位置纵坐标。
[0043] 具体的,散列表的查找过程基本上和造表过程相同。一些关键码可通过散列函数转换的地址直接找到,另一些关键码在散列函数得到的地址上产生了冲突,需要按处理冲
突的方法进行查找。在介绍的三种处理冲突的方法中,产生冲突后的查找仍然是给定值与
关键码进行比较的过程。所以,对散列表查找效率的量度,依然用平均查找长度来衡量。
[0044] 查找过程中,关键码的比较次数,取决于产生冲突的多少,产生的冲突少,查找效率就高,产生的冲突多,查找效率就低。因此,影响产生冲突多少的因素,也就是影响查找效
率的因素。影响产生冲突多少有以下三个因素:
[0045] 1.散列函数是否均匀;
[0046] 2.处理冲突的方法;
[0047] 3.散列表的装填因子。
[0048] 散列表的装填因子定义为:α=填入表中的元素个数/散列表的长度
[0049] α是散列表装满程度的标志因子。由于表长是定值,α与“填入表中的元素个数”成正比,所以,α越大,填入表中的元素较多,产生冲突的可能性就越大;α越小,填入表中的元
素较少,产生冲突的可能性就越小。
[0050] 实际上,散列表的平均查找长度是装填因子α的函数,只是不同处理冲突的方法有不同的函数。
[0051] 实施例8
[0052] 在上一实施例的基础上,所述均衡单元包括:模拟迁移单元,根据预设的数据搬移规则对所述K个存储单元关联的存储子单元进行模拟迁移;判断单元,用于判断模拟迁移后
的所述K个存储单元是否满足所述数据均衡条件;实际迁移单元,若所述判断单元的判断结
果为是,根据所述数据搬移规则对所述K个存储单元关联的存储子单元进行实际迁移;裂变
单元,用于若所述判断单元的判断结果为否,从所述K个存储单元关联的存储子单元中选择
至少一个存储子单元进行裂变,裂变后根据所述数据搬移规则对所述K个存储单元关联的
存储子单元进行实际迁移。
[0053] 实施例9
[0054] 在上一实施例的基础上,所述裂变单元配置用于确定所述K个存储单元中标准分片数最大的存储单元;确定所述标准分片数最大的存储单元中优先度最大的存储子单元;
将所述优先度最大的存储子单元分裂为至少两个相同大小的存储子单元。
[0055] 实施例10
[0056] 在上一实施例的基础上,所述数据搬移规则包括:根据优先度将所述K个存储单元关联的存储子单元进行分组;将每组内的存储子单元平均分配给所述K个存储单元;其中,
同一组内的存储单元分配整数个存储子单元;将各个组进行平均分配后剩余的存储子单元
重分配给所述K个存储单元。
[0057] 参考图6和图7,现有技术中,传统负载均衡技术包含两个方面的含义:一方面,是将单个重负载任务分担到多个节点设备上做并行处理,结束后,再将结果汇总,返回给用
户;另一方面,是将大量的并发访问或数据流量分担到多台节点设备上分别处理,以减少用
户等待响应的时间。后者主要针对Web服务器、FTP服务器、企业关键应用服务器等网络应
用。
[0058] 在实现负载均衡的索引系统的过程中,现有技术往往使用单独的索引系统来实现。
[0059] 一般使用分布式B+树索引系统及构建方法,具体,包括主服务器、事务服务器机群和索引服务机群和版本控制服务器;事务服务器机群包括多个事务服务器,索引服务器机
群包括多个索引服务器;主服务器负责管理ΜΕΤΑ数据,并对索引服务器机群进行负载
平衡调度;事务服务器机群负责对分布式文件系统索引数据访问的事务控制;索引服务器
机群负责管理和读写分布式文件系统的索引数据,有效地实现了并发环境下索引数据的事
务功能。
[0060] 上述专利文献中公开的索引技术只是将索引建立到一个或者多个索引库服务器中,建立索引和检索索引都在一个或者多个索引服务器中执行。建立索引任务和检索索引
任务在一台或者多台的索引库中发生,可能会导致抢资源的问题,从而导致索引服务器资
源不足,影响检索或者建立索引的效率。而且,检索的过程一旦出现问题,也无法判断实在
检索的具体哪个环节出了问题,修复难度大。
[0061] 而发明使用哈希计算的方式,以及合并数据处理的过程,来实现负载均衡。相较于现有技术中的负载均衡手段,其差错率小,且计算复杂度低。现有技术中有包含哈希计算和
不包含哈希计算的方式进行负载均衡,两者中若使用哈希计算来进行负载均衡,其差错率
和计算复杂度也会相对较低。同时,数据处理过程作为负载均衡中的重要技术手段,若单纯
进行哈希计算的负载均衡的索引,不进行数据处理,也会提升差错率和计算复杂度。
[0062] 以上所述仅为本发明的一个实施例子,但不能以此限制本发明的范围,凡依据本发明所做的结构上的变化,只要不失本发明的要义所在,都应视为落入本发明保护范围之
内受到制约。
[0063] 所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0064] 需要说明的是,上述实施例提供的系统,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明
实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,
也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施
例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当
限定。
[0065] 所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,
在此不再赘述。
[0066] 本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件模块、方法步骤对
应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编
程ROM、寄存器、硬盘、可移动磁盘、CD‑ROM、或技术领域内所公知的任意其它形式的存储介
质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地
描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术
方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法
来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
[0067] 术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
[0068] 术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的
其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
[0069] 至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本
发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些
更改或替换之后的技术方案都将落入本发明的保护范围之内。
[0070] 以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。