数据处理方法及装置转让专利
申请号 : CN201910528089.1
文献号 : CN110245191B
文献日 : 2021-07-02
发明人 : 董广雨 , 周雪军 , 陈洁
申请人 : 政采云有限公司
摘要 :
权利要求 :
1.一种数据处理方法,其特征在于,用于服务器集群中的每一台服务器,所述方法包括:
获取订阅器和所述订阅器的唯一标识;
获取当前服务器的唯一标识;
确定所述订阅器的唯一标识对应的订阅器编码以及当前服务器的唯一标识对应的当前服务器编码;
判断所述订阅器编码与所述服务器编码是否匹配;
在所述订阅器编码与所述服务器编码匹配的情况下,将所述订阅器存储到当前服务器。
2.如权利要求1所述的数据处理方法,其特征在于,判断所述订阅器编码与所述服务器编码是否匹配包括:获取所述服务器集群中每一台服务器的服务器编码;
将获取到的服务器编码按照预设的规则排序,组成服务器编码序列,将所述订阅器编码对应映射到所述服务器编码序列的相应位置上并按照预设的查找方向在所述服务器编码序列中查找,将查找到距离所述订阅器编码映射位置最近的服务器编码记做第一服务器编码;
判断所述第一服务器编码与所述当前服务器编码是否相同:若是,则所述订阅器编码与所述服务器编码匹配;
若否,则所述订阅器编码与所述服务器编码不匹配。
3.如权利要求2所述的数据处理方法,其特征在于,将每一台服务器的服务器编码按照预设的规则排序,组成服务器编码序列,将所述订阅器编码对应映射到所述服务器编码序列的相应位置上并按照预设的查找方向在所述服务器编码序列中查找,将查找到距离所述订阅器编码映射位置最近的服务器编码记做第一服务器编码,包括:
32
将获取到的服务器编码对应映射到一个有0~2 个节点的圆环的相应节点上;
将所述订阅器编码对应映射到所述圆环的相应节点上并按照顺时针的顺序在所述圆环上查找;
将查找到距离所述订阅器编码映射节点最近的服务器编码记做第一服务器编码。
4.如权利要求1所述的数据处理方法,其特征在于,将所述订阅器存储到当前服务器包括:获取所述订阅器的指定关键字段的值;
根据所述指定关键字段的值从预先存储的键值对数据集中查找是否有与所述指定关键字段的值相对应的第一订阅器集合,其中,在所述键值对数据集中,指定关键字段的值被作为主键,订阅器集合被作为键值,所述订阅器集合中订阅器的指定关键字段的值与对应的主键相同,所述第一订阅器集合是已经存储在键值对数据集中的订阅器集合;
若是,将所述订阅器添加到所述第一订阅器集合中;
若否,新建第二订阅器集合,将所述订阅器添加到所述第二订阅器集合中,将所述指定关键字段的值与所述第二订阅器集合存储到所述键值对数据集中。
5.如权利要求1所述的数据处理方法,其特征在于,在获取订阅器和所述订阅器的唯一标识之前,还包括:
接收订阅器的更新通知;
根据所述更新通知获取更新的订阅器。
6.如权利要求4所述的数据处理方法,其特征在于,在将所述订阅器存储到当前服务器之后,还包括:
获取源数据;
对所述源数据进行语义分析,获取源数据的至少一个关键字段和至少一个指定关键字段;
获取所述指定关键字段的值,根据预先存储的键值对数据集判断当前服务器中是否有与所述源数据的指定关键字段的值相对应的目标订阅器集合;
若有,将所述源数据的关键字段的值与所述目标订阅器集合中每一个订阅器的关键字段的值比对,判断所述目标订阅器集合中是否有与所述源数据匹配的目标订阅器;
若是,则将所述源数据推送给所述目标订阅器的归属人。
7.一种数据处理方法,其特征在于,用于服务器集群中的每一台服务器,所述方法包括:
获取源数据;
对所述源数据进行语义分析,获取源数据的至少一个关键字段和至少一个指定关键字段;
获取所述指定关键字段的值,根据预先存储的键值对数据集判断当前服务器中是否有与所述源数据的指定关键字段的值相对应的目标订阅器集合;
若有,将所述源数据的关键字段的值与所述目标订阅器集合中每一个订阅器的关键字段的值比对,判断所述目标订阅器集合中是否有与所述源数据匹配的目标订阅器;
若是,将所述源数据推送给所述目标订阅器的归属人。
8.一种数据处理装置,其特征在于,用于服务器集群中的每一台服务器,所述装置包括:
第一获取模块,被配置为获取订阅器和所述订阅器的唯一标识;
第二获取模块,被配置为获取当前服务器的唯一标识;
确定模块,被配置为确定所述订阅器的唯一标识对应的订阅器编码以及当前服务器的唯一标识对应的当前服务器编码;
第一判断模块,被配置为判断所述订阅器编码与所述服务器编码是否匹配;
存储模块,被配置为在所述订阅器编码与所述服务器编码匹配的情况下,将所述订阅器存储到当前服务器。
9.如权利要求8所述的数据处理装置,其特征在于,所述第一判断模块,进一步被配置为获取所述服务器集群中每一台服务器的服务器编码;将每一台服务器的服务器编码按照预设的规则排序,组成服务器编码序列,将所述订阅器编码对应映射到所述服务器编码序列的相应位置上并按照预设的查找方向在所述服务器编码序列中查找,将查找到距离所述订阅器编码映射位置最近的服务器编码记做第一服务器编码;判断所述第一服务器编码与所述当前服务器编码是否相同:若是,则所述订阅器编码与所述服务器编码匹配;若否,则所述订阅器编码与所述服务器编码不匹配。
10.如权利要求9所述的数据处理装置,其特征在于,
32
所述第一判断模块,进一步被配置为将获取到的服务器编码对应映射到一个有0~2个节点的圆环的相应节点上;将所述订阅器编码对应映射到所述圆环的相应节点上并按照顺时针的顺序在所述圆环上查找;将查找到距离所述订阅器编码映射节点最近的服务器编码记做第一服务器编码。
11.如权利要求8所述的数据处理装置,其特征在于,所述存储模块,进一步被配置为获取所述订阅器的指定关键字段的值;根据所述指定关键字段的值从预先存储的键值对数据集中查找是否有与所述指定关键字段的值相对应的第一订阅器集合,其中,在所述键值对数据集中,指定关键字段的值被作为主键,订阅器集合被作为键值,所述订阅器集合中订阅器的指定关键字段的值与对应的主键相同,所述第一订阅器集合是已经存储在键值对数据集中的订阅器集合;若是,将所述订阅器添加到所述第一订阅器集合中;若否,新建第二订阅器集合,将所述订阅器添加到所述第二订阅器集合中,将所述指定关键字段的值与所述第二订阅器集合存储到所述键值对数据集中。
12.如权利要求8所述的数据处理装置,其特征在于,还包括:接收模块,被配置为接收订阅器的更新通知;
第四获取模块,被配置为根据所述更新通知获取更新的订阅器。
13.如权利要求11所述的数据处理装置,其特征在于还包括:第三获取模块,被配置为获取源数据;
语义分析模块,被配置为对所述源数据进行语义分析,获取源数据的至少一个关键字段和至少一个指定关键字段;
第二判断模块,被配置为获取所述指定关键字段的值,根据预先存储的键值对数据集判断当前服务器中是否有与所述源数据的指定关键字段的值相对应的目标订阅器集合:若有,将所述源数据的关键字段的值与所述目标订阅器集合中每一个订阅器的关键字段的值比对,判断所述目标订阅器集合中是否有与所述源数据匹配的目标订阅器:若是,则将所述源数据推送给所述目标订阅器的归属人。
14.一种数据处理装置,其特征在于,用于服务器集群中的每一台服务器,所述装置包括:
第三获取模块,被配置为获取源数据;
语义分析模块,被配置为对所述源数据进行语义分析,获取源数据的至少一个关键字段和至少一个指定关键字段;
第二判断模块,被配置为获取所述指定关键字段的值,根据预先存储的键值对数据集判断当前服务器中是否有与所述源数据的指定关键字段的值相对应的目标订阅器集合:若有,将所述源数据的关键字段的值与所述目标订阅器集合中每一个订阅器的关键字段的值比对,判断所述目标订阅器集合中是否有与所述源数据匹配的目标订阅器:若是,将所述源数据推送给所述目标订阅器的归属人。
15.一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,其特征在于,所述处理器执行所述指令时实现权利要求1‑6或7任意一项所述数据处理方法的步骤。
16.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1‑6或7任意一项所述数据处理方法的步骤。
说明书 :
数据处理方法及装置
技术领域
背景技术
发明内容
合:若有,将所述源数据的关键字段的值与所述目标订阅器集合中每一个订阅器的关键字
段的值比对,判断所述目标订阅器集合中是否有与所述源数据匹配的目标订阅器:若是,将
所述源数据推送给所述目标订阅器的归属人。
据处理方法的步骤。
定所述订阅器的唯一标识对应的订阅器编码以及当前服务器的唯一标识对应的当前服务
器编码;判断所述订阅器编码与所述服务器编码是否匹配;在所述订阅器编码与所述服务
器编码匹配的情况下,将所述订阅器存储到当前服务器,订阅器通过分布式存储的方式存
储到服务器集群中,服务器集群支持存储海量的订阅器,并有很好的可拓展性,减轻每一台
服务器的压力,提高服务器的处理速度。
附图说明
具体实施方式
下做类似推广,因此本申请不受下面公开的具体实施的限制。
使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其
他含义。还应当理解,本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多
个相关联的列出项目的任何或所有可能组合。
例如,在不脱离本申请一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,
第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……
时”或“当……时”或“响应于确定”。
个服务器中。
整体描述,只有信息同时满足订阅器中所有关键字段的匹配规则的时候,信息与该订阅器
匹配,订阅器可以通过订阅器的唯一标识确定。
Y的数据匹配。
的以太网地址或物理地址等。
则不匹配,判断所述订阅器编码与所述服务器编码是否匹配的方法在具体的应用过程中可
以根据实际情况确定,本申请不做限定。
262144,服务器103对应的服务器编码为2097152。
所述服务器编码序列中查找,将查找到距离所述订阅器编码映射位置最近的服务器编码记
做第一服务器编码。
列,获取服务器编码序列;
编码,查找距离订阅器编码4096映射的位置最近的服务器编码,经过查找发现服务器编码
32768距离订阅器编码4096的映射位置最近,则将服务器编码32768记做第一服务器编码。
个节点的圆环的相应节点上,其中0与2 在所述圆环的零点方向重合,将服务器101的服务
器编码32768映射到所述圆环的a位置、服务器102的服务器编码262144映射到所述圆环的b
位置、服务器103的服务器编码2097152映射到所述圆环的c位置。
骤508。
关键字段的值在键值对数据集查找,判断在当前服务器中是否存有第一订阅器集合,第一
订阅器集合是已经存储在键值对数据集中的订阅器集合。
中。
器中根据订阅器的指定关键字段的值将订阅器分类,极大地节省了计算资源,减少冗余的
计算步骤,减轻每一台服务器的压力,提高服务器的处理速度。
阅器进行分布式存储,可以将订阅器分散的存储在不同的服务器中,并且服务器集群有很
好的可拓展性,在每台服务器中根据订阅器的指定关键字段的值将订阅器分类,极大地节
省了计算资源,减少冗余的计算步骤,减轻每一台服务器的压力,提高服务器的存储订阅器
的处理速度。
器中根据订阅器的指定关键字段的值将订阅器分类,极大地节省了计算资源,减少冗余的
计算步骤,减轻每一台服务器的压力,提高服务器的存储订阅器的处理速度,在获取源数据
时,用源数据的关键字段的值与订阅器集合的指定关键字段的值匹配可以筛选大部分的订
阅器,极大地节省了资源,减轻服务器的工作压力,提高了源数据匹配订阅器的工作效率。
步骤608,若否,则结束。
指定关键字段为标题信息且标题信息包含“专利”的订阅器则执行步骤608,否则就结束。
器,若是,则执行步骤610,若否,则结束。
目标订阅器中的订阅器依次比对,获取与源数据匹配的订阅器。
对第1个订阅器时,所述文章的关键字段和关键字段的值与订阅器的关键字段和关键字段
的值相同,则第1个订阅器为目标订阅器,在比对第2个订阅器时,第二个订阅器订阅的是发
布地区为“上海”的文章,与所述文章不符,所第2个订阅器不是目标订阅器。
台服务器的工作压力,提高了工作效率。
所示,该装置包括:
所述订阅器编码对应映射到所述服务器编码序列的相应位置上并按照预设的查找方向在
所述服务器编码序列中查找,将查找到距离所述订阅器编码映射位置最近的服务器编码记
做第一服务器编码;判断所述第一服务器编码与所述当前服务器编码是否相同:若是,则所
述订阅器编码与所述服务器编码匹配;若否,则所述订阅器编码与所述服务器编码不匹配。
有0~2 个节点的圆环的相应节点上;将所述订阅器编码对应映射到所述圆环的相应节点
上并按照顺时针的顺序在所述圆环上查找;将查找到距离所述订阅器编码映射节点最近的
服务器编码记做第一服务器编码。
相对应的第一订阅器集合,其中,在所述键值对数据集中,指定关键字段的值被作为主键,
订阅器集合被作为键值,所述订阅器集合中订阅器的指定关键字段的值与对应的主键相
同:若是,将所述订阅器添加到所述第一订阅器集合中;若否,新建第二订阅器集合,将所述
订阅器添加到所述第二订阅器集合中,将所述指定关键字段的值与所述第二订阅器集合存
储到所述键值对数据集中。
集合:若有,将所述源数据的关键字段的值与所述目标订阅器集合中每一个订阅器的关键
字段的值比对,判断所述目标订阅器集合中是否有与所述源数据匹配的目标订阅器:若是,
则将所述源数据推送给所述目标订阅器的归属人。
海量的订阅器,并有很好的可拓展性,在每台服务器中根据订阅器的指定关键字段的值将
订阅器分类,极大地节省了计算资源,减少冗余的计算步骤,减轻每一台服务器的压力,提
高服务器的处理速度。
案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
台服务器,该装置包括:
集合:若有,将所述源数据的关键字段的值与所述目标订阅器集合中每一个订阅器的关键
字段的值比对,判断所述目标订阅器集合中是否有与所述源数据匹配的目标订阅器:若是,
将所述源数据推送给所述目标订阅器的归属人。
地节省了计算资源,减少冗余的计算步骤,减轻每一台服务器的压力,提高服务器的处理速
度。
库950用于保存数据。
(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备840可以包括有线或无线的
任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域
网(WLAN)无线接口、全球微波互联接入(Wi‑MAX)接口、以太网接口、通用串行总线(USB)接
口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
例的目的,而不是对本申请范围的限制。本领域技术人员可以根据需要,增添或替换其他部
件。
电话(例如,智能手机)、可佩戴的电子设备(例如,智能手表、智能眼镜等)或其他类型的移
动设备,或者诸如台式计算机或PC的静止电子设备。电子设备900还可以是移动式或静止式
的服务器。
法的步骤。
未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺
序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可
以的或者可能是有利的。
述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储
器、只读存储器(ROM,Read‑Only Memory)、随机存取存储器(RAM,Random Access Memory)、
电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内
容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖
区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
为依据本说明书,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该
知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本
说明书所必须的。
容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说
明书的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本
说明书仅受权利要求书及其全部范围和等效物的限制。