数据同步方法、系统、服务器及存储介质转让专利
申请号 : CN202011455862.5
文献号 : CN112463786B
文献日 : 2021-08-13
发明人 : 张立鑫
申请人 : 上海携宁计算机科技股份有限公司
摘要 :
权利要求 :
1.一种数据同步方法,其特征在于,应用于数据同步系统中的服务端,所述数据同步系统还包括分别与所述服务端连接的源数据库和多个目标数据库,所述方法包括:根据当前的更新操作推演出本地的业务数据,所述更新操作中至少包括版本号和数据内容;
将所述本地的业务数据与源数据库的业务数据进行比较,根据比较结果记录新的更新操作;
查询所述目标数据库的业务数据中的数据内容对应的最新版本号,得到第二最新版本号;
若判断出目标数据库的业务数据中第二最新版本号对应的数据内容同步完整,从所述当前的更新操作中查找大于所述第二最新版本号的版本号对应的更新操作,得到第二查找结果,若判断出目标数据库的业务数据中第二最新版本号对应的数据内容同步不完整,从所述当前的更新操作中查找不小于第二最新版本号的版本号对应的更新操作,得到第二查找结果;
将所述第二查找结果发送给目标数据库,供所述目标数据库根据所述第二查找结果进行数据同步;
其中,所有更新操作均存储于服务端本地的缓存区中。
2.根据权利要求1所述的数据同步方法,其特征在于,所述新的更新操作包括删除操作;所述将所述本地的业务数据与源数据库的业务数据进行比较,根据比较结果记录新的更新操作,包括:
遍历本地的业务数据中的数据内容,在源数据库的业务数据中的数据内容查找当前遍历到的数据内容,若未查找到当前遍历到的数据内容,记录将当前遍历到的数据内容进行删除的删除操作。
3.根据权利要求1所述的数据同步方法,其特征在于,所述新的更新操作包括新增操作;所述将所述本地的业务数据与源数据库中的业务数据进行比较,根据比较结果记录新的更新操作,包括:
遍历源数据库的业务数据中的数据内容,在本地的业务数据中的数据内容查找当前遍历到的数据内容,若未查找到当前遍历到的数据内容,记录新增当前遍历到的数据内容的新增操作。
4.根据权利要求1所述的数据同步方法,其特征在于,若业务数据中的数据内容分别具有主键,所述新的更新操作还包括修改操作;所述将所述本地的业务数据与源数据库中的业务数据进行比较,根据比较结果记录新的更新操作,包括:遍历本地的业务数据中的数据内容,在所述源数据库的业务数据中的数据内容查找当前遍历到的数据内容中的主键,若查找到当前遍历到的数据内容中的主键且所述源数据库的业务数据中与当前遍历到的数据内容具有相同主键的数据内容与当前遍历到的数据内容不完全一致,根据所述源数据库的业务数据中与当前遍历到的数据内容具有相同主键的数据内容记录修改操作;
或者,
遍历所述源数据库的业务数据中的数据内容,在所述本地的业务数据中的数据内容查找当前遍历到的数据内容中的主键,若查找到当前遍历到的数据内容中的主键且所述本地的业务数据中与所述当前遍历到的数据内容具有相同主键的数据内容与所述当前遍历到的数据内容不完全一致,根据当前遍历到的数据内容记录修改操作。
5.根据权利要求2或3所述的数据同步方法,其特征在于,若业务数据中的数据内容分别具有主键,在所述查找当前遍历到的数据内容中,查找当前遍历到的数据内容中的主键,若未查找到当前遍历到的数据内容中的主键,表明未查找到当前遍历的数据内容。
6.根据权利要求3或4所述的数据同步方法,其特征在于,若源数据库的业务数据存在版本控制列,所述源数据库的业务数据中的数据内容通过以下方式确定:查询所述当前的更新操作的最新版本号,得到第一最新版本号;
从所述源数据库的业务数据的版本控制列中查找大于所述第一最新版本号的版本号对应的数据内容,得到第一查找结果,将所述第一查找结果作为源数据库的业务数据中的数据内容。
7.根据权利要求1所述的数据同步方法,其特征在于,若所述新的更新操作为修改操作,所述修改操作中仅包括修改后的数据内容。
8.根据权利要求1所述的数据同步方法,其特征在于,在所述根据当前的更新操作推演出本地的业务数据之前,还包括:
接收所述目标数据库发送的监控请求,所述监控请求用于表征所述服务端在监控到存在新的更新操作时,将所述新的更新操作发送给所述目标数据库。
9.根据权利要求1所述的数据同步方法,其特征在于,在所述将所述本地的业务数据与源数据库的业务数据进行比较,根据比较结果记录新的更新操作之后,还包括:将所述新的更新操作的数量发送给目标数据库,供所述目标数据库根据所述新的更新操作的数量验证同步的数据内容是否完整。
10.一种数据同步方法,其特征在于,应用于数据同步系统中的多个目标数据库,所述数据同步系统还包括与所述目标数据库连接的服务端和与所述服务端连接的目标数据库,所述方法包括:
接收所述服务端发送的第二查找结果;其中,所述第二查找结果由所述服务端查询所述目标数据库的业务数据中的数据内容对应的最新版本号得到第二最新版本号,根据目标数据库的业务数据中第二最新版本号对应的数据内容同步完整,从所述当前的更新操作中查找大于所述第二最新版本号的版本号对应的更新操作得到的,或者根据目标数据库的业务数据中第二最新版本号对应的数据内容同步不完整,从所述当前的更新操作中查找不小于第二最新版本号的版本号对应的更新操作得到的;所述对应的更新操作由所述服务端根据当前的更新操作推演出本地的业务数据,并将所述本地的业务数据与源数据库的业务数据进行比较,根据比较结果记录得到的,所述更新操作中至少包括版本号和数据内容,所有更新操作均存储于服务端本地的缓存区中;
根据所述第二查找结果进行数据同步。
11.一种数据同步系统,其特征在于,包括:源数据库、服务端、目标数据库;
所述源数据库,用于提供所述源数据的业务数据;
所述服务端,根据当前的更新操作推演出本地的业务数据,所述更新操作中至少包括版本号和数据内容;将所述本地的业务数据与源数据库的业务数据进行比较,根据比较结果记录新的更新操作;查询所述目标数据库的业务数据中的数据内容对应的最新版本号,得到第二最新版本号;若判断出目标数据库的业务数据中第二最新版本号对应的数据内容同步完整,从所述当前的更新操作中查找大于所述第二最新版本号的版本号对应的更新操作,得到第二查找结果,若判断出目标数据库的业务数据中第二最新版本号对应的数据内容同步不完整,从所述当前的更新操作中查找不小于第二最新版本号的版本号对应的更新操作,得到第二查找结果;将所述第二查找结果发送给目标数据库,供所述目标数据库根据所述第二查找结果进行数据同步,其中,所有更新操作均存储于服务端本地的缓存区中;
所述目标数据库,用于接收所述服务端发送的第二查找结果;其中,所述第二查找结果由所述服务端查询所述目标数据库的业务数据中的数据内容对应的最新版本号得到第二最新版本号,根据目标数据库的业务数据中第二最新版本号对应的数据内容同步完整,从所述当前的更新操作中查找大于所述第二最新版本号的版本号对应的更新操作得到的,或者根据目标数据库的业务数据中第二最新版本号对应的数据内容同步不完整,从所述当前的更新操作中查找不小于第二最新版本号的版本号对应的更新操作得到的;所述对应的更新操作由所述服务端根据当前的更新操作推演出本地的业务数据,并将所述本地的业务数据与源数据库的业务数据进行比较,根据比较结果记录得到的,所述更新操作中至少包括版本号和数据内容,所有更新操作均存储于服务端本地的缓存区中;根据所述第二查找结果进行数据同步。
12.一种服务器,其特征在于,包括:至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至9中任一所述的数据同步方法,或者,执行如权利要求10中任一所述的数据同步方法。
13.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一所述的数据同步方法,或者,执行如权利要求10中任一所述的数据同步方法。
说明书 :
数据同步方法、系统、服务器及存储介质
技术领域
背景技术
与目标数据库和源数据库一般处于不同的局域网中,所以目标数据库和源数据库之间无法
直接进行通信,需要通过同时处于两个局域网中的服务端进行中转,即目标数据库向服务
端发送数据请求,由服务端将数据请求发送给源数据库,源数据库再将最新的业务数据通
过服务端发送给目标数据库,使得目标数据库根据最新的业务数据进行对比并对目标数据
库进行更新从而使目标数据库中的业务数据和源数据库中的业务数据保持一致,然而,服
务端需要将源数据库的最新的全部业务数据发送给目标数据库,造成服务端和目标数据库
之间的网络传输量较大,网络传输量较大时传输速度较慢,导致同步速度较慢,而且服务端
在目标数据库需要进行数据同步时才向服务端请求最新的业务数据,占用一定的时间,也
导致同步速度较慢。
发明内容
据库,所述方法包括:根据当前的更新操作推演出本地的业务数据;将所述本地的业务数据
与源数据库的业务数据进行比较,根据比较结果记录新的更新操作;将所述新的更新操作
发送给目标数据库,供所述目标数据库根据新的更新操作进行数据同步。
数据库,所述方法包括:接收所述服务端发送的新的更新操作;其中,所述新的更新操作由
所述服务端在将本地的业务数据与源数据库的业务数据进行比较并根据比较结果记录得
到;根据所述新的更新操作进行数据同步。
作推演出本地的业务数据;将所述本地的业务数据与源数据库的业务数据进行比较,根据
比较结果记录新的更新操作;将所述新的更新操作发送给目标数据库,供所述目标数据库
进行数据同步;所述目标数据库,用于接收所述服务端发送的新的更新操作,根据所述新的
更新操作进行数据同步。
指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述所述
的数据同步方法。
将新的更新操作发送给目标数据库,供目标数据库进行数据同步。通过这样的方法,目标数
据库与服务端的网络传输量只包括服务端将新的更新操作发送给服务端,并不需要服务端
将从源数据库中获取的源数据库的全部的业务数据发送给目标数据库,减少了服务端和目
标数据库之间的网络传输量,网络传输量越少传输速度越快,所以本方法可以提高同步速
度,且服务端不需要在目标数据库发送数据同步的请求后才将本地的业务数据和源数据的
业务数据进行比较,这样服务端在根据比较结果记录了新的更新操作之后可以立刻发送给
目标数据库,也提高了同步速度。
据内容,在源数据库的业务数据中的数据内容查找当前遍历到的数据内容,若未查找到当
前遍历到的数据内容,记录将当前遍历到的数据内容进行删除的删除操作。若源数据库的
业务数据中的数据内容进行了删除操作,则源数据库的业务数据中不再存在该数据内容,
所以通过遍历本地的业务数据中的数据内容,可以准确的确定出哪些进行了删除操作从而
记录删除操作,且在记录了删除操作之后,只需要将记录的删除操作发送给目标数据库,减
少了服务端和目标数据库之间的网络传输量,也提高了同步速度。
中的数据内容,在本地的业务数据中的数据内容查找当前遍历到的数据内容,若未查找到
当前遍历到的数据内容,记录新增当前遍历到的数据内容的新增操作。若源数据库的业务
数据中的数据内容进行了新增操作,则本地的业务数据中不存在该数据内容,所以通过遍
历源数据库的业务数据中的数据内容,可以准确的确定出新增了哪些业务数据从而记录新
增操作,且在记录了新增操作之后,只需要将记录的新增操作发送给目标数据库,减少了服
务端和目标数据库之间的网络传输量,也提高了同步速度。
的更新操作,包括:遍历本地的业务数据中的数据内容,在所述源数据库的业务数据中的数
据内容查找当前遍历到的数据内容中的主键,若查找到当前遍历到的数据内容中的主键且
所述源数据库的业务数据中与当前遍历到的数据内容具有相同主键的数据内容与当前遍
历到的数据内容不完全一致,根据所述源数据库的业务数据中与当前遍历到的数据内容具
有相同主键的数据内容记录修改操作;或者,遍历所述源数据库的业务数据中的数据内容,
在所述本地的业务数据中的数据内容查找当前遍历到的数据内容中的主键,若查找到当前
遍历到的数据内容中的主键且所述本地的业务数据中与所述当前遍历到的数据内容具有
相同主键的数据内容与所述当前遍历到的数据内容不完全一致,根据当前遍历到的数据内
容记录修改操作。若业务数据中的数据内容分别具有主键,由于主键的特性为具有唯一性,
所以可以在源数据库的业务数据中存在当前遍历到的数据内容中的主键时,通过对比数据
内容是否完全一致准确的确定出哪些进行了修改操作从而记录修改操作,且在记录了修改
操作之后,只需要将记录的修改操作发送给目标数据库,减少了服务端和目标数据库之间
的网络传输量,也提高了同步速度。
表明未查找到当前遍历的数据内容。若业务数据中的数据内容分别具有主键,仅仅通过查
找主键即可确定出删除操作,此时只需要获取本地的业务数据中的数据内容的主键,减轻
了工作负担,且服务端也只需要从源数据库中查找主键,减少了服务端和源数据库之间的
网络传输量,且在记录了删除操作之后,只需要将记录的删除操作发送给目标数据库,操作
简单,且减少了服务端和目标数据库之间的网络传输量,从而减少了整体的网络传输量,也
提高了同步速度,或者,仅仅通过查找主键即可确定出新增操作,此时只需要获取源数据库
的业务数据中的数据内容的主键,减轻了工作负担,且服务端也只需要从源数据库中查找
主键,不需要从源数据库中获取全部的业务数据,减少了服务端和源数据库之间的网络传
输量,且在记录了新增操作之后,只需要将记录的新增操作发送给目标数据库,减少了服务
端和目标数据库之间的网络传输量,从而减少了整体的网络传输量,也提高了同步速度。
从所述源数据库的业务数据的版本控制列中查找大于所述第一最新版本号的版本号对应
的数据内容,得到第一查找结果,将所述第一查找结果作为源数据库的业务数据中的数据
内容。若源数据库的业务数据存在版本控制列,可以根据版本控制列知道源数据库中的哪
些数据内容进行了更新,则从源数据库中的业务数据的版本控制列中查找大于第一最新版
本号的版本号对应的数据内容,此时只需要遍历查找到的源数据库的业务数据中的数据内
容即发生更新的业务数据的数据内容,减少了服务端和源数据库之间的网络传输量,进一
步提高了同步速度。
据的全部数据内容记录在修改操作中,这样可以减少修改操作中记录的数据量,从而进一
步减少了网络传输量。
作时,将所述新的更新操作发送给所述目标数据库。通过这样的方法,服务端不需要向源数
据库转发目标数据库的数据同步的请求,服务端只是在存在新的更新操作时将新的更新操
作发送给目标数据库,这样可以减少服务端和源数据库之间的网络传输量,从而减少整体
的网络传输量。
本号对应的数据内容同步完整,从所述当前的更新操作中查找大于所述第二最新版本号的
版本号对应的更新操作,得到第二查找结果;若判断出所述目标数据库的业务数据中所述
第二最新版本号对应的数据内容同步不完整,从所述当前的更新操作中查找不小于第二最
新版本号的版本号对应的更新操作,得到第二查找结果;将所述第二查找结果发送给所述
目标数据库,供所述目标数据库根据所述第二查找结果进行数据同步。通过这样的方法,可
以提高将所有的更新操作已经发送给目标数据库的可能性,避免漏掉更新操作,提高了目
标数据库接收的更新操作的完整性,从而提高了数据同步过程中目标数据库的业务数据中
数据内容的完整性,提高了数据同步的准确性。
标数据库根据所述新的更新操作的数量验证同步的数据内容是否完整。通过这样的方法,
服务端还将新的更新操作的数量发送给了目标数据库,这样目标数据库可以根据新的更新
操作的数量验证同步的数据内容是否完整,从而可以验证数据同步是否完整,提高了数据
同步过程中目标数据库的业务数据中数据内容的完整性,提高了数据同步的准确性。
附图说明
非有特别申明,附图中的图不构成比例限制。
具体实施方式
中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和
基于以下各实施例的种种变化和修改,也可以实现本申请所要求保护的技术方案。以下各
个实施例的划分是为了描述方便,不应对本发明的具体实现方式构成任何限定,各个实施
例在不矛盾的前提下可以相互结合相互引用。
1所示,包括:
作和修改操作,且更新操作中至少包括数据类型、数据内容和版本号,在同一次比较过程中
记录的更新操作的版本号是相同的,且本次比较过程中记录的新的更新操作的版本号大于
上一次比较过程中记录的新的更新操作的版本号。服务端可以通过缓存区中当前的更新操
作推演出本地的业务数据,例如:当前的更新操作包括:新增[ID][a],[姓名] [A],[年龄]
[16],版本[1]、新增[ID][b],[姓名][B],[年龄][17],版本[1]、新增[ID][c],[姓名] [C],
[年龄][18],版本[1]、删除[ID][a],版本[2]、修改[ID][c],[年龄][19],版本[2]、新增
[ID][d],[姓名] [D],[年龄][19],版本[2],则根据当前的更新操作进行推演,[ID]为[a]
的包括两条更新操作:新增[ID][a],[姓名][A],[年龄][16],版本[1]、删除[ID][a] ,版本
[2],则知道该条数据内容被删除了;[ID]为[b]的包括一条更新操作:新增[ID][b],[姓名]
[B],[年龄][17] ,版本[1],则可以得到本地的一条数据内容为[ID][b],[姓名] [B],[年
龄][17];[ID]为[c]的包括两条更新操作:新增[ID][c],[姓名] [C],[年龄][18] ,版本
[1]、修改[ID][c], [年龄][19] ,版本[2],则可以得到本地的一条数据内容为[ID][c],
[姓名] [C],[年龄][19];[ID]为[d]的包括一条更新操作:新增[ID][d],[姓名] [D],[年
龄][19],版本[2],则可以得到本地的一条数据内容为[ID][d],[姓名] [D],[年龄][19],
从而推演出本地的业务数据包括:[ID][b],[姓名] [B],[年龄][17]、[ID][c],[姓名]
[C],[年龄][19]、[ID][d],[姓名] [D],[年龄][19]。在一个例子中,服务端也可以在记录
了新的更新操作时,根据新的更新操作实时更新本地的业务数据,将本地的业务数据进行
存储,这样可以在需要的时候直接进行使用。在一个例子中,更新操作中除了包括数据类
型、数据内容和版本号,还包括以下之一或者任意组合:产生时间和各字节的哈希。在一个
例子中,更新操作存储于服务端的内存中,相较于将更新操作存入磁盘中,将更新操作存入
内存中可以实现高速缓存和高速获取。在一个例子中,不同表单的更新操作可以存储于相
同的缓存区中,也可以存储于不同的缓存区中。
数据进行比较,预设周期可以根据实际需要进行设定,本实施例不做具体限定。在进行数据
比较的过程中,服务端记录数据比较过程中的更新操作,得到新的更新操作。
内容,在源数据库的业务数据中的数据内容查找当前遍历到的数据内容,若未查找到当前
遍历到的数据内容,记录将当前遍历到的数据内容进行删除的删除操作。
主键,表明未查找到当前遍历的数据内容。具体地说,主键是标识身份的数据内容,即主键
为身份标识号(Identity card,ID),具有唯一性。以下将结合一个实例进行具体的说明,第
一个实例,当前的更新操作包括:新增[ID][a],[姓名] [A],[年龄][16],版本[1]、新增
[ID][b],[姓名] [B],[年龄][17],版本[1]、新增[ID][c],[姓名] [C],[年龄][18],版本
[1],则推演出本地的业务数据如表一所示,表二为源数据库的业务数据;遍历本地的业务
数据中的数据内容,当遍历到数据内容“a,A,16”时,获取主键“a”,在源数据库的业务数据
中查找“a”,此时未查找到“a”表明未查找到当前遍历到的数据内容,记录“删除[ID][a] ,
版本[2]”的删除操作;当遍历到数据内容“b,B,17”时,获取主键“b”,在源数据库的业务数
据中查找“b”,此时查找到“b”,则忽略该数据;当遍历到数据内容“c,C,18”时,获取主键
“c”,在源数据库的业务数据中查找“c”,此时查找到“c”,则忽略该数据,则得到新的更新操
作为:“删除[ID][a] ,版本[2]”。
a A 16
b B 17
c C 18
b B 17
c C 19
前遍历的数据内容。具体地说,以下将结合一个实例进行具体的说明,第二个实例,当前的
更新操作包括:[姓名] [A],[年龄][16],版本[1]、[姓名] [B],[年龄][17],版本[1]、[姓
名] [C],[年龄][18],版本[1],则推演出本地的业务数据如表三所示,表四为源数据库的
业务数据;遍历本地的业务数据中的各数据内容,当遍历到数据内容“A,16”时,在源数据库
中查找“A,16”,此时未查找到“A,16”,记录“删除[姓名] [A],[年龄][16],版本[2]”的删除
操作;当遍历到数据内容“B,17”时,在源数据库中查找“B,17”,此时查找到“B,17”,则忽略
该数据;当遍历到数据内容“C,18”时,在源数据库中查找“C,18”,此时未查找到“C,18”,记
录“删除[姓名] [C],[年龄][18],版本[2]”的删除操作,则得到新的更新操作为:“删除[姓
名] [A],[年龄][16] ,版本[2]”和“删除[姓名] [C],[年龄][18] ,版本[2]”。
A 16
B 17
C 18
B 17
C 19
数据内容,在本地的业务数据中的数据内容查找当前遍历到的数据内容,若未查找到当前
遍历到的数据内容,记录新增当前遍历到的数据内容的新增操作。
主键,表明未查找到当前遍历的数据内容。具体地说,以下将结合一个实例进行具体的说
明,第三个实例,当前的更新操作包括:新增[ID][a],[姓名] [A],[年龄][16],版本[1]、新
增[ID][b],[姓名] [B],[年龄][17],版本[1]、新增[ID][c],[姓名] [C],[年龄][18],版
本[1],则推演出本地的业务数据如表一所示,表五为源数据库的业务数据,此时源数据库
的业务数据不存在版本控制列,则遍历源数据库的业务数据中的全部数据内容,当遍历到
数据内容“b,B,17”时,获取主键“b”,在本地的业务数据中查找“b”,此时查找到“b”,则忽略
该数据;当遍历到数据内容“c,C,19”时,获取主键“c”,在本地的业务数据中查找“c”,此时
查找到“c”,则忽略该数据;当遍历到数据内容“d,D,19”时,获取主键“d”,在本地的业务数
据中查找“d”,此时未查找到“d”,记录“新增[ID][d],[姓名] [D],[年龄][19],版本[2]”的
新增操作,则得到新的更新操作为:“新增[ID][d],[姓名] [D],[年龄][19],版本[2]”。
c C 19
d D 19
前遍历的数据内容。具体地说,以下将结合一个实例进行具体的说明,第四个实例,当前的
更新操作包括:[姓名] [A],[年龄][16],版本[1]、[姓名] [B],[年龄][17],版本[1]、[姓
名] [C],[年龄][18],版本[1],则推演出本地的业务数据如表三所示,表六为源数据库的
业务数据;此时源数据库的业务数据不存在版本控制列,则遍历源数据库的业务数据中的
全部数据内容,当遍历到数据内容“B,17”时,此时查找到“B,17”,则忽略该数据;当遍历到
数据内容“C,19”时,此时未查找到“C,19”,记录“新增[姓名] [C],[年龄][19],版本[2]”的
新增操作,当遍历到数据内容“D,19”时,此时未查找到“D,19”,记录“新增[姓名] [D],[年
龄][19],版本[2]”的新增操作,则得到新的更新操作为:“新增[姓名] [C],[年龄][19],版
本[2]”和“新增[姓名] [D],[年龄][19] ,版本[2]”。
B 17
C 19
D 19
新操作,包括:遍历本地的业务数据中的数据内容,在源数据库的业务数据中的数据内容查
找当前遍历到的数据内容中的主键,若查找到当前遍历到的数据内容中的主键且源数据库
的业务数据中与当前遍历到的数据内容具有相同主键的数据内容与当前遍历到的数据内
容不完全一致,根据源数据库的业务数据中与当前遍历到的数据内容具有相同主键的数据
内容记录修改操作。
[c],[姓名] [C],[年龄][18] ,版本[1],则推演出本地的业务数据如表一所示,表二为源
数据库的业务数据;遍历本地的业务数据中的数据内容,当遍历到数据内容“a,A,16”时,在
源数据库的业务数据中查找“a”,获取主键“a”,此时未查找到“a”,则忽略该数据;当遍历到
数据内容“b,B,17”时,在源数据库的业务数据中查找“b”,获取主键“b”,此时查找到“b”,源
数据库的业务数据中具有相同主键“b”的数据内容为“b,B,17”,这与当前遍历到的数据内
容完全一致,则忽略该数据;当遍历到数据内容“c,C,18”时,获取主键“c”,在源数据库的业
务数据中查找“c”,此时查找到“c”,源数据库的业务数据中具有相同主键“c”的数据内容为
“c,C,19”,这与当前遍历到的数据内容不完全一致,则根据“c,C,19”记录“修改[ID][c]姓
名[C]年龄[19],版本[2]”的修改操作,则得到新的更新操作为:“修改[ID][c]姓名[C]年龄
[19],版本[2]”。在一个例子中,修改操作中仅包括修改后的数据内容,则此时记录“修改
[ID][c]年龄[19],版本[2]”的修改操作。
新操作,包括:遍历源数据库的业务数据中的数据内容,在本地的业务数据中的数据内容查
找当前遍历到的数据内容中的主键,若查找到当前遍历到的数据内容中的主键且本地的业
务数据中与当前遍历到的数据内容具有相同主键的数据内容与当前遍历到的数据内容不
完全一致,根据当前遍历到的数据内容记录修改操作。
[c],[姓名] [C],[年龄][18],版本[1],则推演出本地的业务数据如表一所示,表五为源数
据库的业务数据;遍历源数据库的业务数据中的数据内容,当遍历到数据内容“b,B,17”时,
获取主键“b”,在本地的业务数据中查找“b”,此时查找到“b”,本地的业务数据中具有相同
主键“b”的数据内容为“b,B,17”,这与当前遍历到的数据内容完全一致,则忽略该数据;当
遍历到数据内容“c,C,19”时,获取主键“c”,在源数据库的业务数据中查找“c”,此时查找到
“c”,源数据库的业务数据中具有相同主键“c”的数据内容为“c,C,18”,这与当前遍历到的
数据内容不完全一致,则根据“c,C,19”记录“修改[ID][c]姓名[C]年龄[19],版本[2]”的修
改操作,当遍历到数据内容“d,D,19”时,获取主键“d”,在本地的业务数据中未查找到“d”,
此时未查找到“d”,则忽略该数据,则得到新的更新操作为:“修改[ID][c]姓名[C]年龄
[19],版本[2]”。在一个例子中,修改操作中仅包括修改后的数据内容,则此时记录“修改
[ID][c]年龄[19],版本[2]”的修改操作。
从源数据库的业务数据的版本控制列中查找大于第一最新版本号的版本号对应的数据内
容,得到第一查找结果,将第一查找结果作为源数据库的业务数据中的数据内容。
内容,只是用来标识业务数据的数据内容的版本号,当源数据库的数据内容发生新增和修
改操作时,新增和修改操作的数据内容的版本号会发生变化,且在同一次更新过程中新增
和修改操作的业务数据的版本号是相同的,且本次更新过程中记录的更新操作的版本号大
于上一次更新过程中记录的更新操作的版本号,例如:源数据库的业务数据中的“b,B,17”
对应的版本号为1,“c,C,18”对应的版本号为1;在第一次更新过程中,将“c”中的“18”修改
为“19”,为进行了修改操作的数据内容,则“c,C,19”对应的版本号为2,新增“d,D,19”,为进
行了新增操作的数据内容,则“d,D,19”对应的版本号为2,如表八所示,为第一次更新后的
源数据库的业务数据,在第二次更新过程中,将“b”中的“19”修改为“20”,为进行了修改操
作的数据内容,则“b,B,20”对应的版本号为3,如表九所示,为第二次更新后的源数据库的
业务数据。在进行数据比较的过程中,查询当前的更新操作的最新版本号,若当前的更新操
作有:新增“a,A,16”,版本号为1;新增“b,B,17”,版本号为1;新增“c,C,18”,版本号为1,则
得到第一最新版本号为1,若源数据库的业务数据如表八所示,则根据表八从源数据库的业
务数据的版本控制列中查找版本号大于1的版本号对应的数据内容,得到查找结果为“c,C,
19”和“d,D,19”,则遍历“c,C,19”和“d,D,19”。其中,服务端本次将本地的业务数据与源数
据库的业务数据进行比较,根据比较结果记录新的更新操作时,新的更新操作记录的版本
号与版本控制列的版本号一致,例如:当遍历到数据内容“d,D,19”时,获取主键“d”,在本地
的业务数据中查找“d”,此时未查找到“d”,记录“新增[ID][d],[姓名] [D],[年龄][19],
[版本号][2]”的新增操作;其中,版本号的设置规则可以根据实际需要进行设定,可以用阿
拉伯数字进行表示,也可以用字母进行表示,本实施例不做具体限定。通过这样的方法,若
源数据库的业务数据存在版本控制列,可以根据版本控制列知道源数据库中的哪些数据内
容进行了更新,则从源数据库中的业务数据的版本控制列中查找大于第一最新版本号的版
本号对应的数据内容,此时只需要遍历查找到的源数据库的业务数据中的数据内容即发生
更新的业务数据的数据内容,可以减轻本地的工作量,且在记录了新增操作之后,只需要将
记录的新增操作发送给目标数据库,减少了服务端和目标数据库之间的网络传输量,也提
高了同步速度。
a A 16 1
b B 17 1
c C 18 1
b B 17 1
c C 19 2
d D 19 2
c C 19 2
d D 19 2
到当前遍历到的数据内容中的主键,表明未查找到当前遍历的数据内容,记录将当前遍历
到的数据内容进行删除的删除操作,若查找到当前遍历到的数据内容中的主键且源数据库
的业务数据中与当前遍历到的数据内容具有相同主键的数据内容与当前遍历到的数据内
容不完全一致,根据源数据库的业务数据中与当前遍历到的数据内容具有相同主键的数据
内容记录修改操作;再根据当前的更新操作推演出本地的业务数据,并遍历源数据库的业
务数据中的数据内容,在本地的业务数据中查找当前遍历到的数据内容中的主键,若未查
找到当前遍历到的数据内容中的主键,记录新增当前遍历到的数据内容的新增操作。
[17],版本[1]、新增[ID][c],[姓名] [C],[年龄][18],版本[1],则推演出本地的业务数据
如表一所示,表五为源数据库的业务数据;遍历本地的业务数据中的数据内容,当遍历到数
据内容“a,A,16”时,获取主键“a”,在源数据库的业务数据中查找“a”,此时未查找到“a”表
明未查找到当前遍历到的数据内容,记录“删除[ID][a],版本[2]”的删除操作;当遍历到数
据内容“b,B,17”时,获取主键“b”,在源数据库的业务数据中查找“b”,此时查找到“b”,源数
据库的业务数据中具有相同主键“b”的数据内容为“b,B,17”,这与当前遍历到的数据内容
完全一致,则忽略该数据;当遍历到数据内容“c,C,18”时,获取主键“c”,在源数据库的业务
数据中查找“c”,此时查找到“c”,源数据库的业务数据中具有相同主键“c”的数据内容为
“c,C,19”,这与当前遍历到的数据内容不完全一致,则根据“c,C,19”记录“修改[ID][c]年
龄[19],版本[2]”的修改操作,则新的更新操作包括:删除[ID][a],版本[2]、修改[ID][c]
姓名[C]年龄[19],版本[2],所以当前的更新操作:新增[ID][a],[姓名] [A],[年龄][16],
版本[1]、新增[ID][b],[姓名] [B],[年龄][17],版本[1]、新增[ID][c],[姓名] [C],[年
龄][18],版本[1]、删除[ID][a],版本[2]、修改[ID][c]年龄[19],版本[2],则推演出本地
的业务数据如表十所示,并遍历源数据库的业务数据中的数据内容,当遍历到数据内容“b,
B,17”时,获取主键“b”,在本地的业务数据中查找“b”,此时查找到“b”,则忽略该数据;当遍
历到数据内容“c,C,19”时,获取主键“c”,在本地的业务数据中查找“c”,此时查找到“c”,则
忽略该数据;当遍历到数据内容“d,D,19”时,获取主键“d”,在本地的业务数据中查找“d”,
此时未查找到“d”,记录“新增[ID][d],[姓名] [D],[年龄][19],版本[2]”的新增操作,则
所有的新的更新操作包括:删除[ID][a],版本[2]、修改[ID][c]年龄[19],版本[2]、新增
[ID][d],[姓名][D],[年龄][19],版本[2]。通过这样的方法,由于先进行的删除操作和修
改操作的判断,当存在删除操作时本地的业务数据的数据内容就减少了,这样可以使后续
进行新增操作的判断时可以减少数据内容的对比,进一步提高同步速度。
b B 17
c C 19
到当前遍历到的数据内容中的主键,表明未查找到当前遍历的数据内容,记录将当前遍历
到的数据内容进行删除的删除操作;再根据当前的更新操作推演出本地的业务数据,并遍
历源数据库的业务数据中的数据内容,在本地的业务数据中查找当前遍历到的数据内容中
的主键,若未查找到当前遍历到的数据内容中的主键,表明未查找到当前遍历的数据内容,
记录新增当前遍历到的数据内容的新增操作,若查找到当前遍历到的数据内容中的主键且
本地的业务数据中与当前遍历到的数据内容具有相同主键的数据内容与当前遍历到的数
据内容不完全一致,根据当前遍历到的数据内容记录修改操作。
到当前遍历到的数据内容中的主键,表明未查找到当前遍历的数据内容,记录新增当前遍
历到的数据内容的新增操作;再根据当前的更新操作推演出本地的业务数据,并遍历本地
的业务数据中的数据内容,在源数据库的业务数据中查找当前遍历到的数据内容中的主
键,若未查找到当前遍历到的数据内容中的主键,表明未查找到当前遍历的数据内容,记录
将当前遍历到的数据内容进行删除的删除操作,若查找到当前遍历到的数据内容中的主键
且源数据库的业务数据中与当前遍历到的数据内容具有相同主键的数据内容与当前遍历
到的数据内容不完全一致,根据源数据库的业务数据中与当前遍历到的数据内容具有相同
主键的数据内容记录修改操作。
[17],版本[1]、新增[ID][c],[姓名] [C],[年龄][18],版本[1],则推演出本地的业务数据
如表一所示,表五为源数据库的业务数据;先遍历源数据库的业务数据中的数据内容,当遍
历到数据内容“b,B,17”时,获取主键“b”,在本地的业务数据中查找“b”,此时查找到“b”,则
忽略该数据;当遍历到数据内容“c,C,19”时,获取主键“c”,在本地的业务数据中查找“c”,
此时查找到“c”,则忽略该数据;当遍历到数据内容“d,D,19”时,获取主键“d”,在本地的业
务数据中查找“d”,此时未查找到“d”,记录“新增[ID][d],[姓名] [D],[年龄][19],版本
[2]”的新增操作,则得到新的更新操作为:“新增[ID][d],[姓名] [D],[年龄][19],版本
[2]”;再遍历本地的业务数据中的数据内容,所以当前的更新操作:新增[ID][a],[姓名]
[A],[年龄][16],版本[1]、新增[ID][b],[姓名] [B],[年龄][17],版本[1]、新增[ID][c],
[姓名] [C],[年龄][18],版本[1]、新增[ID][d],[姓名] [D],[年龄][19],版本[2],则推
演出本地的业务数据如表十一所示,并遍历本地的业务数据中的数据内容,当遍历到数据
内容“a,A,16”时,获取主键“a”,在源数据库的业务数据中查找“a”,此时未查找到“a”表明
未查找到当前遍历到的数据内容,记录“删除[ID][a],版本[2]”的删除操作;当遍历到数据
内容“b,B,17”时,获取主键“b”,在源数据库的业务数据中查找“b”,此时查找到“b”,源数据
库的业务数据中具有相同主键“b”的数据内容为“b,B,17”,这与当前遍历到的数据内容完
全一致,则忽略该数据;当遍历到数据内容“c,C,18”时,获取主键“c”,在源数据库的业务数
据中查找“c”,此时查找到“c”,源数据库的业务数据中具有相同主键“c”的数据内容为“c,
C,19”,这与当前遍历到的数据内容不完全一致,则根据“c,C,19”记录“修改[ID][c]年龄
[19],版本[2]”的修改操作,当遍历到数据内容“d,D,19”时,获取主键“d”,在源数据库的业
务数据中查找“d”,此时查找到“d”,源数据库的业务数据中具有相同主键“d”的数据内容为
“d,D,19”,这与当前遍历到的数据内容完全一致,则忽略该数据,则得到新的更新操作为:
删除[ID][a],版本[2]、修改[ID][c]年龄[19],版本[2],则所有的新的更新操作包括:删除
[ID][a],版本[2]、修改[ID][c]年龄[19],版本[2]、新增[ID][d],[姓名][D],[年龄][19],
版本[2]。
a A 16
b B 17
c C 18
d D 19
到当前遍历到的数据内容中的主键,表明未查找到当前遍历的数据内容,记录新增当前遍
历到的数据内容的新增操作,若查找到当前遍历到的数据内容中的主键且本地的业务数据
中与当前遍历到的数据内容具有相同主键的数据内容与当前遍历到的数据内容不完全一
致,根据当前遍历到的数据内容记录修改操作;再根据当前的更新操作推演出本地的业务
数据,并遍历本地的业务数据中的数据内容,在源数据库的业务数据中查找当前遍历到的
数据内容中的主键,若未查找到当前遍历到的数据内容中的主键,表明未查找到当前遍历
的数据内容,记录将当前遍历到的数据内容进行删除的删除操作。
据内容进行删除的删除操作;再根据当前的更新操作推演出本地的业务数据,并遍历源数
据库的业务数据中的数据内容,在本地的业务数据中查找当前遍历到的数据内容,若未查
找到当前遍历到的数据内容,记录新增当前遍历到的数据内容的新增操作。
数据内容的新增操作;再根据当前的更新操作推演出本地的业务数据,并遍历本地的业务
数据中的数据内容,在源数据库的业务数据中查找当前遍历到的数据内容,若未查找到当
前遍历到的数据内容,记录将当前遍历到的数据内容进行删除的删除操作。
当前遍历到的数据内容中的主键,表明未查找到当前遍历的数据内容,记录将当前遍历到
的数据内容进行删除的删除操作,若查找到当前遍历到的数据内容中的主键且源数据库的
业务数据中与当前遍历到的数据内容具有相同主键的数据内容与当前遍历到的数据内容
不完全一致,根据源数据库的业务数据中与当前遍历到的数据内容具有相同主键的数据内
容记录修改操作。
当前遍历到的数据内容中的主键,表明未查找到当前遍历的数据内容,记录新增当前遍历
到的数据内容的新增操作,若查找到当前遍历到的数据内容中的主键且本地的业务数据中
与当前遍历到的数据内容具有相同主键的数据内容与当前遍历到的数据内容不完全一致,
根据当前遍历到的数据内容记录修改操作。
括但不限于以下几种:先确定删除操作和修改操作再确定新增操作、先确定删除操作再确
定新增操作和修改操作、先确定新增操作再确定删除和修改、先确定新增操作再确定删除
和修改、先确定删除操作再确定新增操作、先确定新增操作再确定删除操作、确定删除操作
和修改操作、确定新增操作和修改操作等等。
的个数大于一个,服务端将新的更新操作发送给所有的目标数据库,使目标数据库根据新
的更新操作进行数据同步,此时虽然需要同步的目标数据库大于一个,但是服务端仅将本
地的业务数据与源数据库的业务数据进行了一次对比得到新的更新操作,直接将新的更新
操作发送给所有的目标数据库即可实现所有的目标数据库根据新的更新操作进行数据同
步。在一个例子中,目标数据库需要通过对应的客户端桥接网络到服务端,则服务端将新的
更新操作发送给客户端,由客户端根据新的更新操作使对应的目标数据库根据新的更新操
作进行数据同步。
据库根据新的更新操作的数量验证同步的数据内容是否完整。具体地说,服务端可以先发
送新的更新操作的数量,再发送新的更新操作;也可以先发送新的更新操作,再发送新的更
新操作的数量;也可以同时发送新的更新操作和新的更新操作的数量。目标数据库在接收
到新的更新操作之后进行数据同步,当完成数据同步时可以得到进行了更新的更新操作的
数量,若在目标数据库中进行了更新的更新操作的数量与服务端发送的新的更新操作的数
量不一致,则说明更新的不完整即同步的数据内容不完整,则目标数据库向服务端重新请
求新的更新操作,若在目标数据库中进行了更新的更新操作的数量与服务端发送的新的更
新操作的数量一致,则说明更新的完整即同步的数据内容完整。例如:新的更新操作的数量
为10条,在接收到新的更新操作之后进行数据同步,当完成数据同步时若得到在目标数据
库进行了更新的更新操作的数量为5条,则说明更新的不完整,在接收到新的更新操作之后
进行数据同步,当完成数据同步时若得到在目标数据库进行了更新的更新操作的数量为10
条,则说明更新的完整。通过这样的方法,服务端还将新的更新操作的数量发送给了目标数
据库,这样目标数据库可以根据新的更新操作的数量验证是否同步的数据内容是否完整,
从而可以验证数据同步是否完整,提高了数据同步过程中目标数据库的业务数据中数据内
容的完整性,提高了数据同步的准确性。在一个例子中,数据同步系统中的服务端的个数大
于一个,所有的服务端形成服务端集群,各服务端采用分布式的架构方式进行部署,且采用
分布式锁保证同一个数据同步任务在服务端集群中只有一个服务端进行且由当前性能最
好的服务端进行,若该服务端发生故障,则该数据同步的任务由其他的服务端继续执行,即
由其他的服务端根据当前的更新操作推演出本地的业务数据;将本地的业务数据与源数据
库的业务数据进行比较,根据比较结果记录新的更新操作,并将新的更新操作发送给目标
数据库,供目标数据库根据新的更新操作进行数据同步,直至执行成功或者服务端集群内
所有的服务端均发生故障;其中,服务端内置的传输控制协议(Transmission Control
Protocol,TCP)或网际互连协议(Internet Protocol,IP)使服务端集群中的服务端相互发
现并进行通讯,自动实现服务端集群内的服务端的联结及工作。
目标数据库,供目标数据库根据新的更新操作进行数据同步。通过这样的方法,目标数据库
与服务端的网络传输量只包括服务端将新的更新操作发送给服务端,并不需要服务端将从
源数据库中获取的源数据库的全部的业务数据发送给目标数据库,减少了服务端和目标数
据库之间的网络传输量,网络传输量越少传输速度越快,所以本方法可以提高同步速度,且
服务端不需要在目标数据库发送数据同步的请求后才将本地的业务数据和源数据的业务
数据进行比较,这样服务端在根据比较结果记录了新的更新操作之后可以立刻发送给目标
数据库,也提高了同步速度。
库需要通过对应的客户端桥接网络到服务端,则客户端向服务端发送监控请求,服务端在
监控到存在新的更新操作时,将新的更新操作发送给客户端,由客户端根据新的更新操作
使对应的目标数据库进行数据同步。
源数据库之间的网络传输,从而减少整体的网络传输。
结果进行数据同步,具体流程图如图3所示,包括:
二查找结果;若判断出目标数据库的业务数据中第二最新版本号对应的数据内容同步不完
整,从当前的更新操作中查找不小于第二最新版本号的版本号对应的更新操作,得到第二
查找结果。
步过程中发生中断造成无法完整地进行全部的数据同步,或者当存在新增的目标数据库
时,新增的目标数据库没有接收到该次数据同步过程之前的新的更新操作,等等,这样就会
导致部分更新操作并没有成功的发送到目标数据库,所以在客户端每次进行数据同步时,
服务端先查询目标数据库的业务数据中的数据内容的最新版本号,得到第二最新版本号,
并根据第二最新版本号在服务端中对应的更新操作的数量和第二最新版本号在目标数据
库中对应的进行了更新的更新操作的数量判断第二最新版本号对应的数据内容是否同步
完整,若第二最新版本号在服务端中对应的更新操作的数量等于该第二最新版本号在目标
数据库中对应的进行了更新的更新操作的数量,则说明目标数据库中第二最新版本号对应
的数据内容完整,再确定服务端的当前的更新操作中是否可以查找到大于第二最新版本号
的版本号对应的更新操作,若查找到大于第二最新版本号的版本号对应的更新操作,得到
第二查找结果,说明目标数据库没有更新到最新的版本号,则将得到的第二查找结果发送
给目标数据库,若第二最新版本号在服务端中对应的更新操作的数量大于该第二最新版本
号在目标数据库中对应的进行了更新的更新操作的数量,则说明目标数据库中第二最新版
本号对应的数据内容不完整,再从当前的更新操作中查找不小于第二最新版本号的版本号
对应的更新操作,得到第二查找结果,则将第二查找结果发送给目标数据库;服务端可以将
第二查找结果一次全部发送给目标数据库,也可以按照版本号分多次发送给目标数据库,
例如:第二最新版本号为2,若第二最新版本号在目标数据库中对应的进行了更新的更新操
作的数量为5条,第二最新版本号在服务端对应的更新操作的数量为5条,则说明第二最新
版本号对应的数据内容完整,从当前的更新操作中查找到版本号为3的更新操作和版本号
为4的更新操作,则可以将版本号为3的更新操作和版本号为4的更新操作一次全部发送给
目标数据库,也可以先将版本号为3的更新操作新发送给目标数据库,再将版本号为4的更
新操作发送给目标数据库,使目标数据库根据第二查找结果进行数据同步;第二最新版本
号为2,若第二最新版本号在目标数据库中对应的进行了更新的更新操作的数量为5条,第
二最新版本号在服务端对应的更新操作的数量为10条,则说明第二最新版本号对应的数据
内容不完整,从当前的更新操作中查找到版本号为2的更新操作、版本号为3的更新操作和
版本号为4的更新操作。
中的内容即可知道目标数据库的业务数据中的数据内容的最新版本号。
301‑303可以在任何一个步骤进行,即步骤301‑303也可以在步骤304之后进行,也可以在步
骤305之后进行,也可以在步骤306之后进行。
库的业务数据中数据内容的完整性,提高了数据同步的准确性。
流程如图4所示,包括:
内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法
和流程的核心设计都在该专利的保护范围内。
给目标数据库,供目标数据库根据新的更新操作进行数据同步。
步任务在服务端集群中只有一个服务端进行且由当前性能最好的服务端进行,若该服务端
发生故障,则该数据同步的任务由其他的服务端继续执行数据同步,并记录数据同步过程
中的更新操作,并将更新操作发送给目标数据库,供目标数据库进行数据同步,直至执行成
功或者服务端集群内所有的服务端均发生故障;其中,服务端内置的传输控制协议
(Transmission Control Protocol,TCP)或网际互连协议(Internet Protocol,IP)使服务
端集群中的服务端相互发现并进行通讯,自动实现服务端集群内的服务端的联结及工作。
是服务端仅将本地的业务数据与源数据库的业务数据进行了一次对比得到新的更新操作,
直接将新的更新操作发送给所有的目标数据库即可实现所有的目标数据库根据新的更新
操作进行数据同步。
二实施例和第三实施例中提到的相关技术细节在本实施例中依然有效,为了减少重复,这
里不再赘述。相应地,本实施例中提到的相关技术细节也可应用在第一实施例、第二实施例
和第三实施例中。
执行的指令,指令被至少一个处理器602执行,以使至少一个处理器602能够执行上述数据
同步方法。
以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是
本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供
接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在
传输介质上与各种其他装置通信的单元。经处理器602处理的数据通过天线在无线介质上
进行传输,进一步,天线还接收数据并将数据传送给处理器602。
操作时所使用的数据。
得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方
法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read‑Only
Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程
序代码的介质。