一种数据处理方法及装置转让专利

申请号 : CN201710210430.X

文献号 : CN107085603A

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 王磊帅伟良

申请人 : 北京奇艺世纪科技有限公司

摘要 :

本发明实施例提供了一种数据处理方法及装置,所述方法包括:对数据库中的目标数据进行处理;当完成对所述目标数据的处理后,对比处理后的目标数据的版本号与当前数据库中存储的目标数据的版本号是否一致,其中,数据库中存储的各数据的版本号是各数据更新时对应更新的;当处理后的目标数据的版本号与当前数据库中存储的目标数据的版本号不一致时,重新对目标数据进行处理。本发明实施例能够避免数据错误,保证数据的一致性,提高数据库中保存的数据的准确性。

权利要求 :

1.一种数据处理方法,其特征在于,包括:

对数据库中的目标数据进行处理;

完成对所述目标数据的处理后,对比处理后的目标数据的版本号与当前所述数据库中存储的目标数据的版本号是否一致,其中,所述数据库中存储的各数据的版本号是各数据更新时对应更新的;

当所述处理后的目标数据的版本号与当前所述数据库中存储的目标数据的版本号不一致时,重新对所述目标数据进行处理。

2.根据权利要求1所述的方法,其特征在于,所述完成对所述目标数据的处理后,对比处理后的目标数据的版本号与当前所述数据库中存储的所述目标数据的版本号是否一致的步骤包括:当有多个进程同时对所述目标数据进行处理时,每一个进程完成对所述目标数据的处理之后,对比处理后的目标数据的版本号与当前所述数据库中存储的所述目标数据的版本号是否一致。

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:监测所述数据库中存储的数据是否发生更新;

当所述数据发生更新时,同步更新所述数据的版本号。

4.根据权利要求3所述的方法,其特征在于,所述数据库为Hbase数据库,所述监测所述数据库中存储的数据是否发生更新的步骤包括:通过所述Hbase数据库的协处理器机制,实时监测所述Hbase数据库中的数据是否发生更新;

所述当所述数据发生更新时,同步更新所述数据的版本号的步骤包括:当所述数据发生更新时,通过所述协处理器机制同步更新所述数据的版本号。

5.根据权利要求3所述的方法,其特征在于,所述同步更新所述数据的版本号的步骤包括:根据所述数据的当前版本号,以及预设的版本号排序规则,获取所述当前版本号的下一版本号;

将所获取的版本号确定为所述数据的版本号。

6.一种数据处理装置,其特征在于,包括:

第一处理模块,用于对数据库中的目标数据进行处理;

对比模块,用于完成对所述目标数据的处理后,对比处理后的目标数据的版本号与当前所述数据库中存储的目标数据的版本号是否一致,其中,所述数据库中存储的各数据的版本号是各数据更新时对应更新的;

第二处理模块,用于当所述处理后的目标数据的版本号与当前所述数据库中存储的所述目标数据的版本号不一致时,重新对所述目标数据进行处理。

7.根据权利要求6所述的装置,其特征在于,所述对比模块,具体用于当有多个进程同时对所述目标数据进行处理时,每一个进程完成对所述目标数据的处理之后,对比处理后的目标数据的版本号与当前所述数据库中存储的所述目标数据的版本号是否一致。

8.根据权利要求6所述的装置,其特征在于,所述装置还包括:监测模块,用于监测所述数据库中存储的数据是否发生更新;

更新模块,用于当所述数据发生更新时,同步更新所述数据的版本号。

9.根据权利要求8所述的装置,其特征在于,所述数据库为Hbase数据库,所述监测模块,具体用于通过所述Hbase数据库的协处理器机制,实时监测所述Hbase数据库中的数据是否发生更新;

所述更新模块,具体用于当所述数据发生更新时,通过所述协处理器机制同步更新所述数据的版本号。

10.根据权利要求8所述的装置,其特征在于,所述更新模块,具体用于根据所述数据的当前版本号,以及预设的版本号排序规则,获取所述当前版本号的下一版本号;将所获取的版本号确定为所述数据的版本号。

说明书 :

一种数据处理方法及装置

技术领域

[0001] 本发明涉及计算机技术领域,特别是涉及一种数据处理方法及装置。

背景技术

[0002] 随着计算机技术以及互联网技术的高速发展,网络上每天都会产生并更新大量的各种数据。例如,一个视频网站上视频搜索的索引数据量目前已达到了5亿的海量数据。
[0003] 目前一般都会将大量的数据通过各种数据库进行保存。并且,可以根据需要,对保存的数据进行相应的处理,并保存处理后的数据。例如,针对数据库中保存的大量的数据,可以定期的对数据库中的数据进行批量的处理。数据的处理根据不同的业务需要可以有多种形式,比如,可以对数据库中的全部数据进行归一化的处理,并将处理后的数据进行保存。同时,根据具体的业务需要,对个别数据还可以进行实时的数据处理,并可以将处理后的数据进行保存。
[0004] 在现有技术中,当数据处理程序进程从数据库中已经读取了数据,并正在进行数据处理时,数据库中的数据有可能会发生更新。这将导致正在处理的数据过期,从而数据处理程序完成数据处理后,所保存的处理后的数据会与数据库中更新后的数据不对应,进而导致数据发生错误。

发明内容

[0005] 本发明实施例的目的在于提供一种数据处理方法及装置,以提高数据库中保存的数据的准确性,避免发生数据错误。具体技术方案如下:
[0006] 本发明实施例公开了一种数据处理方法,包括:
[0007] 对数据库中的目标数据进行处理;
[0008] 完成对所述目标数据的处理后,对比处理后的目标数据的版本号与当前所述数据库中存储的目标数据的版本号是否一致,其中,所述数据库中存储的各数据的版本号是各数据更新时对应更新的;
[0009] 当所述处理后的目标数据的版本号与当前所述数据库中存储的目标数据的版本号不一致时,重新对所述目标数据进行处理。
[0010] 可选的,所述完成对所述目标数据的处理后,对比处理后的目标数据的版本号与当前所述数据库中存储的所述目标数据的版本号是否一致的步骤包括:
[0011] 当有多个进程同时对所述目标数据进行处理时,每一个进程完成对所述目标数据的处理之后,对比处理后的目标数据的版本号与当前所述数据库中存储的所述目标数据的版本号是否一致。
[0012] 可选的,所述方法还包括:
[0013] 监测所述数据库中存储的数据是否发生更新;
[0014] 当所述数据发生更新时,同步更新所述数据的版本号。
[0015] 可选的,所述数据库为Hbase数据库,所述监测所述数据库中存储的数据是否发生更新的步骤包括:
[0016] 通过所述Hbase数据库的协处理器机制,实时监测所述Hbase数据库中的数据是否发生更新;
[0017] 所述当所述数据发生更新时,同步更新所述数据的版本号的步骤包括:
[0018] 当所述数据发生更新时,通过所述协处理器机制同步更新所述数据的版本号。
[0019] 可选的,所述同步更新所述数据的版本号的步骤包括:
[0020] 根据所述数据的当前版本号,以及预设的版本号排序规则,获取所述当前版本号的下一版本号;
[0021] 将所获取的版本号确定为所述数据的版本号。
[0022] 本发明实施例还公开了一种数据处理装置,包括:
[0023] 第一处理模块,用于对数据库中的目标数据进行处理;
[0024] 对比模块,用于完成对所述目标数据的处理后,对比处理后的目标数据的版本号与当前所述数据库中存储的目标数据的版本号是否一致,其中,所述数据库中存储的各数据的版本号是各数据更新时对应更新的;
[0025] 第二处理模块,用于当所述处理后的目标数据的版本号与当前所述数据库中存储的所述目标数据的版本号不一致时,重新对所述目标数据进行处理。
[0026] 可选的,所述对比模块,具体用于当有多个进程同时对所述目标数据进行处理时,每一个进程完成对所述目标数据的处理之后,对比处理后的目标数据的版本号与当前所述数据库中存储的所述目标数据的版本号是否一致。
[0027] 可选的,所述装置还包括:
[0028] 监测模块,用于监测所述数据库中存储的数据是否发生更新;
[0029] 更新模块,用于当所述数据发生更新时,同步更新所述数据的版本号。
[0030] 可选的,所述数据库为Hbase数据库,所述监测模块,具体用于通过所述Hbase数据库的协处理器机制,实时监测所述Hbase数据库中的数据是否发生更新;
[0031] 所述更新模块,具体用于当所述数据发生更新时,通过所述协处理器机制同步更新所述数据的版本号。
[0032] 可选的,所述更新模块,具体用于根据所述数据的当前版本号,以及预设的版本号排序规则,获取所述当前版本号的下一版本号;将所获取的版本号确定为所述数据的版本号。
[0033] 本发明实施例提供的一种数据处理方法及装置,当对数据完成数据处理后,能够通过数据的版本号,判断出该数据是否发生了更新,当完成数据处理后的数据的版本号与此时数据库中的该数据的版本号不相符时,则表示在对该数据进行处理的过程中,该数据发生了更新,这种情况下,可以放弃本次已经处理完的数据,并重新使用更新后的数据进行数据处理,进而能够避免数据错误,保证数据的一致性,提高数据库中保存的数据的准确性,使得在进行大批量的数据处理时能够同时进行个别数据的更新操作,而不会导致数据发生错误。当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

[0034] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0035] 图1为本法明实施例提供的数据处理方法的一种流程图;
[0036] 图2为本法明实施例提供的数据处理装置的结构示意图。

具体实施方式

[0037] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0038] 参见图1,图1为本法明实施例提供的数据处理方法的一种流程图,包括:
[0039] 步骤101,对数据库中的目标数据进行处理。
[0040] 本发明实施例提供的方法可以应用于电子设备。其中,上述电子设备可以为台式计算机、便携式计算机、智能移动终端等。
[0041] 数据库指的是以一定方式储存在一起、能为多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。本发明实施例中的数据库可以是目前现有多种数据库中的一种,例如Hbase数据库,DB2数据库、SQL Server数据库、Sybase数据库等等。
[0042] 目标数据是指在数据库中存储的、需要进行数据处理的一部分或者全部数据。对数据进行处理是指将存储在数据库中的数据根据不同的业务需要,进行相应规则的数据处理的过程,例如,可以对数据进行归一化处理,去掉数据所包含的量纲,使之转化为纯数值;或者对数据进行筛选,去除沉余数据等等。
[0043] 根据具体不同的需要,可以对数据进行多种方式的处理,对数据进行处理的具体方法属于现有技术,在此不再进行赘述。
[0044] 本发明实施例中,电子设备可以通过各种数据处理程序或数据库本身的数据处理程序对数据进行处理,在进行数据的处理时,可以先将需要进行处理的目标数据从数据库中进行读取。例如,当目标数据在数据库中以表格的形式存储时,数据处理程序可以先从数据库的表格中读取到目标数据,然后再进行目标数据的处理。当处理完成后,可以将处理后的数据保存在其他数据库中,或者保存在原数据库的另一张表中,或者保存在原数据库中原数据的表格并覆盖原数据库中的原数据。
[0045] 步骤102,完成对目标数据的处理后,对比处理后的目标数据的版本号与当前数据库中存储的目标数据的版本号是否一致。其中,数据库中存储的各数据的版本号是各数据更新时对应更新的。
[0046] 在本发明实施例中,电子设备可以针对数据库中的数据对应存储其版本号。数据的版本号可以用来对应数据的每一次更新,通过不同的版本号可以反映出数据是否发生了更新。
[0047] 对于不同类型的数据库,可以为数据添加不同形式的版本号。例如,在Hbase数据库中,数据通常以表格的形式进行存储,从而可以在现有的数据存储表格中,新增一列版本号。参见表1,表1为Hbase数据库中的数据存储表格。
[0048] 表1
[0049]RowKey a列 b列 c列 版本号
RowKey1 A12 B20 C500 1
RowKey2 A15 B21 C600 3
[0050] 表1中RowKey表示Hbase数据库中的行主键,用于数据的查询。表中的每一行表示一组数据。在每一行后,可以添加版本号,版本号可以用数字表示,每当一行中一列或多列数据进行一次更新时,版本号也同步进行一次更新。例如,版本号中的数字可以累加一个预设数值,从而实现版本号的更新。
[0051] 当电子设备完成了对已提取的目标数据的处理之后,其可以判断在进行目标数据处理期间,数据库中所存储的原始的目标数据有没有发生更新。由于电子设备在进行目标数据的读取时,会同时读取目标数据的版本号,所以当完成了对目标数据的处理后,可以从数据库中读取到当前存储在数据库中的目标数据的版本号,对比处理后的目标数据的版本号与当前数据库中存储的目标数据的版本号是否一致。
[0052] 步骤103,当处理后的目标数据的版本号与当前数据库中存储的目标数据的版本号不一致时,重新对目标数据进行处理。
[0053] 经过比对,如果处理后的目标数据的版本号与当前数据库中存储的目标数据的版本号不一致,则表示数据处理程序在对目标数据进行处理的期间,数据库中存储的目标数据发生了更新,从而导致了版本号的不一致。
[0054] 此时,由于目标数据发生了更新,所以已经经过处理的目标数据就已经过期,没有应用意义。所以电子设备可以舍弃已经经过处理的目标数据,重新从数据库中读取经过更新后的目标数据,并重新进行数据的处理。当然,当再次完成对目标数据的处理后,还可以再次进行版本号的比对,以确保处理后的数据的准确性。
[0055] 当处理后的目标数据的版本号与当前数据库中存储的目标数据的版本号一致时,表明在数据处理过程中,数据库中存储的目标数据未更新。这种情况下,电子设备可以将经过处理后的目标数据进行保存。
[0056] 电子设备可以将将经过处理的目标数据存储于下一容器。容器在计算机技术用于数据的存储,在本发明实施例中,容器可以是存储目标数据的数据库的其他存储位置,也可以是存储目标数据的数据库以外的其他数据库。
[0057] 本发明实施例中,通过对数据库中的数据添加版本号,经过处理的目标数据,和对目标数据完成处理的当前时刻的数据库中存的目标数据进行版本号的比对,能够及时发现已经完成处理的目标数据是否发生了更新,并且导致了已经处理好的目标数据过期,当版本号不一致时,则表示已经处理好的目标数据已经过期,可以对数据库中的目标数据重新进行处理,从而免了数据错误,保证了数据的一致性,提高数据库中保存的数据的准确性,并且使得在进行大批量的数据处理时能够同时进行个别数据的更新操作,而不会导致数据发生错误。
[0058] 可选的,本发明实施例提供的数据处理方法中,完成对目标数据的处理后,对比处理后的目标数据的版本号与当前数据库中存储的目标数据的版本号是否一致的步骤可以包括:
[0059] 当有多个进程同时对目标数据进行处理时,每一个进程完成对目标数据的处理之后,对比处理后的目标数据的版本号与当前数据库中存储的目标数据的版本号是否一致。
[0060] 在对数据库中的目标数据进行处理时,时常会出现多个数据处理程序的多个进程同时对目标数据进行处理的情况。例如,在一般应用中,每天都会定时的对数据库中的所有目标数据进行一次批量的数据处理操作,而且在任何时候还可以对数据库中的个别目标数据进行实时的数据处理操作。当对所有目标数据进行批量的处理的同时,对其中的个别目标数据进行实时的处理操作时,则会对同样的目标数据进行处理。
[0061] 这种情况下,每一个进程都可以从数据库中进行目标数据的读取,并进行独立的处理。在完成后处理后,每一个进行都可以对比处理后的目标数据的版本号与当前数据库中存储的目标数据的版本号是否一致,当不一致时,重新进行数据的处理。
[0062] 在实际应用中,多个进程对目标数据可能会进行同样的处理,例如,在上面的例子中,每天定时进行的批量的数据处理操作,和对其中的个别目标数据进行实时的处理操作时可能是对数据进行相同的处理,并且最终完成处理的数据会被保存在同一存储位置。在这种情况下,当目标数据被处理期间发生更新时,还会出现数据相互覆盖的问题。
[0063] 例如,当批量处理进程已经读取了目标数据,并且开始进行目标数据的处理时,数据库中存储的目标数据发生了更新;实时处理进程读取了已经更新了的目标数据,并开始进行数据的处理,并且处理完成后将处理好的目标数据保存在数据库中的预设位置;此时批量处理进程也完成了目标数据的处理,将处理好的目标数据也保存在数据库中的预设位置,并且覆盖实时处理进程所保存的完成处理的目标数据。
[0064] 则此时批量处理进程所保存的完成处理的目标数据是根据没有更新前的目标数据得到的结果,是错误的数据,并且还会覆盖了实时处理进程所保存的正确的处理结果。
[0065] 当每个进程在完成目标数据的处理后,都通过版本号判断目标数据是否进行了更新,就可以避免上述情况的出现。
[0066] 例如,当批量处理进程已经读取了目标数据,并且开始进行目标数据的处理时,数据库中存储的目标数据发生了更新,并同步更新目标数据的版本号;实时处理进程读取了已经更新了的目标数据,并开始进行数据的处理,处理完成后,经过判断发现完成处理的目标数据的版本号与当前数据库中的目标数据的版本号一致,从而将处理完成后将处理好的目标数据保存在数据库中的预设位置;批量处理进程也完成了目标数据的处理,经过判断发现完成处理的目标数据的版本号与当前数据库中的目标数据的版本号不一致,从而放弃本次已经完成处理的目标数据,并重新进行目标数据的处理,或者也可以放弃本次数据处理的操作。从而避免了保存错误的数据。
[0067] 在多进程同时对目标数据进行处理时,每一个进程完成目标数据的处理后,都通过目标数据的版本号判断目标数据是否发生了更新,从而避免了错误数据对正确数据的覆盖,进一步避免了数据错误。
[0068] 可选的,本发明实施例提供的数据处理方法中,该方法还包括:
[0069] 第一步,监测数据库中存储的数据是否发生更新。
[0070] 在本发明实施例中,电子设备可以对数据库中的数据进行实时的监测,监测数据是否有更新。具体的,不同的数据库中对数据的监测有不同的方式,例如可以通过额外的程序对数据库进行实时监测,或者通过数据库本身的插件或子程序,来监测数据库中的数据是否发生了更新。
[0071] 数据的更新与对数据进行各种数据处理之间没有必然的联系,是相互独立的过程,数据的更新可能会在任何时候进行,所以对于数据更新的监测是实时进行的。
[0072] 第二步,当数据发生更新时,同步更新数据的版本号。
[0073] 当监测到数据库中的数据进行更新时,同步的,可以将版本号进行更新。版本号的更新可以通过预设的更新程序来进行,具体的更新程序可以由本领域技术人员针对不同的数据库类型,通过各种编程语言进行开发而得到,属于现有技术,在此不再进行赘述。
[0074] 本发明实施例中,通过实时对数据库中的数据进行监测,当数据发生更新时,能够及时的更新数据的版本号,并且对数据更新的监测以及同步的对版本号的更新都可以通过额外的程序来实现,与对数据进行处理的过程不存在耦合,有利于数据库中数据的管理和对数据的处理,提高了对数据进行处理的效率。
[0075] 可选的,本发明实施例提供的数据处理方法中,数据库为Hbase数据库时,监测数据库中存储的数据是否发生更新的步骤可以包括:
[0076] 通过Hbase数据库的协处理器机制,实时监测Hbase数据库中的数据是否发生更新。
[0077] Hbase数据库,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价服务器上搭建起大规模结构化存储集群。所以Hbase数据库已经取得了广泛的应用。
[0078] Hbase数据库的协处理器机制可以让开发者自定义的代码在服务器端执行,来完成特定的一些功能。
[0079] 通过Hbase数据库的协处理器机制,可以实时的监测Hbase数据库中数据的更新操作,在每一次数据进行更新时,能够同步的检测出发生更新的数据。
[0080] 当数据发生更新时,同步更新数据的版本号的步骤可以包括:
[0081] 当数据发生更新时,通过协处理器机制同步更新数据的版本号。
[0082] 当Hbase数据库的协处理器机制监测到有数据发生了更新后,可以同步的更新数据的版本号。例如,Hbase数据库的协处理器机制在Hbase数据库的数据表格中的数据发生了更新时,可以同步的修改表格中数据对应的版本号。
[0083] 本发明实施例中,当使用Hbase数据库时,通过Hbase数据库的协处理器机制实现了对数据库中数据更新的监测,并在数据发生更新时,同步的更新数据的版本号。通过Hbase数据库的协处理器机制,可以使得数据处理程序与数据库之间耦合降低,便于形成统一的规范。而且以Hbase自身特性解决问题,降低了开发成本。
[0084] 可选的,本发明实施例提供的数据处理方法中,同步更新数据的版本号的步骤可以包括:
[0085] 第一步,根据数据的当前版本号,以及预设的版本号排序规则,获取当前版本号的下一版本号。
[0086] 版本号可以有多种表示方式,例如,版本号可以是数字或者字母。
[0087] 当版本号是数字时,预设的版本号排序规则可以是将当前版本号累加一个预设值,从而获取当前版本号的下一版本号。例如,数据刚写入数据库时,由于数据在此前不存在,所以初始的版本号可以是0,该数据每发生一次更新,版本号可以累加1,该数据第一次发生更新时,当前版本号的下一版本号为1。
[0088] 当版本号是字母时,预设的版本号排序规则可以是按英文字母的排列顺序进行排序,并循环使用26个英文字母,从而得到当前版本号的下一版本号。例如,数据刚写入数据库时,初始的版本号可以是A,该数据第一次发生更新时,将当前版本号的下一版本号可以为B。
[0089] 第二步,将所获取的版本号确定为数据的版本号。
[0090] 通过预设的版本号排序规则,根据当前的版本号获得下一版本号后,将数据对应的版本号更新为所获得的下一版本号,从而完成对数据版本号的更新。
[0091] 本发明实施例中,通过预设的版本号排序规则根据当前的版本号得到当前版本号的下一版本号,能够使得版本号的更新更加有序,并且能够通过版本号得知数据更新的次数,有利于数据库中数据的管理和应用。
[0092] 参见图2,图2为本法明实施例提供的数据处理装置的结构图,包括:
[0093] 第一处理模块201,用于对数据库中的目标数据进行处理;
[0094] 对比模块202,用于完成对目标数据的处理后,对比处理后的目标数据的版本号与当前数据库中存储的目标数据的版本号是否一致。其中,数据库中存储的各数据的版本号是各数据更新时对应更新的;
[0095] 第二处理模块203,用于当目标数据的版本号与当前数据库中存储的目标数据的版本号不一致时,重新对目标数据进行处理。
[0096] 本发明实施例中,通过对数据库中的数据添加版本号,经过处理的目标数据,和对目标数据完成处理的当前时刻的数据库中存的目标数据进行版本号的比对,能够及时发现已经完成处理的目标数据是否发生了更新,并且导致了已经处理好的目标数据过期,当版本号不一致时,则表示已经处理好的目标数据已经过期,可以对数据库中的目标数据重新进行处理,从而免了数据错误,保证了数据的一致性,提高数据库中保存的数据的准确性,并且使得在进行大批量的数据处理时能够同时进行个别数据的更新操作,而不会导致数据发生错误。
[0097] 本发明实施例的装置是应用上述数据处理方法的装置,则上述数据处理方法的所有实施例均适用于该装置,且均能达到相同或相似的有益效果。
[0098] 可选的,本发明实施例提供的数据处理装置中,对比模块202,具体用于当有多个进程同时对目标数据进行处理时,每一个进程完成对目标数据的处理之后,对比处理后的目标数据的版本号与当前数据库中存储的目标数据的版本号是否一致。
[0099] 可选的,本发明实施例提供的数据处理装置中,该装置还包括:
[0100] 监测模块(图中未示出),用于监测数据库中存储的数据是否发生更新;
[0101] 更新模块(图中未示出),用于当数据发生更新时,同步更新数据的版本号。
[0102] 可选的,本发明实施例提供的数据处理装置中,数据库为Hbase数据库时,监测模块,具体用于通过Hbase数据库的协处理器机制,实时监测Hbase数据库中的数据是否发生更新;
[0103] 更新模块,具体用于当数据发生更新时,通过协处理器机制同步更新数据的版本号。
[0104] 可选的,本发明实施例提供的数据处理装置中,更新模块,具体用于根据数据的当前版本号,以及预设的版本号排序规则,获取当前版本号的下一版本号。将所获取的版本号确定为数据的版本号。
[0105] 需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0106] 本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0107] 以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。