基于RDMA的灾备方法、装置、设备及介质转让专利

申请号 : CN202211049105.7

文献号 : CN115118738B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 李杰张卫赵楠肖东升吕琪

申请人 : 深圳华锐分布式技术股份有限公司

摘要 :

本发明涉及数据安全技术领域,提供一种基于RDMA的灾备方法、装置、设备及介质,其方法包括:将热备集群的第一内存注册给RDMA驱动,并基于RDMA驱动建立主集群及热备集群间的RDMA通道,获取主集群的待传输数据,通过RDMA通道将待传输数据异步复制到第一内存,通过网络协议栈将待传输数据复制到第二内存,响应于主集群故障,从第一内存及第二内存中获取数据并过滤得到目标数据,由热备集群基于目标数据代替主集群进行数据处理。本发明能够结合优化的RDMA技术及网络协议栈实现主备切换时的消息互补,降低消息复制过程中的数据丢失及时延,提升主备切换的成功率,进而在主集群故障时实现近距离的热备切换,由热备集群代替主集群正常工作。

权利要求 :

1.一种基于RDMA的灾备方法,其特征在于,所述基于RDMA的灾备方法包括:响应于对主集群的灾备请求,为所述主集群建立热备集群;

当所述热备集群启动时,在所述热备集群的服务器内分配第一内存及第二内存,并将所述第一内存的内存地址及所述第二内存的内存地址通知给所述主集群;

将所述第一内存注册给RDMA驱动,并基于所述RDMA驱动建立所述主集群及所述热备集群间的RDMA通道;

获取所述主集群的服务器内存中的数据作为待传输数据;

通过所述RDMA通道,基于所述第一内存的内存地址将所述待传输数据异步复制到所述第一内存;

通过网络协议栈,基于所述第二内存的内存地址将所述待传输数据复制到所述第二内存;

响应于所述主集群故障,从所述第一内存及所述第二内存中获取数据;

对获取到的数据进行过滤,得到目标数据,包括:确定所述获取到的数据中每个数据的序列号;根据每个数据的序列号从所述获取到的数据中删除重复的数据,得到所述目标数据;

将所述目标数据发送至所述热备集群,并由所述热备集群基于所述目标数据代替所述主集群进行数据处理。

2.如权利要求1所述的基于RDMA的灾备方法,其特征在于:所述热备集群与所述主集群间的物理距离小于或者等于配置距离;

所述待传输数据由所述主集群通过应用层进行业务处理后,存储到所述主集群的服务器内存的队列中。

3.如权利要求2所述的基于RDMA的灾备方法,其特征在于,所述通过所述RDMA通道,基于所述第一内存的内存地址将所述待传输数据异步复制到所述第一内存包括:启动异步线程,并基于所述异步线程从所述队列中依次读取所述待传输数据;

将读取到的数据远程写入所述第一内存。

4.如权利要求3所述的基于RDMA的灾备方法,其特征在于,所述将读取到的数据远程写入所述第一内存包括:当所述第一内存中有可用空间时,将读取到的数据按照读取顺序写入所述第一内存;

或者

当所述第一内存中没有可用空间时,按照配置顺序将读取到的数据覆盖所述第一内存中的数据;

其中,所述配置顺序为所述第一内存中数据由先到后的写入顺序。

5.如权利要求1所述的基于RDMA的灾备方法,其特征在于,所述由所述热备集群基于所述目标数据代替所述主集群进行数据处理前,所述方法还包括:检测所述目标数据是否存在断层;

当所述目标数据不存在断层时,由所述热备集群基于所述目标数据代替所述主集群进行数据处理;或者当所述目标数据存在断层时,不由所述热备集群基于所述目标数据代替所述主集群进行数据处理。

6.如权利要求2所述的基于RDMA的灾备方法,其特征在于,所述由所述热备集群基于所述目标数据代替所述主集群进行数据处理后,所述方法还包括:当所述热备集群故障时,由所述热备集群将所述目标数据传输至异地灾备集群进行处理;

其中,所述异地灾备集群为预先建立的、与所述主集群间的物理距离大于所述配置距离的集群。

7.一种基于RDMA的灾备装置,其特征在于,所述基于RDMA的灾备装置包括:建立单元,用于响应于对主集群的灾备请求,为所述主集群建立热备集群;

分配单元,用于当所述热备集群启动时,在所述热备集群的服务器内分配第一内存及第二内存,并将所述第一内存的内存地址及所述第二内存的内存地址通知给所述主集群;

所述建立单元,还用于将所述第一内存注册给RDMA驱动,并基于所述RDMA驱动建立所述主集群及所述热备集群间的RDMA通道;

获取单元,用于获取所述主集群的服务器内存中的数据作为待传输数据;

复制单元,用于通过所述RDMA通道,基于所述第一内存的内存地址将所述待传输数据异步复制到所述第一内存;

所述复制单元,还用于通过网络协议栈,基于所述第二内存的内存地址将所述待传输数据复制到所述第二内存;

所述获取单元,还用于响应于所述主集群故障,从所述第一内存及所述第二内存中获取数据;

过滤单元,用于对获取到的数据进行过滤,得到目标数据,包括:确定所述获取到的数据中每个数据的序列号;根据每个数据的序列号从所述获取到的数据中删除重复的数据,得到所述目标数据;

处理单元,用于将所述目标数据发送至所述热备集群,并由所述热备集群基于所述目标数据代替所述主集群进行数据处理。

8.一种计算机设备,其特征在于,所述计算机设备包括:存储器,存储至少一个指令;及

处理器,执行所述存储器中存储的指令以实现如权利要求1至6中任意一项所述的基于RDMA的灾备方法。

9.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被计算机设备中的处理器执行以实现如权利要求1至6中任意一项所述的基于RDMA的灾备方法。

说明书 :

基于RDMA的灾备方法、装置、设备及介质

技术领域

[0001] 本发明涉及数据安全技术领域,尤其涉及一种基于RDMA的灾备方法、装置、设备及介质。

背景技术

[0002] 现有技术中,对于可用性要求较高的分布式系统,一般采用集群内实时同步的方案,虽然解决了单服务器或部分服务器发生故障场景下的备份需求,但无法应对整个机房或大楼的灾难事故,因此需要在异地建立一套分布式系统,一旦主系统发生问题,则可以切换到异地灾备系统进行交易。
[0003] 但是,异地灾备切换过程中可能存在数据丢失、传输路径增长的问题。

发明内容

[0004] 鉴于以上内容,有必要提供一种基于RDMA的灾备方法、装置、设备及介质,旨在解决灾备时消息丢失及传输效率低的问题。
[0005] 一种基于RDMA的灾备方法,所述基于RDMA的灾备方法包括:
[0006] 响应于对主集群的灾备请求,为所述主集群建立热备集群;
[0007] 当所述热备集群启动时,在所述热备集群的服务器内分配第一内存及第二内存,并将所述第一内存的内存地址及所述第二内存的内存地址通知给所述主集群;
[0008] 将所述第一内存注册给RDMA驱动,并基于所述RDMA驱动建立所述主集群及所述热备集群间的RDMA通道;
[0009] 获取所述主集群的服务器内存中的数据作为待传输数据;
[0010] 通过所述RDMA通道,基于所述第一内存的内存地址将所述待传输数据异步复制到所述第一内存;
[0011] 通过网络协议栈,基于所述第二内存的内存地址将所述待传输数据复制到所述第二内存;
[0012] 响应于所述主集群故障,从所述第一内存及所述第二内存中获取数据;
[0013] 对获取到的数据进行过滤,得到目标数据;
[0014] 将所述目标数据发送至所述热备集群,并由所述热备集群基于所述目标数据代替所述主集群进行数据处理。
[0015] 根据本发明优选实施例,所述热备集群与所述主集群间的物理距离小于或者等于配置距离;
[0016] 所述待传输数据由所述主集群通过应用层进行业务处理后,存储到所述主集群的服务器内存的队列中。
[0017] 根据本发明优选实施例,所述通过所述RDMA通道,基于所述第一内存的内存地址将所述待传输数据异步复制到所述第一内存包括:
[0018] 启动异步线程,并基于所述异步线程从所述队列中依次读取所述待传输数据;
[0019] 将读取到的数据远程写入所述第一内存。
[0020] 根据本发明优选实施例,所述将读取到的数据远程写入所述第一内存包括:
[0021] 当所述第一内存中有可用空间时,将读取到的数据按照读取顺序写入所述第一内存;或者
[0022] 当所述第一内存中没有可用空间时,按照配置顺序将读取到的数据覆盖所述第一内存中的数据;
[0023] 其中,所述配置顺序为所述第一内存中数据由先到后的写入顺序。
[0024] 根据本发明优选实施例,所述对获取到的数据进行过滤,得到目标数据包括:
[0025] 确定所述获取到的数据中每个数据的序列号;
[0026] 根据每个数据的序列号从所述获取到的数据中删除重复的数据,得到所述目标数据。
[0027] 根据本发明优选实施例,所述由所述热备集群基于所述目标数据代替所述主集群进行数据处理前,所述方法还包括:
[0028] 检测所述目标数据是否存在断层;
[0029] 当所述目标数据不存在断层时,由所述热备集群基于所述目标数据代替所述主集群进行数据处理;或者
[0030] 当所述目标数据存在断层时,不由所述热备集群基于所述目标数据代替所述主集群进行数据处理。
[0031] 根据本发明优选实施例,所述由所述热备集群基于所述目标数据代替所述主集群进行数据处理后,所述方法还包括:
[0032] 当所述热备集群故障时,由所述热备集群将所述目标数据传输至异地灾备集群进行处理;
[0033] 其中,所述异地灾备集群为预先建立的、与所述主集群间的物理距离大于所述配置距离的集群。
[0034] 一种基于RDMA的灾备装置,所述基于RDMA的灾备装置包括:
[0035] 建立单元,用于响应于对主集群的灾备请求,为所述主集群建立热备集群;
[0036] 分配单元,用于当所述热备集群启动时,在所述热备集群的服务器内分配第一内存及第二内存,并将所述第一内存的内存地址及所述第二内存的内存地址通知给所述主集群;
[0037] 所述建立单元,还用于将所述第一内存注册给RDMA驱动,并基于所述RDMA驱动建立所述主集群及所述热备集群间的RDMA通道;
[0038] 获取单元,用于获取所述主集群的服务器内存中的数据作为待传输数据;
[0039] 复制单元,用于通过所述RDMA通道,基于所述第一内存的内存地址将所述待传输数据异步复制到所述第一内存;
[0040] 所述复制单元,还用于通过网络协议栈,基于所述第二内存的内存地址将所述待传输数据复制到所述第二内存;
[0041] 所述获取单元,还用于响应于所述主集群故障,从所述第一内存及所述第二内存中获取数据;
[0042] 过滤单元,用于对获取到的数据进行过滤,得到目标数据;
[0043] 处理单元,用于将所述目标数据发送至所述热备集群,并由所述热备集群基于所述目标数据代替所述主集群进行数据处理。
[0044] 一种计算机设备,所述计算机设备包括:
[0045] 存储器,存储至少一个指令;及
[0046] 处理器,执行所述存储器中存储的指令以实现所述基于RDMA的灾备方法。
[0047] 一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被计算机设备中的处理器执行以实现所述基于RDMA的灾备方法。
[0048] 由以上技术方案可以看出,本发明能够基于RDMA实现消息的快速写入,且能够有效避免数据丢失。

附图说明

[0049] 图1是本发明基于RDMA的灾备方法的较佳实施例的流程图。
[0050] 图2是本发明基于RDMA的灾备装置的较佳实施例的功能模块图。
[0051] 图3是本发明实现基于RDMA的灾备方法的较佳实施例的计算机设备的结构示意图。

具体实施方式

[0052] 为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
[0053] 如图1所示,是本发明基于RDMA的灾备方法的较佳实施例的流程图。根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。
[0054] 所述基于RDMA的灾备方法应用于一个或者多个计算机设备中,所述计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
[0055] 所述计算机设备可以是任何一种可与用户进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏机、交互式网络电视(Internet Protocol Television,IPTV)、智能式穿戴式设备等。
[0056] 所述计算机设备还可以包括网络设备和/或用户设备。其中,所述网络设备包括,但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云。
[0057] 所述服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
[0058] 其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
[0059] 人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0060] 所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。
[0061] S10,响应于对主集群的灾备请求,为所述主集群建立热备集群。
[0062] 在本实施例中,所述主集群可以是一种以高可用模式部署的集群,所述主集群间的设备可以采用同步复制消息的方式,以保证同一个集群中多个副本的消息的一致性。
[0063] 在本实施例中,所述灾备请求可以由建立集群的相关工作人员触发,也可以在所述主集群创建后自动触发,本发明不限制。
[0064] 在本实施例中,所述热备集群与所述主集群间的物理距离小于或者等于配置距离。
[0065] 其中,所述配置距离可以进行自定义配置,如20公里。
[0066] 所述热备集群可以位于所述主集群的同数据中心或者同城的数据中心,物理距离较近。
[0067] S11,当所述热备集群启动时,在所述热备集群的服务器内分配第一内存及第二内存,并将所述第一内存的内存地址及所述第二内存的内存地址通知给所述主集群。
[0068] 其中,所述第一内存与所述第二内存可以数据所述热备集群的服务器的不同存储区域。
[0069] 进一步地,将所述第一内存的内存地址及所述第二内存的内存地址通知给所述主集群,以使所述主集群后续根据所述第一内存的内存地址及所述第二内存的内存地址向所述热备集群下发数据。
[0070] S12,将所述第一内存注册给RDMA(Remote Direct Memory Access, 远程直接内存访问)驱动,并基于所述RDMA驱动建立所述主集群及所述热备集群间的RDMA通道。
[0071] 在本实施例中,在将所述第一内存注册给所述RDMA驱动后,能够基于RDMA通道实现所述主集群服务器内存与所述热备集群服务器内存(即所述第一内存)间的直接通信,即将所述主集群服务器内存中的数据直接写入所述热备集群服务器内存,整个写入过程几乎不需要CPU的介入,写入效率较高。
[0072] S13,获取所述主集群的服务器内存中的数据作为待传输数据。
[0073] 在本实施例中,所述待传输数据由所述主集群通过应用层进行业务处理后,存储到所述主集群的服务器内存的队列中。
[0074] S14,通过所述RDMA通道,基于所述第一内存的内存地址将所述待传输数据异步复制到所述第一内存。
[0075] 在本实施例中,上述异步复制过程属于远程复制。
[0076] 具体地,所述通过所述RDMA通道,基于所述第一内存的内存地址将所述待传输数据异步复制到所述第一内存包括:
[0077] 启动异步线程,并基于所述异步线程从所述队列中依次读取所述待传输数据;
[0078] 将读取到的数据远程写入所述第一内存。
[0079] 通过上述实施例,能够在传统的RDMA通信基础上进一步优化传输过程,降低了传输时延和对操作系统的依赖(内存间直接通信,几乎无需系统CPU介入),也由于传输过程不经过操作系统,并且传输时延极低,所以可以显著降低主集群和热备集群之间的消息落差,从而降低故障发生时的消息丢失数量,因此,能够在不降低分布式系统可用性的基础上,实现了更高的数据一致性。
[0080] 具体地,所述将读取到的数据远程写入所述第一内存包括:
[0081] 当所述第一内存中有可用空间时,将读取到的数据按照读取顺序写入所述第一内存;或者
[0082] 当所述第一内存中没有可用空间时,按照配置顺序将读取到的数据覆盖所述第一内存中的数据;
[0083] 其中,所述配置顺序为所述第一内存中数据由先到后的写入顺序。
[0084] 例如:如果所述第一内存的存储空间能够存储100条数据,当所述第一内存已经存储了90条数据时,还剩91‑100的位置可用,则按照读取顺序从91的位置开始存储。一直到存储满100时,则接下来读取到的数据从第1个位置开始一次覆盖。
[0085] 在上述实施例中,由于通过优化的RDMA通信技术能够保证数据的实时复制,复制效率更高,因此,采用覆盖的方式更新所述第一内存中的数据,能够进一步保证所述第一内存中的数据是最新的。
[0086] S15,通过网络协议栈,基于所述第二内存的内存地址将所述待传输数据复制到所述第二内存。
[0087] 通过网络协议栈将消息复制给所述热备集群,复制过程受网络波动、热备集群的消息速率以及操作系统调度影响比较大,可能会产生较大的消息落差。
[0088] S16,响应于所述主集群故障,从所述第一内存及所述第二内存中获取数据。
[0089] 在本实施例中,当所述主集群故障时,为了保证系统正常运行,需要由所述热备集群代替所述主集群继续工作。
[0090] 进一步地,从所述第一内存及所述第二内存中获取数据,这样,当所述主集群与所述热备集群完成切换后,所述热备集群可以基于获取到的数据代替所述主集群正常运行。
[0091] 其中,所述第一内存中的数据是基于优化的RDMA复制的,可以降低在切换时由于异步复制产生的主集群和热备集群之间的消息落差。由所述第一内存中存储的数据与所述第二内存中存储的数据进行消息互补,能够进一步提升系统数据的稳定性,及提升主备切换的成功率,避免由于消息复制过程中由于数据丢失导致所述热备集群无法代替所述主集群正常工作。
[0092] S17,对获取到的数据进行过滤,得到目标数据。
[0093] 可以理解的是,由于同时采用优化的RDMA技术及网络协议栈进行消息复制,因此,在所述第一内存及所述第二内存中可能出现部分重复的消息,为了避免消息冗余,因此需要对获取到的数据进行过滤。
[0094] 具体地,所述对获取到的数据进行过滤,得到目标数据包括:
[0095] 确定所述获取到的数据中每个数据的序列号;
[0096] 根据每个数据的序列号从所述获取到的数据中删除重复的数据,得到所述目标数据。
[0097] 其中,每个数据的序列号由所述主集群生成。
[0098] S18,将所述目标数据发送至所述热备集群,并由所述热备集群基于所述目标数据代替所述主集群进行数据处理。
[0099] 在本实施例中,所述由所述热备集群基于所述目标数据代替所述主集群进行数据处理前,所述方法还包括:
[0100] 检测所述目标数据是否存在断层;
[0101] 当所述目标数据不存在断层时,由所述热备集群基于所述目标数据代替所述主集群进行数据处理;或者
[0102] 当所述目标数据存在断层时,不由所述热备集群基于所述目标数据代替所述主集群进行数据处理。
[0103] 例如:当共有10000条数据时,所述第二内存中存储了第1‑第8000条数据,所述第一内存中实时存储了最新的第9000‑第10000条数据,则第8001‑第8999条数据出现断层,此时,即便进行主备切换,所述热备集群也无法代替所述主集群工作,因此,不进行主备切换,即不由所述热备集群基于所述目标数据代替所述主集群进行数据处理;反之,则可以正常切换。
[0104] 在本实施例中,所述由所述热备集群基于所述目标数据代替所述主集群进行数据处理后,所述方法还包括:
[0105] 当所述热备集群故障时,由所述热备集群将所述目标数据传输至异地灾备集群进行处理;
[0106] 其中,所述异地灾备集群为预先建立的、与所述主集群间的物理距离大于所述配置距离的集群。
[0107] 例如:所述异地灾备集群可以与所述主集群部署于不同的城市。
[0108] 在上述实施例中,当所述主集群故障时,首先采用与所述主集群距离较劲的热备集群进行切换,缩短传输路径,降低数据丢失的概率。而当所述热备集群故障时,再采用与所述主集群距离较远的异地灾备集群进行切换,实现主集群、热备集群、异地灾备集群的三级容灾系统,这样,在灾难导致数据中心级故障时,可以保证业务的持续可用行,进一步提高了系统的稳定性。
[0109] 由以上技术方案可以看出,本发明能够结合优化的RDMA技术及网络协议栈实现主备切换时的消息互补,降低消息复制过程中的数据丢失及时延,提升主备切换的成功率,进而在主集群故障时实现近距离的热备切换,由热备集群代替主集群正常工作。
[0110] 如图2所示,是本发明基于RDMA的灾备装置的较佳实施例的功能模块图。所述基于RDMA的灾备装置11包括建立单元110、分配单元111、获取单元112、复制单元113、过滤单元114、处理单元115。本发明所称的模块/单元是指一种能够被处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在存储器中。在本实施例中,关于各模块/单元的功能将在后续的实施例中详述。
[0111] 响应于对主集群的灾备请求,建立单元110为所述主集群建立热备集群。
[0112] 在本实施例中,所述主集群可以是一种以高可用模式部署的集群,所述主集群间的设备可以采用同步复制消息的方式,以保证同一个集群中多个副本的消息的一致性。
[0113] 在本实施例中,所述灾备请求可以由建立集群的相关工作人员触发,也可以在所述主集群创建后自动触发,本发明不限制。
[0114] 在本实施例中,所述热备集群与所述主集群间的物理距离小于或者等于配置距离。
[0115] 其中,所述配置距离可以进行自定义配置,如20公里。
[0116] 所述热备集群可以位于所述主集群的同数据中心或者同城的数据中心,物理距离较近。
[0117] 当所述热备集群启动时,分配单元111在所述热备集群的服务器内分配第一内存及第二内存,并将所述第一内存的内存地址及所述第二内存的内存地址通知给所述主集群。
[0118] 其中,所述第一内存与所述第二内存可以数据所述热备集群的服务器的不同存储区域。
[0119] 进一步地,将所述第一内存的内存地址及所述第二内存的内存地址通知给所述主集群,以使所述主集群后续根据所述第一内存的内存地址及所述第二内存的内存地址向所述热备集群下发数据。
[0120] 所述建立单元110将所述第一内存注册给RDMA(Remote Direct Memory Access, 远程直接内存访问)驱动,并基于所述RDMA驱动建立所述主集群及所述热备集群间的RDMA通道。
[0121] 在本实施例中,在将所述第一内存注册给所述RDMA驱动后,能够基于RDMA通道实现所述主集群服务器内存与所述热备集群服务器内存(即所述第一内存)间的直接通信,即将所述主集群服务器内存中的数据直接写入所述热备集群服务器内存,整个写入过程几乎不需要CPU的介入,写入效率较高。
[0122] 获取单元112获取所述主集群的服务器内存中的数据作为待传输数据。
[0123] 在本实施例中,所述待传输数据由所述主集群通过应用层进行业务处理后,存储到所述主集群的服务器内存的队列中。
[0124] 复制单元113通过所述RDMA通道,基于所述第一内存的内存地址将所述待传输数据异步复制到所述第一内存。
[0125] 在本实施例中,上述异步复制过程属于远程复制。
[0126] 具体地,所述复制单元113通过所述RDMA通道,基于所述第一内存的内存地址将所述待传输数据异步复制到所述第一内存包括:
[0127] 启动异步线程,并基于所述异步线程从所述队列中依次读取所述待传输数据;
[0128] 将读取到的数据远程写入所述第一内存。
[0129] 通过上述实施例,能够在传统的RDMA通信基础上进一步优化传输过程,降低了传输时延和对操作系统的依赖(内存间直接通信,几乎无需系统CPU介入),也由于传输过程不经过操作系统,并且传输时延极低,所以可以显著降低主集群和热备集群之间的消息落差,从而降低故障发生时的消息丢失数量,因此,能够在不降低分布式系统可用性的基础上,实现了更高的数据一致性。
[0130] 具体地,所述复制单元113将读取到的数据远程写入所述第一内存包括:
[0131] 当所述第一内存中有可用空间时,将读取到的数据按照读取顺序写入所述第一内存;或者
[0132] 当所述第一内存中没有可用空间时,按照配置顺序将读取到的数据覆盖所述第一内存中的数据;
[0133] 其中,所述配置顺序为所述第一内存中数据由先到后的写入顺序。
[0134] 例如:如果所述第一内存的存储空间能够存储100条数据,当所述第一内存已经存储了90条数据时,还剩91‑100的位置可用,则按照读取顺序从91的位置开始存储。一直到存储满100时,则接下来读取到的数据从第1个位置开始一次覆盖。
[0135] 在上述实施例中,由于通过优化的RDMA通信技术能够保证数据的实时复制,复制效率更高,因此,采用覆盖的方式更新所述第一内存中的数据,能够进一步保证所述第一内存中的数据是最新的。
[0136] 所述复制单元113通过网络协议栈,基于所述第二内存的内存地址将所述待传输数据复制到所述第二内存。
[0137] 通过网络协议栈将消息复制给所述热备集群,复制过程受网络波动、热备集群的消息速率以及操作系统调度影响比较大,可能会产生较大的消息落差。
[0138] 响应于所述主集群故障,所述获取单元112从所述第一内存及所述第二内存中获取数据。
[0139] 在本实施例中,当所述主集群故障时,为了保证系统正常运行,需要由所述热备集群代替所述主集群继续工作。
[0140] 进一步地,从所述第一内存及所述第二内存中获取数据,这样,当所述主集群与所述热备集群完成切换后,所述热备集群可以基于获取到的数据代替所述主集群正常运行。
[0141] 其中,所述第一内存中的数据是基于优化的RDMA复制的,可以降低在切换时由于异步复制产生的主集群和热备集群之间的消息落差。由所述第一内存中存储的数据与所述第二内存中存储的数据进行消息互补,能够进一步提升系统数据的稳定性,及提升主备切换的成功率,避免由于消息复制过程中由于数据丢失导致所述热备集群无法代替所述主集群正常工作。
[0142] 过滤单元114对获取到的数据进行过滤,得到目标数据。
[0143] 可以理解的是,由于同时采用优化的RDMA技术及网络协议栈进行消息复制,因此,在所述第一内存及所述第二内存中可能出现部分重复的消息,为了避免消息冗余,因此需要对获取到的数据进行过滤。
[0144] 具体地,所述过滤单元114对获取到的数据进行过滤,得到目标数据包括:
[0145] 确定所述获取到的数据中每个数据的序列号;
[0146] 根据每个数据的序列号从所述获取到的数据中删除重复的数据,得到所述目标数据。
[0147] 其中,每个数据的序列号由所述主集群生成。
[0148] 处理单元115将所述目标数据发送至所述热备集群,并由所述热备集群基于所述目标数据代替所述主集群进行数据处理。
[0149] 在本实施例中,所述由所述热备集群基于所述目标数据代替所述主集群进行数据处理前,检测所述目标数据是否存在断层;
[0150] 当所述目标数据不存在断层时,由所述热备集群基于所述目标数据代替所述主集群进行数据处理;或者
[0151] 当所述目标数据存在断层时,不由所述热备集群基于所述目标数据代替所述主集群进行数据处理。
[0152] 例如:当共有10000条数据时,所述第二内存中存储了第1‑第8000条数据,所述第一内存中实时存储了最新的第9000‑第10000条数据,则第8001‑第8999条数据出现断层,此时,即便进行主备切换,所述热备集群也无法代替所述主集群工作,因此,不进行主备切换,即不由所述热备集群基于所述目标数据代替所述主集群进行数据处理;反之,则可以正常切换。
[0153] 在本实施例中,所述由所述热备集群基于所述目标数据代替所述主集群进行数据处理后,当所述热备集群故障时,由所述热备集群将所述目标数据传输至异地灾备集群进行处理;
[0154] 其中,所述异地灾备集群为预先建立的、与所述主集群间的物理距离大于所述配置距离的集群。
[0155] 例如:所述异地灾备集群可以与所述主集群部署于不同的城市。
[0156] 在上述实施例中,当所述主集群故障时,首先采用与所述主集群距离较劲的热备集群进行切换,缩短传输路径,降低数据丢失的概率。而当所述热备集群故障时,再采用与所述主集群距离较远的异地灾备集群进行切换,实现主集群、热备集群、异地灾备集群的三级容灾系统,这样,在灾难导致数据中心级故障时,可以保证业务的持续可用行,进一步提高了系统的稳定性。
[0157] 由以上技术方案可以看出,本发明能够结合优化的RDMA技术及网络协议栈实现主备切换时的消息互补,降低消息复制过程中的数据丢失及时延,提升主备切换的成功率,进而在主集群故障时实现近距离的热备切换,由热备集群代替主集群正常工作。
[0158] 如图3所示,是本发明实现基于RDMA的灾备方法的较佳实施例的计算机设备的结构示意图。
[0159] 所述计算机设备1可以包括存储器12、处理器13和总线,还可以包括存储在所述存储器12中并可在所述处理器13上运行的计算机程序,例如基于RDMA的灾备程序。
[0160] 本领域技术人员可以理解,所述示意图仅仅是计算机设备1的示例,并不构成对计算机设备1的限定,所述计算机设备1既可以是总线型结构,也可以是星形结构,所述计算机设备1还可以包括比图示更多或更少的其他硬件或者软件,或者不同的部件布置,例如所述计算机设备1还可以包括输入输出设备、网络接入设备等。
[0161] 需要说明的是,所述计算机设备1仅为举例,其他现有的或今后可能出现的电子产品如可适应于本发明,也应包含在本发明的保护范围以内,并以引用方式包含于此。
[0162] 其中,存储器12至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是计算机设备1的内部存储单元,例如该计算机设备1的移动硬盘。存储器12在另一些实施例中也可以是计算机设备1的外部存储设备,例如计算机设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地,存储器12还可以既包括计算机设备1的内部存储单元也包括外部存储设备。存储器12不仅可以用于存储安装于计算机设备1的应用软件及各类数据,例如基于RDMA的灾备程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
[0163] 处理器13在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器13是所述计算机设备1的控制核心(Control Unit),利用各种接口和线路连接整个计算机设备1的各个部件,通过运行或执行存储在所述存储器12内的程序或者模块(例如执行基于RDMA的灾备程序等),以及调用存储在所述存储器12内的数据,以执行计算机设备1的各种功能和处理数据。
[0164] 所述处理器13执行所述计算机设备1的操作系统以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个基于RDMA的灾备方法实施例中的步骤,例如图1所示的步骤。
[0165] 示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器12中,并由所述处理器13执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该指令段用于描述所述计算机程序在所述计算机设备1中的执行过程。例如,所述计算机程序可以被分割成建立单元110、分配单元111、获取单元112、复制单元113、过滤单元114、处理单元115。
[0166] 上述以软件功能模块的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、计算机设备,或者网络设备等)或处理器(processor)执行本发明各个实施例所述基于RDMA的灾备方法的部分。
[0167] 所述计算机设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指示相关的硬件设备来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。
[0168] 其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read‑Only Memory)、随机存取存储器等。
[0169] 进一步地,计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
[0170] 本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0171] 总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,在图3中仅用一根直线表示,但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现所述存储器12以及至少一个处理器13等之间的连接通信。
[0172] 尽管未示出,所述计算机设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器13逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述计算机设备1还可以包括多种传感器、蓝牙模块、Wi‑Fi模块等,在此不再赘述。
[0173] 进一步地,所述计算机设备1还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如WI‑FI接口、蓝牙接口等),通常用于在该计算机设备1与其他计算机设备之间建立通信连接。
[0174] 可选地,该计算机设备1还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light‑Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在计算机设备1中处理的信息以及用于显示可视化的用户界面。
[0175] 应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
[0176] 图3仅示出了具有组件12‑13的计算机设备1,本领域技术人员可以理解的是,图3示出的结构并不构成对所述计算机设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
[0177] 结合图1,所述计算机设备1中的所述存储器12存储多个指令以实现一种基于RDMA的灾备方法,所述处理器13可执行所述多个指令从而实现:
[0178] 响应于对主集群的灾备请求,为所述主集群建立热备集群;
[0179] 当所述热备集群启动时,在所述热备集群的服务器内分配第一内存及第二内存,并将所述第一内存的内存地址及所述第二内存的内存地址通知给所述主集群;
[0180] 将所述第一内存注册给RDMA驱动,并基于所述RDMA驱动建立所述主集群及所述热备集群间的RDMA通道;
[0181] 获取所述主集群的服务器内存中的数据作为待传输数据;
[0182] 通过所述RDMA通道,基于所述第一内存的内存地址将所述待传输数据异步复制到所述第一内存;
[0183] 通过网络协议栈,基于所述第二内存的内存地址将所述待传输数据复制到所述第二内存;
[0184] 响应于所述主集群故障,从所述第一内存及所述第二内存中获取数据;
[0185] 对获取到的数据进行过滤,得到目标数据;
[0186] 将所述目标数据发送至所述热备集群,并由所述热备集群基于所述目标数据代替所述主集群进行数据处理。
[0187] 具体地,所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
[0188] 需要说明的是,本案中所涉及到的数据均为合法取得。
[0189] 在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
[0190] 本发明可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0191] 所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0192] 另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
[0193] 对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
[0194] 因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0195] 此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。本发明中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称,而并不表示任何特定的顺序。
[0196] 最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。