硬件加速数据库的访问方法、装置、主机、系统及介质转让专利
申请号 : CN202010633604.5
文献号 : CN111984679B
文献日 : 2021-06-04
发明人 : 鄢贵海 , 刘昱泽 , 张宇
申请人 : 中科驭数(北京)科技有限公司
摘要 :
权利要求 :
1.一种硬件加速数据库的访问方法,其特征在于,包括:第一主机获取所述第一主机中的用户Java程序向Java数据库连接JDBC的应用程序接口API发送的数据库操作指令;
调用用户端远程过程调用RPC协议中内置的数据结构序列化协议对所述数据库操作指令中的数据进行序列化处理,生成第一RPC消息;
将所述第一RPC消息发送给硬件加速数据库的硬件加速系统,以使所述硬件加速系统基于服务端RPC协议中内置的所述数据结构序列化协议,对所述第一RPC消息中的数据进行反序列化处理,并根据反序列化处理结果执行相应的数据库访问操作;
其中,所述硬件加速系统执行的编程语言与所述用户Java程序执行的编程语言不同,所述数据结构序列化协议的序列化速率高于Protocol Buffer协议;
所述硬件加速数据库设置在所述第一主机中或第二主机中。
2.根据权利要求1所述的方法,其特征在于,所述数据结构序列化协议包括如下中的一种:FlatBuffers、AVRO、MessagePack、Hessian。
3.根据权利要求1或2所述的方法,其特征在于,所述将所述第一RPC消息发送给硬件加速数据库的硬件加速系统之后,所述方法还包括:接收所述硬件加速系统反馈的第二RPC消息,所述第二RPC消息是所述硬件加速系统依据所述第一RPC消息执行数据库访问操作后,根据所述数据结构序列化协议对访问结果进行序列化处理得到的;
基于所述数据结构序列化协议对所述第二RPC消息中的数据进行反序列化处理,得到所述访问结果;
将所述访问结果发送给所述用户Java程序。
4.一种硬件加速数据库的访问方法,其特征在于,包括:硬件加速数据库的硬件加速系统接收第一主机发送的第一RPC消息,所述第一RPC消息为所述第一主机采用用户端RPC协议中内置的数据结构序列化协议对用户Java程序向JDBC API发送的数据库操作指令中的数据进行序列化处理得到的;
采用服务端RPC协议中内置的所述数据结构序列化协议,对所述第一RPC消息中的数据进行反序列化处理;
根据所述反序列化处理的结果执行相应的数据库访问操作;
其中,所述硬件加速系统执行的编程语言与所述用户Java程序执行的编程语言不同,所述数据结构序列化协议的序列化速率高于Protocol Buffer协议;
所述硬件加速数据库设置在所述第一主机中或第二主机中。
5.根据权利要求4所述的方法,其特征在于,所述数据结构序列化协议包括如下中的一种:FlatBuffers、AVRO、MessagePack、Hessian。
6.根据权利要求4或5所述的方法,其特征在于,所述根据所述反序列化处理的结果执行相应的数据库访问操作之后,所述方法还包括:基于所述服务端RPC协议中内置的所述数据结构序列化协议对访问结果进行序列化处理得到第二RPC消息;
将所述第二RPC消息发送给所述第一主机,以使所述第一主机基于所述用户端RPC协议中内置的所述数据结构序列化协议对所述第二RPC消息中的数据进行反序列化处理,得到所述访问结果,并将所述访问结果发送给所述用户Java程序。
7.一种数据库访问装置,其特征在于,包括:获取模块,用于获取第一主机中的用户Java程序向Java数据库连接JDBC的应用程序接口API发送的数据库操作指令;
数据序列化模块,用于调用用户端远程过程调用RPC协议中内置的数据结构序列化协议对所述数据库操作指令中的数据进行序列化处理,生成第一RPC消息;
第一发送模块,用于将所述第一RPC消息发送给硬件加速数据库的硬件加速系统,以使所述硬件加速系统基于服务端RPC协议中内置的所述数据结构序列化协议,对所述第一RPC消息中的数据进行反序列化处理,并根据反序列化处理结果执行相应的数据库访问操作;
其中,所述硬件加速系统执行的编程语言与所述用户Java程序执行的编程语言不同,所述数据结构序列化协议的序列化速率高于Protocol Buffer协议;
所述硬件加速数据库设置在所述第一主机中或第二主机中。
8.根据权利要求7所述的装置,其特征在于,所述数据结构序列化协议包括如下中的一种:FlatBuffers、AVRO、MessagePack、Hessian。
9.根据权利要求7或8所述的装置,其特征在于,所述装置还包括:接收模块,用于接收所述硬件加速系统反馈的第二RPC消息,所述第二RPC消息是所述硬件加速系统依据所述第一RPC消息执行数据库访问操作后,根据所述数据结构序列化协议对访问结果进行序列化处理得到的;
数据反序列化模块,用于基于所述数据结构序列化协议对所述第二RPC消息中的数据进行反序列化处理,得到所述访问结果;
第二发送模块,用于将所述访问结果发送给所述用户Java程序。
10.一种数据库访问装置,其特征在于,包括:接收模块,用于接收第一主机向硬件加速数据库的硬件加速系统发送的第一RPC消息,所述第一RPC消息为所述第一主机采用用户端RPC协议中内置的数据结构序列化协议对用户Java程序向JDBC API发送的数据库操作指令中的数据进行序列化处理得到的;
数据反序列化模块,用于采用服务端RPC协议中内置的所述数据结构序列化协议,对所述第一RPC消息中的数据进行反序列化处理;
访问执行模块,用于根据所述反序列化处理的结果执行相应的数据库访问操作;
其中,所述硬件加速系统执行的编程语言与所述用户Java程序执行的编程语言不同,所述数据结构序列化协议的序列化速率高于Protocol Buffer协议;
所述硬件加速数据库设置在所述第一主机中或第二主机中。
11.根据权利要求10所述的装置,其特征在于,所述数据结构序列化协议包括如下中的一种:FlatBuffers、AVRO、MessagePack、Hessian。
12.根据权利要求10或11所述的装置,其特征在于,所述装置还包括:数据序列化模块,用于基于所述服务端RPC协议中内置的所述数据结构序列化协议对访问结果进行序列化处理得到第二RPC消息;
发送模块,用于将所述第二RPC消息发送给所述第一主机,以使所述第一主机基于所述用户端RPC协议中内置的所述数据结构序列化协议对所述第二RPC消息中的数据进行反序列化处理,得到所述访问结果,并将所述访问结果发送给所述用户Java程序。
13.一种主机,其特征在于,包括:处理器;
存储器;以及
计算机程序;
其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现权利要求1‑3中任一项所述的方法。
14.一种硬件加速系统,其特征在于,包括:处理器;
存储器;以及
计算机程序;
其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现权利要求4‑6中任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行以实现如权利要求1‑6中任一项所述的方法。
说明书 :
硬件加速数据库的访问方法、装置、主机、系统及介质
技术领域
背景技术
硬件加速系统执行的计算机编程语言是除Java以外的其他编程语言(比如C语言、C++)时,
主机中的用户Java程序可以通过调用远程过程调用(Remote Procedure Call,简称RPC)协
议,将用户Java程序的指令传输给硬件加速数据库的硬件加速系统,从而实现用户Java程
序对硬件加速数据库的跨语言访问。
发明内容
API)发送的数据库操作指令;调用用户端RPC协议中内置的数据结构序列化协议对数据库
操作指令中的数据进行序列化处理,生成第一RPC消息;将第一RPC消息发送给硬件加速数
据库的硬件加速系统,以使硬件加速系统基于服务端RPC协议中内置的数据结构序列化协
议,对第一RPC消息中的数据进行反序列化处理,并根据反序列化处理结果执行相应的数据
库访问操作;其中,硬件加速系统执行的编程语言与用户Java程序执行的编程语言不同,数
据结构序列化协议的序列化速率高于Protocol Buffer协议。
发送的数据库操作指令中的数据进行序列化处理得到的;采用服务端RPC协议中内置的数
据结构序列化协议,对第一RPC消息中的数据进行反序列化处理;根据反序列化处理的结果
执行相应的数据库访问操作;其中,硬件加速系统执行的编程语言与用户Java程序执行的
编程语言不同,数据结构序列化协议的序列化速率高于Protocol Buffer协议。
进行反序列化处理,并根据反序列化处理结果执行相应的数据库访问操作;
Java程序向JDBC API发送的数据库操作指令中的数据进行序列化处理得到的;
作指令中的数据进行序列化处理,生成第一RPC消息,通过将第一RPC消息发送给硬件加速
数据库的硬件加速系统,使得硬件加速系统基于服务端RPC协议中的数据结构序列化协议,
对第一RPC消息中的数据进行反序列化处理,并根据反序列化处理结果执行相应的数据库
访问操作,从而实现了第一主机对硬件加速数据库的跨语言访问。并且在本公开实施例中,
用户端RPC协议和服务端RPC协议中的原生Protocol Buffer协议被替换成了另一种序列化
速率更高的数据结构序列化协议,因而能够提高数据库访问过程中的数据序列化速度,降
低第一主机和硬件加速系统之间的数据传输时延。
附图说明
言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
具体实施方式
以相互组合。
例,而不是全部的实施例。
问速度最快,纯粹用Java实现的是本地协议驱动。这类JDBC直接在客户端和数据库之间通
信,但目前几乎只有数据库厂商才能提供这种类型的JDBC驱动,且针对不同的数据库需要
使用不同的驱动程序。
口描述的语言,用于描述一些数据结构,并提供程序工具,该些程序工具用于产生这些数据
结构或解析数据流。
进行交互。
机硬件和操作系统的程序。当一些工作无法用Java来解决时,JNI允许程序员用其他编程语
言来解决问题。
种编程语言。
层次结构使得JSON成为理想的数据交换语言,具有良好的可读性。
言,跨平台使用。
口可以支持服务器‑客户机(Client‑Server,简称C/S)两层模型。在C/S两层模型中用户
Java程序可以通过调用JDBC API直接向数据库发送诸如查询或更新数据库等数据库操作
指令。数据库接收到数据库操作指令后执行相应的操作,并通过JDBC API向用户Java程序
返回访问结果。但是在图1中,对数据库的全部操作均需要数据库所在主机的CPU来执行,占
用了CPU大量的处理资源。
独立完成对数据库的所有访问任务,而不需要CPU过多参与。并且在相关技术中硬件加速系
统的硬件驱动程序一般采用C语言、C++或者Python编写。这种情况下,用户Java程序对硬件
加速数据库的访问一般通过JNI技术来实现。示例的,图2是相关技术提供的一种基于JNI访
问硬件加速数据库的系统架构示意图。如图2所示,在该系统架构中用户Java程序通过将数
据库操作指令发送给JDBC API,由JDBC API调用JNI将以Java语言表达的数据库操作指令
转换成以C++语言表达的指令,使得硬件加速系统能够根据转换后的指令对数据库进行访
问操作。与发起访问类似的,在硬件加速系统完成对数据库的访问后,硬件加速系统需要采
用JNI将以C++语言表达的访问结果转换为以Java语言表达的访问结果,并通过JDBC API将
访问结果返回给用户Java程序。但是JNI并不完美,其在实际应用中至少存在如下缺陷:
库进行访问,降低了硬件加速数据库的使用价值。
图3所示,在相关技术提供的改进方案中,当主机获取到用户Java程序发送的数据库操作指
令后,从数据库操作指令中提取用于指示具体操作内容的数据,并调用预先配置的用户端
RPC协议,按照协议中的Protocol Buffer协议对数据进行序列化处理,生成RPC消息。然后
基于HTTP/2协议传输将RPC消息发送给硬件加速数据库的硬件加速系统。硬件加速系统通
过调用服务端RPC协议中的Protocol Buffer协议对RPC消息中的结构体进行反序列化处
理,并根据反序列化得到的数据驱动硬件驱动程序,执行相应的数据库访问操作,并在得到
访问结果后,将访问结果反馈给用户Java程序。在图3所示的改进方案中通过RPC技术取代
JNI技术,解决了图2方案中由JNI带来的问题。但是该改进方案仍旧不完美,实际上相关技
术常常会因为Protocol Buffer协议存在序列化、反序列化速率较慢,数据传输前需要打
包,数据被接收到后需要解包的问题,导致主机和硬件加速系统之间数据传输耗时较长。
Buffer协议,提高了硬件加速数据库访问过程中的数据序列化和反序列化的速率,降低了
数据传输时延。
用户Java程序执行的是Java语句,硬件加速系统执行的是如下语句中的一种:C语言语句、C
++语句。本实施例提供的方法包括:
进行反序列化处理,并根据反序列化处理结果执行相应的数据库访问操作。
如,在一种实施方式中,本实施例所称的数据结构序列化协议可被具体为如下中的一种:
FlatBuffers、AVRO、MessagePack、Hessian、自定义序列化协议。
文件中定义了RPC消息的格式,传输的数据结构体以及数据类型三类信息。实际中可以根据
需要对该三类信息进行具体的设定,比如,在一种可行的设定方式中可以根据JDBC与数据
库交互的情况将RPC消息划分为如下几种:建立连接消息,发送“Select”类型语句指令消
息,发送“Update”类型语句指令消息,以及其他操作或设置数据库的消息。定义这些消息包
括定义消息的名称、采用的数据结构以及发送或接收这些消息所需要的RPC方法。根据上述
所写的.fbs文件,使用FlatBuffers的可执行工具flatc,即可生成用于生成用户端RPC协议
的java文件和用于生成服务端RPC协议的C/C++的头文件。当然这里虽然是以FlatBuffers
协议为例进行的示例说明,但本领域技术人员可以理解的是使用其他数据结构序列化协议
替换Protocol Buffer协议的方法与上述FlatBuffers协议的方法是类似的,在这里不在赘
述。
比如都设置在第一主机上,也可以在不同的主机上,比如可以将用户Java程序装载在第一
主机上,将硬件加速数据库装载在第二主机上。硬件加速数据库包括硬件加速系统和数据
库,其中硬件加速系统的硬件驱动程序执行C++程序。用户端RPC协议和服务端RPC协议被具
体为gRPC框架下的协议,在用户端RPC协议和服务端RPC协议中采用FlatBuffers协议对数
据进行序列化和反序列化处理。
的FlatBuffers序列化方式对数据进行序列化,生成第一RPC消息。然后基于HTTP/2协议传
输将第一RPC消息发送给硬件加速数据库的硬件加速系统。相应的硬件加速系统通过调用
服务端RPC协议中的FlatBuffers协议对第一RPC消息中的数据进行反序列化处理,进而根
据反序列化得到的数据驱动硬件驱动程序,执行相应的数据库访问操作,比如当数据库操
作指令为查询指令时,则根据查询指令中用于指示具体查询内容数据,在数据库中执行数
据查询处理。再比如,当数据库操作指令为删除指令时,可以根据删除指令中携带的用于指
示具体删除对象的数据在数据库中执行删除操作。
FlatBuffers的情况类似,比如,图6是本公开实施例提供的又一种硬件加速数据库的访问
方法的系统架构图,在图6所示系统架构中,也可以采用自定义的序列化协议替换用户端
RPC协议和服务端RPC协议中原生的Protocol Buffer协议。其中,采用自定义序列化协议实
现硬件加速数据库访问的方法可以参照上述采用FlatBuffers协议的情况,在这里不在赘
述。
令中的数据进行序列化处理,生成第一RPC消息,通过将第一RPC消息发送给硬件加速数据
库的硬件加速系统,使得硬件加速系统基于服务端RPC协议中内置的数据结构序列化协议,
对第一RPC消息中的数据进行反序列化处理,并根据反序列化处理结果执行相应的数据库
访问操作,从而实现了第一主机对硬件加速数据库的跨语言访问。并且在本实施例中,用户
端RPC协议和服务端RPC协议中的原生Protocol Buffer协议被替换成了另一种序列化速率
更高的数据结构序列化协议,因而能够提高数据库访问过程中的数据序列化速度,降低第
一主机和硬件加速系统之间的数据传输时延。
进行反序列化处理,并根据反序列化处理结果执行相应的数据库访问操作。
行序列化处理得到的。
对数据库进行访问操做,在得到访问结果后,采用自身装载的服务端RPC协议中的
FlatBuffers协议对访问结果进行序列化处理,生成第二RPC消息,然后基于HTTP/2协议传
输将第二RPC消息发送给第一主机,第一主机在接收到RPC消息后,基于自身装载的用户端
RPC协议中的FlatBuffers协议从第二RPC消息中反序列化得到硬件加速系统的访问结果,
从而将该访问结果返回给用户Java程序结束本次数据库访问流程。
列化处理,能够提高访问结果的序列化速度,缩短访问结果返回用户Java程序的时间,减小
了时间延迟。
内置的数据结构序列化协议对第二RPC消息中的数据进行反序列化处理,得到访问结果,并
将访问结果发送给用户Java程序。
数据进行反序列化处理,并根据反序列化处理结果执行相应的数据库访问操作。
进行序列化处理得到的。
户Java程序向JDBC API发送的数据库操作指令中的数据进行序列化处理得到的。
果,并将访问结果发送给用户Java程序。
间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在
涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些
要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设
备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除
在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会
被限制于本文的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的
范围。