多源异构数据库的访问方法、装置、设备和存储介质转让专利
申请号 : CN202110589454.7
文献号 : CN113254519B
文献日 : 2021-10-08
发明人 : 刘春旭
申请人 : 北京奇岱松科技有限公司
摘要 :
权利要求 :
1.一种多源异构数据库的访问方法,其特征在于,包括:通过统一接口层的访问接口获取用户输入的第一数据访问请求,所述第一数据访问请求中至少包括:根节点名称和表属性信息,所述表属性信息包括:表名称和字段数组,所述字段数组中存储字段属性信息;
通过数据驱动层确定所述访问接口对应的目标驱动器,通过所述目标驱动器对所述第一数据访问请求进行转换,以得到第二数据访问请求;
通过数据存储层对目标数据库执行所述第二数据访问请求,所述数据库包括:关系型数据库和非关系型数据库;
其中,所述访问接口包括:创建接口、删除接口、插入接口、更新接口和查询接口;所述数据驱动层包括:创建驱动器、删除驱动器、插入驱动器、更新驱动器和查询驱动器,所述访问接口与所述数据驱动层中的驱动器一一对应;
通过所述目标驱动器对所述第一数据访问请求进行转换,以得到第二数据访问请求,包括:
根据所述根节点名称确定目标数据库;
根据所述访问接口和所述目标数据库,获取所述第一数据访问请求对应的访问接口协议;
基于所述访问接口协议,对所述第一数据访问请求中的数据访问参数进行转换,以得到第二数据访问请求。
2.根据权利要求1所述的方法,其特征在于,通过统一接口层的访问接口获取用户输入的第一数据访问请求,包括:
在所述统一接口层中的各访问接口处提供软件开发工具包,所述软件开发工具包中封装所述访问接口对应的数据访问属性;
获取用户在各所述数据访问属性下输入的数据访问参数;
根据所述数据访问属性和所述输入的数据访问参数构建所述第一数据访问请求。
3.根据权利要求1所述的方法,其特征在于,所述访问接口包括:创建接口和删除接口,相应的,基于所述访问接口协议,对所述第一数据访问请求中的数据访问参数进行转换,以得到第二数据访问请求包括:
根据所述第一数据访问请求中的字段属性信息确定第一主键数组;
基于所述访问接口对应的访问接口协议,确定所述第一主键数组对应的第二数据访问请求。
4.根据权利要求1所述的方法,其特征在于,所述访问接口包括:插入接口,相应的,基于所述访问接口协议,对所述第一数据访问请求中的数据访问参数进行转换,以得到第二数据访问请求包括:
若目标数据库为关系型数据库,则基于插入接口对应的第一访问接口协议,确定所述数据访问参数对应的第一数据插入请求;
若目标数据库为非关系型数据库,则根据所述第一数据访问请求中的字段属性信息确定第二主键数组和第一列数组,基于所述插入接口对应的第二访问接口协议,确定所述第二主键数组和所述第一列数组对应的第二数据插入请求;
其中,所述第一数据访问请求中的字段数组包括:插入数据字段数组和返回数据字段数组。
5.根据权利要求1所述的方法,其特征在于,所述访问接口包括:更新接口和插入接口,相应的,基于所述访问接口协议,对所述第一数据访问请求中的数据访问参数进行转换,以得到第二数据访问请求包括:
根据所述第一数据访问请求的字段属性信息确定第三主键数组和第二列数组;
若目标数据库为关系型数据库,则判断第一目标数据是否存在;若是,则基于所述更新接口对应的第一访问接口协议,确定所述第三主键数组和所述第二列数组对应的第一数据更新请求;若否,则基于所述插入接口对应的第一访问接口协议,确定所述第三主键数组和所述第二列数组对应的第三数据插入请求;
若目标数据库为非关系型数据库,则基于所述更新接口对应的第二访问接口协议,确定所述第三主键数组和所述第二列数组对应的第三数据更新请求。
6.根据权利要求1所述的方法,其特征在于,所述访问接口包括:查询接口,相应的,基于所述访问接口协议,对所述第一数据访问请求中的数据访问参数进行转换,以得到第二数据访问请求包括:
若目标数据库为关系型数据库,则基于查询接口对应的第一访问接口协议,确定所述数据访问参数对应的第一数据查询请求;
若目标数据库为非关系型数据库,则根据所述第一数据访问请求中的表名称确定索引值,基于查询接口对应的第二访问接口协议,确定所述索引值对应的第二数据查询请求;
其中,所述第一数据访问请求中的字段数组包括:查询字段、查询过滤条件、聚合操作、排序操作和行数限制。
7.根据权利要求1所述的方法,其特征在于,通过数据存储层对目标数据库执行所述第二数据访问请求,包括:
通过所述数据存储层,查询目标数据库包含的第二目标数据;
基于所述第二数据访问请求对第二目标数据进行读取,并得到返回数据,或者,基于所述第二数据访问请求对第二目标数据进行写入。
8.一种多源异构数据库的访问装置,其特征在于,包括:统一接口层,用于通过访问接口获取用户输入的第一数据访问请求,所述第一数据访问请求中至少包括:根节点名称和表属性,所述表属性包括:表名称和字段数组,所述字段数组中存储字段属性;
数据驱动层,用于确定所述访问接口对应的目标驱动器,通过所述目标驱动器对所述第一数据访问请求进行转换,以得到第二数据访问请求;
数据存储层,用于对目标数据库执行所述第二数据访问请求,所述数据库包括:关系型数据库和非关系型数据库;
其中,所述访问接口包括:创建接口、删除接口、插入接口、更新接口和查询接口;所述数据驱动层包括:创建驱动器、删除驱动器、插入驱动器、更新驱动器和查询驱动器,所述访问接口与所述数据驱动层中的驱动器一一对应;
所述数据驱动层,包括:
确定模块,用于根据所述根节点名称确定目标数据库;
获取模块,用于根据所述访问接口和所述目标数据库,获取所述第一数据访问请求对应的访问接口协议;
转换模块,用于基于所述访问接口协议,对所述第一数据访问请求中的数据访问参数进行转换,以得到第二数据访问请求。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1‑7中任一所述的多源异构数据库的访问方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1‑7中任一所述的多源异构数据库的访问方法。
说明书 :
多源异构数据库的访问方法、装置、设备和存储介质
技术领域
背景技术
台不尽相同,各业务系统相互独立。
发人员无法快速利用已有知识和代码基础使用其他存储方案,学习、代码迁移成本巨大,运
维成本高昂。
发明内容
所述字段数组中存储字段属性信息;
字段数组中存储字段属性;
施例中任一所述的多源异构数据库的访问方法。
法。
访问请求进行转换,以得到第二数据访问请求;通过数据存储层对目标数据库执行所述第
二数据访问请求,所述数据库包括:关系型数据库和非关系型数据库,解决多源异构数据库
的交互指令各不相同,生态碎片化严重,存储方案隔离,导致开发人员无法快速利用已有知
识和代码基础使用其他存储方案,学习和维护成本高的问题,实现提高多源异构数据库的
通用性,降低数据库访问软件的开发成本和运维成本的效果。
附图说明
范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这
些附图获得其他相关的附图。
具体实施方式
于描述,附图中仅示出了与本发明相关的部分而非全部结构。
描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
可以由本发明实施例中的多源异构数据的访问装置来执行,该装置可采用软件和/或硬件
的方式实现。如图1所示,该方法具体包括如下步骤:
据库中创建数据;所述删除接口用于根据用户的访问请求在多源异构数据库中删除数据;
所述插入除接口用于根据用户的访问请求在多源异构数据库中插入数据;所述更新接口用
于根据用户的访问请求更新多源异构数据库存储的数据,查询接口用于根据用户的访问请
求查询多源异构数据库存储的数据。
括:根节点名称和表属性信息,所述表属性信息包括:表名称和字段数组,所述字段数组中
存储字段属性信息。
属性信息。
field.value中的至少一个,以及字段属性对应的参数值。其中,字段主键属性
field.isPrimary用于表示字段是否为主键,字段空值属性field.isNullabel用于表示是
否允许字段为空值。可以理解的是根据用户的访问请求不同,字段数组中包括的属性信息
也可以不同。所述字段数组中还可以包括:查询过滤条件字段、排序操作字段和聚合操作字
段等。所述字段数组也可以包括:返回数据字段。
要访问的根节点名称、表名称和字段数组等访问参数。或者可以为在访问接口处的软件开
发工具包(SDK)中提供的访问属性下输入数据访问参数,根据所述字段属性和所述数据访
问参数构建所述第一数据访问请求。例如通过SDK设置访问属性为某个字段的名称、字段类
型等,约束用户输入的数值,并根据用户输入的数值和访问属性生成字段数组中的该字段
属性信息。
权限信息,若用户具有访问权限,则响应用户的第一数据访问请求,若用户没有访问权限,
则向用户发送提示信息。
取的第一数据访问请求转换为适用于访问各异构数据库的第二数据访问请求。
问请求可以为基于目标数据库语言的结构化语句。
述访问接口和对应驱动器的通信传输协议可以是HTTP或GPRC。GRPC是一个高性能、通用的
开源远程过程调用(Remote Procedure Call,RPC)框架,基于HTTP/2协议标准设计,基于
Protocol Buffers序列化协议开发,支持众多开发语言。超文本传输协议HTTP是用于从万
维网服务器传输超文本到本地浏览器的传送协议。
据库,所述关系数据库(Relational Database Management System,RDBMS)利用预定义数
据结构存储数据的数据库,例如可以是PostgreSQL,使用SQL语言作为接口。所述非关系型
数据库(Not Only SQL,NoSQL),例如可以是阿里云的表格存储Aliyun Tablestore,提供
SDK和API供用户使用。
数据操作、更新数据操作和查询数据操作。
和字段数组,所述字段数组中存储字段属性;通过数据驱动层确定所述访问接口对应的目
标驱动器,通过所述目标驱动器对所述第一数据访问请求进行转换,以得到第二数据访问
请求;通过数据存储层对目标数据库执行所述第二数据访问请求,所述数据库包括:关系型
数据库和非关系型数据库,能够访问关系型数据库和非关系型数据库,提高多源异构数据
库的通用性,降低数据库访问软件的开发成本和运维成本。
请求进行转换,以得到第二数据访问请求,包括:根据所述根节点名称查询所述目标驱动器
中预先存储的各数据库名称,确定目标数据库;根据所述访问接口和所述目标数据库,确定
所述第一数据访问请求对应的访问接口协议;基于所述访问接口协议,对所述第一数据访
问请求中的数据访问参数进行转换,以得到第二数据访问请求。
请求不同,数据访问属性也可以不同。
述第一数据访问请求。其中,用户输入相应数据访问参数的方式可以为直接输入数据访问
参数,也可以为从数据访问属性配置的下拉菜单中选择相应的数据访问参数。
[field.name,field.value,field.type,field.isPrimary,field.isNullabel]。若用户在
根节点名称属性下选择“cloud”,在表名称属性下输入“table1”,在字段名称属性
field.name下输入“id”,字段值属性field.value下输入“20200001”,在字段主键属性
field.isPrimary下选择“true”,则根据访问数据属性和用户输入的访问参数构建第一数
据访问请求,所述第一数据访问请求的访问内容可以是root=cloud,tableName=table1,
fieldArray=[id,20020001,true],请求在table1中创建ID号码为2002001的数据。
中。
对此不设限制。
Tablestore。
访问请求转化为各目标数据库语言对应的第二数据访问请求。
接口协议。例如可以是,用户在创建接口输入第一创建数据请求,所述第一数据创建请求中
根节点名称root=cloud,则在创建驱动器中确定Aliyun Tablestore对应的访问接口协议。
符合各目标数据库的交互语言或用户接口对应的预设规则,进而实现访问目标数据库。
括:表名称和字段数组,所述字段数组中存储字段属性信息;根据所述根节点名称确定目标
数据库;根据所述访问接口和所述目标数据库,获取所述第一数据访问请求对应的访问接
口协议;基于所述访问接口协议,对所述第一数据访问请求中的数据访问参数进行转换,以
得到第二数据访问请求,通过数据存储层对目标数据库执行所述第二数据访问请求,所述
数据库包括:关系型数据库和非关系型数据库,能访问多源异构数据库,提高数据库的通用
性,降低数据库访问软件的开发成本和运维成本。
的开发成本和运维成本。
述第一主键数组输入所述访问接口对应的访问接口协议中,根据所述接口协议,确定第一
主键数组对应的第二数据访问请求。
标数据库为PostgreSQL,则第二访问请求可以为:
点名称cloud对应目标数据库为Aliyun Tablestore,则第二访问请求可以为:
述第二主键数组和所述第一列数组对应的第二数据插入请求。
数组用于存储访问请求后得到的数据字段。
field.isPrimary确定主键数组和列数组,isPrimary为true表示为主键列;isPrimary为
false表示为一般列。
访问接口协议,确定所述数据访问参数对应的数据插入请求可以为:
段数组存储的第二主键属性确定第二主键数组{pk},并根据字段数组存储的字段值属性确
定第一列数组{column},并确定所述第二主键数组和第一列数组对应的数据插入请求可以
为:
数据更新请求;若否,则基于所述插入接口对应的第一访问接口协议,确定所述第三主键数
组和所述第二列数组对应的第三数据插入请求;
数据可以通过字段主键属性field.isPrimary为true的主键数组进行约束。
议中,确定第三主键数组和列数组对应的数据更新请求。
求中根节点名称cloud对应的目标数据库为PostgreSQL,属于关系性数据库,则根据预先设
定的expectExist函数判断第一目标数据是否存在,若expectExist函数的执行结果为
true,表示第一目标数据存在,则所述第三主键数组和所述第二列数组对应的第一数据更
新请求可以为:
入接口对第一数据访问请求中的数据访问参数进行转换,得到第二数据访问请求。
第一数据访问请求中字段数组存储的第三主键属性确定第三主键数组{pk}和第二列数组
{column},并确定所述第二主键数组和第二列数组对应的第三数据更新请求可以为:
求。
object可以是字段值或一个由主语谓语和宾语组合的过滤条件,谓语predicate提供数学
操作和逻辑操作,数学操作例如可以是“=、!=、>、>=、<、<=”逻辑操作例如可以是and和or。
v_1)OR(entity_id=eid_v_2)))。查询过滤条件还可以为接口表示,例如:
则根据查询字段selection、查询过滤条件filter、聚合操作aggregation、排序操作sorter
和行数限制limit等数据访问参数确定的第一数据查询请求可以为:
系性数据库,则根据第一数据访问请求中的表名称确定索引值searchIndex。所述索引值
searchIndex对应的第二数据查询请求可以为:
一接口层包括:创建接口、删除接口、插入接口、更新接口和查询接口,在数据驱动层包括:
创建驱动器、删除驱动器、插入驱动器、更新驱动器和驱动器接口,各驱动器与所述统一接
口层中各访问接口一一对应,在数据存储层中包括各数据库,所属数据库包括:关系型数据
库和非关系型数据库,通过所述数据驱动层中的各目标驱动器对所述第一数据访问请求进
行转换,以得到第二数据访问请求,进而实现访问访问关系型数据库和非关系型数据库,提
高了多源异构数据库的通用性,降低了数据库访问软件的开发成本和运维成本。
该装置可采用软件和/或硬件的方式实现,该装置可集成在任何提供多源异构数据库的访
问功能的设备中,如图4所示,所述多源异构数据库的访问的装置具体包括:统一接口层
310、数据驱动层320和数据存储层330。
组,所述字段数组中存储字段属性;
述第二主键数组和所述第一列数组对应的第二数据插入请求;
数据更新请求;若否,则基于所述插入接口对应的第一访问接口协议,确定所述第三主键数
组和所述第二列数组对应的第三数据插入请求;
求;
例,不应对本发明实施例的功能和使用范围带来任何限制。
括系统存储器28和处理器16)的总线18。
例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)
总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不
可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以
提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性
光盘(例如CD‑ROM, DVD‑ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动
器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产
品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各
实施例的功能。
程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常
执行本发明所描述的实施例中的功能和/或方法。
得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解
调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。另外,本实施例中的计算
机设备12,显示器24不是作为独立个体存在,而是嵌入镜面中,在显示器24的显示面不予显
示时,显示器24的显示面与镜面从视觉上融为一体。并且,计算机设备12还可以通过网络适
配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)
通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽
管图中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代
码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存
储系统等。
访问接口获取用户输入的第一数据访问请求,所述第一数据访问请求中至少包括:根节点
名称和表属性信息,所述表属性信息包括:表名称和字段数组,所述字段数组中存储字段属
性信息;通过数据驱动层确定所述访问接口对应的目标驱动器,通过所述目标驱动器对所
述第一数据访问请求进行转换,以得到第二数据访问请求;通过数据存储层对目标数据库
执行所述第二数据访问请求,所述数据库包括:关系型数据库和非关系型数据库。
统一接口层的访问接口获取用户输入的第一数据访问请求,所述第一数据访问请求中至少
包括:根节点名称和表属性信息,所述表属性信息包括:表名称和字段数组,所述字段数组
中存储字段属性信息;通过数据驱动层确定所述访问接口对应的目标驱动器,通过所述目
标驱动器对所述第一数据访问请求进行转换,以得到第二数据访问请求;通过数据存储层
对目标数据库执行所述第二数据访问请求,所述数据库包括:关系型数据库和非关系型数
据库。
磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储
介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机
磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或
闪存)、光纤、便携式紧凑磁盘只读存储器(CD‑ROM)、光存储器件、磁存储器件、或者上述的
任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介
质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可
读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于
由指令执行系统、装置或者器件使用或者与其结合使用的程序。
包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全
地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在
用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及
远程计算机的情形中,远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网
(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通
过因特网连接)。
重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行
了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还
可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。