会员体验
专利管家(专利管理)
工作空间(专利管理)
风险监控(情报监控)
数据分析(专利分析)
侵权分析(诉讼无效)
联系我们
交流群
官方交流:
QQ群: 891211   
微信请扫码    >>>
现在联系顾问~
首页 / 专利库 / 数据治理 / 航空数据治理方法、航空数据治理装置和存储介质

航空数据治理方法、航空数据治理装置和存储介质

申请号 CN202010975032.9 申请日 2020-09-16 公开(公告)号 CN112347112B 公开(公告)日 2022-03-15
申请人 北京中兵数字科技集团有限公司; 发明人 宋德山; 范祝满;
摘要 一种航空数据治理方法、航空数据治理装置和存储介质。该航空数据治理方法包括:加载可动态更新的数据治理规则;接收待治理的数据流,数据流包括多条数据;基于多条数据和数据治理规则,确定多条数据涉及的至少一项数据治理任务,以及从数据治理类库包括的多个航空数据治理类中选择用于至少一项数据治理任务的至少一个航空数据治理类;利用至少一个航空数据治理类对多条数据进行治理。该航空数据治理方法可以实时持续对航空数据进行治理。该航空数据治理方法可以实时持续的对航空数据进行治理。
权利要求

1.一种航空数据治理方法,包括:加载可动态更新的数据治理规则;

接收待治理的数据流,其中,所述数据流包括多条数据;

基于所述多条数据和所述数据治理规则,确定所述多条数据涉及的至少一项数据治理任务,以及从数据治理类库包括的多个航空数据治理类中选择用于所述至少一项数据治理任务的至少一个航空数据治理类;以及利用所述至少一个航空数据治理类对所述多条数据进行治理,其中,所述数据治理规则包括针对预定类型的数据的解析规则、加工规则和融合规则的至少一类;

所述解析规则包括用于解析所述预定类型的数据的至少一个解析类在所述数据治理类库中的路径;

所述加工规则包括所述预定类型的数据涉及的至少一项数据加工任务以及用于所述至少一项数据加工任务的至少一个数据加工类在所述数据治理类库中的路径;以及所述融合规则包括所述预定类型的数据涉及的至少一项数据融合任务以及用于所述至少一项数据融合任务的至少一个数据融合类在所述数据治理类库中的路径。

2.根据权利要求1所述的航空数据治理方法,还包括:更新所述数据治理类库,以在所述数据治理类库中新增、删除或更改一个或多个航空数据治理类。

3.根据权利要求2所述的航空数据治理方法,还包括:从更新后的数据治理类库接收适用的数据治理类,以对所述多条数据中在所述数据治理类库更新生效之后接收的至少一条数据进行治理。

4.根据权利要求2所述的航空数据治理方法,其中,所述更新所述数据治理类库包括:接收航空数据治理类编辑请求,以及根据所述航空数据 治理类编辑请求更新所述数据治理类库。

5.根据权利要求1所述的航空数据治理方法,其中,所述加载可动态更新的数据治理规则包括:

从数据治理规则库中加载所述数据治理规则;以及所述数据治理规则库被配置为经由所述数据治理规则将所述多条数据分别与对应的航空数据治理类相关联。

6.根据权利要求1所述的航空数据治理方法,还包括:更新所述数据治理规则库,以增加针对新增的数据类型的数据的解析规则、加工规则和融合规则的至少一类和/或调整针对所述预定类型的数据的解析规则、加工规则和融合规则的至少一类。

7.根据权利要求6所述的航空数据治理方法,还包括:从更新后的数据治理规则库加载更新后的数据治理规则,以利用所述更新后的数据治理规则对所述多条数据中在所述数据治理规则库更新生效之后接收的至少一条数据进行治理。

8.根据权利要求6所述的航空数据治理方法,其中,所述更新所述数据治理规则库包括:

接收航空数据治理规则编辑请求;以及根据所述航空数据 治理规则编辑请求更新所述数据治理规则库。

9.根据权利要求8所述的航空数据治理方法,还包括:提供航空数据治理规则编辑界面,

其中,所述接收所述航空数据治理规则编辑请求,包括:从所述航空数据治理规则编辑界面接收根据数据治理规则编辑操作产生的所述航空数据治理规则编辑请求。

10.根据权利要求1所述的航空数据治理方法,其中,所述至少一个数据加工类包括数据转换类、时间转换类、单位转换类和字符转换类的任意一类或任意组合。

11.根据权利要求1所述的航空数据治理方法,其中,所述多条数据的传输格式包括JSON格式、XML格式、二进制格式、文本格式的至少两个。

12.根据权利要求1‑11任一项所述的航空数据治理方法,其中,所述基于所述多条数据和所述数据治理规则确定所述多条数据涉及的至少一项数据治理任务以及从数据治理类库包括的多个航空数据治理类中选择用于所述至少一项数据治理任务的至少一个航空数据治理类包括:

基于所述多条数据和所述数据治理规则,确定用于解析所述待治理的数据流中的至少部分数据中的每条数据的至少一个解析类在数据库中的路径,所述待治理的数据流中的至少部分数据中的每条数据涉及的至少一项数据加工任务以及用于所述至少一项数据加工任务的至少一个数据加工类在所述数据库中的路径,所述待治理的数据流中的至少部分数据中的每条数据涉及的至少一项数据融合任务以及用于所述至少一项数据融合任务的至少一个数据融合类在所述数据库中的路径。

13.根据权利要求12所述的航空数据治理方法,其中,所述利用所述至少一个航空数据治理类对所述多条数据进行治理包括:利用所述至少一个解析类解析所述待治理的数据流中的至少部分数据中的每条数据;

利用所述至少一个数据加工类进行数据加工;以及利用所述至少一个数据融合类进行数据融合,以得到融合后的数据。

14.根据权利要求1‑11任一项所述的航空数据治理方法,其中,所述接收待治理的数据流包括:从分布式可扩展的消息系统接收所述多条数据。

15.根据权利要求1‑11任一项所述的航空数据治理方法,其中,所述多条数据为从至少两个不同数据源接收。

16.一种航空数据治理装置,包括:处理器和存储器,其中,所述存储器中存储有适于所述处理器执行的计算机程序指令,所述计算机程序指令被所述处理器运行时使得所述处理器执行如权利要求1‑15任一项所述的航空数据治理方法。

17.一种存储介质,包括存储在所述存储介质上的计算机程序指令,其中,所述计算机程序指令被处理器运行时执行如权利要求1‑15任一项所述的航空数据治理方法。

说明书全文

航空数据治理方法、航空数据治理装置和存储介质

技术领域

[0001] 本公开的实施例涉及一种航空数据治理方法、航空数据治理装置和存储介质。

背景技术

[0002] 航空数据治理一般是指将航空数据从零散没有规律的数据变为统一规划的主数据,确保与航空相关各类人员能够及时准确的获得数据支持和服务。

发明内容

[0003] 本公开的至少一个实施例提供了一种航空数据治理方法,其包括:加载可动态更新的数据治理规则;接收待治理的数据流,其中,所述数据流包括多条数据;基于所述多条
数据和所述数据治理规则,确定所述多条数据涉及的至少一项数据治理任务,以及从数据
治理类库包括的多个航空数据治理类中选择用于所述至少一项数据治理任务的至少一个
航空数据治理类;以及利用所述至少一个航空数据治理类对所述多条数据进行治理。
[0004] 例如,在所述航空数据治理方法的至少一个示例中,所述航空数据治理方法还包括:更新所述数据治理类库,以在所述数据治理类库中新增、删除或更改一个或多个航空数
据治理类。
[0005] 例如,在所述航空数据治理方法的至少一个示例中,所述航空数据治理方法还包括:从更新后的数据治理类库接收适用的数据治理类,以对所述多条数据中在所述数据治
理类库更新生效之后接收的至少一条数据进行治理。
[0006] 例如,在所述航空数据治理方法的至少一个示例中,所述更新所述数据治理类库包括:接收航空数据治理类编辑请求,以及根据所述航空治理类编辑请求更新所述数据治
理类库。
[0007] 例如,在所述航空数据治理方法的至少一个示例中,所述加载可动态更新的数据治理规则包括:从数据治理规则库中加载所述数据治理规则;以及所述数据治理规则库被
配置为经由所述数据治理规则将所述多条数据分别与对应的航空数据治理类相关联。
[0008] 例如,在所述航空数据治理方法的至少一个示例中,所述数据治理规则包括:针对预定类型的数据的解析规则、加工规则和融合规则的至少一类;所述解析规则包括用于解
析所述预定类型的数据的至少一个解析类在所述数据治理类库中的路径;所述加工规则包
括所述预定类型的数据涉及的至少一项数据加工任务以及用于所述至少一项数据加工任
务的至少一个数据加工类在所述数据治理类库中的路径;以及所述融合规则包括所述预定
类型的数据涉及的至少一项数据融合任务以及用于所述至少一项数据融合任务的至少一
个数据融合类在所述数据治理类库中的路径。
[0009] 例如,在所述航空数据治理方法的至少一个示例中,所述航空数据治理方法还包括:更新所述数据治理规则库,以增加针对新增的数据类型的数据的解析规则、加工规则和
融合规则的至少一类和/或调整针对所述预定类型的数据的解析规则、加工规则和融合规
则的至少一类。
[0010] 例如,在所述航空数据治理方法的至少一个示例中,所述航空数据治理方法还包括:从更新后的数据治理规则库加载更新后的数据治理规则,以利用所述更新后的数据治
理规则对所述多条数据中在所述数据治理规则库更新生效之后接收的至少一条数据进行
治理。
[0011] 例如,在所述航空数据治理方法的至少一个示例中,所述更新所述数据治理规则库包括:接收航空数据治理规则编辑请求;以及根据所述航空治理规则编辑请求更新所述
数据治理规则库。
[0012] 例如,在所述航空数据治理方法的至少一个示例中,所述航空数据治理方法还包括:提供航空数据治理规则编辑界面。所述接收所述航空数据治理规则编辑请求,包括:从
所述航空数据治理规则编辑界面接收根据数据治理规则编辑操作产生的所述航空数据治
理规则编辑请求。
[0013] 例如,在所述航空数据治理方法的至少一个示例中,所述至少一个数据加工类包括数据转换类、时间转换类、单位转换类和字符转换类的任意一类或任意组合。
[0014] 例如,在所述航空数据治理方法的至少一个示例中,所述多条数据的传输格式包括JSON格式、XML格式、二进制格式、文本格式的至少两个。
[0015] 例如,在所述航空数据治理方法的至少一个示例中,所述基于所述多条数据和所述数据治理规则确定所述多条数据涉及的至少一项数据治理任务以及从数据治理类库包
括的多个航空数据治理类中选择用于所述至少一项数据治理任务的至少一个航空数据治
理类包括:基于所述多条数据和所述数据治理规则,确定用于解析所述待治理的数据流中
的至少部分数据中的每条数据的至少一个解析类在所述数据库中的路径,所述待治理的数
据流中的至少部分数据中的每条数据涉及的至少一项数据加工任务以及用于所述至少一
项数据加工任务的至少一个数据加工类在所述数据库中的路径,所述待治理的数据流中的
至少部分数据中的每条数据涉及的至少一项数据融合任务以及用于所述至少一项数据融
合任务的至少一个数据融合类在所述数据库中的路径。
[0016] 例如,在所述航空数据治理方法的至少一个示例中,所述利用所述至少一个航空数据治理类对所述多条数据进行治理包括:利用所述至少一个解析类解析所述待治理的数
据流中的至少部分数据中的每条数据;利用所述至少一个数据加工类进行数据加工;以及
利用所述至少一个数据融合类进行数据融合,以得到融合后的数据。
[0017] 例如,在所述航空数据治理方法的至少一个示例中,所述接收待治理的数据流包括:从分布式可扩展的消息系统接收所述多条数据。
[0018] 例如,在所述航空数据治理方法的至少一个示例中,所述多条数据为从至少两个不同数据源接收。
[0019] 本公开的至少一个实施例还提供了一种航空数据治理装置,其包括:处理器和存储器,其中,所述存储器中存储有适于所述处理器执行的计算机程序指令,所述计算机程序
指令被所述处理器运行时使得所述处理器执行本公开的至少一个实施例提供的航空数据
治理方法。
[0020] 本公开的至少一个实施例还提供了一种存储介质,其包括存储在所述存储介质上的计算机程序指令。所述计算机程序指令被处理器运行时执行本公开的至少一个实施例提
供的航空数据治理方法。

附图说明

[0021] 为了更清楚地说明本公开实施例的技术方案,下面将对实施例的附图作简单地介绍,显而易见地,下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开的限制。
[0022] 图1是本公开的至少一个实施例提供的航空数据治理方法的示例性框图;
[0023] 图2是本公开的至少一个实施例提供的一种航空数据治理规则编辑界面的部分的示意图;
[0024] 图3是本公开的至少一个实施例提供的航空数据治理方法的第一个示例的流程图;
[0025] 图4是本公开的至少一个实施例提供的航空数据治理方法的第二个示例的流程图;
[0026] 图5是本公开的至少一个实施例提供的航空数据治理方法的第三个示例的流程图;
[0027] 图6是本公开的至少一个实施例提供的航空数据治理装置的示意性框图;
[0028] 图7是本公开的至少一个实施例提供的存储介质的示意性框图;
[0029] 图8示出了本公开的至少一个实施例提供的航空数据治理装置的示例性的场景图;以及
[0030] 图9示出了本公开的至少一个实施例提供的计算设备的架构。

具体实施方式

[0031] 为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例的附图,对本公开实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本公
开的一部分实施例,而不是全部的实施例。基于所描述的本公开的实施例,本领域普通技术
人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
[0032] 除非另作定义,此处使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不
表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,“包括”或者“包
含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者
物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于
物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、
“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关
系也可能相应地改变。
[0033] 航空数据(例如,民航数据)包括多条数据,且航空数据包括的多条数据的数据格式(例如,数据交换/传输格式,数字表示法、时间表示法、名称表示法)多样;可以通过使用
航空数据治理程序对上述格式多样的多条数据进行数据治理来将上述格式多样的多条数
据转换为统一规划的主数据。
[0034] 由于航空数据的数据量巨大(例如,由于机场持续运营,源于机场的数据持续涌入),对航空数据进行实时持续的治理的能力相当重要。
[0035] 本公开的发明人在研究中注意到,当前的航空数据治理程序不能实时持续的对航空数据进行治理;并且,在用户对数据治理的需求更改时,需要基于更新后的数据治理需求
重新编写程序。例如,当前的航空数据治理程序通常不能对数据进行实时处理或/和不能对
数据进行持续处理;此种情况下,相关人员可能无法及时准确的获得数据支持。下面以使用
航空数据治理程序对具有不同的数据交换格式(交换协议)的多条数据进行数据解析进行
示例性说明。
[0036] 在一个示例中,可以基于待治理数据涉及的数据交换格式(交换协议)编写用于解析具有上述数据交换格式(交换协议)的数据的程序,然后将上述程序编译(例如,使得程序
可以脱离开发环境运行)和打包。然而,本公开的发明人在研究中注意到,上述打包后的程
序在运行过程中一旦出现问题(例如,程序本身存在的缺陷导致无法解析某种数据格式的
数据),需要停止程序,并对程序进行修改、对修改后的程序进行编译和打包之后,才能再次
运行程序,并对航空数据继续进行解析,这使得该航空数据治理程序不能实时持续的对航
空数据进行解析。
[0037] 在另一个示例中,可以基于待治理数据涉及的数据交换格式(交换协议)编写不同的解析类以及主程序,并将解析类与主程序打包在一起,以获得打包后的程序。然而,本公
开的发明人在研究中注意到,上述打包后的程序在运行过程中一旦出现问题(例如,程序本
身存在的缺陷导致无法解析某种数据格式的数据),需要停止程序,对程序进行修改、对修
改后的程序进行编译和打包之后,才能再次运行程序,并对航空数据继续进行解析,这使得
该航空数据治理程序不能实时持续的对航空数据进行解析。
[0038] 例如,由于上述两个航空数据治理程序不能实时持续的对航空数据进行解析,因此存在数据堆积的风险。此外,对于上述两个航空数据治理程序,在用户对数据解析的需求
更改时,需要基于更新后的数据解析需求重新编写程序。
[0039] 本公开的至少一个实施例提供了一种航空数据治理方法、航空数据治理装置和存储介质。该航空数据治理方法包括:加载可动态更新的数据治理规则;接收待治理的数据
流,此处,数据流包括多条数据;基于多条数据和数据治理规则,确定多条数据涉及的至少
一项数据治理任务,以及从数据治理类库包括的多个航空数据治理类中选择用于至少一项
数据治理任务的至少一个航空数据治理类;利用至少一个航空数据治理类对多条数据进行
治理。
[0040] 例如,该航空数据治理方法可以基于服务器(例如,后端)实现。例如该航空数据治理方法可以实时持续的对航空数据进行治理。
[0041] 例如,该航空数据治理方法可以对航空数据进行治理包括对多条数据的至少部分(例如,全部)进行解析、对多条数据的至少部分的进行数据加工和对多条数据的至少部分
进行数据融合。又例如,该航空数据治理方法可以仅对航空数据进行治理包括对多条数据
的至少部分(例如,全部)进行解析。再例如,该航空数据治理方法可以仅对航空数据进行治
理包括对多条数据的至少部分(例如,全部)进行解析以及对多条数据的至少部分进行数据
融合。又再例如,该航空数据治理方法可以仅对航空数据进行治理包括对多条数据的至少
部分(例如,全部)进行解析以及对多条数据的至少部分的进行数据加工。
[0042] 下面通过几个示例和实施例对根据本公开的至少一个实施例提供的航空数据治理方法进行非限制性的说明,如下面所描述的,在不相互抵触的情况下这些具体示例和实
施例中不同特征可以相互组合,从而得到新的示例和实施例,这些新的示例和实施例也都
属于本公开保护的范围。
[0043] 图1是本公开的至少一个实施例提供的航空数据治理方法的示例性框图。如图1所示,该航空数据治理方法包括以下的步骤S10‑步骤S40。
[0044] 步骤S10:加载可动态更新的数据治理规则。
[0045] 步骤S20:接收待治理的数据流,此处,数据流包括多条数据。
[0046] 步骤S30:基于多条数据和数据治理规则,确定多条数据涉及的至少一项数据治理任务,以及从数据治理类库包括的多个航空数据治理类中选择用于至少一项数据治理任务
的至少一个航空数据治理类。
[0047] 步骤S40:利用至少一个航空数据治理类对多条数据进行治理。
[0048] 例如,通过加载可动态更新的数据治理规则,并基于接收到的数据和数据治理规则确定数据治理任务,选择和加载航空数据治理类,可以在航空数据治理主程序运行过程
中更新数据治理规则,由此可以在主程序、数据治理规则和航空数据治理类的至少一个存
在问题(例如,主程序、数据治理规则或航空数据治理类存在的导致无法解析某种数据格式
的数据的缺陷)或者用户对航空数据的数据治理需求改变时,实时动态的更新数据治理规
则和数据治理类库的至少一个,进而可以实现对航空数据进行实时持续的治理,提升航空
数据治理方法的适用范围,以及降低开发工作量等。
[0049] 例如,可以在主程序、数据治理规则和航空数据治理类的至少一个存在问题或者用户对航空数据的数据治理需求改变时,在主程序保持运行的过程中,实时动态的更新数
据治理规则和至少一个航空数据治理类的至少一个;在更新生效之前,使用更新前的数据
治理规则和航空数据治理类对在更新生效前接收到的航空数据进行治理,并使用更新后的
数据治理规则和/或航空数据治理类对在更新生效后接收到的航空数据进行治理。
[0050] 例如,步骤S10‑步骤S40可以在航空数据治理主程序运行之后执行。例如,步骤S10、步骤S30和步骤S40可以顺次执行。例如,步骤S20可以在步骤S10执行之后执行;例如,
在步骤S30和步骤S40执行的过程中,步骤S20持续执行。
[0051] 例如,航空数据治理主程序可以在时间上顺次接收多条数据。例如,可以针对数据流包括多条数据的每条数据,执行步骤S30和步骤S40。例如,可以在接收到数据流包括多条
数据的每条数据时,便对该条数据执行步骤S30和步骤S40(也即,对数据流包括多条数据的
每条数据进行实时处理),而无需等待接收上述多条数据中所有的数据之后再对其执行步
骤S30和步骤S40。例如,待治理的数据流包括的多条数据可以是机场运行数据。
[0052] 例如,待治理的数据流包括的多条数据包括与航班相关的数据、与空域相关的数据、与机场相关的数据、与航空公司相关的数据、与空管相关的数据、与气象相关的数据、与
航空器相关的数据的至少一类。例如,待治理的数据流包括机场运行数据。
[0053] 例如,与航班相关的数据包括:与航班号相关的数据、与班期相关的数据、与执行日期相关的数据、与起飞机场相关的数据、与航路走向相关的数据、与航班生命周期相关的
数据、与旅客相关的数据、与行李相关的数据、与机组相关的数据的至少一类。
[0054] 例如,与旅客相关的数据(也即,旅客数据)包括:总人数、各年龄段人数、各性别人数、各舱位人数、各国籍人数,是否有重要客人(重要客人种类、姓名、职务),需要特殊照顾
人数种类、现役军人人数,当前所在区域人数分布,中转旅客人数等。
[0055] 例如,与航空器相关的数据包括:与航空器型别相关的数据、与航空器注册号相关的数据、与机载设备情况相关的数据、与制造商相关的数据、与首机投产时间相关的数据、
与外形数据相关的数据、与基本性能相关的数据的至少一类。
[0056] 例如,可以使用名称‑值对(也可以被称为字段‑值对,属性‑值对或者键‑值对)来表示数据。例如,名称‑值对中的“名称”的数据类型为字符串或字符,名称‑值对中的“值”的
数据类型可以为字符串、数字、布尔值(真或假)、数组、空(null)或者名称‑值对。例如,数字
可以采用整型、浮点型(例如,单精度或双精度)或定点数进行表示。例如,可以使用{“旅客
总人数”:“156”}表示某一航班的旅客总人数数据。
[0057] 例如,待治理的数据流包括的多条数据的数据格式多样。例如,多条数据的数据格式多样是指多条数据的数据交换格式、数字表示法、时间表示法、单位表示法和名称表示法
的至少之一不完全一致。
[0058] 例如,数据流包括的多条数据的数据传输(和存储)格式可以选自JSON(JavaScript对象表示法)格式、XML(可扩展性标记语言)格式、二进制格式、文本格式。例
如,待治理的数据流包括的多条数据具有至少两种数据传输(和存储)格式。
[0059] 例如,数据流包括的多条数据的数字表示法可以选自整型、单精度浮点型、双精度浮点型、定点数型。例如,待治理的数据流包括的多条数据涉及至少两种数字表示法。
[0060] 例如,数据流包括的多条数据的时间表示法选自XX‑YY‑ZZ(XX、YY、ZZ分别表示年、月、日)、XX年YY月ZZ日、YY‑ZZ‑XX。例如,待治理的数据流包括的多条数据涉及至少两种时
间表示法。
[0061] 例如,待治理的数据流包括的多条数据涉及至少两种名称表示法。例如,对于旅客总人数,多条数据的第一部分采用“旅客总人数”表示,多条数据的第二部分采用“总人数”
表示。
[0062] 例如,待治理的数据流包括的多条数据涉及至少两种单位表示法。例如,对于高度,多条数据的第一部分采用“英尺”表示,多条数据的第二部分采用“米”表示。
[0063] 例如,在步骤S10中,加载可动态更新的数据治理规则,包括:从数据治理规则库中加载数据治理规则(可动态更新的数据治理规则)。例如,可动态更新的数据治理规则是指
可以在航空数据治理主程序运行过程中更新的数据治理规则。
[0064] 例如,可以在航空数据治理主程序运行后,从数据治理规则库中将数据治理规则加载至内存。例如,由于数据治理规则并未与主程序一起打包,也即,数据治理规则没有位
于主程序所在的程序包中,因此,可以在主程序运行的过程中更新的数据治理规则。
[0065] 例如,数据治理规则库可以是一种关系型数据库。例如,数据治理规则库被配置为经由数据治理规则将多条数据分别与对应的航空数据治理类相关联。例如,数据治理规则
库可以经由数据治理规则将具有JSON数据传输格式(或者数据交换格式)的数据与用于解
析JSON数据的解析类相关联,将具有XML数据传输格式的数据与用于解析XML数据的解析类
相关联。
[0066] 例如,数据治理规则包括:针对预定类型的数据的解析规则、加工规则和融合规则的至少一类。
[0067] 例如,预定类型的数据采用了预定的数据交换格式(数据传输格式)、预定的数字表示法、预定的时间表示法、预定的单位表示法以及预定的名称表示法至少一个。例如,在
数据治理任务仅包括数据解析任务的情况下,预定类型的数据可以是指具有预定的数据传
输格式的数据。
[0068] 例如,多条数据包括A类型(例如,第一预定类型)的数据和B类型(例如,第二预定类型)的数据。
[0069] 例如,A类型的数据(例如,第一类数据)采用了数据传输格式A1(例如,XML格式)、数字表示法A2(例如,单精度浮点型)、时间表示法A3(例如,XX‑YY‑ZZ)、单位表示法A4(例
如,使用米表示高度的单位)以及名称表示法A5(例如,使用“总人数”表示旅客总人数)。
[0070] 例如,B类型的数据(例如,第二类数据)采用了数据传输格式B1(例如,JSON格式)、数字表示法B2(例如,双精度浮点型)、时间表示法B3(例如,YY‑ZZ‑XX)、单位表示法B4(例
如,使用英尺表示高度的单位)以及名称表示法B5(例如,使用“旅客总人数”表示旅客总人
数)。
[0071] 例如,解析规则包括用于解析预定类型的数据的至少一个解析类在数据治理类库中的路径。
[0072] 例如,数据的解析规则规定了用于解析A类型的数据(采用了数据传输格式A1的数据)的解析类,以及用于解析A类型的数据(采用了数据传输格式A1的数据)的解析类在数据
治理类库中的路径,由此在接收到A类型的数据时,可以从数据治理类库将用于解析A类型
的数据(采用了数据传输格式A1的数据)的解析类加载到内存,并利用用于解析A类型的数
据(采用了数据传输格式A1的数据)的解析类解析A类型的数据。
[0073] 例如,数据的解析规则还规定了用于解析B类型的数据(采用了数据传输格式B1的数据)的解析类,以及用于解析B类型的数据(采用了数据传输格式B1的数据)的解析类在数
据治理类库中的路径,由此在接收到B类型的数据时,可以从数据治理类库将用于解析B类
型的数据(采用了数据传输格式B1的数据)的解析类加载到内存,并利用用于解析B类型的
数据(采用了数据传输格式B1的数据)的解析类解析B类型的数据。
[0074] 例如,在多条数据还包括其它类型的数据的情况下,数据的解析规则还可以规定用于解析其它类型的数据的解析类,以及这些解析类在在数据治理类库中的路径。
[0075] 例如,加工规则包括预定类型的数据涉及的至少一项数据加工任务以及用于至少一项数据加工任务的至少一个数据加工类在数据治理类库中的路径。
[0076] 例如,数据加工用于使得多条数据涉及的数字表示法、时间表示法、单位表示法和名称表示法的至少之一(全部)统一。例如,可以对多条数据中的至少部分数据(例如,部分
数据或全部数据)进行数据加工,以使得多条数据涉及的数字表示法、时间表示法、单位表
示法和名称表示法的至少之一(全部)统一。
[0077] 例如,加工规则包括A类型的数据涉及数据转换任务(例如,将采用数字表示法A2的A类型的数据转换为采用数字表示法B2的数据)、时间转换任务(例如,将采用时间表示法
A3的A类型的数据转换为采用时间表示法B3的数据)、单位转换任务(例如,将采用单位表示
法A4的A类型的数据转换为采用单位表示法B4的数据)和字符转换任务(例如,将采用名称
表示法A5的A类型的数据转换为采用名称表示法B5的数据)。例如,加工规则还包括:用于将
采用数字表示法A2的A类型的数据转换为采用数字表示法B2的数据的数据转换类在数据治
理类库中的路径;用于将采用时间表示法A3的A类型的数据转换为采用时间表示法B3的数
据的时间转换类在数据治理类库中的路径;用于将采用单位表示法A4的A类型的数据转换
为采用单位表示法B4的数据的单位转换类在数据治理类库中的路径;用于将采用名称表示
法A5的A类型的数据转换为采用名称表示法B5的数据的名称转换类在数据治理类库中的路
径。
[0078] 需要说明的是,在对数据流包括的多条数据进行数据治理(例如,数据加工)的过程中,可以仅对多条数据中的第一部分数据进行数据加工,而对多条数据中的第二部分数
据(例如,多条数据中的第一部分数据之外的所有数据)其它数据无需进行数据加工。例如,
对于多条数据中的第一部分数据的每条数据涉及的数据加工任务可以不完全相同。例如,
可以对第一部分数据的一些数据进行单位转换和时间转换,可以对第一部分数据的另一些
数据进行名称转换,不再赘述。
[0079] 例如,融合规则包括预定类型的数据涉及的至少一项数据融合任务以及用于至少一项数据融合任务的至少一个数据融合类在数据治理类库中的路径。
[0080] 例如,假设A类型的数据为{“航班号”:“XXXX”},B类型的数据为{“航空公司”:“YYYY”},数据C为{“降雪”:{“开始时间”:“xx1:yy1”,“结束时间”:“xx2:yy2”}}。
[0081] 例如,融合规则包括A类型的数据(例如,第一类数据)涉及的数据融合任务,例如,融合规则包括第一融合任务以及第二融合任务;例如,第一融合任务用于将A类型的数据与
B类型的数据(例如,第二类数据)融合,以构建第一对象模型的至少部分;例如,第二融合任
务用于将A类型的数据与C类型的数据(例如,第三类数据)融合,以构建第二对象模型的至
少部分。例如,第一对象模型(例如,航班对象模型)可以包括{“航班号”:“XXXX”,“航空公
司”:“YYYY”};第二对象模型(例如,气象对象模型)可以包括{“航班号”:“XXXX”,“降雪”:
{“开始时间”:“xx1:yy1”,“结束时间”:“xx2:yy2”}}。
[0082] 例如,融合规则还包括用于第一融合任务的第一融合类以及用于第二融合任务的第二融合类在数据治理类库中的路径。例如,第一融合类的输入数据包括第一类数据和第
二类数据;第二融合类的输入数据包括第一类数据和第三类数据。例如,第一融合类的输入
数据还可以包括除第一类数据和第二类数据之外的其它类型的数据;第二融合类的输入数
据还可以包括除第一类数据和第三类数据其它类型的数据。
[0083] 例如,数据流包括的多条数据可以包括多条A类型的数据(例如,第一类数据);例如,多条A类型的数据(例如,第一类数据)可以包括{“航班号”:“CZ6171”},{“航班号”:
“MU2533”},{“航班号”:“HO1074”}等。例如,数据流包括的多条数据可以包括多条B类型的
数据(例如,第二类数据),数据流包括的多条数据可以包括多条C类型的数据(例如,第三类
数据),不再赘述。
[0084] 例如,对象模型内包含的具体数据可以随着接收到的数据增加而不断变化。例如,在第一时刻,对象模型内包含的具体数据可以包括{“航班号”:[“CZ6171”“, MU2533”],“航
空公司”:[“南方航空”,“东方航空”]};在第一时刻后的第二时刻,对象模型内包含的具体
数据可以包括{“航班号”:[“CZ6171”,“MU2533”“,HO1074”],“航空公司”:[“南方航空”,“东
方航空”,“吉祥航空”]}。
[0085] 例如,融合规则包括预定类型的数据涉及的至少一项数据融合任务可以是多级融合任务。例如,预定类型的数据涉及的至少一项数据融合任务可以包括第一级融合任务以
及第二级融合任务,第一级融合任务用于将A类型的数据与B类型的数据(例如,第二类数
据)融合,以构建第一对象模型,第二级融合任务用于将第一对象模型与C类型的数据(例
如,第三类数据)融合,以得到第三对象模型。
[0086] 在一个示例中,在步骤S20中,接收待治理的数据流包括:从分布式可扩展的消息系统(例如,单个或多个分布式可扩展的消息系统)接收多条数据。例如,分布式可扩展的消
息系统可以是开源流处理平台Kafka。例如,开源流处理平台Kafka可以从至少两个数据源
(例如,航空公司的数据平台和航空器的数据平台)接收待治理的数据流包括的多条数据,
也即,可以经由分布式可扩展的消息系统从至少两个数据源接收待治理的数据流包括的多
条数据。例如,主程序可以经由分布式可扩展的消息系统接收待治理的数据流包括的多条
数据。
[0087] 在另一个示例中,在步骤S20中,接收待治理的数据流包括:从至少两个数据源(例如,航空公司的数据平台和航空器的数据平台)接收多条数据。例如,“接收待治理的数据流
包括从至少两个数据源接收多条数据”是指不经过消息系统而直接从至少两个数据源接收
多条数据。
[0088] 例如,在主程序运行过程中,持续接收数据流。例如,可以在执行步骤S30和步骤S40的任意一个的过程中同时执行步骤S20。在一些示例中,在执行步骤S10的过程中也可以
执行步骤S20,此种情况下,在执行步骤S10之前接收到的数据可以暂时存储在缓存中。
[0089] 例如,数据治理类库包括的多个航空数据治理类可以根据预先确定的数据治理任务以及待治理的数据进行设定。
[0090] 例如,多个航空数据治理类包括至少一个解析类(例如,多个解析类)、至少一个数据加工类(例如,多个数据加工类)以及至少一个数据融合类(例如,多个数据融合类)的至
少一类(例如,全部)。
[0091] 例如,至少一个解析类(例如,至少两个解析类)用于解析数据流包括多条数据。例如,至少一个解析类选自用于解析JSON格式的数据的解析类,用于解析XML格式的数据的解
析类,用于解析二进制格式的数据的解析类,用于解析文本格式的数据的解析类。
[0092] 例如,至少一个数据加工类(例如,至少两个数据加工类)用于对数据流包括多条数据的至少一条数据进行数据加工。例如,至少一个数据加工类用于对解析后的数据进行
数据加工。
[0093] 例如,至少一个数据加工类包括数据转换类、时间转换类、单位转换类和字符转换类的任意一类或任意组合。
[0094] 例如,数据转换类(例如,一个或多个)可以使得数据流包括多条数据涉及的数字表示法统一。例如,在数字为单精度浮点型(float)的情况下,数字的存储位数为32位;在数
字为双精度浮点型(double)的情况下,数字的存储位数为64位。例如,数据流包括的多条数
据涉及的多个数字可以采用单精度浮点型和双精度浮点型进行表示,此种情况下,可以通
过数据加工将多条数据中所有使用单精度浮点型的数据转换为使用双精度浮点型的数据,
或者,将多条数据中所有使用双精度浮点型的数据转换为使用单精度浮点型的数据。
[0095] 例如,时间转换类(例如,一个或多个)可以使得数据流包括的多条数据中涉及的时间表示法统一。
[0096] 例如,多条数据中涉及时间的数据可以采用下面至少两种表示形式:XX‑YY‑ZZ(XX、YY、ZZ分别表示年、月、日)和XX年YY月ZZ日;此种情况下,可以使用时间转换类将采用
XX年YY月ZZ日格式的数据转换为采用XX‑YY‑ZZ格式的数据。
[0097] 例如,单位转换类(例如,一个或多个)可以将数据流包括的多条数据中对应于相同物理量的单位统一。例如,可以利用单位转换类将数据流包括的多条数据中涉及飞行高
度的数值的单位统一为英尺。
[0098] 例如,字符转换类(例如,一个或多个)可以将数据流包括的多条数据中对应于相同含义的名称(例如,字符,字符串)统一。例如,可以将数据流包括的多条数据中涉及名称
“总飞行时长”的数据的“总飞行时长”转换为“总飞行小时数”。
[0099] 例如,至少一个数据融合类(例如,至少两个数据融合类)用于对数据流包括多条数据进行数据融合,以构建具有预定结构的数据模型(例如,对象模型)。例如,“至少一个数
据融合类用于对数据流包括多条数据进行数据融合”是指至少一个数据融合类用于对至少
经过解析后的多条数据(例如,至少经过解析后的多条数据中的至少部分为经过数据加工
后的数据)进行数据融合。
[0100] 例如,上述预定结构的数据模型可以采用JSON格式。例如,基于至少一个数据融合类构建的数据模型的具体结构可以根据实际应用需求进行设定,本公开的至少一个实施例
对此不作具体限定。下面以数据模型为对象模型为例进行示例性说明,但本公开的至少一
个实施例不限于此。
[0101] 例如,至少一个数据融合类包括用于构建航班对象模型的数据融合类、用于构建气象对象模型的数据融合类、用于构建航空公司对象模型的数据融合类、用于构建空管对
象模型的数据融合类、用于构建机场对象模型的数据融合类、用于构建空域对象模型的数
据融合类、用于构建航空器对象模型的数据融合类以及用于构建通用信息模型的数据融合
类的任一个或任意组合。例如,用于构建某一对象模型的数据融合类可以包括多个数据融
合子类。
[0102] 例如,用于构建航班对象模型的数据融合类的输入数据包括:航班号数据(关系:航空公司)、航空器型别数据(关系:航空器)、航空器注册号数据(关系:航空器)、机载设备
情况数据(关系:航空器)、旅客数据(关系:航空公司、机场)、货物数据(关系:航空公司、机
场)、行李数据(关系:航空公司、机场)、机组数据(关系:航空公司)、任务性质数据(关系:空
管、航空公司)、空中改变计划情况数据(关系:航空公司、空管、空域、气象、机场、航空器)、
运行品质数据(关系:航空公司、空管、机场、气象)、起飞机场数据(关系:机场、空管、气象)、
落地机场数据(关系:机场、空管、气象)、空中不正常进程数据(关系:航空公司、机场、空管、
气象、航空器、空域)等的任一或任意组合。
[0103] 例如,用于构建气象对象模型的数据融合类的输入数据包括:雷暴数据(关系:航班、航空公司、空管、机场、空域)、台风数据(关系:航班、航空公司、空管、机场、空域)、霜数
据(关系:航班、航空公司、空管、机场、航空器)、降雪数据(关系:航班、航空公司、空管、机
场、航空器)、冻雨数据(关系:航班、航空公司、空管、机场、航空器)、低能见度数据(关系:航
班、航空公司、空管、机场、航空器)、低云数据(关系:航班、航空公司、空管、机场、航空器)、
空中颠簸和风切变数据(关系:航班、航空公司、空管、机场、航空器)等的任一或任意组合。
[0104] 在一个示例,数据治理任务可以同时包括数据解析任务、数据加工任务和数据融合任务,此种情况下,在步骤S30中,基于多条数据和数据治理规则确定多条数据涉及的至
少一项数据治理任务以及从数据治理类库包括的多个航空数据治理类中选择(例如,加载)
用于至少一项数据治理任务的至少一个航空数据治理类,包括:基于多条数据和数据治理
规则,确定用于解析待治理的数据流中的至少部分数据(例如,全部数据)中的每条数据的
至少一个解析类在数据库中的路径,待治理的数据流中的至少部分数据(例如,部分数据)
中的每条数据涉及的至少一项数据加工任务以及用于至少一项数据加工任务的至少一个
数据加工类在数据库中的路径,待治理的数据流中的至少部分数据(例如,部分数据)中的
每条数据涉及的至少一项数据融合任务以及用于至少一项数据融合任务的至少一个数据
融合类在数据库中的路径;在步骤S40中,利用至少一个航空数据治理类对多条数据进行治
理包括:利用至少一个解析类解析待治理的数据流中的至少部分数据中的每条数据,以得
到解析后的数据;利用至少一个数据加工类对解析后的数据进行数据加工;以及利用至少
一个数据融合类对至少经过解析后的数据(例如,经过解析和数据加工后的数据以及经过
解析但未经数据加工的数据的至少一类)进行数据融合,以得到融合后的数据,但本公开的
至少一个实施例不限于此。
[0105] 例如,至少一个数据加工类的输入数据为解析后的数据,至少一项数据融合任务为至少经过解析后的数据,也即,经过解析和数据加工后的数据以及经过解析但未经数据
加工的数据的至少一类。
[0106] 例如,在数据治理任务仅包括数据解析任务的情况下,步骤S30仅包括:基于多条数据和数据治理规则,确定用于解析待治理的数据流中的至少部分数据中的每条数据的至
少一个解析类在数据库中的路径;步骤S40仅包括:利用至少一个解析类解析待治理的数据
流中的至少部分数据中的每条数据,以得到解析后的数据。
[0107] 例如,数据治理任务可以仅包括数据加工任务、仅包括数据融合任务或者包括数据解析任务、数据加工任务和数据融合任务任意两个;对应地,可以根据数据治理任务对步
骤S30和步骤S40进行适应性调整,在此不再赘述。
[0108] 例如,航空数据治理方法还包括以下的步骤S501。
[0109] 步骤S501:更新数据治理类库,以在数据治理类库中新增、删除或更改一个或多个航空数据治理类。
[0110] 例如,在步骤S501中,更新数据治理类库包括:接收航空数据治理类编辑请求,以及根据航空治理类编辑请求更新数据治理类库。
[0111] 例如,开发人员可以在终端(例如,电脑)上执行航空治理类编辑操作,服务器可以从终端接收根据航空治理类编辑操作产生的航空治理类编辑请求,并基于根据航空治理类
编辑请求更新数据治理类库。
[0112] 例如,可以通过将新增的一个或多个航空数据治理类存储在数据治理类库所在的路径来在数据治理类库中新增一个或多个航空数据治理类;可以通过将更改后的航空数据
治理类存储在数据治理类库所在的路径并替代数据治理类库中具有与更改后的航空数据
治理类相同的文件名的航空数据治理类来更改更改一个或多个航空数据治理类。
[0113] 例如,开发人员可以通过在终端上开发一个或多个航空数据治理类,并将上述一个或多个航空数据治理类上传至服务器,服务器可以通过将上述一个或多个航空数据治理
类存储在数据治理类库所在的路径中来更新数据治理类库。
[0114] 在一个示例中,航空数据治理方法还包括提供航空数据治理规则编辑界面;接收航空治理类编辑请求包括:从航空治理类编辑界面(例如,图形用户界面)接收根据航空治
理类编辑操作产生的航空治理类编辑请求。在另一个示例中,接收航空治理类编辑请求包
括:接收执行(在数据治理类库的存储路径上直接执行)粘贴和/或删除文件的操作产生的
航空治理类编辑请求。
[0115] 例如,航空数据治理方法还包括以下的步骤S502。
[0116] 步骤S502:航空数据治理方法还包括:从更新后的数据治理类库接收(例如,加载)适用的数据治理类,以对多条数据中在数据治理类库更新生效之后接收的至少一条数据进
行治理。
[0117] 例如,在步骤S502中,适用的数据治理类是指适用于多条数据中在数据治理类库更新生效之后接收的至少一条数据的数据治理类。
[0118] 例如,步骤S501和步骤S502可以按照步骤S501和步骤S502的顺序被执行。例如,步骤S501和步骤S502可以执行步骤S20‑步骤S40任一的过程中被执行。
[0119] 例如,航空数据治理方法还包括以下的步骤S601。
[0120] 步骤S601:更新数据治理规则库,以增加针对新增的数据类型的数据的解析规则、加工规则和融合规则的至少一类和/或调整针对预定类型的数据的解析规则、加工规则和
融合规则的至少一类。
[0121] 例如,更新数据治理规则库可以包括:增加针对D类型的数据(第四类数据)的数据的解析规则、加工规则和融合规则的至少一类。例如,更新数据治理规则库可以包括:调整A
类型的数据的解析规则、加工规则和融合规则的至少一类。
[0122] 例如,在步骤S601中,更新数据治理规则库包括:接收航空数据治理规则编辑请求;以及根据航空治理规则编辑请求更新数据治理规则库。
[0123] 例如,开发人员、技术支持人员或用户可以在终端(例如,电脑)上执行航空治理规则编辑操作,服务器可以从终端接收根据航空治理规则编辑操作产生的航空治理规则编辑
请求,并基于根据航空治理规则编辑请求更新数据治理规则库。
[0124] 例如,航空数据治理方法还包括提供航空数据治理规则编辑界面;接收航空数据治理规则编辑请求包括:从航空数据治理规则编辑界面接收根据数据治理规则编辑操作产
生的航空数据治理规则编辑请求。例如,通过提供航空数据治理规则编辑界面,可以使得技
术支持人员或用户经由航空数据治理规则编辑界面执行航空治理规则编辑操作,由此可以
进一步地降低开发工作量,并且可以更快的解决主程序、数据治理规则和航空数据治理类
库的至少一个存在问题(如果存在)和/或缩短响应客户需求改变所需的时间。
[0125] 图2是本公开的至少一个实施例提供的一种航空数据治理规则编辑界面的部分的示意图。例如,如图2所示,可以经由航空数据治理规则编辑界面新增航空数据治理规则包
括的子规则。例如,可以经由航空数据治理规则编辑界面新增时间转换子规则(例如,用于
将时间从12位转换为14位的子规则,也即,图2所示的规则“时间12转14位”)。例如,在新增
时间转换子规则时,可以经由航空数据治理规则编辑界面选择适用的时间转换算法(例如,
用于将时间从12位转换为14位的时间转换类),由此可以将涉及12位时间的数据与用于将
时间从12位转换为14位的时间转换类相关联。
[0126] 需要说明的是,图2仅用于示例性的示出可以基于航空数据治理规则编辑界面配置或更新航空数据治理规则,因此,尽管图2所示的航空数据治理规则编辑子页面遮挡了部
分航空数据治理规则编辑主界面的区域以及文字,但本领域技术人员依然可以理解可以基
于航空数据治理规则编辑界面配置或更新航空数据治理规则。
[0127] 例如,航空数据治理方法还包括以下的步骤S602。
[0128] 步骤S602:从更新后的数据治理规则库加载更新后的数据治理规则,以利用更新后的数据治理规则对多条数据中在数据治理规则库更新生效之后接收的至少一条数据进
行治理。
[0129] 例如,步骤S601和步骤S602可以按照步骤S601和步骤S602的顺序被执行。例如,可以在执行步骤S20‑步骤S40任一的过程中执行步骤S601和步骤S602。
[0130] 例如,该航空数据治理方法还包括以下的步骤S001。例如,步骤S001可以在执行步骤S10‑步骤S40之前执行。
[0131] 步骤S001:运行航空数据治理主程序。
[0132] 例如,该航空数据治理方法还包括以下的步骤S701‑步骤S703的至少一个(例如,全部)。例如,步骤S701‑步骤S703可以在执行步骤S001之前执行。
[0133] 步骤S701:接收多个航空数据治理类,并将多个航空数据治理类存储在数据治理类库中。
[0134] 例如,在步骤S701中,开发人员可以编写多个航空数据治理类,上述多个航空数据治理类被提供给、并存储到数据治理类库中,例如,上述多个航空数据治理类可以经由服务
器被提供给数据治理类库。例如,数据治理类库可以是数据库的对应于指定路径的部分。
[0135] 步骤S702:接收可动态更新的数据治理规则,并将上述可动态更新的数据治理规则存储在数据治理规则库中。
[0136] 例如,在步骤S702中,开发人员、技术支持人员或者用户可以在终端(例如,电脑)的航空数据治理规则编辑界面配置数据治理规则,服务器可以从航空数据治理规则编辑界
面接收配置完成后的数据治理规则,并将上述配置完成后的数据治理规则存储在数据治理
规则库中。
[0137] 步骤S703:接收航空数据治理主程序。例如,开发人员可以在终端(例如,电脑)开发航空数据治理主程序,并在航空数据治理主程序开发完成后,将航空数据治理主程序编
译打包;然后,服务器可以从终端接收上述编译打包后的航空数据治理主程序。
[0138] 例如,由于多个航空数据治理类和数据治理规则并未与主程序一起打包,也即,多个航空数据治理类和数据治理规则没有位于主程序所在的程序包中;此种情况下,在运行
主程序的初始阶段时,无需将多个航空数据治理类加载在内存中,而是可以基于接收到的
数据确定和加载与上述接收到的数据匹配的航空数据治理类。
[0139] 图3是本公开的至少一个实施例提供的航空数据治理方法的第一个示例的流程图。下面结合图3对本公开的至少一个实施例提供的航空数据治理方法的第一个示例进行
示例性说明。
[0140] 例如,如图3所示,航空数据治理方法包括:在接收到源数据(也即,数据流包括的多条数据的至少一条数据)之后,根据源数据的格式以及航空数据治理规则(也即,图3所示
的规则)调用适用的解析类(也即,用于解析该源数据的解析类),对接收到的源数据进行数
据解析,以得到解析数据(也即,解析后的数据)。例如,源数据的格式可以是选自JSON
(JavaScript对象表示法)格式、XML(可扩展性标记语言)格式、二进制格式或者文本格式。
[0141] 例如,如图3所示,航空数据治理方法还包括:在对于源数据(也即,数据流包括的多条数据的至少一条数据)的解析完成之后,根据航空数据治理规则(例如,根据航空数据
治理规则以及源数据,或者例如,根据航空数据治理规则以及解析后的数据)调用适用的数
据加工类(也即,用于对解析后的数据进行数据加工的数据加工类)对解析后的数据进行数
据加工,以得到加工后的数据。例如,对于源数据包括的每条数据,在解析完成之后,如果该
数据需要数据加工,调用适用的数据加工类对于该条数据进行数据加工,以得到加工后的
数据。例如,解析数据包括解析后的数据1、解析后的数据2、……解析后的数据N;对上述解
析后的数据1、解析后的数据2、……解析后的数据N进行数据加工之后,得到加工后数据1、
加工后数据2、…加工后数据N。例如,上述解析数据还包括其它解析后的但不需要进行数据
加工的数据。
[0142] 例如,如图3所示,航空数据治理方法还包括:根据航空数据治理规则(例如,根据航空数据治理规则以及源数据)调用适用的数据融合类(也即,与源数据匹配的数据融合
类)对至少经过解析后的数据(例如,经过解析和数据加工后的数据以及经过解析但未经数
据加工的数据的至少一类)进行数据融合,以得到融合后的数据。例如,如图3所示,数据流
包括的多条数据涉及融合任务1、融合任务2、……和融合任务M;融合任务1、融合任务
2、……和融合任务M分别用于构建融合后数据1、融合后数据2、……和融合后数据M;用于融
合任务1、融合任务2、……和融合任务M的数据融合类分别是第一数据融合类、第二数据融
合类、……第M数据融合类。例如,如图3所示,第一数据融合类的输入数据包括加工后数据1
和加工后数据M,例如,第一数据融合类的输入数据还包括其它加工后数据以及解析后的但
未经过加工的数据的至少一种;第二数据融合类的输入数据包括加工后数据2以及其它数
据(例如,加工后数据或/和解析后的但未经过加工的数据);……第M数据融合类的输入数
据包括加工后数据M以及其它数据(例如,加工后数据或/和解析后的但未经过加工的数
据)。
[0143] 例如,融合后数据1、融合后数据2、……和融合后数据M的至少部分(例如,全部)可以被传输至并存储到数据库中;例如,融合后数据1、融合后数据2、……和融合后数据M的至
少部分(例如,全部)可以被传输至并存储到数据库中。例如,可以对融合后数据1、融合后数
据2、……和融合后数据M的至少部分进行进一步地融合(例如,二次融合、三次融合……),
以通过数据融合得到所需的数据模型(例如,对象模型)。例如,融合后数据1、融合后数据
2、……和融合后数据M的至少部分(例如,全部)可以被提供给下游程序,以使得下游程序可
以对融合后数据1、融合后数据2、……和融合后数据M的至少部分(例如,全部)进行进一步
的数据处理。
[0144] 图4是本公开的至少一个实施例提供的航空数据治理方法的第二个示例的流程图。下面结合图4对本公开的至少一个实施例提供的航空数据治理方法的第二个示例进行
示例性说明。
[0145] 例如,如图4所示,该航空数据治理方法包括以下的步骤1和步骤2。
[0146] 步骤1:编写解析类,配置解析规则,将编译打包好的程序(例如,航空数据治理主程序)文件上传到服务器进行执行。
[0147] 例如,在步骤1中,可以基于目标数据(待治理的数据)的数据交换协议编写解析类和配置解析规则。例如,在步骤1中,解析类和解析规则并未与航空数据治理主程序一起打
包;对应地,在服务器运行航空数据治理主程序时,无需将所有的解析类加载到内存,而是
可以在对数据进行数据治理时调用所需的解析类。
[0148] 例如,航空数据治理方法还包括将解析类和解析规则上传至(例如,经由服务器上传至)数据库。例如,航空数据治理方法还包括从kafka接收机场运行数据(也即,图4示出的
接入数据),根据规则进行计算(也即,图4示出的解析加工,调用解析类和数据加工类的至
少一个),以得到治理后的数据。
[0149] 步骤2:保存数据并发往下游程序。
[0150] 例如,在步骤2中,在数据治理执行成功之后,可以将治理后的数据保存到数据库中,并发往下游程序进一步处理。例如,通过将治理后的数据保存到数据库中,有利于进行
数据追溯。
[0151] 例如,在数据治理执行失败之后,可以记录错误信息,以便于开发人员、技术支持人员或用户基于记录的错误信息更新航空数据治理规则和航空数据治理类库的至少一个。
例如,在本公开的至少一个实施例提供的航空数据治理方法的其它示例中,也可以记录错
误信息,不再赘述。
[0152] 例如,航空数据治理方法还包括:从数据库中查看民航数据解析加工程序的结果或者从下游程序接收结果(例如,进一步处理后的数据)。
[0153] 图5是本公开的至少一个实施例提供的航空数据治理方法的第三个示例的流程图。下面结合图5对本公开的至少一个实施例提供的航空数据治理方法的第三个示例进行
示例性说明。
[0154] 例如,如图5所示,该航空数据治理方法包括以下的步骤1.1‑步骤1.4。
[0155] 步骤1.1:编写解析类,配置解析加工规则(例如,数据治理规则)。
[0156] 例如,在步骤1.1中,可以将编写好的解析类提供至数据库(例如,数据库包括的数据治理规则库)中;在数据库中配置解析类路径和解析加工规则(例如,数据治理规则),程
序(例如,航空数据治理主程序)运行之后从数据库(例如,数据库包括的数据治理规则库)
加载解析规则到内存。例如,该航空数据治理方法还可以包括编写数据加工类,并将编写好
的数据加工类提供至数据库(例如,数据库包括的数据治理规则库)中。
[0157] 步骤1.2:程序打包运行。
[0158] 例如,在步骤1.2中,可以将编写好的主程序编译打包,并将编译打包好的程序文件上传到服务器进行执行。
[0159] 步骤1.3:接入数据、解析加工。
[0160] 例如,在步骤1.3中,在程序开始工作后,实时接收各种不同格式的机场运行数据;并且,可以根据数据的类型,查找对应的解析类和解析规则。根据解析类将机场运行数据解
析为JSON格式的数据,根据解析规则实现数据的规范化。
[0161] 步骤1.4:数据保存在数据库中。
[0162] 例如,在步骤1.4中,在数据治理执行成功之后,可以将治理后的数据(JSON数据)保存到数据库中。例如,还可以将治理后的数据(JSON数据)发往下游程序进一步处理。
[0163] 例如,上述过程中,程序一旦运行以后,可实时持续对民航数据进行治理,一旦解析加工过程中出现问题,会记录告警信息以便后续进行处理。
[0164] 本公开的至少一个实施例还提供了一种航空数据治理装置。图6是本公开的至少一个实施例提供的航空数据治理装置的示意性框图。如图6所示,该航空数据治理装置包
括:处理器和存储器。存储器中存储有适于处理器执行的计算机程序指令,计算机程序指令
被处理器运行时使得处理器执行本公开的至少一个实施例提供的航空数据治理方法。例
如,该航空数据治理装置可以实时持续对航空数据进行治理。
[0165] 例如,该处理器例如是中央处理单元(CPU)、图形处理器GPU、张量处理器(TPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,例如,该处理器可以实现
为通用处理器,并且也可以为单片机、微处理器、数字信号处理器、专用的图像处理芯片、或
现场可编程逻辑阵列等。例如,存储器可以包括易失性存储器和非易失性存储器的至少一
种,例如存储器可以包括只读存储器(ROM)、硬盘、闪存等。相应地,该存储器可以实现为一
个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介
质,在所述计算机可读存储介质上可以存储一个或多个计算机程序指令。处理器可以运行
所述程序指令,以执行本公开的至少一个实施例提供的任一航空数据治理方法。该存储器
还可以存储其他各种应用程序和各种数据,例如,所述应用程序使用和/或产生的各种数据
等。
[0166] 本公开的至少一个实施例还提供了一种存储介质(例如,非暂时性存储介质)。图7是本公开的至少一个实施例提供的存储介质的示意性框图。如图7所示,该存储介质包括存
储在所述存储介质上的计算机程序指令。计算机程序指令被处理器运行时执行本公开的至
少一个实施例提供的航空数据治理方法。例如,该存储介质可以实时持续对航空数据进行
治理。
[0167] 例如,存储介质可能有多种形式,包括有形的存储介质,载波介质或物理传输介质等。稳定的储存介质可以包括:光盘或磁盘,以及其他计算机或类似设备中使用的,能够实
现图中所描述的系统组件的存储系统。不稳定的存储介质可以包括动态内存,例如计算机
平台的主内存等。有形的传输介质可以包括同轴电缆、铜电缆以及光纤,例如计算机系统内
部形成总线的线路。载波传输介质可以传递电信号、电磁信号、声波信号或光波信号等。这
些信号可以由无线电频率或红外数据通信的方法所产生。通常的存储介质(例如,计算机可
读介质)包括硬盘、软盘、磁带、任何其他磁性介质;CD‑ROM、DVD、DVD‑ROM、任何其他光学介
质;穿孔卡、任何其他包含小孔模式的物理存储介质;RAM、PROM、EPROM、FLASH‑EPROM,任何
其他存储器片或磁带;传输数据或指令的载波、电缆或传输载波的连接装置、任何其他可以
利用计算机程序指令(例如,程序代码)和/或计算机读取的数据。
[0168] 可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序指令(例如,程序代码),上述程序设计语言包括但不限于面向对象的程序设计语
言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似
的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、
作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在
远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类
的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部
计算机(例如利用因特网服务提供商来通过因特网连接)。
[0169] 在一些示例中,本公开的至少一个实施例描述的功能也可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:
现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复
杂可编程逻辑设备(CPLD)等等。
[0170] 图8示出了本公开的至少一个实施例提供的航空数据治理装置的示例性的场景图。如图8所示,该航空数据治理装置300可以包括终端310、网络320、服务器330以及数据库
340。例如,图8示出的航空数据治理装置可以根据本公开的至少一个实施例提供航空数据
治理方法实现。
[0171] 例如,终端310可以是图8中示出的电脑310‑1、便携式终端310‑2,但本公开的至少一个实施例不限于此。可以理解的是,终端还可以是能够执行数据的接收、处理和显示的任
何其他类型的电子设备,其可以包括台式电脑、笔记本电脑、平板电脑、手机的任意一个或
任意组合。
[0172] 例如,终端310可以显示航空数据治理规则编辑界面和航空治理类编辑界面的至少一个。例如,服务器330或数据库340可以经由航空数据治理规则编辑界面接收航空数据
治理规则编辑请求。
[0173] 例如,所述网络320可以是单个网络,或至少两个不同网络的组合。例如,网络320可以包括但不限于局域网、广域网、公用网络、专用网络、因特网、移动通信网络等中的一种
或几种的组合。
[0174] 例如,该服务器可330以为一个单独的服务器,或者为一个服务器群组,服务器群组内的各个服务器通过有线网络或无线网络进行连接。有线网络例如可以采用双绞线、同
轴电缆或光纤传输等方式进行通信,无线网络例如可以采用3G/4G/5G移动通信网络、蓝牙、
Zigbee或者WiFi等通信方式。本公开对网络的类型和功能在此不作限制。该一个服务器群
组可以是集中式的,例如数据中心,也可以是分布式的。服务器可以是本地的或远程的。例
如,该服务器330可以为通用型服务器或专用型服务器,可以为虚拟服务器或云服务器等。
[0175] 例如,数据库340包括数据治理类库和数据治理规则库。例如,数据库340还可以包括用于存储治理后的数据的部分。例如,数据库340可用于存储从终端310和服务器330工作
中所利用、产生和输出的各种数据。数据库340可以经由网络320与服务器330或服务器330
的一部分相互连接或通信,或直接与服务器330相互连接或通信,或者经由上述两种方式的
结合实现与服务器330相互连接或通信。在一些实施例中,数据库340可以是独立的设备。在
另一些实施例中,数据库340也可以集成在终端310和服务器340中的至少一个中。例如,数
据库340可以设置在终端310上,也可以设置在服务器340上。又例如,数据库340也可以是分
布式的,其一部分设置在终端310上,另一部分设置在服务器340上。
[0176] 例如,可以显示航空数据治理规则编辑界面和航空治理类编辑界面的至少一个。例如,服务器330可以经由航空数据治理规则编辑界面接收航空数据治理规则编辑请求,并
基于上述航空数据治理规则编辑请求对数据库340中的航空数据治理规则进行动态更新。
[0177] 例如,开发人员可以经由终端310编写航空数据治理主程序,将航空数据治理主程序编译打包、之后经由网络上传至服务器;开发人员可以经由终端310编写多个航空数据治
理类,并经由网络将多个航空数据治理类传递至并存储到数据库340包括的数据治理类库
中;开发人员、技术支持人员或者用户可以经由终端310的航空数据治理规则编辑界面编辑
数据治理规则,编辑完成后的数据治理规则经由网络传递至并存储到数据库340包括的数
据治理规则库中。
[0178] 例如,服务器可以运行航空数据治理主程序,航空数据治理主程序从数据库340包括的数据治理规则库中将可动态更新的数据治理规则加载至内存;服务器可以从kafka接
收待治理的数据流(包括多条机场运行数据),并基于数据流包括的多条数据和数据治理规
则确定多条数据涉及的至少一项数据治理任务,从数据治理类库包括的多个航空数据治理
类中选择用于至少一项数据治理任务的至少一个航空数据治理类,并利用至少一个航空数
据治理类对多条数据进行治理;治理后的数据被存储至数据库340中。例如,治理后的数据
还可以被发送至下游程序,并被下游程序进一步地处理。
[0179] 例如,在服务器运行航空数据治理主程序之后,如果对航空数据的治理出现问题,上述出现的问题将被记录,并可以基于上述被记录的问题在航空数据治理主程序运行的过
程中对数据治理规则库和数据治理类库的至少一个执行更新操作,并在更新生效之后,利
用更新后的数据治理规则库和更新后的数据治理类库的至少一个对多条数据中在更新生
效之后接收的至少一条数据进行治理。
[0180] 例如,在主程序接收到具有新的数据传输格式的数据(也即,数据治理类库中不包括用于解析具有新的数据传输格式的数据的解析类)的情况下,主程序可以记录无法解析
上述具有新的数据传输格式的数据的问题,用户或技术支持人员可以将上述问题反馈给开
发人员,开发人员可以开发用于解析上述具有新的数据传输格式的数据的解析类,并将上
述用于解析上述具有新的数据传输格式的数据的解析类提供给数据库(例如,经由服务器
提供给数据库),以更新数据治理类库;然后,用户或技术支持人员可以经由终端显示的航
空数据治理规则编辑界面执行数据治理规则编辑操作,服务器可以从航空数据治理规则编
辑界面接收根据数据治理规则编辑操作产生的航空数据治理规则编辑请求,并根据上述航
空治理规则编辑请求更新数据治理规则库;接着,可以采用更新后的数据治理类库和更新
后的数据治理规则库对于在更新生效之后服务器接收的数据(例如,上述具有新的数据传
输格式的数据)进行数据治理。
[0181] 根据本申请实施例的方法也可以借助于图9所示的计算设备400的架构来实现。
[0182] 图9示出了本公开的至少一个实施例提供的计算设备400的架构。如图9所示,计算设备400可以包括总线410、一个或至少两个CPU 420、只读存储器(ROM)430、随机存取存储
器(RAM)440、连接到网络的通信端口450、输入/输出组件460、硬盘470等。计算设备400中的
存储设备(例如,ROM 430或硬盘470)可以存储本公开的至少一个实施例提供的航空数据治
理方法对应的指令以及各种相关的数据或文件。计算设备400还可以包括人机用户界面
480。当然,图9所示的架构只是示例性的,在实现不同的设备时,根据实际需要,可以省略图
9示出的计算设备中的一个或至少两个组件。
[0183] 例如,基于本公开的至少一个实施例提供的航空数据治理方法的装置或程序模块可以运行在各种操作系统(例如,操作系统包括但不限于Windows、Linux、IOS或Android),
由此提升了本公开的至少一个实施例提供的航空数据治理方法、航空数据治理装置和存储
介质的应用范围。
[0184] 例如,本公开的至少一个实施例提供的航空数据治理方法、航空数据治理装置和存储介质可以以可编程可配置可动态更新的方式对航空数据进行数据治理。例如,本公开
的至少一个实施例提供的航空数据治理方法、航空数据治理装置和存储介质特别适用于对
具有多种数据交换格式(和/或多种交换协议)的多条数据进行快速动态的治理(例如,解
析、加工和融合的任一个或任意组合)。
[0185] 例如,基于本公开的至少一个实施例提供的航空数据治理方法的程序模块可以以在服务器启动后台进程的方式运行,并程序模块运行时,实时接收机场运行数据并进行解
析,自动将解析加工结果发往下游程序,同时保存到数据库以便进行数据追溯。例如,基于
本公开的至少一个实施例提供的航空数据治理方法的程序模块可以对机场运行数据进行
自动治理。
[0186] 例如,本公开的至少一个实施例提供的航空数据治理方法可以仅对待治理的数据流进行解析,此种情况下,基于本公开的至少一个实施例提供的航空数据治理方法的数据
解析程序可以实现为可编程可配置的方式;例如,开发人员和技术支持人员的至少一个可
以根据不同的数据交换协议,简单编写解析类添加解析规则,同时将解析类配置在数据库
中;程序运行时动态加载数据库规则,通过接收到的数据内容,选择指定的解析类,根据解
析规则,解析机场运行数据。
[0187] 例如,本公开的至少一个实施例提供的航空数据治理方法可以实现实时解析机场各类数据格式的运行数据,动态更新解析加工规则,对数据进行规范化。例如,本公开的至
少一个实施例提供的航空数据治理方法可以保证同一航班的唯一性。
[0188] 虽然上文中已经用一般性说明及具体实施方式,对本公开作了详尽的描述,但在本公开实施例基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见
的。因此,在不偏离本公开精神的基础上所做的这些修改或改进,均属于本公开要求保护的
范围。
[0189] 以上所述仅是本公开的示范性实施方式,而非用于限制本公开的保护范围,本公开的保护范围由所附的权利要求确定。