基于人工智能物联网的数据采集方法、系统及云平台转让专利

申请号 : CN202211553105.0

文献号 : CN115599873B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 陈城陈劲峰

申请人 : 广州丰网互联科技有限公司

摘要 :

本发明实施例提供的基于人工智能物联网的数据采集方法、系统及云平台,通过关系网描述向量和数据簇网结描述向量以获取各个第一数据簇网结的数据显著因子,涵盖更丰富的参考信息,获得的数据显著因子可以充分体现数据簇网结在物联数据关系网中的代表性,使得后续基于参考数据显著因子,对各个第一数据簇网结进行挑选的过程中,可以精确确定出具有代表性的数据簇网结,基于获取到的具有代表性的数据簇网结的数据簇网结描述向量和关系网描述向量对物联网数据包进行分析提炼,增加了数据归类的准确性且对于代表性差的数据簇网结不纳入分析范畴,使得整个存储归类流程的效率得到有效提升。

权利要求 :

1.一种基于人工智能物联网的数据采集方法,其特征在于,应用于数据采集云平台,所述数据采集云平台与至少一个物联传感网络通信连接,所述物联传感网络包括物联关系数据库,所述物联关系数据库用于存储物联网数据包,所述方法包括:当获取到所述物联传感网络上传的物联网数据包时,对所述物联网数据包进行解析,得到第一物联数据关系网,所述第一物联数据关系网包括多个第一数据簇网结;

获取所述第一物联数据关系网的第一关系网描述向量和所述第一物联数据关系网中多个第一数据簇网结的第一数据簇网结描述向量;其中,所述第一数据簇网结为所述物联网数据包中的数据簇信息对应的网结,所述第一物联数据关系网为基于所述多个第一数据簇网结之间的牵涉情况而建立;

对所述第一关系网描述向量和多个第一数据簇网结描述向量进行处理,确定所述第一物联数据关系网中每个第一数据簇网结对应的数据显著因子;其中,所述数据显著因子表征所述第一数据簇网结在所述第一物联数据关系网中的代表性信息;

基于获取的多个数据显著因子,在所述多个第一数据簇网结中确定出多个第二数据簇网结,所述多个第二数据簇网结对应的数据显著因子大于其余所述第一数据簇网结对应的数据显著因子;

对所述多个第二数据簇网结的第一数据簇网结描述向量和第二物联数据关系网的第二关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息;其中,所述第二物联数据关系网为基于所述多个第二数据簇网结之间的牵涉情况而建立;

对所述第一关系网描述向量和多个第一数据簇网结描述向量进行处理,确定所述第一物联数据关系网中每个第一数据簇网结对应的数据显著因子的步骤通过预先调试好的存储归类网络执行,所述存储归类网络包括第一数据显著因子确定模块、第一网结选择模块和归类模块,所述对所述第一关系网描述向量和多个第一数据簇网结描述向量进行处理,确定所述第一物联数据关系网中每个第一数据簇网结对应的数据显著因子具体包括:通过所述第一数据显著因子确定模块,对所述第一关系网描述向量和多个第一数据簇网结描述向量进行处理,确定所述第一物联数据关系网中每个第一数据簇网结对应的数据显著因子;

所述基于获取的多个数据显著因子,在所述多个第一数据簇网结中确定出多个第二数据簇网结,包括:通过所述第一网结选择模块,基于获取的多个数据显著因子,在所述多个第一数据簇网结中确定出所述多个第二数据簇网结;

所述对所述多个第二数据簇网结的第一数据簇网结描述向量和第二物联数据关系网的第二关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息,包括:通过所述归类模块,对所述多个第二数据簇网结的第一数据簇网结描述向量和所述第二关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息;

所述存储归类网络还包括第一线性变换模块、第二数据显著因子确定模块和第二网结选择模块,所述通过所述第一网结选择模块,基于获取的多个数据显著因子,在所述多个第一数据簇网结中确定出所述多个第二数据簇网结后,所述方法还包括:通过所述第一线性变换模块,基于所述第二关系网描述向量,对所述多个第二数据簇网结的第一数据簇网结描述向量进行修正,确定所述多个第二数据簇网结的第二数据簇网结描述向量;

通过所述第二数据显著因子确定模块,对所述第二关系网描述向量和多个第二数据簇网结描述向量进行处理,确定所述第二物联数据关系网中每个第二数据簇网结的数据显著因子;

通过所述第二网结选择模块,基于获取的多个数据显著因子,在所述多个第二数据簇网结中确定出多个第三数据簇网结,所述多个第三数据簇网结对应的数据显著因子大于其余所述第二数据簇网结对应的数据显著因子。

2.根据权利要求1所述的方法,其特征在于,所述基于获取的多个数据显著因子,在所述多个第一数据簇网结中确定出多个第二数据簇网结的步骤后,所述方法还包括:基于所述第二关系网描述向量对所述多个第二数据簇网结的第一数据簇网结描述向量进行修正,获得所述多个第二数据簇网结的第二数据簇网结描述向量;

对所述第二关系网描述向量和多个第二数据簇网结描述向量进行处理,确定所述第二物联数据关系网中每个第二数据簇网结的数据显著因子;

基于获取的多个数据显著因子,在所述多个第二数据簇网结中确定出多个第三数据簇网结,所述多个第三数据簇网结对应的数据显著因子大于其余所述第二数据簇网结对应的数据显著因子。

3.根据权利要求2所述的方法,其特征在于,所述对所述多个第二数据簇网结的第一数据簇网结描述向量和第二物联数据关系网的第二关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息,包括:对所述多个第二数据簇网结的第一数据簇网结描述向量、所述第二关系网描述向量、所述多个第三数据簇网结的第二数据簇网结描述向量和第三物联数据关系网的第三关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息,所述第三物联数据关系网为基于所述多个第三数据簇网结之间的牵涉情况而建立。

4.根据权利要求3所述的方法,其特征在于,所述对所述多个第二数据簇网结的第一数据簇网结描述向量、所述第二关系网描述向量、所述多个第三数据簇网结的第二数据簇网结描述向量和第三物联数据关系网的第三关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息,包括:基于所述第二数据簇网结的数值统计结果,对所述多个第二数据簇网结的第一数据簇网结描述向量和所述第二关系网描述向量进行均值计算,确定所述多个第二数据簇网结对应的数据簇网结均值描述向量;

将所述数据簇网结均值描述向量与所述多个第二数据簇网结的第一数据簇网结描述向量中的最大数据簇网结描述向量相连,获得第一合并描述向量;

对所述多个第三数据簇网结的第二数据簇网结描述向量和所述第三关系网描述向量进行拼接,得到第二合并描述向量;

对所述第一合并描述向量和所述第二合并描述向量相连,确定所述物联网数据包对应的合并描述向量;

对所述合并描述向量进行抽取,确定所述物联网数据包的存储归类信息。

5.根据权利要求1所述的方法,其特征在于,所述通过所述归类模块,对所述多个第二数据簇网结的第一数据簇网结描述向量和所述第二关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息,包括:通过所述归类模块,对所述多个第二数据簇网结的第一数据簇网结描述向量、所述第二关系网描述向量、所述多个第三数据簇网结的第二数据簇网结描述向量和第三物联数据关系网的第三关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息,所述第三物联数据关系网为基于所述多个第三数据簇网结之间的牵涉情况而建立。

6.根据权利要求5所述的方法,其特征在于,所述存储归类网络还包括第一拼接模块和第二拼接模块,所述通过所述归类模块,对所述多个第二数据簇网结的第一数据簇网结描述向量、所述第二关系网描述向量、所述多个第三数据簇网结的第二数据簇网结描述向量和第三物联数据关系网的第三关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息,包括:通过所述第一拼接模块,对所述多个第二数据簇网结的第一数据簇网结描述向量和所述第二关系网描述向量进行拼接,得到第一合并描述向量;

通过所述第二拼接模块,对所述多个第三数据簇网结的第二数据簇网结描述向量和所述第三关系网描述向量进行拼接,得到第二合并描述向量;

通过所述归类模块,对所述第一合并描述向量和所述第二合并描述向量进行抽取,确定所述物联网数据包的存储归类信息;

所述存储归类网络还包括合并模块,所述通过所述归类模块,对所述第一合并描述向量和所述第二合并描述向量进行抽取,确定所述物联网数据包的存储归类信息,包括:通过所述合并模块,对所述第一合并描述向量和所述第二合并描述向量相连,确定所述物联网数据包对应的合并描述向量;

通过所述归类模块,对所述合并描述向量进行抽取,确定所述物联网数据包的存储归类信息。

7.根据权利要求5 6中任一项所述的方法,其特征在于,所述存储归类网络通过以下步~骤进行调试得到:

获取物联网训练数据包的训练存储归类信息、训练物联数据关系网的训练关系网描述向量和所述训练物联数据关系网中多个训练数据簇网结的训练数据簇网结描述向量,所述训练数据簇网结为所述训练数据簇信息对应的网结,所述训练物联数据关系网为基于物联网训练数据包中的多个训练数据簇信息之间的牵涉情况而建立;

通过所述存储归类网络,对所述训练关系网描述向量和所述多个训练数据簇网结的训练数据簇网结描述向量进行抽取,确定所述物联网训练数据包的推理存储归类信息;

基于所述训练存储归类信息和所述推理存储归类信息之间的损失,调试所述存储归类网络的网络参数直至达到预设条件,得到调试完成的存储归类网络。

8.一种数据采集系统,其特征在于,包括数据处理云平台和与所述数据处理云平台通信连接的至少一个物联传感网络,所述物联传感网络包括物联关系数据库,所述物联关系数据库用于存储物联网数据包,所述数据处理云平台包括处理器和存储器,所述存储器存储有计算机程序,当所述处理器执行所述计算机程序时,执行如权利要求1 7任一项所述的~方法。

9.一种数据采集云平台,其特征在于,包括处理器和存储器,所述存储器存储有计算机程序,当所述处理器执行所述计算机程序时,执行如权利要求1 7任一项所述的方法。

~

说明书 :

基于人工智能物联网的数据采集方法、系统及云平台

技术领域

[0001] 本申请涉及人工智能及物联网技术领域,具体而言,涉及一种基于人工智能物联网的数据采集方法、系统及云平台。

背景技术

[0002] 随着人工智能和物联网的应用越来越广泛,物联网设备产生大量数据,由人工智能和机器学习来分析和跟踪这些数据。以这种方式将人工智能与物联网相结合,创造出智能设备,并在没有人为干预的情况下做出明智决策。物联网带来的可能性是无限的,连网设备和传感器的快速扩展,使得它们创建的数据量将呈指数级增长,而随之而来的问题是如何分析这些海量性能数据,通过人力显然是不现实的,而人工智能中的机器学习是有效的解决方案。在分析这些数据之前,对数据进行采集是前提,在数据的采集过程中,需要对数据进行归类存储,以便于后续按照分析需求对数据进行针对性地提取,因为物联网数据庞大驳杂,其分类存储的效率是需要关注的问题。

发明内容

[0003] 本发明的目的在于提供一种基于人工智能物联网的数据采集方法、系统及云平台,以提升数据归类存储的效率。
[0004] 本申请实施例按照如下内容达到上述的目的:
[0005] 第一方面,本申请实施例提供了一种基于人工智能物联网的数据采集方法,其特征在于,应用于数据采集云平台,所述数据采集云平台与至少一个物联传感网络通信连接,所述物联传感网络包括物联关系数据库,所述物联关系数据库用于存储物联网数据包,所述方法包括:
[0006] 当获取到所述物联传感网络上传的物联网数据包时,对所述物联网数据包进行解析,得到第一物联数据关系网,所述第一物联数据关系网包括多个第一数据簇网结;
[0007] 获取所述第一物联数据关系网的第一关系网描述向量和所述第一物联数据关系网中多个第一数据簇网结的第一数据簇网结描述向量;其中,所述第一数据簇网结为所述物联网数据包中的数据簇信息对应的网结,所述第一物联数据关系网为基于所述多个第一数据簇网结之间的牵涉情况而建立;
[0008] 对所述第一关系网描述向量和所述多个第一数据簇网结描述向量进行处理,确定所述第一物联数据关系网中每个第一数据簇网结对应的数据显著因子;其中,所述数据显著因子表征所述第一数据簇网结在所述第一物联数据关系网中的代表性信息;
[0009] 基于获取的多个数据显著因子,在所述多个第一数据簇网结中确定出多个第二数据簇网结,所述多个第二数据簇网结对应的数据显著因子大于其余所述第一数据簇网结对应的数据显著因子;
[0010] 对所述多个第二数据簇网结的第一数据簇网结描述向量和第二物联数据关系网的第二关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息;其中,所述第二物联数据关系网为基于所述多个第二数据簇网结之间的牵涉情况而建立。
[0011] 作为一种可行的实施方式,所述基于获取的多个数据显著因子,在所述多个第一数据簇网结中确定出多个第二数据簇网结的步骤后,所述方法还包括:
[0012] 基于所述第二关系网描述向量对所述多个第二数据簇网结的第一数据簇网结描述向量进行修正,获得所述多个第二数据簇网结的第二数据簇网结描述向量;
[0013] 对所述第二关系网描述向量和多个第二数据簇网结描述向量进行处理,确定所述第二物联数据关系网中每个第二数据簇网结的数据显著因子;
[0014] 基于获取的多个数据显著因子,在所述多个第二数据簇网结中确定出多个第三数据簇网结,所述多个第三数据簇网结对应的数据显著因子大于其余所述第二数据簇网结对应的数据显著因子。
[0015] 作为一种可行的实施方式,所述对所述多个第二数据簇网结的第一数据簇网结描述向量和第二物联数据关系网的第二关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息,包括:
[0016] 对所述多个第二数据簇网结的第一数据簇网结描述向量、所述第二关系网描述向量、所述多个第三数据簇网结的第二数据簇网结描述向量和第三物联数据关系网的第三关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息,所述第三物联数据关系网为基于所述多个第三数据簇网结之间的牵涉情况而建立。
[0017] 作为一种可行的实施方式,所述对所述多个第二数据簇网结的第一数据簇网结描述向量、所述第二关系网描述向量、所述多个第三数据簇网结的第二数据簇网结描述向量和第三物联数据关系网的第三关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息,包括:
[0018] 基于所述第二数据簇网结的数值统计结果,对所述多个第二数据簇网结的第一数据簇网结描述向量和所述第二关系网描述向量进行均值计算,确定所述多个第二数据簇网结对应的数据簇网结均值描述向量;
[0019] 将所述数据簇网结均值描述向量与所述多个第二数据簇网结的第一数据簇网结描述向量中的最大数据簇网结描述向量相连,获得所述第一合并描述向量;
[0020] 对所述多个第三数据簇网结的第二数据簇网结描述向量和所述第三关系网描述向量进行拼接,得到第二合并描述向量;
[0021] 对所述第一合并描述向量和所述第二合并描述向量相连,确定所述物联网数据包对应的合并描述向量;
[0022] 对所述合并描述向量进行抽取,确定所述物联网数据包的存储归类信息。
[0023] 作为一种可行的实施方式,数据显著因子确定模块网结选择模块归类模块所述对所述第一关系网描述向量和所述多个第一数据簇网结描述向量进行处理,确定所述第一物联数据关系网中每个第一数据簇网结对应的数据显著因子的步骤通过预先调试好的存储归类网络执行,所述存储归类网络包括第一数据显著因子确定模块、第一网结选择模块和归类模块,所述对所述第一关系网描述向量和所述多个第一数据簇网结描述向量进行处理,确定所述第一物联数据关系网中每个第一数据簇网结对应的数据显著因子具体包括:
[0024] 通过所述第一数据显著因子确定模块,对所述第一关系网描述向量和所述多个第一数据簇网结描述向量进行处理,确定所述第一物联数据关系网中每个第一数据簇网结对应的数据显著因子;
[0025] 所述基于获取的多个数据显著因子,在所述多个第一数据簇网结中确定出多个第二数据簇网结,包括:
[0026] 通过所述第一网结选择模块,基于获取的多个数据显著因子,在所述多个第一数据簇网结中确定出所述多个第二数据簇网结;
[0027] 所述对所述多个第二数据簇网结的第一数据簇网结描述向量和第二物联数据关系网的第二关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息,包括:
[0028] 通过所述归类模块,对所述多个第二数据簇网结的第一数据簇网结描述向量和所述第二关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息。
[0029] 所述存储归类网络还包括第一线性变换模块、第二数据显著因子确定模块和第二网结选择模块,所述通过所述第一网结选择模块,基于获取的多个数据显著因子,在所述多个第一数据簇网结中确定出所述多个第二数据簇网结后,所述方法还包括:
[0030] 通过所述第一线性变换模块,基于所述第二关系网描述向量,对所述多个第二数据簇网结的第一数据簇网结描述向量进行修正,确定所述多个第二数据簇网结的第二数据簇网结描述向量;
[0031] 通过所述第二数据显著因子确定模块,对所述第二关系网描述向量和多个第二数据簇网结描述向量进行处理,确定所述第二物联数据关系网中每个第二数据簇网结的数据显著因子;
[0032] 通过所述第二网结选择模块,基于获取的多个数据显著因子,在所述多个第二数据簇网结中确定出多个第三数据簇网结,所述多个第三数据簇网结对应的数据显著因子大于其余所述第二数据簇网结对应的数据显著因子。
[0033] 作为一种可行的实施方式,所述通过所述归类模块,对所述多个第二数据簇网结的第一数据簇网结描述向量和所述第二关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息,包括:
[0034] 通过所述归类模块,对所述多个第二数据簇网结的第一数据簇网结描述向量、所述第二关系网描述向量、所述多个第三数据簇网结的第二数据簇网结描述向量和第三物联数据关系网的第三关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息,所述第三物联数据关系网为基于所述多个第三数据簇网结之间的牵涉情况而建立。
[0035] 作为一种可行的实施方式,所述存储归类网络还包括第一拼接模块和第二拼接模块,所述通过所述归类模块,对所述多个第二数据簇网结的第一数据簇网结描述向量、所述第二关系网描述向量、所述多个第三数据簇网结的第二数据簇网结描述向量和第三物联数据关系网的第三关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息,包括:
[0036] 通过所述第一拼接模块,对所述多个第二数据簇网结的第一数据簇网结描述向量和所述第二关系网描述向量进行拼接,得到第一合并描述向量;
[0037] 通过所述第二拼接模块,对所述多个第三数据簇网结的第二数据簇网结描述向量和所述第三关系网描述向量进行拼接,得到第二合并描述向量;
[0038] 通过所述归类模块,对所述第一合并描述向量和所述第二合并描述向量进行抽取,确定所述物联网数据包的存储归类信息;
[0039] 所述存储归类网络还包括合并模块,所述通过所述归类模块,对所述第一合并描述向量和所述第二合并描述向量进行抽取,确定所述物联网数据包的存储归类信息,包括:
[0040] 通过所述合并模块,对所述第一合并描述向量和所述第二合并描述向量相连,确定所述物联网数据包对应的合并描述向量;
[0041] 通过所述归类模块,对所述合并描述向量进行抽取,确定所述物联网数据包的存储归类信息。
[0042] 作为一种可行的实施方式,所述存储归类网络通过以下步骤进行调试得到:
[0043] 获取物联网训练数据包的训练存储归类信息、训练物联数据关系网的训练关系网描述向量和所述训练物联数据关系网中多个训练数据簇网结的训练数据簇网结描述向量,所述训练数据簇网结为所述训练数据簇信息对应的网结,所述训练物联数据关系网为基于物联网训练数据包中的多个训练数据簇信息之间的牵涉情况而建立;
[0044] 通过所述存储归类网络,对所述训练关系网描述向量和所述多个训练数据簇网结的训练数据簇网结描述向量进行抽取,确定所述物联网训练数据包的推理存储归类信息;
[0045] 基于所述训练存储归类信息和所述推理存储归类信息之间的损失,调试所述存储归类网络的网络参数直至达到预设条件,得到调试完成的存储归类网络。
[0046] 第二方面,本申请实施例提供一种数据采集系统,包括数据处理云平台和与所述数据处理云平台通信连接的至少一个物联传感网络,所述物联传感网络包括物联关系数据库,所述物联关系数据库用于存储物联网数据包,所述数据处理云平台包括处理器和存储器,所述存储器存储有计算机程序,当所述处理器执行所述计算机程序时,执行以上所述的方法。
[0047] 第三方面,本申请实施例提供一种数据采集云平台,包括处理器和存储器,所述存储器存储有计算机程序,当所述处理器执行所述计算机程序时,执行以上所述的方法。
[0048] 本申请实施例提供的基于人工智能物联网的数据采集方法、系统及云平台,通过关系网描述向量和数据簇网结描述向量以获取各个第一数据簇网结的数据显著因子,涵盖更丰富的参考信息,获得的数据显著因子可以充分体现数据簇网结在物联数据关系网中的代表性,使得后续基于参考数据显著因子,对各个第一数据簇网结进行挑选的过程中,可以精确确定出具有代表性的数据簇网结,基于获取到的具有代表性的数据簇网结的数据簇网结描述向量和关系网描述向量对物联网数据包进行分析提炼,增加了数据归类的准确性且对于代表性差的数据簇网结不纳入分析范畴,使得整个存储归类流程的效率得到有效提升。
[0049] 在后面的描述中,将部分地陈述其他的特征。在检查后面内容和附图时,本领域的技术人员将部分地发现这些特征,或者可以通过生产或运用了解到这些特征。通过实践或使用后面所述详细示例中列出的方法、工具和组合的各个方面,当前申请中的特征可以被实现和获得。

附图说明

[0050] 为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
[0051] 图1是本申请实施例提供的一种基于人工智能物联网的数据采集方法的流程图。
[0052] 图2是本申请实施例提供的数据采集装置的功能模块架构示意图。
[0053] 图3是本申请实施例提供的一种数据采集云平台的组成示意图。

具体实施方式

[0054] 下面结合本申请实施例中的附图对本申请实施例进行描述。本申请实施例的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
[0055] 本申请实施例中基于人工智能物联网的数据采集方法的执行主体为数据采集云平台,包括但不限于网络服务器、多个网络服务器组成的服务器组或于云计算的由大量计算机或网络服务器构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中,数据采集云平台可单独运行来实现本申请,也可接入网络并通过与网络中的其他数据采集云平台的交互操作来实现本申请。其中,数据采集云平台所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等;该数据采集云平台与至少一个物联传感网络通信连接,物联传感网络包括物联关系数据库,物联关系数据库用于存储物联网数据包,物联传感网络通过分布设置在目标区域的传感器依据固定通讯协议感测并整理,然后将整理得到的物联网数据包存储在物联关系数据库然后发送至数据采集云平台,物联传感网络发送物联网数据包的方式可以是实时发送的,也可以是非实时发送的,例如定期(按照预设的周期发送)或定量(当数据量达到预设大小时发送)发送。物联网数据包中的数据可以是静态数据或者动态数据,可以是能源类数据(与能耗相关的,或者是计算能耗所需的相关数据)、资产属性类数据(硬件资产数据)、诊断类数据(设备运行过程中检测其运行状态的数据)和信号类数据,本申请实施例对物联网数据的类型不做限定。数据采集云平台和物联传感网络共同构成数据采集系统。
[0056] 本申请实施例提供了一种基于人工智能物联网的数据采集方法,该方法应用于数据采集云平台,如图1所示,该方法包括:
[0057] 步骤S100:当获取到物联传感网络上传的物联网数据包时,对物联网数据包进行解析,得到第一物联数据关系网,该第一物联数据关系网包括多个第一数据簇网结。
[0058] 本申请实施例中,物联传感网络上传的物联网数据包是需要进行分类存储的数据包,即需要对物联网数据包归属的类型进行确定,然后存储到同一类型数据的存储空间中,便于进行后续的数据处理,完成数据采集的过程。该物联网数据包包含多个数据簇,例如各个数据簇容纳的物联网数据是对应的传感器感测到的数据,各个数据簇组成该物联网数据包。各个数据簇构成的物联网数据包中,不同的数据簇对于整个物联网数据包的分类贡献是不同的,例如数据量占比,预设的数据要求满足情况等。
[0059] 步骤S200:获取第一物联数据关系网的第一关系网描述向量和第一物联数据关系网中多个第一数据簇网结的第一数据簇网结描述向量。
[0060] 第一物联数据关系网是基于多个第一数据簇网结之间的牵涉情况而建立的,例如,物联网数据包包括数据簇1 10,其中数据簇1包含的是A类传感器数据,数据簇2包含的~是B类传感器数据,数据簇3包含的是时序数据,数据簇4包含的是坐标数据……其中,数据簇1、数据簇2中数据的时间戳记载于数据簇3,坐标信息记载于数据簇4,数据簇1和数据簇
3、数据簇4之间是牵涉的(可以产生相关性的),数据簇2和数据簇3、数据簇4之间是牵涉的,数据簇1和数据簇2之间可以是牵涉的或不牵涉的。若两个数据簇之间牵涉,则将二者连接,换言之,数据簇对应的第一数据网结之间连接,最终得到第一物联数据关系网。第一数据簇网结为物联网数据包中的数据簇信息对应的网结,数据簇信息即指示数据簇为何数据簇的信息,例如可以是标签或数值。作为一种实施方式,若多个第一数据簇网结为物联网数据包中的所有数据簇信息对应的数据簇网结,换言之,多个第一数据簇网结是没有经过挑选的,那么第一物联数据关系网为原始物联数据关系网,若多个第一数据簇网结是物联网数据包中的部分数据簇信息对应的数据簇网结,换言之多个第一数据簇网结已经是经过了挑选获得的,那么第一物联数据关系网是挑选完成的物联数据关系网。本申请实施例中,第一关系网描述向量(体现特征的矢量表达)是用来描述第一物联数据关系网的,第一数据簇网结描述向量是描述数据簇信息对应的数据簇的,例如第一数据簇网结描述向量包括数据簇的信息内容、数据簇数据的属性。
[0061] 步骤S300:对第一关系网描述向量和多个第一数据簇网结描述向量进行处理,得到第一物联数据关系网中每个第一数据簇网结对应的数据显著因子。
[0062] 数据显著因子表征第一数据簇网结在第一物联数据关系网中的代表性信息,换言之,其指示了第一数据簇网结对应的数据簇信息在物联网数据包中的代表性信息,或者说重要性,数据显著因子可以通过数值的方式进行表达,数据簇信息在物联网数据包中的代表性信息和数据显著因子正相关,即数据显著因子越大,代表性信息越强,举例而言,设置在同一位域的多个传感器,核心传感器对于分析目的而言是最重要的,其产生的数据簇的代表性最高,那么其数据簇对应的显著因子越大。
[0063] 步骤S400:基于获取的多个数据显著因子,从多个第一数据簇网结中确定出多个第二数据簇网结。
[0064] 多个第二数据簇网结对应的数据显著因子大于其余的第一数据簇网结对应的数据显著因子。该步骤400中,对多个第一数据簇网结进行挑选,从中确定出对应的数据显著因子较大的(例如达到预设值的)多个第二数据簇网结,再基于挑选出的数据显著因子较大的第二数据簇网结进行处理,例如清理掉代表性差的信息,以此缩减需要处理的数据,凸显具有代表性的数据。
[0065] 步骤S500:对多个第二数据簇网结的第一数据簇网结描述向量和第二物联数据关系网的第二关系网描述向量进行抽取,得到物联网数据包的存储归类信息。
[0066] 第二物联数据关系网是基于多个第二数据簇网结之间的牵涉情况而建立得到的,可以对应理解,第二关系网描述向量可以描述第二物联数据关系网的特征,第二物联数据关系网是第一物联数据关系网的一部分,第二物联数据关系网中涵盖的多个第二数据簇网结和多个第二数据簇网结之间的牵涉情况,第二物联数据关系网中多个第二数据簇网结间的连接关系和这些第二数据簇网结在第一物联数据关系网中的连接关系是一致的。
[0067] 存储归类信息表示该物联网数据包需要存储到的存储空间对应的归类信息,通过预先设置的分类要素和分类条件,得到的存储归类信息不同。举例而言,事先设置的分类要素是按照区域划分的,那么根据物联网数据包中的数据簇信息对应的区域信息可以对采集区域进行分类,事先设置的分类要素是按照数值范围划分的,那么根据物联网数据包中的数据簇信息对应的数值区间对采集数值进行分类。
[0068] 以上步骤S100 S500,通过关系网描述向量和数据簇网结描述向量以获取各个第~一数据簇网结的数据显著因子,涵盖更丰富的参考信息,获得的数据显著因子可以充分体现数据簇网结在物联数据关系网中的代表性,使得后续基于参考数据显著因子,对各个第一数据簇网结进行挑选的过程中,可以精确确定出具有代表性的数据簇网结,基于获取到的具有代表性的数据簇网结的数据簇网结描述向量和关系网描述向量对物联网数据包进行分析提炼,增加了数据归类的准确性且对于代表性差的数据簇网结不纳入分析范畴,使得整个存储归类流程的效率得到有效提升。
[0069] 作为一种实施方式,数据处理云平台通过存储归类网络对物联网数据包进行存储归类,该存储归类网络可以任意可行的人工智能网络,例如深度学习神经网络,其具体可以包括数据加载模块、第一数据显著因子确定模块、第一网结选择模块和归类模块,其中,数据加载模块和第一数据显著因子确定模块相连,第一数据显著因子确定模块和第一网结选择模块相连,第一网结选择模块和归类模块相连。数据加载模块被配置为获取输入的关系网描述向量和数据簇网结描述向量,第一数据显著因子确定模块被配置为获取每个数据簇网结的数据显著因子,第一网结选择模块被配置为基于获取的数据显著因子确定出具有代表性的数据簇网结,归类模块被配置为基于确定的数据簇网结的数据簇网结描述向量以及对应的关系网描述向量来确定存储归类信息。
[0070] 作为一种实施方式,存储归类网络还包括第一线性变换模块、第二数据显著因子确定模块、第二网结选择模块和合并模块,其中,第一线性变换模块和第一网结选择模块和第二数据显著因子确定模块相连,第二数据显著因子确定模块和第二网结选择模块相连,第二网结选择模块和归类模块相连,合并模块和第一网结选择模块、第二网结选择模块和归类模块相连。第一线性变换模块被配置成对第一网结选择模块确定得到的具有代表性的数据簇网结的数据簇网结描述向量进行深度处理,线性变换模块的深度处理可以是进行卷积操作,第二数据显著因子确定模块被配置成获取确定得到的每个数据簇网结的数据显著因子,第二网结选择模块被配置成根据获取的数据显著因子,对确定得到的数据簇网结进行进一步筛选,合并模块被配置成对第一网结选择模块确定得到的数据簇网结的数据簇网结描述向量和第二网结选择模块再次确定得到的数据簇网结的数据簇网结描述向量相连。可以进行推理的是,在其他的实施例中,可以对数据簇进行更多次的过滤挑选,以得到增加丰富的信息。那么相应的数据显著因子确定模块和网结选择模块的数量变得更多,通过合并模块对更多的网结选择模块确定的数据簇网结的数据簇网结描述向量进行连接。
[0071] 作为一种实施方式,在第一数据显著因子确定模块前可以设置线性变换模块,对输入的数据簇网结描述向量和关系网描述向量进行卷积操作,第一数据显著因子确定模块依据卷积后的数据簇网结描述向量和关系网描述向量进行确定数据显著因子。
[0072] 基于上述网络架构,本申请实施例提供的基于人工智能物联网的数据采集方法可以包括:
[0073] 步骤S10:根据物联网数据包中的多个数据簇信息之间的牵涉情况建立第一物联数据关系网。
[0074] 以第一物联数据关系网是最先建立的物联数据关系网为例以阐述,本申请实施例中,基于物联网数据包中包含的多个数据簇信息建立对应的数据簇网结,然后基于多个数据簇信息之间的牵涉情况把各个数据簇网结进行连接,从而编织得到第一物联数据关系网,其中第一物联数据关系网中只包括数据簇网结单一类型的网结,此外,数据簇网结之间基于相同类型的牵涉情况连接,换言之,第一物联数据关系网中的连接关系是一致的连接关系,其中,随机的两个数据簇网结之间的牵涉情况取决于两个数据簇网结之间的牵涉程度向量,牵涉程度向量表征两个数据簇网结对应的数据簇间的相关度,例如上述步骤举例中数据簇1和数据簇2之间的相关度低,数据簇1和数据簇3之间的相关度高。
[0075] S20:获取第一物联数据关系网的第一关系网描述向量和第一物联数据关系网中多个第一数据簇网结的第一数据簇网结描述向量。
[0076] 第一关系网描述向量表征第一物联数据关系网中的多个数据簇网结及该多个数据簇网结之间的牵涉情况,第一关系网描述向量包括多个数据簇网结中随机的两个数据簇网结之间的相关度向量,第一数据簇网结描述向量包括数据簇的信息内容描述向量和数据簇数据的属性描述向量,数据簇的信息内容描述向量表征数据簇的数据表达含义,数据簇数据的属性描述向量表征数据簇的数据属性信息,如数据格式、数据大小,信息内容描述向量和数据簇数据的属性描述向量可以采用通用的特征提取方式进行特征向量的提取。
[0077] 作为一种实施方式,多个第一数据簇网结描述向量可以连接后形成矩阵,其中的纵横关系中内容代表第一数据簇网结的第一数据簇网结描述向量,同理,第一关系网描述向量也可以构成矩阵,其中的各个数值代表两个数据簇网结的牵涉情况。
[0078] S30:通过第一数据显著因子确定模块,对第一关系网描述向量和多个第一数据簇网结描述向量进行处理,得到第一物联数据关系网中每个第一数据簇网结对应的数据显著因子。
[0079] 第一数据显著因子确定模块可以是图神经网络构成的模块,获取数据显著因子的过程可以参照通用的局部输出函数(local output function)。
[0080] S40:通过第一网结选择模块,基于获取的多个数据显著因子从多个第一数据簇网结中确定出多个第二数据簇网结,基于多个第二数据簇网结之间的牵涉情况建立第二物联数据关系网。
[0081] 多个第二数据簇网结对应的数据显著因子大于其余所述第一数据簇网结对应的数据显著因子。作为一种实施方式,通过第一网结选择模块,将多个第一数据簇网结的数值统计结果乘以一个预设参数,获得参考数值统计结果,将多个第一数据簇网结的数据显著因子根据数值大小进行按次排布,确定出数值较大的多个参考数值统计结果个数据显著因子,将确定出的数据显著因子对应的第一数据簇网结确定为获得的多个第二数据簇网结,获得多个第二数据簇网结后,基于获得的多个第二数据簇网结间的牵涉情况建立第二物联数据关系网。
[0082] 基于数据显著因子大小的考量,可以对多个第二数据簇网结的第一数据簇网结描述向量进行修正,得到修正后的第一数据簇网结描述向量,例如将第二数据簇网结的第一数据簇网结描述向量与对应的数据显著因子进行乘运算,得到修正后的第一数据簇网结描述向量。
[0083] 以上过程是基于对数据簇网结执行多次挑选来阐述的,若对数据簇网结只挑选一次,那么确定出多个第二数据簇网结后可以直接基于多个第二数据簇网结的数据簇网结描述向量和建立第二物联数据关系网的第二关系网描述向量,获得物联网数据包的存储归类信息。
[0084] S50:通过第一线性变换模块,基于第二关系网描述向量,对多个第二数据簇网结的第一数据簇网结描述向量进行修正,得到多个第二数据簇网结的第二数据簇网结描述向量。
[0085] 第二数据簇网结描述向量可以通过将几个矩阵相乘,即将第二关系网描述向量、第二数据簇网结的第一数据簇网结描述向量和第一线性变换模块的参数相乘。
[0086] S60:通过第二数据显著因子确定模块对第二关系网描述向量和多个第二数据簇网结描述向量进行处理,得到第二物联数据关系网中每个第二数据簇网结的数据显著因子。
[0087] S70:通过第二网结选择模块,基于获取的多个数据显著因子,从多个第二数据簇网结中确定出多个第三数据簇网结,根据多个第三数据簇网结之间的牵涉情况建立第三物联数据关系网。
[0088] S80:通过归类模块对多个第二数据簇网结的第一数据簇网结描述向量、第二关系网描述向量、多个第三数据簇网结的第二数据簇网结描述向量和第三物联数据关系网的第三关系网描述向量进行抽取,得到物联网数据包的存储归类信息。
[0089] 作为一种实施方式,基于缩减归类模块处理数据的压力的考量,可以先对多个第二数据簇网结的第一数据簇网结描述向量和第二关系网描述向量进行拼接,得到第一合并描述向量,对多个第三数据簇网结的第二数据簇网结描述向量和第三关系网描述向量进行拼接,得到第二合并描述向量;通过归类模块,对第一合并描述向量和第二合并描述向量进行抽取,得到物联网数据包的存储归类信息。
[0090] 作为一种实施方式,基于第二数据簇网结的数值统计结果,对多个第二数据簇网结的第一数据簇网结描述向量和第二关系网描述向量进行均值计算,得到多个第二数据簇网结对应的数据簇网结均值描述向量,将数据簇网结均值描述向量与多个第二数据簇网结的第一数据簇网结描述向量中最大的数据簇网结描述向量相连,得到第一合并描述向量。对于第三数据簇网结的第二数据簇网结描述向量和第三关系网描述向量,根据第三数据簇网结的数值统计结果,对多个第三数据簇网结的第二数据簇网结描述向量和第三关系网描述向量进行均值计算,获得多个第三数据簇网结对应的数据簇网结均值描述向量,将数据簇网结均值描述向量与多个第三数据簇网结的第二数据簇网结描述向量中的最大数据簇网结描述向量相连,得到第二合并描述向量。
[0091] 作为一种实施方式,对第一合并描述向量和第二合并描述向量相连,得到物联网数据包对应的合并描述向量,对该合并描述向量进行抽取,得到物联网数据包对应的存储归类信息。其中,合并描述向量即为表示物联网数据包的特征。
[0092] 作为一种实施方式,存储归类网络还包括第一拼接模块、第二拼接模块和合并模块,通过第一拼接模块对多个第二数据簇网结的第一数据簇网结描述向量和第二关系网描述向量进行拼接,得到第一合并描述向量,通过第二拼接模块,对多个第三数据簇网结的第二数据簇网结描述向量和第三关系网描述向量进行拼接,得到第二合并描述向量,通过合并模块对第一合并描述向量和第二合并描述向量相连,得到物联网数据包对应的合并描述向量;通过归类模块,对合并描述向量进行抽取,得到物联网数据包的存储归类信息。
[0093] 本申请实施例提供的基于人工智能物联网的数据采集方法,通过关系网描述向量和数据簇网结描述向量以获取各个第一数据簇网结的数据显著因子,涵盖更丰富的参考信息,获得的数据显著因子可以充分体现数据簇网结在物联数据关系网中的代表性,使得后续基于参考数据显著因子,对各个第一数据簇网结进行挑选的过程中,可以精确确定出具有代表性的数据簇网结,基于获取到的具有代表性的数据簇网结的数据簇网结描述向量和关系网描述向量对物联网数据包进行分析提炼,增加了数据归类的准确性且对于代表性差的数据簇网结不纳入分析范畴,使得整个存储归类流程的效率得到有效提升。此外,对数据簇网结执行多次选取,获得了不同层级的数据簇网结描述向量和关系网描述向量,对物联网数据包进行分析时,兼顾了不同层级的数据簇网结描述向量和关系网描述向量,使得分类的准确度得到更进一步提升。
[0094] 作为一种实施方式,本申请实施例还提供存储归类网络的调试过程。
[0095] 该存储归类网络的调试过程包括以下步骤:获取物联网训练数据包的训练存储归类信息、训练物联数据关系网的训练关系网描述向量和训练物联数据关系网中多个训练数据簇网结的训练数据簇网结描述向量;通过存储归类网络,对训练关系网描述向量和多个训练数据簇网结的训练数据簇网结描述向量进行抽取,得到物联网训练数据包的推理存储归类信息,基于训练存储归类信息和推理存储归类信息之间的损失,调试存储归类网络的网络参数直至达到预设条件,得到调试完成的存储归类网络。其中,训练数据簇网结为训练数据簇信息对应的网结,训练物联数据关系网为基于物联网训练数据包中的多个训练数据簇信息之间的牵涉情况而建立,预设条件可以是调试的轮次达到了预设的次数或者网络的推理精度达到了预设的精度。
[0096] 为了提高网络的推理精度,在通过存储归类网络分析出物联网数据包的存储归类信息后,可以依据该物联网数据包对存储归类网络进行进一步调试。
[0097] 作为一种实施方式,在对物联网数据包进行存储归类之后,还可以包括对物联网数据进行完整性与正确性验证的过程,即对物联网数据进行清洗的过程,其包括以下步骤:
[0098] 步骤S600:获取多个待清洗物联网数据集的知识字段,并将每个待清洗物联网数据集的知识字段确定为一个连接端子。
[0099] 待清洗物联网数据集可以是经过分类之后物联网数据组成的集合,可以将多个待清洗物联网数据集作为一个整体待清洗物联网数据集加载到事先调试好的卷积神经网络中,进行对每个待清洗物联网数据集的知识字段的获取,知识字段用以表示物联网数据集的特征信息。
[0100] 步骤S700:将每个连接端子与相邻的连接端子相连。
[0101] 连接端子的相邻连接端子可以基于连接端子之间的共性度量结果(表征二者的相似程度)来获得,例如计算二者之间的向量距离,距离越近,共性度量结果越高。例如计算向量间的余弦距离。作为一种实施方式,对于每个连接端子,获取与连接端子的共性度量结果最大的M个连接端子作为连接端子的相邻连接端子,M的选择取决于需要归类的数据量,每个连接端子都和对应的相邻连接端子相连,则获得多个连接线,其中一个连接线连接两个连接端子。
[0102] 步骤S800:获取连接端子与相邻连接端子为相同归类信息的概率。
[0103] 在本申请实施例中,概率是指连接端子隶属一个目标归类信息的可能性,评估连接端子和相近区域之间是否足够相近,同时为相同的归类信息,相近区域表示每个连接端子的相邻连接端子所产生的区域。例如,概率大的连接端子确定有其他连接端子和其为相同归类信息,换言之,概率大的连接端子对于其自身为一归类信息的可能性大,反之概率小的连接端子无法确定是否有连接端子和其为相同归类信息,换言之,概率小的连接端子对于其自身为一目标归类信息的可能性小。
[0104] 作为一种实施方式,连接端子与相邻连接端子为相同归类信息的概率为第一共性度量结果与第二共性度量结果的差,第一共性度量结果是连接端子的相邻连接端子与连接端子为相同归类信息的共性度量结果之和,第二共性度量结果为连接端子的相邻连接端子与连接端子为不同归类信息的共性度量结果之和。对于不能确定归类信息的连接端子,可以基于实现调试完成的概率推理网络以推理连接端子的概率。
[0105] 步骤S900:基于所连接的两个连接端子为相同归类信息的可能性确定连接端子与每个相邻连接端子之间的连接线的关联程度。
[0106] 具有强关联程度的连接线,则反映出连接的两个连接端子为相同归类信息的可能性大,将连接的两个连接端子为相同归类信息的可能性为1的连接线的关联程度设为1,反之将连接的两个连接端子为相同归类信息的可能性为0的连接线的关联程度设为0,两个不能确定归类信息的连接端子之间的连接线的关联程度的可能性为0 1,通过事先调试完成~的关联推理网络来推理连接线的关联程度。
[0107] 步骤S1000:基于各个连接端子的概率和各个连接线的关联程度,对和多个待清洗物联网数据集相互映射的多个连接端子采取归类处理,获得多个待清洗物联网数据集的归类簇。
[0108] 对于确定连接端子的概率和连接线的关联程度的相邻数据集,可以通过预设的归类算法对多个连接端子相应的多个待清洗物联网数据集进行归类(即聚类)。
[0109] 作为一种实施方式,可以获取连接端子合目标相邻连接端子间的连接线,相邻连接端子包含目标相邻连接端子,此外,目标相邻连接端子的概率大于连接端子且目标相邻连接端子与连接端子之间的连接线包含最大关联程度。换言之,对于每个连接端子,获取的连接线是概率大于连接端子的相邻连接端子与连接端子之间产生的,连接线在全部相邻连接端子与连接端子所产生的连接线中包含最大关联程度。基于连接端子和目标相邻连接端子之间的连接线产生的贯通区间,对连接端子对应的待清洗物联网数据集进行归类,得到至少一个连接端子归类集合,换言之获得至少一个簇。每个贯通区间代表一个归类信息,或者说每个连接端子归类集合对应于一个归类信息,基于至少一个连接端子归类集合,可以获得多个待清洗物联网数据集的归类簇。
[0110] 步骤S1100:将游离在各个归类簇之外的物联网数据进行清洗。
[0111] 各个归类簇之外的物联网数据即归类簇之间的孤点,即物联网数据噪声,进行清除后即完成数据的清洗。
[0112] 本申请实施例中,采用将多个待清洗物联网数据集的知识字段作为连接端子,将每个连接端子和相邻连接端子相连获得多个连接线,基于确定连接端子的概率和连接线的关联程度,对连接端子对应的多个待清洗物联网数据集进行归类,将归类过程变更为对连接端子的概率和连接线的关联程度推理的过程,提升了归类的效率和精确性。
[0113] 作为一种实施方式,通过预设的概率推理网络推理各个连接端子的概率,先基于连接端子对应的知识字段获得多个连接端子对应的知识字段矩阵,然后基于每两个连接端子之间的共性度量结果,获得共性度量结果矩阵,再将知识字段矩阵和共性度量结果矩阵加载到预先调试的概率推理网络,得到连接端子与相邻连接端子为相同归类信息的概率,其中,概率推理网络可以为图神经网络。
[0114] 作为一种实施方式,可以通过物联网训练数据集对概率推理网络进行调试,其中,物联网训练数据集中的每个物联网训练数据子集标注有归类信息(即类型)。
[0115] 对于物联网训练数据集,获取每个物联网训练数据子集所对应的概率,可参考前述内容,对于物联网训练数据集,获取每个物联网训练数据子集的知识字段,以每个物联网训练数据子集的知识字段作为一个训练连接端子,对于每个训练连接端子,确定训练连接端子与相邻连接端子为相同归类信息的概率并对训练连接端子标注概率。然后基于训练连接端子对应的知识字段获得多个训练连接端子对应的训练知识字段矩阵。
[0116] 基于每两个训练连接端子之间的共性度量结果,获得训练共性度量结果矩阵,将训练知识字段矩阵和训练共性度量结果矩阵加载到概率推理网络中,推理获得各个训练连接端子的概率。基于对各个训练连接端子推理得到的概率和标注的概率之间的损失调节该概率推理网络的网络参数直至满足预设条件,如模型收敛或达到调试次数。
[0117] 作为一种实施方式,通过预先调试完成的关联推理网络来推理每个连接端子与其各个相邻连接端子间的连接线关联程度。对于每个连接端子确定备选集合,备选集合包括连接端子的相邻连接端子中,概率大于连接端子的相邻连接端子。相近区域中的相邻连接端子的概率大于连接端子的概率,代表相邻连接端子更倾向于为一个目标归类信息,为将连接端子划分到特征归类信息,可以将连接端子连接到概率比其高的相邻连接端子,针对连接端子确定备选集合,但是被选中的相邻连接端子与连接端子可能不为相同的归类信息,那么就需要引入连接线的关联程度的考虑。然后,将备选集合加载到事先调试完成的关联推理网络,关联推理网络输出连接端子与备选集合中每个最相邻连接端子间的连接线的关联程度。
[0118] 关联推理网络与概率推理网络可以具备相近的架构,但是概率推理网络未对整体相邻数据集进行处理,关联推理网络为对由备选集合组建的子相邻数据集进行处理,关联推理网络对于备选集合中的每个相邻连接端子产出,代表相邻连接端子和连接端子为同一归类信息的概率。
[0119] 作为一种实施方式,可以通过物联网训练数据集对关联推理网络进行调试,其中,物联网训练数据集中的每个物联网训练数据子集标注有归类信息。获取每个物联网训练数据子集的知识字段,并以每个物联网训练数据子集的知识字段作为一个训练连接端子,然后对于每个训练连接端子获取训练备选集合,备选集合包括训练连接端子的相邻连接端子中,概率大于连接端子的相邻连接端子。然后将训练连接端子与备选集合中的每个相邻连接端子相连,得到训练连接线,基于训练连接端子的归类信息以及相邻连接端子的归类信息,确定训练连接线的关联程度,并对训练连接线标注,当训练连接端子和相邻连接端子的归类信息一致时,将两者间的连接线的关联程度确定为1,当训练连接端子和相邻连接端子的归类信息不一致时,将两者间的关联程度确定为0;再将备选集合加载到关联推理网络,推理获得各个连接线的关联程度,基于对各个训练连接线推理的关联程度和标注的关联程度之间的损失调节关联推理网络的网络参数直到达到预设条件,得到调试后的关联推理网络。
[0120] 基于与图1中所示方法相同的原理,本申请实施例中还提供了一种数据采集装置10,如图2所示,该装置10包括:
[0121] 解析模块11,用于当获取到所述物联传感网络上传的物联网数据包时,对所述物联网数据包进行解析,得到第一物联数据关系网,所述第一物联数据关系网包括多个第一数据簇网结。
[0122] 挖掘模块12,用于获取所述第一物联数据关系网的第一关系网描述向量和所述第一物联数据关系网中多个第一数据簇网结的第一数据簇网结描述向量。其中,所述第一数据簇网结为所述物联网数据包中的数据簇信息对应的网结,所述第一物联数据关系网为基于所述多个第一数据簇网结之间的牵涉情况而建立。
[0123] 数据显著因子确定模块13,用于对所述第一关系网描述向量和所述多个第一数据簇网结描述向量进行处理,确定所述第一物联数据关系网中每个第一数据簇网结对应的数据显著因子。其中,所述数据显著因子表征所述第一数据簇网结在所述第一物联数据关系网中的代表性信息。
[0124] 筛选模块14,用于基于获取的多个数据显著因子,在所述多个第一数据簇网结中确定出多个第二数据簇网结,所述多个第二数据簇网结对应的数据显著因子大于其余所述第一数据簇网结对应的数据显著因子。
[0125] 存储归类模块15,对所述多个第二数据簇网结的第一数据簇网结描述向量和第二物联数据关系网的第二关系网描述向量进行抽取,确定所述物联网数据包的存储归类信息。其中,所述第二物联数据关系网为基于所述多个第二数据簇网结之间的牵涉情况而建立。
[0126] 上述实施例从虚拟模块的角度介绍了数据采集装置10,下述从实体模块的角度介绍一种数据采集云平台,具体如下所示:
[0127] 本申请实施例提供了一种数据采集云平台,如图3所示,数据采集云平台100包括:处理器101和存储器103。其中,处理器101和存储器103相连,如通过总线102相连。可选地,数据采集云平台100还可以包括收发器104。需要说明的是,实际应用中收发器104不限于一个,该数据采集云平台100的结构并不构成对本申请实施例的限定。
[0128] 处理器101可以是CPU,通用处理器,GPU,DSP,ASIC,FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器101也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
[0129] 总线102可包括一通路,在上述组件之间传送信息。总线102可以是PCI总线或EISA总线等。总线102可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
[0130] 存储器103可以是ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM、CD‑ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
[0131] 存储器103用于存储执行本申请方案的应用程序代码,并由处理器101来控制执行。处理器101用于执行存储器103中存储的应用程序代码,以实现前述任一方法实施例所示的内容。
[0132] 本申请实施例提供了一种数据采集云平台,本申请实施例中的数据采集云平台包括:一个或多个处理器;存储器;一个或多个计算机程序,其中一个或多个计算机程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序被处理器执行时,执行上述基于人工智能物联网的数据采集方法。本申请所提供的技术方案,通过关系网描述向量和数据簇网结描述向量以获取各个第一数据簇网结的数据显著因子,涵盖更丰富的参考信息,获得的数据显著因子可以充分体现数据簇网结在物联数据关系网中的代表性,使得后续基于参考数据显著因子,对各个第一数据簇网结进行挑选的过程中,可以精确确定出具有代表性的数据簇网结,基于获取到的具有代表性的数据簇网结的数据簇网结描述向量和关系网描述向量对物联网数据包进行分析提炼,增加了数据归类的准确性且对于代表性差的数据簇网结不纳入分析范畴,使得整个存储归类流程的效率得到有效提升。
[0133] 本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,当计算机程序在处理器上运行时,使得处理器可以执行前述方法实施例中相应的内容。
[0134] 应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0135] 以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。