一种基于多源异构数据治理的工业大数据分析平台和方法转让专利
申请号 : CN202011289251.8
文献号 : CN112288317B
文献日 : 2021-06-15
发明人 : 金震 , 王兆君 , 李明 , 曹朝辉
申请人 : 北京三维天地科技股份有限公司
摘要 :
权利要求 :
1.一种基于多源异构数据治理的工业大数据分析系统,其特征在于,所述工业大数据分析系统包括海量异构工业数据采集系统、工业数据处理系统、工业数据存储系统、工业数据模型分析系统和工业数据多维分析系统;
所述海量异构工业数据采集系统,用于采集生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS、研发管理系统和营销数据系统中的数据信息;
所述工业数据处理系统,用于对所述海量异构工业数据采集系统获取的数据进行管理,并将复杂数据进行智能拆分、数据清洗、数据关联、智能匹配和属性筛选处理;
所述工业数据存储系统,用于对PB级多维度产品工业数据矩阵进行存储,并对存储的数据进行安全防护;
所述工业数据模型分析系统,用于通过机器自学习模型采用回归分析、聚类分析和关联分析方法对所述工业数据存储系统存储的数据进行数据分析,获得针对工业生产过程的预警预测信息数据、问题分析数据、关联分析数据、价值分析数据和能力分析数据;
所述工业数据多维分析系统,用于针对所述工业数据存储系统存储的数据分别进行关键指标预警预测分析、问题管理关联分析和研发生产能力分析,并获得对应的分析结果;
所述工业数据存储系中包括安全防护模块;
所述安全保护模块包括:
第一存储标识生成模块,用于针对存储数据生成存储数据包,并通过如下公式针对所述存储数据包生成第一存储标识;
其中,α表示第一存储标识,n表示当前所述工业数据存储系统进行数据存储的存储次数;T1表示存储数据输入至所述工业数据存储系统中进行存储的存储起始时间点;T2表示所述工业数据存储系统完成数据存储的存储完成时间点;Ti表示第i次进行数据存储所用的时间长度;Gi表示所述工业数据存储系统进行第i次数据存储时的数据存储量;Gi‑1表示所述的工业数据存储系统进行第i‑1次数据存储时的数据存储量;Gi‑2表示所述工业数据存储系统进行第i‑2次数据存储时的数据存储量;
第二存储标识生成模块,用于针对存储数据生成存储数据包,并通过如下公式针对所述存储数据包生成第二存储标识;
其中,β表示第二存储标识;n表示当前所述工业数据存储系统进行数据存储的存储次数;T1表示存储数据输入至所述工业数据存储系统中进行存储的存储起始时间点;T2表示所述工业数据存储系统完成数据存储的存储完成时间点;Ti表示第i次进行数据存储所用的时间长度;Gi表示所述工业数据存储系统进行第i次数据存储时的数据存储量;Gi‑1表示所述工业数据存储系统进行第i‑1次数据存储时的数据存储量;Gi‑2表示所述工业数据存储系统进行第i‑2次数据存储时的数据存储量;
关联模块,用于将第一存储标识码和第二存储标识码进行关联,将所述第二存储标识码进行加密获得对应密文,将所述对应密文发送至已与所述工业数据存储系统建立存储数据调取连接的所述工业大数据系统中的各节点设备上;
密文发送模块,用于当所述节点设备需要向所述工业数据存储系统调取数据时,将所述对应密文发送至所述的工业数据存储系统中;
调取模块,用于所述工业数据存储系统对所述对应密文进行解密,获得第二存储标识码,通过所述第二存储标识码与第一存储标识码之间的联接关系确定所述节点设备需要调取的存储数据,并将所述存储数据发送至所述节点设备上。
2.根据权利要求1所述工业大数据分析系统,其特征在于,所述海量异构工业数据采集系统包括:
生产追溯管控系统采集模块,用于采集生产追溯管控系统产生的数据信息;
生产执行系统MES采集模块,用于采集生产执行系统MES产生的数据信息;
实验室信息管理系统LIMS采集模块,用于采集实验室信息管理系统LIMS产生的数据信息;
设备资产管理系统EAM采集模块,用于采集设备资产管理系统EAM产生的数据信息;
仓库管理系统WMS采集模块,用于采集仓库管理系统WMS产生的数据信息;
研发管理系统采集模块,用于采集研发管理系统产生的数据信息;
营销数据采集模块,用于采集营销数据系统产生的营销数据信息。
3.根据权利要求1所述工业大数据分析系统,其特征在于,所述工业数据存储系统包括:
离线数据存储及处理模块,用于对离线数据进行数据存储和处理;
对外服务数据存储,用于针对对外服务数据存储模块进行数据存储和处理;
实时数据处理模块,用于利用Storm工具和Spark工具对所述工业数据处理系统输入的数据进行实时处理;
安全防护模块,用于针对已存储完成的数据进行安全防护。
4.根据权利要求1所述工业大数据分析系统,其特征在于,所述工业数据多维分析系统包括:
关键指标预警预测模块,用于对所述工业数据存储系统存储的数据进行对应的规则设置、实时监控和预警报警处理,并对工业数据存储系统存储的数据进行分析获得关键指标预警预测分析结果;
问题管理关联分析模块,用于对所述工业数据存储系统存储的数据进行问题分析和风险识别处理,获取问题管理关联分析结果;
研发生产能力分析监控模块,用于通过所述工业数据存储系统存储的数据,对生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS和研发管理系统进行技术能力分析、管理能力分析、标准核查、指标稳定性分析和质量成本分析,并获得研发生产能力分析结果;
可视化展示模块,用于将所述关键指标预警预测分析结果、问题管理关联分析结果和研发生产能力分析结果通过图形方式进行可视化展示。
5.一种基于多源异构数据治理的工业大数据分析方法,其特征在于,所述方法包括:采集生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS、研发管理系统和营销数据系统中的数据信息;
对海量异构工业数据采集系统获取的数据进行管理,并将复杂数据进行智能拆分、数据清洗、数据关联、智能匹配和属性筛选处理;
对PB级多维度产品工业数据矩阵进行存储,并对存储的数据进行安全防护;
通过机器自学习模型采用回归分析、聚类分析和关联分析方法对工业数据存储系统存储的数据进行数据分析,获得针对工业生产过程的预警预测信息数据、问题分析数据、关联分析数据、价值分析数据和能力分析数据;
针对所述工业数据存储系统存储的数据分别进行关键指标预警预测分析、问题管理关联分析和研发生产能力分析,并获得对应的分析结果;
所述工业数据存储系中包括安全防护模块;
所述安全保护模块包括:
第一存储标识生成模块,用于针对存储数据生成存储数据包,并通过如下公式针对所述存储数据包生成第一存储标识;
其中,α表示第一存储标识,n表示当前所述工业数据存储系统进行数据存储的存储次数;T1表示存储数据输入至所述工业数据存储系统中进行存储的存储起始时间点;T2表示所述工业数据存储系统完成数据存储的存储完成时间点;Ti表示第i次进行数据存储所用的时间长度;Gi表示所述工业数据存储系统进行第i次数据存储时的数据存储量;Gi‑1表示所述的工业数据存储系统进行第i‑1次数据存储时的数据存储量;Gi‑2表示所述工业数据存储系统进行第i‑2次数据存储时的数据存储量;
第二存储标识生成模块,用于针对存储数据生成存储数据包,并通过如下公式针对所述存储数据包生成第二存储标识;
其中,β表示第二存储标识;n表示当前所述工业数据存储系统进行数据存储的存储次数;T1表示存储数据输入至所述工业数据存储系统中进行存储的存储起始时间点;T2表示所述工业数据存储系统完成数据存储的存储完成时间点;Ti表示第i次进行数据存储所用的时间长度;Gi表示所述工业数据存储系统进行第i次数据存储时的数据存储量;Gi‑1表示所述工业数据存储系统进行第i‑1次数据存储时的数据存储量;Gi‑2表示所述工业数据存储系统进行第i‑2次数据存储时的数据存储量;
关联模块,用于将第一存储标识码和第二存储标识码进行关联,将所述第二存储标识码进行加密获得对应密文,将所述对应密文发送至已与所述工业数据存储系统建立存储数据调取连接的所述工业大数据系统中的各节点设备上;
密文发送模块,用于当所述节点设备需要向所述工业数据存储系统调取数据时,将所述对应密文发送至所述的工业数据存储系统中;
调取模块,用于所述工业数据存储系统对所述对应密文进行解密,获得第二存储标识码,通过所述第二存储标识码与第一存储标识码之间的联接关系确定所述节点设备需要调取的存储数据,并将所述存储数据发送至所述节点设备上。
6.根据权利要求5所述方法,其特征在于,所述采集生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS、研发管理系统和营销数据系统中的数据信息,包括:采集生产追溯管控系统产生的数据信息;
采集生产执行系统MES产生的数据信息;
实验室信息管理系统LIMS采集模块,用于采集实验室信息管理系统LIMS产生的数据信息;
采集设备资产管理系统EAM产生的数据信息;
采集仓库管理系统WMS产生的数据信息;
采集研发管理系统产生的数据信息;
采集研发管理系统产生的数据信息;
采集营销数据系统产生的营销数据信息。
7.根据权利要求5所述方法,其特征在于,所述对PB级多维度产品工业数据矩阵进行存储,并对存储的数据进行安全防护,包括:对离线数据进行数据存储和处理;
针对对外服务数据存储模块进行数据存储和处理;
利用Storm工具和Spark工具对所述工业数据处理系统输入的数据进行实时处理;
针对已存储完成的数据进行安全防护。
8.根据权利要求5所述方法,其特征在于,针对所述工业数据存储系统存储的数据分别进行关键指标预警预测分析、问题管理关联分析和研发生产能力分析,并获得对应的分析结果,包括:
对所述工业数据存储系统存储的数据进行对应的规则设置、实时监控和预警报警处理,并对工业数据存储系统存储的数据进行分析获得关键指标预警预测分析结果;
对所述工业数据存储系统存储的数据进行问题分析和风险识别处理,获取问题管理关联分析结果;
通过所述工业数据存储系统存储的数据,对生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS和研发管理系统进行技术能力分析、管理能力分析、标准核查、指标稳定性分析和质量成本分析,并获得研发生产能力分析结果;
将所述关键指标预警预测分析结果、问题管理关联分析结果和研发生产能力分析结果通过图形方式进行可视化展示。
说明书 :
一种基于多源异构数据治理的工业大数据分析平台和方法
技术领域
背景技术
的工业大数据的处理系统或平台存在无法通过数据分析为管理决策提供充分支撑,以及大
数据分析的应用场景把握不准确,难以分析出应用场景与各种历史数据之间的关联关系的
问题。
发明内容
景把握不准确,难以分析出应用场景与各种历史数据之间的关联关系的问题:
系统、工业数据模型分析系统和工业数据多维分析系统;
营销数据系统中的数据信息;
业生产过程的预警预测信息数据、问题分析数据、关联分析数据、价值分析数据和能力分析
数据;
的分析结果。
储起始时间点;T2表示所述超大规模工业数据存储系统完成数据存储的存储完成时间点;Ti
表示第i次进行数据存储所用的时间长度;Gi表示所述超大规模工业数据存储系统进行第i
次数据存储时的数据存储量;Gi‑1表示所述超大规模工业数据存储系统进行第i‑1次数据存
储时的数据存储量;Gi‑2表示所述超大规模工业数据存储系统进行第i‑2次数据存储时的数
据存储量;
储起始时间点;T2表示所述超大规模工业数据存储系统完成数据存储的存储完成时间点;Ti
表示第i次进行数据存储所用的时间长度;Gi表示所述超大规模工业数据存储系统进行第i
次数据存储时的数据存储量;Gi‑1表示所述超大规模工业数据存储系统进行第i‑1次数据存
储时的数据存储量;Gi‑2表示所述超大规模工业数据存储系统进行第i‑2次数据存储时的数
据存储量;
统建立存储数据调取连接的所述工业大数据分析平台中的各节点设备上;
点设备需要调取的存储数据,并将所述存储数据发送至所述节点设备上。
进行分析获得关键指标预警预测分析结果;
EAM、仓库管理系统WMS和研发管理系统进行技术能力分析、管理能力分析、标准核查、指标
稳定性分析和质量成本分析,并获得研发生产能力分析结果;
问题分析数据、关联分析数据、价值分析数据和能力分析数据;
息,包括:
储起始时间点;T2表示所述超大规模工业数据存储系统完成数据存储的存储完成时间点;Ti
表示第i次进行数据存储所用的时间长度;Gi表示所述超大规模工业数据存储系统进行第i
次数据存储时的数据存储量;Gi‑1表示所述超大规模工业数据存储系统进行第i‑1次数据存
储时的数据存储量;Gi‑2表示所述超大规模工业数据存储系统进行第i‑2次数据存储时的数
据存储量;
储起始时间点;T2表示所述超大规模工业数据存储系统完成数据存储的存储完成时间点;Ti
表示第i次进行数据存储所用的时间长度;Gi表示所述超大规模工业数据存储系统进行第i
次数据存储时的数据存储量;Gi‑1表示所述超大规模工业数据存储系统进行第i‑1次数据存
储时的数据存储量;Gi‑2表示所述超大规模工业数据存储系统进行第i‑2次数据存储时的数
据存储量;
调取连接的所述工业大数据分析平台中的各节点设备上;
取的存储数据,并将所述存储数据发送至所述节点设备上。
测分析结果;
理系统进行技术能力分析、管理能力分析、标准核查、指标稳定性分析和质量成本分析,并
获得研发生产能力分析结果;
大数据分析平台通过分析分析数据关系,全面分析多种业务场景,提供结合企业业务提供
多种业务场景的应用,准确把握数据之间的关联关系,提高对管理决策的支撑能力。
附图说明
具体实施方式
模工业数据存储系统、工业数据模型分析系统和工业数据多维分析系统;
营销数据系统中的数据信息;
业生产过程的预警预测信息数据、问题分析数据、关联分析数据、价值分析数据和能力分析
数据;
的分析结果。
进行分析获得关键指标预警预测分析结果;
EAM、仓库管理系统WMS和研发管理系统进行技术能力分析、管理能力分析、标准核查、指标
稳定性分析和质量成本分析,并获得研发生产能力分析结果;
挖掘工具、流式堆式多维数据基础平台和先进的自然语言处理技术,可以对相似度接近的
数据进行列举,计算出相似度数值。面向多种类型的数据源,采集生产追溯管理系统、生产
执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS、研发管
理系统、营销数据等。数据接入过程采用实时数据接入、数据库接入、文本接入、互联网数据
接入、第三方匹配数据补充等多种方式。
冗余、缺失、冲突等问题。确保工业数据可共享性、高质量、一致性,确保工业大数据分析的
精准和高效。工业数据处理系统,通过对元数据进行管理,将复杂的信息进行智能拆解,通
过数据标准化,对数据进行清洗,通过数据质量控制平台实现清洗的自动化。采用的技术有
智能拆解、数据关联、智能匹配、语义识别、属性筛选等。
术方案,为用户提供安全响应与分析能力的同时节省存储资源。实现工业数据的安全、可靠
存储,为工业大数据分析平台建立和运行提供环境保障。超大规模工业数据存储系统能从
应用、用户、内容、时间、威胁、位置六个维度实现一体化网络安全防护。
法,对工业数据进行分析。分析方法包括预警预测、问题分析、关联分析、价值分析、能力分
析、检验能力等多方面。
的不同、对某类指标限量要求的变化趋势,不仅仅以表格形式进行展示,还可以把差异以
图、表和趋势线等形式进行可视化呈现。展示形式多种多样,有动态表格,还可以对表格进
行旋转、切片、向上钻取、向下钻取,同时辅以仪表盘、柱状图、饼状图、GIS地图、散点图等多
种图形方式,进行多种方式可视化展示,为使用者从多个维度进行多方面分析,能够有效地
展示出复杂数据中蕴含的最有价值的信息。
析多种业务场景,提供结合企业业务提供多种业务场景的应用,准确把握数据之间的关联
关系,提高对管理决策的支撑能力。
储起始时间点;T2表示所述超大规模工业数据存储系统完成数据存储的存储完成时间点;Ti
表示第i次进行数据存储所用的时间长度;Gi表示所述超大规模工业数据存储系统进行第i
次数据存储时的数据存储量;Gi‑1表示所述超大规模工业数据存储系统进行第i‑1次数据存
储时的数据存储量;Gi‑2表示所述超大规模工业数据存储系统进行第i‑2次数据存储时的数
据存储量;
储起始时间点;T2表示所述超大规模工业数据存储系统完成数据存储的存储完成时间点;Ti
表示第i次进行数据存储所用的时间长度;Gi表示所述超大规模工业数据存储系统进行第i
次数据存储时的数据存储量;Gi‑1表示所述超大规模工业数据存储系统进行第i‑1次数据存
储时的数据存储量;Gi‑2表示所述超大规模工业数据存储系统进行第i‑2次数据存储时的数
据存储量;
统建立存储数据调取连接的所述工业大数据分析平台中的各节点设备上;
点设备需要调取的存储数据,并将所述存储数据发送至所述节点设备上。
块针对存储数据生成存储数据包,针对所述存储数据包生成第二存储标识;随后,通过关联
模块将第一存储标识码和第二存储标识码进行关联,将所述第二存储标识码进行加密获得
对应密文,将所述对应密文发送至已与所述超大规模工业数据存储系统建立存储数据调取
连接的所述工业大数据分析平台中的各节点设备上;之后,采用密文发送模块在所述节点
设备需要向所述超大规模工业数据存储系统调取数据时,将所述对应密文发送至所述超大
规模工业数据存储系统中;最后,通过调取模块控制所述超大规模工业数据存储系统对所
述对应密文进行解密,获得第二存储标识码,通过所述第二存储标识码与第一存储标识码
之间的联接关系确定所述节点设备需要调取的存储数据,并将所述存储数据发送至所述节
点设备上。
通过传输加密的第二存储标识码的方式进行数据调取,代替传统数据调用发送的数据情
况,能够有效提高数据传输的隐秘性,防止第三方通过数据传输请求获取系统中各设备节
点的数据传输历史记录,使恶意第三方无法从数据发送请求中和获取平台系统的各网络节
点设备进行数据传输的数据类型、数据关键字等信息,进而防止恶意第三方对数据窃取目
标的锁定,进一步提高了数据安全防护性能。同时,通过上述公式获取的第一标识码和第二
标识码能够有效提高标识码的唯一性和随机性,有效防止恶意第三方对标识码生成规律的
破解,极大程度上提高数据安全性能。
据、问题分析数据、关联分析数据、价值分析数据和能力分析数据;
括:
预警预测分析结果;
发管理系统进行技术能力分析、管理能力分析、标准核查、指标稳定性分析和质量成本分
析,并获得研发生产能力分析结果;
营销数据系统中的数据信息;然后,对所述海量异构工业数据采集系统获取的数据进行管
理,并将复杂数据进行智能拆分、数据清洗、数据关联、智能匹配和属性筛选处理;随后,对
PB级多维度产品工业数据矩阵进行存储,并对存储的数据进行安全防护;之后,通过机器自
学习模型采用回归分析、聚类分析和关联分析方法对所述超大规模工业数据存储系统存储
的数据进行数据分析,获得针对工业生产过程的预警预测信息数据、问题分析数据、关联分
析数据、价值分析数据和能力分析数据;最后,针对所述超大规模工业数据存储系统存储的
数据分别进行关键指标预警预测分析、问题管理关联分析和研发生产能力分析,并获得对
应的分析结果。
析多种业务场景,提供结合企业业务提供多种业务场景的应用,准确把握数据之间的关联
关系,提高对管理决策的支撑能力。
储起始时间点;T2表示所述超大规模工业数据存储系统完成数据存储的存储完成时间点;Ti
表示第i次进行数据存储所用的时间长度;Gi表示所述超大规模工业数据存储系统进行第i
次数据存储时的数据存储量;Gi‑1表示所述超大规模工业数据存储系统进行第i‑1次数据存
储时的数据存储量;Gi‑2表示所述超大规模工业数据存储系统进行第i‑2次数据存储时的数
据存储量;
储起始时间点;T2表示所述超大规模工业数据存储系统完成数据存储的存储完成时间点;Ti
表示第i次进行数据存储所用的时间长度;Gi表示所述超大规模工业数据存储系统进行第i
次数据存储时的数据存储量;Gi‑1表示所述超大规模工业数据存储系统进行第i‑1次数据存
储时的数据存储量;Gi‑2表示所述超大规模工业数据存储系统进行第i‑2次数据存储时的数
据存储量;
储数据调取连接的所述工业大数据分析平台中的各节点设备上;
要调取的存储数据,并将所述存储数据发送至所述节点设备上。
述存储数据包生成第二存储标识;然后,将第一存储标识码和第二存储标识码进行关联,将
所述第二存储标识码进行加密获得对应密文,将所述对应密文发送至已与所述超大规模工
业数据存储系统建立存储数据调取连接的所述工业大数据分析平台中的各节点设备上;随
后,当所述节点设备需要向所述超大规模工业数据存储系统调取数据时,将所述对应密文
发送至所述超大规模工业数据存储系统中;最后,所述超大规模工业数据存储系统对所述
对应密文进行解密,获得第二存储标识码,通过所述第二存储标识码与第一存储标识码之
间的联接关系确定所述节点设备需要调取的存储数据,并将所述存储数据发送至所述节点
设备上。
通过传输加密的第二存储标识码的方式进行数据调取,代替传统数据调用发送的数据情
况,能够有效提高数据传输的隐秘性,防止第三方通过数据传输请求获取系统中各设备节
点的数据传输历史记录,使恶意第三方无法从数据发送请求中和获取平台系统的各网络节
点设备进行数据传输的数据类型、数据关键字等信息,进而防止恶意第三方对数据窃取目
标的锁定,进一步提高了数据安全防护性能。同时,通过上述公式获取的第一标识码和第二
标识码能够有效提高标识码的唯一性和随机性,有效防止恶意第三方对标识码生成规律的
破解,极大程度上提高数据安全性能。
之内,则本发明也意图包含这些改动和变型在内。