工业大数据环境下的产品质量端-边-云协同预报方法

摘要

本发明提供一种工业大数据环境下的产品质量端‑边‑云协同预报方法，涉及工业大数据处理与复杂工业智能建模技术领域。本方法是在云端服务器上利用工业大数据训练预报模型，同时在边缘端服务器以及终端服务器上不断地校正预报模型中的相关参数，使预报模型的结果更加精确，同时在终端服务器上对产品质量进行实时预报。本发明能够有效的利用生产过程中产生的实时数据，不断的修正预报模型中的参数，使得预报模型能够适应产品的实时变化，进而不断提高模型的预报精度，提高生产效益。

权利要求

1.一种工业大数据环境下的产品质量端‑边‑云协同预报方法，其特征在于：包括以下步骤：

步骤1：利用实际工业现场中的传感器，采集该工业现场中产品的实际生产过程数据；

步骤2：将采集到的所有生产过程数据利用数据清洗算法去除数据中的异常数据样本以及含有缺失值的数据样本，形成初始样本数据集；利用数据补齐算法对初始样本数据集内的数据进行数据预处理，使所有的数据维度相同，并将预处理后的样本数据存放至边缘端数据库中；在云端服务器上建立云端数据库，边缘端数据库中样本个数大于n个时，将边缘端数据库中的样本数据同步到云端数据库中，同时清空边缘端数据库中的数据样本；

步骤3：判断云端数据库中数据总数是否大于H个，若否，则执行步骤1，若是，则在云端服务器上，针对产品生产工艺过程以及生产过程数据的特征选择智能建模方法，建立产品质量的预报模型；

根据产品的w种质量指标在云端服务器上分别建立w个预报模型，组成模型库；其中针对第i种质量指标建立预报模型如下所示：其中，I表示预报模型输入的预处理后的样本数据，表示第i种质量指标的预报值，fi(·)表示所建立的预报模型的结构，θi表示所建立的预报模型的参数集合；

根据工业生产工艺过程、模型输入数据的数据特征以及对预报模型的输入数据与质量指标之间相关性的分析，进而将θi分为三个参数集合，即步骤4：按照产品的实际生产顺序，从云端数据库中提取最近的K个样本数据组成训练集D，同时记此时云端数据库中的数据样本总数为S个；利用训练集D中的样本数据分别训练模型库中每一种预报模型中的所有参数，将训练后的预报模型库记作c

其中Fi代表第i种质量指标的预报模型；

将样本的生产过程数据作为输入数据，将样本的第i种质量指标数据作为标签数据，在c

云端服务器上，训练第i种质量指标的预报模型，得到Fi ；即训练步骤3中的参数集中的所有参数；

c

步骤5：将预报模型库F从云端服务器传输到边缘端服务器上，并由边缘端服务器将不同的预报模型分别下放到不同的终端服务器上运行，用户通过终端服务器中的预报模型对产品的不同质量指标分别进行预报；

步骤6：从工业现场的传感器中采集的实际生产过程数据经过数据清洗与数据预处理后得到预报模型的输入数据，将输入数据传输到所有终端服务器上，在每一个终端服务器上利用预报模型分别对产品的每一种质量指标进行预报，并将预报结果传送给用户；

步骤7：当该产品的生产过程结束后，在每一个终端服务器上，保持其对应的预报模型中参数集 中的参数不变，其中i∈{1,2,…,w}，并利用该产品的实际生产过程数据对t

每一个预报模型中参数集 中的参数进行实时校正，得到新的预报模型Fi ，并替代此时t

终端服务器中原有的预报模型，利用预报模型Fi 对之后的产品进行预报；所述实时校正为根据不同的工业领域以及建模算法采用不同的校正方法对参数集 中的参数进行校正；

步骤8：将该产品的实际生产数据与质量指标数据一并存入到边缘端的历史数据库中；

判断此时边缘端的历史数据库中所有的样本个数，若此时的样本个数小于n个，则转到步骤

6中，继续对后续产品的质量指标进行预报；若此时的样本个数大于n个，则转到步骤9；

步骤9：从边缘端的历史数据库中提取n个产品的生产数据作为新的训练集d，在边缘端服务器上，针对预报模型库中的每一种预报模型，利用训练集d中的样本数据，对模型中的e

参数集 进行实时校正，得到预报模型Fi ，将校正后的所有预报模型组成新的预报模型库

e

步骤10：利用边缘端服务器，将F中的预报模型分别下放到对应的终端服务器上，并替代原有的预报模型；用户通过不同的终端服务器调用重新训练后的预报模型，对正在生产的产品数据进行新一轮的预报；并将边缘端数据库中的数据样本同步到云端数据库中，并清空边缘端数据库中的数据信息，将新一轮生产的产品数据存入到边缘端数据库中；

步骤11：判断此时云端数据库中的样本数量，判断云端数据库中的样本总数相比于S是否增长了N个样本，其中N大于n，若是，则返回到步骤4中，重新统计云端数据库中的样本总c

数S＝S+N，并重新训练F中的预报模型；若否，则返回到步骤6中，利用终端服务器上的预报模型对产品质量进行预报。

2.根据权利要求1所述的一种工业大数据环境下的产品质量端‑边‑云协同预报方法，其特征在于：所述步骤3的 中参数集 用来描述在一个大的批次内所生产的数据样本的变化规律；参数集 用来描述在不同的小批次生产过程中数据样本的数据特征所发生的变化；参数集 用来描述每一个数据样本中所包括的特有的数据特征；其中所述一个大的批次为工业生产过程中生产的产品数量为M个，将每一个大的批次分为r个小批次，每一个小的批次内生产的产品数量为m个。

说明书

工业大数据环境下的产品质量端‑边‑云协同预报方法

技术领域

[0001] 本发明涉及工业大数据处理与复杂工业智能建模技术领域，尤其涉及一种工业大数据环境下的产品质量端‑边‑云协同预报方法。

背景技术

[0002] 近些年来，随着人工智能在理论与技术方面发展的越来越成熟，大数据的应用也越来越广泛，并且在医学，电子信息，图像识别等领域取得了相对较成熟的结果。在复杂工
业智能建模领域，工业大数据的应用也显得尤为重要，产品的质量是描述工业生产过程是
否合格的一项重要指标。

[0003] 尽管目前的智能建模算法能够有效的处理工业大数据中的高维数据，自动挖掘隐含在生产过程数据中的潜在特征，但是，传统的智能建模算法大多主要用于处理静态数据
集，而难以应用到实时系统中，所建立的智能预报模型只能反映隐含在历史数据中的规律，
无法随生产过程的微小变化而进行修正。

[0004] 在实际的工业现场中，产品的生产数据会随生产的进行而不断的增多，如果能够随着生产过程的进行有效的利用实时产生的样本数据，挖掘生产过程中数据产生的微小变
化，就可以不断的改善预报模型，进而提高模型精度。然而传统的智能建模方法在每次训练
模型的过程中都需要大量的训练样本数据，并且训练速度较慢，无法做到对模型的实时更
新。因此随着生产过程的推进，如何有效的应用生产过程中实时产生的数据样本，发掘生产
过程中样本产生的微小变化，同时节约计算资源，节省时间是目前尚待解决的问题。

发明内容

[0005] 本发明要解决的技术问题是针对上述现有技术的不足，提供一种工业大数据环境下的产品质量端‑边‑云协同预报方法，本发明能够有效的利用生产过程中产生的实时数
据，不断的修正预报模型中的参数，使得预报模型能够适应产品的实时变化，进而不断提高
模型的预报精度，提高生产效益。

[0006] 为解决上述技术问题，本发明所采取的技术方案是：

[0007] 本发明提供一种工业大数据环境下的产品质量端‑边‑云协同预报方法，包括以下步骤：

[0008] 步骤1：利用实际工业现场中的传感器，采集该工业现场中产品的实际生产过程数据；

[0009] 步骤2：将采集到的所有生产过程数据利用数据清洗算法去除数据中的异常数据样本以及含有缺失值的数据样本，形成初始样本数据集；利用数据补齐算法对初始样本数
据集内的数据进行数据预处理，使所有的数据维度相同，并将预处理后的样本数据存放至
边缘端数据库中；在云端服务器上建立云端数据库，边缘端数据库中样本个数大于n个时，
将边缘端数据库中的样本数据同步到云端数据库中，同时清空边缘端数据库中的数据样
本；

[0010] 步骤3：判断云端数据库中数据总数是否大于H个，若否，则执行步骤1，若是，则在云端服务器上，针对产品生产工艺过程以及生产过程数据的特征选择智能建模方法，建立
产品质量的预报模型；

[0011] 根据产品的w种质量指标在云端服务器上分别建立w个预报模型，组成模型库；其中针对第i种质量指标建立预报模型如下所示：

[0012]

[0013] 其中，I表示预报模型输入的预处理后的样本数据， 表示第i种质量指标的预报值，fi(·)表示所建立的预报模型的结构，θi表示所建立的预报模型的参数集合；

[0014] 根据工业生产工艺过程、模型输入数据的数据特征以及对预报模型的输入数据与质量指标之间相关性的分析，进而将θi分为三个参数集合，即

[0015] 步骤4：按照产品的实际生产顺序，从云端数据库中提取最近的K个样本数据组成训练集D，同时记此时云端数据库中的数据样本总数为S个；利用训练集D中的样本数据分别
训练模型库中每一种预报模型中的所有参数，将训练后的预报模型库记作
c
其中Fi代表第i种质量指标的预报模型；

[0016] 将样本的生产过程数据作为输入数据，将样本的第i种质量指标数据作为标签数c
据，在云端服务器上，训练第i种质量指标的预报模型，得到Fi ；即训练步骤3中的参数集
中的所有参数；

[0017] 步骤5：将预报模型库Fc从云端服务器传输到边缘端服务器上，并由边缘端服务器将不同的预报模型分别下放到不同的终端服务器上运行，用户通过终端服务器中的预报模
型对产品的不同质量指标分别进行预报；

[0018] 步骤6：从工业现场的传感器中采集的实际生产过程数据经过数据清洗与数据预处理后得到预报模型的输入数据，将输入数据传输到所有终端服务器上，在每一个终端服
务器上利用预报模型分别对产品的每一种质量指标进行预报，并将预报结果传送给用户；

[0019] 步骤7：当该产品的生产过程结束后，在每一个终端服务器上，保持其对应的预报模型中参数集 中的参数不变，其中i∈{1,2,…,w}，并利用该产品的实际生产过程数
t
据对每一个预报模型中参数集 中的参数进行实时校正，得到新的预报模型Fi ，并替代
t
此时终端服务器中原有的预报模型，利用预报模型Fi对之后的产品进行预报；所述实时校
正为根据不同的工业领域以及建模算法采用不同的校正方法对参数集 中的参数进行
校正；

[0020] 步骤8：将该产品的实际生产数据与质量指标数据一并存入到边缘端的历史数据库中；判断此时边缘端的历史数据库中所有的样本个数，若此时的样本个数小于n个，则转
到步骤6中，继续对后续产品的质量指标进行预报；若此时的样本个数大于n个，则转到步骤
9；

[0021] 步骤9：从边缘端的历史数据库中提取n个产品的生产数据作为新的训练集d，在边缘端服务器上，针对预报模型库中的每一种预报模型，利用训练集d中的样本数据，对模型
e
中的参数集 进行实时校正，得到预报模型Fi ，将校正后的所有预报模型组成新的预
报模型库

[0022] 步骤10：利用边缘端服务器，将Fe中的预报模型分别下放到对应的终端服务器上，并替代原有的预报模型；用户通过不同的终端服务器调用重新训练后的预报模型，对正在
生产的产品数据进行新一轮的预报；并将边缘端数据库中的数据样本同步到云端数据库
中，并清空边缘端数据库中的数据信息，将新一轮生产的产品数据存入到边缘端数据库中；

[0023] 步骤11：判断此时云端数据库中的样本数量，判断云端数据库中的样本总数相比于S是否增长了N个样本，其中N大于n，若是，则返回到步骤4中，重新统计云端数据库中的样
c
本总数S＝S+N，并重新训练F中的预报模型；若否，则返回到步骤6中，利用终端服务器上的
预报模型对产品质量进行预报。

[0024] 所述步骤3的 中参数集 用来描述在一个大的批次内所生产的数据样本的变化规律；参数集 用来描述在不同的小批次生产过程中数据样本的数据特征所
发生的变化；参数集 用来描述每一个数据样本中所包括的特有的数据特征；其中所述一
个大的批次为工业生产过程中生产的产品数量为M个，将每一个大的批次分为r个小批次，
每一个小的批次内生产的产品数量为m个。

[0025] 采用上述技术方案所产生的有益效果在于：本发明提供的一种工业大数据环境下的产品质量端‑边‑云协同预报方法，本方法能够将所建立的预报模型的参数分为对大量数
据样本的变化敏感的参数；对少量数据样本的变化敏感的参数；对单个数据样本的变化敏
感的参数三类，并通过端‑边‑云协同预报的方法，不断的对预报模型中的参数进行训练更
新。同时本发明能够有效的利用生产过程中产生的实时数据，不断的修正预报模型中的参
数，使得预报模型能够适应产品的实时变化，进而不断提高模型的预报精度，提高生产效
益。

附图说明

[0026] 图1为本发明实施例提供的一种工业大数据环境下的产品质量端‑边‑云协同预报方法的结构框图；

[0027] 图2为本发明实施例提供的一种工业大数据环境下的产品质量端‑边‑云协同预报方法的流程图。

具体实施方式

[0028] 下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

[0029] 如图2所示，本实施例的方法如下所述。

[0030] 本发明提供一种工业大数据环境下的产品质量端‑边‑云协同预报方法，在云端服务器上利用工业大数据训练预报模型，同时在边缘端服务器以及终端服务器上不断的校正
预报模型中的相关参数，如图1所示，使预报模型的结果更加精确。本实施例中用于对钢板
产品质量的智能预报中，包括以下步骤：

[0031] 步骤1：利用钢板工业现场中的传感器，采集该工业现场中钢板产品的实际生产过程数据；

[0032] 步骤2：将采集到的所有生产过程数据利用数据清洗算法去除数据中的异常数据样本以及含有缺失值的数据样本，形成初始样本数据集；之后针对钢板型号的不同导致的
样本数据维度的差异，利用数据补齐算法对初始样本数据集内的数据进行数据预处理，得
到数据维度相同的样本数据，并将预处理后的样本数据存放至边缘端数据库中；预处理后
的样本数据作为产品质量的预报模型的输入数据，将产品的最终质量标签数据作为产品质
量的预报模型输出数据，用于构建对产品质量的预报模型，在输入数据的周围添加无用数
据，不会对最终的预测结果产生影响，同时使所有样本的输入数据维度统一。在云端服务器
上建立云端数据库，用来存放所有经过预处理后的样本数据，便于对工业生产过程中的数
据进行分析建模。边缘端数据库中样本个数大于n个时，将边缘端数据库中的样本数据同步
到云端数据库中，同时清空边缘端数据库中的数据样本；所述边缘端服务器上的边缘端数
据库，用来存放小批次生产过程中所产生的样本数据。

[0033] 步骤3：判断云端数据库中数据总数是否大于H个，若否，则执行步骤1，若是，则在云端服务器上，针对钢板生产工艺过程以及钢板生产过程数据的特征选择适合的智能建模
方法，诸如卷积神经网络，图神经网络，随机森林等智能建模方法等；本实施方式中选择机
理+数据的建模方法建立产品质量的预报模型；

[0034] 由于针对钢板产品有5种质量评价指标描述其是否合格，分别是钢板的尺寸，表面，板形，内质，性能。因此在云端服务器上，需要针对每一种质量指标分别建立预报模型，
组成模型库。

[0035] 其中针对第i种质量指标建立预报模型如下所示：

[0036]

[0037] 其中，I表示预报模型输入的预处理后的样本数据， 表示经过预报模型后给出第i种质量指标的预报值，fi(·)表示所建立的预报模型的结构，θi表示所建立的预报模型的
参数集合；

[0038] 根据钢板的生产工艺过程、模型输入数据的数据特征以及对预报模型的输入数据与质量指标之间相关性的分析，进而将θi分为三个参数集合，即

[0039] 设置在工业生产过程中，一个大的批次内生产的产品数量为M个，将每一个大的批次分为r个小批次，每一个小的批次内生产的产品数量为m个；所述参数集 用来描述在一
个大的批次内所生产的数据样本的变化规律；参数集 用来描述在不同的小批次生产过程
中数据样本的数据特征所发生的变化；参数集 用来描述每一个数据样本中所包括的特有
的数据特征；

[0040] 本实施例中所述分析方法可以为典型的相关分析算法有mic，皮尔逊相关系数等；

[0041] 参数集 中的参数主要用来描述在一个大的批次内所生产的产品的输入数据的变化规律，用来挖掘大数据样本中所隐含的特征，是预报模型中的主要参数。该部分参数所
对应的的输入数据往往过于复杂，需要更多的数据样本和复杂的模型结构作为支撑，才能
挖掘出其中隐含的特征，并且该部分参数在大一段时间的生产过程中，不会随时间的推移
而发生明显的改变，例如，钢板在生产过程中的温度变化规律，钢板在生产过程中的设备信
息等。

[0042] 参数集 中的参数主要用来描述在不同的小批次的生产过程中，输入数据的数据特征所发生微小变化。该部分参数在一个大批次的生产过程中往往不会发生变化，但会随
着每一个小批次的改变而发生变化，该部分参数往往适合于某一个小批次内部的数据样
本，但不一定适合其他批次的数据样本。例如，在一个小批次内钢板的型号，生产模式，加热
炉的加热温度，煤气供气量等。

[0043] 参数集 中的参数主要用来描述每一个数据样本中所包含的特有的数据特征，该部分参数对数据样本的改变十分敏感，会随着数据样本的改变而发生变化，并且其对应的
输入数据往往是一个数据样本所特有的。例如，钢板在生产过程中轧辊的磨损量信息，在冷
却过程中的冷却水温度等。

[0044] 步骤4：按照产品的实际生产顺序，从云端数据库中提取最近的K＝15000个样本数据组成训练集D，同时记此时云端数据库中的数据样本总数为S＝28700个；首次训练是基于
步骤3中建立的包括5种预报模型的模型库，针对每一种预报模型，利用训练集D中的样本数
据分别训练模型库中每一种预报模型，进而得到针对每一种质量指标的预报模型库，记作
c
其中Fi代表第i种质量指标的预报模型；

[0045] 将样本的生产过程数据作为输入数据，将样本的第i种质量指标数据作为标签数c
据，在云端服务器上，训练第i种质量指标的预报模型，得到Fi ；即训练步骤3中的参数集
中的参数；

[0046] 步骤5：将预报模型库Fc从云端服务器传输到边缘端服务器上，并由边缘端服务器将不同的预报模型分别下放到不同的终端服务器上运行，用户通过终端服务器中的预报模
型对产品的不同质量指标分别进行预报；

[0047] 步骤6：从铁板生产工业现场的传感器中采集的实际生产过程数据经过数据清洗与数据预处理后得到预报模型的输入数据，将输入数据传输到所有终端服务器上，在每一
个终端服务器上利用与产品相对应的预报模型分别对产品的每一种质量指标进行预报，并
将预报结果传送给用户，用户根据预报结果对生产过程进行决策，进而提高产品的合格率；

[0048] 步骤7：当该块钢板的生产过程结束后，在每一个终端服务器上，保持其对应的预报模型中参数集 中的参数不变，其中i∈{1,2,…,w}，并利用该产品的实际生产过程
t
数据对每一个预报模型中参数集 中的参数进行实时校正，得到新的预报模型Fi ，并替
t
代此时终端服务器中原有的预报模型，利用预报模型Fi对之后的产品进行预报；所述实时
校正为根据不同的工业领域以及建模算法采用不同的校正方法对参数集 中的参数进
行校正；

[0049] 步骤8：将该块钢板的实际生产数据与质量指标数据一并存入到边缘端的历史数据库中；判断此时边缘端的历史数据库中所有的样本个数，若此时的样本个数小于n＝1000
个，则转到步骤6中，继续对后续产品的质量指标进行预报；若此时的样本个数大于n＝1000
个，则转到步骤9；

[0050] 步骤9：从边缘端的历史数据库中提取n＝1000个产品的生产数据作为新的训练集d，在边缘端服务器上，针对预报模型库中的每一种预报模型，利用训练集d中的样本数据，
e
对模型中的参数集 进行实时校正，得到预报模型Fi ，将校正后的所有预报模型组成
新的预报模型库

[0051] 由于参数集 中的参数并不会因为生产过程中的小批次数据样本的改变而发生变化，因此固定预报模型中的参数集 利用训练集d中数据样本，在边缘端服务器上
e
校正每一种预报模型中的参数集 从而得到新的预报模型Fi ，进而组成新的预报模
e c
型库。Fi相比于Fi 只改变了参数集 中的参数，并且训练集d中的样本数量要远小于
e
训练集D中的样本数量，因此预报模型Fi的训练过程能够节省更多的计算资源，训练速度更
快，节省了时间。

[0052] 步骤10：利用边缘端服务器，将Fe中的预报模型分别下放到对应的终端服务器上，并替代原有的预报模型；用户通过不同的终端服务器调用重新训练后的预报模型，对正在
生产的产品数据进行新一轮的预报；并将边缘端数据库中的数据样本同步到云端数据库
中，并清空边缘端数据库中的数据信息，将新一轮生产的产品数据存入到边缘端数据库中；

[0053] 步骤11：判断此时云端数据库中的样本数量，判断云端数据库中的样本总数相比于S是否增长了N＝10000个样本(N远大于n)，若是，则返回到步骤4中，重新统计云端数据库
c
中的样本总数S＝S+N，并重新训练F中的预报模型；若否，则返回到步骤6中，利用终端服务
器上的预报模型对产品质量进行预报；

[0054] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可
以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同
替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范
围。