基于多模态数据融合的故障预测方法、装置与存储介质

摘要

本发明公开了基于多模态数据融合的故障预测方法、装置与存储介质，方法包括：获取产线设备的功能信息，并基于所述功能信息对所述产线设备进行分类，得到若干设备类别信息；根据所述设备类别信息，确定与所述设备类别信息所对应的故障分析方案，并基于所述故障分析方案获取所述产线设备的运行状态数据，其中，所述运行状态数据包括不同模态的数据；基于所述运行状态数据对预设的BERT‑Transformer模型进行训练，得到故障预测模型，并基于所述故障预测模型对所述产线设备的故障进行预测。本发明可采用不同的故障分析方式来对不同的产线设备进行故障分析，从而实现定制化的精准故障监控，保证故障分析的效果。

权利要求

1.一种基于多模态数据融合的故障预测方法，其特征在于，所述方法包括：

获取产线设备的功能信息，并基于所述功能信息对所述产线设备进行分类，得到若干设备类别信息；

根据所述设备类别信息，确定与所述设备类别信息所对应的故障分析方案，并基于所述故障分析方案获取所述产线设备的运行状态数据，其中，所述运行状态数据包括不同模态的数据；

基于所述运行状态数据对预设的BERT‑Transformer模型进行训练，得到故障预测模型，并基于所述故障预测模型对所述产线设备的故障进行预测；

所述基于所述功能信息对所述产线设备进行分类，得到若干设备类别信息，包括：基于所述功能信息，确定所述产线设备实现对应功能信息的工艺流程；

基于所述工艺流程，确定所述工艺流程的加工难易程度，并基于所述加工难易程度，对所述产线设备进行分类，得到所述设备类别信息，其中，所述设备类别信息包括第一类型设备与第二类型设备，其中，所述第一类型设备的设备部件数量多于所述第二类型设备的设备部件数量；

所述根据所述设备类别信息，确定与所述设备类别信息所对应的故障分析方案，包括：若所述设备类别信息为第一类型设备，则获取所述第一类型设备所对应的第一故障分析方案，所述第一故障分析方案为基于计算机视觉的故障分析方案；

若所述设备类别信息为第二类型设备，则获取所述第二类型设备所对应的第二故障分析方案，所述第二故障分析方案为基于音视频信息或者红外热感信息的故障分析方案，其中，所述音视频信息包括所述第二类型设备在运行过程中的工作噪音以及设备提示音。

2.根据权利要求1所述的基于多模态数据融合的故障预测方法，其特征在于，所述获取产线设备的功能信息，包括：获取产线工艺信息，其中，所述产线工艺信息包括各个产线的工艺介绍信息以及加工流程信息；

获取每一个所述产线工艺信息所对应的产线设备，并确定所述产线设备的所述功能信息，所述功能信息用于反映所述产线设备对加工对象的加工效果。

3.根据权利要求1所述的基于多模态数据融合的故障预测方法，其特征在于，所述基于所述故障分析方案获取所述产线设备的运行状态数据，包括：若所述产线设备为第一类型设备，则基于所述第一故障分析方案采集所述第一类型设备在运行过程中的图像信息，并基于所述图像信息确定所述第一类型设备的运行状态数据，其中，所述图像信息包括运动轨迹图像、加工过程图像；

若所述产线设备为第二类型设备，则基于所述第一故障分析方案采集所述第二类型设备在运行过程中的音视频信息或者红外热感信息，并基于所述音视频信息或者所述红外热感信息，确定所述第二类型设备的运行状态数据。

4.根据权利要求3所述的基于多模态数据融合的故障预测方法，其特征在于，所述基于所述运行状态数据对预设的BERT‑Transformer模型进行训练，得到故障预测模型，包括：将用于反映所述运行状态数据的图像信息输入至预设的卷积神经网络中进行特征提取，得到图像特征，并对所述图像特征进行降噪，得到降噪后的图像特征；

将用于反映所述运行状态数据的红外热感信息进行卡尔曼滤波处理，得到降噪后的红外热感信号；

对用于反映所述运行状态数据的音视频信息使用傅里叶变换和高维投影，得到降噪后的音视频信号；

分别将降噪后的图像特征、降噪后的音视频信号以及降噪后的红外热感信号进行向量化处理，得到待训练信号，所述待训练信号包括三种不同维度的向量信号；

根据所述待训练信号对所述BERT‑Transformer模型进行训练，得到故障预测模型。

5.根据权利要求4所述的基于多模态数据融合的故障预测方法，其特征在于，所述根据所述待训练信号对所述BERT‑Transformer模型进行训练，得到故障预测模型，包括：将所述待训练信号输入所述BERT‑Transformer模型中，所述BERT‑Transformer模型包括编码器与解码器；

基于所述BERT‑Transformer模型的编码器接收所述待训练信号，并对所述待训练信号进行拼接，再经过多层注意力机制后，输出单一向量结果；

将所述单一向量结果经过基于人工标注数据训练的深度神经网络的DNN结构和sigmoid激活函数，输出二元向量结果，所述二元向量结果用于反映所述产线设备发生故障的概率；

基于所述二元向量结果与人工标定的故障历史数据，训练所述BERT‑Transformer模型，得到所述故障预测模型。

6.一种基于多模态数据融合的故障预测装置，其特征在于，所述装置包括：

设备分类模块，用于获取产线设备的功能信息，并基于所述功能信息对所述产线设备进行分类，得到若干设备类别信息；

方案分析模块，用于根据所述设备类别信息，确定与所述设备类别信息所对应的故障分析方案，并基于所述故障分析方案获取所述产线设备的运行状态数据，其中，所述运行状态数据包括不同模态的数据；

故障监控模块，用于基于所述运行状态数据对预设的BERT‑Transformer模型进行训练，得到故障预测模型，并基于所述故障预测模型对所述产线设备的故障进行预测；

所述设备分类模块，包括：

流程确定单元，用于基于所述功能信息，确定所述产线设备实现对应功能信息的工艺流程；

设备分类单元，用于基于所述工艺流程，确定所述工艺流程的加工难易程度，并基于所述加工难易程度，对所述产线设备进行分类，得到所述设备类别信息，其中，所述设备类别信息包括第一类型设备与第二类型设备，其中，所述第一类型设备的设备部件数量多于所述第二类型设备的设备部件数量；

所述方案分析模块，包括：

第一方案分析模块，用于若所述设备类别信息为第一类型设备，则获取所述第一类型设备所对应的第一故障分析方案，所述第一故障分析方案为基于计算机视觉的故障分析方案；

第二方案分析模块，用于若所述设备类别信息为第二类型设备，则获取所述第二类型设备所对应的第二故障分析方案，所述第二故障分析方案为基于音视频信息或者红外热感信息的故障分析方案，其中，所述音视频信息包括所述第二类型设备在运行过程中的工作噪音以及设备提示音。

7.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于多模态数据融合的故障预测程序，所述处理器执行所述基于多模态数据融合的故障预测程序时，实现如权利要求1‑5任一项所述的基于多模态数据融合的故障预测方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于多模态数据融合的故障预测程序，所述基于多模态数据融合的故障预测程序被处理器执行时，实现如权利要求1‑5任一项所述的基于多模态数据融合的故障预测方法的步骤。

说明书

基于多模态数据融合的故障预测方法、装置与存储介质

技术领域

[0001] 本发明涉及设备故障监控技术领域，尤其涉及一种基于多模态数据融合的故障预测方法、装置与存储介质。

背景技术

[0002] 对于大型厂家来说，生产产线上会涉及很多的工艺，而不同的工艺需要使用不同的产线设备，而不同的产线设备的故障形式也不同。在对产线设备进行故障监控时，需要对设备运行数据进行分析，由于产线设备不同，设备运行数据的表现形式也不同，因此，在进行故障分析时的方式也会不同。而现有技术中，基本都是采用相同方式来对不同的产线设备进行故障分析，无法进行定制化的精准故障监控，影响故障分析的效果。

[0003] 因此，现有技术还有待改进和提高。

发明内容

[0004] 本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于多模态数据融合的故障预测方法、装置与存储介质，旨在解决现有技术中无法进行定制化的精准故障监控，影响故障分析的效果的问题。

[0005] 为了解决上述技术问题，本发明所采用的技术方案如下：

[0006] 第一方面，本发明提供一种基于多模态数据融合的故障预测方法，其特征在于，所述方法包括：

[0007] 获取产线设备的功能信息，并基于所述功能信息对所述产线设备进行分类，得到若干设备类别信息；

[0008] 根据所述设备类别信息，确定与所述设备类别信息所对应的故障分析方案，并基于所述故障分析方案获取所述产线设备的运行状态数据，其中，所述运行状态数据包括不同模态的数据；

[0009] 基于所述运行状态数据对预设的BERT‑Transformer模型进行训练，得到故障预测模型，并基于所述故障预测模型对所述产线设备的故障进行预测。

[0010] 在一种实现方式中，所述获取产线设备的功能信息，包括：

[0011] 获取产线工艺信息，其中，所述产线工艺信息包括各个产线的工艺介绍信息以及加工流程信息；

[0012] 获取每一个所述产线工艺信息所对应的产线设备，并确定所述产线设备的所述功能信息，所述功能信息用于反映所述产线设备对加工对象的加工效果。

[0013] 在一种实现方式中，所述基于所述功能信息对所述产线设备进行分类，得到若干设备类别信息，包括：

[0014] 基于所述功能信息，确定所述产线设备实现对应功能信息的工艺流程；

[0015] 基于所述工艺流程，确定所述工艺流程的加工难易程度，并基于所述加工难易程度，对所述产线设备进行分类，得到所述设备类别信息，其中，所述设备类别信息包括第一类型设备与第二类型设备，其中，所述第一类型设备的设备部件数量多于所述第二类型设备的设备部件数量。

[0016] 在一种实现方式中，所述根据所述设备类别信息，确定与所述设备类别信息所对应的故障分析方案，包括：

[0017] 若所述设备类别信息为第一类型设备，则获取所述第一类型设备所对应的第一故障分析方案，所述第一故障分析方案为基于计算机视觉的故障分析方案；

[0018] 若所述设备类别信息为第二类型设备，则获取所述第二类型设备所对应的第二故障分析方案，所述第二故障分析方案为基于音视频信息或者红外热感信息的故障分析方案。

[0019] 在一种实现方式中，所述基于所述故障分析方案获取所述产线设备的运行状态数据，包括：

[0020] 若所述产线设备为第一类型设备，则基于所述第一故障分析方案采集所述第一类型设备在运行过程中的图像信息，并基于所述图像信息确定所述第一类型设备的运行状态数据，其中，所述图像信息包括运动轨迹图像、加工过程图像；

[0021] 若所述产线设备为第二类型设备，则基于所述第一故障分析方案采集所述第二类型设备在运行过程中的音视频信息或者红外热感信息，并基于所述音视频信息或者所述红外热感信息，确定所述第二类型设备的运行状态数据，其中，所述音视频信息包括所述第二类型设备在运行过程中的工作噪音以及设备提示音。

[0022] 在一种实现方式中，所述基于所述运行状态数据对预设的BERT‑Transformer模型模型进行训练，得到故障预测模型，包括：

[0023] 将用于反映所述运行状态数据的图像信息输入至预设的卷积神经网络中进行特征提取，得到图像特征，并对所述图像特征进行降噪，得到降噪后的图像特征；

[0024] 将用于反映所述运行状态数据的红外热感信息进行卡尔曼滤波处理，得到降噪后的红外热感信号；

[0025] 对用于反映所述运行状态数据的音视频信息使用傅里叶变换和高维投影，得到降噪后的音视频信号；

[0026] 分别将降噪后的图像特征、降噪后的音视频信号以及降噪后的红外热感信号进行向量化处理，得到待训练信号，所述待训练信号包括三种不同维度的向量信号；

[0027] 根据所述待训练信号对所述BERT‑Transformer模型模型进行训练，得到故障预测模型。

[0028] 在一种实现方式中，所述根据所述待训练信号对所述BERT‑Transformer模型进行训练，得到故障预测模型，包括：

[0029] 将所述待训练信号输入所述BERT‑Transformer模型中，所述BERT‑Transformer模型包括编码器与解码器；

[0030] 基于所述BERT‑Transformer模型的编码器接收所述待训练信号，并对所述待训练信号进行拼接，再经过多层注意力机制后，输出单一向量结果；

[0031] 将所述单一向量结果经过基于人工标注数据训练的深度神经网络的DNN结构和sigmoid激活函数，输出二元向量结果，所述二元向量结果用于反映所述产线设备发生故障的概率；

[0032] 基于所述二元向量结果与人工标定的故障历史数据，训练所述BERT‑Transformer模型，得到所述故障预测模型。

[0033] 第二方面，本发明实施例还提供一种基于多模态数据融合的故障预测装置，其中，所述装置包括：

[0034] 设备分类模块，用于获取产线设备的功能信息，并基于所述功能信息对所述产线设备进行分类，得到若干设备类别信息；

[0035] 方案分析模块，用于根据所述设备类别信息，确定与所述设备类别信息所对应的故障分析方案，并基于所述故障分析方案获取所述产线设备的运行状态数据，其中，所述运行状态数据包括不同模态的数据；

[0036] 故障监控模块，用于基于所述运行状态数据对预设的BERT‑Transformer模型进行训练，得到故障预测模型，并基于所述故障预测模型对所述产线设备的故障进行预测。

[0037] 第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于多模态数据融合的故障预测程序，所述处理器执行所述基于多模态数据融合的故障预测程序时，实现上述方案中任一项所述的基于多模态数据融合的故障预测方法的步骤。

[0038] 第四方面，本发明实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有基于多模态数据融合的故障预测程序，所述基于多模态数据融合的故障预测程序被处理器执行时，实现上述方案中任一项所述的基于多模态数据融合的故障预测方法的步骤。

[0039] 有益效果：与现有技术相比，本发明提供了一种基于多模态数据融合的故障预测方法，本发明首先获取产线设备的功能信息，并基于所述功能信息对所述产线设备进行分类，得到若干设备类别信息。然后，根据所述设备类别信息，确定与所述设备类别信息所对应的故障分析方案，并基于所述故障分析方案获取所述产线设备的运行状态数据，其中，所述运行状态数据包括不同模态的数据。最后，基于所述运行状态数据对预设的BERT‑Transformer模型进行训练，得到故障预测模型，并基于所述故障预测模型对所述产线设备的故障进行预测。本发明可采用不同的故障分析方式来对不同的产线设备进行故障分析，从而实现定制化的精准故障监控，保证故障分析的效果。

附图说明

[0040] 图1为本发明实施例提供的基于多模态数据融合的故障预测方法的具体实施方式的流程示意图。

[0041] 图2为本发明实施例提供的基于多模态数据融合的故障预测装置的原理框图。

[0042] 图3为本发明实施例提供的终端设备的原理图。

具体实施方式

[0043] 为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

[0044] 本实施例提供一种基于多模态数据融合的故障预测方法，具体实施时，本实施例首先获取产线设备的功能信息，并基于所述功能信息对所述产线设备进行分类，得到若干设备类别信息。然后，根据所述设备类别信息，确定与所述设备类别信息所对应的故障分析方案，并基于所述故障分析方案获取所述产线设备的运行状态数据，其中，所述运行状态数据包括不同模态的数据。最后，基于所述运行状态数据对预设的BERT‑Transformer模型进行训练，得到故障预测模型，并基于所述故障预测模型对所述产线设备的故障进行预测。本实施例可采用不同的故障分析方式来对不同的产线设备进行故障分析，从而实现定制化的精准故障监控，保证故障分析的效果。

[0045] 示例性方法

[0046] 本实施例的基于多模态数据融合的故障预测方法可应用于终端设备中，该终端设备可为电脑、手机等智能化产品终端。具体地，如图1中所示，本实施例的基于多模态数据融合的故障预测方法包括如下步骤：

[0047] 步骤S100、获取产线设备的功能信息，并基于所述功能信息对所述产线设备进行分类，得到若干设备类别信息。

[0048] 本实施例首先获取产线设备的功能信息，所述功能信息用于反映所述产线设备对加工对象的加工效果。比如，当产线设备为打磨机时，对应的功能信息为对工件进行打磨。当得到功能信息后，本实施例可基于功能信息来对产线设备进行分类，这样就可以得到不同的设备类别信息。本实施例的设备类别信息可对产线设备进行标识，以便实现对不同类的产线设备进行故障分析。

[0049] 具体地，本实施例首先获取产线工艺信息，其中，所述产线工艺信息包括各个产线的工艺介绍信息以及加工流程信息。由于生产厂家具有多个产线工艺信息，因此，本实施例可分别获取每一个产线工艺信息所对应的产线设备。然后确定每一个产线设备所对应的功能信息。在本实施例中，功能信息的确定可基于每个产线工艺信息所对应的执行步骤来确定，并基于最终的执行步骤来确定产线设备最终的加工效果，进而也就得到了产线设备的功能信息。

[0050] 由于本实施例中的功能信息是基于产线设备所处于的产线工艺信息来确定的，因此当确定出功能信息后，本实施例可基于该功能信息，确定产线设备在执行产线工艺信息时所对应的工艺流程。该工艺流程中包括所有的加工步骤以及每个加工步骤的对应的加工参数以及加工要求，而不同加工参数和加工要求的加工难度是不相同的，为了准确地确定出每个产线设备的类别，本实施例可基于该工艺流程中的加工步骤来确定每个工艺流程的加工难易程度。然后根据加工难易程度来对产线设备进行分类，得到设备类别信息，本实施例中的所述设备类别信息包括第一类型设备与第二类型设备。也就是说，本实施例可根据每个产线设备在执行产线工艺信息时的加工流程来确定每个加工流程的加工难易程度，然后根据加工难易程度来将产线设备分为第一类型设备与第二类型设备，如果加工难易程度高，则将产线设备分为第一类型设备，如果加工难易程度低，则将产线设备分为第二类型设备。在本实施例中，所述第一类型设备的设备部件数量多于所述第二类型设备的设备部件数量。比如，本实施例可预先设置当产线设备的设备部件数量超过数量阈值时定义为第一类型设备，而当产线设备的设备部件数量小于数量阈值时定义为第二类型设备。

[0051] 步骤S200、根据所述设备类别信息，确定与所述设备类别信息所对应的故障分析方案，并基于所述故障分析方案获取所述产线设备的运行状态数据，其中，所述运行状态数据包括不同模态的数据。

[0052] 当得到设备类别信息后，本实施例可基于设备类别信息，确定与所述设备类别信息所对应的故障分析方案。对于不同的设备类别信息的产线设备来说，由于其加工流程不相同，发生故障的情况也不相同，因此为了定制化地对产线设备进行故障分析，本实施例为每个设备类别信息设置对应的故障分析方案。因此，本实施例在得到设备类别信息后，就可以确定出对应的故障分析方案。

[0053] 具体地，如果所述设备类别信息为第一类型设备，则获取所述第一类型设备所对应的第一故障分析方案。此时，由于第一类型设备基本都是用于加工难易程度高的工艺流程，因此第一类型设备在执行高难度的工艺流程时，设备对应的运行状态数据变化程度也会比较大，因此，为了方便对设备的运行状态数据信息分析，以更为准确地分析出故障，本实施例中的所述第一故障分析方案为基于计算机视觉的故障分析方案。所谓的计算机视觉即为基于图像识别技术来对第一类型设备的加工过程就那些分析。如果所述设备类别信息为第二类型设备时，则获取所述第一类型设备所对应的第二故障分析方案。由于第二类型设备在执行低难度的工艺流程时，设备对应的运行状态数据变化程度也会比较小，为了准确地获取运行状态数据，便于对产线设备的加工过程进行故障分析，而如果采用图像识别技术来进行故障分析，因第二类型设备本身体积小，在进行加工时的变化程度不大，设备本身抗干扰项强，因此会影响图像处理效果。为此，本实施例需要采用干扰项较强的方式来进行故障分析，因此，本实施例的第二故障分析方案为基于音视频信息或者红外热感信息的故障分析方案。音视频信息和红外热感信息可以更为方便地采集运行状态数据，这样就可以准确地进行故障分析。

[0054] 在进行运行状态数据的采集时，若所述产线设备为第一类型设备，则基于所述第一故障分析方案采集所述第一类型设备在运行过程中的图像信息，所述图像信息实反映的是的该第一类型设备在整个加工过程中的整体流程的图像，记录着该第一类型设备执行每个加工步骤时的状态。具体地，所述图像信息包括运动轨迹图像、加工过程图像。当得到该图像信息后，本实施例基于所述图像信息确定所述运行状态数据。该运行状态数据反映的就是的第一类型设备各个时段的运行状态。而如果所述产线设备为第二类型设备，则基于所述第一故障分析方案采集所述第二类型设备在运行过程中的音视频信息或者红外热感信息。本实施例中获取到的音视频信息可反映出第二类型设备在加工过程中产生的工作噪音、设备提示音、操作提示音等声音。所述红外热感信息可反映该第二类型设备在加工过程中的温度变化。而这些音视频信息或者红外热感信息都可以反映该第二类型设备在加工过程中的就加工情况，因此，本实施例可基于所述音视频信息或者所述红外热感信息，确定所述第二类型设备的运行状态数据。由此可见，当产线设备既包括第一类型设备又包括第二类型设备后，本实施例可分别基于上述的第一故障分析方案和第二故障分析方案来采集不同模态的信息，然后对采集到的不同模态的信息进行分析，从而分别得到第一类型设备的运行状态数据以及第二类型设备的运行状态数据，有助于实现对不同设备进行定制化的故障分析。

[0055] 步骤S300、基于所述运行状态数据对预设的BERT‑Transformer模型进行训练，得到故障预测模型，并基于所述故障预测模型对所述产线设备的故障进行预测。

[0056] 在得到运行状态数据后，本实施例基于该运行状态数据来对预设的BERT‑Transformer模型进行训练，得到故障预测模型。在本实施例中，BERT‑Transformer模型是基于BERT（语言处理模型）模型与Transformer模型联合训练出的模型，由于BERT（语言处理模型）模型应用编码器，Transformer模型应用解码器，因此，BERT‑Transformer模型包括编码器与解码器，具体地。由于运行状态数据中包括故障数据，当基于运行状态数据来对BERT‑Transformer模型时，可自动对运行状态数据进行语义识别、特征提取等操作，而从自动识别出运行状态数据中的故障数据，得到的故障预测模型也就具备自动分析故障数据的能力。因此，基于所述故障预测模型对所述产线设备的故障进行监控。

[0057] 具体地，在训练故障预测模型时，当针对第一类型设备采集到对应的图像信息时，本实施例首先将用于反映所述运行状态数据的图像信息输入至预设的卷积神经网络中进行特征提取，得到图像特征。此时提取的图像特征为所述第一类型设备在加工过程中发生故障时的图像特征。接着，本实施例对对所述图像特征进行降噪，得到降噪后的图像特征。而针对第二类型设备采集到对应的音视频信息或者红外热感信息时，本实施例将用于反映所述运行状态数据的红外热感信息进行卡尔曼滤波处理，得到降噪后的红外热感信号。此时降噪后的红外热感信号反映的是第二类型设备发生故障时的温度变化信息。本实施例还对用于反映所述运行状态数据的音视频信息使用傅里叶变换和高维投影，得到降噪后的音视频信号。此时降噪后的音视频信号反映的是第二类型设备发生故障时所产生噪音等声音信号。接着，本实施例分别将降噪后的图像特征、降噪后的音视频信号以及降噪后的红外热感信号进行向量化处理，得到待训练信号，由于本实施例采集到的是各种信号（如上述的降噪后的图像特征、降噪后的音视频信号以及降噪后的红外热感信号），因此进行想量化后得到的待训练信号包括三种不同维度的向量信号。为了方便后续处理，本实施例可分别将降噪后的图像特征、降噪后的音视频信号以及降噪后的红外热感信号进行向量化处理，得到三种不同维度的词向量信号，然后，本实施例根据所述待训练信号对所述BERT‑Transformer模型模型进行训练，得到故障预测模型。

[0058] 具体地，本实施例将所述待训练信号输入所述BERT‑Transformer模型中，所述BERT‑Transformer模型包括编码器与解码器。然后，基于所述BERT‑Transformer模型的编码器接收所述待训练信号，由于待训练信号为词向量信号，因此

[0059] 首先基于BERT模型来对所述待训练信号进行语义识别后，然后进行拼接，得到拼接后的向量，然后再经过Transformer模型的多层注意力机制后，输出单一向量结果，此时的单一向量结果即为将不同维度的向量进行了融合后的向量，该单一向量结果可反映产线设备的运行状态数据的运行情况（即正常情况或者故障情况）。接着，本实施例将所述单一向量结果经过基于人工标注数据训练的深度神经网络的DNN（Deep Neural Networks，深度神经网络）结构和sigmoid激活函数，输出二元向量结果，由于该深度神经网络是基于人工标注数据训练而成的，因此经过该深度神经网络输出的二元向量结果可反映所述产线设备发生故障的概率。接着，本实施例基于所述二元向量结果与人工标定的故障历史数据，训练所述BERT‑Transformer模型，得到所述故障预测模型。此外，本实施例还可根据故障预测模型预测出的故障和真实故障差异进行梯度下降，从而更新BERT‑Transformer模型的参数，从而使得故障预测模型预测的更为准确，以实现产线级的定制化装备故障当前时间点的识别以及未来（下一时间步）的故障可能性预测。

[0060] 综上，本实施例首先获取产线设备的功能信息，并基于所述功能信息对所述产线设备进行分类，得到若干设备类别信息。然后，根据所述设备类别信息，确定与所述设备类别信息所对应的故障分析方案，并基于所述故障分析方案获取所述产线设备的运行状态数据，其中，所述运行状态数据包括不同模态的数据。最后，基于所述运行状态数据对预设的BERT‑Transformer模型进行训练，得到故障预测模型，并基于所述故障预测模型对所述产线设备的故障进行预测。由此可见，当生产厂家设置有多条产线工艺时，设计到多个产线设备，本实施例可分别对不同设备类别信息的产线设备进行定制化的故障分析，采集不同模态的数据，采用不同的故障分析方式来对不同的产线设备进行故障分析，从而实现定制化的精准故障监控，保证故障分析的效果。

[0061] 示例性装置

[0062] 基于上述实施例，本发明还提供一种基于多模态数据融合的故障预测装置，具体地，如图2中所示，本实施例的装置包括：设备分类模块10、方案分析模块20以及故障监控模块30。具体地，所述设备分类模块10，用于获取产线设备的功能信息，并基于所述功能信息对所述产线设备进行分类，得到若干设备类别信息。所述方案分析模块20，用于根据所述设备类别信息，确定与所述设备类别信息所对应的故障分析方案，并基于所述故障分析方案获取所述产线设备的运行状态数据，其中，所述运行状态数据包括不同模态的数据。所述故障监控模块20，用于基于所述运行状态数据对预设的BERT‑Transformer模型进行训练，得到故障预测模型，并基于所述故障预测模型对所述产线设备的故障进行预测。

[0063] 在一种实现方式中，所述设备分类模块10，包括：

[0064] 工艺确定单元，用于获取产线工艺信息，其中，所述产线工艺信息包括各个产线的工艺介绍信息以及加工流程信息；

[0065] 功能确定单元，用于获取每一个所述产线工艺信息所对应的产线设备，并确定所述产线设备的所述功能信息，所述功能信息用于反映所述产线设备对加工对象的加工效果。

[0066] 在一种实现方式中，所述设备分类模块10，包括：

[0067] 流程确定单元，用于基于所述功能信息，确定所述产线设备实现对应功能信息的工艺流程；

[0068] 设备分类单元，用于基于所述工艺流程，确定所述工艺流程的加工难易程度，并基于所述加工难易程度，对所述产线设备进行分类，得到所述设备类别信息，其中，所述设备类别信息包括第一类型设备与第二类型设备，其中，所述第一类型设备的设备部件数量多于所述第二类型设备的设备部件数量。

[0069] 在一种实现方式中，所述方案分析模块10，包括：

[0070] 第一方案分析模块，用于若所述设备类别信息为第一类型设备，则获取所述第一类型设备所对应的第一故障分析方案，所述第一故障分析方案为基于计算机视觉的故障分析方案；

[0071] 第二方案分析模块，用于若所述设备类别信息为第二类型设备，则获取所述第二类型设备所对应的第二故障分析方案，所述第二故障分析方案为基于音视频信息或者红外热感信息的故障分析方案。

[0072] 在一种实现方式中，所述方案分析模块10，包括：

[0073] 第一信息采集模块，用于若所述产线设备为第一类型设备，则基于所述第一故障分析方案采集所述第一类型设备在运行过程中的图像信息，并基于所述图像信息确定所述运行状态数据，其中，所述图像信息包括运动轨迹图像、加工过程图像；

[0074] 第二信息采集模块，用于若所述产线设备为第二类型设备，则基于所述第一故障分析方案采集所述第二类型设备在运行过程中的音视频信息或者红外热感信息，并基于所述音视频信息或者所述红外热感信息，确定所述第二类型设备的运行状态数据，其中，所述音视频信息包括所述第二类型设备在运行过程中的工作噪音以及设备提示音。

[0075] 在一种实现方式中，所述故障监控模块10，包括：

[0076] 特征提取单元，用于将用于反映所述运行状态数据的图像信息输入至预设的卷积神经网络中进行特征提取，得到图像特征，并对所述图像特征进行降噪，得到降噪后的图像特征；

[0077] 滤波处理单元，用于将用于反映所述运行状态数据的红外热感信息进行卡尔曼滤波处理，得到降噪后的红外热感信号；

[0078] 对用于反映所述运行状态数据的音视频信息使用傅里叶变换和高维投影，得到降噪后的音视频信号；

[0079] 音视频处理单元，用于分别将降噪后的图像特征、降噪后的音视频信号以及降噪后的红外热感信号进行向量化处理，得到待训练信号，所述待训练信号包括三种不同维度的向量信号；

[0080] 模型训练单元，用于根据所述待训练信号对所述BERT‑Transformer模型模型进行训练，得到故障预测模型。

[0081] 在一种实现方式中，所述模型训练单元，包括：

[0082] 信号输入子单元，用于将所述待训练信号输入所述BERT‑Transformer模型中，所述BERT‑Transformer模型包括编码器与解码器；

[0083] 信号拼接子单元，用于基于所述BERT‑Transformer模型的编码器接收所述待训练信号，并对所述待训练信号进行拼接，再经过多层注意力机制后，输出单一向量结果；

[0084] 向量处理子单元，用于将所述单一向量结果经过深度神经网络的DNN结构和sigmoid激活函数，输出二元向量结果，所述二元向量结果用于反映所述产线设备发生故障的概率；

[0085] 模型训练子单元，用于基于所述二元向量结果与人工标定的故障历史数据，训练所述BERT‑Transformer模型，得到所述故障预测模型。

[0086] 本实施例的基于多模态数据融合的故障预测装置中各个模块的工作原理与上述方法实施例中各个步骤的原理相同，此处不再赘述。

[0087] 基于上述实施例，本发明还提供了一种终端设备，所述终端设备的原理框图可以如图3所示。终端设备可以包括一个或多个处理器100（图3中仅示出一个），存储器101以及存储在存储器101中并可在一个或多个处理器100上运行的计算机程序102，例如， 基于多模态数据融合的故障预测的程序。一个或多个处理器100执行计算机程序102时可以实现APP主题场景控制的方法实施例中的各个步骤。或者，一个或多个处理器100执行计算机程序102时可以实现基于多模态数据融合的故障预测的装置实施例中各模块/单元的功能，此处不作限制。

[0088] 在一个实施例中，所称处理器100可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field‑Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

[0089] 在一个实施例中，存储器101可以是电子设备的内部存储单元，例如电子设备的硬盘或内存。存储器101也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡（smart media card，SMC），安全数字（secure digital，SD）卡，闪存卡（flash card）等。进一步地，存储器101还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器101用于存储计算机程序以及终端设备所需的其他程序和数据。存储器101还可以用于暂时地存储已经输出或者将要输出的数据。

[0090] 本领域技术人员可以理解，图3中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0091] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、运营数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双运营数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

[0092] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。