一种基于声源信息与热成像特征融合的电力设备缺陷诊断方法

摘要

本申请公开了一种基于声源信息与热成像特征融合的电力设备缺陷诊断方法，包括：获取电力设备的样本数据集，样本数据集至少包括同步采样、分帧处理后的声音信息和热红外视频流；对声音信息进行特征提取，并结合热红外视频流，采用卷积神经网络进行特征融合，生成缺陷诊断模型；根据样本数据集，对缺陷诊断模型进行训练，以确定缺陷诊断模型的运行参数，训练后的缺陷诊断模型用于电力设备的缺陷诊断。通过本申请中的技术方案，充分发挥声音与热成像的诊断优势，对电力设备各种缺陷进行有效识别，提高了缺陷识别效率与精度，能够及时发现并通知相关维修人员进行检修，确保电力设备处于正常运作状态，以免发生重大事故。

权利要求

1.一种基于声源信息与热成像特征融合的电力设备缺陷诊断方法，其特征在于，所述方法包括：步骤1，获取电力设备的样本数据集，所述样本数据集至少包括同步采样、分帧处理后的声音信息和热红外视频流；

步骤2，对所述声音信息进行特征提取，并结合所述热红外视频流，采用卷积神经网络进行特征融合，生成缺陷诊断模型；其中，对所述声音信息进行特征提取，具体包括：步骤201，采用小波包变换方式，对所述声音信息进行频域变换，生成声音频谱信息；

步骤202，利用梅尔滤波器组，对所述声音频谱信息进行滤波，并计算滤波后所述声音频谱信息对应的梅尔频率倒谱系数MFCC；

步骤203，采用梅尔频率倒谱系数MFCC的一阶和二阶差分作为所述声音频谱信息的动态特征，并将所述动态特征与所述梅尔频率倒谱系数MFCC进行拼接，生成所述声音频谱信息的声音特征参数；

步骤204，根据所述声音特征参数，对所述声音信息进行特征提取，生成声音特征向量；

步骤3，根据所述样本数据集，对所述缺陷诊断模型进行训练，以确定所述缺陷诊断模型的运行参数，所述训练后的缺陷诊断模型用于电力设备的缺陷诊断。

2.如权利要求1所述的基于声源信息与热成像特征融合的电力设备缺陷诊断方法，其特征在于，对所述分帧后的声音信息进行加窗处理，所述步骤201，具体包括：分别将所述小波包变换方式中的小波基和分解层数采用十进制编码，并确定取值范围，并将两种十进制编码组成双参数级联编码，以组成初始集合；

将所述声音信息划分为多个数据点，并用声信号序列进行表示，根据所述双参数级联编码，计算所述声信号序列的序列熵值E(u)，将所述序列熵值E(u)转换为适应度，所述适应度Fit(p)的计算公式为：Fit(u)＝‑E(u)

式中，I(n,k)为第n点数据点y(n,j)在第j层分解后的信号yj中的能量比重，N表示所述声音信号序列的所有数据点，u为所述初始集合中的双参数级联编码；

根据所述适应度，采用遗传算法和模拟退火算法，分别计算最优小波包基与最优分解层数，以对分频、加窗处理后的声音信息进行小波包分解，生成所述声音频谱信息。

3.如权利要求1所述的基于声源信息与热成像特征融合的电力设备缺陷诊断方法，其特征在于，所述步骤203，生成所述声音频谱信息的声音特征参数，具体包括：取前13维梅尔频率倒谱系数MFCC作为特征参数Ct，将特征参数Ct与一阶差分dt、二阶差分bt三者分别进行标准化；

分别计算所述特征参数Ct、所述一阶差分dt、所述二阶差分bt三者的权重因子的信息熵；

通过所述信息熵，计算所述权重因子，生成所述声音频谱信息的所述声音特征参数。

4.如权利要求1至3中任一项所述的基于声源信息与热成像特征融合的电力设备缺陷诊断方法，其特征在于，所述步骤2中，结合所述热红外视频流，采用卷积神经网络进行特征融合，生成缺陷诊断模型，具体包括：步骤211，对所述热红外视频流分帧后的热红外图片进行剪裁，并进行通道数扩张来提取出所述热红外图片的第一特征图；

步骤212，利用注意力模块机制，对所述第一特征图进行特征提取，生成第二特征图；

步骤213，根据剪裁后的热红外视频流，采用倒残差模块机制，建立与所述第二特征图间的捷径连接，利用所述注意力模块机制，进行特征提取，生成第三特征图；

步骤214，根据所述第三特征图，利用所述注意力模块机制，进行特征提取，并采用所述倒残差模块机制，建立与所述第三特征图间的捷径连接，生成第四特征图；

步骤215，将所述第四特征图进行平均池化操作，并输入至所述卷积神经网络的全连接层，生成热图像特征向量；

步骤216，采用所述卷积神经网络，对所述热图像特征向量和所述声音特征向量进行特征融合，生成所述缺陷诊断模型。

5.如权利要求4所述的基于声源信息与热成像特征融合的电力设备缺陷诊断方法，其特征在于，所述步骤212中，所述生成第二特征图，具体包括：使用不同的预设卷积核对所述第一特征图进行卷积，得到第一分支结果Y1和第二分支结果Y2；

对不同分支的所述第一分支结果Y1、所述第二分支结果Y2进行融合，并通过加权算法和卷积网络中的全连接层，生成两个权重矩阵a和b；

对最后两个分支的两个权重矩阵a和b，进行Softmax激活操作，得到所述最后两个分支中各个通道的权值，再与所述第一分支结果Y1、所述第二分支结果Y2相乘，生成所述第二特征图。

说明书

一种基于声源信息与热成像特征融合的电力设备缺陷诊断

方法

技术领域

[0001] 本申请涉及电力设备检测的技术领域，具体而言，涉及一种基于声源信息与热成像特征融合的电力设备缺陷诊断方法。

背景技术

[0002] 电网中存在各种各样电力设备，不同电力设备承担各自的重大任务，电力设备结构复杂、且长期工作于户外，内外部发生着各种不同的物理化学反应，难免出现设备缺陷。随着劣化程度不断加剧，将会导致电网运作失稳，带来重大经济损失。因此，提升电力设备的稳定性，确保其正常工作，是我们极为关注的问题，电力设备诊断技术研究具有十分重大的意义。

[0003] 电力设备缺陷有很多种，包括热缺陷、电缺陷等，当电力设备运行状态出现缺陷时，会产生不同的异响，与正常状态声音频率有很大差异，偶尔伴随着发热。通过人为听声音或者观察热成像的方法对电力设备缺陷检测，受人为因素影响较大，而且只适用于有丰富经验的工人以及缺陷特别明显的情况。

[0004] 随着深度学习技术的广泛应用，可通过将声音转化为二维图像放入卷积网络实现缺陷识别，然而采用这种方式诊断和定位异响缺陷，计算复杂度很高，甚至影响声源信息完整性。同理，通过热成像进行缺陷识别时，一般用来诊断发热缺陷，只能识别缺陷的平面信息，如果存在没有明显发热现象的缺陷，会大大影响识别准确率，影响缺陷判断。

[0005] 然而，电力设备的异响与发热缺陷之间有相关性，一般异响与发热表征会伴生，但对早期缺陷可能存在至少一种表征不明显的现象，若采用单一信源进行缺陷诊断，容易漏诊早期缺陷，因此，采用声音与热成像融合技术能够诊断电力设备更多类型的缺陷。

[0006] 而目前声音信息与热成像融合技术尚浅，目前相对较好的方法是采用一般的卷积神经网络CNN将二者特征融合，然而存在声音信息的完整性低，计算复杂度高，导致识别精度低等问题，并且尚未发现融合技术用于对电力设备进行缺陷诊断，缺陷诊断仍采用单源信息对设备进行故障诊断。

发明内容

[0007] 本申请的目的在于：充分发挥声音与热成像的诊断优势，对电力设备各种缺陷进行有效识别，增加缺陷识别类型，提高了缺陷识别效率与精度，能够及时发现并通知相关维修人员进行检修，确保电力设备处于正常运作状态，以免发生重大事故。

[0008] 本申请的技术方案是：提供了一种基于声源信息与热成像特征融合的电力设备缺陷诊断方法，该方法包括：

[0009] 步骤1，获取电力设备的样本数据集，样本数据集至少包括同步采样、分帧处理后的声音信息和热红外视频流；

[0010] 步骤2，对声音信息进行特征提取，并结合热红外视频流，采用卷积神经网络进行特征融合，生成缺陷诊断模型；

[0011] 步骤3，根据样本数据集，对缺陷诊断模型进行训练，以确定缺陷诊断模型的运行参数，训练后的缺陷诊断模型用于电力设备的缺陷诊断。

[0012] 上述任一项技术方案中，进一步地，步骤2中，对声音信息进行特征提取，具体包括：

[0013] 步骤201，采用小波包变换方式，对声音信息进行频域变换，生成声音频谱信息；

[0014] 步骤202，利用梅尔滤波器组，对声音频谱信息进行滤波，并计算滤波后声音频谱信息对应的梅尔频率倒谱系数MFCC；

[0015] 步骤203，采用梅尔频率倒谱系数MFCC的一阶和二阶差分作为声音频谱信息的动态特征，并将动态特征与梅尔频率倒谱系数MFCC进行拼接，生成声音频谱信息的声音特征参数；

[0016] 步骤204，根据声音特征参数，对声音信息进行特征提取，生成声音特征向量。

[0017] 上述任一项技术方案中，进一步地，对分帧后的声音信息进行加窗处理，步骤201，具体包括：

[0018] 分别将小波包变换方式中的小波基和分解层数采用十进制编码，并确定取值范围，并将两种十进制编码组成双参数级联编码，以组成初始集合；

[0019] 将声音信息划分为多个数据点，并用声信号序列进行表示，根据双参数级联编码，计算声信号序列的序列熵值E(u)，将序列熵值E(u)转换为适应度，适应度Fit(p)的计算公式为：

[0020] Fit(u)＝‑E(u)

[0021]

[0022]

[0023] 式中，I(n,j)为第n点数据点y(n,j)在第j层分解后的信号yj中的能量比重，N表示声音信号序列的所有数据点，u为初始集合中的双参数级联编码；

[0024] 根据适应度，采用遗传算法和模拟退火算法，分别计算最优小波包基与最优分解层数，以对分频、加窗处理后的声音信息进行小波包分解，生成声音频谱信息。

[0025] 上述任一项技术方案中，进一步地，步骤203，生成声音频谱信息的声音特征参数，具体包括：

[0026] 取前13维梅尔频率倒谱系数MFCC作为特征参数Ct，将特征参数Ct与一阶差分dt、二阶差分bt三者分别进行标准化；

[0027] 分别计算特征参数Ct、一阶差分dt、二阶差分bt三者的权重因子的信息熵；

[0028] 通过信息熵，计算权重因子，生成声音频谱信息的声音特征参数。

[0029] 上述任一项技术方案中，进一步地，步骤2中，结合热红外视频流，采用卷积神经网络进行特征融合，生成缺陷诊断模型，具体包括：

[0030] 步骤211，对热红外视频流分帧后的热红外图片进行剪裁，并进行通道数扩张来提取出热红外图片的第一特征图；

[0031] 步骤212，利用注意力模块机制，对第一特征图进行特征提取，生成第二特征图；

[0032] 步骤213，根据剪裁后的热红外视频流，采用倒残差模块机制，建立与第二特征图间的捷径连接，利用注意力模块机制，进行特征提取，生成第三特征图；

[0033] 步骤214，根据第三特征图，利用注意力模块机制，进行特征提取，并采用倒残差模块机制，建立与第三特征图间的捷径连接，生成第四特征图；

[0034] 步骤215，将第四特征图进行平均池化操作，并输入至卷积神经网络的全连接层，生成热图像特征向量；

[0035] 步骤216，采用卷积神经网络，对热图像特征向量和声音特征向量进行特征融合，生成缺陷诊断模型。

[0036] 上述任一项技术方案中，进一步地，步骤212中，生成第二特征图，具体包括：

[0037] 使用不同的预设卷积核对第一特征图进行卷积，得到第一分支结果Y1和第二分支结果Y2；

[0038] 对不同分支的第一分支结果Y1、第二分支结果Y2进行融合，并通过加权算法和卷积网络中的全连接层，生成两个权重矩阵a和b；

[0039] 对最后两个分支的两个权重矩阵a和b，进行Softmax激活操作，得到最后两个分支中各个通道的权值，再与第一分支结果Y1、第二分支结果Y2相乘，生成第二特征图。

[0040] 本申请的有益效果是：

[0041] 本申请中的技术方案，采用保留声源信息量，减少计算复杂度的声音特征提取方法，并设计少参数量，高精度的卷积神经网络将提取出的声音特征与热成像进行特征融合，最终实现采用多源信息融合的电力设备的智能故障诊断。

[0042] 相比目前人工声学诊断电力设备异响或发热情况，使用卷积神经网络模型将声音特征参数与热成像特征融合，通过实时采集电力设备运行状态声音与热成像视频流，结合计算机视觉与模式识别、声音识别、图像处理等相关算法，对所采集数据进行缺陷自动检测与分析方法，实现了电力设备多种发热、异响缺陷类型的识别。本发明的优势主要体现在以下几个方面：

[0043] (1)声音特征提取效果佳。本申请采用的方法相比于传统的梅尔频率倒谱系数(Mel‑scaleFrequencyCepstral Coefficients，MFCC)，避免了大部分参数人为设置，解决了整个模型识别精度受人为因素影响的问题。其中，采用优化算法得到小波包变换最佳小波基与最佳分解层数，避免了声源信号信息的丢失；采用信息熵方法求取特征参数、一阶差分、二阶差分三者的权重因子，得到最能体现声音特征的参数。

[0044] (2)实现实时在线诊断。原有的方法对电力设备进行监测时，采集信号通过人为判断的方式进行声学诊断或热诊断，本申请采用设计的卷积神经网络将声音特征与热特征进行特征融合，结合了注意力模块与倒残差模块，提高网络的精度的同时减少了计算量，可以通过声传感器与热成像采集设备进行实时监测识别设备缺陷，并及时发出警告，通知维修人员针对缺陷原因进行维修，排除隐患。

[0045] (3)早期缺陷诊断灵敏度高，适用性强。与传统声学诊断与热成像诊断相比，本申请通过异响和发热表征共同判定故障类型，增加有效判据信息，提高对表征不明显的早期缺陷的可诊断能力，做到早发现、早运维。本申请的判据采集通道多源，能够根据单一缺陷表征信息和/或多缺陷表征信息进行缺陷诊断，可适用于各种电力设备缺陷诊断，适用性强。

[0046] (4)识别精度高。相比较与其他卷积网络，本申请采用设计的卷积神经网络，将声音特征与热特征进行特征融合，异响特征与发热特征提供了丰富的信息，增强了多尺度缺陷判据，因此，对于表征不明显的缺陷类型也可以很精确的进行诊断。

附图说明

[0047] 本申请的上述和/或附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：

[0048] 图1是根据本申请的一个实施例的基于声源信息与热成像特征融合的电力设备缺陷诊断方法的示意流程图；

[0049] 图2是根据本申请的一个实施例的热成像与声音信号特征融合的示意流程图；

[0050] 图3是根据本申请的一个实施例的注意力模块机制的示意图；

[0051] 图4是根据本申请的一个实施例的多目标最优算法的示意流程图。

具体实施方式

[0052] 为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。

[0053] 在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。

[0054] 如图1所示，本实施例提供了一种基于声源信息与热成像特征融合的电力设备缺陷诊断方法，该方法包括：

[0055] 步骤1，获取电力设备的样本数据集，样本数据集至少包括同步采样、分帧处理后的声音信息和热红外视频流，其中，该声音信号还经过加窗处理；

[0056] 本实施例中，采用麦克风作为声音信息采集设备，设定声音信息为采样率为16KHz的单通道音频，包含电力设备的多种运行状态下的样本信息，即正常运行状态与各种缺陷发生时的状态。每种状态取5s作为训练数据，2s作为测试数据，并为了热红外视频流进行同步采样，与对声音信号进行分帧处理，帧长25ms，帧移10ms，每秒65帧。

[0057] 采用红外热像仪作为热红外视频流采集设备，设定红外热像仪采样速度设置为65fps，同时与麦克风进行同步采样，保证采样数据相同时间、相同状态。将采集到的热红外视频流进行分帧处理，每种状态取5s作为训练数据，2s作为测试数据，并将每帧热成像进行手工标注。

[0058] 进一步的，为了使声音信息的开头与结尾处的声音变化更平滑，对分帧处理后的声音信息，进行加窗处理，将分帧、加窗处理后的声音信息，作为样本数据集中的声音信息，其中，进行加窗处理的计算公式为：

[0059]

[0060] 式中，n为每帧声信号，即序列中的每个点，N为序列的长度，I0为零阶的第一类修正贝索函数，α是任意非负实数，用来调整窗的外形，本实施例中设定α＝3/N。

[0061] 步骤2，对声音信息进行特征提取，并结合热红外视频流，采用卷积神经网络进行特征融合，生成缺陷诊断模型；

[0062] 具体的，在进行声音信息特征提取时，通常采用梅尔频率倒谱系数(Mel‑scaleFrequencyCepstral Coefficients，MFCC)与卷积神经网络CNN，然而采用卷积神经网络CNN进行声音特征提取时，提取过程涉及到的计算复杂度较高，而且在声音原始信息(声音信息)进行转换时会带来信息量减少，相比之下，采用梅尔频率倒谱系数MFCC手工定义的转换在声音特征提取方面接近最优。并且，电力设备运行状态的声音信息极其重要，为了与热成像特征融合时尽量保证声源信息特征的准确，电力设备声音特征提取更适合采用梅尔频率倒谱系数MFCC。

[0063] 如图2所示，本实施例对声音信息进行特征提取的方法具体包括：

[0064] 步骤201，采用小波包变换方式，对声音信息进行频域变换，生成声音频谱信息；

[0065] 具体的，声音信息在时域上变化快速且不稳定，因此，需要将其转换到频域上以分析声音信息在不同频段的能量分布。

[0066] 这种变换方法可以采用短时傅里叶变换，而短时傅里叶变换的窗口是固定的，根据电力设备声信号特征分析，无法满足其非稳态信号变化的频率要求。因此，本实施例中采用小波包变换方式，能够对声音信息中包含的大量中、高频信息的信号进行更好的时频局部化分析，生成声音频谱信息。

[0067] 步骤202，利用梅尔滤波器组，对声音频谱信息进行滤波，并计算滤波后声音频谱信息对应的梅尔频率倒谱系数MFCC；

[0068] 具体的，本实施例中的梅尔滤波器组采用三角滤波，该滤波器组的个数设置为26，计算每个滤波器组输出的对数能量，经过离散余弦变换，去除由三角滤波生成的一组输出值之间的相关性，得到梅尔频率倒谱系数MFCC。

[0069] 步骤203，采用梅尔频率倒谱系数MFCC的一阶差分和二阶差分作为声音频谱信息的动态特征，并将动态特征与梅尔频率倒谱系数MFCC进行拼接，生成声音频谱信息的声音特征参数；

[0070] 具体的，由于求得的梅尔频率倒谱系数MFCC是短时帧对应的声学特征，不能直接反映帧间声信号的动态变化，所以需要增加特征来表示这种帧间的动态变化。

[0071] 因此，在本实施例中采用梅尔频率倒谱系数MFCC的一阶和二阶差分作为声音的动态特征，并将它们与梅尔频率倒谱系数MFCC系数拼接在一起作为声音频谱信息的声音特征参数。其中，一阶差分dt的计算公式为：

[0072]

[0073] 式中，dt表示第t个一阶差分；Ct表示第t个倒谱系数；Q表示倒谱系数的阶数；K表示一阶导数的时间差，可取1或2。将上式中结果再代入就可以得到二阶差分的参数。

[0074] 进一步的，步骤203具体包括：

[0075] 取前13维梅尔频率倒谱系数MFCC作为特征参数Ct，将特征参数Ct与一阶差分dt、二阶差分bt三者分别进行标准化。标准化后的值分别为C′t、d′t，b′t。

[0076] 以Ct为例，标准化计算公式为：

[0077]

[0078] 分别计算特征参数Ct、一阶差分dt、二阶差分bt三者的权重因子的信息熵E。

[0079] 需要说明的是，若某个指标(特征参数Ct、一阶差分dt、二阶差分bt)的信息熵越大，表明指标值得变异程度越小，提供的信息量也越少，在综合评价中所起到的作用也越小，其权重也就越小。

[0080] 以标准化后的特征参数C′t为例，信息熵求解公式为：

[0081]

[0082] 其中， n表示特征参数的维度。同理，可得一阶差分dt、二阶差分bt的信息熵Ed、Eb。

[0083] 通过信息熵计算权重因子γ、α、β，生成声音频谱信息的声音特征参数，其中，声音特征参数的计算公式为：

[0084] Gt＝γCt+αdt+βbf

[0085]

[0086]

[0087]

[0088] 步骤204，根据声音特征参数，对声音信息进行特征提取，生成声音特征向量。

[0089] 需要说明的是，本实施例对采用特征提取生成声音特征向量的方式并不限定。

[0090] 本实施例还示出一种基于卷积神经网络，融合热红外视频流与声音特征向量的缺陷诊断模型，以实现声音与热成像的特征融合的方法。将该网络命名为SA‑CNN，在SA‑CNN中引入的注意力模块机制实现了在网络中使用多尺寸的卷积核，让网络自己选择合适的尺度等功能，并采用倒残差模块机制解决了网络梯度消失、网络退化等问题。

[0091] 其次，本发明设计的网络在计算上属于轻量级通过将精度损失控制在可控范围内，以大幅度降低参数和计算量，与常规网络相比，本实施例中的注意力模块机制中没有采用标准卷积，而是采用深度可分离卷积以及空洞卷积，减少了参数和计算量，非常适用于嵌入式设备中；最后，该网络在没有大量定制设计的情况下，仍具备很好的场景适用性，采集通道多源，能够根据单一缺陷表征信息和/或多缺陷表征信息进行缺陷诊断，可适用于各种电力设备缺陷诊断，适用性强。

[0092] 本实施例还示出一种生成该缺陷诊断模型的方法具体包括：

[0093] 步骤211，对热红外视频流分帧后的热红外图片进行裁剪，并进行通道数扩张来提取出热成像图片的第一特征图。

[0094] 具体的，将样本数据集中分帧后的热红外视频流通过裁剪等方式统一大小为112x112，之后通过1x1卷积、批正则化处理和激活函数操作进行通道数扩张，并提取热红外视频流的第一特征图。

[0095] 需要说明的是，一般情况下激活函数可以采用ReLU激活函数，虽然ReLU缓解了消失的梯度问题，但是ReLU在输入为负时导数会变成0，这会引起神经元死亡的问题。因此，本实施例中对激活函数进行调整，调整后的激活函数的计算公式为：

[0096]

[0097] 式中，μ、 都是一个可调整的参数，μ是从一个正态分布N(0，1)中随机抽取的数值，它控制着负值部分在何时饱和。是[1，2)间的数值，控制负值斜率的波动幅度。x为横坐标自变量，函数f(x)为因变量，在网络中对每一层网络的输出进行激活函数，该函数在输入取较小值时具有软饱和的特性，提升了对噪声的鲁棒性。

[0098] 步骤212，利用注意力模块机制，对第一特征图进行特征提取，生成第二特征图。

[0099] 在本实施例中，如图3所示，该步骤212中，生成第二特征图的方法具体包括：

[0100] 使用不同的预设卷积核对第一特征图进行卷积，即对第一特征图分别通过3×3深度可分离卷积和3x3空洞卷积，得到第一分支结果Y1和第二分支结果Y2，其中，相比于传统的卷积方式，3×3深度可分离卷积减少了参数，3x3空洞卷积避免了标准卷积后的池化操作而导致信息丢失，不增加参数量的同时增大了感受野，感受野大小为5×5。

[0101] 对不同分支的输出第一分支结果Y1和第二分支结果Y2进行融合，即逐元素进行相加得到中间特征图Yc，并通过加权算法和卷积网络中的全连接层，生成两个权重矩阵a和b。

[0102] 需要说明的是，该过程对输出作池化操作时不仅考虑到平均值池化(Average Pooling)，还考虑了最大值池化(Max Pooling)其中，平均池化和最大池化均可用来聚合特征映射的空间信息，平均池化可以对特征图每个像素进行反馈，最大池化可以关注到特征图中局部重点内容，而相比之下，本实施例中的该过程更关注全局信息。因此，对不同池化给与不同权重，加权叠加最终得到每一个通道上的全局信息Sc，其计算公式如下：

[0103]

[0104] 式中，Fgp为全局平均池化操作，Fmp为最大池化操作，H、W分别为中间特征图Yc的高和宽，c为中间特征图Yc的通道数。

[0105] 最后，将Sc展平，送入全连接层Ffc，得到向量Z，并输出的两个权重矩阵a和b，其中，全连接层Ffc为先降维再升维的两层全连接层。

[0106] 对最后的两个分支的权重矩阵a和b，进行每个位置各自的Softmax激活操作，可得到两个分支中每个通道各自的权值，再与第一分支结果Y1和第二分支结果Y2相乘，最后进行特征叠加，最终得到经过通道注意力模块后的第二特征图。

[0107] 步骤213，根据剪裁后的热红外视频流，采用倒残差模块机制，建立与第二特征图间的捷径连接，利用注意力模块机制，进行特征提取，生成第三特征图；

[0108] 步骤214，根据第三特征图，利用注意力模块机制，进行特征提取，并采用倒残差模块机制，建立与第三特征图间的捷径连接，生成第四特征图；

[0109] 具体的，考虑到神经网络通过基于梯度的BP算法来优化，随着参数传播，模型会出现梯度弥散问题，导致训练难以收敛，此外，随着网络深度增加，出现的网络退化问题即网络的表现先是逐渐增加至饱和，然后迅速下降。

[0110] 因此，本实施例在该网络上引入两个倒残差模块解决上述问题，分别是：剪裁后的热红外视频流与第二特征图建立捷径连接，将第二次注意力模块后的第三特征图与第三次注意力模块后的特征图建立捷径连接。

[0111] 步骤215，将第四特征图进行平均池化操作，并输入至卷积神经网络的全连接层，生成热图像特征向量；

[0112] 步骤216，采用卷积神经网络，对热图像特征向量和声音特征向量进行特征融合，生成缺陷诊断模型。

[0113] 具体的，热特征(热图像特征向量)与声音特征融合将得到的13维声音特征参数展平，将特征向量与热特征向量进行拼接，依次经过两个全连接层，生成缺陷诊断模型。如果缺陷类别有N个，最后一个全连接层神经元个数为N，经过softmax激活函数得到分类置信度，则缺陷诊断模型便可输出缺陷预测分类结果。

[0114] 进一步的，在进行声音信息特征提取时，考虑到梅尔频率倒谱系数MFCC是基于人耳听觉特性提出来的，对于电力设备这种环境声音识别能力有一点下降，因此，结合电力设备运行状态声音特点，如图4所示，本实施例还示出一种生成声音频谱信息的方法，将遗传算法与模拟退火算法相结合，以提高声音信息特征提取的准确性，进而提高声音信息与热红外视频流进行特征融合，生成缺陷诊断模型的准确性。该方法具体包括：

[0115] 步骤A，分别将小波包变换方式中的小波基和分解层数采用十进制编码，并确定取值范围，并将两种十进制编码组成双参数级联编码，组成初始集合，其中，每个双参数级联编码表示初始集合中的一个可行解。

[0116] 具体的，本实施例在生成声音频谱信息时，引入遗传算法，为了提升算法的局部搜索能力，方便交叉和变异，并节约存储空间。首先将小波基和分解层数采用十进制编码，并确定取值范围为[1,14]，利用每一位编码代表遗传变异算法中的一个基因，然后将两种十进制编码组成双参数级联编码，以表示一个可行解。

[0117] 本实施例中采用随机生成的方式，生成20个双参数级联编码，即20个可行解，组成了一个初始集合，其中，每一个双参数级联编码为初始集合中的编码结果。

[0118] 步骤B，将声音信息划分为多个数据点，并用声信号序列进行表示，根据双参数级联编码，计算声信号序列的序列熵值E(u)，将序列熵值E(u)转换为适应度，适应度Fit(u)的计算公式为：

[0119] Fit(u)＝‑E(u)

[0120]

[0121]

[0122] 式中，I(n,j)为第n点数据y(n,j)在第j层分解后的信号yj中的能量比重，N表示声音信号序列的所有数据点，u为初始集合中的双参数级联编码。

[0123] 需要说明的是，信号分布越均匀，熵值越小。适应度越大，越接近最优解。即序列熵值E(p)越小，适应度Fit(p)越大，越接近最优解，熵值最小的编码结果(双参数级联编码)即为最优基与最优分解层数。

[0124] 因此，找到熵值最小的那个双参数级联编码，即为对应的最优小波包基与最优分解层数。

[0125] 步骤C，计算初始集合的每个双参数级联编码的适应度，随机选择部分双参数级联编码进行复制，生成第一集合，直到新的第一集合规模与初始集合规模相同时结束复制。

[0126] 具体的，采用随机策略，每个编码结果被选中概率相同，每次随机取5个为一组，在每一组中适应度排序，前40％即较大适应度的编码结果复制两次，适应度较低的编码结果以40％概率淘汰，20％的编码结果复制一次。即适应度值越好的被选择的概率越大，减小了选择的误差，从而最大概率保证最优编码结果被选择，最差编码结果被淘汰。

[0127] 步骤D，将适应度高于平均适应度的编码结果(双参数级联编码)进行随机配对，剩下的编码结果之间进行配对，最终产生完全不同的、配对后的多个双参数级联编码，以生成第二集合，计算并保存第二集合中各配对后的双参数级联编码的配对后的适应度，其中，平均适应度为适应度Fit(p)的平均值。

[0128] 通过上述方式，相比于传统方法中，将任意两个编码结果根据交叉概率随机配对的方式，本实施例中的配对方式，能够提高交叉后群体的质量，从而加速了寻优收敛。

[0129] 步骤E，依据变异概率pm，将第二集合中的某些配对后的双参数级联编码用其它双参数级联编码来替换，最终形成一个新的编码结果，即变异后的双参数级联编码，以生成第三集合，其中，其它双参数级联编码由第二集合中配对后的双参数级联编码根据遗传算法确定。

[0130] 其中，为了使变异概率pm能够随适应度变化作出自适应调整，即当适应度较高时，变异概率变小，而适应度较低的，变异概率变大，变异概率pm的计算公式为：

[0131]

[0132] 式中，pm1、pm2为预设概率，pm1＜2pm2，本实施例中设定pm1＝0.08，pm2＝0.05，Fmax为最优编码结果适应度，Fm为平均编码结果适应度。

[0133] 为了最大程度保留适应度较高的编码结果(变异后的双参数级联编码)，防止变异后破坏原始编码结果(初始集合中的双参数级联编码)适应度，本实施例采用保留最高适应度策略，即计算变异后的双参数级联编码适应度与变异前适应度的差异，若变异后适应度变低，则保留变异前的编码结果，计算保留比例作为阈值，将变异后的双参数级联编码中适应度较低且低于变异前适应度的双参数级联编码淘汰，淘汰率不得大于阈值。

[0134] 步骤F，根据第三集合中变异后的双参数级联编码，计算最优编码结果适应度Fmax与平均编码结果适应度Fm，当不满足上述条件Fm

[0135] 当满足条件Fm

[0136] 步骤G，根据适应度，采用上述步骤C至步骤F中的遗传算法和模拟退火算法，分别计算最优小波包基与最优分解层数，以对分帧加窗处理后的声音信息进行小波包分解，生成声音频谱信息。

[0137] 通过上述方法，确定小波包变换方式中的小波基和最优的分解层数，避免了小波包分解层数与小波基的人为选择，优化了特征提取的效果，进而提高了电力沈北缺陷诊断的准确性。

[0138] 相比传统的优化算法，比如遗传算法、模拟退火算法，本实施例中生成声音频谱信息的方法，解决了二进制编码导致所占用的储存空间很大、容易陷入局部最优解、收敛速度慢等问题。

[0139] 步骤3，根据样本数据集，对缺陷诊断模型进行训练，以确定缺陷诊断模型的运行参数，训练后的缺陷诊断模型用于电力设备的缺陷诊断。

[0140] 本实施例中的模型可对多种类型电力设备进行数据采集，并进行训练，训练后的模型可部署在监测装置上进行实时推理分析，以实现不同电力设备的缺陷诊断。

[0141] 以上结合附图详细说明了本申请的技术方案，本申请提出了一种基于声源信息与热成像特征融合的电力设备缺陷诊断方法，包括：步骤1，获取电力设备的样本数据集，样本数据集至少包括同步采样、分帧处理后的声音信息和热红外视频流；步骤2，对声音信息进行特征提取，并结合热红外视频流，采用卷积神经网络进行特征融合，生成缺陷诊断模型；步骤3，根据样本数据集，对缺陷诊断模型进行训练，以确定缺陷诊断模型的运行参数，训练后的缺陷诊断模型用于电力设备的缺陷诊断。通过本申请中的技术方案，充分发挥声音与热成像的诊断优势，对电力设备各种缺陷进行有效识别，提高了缺陷识别效率与精度，能够及时发现并通知相关维修人员进行检修，确保电力设备处于正常运作状态，以免发生重大事故。

[0142] 本申请中的步骤可根据实际需求进行顺序调整、合并和删减。

[0143] 本申请装置中的单元可根据实际需求进行合并、划分和删减。

[0144] 尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。