一种基于多源图像融合的输电线路巡检方法及系统

摘要

本发明提供了一种基于多源图像融合的输电线路巡检方法及系统，属于电力巡检技术领域。所述方法，包括：对红外图像与可见光图像分别进行分解，分别得到高频图像和低频分量；根据红外图像的像素强度信息得到低频分量融合权重，得到融合后的低频分量；根据红外图像的高频分量和可见光图像的高频分量，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，得到融合后的高频分量；将融合后的高频分量和低频分量合并得到融合结果图像；根据融合结果图像进行绝缘子串异常识别结果，根据识别到的污秽绝缘子的紫外图像，得到输电线路绝缘子异常放电识别结果；本发明提高了识别效率和识别精度。

权利要求

1.一种基于多源图像融合的输电线路巡检方法，其特征在于，包括以下过程：对获取的输电线路红外图像与可见光图像分别进行分解，得到红外图像的高频分量和低频分量以及可见光图像的高频图像和低频分量；

根据红外图像的像素强度信息得到低频分量融合权重，根据低频分量融合权重，将红外图像的低频分量与可见光图像的低频分量融合，得到融合后的低频分量；

根据红外图像的高频分量和可见光图像的高频分量，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，根据各高频分量对应的权重进行高频分量融合，得到融合后的高频分量；

将融合后的高频分量和低频分量合并，得到融合结果图像，根据融合结果图像与深度学习模型，得到输电线路绝缘子串污秽识别结果，获取识别到的污秽绝缘子的紫外图像，根据识别到的污秽绝缘子的紫外图像，得到输电线路绝缘子异常放电识别结果；

根据红外图像的像素强度信息得到低频分量融合权重，包括：

计算红外图像的低频分量的每个像素的绝对值并进行归一化，根据归一化的结果，得到低频分量融合权重；

根据低频分量融合权重将红外图像的低频分量与可见光图像的低频分量融合，包括：红外图像的低频分量的权重为a，可见光图像的低频分量的权重为1‑a；

得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，包括：红外图像的高频分量的视觉映射为X1和可见光图像的高频分量的视觉映射为X2，则红外图像的高频分量对应的权重为：X1/（X1+X2），可见光图像的高频分量对应的权重为：X2/（X1+X2）；

所述深度学习模型采用预训练的BP神经网络模型，所述的BP神经网络模型包括有输入层、隐含层和输出层，隐含层使用logsig函数，输出层使用purelin函数，其中隐含层的神经元数目为：其中，n为隐含层的神经元数目，ni为输入层的神经元数目，n0为输出层的神经元数目，a属于集合[1,10]。

2.如权利要求1所述的基于多源图像融合的输电线路巡检方法，其特征在于，图像融合过程的损失函数L为相似性损失L1、强度损失L2和梯度损失L3的融合；

其中，L= L1+αL2+ βL3，α和β为超参数。

3.一种基于多源图像融合的输电线路巡检系统，其特征在于，包括：

图像分解模块，被配置为：对获取的输电线路红外图像与可见光图像分别进行分解，得到红外图像的高频分量和低频分量以及可见光图像的高频图像和低频分量；

低频融合模块，被配置为：根据红外图像的像素强度信息得到低频分量融合权重，根据低频分量融合权重，将红外图像的低频分量与可见光图像的低频分量融合，得到融合后的低频分量；

高频融合模块，被配置为：根据红外图像的高频分量和可见光图像的高频分量，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，根据各高频分量对应的权重进行高频分量融合，得到融合后的高频分量；

融合识别模块，被配置为：将融合后的高频分量和低频分量合并后得到融合结果图像，根据融合结果图像与深度学习模型，得到输电线路绝缘子串污秽识别结果，获取识别到的污秽绝缘子的紫外图像，根据识别到的污秽绝缘子的紫外图像，得到输电线路绝缘子异常放电识别结果；低频融合模块中，根据红外图像的像素强度信息得到低频分量融合权重，包括：计算红外图像的低频分量的每个像素的绝对值并进行归一化，根据归一化的结果，得到低频分量融合权重；

根据低频分量融合权重将红外图像的低频分量与可见光图像的低频分量融合，包括：红外图像的低频分量的权重为a，可见光图像的低频分量的权重为1‑a；

高频融合模块中，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，包括：红外图像的高频分量的视觉映射为X1和可见光图像的高频分量的视觉映射为X2，则红外图像的高频分量对应的权重为：X1/（X1+X2），可见光图像的高频分量对应的权重为：X2/（X1+X2）；

所述深度学习模型采用预训练的BP神经网络模型，所述的BP神经网络模型包括有输入层、隐含层和输出层，隐含层使用logsig函数，输出层使用purelin函数，其中隐含层的神经元数目为：其中，n为隐含层的神经元数目，ni为输入层的神经元数目，n0为输出层的神经元数目，a属于集合[1,10]。

4.如权利要求3所述的基于多源图像融合的输电线路巡检系统，其特征在于，图像融合过程的损失函数L为相似性损失L1、强度损失L2和梯度损失L3的融合；

其中，L= L1+αL2+ βL3，α和β为超参数。

说明书

一种基于多源图像融合的输电线路巡检方法及系统

技术领域

[0001] 本发明涉及电力巡检技术领域，特别涉及一种基于多源图像融合的输电线路巡检方法及系统。

背景技术

[0002] 本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。

[0003] 绝缘子串指两个或多个绝缘子元件组合在一起，柔性悬挂导线的组件。绝缘子串是带有固定和运行需要的保护装置，用于悬挂导线并使导线与杆塔和大地绝缘，绝缘子串在长时间的应通过程中，容易发生污秽、裂缝、破损或者夹杂异物，进而导致绝缘子串的性能下降。

[0004] 目前，普遍的采用无人机巡检的方式对绝缘子串进行拍摄以确定绝缘子串的运行状况，通过采集巡检现场的可见光图像和红外光图像进行融合识别，发明人发现，目前的融合方法存在如下问题：

[0005] （1）现有的融合算法倾向于追求更好的视觉效果和更高的评价指标，网络层次越来越深、融合方法越来越复杂，从而导致融合的速度越来越慢，在方法的实用性和时效性上考虑的较少；

[0006] （2）因红外图像和可见光图像的成像方式的不同，目前基本都是采用孪生网络分别对红外图像和可见光图像进行特征提取，对图像的特征提取存在偏向，存在红外图像的能量特征丢失的问题；

[0007] （3）在进行污秽闪络放电的识别过程中，一般直接的对绝缘子串进行基于紫外图像的识别，不仅外界干扰因素较大，且不容易识别到是否是绝缘子污秽带来的闪络放电。

发明内容

[0008] 为了解决现有技术的不足，本发明提供了一种基于多源图像融合的输电线路巡检方法及系统，有效的避免了融合过程中能量特征的丢失问题，减少了大规模神经网络模型的应用，提高了识别效率和识别精度。

[0009] 为了实现上述目的，本发明采用如下技术方案：

[0010] 本发明第一方面提供了一种基于多源图像融合的输电线路巡检方法。

[0011] 一种基于多源图像融合的输电线路巡检方法，包括以下过程：

[0012] 对获取的输电线路红外图像与可见光图像分别进行分解，得到红外图像的高频分量和低频分量以及可见光图像的高频图像和低频分量；

[0013] 根据红外图像的像素强度信息得到低频分量融合权重，根据低频分量融合权重，将红外图像的低频分量与可见光图像的低频分量融合，得到融合后的低频分量；

[0014] 根据红外图像的高频分量和可见光图像的高频分量，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，根据各高频分量对应的权重进行高频分量融合，得到融合后的高频分量；

[0015] 将融合后的高频分量和低频分量合并，得到融合结果图像，根据融合结果图像与深度学习模型，得到输电线路绝缘子串污秽识别结果，获取识别到的污秽绝缘子的紫外图像，根据识别到的污秽绝缘子的紫外图像，得到输电线路绝缘子异常放电识别结果。

[0016] 作为本发明第一方面进一步的限定，根据红外图像的像素强度信息得到低频分量融合权重，包括：

[0017] 计算红外图像的低频分量的每个像素的绝对值并进行归一化，根据归一化的结果，得到低频分量融合权重。

[0018] 作为本发明第一方面进一步的限定，根据低频分量融合权重将红外图像的低频分量与可见光图像的低频分量融合，包括：

[0019] 红外图像的低频分量的权重为a，可见光图像的低频分量的权重为1‑a。

[0020] 作为本发明第一方面进一步的限定，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，包括：

[0021] 红外图像的高频分量的视觉映射为X1和可见光图像的高频分量的视觉映射为X2，则红外图像的高频分量对应的权重为：X1/（X1+X2），可见光图像的高频分量对应的权重为：X2/（X1+X2）。

[0022] 作为本发明第一方面进一步的限定，图像融合过程的损失函数L为相似性损失L1、强度损失L2和梯度损失L3的融合；

[0023] 其中， ， 和 为超参数。

[0024] 本发明第二方面提供了一种基于多源图像融合的输电线路巡检系统。

[0025] 一种基于多源图像融合的输电线路巡检系统，包括：

[0026] 图像分解模块，被配置为：对获取的输电线路红外图像与可见光图像分别进行分解，得到红外图像的高频分量和低频分量以及可见光图像的高频图像和低频分量；

[0027] 低频融合模块，被配置为：根据红外图像的像素强度信息得到低频分量融合权重，根据低频分量融合权重，将红外图像的低频分量与可见光图像的低频分量融合，得到融合后的低频分量；

[0028] 高频融合模块，被配置为：根据红外图像的高频分量和可见光图像的高频分量，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，根据各高频分量对应的权重进行高频分量融合，得到融合后的高频分量；

[0029] 融合识别模块，被配置为：将融合后的高频分量和低频分量合并后得到融合结果图像，根据融合结果图像与深度学习模型，得到输电线路绝缘子串污秽识别结果，获取识别到的污秽绝缘子的紫外图像，根据识别到的污秽绝缘子的紫外图像，得到输电线路绝缘子异常放电识别结果。

[0030] 作为本发明第二方面进一步的限定，低频融合模块中，根据红外图像的像素强度信息得到低频分量融合权重，包括：

[0031] 计算红外图像的低频分量的每个像素的绝对值并进行归一化，根据归一化的结果，得到低频分量融合权重。

[0032] 作为本发明第二方面进一步的限定，根据低频分量融合权重将红外图像的低频分量与可见光图像的低频分量融合，包括：

[0033] 红外图像的低频分量的权重为a，可见光图像的低频分量的权重为1‑a。

[0034] 作为本发明第二方面进一步的限定，高频融合模块中，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，包括：

[0035] 红外图像的高频分量的视觉映射为X1和可见光图像的高频分量的视觉映射为X2，则红外图像的高频分量对应的权重为：X1/（X1+X2），可见光图像的高频分量对应的权重为：X2/（X1+X2）。

[0036] 作为本发明第二方面进一步的限定，图像融合过程的损失函数L为相似性损失L1、强度损失L2和梯度损失L3的融合；

[0037] 其中， ， 和 为超参数。

[0038] 与现有技术相比，本发明的有益效果是：

[0039] 1、本发明创新性的提出了一种基于多源图像融合的输电线路巡检方法及系统，根据红外图像的像素强度信息得到低频分量融合权重，根据低频分量融合权重将红外图像的低频分量与可见光图像的低频分量融合，得到融合后的低频分量，有效的避免了融合过程中能量特征的丢失问题，减少了大规模神经网络模型的应用，提高了识别效率和识别精度。

[0040] 2、本发明创新性的提出了一种基于多源图像融合的输电线路巡检方法及系统，图像融合过程的损失函数L为相似性损失L1、强度损失L2和梯度损失L3的融合，其中，L= L1+αL2+ βL3，α和β为超参数，最大限度地保留了红外图像的热辐射信息和可见光图像的纹理信息。

[0041] 3、本发明创新性的提出了一种基于多源图像融合的输电线路巡检方法及系统，获取识别到的污秽绝缘子的紫外图像，根据识别到的污秽绝缘子的紫外图像，得到输电线路绝缘子异常放电识别结果，避免了外界干扰因素对异常放电识别的影响，且能够更快速的识别到绝缘子污秽带来的闪络放电。

[0042] 本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

[0043] 构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

[0044] 图1为本发明实施例1提供的基于多源图像融合的输电线路巡检方法的流程示意图；

[0045] 图2为本发明实施例2提供的基于多源图像融合的输电线路巡检系统的流程示意图。

具体实施方式

[0046] 下面结合附图与实施例对本发明作进一步说明。

[0047] 在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

[0048] 实施例1：

[0049] 如图1所示，本发明实施例1提供了一种基于多源图像融合的输电线路巡检方法，包括以下过程：

[0050] S1：对获取的输电线路红外图像与可见光图像分别进行拉普拉斯金字塔分解，得到红外图像的高频分量和低频分量以及可见光图像的高频图像和低频分量；

[0051] S2：根据红外图像的像素强度信息得到低频分量融合权重，根据低频分量融合权重将红外图像的低频分量与可见光图像的低频分量融合，得到融合后的低频分量；

[0052] S3：根据红外图像的高频分量和可见光图像的高频分量，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，根据各高频分量对应的权重进行高频分量融合，得到融合后的高频分量；

[0053] S4：将融合后的高频分量和低频分量合并后执行拉普拉斯逆变换，得到融合结果图像；

[0054] S5：根据融合结果图像与深度学习模型，得到输电线路绝缘子串污秽识别结果，获取识别到的污秽绝缘子的紫外图像，根据识别到的污秽绝缘子的紫外图像，得到输电线路绝缘子异常放电识别结果。

[0055] 具体的，拉普拉斯金字塔分解，包括：首先对原始图像进行低通波，然后进行下采样，得到低频分量，即原始图像的近似分量，对该低频分量进行上采样，对上采样得到的分量进行高通滤波，并将高通波后的分量与原始图像进行差分，最后得到拉普拉斯分解后的高烦通分量。

[0056] 具体的，根据红外图像的像素强度信息得到低频分量融合权重，包括：

[0057] 计算红外图像的低频分量的每个像素的绝对值并进行归一化，根据归一化的结果，得到低频分量融合权重。

[0058] 更具体的，包括：

[0059] 从红外图像中分解的低频部分的每个像素取的绝对值如下：

[0060] （1）

[0061] 其中，T反映了显著的红外特征分布，T1表示表示分解信息的最高层次，即低频信息，对于图像中的一个点x，一个较大的T（x）值会导致较大的像素强度值和显著的红外特征信息，对T进行归一化得到归一化后的变量M。

[0062] 引入非线性变换函数来进一步调整，来控制红外图像和可见光图像在融合图像中的相对有效信息：

[0063] （2）

[0064] 式中， 的范围为(0，1)，表示函数的自变量，函数参数 大于0，当 增加时，曲线的形状变陡，相应的非线性变换逐渐增强。因此，可通过调整 来控制合并结果中的红外信息的量，最终的低频信息融合权重可以表示为：

[0065] （3）

[0066] 即红外图像的低频分量的权重为a，可见光图像的低频分量的权重为1‑a，用a乘以红外图像的低频分量，用1‑a乘以可见光图像的低频分量，两者相加后得到低频分量的融合结果；

[0067] 得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，包括：

[0068] 红外图像的高频分量的视觉映射为X1，可见光图像的高频分量的视觉映射为X2，则红外图像的高频分量对应的权重为：b=X1/（X1+X2），可见光图像的高频分量对应的权重为：c=X2/（X1+X2）。

[0069] 更具体的，用b乘以红外图像的高频分量，用c乘以可见光图像的高频分量，两者相加后，得到高频分量的融合结果。

[0070] 可选的，图像融合过程的损失函数L为相似性损失L1、强度损失L2和梯度损失L3的融合，不断的进行权重以及分解参数的修正以达到最佳的融合效果；

[0071] 其中， ， 和 为超参数。

[0072] 结构相似度量Y根据亮度、对比度和结构信息的相似性来模拟失真，本实施例选用其来约束输入源图像对Q1和Q2与融合图像F之间的结构相似性，结构相似性损失L1的计算公式为：

[0073] L1=（（1‑Y（F，Q1））+（1‑Y（F，Q1）））*0.5（4）

[0074] 强度损失约束融合图像保持与源图像相似的强度分布，强度损失L2的计算公式为：

[0075] （5）

[0076] （6）

[0077] 其中，H和W分别表示图像的高度和宽度， 表示图像x和y之间的像素误差， 是控制两项之间权衡的一个正参数。

[0078] 梯度损失迫使融合图像包含丰富的纹理细节信息，梯度损失L3的计算公式为：

[0079] （7）

[0080] （8）

[0081] 式中，H和W分别表示图像的高度和宽度， 表示Sobel梯度算子，表示图像x和y之间的边缘信息损失， 用于调整融合图像中不同模态梯度信息的比例。

[0082] 具体的，深度学习模型采用预训练的BP神经网络模型，所述的BP神经网络模型包括有输入层、隐含层和输出层，隐含层使用logsig函数，输出层使用purelin函数，其中隐含层的神经元数目为：

[0083] （9）

[0084] 其中，n为隐含层的神经元数目，ni为输入层的神经元数目，n0为输出层的神经元数目，a属于集合[1,10]。

[0085] 以识别绝缘子的污秽等级为例，在每次完成绝缘子图像（包括可见光图像与红外光图像）的拍摄后，根据标准统计所有绝缘子污秽级别（人工标注），按照以上方式，获取并记录每个污秽级别下的红外热像，依据以上描述，收集五个污秽等级的绝缘子融合图像共500组，每个污秽等级均对应100组，各污秽等级中，选取80组作为训练组，20组作为试验组进行BP神经网络的训练。

[0086] 可选的，BP神经网络的损失函数可以为：

[0087] （10）

[0088] 其中，T（i,j）与Q（i,j）为预处理后的图像和标准图像在（i,j）位置的像素值，A为i的最大值，B为j的最大值。

[0089] 可以理解的，在其他一些实现方式中，针对裂缝、破损或者夹杂异物等也可以设定相应的等级采用融合后的人工标注图像进行识别（每种识别采用不同的训练模型），本领域技术人员可以根据具体工况进行选择，这里不再赘述。

[0090] 在得到绝缘子串的污秽等级识别结果之后，获取污秽等级较大的绝缘子串或者所有污秽等级的绝缘子串的紫外图像，根据紫外图像对污秽放电情况进行识别，这里的识别方法可以采用现有方案；

[0091] 采用紫外图像进行放电情况识别，可以对污秽等级较大的绝缘子串判断是否具备较大的放电情况，根据对放电情况与污秽等级的匹配，生成污秽等级与放电情况的对应关系，进而实现更精准的识别。

[0092] 实施例2：

[0093] 如图2所示，本发明实施例2提供了一种基于多源图像融合的输电线路巡检系统，包括：

[0094] 图像分解模块，被配置为：对获取的输电线路红外图像与可见光图像分别进行分解，得到红外图像的高频分量和低频分量以及可见光图像的高频图像和低频分量；

[0095] 低频融合模块，被配置为：根据红外图像的像素强度信息得到低频分量融合权重，根据低频分量融合权重，将红外图像的低频分量与可见光图像的低频分量融合，得到融合后的低频分量；

[0096] 高频融合模块，被配置为：根据红外图像的高频分量和可见光图像的高频分量，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，根据各高频分量对应的权重进行高频分量融合，得到融合后的高频分量；

[0097] 融合识别模块，被配置为：将融合后的高频分量和低频分量合并后得到融合结果图像，根据融合结果图像与深度学习模型，得到输电线路绝缘子串污秽识别结果，获取识别到的污秽绝缘子的紫外图像，根据识别到的污秽绝缘子的紫外图像，得到输电线路绝缘子异常放电识别结果。

[0098] 本实施例中，低频融合模块中，根据红外图像的像素强度信息得到低频分量融合权重，包括：

[0099] 计算红外图像的低频分量的每个像素的绝对值并进行归一化，根据归一化的结果，得到低频分量融合权重。

[0100] 本实施例中，根据低频分量融合权重将红外图像的低频分量与可见光图像的低频分量融合，包括：

[0101] 红外图像的低频分量的权重为a，可见光图像的低频分量的权重为1‑a。

[0102] 本实施例中，高频融合模块中，得到各高频分量的对应的视觉映射，进而得到各高频分量对应的权重，包括：

[0103] 红外图像的高频分量的视觉映射为X1和可见光图像的高频分量的视觉映射为X2，则红外图像的高频分量对应的权重为：X1/（X1+X2），可见光图像的高频分量对应的权重为：X2/（X1+X2）。

[0104] 可选的，图像融合过程的损失函数L为相似性损失L1、强度损失L2和梯度损失L3的融合；

[0105] 其中，L= L1+αL2+ βL3，α和β为超参数。

[0106] 所述各个模块的具体工作方法与实施例1中提供的相同，这里不再赘述。

[0107] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。