本发明的目的是提供一种带电设备的缺陷诊断方法及设备，本发明克服了现有技术的不足，包括：将各种带电设备的热像图进行预处理得到灰度图；在所述灰度图中标出各个真实框，分别对各个真实框进行标记，以标记后的灰度图建立带电设备的检测数据集；将所述带电设备的检测数据集划分训练集、验证集和测试集；构建改进的Faser R‑CNN网络模型，Faser R‑CNN网络模型的训练。本发明可以对带电设备进行识别，对设备的故障进行初步诊断，本发明用算法代替人工进行自动识别，能够提升带电设备的检测精度，同时提升带电设备的故障的检测精度。本发明针对带电设备的红外热像检测及其故障诊断，检测精度高，检测速度快。
1.一种带电设备的缺陷诊断方法，其中，该方法包括：
在所述灰度图中标出各个真实框，分别对各个真实框进行标记，所述标记的内容包括每个真实框对应的带电设备的类型、是否故障、故障的位置及故障的类别，以标记后的灰度图建立带电设备的检测数据集；
将所述带电设备的检测数据集划分训练集、验证集和测试集；
构建改进的Faser R-CNN网络模型，包括：采用EfficientNet-B4作为骨干特征提取网络，所述骨干特征提取网络提取输入的训练集、验证集中的灰度图的特征图，以得到第一特征图FM1；边框生成网络利用生成的第一特征图FM1从边框生成网络的先验框中调整和筛选出候选框，其中，所述边框生成网络的先验框是根据训练集、验证集中故障的位置的面积大小设计为在第一特征图FM1的每个像素位置上分别采用三种面积像素并分别采用三种长宽比例的方式，共获得9个锚框；融合上下文的感兴趣区域池化模块利用生成的第一特征图FM1作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图FM4；分类和边框回归模块利用区域特征图FM4并结合位置敏感平均池化得到带电设备的类型和故障的类别，同时对所述候选框进行卷积和非极大值抑制获得预测框；
Faser R-CNN网络模型的训练，包括：冻结所述骨干特征提取网络即EfficientNet-B4；
训练边框生成网络，包括：将锚框经过卷积操作得到锚框的框选区域属于故障的概率、设备的概率以及锚框调整后的参数，进而基于故障的概率、设备的概率以及锚框调整后的参数将锚框调整为候选框，并基于骨干特征提取网络的总损失调整候选框；训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块，并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框；解冻骨干特征提取网络，并冻结骨干特征提取网络中的第1 4浅层卷积层，训练包括冻结第1 4浅层卷积层的骨干特征提取网~ ~络、边框生成网络、融合上下文的感兴趣区域池化模块以及分类和边框回归模块的整个网络权重，并基于骨干特征提取网络的总损失调整候选框；并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框，以得到训练完成的改进的Faser R-CNN网络模型；
采用所述测试集对训练完成的改进的Faser R-CNN网络模型进行评价，以得到优化的改进的Faser R-CNN网络模型；
基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断。
2.根据权利要求1所述的方法，其中，融合上下文的感兴趣区域池化模块利用生成的第一特征图FM1作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图FM4，包括：将第一特征图FM1作为全局特征图；
将所述全局特征图进行融合上下文的感兴趣区域池化得到第二特征图FM2；
由所述候选框映射到所述全局特征图上产生局部特征图；
将所述局部特征图进行融合上下文的感兴趣区域池化，得到第三特征图FM3，其中，所述第二特征图FM2和第三特征图FM3的尺寸相同；
对所述第二特征图FM2和第三特征图FM3先进行关联然后进行卷积，得到区域特征图FM4。
3.根据权利要求1所述的方法，其中，分类和边框回归模块利用区域特征图FM4并结合位置敏感平均池化得到带电设备的类型和故障的类别，包括：将区域特征图FM4经过k（2 Ci+1）个尺寸为3×3、步长为1的卷积核进行卷积得到从左到右有k（2 Ci+1）个通道的第五特征图FM5，其中，k是超参数，k取3，Ci=C1是带电设备的类型的个数，Ci=C2是故障的类别的个数；
将第五特征图FM5在每个通道上平均分成k 份的格子，最终得到k 个的格子，每个格子的通道的个数为（Ci+1），每一个通道代表一个带电设备的类型或故障的类别，其中，k2份中每个格子的位置是和通道是从左到右且从上到下的一一对应的关系，k2份的格子中的左上角的格子对应k2份中的第一份（Ci+1）通道，k2份的格子中的右下角的格子对应k2份中的最后一份（Ci+1）通道；
在每一份的格子内做最大池化得到k2个的格子且每个格子的通道的个数为（Ci+1）的第六特征图FM6；
对第六特征图FM6再进行全局平均池化，得到1×1×（Ci+1）个特征的第七特征图FM7，其中，当Ci=C1时第七特征图FM7表示带电设备的类型，当Ci=C2时第七特征图FM7表示故障的类别。
4.根据权利要求1所述的方法，其中，骨干特征提取网络的总损失的计算公式如下：；
pi表示9个锚框中第i个锚框预测为真实的标签的概率，pi*当为正样本时为1，当为负样本时为0，ti表示预测9个锚框中第i个锚框的边界框回归参数，ti*表示9个锚框中第i个锚框对应的真实框的回归参数，Ncls表示一个样本训练批次中的所有样本的数量，Nreg表示锚框位置的个数，λ是大于0的常值系数。
5.根据权利要求4所述的方法，其中，融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失的计算公式如下：；
其中 ，p1 是带电 设备的类型的分 类器预测的sof tmax概率分 布， ；
p2是所述带电设备的故障的类别的分类器预测的softmax概率分布， ；
u1是所述带电设备的真实的类型， ，k1是带电设备的类型的总数；
u2是对应所述带电设备的真实的故障的类别， ，k2是带电设备的
是对应的预测框回归预测的所述真实的故障的类别u2的回归参数，
6.根据权利要求1所述的方法，其中，基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断，包括：将待检测的带电设备的热像图转化为灰度图输入优化的改进的Faser R-CNN网络模型中得到预测结果，所述预测结果中：如果待检测的带电设备没有故障则预测结果为无故障，如果待检测的带电设备有故障则预测结果为故障所在的位置、故障的类别以及故障所在的带电设备的类型。
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：将各种带电设备的热像图进行预处理得到灰度图；
在所述灰度图中标出各个真实框，分别对各个真实框进行标记，所述标记的内容包括每个真实框对应的带电设备的类型、是否故障、故障的位置及故障的类别，以标记后的灰度图建立带电设备的检测数据集；
将所述带电设备的检测数据集划分训练集、验证集和测试集；
构建改进的Faser R-CNN网络模型，包括：采用EfficientNet-B4作为骨干特征提取网络，所述骨干特征提取网络提取输入的训练集、验证集中的灰度图的特征图，以得到第一特征图FM1；边框生成网络利用生成的第一特征图FM1从边框生成网络的先验框中调整和筛选出候选框，其中，所述边框生成网络的先验框是根据训练集、验证集中故障的位置的面积大小设计为在第一特征图FM1的每个像素位置上分别采用三种面积像素并分别采用三种长宽比例的方式，共获得9个锚框；融合上下文的感兴趣区域池化模块利用生成的第一特征图FM1作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图FM4；分类和边框回归模块利用区域特征图FM4并结合位置敏感平均池化得到带电设备的类型和故障的类别，同时对所述候选框进行卷积和非极大值抑制获得预测框；
Faser R-CNN网络模型的训练，包括：冻结所述骨干特征提取网络即EfficientNet-B4；
训练边框生成网络，包括：将锚框经过卷积操作得到锚框的框选区域属于故障的类别概率、设备的类型的概率以及锚框的调整参数，进而基于故障的类别概率、设备的类型的概率以及锚框的调整参数将锚框调整为候选框，并基于骨干特征提取网络的总损失调整候选框；
训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块，并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框；
后解冻骨干特征提取网络并冻结骨干特征提取网络中的第1 4浅层卷积层，训练包括~冻结第1 4浅层卷积层的骨干特征提取网络、边框生成网络、融合上下文的感兴趣区域池化~模块以及分类和边框回归模块的整个网络权重，并基于骨干特征提取网络的总损失调整候选框；并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框，以得到训练完成的改进的Faser R-CNN网络模型；
采用所述测试集对训练完成的改进的Faser R-CNN网络模型进行评价，以得到优化的改进的Faser R-CNN网络模型；
基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断。
8.一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：将各种带电设备的热像图进行预处理得到灰度图；
在所述灰度图中标出各个真实框，分别对各个真实框进行标记，所述标记的内容包括每个真实框对应的带电设备的类型、是否故障、故障的位置及故障的类别，以标记后的灰度图建立带电设备的检测数据集；
将所述带电设备的检测数据集划分训练集、验证集和测试集；
构建改进的Faser R-CNN网络模型，包括：采用EfficientNet-B4作为骨干特征提取网络，所述骨干特征提取网络提取输入的训练集、验证集中的灰度图的特征图，以得到第一特征图FM1；边框生成网络利用生成的第一特征图FM1从边框生成网络的先验框中调整和筛选出候选框，其中，所述边框生成网络的先验框是根据训练集、验证集中故障的位置的面积大小设计为在第一特征图FM1的每个像素位置上分别采用三种面积像素并分别采用三种长宽比例的方式，共获得9个锚框；融合上下文的感兴趣区域池化模块利用生成的第一特征图FM1作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图FM4；分类和边框回归模块利用区域特征图FM4并结合位置敏感平均池化得到带电设备的类型和故障的类别，同时对所述候选框进行卷积和非极大值抑制获得预测框；
Faser R-CNN网络模型的训练，包括：冻结所述骨干特征提取网络即EfficientNet-B4；
训练边框生成网络，包括：将锚框经过卷积操作得到锚框的框选区域属于故障的类别概率、设备的类型的概率以及锚框的调整参数，进而基于故障的类别概率、设备的类型的概率以及锚框的调整参数将锚框调整为候选框，并基于骨干特征提取网络的总损失调整候选框；
训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块，并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框；
后解冻骨干特征提取网络并冻结骨干特征提取网络中的第1 4浅层卷积层，训练包括~冻结第1 4浅层卷积层的骨干特征提取网络、边框生成网络、融合上下文的感兴趣区域池化~模块以及分类和边框回归模块的整个网络权重，并基于骨干特征提取网络的总损失调整候选框；并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框，以得到训练完成的改进的Faser R-CNN网络模型；
采用所述测试集对训练完成的改进的Faser R-CNN网络模型进行评价，以得到优化的改进的Faser R-CNN网络模型；
基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断。
带电设备的缺陷诊断方法及设备
技术领域
[0001] 本发明涉及计算机领域，尤其涉及一种带电设备的缺陷诊断方法及设备。
背景技术
[0002] 电力是国民经济发展的重要能源，因此保障电厂的安全具有重要意义。电厂红外检测是用红外热像仪对电气设备表面温度分布进行较大面积的巡视性检查，用检测电压致热型和部分电流致热型设备的表面温度分布去发现内部故障，对设备故障作精确判断。
[0003] 然而目前对设备故障的判断大都通过固定的故障公式计算得出，检测精度较低。
发明内容
[0004] 本发明的一个目的是提供一种带电设备的缺陷诊断方法及设备。
[0005] 根据本发明的一个方面，提供了一种带电设备的缺陷诊断方法，该方法包括：
[0006] 将各种带电设备的热像图进行预处理得到灰度图；
[0007] 在所述灰度图中标出各个真实框，分别对各个真实框进行标记，所述标记内容包括每个真实框对应的带电设备的类型、是否故障、故障的位置及故障的类别，以标记后的灰度图建立带电设备的检测数据集；
[0008] 将所述带电设备的检测数据集划分训练集、验证集和测试集；
[0009] 构建改进的Faser R-CNN网络模型，包括：采用EfficientNet-B4作为骨干特征提取网络，所述骨干特征提取网络提取输入的训练集、验证集中的灰度图的特征图，以得到第一特征图FM1；边框生成网络利用生成的第一特征图FM1从边框生成网络的先验框中调整和筛选出候选框，其中，所述边框生成网络的先验框是根据训练集、验证集中故障的位置的面积大小设计为在第一特征图FM1的每个像素位置上分别采用三种面积像素并分别采用三种长宽比例的方式，共获得9个锚框；融合上下文的感兴趣区域池化模块利用生成的第一特征图FM1作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图FM4；分类和边框回归模块利用区域特征图FM4并结合位置敏感平均池化得到带电设备的类型和故障的类别，同时对所述候选框进行卷积和非极大值抑制获得预测框；
[0010] Faser R-CNN网络模型的训练，包括：冻结所述骨干特征提取网络即EfficientNet-B4；训练边框生成网络，包括：将锚框经过卷积操作得到锚框的框选区域属于故障的类别概率、设备的类型的概率以及锚框的调整参数，进而基于故障的类别概率、设备的类型的概率以及锚框的调整参数将锚框调整为候选框，并基于骨干特征提取网络的总损失调整候选框；训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块，并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框；解冻骨干特征提取网络并冻结骨干特征提取网络中的第1 4浅层卷积层，训练包括冻结第1~
4浅层卷积层的骨干特征提取网络、边框生成网络、融合上下文的感兴趣区域池化模块以~
及分类和边框回归模块的整个网络权重，并基于骨干特征提取网络的总损失调整候选框；
并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框，以得到训练完成的改进的Faser R-CNN网络模型；
[0011] 采用所述测试集对训练完成的改进的Faser R-CNN网络模型进行评价，以得到优化的改进的Faser R-CNN网络模型；
[0012] 基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断。
[0013] 进一步的，上述方法中，融合上下文的感兴趣区域池化模块利用生成的第一特征图FM1作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图FM4，包括：
[0014] 将第一特征图FM1作为全局特征图；
[0015] 将所述全局特征图进行融合上下文的感兴趣区域池化得到第二特征图FM2；
[0016] 由所述候选框映射到所述全局特征图上产生局部特征图；
[0017] 将所述局部特征图进行融合上下文的感兴趣区域池化，得到第三特征图FM3，其中，所述第二特征图FM2和第三特征图FM3的尺寸相同；
[0018] 对所述第二特征图FM2和第三特征图FM3先进行关联然后进行卷积，得到区域特征图FM4。
[0019] 进一步的，上述方法中，分类和边框回归模块利用区域特征图FM4并结合位置敏感平均池化得到带电设备的类型和故障的类别，包括：
[0020] 将区域特征图FM4经过k（2 Ci+1）个尺寸为3×3、步长为1的卷积核进行卷积得到从左到右有k（2 Ci+1）个通道的第五特征图FM5，其中，k是超参数，一般取3，Ci=C1是带电设备的类型的个数，Ci=C2是故障的类别的个数；
[0021] 将第五特征图FM5在每个通道上平均分成k2份的格子，最终得到k2个的格子，每个格子的通道的个数为（Ci+1），每一个通道代表一个带电设备的类型或故障的类别，其中，k2份中每个格子的位置是和通道是从左到右且从上到下的一一对应的关系，k2份的格子中的左上角的格子对应k2份中的第一份（Ci+1）通道，k2份的格子中的右下角的格子对应k2份中的最后一份（Ci+1）通道；
[0022] 在每一份的格子内做最大池化得到k2个的格子且每个格子的通道的个数为（Ci+1）的第六特征图FM6；
[0023] 对第六特征图FM6再进行全局平均池化，得到1×1×（Ci+1）个特征的第七特征图FM7，其中，当Ci=C1时第七特征图FM7表示带电设备的类型，当Ci=C2时第七特征图FM7表示故障的类别。
[0024] 进一步的，上述方法中，骨干特征提取网络的总损失的计算公式如下：
[0025] ；
[0026] 其中，故障预测的分类损失为 ；
[0027] 边框回归损失为 ；
[0028] ；
[0029] ；
[0030] pi表示9个锚框中第个锚框预测为真实的标签的概率，pi*当为正样本时为1，当为负样本时为0，ti表示预测9个锚框中第i个锚框的边界框回归参数，ti*表示9个锚框中第i个锚框对应的真实框（GT BOX）的回归参数，Ncls表示一个样本训练批次（mini-batch）中的所有样本的数量，Nreg表示锚框位置的个数。
[0031] 进一步的，上述方法中，融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失的计算公式如下：
[0032] ；
[0033] 设备类型预测的分类损失为 ；
[0034] 故障类别预测的分类损失为 ；
[0035] 边框回归损失 ；
[0036] ，其中，
[0037] p1是带电设备的类型的分类器预测的softmax概率分布 ，p2是故障的类别的分类器预测的softmax概率分布 ，u2对应故障真实的类
别标签， 对应预测框回归预测的对应类别u2的回归参数，v对应真实故障的预测框回归参数。
[0038] 进一步的，上述方法中，基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断，包括：
[0039] 将待检测的带电设备的热像图转化为灰度图输入优化的改进的Faser R-CNN网络模型中得到预测结果，所述预测结果中：如果待检测的带电设备没有故障则预测结果为无故障，如果待检测的带电设备有故障则预测结果为故障所在的位置、故障的类别以及故障所在的带电设备的类型。
[0040] 根据本发明的另一方面，还提供了一种基于计算的设备，其中，包括：
[0041] 处理器；
[0042] 以及，被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
[0043] 将各种带电设备的热像图进行预处理得到灰度图；
[0044] 在所述灰度图中标出各个真实框，分别对各个真实框进行标记，所述标记内容包括每个真实框对应的带电设备的类型、是否故障、故障的位置及故障的类别，以标记后的灰度图建立带电设备的检测数据集；
[0045] 将所述带电设备的检测数据集划分训练集、验证集和测试集；
[0046] 构建改进的Faser R-CNN网络模型，包括：采用EfficientNet-B4作为骨干特征提取网络，所述骨干特征提取网络提取输入的训练集、验证集中的灰度图的特征图，以得到第一特征图FM1；边框生成网络利用生成的第一特征图FM1从边框生成网络的先验框中调整和筛选出候选框，其中，所述边框生成网络的先验框是根据训练集、验证集中故障的位置的面积大小设计为在第一特征图FM1的每个像素位置上分别采用三种面积像素并分别采用三种长宽比例的方式，共获得9个锚框；融合上下文的感兴趣区域池化模块利用生成的第一特征图FM1作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图FM4；分类和边框回归模块利用区域特征图FM4并结合位置敏感平均池化得到带电设备的类型和故障的类别，同时对所述候选框进行卷积和非极大值抑制获得预测框；
[0047] Faser R-CNN网络模型的训练，包括：冻结所述骨干特征提取网络即EfficientNet-B4；训练边框生成网络，包括：将锚框经过卷积操作得到锚框的框选区域属于故障的类别概率、设备的类型的概率以及锚框的调整参数，进而基于故障的类别概率、设备的类型的概率以及锚框的调整参数将锚框调整为候选框，并基于骨干特征提取网络的总损失调整候选框；训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块，并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框；解冻骨干特征提取网络并冻结骨干特征提取网络中的第1 4浅层卷积层，训练包括冻结第1~
4浅层卷积层的骨干特征提取网络、边框生成网络、融合上下文的感兴趣区域池化模块以~
及分类和边框回归模块的整个网络权重，并基于骨干特征提取网络的总损失调整候选框；
并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框，以得到训练完成的改进的Faser R-CNN网络模型；
[0048] 采用所述测试集对训练完成的改进的Faser R-CNN网络模型进行评价，以得到优化的改进的Faser R-CNN网络模型；
[0049] 基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断。
[0050] 根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：
[0051] 将各种带电设备的热像图进行预处理得到灰度图；
[0052] 在所述灰度图中标出各个真实框，分别对各个真实框进行标记，所述标记内容包括每个真实框对应的带电设备的类型、是否故障、故障的位置及故障的类别，以标记后的灰度图建立带电设备的检测数据集；
[0053] 将所述带电设备的检测数据集划分训练集、验证集和测试集；
[0054] 构建改进的Faser R-CNN网络模型，包括：采用EfficientNet-B4作为骨干特征提取网络，所述骨干特征提取网络提取输入的训练集、验证集中的灰度图的特征图，以得到第一特征图FM1；边框生成网络利用生成的第一特征图FM1从边框生成网络的先验框中调整和筛选出候选框，其中，所述边框生成网络的先验框是根据训练集、验证集中故障的位置的面积大小设计为在第一特征图FM1的每个像素位置上分别采用三种面积像素并分别采用三种长宽比例的方式，共获得9个锚框；融合上下文的感兴趣区域池化模块利用生成的第一特征图FM1作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图FM4；分类和边框回归模块利用区域特征图FM4并结合位置敏感平均池化得到带电设备的类型和故障的类别，同时对所述候选框进行卷积和非极大值抑制获得预测框；
[0055] Faser R-CNN网络模型的训练，包括：冻结所述骨干特征提取网络即EfficientNet-B4；训练边框生成网络，包括：将锚框经过卷积操作得到锚框的框选区域属于故障的类别概率、设备的类型的概率以及锚框的调整参数，进而基于故障的类别概率、设备的类型的概率以及锚框的调整参数将锚框调整为候选框，并基于骨干特征提取网络的总损失调整候选框；训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块，并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框；解冻骨干特征提取网络并冻结骨干特征提取网络中的第1 4浅层卷积层，训练包括冻结第1~
4浅层卷积层的骨干特征提取网络、边框生成网络、融合上下文的感兴趣区域池化模块以~
及分类和边框回归模块的整个网络权重，并基于骨干特征提取网络的总损失调整候选框；
并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框，以得到训练完成的改进的Faser R-CNN网络模型；
[0056] 采用所述测试集对训练完成的改进的Faser R-CNN网络模型进行评价，以得到优化的改进的Faser R-CNN网络模型；
[0057] 基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断。
[0058] 与现有技术相比，本发明克服了现有技术的不足，提供一种基于改进Faster R-CNN的带电设备的缺陷诊断方法，可以对带电设备进行识别，对设备的故障进行初步诊断，本发明用算法代替人工进行自动识别，能够提升带电设备的检测精度，同时提升带电设备的故障的检测精度。本发明针对带电设备的红外热像检测及其故障诊断，检测精度高，检测速度快。
附图说明
[0059] 通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0060] 图1示出原始的Faster R-CNN网络结构示意图；
[0061] 图2示出本发明一实施例的改进的Faster R-CNN网络结构示意图。
[0062] 附图中相同或相似的附图标记代表相同或相似的部件。
[0063] 在附图中，各附图标记含义如下：1表示EfficientNet-B4 Backbone； 2表示边框生成网络RPN；3表示候选框；4表示分类损失；5表示边框回归损失；6表示设备分类；7表示故障分类；8表示边框参数；11表示全局RoI池化；12表示局部RoI池化；21表示Concat&Conv，即关联然后进行卷积；31表示用于得到设备分类的位置敏感平均池化；32表示用于得到故障分类的位置敏感平均池化；以及，33表示Conv+NMS，即进行卷积和非极大值抑制处理。
具体实施方式
[0064] 下面结合附图对本发明作进一步详细描述。
[0065] 在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
[0066] 内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
[0067] 计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、 磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
[0068] 本发明可以使用Tensorflow2.2框架构建模型，使用openCV(开源计算机视觉库)对图像进行预处理。实验采用的硬件配置为Core i7-9700K处理器，RTX 2080Ti显卡，软件环境为CUDA10.0和cuDNN7.6。
[0069] 如图2所示，本发明提供一种带电设备的缺陷诊断方法，所述方法包括：
[0070] 步骤S1，构建不同类型设备和故障的数据集，具体是：
[0071] 步骤S11，将各种带电设备的热像图进行预处理得到灰度图；
[0072] 在此，可以将带电设备热像图进行预处理得到图像大小及位深一致的灰度图；
[0073] 步骤S12，在所述灰度图中标出各个真实框，分别对各个真实框进行标记，所述标记内容包括每个真实框对应的带电设备的类型、是否故障、故障的位置及故障的类别，以标记后的灰度图建立带电设备的检测数据集；
[0074] 在此，首先对电厂采集到的带电设备红外热像图转化为灰度图，对灰度图进行打标，标记内容不仅包括故障类别和故障位置，还包括故障所在的设备的类型，以构建不同类型带电设备不同类别故障的带电设备故障检测数据集。
[0075] 步骤S13，将所述带电设备的检测数据集分别以7：1：2的比例划分训练集、验证集和测试集；
[0076] 在此，可以利用改进的Mosaic方法或其他数据增强方法，扩充数据集以进行数据增强，并将数据集以7：1：2的比例划分训练集、验证集和测试集；
[0077] 步骤S2：为了实现对带电设备识别及其故障诊断，需要将在检测效率上表现不好的原始的Faster R-CNN算法进行改进，同时进一步提高识别精度，原始的Faster R-CNN网络结构如图1所示，在带电设备故障检测问题中，为了将危险隐患降到最低，我们需要对故障进行精确识别，故对原始的Faster R-CNN网络进行了改进，构建改进的Faser R-CNN网络模型，如图2所示，改进后的Faster R-CNN算法网络模型主要包含四个部分，结构如下：
[0078] 步骤S21， 采用EfficientNet-B4作为骨干特征提取网络（Backbone），所述骨干特征提取网络提取输入的训练集、验证集中的灰度图的特征图（feature maps），以得到第一特征图FM1；
[0079] 在此，主干特征提取网络采用EfficientNet-B4，提取输入图片的特征feature maps。一般Fast R-CNN采用VGG16或表现更好的ResNet-50，但经我们研究表明，ResNet-50网络具有比较明显的冗余性和过拟合现象，因此本发明采用EfficientNet-B4作为主干提取网络。EfficientNet-B4比ResNet-50精度更高，且参数更少模型更小，采用EfficientNet-B4作为主干提取网络能够更有效率地进行目标检测；
[0080] 步骤S22，边框生成网络（Region Proposal Networks，RPN）利用步骤S21中生成的第一特征图FM1从边框生成网络的先验框中调整和筛选出候选框，其中，所述边框生成网络的先验框（锚框）是根据训练集、验证集中故障的位置的面积大小设计为在第一特征图FM1的每个像素位置上分别采用三种面积像素（该面积相对于原图）并分别采用三种长宽比例的方式，共获得9个锚框；
[0081] 步骤S23， 融合上下文的感兴趣区域池化模块（RoI Pooling），该模块利用步骤S21中生成的第一特征图FM1作为全局特征图，并利用步骤S22中产生的候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图FM4。本发明与原始RoI Pooling只利用局部特征不同，本发明的融合上下文的感兴趣区域池化还利用了全局特征，具体是：
[0082] 步骤S231，将第一特征图FM1作为全局特征图；
[0083] 步骤S232，将所述全局特征图进行融合上下文的感兴趣区域池化（RoI Pooling）得到第二特征图FM2；
[0084] 步骤S233，由所述候选框映射到所述全局特征图上产生局部特征图；
[0085] 步骤S234，将所述局部特征图进行融合上下文的感兴趣区域池化（RoI Pooling），得到第三特征图FM3，其中，所述第二特征图FM2和第三特征图FM3的尺寸相同；
[0086] 步骤S235，对所述第二特征图FM2和第三特征图FM3先进行关联（concatenate)然后进行卷积（Conv），得到区域特征图FM4（proposal feature maps）。
[0087] 在此，这样做的目的在于在识别局部目标时会考虑全局的特征，类似于扩大感受野。这种方式尽管简单但非常有效，因为故障的类别与故障所在的设备类型有关，感兴趣区域（RoI）周围的上下文信息对于判断这个RoI的类别是很有帮助的。
[0088] 步骤S24，分类和边框回归模块（Classification & Regression）利用步骤S23中产生的区域特征图FM4并结合位置敏感平均池化（Position Sensitive Average Pooling）得到带电设备的类型和故障的类别（RoI），同时对所述候选框进行卷积和非极大值抑制（NMS）获得预测框。
[0089] 在此，与如图1所示的原始Faster R-CNN不同的是，本发明在该阶段采用了位置敏感平均池化。传统池化时带电设备的每个部分对于故障诊断的贡献几乎是相同的，但事实却是不同的，比如接头（电器设备与金属部件的连接）这一特征要比外壳（电器设备金属外壳）得到的关注更多。因为分类网络的位置不敏感性和检测网络的位置敏感性的一个矛盾问题，而在目标检测中不仅要分类也要定位。所以对位置输出的每个区域进行加权平均敏感的池化以重新加权区域。具体是：
[0090] 步骤S241，将步骤S23中产生的区域特征图FM4经过k2（Ci+1）个尺寸为3×3、步长为1的卷积核进行卷积得到从左到右有k2（Ci+1）个通道的第五特征图FM5（图中未示出），其中，k是超参数，一般取3，Ci=C1是带电设备的类型的个数，Ci=C2是故障的类别的个数；
[0091] 步骤S242，然后将第五特征图FM5在每个通道上平均分成k2份的格子，最终得到k2个的格子，每个格子的通道的个数为（Ci+1），每一个通道代表一个带电设备的类型或故障的类别，其中，k2份中每个格子的位置是和通道是从左到右且从上到下的一一对应的关系，k2份的格子中的左上角的格子对应k2份中的第一份（Ci+1）通道，k2份的格子中的右下角的格子对应k2份中的最后一份（Ci+1）通道；
[0092] 步骤S242，在每一份的格子内做最大池化（Max Pooling）得到个的格子且每个格子的通道的个数为（Ci+1）的第六特征图FM6（图中未示出）；
[0093] 步骤S243，对第六特征图FM6再进行全局平均池化，就得到了1×1×（Ci+1）个特征的第七特征图FM7（图中未示出），其中，当Ci=C1时第七特征图FM7表示带电设备的类型，当Ci=C2时第七特征图FM7表示故障的类别。
[0094] 步骤S3训练，具体是：
[0095] Faser R-CNN网络模型的训练，是在灰度ImageNet预训练的主干特征提取网络（EfficientNet-B4）的基础上继续进行训练。实际中训练过程分为2个步骤：
[0096] 步骤S31，首先冻结所述骨干特征提取网络即EfficientNet-B4；
[0097] 步骤S32，训练边框生成网络（RPN），包括：将锚框经过卷积操作得到锚框的框选区域属于故障的类别概率、设备的类型的概率以及锚框的调整参数，进而基于故障的类别概率、设备的类型的概率以及锚框的调整参数将锚框调整为候选框，并基于骨干特征提取网络的总损失调整候选框；
[0098] 优选的，骨干特征提取网络的总损失的计算公式如下：
[0099] ；
[0100] 其中，故障预测的分类损失为 ；
[0101] 边框回归损失为 ；
[0102] ；
[0103] ；
[0104] pi表示9个锚框中第个锚框预测为真实的标签的概率，pi*当为正样本时为1，当为*负样本时为0，ti表示预测9个锚框中第i个锚框的边界框回归参数，ti 表示9个锚框中第i个锚框对应的真实框（GT BOX）的回归参数，Ncls表示一个样本训练批次中的所有样本的数量，Nreg表示锚框位置的个数。
[0105] 在此，利用二值交叉熵损失计算故障预测的分类损失，利用 函数计算边框回归损失，这两个损失构成了RPN总损失。
[0106] 步骤S33，训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块，并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框；
[0107] 优选的，融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失的计算公式如下：
[0108] ；
[0109] 设备类型预测的分类损失为 ；
[0110] 故障类别预测的分类损失为 ；
[0111] 边框回归损失 ；
[0112] ，其中，
[0113] p1是带电设备的类型的分类器预测的softmax概率分布 ，p2是故障的类别的分类器预测的softmax概率分布 ，u2对应故障真实的类
别标签， 对应预测框回归预测的对应类别u2的回归参数，v对应真实故障的预测框回归参数。
[0114] 在此，将训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块作为预测网络部分，预测网络部分具体是计算设备类型预测的分类损失、故障类别预测的分类损失和边框回归损失构成的总损失。
[0115] 步骤S34，然后解冻骨干特征提取网络（Backbone）并冻结骨干特征提取网络中的第1 4浅层卷积层，训练包括冻结第1 4浅层卷积层的骨干特征提取网络、边框生成网络~ ~RPN、融合上下文的感兴趣区域池化模块以及分类和边框回归模块的整个网络权重，并基于骨干特征提取网络的总损失调整候选框；并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框，以得到训练完成的改进的Faser R-CNN网络模型。
[0116] 在此，接着训练包括冻结第1 4浅层卷积层的骨干特征提取网络，融合上下文的感~兴趣区域池化模块以及分类和边框回归模块的整个网络权重。其中边框生成网络RPN和最终的预测网络部分的损失计算方法同上。
[0117] 可以采用测试集对训练完成的改进的Faser R-CNN网络模型进行评价，以得到优化的改进的Faser R-CNN网络模型。
[0118] 步骤S4，基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断，具体是：
[0119] 将待检测的带电设备的热像图转化为灰度图输入优化的改进的Faser R-CNN网络模型中得到预测结果，所述预测结果中：如果待检测的带电设备没有故障则预测结果为无故障，如果待检测的带电设备有故障则预测结果为故障所在的位置（以边框呈现）、故障的类别以及故障所在的带电设备的类型。
[0120] 其中，Faster R-CNN计算过程是：
[0121] 灰度图输入EfficientNet-B4，提取输入图片的特征，产生第一特征图FM1；基于第一特征图FM1通过边框生成网络生成候选框；将候选框投影到第一特征图FM1（全局特征图）上产生局部特征图，再进行融合上下文的感兴趣区域池化RoI Pooling和位置敏感平均池化得到带电设备的预测的类型和故障的预测类别及其位置坐标。
[0122] 综上所述，本发明克服了现有技术的不足，提供一种基于改进Faster R-CNN的带电设备的缺陷诊断方法，可以对带电设备进行识别，对设备的故障进行初步诊断，本发明用算法代替人工进行自动识别，能够提升带电设备的检测精度，同时提升带电设备的故障的检测精度。本发明针对带电设备的红外热像检测及其故障诊断，检测精度高，检测速度快。
[0123] 根据本发明的另一方面，还提供了一种基于计算的设备，其中，包括：
[0124] 处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
[0125] 将各种带电设备的热像图进行预处理得到灰度图；
[0126] 在所述灰度图中标出各个真实框，分别对各个真实框进行标记，所述标记内容包括每个真实框对应的带电设备的类型、是否故障、故障的位置及故障的类别，以标记后的灰度图建立带电设备的检测数据集；
[0127] 将所述带电设备的检测数据集划分训练集、验证集和测试集；
[0128] 构建改进的Faser R-CNN网络模型，包括：采用EfficientNet-B4作为骨干特征提取网络，所述骨干特征提取网络提取输入的训练集、验证集中的灰度图的特征图，以得到第一特征图FM1；边框生成网络利用生成的第一特征图FM1从边框生成网络的先验框中调整和筛选出候选框，其中，所述边框生成网络的先验框是根据训练集、验证集中故障的位置的面积大小设计为在第一特征图FM1的每个像素位置上分别采用三种面积像素并分别采用三种长宽比例的方式，共获得9个锚框；融合上下文的感兴趣区域池化模块利用生成的第一特征图FM1作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图FM4；分类和边框回归模块利用区域特征图FM4并结合位置敏感平均池化得到带电设备的类型和故障的类别，同时对所述候选框进行卷积和非极大值抑制获得预测框；
[0129] Faser R-CNN网络模型的训练，包括：冻结所述骨干特征提取网络即EfficientNet-B4；训练边框生成网络，包括：将锚框经过卷积操作得到锚框的框选区域属于故障的类别概率、设备的类型的概率以及锚框的调整参数，进而基于故障的类别概率、设备的类型的概率以及锚框的调整参数将锚框调整为候选框，并基于骨干特征提取网络的总损失调整候选框；训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块，并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框；解冻骨干特征提取网络并冻结骨干特征提取网络中的第1 4浅层卷积层，训练包括冻结第1~
4浅层卷积层的骨干特征提取网络、边框生成网络、融合上下文的感兴趣区域池化模块以~
及分类和边框回归模块的整个网络权重，并基于骨干特征提取网络的总损失调整候选框；
并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框，以得到训练完成的改进的Faser R-CNN网络模型；
[0130] 采用所述测试集对训练完成的改进的Faser R-CNN网络模型进行评价，以得到优化的改进的Faser R-CNN网络模型；
[0131] 基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断。
[0132] 根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：
[0133] 将各种带电设备的热像图进行预处理得到灰度图；
[0134] 在所述灰度图中标出各个真实框，分别对各个真实框进行标记，所述标记内容包括每个真实框对应的带电设备的类型、是否故障、故障的位置及故障的类别，以标记后的灰度图建立带电设备的检测数据集；
[0135] 将所述带电设备的检测数据集划分训练集、验证集和测试集；
[0136] 构建改进的Faser R-CNN网络模型，包括：采用EfficientNet-B4作为骨干特征提取网络，所述骨干特征提取网络提取输入的训练集、验证集中的灰度图的特征图，以得到第一特征图FM1；边框生成网络利用生成的第一特征图FM1从边框生成网络的先验框中调整和筛选出候选框，其中，所述边框生成网络的先验框是根据训练集、验证集中故障的位置的面积大小设计为在第一特征图FM1的每个像素位置上分别采用三种面积像素并分别采用三种长宽比例的方式，共获得9个锚框；融合上下文的感兴趣区域池化模块利用生成的第一特征图FM1作为全局特征图，并利用候选框产生相应的局部特征图，基于全局特征图和局部特征图得到区域特征图FM4；分类和边框回归模块利用区域特征图FM4并结合位置敏感平均池化得到带电设备的类型和故障的类别，同时对所述候选框进行边框回归获得和非极大值抑制获得预测框；
[0137] Faser R-CNN网络模型的训练，包括：冻结所述骨干特征提取网络即EfficientNet-B4；训练边框生成网络，包括：将锚框经过卷积操作得到锚框的框选区域属于故障的类别概率、设备的类型的概率以及锚框的调整参数，进而基于故障的类别概率、设备的类型的概率以及锚框的调整参数将锚框调整为候选框，并基于骨干特征提取网络的总损失调整候选框；训练融合上下文的感兴趣区域池化模块以及分类和边框回归模块，并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框；解冻骨干特征提取网络并冻结骨干特征提取网络中的第1 4浅层卷积层，训练包括冻结第1~
4浅层卷积层的骨干特征提取网络、边框生成网络、融合上下文的感兴趣区域池化模块以~
及分类和边框回归模块的整个网络权重，并基于骨干特征提取网络的总损失调整候选框；
并基于融合上下文的感兴趣区域池化模块和分类和边框回归模块的总损失进一步调整候选框，以得到训练完成的改进的Faser R-CNN网络模型；
[0138] 采用所述测试集对训练完成的改进的Faser R-CNN网络模型进行评价，以得到优化的改进的Faser R-CNN网络模型；
[0139] 基于优化的改进的Faser R-CNN网络模型，实现对待检测的带电设备的热像图的缺陷诊断。
[0140] 显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
[0141] 需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路（ASIC）、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序（包括相关的数据结构）可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
[0142] 另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
[0143] 对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
