电网设备异常的检测方法和装置

摘要

本发明公开了一种电网设备异常的检测方法和装置，所述方法包括：利用特征提取网络对待检测的电网设备图像进行特征提取，将所述特征提取网络输出的若干不同尺寸的特征图像分别输入到物体检测器中的各锚点生成层；所述物体检测器中的每个锚点生成层对输入的特征图像根据预设的宽高尺寸进行图像截取，由所述物体检测器中的检测头对于每个截取的图像进行设备异常区域的概率值计算；所述检测头将计算的概率值从高到低进行排序，将概率值排序前N的图像作为检测出的电网设备异常的区域的图像。应用本发明能够直接定位电网设备图像中的异常区域。

权利要求

1.一种电网设备异常的检测方法，其特征在于，包括：

利用特征提取网络对待检测的电网设备图像进行特征提取，将所述特征提取网络输出的若干不同尺寸的特征图像分别输入到物体检测器中的各锚点生成层；

所述物体检测器中的每个锚点生成层对输入的特征图像根据预设的宽高尺寸进行图像截取，由所述物体检测器中的检测头对于每个截取的图像进行设备异常区域的概率值计算；

所述检测头将计算的概率值从高到低进行排序，将概率值排序前N的图像作为检测出的电网设备异常的区域的图像；

其中，由所述特征提取网络和所述物体检测器构成的异常区域检测模型是预先根据标注出真实异常区域的电网设备图像训练得到的。

2.根据权利要求1所述的方法，其特征在于，所述由所述特征提取网络和所述物体检测器构成的异常区域检测模型是预先根据如下方法训练得到：基于图像网络ImageNet大规模数据样本采用迁移学习方法，对所述特征提取网络进行训练；

对所述特征提取网络的浅层卷积参数进行固定后，利用训练数据集训练所述异常区域检测模型中的物体检测器，并调整所述特征提取网络的高层卷积参数；

其中，所述训练数据集是在真实的电网设备的监控场景获取大量电网设备图像，并针对获取的电网设备图像标注出异常区域后生成的。

3.根据权利要求2所述的方法，其特征在于，所述异常区域检测模型中还包括：细粒度分类网络；以及在所述将概率值排序前N的图像作为检测出的电网设备异常的区域的图像后，还包括：将所述电网设备异常的区域的图像输入到细粒度分类网络，由所述细粒度分类网络输出一个对应的异常细分类类别；

其中，所述细粒度分类网络是预先训练得到的，包括多层双线性池化层与一个全连接层；所述双线性池化层由卷积层与平均池化层组成。

4.根据权利要求3所述的方法，其特征在于，所述异常区域检测模型的训练方法还包括：在对异常区域检测模型中的特征提取网络和物体检测器的训练完成后，对所述异常区域检测模型中的细粒度分类网络根据如下方法训练：在对异常区域检测模型中的特征提取网络和物体检测器的训练完成后，收集物体检测器的所有输出结果；

针对收集的物体检测器输出的电网设备异常的区域的图像手动标注异常细分类类别生成训练样本；

利用训练样本对异常区域检测模型中的细粒度分类网络进行训练。

5. 根据权利要求4所述的方法，其特征在于，在所述将概率值排序前N的图像作为检测出的电网设备异常的区域的图像后，还包括：将物体检测器检测出的电网设备异常的区域的图像与图像配准网络输出的异常区域图像进行交并比计算，根据计算结果确定最终的异常区域图像；以及所述将所述电网设备异常的区域的图像输入到细粒度分类网络，具体为：将所述最终的异常区域图像输入到细粒度分类网络；

其中，所述图像配准网络由残差结构的卷积神经网络与稀疏跨域图像配准模块组成，所述图像配准网络中的卷积神经网络针对输入的模板图像进行特征计算输出第二特征图，所述图像配准网络中的稀疏跨域图像配准模块计算出第一特征图与第二特征图之间的差异，完成待检测的电网设备图像与模板图像的配准，输出所述待检测的电网设备图像与模板图像之间的异常区域图像；其中，所述第一特征图为所述特征提取网络输出的最小尺寸的特征图。

6.根据权利要求5所述的方法，其特征在于，在所述基于图像网络ImageNet大规模数据样本采用迁移学习方法，对所述特征提取网络进行训练时，还包括：基于图像网络ImageNet大规模数据样本采用迁移学习方法，对所述图像配准网络中的卷积神经网络进行训练。

7.根据权利要求1所述的方法，其特征在于，所述特征提取网络由残差结构的卷积网络构成，包括依次连接的多个残差模块；其中，每个残差模块由多个跳跃连接层组成；每个跳跃连接层中包括依次连接的三个卷积层、叠加运算单元；

最后一个残差模块的每个跳跃连接层中还包括连接于叠加运算单元之后的非局部特征提取层，其中，三个卷积层中的第二个卷积层具体为可变形卷积层。

8.一种电网设备异常的检测装置，其特征在于，包括：

特征提取模块，用于利用特征提取网络对待检测的电网设备图像进行特征提取；

异常检测模块，用于将所述特征提取网络输出的若干不同尺寸的特征图像分别输入到物体检测器中的各锚点生成层；所述物体检测器中的每个锚点生成层对输入的特征图像根据预设的宽高尺寸进行图像截取后，所述物体检测器中的检测头对于每个截取的图像进行设备异常区域的概率值计算；将计算的概率值从高到低进行排序，将概率值排序前N的图像作为检测出的电网设备异常的区域的图像；

其中，由所述特征提取网络和所述物体检测器构成的异常区域检测模型是预先根据标注出真实异常区域的电网设备图像训练得到的。

9.根据权利要求8所述的装置，其特征在于，还包括：细分类模块，以及所述异常区域检测模型中还包括：细粒度分类网络；

所述细分类模块用于针对检测出的电网设备异常的区域的图像利用所述细粒度分类网络输出对应的异常细分类类别；

其中，所述细粒度分类网络是预先训练得到的，包括多层双线性池化层与一个全连接层；所述双线性池化层由卷积层与平均池化层组成。

10.根据权利要求9所述的装置，其特征在于，还包括：

辅助检测模块，用于利用图像配准网络中的卷积神经网络针对输入的模板图像进行特征计算输出第二特征图，利用所述图像配准网络中的稀疏跨域图像配准模块计算出第一特征图与第二特征图之间的差异，完成所述待检测的电网设备图像与模板图像的配准，输出所述待检测的电网设备图像与模板图像之间的异常区域图像；其中，所述第一特征图为所述特征提取网络输出的最小尺寸的特征图；

交并比计算模块，用于将物体检测器检测出的电网设备异常的区域的图像与图像配准网络输出的异常区域图像进行交并比计算，根据计算结果确定最终的异常区域图像输入到所述细分类模块；以及所述细分类模块具体用于根据输入的异常区域图像，利用所述细粒度分类网络输出对应的异常细分类类别。

说明书

电网设备异常的检测方法和装置

技术领域

[0001] 本发明涉及电网设备异常检测技术领域，特别是指一种电网设备异常的检测方法和装置。

背景技术

[0002] 随着图像处理技术的发展，为了满足电力运行现场安全监控的要求，减少人身事故，采用图像智能处理方法进行变电站设备等电网设备的异常检测越来越具有高可行性。随着智能巡检设备不断普及发展，在各电力单位广泛使用下，设备异常图像数据不断增多，海量巡检数据靠人工检索分析或传统图像处理设置阈值等方法，效率低下、智能化程度低，不能实时自动监测电力设备并准确识别定位故障设备类别与异常区域。

[0003] 传统的图像处理特征分析算法如 SIFT、ORB、HOG等较难提取复杂图像中电网设备特征与不规则异常区域特征，传统方法也一直存在着图像配准效果差，异常捕捉率低等诸多技术问题。近年来采用深度学习算法，在安防监控场景取得了很多诸多进展，所以利用新的深度学习技术在电网设备的异常诊断、在线监测和变电站维护等领域具有广泛应用价值。

[0004] 现有的电网设备的异常检测方法中，一种基于图像对比的方法是利用传统图像配准算法对两个图像分别进行区域分割，将差异度与设定阈值进行比较，判断当前拍摄图像是否为异常图像；但该方法无法定位图像中的异常区域。

[0005] 现有的另一个方法是基于深度学习的设备异常识别方法，是利用图像分类技术，对数据进行分类器模型训练，最后利用训练好的模型直接进行分类；但此方法也无法直接输出图像中的异常区域。

发明内容

[0006] 有鉴于此，本发明的目的在于提出一种电网设备异常的检测方法和装置，能够直接定位电网设备图像中的异常区域。

[0007] 基于上述目的，本发明提供一种电网设备异常的检测方法，包括：

[0008] 利用特征提取网络对待检测的电网设备图像进行特征提取，将所述特征提取网络输出的若干不同尺寸的特征图像分别输入到物体检测器中的各锚点生成层；

[0009] 所述物体检测器中的每个锚点生成层对输入的特征图像根据预设的宽高尺寸进行图像截取，由所述物体检测器中的检测头对于每个截取的图像进行设备异常区域的概率值计算；

[0010] 所述检测头将计算的概率值从高到低进行排序，将概率值排序前N的图像作为检测出的电网设备异常的区域的图像；

[0011] 其中，由所述特征提取网络和所述物体检测器构成的异常区域检测模型是预先根据标注出真实异常区域的电网设备图像训练得到的。

[0012] 其中，所述由所述特征提取网络和所述物体检测器构成的异常区域检测模型是预先根据如下方法训练得到：

[0013] 基于图像网络ImageNet大规模数据样本采用迁移学习方法，对所述特征提取网络进行训练；

[0014] 对所述特征提取网络的浅层卷积参数进行固定后，利用训练数据集训练所述异常区域检测模型中的物体检测器，并微调所述特征提取网络的高层卷积参数；

[0015] 其中，所述训练数据集是在真实的电网设备的监控场景获取大量电网设备图像，并针对获取的电网设备图像标注出异常区域后生成的。

[0016] 进一步，所述异常区域检测模型中还包括：细粒度分类网络；以及

[0017] 在所述将概率值排序前N的图像作为检测出的电网设备异常的区域的图像后，还包括：

[0018] 将所述电网设备异常的区域的图像输入到细粒度分类网络，由所述细粒度分类网络输出一个对应的异常细分类类别；

[0019] 其中，所述细粒度分类网络是预先训练得到的，包括多层双线性池化层与一个全连接层；所述双线性池化层由卷积层与平均池化层组成。

[0020] 进一步，所述异常区域检测模型的训练方法还包括：

[0021] 在对异常区域检测模型中的特征提取网络和物体检测器的训练完成后，对所述异常区域检测模型中的细粒度分类网络根据如下方法训练：

[0022] 在对异常区域检测模型中的特征提取网络和物体检测器的训练完成后，收集物体检测器的所有输出结果；

[0023] 针对收集的物体检测器输出的电网设备异常的区域的图像手动标注异常细分类类别生成训练样本；

[0024] 利用训练样本对异常区域检测模型中的细粒度分类网络进行训练。

[0025] 进一步，在所述将概率值排序前N的图像作为检测出的电网设备异常的区域的图像后，还包括：

[0026] 将物体检测器检测出的电网设备异常的区域的图像与图像配准网络输出的异常区域图像进行交并比计算，根据计算结果确定最终的异常区域图像；以及

[0027] 所述将所述电网设备异常的区域的图像输入到细粒度分类网络，具体为：

[0028] 将所述最终的异常区域图像输入到细粒度分类网络；

[0029] 其中，所述图像配准网络由残差结构的卷积神经网络与稀疏跨域图像配准模块组成，所述图像配准网络中的卷积神经网络针对输入的模板图像进行特征计算输出第二特征图，所述图像配准网络中的稀疏跨域图像配准模块计算出第一特征图与第二特征图之间的差异，完成待检测的电网设备图像与模板图像的配准，输出所述待检测的电网设备图像与模板图像之间的异常区域图像；其中，所述第一特征图为所述特征提取网络输出的最小尺寸的特征图。

[0030] 进一步，在所述基于图像网络ImageNet大规模数据样本采用迁移学习方法，对所述特征提取网络进行训练时，还包括：

[0031] 基于图像网络ImageNet大规模数据样本采用迁移学习方法，对所述图像配准网络中的卷积神经网络进行训练。

[0032] 较佳地，所述特征提取网络由残差结构的卷积网络构成，包括依次连接的多个残差模块；其中，每个残差模块由多个跳跃连接层组成；每个跳跃连接层中包括依次连接的三个卷积层、叠加运算单元；

[0033] 最后一个残差模块的每个跳跃连接层中还包括连接于叠加运算单元之后的非局部特征提取层，其中，三个卷积层中的第二个卷积层具体为可变形卷积层。

[0034] 本发明还提供一种电网设备异常的检测装置，包括：

[0035] 特征提取模块，用于利用特征提取网络对待检测的电网设备图像进行特征提取；

[0036] 异常检测模块，用于将所述特征提取网络输出的若干不同尺寸的特征图像分别输入到物体检测器中的各锚点生成层；所述物体检测器中的每个锚点生成层对输入的特征图像根据预设的宽高尺寸进行图像截取后，所述物体检测器中的检测头对于每个截取的图像进行设备异常区域的概率值计算；将计算的概率值从高到低进行排序，将概率值排序前N的图像作为检测出的电网设备异常的区域的图像；

[0037] 其中，由所述特征提取网络和所述物体检测器构成的异常区域检测模型是预先根据标注出真实异常区域的电网设备图像训练得到的。

[0038] 进一步，所述装置还包括：细分类模块，以及所述异常区域检测模型中还包括：细粒度分类网络；

[0039] 所述细分类模块用于针对检测出的电网设备异常的区域的图像利用所述细粒度分类网络输出对应的异常细分类类别。

[0040] 其中，所述细粒度分类网络是预先训练得到的，包括多层双线性池化层与一个全连接层；所述双线性池化层由卷积层与平均池化层组成。

[0041] 本发明的技术方案中，利用特征提取网络对待检测的电网设备图像进行特征提取，将所述特征提取网络输出的若干不同尺寸的特征图像分别输入到物体检测器中的各锚点生成层；所述物体检测器中的每个锚点生成层对输入的特征图像根据预设的宽高尺寸进行图像截取，由所述物体检测器中的检测头对于每个截取的图像进行设备异常区域的概率值计算；所述检测头将计算的概率值从高到低进行排序，将概率值排序前N的图像作为检测出的电网设备异常的区域的图像；从而提出了基于特征提取网络的高效的多语义设备异常检测算法，并利用物体检测器的物体检测技术定位异常区域位置。

[0042] 进一步，本发明的技术方案中，改进特征提取网络中卷积神经网络的残差结构，加入可变形卷积层和非局部特征提取层，这样，可变形卷积层计算时的卷积核形态不规则，会根据物体轮廓动态变化，可以提高特征在图像空间上的特征提取能力；而非局部特征提取层通过稀疏的矩阵乘法在特征图像的空间域上聚合特征信息，提高特征提取网络的特征提取能力，进一步提高检测准确率。

[0043] 进一步，本发明的技术方案中，利用迁移学习将图像网络（ImageNet）大规模数据样本对特征提取网络进行训练，然后对所述特征提取网络的浅层卷积参数进行固定后，利用训练数据集训练所述异常区域检测模型中的物体检测器，并微调所述特征提取网络的高层卷积参数，使得异常区域检测模型收敛速度加快。

[0044] 进一步，本发明的技术方案中，还利用图像配准网络确定未定义异常类型，从而更进一步提高了异常检测准确率。

附图说明

[0045] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0046] 图1为本发明实施例一提供的一种电网设备异常的检测方法流程图；

[0047] 图2为本发明实施例一提供的一种异常区域检测模型内部结构框图；

[0048] 图3为本发明实施例一提供的一种异常区域检测模型的训练方法流程图；

[0049] 图4为本发明实施例一提供的一种电网设备异常的检测装置的内部结构框图；

[0050] 图5为本发明实施例二提供的一种电网设备异常的检测方法流程图；

[0051] 图6为本发明实施例二提供的一种异常区域检测模型内部结构框图；

[0052] 图7为本发明实施例二提供的一种电网设备异常的检测装置的内部结构框图。

具体实施方式

[0053] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

[0054] 需要说明的是，除非另外定义，本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

[0055] 下面结合附图详细说明本发明实施例的技术方案。

[0056] 实施例一

[0057] 本发明实施例一提供的一种电网设备异常的检测方法，流程如图1所示，包括如下步骤：

[0058] 步骤S101：利用特征提取网络对待检测的电网设备图像进行特征提取。

[0059] 本步骤中，将待检测的电网设备图像输入到如图2所示的异常区域检测模型中的特征提取网络中进行特征提取。其中，异常区域检测模型中可以包括特征提取网络以及物体检测器。

[0060] 特征提取网络可以是预先训练得到的卷积神经网络。卷积神经网络中的残差结构网络可以根据输入的电网设备异常图像输出该电网设备异常图像的高层语义特征图像。如图2所示，特征提取网络由残差结构的卷积网络构成，具体可以为轻量级的具有残差结构的卷积神经网络，如残差网络（ResNet）等卷积神经网络。可以理解的是，轻量级特征提取卷积神经网络的连接参数比较少，占据内存少，能够更加快速的对输入图像特征进行提取；同时，对硬件的要求也相对降低。本发明的特征提取网络可以采用ResNet50-vd的改进残差网络结构。

[0061] 具体地，如图2所示，所述特征提取网络可以包括依次连接的多个残差模块，例如4个残差模块；每个残差模块由多个跳跃连接层组成，例如，在第一个残差模块中有4个跳跃连接层，第二、三个残差模块中分别有3个跳跃连接层，第4个残差模块中有6个跳跃连接层。每个跳跃连接层如图2所示，包括依次连接的三个卷积层与叠加运算单元；

[0062] 更优地，在相邻残差模块连接处的跳跃连接层，即相邻残差模块中在前残差模块的最后一个跳跃连接层实现下采样过程，该跳跃连接层中的第一个1×1卷积层的步长由2改为1，第二个3×3卷积层的步长由1改为2，在第三个1×1卷积层之前加入一个步长为2的2×2平均池化层，这样可以加快特征提取网络的计算过程。

[0063] 特征提取网络中不同的卷积层输出的特征图像大小不同，最后一层卷积层输出的特征图像尺寸最小，包含了原始图像的高级特征。

[0064] 更优地，可以将特征提取网络中最后一个残差模块，比如第四个残差模块中每个跳跃连接层中的第二个3×3卷积层用可变形卷积层替换，然后在最后一个残差模块的叠加运算单元之后加入非局部特征提取层，增强特征提取网络的特征提取效果。也就是说，特征提取网络中最后一个残差模块的每个跳跃连接层中除了包括依次连接的三个卷积层、叠加运算单元之外，还可包括连接于叠加运算单元之后的非局部特征提取层，其中，三个卷积层中的第二个卷积层具体为可变形卷积层，第一个、第三个卷积层均为1×1卷积层。

[0065] 这样，可变形卷积层计算时的卷积核形态不规则，会根据物体轮廓动态变化，可以提高特征在图像空间上的特征提取能力；而非局部特征提取层通过稀疏的矩阵乘法在特征图像的空间域上聚合特征信息，提高特征提取网络的特征提取能力，进一步提高检测准确率。

[0066] 本步骤中，可以将所述特征提取网络输出的若干不同尺寸的特征图像，即多语义特征图像，分别输入到物体检测器中，例如，可以将特征提取网络的最后n个残差模块，比如最后三个残差模块输出的不同尺寸的特征图像输入到物体检测器中，即第二、三和四个残差模块输出的特征图像保留并输入到物体检测器中。其中，n为大于1的自然数。

[0067] 步骤S102：利用物体检测器检测出电网设备图像中电网设备异常的区域。

[0068] 具体地，如图2所示，异常区域检测模型中的物体检测器也是预先训练得到的。物体检测器包括多层锚点生成层和检测头层，例如，物体检测器可以包括K层锚点生成层，K为大于1的自然数；所述特征提取网络输出的若干不同尺寸的特征图像分别输入到物体检测器中的各锚点生成层。例如，物体检测器可以包括3层层锚点生成层，所述特征提取网络的第二、三和四个残差模块输出的不同尺寸的特征图像，分别输入到物体检测器中的第1、2、3层锚点生成层。所述物体检测器中的每个锚点生成层对输入的特征图像根据预设的宽高尺寸进行图像截取后，所述物体检测器中的检测头对于每个截取的图像进行设备异常区域的概率值计算；所述检测头将计算的概率值从高到低进行排序，将概率值排序前N的图像作为检测出的电网设备异常的区域的图像。

[0069] 具体地，每层锚点生成层可以生成单位尺寸与输入的特征图像的尺寸相应的锚点框；例如，对应于输入到第1、2、3层锚点生成层的特征图像的尺寸，第1、2、3层锚点生成层生成的锚点框的单位尺寸分别为8、16、32；每个锚点生成层可以生成不同宽高比例的锚点框，例如，可以生成宽高比为1：2、1：1与2：1的锚点框，而锚点框的宽\高尺寸具体为宽高比中的比例值与单位尺寸的乘积值。例如，单位尺寸为8时，锚点生成层根据1：2，1：1与2：1的宽高比生成8x16，8x8，16x8宽高的锚点框。这样，每个锚点生成层可以基于单位尺寸以及不同的宽高比，生成不同尺寸、不同宽高比的锚点框，在输入的特征图像中将锚点框从第一像素开始以滑动窗口的方式进行图像截取。

[0070] 物体检测器中的检测头对于锚点生成层截取的每个图像进行前景类的图像的概率值计算，即进行设备异常区域的概率值计算：检测头对于每个截取的图像进行前景类的图像的概率计算，根据计算的概率，判别截取的图像是前景类的图像还是背景类的图像；

[0071] 其中，检测头区分前景类与背景类的图像是通过卷积运算以及softmax运算进行二分类，其中前景类的图像是含有异常电网设备的区域的图像，背景类的图像是无异常电网设备的其它背景区域的图像。

[0072] 剔除掉判别为背景类的图像后，对判别为前景类的图像，两两组合计算交并比，当交并比大于0.5时剔除掉概率值小的图像，然后将剩余判别为前景类的图像的概率值，即计算的设备异常区域的概率值从高到低进行排序，将概率值排序前N的图像所显示的区域作为检测出的电网设备异常的区域。例如，可以选择排序前100个概率值的图像输出，输出的图像信息的维度共有5维，包括图像左上方顶点坐标(x0，y0)，右下方顶点坐标(x1，y1)坐标，以及图像判别为前景类的类别判定结果。

[0073] 步骤S103：将检测出的电网设备异常的区域的图像输入到细粒度分类网络，利用细粒度分类网络进一步识别所述电网设备异常的区域中电网设备的异常类别。

[0074] 如图2所示，异常区域检测模型还可包括预先训练得到的细粒度分类网络；细粒度分类网络包括多层双线性池化层与一个全连接层；其中，双线性池化层由卷积神经网络层（本文中简称卷积层）与平均池化层组成，双线性池化层中的卷积层可以是由残差网络18网络（ResNet18）组成；

[0075] 将物体检测器检测出的电网设备异常的区域的图像依次输入到细粒度分类网络，经多层双线性池化层进行跨层的双线性池化计算后，输入到全连接层完成特征的整合，最后映射到异常细分类类别中并输出；也就是说，细粒度分类网络可以针对每个输入的电网设备异常的区域的图像，输出一个对应的异常细分类类别。

[0076] 细粒度分类网络中，多层双线性池化层在层与层之间通过拼接来连接，这样完成跨层的双线性池化计算，这种计算方式将多尺度特征信息进行融合，最后将各层的双线性池化计算结果进行拼接，连接到全连接层，全连接层完成特征的整合，之后根据交叉熵函数计算分类结果并输出类别标签，最后映射到异常细分类类别中并输出。

[0077] 更优地，细粒度分类网络中，每层双线性池化层在进行池化运算时还可融合多层池化特征图像。例如，第i层双线性池化层在进行运算时还可融合第i-1层双线性池化层的卷积层输出的特征图像。

[0078] 具体地，细粒度分类网络中可以包括多层双线性池化层、一个全连接层，以及连接相邻两层双线性池化层之间的点乘单元；将物体检测器检测出的电网设备异常的区域的图像输入到细粒度分类网络中的第1层双线性池化层中的卷积层经卷积计算后，计算结果输出到第1层双线性池化层中的平均池化层，以及第2层双线性池化层中的卷积层；第2层双线性池化层中的卷积层的输出与第1层双线性池化层中的平均池化层的输出经点乘单元的点乘计算后，得到的点乘计算结果输入到第2层双线性池化层中的平均池化层；……第i层双线性池化层中的卷积层的输出与第i-1层双线性池化层中的平均池化层的输出经点乘单元的点乘计算后，得到的点乘计算结果输入到第i层双线性池化层中的平均池化层；……最后一层双线性池化层中的平均池化层连接到全连接层，即最后一层双线性池化层中的平均池化层的输出作为全连接层的输入，全连接层输出所述电网设备异常的区域的图像的异常细分类类别标签。其中，i为2 m的自然数，m为细粒度分类网络中双线性池化层的个数。~

[0079] 这样，可以将细分类网络的卷积层提取到的低频信息和高频信息更好地融合到双线性池化网络中，可以获取更好的语义信息。

[0080] 上述的异常区域检测模型是预先训练的，具体训练方法流程如图3所示，包括如下步骤：

[0081] 步骤S301：利用图像网络（ImageNet）大规模数据样本基于迁移学习方法对异常区域检测模型中的特征提取网络进行训练。

[0082] 具体地，可以基于公开的图像网络（ImageNet）大规模数据样本采用现有的迁移学习方法，对异常区域检测模型中的特征提取网络进行训练。

[0083] 步骤S302：对特征提取网络的浅层卷积参数进行固定后，利用训练数据集训练异常区域检测模型中的物体检测器，并微调特征提取网络的高层卷积参数。

[0084] 具体地，在真实的电网设备的监控场景获取大量电网设备图像，并针对获取的电网设备图像中标注出异常区域，生成训练数据集与测试数据集。为了保证训练得到的图像涵盖范围更广，可以选取大量的不同监控场景下的电网设备图像。标注了异常区域的图像保存到指定文件中，并按照9：1生成训练数据集与测试数据集。

[0085] 将训练数据集的电网设备图像输入到异常区域检测模型中的特征提取网络，将特征提取网络输出的若干不同尺寸的特征图像分别输入到物体检测器中的各锚点生成层；

[0086] 根据物体检测器的输出结果与标注出的所述电网设备图像的异常区域之间的差异，计算物体位置，以及前景类、背景类分类的损失函数，即计算的损失函数包括物体位置差异的损失函数，以及前景类、背景类分类的损失函数，然后通过反向传播算法完成异常区域检测模型中的物体检测器的参数的梯度更新，以及特征提取网络的高层卷积参数进行调整更新；

[0087] 在训练中计算损失函数的值，并在测试数据集上进行评估，当损失函数的值下降到收敛平稳，测试数据集上检测精度优良并稳定后，结束所述训练过程。较佳地，所述损失函数具体可以采用线性逻辑损失函数，从而分类精度更高。

[0088] 本步骤的训练过程中，可根据多图像检测框融合和标签平滑处理等数据增强方法，调节不同学习率以适应训练，通过数万轮迭代更新物体检测器的参数。其中，多图像检测框融合和标签平滑处理等数据增强方法可以在训练过程中随机选取并执行，这样可以为数据集增加噪声，有利于模型更好的收敛。学习率调节分为三个阶段，分为0.001,0.0001,0.00001；分别在迭代轮数为20000，28000，36000的时候更新学习率，并在40000轮时停止训练。

[0089] 之后，可以利用测试数据集对异常区域检测模型中的特征提取网络和物体检测器的输出结果进行检验。

[0090] 步骤S303：在对异常区域检测模型中的特征提取网络和物体检测器的训练完成后，对异常区域检测模型中的细粒度分类网络进行训练。

[0091] 具体地，在对异常区域检测模型中的特征提取网络和物体检测器的训练完成后，收集物体检测器的所有输出结果，针对收集的物体检测器输出的电网设备异常的区域的图像手动标注异常细分类类别生成训练样本；利用训练样本对异常区域检测模型中的细粒度分类网络进行训练。

[0092] 本发明实施例一提供的一种电网设备异常的检测装置，内部结构如图4所示，包括：特征提取模块401、异常检测模块402。

[0093] 特征提取模块401用于利用特征提取网络对待检测的电网设备图像进行特征提取；

[0094] 异常检测模块402用于将所述特征提取网络输出的若干不同尺寸的特征图像分别输入到物体检测器中的各锚点生成层；所述物体检测器中的每个锚点生成层对输入的特征图像根据预设的宽高尺寸进行图像截取后，所述物体检测器中的检测头对于每个截取的图像进行设备异常区域的概率值计算；将计算的概率值从高到低进行排序，将概率值排序前N的图像所显示的区域作为检测出的电网设备异常的区域；

[0095] 其中，由所述特征提取网络和所述物体检测器构成的异常区域检测模型是预先根据标注出真实异常区域的电网设备图像训练得到的。

[0096] 进一步，本发明实施例一提供的一种电网设备异常的检测装置还可包括：细分类模块403。

[0097] 细分类模块403用于针对异常检测模块402检测出的电网设备异常的区域的图像利用所述细粒度分类网络输出对应的异常细分类类别。

[0098] 进一步，本发明实施例一提供的一种电网设备异常的检测装置还可包括：模型训练模块（图中未标）。

[0099] 模型训练模块用于对所述异常区域检测模型进行训练，具体训练方法可参考上述图3所示中各步骤的方法，此处不再赘述。

[0100] 本发明实施例一的技术方案中，利用特征提取网络对待检测的电网设备图像进行特征提取，将所述特征提取网络输出的若干不同尺寸的特征图像分别输入到物体检测器中的各锚点生成层；所述物体检测器中的每个锚点生成层对输入的特征图像根据预设的宽高尺寸进行图像截取，由所述物体检测器中的检测头对于每个截取的图像进行设备异常区域的概率值计算；所述检测头将计算的概率值从高到低进行排序，将概率值排序前N的图像作为检测出的电网设备异常的区域的图像；从而提出了基于特征提取网络的高效的多语义设备异常检测算法，并利用物体检测器的物体检测技术定位异常区域位置。

[0101] 进一步，本发明实施例一的技术方案中，改进特征提取网络中卷积神经网络的残差结构，加入可变形卷积层和非局部特征提取层，这样，可变形卷积层计算时的卷积核形态不规则，会根据物体轮廓动态变化，可以提高特征在图像空间上的特征提取能力；而非局部特征提取层通过稀疏的矩阵乘法在特征图像的空间域上聚合特征信息，提高特征提取网络的特征提取能力，进一步提高检测准确率。

[0102] 进一步，本发明实施例一的技术方案中，利用迁移学习将图像网络（ImageNet）大规模数据样本对特征提取网络进行训练，然后对所述特征提取网络的浅层卷积参数进行固定后，利用训练数据集训练所述异常区域检测模型中的物体检测器，并微调所述特征提取网络的高层卷积参数，使得异常区域检测模型收敛速度加快。

[0103] 实施例二

[0104] 作为一种更优的实施方式，本发明实施例二提供的一种电网设备异常的检测方法，流程如图5所示，包括如下步骤：

[0105] 步骤S501：利用特征提取网络对待检测的电网设备图像进行特征提取。

[0106] 本步骤利用特征提取网络对待检测的电网设备图像进行特征提取的方法与上述实施例一中步骤S101中的方法相同，本发明实施例二中的特征提取网络的结构也与上述实施例一中的特征提取网络的结构相同，此处不再赘述。

[0107] 步骤S502：利用物体检测器检测出电网设备图像中电网设备异常的区域。

[0108] 本步骤利用物体检测器检测出电网设备图像中电网设备异常的区域的方法与上述实施例一中步骤S102中的方法相同，本发明实施例二中的物体检测器的结构也与上述实施例一中的物体检测器的结构相同，此处不再赘述。

[0109] 步骤S503：将物体检测器检测出的电网设备异常的区域的图像与图像配准网络输出的异常区域图像进行交并比计算，根据计算结果确定最终的异常区域图像。

[0110] 具体地，如图6所示，本发明实施例二中的异常区域检测模型包括上述的特征提取网络、物体检测器、细粒度分类网络，以及交并比计算模块和图像配准网络；其中，图像配准网络由残差结构的卷积神经网络与稀疏跨域图像配准模块（NBB，Neural Best-Buddies）构成。图像配准网络中的残差结构的卷积神经网络可采用常用的残差结构的卷积神经网络，也可采用与上述实施例一中的特征提取网络相同结构的卷积神经网络，是预先训练得到的。

[0111] 将对应于所述待检测的电网设备图像的模板图像，即与所述待检测的电网设备图像的拍摄场景相同、拍摄角度相同情况下的正常状态的设备图像，用来作为异常检测的基准图像，输入到图像配准网络。

[0112] 图像配准网络的残差结构的卷积神经网络中，卷积层中可以采用残差网络（ResNet）结构，其中使用卷积核大小为（3×3），步长为（2×2），图像配准网络中预先训练得到的卷积层对模板图像根据预设的参数进行卷积运算，输出的高层语义特征图输入到稀疏跨域图像配准模块中，进行待检测的电网设备图像与模板图像的配准计算。将待检测的电网设备图像经过特征提取网络进行特征提取后得到的最后一个特征图，即最小尺寸的特征图作为第一特征图，将模板图像经过图像配准网络中的卷积神经网络进行特征计算得到的最后一个特征图作为第二特征图，然后将第一特征图与第二特征图同时输入到稀疏跨域图像配准模块（NBB）中进行后续图像配准计算。稀疏跨域图像配准模块（NBB）计算出输入的第一特征图与第二特征图之间的差异，完成待检测的电网设备图像与模板图像的配准，然后计算配准后的图像间欧式距离，并融合与去噪后，输出待检测的电网设备图像与模板图像之间的异常区域图像，作为图像配准网络输出的异常区域图像。这样，利用图像配准网络可以检测出未定义的异常类型。

[0113] 本步骤中，利用交并比计算模块将物体检测器检测出的每个电网设备异常的区域的图像与图像配准网络输出的任一异常区域图像进行交并比计算；当物体检测器检测出的一个电网设备异常的区域的图像与图像配准网络输出的一个异常区域图像计算的交并比大于0.5时，则剔除该电网设备异常的区域的图像，将图像配准网络输出的该异常区域图像加入到异常区域图像集合中；如果计算的交并比小于0.5，则同时将该电网设备异常的区域的图像与该异常区域图像，加入到异常区域图像集合中。

[0114] 最终得到的异常区域图像集合中的图像即为确定出的最终的异常区域图像。这样，对于物体检测器所不能检测出的电网设备异常的区域的图像，则可以通过图像配准网络的辅助检测出来，提高异常区域的检出率。

[0115] 步骤S504：将交并比计算模块确定出的最终的异常区域图像输入到细粒度分类网络，利用细粒度分类网络进一步识别所述异常区域图像中电网设备的异常类别。

[0116] 具体地，将异常区域图像集合中的每个最终的异常区域图像依次输入到细粒度分类网络，利用细粒度分类网络进一步识别当前输入的异常区域图像中电网设备的异常类别。

[0117] 本发明实施例二中的细粒度分类网络的结构、功能与上述实施例一中的细粒度分类网络的结构、功能相同，此处不再赘述。

[0118] 本发明实施例二中的特征提取网络、物体检测器以及细粒度分类网络的训练方法和训练过程与上述实施例一中如图3所示的异常区域检测模型的训练方法和过程一样，此处不再赘述。

[0119] 上述的图像配准网络中的卷积神经网络，也可以利用图像网络（ImageNet）大规模数据样本基于迁移学习方法进行训练；事实上，在基于图像网络（ImageNet）大规模数据样本采用迁移学习方法，对所述特征提取网络进行训练时，也可同时基于图像网络（ImageNet）大规模数据样本采用迁移学习方法，对所述图像配准网络中的卷积神经网络进行训练。

[0120] 本发明实施例二提供的一种电网设备异常的检测装置，内部结构如图7所示，包括：特征提取模块701、异常检测模块702、细分类模块703、辅助检测模块704和交并比计算模块705。

[0121] 特征提取模块701用于利用特征提取网络对待检测的电网设备图像进行特征提取；

[0122] 异常检测模块702用于将所述特征提取网络输出的若干不同尺寸的特征图像分别输入到物体检测器中的各锚点生成层；所述物体检测器中的每个锚点生成层对输入的特征图像根据预设的宽高尺寸进行图像截取后，所述物体检测器中的检测头对于每个截取的图像进行设备异常区域的概率值计算；将计算的概率值从高到低进行排序，将概率值排序前N的图像所显示的区域作为检测出的电网设备异常的区域；

[0123] 其中，由所述特征提取网络和所述物体检测器构成的异常区域检测模型是预先根据标注出真实异常区域的电网设备图像训练得到的。

[0124] 辅助检测模块704用于利用图像配准网络中的卷积神经网络针对输入的模板图像进行特征计算输出第二特征图，利用所述图像配准网络中的稀疏跨域图像配准模块计算出第一特征图与第二特征图之间的差异，完成所述待检测的电网设备图像与模板图像的配准，输出所述待检测的电网设备图像与模板图像之间的异常区域图像；其中，所述第一特征图为所述特征提取网络输出的最小尺寸的特征图；

[0125] 交并比计算模块705用于将物体检测器检测出的电网设备异常的区域的图像与图像配准网络输出的异常区域图像进行交并比计算，根据计算结果确定最终的异常区域图像输入到所述细分类模块704；

[0126] 细分类模块704用于根据输入的异常区域图像，利用所述细粒度分类网络输出对应的异常细分类类别。

[0127] 进一步，本发明实施例二提供的一种电网设备异常的检测装置还可包括：模型训练模块（图中未标）。

[0128] 本发明实施例二提供的一种电网设备异常的检测装置中的模型训练模块用于对所述异常区域检测模型进行训练，具体训练方法可参考上述图3所示中各步骤的方法；此外，该模型训练模块还可在基于图像网络（ImageNet）大规模数据样本采用迁移学习方法，对所述特征提取网络进行训练时，也可同时基于图像网络（ImageNet）大规模数据样本采用迁移学习方法，对所述图像配准网络中的卷积神经网络进行训练。

[0129] 上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

[0130] 本发明实施例二的技术方案中，提出了基于特征提取网络的高效的多语义设备异常检测算法，并利用物体检测器的物体检测技术定位异常区域位置，而且还利用图像配准网络确定未定义异常类型，从而提高了异常检测准确率。

[0131] 本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

[0132] 所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围（包括权利要求）被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

[0133] 另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路（IC）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

[0134] 尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态RAM（DRAM））可以使用所讨论的实施例。

[0135] 本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。