基于生成对抗的绝缘护套识别方法、装置、系统及介质转让专利
申请号 : CN202111029241.5
文献号 : CN113470027B
文献日 : 2022-03-25
发明人 : 王凯 , 肖伟 , 陈桂乔 , 尹超勇 , 吴科明 , 杨永聪 , 杨佳麟
申请人 : 广东电网有限责任公司惠州供电局 , 惠州市鸿业电力信息科技有限公司
摘要 :
权利要求 :
1.一种基于生成对抗的绝缘护套识别方法,其特征在于,包括:接收采集到的待识别图像;
将所述待识别图像输入至预训练完成的生成对抗网络中进行去模糊处理后生成重构图像;
将所述重构图像输入至预训练完成的目标检测模型中,通过所述目标检测模型检测所述重构图像中是否存在绝缘护套、以及识别所述绝缘护套在所述重构图像中的目标位置后输出相应的绝缘护套识别结果;
所述方法还包括:预先通过图像采集装置对10kV配电线路中应当安装绝缘护套的设备位置处进行图像采集,得到所述待识别图像;
所述将所述待识别图像输入至预训练完成的生成对抗网络中进行去模糊处理后生成重构图像之前,所述方法还包括:预先构建用于去模糊处理的生成对抗网络,其中所述生成对抗网络包括用于生成重构图像的生成器和用于分辨真实图像与重构图像的鉴别器;
根据采集到的清晰图像生成相应的模糊图像后得到模糊‑清晰图像对;
将所述模糊‑清晰图像对输入至所述生成对抗网络,对所述生成器和鉴别器进行交替训练,直到生成器输出的所述重构图像与所述清晰图像之间的特征差异小于预设阈值时,得到预训练完成的生成对抗网络;
所述将所述模糊‑清晰图像对输入至所述生成对抗网络,对所述生成器和鉴别器进行交替训练,直到生成器输出的所述重构图像与所述清晰图像之间的特征差异小于预设阈值时,得到预训练完成的生成对抗网络,包括:将所述模糊‑清晰图像对中的模糊图像输入至所述生成器进行去模糊处理后生成重构图像;
根据所述重构图像和所述模糊‑清晰图像对中的清晰图像对所述鉴别器进行训练;
当所述鉴别器达到预设训练次数后比较所述重构图像与所述清晰图像之间的特征差异,并根据比较结果调节所述生成器的权重参数以对所述生成器进行训练;
当所述生成器达到预设训练次数后继续返回训练鉴别器,交替训练至所述重构图像与所述清晰图像之间的特征差异小于预设阈值,得到预训练完成的生成对抗网络。
2.根据权利要求1所述的基于生成对抗的绝缘护套识别方法,其特征在于,所述根据采集到的清晰图像生成相应的模糊图像后得到模糊‑清晰图像对,包括:采集所述清晰图像,并根据预设算法随机生成模糊核;
将所述清晰图像与所述模糊核进行卷积运算后生成相应的模糊图像,得到模糊‑清晰图像对 ,其中 , 为模糊图像, 为清晰图像, 为模糊核, 为图像噪声。
3.根据权利要求2所述的基于生成对抗的绝缘护套识别方法,其特征在于,所述根据预设算法随机生成模糊核,包括:设置生成所述模糊核的初始参数,所述初始参数包括最大迭代次数M、最大位移长度、初始角 ;
根据所述初始角 计算初始速度 、迭代起始速度 ,并将轨迹向量x初始化为维度(M,1)的零向量,其中, , ,为虚数单位;
根据所述初始参数、初始速度 、迭代起始速度 和初始化的轨迹向量对下一时刻的图像轨迹进行M‑1次迭代后生成相应的轨迹向量x;
对所述轨迹向量x进行子像素插值后得到所述模糊核K。
4.根据权利要求3所述的基于生成对抗的绝缘护套识别方法,其特征在于,所述初始参数还包括脉冲扰动概率 、惯性项 、大扰动概率 、高斯扰动概率 ,所述根据所述初始参数、初始速度 、迭代起始速度 和初始化的轨迹向量对下一时刻的图像轨迹进行M‑
1次迭代后生成相应的轨迹向量x,包括:令时刻t=1并获取随机生成的正态分布的随机数randn,若所述正态分布的随机数,则根据公式 计算下一
时刻的位置,其中 为上一时刻的速度,t=1时 取迭代起始速度 ;否则下一时刻的位置nextDir为0;
计算速度变化率,并根据所述速度变化率和上一时刻的速度计算t时刻的速度 ,其中所述速度变化率 ,
为t时刻的轨迹,所述t时刻的速度 , ;
根据所述t时刻的速度 和t时刻的轨迹 计算t+1时刻的轨迹;
令t=t+1后继续获取所述正态分布的随机数randn并与 对比大小,并根据对比结果对下一时刻的轨迹 进行迭代计算,直到时刻t=M‑1时获取具有M个轨迹值的轨迹向量x。
5.根据权利要求1所述的基于生成对抗的绝缘护套识别方法,其特征在于,所述将所述重构图像输入至预训练完成的目标检测模型中,通过所述目标检测模型检测所述重构图像中是否存在绝缘护套、以及识别所述绝缘护套在所述重构图像中的目标位置后输出相应的绝缘护套识别结果,包括:
将所述重构图像输入至预训练完成的目标检测模型中,所述目标检测模型包括特征提取网络、分类网络和回归网络;
通过所述特征提取网络提取所述重构图像的图像特征,并对所述图像特征进行特征融合处理;
通过所述分类网络对经特征融合处理的所述图像特征进行分类,检测所述重构图像中是否存在所述绝缘护套;
通过所述回归网络识别所述绝缘护套在所述重构图像中的目标位置并输出位置识别结果。
6.一种基于生成对抗的绝缘护套识别装置,其特征在于,包括:图像采集模块,用于接收采集到的待识别图像;
重构模块,用于将所述待识别图像输入至预训练完成的生成对抗网络中进行去模糊处理后生成重构图像;
检测识别模块,用于将所述重构图像输入至预训练完成的目标检测模型中,通过所述目标检测模型检测所述重构图像中是否存在绝缘护套、以及识别所述绝缘护套在所述重构图像中的目标位置后输出相应的绝缘护套识别结果;
图像采集装置,用于预先对10kV配电线路中应当安装绝缘护套的设备位置处进行图像采集,得到所述待识别图像;
所述装置还包括:
构建模块,用于预先构建用于去模糊处理的生成对抗网络,其中所述生成对抗网络包括用于生成重构图像的生成器和用于分辨真实图像与重构图像的鉴别器;
生成模块,用于根据采集到的清晰图像生成相应的模糊图像后得到模糊‑清晰图像对;
训练模块,用于将所述模糊‑清晰图像对输入至所述生成对抗网络,对所述生成器和鉴别器进行交替训练,直到生成器输出的所述重构图像与所述清晰图像之间的特征差异小于预设阈值时,得到预训练完成的生成对抗网络;
训练模块具体用于将所述模糊‑清晰图像对中的模糊图像输入至所述生成器进行去模糊处理后生成重构图像;
根据所述重构图像和所述模糊‑清晰图像对中的清晰图像对所述鉴别器进行训练;
当所述鉴别器达到预设训练次数后比较所述重构图像与所述清晰图像之间的特征差异,并根据比较结果调节所述生成器的权重参数以对所述生成器进行训练;
当所述生成器达到预设训练次数后继续返回训练鉴别器,交替训练至所述重构图像与所述清晰图像之间的特征差异小于预设阈值,得到预训练完成的生成对抗网络。
7.一种基于生成对抗的绝缘护套识别系统,其特征在于,所述系统包括至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑5任一项所述的基于生成对抗的绝缘护套识别方法。
8.一种非易失性计算机可读存储介质,其特征在于,所述非易失性计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行时,可使得所述一个或多个处理器执行权利要求1‑5任一项所述的基于生成对抗的绝缘护套识别方法。
说明书 :
基于生成对抗的绝缘护套识别方法、装置、系统及介质
技术领域
背景技术
接等所引发的停电事故。
况,往往需要巡视人员在现场对设备近距离观察以发现相应缺陷,这种方法不仅效率低下,
巡视人员还会因为视线角度、地理环境的影响而无法全面找到绝缘护套缺失部位,导致识
别绝缘护套状态的效率与可靠性均较低。
发明内容
置后输出相应的绝缘护套识别结果。
时,得到预训练完成的生成对抗网络。
为模糊核, 为图像噪声。
为虚数单位;
轨迹向量对下一时刻的图像轨迹进行M‑1次迭代后生成相应的轨迹向量x,包括:
时刻的位置,其中 为上一时刻的速度,t=1时 取迭代起始速度 ;否则下一时刻
的位置nextDir为0;
为t时刻的轨迹,所述t时刻的速度 , ;
的轨迹向量x。
征差异小于预设阈值时,得到预训练完成的生成对抗网络,包括:
述重构图像中的目标位置后输出相应的绝缘护套识别结果,包括:
重构图像中的目标位置后输出相应的绝缘护套识别结果。
法。
执行时,可使得所述一个或多个处理器执行上述的基于生成对抗的绝缘护套识别方法。
图像质量,确保后续识别的准确性,并通过预训练完成的目标检测模型对去模糊处理后的
重构图像进行高效的端对端检测识别,准确高效的对待识别图像中绝缘护套的存在状态以
及位置进行检测识别,有效提高了绝缘护套识别的可靠性和效率。
附图说明
具体实施方式
结合附图对本发明实施例进行介绍。
否装有绝缘护套进行识别的情况。如图1所示,该方法具体包括如下步骤:
接线端子处等等位置进行图像采集,将采集到的待识别图像通过例如无线传输、有线传输
等方式发送给识别系统进行绝缘护套的智能图像识别,具体实施时,该图像采集装置可以
采用无人机、智能相机等等,能实现图像采集功能即可,本实施例对此不作限定。
抖动、背景噪声等因素,可能使得采集到的待识别图像比较模糊,导致难以准确的对其中的
绝缘护套的存在状态及其位置进行识别,因此为了提高绝缘护套识别的准确性和可靠性,
在进行识别前,先通过生成对抗网络对待识别图像进行去模糊处理,从而增强待识别图像
的纹理、边缘等特征后得到相应的重构图像,极大地改善因采集过程中图像采集装置的运
动导致的模糊情况,为后续绝缘护套的识别提供准确可靠的待识别样本。
成对抗网络。
抗网络用于去模糊处理,其中生成器用于对模糊图像进行重构后生成重构图像,鉴别器则
用于对真实图像和重构图像进行分布,对生成对抗网络的训练的过程即为生成器与鉴别器
之间的博弈过程,在训练前先基于采集到的清晰图像生成相应的模糊图像后得到模糊‑清
晰图像对来作为生成对抗网络的训练样本,即模糊图像为生成器需要进行去模糊重构的图
像,而对应的清晰图像则作为鉴别器进行真伪分辨时的真实图像,在训练时对生成器和鉴
别器进行交替训练使得二者互相博弈,其中生成器的训练目标是基于模糊图像生成无限接
近于清晰图像的重构图像,使得鉴别器无法分辨出重构图像的真伪,而鉴别器的训练目标
是尽可能把生成器生成的“假”的重构图像与“真”的清晰图像分辨开来,由此构成了一个动
态的博弈过程,当生成器输出的重构图像与清晰图像之间的特征差异小于预设阈值时,则
训练结束得到预训练完成的生成对抗网络,表明此时生成器对模糊图像进行重构生成的重
构图像足以“以假乱真”,使得鉴别器难以判定重构图像是否为真实图像,因此训练完成的
生成对抗网络可有效地对采集到的待识别图像进行去模糊处理,由生成器对模糊的待识别
图像进行重构后得到无线接近于清晰图像的重构图像,有效提高绝缘护套识别的可靠性。
核, 为图像噪声。
一个矩阵,其为卷积核的一种,清晰图像与模糊核进行卷积后会导致图像变得模糊,因此在
生成了模糊核之后,将随机生成的模糊核与采集到的清晰图像进行卷积运算得到相应的模
糊图像,即 , 为模糊图像, 为清晰图像, 为模糊核, 为图像
噪声,进而得到模糊‑清晰图像对 ,由于模糊核生成的随机性,能得到多种类
型的模糊核与清晰图像进行卷积运算,使得训练样本中的数据类型更加多样化,有利于对
生成对抗网络进行更加多元化的重构训练,以适应不同的模糊情况。
为虚数单位;
2000)、最大位移长度 (例如60像素)、脉冲扰动概率 (例如0.001)、惯性项 、大扰
动(干扰量和干扰变动速率大于设定值的扰动)概率 、高斯扰动(按高斯概率分布的随机
扰动)概率 、初始角 ,其中惯性项 服从(0,0.7)的均匀分布,大扰动概率 服从(0,
0.2)的均匀分布,高斯扰动概率 服从(0,0.7)的均匀分布。
即将轨迹向量x初始化为M行1列的零向量,后续根据初始参数、初始速度 、迭代起始速度
和初始化的轨迹向量x(即零向量)对下一时刻的轨迹进行M‑1次迭代后计算得到M个轨迹
值,进而生成相应的轨迹向量x,即在生成轨迹向量x时,下一时刻的图像轨迹的位置是基于
前一时刻的图像轨迹的速度、位置、高斯扰动、脉冲扰动、惯性项分量随机生成的,从而得到
M个时刻下的轨迹值生成该轨迹向量x,之后通过对轨迹向量x进行子像素插值后即可得到
相应的模糊核K,以用于后续对清晰图像的模糊处理,实现高效快速的模糊核生成过程。
时刻的图像轨迹进行M‑1次迭代后生成相应的轨迹向量x,包括:
时刻的位置,其中 为上一时刻的速度,t=1时 取迭代起始速度 ;否则下一时刻
的位置nextDir为0;
为t时刻的轨迹,t时刻的速度 , ;
迹向量x。
各个数字的出现几率是满足正态分布的,可通过的随机数函数Math.random()随机产生,
之后对比randn与 的大小,根据对比结果计算下一时刻的位置,若randn< ,
则根据公式 计算下一时刻的位置,其中
为上一时刻的速度,t=1时 取迭代起始速度 ;否则下一时刻的位置nextDir为
0;基于不同对比结果得到的下一时刻的位置计算速度变化率
,之后根
据速度变化率 计算t时刻的速度 , ,进而计算
得到下一时刻即t+1时刻的轨迹 ;之后令t=t+1并返回继续随机
生成正态分布的随机数randn,重复上述的对比随机数randn与 之间的大小、根据对
比结果计算下一时刻的位置、计算速度变化率、计算t时刻的速度、计算下一时刻的轨迹的
过程,循环迭代至t=M‑1时即可获取到具有M个轨迹值的轨迹向量x,以用于后续的模糊核生
成,将模糊核的生成过程转换为随机轨迹的生成过程,以便获取具有随机性的不同类型的
模糊核用于后续的样本生成,为生成对抗网络提供可靠全面的训练样本,尽可能地提高训
练效果。
到预训练完成的生成对抗网络,包括:
和鉴别器进行交替训练,将模糊‑清晰图像对中的模糊图像输入至生成器进行去模糊处理
后生成重构图像,根据重构图像和对应的清晰图像对鉴别器进行训练,根据判别结果反向
调节鉴别器的权重参数,使得鉴别器能区分重构图像为“假”、清晰图像为“真”,当鉴别器达
到预设训练次数后(例如5次等等),先暂停鉴别器的训练优化转为对生成器进行训练,具体
为比较重构图像和对应的清晰图像之间的特征差异(例如可通过VGG‑19、残差神经网络等
提取重构图像和清晰图像的特征进行比较),并根据特征差异的比较结果反向调节生成器
的权重参数,使生成器输出的重构图像与清晰图像之间的特征差异尽可能缩小,当生成器
达到预设训练次数后继续返回训练鉴别器,交替训练至重构图像与清晰图像之间的特征差
异小于预设阈值,得到预训练完成的生成对抗网络。
绝缘护套识别结果。
已对待识别图像进行了去模糊的预处理,增强了图像纹理特征,因此在目标检测模型对重
构图像进行检测识别时能得到更加可靠准确的识别结果,具体该目标检测模型是基于深度
学习的算法模型,在经过预先的训练后能对输入图像中是否存在绝缘护套进行检测,并识
别绝缘护套在重构图像中的目标位置,根据检测识别结果输出相应的绝缘护套识别结果,
具体为在重构图像中用方框标注相应的目标位置,并给出是否存在绝缘护套的标签,使得
用户能一目了然的获知当前待识别图像上绝缘护套的存在状态,实现了高效准确的绝缘护
套的检测识别,避免人工肉眼识别导致的识别错误、遗漏等情况。
输出相应的绝缘护套识别结果,包括:
集,可以将经生成器重构的图像数据标记为两大类,分别为有绝缘护套(标记为“1”)和无绝
缘护套(标记为“0”)后形成训练集,通过该训练集对目标检测模型进行训练,具体为先对目
标检测模型的权重值进行初始化,将训练集输入至目标检测模型中,通过预设的损失函数
对目标检测模型的输出结果进行误差评价,根据误差评价结果反向调节目标检测模型的权
重参数后继续对训练集进行检测识别,仿佛训练至预设次数或者损失函数的值的变化率小
于设定值时,得到训练完成的目标检测模型。
进行计算,并实现特征图的多尺度融合,即本实施例中通过FPN对重构图像的图像特征进行
提取,并对提取到的图形特征进行特征融合处理,将低分辨率、高语义信息的顶层特征和高
分辨率、缺少语义信息的低层特征进行自上而下、自下而上的横向连接,顶层特征和底层特
征两者优势互补,以获取更好的检测识别结果。
进行分类并给出相应的标签,通过回归网络识别图像中绝缘护套所在的目标位置,在输入
图像中通过方框标注出目标位置,并在方框上添加分类网络输出的分类结果,具体分类网
络和回归网络可采用现有的例如二分类、逻辑回归等现有网络,本实施例对此不作限定,具
体实施时,例如对某个应当安装绝缘护套的位置处采集到的待识别图像进行检测识别,若
输出识别结果为在目标位置标注了方框,且方框上的标签为normal(正常的),则表明此时
绝缘护套的安装状态正常,若输出识别结果为在目标位置标注了方框,且方框上的标签为
missing(缺失的),则表明此时该位置处的绝缘护套缺失,需及时进行安装补救,通过高效
可靠的绝缘护套智能识别进而确保配电线路的工作运行安全。
置后输出相应的绝缘护套识别结果。
缘护套识别的执行过程,各模块的具体实施方式请参考上述对应的方法实施例,此处不再
赘述。
Machine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的
任何组合。还有,处理器110还可以是任何传统处理器、微处理器或状态机。处理器110也可
以被实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、一个或多个微处
理器结合DSP和/或任何其它这种配置。
识别方法对应的程序指令。处理器110通过运行存储在存储器120中的非易失性软件程序、
指令以及单元,从而执行系统10的各种功能应用以及数据处理,即实现上述方法实施例中
的基于生成对抗的绝缘护套识别方法。
此外,存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一
个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器120可
选包括相对于处理器110远程设置的存储器,这些远程存储器可以通过网络连接至系统10。
上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
中的方法步骤S100至步骤S300。
述的图1中的方法步骤S100至步骤S300。
缓存存储器的随机存取存储器(RAM)。通过说明而非限制,RAM可以以诸如同步RAM(SRAM)、
动态RAM、(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、
Synchlink DRAM(SLDRAM)以及直接Rambus(兰巴斯)RAM(DRRAM)之类的许多形式得到。本文
中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类
型的存储器中的一个或多个。
去模糊处理后生成重构图像;将重构图像输入至预训练完成的目标检测模型中,通过目标
检测模型检测重构图像中是否存在绝缘护套、以及识别绝缘护套在重构图像中的目标位置
后输出相应的绝缘护套识别结果。通过生成对抗网络对采集到的待识别图像去模糊处理提
高图像质量,确保后续识别的准确性,并通过预训练完成的目标检测模型对去模糊处理后
的重构图像进行高效的端对端检测识别,准确高效的对待识别图像中绝缘护套的存在状态
以及位置进行检测识别,有效提高了绝缘护套识别的可靠性和效率。
储于一非易失性计算机可读取的存储介质中,该计算机程序在执行时可包括如上述各方法
实施例的流程。其中的存储介质可为存储器、磁碟、软盘、闪存、光存储器等。
护范围。