本发明公开了一种风力发电机组叶片覆冰形态分析方法，具体步骤如下：采集风力发电机组叶片侧面图像数据集，通过判断叶片长度像素值的极值，获取风力发电机组任一叶片与地面垂直时的侧面图像，对数据做增强处理；构建基于ω型神经网络的图嵌入式叶片覆冰区域分割网络，分割出与地面垂直的风机叶片的覆冰区域；最后将覆冰区域厚度的像素值转换为实际覆冰厚度，并对覆冰区域进行形态分析。本发明的有益效果是：本发明仅凭摄像头采集图像信息搭配基于图嵌入式叶片覆冰区域分割网络的非接触式风力发电机组叶片覆冰分割监测算法完成对风力发电机组叶片覆冰厚度测量和覆冰的形态分析。
1.一种风力发电机组叶片覆冰形态分析方法，其特征是：具体步骤如下：步骤S1：采集风力发电机组叶片侧面图像数据集，通过判断风力发电机组叶片长度像素值的极值，获取风力发电机组中任一叶片与地面垂直时的图像；
步骤S2：构建基于ω型神经网络的图嵌入式叶片覆冰区域分割网络，将步骤S1中得到的风力发电机组中任一叶片与地面垂直时的图像放入图嵌入式叶片覆冰区域分割网络进行图像数据增强处理，对增强处理后的图像数据进行分割处理，得到与地面垂直的风机叶片的覆冰区域；
步骤S3：对步骤S2中与地面垂直的风机叶片的覆冰区域进行形态分析，检测出与地面垂直的风机叶片的覆冰区域像素值，将覆冰区域像素值转换为覆冰厚度，根据覆冰厚度将覆冰区域划分为重冰区、中冰区、轻冰区；
在步骤S2中，构建基于ω型神经网络的图嵌入式叶片覆冰区域分割网络，具体操作如下：S21，对采集的图像数据进行增强处理，搭建像素还原模块和图像再生成模块，对图像数据做降噪去雾增强处理；
S22，基于全局信息引导金字塔与尺度感知金字塔按照ω型神经网络搭建网络的编码层和解码层；
S23，使用欧几里得距离衡量编码层提取的特征间的相似性，根据编码层提取的特征间的相似性将分割网络全连接层中的卷积特征重建为图形特征，增强特征表达能力；
图像数据增强处理通过引入像素还原模块和图像再生成模块分别对每个通道的像素信息进行复原；
像素还原模块由通道注意力模块和像素注意力模块组成，通道注意力模块帮助ω型神经网络去关注被雾气影响的特征信息，像素注意力模块对每个像素点进行加权；
图像再生成模块对像素还原模块提取的特征图进行去雾操作；所述图像再生成模块由三个Ghost模块和一个卷积组成，第一个Ghost模块对提取的特征图做整合细化处理，第二个Ghost模块和第三个Ghost模块分别对整合细化处理后的特征图进行降维，降维后输出的特征图与像素还原模块得到的特征图相融合通过卷积输出，得到再生成的去雾图像；
全局信息引导金字塔在编码的过程中，通过将当前编码层的特征图与当前编码层的下一层编码层的特征图相结合；
将当前编码层的下一层编码层提取的图像特征通过一个线性映射函数映射到与当前编码层相同的通道空间中，定义第 层编码层生成的特征图为Gi，使用扩张卷积从不同级别的特征图中提取全局信息，使用普通卷积获取最终的特征图；
其中Fi为第i层编码层通过全局信息引导后推理出的特征图； 表示连接操作；Dconv表示扩张卷积， 为扩张率；U表示上采样操作， 为采样率；Gi为第i层编码层生成的特征图，n表示扩张率上的编码层的层数，m表示采样率上的编码层的层数，且n=m；
选择不同扩张率的扩张卷积来捕捉不同的尺度信息；接着定义尺度感知模块来融合不同的尺度特征，通过自学习的方式动态选择合适的尺度特征并融合；定义不同尺度特征为，其中 为编码的过程中提取到的第t个特征，不同尺度特征经过卷积操作得到的特征图为 ，GFt是卷积操作后生成的第t张特征图，由归一化指数函数对空间值生成像素级注意图；推理公式如下：
其中CEs是生成的像素级注意图， s=2～t，GFs是卷积操作后生成的第s张特征图；
将特征图进行融合，获取最终融合特征，推理公式如下：
2.根据权利要求1所述的一种风力发电机组叶片覆冰形态分析方法，其特征是：在步骤S1中，采集风力发电机组叶片侧面图像数据集是利用APL超远高清相机远距离采集，在APL超远高清相机的视野范围内安装正方形的标定物，标定物中心高度与APL超远高清相机等高，标定物与风力发电机在同一深度位置。
3.根据权利要求1所述的一种风力发电机组叶片覆冰形态分析方法，其特征是：根据编码层提取的特征间的相似性将分割网络全连接层中的卷积特征重建为图形特征，为构建图形特征，从每幅图像中提取的每个特征都作为图像的一个节点，将图形特征进行分批重建；
T1，将图形特征分成批次，每批图形特征中的每个特征作为重建图型特征的节点；
T2，通过计算每个节点到其余节点的欧几里得距离，为每个节点找到最近的k个邻居；
T3，通过邻接矩阵生成每个节点与其最近的k个邻居之间重建图形特征的边；
重建为第j个图型特征 ，定义 表示为节点之间的潜在关系， 表示每个卷积特征 组成的节点， 是每个卷积特征 组成的节点之间的边，以邻接矩阵A的形式表示。
4.根据权利要求3所述的一种风力发电机组叶片覆冰形态分析方法，其特征是：通过邻接矩阵生成每个节点与其最近的k个邻居之间重建图形特征的边；其步骤如下：（1）初始化邻接矩阵A,初始化卷积特征之间的距离 ,初始化排序距离为变量 ；
（2）计算卷积特征之间的距离，卷积特征之间的距离推理公式：其中， 是节点p和节点q之间的距离， 和 是卷积特征集合 中的任意两个卷积特征， 是卷积特征p， 是卷积特征q；
（3）根据邻接矩阵分别对卷积特征集合 中的任意两个卷积特征 和 进行图特征的边重建，推理公式如下：
其中E(p，q)是节点p和节点q之间的边， C(p，q)是两个卷积特征 和 组成的节点，表示单位矩阵 。
5.根据权利要求1所述的一种风力发电机组叶片覆冰形态分析方法，其特征是：步骤S3中，覆冰厚度的计算方法如下式所示：式中 为覆冰厚度， 为与地面垂直的叶片覆冰区域厚度的像素值， 为正方形标定物像素值。
一种风力发电机组叶片覆冰形态分析方法
技术领域
[0001] 本发明涉及风力发电机组叶片覆冰监测技术领域，尤其涉及一种风力发电机组叶片覆冰形态分析方法。
背景技术
[0002] 目前，我国的风资源基本分布在非常寒冷的北方以及极其潮湿的南方，环境均极其恶劣。风力发电机组在摄氏零度以下低温条件下运行时，如果遇到潮湿空气、雨水、盐雾、冰雪，特别是遇到过冷却水滴时，常常会发生冻冰现象。风力发电机组叶片覆冰后，会对风力发电机组的正常运行造成严重的危害。叶片覆冰后会产生较大的冰载，大大降低叶片的使用寿命。同时，由于加载在每个叶片上的冰载荷不尽相同，使得风力发电组的不平衡载荷增大，若机组继续运行，对机组将产生极大的危害；若停机，则机组的利用率大大降低。
[0003] 目前现有的风力发电机叶片覆冰检测算法可以分为间接监测和直接监测两大类，间接监测通过监测导致结冰的环境参数建立数学模型来预测覆冰事件，这种方法一方面对于环境专家知识过度依赖，另一方面预测模型的使用条件限制，环境和风机型号的改变将造成模型预测性能得不到保证。直接监测则是通过电阻式应变传感器等监测风力发电机组的叶片覆冰情况，然而由于风力发电机组自身结构及运行环境极其恶劣而无法正常运行，诸如在雷击，盐雾，昼夜高低温，强电磁干扰等状况下极易失效。
发明内容
[0004] 本发明的目的是为了解决现有技术中存在的缺点，而提出的一种风力发电机组叶片覆冰形态分析方法，能够在风力发电机组叶片上不安装任何传感设施的情况下，完成对风力发电机组叶片覆冰的形态分析。
[0005] 为了实现上述目的，本发明采用了如下技术方案：一种风力发电机组叶片覆冰形态分析方法，其特征是：具体步骤如下：
[0006] 步骤S1：采集风力发电机组叶片侧面图像数据集，通过判断风力发电机组叶片长度像素值的极值，获取风力发电机组中任一叶片与地面垂直时的图像；
[0007] 步骤S2：构建基于ω型神经网络的图嵌入式叶片覆冰区域分割网络，将步骤S1中得到的风力发电机组中任一叶片与地面垂直时的图像放入图嵌入式叶片覆冰区域分割网络进行图像数据增强处理，对增强处理后的图像数据进行分割处理，得到与地面垂直的风机叶片的覆冰区域；
[0008] 步骤S3：对步骤S2中与地面垂直的风机叶片的覆冰区域进行形态分析，检测出与地面垂直的风机叶片的覆冰区域像素值，将覆冰区域像素值转换为覆冰厚度，根据覆冰厚度将覆冰区域划分为重冰区、中冰区、轻冰区。
[0009] 进一步的，在步骤S1中，采集风力发电机组叶片侧面图像数据集是利用APL超远高清相机远距离采集，在APL超远高清相机的视野范围内安装正方形的标定物，标定物中心高度与APL超远高清相机等高，标定物与风力发电机在同一深度位置。
[0010] 进一步的，在步骤S2中，构建基于ω型神经网络的图嵌入式叶片覆冰区域分割网络，具体操作如下：
[0011] S21，对采集的图像数据进行增强处理，搭建像素还原模块和图像再生成模块，对图像数据做降噪去雾增强处理；
[0012] S22，基于全局信息引导金字塔与尺度感知金字塔按照ω型神经网络搭建网络的编码层和解码层；
[0013] S23，使用欧几里得距离衡量编码层提取的特征间的相似性，根据编码层提取的特征间的相似性将分割网络全连接层中的卷积特征重建为图形特征，增强特征表达能力。
[0014] 进一步的，图像数据增强处理通过引入像素还原模块和图像再生成模块分别对每个通道的像素信息进行复原；
[0015] 像素还原模块由通道注意力模块和像素注意力模块组成，通道注意力模块帮助ω型神经网络去关注被雾气影响的特征信息，像素注意力模块对每个像素点进行加权；
[0016] 图像再生成模块对像素还原模块提取的特征图进行去雾操作；所述图像再生成模块由三个Ghost模块和一个卷积组成，第一个Ghost模块对提取的特征图做整合细化处理，第二个Ghost模块和第三个Ghost模块分别对整合细化处理后的特征图进行降维，降维后输出的特征图与像素还原模块得到的特征图相融合通过卷积输出，得到再生成的去雾图像。
[0017] 进一步的，全局信息引导金字塔在编码的过程中，通过将当前编码层的特征图与当前编码层的下一层编码层的特征图相结合；
[0018] 将当前编码层的下一层编码层提取的图像特征通过一个线性映射函数映射到与当前编码层相同的通道空间中，定义第i层编码层生成的特征图为Gi，使用扩张卷积从不同级别的特征图中提取全局信息，使用普通卷积获取最终的特征图；
[0019] 全局信息引导金字塔的推理公式如下：
[0020]
[0021] 其中Fi为第i层编码层通过全局信息引导后推理出的特征图； 表示连接操作；Dconv表示扩张卷积， 为扩张率；U表示上采样操作， 为采样率；Gi为第i层编码层生成的特征图，n表示扩张率上的编码层的层数，m表示采样率上的编码层的层数，且n=m。
[0022] 进一步的，尺度感知金字塔具体过程如下：
[0023] 选择不同扩张率的扩张卷积来捕捉不同的尺度信息；接着定义尺度感知模块来融合不同的尺度特征，通过自学习的方式动态选择合适的尺度特征并融合；定义不同尺度特征为 ，其中 为编码的过程中提取到的第t个特征，不同尺度特征经过卷积操作得到的特征图为 ，GFt是卷积操作后生成的第t张特征图，
由归一化指数函数对空间值生成像素级注意图；推理公式如下：
[0024]
[0025] 其中CEs是生成的像素级注意图，s=2～t，GFs是卷积操作后生成的第s张特征图；
[0026] 将特征图进行融合，获取最终融合特征，推理公式如下：
[0027]
[0028] 其中Feature为最终融合特征， 为待融合的特征。
[0029] 进一步的，根据编码层提取的特征间的相似性将分割网络全连接层中的卷积特征重建为图形特征，从卷积特征中提取图像信息来重建特征，个体特征在被相邻特征重建时会得到增强，为构建图形特征，从每幅图像中提取的每个特征都作为图像的一个节点，将图形特征进行分批重建；重建图形特征的具体操作方法为：
[0030] T1，将图形特征分成批次，每批图形特征中的每个特征作为重建图型特征的节点；
[0031] T2，通过计算每个节点到其余节点的欧几里得距离，为每个节点找到最近的k个邻居；
[0032] T3，通过邻接矩阵生成每个节点与其最近的k个邻居之间重建图形特征的边；
[0033] 定义卷积特征集合为
[0034] ，对于第j个卷积特征能够重建为第j个图型特征 ，定义 (V,E)表示为节点之间的潜在关系，V表示每个卷积特征 组成的节点，E是每个卷积特征 组成的节点之间的边，以邻接矩阵A的形式表示。
[0035] 进一步的，通过邻接矩阵生成每个节点与其最近的k个邻居之间重建图形特征的边；其步骤如下：
[0036] （1）初始化邻接矩阵A,初始化卷积特征之间的距离D,初始化排序距离为变量R；
[0037] （2）计算卷积特征之间的距离，卷积特征之间的距离推理公式：
[0038]
[0039] 其中，D(p,q)是节点p和节点q之间的距离， 和 是卷积特征集合C中的任意两个卷积特征， 是卷积特征p， 是卷积特征q；
[0040] （3）根据邻接矩阵分别对卷积特征集合C中的任意两个卷积特征 和进行图特征的边重建，推理公式如下：
[0041]
[0042] 其中E(p，q)是节点p和节点q之间的边， C(p，q)是两个卷积特征 和组成的节点， I表示单位矩阵 。
[0043] 进一步的，步骤S3中，覆冰厚度的计算方法如下式所示：
[0044]
[0045] 式中 为覆冰厚度，a为与地面垂直的叶片覆冰区域厚度的像素值， 为正方形标定物像素值。
[0046] 与现有技术相比，本发明具有以下有益效果：
[0047] 1、本发明采用APL超远高清相机远距离采集风力发电机组叶片侧面图像信息；有效解决普通相机近距离安装会影响风力发电机组的正常工作，而且视野范围小，检测效率低的问题；同时有效解决采用无人机巡航拍摄会影响检测精度的问题。
[0048] 2、本发明能够在风力发电机组叶片上不安装任何传感设施的情况下，仅凭摄像头采集图像信息搭配基于图嵌入式叶片覆冰区域分割网络的非接触式风力发电机组叶片覆冰分割监测算法完成对风力发电机组叶片覆冰厚度测量。
[0049] 3、本发明在分割网络中引入全局信息引导金字塔能够解决感受野不匹配存在语义鸿沟和特征信息传输到较浅层时被减弱的问题。
[0050] 4、本发明在分割网络中引入尺度感知金字塔能够有效整合全局信息，提高语义分割的性能。
[0051] 5、本发明将分割网络全连接层中的卷积特征重建为图形特征，增强个体特征，提高分类器的准确性。
附图说明
[0052] 图1为本发明实施例的工程结构示图；
[0053] 图2为本发提出的图嵌入式叶片覆冰区域分割网络结构图；
[0054] 图3为本发明中去雾模块结构图；
[0055] 图4为本发明全局信息引导金字塔网络结构图；
[0056] 图5为本发明尺度感知金字塔网络结构图；
[0057] 在图中，1为APL超远高清相机，2、树莓派，3、标定物，4、风力发电机叶片，5、叶片上的覆冰。
具体实施方式
[0058] 下面结合附图将对本发明实施例中的技术方案进行清楚、完整地描述，以使本领域的技术人员能够更好的理解本发明的优点和特征，从而对本发明的保护范围做出更为清楚的界定。本发明所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0059] 参照图1所示，为本发明的实施例工程图，在风力发电机组侧面远处安装APL超远高清相机1，由搭载图嵌入式叶片覆冰区域分割网络的树莓派2控制，在APL超远高清相机1的视野范围内安装0.5×0.5米的正方形标定物3，正方形标定物3中心高度与APL超远高清相机1等高，标定物3与风力发电机在同一深度位置用于转换出与地面垂直的叶片覆冰厚度，风力发电机上设有风力发电机叶片4，风力发电机叶片4上有叶片上的覆冰5。
[0060] 本发明是这样来工作和实施的，一种风力发电机组叶片覆冰形态分析方法，其特征在于，具体步骤如下：
[0061] 步骤S1：采集风力发电机组叶片侧面图像数据集，通过判断风力发电机组叶片长度像素值的极值，获取风力发电机组中任一叶片与地面垂直时的图像；
[0062] 步骤S2：构建基于ω型神经网络的图嵌入式叶片覆冰区域分割网络，将步骤S1中得到的风力发电机组中任一叶片与地面垂直时的图像放入图嵌入式叶片覆冰区域分割网络进行图像数据增强处理，对增强处理后的图像数据进行分割处理，得到与地面垂直的风机叶片的覆冰区域；
[0063] 步骤S3：对步骤S2中与地面垂直的风机叶片的覆冰区域进行形态分析，检测出与地面垂直的风机叶片的覆冰区域像素值，将覆冰区域像素值转换为覆冰厚度，根据覆冰厚度将覆冰区域划分为重冰区、中冰区、轻冰区。
[0064] 参照图2，本发明构建的基于ω型神经网络的图嵌入式叶片覆冰区分割网络，具体操作如下：
[0065] （1）在预处理端搭建像素还原模块和图像再生成模块，对采集的图像数据做降噪去雾的增强处理；
[0066] （2）基于全局信息引导金字塔结构与尺度感知金字塔按照ω型结构搭建网络的编码层和解码层；
[0067] （3）使用欧几里得距离衡量特征间的相似性，根据特征的相似性将分割网络全连接层中的卷积特征重建为图形特征，增强特征表达能力。
[0068] 参照图3，去雾模块由像素还原模块和图像再生成模块组成，像素还原模块为仍然保留有原始图像纹理信息的浅层特征图的每个像素点分配权重，使最终复原的图像在细节纹理上更接近原始图像的像素分布。像素还原模块由通道注意力模块和像素注意力模块组成，通道注意力模块能够帮助网络去重点关注被雾气影响的特征信息，像素注意力模块则是对每个像素点进行加权。图像再生成模块将前像素还原模块提取的特征图再生成为去雾后的图像，完成对图像的去雾操作。该模块由三个Ghost模块和一个卷积组成，Ghost模块能够代替卷积处理特征信息的工作任务，而且可以降低神经网络大小和计算资源占用。第一个Ghost模块对提取的特征图做整合细化处理，第二个第三个Ghost模块对特征图进行降维，其输出与修复模块得到的特征图相融合后传入最后的卷积层输出，即是再生成的去雾图像。
[0069] 参照图4，全局信息引导金字塔能够解决感受野不匹配存在语义鸿沟和特征信息传输到较浅层时被减弱的问题。在编码的过程中通过将该编码层的特征图与更深层次编码层的特征图相结合。以第二个编码层为例，首先将所有更深层次的编码层提取的图像特征通过一个线性映射函数映射到与第二个编码层相同的通道空间中；定义第i层编码层生成的特征图为 ，接着将 通过上采样与 串联起来；然后使用三个扩张卷积从不同级别的特征图中提取全局信息；最后使用普通卷积获取最终的特征图。其中扩张卷积能够减少模型参数，并行路径的数量和扩张率随着融合阶段的数量而变化。全局信息引导金字塔的推理公式如下：
[0070]
[0071] 其中Fi为第i层编码层通过全局信息引导后推理出的特征图； 表示连接操作；Dconv表示扩张卷积， 为扩张率；表示上采样操作， 为采样速率；Gi第i层编码层生成的特征图，n和m表示编码层的层数，且n=m。
[0072] 参照图5，尺度感知金字塔能够有效整合全局信息，提高语义分割的性能。首先选择三个具有不同扩张率的扩张卷积来捕捉不同的尺度信息；接着设计一个尺度感知模块来融合不同的尺度特征，通过自学习的方式动态选择合适的尺度特征并融合。定义不同尺度的待融合特征为 ，经过卷积操作得到的特征图为 ； 然后由归一化指数函数对空间值生成像素级注意图 ；推理公式如
下：
[0073]
[0074] 其中CEs是生成的像素级注意图，GFs是卷积操作后生成的第s张特征图， t表示待融合的特征图的总数， 是卷积操作后生成的第t张特征图；
[0075] 最后将特征图进行融合，获取来自三个分支的最终融合特征，推理公式如下：
[0076]
[0077] 其中Feature为最终融合特征， 为待融合的特征， 是像素级注意图。
[0078] 重建特征的方法：将分割网络全连接层中的卷积特征重建为图形特征，卷积特征中提取图信息来重建特征，个体特征在被相邻特征重建时会得到增强，为了构建特征图，从每幅图像中提取的每个特征都作为图的一个节点。为了高效计算，将特征进行分批重建。重建特征的具体操作方法为：首先将特征分成批次，对于每批特征，让该批中的每个特征作为重建图特征的节点；接着，通过计算每个节点到其余节点的欧几里得距离，为每个节点找到最近的k个邻居；最后通过邻接矩阵生成每个节点与其最近的k个邻居之间重建图特征的的边。
[0079] 定义卷积特征集合为
[0080] ，对于每个卷积特征 都可以重建为图型特征 ，定义(V,E)表示为节点之间的潜在关系，V表示每个卷积特征组成的节点，E是节点之间的边，以邻接矩阵A的形式表示。
[0081] 邻接矩阵重建图特征的边的步骤如下：
[0082] 步骤1：初始化邻接矩阵A,初始化特征之间的距离D,初始化排序距离为变量R；
[0083] 步骤2：计算特征之间的距离，定义两个卷积特征 和 ，特征之间的距离推理公式：
[0084]
[0085] 其中 和 是卷积特征集合C中的任意两个卷积特征；
[0086] 步骤3：根据邻接矩阵A分别对卷积特征集合C中的任意两个卷积特征 和进行图特征的边重建，推理公式如下：
[0087]
[0088] 其中E(p，q)是节点之间的边，D (p,q)是两个节点之间的距离，C(p,q)是两个卷积特征 和 组成的节点，I表示单位矩阵。
[0089] 实际覆冰厚度测量方法：在APL超远高清相机的视野范围内安装0.5×0.5米的正方形标定物，标定物中心高度与相机等高，标定物与风力发电机在同一深度位置。定义与地面垂直的叶片覆冰区域厚度的像素值为a，0.5×0.5米的正方形标定物像素值为 ，实际覆冰厚度为 ，实际覆冰厚度的计算方法如下式所示：
[0090]
[0091] 式中 为实际覆冰厚度，a为与地面垂直的叶片覆冰区域厚度的像素值， 为0.5×0.5米的正方形标定物像素值，最后对覆冰区域进行形态分析将覆冰区域根据薄厚划分为重冰区、中冰区、轻冰区，根据不同等级的覆冰提醒工作人员采用不同方法进行破冰。
[0092] 本发明中披露的说明和实践，对于本技术领域的普通技术人员来说，都是易于思考和理解的，且在不脱离本发明原理的前提下，还可以做出若干改进和润饰。因此，在不偏离本发明精神的基础上所做的修改或改进，也应视为本发明的保护范围。
