一种复杂背景环境中的风力机叶片表面图像提取方法

摘要

本发明公开了一种复杂背景环境中的风力机叶片表面图像提取方法，其包括如下步骤：(1)在风力机每个叶片的迎风面处分别设置方形黑白格标记图，粘贴的位置为平面且与叶片迎风面平行，进而利用标记图的姿态代替叶片姿态；(2)利用摄像头对风力机运行图像进行采集，并将采集到的图像实时传输至工控机中；(3)对摄像头采集到的图像信息进行图像处理以获得叶片表面图像，并根据叶片上的标记图获得风力机叶片信息。本发明可实现对野外环境中运行风力机叶片图像的提取，简化了分析处理过程、加快了分析速度。

权利要求

1.一种复杂背景环境中的风力机叶片表面图像提取方法，其特征在于，包括如下步骤：

(1)设置叶片表面标记：在风力机每个叶片的迎风面处分别设置方形黑白格标记图，粘贴的位置为平面且与叶片迎风面平行，进而利用标记图的姿态代替叶片姿态，以根据标记图的信息获取叶片图像所在区域；

(2)采集叶片图像：利用摄像头对风力机运行图像进行采集，并将采集到的图像实时传输至工控机中；

(3)识别叶片信息：对摄像头采集到的图像信息进行图像处理以获得叶片表面图像，并根据叶片上的标记图获得风力机叶片信息，具体包括如下子步骤：(3.1)图像灰度转换：将摄像头采集到的图像进行图像灰度转换，以将彩图转换成黑白图；

(3.2)图像二值化：将灰度转换后的图像中的每个像素变成黑色或白色，其中黑色的像素值为0，白色的像素值为255，即当某一点像素小于等于设定阈值时，将该点像素设为0，反之则设为255；

(3.3)轮廓监测：获取步骤(3.2)中二值化后的图像中黑色或白色像素联通的区域，寻找联通区域的轮廓，获得多个轮廓；

(3.4)搜索候选标记：对步骤(3.3)中获得的多个轮廓进行多边形逼近，将顶点数为4的多边形区域留下作为候选；

(3.5)筛选标记：将每个候选的多边形区域转换为正方形区域，然后对正方形区域进行网格划分，将其划分为n×n的网格，若外围的一圈网格均为黑色，则认为该区域图像为标记图；

(3.6)获取叶片图像及叶片信息：根据标记图的尺寸、安装位置及叶片尺寸，初步截取叶片图像所在的区域，然后提取叶片边界获得叶片图像，根据叶片图像上的标记图获得该叶片的信息。

2.如权利要求1所述的复杂背景环境中的风力机叶片表面图像提取方法，其特征在于，若初步截取叶片图像所在的区域超出摄像头的视野范围时，则对摄像头进行变焦，使视野范围扩大，具体采用如下控制逻辑进行控制：

1)摄像头采集图像后，进行图像分析，如果图像中包含标记图则进行下一步，如果没有则调整摄像角度和焦距开始采集信息，直至标记图出现在摄像头所采集的图像中；

2)对包含标记图的图像进行叶片范围分析，若叶片图像全部在采集的图像范围内，则对叶片图像进行截取，若不在，则对摄像头以标记图为中心进行变焦，找到多个叶片各自的标记图，然后摆动摄像头使其视野中心为多个标记所确定的中心，继续变焦扩大视野范围使多个叶片全部囊括在图像中。

3.如权利要求2所述的复杂背景环境中的风力机叶片表面图像提取方法，其特征在于，所述标记图由平行于边的直线分割成等分的n×n个小正方型区域构成，并且标记图外围一圈均设计成黑色，通过设置除外围一圈的内部的(n-2)×(n-2)个小正方形的颜色对标记进行编码，该编码与叶片信息相对应，优选的，5≤n≤10。

4.如权利要求3所述的复杂背景环境中的风力机叶片表面图像提取方法，其特征在于，所述组成标记图的黑色方块或白色方块边长设计为大于10像素。

说明书

一种复杂背景环境中的风力机叶片表面图像提取方法

技术领域

[0001] 本发明属于风力机运行维护及图像处理技术领域，更具体地，涉及一种复杂背景环境中的风力机叶片表面图像提取方法。

背景技术

[0002] 风力发电机叶片表面的故障包括裂纹、砂眼、表面沾污、结冰等，如果任由其发展会导致严重的后果，诸如叶片断裂、发电效率下降以及影响传动链的运行安全等。通过摄像设备对叶片表面图像进行监测，可以在故障初期对其发现并能够合理安排检修，避免进一步损失。

[0003] 专利CN201410172548.4、CN201410157662.X、CN201410171787.8设计了如何对风力机叶片表面进行区域划分并提取叶片表面故障的种类及位置的方法，其均是在假设叶片表面图像已经获得的基础上进行，不涉及到如何能够有效的从野外背景图像中提取叶片图像的内容。而叶片图像的背景剔除效果对于下一步分析叶片表面故障种类具有重要的影响，由于野外环境的复杂性，以及不同风力机叶片图像同时出现在图像视野内所造成的干扰等原因导致提取叶片图像十分困难。

[0004] 目前对于物体识别一般利用大量的物体图像来训练图像分类器的方法进行，该方法为了能够获取较高的精度需要大量的图像数据和长时间的训练。而对于风力机叶片而言，首先获得图像数据比较困难，其次由于风力机叶片长度较大，识别过程中很难保证摄像视野内能够获得完整的叶片图像，进而导致识别精度的下降。

发明内容

[0005] 针对现有技术的以上缺陷或改进需求，本发明提供了一种复杂背景环境中的风力机叶片表面图像提取方法，其针对叶片所处环境复杂的特点，通过叶片表面粘贴包含叶片信息的标记图对叶片位置进行定位，初步确定关心区域的位置，实现对野外环境中运行风力机叶片图像的提取，供相应的计算机视觉算法来分析其表面故障种类和发生位置，简化了分析处理过程、加快了分析速度。

[0006] 为实现上述目的，本发明提出了一种复杂背景环境中的风力机叶片表面图像提取方法，包括如下步骤：

[0007] (1)设置叶片表面标记：在风力机每个叶片的迎风面处分别设置方形黑白格标记图，粘贴的位置为平面且与叶片迎风面平行，进而利用标记图的姿态代替叶片姿态；

[0008] (2)采集叶片图像：利用摄像头对风力机运行图像进行采集，并将采集到的图像实时传输至工控机中；

[0009] (3)识别叶片信息：对摄像头采集到的图像信息进行图像处理以获得叶片表面图像，并根据叶片上的标记图获得风力机叶片信息。

[0010] 作为进一步优选的，所述步骤(3)具体包括如下步骤：

[0011] (3.1)图像灰度转换：将摄像头采集到的图像进行图像灰度转换，以将彩图转换成黑白；

[0012] (3.2)图像二值化：将灰度转换后的图像中的每个像素变成黑色或白色，其中黑色的像素值为0，白色的像素值为255，即当某一点像素小于等于设定阈值时，将该点像素设为0，反之则设为255；

[0013] (3.3)轮廓监测：获取步骤(3.2)中二值化后的图像中黑色或白色像素联通的区域，寻找联通区域的轮廓，获得多个轮廓；

[0014] (3.4)搜索候选标记：对步骤(3.3)中获得的多个轮廓进行多边形逼近，将顶点数为4的多边形区域留下作为候选；

[0015] (3.5)筛选标记：利用仿射变换将每个候选的多边形区域转换为正方形区域，然后对正方形区域进行网格划分，将其划分为n×n的网格，若外围的一圈网格均为黑色，则认为该区域图像为标记图；

[0016] (3.6)获取叶片图像及叶片信息：

[0017] 根据标记图的尺寸、安装位置及叶片尺寸，仿射变换初步截取叶片图像所在的区域，然后利用阈值分割法提取叶片边界获得叶片图像，根据叶片图像上的标记图获得该叶片的信息。

[0018] 作为进一步优选的，若初步截取叶片图像所在的区域超出摄像头的视野范围时，则对摄像头进行变焦，使视野范围扩大，具体采用如下控制逻辑进行控制：

[0019] 1)摄像头采集图像后，进行图像分析，如果图像中包含标记图则进行下一步，如果没有则调整摄像角度和焦距开始采集信息，直至标记图出现在摄像头所采集的图像中；

[0020] 2)对包含标记图的图像进行叶片范围分析，若叶片图像全部在采集的图像范围内，则对叶片图像进行截取，若不在，则对摄像头以标记图为中心进行变焦，找到多个叶片各自的标记图，然后摆动摄像头使其视野中心为多个标记所确定的中心，继续变焦扩大视野范围使多个叶片全部囊括在图像中。

[0021] 作为进一步优选的，所述标记图由平行于边的直线分割成等分的n×n个小正方型区域构成，并且标记图外围一圈均设计成黑色，通过设置除外围一圈的内部的(n-2)×(n-2)小正方形的颜色对标记进行编码，该编码与叶片信息相对应，优选的，5≤n≤10。

[0022] 作为进一步优选的，所述组成标记图的黑色方块或白色方块边长设计为大于10像素。

[0023] 总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：

[0024] 1.本发明与训练风力机叶片分类器的方法相比能够明显降低工作量，由于分类器需要几千张待识别物体图像作为输入图像，所以样本寻找困难，同时训练时间较长且精度不高，而本发明利用标记尺寸、粘贴位置等已知参数，同时在摄像头采集的图像中标记边长所占图像像素数量，进行仿射变换，即可求得叶片的大致位置，最终获得叶片图像，具有寻找方便、快速、准确的优点。

[0025] 2.本发明由于采用颜色对比度强的黑白色块，对光照敏感性降低，能够大幅降低由于室外环境图像光照复杂导致的叶片识别精度下降，且相对于采用彩色标记物进行标记，本发明所采用标记信息更加丰富制作标记物简单，同时利用了标记物的几何形状信息。

[0026] 3.本发明采用的图像处理算法复杂度低，优化叶片提取流程，适合进行实时监控。

附图说明

[0027] 图1是本发明实施例的叶片图像提取装置的示意图；

[0028] 图2是本发明实施例的叶片表面标记图；

[0029] 图3是本发明实施例的叶片图像提取方法的流程图；

[0030] 图4是本发明实施例的求出的叶片边界；

[0031] 图5是本发明实施例的截取后的叶片图像；

[0032] 图6是本发明实施例的摄像头控制逻辑图。

具体实施方式

[0033] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

[0034] 本发明提供一种风力机叶片表面图像提取方法，其对风力机叶片表面合适位置粘贴或喷涂标记图，然后利用摄像设备随机拍摄可能包含叶片的环境图像，监测叶片表面的标记是否在图像中，确定叶片图像的区域，扣取叶片图像，根据粘贴在叶片表面的黑白标记图确定叶片图像的位置，即通过标记图像的内容判断所监测叶片的编号。整个过程涉及到叶片表面标记的设置、叶片图像的提取和叶片信息的确定。

[0035] 该提取方法通过叶片图像提取装置实现，如图1所示，叶片图像提取装置包括：风机叶片表面标记图，图像采集单元，数据存储分析单元何监控显示单元。

[0036] 图像采集单元，包含负责叶片图像采集的摄像设备(如风机监控摄像头)以及对摄像头曝光、变焦和旋转角度进行控制的相应机械控制设备，同时还应包含与工控机进行数据传输的图像采集卡和数据传输线。

[0037] 数据存储分析单元(如工控机)，包括对图像数据进行存储的硬件设备以及对数据进行分析处理的软件系统，主要供能是对采集卡采集的监控图像进行分析，找到相应故障数据并传输到显示设备。

[0038] 监控显示单元(如人机交互设备)，实现与操作人员的交互功能，显示监控画面和处理结果。

[0039] 其中，风机监控摄像头包含自动控制上下左右转动功能和调焦功能，采集的图像信息可通过有线或无线的方式把采集到的图像传到工控机进行处理，工控机反馈控制信号控制摄像头的转动和调焦。转动和对焦信号以标记确定叶片位置和视野范围进行确定，如果确定的叶片位置超出摄像机视野范围则需要进行摄像头转动或者焦距变化来把叶片包含到视野中。

[0040] 具体的，本发明叶片图像提取方法主要包括如下步骤：

[0041] 步骤(1)：如图2所示，在风力机叶片迎风面处粘贴或喷涂方形黑白格标记图，粘贴位置应为平面且基本与叶片迎风面平行，从而可以用标记图的姿态基本代替叶片姿态。一般标记选取叶片长度中心处，可以保证标记于整个叶片同时出现在图像视野中的概率较大。

[0042] 其中，标记图由正方形区域构成，为了能够对不同标记内部信息进行区分，每个标记区域由平行于边的直线分割成等分的n×n个小正方型区域，并且标记图外围一圈均设计成黑色，通过设置除外围一圈的内部的(n-2)×(n-2)小正方形的颜色是黑或白对标记进行编码，即内部(n-2)×(n-2)的网格区域每一行由n-2位(bit)表示，则标记至多可包含2(n-2)×(n-2)个变化可能，每一种变化对应的编码对应一个叶片ID信息，在数据库中设立叶片信息表，按照ID查找更详细的叶片信息(主要为叶片编号)。

[0043] 如图2所示，风力机叶片表面标记图为由黑白正方形组成的正方形标记，通过改变标记内部黑白正方形的位置使得其包含标记的ID信息和方向信息，为了满足标记具有足够丰富的信息且标记中黑白格面积不至于太小要求5≤n≤10，如图2中的标记，由5×5个黑白格组成，外围一圈均为黑色，黑色代表0白色代表1，则图2中标记的信息可以得到：第一行(00000)、第二行(00110)、第三行(01010)、第四行(01000)、第五行(00000)，通过增加黑白正方形的数量还可包含更多信息。

[0044] 标记图的大小与摄像头的选取有关，满足算法可对摄像头采集的标记图图像内容进行识别即可。本发明中将组成标记图基本单元的黑色方块或白色方块边长设计为大于10像素，在该条件下可满足要求。

[0045] 步骤(2)：利用摄像头对风力机运行图像进行采集，摄像头摆放位置需能采集到三个叶片的完整图像，可根据叶片变桨情况改变摄像头的位置，摄像头采集的图像实时传输到工控机中。

[0046] 步骤(3)：对摄像头采集的图像信息进行图像处理以获得叶片信息。由摄像头采集的信息可能包含全部或部分叶片图像和复杂的背景图像，通过图像处理方法可方便的求出标记图像的姿态和内部信息，本发明利用标记图尺寸、粘贴位置、叶片尺寸等已知的先验知识，同时在摄像头采集的图像中标记的标记边长所占图像像素数量，进行仿射变换，即可求得叶片的大致位置，截取该位置的图像利用图像处理方法求出边界，边界内所包含部分即为叶片图像，如图4所示。

[0047] 具体的，包括如下步骤：

[0048] 步骤(3.1)：图像灰度转换

[0049] 由于摄像头拍摄的图片包含叶片图像、背景图像等多种图像，其为彩色图像，因此首先需将摄像头采集的图像进行图像灰度转换，以将彩图转换成黑白图，且由于叶片上的标记图由黑白块组成，图像转换成灰度图后标记图中的黑白部分对比度不会减小。

[0050] 步骤(3.2)：图像二值化

[0051] 将灰度转换后的图像中的每个像素变成黑色(像素值为0)或白色(像素值为255)，该步骤通过设置图像阈值来实现，根据实际需求先设置阈值，例如175，然后当某一点像素小于等于设定的阈值175时，则该点像素设为0(即黑色)，反之则设为255(白色)。

[0052] 步骤(3.3)：轮廓监测

[0053] 通过二值图像中黑色或白色像素联通的区域，寻找联通区域的轮廓，获得多个轮廓。

[0054] 步骤(3.4)：搜索候选标记

[0055] 对步骤(3.3)中获得的多个轮廓进行多边形逼近，判断轮廓的顶点数，由于原始标记图为正方形，其在图像中应为顶点数为4的多边形，因此顶点数为4的多边形区域均留下作为候选。

[0056] 步骤(3.5)：筛选标记

[0057] 为了从候选的多边形区域中筛选出最终的标记图，需对区域内部进行编码识别，把每个候选的多边形区域利用仿射变换(其为现有技术，在此不赘述)转换为正方形区域(因为原始标记图为正方形)，然后对区域进行网格划分，例如划分为5×5的网格(即划分成与标记图网格数一样的网格图)，网格内部3×3的网格包含标记物的信息，如果内部3×3的网格被黑色边界所包围，则认为该区域图像为标记图。其中，内部3×3的网格包含29＝512种编码方式，但是需要扣除纯黑纯白的2个，以及由于图像旋转导致的不同编码图像成为同一编码510/4＝127，这样就可以得到127个编码信息。对于每种编码对应了叶片信息(叶片独有的ID，代表了叶片的编号)，通过该信息可以知道图像中是否有叶片，有哪个叶片等信息。

[0058] 步骤(3.6)：获取叶片图像及叶片信息

[0059] 根据标记图尺寸、安装位置及叶片的尺寸，仿射变换初步截取叶片图像所在的区域，然后提取叶片边界获得叶片图像，根据叶片图像上的标记图获得该叶片的信息。

[0060] 由于标记在叶片中的安装位置、叶片的尺寸和标记的尺寸都是已知的，可以利用以上信息在拍摄图像中利用标记图像推导出叶片在图像区域中的位置信息，具体如下：

[0061] 假设标记贴在叶片的中部位置，即叶片长度一半处，标记的尺寸为M×M米，叶片的尺寸为L米×W米(长×宽)，由于拍摄角度不会垂直于标记，在拍摄得到的图像中会得到标记图像为一个长宽为m像素×n像素的平行四边形A，以A形心为中心做一个长宽边与A两边平行的平行四边形A’，其中，A’和m边平行的边的长度为m×L/M像素，A’和n边平行的边长度为n×W/M像素，此时获得的A’所包含的区域绝大部分都是叶片图像，背景图像只引入了很少部分。

[0062] 得到叶片所在区域的初步提取图像(即A’)后，提取区域中绝大部分区域都是叶片的图像，由于减小了外界环境景物和可能进入拍摄图像中的其他叶片干扰，然后可以利用cannyEdge边缘检测器等边缘检测算法提取叶片边界，边界内部区域就是叶片图像，而根据叶片图像上的标记图即可获得该叶片的信息。

[0063] 如果截取范围超出摄像头视野范围，则对摄像头进行变焦使视野范围扩大。为了能准确快速的找到叶片完整图像，本发明设计了摄像头控制逻辑，如图6所示，其控制逻辑为：

[0064] 1)摄像头采集图像后，进行图像分析，如果图像中包含标记图则进行下一步，如果没有则调整摄像角度和焦距开始采集信息，直至标记图出现在摄像头所采集图像I中。

[0065] 2)对于包含标记图的图像I进行叶片范围分析，分析后叶片范围如果全部在图像范围内则对叶片图像进行截取，如果不在，则对摄像头以标记图为中心进行变焦，找到多个(例如三个)叶片各自的标记图，然后摆动摄像头使其视野中心为多个标记图所确定的中心(如三个标记所确定三角形的形心)，继续变焦扩大视野范围即可使多个(例如三个)叶片全部囊括在图像I中。

[0066] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。