一种基于多视角的飞机蒙皮缺陷检测方法

摘要

本发明公开了一种基于多视角的飞机蒙皮缺陷检测方法，包括检测系统，检测系统包括支架、设置于支架上的固定相机模块和移动相机模块、与固定相机模块和移动相机模块相连的处理模块，固定相机模块采用多路信号采集通过集线器管理的方式把相机集成到处理模块进行蒙皮的粗检测；移动相机模块采用无线的方式进行单独管理，采用无线信号对移动相机模块进行控制和图像传输；其检测方法包括以下步骤：首先采用固定相机模块对飞机蒙皮进行粗检测，求得飞机蒙皮探测概率，相机的分辨率和焦距的选择根据目标探测概率获得；接着移动相机模块通过在支架上移动对飞机蒙皮进行细检测，最后采用图像匹配算法进行对准检测，以提高检测的精确度。

权利要求

1.一种基于多视角的飞机蒙皮缺陷检测方法，包括检测系统，其特征在于，所述检测系统包括支架、设置于支架上的固定相机模块和移动相机模块、与固定相机模块和移动相机模块相连的处理模块，所述固定相机模块采用多路信号采集通过集线器管理的方式把相机集成到处理模块进行蒙皮的粗检测；所述移动相机模块采用无线的方式进行单独管理，采用无线信号对移动相机模块进行控制和图像传输；所述固定相机模块包括固定于支架左右两侧且对称的若干第一相机和固定于支架下侧中部的第二相机，所述移动相机模块包括活动设置在支架上的第三相机；

所述支架左侧的第一相机数量为5个，包括用于检测飞机机头的1个、机身的1个、机翼的2个和尾翼的1个，所述第二相机用于对尾翼中间部分进行检测，所述第一相机和第二相机均带有标号；

其检测方法包括以下步骤：

S1、固定相机模块对飞机蒙皮进行粗检测，求得飞机蒙皮探测概率，相机的分辨率和焦距的选择根据目标探测概率获得；飞机蒙皮探测的概率P(N)为：其中 为探测点数， 为最小探测的分辨率，可以根据飞机蒙皮识别算法获取 的值，采用基于深度学习的目标识别算法中 定义为小目标检测，像素值为32*32，当缺陷图像的分辨率大于64时，探测到目标缺陷的概率为94.5%；

S2、移动相机模块通过在支架上移动对飞机蒙皮进行细检测。

2.根据权利要求1所述的检测方法，其特征在于：所述细检测包括以下步骤：A1、当某标号为k的固定相机检测到目标时，分析缺陷部分的探测概率，当探测概率大于T时，通过操作员直观判断是否为蒙皮缺陷部分；当探测概率小于T时，利用移动相机模块对探测区域进行高精度的对准检测；

A2、根据固定相机的标号，当相机k检测到目标时，移动相机模块通过处理模块控制其精准移动到疑似蒙皮缺陷上方，进行粗对准；

A3、根据图像匹配算法对疑似区域进行精确的对准检测。

3.根据权利要求2所述的检测方法，其特征在于：所述图像匹配算法包括以下步骤：B1、随机从数据集中随机抽出8个不共线的样本数据，利用RANSAC算法计算出变换矩阵H，记为模型M；

B2、计算数据集中所有数据与模型M的投影误差，若误差小于阈值，加入内点集I；若误差大于阈值，则更新数据；

B3、如果迭代次数大于m,则退出；否则迭代次数加1，并重复上述步骤。

4.根据权利要求3所述的检测方法，其特征在于：所述移动相机模块的精准移动方法包括以下步骤：

C1、  ， 为平移矩阵的垂直向量， 为旋转向量，采用SVD分解 ，其中 ， 为正交矩阵， 为奇异值矩阵；

C2、  ，其中 ，得到旋转矩阵和平移向量；

C3、旋转矩阵 ，采用旋转矩阵求欧拉角得到三个方向的角度为： , , ；

C4、实时的检测运动相机图像和固定相机匹配获取的三个方向的角度和平移向量，利用处理单元控制移动相机运动。

说明书

一种基于多视角的飞机蒙皮缺陷检测方法

技术领域

[0001] 本发明涉及飞机蒙皮缺陷检测领域，具体为一种基于多视角的飞机蒙皮缺陷检测方法。

背景技术

[0002] 飞机蒙皮是飞机表面的一层铅合金金属，构成了飞机的外形，具有保持气动性和传递载荷的作用。飞机从起飞到降落的整个飞行过程中，蒙皮将受到外界大小变化且持续
不断的压力作用，蒙皮长期周期性的膨胀与收缩，其表面极易形成微小的疲劳裂纹；我国地
域辽阔，自然环境复杂，各地飞机长期处于不同的自然环境下，蒙皮和铆钉铆接处在与腐蚀
因子接触后极易产生腐蚀。在疲劳损伤和腐蚀环境的共同作用下，飞机蒙皮出现损伤不可
避免。飞机飞行过程中，受到外力的作用，未发现的细微缺陷扩展至临界条件后，缺陷会迅
速扩展放大，导致飞机出现结构性损坏，极有可能引起飞机空中解体，发生不可预测的灾
难。

[0003] 机器视觉是用机器代替人眼，将被拍摄结果转换成图像信号传给图像处理系统，并做出判断和测量，一般采用单一的图像扫描的方式或者移动机器人扫描的方式对飞机蒙
皮进行检测，该方法效率较低，因此如何提高检测的效率为研究的关键环节。

[0004] 专利CN202010058064.2 公开了一种基于飞机蒙皮表面缺陷检测和分类的方法，介绍了飞机蒙皮检测和分类的方法，主要解决的是图片处理的问题，未提及图片的获取方
法，会影响其检测的精准度。

发明内容

[0005] 为解决现有技术中的技术问题，本发明首先公开了一种基于多视角的飞机蒙皮缺陷检测系统，包括支架、设置于支架上的固定相机模块和移动相机模块、与固定相机模块和
移动相机模块相连的处理模块，所述固定相机模块采用多路信号采集通过集线器管理的方
式把相机集成到处理模块进行蒙皮的粗检测；所述移动相机模块采用无线的方式进行单独
管理，采用无线信号对移动相机模块进行控制和图像传输；所述固定相机模块包括固定于
支架左右两侧且对称的若干第一相机和固定于支架下侧中部的第二相机，所述移动相机模
块包括活动设置在支架上的第三相机。

[0006] 作为上述技术方案的进一步改进：

[0007] 所述支架左侧的第一相机数量为5个，分别为检测飞机机头的1个，机身的1个，机翼的2个，尾翼的1个，所述第二相机用于对尾翼中间部分进行检测，所述第一相机和第二相
机均带有标号。

[0008] 本发明还公开了一种基于多视角的飞机蒙皮缺陷检测方法，包括以下步骤：

[0009] S1、固定相机模块对飞机蒙皮进行粗检测，求得飞机蒙皮探测概率，相机的分辨率和焦距的选择根据目标探测概率获得：飞机蒙皮缺陷部分分辨率越低，探测到位缺陷的概
率越低；缺陷部分的分辨率越高，探测的范围就越小，具体根据飞机蒙皮在图像中检测到像
素值有关：

[0010]

[0011] 其中 为飞机蒙皮的探测概率， 为探测点数， 为最小探测的分辨率，可以根据飞机蒙皮识别算法获取 的值，采用基于深度学习的目标识别算法中 定义为小目
标检测，像素值为32*32，当缺陷图像的分辨率大于64时，探测到目标缺陷的概率为94.5%；

[0012] S2、移动相机模块通过在支架上移动对飞机蒙皮进行细检测。

[0013] 优选的，所述细检测包括以下步骤：

[0014] A1、当某标号为k（k为1到11的十一个编号）的固定相机检测到目标时，分析缺陷部分的探测概率，当探测概率大于T时，探测概率T根据不同的算法而不同，一般选择0.8到
0.9，可以自己定义。通过操作员直观判断是否为蒙皮缺陷部分；当探测概率小于T时，利用
移动相机模块对检测区域进行高精度的对准检测；

[0015] A2、根据固定相机的标号，当相机k检测到目标时，移动相机模块通过处理模块控制其精准移动到疑似蒙皮缺陷上方，进行粗对准；

[0016] A3、根据图像匹配算法对疑似区域进行精确的对准检测。

[0017] 优选的，所述图像匹配算法包括以下步骤：

[0018] B1、随机从数据集中随机抽出8个不共线的样本数据，利用RANSAC算法计算出变换矩阵H，记为模型M；

[0019] B2、计算数据集中所有数据与模型M的投影误差，若误差小于阈值，加入内点集I；若误差大于阈值，则更新数据；

[0020] B3、如果迭代次数大于m,则退出；否则迭代次数加1，并重复上述步骤。

[0021] 优选的，所述移动相机模块的精准移动方法包括以下步骤：

[0022] C1、  ， 为平移矩阵的垂直向量， 为旋转向量，采用SVD分解，其中 ， 为正交矩阵， 为奇异值矩阵；

[0023] C2、  ，其中 ，得到旋转矩阵和平移向量；

[0024] C3、旋转矩阵 ，采用旋转矩阵求欧拉角得到三个方向的角度为：, , ；

[0025] C4、实时的检测运动相机图像和固定相机匹配获取的三个方向的角度和平移向量，利用处理单元控制移动相机运动，若 为下次运动 方向的角度， 则往该方向
运动，否则往反方向运动。

[0026] 与现有技术相比，本发明具有如下有益效果：

[0027] 本发明提出的一种基于多视角的飞机蒙皮缺陷检测方法，其检测系统通过固定相机对飞机多角度进行图片采用进行飞机蒙皮粗检测，采用移动相机的结合提高了飞机蒙皮
表面缺陷的识别准确率、可靠性，增强了飞机蒙皮表面的识别覆盖率。移动相机移动采用精
准移动方法，同时采用图片匹配算法，进行图片处理。飞机蒙皮表面缺陷的识别准确率高，
保证了飞机的安全。基于多视角的飞机蒙皮缺陷检测方法实现了非接触、无破坏的精确测
量，有助于实现飞机精确化的维护管理。

附图说明

[0028] 图1为发明的结构示意图；

[0029] 图2为飞机蒙皮图像匹配图。

[0030] 附图标记：101、固定相机；102、移动相机；103、支架；107、移动相机拍摄图像；108、固定相机拍摄图像；110、左右图像特征点；111、左右图像特征点匹配线；109、左图像在右图
像匹配位置。

具体实施方式

[0031] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。

[0032] 本发明的描述中，需要理解的是，术语中“前”、“后”、 “左”、“右”、“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了方便描述本发明和简化
描述，而不是指示或暗示所指的装置或元件必须具有特定的方位，以特定的方位构造和操
作，因此不能理解为对本发明的限制，本发明中各实施例的技术方案可进行组合，实施例中
的技术特征亦可进行组合形成新的技术方案。

[0033] 如图1所示，本发明主要针对单一图像扫描的方式或者移动机器人扫描的方式对飞机蒙皮进行检测效率较低、扫描复杂的问题，提出了一种基于多视角的飞机蒙皮缺陷检
测系统及其检测方法，该检测系统主要包括三个部分：固定相机模块、移动相机模块以及处
理单元。固定相机模块采用位置固定和焦距固定的方式对飞机蒙皮进行检测，根据飞机结
构特性，获得最佳的相机布置。移动相机模块的移动相机102的分辨率比固定相机101的分
辨率高、焦距比固定相机101的焦距要长，可以在支架103上的导轨上水平运动和在滚转方
向运动，可以用在高清的飞机蒙皮检测和定位。处理模块用于把所有相机集成到处理模块
中并控制移动相机模块运动，并进行蒙皮图像的粗检测和细检测。

[0034] 具体的，固定相机模口分为左右各5个固定相机101和中间一个固定相机101，左边右对称的的5个固定相机101分别检测飞机的机头1个、机身1个、机翼2个、尾翼1个，中间的
一个固定相机检测尾翼中间的部分，并且对固定相机进行标号；飞机蒙皮检测的算法可以
为基于深度学习的检测算法也可以为利用目标纹理特征的图像检测算法。相机的分辨率和
焦距的选择根据目标探测概率获得：

[0035] 飞机蒙皮缺陷部分分辨率越低，探测到位缺陷的概率越低；缺陷部分的分辨率越高，探测的范围就越小。具体根据飞机蒙皮在图像中检测到像素值有关：

[0036]

[0037] 其中 为飞机蒙皮探测的概率， 为探测点数， 为最小探测的分辨率，可以根据飞机蒙皮识别算法获取 的值，如采用基于深度学习的目标识别算法中 定义为小
目标检测，像素值为32*32。

[0038] 移动相机102的分辨率比固定相机101的分辨率高、焦距比固定相机的焦距要长，可以在支架103上的导轨上水平移动、在滚转方向运动，可以用于高清的飞机蒙皮检测以及
定位。其移动相机101的检测具体步骤如下所示：

[0039] ①当某一个编号为k的固定相机101检测到目标时，分析缺陷部分的探测概率，当探测概率大于0.8时，通过操作员直观判断是否为蒙皮缺陷部分；当探测概率小于0.8时，利
用移动相机模块对检测区域进行高精度的对准检测；

[0040] ②根据固定相机101的标号，当相机k检测到目标时，移动相机模块快速的移动到疑似蒙皮缺陷上方，进行粗对准；

[0041] ③根据图像匹配算法对疑似区域进行精确的对准检测。

[0042] 如图2所示的飞机蒙皮图像匹配示意图，左侧为移动相机拍摄图像107，右侧为固定相机拍摄图像108，左右图像特征点110提供左右图像特征点匹配线111进行算法匹配，右
侧的方框为左图像在右图像匹配位置109。图像匹配算法特征点可以为SIFT（Scale‑
invariant feature transform）尺度不变特征变换特征描述点或SURF（Speeded Up 
Robust Features）快速不变特征变换特征描述点等，左右图像特征点匹配线111和左图像
在右图像匹配位置109采用RANSAC (random sample consesus）随机抽样一致算法进行拟
合匹配。

[0043] RANSAC算法寻找一个最佳单应性矩阵H，矩阵大小为3×3。RANSAC目的是找到最优的参数矩阵使得满足该矩阵的数据点个数最多。由于单应性矩阵有9个未知参数，至少需要
9个线性方程求解，对应到点位置信息上，一组点对可以列出两个方程，则至少包含5组匹配
点对。

[0044]

[0045] RANSAC算法步骤：

[0046] ① 随机从数据集中随机抽出8个样本数据 (此8个样本之间不能共线)，计算出变换矩阵H，记为模型M；

[0047] ② 计算数据集中所有数据与模型M的投影误差，若误差小于阈值，加入内点集I；若误差大于阈值，则更新数据。

[0048] ③ 如果迭代次数大于m,则退出 ；否则迭代次数加1，并重复上述步骤。

[0049] 单应性矩阵H获取后采用SVD（Singular Value Decomposition）奇异值分解获得旋转矩阵和平移矩阵，然后利用处理单元控制移动相机运动。其具体步骤如下所示：

[0050] ① ， 为平移矩阵的垂直向量， 为旋转向量，采用SVD分解 ，其中 ， 为正交矩阵， 为奇异值矩阵。

[0051] ②  ，其中 ，即得到旋转矩阵和平移向量。

[0052] ③ 旋转矩阵 ，采用旋转矩阵求欧拉角得到三个方向的角度为：, , 。

[0053] ④ 实时的检测运动相机图像和固定相机匹配获取的三个方向的角度和平移向量，利用处理单元控制移动相机运动使得 最小。若 为下次运动 方向的角
度， 则往该方向运动，否则往反方向运动。

[0054] 处理模块：采用把所有相机集成到处理单元中，控制移动相机模块运动，并进行蒙皮图像的粗检测和细节检测部分。固定相机模块管理采用每个相机对应一根网线，采用集
线器把固定相机集中管理的方式把相机集成到一个处理单元中，并进行蒙皮的粗检测；移
动相机模块管理采用无线的方式进行单独管理，采用无线信号对移动相机模块进行在支架
的导轨上水平移动运行和滚转方向运动和图像传输，其中图像传输可以为压缩后的传输和
非压缩后的传输，当操作员需要确认是否存在缺陷时采用图像非压缩的方式进行传输，其
它可以采用图像JPEG的压缩方式进行传输。

[0055] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换
和变型，本发明的范围由所附权利要求及其等同物限定。