一种飞机壁板锪窝孔深度在线视觉检测方法及系统

摘要

本发明涉及一种飞机壁板锪窝孔深度在线视觉检测方法及系统，涉及飞机壁板锪窝孔深度视觉检测领域。该方法包括：在飞机壁板上进行自动制作锪窝孔；在第一设定位置处获取第一张锪窝孔图像；在第二设定位置处获取第二张锪窝孔图像；将上述两张图像进行处理，得到第一锪窝孔图像内外边缘的椭圆方程和第二锪窝孔图像内外边缘的椭圆方程；根据上述椭圆方程分别确定第一张锪窝孔图像内外椭圆特征点和第二张锪窝孔图像内外椭圆特征点；根据上述特征点，确定锪窝孔深度；获取设定锪窝孔深度；根据锪窝孔深度和设定锪窝孔深度，修正锪窝孔深度。本发明能够提高飞机壁板锪窝孔深度在线检测的精度和效率。

权利要求

1.一种飞机壁板锪窝孔深度在线视觉检测方法，其特征在于，包括：在飞机壁板上进行自动制作锪窝孔；

在第一设定位置处获取第一张锪窝孔图像；

在第二设定位置处获取第二张锪窝孔图像，所述第二设定位置为在所述第一设定位置基础上平行移动设定距离后的位置；

将所述第一张锪窝孔图像和所述第二张锪窝孔图像进行处理，得到第一锪窝孔图像内外边缘的椭圆方程和第二锪窝孔图像内外边缘的椭圆方程；

根据所述第一锪窝孔图像内外边缘的椭圆方程，确定第一张锪窝孔图像内外椭圆特征点；

根据所述第二锪窝孔图像内外边缘的椭圆方程，确定第二张锪窝孔图像内外椭圆特征点；

根据所述第一张锪窝孔图像内外椭圆特征点和所述第二张锪窝孔图像内外椭圆特征点，确定锪窝孔深度；

获取设定锪窝孔深度；

根据所述锪窝孔深度和设定锪窝孔深度，修正锪窝孔深度；

所述根据所述第一张锪窝孔图像内外椭圆特征点和所述第二张锪窝孔图像内外椭圆特征点，确定锪窝孔深度，具体包括：根据所述第一张锪窝孔图像内外椭圆特征点和所述第二张锪窝孔图像内外椭圆特征点采用公式 确定锪窝孔深度；

其中，Hd为锪窝孔深度，f为相机实际焦距，lu为像素横向物理尺寸，d为相机从第一设定位置到第二设定位置的平移距离，u1i为第一张锪窝孔图像外椭圆锪窝孔深度特征点的横坐标，u1i+1为第一张锪窝孔图像内椭圆锪窝孔深度特征点的横坐标，u2i为第一张锪窝孔图像外椭圆锪窝孔深度特征点的横坐标，u2i+1为第一张锪窝孔图像内椭圆锪窝孔深度特征点的横坐标。

2.根据权利要求1所述的飞机壁板锪窝孔深度在线视觉检测方法，其特征在于，所述将所述第一张锪窝孔图像和所述第二张锪窝孔图像进行处理，得到第一锪窝孔图像内外边缘的椭圆方程和第二锪窝孔图像内外边缘的椭圆方程，具体包括：将所述第一张锪窝孔图像进行灰度化、去噪、边缘检测以及椭圆拟合处理，得到第一锪窝孔图像内外边缘的椭圆方程；

将所述第二张锪窝孔图像进行灰度化、去噪、边缘检测以及椭圆拟合处理，得到第二锪窝孔图像内外边缘的椭圆方程。

3.根据权利要求1所述的飞机壁板锪窝孔深度在线视觉检测方法，其特征在于，所述根据所述第一锪窝孔图像内外边缘的椭圆方程，确定第一张锪窝孔图像内外椭圆特征点，具体包括：获取所述第一锪窝孔图像内外边缘的椭圆方程，所述椭圆方程包括第一内椭圆方程和第一外椭圆方程；

过所述第一锪窝孔图像的内椭圆的中心做一条直线，得到第一直线方程；

根据所述第一内椭圆方程、所述第一外椭圆方程和所述第一直线方程，确定第一张锪窝孔图像内外椭圆特征点。

4.根据权利要求1所述的飞机壁板锪窝孔深度在线视觉检测方法，其特征在于，所述根据所述第二锪窝孔图像内外边缘的椭圆方程，确定第二张锪窝孔图像内外椭圆特征点，具体包括：获取所述第二锪窝孔图像内外边缘的椭圆方程，所述椭圆方程包括第二内椭圆方程和第二外椭圆方程；

过所述第二锪窝孔图像的内椭圆的中心做一条直线，得到第二直线方程；

根据所述第二内椭圆方程、所述第二外椭圆方程和所述第二直线方程，确定第二张锪窝孔图像内外椭圆特征点。

5.一种飞机壁板锪窝孔深度在线视觉检测系统，其特征在于，包括：锪窝孔制作模块，用于在飞机壁板上进行自动制作锪窝孔；

第一张锪窝孔图像获取模块，用于在第一设定位置处获取第一张锪窝孔图像；

第二张锪窝孔图像获取模块，用于在第二设定位置处获取第二张锪窝孔图像，所述第二设定位置为在所述第一设定位置基础上平行移动设定距离后的位置；

图像处理模块，用于将所述第一张锪窝孔图像和所述第二张锪窝孔图像进行处理，得到第一锪窝孔图像内外边缘的椭圆方程和第二锪窝孔图像内外边缘的椭圆方程；

第一特征点确定模块，用于根据所述第一锪窝孔图像内外边缘的椭圆方程，确定第一张锪窝孔图像内外椭圆特征点；

第二特征点确定模块，用于根据所述第二锪窝孔图像内外边缘的椭圆方程，确定第二张锪窝孔图像内外椭圆特征点；

锪窝孔深度确定模块，用于根据所述第一张锪窝孔图像内外椭圆特征点和所述第二张锪窝孔图像内外椭圆特征点，确定锪窝孔深度；

设定锪窝孔深度获取模块，用于获取设定锪窝孔深度；

锪窝孔深度修正模块，用于根据所述锪窝孔深度和设定锪窝孔深度，修正锪窝孔深度；

所述锪窝孔深度确定模块，具体包括：

锪窝孔深度确定单元，用于根据所述第一张锪窝孔图像内外椭圆特征点和所述第二张锪窝孔图像内外椭圆特征点采用公式 确定锪窝孔深度；

其中，Hd为锪窝孔深度，f为相机实际焦距，lu为像素横向物理尺寸，d为相机从第一设定位置到第二设定位置的平移距离，u1i为第一张锪窝孔图像外椭圆锪窝孔深度特征点的横坐标，u1i+1为第一张锪窝孔图像内椭圆锪窝孔深度特征点的横坐标，u2i为第一张锪窝孔图像外椭圆锪窝孔深度特征点的横坐标，u2i+1为第一张锪窝孔图像内椭圆锪窝孔深度特征点的横坐标。

6.根据权利要求5所述的飞机壁板锪窝孔深度在线视觉检测系统，其特征在于，所述图像处理模块，具体包括：第一图像处理单元，用于将所述第一张锪窝孔图像进行灰度化、去噪、边缘检测以及椭圆拟合处理，得到第一锪窝孔图像内外边缘的椭圆方程；

第二图像处理单元，用于将所述第二张锪窝孔图像进行灰度化、去噪、边缘检测以及椭圆拟合处理，得到第二锪窝孔图像内外边缘的椭圆方程。

7.根据权利要求5所述的飞机壁板锪窝孔深度在线视觉检测系统，其特征在于，所述第一特征点确定模块，具体包括：第一椭圆方程确定单元，用于获取所述第一锪窝孔图像内外边缘的椭圆方程，所述椭圆方程包括第一内椭圆方程和第一外椭圆方程；

第一直线方程确定单元，用于过所述第一锪窝孔图像的内椭圆的中心做一条直线，得到第一直线方程；

第一特征点确定单元，用于根据所述第一内椭圆方程、所述第一外椭圆方程和所述第一直线方程，确定第一张锪窝孔图像内外椭圆特征点。

8.根据权利要求5所述的飞机壁板锪窝孔深度在线视觉检测系统，其特征在于，所述第二特征点确定模块，具体包括：第二椭圆方程确定单元，用于获取所述第二锪窝孔图像内外边缘的椭圆方程，所述椭圆方程包括第二内椭圆方程和第二外椭圆方程；

第二一直线方程确定单元，用于过所述第二锪窝孔图像的内椭圆的中心做一条直线，得到第二直线方程；

第二特征点确定单元，用于根据所述第二内椭圆方程、所述第二外椭圆方程和所述第二直线方程，确定第二张锪窝孔图像内外椭圆特征点。

说明书

一种飞机壁板锪窝孔深度在线视觉检测方法及系统

技术领域

[0001] 本发明涉及飞机壁板锪窝孔深度视觉检测领域，特别是涉及一种飞机壁板锪窝孔深度在线视觉检测方法及系统。

背景技术

[0002] 飞机的隐身性和外形设计对飞机壁板表面连接结构的质量提出了更严格的要求，目前主要通过飞机装配时的制孔锪窝并采用沉头螺栓或铆钉进行紧固连接以提高表面质量，而锪窝孔深度偏差会导致飞机壁板连接结构处的凸起或凹陷，成为影响飞机壁板表面质量和结构强度的重要因素。目前自动化装配设备在飞机装配中应用广泛，但锪窝孔深度依旧采用铆钉或窝量规加塞的方式，已不能满足飞机自动化装配技术的数字化、智能化的发展需求。对上述情况，就如何实现飞机自动装配时的非接触、高精度实时在线锪窝孔深度检测，是飞机装配领域急需解决的问题。

发明内容

[0003] 本发明的目的是提供一种飞机壁板锪窝孔深度在线视觉检测方法及系统，能够提高飞机壁板锪窝孔深度在线检测的精度和效率。

[0004] 为实现上述目的，本发明提供了如下方案：

[0005] 一种飞机壁板锪窝孔深度在线视觉检测方法，包括：

[0006] 在飞机壁板上进行自动制作锪窝孔；

[0007] 在第一设定位置处获取第一张锪窝孔图像；

[0008] 在第二设定位置处获取第二张锪窝孔图像，所述第二设定位置为在所述第一设定位置基础上平行移动设定距离后的位置；

[0009] 将所述第一张锪窝孔图像和所述第二张锪窝孔图像进行处理，得到第一锪窝孔图像内外边缘的椭圆方程和第二锪窝孔图像内外边缘的椭圆方程；

[0010] 根据所述第一锪窝孔图像内外边缘的椭圆方程，确定第一张锪窝孔图像内外椭圆特征点；

[0011] 根据所述第二锪窝孔图像内外边缘的椭圆方程，确定第二张锪窝孔图像内外椭圆特征点；

[0012] 根据所述第一张锪窝孔图像内外椭圆特征点和所述第二张锪窝孔图像内外椭圆特征点，确定锪窝孔深度；

[0013] 获取设定锪窝孔深度；

[0014] 根据所述锪窝孔深度和设定锪窝孔深度，修正锪窝孔深度。

[0015] 可选的，所述将所述第一张锪窝孔图像和所述第二张锪窝孔图像进行处理，得到第一锪窝孔图像内外边缘的椭圆方程和第二锪窝孔图像内外边缘的椭圆方程，具体包括：

[0016] 将所述第一张锪窝孔图像进行灰度化、去噪、边缘检测以及椭圆拟合处理，得到第一锪窝孔图像内外边缘的椭圆方程；

[0017] 将所述第二张锪窝孔图像进行灰度化、去噪、边缘检测以及椭圆拟合处理，得到第二锪窝孔图像内外边缘的椭圆方程。

[0018] 可选的，所述根据所述第一锪窝孔图像内外边缘的椭圆方程，确定第一张锪窝孔图像内外椭圆特征点，具体包括：

[0019] 获取所述第一锪窝孔图像内外边缘的椭圆方程，所述椭圆方程包括第一内椭圆方程和第一外椭圆方程；

[0020] 过所述第一锪窝孔图像的内椭圆的中心做一条直线，得到第一直线方程；

[0021] 根据所述第一内椭圆方程、所述第一外椭圆方程和所述第一直线方程，确定第一张锪窝孔图像内外椭圆特征点。

[0022] 可选的，所述根据所述第二锪窝孔图像内外边缘的椭圆方程，确定第二张锪窝孔图像内外椭圆特征点，具体包括：

[0023] 获取所述第二锪窝孔图像内外边缘的椭圆方程，所述椭圆方程包括第二内椭圆方程和第二外椭圆方程；

[0024] 过所述第二锪窝孔图像的内椭圆的中心做一条直线，得到第二直线方程；

[0025] 根据所述第二内椭圆方程、所述第二外椭圆方程和所述第二直线方程，确定第二张锪窝孔图像内外椭圆特征点。

[0026] 可选的，所述根据所述第一张锪窝孔图像内外椭圆特征点和所述第二张锪窝孔图像内外椭圆特征点，确定锪窝孔深度，具体包括：

[0027] 根据所述第一张锪窝孔图像内外椭圆特征点和所述第二张锪窝孔图像内外椭圆特征点采用公式 确定锪窝孔深度；

[0028] 其中，Hd为锪窝孔深度，f为相机实际焦距，lu为像素横向物理尺寸，d为相机从第一设定位置到第二设定位置的平移距离，u1i为第一张锪窝孔图像外椭圆锪窝孔深度特征点的横坐标，u1i+1为第一张锪窝孔图像内椭圆锪窝孔深度特征点的横坐标，u2i为第一张锪窝孔图像外椭圆锪窝孔深度特征点的横坐标，u2i+1为第一张锪窝孔图像内椭圆锪窝孔深度特征点的横坐标。

[0029] 一种飞机壁板锪窝孔深度在线视觉检测系统，包括：

[0030] 锪窝孔制作模块，用于在飞机壁板上进行自动制作锪窝孔；

[0031] 第一张锪窝孔图像获取模块，用于在第一设定位置处获取第一张锪窝孔图像；

[0032] 第二张锪窝孔图像获取模块，用于在第二设定位置处获取第二张锪窝孔图像，所述第二设定位置为在所述第一设定位置基础上平行移动设定距离后的位置；

[0033] 图像处理模块，用于将所述第一张锪窝孔图像和所述第二张锪窝孔图像进行处理，得到第一锪窝孔图像内外边缘的椭圆方程和第二锪窝孔图像内外边缘的椭圆方程；

[0034] 第一特征点确定模块，用于根据所述第一锪窝孔图像内外边缘的椭圆方程，确定第一张锪窝孔图像内外椭圆特征点；

[0035] 第二特征点确定模块，用于根据所述第二锪窝孔图像内外边缘的椭圆方程，确定第二张锪窝孔图像内外椭圆特征点；

[0036] 锪窝孔深度确定模块，用于根据所述第一张锪窝孔图像内外椭圆特征点和所述第二张锪窝孔图像内外椭圆特征点，确定锪窝孔深度；

[0037] 设定锪窝孔深度获取模块，用于获取设定锪窝孔深度；

[0038] 锪窝孔深度修正模块，用于根据所述锪窝孔深度和设定锪窝孔深度，修正锪窝孔深度。

[0039] 可选的，所述图像处理模块，具体包括：

[0040] 第一图像处理单元，用于将所述第一张锪窝孔图像进行灰度化、去噪、边缘检测以及椭圆拟合处理，得到第一锪窝孔图像内外边缘的椭圆方程；

[0041] 第二图像处理单元，用于将所述第二张锪窝孔图像进行灰度化、去噪、边缘检测以及椭圆拟合处理，得到第二锪窝孔图像内外边缘的椭圆方程。

[0042] 可选的，所述第一特征点确定模块，具体包括：

[0043] 第一椭圆方程确定单元，用于获取所述第一锪窝孔图像内外边缘的椭圆方程，所述椭圆方程包括第一内椭圆方程和第一外椭圆方程；

[0044] 第一直线方程确定单元，用于过所述第一锪窝孔图像的内椭圆的中心做一条直线，得到第一直线方程；

[0045] 第一特征点确定单元，用于根据所述第一内椭圆方程、所述第一外椭圆方程和所述第一直线方程，确定第一张锪窝孔图像内外椭圆特征点。

[0046] 可选的，所述第二特征点确定模块，具体包括：

[0047] 第二椭圆方程确定单元，用于获取所述第二锪窝孔图像内外边缘的椭圆方程，所述椭圆方程包括第二内椭圆方程和第二外椭圆方程；

[0048] 第二一直线方程确定单元，用于过所述第二锪窝孔图像的内椭圆的中心做一条直线，得到第二直线方程；

[0049] 第二特征点确定单元，用于根据所述第二内椭圆方程、所述第二外椭圆方程和所述第二直线方程，确定第二张锪窝孔图像内外椭圆特征点。

[0050] 可选的，所述锪窝孔深度确定模块，具体包括：

[0051] 锪窝孔深度确定单元，用于根据所述第一张锪窝孔图像内外椭圆特征点和所述第二张锪窝孔图像内外椭圆特征点采用公式 确定锪窝孔深度；

[0052] 其中，Hd为锪窝孔深度，f为相机实际焦距，lu为像素横向物理尺寸，d为相机从第一设定位置到第二设定位置的平移距离，u1i为第一张锪窝孔图像外椭圆锪窝孔深度特征点的横坐标，u1i+1为第一张锪窝孔图像内椭圆锪窝孔深度特征点的横坐标，u2i为第一张锪窝孔图像外椭圆锪窝孔深度特征点的横坐标，u2i+1为第一张锪窝孔图像内椭圆锪窝孔深度特征点的横坐标。

[0053] 根据本发明提供的具体实施例，本发明公开了以下技术效果：

[0054] 本发明仅通过平移拍摄即可实现飞机壁板锪窝孔深度的在线检测，具有效率高，精度高，成本低等特点，并且可以用于各种自动化装配设备中实现制-检一体化的全自动作业。

附图说明

[0055] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

[0056] 图1为本发明飞机壁板锪窝孔深度在线视觉检测方法流程图；

[0057] 图2为本发明自动制孔机器人的末端执行器与相机关联图；

[0058] 图3为本发明特征点提取原理图；

[0059] 图4为本发明锪窝孔深度计算原理图；

[0060] 图5为本发明的系统数据传输图；

[0061] 图6为本发明飞机壁板锪窝孔深度在线视觉检测系统结构图。

具体实施方式

[0062] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0063] 本发明的目的是提供一种飞机壁板锪窝孔深度在线视觉检测方法及系统，能够提高飞机壁板锪窝孔深度在线检测的精度和效率。

[0064] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

[0065] 实施例1：

[0066] 本发明通过将单目相机集成在自动化装配设备的末端执行器上，通过机器人平移两次拍摄锪窝孔图像，即可得到飞机壁板锪窝孔深度数据，并将检测数据反馈给自动化装设备。图1为本发明飞机壁板锪窝孔深度在线视觉检测方法流程图。如图1所示，一种飞机壁板锪窝孔深度在线视觉检测方法包括：

[0067] 步骤101：在飞机壁板上进行自动制作锪窝孔。自动化装配设备通过安装在机器人A6轴尾端的末端执行器在飞机壁板上完成自动制孔锪窝。

[0068] 步骤102：在第一设定位置处获取第一张锪窝孔图像。具体的，根据离线点位带动末端执行器移动到位置1，集成在末端执行器上的工业相机拍摄第一张锪窝孔图像。

[0069] 步骤103：在第二设定位置处获取第二张锪窝孔图像，所述第二设定位置为在所述第一设定位置基础上平行移动设定距离后的位置。具体的，带动末端执行器平行移动设定距离，工业相机拍摄第二张锪窝孔图像。

[0070] 步骤104：将所述第一张锪窝孔图像和所述第二张锪窝孔图像进行处理，得到第一锪窝孔图像内外边缘的椭圆方程和第二锪窝孔图像内外边缘的椭圆方程，具体包括：

[0071] 将所述第一张锪窝孔图像进行灰度化、去噪、边缘检测以及椭圆拟合处理，得到第一锪窝孔图像内外边缘的椭圆方程。

[0072] 将所述第二张锪窝孔图像进行灰度化、去噪、边缘检测以及椭圆拟合处理，得到第二锪窝孔图像内外边缘的椭圆方程。

[0073] 步骤105：根据所述第一锪窝孔图像内外边缘的椭圆方程，确定第一张锪窝孔图像内外椭圆特征点，具体包括：

[0074] 获取所述第一锪窝孔图像内外边缘的椭圆方程，所述椭圆方程包括第一内椭圆方程和第一外椭圆方程。

[0075] 过所述第一锪窝孔图像的内椭圆的中心做一条直线，得到第一直线方程。

[0076] 根据所述第一内椭圆方程、所述第一外椭圆方程和所述第一直线方程，确定第一张锪窝孔图像内外椭圆特征点。

[0077] 步骤106：根据所述第二锪窝孔图像内外边缘的椭圆方程，确定第二张锪窝孔图像内外椭圆特征点，具体包括：

[0078] 获取所述第二锪窝孔图像内外边缘的椭圆方程，所述椭圆方程包括第二内椭圆方程和第二外椭圆方程。

[0079] 过所述第二锪窝孔图像的内椭圆的中心做一条直线，得到第二直线方程。

[0080] 根据所述第二内椭圆方程、所述第二外椭圆方程和所述第二直线方程，确定第二张锪窝孔图像内外椭圆特征点。

[0081] 过内椭圆中心的任意直线方程与第一张锪窝孔内外椭圆方程相交，建立直线与内外椭圆同侧相交两点的长度方程，求得长度取极大值时的内外椭圆与直线相交的两点分别为P1i(u1i,v1i)和P1i+1(u1i+1,v1i+1)，即为特征点，同理第二张锪窝孔图像内外椭圆特征点为P2i(u2i,v2i)和P2i+1(u2i+1,v2i+1)。

[0082] 步骤107：根据所述第一张锪窝孔图像内外椭圆特征点和所述第二张锪窝孔图像内外椭圆特征点，确定锪窝孔深度，具体包括：

[0083] 根据所述第一张锪窝孔图像内外椭圆特征点和所述第二张锪窝孔图像内外椭圆特征点采用公式 确定锪窝孔深度。

[0084] 其中，Hd为锪窝孔深度，f为相机实际焦距，lu为像素横向物理尺寸，d为相机从第一设定位置到第二设定位置的平移距离，u1i为第一张锪窝孔图像外椭圆锪窝孔深度特征点的横坐标，u1i+1为第一张锪窝孔图像内椭圆锪窝孔深度特征点的横坐标，u2i为第一张锪窝孔图像外椭圆锪窝孔深度特征点的横坐标，u2i+1为第一张锪窝孔图像内椭圆锪窝孔深度特征点的横坐标。

[0085] 步骤108：获取设定锪窝孔深度。

[0086] 步骤109：根据所述锪窝孔深度和设定锪窝孔深度，修正锪窝孔深度。

[0087] 将锪窝孔深度数据反馈给自动化设备的控制系统，控制系统根据检测得到的锪窝孔深度数据和获取的设定锪窝孔深度数据的偏差，修正锪窝孔深度。

[0088] 本发明仅通过单目相机的平移拍摄即可实现飞机壁板锪窝孔深度的在线检测，具有效率高，精度高，成本低等特点，可以集成在用于各种自动化装配设备中实现制-检一体化的全自动作业。

[0089] 实施例2：

[0090] 本实施例详细描述本发明飞机壁板锪窝孔深度在线视觉检测方法和相关计算方法的推导过程，其中飞机壁板锪窝孔深度在线视觉检测方法具体包括以下步骤：

[0091] (1)制孔锪窝。具体过程是机器人根据DELMIA预先规划点位将固定安装在其机械臂尾端的末端执行器移动到飞机壁板待制孔点位，压力角模块压向飞机壁板，制孔模块进给制孔锪窝，最后压力角模块和制孔模块回退到初始位置。

[0092] (2)拍摄图像。机器人移动集成安装在末端执行器上的相机，使上一步完成的飞机壁板锪窝孔在相机中完整清晰成像，PLC控制相机拍摄第一张图像，其中相机与飞机壁板间的物距d1根据激光测距传感器反馈控制，然后机器人平行移动距离d，PLC再控制相机拍摄第二张图像。图2为本发明自动制孔机器人的末端执行器与相机关联图，上位系统通过PLC发出指令，使机器人通过移动固定距离，使相机可以在不同位置拍摄同一孔位，从而获得两张照片。通过照片处理及计算获得孔的锪窝孔深度信息，并反馈给上位系统。

[0093] (3)图像处理。首先进行去噪，去噪时先进行中值滤波，再进行双边滤波，能对锪窝孔图像进行有效的去噪和平滑，然后基于形态学的亚像素边缘检测方法进行锪窝孔图像内外边缘检测，精度可达到0.1像素，最后基于最小二乘法进行锪窝孔内外边缘轮廓椭圆拟合。

[0094] (4)锪窝孔深度计算。图3为本发明特征点提取原理图。图3中，OXY为图像平面，C1、C2为锪窝孔内外边缘经图像处理拟合得到的椭圆方程，L为过内椭圆C2中心的直线，P13、P16为直线L与外椭圆C1的交点，P14、P15为直线L与椭圆C2的交点。

[0095] 设通过上步图像处理得到第一张图像锪窝孔内外边缘的椭圆方程为：

[0096]

[0097] 其中，A11、B11、C11、D11、E11、F11、A22、B22、C22、D22、E22、F22为椭圆C1、C2方程常数参数。

[0098] 设过椭圆C2中心的任意斜率k的直线方程为：

[0099] L:v＝ku+(v20-ku20)

[0100] 其中，k为直线方程斜率，u20、v20为椭圆C2中心点横纵坐标。

[0101] 联立直线方程L椭圆C1和C2的方程可得到如下两个方程组：

[0102]

[0103] 其中，f1(u)＝直线方程L–椭圆方程C1，f2(u)＝直线方程L–椭圆方程C2。

[0104] 设一元二次方程f1(u)＝0，f2(u)＝0的解分别为P13(u13,v13)、P16(u16,v16)和P14(u14,v14)、P15(u15,v15)，其中u13

[0105]

[0106] 令f'(k)＝0，则求出直线L和椭圆C1、椭圆C2相交段长度达到最大值时的k＝kmax，进而可求出当k＝kmax时P13(u13,v13)，P14(u14,v14)和P15(u15,v15)，P16(u16,v16)的数值，当|u13-u14|>|u15-u16|时，则有：

[0107]

[0108] 式中：

[0109] P1i(u1i,v1i)——第一张图像锪窝孔外边缘椭圆C1上锪窝孔深度计算边缘点，即第一张锪窝孔图像外椭圆特征点。

[0110] P1i+1(u1i+1,v1i+1)——第一张图像锪窝孔内边缘椭圆C2上锪窝孔深度计算边缘点，即第一张锪窝孔图像内椭圆特征点。

[0111] 当|u13-u14|>|u15-u16|时，则有：

[0112]

[0113] 通过半全局块匹配算法(SGBM)求出第一张图像和第二张图像的匹配特征点，设第一张图像内外孔锪窝孔深度检测边缘点为P1i(u1i,v1i)，P1i+1(u1i+1,v1i+1)时，在第二张图像对应的锪窝孔深度检测边缘匹配点为P2i(u2i,v2i)，P2i+1(u2i+1,v2i+1)。

[0114] 图4为本发明锪窝孔深度计算原理图。位置1和位置2机器人带动相机的两个拍摄点，位置1拍摄得到第一张图片，位置2拍摄得到第二张图片，P1、P2为锪窝孔内外边缘任意两点，P11(u11，v11)和P21(u21，v21)分别为P1点在两张图像上的投影点，P12(u12，v12)和P22(u22，v22)分别为P2点在两张图像上的投影点，P1点到相机光心的垂直距离为H1，P2点到相机光心的垂直距离为H2，相机实际焦距为f，像素横向物理尺寸为lu，机器人带动相机从位置1到位置2的平移距离为d。

[0115] 由透视投影原理可知，ΔP1P11P′11～ΔP1O11N1、ΔP1P21P′11～ΔP1O12N1。

[0116] 根据三角形相似定理则有：

[0117]

[0118]

[0119] 联立上述两个公式则有：

[0120]

[0121] 其中，O11N1、P1N1为ΔP1O11N1的边长，P1P11、P11P11′为ΔP1P11P11′的边长，O12N1、P1N1为ΔP1O12N1的边长，P21P11′、P11P11′为ΔP1P21P11′的边长。

[0122] 通过锪窝孔内外边缘点的投影关系可知O11N1+O12N1＝d，P1N1＝H1，P1P′11＝H1-f，P11P′11+P21P′11＝d+lu(u21-u11)，代入上式则有：

[0123]

[0124] 式中：

[0125] H1——P1点沿光轴方向到相机光心的垂直距离。

[0126] u11——P1投影点P11的横向像素坐标。

[0127] u21——P1投影点P21的横向像素坐标。

[0128] 通过上式可计算出外边缘上P1点沿光轴方向到相机光心的垂直距离：

[0129]

[0130] 因此同理可计算出内边缘上P2点沿光轴方向到相机光心的垂直距离：

[0131]

[0132] 则有H1和H2的差为外边缘上P1点与内边缘上P2点的深度差，即锪窝孔深度H为：

[0133]

[0134] 将上式坐标替换为P1i(u1i,v1i)，P1i+1(u1i+1,v1i+1)和P2i(u2i,v2i)，P2i+1(u2i+1,v2i+1)，则最终得到飞机壁板锪窝孔深度的计算公式：

[0135]

[0136] 其中相机实际焦距f和像素横向物理尺寸lu通过张正友标定法求解。

[0137] (5)在线反馈。本发明中，PLC、相机、上位机、执行电机驱动器及机器人主要以网口方式连接入ProfiNET总线系统，并以TCP/IP协议进行通讯。PLC通过TCP/IP将拍照指令发给机器人及相机。机器人按照位移指令，相机按照拍照指令完成拍照任务后，相机将照片通过TCP/IP传给上位机。上位机根据照片计算上一步计算得到的锪窝孔深度数据，并将计算的锪窝结果数据与锪窝孔深度标准及精度要求进行对比判断，根据不同判断结果，具体有以下三种情况：

[0138] 情况一：锪窝孔深度满足指标及误差要求。该情况下，上位机直接给发布PLC下一次制孔锪窝指令，PLC不更改当前制孔锪窝工艺参数并对机器人下达下一次制孔锪窝所需的位移指令，对末端执行电机下达制孔锪窝的进给指令，进给量及速度不变，主轴转速也不变。制孔锪窝完成后继续对相机下达拍照指令，在线检测反馈。

[0139] 情况二：锪窝孔深度大于指标及误差要求。该情况下，上位机计算差值ΔH＝Hd–HG，HG为标准值，并根据当前执行单元进给量Hn，计算下次进给量Hm＝Hn-ΔH。根据Hm，上位机通过开放数据库互连，并通过软件平台编写代码及SQL语句连接数据库，在工艺参数库选择相近进给量Ho，规则为|Ho-Hm|≤δ，选择偏小值，δ为误差要求。根据Ho，相应的工艺参数也会有改变，例如主轴转速等。上位机根据Ho，选择合适的工艺参数后，将数据传输给PLC。PLC将数据传输给末端执行电机，数据包括进给量、转速等，同时对机器人下达下一次制孔锪窝所需的位移指令，并在锪窝完成后对相机下达拍照指令，在线检测反馈。

[0140] 情况三：锪窝孔深度小于指标及误差要求。该情况下，上位机计算差值ΔH＝Hd–HG，此时ΔH为负值。根据当前执行单元进给量Hn，计算下次进给量Hm＝Hn-ΔH。根据Hm，上位机通过开放数据库互连，并通过软件平台编写代码及SQL语句连接数据库，在工艺参数库选择相近进给量Ho，规则为|Ho-Hm|≤δ，选择偏大值。接下来如同情况二，上位机根据Ho，选择合适的工艺参数后，将数据传输给PLC。PLC将数据传输给末端执行电机，数据包括进给量、转速等，同时对机器人下达下一次制孔锪窝所需的位移指令，并在锪窝完成后对相机下达拍照指令，在线检测反馈。

[0141] 通过这样由底层执行单元反馈，由上层管理单元计算并判断，最后再将判断结果以新的执行指令下达给底层执行单元，完成在线反馈及调整。

[0142] 图5为本发明的系统数据传输图。相机、上位机、PLC、机器人、末端执行单元均通过网口连接入ProfiNET总线系统，以TCP/IP协议传输数据。上位机与工艺参数库以常用的ODBC接口进行数据交换。

[0143] 图6为本发明飞机壁板锪窝孔深度在线视觉检测系统结构图。如图6所示，一种飞机壁板锪窝孔深度在线视觉检测系统包括：

[0144] 锪窝孔制作模块201，用于在飞机壁板上进行自动制作锪窝孔。

[0145] 第一张锪窝孔图像获取模块202，用于在第一设定位置处获取第一张锪窝孔图像。

[0146] 第二张锪窝孔图像获取模块203，用于在第二设定位置处获取第二张锪窝孔图像，所述第二设定位置为在所述第一设定位置基础上平行移动设定距离后的位置。

[0147] 图像处理模块204，用于将所述第一张锪窝孔图像和所述第二张锪窝孔图像进行处理，得到第一锪窝孔图像内外边缘的椭圆方程和第二锪窝孔图像内外边缘的椭圆方程。

[0148] 第一特征点确定模块205，用于根据所述第一锪窝孔图像内外边缘的椭圆方程，确定第一张锪窝孔图像内外椭圆特征点。

[0149] 第二特征点确定模块206，用于根据所述第二锪窝孔图像内外边缘的椭圆方程，确定第二张锪窝孔图像内外椭圆特征点。

[0150] 锪窝孔深度确定模块207，用于根据所述第一张锪窝孔图像内外椭圆特征点和所述第二张锪窝孔图像内外椭圆特征点，确定锪窝孔深度。

[0151] 设定锪窝孔深度获取模块208，用于获取设定锪窝孔深度。

[0152] 锪窝孔深度修正模块209，用于根据所述锪窝孔深度和设定锪窝孔深度，修正锪窝孔深度。

[0153] 所述图像处理模块204，具体包括：

[0154] 第一图像处理单元，用于将所述第一张锪窝孔图像进行灰度化、去噪、边缘检测以及椭圆拟合处理，得到第一锪窝孔图像内外边缘的椭圆方程。

[0155] 第二图像处理单元，用于将所述第二张锪窝孔图像进行灰度化、去噪、边缘检测以及椭圆拟合处理，得到第二锪窝孔图像内外边缘的椭圆方程。

[0156] 所述第一特征点确定模块205，具体包括：

[0157] 第一椭圆方程确定单元，用于获取所述第一锪窝孔图像内外边缘的椭圆方程，所述椭圆方程包括第一内椭圆方程和第一外椭圆方程。

[0158] 第一直线方程确定单元，用于过所述第一锪窝孔图像的内椭圆的中心做一条直线，得到第一直线方程。

[0159] 第一特征点确定单元，用于根据所述第一内椭圆方程、所述第一外椭圆方程和所述第一直线方程，确定第一张锪窝孔图像内外椭圆特征点。

[0160] 所述第二特征点确定模块206，具体包括：

[0161] 第二椭圆方程确定单元，用于获取所述第二锪窝孔图像内外边缘的椭圆方程，所述椭圆方程包括第二内椭圆方程和第二外椭圆方程。

[0162] 第二一直线方程确定单元，用于过所述第二锪窝孔图像的内椭圆的中心做一条直线，得到第二直线方程。

[0163] 第二特征点确定单元，用于根据所述第二内椭圆方程、所述第二外椭圆方程和所述第二直线方程，确定第二张锪窝孔图像内外椭圆特征点。

[0164] 所述锪窝孔深度确定模块207，具体包括：

[0165] 锪窝孔深度确定单元，用于根据所述第一张锪窝孔图像内外椭圆特征点和所述第二张锪窝孔图像内外椭圆特征点采用公式 确定锪窝孔深度。

[0166] 其中，Hd为锪窝孔深度，f为相机实际焦距，lu为像素横向物理尺寸，d为相机从第一设定位置到第二设定位置的平移距离，u1i为第一张锪窝孔图像外椭圆锪窝孔深度特征点的横坐标，u1i+1为第一张锪窝孔图像内椭圆锪窝孔深度特征点的横坐标，u2i为第一张锪窝孔图像外椭圆锪窝孔深度特征点的横坐标，u2i+1为第一张锪窝孔图像内椭圆锪窝孔深度特征点的横坐标。

[0167] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

[0168] 本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。