一种基于面结构光的焊道三维形貌检测方法

摘要

本发明提出一种基于面结构光的焊道三维形貌检测方法，属于自动化制造技术领域。该方法首先搭建由投影仪和相机组成的结构光测量系统，将投影仪、相机与待测焊道样品进行排布并固定，并对投影仪和相机进行标定；投影仪采用三步相移法向待测焊道样品的待测表面投射图像后被相机捕获，得到对应的相机图像，计算相机图像所有点的世界坐标，得到待测焊道样品的点云；对点云进行若干次有效采样并得到对应的形貌拟合方程，从中选出有效拟合方程并将方程得到的属于基材部分的点从点云中去除，剩余点组成焊道部分的点云，待测焊道样品的三维形貌检测完毕。本发明方法安装简单，成本低，测量全面，精度高。

权利要求

1.一种基于面结构光的焊道三维形貌检测方法，其特征在于，该方法包括以下步骤：(1)搭建由投影仪和相机组成的结构光测量系统；将投影仪、相机与待测焊道样品进行排布并固定：投影仪镜头及相机镜头均朝向待测焊道样品的待测表面，调节投影仪、相机与待测焊道样品之间的距离，使得待测焊道样品全部处于投影仪与摄像机的共视区内；固定后对相机和投影仪分别进行标定，分别获得相机的内参、外参和畸变参数，及投影仪的内参、外参和畸变参数；

(2)投影仪采用三步相移法向待测焊道样品的待测表面投射图像，则投影的三张图像表达式如下：式中Ii(xp,yp)为第i张图像中(xp,yp)点的灰度，xp,yp分别是该点在投影仪像素坐标系中的横坐标和纵坐标，Iavg为平均灰度，Iamp为相移振幅，f为图像条纹的横向空间频率，2πfxp为(xp,yp)点的相位；

当投影仪投射出的图像被相机捕获后，将对应地得到三张相机图像；对相机图像坐标系中的任意一点Z，通过下式求出Z点对应的相位ΦZ：其中， 是相机捕获到的投影仪投影出的第i张图像中Z点的灰度值；

Z的世界坐标 与投影仪像素坐标系中的坐标 满足如下方程：其中， 为世界坐标系到投影仪坐标系的坐标变换矩阵，由对应的旋转矩阵Rp和平移向量tp共同组成； 为投影仪坐标系到投影仪像素坐标系的内参投影矩阵；sp为第一比例因子；

Z点的世界坐标 与相机像素坐标系中的坐标 满足如下方程：其中， 为世界坐标系到相机坐标系的坐标变换矩阵，由对应的旋转矩阵Rc和平移向量tc共同组成； 为相机坐标系到相机像素坐标系的内参投影矩阵，sc为第二比例因子；

根据Z点在投影仪像素平面中的横坐标，得到如下表达式：

进而得到Z点的世界坐标；

(3)重复步骤(2)，对每张相机图像上的所有点的世界坐标进行求解，获得待测焊道样品的点云；

(4)对步骤(3)得到的点云进行采样，随机选取设定比例的点并判定为属于基材部分的点，利用选取的点的世界坐标并根据待测焊道样品的基材的几何体类型拟合待测焊道样品的形貌方程，得到对应的拟合参数；

(5)将步骤(4)中所有未被选取的点云中的点代入步骤(4)拟合的形貌方程计算，并设定判定阈值进行检验，若存在点符合阈值，则判定该点为属于基材部分的点；

(6)如果步骤(5)中判定为属于基材部分点的数量大于点云总点数的设定比例，则认为步骤(4)采样是有效的，进入步骤(7)；否则，返回步骤(4)重新对点云进行采样然后拟合新的形貌方程，直到采样有效为止；

(7)使用步骤(4)和(5)中判定属于基材部分的点重新进行形貌方程的拟合，得到新的待测焊道样品的形貌方程以及对应的方程参数；

(8)将点云中所有点代入步骤(7)拟合得到的新方程，利用步骤(5)设定的判定阈值进行检验，得到该方程下属于基材部分点的个数；

(9)重复步骤(4)-(8)N次，选取得到基材部分点数量最多的方程作为有效方程，并将该方程对应的点云中的基材部分的点为基材分割的最终结果；

(10)利用步骤(9)的结果，从步骤(3)得到的点云中分割出基材点云，则点云中剩余点组成焊道部分的点云，待测焊道样品的三维形貌检测完毕。

2.如权利要求1所述的方法，其特征在于，所述步骤(4)中根据待测焊道样品的基材的几何体类型拟合待测焊道样品的形貌方程，具体方法如下：若基材为平面，则采用ax+by+cz+d＝0进行拟合，其中a，b，c，d为待拟合参数；

若基材为圆柱面，则采用

进行拟合，其中r为半径，x1，x2，y1，y2，z1，z2为待拟合参数，cross(x,y)表示向量x和y的叉积，||x||表示对向量x进行取模运算。

说明书

一种基于面结构光的焊道三维形貌检测方法

技术领域

[0001] 本发明提出一种基于面结构光的焊道三维形貌检测方法，可以应用在增材制造系统中，属于自动化制造技术领域。

背景技术

[0002] 增材制造是从三维模型中获取数据，通常通过层层叠加堆积，将材料进行连接制造出物体的过程，具有设备通用性强、工艺步骤简单、制造周期短、可制造复杂零件、材料利用率高、制造成本低等优势，适用于小批量、多品种的柔性生产模式。增材制造所用材料范围很广泛，包括聚合物、金属、陶瓷、沙土、玻璃、生物材料等，其中最常用的材料是聚合物和金属。金属增材制造与传统增材制造相比，所生产的功能件有良好的力学性能，可以直接进行工业应用，因此，近年来对于金属增材制造的需求也不断提高。

[0003] 在金属增材制造中，以电弧为热源进行增材制造具有能量效率高、生产成本低、技术成熟、成型件性能优良等优点，是极具前途的方法。然而，在电弧增材制造技术中，金属焊丝被不断熔化形成工件，在整个焊接堆积过程中，由于焊接温度高，熔池形貌复杂，温度积聚等原因，整个焊接过程波动很大，造成表面质量不佳。为了减少焊接过程对最终结果的影响，需要对成型的焊道或者熔池进行检测，以达到有效的离线或者在线反馈。

[0004] 目前的检测手段主要采用的是CCD相机。哈尔滨工业大学的熊俊采用双视觉传感系统，分别测量焊道的高度和宽度尺寸，并进行相关的滤波等图像处理，采用神经单元自学习方法控制焊道宽度，保证最后的成形质量。上海交通大学的陈善本团队针对脉冲钨极惰性气体保护焊过程中的监测采用了带有滤光减光装置的CCD相机，计算熔池中心点、焊道轨迹、焊道宽度，据此来调整控制整个焊枪末端的运动。

[0005] 因此，当前的形貌检测技术主要聚焦于二维灰度值图像的处理，图像所包含的信息维度有限、缺乏深度值，无法全面的表达出三维信息。对于已成形焊道及表面的处理限制于某几个特征参数，如焊道宽度、焊道高度等，这极大限制了对于金属增材制造工艺及参数的精确研究。因此，在形貌检测方面，亟需能够有效进行三维信息采集的手段。

发明内容

[0006] 本发明的目的是克服已有技术的不足之处，提出一种基于面结构光的焊道三维形貌检测方法。本发明方法安装简单，成本低，测量全面，精度高。

[0007] 本发明提出一种基于面结构光的焊道三维形貌检测方法，其特征在于，该方法包括以下步骤：

[0008] (1)搭建由投影仪和相机组成的结构光测量系统；将投影仪、相机与待测焊道样品进行排布并固定：投影仪镜头及相机镜头均朝向待测焊道样品的待测表面，调节投影仪、相机与待测焊道样品之间的距离，使得待测焊道样品全部处于投影仪与摄像机的共视区内；固定后对相机和投影仪分别进行标定，分别获得相机的内参、外参和畸变参数，及投影仪的内参、外参和畸变参数；

[0009] (2)投影仪采用三步相移法向待测焊道样品的待测表面投射图像，则投影的三张图像表达式如下：

[0010]

[0011] 式中Ii(xp,yp)为第i张图像中(xp,yp)点的灰度，xp,yp分别是该点在投影仪像素坐标系中的横坐标和纵坐标，Iavg为平均灰度，Iamp为相移振幅，f为图像条纹的横向空间频率，为(xp,yp)点的相位；

[0012] 当投影仪投射出的图像被相机捕获后，将对应地得到三张相机图像；对相机图像坐标系中的任意一点Z，通过下式求出Z点对应的相位ΦZ：

[0013]

[0014] 其中， 是相机捕获到的投影仪投影出的第i张图像中Z点的灰度值；

[0015] Z的世界坐标 与投影仪像素坐标系中的坐标 满足如下方程：

[0016]

[0017] 其中， 为世界坐标系到投影仪坐标系的坐标变换矩阵，由对应的旋转矩阵Rp和平移向量tp共同组成； 为投影仪坐标系到投影仪像
素坐标系的内参投影矩阵；sp为第一比例因子；

[0018] Z点的世界坐标 与相机像素坐标系中的坐标 满足如下方程：

[0019]

[0020] 其中， 为世界坐标系到相机坐标系的坐标变换矩阵，由对应的旋转矩阵Rc和平移向量tc共同组成； 为相机坐标系到相机像素坐标
系的内参投影矩阵，sc为第二比例因子；

[0021] 根据Z点在投影仪像素平面中的横坐标，得到如下表达式：

[0022]

[0023] 进而得到Z点的世界坐标；

[0024] (3)重复步骤(2)，对每张相机图像上的所有点的世界坐标进行求解，获得待测焊道样品的点云；

[0025] (4)对步骤(3)得到的点云进行采样，随机选取设定比例的点并判定为属于基材部分的点，利用选取的点的世界坐标并根据待测焊道样品的基材的几何体类型拟合待测焊道样品的形貌方程，得到对应的拟合参数；

[0026] (5)将步骤(4)中所有未被选取的点云中的点代入步骤(4)拟合的形貌方程计算，并设定判定阈值进行检验，若存在点符合阈值，则判定该点为属于基材部分的点；

[0027] (6)如果步骤(5)中判定为属于基材部分点的数量大于点云总点数的设定比例，则认为步骤(4)采样是有效的，进入步骤(7)；否则，返回步骤(4)重新对点云进行采样然后拟合新的形貌方程，直到采样有效为止；

[0028] (7)使用步骤(4)和(5)中判定属于基材部分的点重新进行形貌方程的拟合，得到新的待测焊道样品的形貌方程以及对应的方程参数；

[0029] (8)将点云中所有点代入步骤(7)拟合得到的新方程，利用步骤(5)设定的判定阈值进行检验，得到该方程下属于基材部分点的个数；

[0030] (9)重复步骤(4)-(8)N次，选取得到基材部分点数量最多的方程作为有效方程，并将该方程对应的点云中的基材部分的点为基材分割的最终结果；

[0031] (10)利用步骤(9)的结果，从步骤(3)得到的点云中分割出基材点云，则点云中剩余点组成焊道部分的点云，待测焊道样品的三维形貌检测完毕。

[0032] 本发明的特点及有益效果在于：

[0033] 本发明采用结构光对焊道形貌进行测量，可获得高精度的焊道三维形貌信息，与其他二维测量方法相比，对焊道的描述全面而准确；

[0034] 本发明采用的结构光测量方法有非接触、速度快、精度高、稳定性强等优点，且测量系统只需投影仪和摄像机组成，安装简单、成本低；

[0035] 本发明可以用于在线或离线监测金属增材制造过程中的成型质量，作为补偿和修正的依据，对金属增材制造技术有重要意义。

附图说明

[0036] 图1是结构光测量系统中，相机、投影仪与待测样品位置关系的示意图。

[0037] 图2是本发明实施例的三步相移法的投影图案示意图。

[0038] 图3是本发明实施例中由结构光测量系统所获得的点云示意图。

[0039] 图4是点云的分割结果示意图，其中(a)是基材点云，(b)是焊道点云。

具体实施方式

[0040] 本发明提出一种基于面结构光的焊道三维形貌检测方法，下面结合附图与具体实施方式对本发明进一步详细说明如下。

[0041] 本发明提出一种基于面结构光的焊道三维形貌检测方法，用结构光原理对焊道表面三维形貌进行测量，并从获得的点云数据中分离出焊道点云。该方法包括以下步骤：

[0042] (1)搭建结构光测量系统；

[0043] 选取投影仪(可为任意型号，本实施例采用德州仪器DLP LightCrafter 4500)、相机(可为任意型号，本实施例采用丹麦JAI公司的GO-5000M-USB)，将投影仪、相机与待测焊道样品进行排布并固定：投影仪镜头及相机镜头均朝向待测焊道样品的待测表面，且投影仪和相机的间距约15cm；调节投影仪、相机与待测焊道样品之间的距离，保证待测焊道样品全部处于投影仪与摄像机的共视区内，以共视区略大于待测样品为宜。结构光测量系统排布后的相对位置如图1所示。固定后对相机和投影仪分别进行标定(可采用常用的张正友标定方法，投影仪由已标定的相机辅助，获得像素坐标与世界坐标的关系后当作相机进行标定)，分别获得相机及投影仪的内参、外参和畸变参数。

[0044] (2)投影仪采用三步相移法向待测焊道样品的待测表面投射图像，投影效果如图2所示，图2自上而下分别为三次投影的图像，每个图像中，点的灰度根据其横坐标以正弦形式变化，每两图中对应点的相位差为2/3π。若以数学语言描述，则三张图像编码如下：

[0045]

[0046] 式中Ii(xp,yp)为第i张图像中(xp,yp)点的灰度，xp,yp分别是该点在投影仪像素坐标系中的横坐标和纵坐标(与i无关)，Iavg为平均灰度(若灰度的取值范围为0～255，则平均灰度取该区间的中间值为宜，如140)，Iamp为相移振幅(使得平均灰度±相移振幅在0～255范围内且略小于该范围，如取100)，f为图像条纹的横向空间频率， 为(xp,yp)点的相位。

[0047] 当投影仪投射出的图像被相机捕获后，将对应地得到三张相机图像。对相机图像坐标系中的任意一点Z(即在三张相机图像中，位于同一位置的某个点)，可以通过高频投影Z和低频投影，通过下式求出Z点对应的相位Φ：

[0048]

[0049] 其中， 是相机捕获到的投影仪投出的第i张图像中Z点的灰度值。

[0050] 用上式求出Z点的相位后，因为Z点的相位仅与Z点在投影仪像素坐标系中的横坐标 有关，所以Z点在投影仪像素平面中的横坐标即可确定，即可列出Z的世界坐标(三个分量依次为Z点在世界坐标系中的x坐标、y坐标和z坐标)与投影仪像素坐标系中的坐标 (两个分量依次为Z点在投影仪的像素坐标系中的横、纵坐标)满足的方程：

[0051] 其中除 和 未知外，其余均为图像上的已知点或投影仪的已知参数：

[0052] 为世界坐标系到投影仪坐标系的坐标变换矩阵，由对应的旋转矩阵Rp和平移向量tp共同组成，代表从世界坐标系到投影仪坐标系的变换；
为投影仪坐标系到投影仪像素坐标系的内参投影矩阵，表示投
影仪坐标系中的点到投影仪像素坐标系的投影变换。二者的乘积就能将世界坐标变换到投影仪像素坐标。sp为第一比例因子，由坐标变换矩阵Mp1和Z的世界坐标 共同决定。

[0053] 另一方面，Z点在相机中进行成像，其世界坐标 与相机像素坐标系中的坐标 (两个分量依次为Z点在相机照片的像素坐标系中的横、纵坐标)满足

[0054] 其中除 未知外，其余均为图像上的已知点或相机的已知参数：为世界坐标系到相机坐标系的坐标变换矩阵，由对应的旋转矩阵Rc和平移
向量tc共同组成，代表从世界坐标系到相机坐标系的变换； 为相
机坐标系到相机像素坐标系的内参投影矩阵，表示相机坐标系中的点到相机像素坐标的投影变换。二者的乘积就能将世界坐标变换到相机照片的像素坐标。sc为第二比例因子，由坐标变换矩阵Mc1和Z点的世界坐标 共同决定。

[0055] 因此，再结合Z点在投影仪像素平面中的横坐标，得到如下表达式：

[0056]

[0057] 进而可解出Z点的世界坐标。

[0058] (3)重复步骤(2)，对每张相机图像上的所有点的世界坐标进行求解。由于焊道样品处在相机和投影仪的共视区内，所以可获得待测焊道样品的点云。图3(a)(b)展示了点云从两个不同角度观察的情况。

[0059] (4)焊道样品中，基材的形状一般为规则几何体，根据基材的几何体类型选择形貌拟合方程。本发明考虑了基材是平面或圆柱面的情况：平面采用ax+by+cz+d＝0进行拟合，其中a，b，c，d为待拟合参数；圆柱面采用进行拟合，其中r为已知半径，
x1，x2，y1，y2，z1，z2为待拟合参数，cross(x,y)表示向量x和y的叉积，||x||表示对向量x进行取模运算。

[0060] 在步骤(3)所获点云中进行采样，随机选取设定比例(本实施例为10％，可根据实际情况进行增减)的点，认为这些点是属于基材部分的点，利用选取的点的世界坐标拟合所选焊道形貌方程，得到一组拟合参数；

[0061] (5)将步骤(4)中所有未被选取的点云中的点代入步骤(4)拟合的形貌方程计算，并设定判定阈值进行检验，计算这些点中有哪些点符合该方程，即在一个阈值内满足所拟合方程的点(例如，使方程左右两边相差不超过0.01，此阈值视基材的表面平整度及结构光检测的精度而定)，则判定该点为属于基材部分的点。

[0062] (6)如果步骤(5)中判定为属于基材部分点的属于基材部分点的数量大于点云总点数的设定比例(该比例是否包括参与拟合的点？)(本实施例为80％，此比例根据真实情况估算，如果基材部分所占比例较小，则此比例应当减小)，则认为步骤(4)的采样是有效的，进入步骤(7)；否则返回步骤(4)重新对点云进行采样然后拟合新的方程，直到采样有效为止；

[0063] (7)使用步骤(4)和(5)中判定属于基材部分的点重新进行形貌方程的拟合，得到新的待测焊道样品的形貌方程以及对应的方程参数；

[0064] (8)将点云中所有点代入步骤(7)拟合得到的新方程，取定阈值为0.01(此阈值视基材的表面平整度及结构光检测的精度而定，与步骤(5)中的阈值保持一致)，可计算使方程两边相差不超过0.01的点的个数，即得到此方程下属于基材部分点的个数；

[0065] (9)重复步骤(4)-(8)5～10次，选取其中基材部分点数量最多的一次的方程作为有效方程，并将该方程对应的点云中的基材部分的点为基材分割的最终结果。

[0066] (10)利用步骤(9)的结果，从步骤(3)得到的整体点云中分割出基材点云(如图4(a)所示)，那么点云中剩余的就是焊道部分的点云(如图4(b)所示)，即检测出了焊道的三维形貌。