基于双目视觉的激光三维曲线轮廓定位投影方法

摘要

本发明提供了一种基于双目视觉的激光三维曲线轮廓定位投影方法，通过借助双目立体视觉系统获得被投影对象上的三维轮廓曲线的离散点序列在双目系统坐标系下的空间坐标，进而通过这些坐标与激光振镜扫描系统的标定结果求出投影所需的一系列控制信号来完成激光三维曲线轮廓定位投影，该方法投影效果好、定位精度高，并且所要求的硬件设备成本较低，易于在各行业进行应用。

权利要求

1.一种基于双目视觉的激光三维曲线轮廓定位投影方法，其特征在于包括以下步骤：

步骤一，标定双目立体视觉系统，并将标定参数保存；

步骤二，利用双目立体视觉系统标定激光振镜扫描系统，得到数字控制信号Di对应的出射光li在双目立体视觉系统坐标系下的方位向量vi之间的映射关系，并保持双目视觉系统与激光振镜扫描系统的相对位置关系不变；

步骤三，在被投影对象上布置可以表征被投影对象坐标系的N个视觉定位点，将被投影对象放置在双目立体视觉系统视场中，控制相机拍摄被投影对象，记左相机拍摄到的图像为PL，右相机拍摄到的图像为PR；

步骤四，根据双目立体视觉系统拍摄的图像PL和PR，由双目立体视觉算法计算得到N个视觉定位点在双目立体视觉系统坐标系下的空间坐标，记为步骤五，记这N个视觉定位点在被投影对象自身坐标系下的空间坐标为

与双目立体视觉系统坐标系下的N个视觉定位点空间坐标 构成N个空间点对应再由这N个空间点对应确定被投影对象自身坐标系到双目立体视觉坐标系的旋转矩阵R与平移向量T；

步骤六，根据定位投影要求的精度，将需要投影的连续曲线轮廓按一定间隔顺序离散成一系列点，这些点在被投影对象坐标系中的空间坐标为 其中M是离散点的总数；

步骤七，借助步骤五求出的旋转矩阵R与平移向量T可得到步骤六中离散点序列在双目立体视觉系统坐标系下的坐标为步骤八，向激光振镜扫描系统随机输入U个控制数字信号，由步骤二激光振镜扫描系统标定的结果得到双目系统坐标系下这U个控制数字信号对应的激光线lm，m＝1…U方位向量vm，从这U条激光射线中任意选出两条，在双目系统坐标系下根据它们对应的方位向量计算出两条激光线公垂线段的中点空间坐标，按照此方式共得到 个空间坐标，将这 个空间坐标的均值点空间坐标作为激光振镜扫描系统的近视光学投影中心，记为O；

步骤九，将步骤八中的近视光学投影中心O作为直线一点，步骤七的离散点 作为直线另一点，构成双目系统坐标系下的M条直线，计算这M条直线的方位向量vk，k＝1…M，运用步骤二中激光振镜扫描系统标定的结果得到投影出这M个离散点所需输入控制数字量的初值为步骤十，将步骤九中得到的控制数字量的初值 作为搜索初值，设置搜索步长为1进行递归搜索，直到离散点 到控制数字量Dk对应的激光线距离不再减小时停止搜索，按照此方式搜索得到投影出这M个离散点所需输入控制数字量的精确值为Dk，k＝1，2，…M；

步骤十一，将步骤十求出的一系列输入控制数字量Dk，k＝1，2，…M依次输入到激光振镜扫描系统，并根据曲线轮廓的实际长度选择合适的扫描速度，完成三维曲线轮廓定位投影。

说明书

基于双目视觉的激光三维曲线轮廓定位投影方法

技术领域

[0001] 本发明涉及激光定位投影技术领域，具体是一种基于双目视觉的激光三维曲线轮廓定位投影方法。

背景技术

[0002] 激光三维曲线轮廓定位投影是一种凭借激光具有良好的准直性和方向性的特点，通过扫描器件将激光束高速扫描到空间曲面的相应位置上，再利用人眼视觉暂留效应形成完整画面从而辅助人员进行生产的激光投影技术。由于准直的激光束不存在聚焦问题，无遮挡情况下该投影技术可以把已知CAD数模中的三维曲线轮廓图形按照1：1的比例精确投影到实物表面相应的轮廓位置，实现了数模轮廓图形在实际三维空间的立体呈现。这些投影到空间曲面上的明亮、清晰的可见激光线使得CAD数模中的轮廓信息得以在现实空间中直观地显示出来，因而能够为操作人员在实际曲面上的特定区域进行高效准确的作业提供参考和指引。激光3D轮廓定位投影技术在航空制造领域有较为广泛的应用，如飞机零部件装配、复合材料铺层、图案喷涂等。

[0003] 目前现有高精度激光3D轮廓定位投影系统实现方式是振镜与高精度的激光雷达组成的扫描系统，该系统具有精度高、扫描速度快等优点，但是由于该实现方式需要依靠价格非常昂贵的高精度激光雷达，而且该项技术一直被国外少数几家公司所垄断(如美国的LPT公司)，因而在一定程度上限制了高精度的激光定位投影系统在各行业的推广应用。视觉测量作为典型的非接触式测量手段之一，其测量精度可达到0.01mm量级，并且便于一次性采集大量数据，因而本发明将其引入到激光振镜3D轮廓精确定位投影中来。在确定振镜模型参数的过程中，视觉测量技术可以提供大量高精度的采样数据，从而为求解振镜自身模型参数提供有效信息来源；在激光振镜系统与被投影的三维实物进行空间位置对齐时，可以通过将被投影的三维实物也置于相机坐标系中来达到统一两者坐标系的目的。并且视觉测量技术普及程度较高，所要求的硬件设施相对高精度的激光雷达价格也低很多。由此可见，视觉测量与激光振镜的结合可以为激光3D轮廓精确定位投影提供一种很好的实现方式，而且该方式更易于在各行业得到推广。

发明内容

[0004] 本发明为了解决现有技术的问题，提供了一种基于双目视觉的激光三维曲线轮廓定位投影方法，借助双目立体视觉系统获得被投影对象上轮廓曲线的离散点序列在双目立体视觉系统坐标系下的空间坐标，进而通过这些坐标与激光振镜扫描系统的标定结果求出激光振镜投影所需的一系列控制信号，从而完成激光3D轮廓定位投影。该方法定位投影精度高，并且成本低、可操作性强。

[0005] 本发明使用的方法基于一种基于双目视觉的激光三维曲线轮廓定位投影系统，包括激光振镜扫描系统以及视觉定位装置；所述的视觉定位装置为一个双目立体视觉系统；

[0006] 所述的激光振镜扫描系统包括一个激光扫描振镜、一个激光发射器、一个控制板卡、一个电脑主机，其中控制板卡插在电脑主机的主板上使用；

[0007] 所述的双目立体视觉系统包括左、右两个工业相机、相机固定装置、与激光振镜扫描系统共用的电脑主机，其中左右相机通过相机固定装置事先固定好。

[0008] 本发明提供的基于双目视觉的激光三维曲线轮廓定位投影方法，包括以下步骤：

[0009] 步骤一，标定双目立体视觉系统，并将标定参数保存；

[0010] 步骤二，利用双目立体视觉系统标定激光振镜扫描系统，得到数字控制信号Di对应的出射光li在双目立体视觉系统坐标系下的方位向量vi之间的映射关系，并保持双目视觉系统与激光振镜扫描系统的相对位置关系不变；

[0011] 步骤三，在被投影对象上布置可以表征被投影对象坐标系的N个视觉定位点，将被投影对象放置在双目立体视觉系统视场中，控制相机拍摄被投影对象，记左相机拍摄到的图像为PL，右相机拍摄到的图像为PR；

[0012] 步骤四，根据双目立体视觉系统拍摄的图像PL和PR，由双目立体视觉算法计算得到N个视觉定位点在双目立体视觉系统坐标系下的空间坐标，记为

[0013] 步骤五，记这N个视觉定位点在被投影对象自身坐标系下的空间坐标为与双目立体视觉系统坐标系下的N个视觉定位点空间坐标 构成N个空间点对应 再由这N个空间点对应确定被投影对象自身坐标系到双目立体视觉坐标系的旋转矩阵R与平移向量T；

[0014] 步骤六，根据定位投影要求的精度，将需要投影的连续曲线轮廓按一定间隔顺序离散成一系列点，这些点在被投影对象坐标系中的空间坐标为 其中M是离散点的总数；

[0015] 步骤七，借助步骤五求出的旋转矩阵R与平移向量T可得到步骤六中离散点序列在双目立体视觉系统坐标系下的坐标为

[0016] 步骤八，向激光振镜扫描系统随机输入U个控制数字信号，由步骤二激光振镜扫描系统标定的结果得到双目系统坐标系下这U个控制数字信号对应的激光线lm，m＝1…U方位向量vm，从这U条激光射线中任意选出两条，在双目系统坐标系下根据它们对应的方位向量计算出两条激光线公垂线段的中点空间坐标，按照此方式共得到 个空间坐标，将这 个空间坐标的均值点空间坐标作为激光振镜扫描系统的近视光学投影中心，记为O；

[0017] 步骤九，将步骤八中的近视光学投影中心O作为直线一点，步骤七的离散点 作为直线另一点，构成双目系统坐标系下的M条直线，计算这M条直线的方位向量vk，k＝1…M，运用步骤二中激光振镜扫描系统标定的结果得到投影出这M个离散点所需输入控制数字量的初值为

[0018] 步骤十，将步骤九中得到的控制数字量的初值 作为搜索初值，设置搜索步长为1进行递归搜索，直到离散点 到控制数字量Dk对应的激光线距离不再减小时停止搜索，按照此方式搜索得到投影出这M个离散点所需输入控制数字量的精确值为Dk，k＝1，2，…M；

[0019] 步骤十一，将步骤十求出的一系列输入控制数字量Dk，k＝1，2，…M依次输入到激光振镜扫描系统，并根据曲线轮廓的实际长度选择合适的扫描速度，完成三维曲线轮廓定位投影。

[0020] 本发明有益效果在于：

[0021] 本发明将双目立体视觉系统和激光振镜相结合，由双目立体视觉系统即负责完成激光振镜系统的标定，也负责完成被投影对象的找正，从而使整个系统配置简单、易于实现、成本低，且激光三维轮廓定位投影精度高、可操作性强。

附图说明

[0022] 图1为本发明基于双目视觉的激光三维曲线轮廓定位投影系统结构示意图；

[0023] 图2为本发明基于双目视觉的激光三维曲线轮廓定位投影方法原理的示意图；

[0024] 图3为本发明基于双目视觉的激光三维曲线轮廓定位投影方法的步骤流程图；

[0025] 图4为本发明基于双目视觉的激光三维曲线轮廓定位投影方法的一个具体实施例中的被投影对象与其自身CAD模型；

[0026] 图5为本发明基于双目视觉的激光三维曲线轮廓定位投影方法的一个具体实施例中被投影对象上的待投影轮廓与使用到的8个视觉定位点；

[0027] 图6为本发明基于双目视觉的激光三维曲线轮廓定位投影方法的一个具体实施例中被投影对象的定位投影效果。

具体实施方式

[0028] 下面结合附图和具体实施方式对本发明作进一步说明。

[0029] 本发明提出的基于双目视觉的激光三维曲线轮廓定位投影方法是借助双目立体视觉系统获得被投影对象上三维轮廓曲线离散点序列在双目系统坐标系下的空间坐标，进而通过这些坐标与激光振镜扫描系统的标定结果求出投影所需的一系列控制信号，从而完成激光三维曲线轮廓定位投影。

[0030] 本发明使用的方法基于一种基于双目视觉的激光三维曲线轮廓定位投影系统，结构如图1所示，包括激光振镜扫描系统以及视觉定位装置；所述的视觉定位装置为一个双目立体视觉系统；

[0031] 所述的激光振镜扫描系统包括一个激光扫描振镜、一个激光发射器、一个控制板卡、一个电脑主机，其中控制板卡插在电脑主机的主板上使用；

[0032] 所述的双目立体视觉系统包括左、右两个工业相机、相机固定装置、与激光振镜扫描系统共用的电脑主机，其中左右相机通过相机固定装置事先固定好。

[0033] 如图2～3所示，本发明基于双目视觉的激光三维曲线轮廓定位投影方法，具体步骤如下：

[0034] 步骤一，标定双目立体视觉系统，并将标定参数保存；

[0035] 步骤二，利用双目立体视觉系统标定激光振镜扫描系统，得到数字控制信号Di对应的出射光li在双目立体视觉系统坐标系下的方位向量vi之间的映射关系，并保持双目视觉系统与激光振镜扫描系统的相对位置关系不变；

[0036] 步骤三，在被投影对象上布置可以表征被投影对象坐标系的N个视觉定位点，将被投影对象放置在双目立体视觉系统视场中，控制相机拍摄被投影对象，记左相机拍摄到的图像为PL，右相机拍摄到的图像为PR；

[0037] 步骤四，根据双目立体视觉系统拍摄的图像PL和PR，由双目立体视觉算法计算得到N个视觉定位点在双目立体视觉系统坐标系下的空间坐标，记为

[0038] 步骤五，记这N个视觉定位点在被投影对象自身坐标系下的空间坐标为与双目立体视觉系统坐标系下的N个视觉定位点空间坐标 构成N个空间点对应 再由这N个空间点对应确定被投影对象自身坐标系到双目立体视觉坐标系的旋转矩阵R与平移向量T；

[0039] 步骤六，根据定位投影要求的精度，将需要投影的连续曲线轮廓按一定间隔顺序离散成一系列点，这些点在被投影对象坐标系中的空间坐标为 其中M是离散点的总数；

[0040] 步骤七，借助步骤五求出的旋转矩阵R与平移向量T可得到步骤六中离散点序列在双目立体视觉系统坐标系下的坐标为

[0041] 步骤八，向激光振镜扫描系统随机输入U个控制数字信号，由步骤二激光振镜扫描系统标定的结果得到双目系统坐标系下这U个控制数字信号对应的激光线lm，m＝1…U方位向量vm，从这U条激光射线中任意选出两条，在双目系统坐标系下根据它们对应的方位向量计算出两条激光线公垂线段的中点空间坐标，按照此方式共得到 个空间坐标，将这 个空间坐标的均值点空间坐标作为激光振镜扫描系统的近视光学投影中心，记为O；

[0042] 步骤九，将步骤八中的近视光学投影中心O作为直线一点，步骤七的离散点 作为直线另一点，构成双目系统坐标系下的M条直线，计算这M条直线的方位向量vk，k＝1…M，运用步骤二中激光振镜扫描系统标定的结果得到投影出这M个离散点所需输入控制数字量的初值为

[0043] 步骤十，将步骤九中得到的控制数字量的初值 作为搜索初值，设置搜索步长为1进行递归搜索，直到离散点 到控制数字量Dk对应的激光线距离不再减小时停止搜索，按照此方式搜索得到投影出这M个离散点所需输入控制数字量的精确值为Dk，k＝1，2，…M；

[0044] 步骤十一，将步骤十求出的一系列输入控制数字量Dk，k＝1，2，…M依次输入到激光振镜扫描系统，并根据曲线轮廓的实际长度选择合适的扫描速度，完成三维曲线轮廓定位投影。

[0045] 本发明一种具体实施例如下：

[0046] 现场搭建基于双目视觉的激光三维曲线轮廓定位投影系统，以一个已知CAD模型的白色杯子为被投影对象，并在杯子上布置圆形标记点作为视觉定位点(图4所示)。采用两个vimba MG 419B相机与两个焦距为50mm镜头构成双目立体视觉系统，被投影对象距离双目系统2.5m。双目立体视觉系统调节好后，采用zhang相机标定方法(相机经典标定方法，参考文献：Z.Zhang.A flexible new technique for camera calibration[J].IEEE Trans.Pattern Anal.Mach.Intell.，2000，22(11)，1330-1334.)现场标定双目系统，标定参数如下：

[0047] 左相机内参：

[0048] 右相机内参：

[0049] 考虑到的左右相机畸变有一、二阶径向畸变与一、二阶切向畸变具体参数如下：

[0050] δL＝[0.001692373 1.600865 -0.007052864 0.0009698981]

[0051] δR＝[0.04421003 0.323322 -0.007741335 0.00369994434]

[0052] 左相机坐标系到右相机坐标系的坐标转换如下：

[0053]

[0054] T＝[362.3866133 0.01384602927 71.72984997]

[0055] 双目系统标定完毕后，对激光振镜扫描系统进行标定，标定方法可以参考申请人于2017年1月19日递交的申请号为201710038353.4的中国专利。标定完成后可以建立输入数字量信号与对应的出射激光束在双目系统坐标系下的方位向量之间的一般映射关系。

[0056] 按照上述基于双目视觉的激光三维曲线轮廓定位投影方法中步骤3-5通过定位点在双目系统坐标系下的坐标与自身CAD模型坐标系下坐标(表1)，计算出被投影对象自身CAD模型坐标系相对双目系统坐标系的一个坐标转换，结果如下：

[0057]

[0058] T＝[19.85988909466 -74.485680344869 1910.30715907]

[0059] 根据该转换关系可得到待投影轮廓离散点在双目系统坐标系下的空间坐标，按照基于双目视觉的激光三维曲线轮廓定位投影方法中步骤8-11完成激光定位投影，图5中的待投影轮廓的投影效果如图6所示。

[0060] 表1被投影对象定位点坐标

[0061]

[0062]

[0063] 本实施例中的待投影轮廓宽度最大处不超过2mm，图6中的投影效果表明本发明的基于双目视觉的激光三维曲线轮廓定位投影方法在实际三维曲线轮廓定位投影中投影效果好、定位精度高。

[0064] 本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。