矩形体的自动化检测与三维重构系统及方法

摘要

本发明公开了一种矩形体的自动化检测与三维重构系统及方法，包括驱动位移模块、激光扫描模块、纹理采集模块和中央处理模块，其中：驱动位移模块包括多轴步进电机驱动器、X轴平移台、Y轴平移台、Z轴平移台、旋转台和载物台；激光扫描模块设于载物台上方，用来采集待测矩形体表面的激光点云；纹理采集模块设于Z轴平移台，用来采集待测矩形体表面的纹理图像；中央处理模块连接多轴步进电机驱动器、激光扫描模块和纹理采集模块。本发明在激光点云获取分析、图像拍摄与处理、三维模型重建上实现了自动化，可快速实现矩形体的自动化检测和三维纹理重构，有效解决了传统技术中存在的效率低、工作强度大的问题。

权利要求

1.矩形体的三维重构方法，其特征是：

采用矩形体的自动化检测与三维重构系统重构，所述的自动化检测与三维重构系统包括驱动位移模块、激光扫描模块、纹理采集模块和中央处理模块，其中：驱动位移模块包括多轴步进电机驱动器、X轴平移台、Y轴平移台、Z轴平移台、旋转台和载物台，X轴平移台水平设置，Y轴平移台水平安装于X轴平移台上，旋转台水平设于Y轴平移台上，载物台水平设于旋转台上，载物台用来放置待测矩形体，Z轴平移台设于X轴平移台上方；多轴步进电机驱动器通过步进电机驱动X轴平移台和Y轴平移台在水平面直线移动、驱动Z轴平移台上下移动、驱动旋转台旋转，X轴平移台和Y轴平移台的移动方向垂直；

激光扫描模块设于载物台上方，用来采集待测矩形体表面的激光点云；

纹理采集模块设于Z轴平移台，用来采集待测矩形体表面的纹理图像；所述的纹理采集模块包括顶部相机和侧部相机，顶部相机用来采集待测矩形体上表面和下表面的纹理图像，侧部相机用来采集待测矩形体侧面的纹理图像；

中央处理模块连接多轴步进电机驱动器、激光扫描模块和纹理采集模块；

所述的三维重构方法包括：

步骤1，X轴平移台直线移动带动待测矩形体移动，激光扫描模块断面扫描待测矩形体表面的二维信息，结合X轴平移台位移量，获得待测矩形体一个或多个表面的三维点云数据；

步骤2，优化三维点云数据，根据优化后的三维点云数据获得待测矩形体的几何参数测量值，所述几何参数测量值包括待测矩形体的长宽高测量值及待测矩形体中待测特征的位置和尺寸测量值；

步骤3，采用纹理采集模块采集待测矩形体所有表面的原始纹理图像，具体为：通过调整X轴平移台、Y轴平移台、Z轴平移台、旋转台的位置，采用顶部相机采集待测矩形体顶面和底面的原始纹理图像，采用侧部相机拍摄待测矩形体侧面的原始纹理图像；

步骤4，预处理所有表面的原始纹理图像，即对原始纹理图像依次进行畸变校正、纹理剪裁；

步骤5，根据待测矩形体的几何参数测量值构建待测矩形体的三维实体模型，将预处理后各表面的纹理图像分别粘贴在三维实体模型的对应表面，即得待测矩形体的三维纹理模型。

2.如权利要求1所述的矩形体的三维重构方法，其特征是：步骤1进一步包括：

1.1X轴平移台运动到零位位置，待测矩形体安装于载物台；

1.2多轴步进电机驱动器通过第一步进电机驱动X轴平移台直线移动；

1.3当激光扫描模块检测到断面轮廓高差上升值大于预设值，开始保存断面轮廓的二维信息；结合X轴平移台位移量和断面轮廓的二维信息，获得各断面轮廓的三维信息，从而获得待测矩形体表面的三维点云数据；当激光扫描模块检测到断面轮廓差下降值大于预设值，结束；预设值为经验值。

3.如权利要求1所述的矩形体的三维重构方法，其特征是：采用步骤1方法对待测矩形体所有表面分别进行断面扫描，获得各表面的三维点云数据，拼接所有表面的三维点云数据得待测矩形体的三维点云模型。

4.如权利要求1所述的矩形体的三维重构方法，其特征是：所述的优化三维点云数据包括剔除粗差点和对无效点进行二次插值以补齐无效点。

5.如权利要求1所述的矩形体的三维重构方法，其特征是：步骤3进一步包括：

3.1X轴平移台、Y轴平移台、Z轴平移台和旋转台运动到各自的零位位置；

3.2通过多轴步进电机驱动器控制X轴平移台、Y轴平移台、Z轴平移台移动，使待测矩形体中心与顶部相机的拍摄中心轴重合，且使顶部相机的拍摄高度位于预设定值；

3.3顶部相机拍摄待测矩形体顶面的原始纹理图像；

3.4通过多轴步进电机驱动器控制X轴平移台、Y轴平移台、Z轴平移台移动，使待测矩形体中心与侧部相机的拍摄中心轴重合，且使侧部相机的拍摄高度位于预设定值；侧部相机拍摄待测矩形体侧面的原始纹理图像；

3.5通过旋转台的旋转，采用子步骤3.3方法依次拍摄待测矩形体各侧面的原始纹理图像；

3.6人工翻转待测矩形体，采用子步骤3.2方法拍摄待测矩形体底面的原始纹理图像。

6.如权利要求1所述的矩形体的三维重构方法，其特征是：所述的激光扫描模块为二维激光传感器。

7.如权利要求1所述的矩形体的三维重构方法，其特征是：所述的中央处理模块为多接口计算机。

说明书

矩形体的自动化检测与三维重构系统及方法

技术领域

[0001] 本发明属于三维重构技术领域，具体地说，涉及一种矩形体的自动化检测与三维重构系统及方法。

背景技术

[0002] 航天航空领域，需要对飞船中某些重要长方体零部件的形貌信息进行检测和存档。为检测方便快速，存档丰富直观，本发明基于三维重建的非接触测量技术，设计并实现了一套对长方体零部件自动检测并重构其三维模型的系统。基于计算机视觉的三维重建技术，是指由多幅二维图像来还原出空间物体的几何轮廓信息。应用三维重建技术的实际在线检测具有非接触、柔性好、精度高、速度快、自动化和智能化水平高等优点，可以很好地满足零部件的检测要求。

[0003] 针对长方体零部件模型的检测，还原出被测物体真实三维模型，本发明主要提出了一套完整的基于图像测量与激光断面扫描原理相结合的多目立体测量方案，并解决了三维纹理模型的重构。本三维重建系统在点云获取分析、图像拍摄与处理、三维模型重建上实现了较为快速的自动化流程，能够有效地解决传统机械式检测与纹理图像的采集保存过程中效率慢，工作强度大的问题。

发明内容

[0004] 本发明的目的是提供一种矩形体的自动化检测与三维重构系统及方法，本发明可快速实现矩形体零部件的自动化检测和三维纹理重构。

[0005] 为达到上述目的，本发明采用如下技术方案：

[0006] 一、一种矩形体的自动化检测与三维重构系统，包括驱动位移模块、激光扫描模块、纹理采集模块和中央处理模块，其中：

[0007] 驱动位移模块包括多轴步进电机驱动器、X轴平移台、Y轴平移台、Z轴平移台、旋转台和载物台，X轴平移台水平设置，Y轴平移台水平安装于X轴平移台上，旋转台水平设于Y轴平移台上，载物台水平设于旋转台上，载物台用来放置待测矩形体，Z轴平移台设于X轴平移台上方；多轴步进电机驱动器通过步进电机驱动X轴平移台和Y轴平移台在水平面直线移动、驱动Z轴平移台上下移动、驱动旋转台旋转，X轴平移台和Y轴平移台的移动方向垂直；

[0008] 激光扫描模块设于载物台上方，用来采集待测矩形体表面的激光点云；

[0009] 纹理采集模块设于Z轴平移台，用来采集待测矩形体表面的纹理图像；

[0010] 中央处理模块连接多轴步进电机驱动器、激光扫描模块和纹理采集模块。

[0011] 上述激光扫描模块为二维激光传感器。

[0012] 上述纹理采集模块包括顶部相机和侧部相机，顶部相机用来采集待测矩形体上表面和下表面的纹理图像，侧部相机用来采集待测矩形体侧面的纹理图像。

[0013] 上述中央处理模块为多接口计算机。

[0014] 二、采用上述系统的矩形体的自动化检测方法，包括：

[0015] 步骤1，X轴平移台直线移动带动待测矩形体移动，激光扫描模块断面扫描待测矩形体表面的二维信息，结合X轴平移台位移量，获得待测矩形体一个或多个表面的三维点云数据；

[0016] 步骤2，优化三维点云数据，根据优化后的三维点云数据获得待测矩形体的几何参数测量值，所述几何参数测量值包括待测矩形体的长宽高及待测矩形体中待测特征的位置和尺寸；将几何参数测量值与待测矩形体要求的几何参数尺寸范围比较，判断待测矩形体是否合格。

[0017] 步骤1进一步包括：

[0018] 1.1X轴平移台运动到零位位置，待测矩形体安装于载物台；

[0019] 1.2多轴步进电机驱动器通过第一步进电机驱动X轴平移台直线移动；

[0020] 1.3当激光扫描模块检测到断面轮廓高差上升值大于预设值，开始保存断面轮廓的二维信息；结合X轴平移台位移量和断面轮廓的二维信息，获得各断面轮廓的三维信息，从而获得待测矩形体表面的三维点云数据；当激光扫描模块检测到断面轮廓差下降值大于预设值，结束；预设值为经验值。

[0021] 采用步骤1方法对待测矩形体所有表面分别进行断面扫描，获得各表面的三维点云数据，拼接所有表面的三维点云数据得待测矩形体的三维点云模型。

[0022] 上述优化三维点云数据包括剔除粗差点和对无效点进行二次插值以补齐无效点。

[0023] 三、采用上述系统的矩形体的三维重构方法，包括：

[0024] 步骤1，X轴平移台直线移动带动待测矩形体移动，激光扫描模块断面扫描待测矩形体表面的二维信息，结合X轴平移台位移量，获得待测矩形体一个或多个表面的三维点云数据；

[0025] 步骤2，优化三维点云数据，根据优化后的三维点云数据获得待测矩形体的几何参数测量值，所述几何参数测量值包括待测矩形体的长宽高测量值及待测矩形体中待测特征的位置和尺寸测量值；

[0026] 步骤3，采用纹理采集模块采集待测矩形体所有表面的原始纹理图像，具体为：

[0027] 通过调整X轴平移台、Y轴平移台、Z轴平移台、旋转台的位置，采用顶部相机采集待测矩形体顶面和底面的原始纹理图像，采用侧部相机拍摄待测矩形体侧面的原始纹理图像；

[0028] 步骤4，预处理所有表面的原始纹理图像，即对原始纹理图像依次进行畸变校正、纹理剪裁；

[0029] 步骤5，根据待测矩形体的几何参数测量值构建待测矩形体的三维实体模型，将预处理后各表面的纹理图像分别粘贴在三维实体模型的对应表面，即得待测矩形体的三维纹理模型。

[0030] 步骤3进一步包括：

[0031] 3.1X轴平移台、Y轴平移台、Z轴平移台和旋转台运动到各自的零位位置；

[0032] 3.2通过多轴步进电机驱动器控制X轴平移台、Y轴平移台、Z轴平移台移动，使待测矩形体中心与顶部相机的拍摄中心轴重合，且使顶部相机的拍摄高度位于预设定值；

[0033] 3.3顶部相机拍摄待测矩形体顶面的原始纹理图像；

[0034] 3.4通过多轴步进电机驱动器控制X轴平移台、Y轴平移台、Z轴平移台移动，使待测矩形体中心与侧部相机的拍摄中心轴重合，且使侧部相机的拍摄高度位于预设定值；侧部相机拍摄待测矩形体侧面的原始纹理图像；

[0035] 3.5通过旋转台的旋转，采用子步骤3.3方法依次拍摄待测矩形体各侧面的原始纹理图像；

[0036] 3.6人工翻转待测矩形体，采用子步骤3.2方法拍摄待测矩形体底面的原始纹理图像。

[0037] 本发明结合图像测量与激光断面扫描原理，提供了一种可用于矩形体(即长方体零部件)的自动化检测与三维重构的多目立体测量技术。本发明在激光点云获取分析、图像拍摄与处理、三维模型重建上实现了自动化，可快速实现矩形体的自动化检测和三维纹理重构，有效解决了传统技术中存在的效率低、工作强度大的问题，

附图说明

[0038] 图1为本发明系统的具体结构示意图；

[0039] 图2为本发明方法的具体流程图。

[0040] 图中，1-二维激光传感器，2-X轴平移台，3-Y轴平移台，4-旋转台，5-Z轴平移台，6-顶部相机，7-侧部相机，8-待测矩形体，9-载物台，10-支撑构架，11-多轴步进电机驱动器，12-多接口计算机。

具体实施方式

[0041] 为使本发明技术方案更加清晰明了，下面将结合附图进一步详细说明本发明的具体实施方式。

[0042] 见图1，具体实施方式中，本发明系统包括二维激光传感器(1)、X轴平移台(2)、Y轴平移台(3)、旋转台(4)、Z轴平移台(5)、顶部相机(6)、侧部相机(7)、载物台(9)、支撑构架(10)、多轴步进电机驱动器(11)和多接口计算机(12)，待测矩形体(8)置于载物台(9)上。

[0043] 本发明系统包括驱动位移模块、激光扫描模块、纹理采集模块和中央处理模块。

[0044] 1、驱动位移模块，主要包括多轴步进电机驱动器(11)、X轴平移台(2)、Y轴平移台(3)、Z轴平移台(5)、旋转台(4)和载物台(9)。X轴平移台(2)水平设于支撑构架(10)底座，Y轴平移台(3)水平安装于X轴平移台(2)上，Y轴平移台(3)跟随X轴平移台(2)的运动；旋转台(4)设于Y轴平移台(3)上，载物台(9)设于旋转台(4)上，载物台(9)用来放置待测长方体(8)，Z轴平移台(5)设于支撑构架(10)上，并位于X轴平移台(2)上方。

[0045] 多轴步进电机驱动器(11)驱动第一步进电机和第二步进电机(未在图中画出)，第一步进电机和第二步进电机分别带动X轴平移台(2)和Y轴平移台(3)在水平面直线移动，X轴平移台(2)和Y轴平移台(3)的移动方向垂直，Y轴平移台(3)行程小于X轴平移台(2)行程。多轴步进电机驱动器(11)驱动第三步进电机(未在图中画出)，第三步进电机带动Z轴平移台(5)上下移动。多轴步进电机驱动器(11)驱动第四步进电机(未在图中画出)，第四步进电机带动旋转台(4)旋转。

[0046] 多轴步进电机驱动器(11)接收中央处理模块指令，并向第一步进电机、第二步进电机、第三步进电机、第四步进电机发送指令，步进电机根据指令驱动X轴平移台(2)、Y轴平移台(3)、Z轴平移台(5)和旋转台(4)，同时，步进电机将X轴平移台(2)、Y轴平移台(3)、Z轴平移台(5)和旋转台(4)的实时位置信息反馈给中央处理模块，从而实现自动化控制。

[0047] 2、激光扫描模块用来采集待测矩形体(8)表面的激光点云，从而获得待测矩形体(8)的二维轮廓数据，激光扫描模块通过USB或网口与中央处理模块交互数据。本具体实施方式中，激光扫描模块主要为二维激光传感器(1)，固定于支撑构架(10)上，并位于载物台(9)上方。

[0048] 3、纹理采集模块用来采集待测矩形体(8)表面的纹理图像，纹理采集模块通过网口与中央处理模块交互数据。本具体实施方式中，纹理采集模块包括两台工业CCD相机，即顶部相机(6)和侧部相机(7)，顶部相机(6)和侧部相机(7)设于Z轴平移台(5)上。顶部相机(6)用来采集待测矩形体(8)顶面和底面的纹理图像，侧部相机(7)用来采集待测矩形体(8)四个侧面的纹理图像。系统运行前已做好相机标定和解算畸变参数等工作。

[0049] 4、中央处理模块用来控制驱动位移模块，并根据激光扫描模块、纹理采集模块发送数据重构待测长方体(8)。本具体实施方式中，中央处理模块为多接口计算机(12)，包含有多USB接口、多串口、多网口，可实现与多轴步进电机驱动器、激光扫描模块、纹理采集模块的控制和数据交互，并对数据进行高效安全处理。多接口计算机(12)具体可采用集和诚嵌入式工控机FEBC-3575，此工控机包含五个千兆以太网口、4个RS232串口、2个RS485/422串口，可保证激光扫描模块和纹理采集模块通过网口或USB的数据传输，以及多轴步进电机驱动器(11)通过RS232串口的数据交互。

[0050] 中央处理模块用来接收X轴平移台、Y轴平移台、Z轴平移台、旋转台的实时位置信息、激光扫描模块发送的二维轮廓数据和纹理采集模块采集的表面纹理图像，根据实时位置信息向多轴步进电机驱动器发送指令，根据二维轮廓数据和表面纹理图像重构待测矩形体的三维纹理模型。

[0051] 见图2，本发明方法的具体步骤如下：

[0052] 步骤S1：激光扫描模块断面扫描待测矩形体表面的二维信息，结合X轴平移台的位移量，获得三维点云数据。

[0053] 本具体实施中，二维激光传感器对待测矩形体进行垂直于载物台平面的实时断面扫描。激光传感器扫描返回值为目标点与雷达的距离值，利用相邻扫描光束的夹角和光束序号即可得到目标点的二维坐标，即此得到断面轮廓的二维信息。二维激光传感器采用三角激光测量原理，可高效采集线激光扫描范围内的二维信息，结合X轴平移台位移量，可以获得三维点云数据。

[0054] 具体过程是：

[0055] S101：X轴平移台运动到零位位置，将待测矩形体安装于载物台。每次运行时，待测矩形体安装于载物台同一位置。

[0056] S102：计算机发送指令给多轴步进电机驱动器，控制X轴平移台直线运动。

[0057] S103：当二维激光传感器检测到断面轮廓高差上升值大于预设值，表示扫描到待测矩形体，开始保存断面轮廓的二维信息；当二维激光传感器检测到断面轮廓高差下降值大于预设值，表示待测矩形体扫描结束，停止保存断面轮廓的二维信息。预设值为经验值，可根据试验多次调整获得。

[0058] 根据步进电极位移量获得各断面轮廓对应的X轴平移台位移量，中央处理模块结合断面轮廓的二维信息和X轴平移台位移量，获得各断面轮廓的三维信息，从而获得待测矩形体表面的三维点云数据，存入TXT文件。

[0059] 若不要求获得待测矩形体的完整点云模型，直接进入步骤S2；若要求获得待测矩形体的完整点云模型，则进入子步骤S104。

[0060] S104：X轴平移台运动到零位位置，对待测矩形体的其他表面重复子步骤S101～S103，得待测矩形体各表面的三维点云数据。

[0061] S105：拼接将待测矩形体所有表面的三维点云数据，得待测矩形体的三维点云模型。

[0062] 步骤S2：自动化检测。

[0063] 具体过程是：

[0064] S201：优化三维点云数据，剔除粗差点，并对无效点进行二次插值以补齐无效点。

[0065] S202：根据优化后的三维点云数据获得待测矩形体的几何参数测量值，所述几何参数测量值包括待测矩形体的长宽高及待测矩形体中待测特征的位置和尺寸，待测特征包括待测矩形体上的螺钉孔、安装孔、接口等。

[0066] 待测矩形体的几何参数测量值可根据空间中点对点、点到线和点到面的距离计算方法直接获得。

[0067] S203：将几何参数测量值与待测矩形体要求的几何参数尺寸范围比较，判断待测矩形体是否合格。

[0068] 步骤S3：采用纹理采集模块采集待测矩形体所有表面的原始纹理图像。

[0069] 待测矩形体包括6个表面，通过调整X轴平移台、Y轴平移台、Z轴平移台、旋转台的位置，采用顶部相机和侧部相机自动拍摄待测矩形体表面的原始纹理图像。

[0070] 具体过程如下：

[0071] S301：X轴平移台、Y轴平移台、Z轴平移台和旋转台运动到各自的零位位置。

[0072] S302：调整顶部相机与待测矩形体的位置。

[0073] 多轴步进电机驱动器控制X轴平移台、Y轴平移台移动，使待测矩形体中心与顶部相机的拍摄中心轴重合；多轴步进电机驱动器控制Z轴平移台移动，使顶部相机的拍摄距离位于预设定值。

[0074] 中央处理模块根据待测矩形体的几何参数测量值及其在载物台上位置，计算X轴平移台、Y轴平移台、Z轴平移台的位移量，并将位移量发送至多轴步进电机驱动器，多轴步进电机驱动器根据指令控制X轴平移台、Y轴平移台、Z轴平移台移动，使待测矩形体中心与拍摄中心轴重合，且使拍摄高度位于预设定值。

[0075] S303：顶部相机拍摄待测矩形体顶面的原始纹理图像并保存。

[0076] S304：通过多轴步进电机驱动器控制X轴平移台、Y轴平移台、Z轴平移台移动，使待测矩形体中心与侧部相机的拍摄中心轴重合，且使侧部相机的拍摄高度位于预设定值。

[0077] S305：侧部相机拍摄待测矩形体左侧面的原始纹理图像并保存。

[0078] S306：旋转台旋转90°，使待测矩形体另一侧面与侧部相机像平面平行，采用子步骤S304方法调整侧部相机与待测矩形体的位置，拍摄该侧面的原始纹理图像并保存。

[0079] S307：旋转台继续旋转90°，采用子步骤S304～S305方法依次采集各侧面的原始纹理图像并保存。

[0080] S308：人工翻转待测矩形体，使待测矩形体底面对着顶部相机，采用子步骤S302方法调整顶部相机与待测矩形体的位置，顶部相机拍摄待测矩形体底面的原始纹理图像并保存。至此，原始纹理图像采集完毕。

[0081] 本步骤中，在采集待测矩形体各表面的原始纹理图像前，需要通过移动X轴平移台、Y轴平移台、Z轴平移台，调整相机和待测矩形体的位置，使待拍摄表面的中心轴和相机光轴重合。

[0082] 步骤S4：预处理原始纹理图像，即对原始纹理图像依次进行畸变校正、纹理剪裁。将预处理后原始纹理图像记为纹理图像。

[0083] 本步骤通过软件完成，在工业制机上运行。由于光学镜头加工和装配误差的存在，相机拍摄原始纹理图像常会出现非线性的几何畸变。针对这一常见问题，通过研究镜头畸变的数学模型和摄像机模型以及参数标定方法，调用OPENCV库函数，可实现畸变校正，从而消除畸变带来的误差。在系统运行前须用标定板对相机进行标定，计算出其内参数与畸变参数，在已知相机内参数和畸变参数的情况下，对原始纹理图像进行畸变校正，消除畸变给纹理带来的误差。

[0084] 纹理剪裁，即根据待测矩形体的长宽高测量值与图像单位像素对应的物理尺寸，计算要剪裁的纹理图像的像素范围，由于待测矩形体中心与相机光轴重合，可保证纹理图像中心即待测矩形体中心，由此确定剪裁纹理的大小和位置。

[0085] 纹理剪裁的具体实施方式为：

[0086] 根据相机的标定参数获得图像单位像素对应的物理尺寸d(单位：mm/pixel)，待测矩形体的长宽高测量值分别除以d，即得要剪裁的纹理图像的像素范围。由于原始纹理图像中心即待测矩形体中心，根据要剪裁的纹理图像的像素范围和待测矩形体中心实现纹理图像剪裁。

[0087] 步骤S5：拼接所有表面的纹理图像，获得待测矩形体的三维纹理模型。

[0088] 利用OpenGL创建绘图平台，根据待测矩形体的几何参数测量值绘制待测矩形体的三维实体模型，根据纹理图像和实体模型表面的空间对应关系实现三维实体模型的纹理贴图，即将各表面的纹理图像分别粘贴在实体模型对应表面，即获得待测矩形体的三维纹理模型。

[0089] 在中央处理模上实现软件的人机交互，显示三维点云模型和三维纹理模型。

[0090] 本发明运行流程中，除待测矩形体底面纹理图像的采集外，其余步骤均实现自动化处理。