基于相位梯度阈值的流水线产品三维面型检测方法

摘要

本发明属于在线三维面型检测领域，特别是公开了一种基于相位梯度阈值的流水线产品三维面型检测方法，解决了现有技术存在的问题，充分考虑在线三维面型检测对测量速度与精度要求的平衡性，提出基于相位梯度阈值的流水线产品三维面型实时检测方法。通过傅里叶变换的方法获得被测物体的整体相位信息，将相位的梯度阈值作为图像特征参与相关运算得到相移条纹，对二值化相移梯度图膨胀得到物体表面陡变区域，最后采用最小二乘法迭代计算陡变区域的相位分布，用于修正FTP的计算结果以提高相位获取精度。

权利要求

1.基于相位梯度阈值的流水线产品三维面型检测方法，其特征在于，检测过程按照以下步骤进行：步骤1)投影仪投影正弦光栅像于被测物体，CCD采集不同时刻的变形条纹图；

当传送带上无被测物体时，CCD不同时刻拍摄到的条纹图不发生变化，其光强分布可表示为：I0(x,y)＝R(x,y)[A(x,y)+B(x,y)cosφ0(x,y)]   (1)式中R(x,y)为物体表面反射率，A(x,y)为背景光强，B(x,y)为条纹对比度,φ0(x,y)为条纹相位分布；

当被测物体随传送带运动时，不同时刻CCD采集到的变形条纹图，其光强分布可表示为：Ii(x,y)＝R(x,y)[A(x,y)+B(x,y)cosφi(x,y)]i＝1,2,...M   (2)式中φi(x,y)为物体表面变形条纹的相位分布，物体运动使其像在每帧变形条纹图中的位置不同，产生的相位调制的分布也不同，用下标i区别，M表示拍摄帧数；

步骤2)相位获取与相位修正：

a、用傅里叶变换的方法计算每帧条纹中物体高度引起的相位变化φi(x,y)：对式(2)作傅里叶变换，滤出+1级基频分量，再作逆傅里叶变换可得：对参考面上CCD获得的光强分布(1)做同样的运算得到：因此由物体高度引起的相位变化为：

其中lm{}表示取复数的虚部，*表示共轭运算；

b、计算相位变化的梯度，根据梯度变化将物体划分区域，得到陡变区域模板；

以Δφi(x,y)的梯度分布为依据，实现测量物体陡变区域的划分，对Δφi(x,y)的梯度进行阈值，得到二值化的相位梯度图：其中grad[·]表示梯度运算，T为根据系统标定获得，然后对Δφgi(x,y)进行膨胀，即可得到陡变区域模板图Maski(x,y)；

c、对二值化相位图做相关运算得到物体位移；

截取二值化相位梯度图Δφgi(x,y)的特征区域，分别与M帧二值化相位梯度图做相关运算，计算最大相关点的坐标差可以得到物体位移；

d、将物体位移转换为条纹的相移，得到相移条纹图；根据陡变区域模板采用最小二乘法迭代计算陡变区域处由物体高度引起的相位变化；

将拍摄到的M帧相移条纹图与其对应的陡变区域模板相乘，得到陡变区域条纹图：I′i(x,y)＝Ii(x,y)·Maski(x,y)   (7)相邻N帧分为一组，对陡变区域条纹图进行分组，根据物体位移对条纹图进行裁剪，实现各组不同变形条纹图中物体的像素坐标一致，同时也将物体位移转换成相移条纹，将得到的相移条纹图用最小二乘法迭代的方法计算物体陡变区域的相位变化；

e、用陡变区域相位对式(5)进行修正，提高相位获取精度；

用d中计算出的陡变区域相位变化替换式(5)中的陡变区域处的相位变化，提升相位获取精度；

步骤3)通过系统标定获得物体的X，Y方向信息，并将相位信息转换为深度信息Z。

说明书

基于相位梯度阈值的流水线产品三维面型检测方法

技术领域：

[0001] 本发明属于在线三维面型检测领域，特别是涉及一种基于相位梯度阈值的流水线产品三维面型检测方法。背景技术：

[0002] 在线三维面型检测属于动态检测的范畴，动态检测需充分考虑测量方法的实时性。条纹投影轮廓术通过投影正弦结构光于被测物体，计算变形条纹相位来获得物体的三维信息，该方法具有无接触、测量精度可观、操作简单、测量成本低等优点，可用于流水线产品三维尺寸的在线检测。

[0003] 条纹投影轮廓术的诸多算法中，傅里叶变换轮廓术(Fourier transform profilometry，简称FTP)常用于动态测量，其采用傅里叶分析的方法获取相位信息，具有全场分析的优点，但由于涉及频域滤波，导致物体面型突变区域测量精度受到限制。

[0004] 相位测量轮廓术(phase measuring profilometry，简称PMP)采用相移技术点对点计算相位的方法，对背景、对比度和噪声的变化不敏感，测量精度高。但测量过程中需要采集至少三帧变形条纹来计算一帧相位信息，动态测量中物体的运动导致不同条纹图中物体像的位置发生变化，给PMP相位计算带来误差。要克服这一问题，不仅要求CCD具有较高的拍摄频率，还要求投影设备具有等同的投影切换频率，美国Iowa州立大学张松等人提出的实时三维检测系统可用于在线三维检测，但对系统硬件有较高要求。

[0005] 四川大学曹益平等人根据流水线产品保持平动的运动特点，提出用像素匹配将物体位移转换为条纹相移的方法，解决了不同时刻拍摄到的变形条纹图物体位置发生变化的问题，从而降低了对投影、采集频率的要求。其中基于Stoilov算法的在线PMP采用计量光栅传感器产生触发信号来控制CCD拍摄物体等距离移动的变形条纹图，经像素匹配后将物体的位移转化为条纹的相移来计算物体的相位分布。

[0006] 为了降低测量系统控制部分的复杂程度，同时提高解相精度，他们又提出的基于满周期等相移算法的在线PMP。该方法投影多帧相移条纹图，要求物体运动方向与条纹相移方向垂直，像素匹配后物体运动不产生等效相移，使得采集到的变形条纹图的相移量等于投影条纹的相移量，实现相移量人为编码控制的目的。但在实际测量过程中，很难精确控制投影条纹的相移方向与物体的运动方向垂直，而不垂直的系统误差将导致像素匹配后的各帧变形条纹图在条纹相移方向产生附加相移量，采用满周期等相移算法计算相位时引入相移误差，降低了相位计算精度。

[0007] 针对上述问题，又提出采用像素匹配获得任意相移量，采用最小二乘法迭代计算相位的方法，不仅提高了测量精度，还减少了系统装置空间位置的约束条件。但最小二乘法迭代计算相位耗时较长，不利于系统实时性的提高。

[0008] 由上述论述可知，不管是采用傅里叶变换还是采用最小二乘法迭代计算，均没有充分考虑三维面型检测对测量速度与精度要求的平衡性。傅里叶变换轮廓术实时性好，但测量精度不高，测量误差集中在被测物体面型的陡变区域。最小二乘法迭代测量精度高，但迭代时间长，影响了测量的实时性。发明内容：

[0009] 本发明克服现有技术存在的不足，解决了现有技术存在的问题，充分考虑在线三维面型检测对测量速度与精度要求的平衡性，提出基于相位梯度阈值的流水线产品三维面型实时检测方法。通过傅里叶变换的方法获得被测物体的整体相位信息，将相位的梯度阈值作为图像特征参与相关运算得到相移条纹，对二值化相移梯度图膨胀得到物体表面陡变区域，最后采用最小二乘法迭代计算陡变区域的相位分布，用于修正FTP的计算结果以提高相位获取精度。

[0010] 为解决上述技术问题，本发明采用的技术方案为：基于相位梯度阈值的流水线产品三维面型检测方法，检测过程按照以下步骤进行：

[0011] 步骤1)投影仪投影正弦光栅像于被测物体，CCD采集不同时刻的变形条纹图；

[0012] 当传送带上无被测物体时，CCD不同时刻拍摄到的条纹图不发生变化，其光强分布可表示为：I0(x,y)＝R(x,y)[A(x,y)+B(x,y)cosφ0(x,y)]        (1)

[0013] 式中R(x,y)为物体表面反射率，A(x,y)为背景光强，B(x,y)为条纹对比度；φ0(x,y)为条纹相位分布；

[0014] 当测量物体随传送带运动时，不同时刻CCD采集到变形条纹图，其光强分布可表示为：

[0015] Ii(x,y)＝R(x,y)[A(x,y)+B(x,y)cosφi(x,y)]i＝1,2,...M      (2)[0016] 式中φi(x,y)为物体表面变形条纹的相位分布，物体运动使其像在每帧变形条纹图中的位置不同，产生的相位调制的分布也不同，用下标i区别；M表示拍摄帧数；

[0017] 步骤2)相位获取与相位修正：

[0018] a、用傅里叶变换的方法计算每帧条纹中物体高度引起的相位变化φi(x,y)：

[0019] 对式(2)作傅里叶变换，滤出+1级基频分量，再作逆傅里叶变换可得：

[0020]

[0021] 对参考面上CCD获得的光强分布(1)做同样的运算得到：

[0022]

[0023] 因此由物体高度引起的相位变化为：

[0024]

[0025] 其中lm{}表示取复数的虚部，*表示共轭运算；

[0026] b、计算相位变化的梯度，根据梯度变化将物体划分区域，得到陡变区域模板；

[0027] 以△φi(x,y)的梯度分布为依据，实现测量物体陡变区域的划分，对△φi(x,y)的梯度进行阈值，得到二值化的相位梯度图：

[0028]

[0029] 其中grad[·]表示梯度运算，T为系统标定值，一般为测量环境下该类被测物体的最大梯度的平均值减一小量。

[0030] 然后对△φgi(x,y)进行膨胀，即可得到陡变区域模板图Maski(x,y)；

[0031] c、对二值化相位图做相关运算得到物体位移；

[0032] 截取二值化相位梯度图△φgi(x,y)的特征区域，分别与M帧二值化相位梯度图做相关运算，计算最大相关点的坐标差可以得到物体位移；

[0033] d、将物体位移转换为条纹的相移，得到相移条纹图；根据陡变区域模板采用最小二乘法迭代计算陡变区域处由物体高度引起的相位变化；

[0034] 将拍摄到的M帧相移条纹图与其对应的陡变区域模板相乘，得到陡变区域条纹图：

[0035] I′i(x,y)＝Ii(x,y)·Maski(x,y)            (7)

[0036] 相邻N帧分为一组，对陡变区域条纹图进行分组，根据物体位移对条纹图进行裁剪，实现各组不同变形条纹图中物体的像素坐标一致，同时也将物体位移转换成相移条纹，将得到的相移条纹图用最小二乘法迭代的方法计算物体陡变区域的相位变化；

[0037] e、用陡变区域相位对式(5)进行修正，提高相位获取精度；

[0038] 用d中计算出的陡变区域相位变化替换式(5)中的陡变区域处的相位变化，提升相位获取精度；

[0039] 步骤3)通过系统标定获得物体的X，Y方向信息，并将相位信息转换为深度信息Z。

[0040] 本发明与现有技术相比具有以下有益效果。

[0041] 第一，本发明提出基于傅里叶变换和最小二乘法迭代相结合的方法获得被测物体的三维面型，通过傅里叶变换的方法获得被测物体的整体相位信息，然后通过对相位信息进行区域分割，分为陡变区域和非陡变区域，陡变区域内采用最小二乘法迭代计算相位，用上述相位替换傅里叶变换方法获得的整体相位信息中陡变区域处的相位。傅里叶变换保证了测量速度，最小二乘法迭代对陡变区域处进行修正，保证陡变区域的测量精度。

[0042] 第二，对于物体表面平缓与陡变区域的划分，提出通过计算相位梯度，合理阈值膨胀后得到陡变区域。

[0043] 第三，对于变形条纹的特征提取，提出基于相位梯度阈值寻找物体陡变边界的方法，完成像素匹配相关运算。

附图说明

[0044] 图1为在线检测原理图。

[0045] 图2为相位获取和相位修正过程框图。

[0046] 图3为被测物体三维面型分布图。

[0047] 图4为CCD拍摄到的其中两帧变形条纹图。

[0048] 图5为计算得到的对应物体高度引起的相位变化。

[0049] 图6为二值化的相位梯度图。

[0050] 图7为三维重建结构图，其中(a)为FTP三维重建结构，(b)为本发明三维重建结构。

[0051] 图8为对应均方根误差分布。具体实施方式：

[0052] 如图1所示，基于条纹投影轮廓术的在线三维面型检测系统原理为，被测物体随传送带沿X方向匀速运动，计算机控制数字光投影仪投影正弦光栅像于被测物体表面，投影仪的光轴PO与CCD的光轴CO交于参考面上的O点，物体的高度会引起条纹发生形变，即相位发生变化，计算条纹的相位变化，即可得到物体的高度信息Z。

[0053] 本发明基于相位梯度阈值的流水线产品三维面型检测方法，检测过程按照以下步骤进行：

[0054] 步骤1)投影仪投影正弦光栅像于被测物体，CCD采集不同时刻的变形条纹图；

[0055] 当传送带上无被测物体时，CCD不同时刻拍摄到的条纹图不发生变化，其光强分布可表示为：I0(x,y)＝R(x,y)[A(x,y)+B(x,y)cosφ0(x,y)]      (1)

[0056] 式中R(x,y)为物体表面反射率，A(x,y)为背景光强，B(x,y)为条纹对比度；φ0(x,y)为条纹相位分布；

[0057] 当测量物体随传送带运动时，不同时刻CCD采集到变形条纹图，其光强分布可表示为：

[0058] Ii(x,y)＝R(x,y)[A(x,y)+B(x,y)cosφi(x,y)]i＝1,2,...M      (2)[0059] 式中φi(x,y)为物体表面变形条纹的相位分布，物体运动使其像在每帧变形条纹图中的位置不同，产生的相位调制的分布也不同，用下标i区别；M表示拍摄帧数。

[0060] 步骤2)相位获取与相位修正：整个过程如图2所示，

[0061] a、用傅里叶变换的方法计算每帧条纹中物体高度引起的相位变化φi(x,y)：

[0062] 对式(2)作傅里叶变换，滤出+1级基频分量，再作逆傅里叶变换可得：

[0063]

[0064] 对参考面上CCD获得的光强分布(1)做同样的运算得到：

[0065]

[0066] 因此由物体高度引起的相位变化为：

[0067]

[0068] 其中lm{}表示取复数的虚部，*表示共轭运算；

[0069] 上述式(5)就是通过傅里叶变换计算得到的被测物体整体的相位信息，但是由于傅里叶变换计算相位时涉及到频域滤波，限制了相位获取的精度，且误差主要集中在物体的陡变区域，因此对陡变区域相位进行修正可有效提高物体整体的相位信息。

[0070] 陡变区域相位的修正以陡变区域的划分为前提，由于物体引起的条纹相位变化△φi(x,y)与物体高度有近似线性关系。因此本发明以△φi(x,y)的梯度分布为依据，实现测量物体陡变区域的划分。下面几个步骤重点来介绍陡变区域的划分以及陡变区域相位的获取。

[0071] b、计算相位变化的梯度，根据梯度变化将物体划分区域，得到陡变区域模板；

[0072] 以△φi(x,y)的梯度分布为依据，实现测量物体陡变区域的划分，对△φi(x,y)的梯度进行阈值，得到二值化的相位梯度图：

[0073]

[0074] 其中grad[·]表示梯度运算，T为系统标定值，一般为测量环境下该类被测物体的最大梯度的平均值减一小量，

[0075] 然后对△φgi(x,y)进行膨胀，即可得到陡变区域模板图Maski(x,y)；

[0076] c、对二值化相位图做最大相关运算得到物体位移；

[0077] 截取二值化相位梯度图△φgi(x,y)的特征区域，分别与M帧二值化相位梯度图做相关运算，计算最大相关点的坐标差可以得到物体位移；

[0078] d、将物体位移转换为条纹的相移，得到相移条纹图；根据陡变区域模板采用最小二乘法迭代计算陡变区域处由物体高度引起的相位变化；

[0079] 将拍摄到的M帧相移条纹图与其对应的陡变区域模板相乘，得到陡变区域条纹图：

[0080] I′i(x,y)＝Ii(x,y)·Maski(x,y)               (7)

[0081] 相邻N帧分为一组，对陡变区域条纹图进行分组，根据物体位移对条纹图进行裁剪，实现各组不同变形条纹图中物体的像素坐标一致，同时也将物体位移转换成相移条纹，将得到的相移条纹图用最小二乘法迭代的方法计算物体陡变区域的相位变化。

[0082] e、用陡变区域相位对式(5)进行修正，提高相位获取精度；

[0083] 用d中计算出的陡变区域相位变化替换式(5)中的陡变区域处的相位变化，提升相位获取精度。

[0084] 步骤3)通过系统标定获得物体的X，Y方向信息，并将相位信息转换为深度信息Z。

[0085] 本发明在获取相移条纹时，采用物体的相位作为特征用于相关运算。图像的特征提取大多采用场景中物体的纹理或深度信息作为特征，条纹投影轮廓术获取的相位信息与高度有近似线性关系，可以代表图像物体特征。当测量过程中采用结构光照明时，不同时刻拍摄到的条纹图中被测物体无明显纹理特征，已有技术采用无条纹区域贴放标记、提取标记纹理信息作为特征的方法，该方法增加了测量过程的复杂度；计算条纹调制度的方法可以提取被条纹覆盖的被测物体的边缘轮廓作为特征，但物体边缘阴影会带来匹配误差。

[0086] 另外本发明基于相位信息做区域分割，采用傅里叶变换得到被测物体的整体相位信息，然后利用最小二乘法迭代修正物体陡变区域相位值，降低频域滤波造成的相位误差，与傅里叶变换方法相比，测量精度更高，与最小二乘法迭代相比，速度更快。本发明充分考虑了测量速度与测量精度的平衡性，更加适用于在线三维面型检测。

[0087] 下面通过计算机仿真实例来说明本发明的有效性，如图3所示为被测物体的三维面型轮廓图，图4为CCD拍摄到的其中两帧变形条纹图Ii(x,y)，条纹下物体的水平位移为40个像素。图5为按照本发明的方法计算得到的对应物体高度引起的相位变化△φi(x,y)。图6为计算其梯度并阈值后，对应二值化相位梯度图。对相位梯度图做相关运算后，得到位移为40像素，符合预先设定值，说明陡变区域阈值可有效识别物体陡变边界。对图6进行膨胀即可得到陡变区域模板，对陡变区域用最小二乘法迭代计算相位，用于修正FTP相位计算结果。经过相位高度映射后，如图7所示，其中(a)为FTP三维重建结构，(b)为本发明三维重建结构。图8中(a)、(b)为对应均方根误差分布，对应的RMS分别为0.9004mm、0.2662mm。从图7和图8中可以看出，本发明的方法相对于傅里叶变换法精度更高。

[0088] 再对本发明所提区域分割相位计算方法的速度进行评价，在采用相同相移条纹、相同计算机配置的条件下，本发明的相位计算时间为5.26秒，如果全局采用最小二乘法迭代计算相位需18.28秒，说明基于区域分割的FTP与最小二乘法相结合计算相位可以提高测量速度。

[0089] 上面对本发明的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。