一种基于相机响应曲线的结构光自适应三维测量方法转让专利

申请号 : CN201810403285.1

文献号 : CN108827184B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 崔海华程筱胜李兆杰田威张小迪

申请人 : 南京航空航天大学

摘要 :

本申请提供了一种基于相机响应曲线的结构光自适应三维测量方法,包括预设测量灰度值范围和曝光时间范围,在预设测量范围内获取基准图像和基准曝光时间;选择基准图像中的基准点,并根据随基准点的曝光时间的变化获得的曝光量和灰度值来计算相机响应函数;使用相机响应函数来获得所有点的相对辐照度值,基于相对辐照度值和相机响应函数来计算曝光次数和曝光时间;以不同曝光时间获取的图像融合为的新的条纹图像序列并用于三维重建。本发明可自适应重建具有复杂表面反射率的物体,扩大了结构光测量技术的适用范围,提高了测量的自动化程度,对复杂反射率表面也能取得良好的测量效果。

权利要求 :

1.一种基于相机响应曲线的结构光自适应三维测量方法,其特征在于,包括:

S1:预设测量灰度值范围和曝光时间范围,在预设测量范围内获取基准图像和基准曝光时间;

S2:选择基准图像中的基准点,并根据随基准点的曝光时间的变化获得的曝光量和灰度值来计算相机响应函数;

S3:使用相机响应函数来获得所有点的相对辐照度值,基于相对辐照度值和相机响应函数来计算曝光次数和曝光时间;

S4:以不同曝光时间获取的图像融合为的新的条纹图像序列并用于三维重建,所述预设测量灰度值范围和曝光时间范围具体包括:S21:预设测量灰度值范围为V1~V2,预设曝光时间范围即预设最小相机曝光时间t1和最大曝光时间t2的值;设置t1值时,需满足投射条纹时在当前值下相机视图中的目标对象所在区域的最大值小于V2;设置t2值时,需满足投射条纹时在当前值下相机视图中的目标对象所在区域的最小值大于V1;

所述在预设测量范围内获取基准图像和基准曝光时间包括:投影仪向目标物体投射纯白图像,在预设曝光时间范围内从t1到t2不断改变相机曝光时间,在调整过程中统计相机视图中所有像素灰度值在测量灰度值范围内的个数,保存调整过程中图像和对应曝光时间,选择过程中对应最大像素灰度值的图像作为基准图像,基准图像的曝光时间为基准曝光时间,选择基准图像上像素灰度值为V1的点作为基准点,基准点照度值统一设置为一任意常数;

建立模板图像F,其与基准图像有相同的尺寸大小,模板图像像素灰度值由下式决定:

上式(1)中,VR(x,y)是基准图像在在坐标(x,y)处的灰度值;

从基准曝光时间开始不断增加曝光时间直到基准点的像素灰度值大于等于V2,保存上述过程中的像素灰度值和曝光时间,用五次多项式来代表相机响应函数,如式(2)所示:y=Ax4+Bx3+Cx2+Dx+E (2)

将调整过程中的基准点的曝光量作为输入值,与之对应的像素灰度值作为输出值,利用最小二乘拟合算法得到5个未知系数A、B、C、D、E,这即是计算得到的相机响应函数,根据相机响应函数,可分别得到V1对应的曝光量H1和V2对应的曝光量H2。

2.根据权利要求1所述的基于相机响应曲线的结构光自适应三维测量方法,其特征在于,使用相机响应函数来获得所有点的相对辐照度值通过获得的相对辐照度值结合相机响应函数来计算曝光次数和曝光时间包括:S41:对模板图像F中像素灰度值为1的点,遍历步骤S21计算得到的图像序列,当找到序列中某一图像上此坐标像素值处于最佳测量范围内时,利用计算得到的相机响应函数得到此点的曝光量,曝光量除以图像对应曝光时间即为此点的相对照度值;

S42:对模板图像F中像素灰度值为0的点,根据基准图像在此点下的像素灰度值和相机响应函数得到此点对应的曝光量,曝光量除以基准曝光时间即为此点的相对照度值;

S43:在获取所有目标点的相对照度值后,找到其中的最小值E1,H1/E1的值即为一次曝光时间,删除在当前曝光时间下曝光量在H1-H2之间的点对应的相对照度值;重复S43直到所有的照度值都被删除,计算过程中得到的曝光时间即为测量所需曝光时间。

3.根据权利要求2所述的基于相机响应曲线的结构光自适应三维测量方法,其特征在于,结合N步相移技术和多重曝光方法进行图像合成,包括:S51:投射仪投射一张纯白图像按照步骤S43的结果分别改变相机曝光时间并获取目标图像序列I;

S52:投影仪再投射N张条纹图,改变相机曝光时间并获取目标图像序列J,首先利用图像序列I获取模板图像,计算公式如下所示:上式(3)中,Mi(x,y)是第i次曝光对应的模板图像在坐标(x,y)的像素灰度值,Ii(x,y),Ij(x,y)是在是第i,j次曝光对应的相机图像在坐标(x,y)的像素灰度值,然后利用模板图像将条纹图图像序列融合成新的条纹图图像序列P:上式(4)中,Ji,j(x,y),是在投射第j幅条纹图时第i次曝光对应的相机图像在坐标(x,y)的像素灰度值,Pj(x,y)是第j幅融合图像在坐标(x,y)的像素灰度值。

4.根据权利要求3所述的基于相机响应曲线的结构光自适应三维测量方法,其特征在于,利用融合后的图像序列P,将投影仪视为一虚拟相机,找到投影仪视图与相机视图对应的点利用三角法进行解相位和三维重建。

说明书 :

一种基于相机响应曲线的结构光自适应三维测量方法

技术领域

[0001] 本发明属于光学测量技术领域,尤其涉及一种基于相机响应曲线的结构光自适应三维测量方法。

背景技术

[0002] 结构光测量技术是将一定模式的光栅条纹图像投射到待测物表面,相机获取经被测物形状调制其发生变形的光栅图,进而计算被测物的三维信息数据的一种主动式光学测量技术,其对于光栅图的强度是非常敏感的。当表面曝光过强或不足的时候,如镜面反射,相机成像并不能真实反映表面真实强度值,造成测量精度下降或无法重建。多重曝光技术被应用在结构光重建技术中,用来解决上述反光问题,其获取多次曝光图像后,分别选择同一位置像素值灰度最高但是不发生饱和的点参与重建。结构光技术结合多次曝光的方法虽然取得了较好的测量效果,但是其曝光时间、曝光次数全凭操作者经验,影响了测量效率和工业应用。
[0003] 应该注意,上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明,并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

[0004] 本发明目的在于提供一种基于相机响应曲线的结构光自适应三维测量方法,可自适应重建具有复杂表面反射率的物体,扩大了结构光测量技术的适用范围,提高了测量的自动化程度,对复杂反射率表面也能取得良好的测量效果。
[0005] 本发明提供了一种基于相机响应曲线的结构光自适应三维测量方法,包括:
[0006] S1:预设测量灰度值范围和曝光时间范围,在预设测量范围内获取基准图像和基准曝光时间;
[0007] S2:选择基准图像中的基准点,并根据随基准点的曝光时间的变化获得的曝光量和灰度值来计算相机响应函数;
[0008] S3:使用相机响应函数来获得所有点的相对辐照度值,基于相对辐照度值和相机响应函数来计算曝光次数和曝光时间;
[0009] S4:以不同曝光时间获取的图像融合为的新的条纹图像序列并用于三维重建。
[0010] 进一步地,所述预设测量灰度值范围和曝光时间范围具体包括:
[0011] S21:预设测量灰度值范围为 ,预设曝光时间范围即预设最小相机曝光时间~和最大曝光时间 的值;设置 值时,需满足投射条纹时在当前值下相机视图中的目标对象所在区域的最大值小于 ;设置 值时,需满足投射条纹时在当前值下相机视图中的目标对象所在区域的最小值大于 ;
[0012] 所述在预设测量范围内获取基准图像和基准曝光时间包括:投影仪向目标物体投射纯白图像,在预设曝光时间范围内从 到 不断改变相机曝光时间,在调整过程中统计相机视图中所有像素灰度值在测量灰度值范围内的个数,保存调整过程中图像和对应曝光时间,选择过程中对应最大像素灰度值的图像作为基准图像,基准图像的曝光时间为基准曝光时间。
[0013] 进一步地,选择基准图像上像素灰度值为 的点作为基准点,基准点照度值统一设置为一任意常数,如300;
[0014] 建立模板图像 ,其与基准图像有相同的尺寸大小,模板图像像素灰度值由下式决定:
[0015]   (1)
[0016] 上式(1)中,  是基准图像在在坐标 处的灰度值;
[0017] 从基准曝光时间开始不断增加曝光时间直到基准点的像素灰度值大于等于 ,保存上述过程中的像素灰度值和曝光时间,用五次多项式来代表相机响应函数,如式(2)所示:
[0018]   (2)
[0019] 将调整过程中的基准点的曝光量作为输入值,与之对应的像素灰度值作为输出值,利用最小二乘拟合算法得到5个未知系数 ,这即是计算得到的相机响应函数,根据相机响应函数,可分别得到 对应的曝光量 和 对应的曝光量 。
[0020] 进一步地,使用相机响应函数来获得所有点的相对辐照度值通过获得的相对辐照度值结合相机响应函数来计算曝光次数和曝光时间包括:
[0021] S41:对模板图像 中像素灰度值为1的点,遍历步骤S21计算得到的图像序列,当找到序列中某一图像上此坐标像素值处于最佳测量范围内时,利用计算得到的相机响应函数得到此点的曝光量,曝光量除以图像对应曝光时间即为此点的相对照度值;
[0022] S42:对模板图像 中像素灰度值为0的点,根据基准图像在此点下的像素灰度值和相机响应函数得到此点对应的曝光量,曝光量除以基准曝光时间即为此点的相对照度值。
[0023] S43:在获取所有目标点的相对照度值后,找到其中的最小值 , / 的值即为一次曝光时间,删除在当前曝光时间下曝光量在 之间的点对应的相对照度值;重复S43直到所有的照度值都被删除,计算过程中得到的曝光时间即为测量所需曝光时间。
[0024] 进一步地,结合N步相移技术和多重曝光方法进行图像合成,包括:
[0025] S51:投射仪投射一张纯白图像按照步骤S43的结果分别改变相机曝光时间并获取目标图像序列 ;
[0026] S52:投影仪再投射N张条纹图,改变相机曝光时间并获取目标图像序列 ,首先利用图像序列获取模板图像,计算公式如下所示:
[0027]   (3)
[0028] 上式(3)中,  是第i次曝光对应的模板图像在坐标 的像素灰度值  ,, 是在是第i,j次曝光对应的相机图像在坐标 的像素灰度值,然后利用模板图像将条纹图图像序列融合成新的条纹图图像序列 :
[0029]   (4)
[0030] 上式(4)中, ,是在投射第j幅条纹图时第i次曝光对应的相机图像在坐标的像素灰度值 , 是第 幅融合图像在坐标 的像素灰度值。
[0031] 进一步地,利用融合后的图像序列 ,将投影仪视为一虚拟相机,找到投影仪视图与相机视图对应的点利用三角法进行解相位和三维重建。
[0032] 参照后文的说明和附图,详细公开了本申请的特定实施方式,指明了本申请的原理可以被采用的方式。应该理解,本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内,本申请的实施方式包括许多改变、修改和等同。
[0033] 针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
[0034] 应该强调,术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在,但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

[0035] 图1是本发明提供的一种基于相机响应曲线的结构光自适应三维测量方法流程图;
[0036] 图2是相机响应曲线图;
[0037] 图3是基准曝光时间选择示意图;
[0038] 图4是实验中测量目标反光示意图;
[0039] 图5是实验中计算的相机响应曲线示意图;
[0040] 图6是实验中图像融合效果图;
[0041] 图7是实验中模型测量效果图。

具体实施方式

[0042] 为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本发明中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都应当属于本申请保护的范围。
[0043] 本发明是一种基于相机响应曲线的结构光自适应三维测量方法,其核心是利用基准点随曝光时间的变化的灰度值计算相机响应曲线,最后根据响应曲线和不同曝光时间下的图像来计算曝光次数和曝光时间。相机的光照响应曲线是相机曝光量 与图像像素值之间的关系曲线,如图2所示。
[0044] 曝光量 数值上等于照度 与曝光时间 相乘,即 。相机光照曲线可以表示为:
[0045]   (5)
[0046] 本发明提供了一种基于相机响应曲线的结构光自适应三维测量方法,包括:
[0047] S1:预设测量灰度值范围和曝光时间范围,在预设测量范围内获取基准图像和基准曝光时间;
[0048] S2:选择基准图像中的基准点,并根据随基准点的曝光时间的变化获得的曝光量和灰度值来计算相机响应函数;
[0049] S3:使用相机响应函数来获得所有点的相对辐照度值,基于相对辐照度值和相机响应函数来计算曝光次数和曝光时间;
[0050] S4:以不同曝光时间获取的图像融合为的新的条纹图像序列并用于三维重建。
[0051] 在本实施方式中,步骤S1中所述预设测量灰度值范围和曝光时间范围具体包括:
[0052] S21:预设测量灰度值范围为 ,预设曝光时间范围即预设最小相机曝光时间~和最大曝光时间 的值;设置 值时,需满足投射条纹时在当前值下相机视图中的目标对象所在区域的最大值小于 ;设置 值时,需满足投射条纹时在当前值下相机视图中的目标对象所在区域的最小值大于 ;
[0053] 在步骤S1中所述在预设测量范围内获取基准图像和基准曝光时间包括:投影仪向目标物体投射纯白图像,在预设曝光时间范围内从 到 不断改变相机曝光时间,在调整过程中统计相机视图中所有像素灰度值在测量灰度值范围内的个数,保存调整过程中图像和对应曝光时间,选择过程中对应最大像素灰度值的图像作为基准图像,基准图像的曝光时间为基准曝光时间。
[0054] 在本实施方式中,步骤S2中所述选择基准图像上像素灰度值为 的点作为基准点,基准点照度值统一设置为一任意常数,如300;
[0055] 建立模板图像 ,其与基准图像有相同的尺寸大小,模板图像像素灰度值由下式决定:
[0056]   (1)
[0057] 上式(1)中,  是基准图像在在坐标 处的灰度值;
[0058] 从基准曝光时间开始不断增加曝光时间直到基准点的像素灰度值大于等于 ,保存上述过程中的像素灰度值和曝光时间,用五次多项式来代表相机响应函数,如式(2)所示:
[0059]   (2)
[0060] 将调整过程中的基准点的曝光量作为输入值,与之对应的像素灰度值作为输出值,利用最小二乘拟合算法得到5个未知系数 ,这即是计算得到的相机响应函数,根据相机响应函数,可分别得到 对应的曝光量 和 对应的曝光量 。
[0061] 在本实施方式中,步骤S3中所述使用相机响应函数来获得所有点的相对辐照度值通过获得的相对辐照度值结合相机响应函数来计算曝光次数和曝光时间包括如下步骤:
[0062] S41:对模板图像 中像素灰度值为1的点,遍历步骤S21计算得到的图像序列,当找到序列中某一图像上此坐标像素值处于最佳测量范围内时,利用计算得到的相机响应函数得到此点的曝光量,曝光量除以图像对应曝光时间即为此点的相对照度值;
[0063] S42:对模板图像 中像素灰度值为0的点,根据基准图像在此点下的像素灰度值和相机响应函数得到此点对应的曝光量,曝光量除以基准曝光时间即为此点的相对照度值。
[0064] S43:在获取所有目标点的相对照度值后,找到其中的最小值 , / 的值即为一次曝光时间,删除在当前曝光时间下曝光量在 之间的点对应的相对照度值;重复S43直到所有的照度值都被删除,计算过程中得到的曝光时间即为测量所需曝光时间。
[0065] 在本实施方式中,结合N步相移技术和多重曝光方法进行图像合成,包括:
[0066] S51:投射仪投射一张纯白图像按照步骤S43的结果分别改变相机曝光时间并获取目标图像序列 ;
[0067] S52:投影仪再投射N张条纹图,改变相机曝光时间并获取目标图像序列 ,首先利用图像序列获取模板图像,计算公式如下所示:
[0068]   (3)
[0069] 上式(3)中,  是第i次曝光对应的模板图像在坐标 的像素灰度值  ,, 是在是第i,j次曝光对应的相机图像在坐标 的像素灰度值,然后利用模板图像将条纹图图像序列融合成新的条纹图图像序列 :
[0070]   (4)
[0071] 上式(4)中, ,是在投射第j幅条纹图时第i次曝光对应的相机图像在坐标的像素灰度值 , 是第 幅融合图像在坐标 的像素灰度值。
[0072] 在本实施方式中,结合文献“Automated phase-measuring profilometry of 3-D diffuse objects”中的算法原理,利用融合后的图像序列 ,将投影仪视为一虚拟相机,找到投影仪视图与相机视图对应的点利用三角法进行解相位和三维重建。
[0073] 现通过以下实验为例进一步说明本发明的有益效果::
[0074] 测试本发明方法的测量装置包括一台计算机,一台投影仪(NEC NP43+),一台工业CCD相机(The Imaging Source, DMK 23G445)。本实验测量对象为具有复杂反射率表面的金属叶片,直接向对象投影的图像如图3所示,实验计算的相机响应曲线如图4所示,通过算法得到的曝光时间分别为:63.73 ms, 30.3 ms, 13.3 ms, 11.49 ms, 5.81 ms和 1.17 ms。融合后的图像如图5所示,重建结果如图6所示。
[0075] 从图5和图6可以看出,融合后的图像相位信息被较好的保存下来,对象表面三维数据被完整恢复出来。
[0076] 由上可见,与现有技术相比,本发明具有以下有益效果:
[0077] (1) 本发明能自适应的针对测量表面计算出所需曝光次数和曝光时间,提高了测量效率和自动化程度,在工业上有较大的应用价值;
[0078] (2)本发明可以根据测量要求设置最佳强度范围,提高了测量灵活性;
[0079] (3) 本发明可求出视场范围内所有点的相对照度值,提高了曝光准确性和鲁棒性;
[0080] (4) 本发明中的自动曝光算法不仅适用在结构光测量方式,在可应用于其他三维视觉测量方式中。
[0081] 以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。