本发明公开了一种基于单帧调制模板的深度信息测量方法，主要解决现有技术耗时过长、无法动态测量场景深度信息的问题。其实现方案为：设计单帧调制模板P；将P投射到目标，获得变形图像I；将I传输至计算机，解调得到解调余弦模板I′1及解调De Bruijn序列模板I′2；用Gabor滤波器计算I′1截断相位根据I′2和求解相位展开值Φ(x,y)；根据Φ(x,y)求取像素点(x,y)在P中的匹配点(xp,yp)；利用(x,y)与(xp,yp)的空间几何关系，计算深度信息值。本发明可动态获取场景深度信息且具备较高的精度，可用于工业监控、人机交互、虚拟现实及3D打印场景。
1.一种基于单帧调制模板的深度信息测量方法，包括：
(1a)设计基于余弦编码的模板I1和基于De Bruijn序列的模板I2；
(1b)设计频率为fc1的载波模板Ic1和频率为fc2的载波模板Ic2，并根据这两个载波模板Ic1、Ic2和上述余弦模板I1、De Bruijn序列模板I2得到单帧调制模板P：P＝I1·Ic1+I2·Ic2；
(1c)计算单帧调制模板P中各个像素点(x,y)的强度值Ip(x,y)为：Ip(x,y)＝I1(x,y)·Ic1(x,y)+I2(x,y)·Ic2(x,y)，其中I1(x,y)、I2(x,y)、Ic1(x,y)、Ic2(x,y)分别为余弦模板I1、De Bruijn序列模板I2以及载波模板Ic1、Ic2的强度值，且I1(x,y)、I2(x,y)中各个像素点强度沿着y方向变化，Ic1(x,y)、Ic2(x,y)中各个像素点强度沿着x方向变化；
(2)将用于投射单帧调制模板P的投影仪T与用于采集图像的摄像机V竖直放置，并使两者光轴平行，用投影仪T将单帧调制模板P投影到目标物体O上；并用摄像机V对该目标物体进行拍摄，获得经过目标物体O调制后的变形图像I；
(3)将变形图像I传输至计算机C，通过计算机C解调得到解调余弦模板I′1以及解调De Bruijn序列模板I′2；
(4)用Gabor滤波器计算解调余弦模板I′1中各个像素点(x,y)处的截断相位(5)根据解调De Bruijn序列模板I′2以及截断相位 求解变形图像I中像素点(x,y)处的相位展开值Φ(x,y)；
(6)根据变形图像I中像素点(x,y)的相位展开值Φ(x,y)，求取像素点(x,y)在单帧调制模板P中的匹配点(xp,yp)，其中x、y为变形图像I中像素点的行列坐标值，xp、yp为单帧调制模板P中像素点的行列坐标值；
(7)根据三角测距原理，利用像素点(x,y)与匹配点(xp,yp)的空间几何关系，计算待测物体的深度信息值。
2.根据权利要求1所述的方法，其中步骤(3)中通过计算机C得到解调余弦模板I′1，按如下步骤进行：(3.1)对获取的变形图像I进行带通滤波，提取出携带余弦模板的调制图像 其在像素点(x,y)处的强度值其中I′1(x,y)为解调余弦模板的强度值， 为受到场景干扰的载波频率；
(3.2)对上述(3.1)的结果进行平方运算，得到各个像素点(x,y)上的强度值为：(3.3)对(3.2)的结果进行低通滤波后再进行开方运算，从变形图像I中得到解调余弦模板I′1。
3.根据权利要求1所述的方法，其中步骤(3)通过计算机C得到解调De Bruijn序列模板I′2，按如下步骤进行：(3.4)对获取的变形图像I进行带通滤波，提取出携带De Bruijn序列模板的调制图像其在像素点(x,y)处的强度值其中I′2(x,y)为解调De Bruijn序列模板的强度值， 为受到场景干扰的载波频率；
(3.5)对上述(3.4)的结果进行平方运算，得到各个像素点(x,y)上的强度值为(3.6)对(3.5)的结果进行低通滤波后再进行开方运算，从变形图像I中得到解调De Bruijn序列模板I′2。
4.根据权利要求1所述的方法，其中步骤(4)中用Gabor滤波器计算解调余弦模板I′1中各个像素点(x,y)处的截断相位 按如下步骤进行：(4.1)将解调余弦模板I′1与高斯核进行卷积，得到卷积结果z(x,y)：z(x,y)＝I′1(x,y)*g(x,y,λ)
其中，*代表卷积符号，g(x,y,λ)为高斯核，λ为高斯滤波器的波长，I′1(x,y)为解调余弦模板I′1的强度值；
其中，Im(z(x,y))为z(x,y)的复数部分，Re(z(x,y))为z(x,y)的实数部分，计算获得的截断相位被限制在[-π,π)中。
5.根据权利要求1所述的方法，其中步骤(5)中根据解调De Bruijn序列模板I′2以及截断相位 求解变形图像I中像素点(x,y)处的相位展开值Φ(x,y)，按如下步骤进行：(5.1)对解调余弦模板I′1(x,y)进行连续区域划分：定义划分区域函数
其中 为任一像素点的截断相位值，为该像素点第i个方向邻域上的截断相位值，其中i＝1,2,…,8，定义τ1为第一邻域门限，τ2为第二邻域门限，
其中 为第n个方向邻域上的截断相位值，n＝3,7； 为第m个方向邻域上的截断相位值,m＝1,2,4,5,6,8；
(5.2)在连续区域划分的基础上，对解调De Bruijn序列模板I′2进行周期划分，求解出解调De Bruijn序列模板码值，获得截断相位周期n；
(5.3)计算变形图像I中像素点(x,y)的相位展开值Φ(x,y)：其中 为像素点(x,y)的截断相位值，n为截断相位周期。
6.根据权利要求1所述的方法，其中步骤(7)中根据三角测距原理，利用像素点(x,y)与匹配点(xp,yp)的空间几何关系，计算待测物体的深度信息值，按如下步骤进行：(7.1)以摄像机V的光心为原点建立世界坐标系，其中世界坐标系的x轴沿摄像机V成像平面的水平方向，世界坐标系的y轴沿着摄像机V成像平面的竖直方向，世界坐标系的z轴沿着摄像机V的光轴方向，且与成像平面垂直；
(7.2)计算变形图像I中的像素点(x,y)与匹配点(xp,yp)之间的视差Δy：其中T为条纹的周期值，Φ(x,y)为相位展开值，yp为匹配点的y方向坐标值；
(7.3)计算像素点(x,y)对应的深度信息值d(x,y)：其中Δy为视差，f表示为摄像机的焦距，b为摄像机和投影仪之间的基线距离。
基于单帧调制模板的深度信息测量方法
技术领域
[0001] 本发明属于测量技术领域，主要涉及一种深度信息的测量方法，可以应用于工业监控、医学科学、人机交互、虚拟现实、现实增强以及3D打印场景。
背景技术
[0002] 传统的成像仪器采集到的信号仅是空间域上的二维信息，三维场景中的深度信息无法被采集到。随着计算机科学的发展以及人们生活水平的提升，二维信息已经不能满足实际生产生活的需要。如何从场景中快速、高效的获取三维深度信息已经成为当前研究的热点。
[0003] 深度获取是指在三维场景中获取物体的深度信息。目前深度获取的方法主要分为主动式和被动式两种。被动式方法一般基于一幅或多幅图像来获取物体的三维形状信息，如立体视觉法、阴影测量法等，其中应用最广泛的就是立体视觉法，该方法采用多个相机多角度对同一场景进行拍摄，通过多幅图像之间的匹配获取深度信息。主动式方法则是利用光学投射器投射出探测波，经物体反射后捕获至传感器，并利用计算机进行处理，从而获得深度信息，常见的方法有飞行时间法、结构光法、激光扫描法，其中结构光测量方法作为一种非接触式测量方法，该方法由于具有结构实现简单、成本低廉、精度以及实时性较好、抗干扰能力强等特点，获得了广泛的应用。
[0004] 结构光测量方法一般将一幅或多幅具有特定规律的结构光模板投射到测量场景中，利用图像采集设备拍摄待测物体，通过比对投射的模板及采集到的图像，结合三角测距原理计算出物体表面的深度信息。结构光测量方法根据模板的编码方式可以分为时间编码方法以及空间编码方法，其中：
[0005] 空间编码的特点是只投射一幅模板，模板中每个像素点的编码信息可以结合其邻域获取，空间编码适用于动态场景的深度获取，但由于空间编码在解码过程中可能受到邻域信息的丢失、物体表面反射率不一致以及待测物体表面颜色等问题，易造成解码错误导致深度信息计算错误，故空间编码相对于时间编码的分辨率、精度较低。
[0006] 时间编码，常见的有二值编码、n值编码、混合编码等，这些方法具有简单易于实现、空间分辨率高、测量精度高等优点，但其由于需要投射多幅测量模板，测量时间较长，因而仅适用于静态场景的深度测量。
发明内容
[0007] 本发明的目的在于针对上述时间编码技术的不足，提出一种基于单帧调制模板的深度信息测量方法，以缩短测量时间，实现场景深度信息的动态测量。
[0008] 本发明的技术方法是：利用调制技术，将基于余弦编码的模板和De Bruijn序列编码的模板组合为单帧复合模板并进行投射；通过匹配投射模板以及变形的场景图像，结合三角测距原理，获得场景的深度信息，其实现步骤包括如下：
[0009] (1)设计单帧调制模板P：
[0010] (1a)设计基于余弦模板I1和基于De Bruijn序列模板I2；
[0011] (1b)设计频率为fc1的载波模板Ic1和频率为fc2的载波模板Ic2，并根据这两个载波模板Ic1、Ic2和上述余弦模板I1、De Bruijn序列模板I2得到单帧调制模板P：
[0012] P＝I1·Ic1+I2·Ic2；
[0013] (1c)计算单帧调制模板P中各个像素点(x,y)的强度值Ip(x,y)为：
[0014] Ip(x,y)＝I1(x,y)·Ic1(x,y)+I2(x,y)·Ic2(x,y)，
[0015] 其中I1(x,y)、I2(x,y)、Ic1(x,y)、Ic2(x,y)分别为余弦模板I1、De Bruijn序列模板I2以及载波模板Ic1、Ic2的强度值，且I1(x,y)、I2(x,y)中各个像素点强度沿着y方向变化，Ic1(x,y)、Ic2(x,y)中各个像素点强度沿着x方向变化；
[0016] (2)将系统中的投影仪T与摄像机V竖直放置，并使两者光轴平行，用投影仪T将单帧调制模板P投影到目标物体O上；并用摄像机V对该目标物体进行拍摄，获得经过目标物体O调制后的变形图像I；
[0017] (3)将变形图像I传输至计算机C，通过计算机C解调得到解调余弦模板I′1以及解调De Bruijn序列模板I′2；
[0018] (4)用Gabor滤波器计算解调余弦模板I′1中各个像素点(x,y)处的截断相位[0019] (5)根据解调De Bruijn序列模板I′2以及截断相位 求解变形图像I中像素点(x,y)处的相位展开值Φ(x,y)；
[0020] (6)根据变形图像I中像素点(x,y)的相位展开值Φ(x,y)，求取像素点(x,y)在单帧调制模板P中的匹配点(xp,yp)，其中x、y为变形图像I中像素点的行列坐标值，xp、yp为单帧调制模板P中像素点的行列坐标值；
[0021] (7)根据三角测距原理，利用像素点(x,y)与匹配点(xp,yp)的空间几何关系，计算待测物体的深度信息值。
[0022] 本发明与现有技术相比具有以下优点：
[0023] 第一，本发明采用单帧结构光模板，仅需投射一幅模板即可获得场景的深度信息，简化了实现过程，降低了对系统设备的要求；
[0024] 第二，本发明在条纹模板的基础上，结合De Bruijn序列模板进行调制，使得相位解缠绕过程中可以利用De Bruijn序列获取准确的相位周期，提升了解缠绕的准确度，避免了二义性的发生，增加了物体深度信息获取的精度；
[0025] 第三，本发明仅需投射单帧调制模板测量场景深度信息，通过使用GPU加速，可实现场景深度信息的动态测量。
附图说明
[0026] 图1为本发明使用的系统框架图；
[0027] 图2为本发明的实现总流程图；
[0028] 图3为本发明中生成结构光模板的子流程图；
[0029] 图4为本发明中解调单帧调制模板的子流程图。
具体实施方式
[0030] 本发明是对传统结构光方法的改进，不需要增加额外的测量设备和测量步骤，以下参照附图对本发明作进一步详细描述。
[0031] 参照图1，本发明使用的深度信息获取系统包括：待测量的目标物体O、摄像机V、投影仪T和计算机C。投影仪T投射单帧调制模板P到目标物体O上，摄像机V对该目标进行拍摄，得到经过目标物体O调制后的变形图像I。
[0032] 参照图2，本发明基于单帧调制模板的深度信息测量方法，其实现步骤如下：
[0033] 步骤1、设计单帧调制模板P。
[0034] 参照图3，本步骤的具体实现如下：
[0035] (1a)设计基于余弦模板I1和基于De Bruijn序列模板I2；
[0036] (1b)设计频率为fc1的载波模板Ic1和频率为fc2的载波模板Ic2，并根据这两个载波模板Ic1、Ic2和上述余弦模板I1、De Bruijn序列模板I2，得到单帧调制模板P：
[0037] P＝I1·Ic1+I2·Ic2；
[0038] (1c)计算单帧调制模板P中各个像素点(x,y)的强度值为：
[0039] Ip(x,y)＝I1(x,y)·Ic1(x,y)+I2(x,y)·Ic2(x,y)，
[0040] 其中I1(x,y)、I2(x,y)分别为余弦模板I1、De Bruijn序列模板I2的强度值，Ic1(x,y)、Ic2(x,y)分别为载波模板Ic1、Ic2的强度值，且I1(x,y)、I2(x,y)中强度值沿着y方向变化，Ic1(x,y)、Ic2(x,y)中强度值沿着x方向变化。
[0041] 步骤2、获取变形图像I。
[0042] 将系统中的投影仪T与摄像机V竖直放置，并使两者光轴平行，用投影仪T将所述的单帧复合模板P投影到目标物体O上；并用摄像机V对该目标物体进行拍摄，获得经过目标物体O调制后的变形图像I。
[0043] 步骤3、将变形图像I传输至计算机C，通过计算机C解调得到解调余弦模板I′1以及解调De Bruijn序列模板I′2。
[0044] 参照图4，本步骤的具体实现方式如下：
[0045] (3a)对获取的变形图像I进行带通滤波，提取出携带余弦模板的调制图像 其在像素点(x,y)处的强度值
[0046]
[0047] 其中I′1(x,y)为余弦模板的强度值， 为受到场景干扰的载波频率；
[0048] (3b)对上述(3a)的结果进行平方运算，得到各个像素点(x,y)上的强度值为：
[0049]
[0050] (3c)对(3b)的结果进行低通滤波后再进行开方运算，从变形图像I中得到解调余弦模板I′1；
[0051] (3d)对变形图像I进行带通滤波，提取出携带De Bruijn序列模板的调制图像其在像素点(x,y)处的强度值
[0052]
[0053] 其中I′2(x,y)为De Bruijn序列模板的强度值， 为受到场景干扰的载波频率；
[0054] (3e)对上述(3d)结果进行平方运算，得到各个像素点(x,y)上的强度值为：
[0055]
[0056] (3f)对(3e)的结果进行低通滤波后再进行开方运算，从变形图像I中得到解调De Bruijn序列模板I′2。
[0057] 步骤4、用Gabor滤波器计算解调余弦模板I′1中各个像素点(x,y)处的截断相位[0058] (4a)将解调余弦模板I′1与高斯核进行卷积，得到卷积结果z(x,y)：
[0059] z(x,y)＝I′1(x,y)*g(x,y,λ)，
[0060] 其中，*代表卷积符号，g(x,y,λ)为高斯核，λ为高斯滤波器的波长，I′1(x,y)为解调余弦模板I′1的强度值；
[0061] (4b)根据卷积结果z(x,y)，计算截断相位
[0062]
[0063] 其中，Im(z(x,y))为z(x,y)的复数部分，Re(z(x,y))为z(x,y)的实数部分，计算获得的截断相位被限制在[-π,π)中。
[0064] 步骤5、根据解调De Bruijn序列模板I′2以及截断相位 求解变形图像I中像素点(x,y)处的相位展开值Φ(x,y)。
[0065] (5a)对解调余弦模板I′1进行连续区域划分：
[0066] 定义划分区域函数
[0067]
[0068] 其中 任一像素点的截断相位值， 为该像素点第i个方向邻域上的截断相位值，其中i＝1,2,…,8，
[0069] 定义τ1为第一邻域门限，τ2为第二邻域门限，
[0070] 将满足如下条件的像素点及其邻域划分为同一区域：
[0071]
[0072] 其中 为第n个方向邻域上的截断相位值，n＝3,7； 为第m个邻域上的截断相位值,m＝1,2,4,5,6,8；
[0073] (5b)在连续区域划分的基础上，对解调De Bruijn序列模板I′2进行周期划分，求解出解调De Bruijn序列模板码值，获得截断相位周期n；
[0074] (5c)计算变形图像I中像素点(x,y)的相位展开值Φ(x,y)：
[0075]
[0076] 其中 为像素点(x,y)的截断相位值，n为截断相位周期。
[0077] 步骤6、根据变形图像I中像素点(x,y)的相位展开值Φ(x,y)，求取像素点(x,y)在单帧调制模板P中的匹配点(xp,yp)，其中x、y为变形图像I中像素点的行列坐标值，xp、yp为单帧调制模板P中像素点的行列坐标值。
[0078] 步骤7、根据三角测距原理，利用像素点(x,y)与匹配点(xp,yp)的空间几何关系，计算待测物体的深度信息值。
[0079] (7a)以摄像机V的光心为原点建立世界坐标系，其中世界坐标系的x轴沿摄像机V成像平面的水平方向，世界坐标系的y轴沿着摄像机V成像平面的竖直方向，世界坐标系的z轴沿着摄像机V的光轴方向，且与成像平面垂直；
[0080] (7b)计算变形图像I中的像素点(x,y)与匹配点(xp,yp)之间的视差Δy：
[0081]
[0082] 其中T为条纹的周期值，Φ(x,y)为相位展开值，yp为匹配点的y方向坐标值；
[0083] (7c)计算像素点(x,y)对应的深度信息值d(x,y)：
[0084]
[0085] 其中Δy为视差，f表示为摄像机的焦距，b为摄像机和投影仪之间的基线距离。
[0086] 以上描述仅是本发明的一个具体事例，并不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
