一种基于调制光强的光编码深度相机系统的无干扰深度提取方法

摘要

本发明公开了一种基于调制光强的光编码深度相机系统的无干扰深度提取方法。所述方法首先选取调制信号；然后依据调制信号生成光强幅值向量；再采集散斑图案；并对采集到的散斑图案进行解调，获得无干扰散斑图案；最后对获得的无干扰散斑图案进行深度提取。本发明提供的方法实现了基于调制光强的无干扰的光编码深度相机系统场景深度的提取，所述方法采用的调制光强方式可支持不同数量的相机同时工作，适应多种应用情况；所述方法具有好的扩展性，增减系统内深度相机数量时不会对其他相机造成影响，适应性好；系统内各相机统一由无干扰的光编码深度相机系统调度设备调配，相机间无需通信，降低了相机的成本。

权利要求

1.一种基于调制光强的光编码深度相机系统的无干扰深度提取方法，其特征在于：包括如下步骤：步骤一，选取调制信号，包括两个步骤：

首先，根据相机个数生成满秩矩阵A，然后将满秩矩阵A进行最大元素归一化，获得矩阵B，矩阵B为满秩矩阵，也称为比例幅值矩阵，对比例幅值矩阵按行进行分割获得比例幅度向量，称为调制信号；满秩矩阵A为n阶方阵，其阶数与相机总数相同，满秩矩阵A为单位阵E通过单独采用初等行变换或初等列变换得到，或同时采用两种初等变换得到；

步骤二，依据调制信号生成光强幅值向量，红外激光投射器的发射功率按照光强幅值向量中元素变化；所述的光强幅值向量C，如下：C＝Imax×β，

Imax为红外激光投射器的发射额定功率，β为比例幅度向量；

步骤三，采集散斑图案；

步骤四，对采集到的散斑图案进行解调，获得无干扰散斑图案；所述的解调采用加权和的方式，如下：根据当前所选择的比例幅值矩阵，调度系统同时将对应的解调权值表传送给每个相机，相机根据解调权值表，对应的权值向量元素与获得的对应散斑图案帧做加权和，即获得相应的无干扰散斑图案；解调时采用解调窗进行解调，解调窗长度为系统内相机总数，以当前解调帧为中心，将解调窗内的灰度图像序列根据其对应权值向量中的权值求加权和，即获得当前解调帧的解调结果，加权和的求法如下，对于获得的第i帧红外灰度图像，其灰度值用矩阵Pi表示，对应权值为ai，则第L帧到第M帧的加权和R为：当需对第m帧进行解调时，解调窗选择 至 即有解调结

果为：

Rm为无干扰散斑图案灰度矩阵；

步骤五，对获得的无干扰散斑图案进行深度提取。

2.根据权利要求1所述的一种基于调制光强的光编码深度相机系统的无干扰深度提取方法，其特征在于：步骤二中所述红外激光投射器的光强按循环变化，即对于光强幅值向量中元素个数为n的情况，第1至n帧的光强按光强幅值向量中1至n元素进行发射，第n+1至2n帧的光强同样按光强幅值向量中1至n元素进行发射，依次类推。

3.根据权利要求1所述的一种基于调制光强的光编码深度相机系统的无干扰深度提取方法，其特征在于：所述解调权值表矩阵通过求逆计算获得，比例幅值矩阵为满秩矩阵，则其逆矩阵，称为权值矩阵；将权值矩阵按行划分为n个向量，每个向量作为一个权值向量传送至相机，对权值向量中元素个数为n的情况，第1至n帧对应权值向量中1至n元素，第n+1至2n帧同样对应权值向量中1至n元素，依次类推。

说明书

一种基于调制光强的光编码深度相机系统的无干扰深度提

取方法

技术领域

[0001] 本发明属于多视点立体视频中多深度相机复杂场景多视点采样与重建领域，特别涉及多光编码深度相机间的干扰消除。

背景技术

[0002] 视觉系统感知是人类从外部获取信息的重要方式，有研究表明，个体学习的信息有80%来自于视觉系统。人类的空间视觉具有将外部世界的二维投射重构为三维世界的能力，以使人们在观察事物时能产生立体感，获得很好的视觉体验与临场感。随着数字电视技术和显示技术的不断发展，观众已经不满足于追求观看单一视点的平面高清晰度电视，从多角度身临其境地观看某个场景下的立体视频图像逐渐成为观众的追求。立体图像中包含三维世界的信息，使观众能够产生身临其境的感觉和逼真的视觉体验，同时立体图像技术在科研、军事、教育、工业、医疗等诸多领域的应用也越来越广泛，已经取得了丰硕的成果。与平面图像相比，立体图像的产生需要结合人类对于立体信息的感知特性，立体效果与人的主观感受情况密切相关，而立体视觉感是人类生理和心理多重因素共同作用的结果。这使得立体图像的研究比平面图像更为复杂。

[0003] 在立体视觉感知中，立体成像技术利用人们的双目视差形成立体感。双目视差是指由于人的双眼的空间位置不同(成人的双眼瞳孔距离大约为65mm)。观察物体时由于双眼位置差，两只眼睛观察的角度不同，这样在左右眼形成的平面图像上，距离不同的点其位置并不相同，观察的角度也不完全相同，人的大脑对双眼获得的不同图像进行分析，获得场景中物体的距离，产生立体感，这就是双眼视差。立体成像技术中应用双眼视差原理，将同一场景不同角度的图像送入双眼，大脑将这两张二维图像合成为单一的三维图像，使人产生立体感。

[0004] 采用多深度相机的多视点系统有诸多优势：

[0005] （1）利用多深度相机可以在提供细致景深的同时减少纹理相机数量；

[0006] （2）相对于单深度相机，多深度相机能有效避免遮挡场景的问题，提高场景重建质量；

[0007] （3）深度图相对于纹理图具有更高的可压缩性，经压缩后，可有效降低码率，更易于数据的存储与传输；

[0008] （4）多深度图易于实现任意视角重建，便于用户自由切换视角；

[0009] （5）多深度相机获取的深度信息可用于增强现实和自然用户界面等复杂场景，更有利于增强系统的立体感和交互性。

[0010] 目前光编码深度相机系统由一组分立的深度相机阵列组成，如图1所示即为光编码深度相机系统的系统示意图，多光编码相机同时对场景进行深度采样，获得场景深度值。

[0011] 然而由于以Kinect为代表的光编码深度相机发出的红外散斑图像不具备可分性，在多深度相机同时工作时，由于场景中不同相机发射的散斑在空间内重叠，接收图像进行深度匹配时无法区分接收信号，故本相机接收到的散斑图案会收到其他深度相机信号干扰。

发明内容

[0012] 本发明的目的在于消除多个光编码深度相机（简称相机）系统内相机间干扰，可以在多相机同时工作的情况下，分别获得各相机无干扰的散斑图案，进而获得准确的深度信息。

[0013] 本发明提出了一种基于调制光强的光编码深度相机系统的无干扰深度提取方法，包括如下步骤：

[0014] 步骤一，选取调制信号；

[0015] 步骤二，依据调制信号生成光强幅值向量；

[0016] 步骤三，采集散斑图案；

[0017] 步骤四，对采集到的散斑图案进行解调，获得无干扰散斑图案；

[0018] 步骤五，对获得的无干扰散斑图案进行深度提取。

[0019] 本发明的有益效果如下：

[0020] （1）本发明提供的方法实现了基于调制光强的无干扰的光编码深度相机系统场景深度的提取，所述方法采用的调制光强方式可支持不同数量的相机同时工作，适应多种应用情况；

[0021] （2）所述方法具有好的扩展性，增减系统内深度相机数量时不会对其他相机造成影响，适应性好；

[0022] （3）系统内各相机统一由无干扰的光编码深度相机系统调度设备调配，相机间无需通信，降低了相机的成本。

附图说明

[0023] 图1为本发明中光编码深度相机系统示意图；

[0024] 图2为本发明的基于调制光强的光编码深度相机系统的无干扰深度提取方法的原理框图；

[0025] 图3本发明的基于调制光强的光编码深度相机系统的无干扰深度提取方法中比例幅度向量的划分方式及向量元素与相机帧号间关系示意图；

[0026] 图4为本发明的一种基于调制光强的无干扰的光编码深度相机系统解调过程中解调窗示意图；

[0027] 图5A为相机的摄像头采集的第一帧散斑图案示意图；

[0028] 图5B为相机的摄像头采集的第二帧散斑图案示意图；

[0029] 图6为图5A和图5B对应解调制后无干扰散斑图案。

具体实施方式

[0030] 下面结合附图和实施例对本发明进行详细说明。

[0031] 如图1和图2所示，本发明提供一种基于调制光强的光编码深度相机系统的无干扰深度提取方法，所述深度提取方法中，光编码深度相机（后文均简称为相机）的红外激光投射器的幅度依比例幅度向量变化，以实现光强调制；其后，采集相机的摄像头拍摄的有干扰深度的散斑图案，并对接收到的散斑图案进行解调，得到无干扰深度的散斑图案。其中比例幅度向量由可由满秩矩阵生成，而解调则采用获得的多帧散斑图案进行加权求和的方式进行。所述深度提取方法具体通过如下步骤实现：

[0032] 步骤一，选取调制信号：

[0033] 对于光编码深度相机系统内的各个光编码深度相机，首先需要与调度系统相连接，两者之间的连接可以采用无线或有线方式。调度系统负责协调所有光编码深度相机（下文中均简称为相机），并向各相机提供调制光强所需的相关参数，包括强度、周期、相位等。

[0034] 所述相机包括红外激光投射器和摄像头两部分，如图2所示，红外激光投射器根据调度系统提供的调制信号对场景进行投射，摄像头按帧接收场景的散斑图案，并对多帧散斑图案进行解调，解调向量有调度系统提供，最后得到无干扰散斑图案。

[0035] 所述的调度系统可采用FPGA+ROM结构，ROM负责存储不同相机的光强幅值向量，FPGA负责将不同的光强幅值向量传送至各相机的投影机并提供投影机的同步信号。同步信号可采用下降沿触发。

[0036] 选取合适的调制信号包括两个步骤：首先，根据相机个数生成满秩矩阵，然后将满秩矩阵按行进行分割获得比例幅度向量。

[0037] （1）生成满秩矩阵，并确定比例幅值矩阵；

[0038] 为了保证能够对全部光编码深度相机进行解调，必须使权值向量生成满秩矩阵。生成的满秩矩阵应为n阶方阵，其阶数与相机总数相同。

[0039] 满秩矩阵可以对单位阵进行初等行（列）变换进行生成，初等行（列）变换包括如下三种变换：

[0040] 换法变换：交换两行（列）。

[0041] 倍法变换：将行列式的某一行（列）的所有元素同乘以数k。

[0042] 消法变换：把行列式的某一行（列）的所有元素乘以一个数k并加到另一行（列）的对应元素上。

[0043] 特别的，为了使光强为正值，本发明中采用的倍法变换与消法变换中的倍数k均选取正数。在生成过程中，可以单独采用初等行变换或初等列变换，也可同时采用两种初等变换。如公式（1）：

[0044]

[0045] 公式（1）中，矩阵A为单位阵E通过初等行(列)变换产生，为满秩矩阵。为了计算简便，对矩阵A进行最大元素归一化，获得矩阵B，矩阵B亦为满秩矩阵。

[0046] （2）比例幅值矩阵按行划分；

[0047] 将生成的矩阵B称为“比例幅值矩阵”。将比例幅值矩阵按行划分为n个向量，如图3，即每行对应一个向量，作为各相机的红外激光投射器的比例幅度向量，留待步骤二中以生成光强幅值向量。所述的比例幅度向量也称为调制信号。

[0048] 步骤二，依据比例幅度向量生成光强幅值向量；

[0049] 在本发明涉及的光编码深度相机系统中，各相机相互之间无通信，仅与调度系统相连接，相机之间不能获得其他相机的调制信息。故需要调度系统依据各个相机的比例幅度向量，计算出实际红外激光强度，得到光强幅值向量，再将每一帧图像的光强幅值向量分别传送给对应的相机，相机依据光强幅值向量改变红外激光投射器的发射光强。同时，调度系统提供帧同步信号，各相机根据帧同步信号，由红外激光投射器向场景投射光强并进行拍摄。

[0050] 由于比例幅度向量仅表示相机各帧的红外激光强度间的相对比例，而非真实值，故而依据比例幅度向量计算出各帧的实际红外激光强度，即光强幅值向量C，如公式（1）。

[0051] 拍摄过程中，各个相机的红外激光投射器投射的光强按照帧号选定对应的幅值比。即若红外激光投射器的发射额定功率为Imax，则比例幅度向量中大小为a的元素对应的光强幅值向量中的元素大小为：Imax×a。以向量表示，若光强幅值向量为C，比例幅度向量为β，则有：

[0052] C＝Imax×β

[0053] 光编码深度相机获得光强幅值向量C后，红外激光投射器的发射功率按照光强幅值向量中元素变化。光强按循环变化，即对于光强幅值向量中元素个数为n（系统中存在n个深度相机）的情况，第1至n帧的光强按光强幅值向量中1至n元素进行发射，第n+1至2n帧的光强同样按光强幅值向量中1至n元素进行发射，依次类推，如图3所示，即为本发明的调制光强的光编码深度相机系统的无干扰深度提取方法中光强幅值向量的划分方式及元素与相机帧号间关系。

[0054] 步骤三，采集散斑图案；

[0055] 深度相机根据调度系统提供的帧同步信号进行散斑图案的采集，并将散斑图案进行储存，留待下一步中进行解调。

[0056] 步骤四，对采集到的散斑图案进行解调，获得无干扰散斑图案；

[0057] 依据步骤三，光编码深度相机可获得一系列散斑图案。相机依据获得的这一系列散斑图案按帧进行解调，解调采用加权和的方式，如下：

[0058] 根据当前所选择的比例幅值矩阵，调度系统同时将对应的解调权值表传送给每个相机，相机根据解调权值表，即可进行解调。

[0059] 所述解调权值表可通过简单的矩阵求逆计算获得，依据步骤一，比例幅值矩阵为满秩矩阵，则其必存在逆矩阵，称其为权值矩阵。

[0060] 将权值矩阵按行划分为n个向量，作为权值向量传送至深度相机，权值向量元素与散斑图案帧之间的对应方式与光强幅值向量及拍摄帧的对应方式类似：对权值向量中元素个数为n（系统中存在n个深度相机）的情况，第1至n帧对应权值向量中1至n元素，第n+1至2n帧同样对应权值向量中1至n元素，依次类推，可参见图3。采用对应的权值向量元素与获得的对应散斑图案帧做加权和，即可获得相应的无干扰散斑图案。

[0061] 解调时采用解调窗进行解调，解调窗长度为系统内相机总数，以当前解调帧为中心，将解调窗内的灰度图像序列根据其对应权值向量中的权值求加权和，即可获得当前解调帧的解调结果，如图4。加权和的求法如下，对于获得的第i帧红外灰度图像，其灰度值可用矩阵Pi表示，对应权值为ai，则第L帧到第M帧的加权和R为：

[0062]

[0063] 当需对第m帧进行解调时，解调窗选择 至 ，即有解调结果为：

[0064]

[0065] Rm为无干扰散斑图案灰度矩阵。

[0066] 步骤五，对获得的无干扰散斑图案进行深度提取；

[0067] 解调完成后，采用区域匹配的方式进行深度提取。每个深度相机可单独完成深度提取工作。

[0068] 在提取的过程中，对将拍摄到的散斑图案的某个像素，取其一个固定大小的邻域，与发射的散斑图案中大小相同的区域进行互相关函数的计算，求出对应互相关函数最大值对应的发射散斑图案的中心位置，根据参考散斑图案中心位置及待匹配的像素的位置即可获得深度值。

[0069] 实施例

[0070] 以下将结合附图，对本发明的一个实施例进行进一步详细说明，该实施例中，系统内光编码深度相机的总数为3，采用本发明提供的无干扰深度提取方法对系统内相机的散斑图案进行深度提取，具体步骤如下：

[0071] 步骤一，选取合适的调制信号：

[0072] 光编码深度相机必须与整个无干扰的光编码深度相机系统相连接后才能正确获得所需的调制信息，调度系统探知系统内存在三个光编码深度相机。

[0073] 根据实施方式步骤一选取合适的调制信号包括两个步骤：首先，根据系统内光编码深度相机个数生成满秩矩阵，然后将满秩矩阵按行进行分割获得权值向量。

[0074] （1）生成满秩矩阵

[0075] 为了简便，选取如下矩阵为权值向量的生成矩阵，即幅值矩阵。

[0076]

[0077] （2）满秩矩阵按行划分

[0078] 将生成的矩阵按行进行划分，获得3个幅度比例幅度向量：

[0079] (2,1,1)，(1,2,1)，(1,1,2)

[0080] 选择第一个比例幅度向量传送至相机1。

[0081] 步骤二，依据比例幅度向量生成光强幅值向量并传送：

[0082] 假定红外激光投射器投射激光功率为额定60mw，则根据投射的光强选定原则，幅值矩阵中最大元素为2，则有，其光强幅值向量为(60,30,30)，即有相机1的红外激光投射器投射激光功率依照60mw、30mw、30mw循环变化。

[0083] 拍摄过程中，各个相机红外激光投射器投射的光强按照帧号选定对应的光强幅值。

[0084] 步骤三，采集散斑图案：

[0085] 深度相机根据系统调度设备提供的同步信号进行散斑图案的采集，并将散斑图案进行储存，留待下一步中进行解调。

[0086] 步骤四，对采集到的信号散斑图案进行解调，获得无干扰散斑图案：

[0087] 依据步骤二，光编码深度相机可获得一系列散斑图案。深度相机依据获得的这一系列散斑图案帧进行解干扰。解调方式如下，以步骤一所示情况为例：

[0088] 根据当前所选择的权值向量，系统调度设备同时将对应的解调权值表传送给每个深度相机，深度相机根据权值表，即可进行解调。

[0089] 权值表的计算，权值表可通过简单的矩阵求逆计算获得，由于幅值矩阵为满秩阵，其必有逆矩阵，根据步骤一所示：

[0090] 幅值矩阵为：

[0091]

[0092] 其逆矩阵为：

[0093]

[0094] 将该矩阵按行分块即可获得权值向量：

[0095] α1＝(a11,a12,a13)

[0096] α2＝(a21,a22,a23)

[0097] α3＝(a31,a32,a33)

[0098] 其中，α1,α2,α3分别为相机1、相机2和相机3的解调权值向量。对于相机1获得的多帧图像，可利用其对应的权值向量α1进行解调：

[0099] 现将相机1的各帧图像的灰度值与本帧图像对应的权值相乘，可获得带权值的灰度图像序列。其中第1、4、7…帧对应权值为a11，其中第2、5、8…帧对应权值为a12，其中第3、6、9…帧对应权值为a13，以此类推。

[0100] 解调时采用解调窗进行解调，解调窗长度为3，以当前解调帧为中心，如图3所示，将解调窗内的带权值的灰度图像序列相加，即可获得当前解调帧的解调结果。

[0101] 即有：

[0102] R9＝P8×a12+P9×a13+P10×a11

[0103] 图5为相机数为2时某相机采集到的两帧散斑图案，图6为其对应的解调图案。

[0104] 步骤五，对获得的无干扰散斑图案进行深度提取：

[0105] 解调完成后，采用区域匹配的方式进行深度提取。每个深度相机可单独完成深度提取工作。在提取的过程中，对将拍摄到的散斑图案的某个像素，取其一个固定大小的邻域，与发射的散斑图案中大小相同的区域进行互相关函数的计算，求出对应互相关函数最大值对应的发射散斑图案的中心位置，根据参考散斑图案中心位置及待匹配的像素的位置即可获得深度值。