一种单目摄像机获取深度图的方法

摘要

本发明公开了一种单目摄像机获取深度图的方法，所述方法包括：步骤1：对摄像机镜头进行改装：将R、G、B三种颜色的滤光片分别贴合在摄像机镜头内表面；步骤2：利用改装后的摄像机镜头获得图像，并对图像进行数值计算L；步骤3：基于计算出的数值L获得图像深度图，实现了易于取得图像深度信息，成本较低的技术效果。

权利要求

1.一种单目摄像机获取深度图的方法，其特征在于，所述方法包括：步骤1：对摄像机镜头进行改装：将R、G、B三种颜色的滤光片分别贴合在摄像机镜头内表面；

步骤2：利用改装后的摄像机镜头获得图像，并对图像进行数值计算L，L为沿主轴方向颜色分布的方差的乘积；

步骤3：基于计算出的最优L获得图像深度图；

其中，λ0λ1λ2为窗口内图像的协方差矩阵的特征值， 为协方差矩阵的对角元素。

2.根据权利要求1所述的单目摄像机获取深度图的方法，其特征在于，R滤光片、G滤光片、B滤光片均为正方形滤光片，R滤光片、G滤光片、B滤光片尺寸相同，且滤光片对角线长度等于摄像机镜头的半径。

3.根据权利要求2所述的单目摄像机获取深度图的方法，其特征在于，R滤光片、G滤光片、B滤光片的对角线的一端均与镜头的中心重合，且其中一个滤光片的2个侧边分别与另外2个滤光片的侧边贴合。

4.根据权利要求1所述的单目摄像机获取深度图的方法，其特征在于，所述步骤2具体包括：首先，输入图像；然后，定义d的变化范围，d为窗口w(x,y)内某一个像素到最优结果像素的距离，即偏移量；然后，在预设范围内不断更新d，基于构造的图像向量计算L；然后，判断L是否为最小值，若L为最小值，则判断d是否超出预设范围，若超出预设范围则输出d，若没有超出预设范围，则继续在预设范围内更新d计算L；若L不是最小值，则继续在预设范围内更新d计算L。

5.根据权利要求4所述的单目摄像机获取深度图的方法，其特征在于，图像向量为：SI(x，y；d)SI(x，y；d)＝{Ir(s+d，t)，Ib(s，t-d)，Ig(s-d，t)} (1)其中，Ir，Ib，Ig分别为rbg图像的R，G，B通道的值，其中s，t为通道中的坐标值，(s，t)属于w(x，y)；

其中，λ0λ1λ2为窗口内图像的协方差矩阵的特征值， 为协方差矩阵的对角元素。

6.根据权利要求4所述的单目摄像机获取深度图的方法，其特征在于，所述方法具体包括：首先，选择窗口内的像素，构造图像向量：

SnI(x，y；d)＝{Inr(s+d，t)，Inb(s，t-d)，Ing(s-d，t)}  (3)其中，n属于N，n为当前处理窗口的序列号；

计算SI的协方差矩阵cov，cov为协方差矩阵，c为协方差的元素值：其中， Cij为协方差i行j列

的元素值，Mi为Sni的第i列的期望值；

让d在一定范围(a,b)内变化，逐次计算L，找出L最小时对应的d，得到像素间相对深度图；

对摄像机进行标定，计算出最近对焦距离，利用最近对焦距离将相对深度图转换成深度图。

说明书

一种单目摄像机获取深度图的方法

技术领域

[0001] 本发明涉及图像处理领域，具体地，涉及一种单目摄像机获取深度图的方法。

背景技术

[0002] 获取场景中个点对于摄像机的距离是计算机视觉的重要任务之一。场景中个点对于摄像机的距离可以用深度图(Depth Map)来表示，即深度图中的每一个像素表示场景中某一点与摄像机之间的距离。获取深度图的方法有很多，如可以基于激光，超声波，摄像头等传感器来获得深度图。其中基于摄像头来获得深度图是当今计算机视觉的重点研究项目。基于摄像头来获取深度图的方法，大致可以分2种：通过单目摄像头获得深度图，通过双目(多目)摄像头来获得深度图。其中后者的研究已经非常成熟，如微软的kinect等。

[0003] 另一方面，普通的基于单目摄像头的技术实际上是获取一定时间段内的多帧图像，然后计算各帧的特征点，然后做匹配，最后再计算深度信息。在特征点的计算和匹配过程中，现有的算法会产生很多误差。这些误差会对后续的深度图计算产生很大的影响，导致结果很不理想。基于单目摄像头的技术由于精度，技术难度等问题，一直没能实用化。

[0004] 综上所述，本申请发明人在实现本申请发明技术方案的过程中，发现上述技术至少存在如下技术问题：

[0005] 在现有技术中，现有的单目摄像头获得深度图的方式存在实现难度大，成本较高，误差较大的技术问题。

发明内容

[0006] 本发明提供了一种单目摄像机获取深度图的方法，解决了现有的单目摄像头获得深度图的方式存在实现难度大，成本较高，误差较大的技术问题，实现了易于取得图像深度信息，成本较低，精度较高的技术效果。

[0007] 为解决上述技术问题，本申请提供了一种单目摄像机获取深度图的方法，所述方法包括：

[0008] 步骤1：对摄像机镜头进行改装：将R、G、B三种颜色的滤光片分别贴合在摄像机镜头内表面；

[0009] 步骤2：利用改装后的摄像机镜头获得图像，并对图像进行数值计算L，L为沿主轴方向颜色分布的方差的乘积；

[0010] 步骤3：基于计算出的数值L获得图像深度图。

[0011] 数值计算过程根据不同颜色光的波长通过镜头和滤光片会产生不同的偏移的原理，按照偏移量计算出各个像素点的相对镜头的距离。

[0012] 进一步的，R滤光片、G滤光片、B滤光片均为正方形滤光片，R滤光片、G滤光片、B滤光片尺寸相同，且滤光片对角线长度等于摄像机镜头的半径。

[0013] 其中，R滤光片、G滤光片、B滤光片的对角线的一端均与镜头的中心重合，且其中一个滤光片的2个侧边分别与另外2个滤光片的侧边贴合。正方形滤光片的对角线长度为镜头半径长度，各个滤光片的其中一个脚要在镜头圆心上，贴合时各滤光片不能重合且应该严密的贴合(膜与镜头之间不能有气泡，灰尘等)，否则会产生误差，影响最终计算结果。此外，R，G，B三个滤光片的排列顺序任意。

[0014] 进一步的，所述步骤2具体包括：

[0015] 首先，输入图像；然后，定义d的变化范围，d为窗口w(x,y)内某一个像素到镜头的距离；然后，在预设范围内不断更新d，基于构造的图像向量计算L；然后，判断L是否为最小值，若L为最小值，则判断d是否超出预设范围，若超出预设范围则输出d，若没有超出预设范围，则继续在预设范围内更新d计算L；若L不是最小值，则继续在预设范围内更新d计算L。

[0016] 进一步的，图像向量为：SI(x,y；d)

[0017] SI(x,y；d)＝{Ir(S+d,t),Ib(S,t-d),Ig(s-d,t)}  (1)

[0018] 其中，Ir，Ib，Ig分别为rbg图像的R，G，B通道的值，其中s，t为通道中的坐标值，(s,t)属于w(x,y)；

[0019]

[0020] 其中，λ0λ1λ2为窗口内图像的协方差矩阵的特征值， 为协方差矩阵的对角元素。

[0021] 进一步的，所述方法具体包括：

[0022] 首先，选择窗口内的像素，构造图像向量：

[0023] (SnI(x，y；d)＝{Inr(s+d，t)，Inb(s，t-d)，Ing(s-d，t)}3)

[0024] 其中，n属于N；

[0025] 计算SI的协方差矩阵cov：

[0026]

[0027] 其中， 让d在一定范围(a,b)内变化，a，b为偏移量的范围，a<＝d<＝b，逐次计算L，找出L最小时对应的d，得到像素间相对深度图；

[0028] 对摄像机进行标定，计算出最近对焦距离，利用最近对焦距离将相对深度图转换成深度图。

[0029] 本申请提供的一个或多个技术方案，至少具有如下技术效果或优点：

[0030] 本发明提出一种使用一般的单目RGB摄像头取得深度信息的方法，使用本方法来取得深度信息，本方法只需一台普通的RGB摄像机或者摄像头，加以简单的改装即可，并且，对摄像机的像素，帧率等没有特别的要求，可以节约设备成本，减小设备体积，从而减小产品的成本；

[0031] 进一步的，目前最大的瓶颈为特征点的计算和多张图片之间的特征点匹配，这个环节最容易产生误差，本方法不涉及特征点的计算和匹配，绕过了此类技术最薄弱的环节，可以有效的提高精度，提高产品质量，而且因为设备体积的减小，可以让产品的外形设计空间更大，综合的提高产品的竞争力，本发明利用简单的改装和简便的数学运算，从单张单目摄像头拍摄的图片中获取深度信息，大大减小了传统技术的复杂性，具有简便，高效的特点，此外，本发明对摄像头的要求不高，使得发明具有很强的产品化潜质。

附图说明

[0032] 此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定；

[0033] 图1是本申请中滤光片的贴合示意图；

[0034] 图2是本申请中单目摄像机获取深度图的方法的原理示意图；

[0035] 图3是本申请中单目摄像机获取深度图的方法的流程示意图。

具体实施方式

[0036] 本发明提供了一种单目摄像机获取深度图的方法，解决了现有的单目摄像头获得深度图的方式存在实现难度大，成本较高，误差较大的技术问题，实现了易于取得图像深度信息，成本较低，精度较高的技术效果。

[0037] 为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

[0038] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

[0039] 本发明通过改装普通的摄像机镜头，拍摄照片，经过计算，实现单目摄像机获取深度的方法。发明分为两部分：硬件改装部分和数值计算部分。

[0040] 硬件改装

[0041] 摄像头可以为任何的RGB摄像头，高价位，低价位的摄像头都可以。

[0042] R，G，B三种颜色的正方形滤光片，对角线长度为镜头的半径。并按照图一的配置，将滤光片贴在镜头的内部(镜头的内表面面)。

[0043] 数值计算

[0044] 数值计算过程根据不同颜色光的波长通过镜头和滤光片会产生不同的偏移的原理(图2)，按照偏移量计算出各个像素点的相对镜头的距离。

[0045] 假设窗口w(x,y)内某一个像素到镜头的距离为d，构造项量

[0046] SI(x，y；d)＝{Ir(s+d，t)，Ib(s，t-d)，Ig(s-d，t)}

[0047] 其中，Ir，Ib，Ig分别为rbg图像的R，G，B通道的值，其中s，t为通道中的坐标值，(s,t)属于w(x,y)。

[0048] 然后寻找最适的d，根据自然光的color Line原理，使得

[0049]

[0050] 的L值最小。其中λ0λ1λ2为窗口内图像的协方差矩阵的特征值， 为协方差矩阵的对角元素。

[0051] 数值计算部分将用改装过的镜头拍摄的单张照片，按照以下步骤计算出深度图。

[0052] 选择窗口内的像素，比如窗口大小为7*7，N＝7*7，构造图像向量

[0053] SnI(x，y；d)＝{Inr(s+d，t)，Inb(s，t-d)，Ing(s-d，t)}

[0054] 其中，n属于N；

[0055] 计算SI的协方差矩阵cov，cov为协方差矩阵，c为协方差的元素值。脚标数字为行数，列数，如11为第一行，第一列。

[0056]

[0057] 其中， 让d在一定范围(a,b)内变化，逐次计算L，找出L最小时候的所对应的d，这里的d就是像素点之间的相对距离，从而可以得到像素间相对深度图。

[0058] 对摄像机进行标定，可以计算出最近对焦距离。利用最近对焦距离可以将相对深度图转换成深度图(相对深度图中d＝0的范围的真实深度为最近对焦距离减去像距)。

[0059] 上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：

[0060] 本发明提出一种使用一般的单目RGB摄像头取得深度信息的方法，使用本方法来取得深度信息，本方法只需一台普通的RGB摄像机或者摄像头，加以简单的改装即可，并且，对摄像机的像素，帧率等没有特别的要求，可以节约设备成本，减小设备体积，从而减小产品的成本；

[0061] 进一步的，目前最大的瓶颈为特征点的计算和多张图片之间的特征点匹配，这个环节最容易产生误差，本方法不涉及特征点的计算和匹配，绕过了此类技术最薄弱的环节，可以有效的提高精度，提高产品质量，而且因为设备体积的减小，可以让产品的外形设计空间更大，综合的提高产品的竞争力，本发明利用简单的改装和简便的数学运算，从单张单目摄像头拍摄的图片中获取深度信息，大大减小了传统技术的复杂性，具有简便，高效的特点，此外，本发明对摄像头的要求不高，使得发明具有很强的产品化潜质。

[0062] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

[0063] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。