获取三维场景的深度图的设备

摘要

本发明涉及一种获取三维场景的深度图的设备，包括红外投影器、第一摄像机、第二摄像机以及红外补光光源，该第一摄像机配置为接收红外光，该第二摄像机配置为接收彩色可见光，该第一摄像机和该第二摄像机之间具有符合双目视觉的距离，其中该红外投影器配置为在第一模式下投射结构光，在第二模式下不投射结构光，该红外补光光源配置为在第二模式下选择性地投射补充光源。

权利要求

1.一种获取三维场景的深度图的设备，包括红外投影器、第一摄像机、第二摄像机以及红外补光光源，该第一摄像机配置为接收红外光，该第二摄像机配置为接收彩色可见光，该第一摄像机和该第二摄像机之间具有符合双目视觉的距离，其中该红外投影器配置为在第一模式下投射结构光，在第二模式下不投射结构光，该红外补光光源配置为在第二模式下选择性地投射补充光源；其中，该第一模式为无红外干扰模式，该第二模式为有红外干扰模式。

2.如权利要求1所述的获取三维场景的深度图的设备，其特征在于，该第二摄像机还配置为接收红外光。

3.如权利要求1所述的获取三维场景的深度图的设备，其特征在于，该第一摄像机配置为在该第一模式和该第二模式下工作，该第二摄像机配置为在该第二模式下工作。

4.如权利要求2所述的获取三维场景的深度图的设备，其特征在于，该第一摄像机配置为在该第一模式和该第二模式下工作，该第二摄像机配置为在该第一模式和该第二模式下工作。

5.如权利要求1、3或4所述的获取三维场景的深度图的设备，其特征在于，当该第一摄像机和该第二摄像机同时工作时，组成双目视觉系统。

6.如权利要求1所述的获取三维场景的深度图的设备，其特征在于，该红外投影器投射红外激光。

说明书

获取三维场景的深度图的设备

技术领域

[0001] 本发明涉及三维场景的扫描重建，尤其是涉及获取三维场景的深度图的设备。

背景技术

[0002] 获取场景中各点对于摄像机的距离是计算机视觉系统的重要任务之一。场景中各点相对于摄像机的距离可以用深度图(Depth Map)来表示，即深度图中的每一个像素值表示场景中某一点与摄像机之间的距离。机器视觉系统获取场景深度图的技术可分为被动测距传感和主动深度传感两大类，被动测距传感是指视觉系统接收来自场景发射或反射的光能量，形成有关场景光能量分布函数，即灰度图像，然后在这些图像的基础上恢复场景的深度信息。主动测距传感是指视觉系统首先向场景发射能量，然后接收场景对所发射能量的反射能量。

[0003] 基于结构激光的距离测量装置(也称深度相机)是一种主动测距传感技术，其原理请参考图1。图1中投影机110发射的激光束(实际上是几万条光线，这里以一条光线作为示意)照射在距离为Z1，Z2的不同平面上，在照相机110上成像的光斑点会产生从Xc1到Xc2的水平位移。设定一个参考平面Z0，通过检测任意距离的平面Zk相对于参考平面Z0的光点的位移量，可以推知平面Zk的距离。也就是说，计算机设备中要存储参考平面Z0的激光斑点图样和平面Z0的实际距离值(即一常量z0)，在输入任意测量平面的图像时，通过检测光斑的位移就能实现测距。光斑位移的检测方法是匹配参考图和输入图中光斑点的局部块的相似度。

[0004] 图2为一种已知的基于结构光的深度相机的结构示意图。参考图2所示，深度相机包括红外投影器210、红外摄像机220和彩色摄像机230。红外投影器210和红外摄像机220共同完成如图1所描述的深度检测。其中红外投影器210投出的激光束透过衍射光学器件(DOE)，分解为上万条细小的激光，它的作用是在物体上产生随机光斑(纹理)。红外摄像机220拍摄到随机斑点图像，经过计算产生稠密的深度图像。彩色摄像机230获取彩色图像，通过把彩色图像映射到深度相机，可以给三维场景提供颜色信息。彩色图像可以作为深度图像的补充，但并不是深度相机必须的。

[0005] 深度相机通常使用的激光光源是不可见的红外光，这使它容易被太阳光或者其它环境光中包含的红外波段所干扰。这样，在户外环境下，红外摄像机220检测不到红外激光器210发射的红外斑点纹理图案，导致深度检测失败。这时的红外摄像机220退化成一个只能采集灰度的相机。另一方面，彩色摄像机230和红外摄像机220之间有一定距离，造成图像视差，导致彩色图像中的RGB颜色信息映射到深度图像中的IR图像空间中会产生误差。

发明内容

[0006] 本发明所要解决的技术问题是提供一种获取三维场景的深度图的设备，它可以解决容易受到外部环境光干扰的问题，以及红外摄像机与彩色摄像机的视差问题。

[0007] 本发明为解决上述技术问题而采用的技术方案是提出一种获取三维场景的深度图的设备，包括红外投影器、第一摄像机、第二摄像机以及红外补光光源，该第一摄像机配置为接收红外光，该第二摄像机配置为接收彩色可见光，该第一摄像机和该第二摄像机之间具有符合双目视觉的距离，其中该红外投影器配置为在第一模式下投射结构光，在第二模式下不投射结构光，该红外补光光源配置为在第二模式下选择性地投射补充光源。

[0008] 在本发明的一实施例中，该第二摄像机还配置为接收红外光。

[0009] 在本发明的一实施例中，该第一摄像机配置为在该第一模式和该第二模式下工作，该第二摄像机配置为在该第二模式下工作。

[0010] 在本发明的一实施例中，该第一摄像机配置为在该第一模式和该第二模式下工作，该第二摄像机配置为在该第一模式和该第二模式下工作。

[0011] 在本发明的一实施例中，当该第一摄像机和该第二摄像机同时工作时，组成双目视觉系统。

[0012] 在本发明的一实施例中，该第一模式为无红外干扰模式，该第二模式为有红外干扰模式。

[0013] 在本发明的一实施例中，该红外投影器投射红外激光。

[0014] 本发明由于采用以上技术方案，使之与现有技术相比，通过各个部件在不同模式下的状态切换及组合来适应不同的应用场景。在无红外干扰环境下，可以通过红外投影器、第一摄像机组成深度相机，在有红外干扰环境下，可以通过第一摄像机和第二摄像机组成深度相机，还能够通过红外补光光源进行补光，从而在各种场景下都能适用。

附图说明

[0015] 为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

[0016] 图1示出激光三角测量原理。

[0017] 图2示出一种已知的基于结构光的深度相机的结构。

[0018] 图3示出本发明第一实施例的获取三维场景的深度图的设备的结构。

[0019] 图4示出本发明第二实施例的获取三维场景的深度图的设备的结构。

具体实施方式

[0020] 本发明的实施例描述获取三维场景的深度图的设备，它通过各个部件在不同模式下的状态切换及组合来适应不同的应用场景。

[0021] 图3示出一种获取三维场景的深度图的设备300，包括红外投影器310、第一摄像机320、第二摄像机330以及红外补光光源340。第一摄像机320配置为接收红外光，例如第一摄像机320是一个红外摄像机。第二摄像机330配置为接收彩色可见光，例如第二摄像机330是一个彩色摄像机，可以采集彩色图像。与已知设备不同的是，第一摄像机320和第二摄像机
330之间并不靠近，而是布置在设备300上相对较远的距离，这一距离符合双目视觉。红外投影器310及红外补光光源340可以布置在第一摄像机320和第二摄像机330之间。但可以理解，这并非是必须的，红外投影器310及红外补光光源340只要与第一摄像机320和第二摄像机330布置在设备的同一侧上。

[0022] 红外投影器310配置为能够投射结构光，为此红外投影器310可以配备衍射光学器件(DOE)。举例来说，红外投影器310投射的是红外激光。红外补光光源340配置为能够投射补充的红外光源。

[0023] 通常情况下，红外投影器310与第一摄像机320配合就能够获取三维场景的深度图像。但由于环境(例如日光)中的红外光的干扰，这一工作方式是不可靠的。为此，本实施例的设备具有多种工作模式，并让各部件在不同工作模式下进行状态的切换。

[0024] 具体来说，可以设置第一模式和第二模式。第一模式可为无红外干扰模式，第二模式可为红外干扰模式。红外投影器310配置为在第一模式下投射结构光，在第二模式下不投射结构光。红外补光光源340配置为在第二模式下选择性地投射补充光源。第一摄像机320配置为在第一模式和该第二模式下均工作，第二摄像机330配置为在第二模式下工作。当第一摄像机320和第二摄像机330同时工作时，组成双目视觉系统。

[0025] 在室内没有阳光的环境，设备300可以工作在第一模式，这时它依靠红外投影器310和第一摄像机320组成深度相机。在室外阳光较强的环境，设备300可以工作在第二模式，第一摄像机320和第二摄像机330组成双目立体成像的深度相机，此时的深度提取计算方法和一般的双目视觉相同。在此，可以要求第一摄像机320和第二摄像机330二者的视角分辨率等几何参数相同。

[0026] 当设备300可以工作在第二模式时，还可以使用红外补光光源340来补光，第一摄像机320和第二摄像机330仍然可以组成深度相机。

[0027] 上述的各种模式互补，可以覆盖比已知的深度相机更广泛的应用场景。

[0028] 图4示出本发明第二实施例的获取三维场景的深度图的设备400，包括红外投影器410、第一摄像机420、第二摄像机430以及红外补光光源440。第一摄像机420配置为接收红外光，例如第一摄像机420是一个红外摄像机。第二摄像机430配置为接收红外光和彩色可见光，例如第二摄像机430包含能够同时感知可见光和红外光的感光元件。与已知设备不同的是，第一摄像机420和第二摄像机430之间并不靠近，而是布置在设备400上相对较远的距离，这一距离符合双目视觉。红外投影器410及红外补光光源440可以布置在第一摄像机420和第二摄像机430之间。但可以理解，这并非是必须的，红外投影器410及红外补光光源440只要与第一摄像机420和第二摄像机430布置在设备的同一侧上。

[0029] 红外投影器310配置为能够投射结构光，为此红外投影器410可以配备衍射光学器件(DOE)。举例来说，红外投影器410投射的是红外激光。红外补光光源440配置为能够投射补充的红外光源。

[0030] 本实施例的设备具有多种工作模式，并让各部件在不同工作模式下进行状态的切换。

[0031] 具体来说，可以设置第一模式和第二模式。第一模式可为无红外干扰模式，第二模式可为红外干扰模式。红外投影器410配置为在第一模式下投射结构光，在第二模式下不投射结构光。红外补光光源440配置为在第二模式下选择性地投射补充光源。第二摄像机420配置为在第一模式和该第二模式下均工作，第二摄像机430也配置为在第一模式和该第二模式下均工作。当第一摄像机420和第二摄像机430同时工作时，组成双目视觉系统。

[0032] 在室内没有阳光的环境，设备400可以工作在第一模式，这时它依靠红外投影器410、第一摄像机420和第二摄像机430组成深度相机。红外投影器410可以通过投射结构光来提供场景的纹理信息，第一摄像机420和第二摄像机430能够组成双目立体成像对。得益于因为红外投影器410提供纹理信息，此时设备400获得的深度信息更加准确，而且双目成像方式对红外投影器410中DOE元件的生产加工要求也降低了。

[0033] 在室外阳光较强的环境，设备400可以工作在第二模式，第一摄像机420和第二摄像机430组成双目立体成像的深度相机，同时第二摄像机430还能够提供三维场景的色彩信息。本模式还具有额外的优点，即在第二摄像机430中，彩色图像信息和红外图像信息是没有视差的，每个像素采样点同时获取了深度和色彩信息。

[0034] 对于双目深度图像来说，可以双目视觉原理为基础，通过计算两个摄像机的图像匹配点视差来计算深度图。

[0035] 在上述的第一和第二实施例中，设备300和400所获取的深度图像可以利用深度计算单元进行计算。深度计算单元既可以配置在设备300和400中，也可以配置在设备300和400之外。例如设备300和400可以将深度图像发送给外部的诸如个人计算机、平板电脑、智能手机等主机，利用其上的通用计算单元完成深度计算。

[0036] 虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可作出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。