一种获取深度信息的拍照设备和方法转让专利

申请号 : CN201580021737.4

文献号 : CN106576159B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 徐彧符谋政

申请人 : 华为技术有限公司

摘要 :

本发明提供了一种获取深度信息的拍照设备和方法,通过结合了双目方式和结构光方式,避免了结构光算法在户外阳光或自然界光源的干扰下无法获取远距离的目标对象的深度信息的缺陷,并且避免了双目方式无法获取近距离的盲区内的目标对象的深度信息的缺陷,能够同时获取到目标对象全深度的深度信息。该方法为:当目标对象与拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息;当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息。

权利要求 :

1.一种拍照设备,其特征在于,包括:

第一图像传感器、第二图像传感器、红外光源和处理器,其中,第一图像传感器,用于采集红外光图像和可见光图像;所述第一图像传感器包括M个红外光感应像素和N个可见光感应像素;

第二图像传感器,用于采集可见光图像;

所述红外光源,用于投射特定的图案到目标对象上;

所述处理器,用于执行以下操作:当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息;当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息。

2.如权利要求1所述的拍照设备,其特征在于,所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息,当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息,包括:使用所述双目方式获取所述目标对象的深度信息;

若使用所述双目方式不能获取所述目标对象的深度信息,则使用所述结构光方式获取所述目标对象的深度信息。

3.如权利要求1所述的拍照设备,其特征在于,所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息,当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息,包括:使用所述结构光方式获取所述目标对象的深度信息;

若使用所述结构光方式不能获取所述目标对象的深度信息,则使用所述双目方式获取所述目标对象的深度信息。

4.如权利要求1-3中任一项所述的拍照设备,其特征在于,所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息,当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息,包括:测量所述目标对象与所述拍照设备之间的距离;

若所述所述目标对象与所述拍照设备之间的距离大于第一预设值,则使用所述双目方式获取所述目标对象的深度信息;

若所述所述目标对象与所述拍照设备之间的距离小于第二预设值,则使用所述结构光方式获取所述目标对象的深度信息。

5.如权利要求1-3中任一项所述的拍照设备,其特征在于,所述使用双目方式获取所述目标对象的深度信息,包括:通过所述第一图像传感器,获取所述目标对象的可见光图像和红外光图像,所述可见光图像的像素值等于X,所述红外光图像像素值等于Y;

根据所述可见光图像和所述红外光图像获得像素值等于X+Y的第一参考图像;

通过所述第二图像传感器,获取所述目标对象的第二参考图像,所述第二参考图像为像素值等于X+Y的可见光图像;

根据所述第一参考图像和所述第二参考图像,通过三角定位算法,计算所述目标对象的深度信息。

6.如权利要求1-3中任一项所述的拍照设备,其特征在于,所述使用结构光方式获取所述目标对象的深度信息,包括:通过所述红外光源,投射特定图案到所述目标对象上;

通过所述第一图像传感器,获取所述特定图案被投射到所述目标对象上后被所述目标对象的深度调制形成的参考图案;

根据所述参考图案,计算所述目标对象的深度信息。

7.如权利要求1-3中任一项所述的拍照设备,其特征在于,所述M等于所述N的1/3。

8.如权利要求1-3中任一项所述的拍照设备,其特征在于,所述双目方式的有效作用距离为一米。

9.一种深度信息获取方法,其特征在于,包括;

当目标对象与拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息;

当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息。

10.如权利要求9所述的方法,其特征在于,所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息,当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息,包括:使用所述双目方式获取所述目标对象的深度信息;

若使用所述双目方式不能获取所述目标对象的深度信息,则使用所述结构光方式获取所述目标对象的深度信息。

11.如权利要求9所述的方法,其特征在于,所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息,当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息,包括:使用所述结构光方式获取所述目标对象的深度信息;

若使用所述结构光方式不能获取所述目标对象的深度信息,则使用所述双目方式获取所述目标对象的深度信息。

12.如权利要求9-11中任一项所述的方法,其特征在于,所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息,当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息,包括:测量所述目标对象与所述拍照设备之间的距离;

若所述所述目标对象与所述拍照设备之间的距离大于第一预设值,则使用所述双目方式获取所述目标对象的深度信息;

若所述所述目标对象与所述拍照设备之间的距离小于第二预设值,则使用所述结构光方式获取所述目标对象的深度信息。

13.如权利要求9-11中任一项所述的方法,其特征在于,所述使用双目方式获取所述目标对象的深度信息,包括:通过第一图像传感器,获取所述目标对象的可见光图像和红外光图像,所述可见光图像的像素值等于X,所述红外光图像的像素值等于Y;

根据所述可见光图像和所述红外光图像获得像素值等于X+Y的第一参考图像;

通过第二图像传感器,获取所述目标对象的第二参考图像,所述第二参考图像为像素值等于X+Y的可见光图像;

根据所述第一参考图像和所述第二参考图像,通过三角定位算法,计算所述目标对象的深度信息。

14.如权利要求13所述的方法,其特征在于,所述使用结构光方式获取所述目标对象的深度信息,包括:通过红外光源,投射特定图案到所述目标对象上;

通过所述第一图像传感器,获取所述特定图案被投射到所述目标对象上后被所述目标对象的深度调制形成的参考图案;

根据所述参考图案,计算所述目标对象的深度信息。

15.如权利要求13所述的方法,其特征在于,所述第一图像传感器包括M个红外光感应像素和N个可见光感应像素,所述M等于所述N的1/3。

16.如权利要求9-11中任一项所述的方法,其特征在于,所述双目方式的有效作用距离为一米。

17.一种拍照设备,其特征在于,包括;

第一获取单元,用于当目标对象与拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息;

第二获取单元,用于当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息。

18.如权利要求17所述的拍照设备,其特征在于,

所述第一获取单元使用所述双目方式获取所述目标对象的深度信息;

若所述第一获取单元使用所述双目方式不能获取所述目标对象的深度信息,则所述第二获取单元使用所述结构光方式获取所述目标对象的深度信息。

19.如权利要求17所述的拍照设备,其特征在于,

所述第二获取单元使用所述结构光方式获取所述目标对象的深度信息;

若所述第二获取单元使用所述结构光方式不能获取所述目标对象的深度信息,则所述第一获取单元使用所述双目方式获取所述目标对象的深度信息。

20.如权利要求17-19中任一项所述的拍照设备,其特征在于,所述拍照设备还包括:测量单元,用于测量所述目标对象与所述拍照设备之间的距离;

若所述测量单元确定所述所述目标对象与所述拍照设备之间的距离大于第一预设值,则所述第一获取单元使用所述双目方式获取所述目标对象的深度信息;

若所述测量单元确定所述所述目标对象与所述拍照设备之间的距离小于第二预设值,则所述第二获取单元使用所述结构光方式获取所述目标对象的深度信息。

21.如权利要求17-19中任一项所述的拍照设备,其特征在于,所述第一获取单元具体用于:通过第一图像传感器,获取所述目标对象的可见光图像和红外光图像,所述可见光图像的像素值等于X,所述红外光图像的像素值等于Y;

根据所述可见光图像和所述红外光图像获得像素值等于X+Y的第一参考图像;

通过第二图像传感器,获取所述目标对象的第二参考图像,所述第二参考图像为像素值等于X+Y的可见光图像;

根据所述第一参考图像和所述第二参考图像,通过三角定位算法,计算所述目标对象的深度信息。

22.如权利要求21所述的拍照设备,其特征在于,所述第二获取单元具体用于:通过红外光源,投射特定图案到所述目标对象上;

通过所述第一图像传感器,获取所述特定图案被投射到所述目标对象上后被所述目标对象的深度调制形成的参考图案;

根据所述参考图案,计算所述目标对象的深度信息。

23.如权利要求21所述的拍照设备,其特征在于,所述第一图像传感器包括M个红外光感应像素和N个可见光感应像素,所述M等于所述N的1/3。

24.如权利要求17-19中任一项所述的拍照设备,其特征在于,所述双目方式的有效作用距离为一米。

说明书 :

一种获取深度信息的拍照设备和方法

技术领域

[0001] 本发明涉及图像处理领域,尤其涉及一种获取深度信息的拍照设备和方法。

背景技术

[0002] 深度图(英文:Depth map)是一种通过灰阶图、呈现由焦平面到图像上每一个点的距离的图像表现形式。例如,图1A所示为一张人物的三维视图,图1B所示为基于图1A得到的该人物的深度图,处于同一色阶的物体表示处于同一焦平面,灰色越浅表示该物体距离焦平面越近,灰色越深则表示该物体距离焦平面越远。描绘深度图时,通常需要测量或者计算拍摄瞬间,焦平面到物体每一点的距离,即深度信息。
[0003] 通常获取深度信息的方式有以下三种:双摄像头/双目方式,结构光方式,飞行时间(英文:Time of Flight,简称:ToF)方式。
[0004] 其中,双目方式使用2个以上的摄像头同时采集图像,并通过三角定位算法,计算出图像上的每个点距离焦平面的距离,从而获得深度信息。
[0005] 但双目方式因为三角定位算法以及摄像头的结构布局上的原因,在目标对象与焦平面之间的距离小于一定值时,无法获取该目标对象的深度信息,该定值被称为盲距。
[0006] 结构光方式通常使用红外光源对目标对象进行照明,通过投射特定的图案到目标对象上,通过图案的偏移,从而计算出每个像素点的深度信息。
[0007] 但结构光方式需要一个红外摄像头及一个红外光源,并且结构光方式对投射的图案要求较高,容易受室外光源的感染,测量距离受照明光源影响,局限在室内和近距离的场景下使用,如3米(单位:m)的距离内。一旦目标对象距离焦平面超过一定距离时,则无法获取深度信息。
[0008] ToF方式是通过调制红外光源的相位,测量接收到的图像的相位偏移,从而测量出深度信息。
[0009] ToF方式与结构光方式一样,同样需要一个红外摄像头及一个红外光源,并且局限在室内和近距离的场景下使用。
[0010] 因此,因为双目方式、结构光方式和ToF方式各自的局限性,无论采取何种方式,都有可能出现获取不到目标对象的深度信息的情况。

发明内容

[0011] 本发明实施例提供一种获取深度信息的拍照设备和方法,用以解决现有技术可能出现的无法获取目标对象的深度信息的问题。
[0012] 第一方面,本发明提供了一种拍照设备,包括:
[0013] 第一图像传感器、第二图像传感器、红外光源和处理器,其中,[0014] 第一图像传感器,用于采集红外光图像和可见光图像;所述第一图像传感器包括M个红外光感应像素和N个可见光感应像素;
[0015] 第二图像传感器,用于采集可见光图像;
[0016] 所述红外光源,用于投射特定的图案到目标对象上;
[0017] 所述处理器,用于执行以下操作:当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息;当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息。
[0018] 结合第一方面,在第一方面的第一种可能的实现方式中,所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息,当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息,包括:
[0019] 使用所述双目方式获取所述目标对象的深度信息;
[0020] 若使用所述双目方式不能获取所述目标对象的深度信息,则使用所述结构光方式获取所述目标对象的深度信息。
[0021] 结合第一方面,在第一方面的第二种可能的实现方式中,所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息,当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息,包括:
[0022] 使用所述结构光方式获取所述目标对象的深度信息;
[0023] 若使用所述结构光方式不能获取所述目标对象的深度信息,则使用所述双目方式获取所述目标对象的深度信息。
[0024] 结合第一方面、第一方面的第一种或第二种可能的实现方式,在第一方面的第三种可能的实现方式中,所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息,当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息,包括:
[0025] 测量所述目标对象与所述拍照设备之间的距离;
[0026] 若所述所述目标对象与所述拍照设备之间的距离大于第一预设值,则使用所述双目方式获取所述目标对象的深度信息;
[0027] 若所述所述目标对象与所述拍照设备之间的距离小于第二预设值,则使用所述结构光方式获取所述目标对象的深度信息。
[0028] 结合第一方面和第一方面的第一种至第三种可能的实现方式中的任意一种,在第一方面的第四种可能的实现方式中,所述使用双目方式获取所述目标对象的深度信息,包括:
[0029] 通过所述第一图像传感器,获取所述目标对象的可见光图像和红外光图像,所述可见光图像的像素值等于X,所述红外光图像像素值等于Y;
[0030] 根据所述可见光图像和所述红外光图像获得像素值等于X+Y的第一参考图像;
[0031] 通过所述第二图像传感器,获取所述目标对象的第二参考图像,所述第二参考图像为像素值等于X+Y的可见光图像;
[0032] 根据所述第一参考图像和所述第二参考图像,通过三角定位算法,计算所述目标对象的深度信息。
[0033] 结合第一方面和第一方面的第一种至第四种可能的实现方式中的任意一种,在第一方面的第五种可能的实现方式中,所述使用结构光方式获取所述目标对象的深度信息,包括:
[0034] 通过所述红外光源,投射特定图案到所述目标对象上;
[0035] 通过所述第一图像传感器,获取所述特定图案被投射到所述目标对象上后被所述目标对象的深度调制形成的参考图案;
[0036] 根据所述参考图案,计算所述目标对象的深度信息。
[0037] 结合第一方面和第一方面的第一种至第五种可能的实现方式中的任意一种,在第一方面的第六种可能的实现方式中,所述M等于所述N的1/3。
[0038] 结合第一方面和第一方面的第一种至第六种可能的实现方式中的任意一种,在第一方面的第七种可能的实现方式中,所述双目方式的有效作用距离为一米。
[0039] 第二方面,本发明提供了一种深度信息获取方法,包括;
[0040] 当目标对象与拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息;
[0041] 当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息。
[0042] 结合第二方面,在第二方面的第一种可能的实现方式中,所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息,当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息,包括:
[0043] 使用所述双目方式获取所述目标对象的深度信息;
[0044] 若使用所述双目方式不能获取所述目标对象的深度信息,则使用所述结构光方式获取所述目标对象的深度信息。
[0045] 结合第二方面,在第二方面的第二种可能的实现方式中,所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息,当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息,包括:
[0046] 使用所述结构光方式获取所述目标对象的深度信息;
[0047] 若使用所述结构光方式不能获取所述目标对象的深度信息,则使用所述双目方式获取所述目标对象的深度信息。
[0048] 结合第二方面、第二方面的第一种或第二种可能的实现方式,在第二方面的第三种可能的实现方式中,所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息,当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息,包括:
[0049] 测量所述目标对象与所述拍照设备之间的距离;
[0050] 若所述所述目标对象与所述拍照设备之间的距离大于第一预设值,则使用所述双目方式获取所述目标对象的深度信息;
[0051] 若所述所述目标对象与所述拍照设备之间的距离小于第二预设值,则使用所述结构光方式获取所述目标对象的深度信息。
[0052] 结合第二方面和第二方面的第一种至第三种可能的实现方式中的任意一种,在第二方面的第四种可能的实现方式中,所述使用双目方式获取所述目标对象的深度信息,包括:
[0053] 通过第一图像传感器,获取所述目标对象的可见光图像和红外光图像,所述可见光图像的像素值等于X,所述红外光图像的像素值等于Y;
[0054] 根据所述可见光图像和所述红外光图像获得像素值等于X+Y的第一参考图像;
[0055] 通过第二图像传感器,获取所述目标对象的第二参考图像,所述第二参考图像为像素值等于X+Y的可见光图像;
[0056] 根据所述第一参考图像和所述第二参考图像,通过三角定位算法,计算所述目标对象的深度信息。
[0057] 结合第二方面的第四种可能的实现方式,在第二方面的第五种可能的实现方式中,所述使用结构光方式获取所述目标对象的深度信息,包括:
[0058] 通过红外光源,投射特定图案到所述目标对象上;
[0059] 通过所述第一图像传感器,获取所述特定图案被投射到所述目标对象上后被所述目标对象的深度调制形成的参考图案;
[0060] 根据所述参考图案,计算所述目标对象的深度信息。
[0061] 结合第二方面的第四种或第五种可能的实现方式,在第二方面的第六种可能的实现方式中,所述第一图像传感器包括M个红外光感应像素和N个可见光感应像素,所述M等于所述N的1/3。
[0062] 结合第二方面和第二方面的第一种至第六种可能的实现方式中的任意一种,在第二方面的第七种可能的实现方式中,所述双目方式的有效作用距离为一米。
[0063] 第三方面,一种拍照设备,包括;
[0064] 第一获取单元,用于当目标对象与拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息;
[0065] 第二获取单元,用于当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息。
[0066] 结合第三方面,在第三方面的第一种可能的实现方式中,
[0067] 所述第一获取单元使用所述双目方式获取所述目标对象的深度信息;
[0068] 若所述第一获取单元使用所述双目方式不能获取所述目标对象的深度信息,则所述第二获取单元使用所述结构光方式获取所述目标对象的深度信息。
[0069] 结合第三方面,在第三方面的第二种可能的实现方式中,
[0070] 所述第二获取单元使用所述结构光方式获取所述目标对象的深度信息;
[0071] 若所述第二获取单元使用所述结构光方式不能获取所述目标对象的深度信息,则所述第一获取单元使用所述双目方式获取所述目标对象的深度信息。
[0072] 结合第三方面、第三方面的第一种或第二种可能的实现方式,在第三方面的第三种可能的实现方式中,所述拍照设备还包括:
[0073] 测量单元,用于测量所述目标对象与所述拍照设备之间的距离;
[0074] 若所述测量单元确定所述所述目标对象与所述拍照设备之间的距离大于第一预设值,则所述第一获取单元使用所述双目方式获取所述目标对象的深度信息;
[0075] 若所述测量单元确定所述所述目标对象与所述拍照设备之间的距离小于第二预设值,则所述第二获取单元使用所述结构光方式获取所述目标对象的深度信息。
[0076] 结合第三方面和第三方面的第一种至第三种可能的实现方式中的任意一种,在第三方面的第四种可能的实现方式中,所述第一获取单元具体用于:
[0077] 通过第一图像传感器,获取所述目标对象的可见光图像和红外光图像,所述可见光图像的像素值等于X,所述红外光图像的像素值等于Y;
[0078] 根据所述可见光图像和所述红外光图像获得像素值等于X+Y的第一参考图像;
[0079] 通过第二图像传感器,获取所述目标对象的第二参考图像,所述第二参考图像为像素值等于X+Y的可见光图像;
[0080] 根据所述第一参考图像和所述第二参考图像,通过三角定位算法,计算所述目标对象的深度信息。
[0081] 结合第三方面的第四种可能的实现方式,在第三方面的第五种可能的实现方式中,所述第二获取单元具体用于:
[0082] 通过红外光源,投射特定图案到所述目标对象上;
[0083] 通过所述第一图像传感器,获取所述特定图案被投射到所述目标对象上后被所述目标对象的深度调制形成的参考图案;
[0084] 根据所述参考图案,计算所述目标对象的深度信息。
[0085] 结合第三方面的第四种或第五种可能的实现方式,在第三方面的第六种可能的实现方式中,所述第一图像传感器包括M个红外光感应像素和N个可见光感应像素,所述M等于所述N的1/3。
[0086] 结合第三方面和第三方面的第一种至第六种可能的实现方式中的任意一种,在第三方面的第七种可能的实现方式中,所述双目方式的有效作用距离为一米。
[0087] 本发明提供的方案,通过结合了双目方式和结构光方式,避免了结构光算法在户外阳光或自然界光源的干扰下无法获取远距离的目标对象的深度信息的缺陷,并且避免了双目方式无法获取近距离的盲区内的目标对象的深度信息的缺陷,能够同时获取到目标对象全深度的深度信息。

附图说明

[0088] 图1A为现有技术下三维视图的示意图;
[0089] 图1B为现有技术下深度图的示意图;
[0090] 图2为本发明实施例提供的一种拍照设备的示意图;
[0091] 图3为本发明实施例提供的一种新型传感器的示意图;
[0092] 图4为本发明实施例提供的一种RGB色彩模式的传感器的示意图;
[0093] 图5为本发明实施例提供的一种获取深度信息的流程图;
[0094] 图6为本发明实施例提供的一种拍照设备的结构示意图。

具体实施方式

[0095] 为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
[0096] 本发明实施例提供了一种获取深度信息的拍照设备和方法,通过结合了双目方式和结构光方式,避免了结构光算法在户外阳光或自然界光源的干扰下无法获取远距离的目标对象的深度信息的缺陷,并且避免了双目方式无法获取近距离的盲区内的目标对象的深度信息的缺陷,能够同时获取到目标对象全深度的深度信息。
[0097] 下面结合说明书附图和各实施例对本发明技术方案进行说明。
[0098] 参阅图2所示,本发明实施例提供了一种拍照设备,所述拍照设备包括第一图像传感器21、第二图像传感器22、红外光源23和处理器24,其中,这些部件通过一个或多个通信总线或信号线25来通信。
[0099] 下面就本实施例提供的用于指纹中断唤醒的终端设备进行详细的描述。
[0100] 第一图像传感器21,为本发明实施例提出的一种新型传感器,用于采集红外光图像和可见光图像;所述第一图像传感器包括M个红外光感应像素和N个可见光感应像素。
[0101] 本发明实施例中,红外光感应像素和可见光感应像素需均匀分布,例如,当N∶M=3∶1时,需要保证每4个像素内包含有1个红外光感应像素和3个可见光感应像素,而红外光感应像素在这4个像素内处于哪个位置本发明实施例并不作限定,其中的一种像素排布情况可以如图3所示,在每个由4个像素组成的区域内,左下角位置的深色色块表征红外光感应像素,其余位置的白色色块表征可见光感应像素。
[0102] 本发明实施例提出的所述第一图像传感器21中的红外光感应像素M和可见光感应像素N可以是任何比值。较佳的,本发明实施例通过多次模拟试验发现,在红外光感应像素的像素值M等于可见光图像感应像素的像素值N的1/3时,能够较好的兼顾双目方式和结构光方式得到的深度信息的精度。
[0103] 所述第二图像传感器22,用于采集可见光图像。
[0104] 如图4所示为所述第二图像传感器22的一种RGB色彩图像感应像素示例。
[0105] 可选的,为了兼顾拍照设备所支持的有效作用总距离以及功耗情况,本发明实施例通过多次模拟试验发现,可以通过调节以上两个传感器的布局距离,将双目方式的有效作用距离设置为一米。
[0106] 所述红外光源23,用于投射特定的图案到目标对象上。
[0107] 所述处理器24,用于执行以下操作:
[0108] 当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息;当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息。
[0109] 所谓结构光方式的有效作用距离,指的是结构光方式的有效作用范围的最大值,所谓双目方式的有效作用距离,指的是双目方式的有效作用范围的最小值。
[0110] 可选的,所述处理器可以先使用所述双目方式获取所述目标对象的深度信息;若使用所述双目方式不能获取所述目标对象的深度信息,则再使用所述结构光方式获取所述目标对象的深度信息。
[0111] 可选的,所述处理器可以先使用所述结构光方式获取所述目标对象的深度信息;若使用所述结构光方式不能获取所述目标对象的深度信息,则再使用所述双目方式获取所述目标对象的深度信息。
[0112] 可选的,所述处理器可以测量所述目标对象与所述拍照设备之间的距离;若所述所述目标对象与所述拍照设备之间的距离大于第一预设值,则使用所述双目方式获取所述目标对象的深度信息;若所述所述目标对象与所述拍照设备之间的距离小于第二预设值,则使用所述结构光方式获取所述目标对象的深度信息。
[0113] 可选的,在使用双目方式获取所述目标对象的深度信息时,所述处理器24可以通过所述第一图像传感器21,获取所述目标对象的可见光图像和红外光图像,所述可见光图像的像素值等于X,所述红外光图像像素值等于Y;根据所述可见光图像和所述红外光图像获得像素值等于X+Y的第一参考图像;以及通过所述第二图像传感器22,获取所述目标对象的第二参考图像,所述第二参考图像为像素值等于X+Y的可见光图像;最后根据所述第一参考图像和所述第二参考图像,通过三角定位算法,计算所述目标对象的深度信息。
[0114] 由于所述第一图像传感器21包含红外光感应像素,因此所述第一图像传感器21可与所述红外光源23一起应用于结构光模式,负责采集所述结构光方式支持的近距离范围内的目标对象的深度信息;并且由于所述第一图像传感器21同时还包括可见光感应像素,因此所述第一图像传感器21也可与所述第二图像传感器22一起应用于双目方式,负责采集所述双目方式所支持的长距离范围内的目标对象的深度信息。
[0115] 本发明实施例通过以上一个红外光源以及两个传感器,便可实现短至几毫米、长至几十米的范围内的目标对象的深度信息的获取。
[0116] 参阅图5所示,本发明的一个实施例提供了一种所述拍照设备获取深度信息的实施流程:
[0117] 步骤501:当目标对象与拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息。
[0118] 其中,所述拍照设备使用双目方式获取所述目标对象的深度信息的一种具体方式如下:
[0119] 所述拍照设备通过第一图像传感器,获取所述目标对象的可见光图像和红外光图像,所述可见光图像的像素值等于X,所述红外光图像的像素值等于Y;
[0120] 其次,所述拍照设备根据所述可见光图像和所述红外光图像获得像素值等于X+Y的第一参考图像。
[0121] 例如,所述拍照设备可以通过插值补偿方法获得所述第一参考图像。由于所述第一图像内包含了对于双目方式而言没有意义的红外光图像,因此需要取出该红外光图像,并根据插值补偿方法和像素值等于X的可见光图像,估计原红外光图像所在的像素的亮度,从而得到像素值等于X+Y的可见光图像。
[0122] 以及,所述拍照设备通过第二图像传感器,获取所述目标对象的第二参考图像,所述第二参考图像为像素值等于X+Y的可见光图像。
[0123] 最后,所述拍照设备根据所述第一参考图像和所述第二参考图像,通过三角定位算法,计算所述目标对象的深度信息
[0124] 步骤502:当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用结构光方式获取所述目标对象的深度信息。
[0125] 其中,所述拍照设备使用结构光方式获取所述目标对象的深度信息的具体方式如下:
[0126] 首先,所述拍照设备通过红外光源,投射特定图案到所述目标对象上。
[0127] 然后,所述拍照设备通过所述第一图像传感器,获取所述特定图案被投射到所述目标对象上后被所述目标对象的深度调制形成的参考图案。
[0128] 最后,所述拍照设备根据所述参考图案,以及初始的特定图案,计算出所述目标对象的深度信息。
[0129] 在现有技术中,由于双目方式需要至少2个以上的传感器同时采集图像,而结构光方式需要1个额外的红外传感器,因此本发明实施例将双目方式和结构光方式结合,理论上至少需要3个传感器。但本发明实施例通过将红外光感应像素和可见光感应像素集成在一种新型传感器中,使得该新型传感器可以同时具备传统的传感器和红外传感器的功能,从而可以实现仅通过2个传感器便能同时启动双目方式和结构光方式去获取目标对象全深度的深度信息。
[0130] 本发明实施例并不限定步骤501和步骤502的先后顺序,例如,所述拍照设备可以先使用所述双目方式获取所述目标对象的深度信息;若使用所述双目方式不能获取所述目标对象的深度信息,则使用所述结构光方式获取所述目标对象的深度信息。
[0131] 或者,所述拍照设备也可以先使用所述结构光方式获取所述目标对象的深度信息;若使用所述结构光方式不能获取所述目标对象的深度信息,则使用所述双目方式获取所述目标对象的深度信息。
[0132] 可选的,所述拍照设备可以测量所述目标对象与所述拍照设备之间的距离;若所述所述目标对象与所述拍照设备之间的距离大于第一预设值,则使用所述双目方式获取所述目标对象的深度信息;若所述所述目标对象与所述拍照设备之间的距离小于第二预设值,则使用所述结构光方式获取所述目标对象的深度信息。所述拍照设备可以通过激光测距、雷达测距或者其他测距方法测量所述拍照设备到所述目标对象之间的距离。所述第一预设值和所述第二预设值可以相等也可以不相等。
[0133] 本发明实施例提出的新型传感器中的红外光感应像素M和可见光感应像素N可以是任何比值。较佳的,本发明实施例通过多次模拟试验发现,在红外光感应像素的像素值M等于可见光感应像素的像素值N的1/3时,能够较好的兼顾双目方式和结构光方式得到的深度信息的精度。
[0134] 例如,假设一新型传感器中红外光感应像素∶可见光感应像素=1∶3,且该新型传感器的的总像素值为3百万,那么这3百万的像素值中包括了75万的红外光感应像素和225万的可见光感应像素。
[0135] 可选的,为了减小所述拍照设备的功率消耗情况,可以将所述结构光方式的有效作用范围的最大值设置为所述双目方式的有效作用范围的最小值。
[0136] 例如,假设一拍照设备使用结构光方式时可用于获取A~B(A<B)范围内的目标对象的深度信息,使用双目方式时可用于获取C~D(C<D)范围内的目标对象的深度信息,则可以通过调节该拍照设备的红外投影仪的功率,使得所述B等于所述C,此时该拍照设备结合结构光算法与双目算法可获取A~B/C~D范围内的景物深度信息,而其中的A~B/C即为双目方式的盲点区,B/C~D即为结构光方式无法检测的深度区。
[0137] 当拍照设备上两个传感器的布局距离越远,所述双目方式的有效作用距离将越大,但相应的双目方式的盲点区也会增大,从而需要提高结构光方式的功率,扩大结构光方式的有效作用距离。为了兼顾拍照设备所支持的有效作用总距离以及功耗情况,本发明实施例通过多次模拟试验发现,可以通过调节两个传感器的布局距离,将所述双目方式的有效作用距离设置为一米。
[0138] 参阅图6所示,本发明实施例提供了一种拍照设备,用于实现本发明图5所示的一种获取深度信息的方法,该拍照设备包括:
[0139] 第一获取单元601,用于当目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时,使用双目方式获取所述目标对象的深度信息。
[0140] 第二获取单元602,用于当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时,使用所述结构光方式获取所述目标对象的深度信息。
[0141] 可选的,所述第一获取单元601可以先使用所述双目方式获取所述目标对象的深度信息;若所述第一获取单元601使用所述双目方式不能获取所述目标对象的深度信息,则所述第二获取单元602再使用所述结构光方式获取所述目标对象的深度信息。
[0142] 可选的,所述第二获取单元602可以先使用所述结构光方式获取所述目标对象的深度信息;若所述第二获取单元602使用所述结构光方式不能获取所述目标对象的深度信息,则所述第一获取单元601再使用所述双目方式获取所述目标对象的深度信息。
[0143] 可选的,所述拍照设备还可以包括:
[0144] 测量单元,用于测量所述目标对象与所述拍照设备之间的距离。
[0145] 若所述测量单元确定所述所述目标对象与所述拍照设备之间的距离大于第一预设值,则所述第一获取单元601使用所述双目方式获取所述目标对象的深度信息;
[0146] 若所述测量单元确定所述所述目标对象与所述拍照设备之间的距离小于第二预设值,则所述第二获取单元602使用所述结构光方式获取所述目标对象的深度信息。
[0147] 可选的,所述第一获取单元601具体用于:通过第一图像传感器,获取所述目标对象的可见光图像和红外光图像,所述可见光图像的像素值等于X,所述红外光图像的像素值等于Y;根据所述可见光图像和所述红外光图像获得像素值等于X+Y的第一参考图像;通过第二图像传感器,获取所述目标对象的第二参考图像,所述第二参考图像为像素值等于X+Y的可见光图像;根据所述第一参考图像和所述第二参考图像,通过三角定位算法,计算所述目标对象的深度信息。
[0148] 可选的,所述第二获取单元602具体用于:通过红外光源,投射特定图案到所述目标对象上;通过所述第一图像传感器,获取所述特定图案被投射到所述目标对象上后被所述目标对象的深度调制形成的参考图案;根据所述参考图案,计算所述目标对象的深度信息。
[0149] 可选的,所述第一图像传感器包括M个红外光感应像素和N个可见光感应像素,所述M等于所述N的1/3。
[0150] 可选的,所述双目方式的有效作用距离为一米。
[0151] 综上所述,本发明实施例提供的技术方案,提出了一种包含有红外光感应像素和可见光感应像素的新型传感器,结合一个红外光源以及另外的传感器,便可实现双目方式和结构光方式的结合,从而避免了结构光算法在户外阳光或自然界光源的干扰下无法获取远距离的目标对象的深度信息的缺陷,并且避免了双目方式无法获取近距离的盲区内的目标对象的深度信息的缺陷,能够同时获取到短至几毫米、长至几十米的范围内的景物的深度信息。
[0152] 本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可使用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可使用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0153] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0154] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0155] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0156] 尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0157] 显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。