深度图获取方法、结构光相机、电子设备及存储介质

摘要

本发明实施例涉及计算机视觉领域，公开了一种深度图获取方法、结构光相机、电子设备及存储介质。本发明深度图获取方法，应用于结构光相机，结构光相机包括主摄像头和设置在主摄像头N个不同方向的辅摄像头，方法包括：通过主摄像头获取主散斑图，对主散斑图进行质量评价获取质量评价结果；当主散斑图质量评价结果指示主散斑图质量达标时，根据主散斑图获取深度图；当主散斑图质量评价结果指示主散斑图质量不达标时，通过预设在主摄像头N个不同方向光传感器检测环境的光照强度值；根据光照强度值，选择开启其中一个方向的辅摄像头获取辅散斑图；根据主散斑图和辅散斑图获取深度图。本方法兼顾了深度图的质量、处理效率和资源消耗等问题。

权利要求

1.一种深度图获取方法，其特征在于，应用于结构光相机，所述结构光相机包括主摄像头和设置在所述主摄像头的N个不同方向的辅摄像头，所述N个不同方向为所述主摄像头所在平面的N个不同方向，N为自然数；

所述深度图获取方法包括：

通过所述主摄像头获取主散斑图，对所述主散斑图进行质量评价，并获取所述主散斑图的质量评价结果；

当所述主散斑图的质量评价结果指示所述主散斑图的质量达标时，根据所述主散斑图获取深度图；

当所述主散斑图的质量评价结果指示所述主散斑图的质量不达标时，通过预设在所述主摄像头的N个不同方向的光传感器检测环境中的光照强度值；

根据各所述光传感器检测的光照强度值，选择开启其中一个方向上的所述辅摄像头，并通过开启的所述辅摄像头获取辅散斑图；

根据所述主散斑图和所述辅散斑图获取深度图。

2.根据权利要求1所述的深度图获取方法，其特征在于，所述根据各所述光传感器检测的光照强度值，选择开启其中一个方向上的所述辅摄像头，包括：当所述主散斑图的质量评价结果指示的质量不达标的原因是欠曝光时，开启光照强度值最大的方向上的辅摄像头；

当所述主散斑图的质量评价结果指示的质量不达标的原因是过曝光时，开启光照强度值最小的方向上的辅摄像头。

3.根据权利要求2所述的深度图获取方法，其特征在于，所述质量评价结果包括清晰度评价值和亮度评价值；

当所述主散斑图的清晰度评价值小于预设清晰度阈值时，指示所述主散斑图的质量不达标；

在所述主散斑图的质量不达标的情况下，当所述主散斑图的亮度评价值属于预设的欠曝光亮度值范围时，指示所述主散斑图的质量不达标的原因是欠曝光；当所述主散斑图的亮度评价值属于预设的过曝光亮度值范围时，指示所述主散斑图的质量不达标的原因是过曝光。

4.根据权利要求1所述的深度图获取方法，其特征在于，所述根据主散斑图获取深度图，包括：若所述主摄像头的数量为一个，通过所述主摄像头获取一个所述主散斑图，根据所述主散斑图和预设的参考散斑图获取深度图；

若所述主摄像头的数量为两个，通过两个所述主摄像头获取两个所述主散斑图，根据两个所述主散斑图获取深度图。

5.根据权利要求1‑3中任一项所述的深度图获取方法，其特征在于，所述根据所述主散斑图和所述辅散斑图获取深度图，包括：当所述主散斑图的数量和开启的辅摄像头数量均为1个时，将所述主散斑图和所述辅摄像头获取的辅散斑图进行匹配计算，获取深度图；或者，将所述主散斑图和所述辅摄像头获取的辅散斑图进行图像融合，获取融合散斑图，并将所述融合散斑图和预设的参考散斑图进行匹配计算，获取深度图；

当所述主散斑图的数量为1个且开启的辅摄像头数量为2个或2个以上时，将所述辅摄像头获取的多个辅散斑图进行图像融合，获取融合散斑图，并将所述融合散斑图和所述主散斑图进行匹配计算，获取深度图；

当所述主散斑图的数量为2个且开启的辅摄像头数量为1个时，将所述多个主散斑图进行图像融合，获取融合散斑图，并将所述融合散斑图和所述辅散斑图进行匹配计算，获取深度图；

当所述主散斑图的数量为2个且开启的辅摄像头数量为2个或2个以上时，将所述多个主散斑图进行图像融合，获取第一融合散斑图，将所述辅摄像头获取的多个辅散斑图进行图像融合，获取第二融合散斑图，并将所述第一融合散斑图和所述第二融合散斑图进行匹配计算，获取深度图。

6.根据权利要求1所述的深度图获取方法，其特征在于，所述光传感器设置在所述结构光相机所属的电子设备上，或者，光传感器设置在所述结构光相机所属电子设备所在的环境中。

7.根据权利要求1所述的深度图获取方法，其特征在于，当所述辅摄像头设置在所述主摄像头的4个不同方向时，所述4个不同方向为所述主摄像头所在平面内的所述主摄像头的前、后、左、右方向。

8.一种结构光相机，其特征在于，包括：

主摄像头，用于获取主散斑图；

在所述主摄像头的N个不同方向的辅摄像头，用于获取辅散斑图，其中所述N个不同方向为所述主摄像头所在平面的N个不同方向，N为自然数；

至少一个处理器和与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的深度图获取方法。

9.一种电子设备，其特征在于，包括：

结构光相机，包括主摄像头和在所述主摄像头的N个不同方向的辅摄像头，所述主摄像头用于获取主散斑图，所述辅摄像头用于获取辅散斑图；所述N个不同方向为所述主摄像头所在平面的N个不同方向，N为自然数；

至少一个处理器和与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的深度图获取方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的深度图获取方法。

说明书

深度图获取方法、结构光相机、电子设备及存储介质

技术领域

[0001] 本发明实施例涉及计算机视觉领域，特别涉及一种深度图获取方法、结构光相机、电子设备及存储介质。

背景技术

[0002] 电子设备上通常装设有结构光相机来获取场景的深度图像。结构光相机一般包括激光投射器和摄像头，激光投射器向外界投射激光，摄像头接收外界发射回的激光以得到散斑图像，进而通过散斑图像获取深度图像。但当拍摄环境为黑夜、灯光、太阳光、以及被拍摄物距离较远或较近时，获取的散斑图噪声较大、有些散斑点连接在一起无法分辨或无法准确提取散斑点，最终导致获取的深度图质量较差。

发明内容

[0003] 本发明实施方式的目的在于提供一种深度图获取方法、结构光相机、电子设备及存储介质，在提高深度图质量和处理效率的同时，节省资源消耗。

[0004] 为解决上述技术问题，本发明的实施方式提供了一种深度图获取方法，应用于结构光相机，所述结构光相机包括主摄像头和设置在所述主摄像头的N个不同方向的辅摄像头，所述方法包括：通过所述主摄像头获取主散斑图，对所述主散斑图进行质量评价，并获取所述主散斑图的质量评价结果；当所述主散斑图的质量评价结果指示所述主散斑图的质量达标时，根据所述主散斑图获取深度图；当所述主散斑图的质量评价结果指示所述主散斑图的质量不达标时，通过预设在所述主摄像头的所述N个不同方向的光传感器检测环境中的光照强度值；根据各所述光传感器检测的光照强度值，选择开启其中一个方向上的所述辅摄像头，并通过开启的所述辅摄像头获取辅散斑图；根据所述主散斑图和所述辅散斑图获取深度图。

[0005] 本发明的实施方式还提供了一种结构光相机，包括：

[0006] 主摄像头，用于获取主散斑图；

[0007] 设置在所述主摄像头的N个不同方向的辅摄像头，用于获取辅散斑图；

[0008] 至少一个处理器；用于对所述主散斑图进行质量评价，并获取所述主散斑图的质量评价结果；当所述主散斑图的质量评价结果指示所述主散斑图的质量达标时，根据所述主散斑图获取深度图；当所述主散斑图的质量评价结果指示所述主散斑图的质量不达标时，根据预设在所述主摄像头的所述N个不同方向的光传感器获取环境中的光照强度值；选择开启其中一个方向上的所述辅摄像头，根据所述主散斑图和开启的所述辅摄像头获取的辅散斑图获取深度图。

[0009] 本发明的实施方式还提供了一种电子设备，包括：

[0010] 壳体；以及，

[0011] 上述实施方式所述的结构光相机，所述结构光相机设置在所述壳体上，所述结构光相机能够执行上述实施方式所述的深度图获取方法。

[0012] 本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的深度图获取方法。

[0013] 本发明实施方式提供的深度图获取方法，对结构光相机主摄像头获取的主散斑图进行质量评价，根据质量评价结果确定是否需要开启辅摄像头，如此既有利于结构光相机节省资源消耗又不影响深度图的质量。当主散斑图质量达标时，直接根据主散斑图获取深度图，既保证了深度图的质量又提高了处理效率。当主散斑图质量不达标时，开启辅摄像头获取辅散斑图，根据主散斑图和辅散斑图获取深度图。整个深度图获取方法兼顾了深度图的质量、处理效率和资源消耗等问题。

[0014] 另外，本发明实施方式提供的深度图获取方法，根据各所述光传感器检测的光照强度值，选择开启其中一个方向上的所述辅摄像头，包括：当所述主散斑图的质量评价结果指示的质量不达标的原因是欠曝光时，开启光照强度值最大的方向上的辅摄像头。当所述主散斑图的质量评价结果指示的质量不达标的原因是过曝光时，开启光照强度值最小的方向上的辅摄像头。当主散斑图的质量不达标时，进一步根据主散斑图的质量评价结果分析质量不达标的深层次原因，根据质量不达标的原因开启对应的辅摄像头以获取对应的辅散斑图，后续根据主散斑图和辅散斑图获取深度图时，相对于主散斑图直接获取深度图可以明显提高深度图的质量。

[0015] 另外，本发明实施方式提供的深度图获取方法，质量评价结果包括清晰度评价值和亮度评价值；当所述主散斑图的清晰度评价值小于预设清晰度阈值时，指示所述主散斑图的质量不达标；在所述主散斑图的质量不达标的情况下，当所述主散斑图的亮度评价值属于预设的欠曝光亮度值范围时，指示所述主散斑图的质量不达标的原因是欠曝光；当所述主散斑图的亮度评价值属于预设的过曝光亮度值范围时，指示所述主散斑图的质量不达标的原因是过曝光。通过清晰度评价值指示主散斑图质量是否达标，通过亮度评价值指示主散斑图质量不达标的原因。通过这两个参数可以简单快速的获取散斑图的质量情况。

[0016] 另外，本发明实施方式提供的深度图获取方法，根据主散斑图获取深度图，包括：若所述主摄像头的数量为一个，通过所述主摄像头获取一个所述主散斑图，根据所述主散斑图和预设的参考散斑图获取深度图；若所述主摄像头的数量为两个，通过两个所述主摄像头获取两个所述主散斑图，根据两个所述主散斑图获取深度图。当主散斑图质量达标，不需要开启辅摄像头时，根据主散斑数量提供了对应地获取深度图的方法，平衡了深度图质量和处理效率的问题。

[0017] 另外，本发明实施方式提供的深度图获取方法，根据所述主散斑图和所述辅散斑图获取深度图，包括：当所述主散斑图的数量和开启的辅摄像头数量均为1个时，将所述主散斑图和所述辅摄像头获取的辅散斑图进行匹配计算，获取深度图；或者，将所述主散斑图和所述辅摄像头获取的辅散斑图进行图像融合，获取融合散斑图，并将所述融合散斑图和预设的参考散斑图进行匹配计算，获取深度图；当所述主散斑图的数量为1个且开启的辅摄像头数量为2个或2个以上时，将所述辅摄像头获取的多个辅散斑图进行图像融合，获取融合散斑图，并将所述融合散斑图和所述主散斑图进行匹配计算，获取深度图；当所述主散斑图的数量为2个且开启的辅摄像头数量为1个时，将所述多个主散斑图进行图像融合，获取融合散斑图，并将所述融合散斑图和所述辅散斑图进行匹配计算，获取深度图；当所述主散斑图的数量为2个且开启的辅摄像头数量为2个或2个以上时，将所述多个主散斑图进行图像融合，获取第一融合散斑图，将所述辅摄像头获取的多个辅散斑图进行图像融合，获取第二融合散斑图，并将所述第一融合散斑图和所述第二融合散斑图进行匹配计算，获取深度图。当主散斑图质量不达标，需要开启辅摄像头时，根据主散斑图数量和开启辅摄像头数量提供了对应的、甚至多种深度图获取方式，可以根据用户需要和结构光相机的情况选择合适的处理方式，在有效提高深度图质量的同时，节省资源、提高效率。

附图说明

[0018] 一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

[0019] 图1是本发明的实施方式提供的深度图获取方法的流程图一；

[0020] 图2是本发明的实施方式提供的深度图获取方法的流程图二；

[0021] 图3是本发明的实施方式提供的深度图获取方法的流程图三；

[0022] 图4是本发明的实施方式提供的深度图获取方法的流程图四；

[0023] 图5是本发明的实施方式的提供的结构光相机的结构示意图；

[0024] 图6是本发明的实施方式的提供的电子设备的结构示意图。

具体实施方式

[0025] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

[0026] 下面对本实施方式的深度图获取方法的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节，并非实施本方案的必须。

[0027] 本申请的深度图获取方法适用于单目、双目等多种结构的结构光相机。而结构光相机在强灯光、强太阳光等亮度较高的使用环境时，会对结构光相机采集的散斑图亮度造成影响，例如接收到的散斑点被淹没在背景之中，或者，散斑图整体亮度较大，甚至有些散斑点会过曝，相邻的散斑点连接在一起无法分辨，影响图像匹配算法的准确性，导致深度图像质量较差。另外，当被摄物与结构光相机之间的距离较远时，被摄物反射的光线能量较弱，也会对结构光下估计采集的散斑图亮度造成影响，例如散斑图欠曝，散斑图亮度较低，无法准确地提取散斑点，从而导致深度图像质量较差。而当被摄物与结构光相机之间的距离较近时，被摄物反射的光线能量过强，也会对结构光相机采集的散斑图亮度造成影响，例如散斑图整体亮度较大，甚至有些散斑点会过曝，相邻的散斑点连接在一起无法分辨，影响图像匹配算法的准确性，导致深度图像质量较差。

[0028] 本发明的实施方式涉及一种深度图获取方法，应用于结构光相机，结构光相机包括主摄像头和设置在主摄像头的N个不同方向的辅摄像头。当然，主摄像头的数量可以是一个，也可以是2个或2个以上。另外，在每个方向上可以有一个或多个摄像头，每个方向上摄像头的数量可以相同也可以不同。主摄像头和多个辅摄像头之间的位置关系在此不做限定，可以是任何形式。而每个方向上摄像头的排列位置可以均匀排列也可以非均匀排列。比如：当N＝4时，即结构光相机包括主摄像头和设置在主摄像头的4个不同方向的辅摄像头，4个不同方向为主摄像头所在平面内的所述主摄像头的前、后、左、右方向。对于结构光相机的结构组成和外观形式本实施方式在此不做具体限定。

[0029] 本实施方式的深度图获取方法如图1所示，包括：

[0030] 步骤101，通过主摄像头获取主散斑图，对主散斑图进行质量评价，并获取主散斑图的质量评价结果。

[0031] 具体地说，本实施方式对结构光相机所包含的主摄像头数量不做限定。一般来说，结构光相机工作时，主摄像头始终开启，辅摄像头则视工作情况开启。当结构光相机中的主摄像头只有一个时，获取一个主散斑图，当主摄像头的数量为2个甚至多个时，可以获取多张主散斑图，为了节省设备电量等资源消耗也可以任意选择其中一个主摄像头进行拍摄获取一个主散斑图。

[0032] 步骤102，当主散斑图的质量评价结果指示主散斑图的质量达标时，根据主散斑图获取深度图。

[0033] 具体地说，当获取的主散斑图数量为2个或2个以上时，对主散斑图进行质量评价，若多个主散斑图质量均达标，则可根据质量分数，选择质量最好的一个主散斑图用来获取深度图。

[0034] 另外，在根据主散斑图获取深度图之前，为了提高深度图的质量可以对散斑图进行滤波处理，也可以先对主摄像头和辅摄像头进行标定获取主摄像头和辅摄像头的内参、外参和畸变参数，利用这些参数对获取的散斑图进行校正。为了提高处理效率还可以先对散斑图进行二值化处理。

[0035] 步骤103，当主散斑图的质量评价结果指示主散斑图的质量不达标时，通过预设在主摄像头的N个不同方向的光传感器检测环境中的光照强度值。

[0036] 具体地说，本实施方式中的光传感器设置在结构光相机所属的电子设备上，或者，光传感器设置在所述结构光相机所属电子设备所在的环境中。当光传感器设置在结构光相机所属的电子设备时，可以根据主摄像头的位置对应地设置光传感器，比如：在主摄像头的上下左右四个方向设置多个光传感器。当光传感器设置在结构光相机所属电子设备所在的环境中时，可以根据拍摄方向、主摄像头的视角方向、被拍摄物体所在位置等因素综合决定光传感器的位置。

[0037] 步骤104，根据各光传感器检测的光照强度值，选择开启其中一个方向上的辅摄像头，并通过开启的辅摄像头获取辅散斑图。

[0038] 具体地说，根据各光传感器检测的光照强度值选择开启其中一个方向上的辅摄像头时，可以开启一个方向上的所有辅摄像头，也可以选择该方向上的其中一个辅摄像头开启。

[0039] 步骤105，根据主散斑图和辅散斑图获取深度图。

[0040] 具体地说，在根据主散斑图和辅散斑图获取深度图时，可以根据主散斑图的数量和开启辅散斑图的数量选择合适的处理方式。

[0041] 本发明实施方式提供的深度图获取方法，对结构光相机主摄像头获取的主散斑图进行质量评价，根据质量评价结果确定是否需要开启辅摄像头，如此既有利于结构光相机节省资源消耗又不影响深度图的质量。当主散斑图质量达标时，直接根据主散斑图获取深度图，既保证了深度图的质量又提高了处理效率。当主散斑图质量不达标时，开启辅摄像头获取辅散斑图，根据主散斑图和辅散斑图获取深度图。整个深度图获取方法兼顾了深度图的质量、处理效率和资源消耗等问题。

[0042] 本发明的实施方式涉及一种深度图获取方法，应用于结构光相机，结构光相机包括主摄像头和设置在主摄像头的N个不同方向的辅摄像头。本实施方式的深度图获取方法，主要针对主散斑图质量不达标时，根据光照强度值如何选择开启辅摄像头进行了详细说明，如图2所示，包括：

[0043] 步骤201，通过主摄像头获取主散斑图，对主散斑图进行质量评价，并获取主散斑图的质量评价结果。

[0044] 具体地说，在对主散斑图进行质量评价时，主要对其清晰度和亮度进行评价获取主散斑图的清晰度评价值和亮度评价值。当然，也可以获取散斑图中散斑点的形状、散斑点的数量和散斑点的规则度等信息，将这些信息纳入质量评价的指标中。

[0045] 另外，清晰度评价值可以根据主散斑图平均灰度梯度、平均灰度二阶导数、Brenner梯度函数值、Laplacian梯度函数值来获取。需要说明的是，平均灰度梯度反映了散斑图所包含灰度信息的量及灰度信息的明显程度，平均灰度二阶导数反映了散斑图所包含灰度信息的分布形式，即灰度波动情况。高质量的散斑图应该具有高的平均灰度梯度或者低的平均灰度二阶导数。

[0046] 另外，在获取主散斑图的亮度评价值时，可以直接根据散斑图亮度信息的平均值计算亮度评价值，也可以将散斑图中图像亮度最高的区域对应的亮度值作为亮度评价值，还可以将散斑图分为多个区域，每个区域对应不同的权重系数，散斑图的中间区域权重系数最大，散斑图的边缘区域权重系数最小。本领域技术人员可以理解的是，结构光相机中由于透镜的构造，镜头在接收激光并成像时，一般是中间区域的图像亮度高于边缘区域的图像亮度。因此，将中心区域的权重系数设置的较大，边缘区域的权重系数设置的较小，由此获取的亮度评价值可以更合理地反映散斑图亮度的真实情况。

[0047] 步骤202，当主散斑图的质量评价结果指示主散斑图的质量达标时，根据主散斑图获取深度图。

[0048] 具体地说，当主散斑图的清晰度评价值小于预设的清晰度阈值时，指示主散斑图的质量不达标，当主散斑图的清晰度评价值大于或等于清晰度阈值时，指示主散斑图的质量达标。

[0049] 步骤203，当主散斑图的质量评价结果指示主散斑图的质量不达标时，通过预设在主摄像头的N个不同方向的光传感器检测环境中的光照强度值。

[0050] 具体地说，在主散斑图的清晰度的评价值小于预设清晰度阈值，即主散斑图的质量不达标的情况下，当主散斑图的亮度的评价值属于预设的欠曝光亮度值范围时，指示主散斑图的质量不达标的原因是欠曝光；当主散斑图的亮度的评价值属于预设的过曝光亮度值范围时，指示主散斑图的质量不达标的原因是过曝光。

[0051] 步骤204，当主散斑图的质量评价结果指示的质量不达标的原因是欠曝光时，开启光照强度值最大的方向上的辅摄像头，并通过开启的辅摄像头获取辅散斑图。

[0052] 具体地说，本实施方式根据主散斑图的亮度评价值来衡量主散斑图的过曝光和欠曝光情况，并以此来开启对应的辅摄像头。当主散斑图欠曝光时，开启光照强度值最大的方向上的辅摄像头。而具体开启光照强度值最大方向上几个摄像头，可以根据欠曝光的程度来确定，比如：主散斑图的亮度评价值为4.2，欠曝光亮度值范围为0‑4.5，则说明欠曝光程度较小，可开启光照强度值最大的方向上的其中一个辅摄像头，通过该摄像头获取一个辅散斑图。若主散斑图的亮度评价值为2.1，欠曝光亮度值范围为0‑4.5，则说明欠曝光程度较大，可开启光照强度值最大的方向上的多个辅摄像头，通过多个摄像头获取多个辅散斑图。过曝光情况处理方法类似，在此不做赘述。即可以根据亮度评价值的大小确定欠曝光和过曝光的程度。

[0053] 步骤205，当主散斑图的质量评价结果指示的质量不达标的原因是过曝光时，开启光照强度值最小的方向上的辅摄像头，并通过开启的辅摄像头获取辅散斑图。

[0054] 步骤206，根据主散斑图和开启的辅摄像头获取的辅散斑图获取深度图。

[0055] 本发明实施方式提供的深度图获取方法，对结构光相机主摄像头获取的主散斑图进行质量评价，根据质量评价结果确定是否需要开启辅摄像头，如此既有利于结构光相机节省资源消耗又不影响深度图的质量。当主散斑图质量达标时，直接根据主散斑图获取深度图，既保证了深度图的质量又提高了处理效率。另外，当主散斑图的质量不达标时，进一步根据主散斑图的质量评价结果分析质量不达标的深层次原因，根据质量不达标的原因(欠曝光或过曝光)开启对应的辅摄像头以获取对应的辅散斑图。整个深度图获取方法兼顾了深度图的质量、处理效率和资源消耗等问题。

[0056] 本发明的实施方式涉及一种深度图获取方法，应用于结构光相机，结构光相机包括主摄像头和设置在主摄像头的N个不同方向的辅摄像头。本实施方式的深度图获取方法，如图3所示，包括：

[0057] 步骤301，通过主摄像头获取主散斑图，对主散斑图进行质量评价，并获取主散斑图的质量评价结果。

[0058] 具体地说，本实施方式中的步骤301与步骤101、步骤201的具体实施细节基本相同，在此不做赘述。

[0059] 步骤302，当主散斑图的质量评价结果指示主散斑图的质量达标，且主摄像头的数量为一个时，通过主摄像头获取一个主散斑图，根据主散斑图和预设的参考散斑图获取深度图。

[0060] 具体地说，将主散斑图和参考散斑图进行匹配确定两幅图像中的同名点，根据同名点的像素坐标差获取视差值，然后根据视差值计算获取深度图。在将主散斑图和参考散斑图匹配时，可以采用局部匹配算法、全局匹配算法或半全局匹配算法。

[0061] 步骤303，当主散斑图的质量评价结果指示主散斑图的质量达标，且主摄像头的数量为两个时，通过两个主摄像头获取两个主散斑图，根据两个主散斑图获取深度图。

[0062] 具体地说，将两个主散斑图进行匹配确定两幅图像中的同名点，根据同名点的像素坐标差获取视差值，根据视差值计算获取深度图。

[0063] 步骤304，当主散斑图的质量评价结果指示主散斑图的质量不达标时，通过预设在主摄像头的N个不同方向的光传感器检测环境中的光照强度值。

[0064] 具体地说，本实施方式中的步骤304的具体实施细节与步骤103、203基本相同，在此不作赘述。

[0065] 步骤305，根据各光传感器检测的光照强度值，选择开启其中一个方向上的辅摄像头，并通过开启的辅摄像头获取辅散斑图。

[0066] 具体地说，本实施方式中的步骤305的具体实施细节与步骤204、205基本相同，在此不作赘述。

[0067] 步骤306，根据主散斑图和辅散斑图获取深度图。

[0068] 具体地说，将主散斑图和辅散斑图进行匹配确定两幅图像中的同名点，根据同名点的像素坐标差获取视差值，根据视差值计算获取深度图，具体公式为： 其中，f为摄像头焦距，S为两个摄像头之间的基线距离，Δx为同名点的像素坐标差。

[0069] 本发明实施方式提供的深度图获取方法，对结构光相机主摄像头获取的主散斑图进行质量评价，根据质量评价结果确定是否需要开启辅摄像头，如此既有利于结构光相机节省资源消耗又不影响深度图的质量。当主散斑图质量不达标时，开启辅摄像头获取辅散斑图，根据主散斑图和辅散斑图获取深度图。整个深度图获取方法兼顾了深度图的质量、处理效率和资源消耗等问题。另外，当主散斑图质量达标，不需要开启辅摄像头时，根据主散斑数量提供了对应地获取深度图的方法，平衡了深度图质量和处理效率的问题。

[0070] 本发明的实施方式涉及一种深度图获取方法，应用于结构光相机，结构光相机包括主摄像头和设置在主摄像头的N个不同方向的辅摄像头。本实施方式的深度图获取方法，如图4所示，包括：

[0071] 步骤401，通过主摄像头获取主散斑图，对主散斑图进行质量评价，并获取主散斑图的质量评价结果。

[0072] 步骤402，当主散斑图的质量评价结果指示主散斑图的质量达标时，根据主散斑图获取深度图。

[0073] 步骤403，当主散斑图的质量评价结果指示主散斑图的质量不达标时，通过预设在主摄像头的N个不同方向的光传感器检测环境中的光照强度值。

[0074] 步骤404，根据各光传感器检测的光照强度值，选择开启其中一个方向上的辅摄像头，并通过开启的辅摄像头获取辅散斑图。

[0075] 步骤405，当主散斑图的数量和开启的辅摄像头数量均为1个时，将主散斑图和辅摄像头获取的辅散斑图进行匹配计算，获取深度图；或者，将主散斑图和辅摄像头获取的辅散斑图进行图像融合，获取融合散斑图，并将融合散斑图和预设的参考散斑图进行匹配计算，获取深度图。

[0076] 具体地说，当主散斑图为欠曝光时，将光照强度值最大方向上获取的辅散斑图与主散斑图进行融合，获取融合散斑图，融合后的散斑图相比于主散斑图能明显改善欠曝光的情况，使得融合散斑图亮度达到正常亮度标准，有利于提高深度图的质量。另外，将主散斑图和辅散斑图进行融合可以采用逻辑滤波器法、图像代数法、高通滤波法、金字塔分解法或小波变换法等任意一种。当然，在对图像融合前，需要对两幅图像进行精准的配准，而在配准时为了提高准确度和精度，可以进行亚像素插值获取更加精准的亚像素级别的坐标。

[0077] 步骤406，当主散斑图的数量为1个且开启的辅摄像头数量为2个或2个以上时，将辅摄像头获取的多个辅散斑图进行图像融合，获取融合散斑图，并将融合散斑图和所述主散斑图进行匹配计算，获取深度图。

[0078] 具体地说，当获取的辅散斑图数量为多个时，可以从多个辅散斑图中任意选取部分辅散斑图进行融合处理，也可以对辅散斑图进行质量评价，选取质量最好的两个辅散斑图进行融合处理。

[0079] 步骤407，当主散斑图的数量为2个或2个以上、且开启的辅摄像头数量为1个时，将多个主散斑图进行图像融合，获取融合散斑图，并将融合散斑图和所述辅散斑图进行匹配计算，获取深度图。

[0080] 步骤408，当主散斑图的数量和开启的辅摄像头数量均为2个或2个以上时，将多个主散斑图进行图像融合，获取第一融合散斑图，将辅摄像头获取的多个辅散斑图进行图像融合，获取第二融合散斑图，并将第一融合散斑图和所述第二融合散斑图进行匹配计算，获取深度图。

[0081] 具体地说，本实施方式所述的根据主散斑图的数量和开启辅摄像头的数量提供了对应的获取深度图的方法，具体选择哪一种可以根据用户需要、结构光相机的参数和结构光相机所属电子设备的情况(如：电量、处理器性能、存储器性能等)进行选择。

[0082] 本发明实施方式提供的深度图获取方法，对结构光相机主摄像头获取的主散斑图进行质量评价，根据质量评价结果确定是否需要开启辅摄像头，如此既有利于结构光相机节省资源消耗又不影响深度图的质量。当主散斑图质量达标时，直接根据主散斑图获取深度图，既保证了深度图的质量又提高了处理效率。当主散斑图质量不达标，需要开启辅摄像头时，根据主散斑图数量和开启辅摄像头数量提供了对应的、甚至多种深度图获取方式，可以根据用户需要和结构光相机的情况选择合适的处理方式，在有效提高深度图质量的同时，节省资源、提高效率。整个深度图获取方法兼顾了深度图的质量、处理效率和资源消耗等问题。

[0083] 上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

[0084] 本发明的实施方式涉及一种结构光相机，如图5所示，所述结构光相机包括：

[0085] 主摄像头501，用于获取主散斑图；

[0086] 在所述主摄像头的N个不同方向的辅摄像头502，用于获取辅散斑图；

[0087] 至少一个处理器503和与所述至少一个处理器通信连接的存储器504；其中，所述存储器存储有被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施方式所述的深度图获取方法。

[0088] 需要说明的是，图5中只是示例性地画出了其中一个方向上的一个辅摄像头，但不代表其他实施例中不存在其他方向上的辅摄像头。本实施方式可与上述深度图获取方法的实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。

[0089] 此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的单元或模组引入，但这并不表明本实施例中不存在其它的单元或模组。

[0090] 本发明的实施方式涉及一种电子设备，如图6所示，包括：

[0091] 结构光相机601，包括主摄像头和在所述主摄像头的N个不同方向的辅摄像头，所述主摄像头用于获取主散斑图，所述辅摄像头用于获取辅散斑图；

[0092] 至少一个处理器602和与所述至少一个处理器通信连接的存储器603；其中，所述存储器存储有被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施方式所述的深度图获取方法。

[0093] 该电子设备包括：一个或多个处理器以及存储器，图6中以一个处理器602为例。处理器602、存储器603可以通过总线或者其他方式连接，图6中以通过总线连接为例。存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施方式中策略空间内的各处理策略对应的算法就存储于存储器中。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述深度图获取方法。

[0094] 存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

[0095] 一个或者多个模块存储在存储器中，当被一个或者多个处理器执行时，执行上述任意方法实施方式中的深度图获取方法。

[0096] 上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。

[0097] 本发明的实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述深度图获取方法的实施例。

[0098] 即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read‑Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

[0099] 本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。