多模式深度成像

摘要

一种成像系统包括具有间隔一固定距离的第一和第二成像阵列、第一和第二驱动器、以及经调制的光源。所述第一成像阵列包括分布在多个强度响应像素上的多个相位响应像素；所述经调制的光源被配置成在所述第一成像阵列的视野中发射经调制的光。所述第一驱动器被配置成调制来自所述经调制的光源的光输出并且同步地控制来自所述相位响应像素的电荷收集。所述第二驱动器被配置成识别所述第一成像阵列的强度响应像素和所述第二成像阵列的对应的强度响应像素之间的差异。

权利要求

1.一种成像系统，包括：

第一成像阵列，所述第一成像阵列包括分布在多个强度响应像素上的多个相位响应像素；

经调制的光源，所述经调制的光源被配置成在所述第一成像阵列的视野中发射经调制的光；

第一驱动器，所述第一驱动器被配置成调制所述光并且同步地控制来自所述相位响应像素的电荷收集以提供飞行时间深度估计；

强度响应像素的第二成像阵列，所述第二成像阵列被布置成与所述第一成像阵列相距一固定距离；以及第二驱动器，所述第二驱动器被配置成识别所述第一成像阵列的强度响应像素和所述第二成像阵列的对应的强度响应像素之间的差异来提供立体光学深度估计。

2.如权利要求1所述的成像系统，其特征在于，进一步包括结构化光源，所述结构化光源被配置成在所述第二成像阵列的视野中发射结构化的光。

3.如权利要求1所述的成像系统，其特征在于，进一步包括第一和第二物镜系统，所述第一和第二物镜系统被布置成分别在所述第一和第二成像阵列的前面，并且被配置成使得所述第一和第二成像阵列具有重叠的视野。

4.如权利要求1所述的成像系统，其特征在于，所述多个相位响应像素被布置成平行的多行连续相位响应像素，位于中间的、连续的强度响应像素的各相互平行的行之间。

5.如权利要求4所述的成像系统，其特征在于，给定行的一组连续相位响应像素被并发地编址以提供针对该组的多个电荷存储。

6.如权利要求4所述的成像系统，其特征在于，所述平行的行被垂直地布置。

7.如权利要求4所述的成像系统，其特征在于，所述平行的行被水平地布置。

8.如权利要求1所述的成像系统，其特征在于，所述第一成像阵列的强度响应像素仅被包括在所述第一成像阵列的对所述第一和第二成像阵列的视野之间的重叠进行成像的部分中。

9.如权利要求1所述的成像系统，其特征在于，进一步包括双带通光学滤波器，所述双带通光学滤波器被布置在所述第一成像阵列前面并且被配置成透射可见光并且阻挡所述经调制的光源的发射频带之外的红外光。

10.如权利要求1所述的成像系统，其特征在于，每一个相位响应像素包括光学过滤器层，所述光学过滤器层被配置成阻挡所述经调制的光源的发射频带之外的波长。

11.如权利要求1所述的成像系统，其特征在于，所述第二成像阵列的强度响应像素包括红光、绿光、以及蓝光透射过滤元件，并且其中所述经调制的光源是红外光源。

12.一种在具有经调制的光源以及第一和第二成像阵列的成像系统中执行的深度感测方法，其中所述第一和第二成像阵列间隔一固定距离并且被配置成对物体成像，所述方法包括：调制来自经调制的光源的发射并且同步地控制来自所述第一成像阵列的相位响应像素的电荷收集以为所述物体的多个表面点中的每一个提供飞行时间深度估计；

识别所述第一成像阵列的强度响应像素和所述第二成像阵列的对应的强度响应像素之间的差异，以便为所述物体的多个表面点中的每一个提供立体光学深度估计；以及基于所述飞行时间深度估计和所述立体光学深度估计为所述物体的多个表面点中的每一个返回输出。

13.如权利要求12所述的方法，其特征在于，所述输出包括针对所述物体的多个表面点中的每一个的飞行时间深度估计和立体光学深度估计的加权平均。

14.如权利要求13所述的方法，其特征在于，还包括为所述物体的给定表面点计算飞行时间深度估计的不确定性，并且基于所述不确定性来调整与该表面点相关联的加权平均中的相对权重。

15.如权利要求14所述的方法，其特征在于，还包括如果所述不确定性低于阈值，则忽略所述给定点的立体光学深度估计。

说明书

多模式深度成像

[0001] 背景

[0002] 立体光学成像是一种用于对物体的三维轮廓成像的技术。在这一技术中，物体被并发地从两个不同视角观察，这两个不同视角相隔一固定的水平距离。并发图像的对应像素间的差异的量提供了对于到成像在各像素上的物体轨迹的距离的估计。立体光学成像提供了许多期望的特征，诸如良好的空间分辨率和边缘检测、对于环境光和图案化物体的容忍度、以及大的深度感测范围。然而，这一技术是计算上昂贵的，提供了有限的视野，并且对于光学遮挡和成像分量的不对准是敏感的。

[0003] 概述

[0004] 在一个实施例中，本公开提供了一种具有间隔一固定距离的第一和第二成像阵列、第一和第二驱动器、以及经调制的光源的成像系统。所述第一成像阵列包括分布在多个强度响应像素上的多个相位响应像素；所述经调制的光源被配置成在所述第一成像阵列的视野中发射经调制的光。所述第一驱动器被配置成调制来自经调制的光源的光输出并且同步地控制来自所述相位响应像素的电荷收集。所述第二驱动器被配置成识别所述第一成像阵列的强度响应像素和所述第二成像阵列的对应的强度响应像素之间的位置差异。

[0005] 提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。

[0006] 附图简述

[0007] 图1是示例环境的示意平面图，其中成像系统被用于对物体成像。

[0008] 图2示出了图1的成像系统的示例右成像阵列的各方面。

[0009] 图3示出了与图2的右成像阵列相关联的光学过滤器的示例透射光谱。

[0010] 图4示出了经由图1的成像系统实施的示例深度感测方法。

[0011] 详细描述

[0012] 现在将参考以上列出的附图来描述本公开的各方面。基本上相同的组件、过程步骤和其他元素被协调地标识并且以重复最小的方式描述。然而，将注意，同等地标识的各元素也可在一定程度上不同。将进一步注意到，附图是示意性的并且通常未按照比例绘制。当然，附图中所示的各种绘图比例、纵横比、以及组件的数量可故意地失真，以更容易看到某些特征或关系。

[0013] 图1是示例环境10的示意平面图，其中成像系统12被用于对物体14成像。术语“成像”、“对……成像”等在本文中指的是捕获平面图像、深度图像、灰度图像、彩色图像、红外(IR)图像、静态图像、以及时间解析的一系列静态图像(即视频)。

[0014] 图1中的成像系统12指向物体14的轮廓化的前表面16；这是正被成像的表面。在其中物体可相对于成像系统移动或反之的场景中，多个物体表面可被成像。图1中的物体的示意呈现不旨在在任何意义上进行限制，因为本公开适用于对许多不同种类的物体进行成像：例如内部和外部物体、背景和前景物体、以及诸如人之类的生物。

[0015] 成像系统12被配置成输出表示物体14的图像数据18。图像数据可被传送给图像接收器20——例如个人计算机、家庭娱乐系统、平板、智能电话、或游戏系统。图像数据可经由任何合适的接口传送——例如诸如通用串行总线(USB)之类的有线接口、或诸如Wi-Fi或蓝牙接口之类的无线接口。图像数据可被用在图像接收器20中用于各种目的——例如用于为虚拟现实(VR)应用构造环境10的地图、或者用于记录来自图像接收器的用户的姿势输入。在一些实施例中，成像系统12和图像接收器20可被一起集成在同一设备中——例如具有近眼显示器部件的可佩戴设备。

[0016] 成像系统12包括两个相机：具有右成像阵列24的右相机22、以及具有左成像阵列28的左相机26。右和左成像阵列相隔固定的水平距离D。将会理解，应用命名“右”和“左”仅仅是为了方便在所例示的配置中的组件标识。然而，本公开对于是所例示出的那些的镜像图像的配置也同等地满足。换言之，命名“右”和“左”可被整体互换以获得同样可接受的描述。类似的，相机和相关联的部件可垂直地或倾斜地分隔，并且被命名为“上”和“下”而不是“右”和“左”，而不背离本公开的精神或范围。

[0017] 继续图1，光学过滤器被布置成在左和右成像阵列的每一个的前方：光学过滤器30被布置在右成像阵列的前方，而光学过滤器32被布置在左成像阵列的前方。每一个光学过滤器被配置成仅让对在相关联的成像阵列上成像有用的那些波长通过。除了光学过滤器，物镜系统被布置成在右和左成像阵列的每一个的前方：物镜系统34被布置在右成像阵列的前方，而物镜系统36被布置在左成像阵列的前方。每一个物镜系统收集在一定场角度范围上的光并且将这样的光引导到相关联的成像阵列上，从而将每一个场角度映射到成像阵列的对应像素。在一个实施例中，对于两个相机，物镜系统所接受的场角度范围覆盖水平方向上的60度以及垂直方向上的40度。也构想了其他场角度范围。总的来说，物镜系统可被配置成使得右和左成像阵列具有重叠的视野，从而允许物体14(或其一部分)能够在重叠区域内被看到。

[0018] 在以上描述的配置中，来自右成像阵列24和左成像阵列28的强度响应像素的图像数据(分别是右图像和左图像)可经由立体视觉算法被组合以获得深度图像。本文中的术语“深度图像”指的是具有与每一个像素相关联的深度值Zi的矩形像素阵列(Xi,Yi)。在一些变例中，深度图像的每一个像素还可具有一个或多个相关联的亮度或色彩值——例如针对红光、绿光、以及蓝光的每一个的亮度值。

[0019] 为了从一对立体图像中计算深度图像，可使用图案匹配来标识右和左图像的对应(即匹配)像素，该标识基于它们的差异提供了立体光学深度估计。更具体地，对于右图像的每一个像素，标识左图像的对应(即匹配)像素。对应像素被假设对物体的相同轨迹成像。随后针对每一对对应的像素识别位置差异ΔX,ΔΥ。位置差异表示给定物体轨迹在左图像中的像素位置相对于右图像的偏移。如果成像系统12是水平取向的，则任何轨迹的深度坐标Zi是位置差异的水平分量ΔX和成像系统12的各个固定参数值的函数。这类固定参数值包括右和左成像阵列之间的距离D、右和左成像阵列的相应的光轴、以及物镜系统的焦距。在成像系统12中，在立体光学驱动器38中执行立体视觉算法，立体光学驱动器38可包括用于图案匹配的专用自动特征提取(AFE)处理器。

[0020] 在一些实施例中，右和左立体图像可在环境光条件下捕获而无需额外的光照源。在这一配置下，可用深度信息的量是成像表面16的2D特征密度的函数。如果该表面是无特征的(例如，光滑并且全部是同一颜色)，则将没有深度信息可用。为了解决这一不足，成像系统12可选地包括结构化光源40。该结构化光源被配置成在左成像阵列的视野中发射结构化光；该结构化光源包括高强度发光二极管(LED)发射器42以及重分布光学元件44。重分布光学元件被配置成收集和成角度地重新分布来自LED发射器的光，使得光以定义的结构从左相机26的物镜系统36周围的环形孔径中投射出。投射的光中所得到的结构可包括亮线或点的规则图案，例如或伪随机图案以避免混淆问题。在一个实施例中，LED发射器42可被配置成发射可见光——例如与基于硅的成像阵列的量子效率最大值匹配的绿光。在另一实施例中，LED发射器可被配置成发射IR或近IR光。以此方式，结构化光源40可被配置成在几乎任何无特征表面上给予可成像的结构，以便改善立体光学成像的可靠性。

[0021] 虽然如以上所描述的，物体14的深度图像可经由立体光学成像来计算，但是这一技术存在若干个限制的问题。首先并且最主要的，所要求的图案匹配算法是计算昂贵的，通常要求专用处理器或专用集成电路(ASIC)。此外，立体光学成像易受光学遮挡的影响，在无特征表面上不提供信息(除非与结构化光源一起使用)并且对于成像组件的不对齐相当敏感——无论是由制造公差所导致的静态不对齐，还是由温度变化和成像系统12的机械弯曲导致的动态不对齐。

[0022] 为了解决这些问题，同时仍然提供其它优点，成像系统12的右相机22被配置成工作为飞行时间(ToF)深度相机以及平面图像相机。为此目的，右相机包括经调制的光源46和ToF驱动器48。为了支持ToF成像，右成像阵列24包括多个相位响应像素，作为对强度响应像素的补充。

[0023] 经调制的光源46被配置成在右成像阵列24的视野中发射经调制的光；该经调制的光源46包括固态IR或近IR激光器50以及环形投射光学元件52。环形投射光学元件被配置成收集来自激光器的发射并重新引导该发射，使得该发射从右相机22的物镜系统34周围的环形孔径中投射出。

[0024] ToF驱动器48可包括图像信号处理器(ISP)。ToF驱动器被配置成调制来自经调制的光源46的光输出并且同步地控制来自右成像阵列24的相位响应像素的电荷收集。激光器可以是脉冲调制的或者连续波(CW)调制的。在其中使用CW调制的实施例中，两个或更多个频率可以是叠加的，以克服时域中的混淆。

[0025] 在一些配置和场景中，成像系统12的右相机22可由其自己使用来提供物体14的ToF深度图像。与立体光学成像形成对比，ToF方式从计算能力方面而言相对便宜，不易受光学遮挡影响，不要求无特征表面上的结构化光，并且对于对齐问题相对不敏感。另外，ToF成像通常展现优越的运动稳定性，因为其根据“全局快门”原理来工作。另一方面，典型的ToF相机在深度感测范围方面稍有些更受限，对于环境光和镜面反射表面的容忍度较低，并且可能受多路径反射混淆。

[0026] 以上提到的不足，无论是对于立体光学成像还是ToF成像，都在本文公开的配置和方法中得到解决。总而言之，本公开提供了部分基于ToF成像并且部分基于立体光学成像的混合深度感测模式。

[0027] 利用两种形式的深度成像的独特优点，(图2中所呈现的)右成像阵列24的特别的像素结构促成了这些混合模式。

[0028] 图2示出右成像阵列24的各方面。此处，放大地示出了各个像素元件，像素的数量被缩减。右成像阵列包括分布在多个强度响应像素56上的多个相位响应像素54。在一个实施例中，右成像阵列可以是电荷耦合器件(CCD)阵列。在另一实施例中，右成像阵列可以是互补金属氧化物半导体(CMOS)阵列。相位响应像素54可被配置用于门控脉冲ToF成像，或者以其它方式被配置用于连续波(CW)锁相ToF成像。

[0029] 在图2中示出的实施例中，每一个相位响应像素54都包括第一像素元件58A、相邻的第二像素元件58B，并且还可包括附图中未示出的另外的像素元件。每一个相位响应像素元件可包括一个或多个梳状栅、传输门和/或半导体基底上外延形成的集电节点。每一个相位响应像素的像素元件可被编址以便提供与来自经调制的光源的发射同步的两个或多个整合周期。整合周期可在相位和/或总整合时间上不同。基于在不同整合周期期间在这些像素元件上积聚的差分(而在一些实施例中是共模)电荷的相对量，可评估距物体的轨迹的距离。

[0030] 如上文提到的，像素元件58A和58B的编址与经调制的光源46的经调制的发射同步。在一个实施例中，激光器50和第一像素元件58A被同时通电，同时第二像素元件58B相对于第一像素元件180°异相通电。基于第一像素元件和第二像素元件中积聚的相对电荷量，在成像像素阵列中接收到的反射脉冲光相对于探测调制的相位角被计算出。根据该相位角，可基于已知的光在空气中的速度来计算到对应轨迹的距离。

[0031] 在图2中示出的实施例中，连续的相位响应像素54被布置成平行的行60，位于中间的、连续的强度响应像素56的各相互平行的行62之间。虽然附图示出单个中间行的强度响应像素位于相邻的相位响应像素的行之间，但是其它合适的配置可包括两个或更多个中间行。在其中使用可见光来执行立体光学成像的实施例中，每一个相位响应像素可包括一个光学过滤器层(在图2中以阴影来表示)，光学过滤器层被配置成阻挡经调制的光源的发射频带之外(例如以下)的波长。在这样的实施例中，光学过滤器30可包括双带通滤波器，该双带通滤波器被配置成透射可见光并且阻挡经调制的光源46的发射频带之外的红外光。图3中示出了光学过滤器30的代表性的透射光谱。

[0032] 在图2的实施例中，给定行的一组64个两个连续相位响应像素被并发地编址以提供针对该组的多个电荷存储。这一配置可提供三个或四个电荷存储。多个电荷存储使得ToF信息能够以对于物体或场景的运动的最小的影响而被捕捉。每一个电荷存储以不同的深度函数收集信息。多个电荷存储还可实现对运动中的相机的2D图像的超高分辨率，从而改善了配准。

[0033] 右成像阵列24的朝向在本公开的不同实施例中可以是不同的。在一个实施例中，相位响应和强度响应像素的各平行行可被垂直地布置以获得更好的ToF分辨率，尤其是当两个或更多个相位响应像素54被一起编址时(以实现多个电荷存储)。这一配置还降低了像素组64的纵横比。在其它实施例中，平行行可被水平地布置，已获得对于水平差异的更精细的识别。

[0034] 虽然图2示出了跨右成像阵列24的均匀的像素分布，但这一方面并不是必须的。在一些实施例中，右成像阵列的强度响应像素56仅被包括在右成像阵列的对右和左成像阵列的视野之间的重叠区域成像的部分中。右成像阵列的剩余部分可仅包括相位响应像素54。在这一实施例中，右成像阵列的重叠成像部分可被布置在右成像阵列的左边部分上。重叠成像部分的宽度可针对成像系统的期望应用、基于物体14相对于成像系统12的预定的、最可能的深度范围来确定。

[0035] 与右成像阵列24相反，左成像阵列28可以是仅仅强度响应像素的阵列。在一个实施例中，左成像阵列可以是红－绿－蓝(RGB)彩色像素阵列。相应地，第二成像阵列的强度响应像素包括红光、绿光、以及蓝光透射过滤元件。在另一实施例中，左成像阵列可以是未经过滤的单色阵列。在一些实施例中，左成像阵列的像素至少对IR或近IR有一定敏感。这一配置将实现例如在黑暗中的立体光学成像。代替额外的ToF驱动器，通用的左相机驱动器65可被用来质询左成像阵列。在一些实施例中，左成像阵列的像素级分辨率可大于右成像阵列的像素级分辨率。例如，左成像阵列可以是高分辨率彩色相机的成像阵列。在这种类型的配置中，成像系统12可向图像接收器20不仅提供有用的深度图像，还提供高分辨率彩色图像。

[0036] 图4例示了在具有右和左成像阵列的成像系统中执行的示例深度成像方法66，其中右和左成像阵列间隔固定距离并被配置成对物体成像。所例示的该方法的各步骤可针对物体的多个表面点的每一个来执行，并且这些点可取决于实施例以各种方式来选择。在一些实施例中，所选择的表面点是被成像到右成像阵列24的强度响应像素上的点(每一个、隔一个、每三个强度响应像素等)。在其它实施例中，多个表面点可以是在来自右成像阵列的强度响应像素的图像数据中自动识别出的密集或稀疏的特征点子集——例如当物体由环境光照亮时。在又一些其它实施例中，多个表面点可以是具体由来自成像系统的结构化光源的结构化光所照亮的点。在方法66的一些实施方式中，这些多个表面点可以是依次通过光栅的。在其它实施方式中，多个表面点中的两个或更多个子集可各自被分派给其自己的处理器核并且被并行处理。

[0037] 在方法66的68，来自成像系统的经调制的光源的发射经由脉冲或连续波调制来调制。同步地，在70，来自成像系统的右成像阵列的相位响应像素的电荷收集被控制。在72，这些动作提供了对于物体的每一个表面点的ToF深度估计。在74，为每一个表面点计算ToF深度估计中的不确定性。简单来说，右成像阵列的相位响应像素可经由不同门控方案来编址，从而得到ToF深度估计的分布。分布的宽度是对当前表面点处的ToF深度估计的不确定性的替代。

[0038] 在76，确定ToF深度估计的不确定性是否低于预定阈值。如果不确定性低于预定阈值，则当前表面点的立体光学深度估计被确定为非必要，并且对于当前表面点可被忽略。在这一场景中，提供ToF深度估计(在以下的86)作为最终的深度输出，从而减少了必需的计算工作量。如果不确定性不低于预定阈值，则方法继续到78，在78，基于该点的ToF深度估计和已知的成像系统参数来预测右和左立体图像之间的位置差异。

[0039] 在80，基于预测的差异来选择左图像的搜索区域。在一个实施例中，搜索区域可以是以目标像素周围为中心的一组像素。目标像素可以相对于右成像阵列的给定像素偏移等于预测的差异的量。在一个实施例中，在74计算的不确定性控制对应于该点的被搜索子集的大小。具体地，当不确定性大时，可搜索目标像素周围的较大的子集，而当不确定性小时，可搜索目标像素周围的较小的子集。这减少了后续图案匹配中的不必要的计算工作量。

[0040] 在82，在左图像的被选择的搜索区域内执行图案匹配算法以定位左成像阵列的对应于右成像阵列的给定强度响应像素的强度响应像素。这一处理得到对应像素之间的更精细的差异。在84，右成像阵列的强度响应像素和左成像阵列的对应的强度响应像素之间的更精细的差异被识别，以便为物体的多个表面点的每一个提供立体光学深度估计。

[0041] 在86，成像系统基于ToF深度估计和立体光学深度估计为物体的多个表面点的每一个返回输出。在一个实施例中，返回的输出包括对ToF深度估计和立体光学深度估计的加权平均。在其中ToF不确定性可用的实施例中，ToF和立体光学深度估计的相对权重可基于不确定性来调整，以便提供针对当前表面点的更准确的输出：更准确的ToF估计被赋予更重的权重，越不准确的ToF估计被赋予较轻的权重。在一些实施例中，如果不确定性或深度分布指示多个反射已污染了当前表面点附近的ToF估计，则ToF估计可被完全忽略。

[0042] 在又一些其它实施例中，在86，返回输出可包括使用立体光学估计来过滤来自与第一成像阵列的强度响应像素的被搜索的子集相对应的相位响应像素的噪声。换言之，立体光学深度测量可被选择性地使用——即在ToF图像被过量的噪声毁坏的区域中被使用——而在ToF噪声未过量的区域中被忽略。这一策略可被用于是整体计算量更经济。

[0043] 从前述描述中显而易见，本文所描述的方法和过程可被绑定到一个或多个计算机器的计算系统—例如图1的ToF驱动器48、左相机驱动器65、立体光学驱动器38、以及图像接收器20。这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其它计算机程序产品。每个计算机器可包括逻辑机90、相关联的计算机存储机92、以及通信机94(针对图像接收器20显式地示出，并且在其它计算机器中也存在)。

[0044] 每个逻辑机90包括被配置成执行指令的一个或多个物理逻辑设备。逻辑机可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其他方式得到期望结果。

[0045] 逻辑机90可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核，且在其上执行的指令可被配置用于串行、并行和/或分布式处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置用于进行协同处理。逻辑机的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。

[0046] 计算机存储机92包括被配置成保持可由相关联的逻辑机90执行以实现此处描述的方法和过程的指令的一个或多个物理计算机存储器设备。在实现这些方法和过程时，可以变换计算机存储机的状态—例如以保存不同的数据。

[0047] 计算机存储机可包括可移动的和/或内置设备；它可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光碟等)、半导体存储器(例如，RAM、EPROM、EEPROM等)、和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)、以及其他。计算机存储机可以包括易失性的、非易失性的、动态的、静态的、读/写的、只读的、随机存取的、顺序存取的、位置可定址的、文件可定址的、和/或内容可定址的设备。

[0048] 可以理解，计算机存储器92包括一个或多个物理设备。然而，本文所述的指令的各方面替代地可由通信介质(如电磁信号、光学信号等)来传播，而不是经由存储介质进行存储。

[0049] 逻辑机90和计算机存储器92的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。

[0050] 术语“模块”、“程序”和“引擎”可用于描述被实现为执行一特定功能的计算机系统的一方面。在某些情况下，可经由执行由计算机存储机所保持的指令的逻辑机来实例化模块、程序或引擎。将会理解，可以从同一应用、服务、代码块、对象、库、例程、API、功能等实例化不同的模块、程序、以及引擎。同样，同一模块、程序、以及引擎可由不同的应用、服务、代码块、对象、例程、API、功能等实例化。模块、程序、或引擎可包含可执行文件、数据文件、库、驱动器、脚本、数据库记录等等的个体或群组。

[0051] 通信机器94可被配置为将计算系统通信地耦合到一个或多个其它机器，包括服务器计算机系统。通信机器可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信机器可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些示例中，通信机器可允许计算机器经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。

[0052] 将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实现或示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。

[0053] 本公开涉及了一种包括第一和第二成像阵列、经调制的光源、以及第一和第二驱动器的成像系统。所述第一成像阵列包括分布在多个强度响应像素上的多个相位响应像素。所述经调制的光源被配置成在所述第一成像阵列的视野中发射经调制的光。所述第一驱动器被配置成调制所述光并且同步地控制来自所述相位响应像素的电荷收集以提供飞行时间深度估计。所述第二成像阵列是被布置成与所述第一成像阵列相距一固定距离的强度响应像素的阵列。所述第二驱动器被配置成识别所述第一成像阵列的强度响应像素和所述第二成像阵列的对应的强度响应像素之间的差异来提供立体光学深度估计。

[0054] 以上概括的成像系统可进一步包括结构化光源，所述结构化光源被配置成在所述第二成像阵列的视野中发射结构化的光。成像系统可进一步包括第一和第二物镜系统，所述第一和第二物镜系统被布置成分别在所述第一和第二成像阵列的前面，并且被配置成使得所述第一和第二成像阵列具有重叠的视野。在成像系统的一些实施方式中，所述多个相位响应像素被布置成平行的多行连续相位响应像素，位于中间的、连续的强度响应像素的各相互平行的行之间。在这个及其它实施方式中，给定行的一组连续相位响应像素被并发地编址以提供针对该组的多个电荷存储。在这个及其它实施方式中，平行的行可被垂直或水平地布置。在这个及其它实施方式中，所述第一成像阵列的强度响应像素可仅被包括在所述第一成像阵列的对所述第一和第二成像阵列的视野之间的重叠进行成像的部分中。

[0055] 以上概括的成像系统可进一步包括双带通光学滤波器，所述双带通光学滤波器被布置在所述第一成像阵列前面并且被配置成透射可见光并且阻挡所述经调制的光源的发射频带之外的红外光。在成像系统的一些实施方式中，每一个相位响应像素包括光学过滤器层，所述光学过滤器层被配置成阻挡所述经调制的光源的发射频带之外的波长。在这些及其它实施方式中，所述第二成像阵列的强度响应像素可包括红光、绿光、以及蓝光透射过滤元件。所述经调制的光源可以是例如红外光源。

[0056] 本公开还涉及一种在具有经调制的光源以及第一和第二成像阵列的成像系统中执行的深度感测方法，其中所述第一和第二成像阵列间隔一固定距离并且被配置成对物体成像。该方法包括下述动作：调制来自经调制的光源的发射并且同步地控制来自所述第一成像阵列的相位响应像素的电荷收集以为所述物体的多个表面点中的每一个提供飞行时间深度估计；识别所述第一成像阵列的强度响应像素和所述第二成像阵列的对应的强度响应像素之间的差异，以便为所述物体的多个表面点中的每一个提供立体光学深度估计；以及基于所述飞行时间深度估计和所述立体光学深度估计为所述物体的多个表面点中的每一个返回输出。

[0057] 在上述方法的一些实施方式中，所述输出包括针对所述物体的多个表面点中的每一个的飞行时间深度估计和立体光学深度估计的加权平均。所述方法还可包括为所述物体的给定表面点计算飞行时间深度估计的不确定性，并且基于所述不确定性来调整与该表面点相关联的加权平均中的相对权重。在这一及其它实施方式中，该方法还可包括如果所述不确定性低于阈值，则忽略针对所述给定点的立体光学深度估计。在这些及其它实施方式中，多个表面点可以是由来自成像系统的结构化光源的结构化光所照亮的点。在这些及其它实施方式中，多个表面点可以是在来自第一和第二成像阵列的强度响应像素的图像数据中自动识别的特征点。

[0058] 本公开还涉及另一种在具有经调制的光源以及第一和第二成像阵列的成像系统中执行的深度感测方法，其中所述第一和第二成像阵列间隔一固定距离并且被配置成对物体成像。该方法包括下述动作：调制来自经调制的光源的发射并且同步地控制来自所述第一成像阵列的相位响应像素的电荷收集以为所述物体的多个表面点中的每一个提供飞行时间深度估计；搜索第一和第二成像阵列的强度响应像素的子集以标识对应像素，所搜索的子集是基于搜索飞行时间深度估计来选择的；识别所述第一成像阵列的强度响应像素和所述第二成像阵列的对应的强度响应像素之间的差异，以便为所述物体的多个表面点中的每一个提供立体光学深度估计；以及基于所述飞行时间深度估计和所述立体光学深度估计为所述物体的多个表面点中的每一个返回输出。在一些实施方式中，以上的方法还可包括为所述物体的每一个表面点计算飞行时间深度估计的不确定性，其中所计算的不确定性决定对应于该点的被搜索的子集的大小。在这些及其它实施方式中，基于飞行时间深度估计以及立体光学深度估计返回输出可包括使用立体光学估计来过滤来自与第一成像阵列的强度响应像素的被搜索的子集相对应的相位响应像素的噪声。

[0059] 本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。