使用条纹干涉测量法进行深度确定的系统和设备转让专利

申请号 : CN201910190419.0

文献号 : CN110275174A

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 迈克尔·霍尔朝晴

申请人 : 脸谱科技有限责任公司

摘要 :

本发明涉及使用条纹干涉测量法进行深度确定的系统和设备。深度相机组件(DCA)确定DCA与位于DCA视野内的局部区域中的对象之间的距离。DCA将一系列的正弦曲线图案投射到局部区域DCA中并且经由传感器捕获正弦曲线图案的图像。增强传感器的每个像素包括多个电荷箱,并且在不同时间间隔(例如,发射不同的正弦曲线图案时的时间)期间通过像素的光电二极管累积的电荷储存在不同的电荷储存箱中。可以从不同的电荷储存箱中取回电荷,以确定距DCA的深度。

权利要求 :

1.一种系统,包括:

照明源,被配置为将包含一系列周期照明图案的光发射到围绕所述照明源的局部区域中,每个周期照明图案具有不同的空间相移;

传感器,与所述照明源分开特定的距离,所述传感器包含多个像素,每个像素包括:光电二极管,被配置为基于来自所述局部区域的照射所述光电二极管的光累积电荷;

多个电荷储存箱,耦接至所述光电二极管,每个电荷储存箱通过传输门耦接至所述光电二极管;以及控制器,耦接至所述传感器,所述控制器被配置为确定所述照明源在一时间间隔期间发射周期照明图案并将控制信号传送至所述传感器,一个控制信号打开使像素的所述光电二极管在所述照明源发射所述周期照明图案时的所述时间间隔期间耦接至特定电荷储存箱的特定传输门,并且其他控制信号关闭使所述像素的光电二极管耦接至其他电荷储存箱的传输门。

2.根据权利要求1所述的系统,其中,所述控制器耦接至所述照明源并且进一步被配置为:将关闭所述特定传输门的附加控制信号传送至所述传感器以使所述像素的所述光电二极管与所述特定电荷储存箱解耦,而耦接至所述像素的所述光电二极管的其他传输门在从所述照明源停止发射周期照明图案的时间起的阈值时间间隔内保持关闭。

3.根据权利要求2所述的系统,其中,所述控制器进一步被配置为:确定所述照明源发射所述周期照明图案时的附加时间间隔;

将打开附加传输门的替代控制信号传送至所述传感器以使所述像素的所述光电二极管耦接至附加电荷储存箱,而耦接至所述像素的所述光电二极管的所述特定传输门和其他传输门响应于确定所述照明源在所述附加时间间隔期间发射所述周期照明图案而保持关闭。

4.根据权利要求3所述的系统,其中,所述控制器进一步被配置为:将关闭所述附加传输门的另一控制信号传送至所述传感器以使所述像素的所述光电二极管与所述附加电荷储存箱解耦,而耦接至所述像素的所述光电二极管的所述特定传输门和其他传输门在从所述照明源停止发射周期照明图案的时间起的阈值时间间隔内保持关闭。

5.根据权利要求3所述的系统,其中,所述控制器进一步被配置为:确定所述照明源发射所述周期照明图案的替代时间间隔;

将打开替代传输门的另一控制信号传送至所述传感器以使所述像素的所述光电二极管耦接至替代电荷储存箱,而耦接至所述像素的所述光电二极管的所述特定传输门、所述附加传输门、以及其他传输门响应于确定所述照明源在所述替代时间间隔期间发射所述周期照明图案而保持关闭。

6.根据权利要求1所述的系统,其中,每个像素进一步包括:

漏极,通过光闸耦接至所述光电二极管。

7.根据权利要求6所述的系统,其中,所述控制器耦接至所述照明源并被配置为向所述传感器提供打开所述光闸的信号,以使由所述光电二极管累积的电荷在所述照明源停止发射周期照明图案的时间起的阈值时间间隔内引导至所述漏极。

8.根据权利要求1所述的系统,其中,所述控制器被配置为在与所述照明源发射所述周期照明图案相对应的不同的时间将打开不同的传输门的控制信号传送至所述传感器。

9.根据权利要求1所述的系统,其中,所述照明源被配置为在不同的时间发射不同的周期照明图案,并且所述控制器被配置为在所述照明源发射不同的周期照明图案时将打开不同的传输门的控制信号传送至所述传感器。

10.根据权利要求1所述的系统,其中,所述控制器进一步被配置为:将在耦接至所述光电二极管的所述多个电荷储存箱中的每一个中累积的电荷进行组合。

11.一种设备,包括:

传感器,包含多个像素,每个像素包括:

光电二极管,被配置为基于来自局部区域的照射所述光电二极管的光累积电荷;和多个电荷储存箱,耦接至所述光电二极管,每个电荷储存箱通过传输门耦接至所述光电二极管;以及控制器,耦接至所述传感器,所述控制器被配置为将控制信号传送至所述传感器,一个控制信号打开使像素的所述光电二极管在一时间间隔期间耦接至特定电荷储存箱的特定传输门,并且其他控制信号关闭使所述像素的所述光电二极管耦接至其他电荷储存箱的传输门。

12.根据权利要求11所述的设备,其中,所述时间间隔包括照明源发射周期照明图案时的持续时间。

13.根据权利要求12所述的设备,其中,所述控制器进一步被配置为:将关闭所述特定传输门的附加控制信号传送至所述传感器以使所述像素的所述光电二极管与所述特定电荷储存箱解耦,而耦接至所述像素的所述光电二极管的其他传输门在从所述照明源停止发射周期照明图案的时间起的阈值时间间隔内保持关闭。

14.根据权利要求13所述的设备,其中,所述控制器进一步被配置为:确定所述照明源发射所述周期照明图案时的附加时间间隔;

将打开附加传输门的替代控制信号传送至所述传感器以使所述像素的所述光电二极管耦接至附加电荷储存箱,而耦接至所述像素的所述光电二极管的所述特定传输门和其他传输门在所述照明源在所述附加时间间隔期间发射所述周期照明图案时保持关闭。

15.根据权利要求14所述的设备,其中,所述控制器进一步被配置为:将关闭所述附加传输门的另一控制信号传送至所述传感器以使所述像素的所述光电二极管与所述附加电荷储存箱解耦,而耦接至所述像素的所述光电二极管的所述特定传输门和其他传输门在从所述照明源停止发射周期照明图案的时间起的阈值时间间隔内保持关闭。

16.根据权利要求14所述的设备,其中,所述控制器进一步被配置为:确定所述照明源发射所述周期照明图案时的替代时间间隔;

将打开替代传输门的另一控制信号传送至所述传感器以使所述像素的所述光电二极管耦接至替代电荷储存箱,而耦接至所述像素的所述光电二极管的所述特定传输门、所述附加传输门、以及其他传输门在所述照明源在所述替代时间间隔期间发射所述周期照明图案时保持关闭。

17.根据权利要求11所述的设备,其中,每个像素进一步包括:漏极,通过光闸耦接至所述光电二极管。

18.根据权利要求17所述的设备,其中,所述控制器进一步被配置为向所述传感器提供打开所述光闸的信号,以在替代时间间隔期间使所述光电二极管累积的电荷引导至所述漏极。

19.根据权利要求18所述的设备,其中,所述时间间隔对应于照明源发射周期照明图案的时间并且所述替代时间间隔对应于所述照明源不发射所述周期照明图案的时间。

20.根据权利要求1所述的系统,其中,所述控制器进一步被配置为:将在耦接至所述光电二极管的所述多个电荷储存箱中的每一个中累积的电荷进行组合。

说明书 :

使用条纹干涉测量法进行深度确定的系统和设备

[0001] 相关申请的交叉引用
[0002] 本申请要求保护于2018年3月13日提交的美国临时申请号62/642,199的权益,其全部内容通过引用结合在此。

技术领域

[0003] 本公开整体涉及虚拟现实或增强现实系统,并且更具体地,涉及获得局部区域的深度信息的虚拟现实系统的头戴设备。

背景技术

[0004] 通过头戴式显示器(HMD)向用户提供虚拟现实(VR)或增强现实(AR)内容通常依赖于定位用户在任意环境中的位置并且确定任意环境内的周围环境的三维映射。因此,可以在虚拟环境中呈现任意环境内的用户的周围环境,或用户的周围环境可以被附加内容覆盖。
[0005] 常规的HMD包括确定用户环境内的用户的周围环境的一个或多个量化深度相机。通常,常规的深度相机使用结构化光或飞行时间确定HMD在环境内的位置。结构化光深度相机使用有源照明源将已知图案投射到HMD周围的环境中。然而,结构化光通常需要这样一种图案,即,被投射成配置为使得图案的不同部分包括后期被识别的不同特性。图案的不同部分具有不同的特性使所投射图案的所得图像的很大部分不能被照射到。这使得使用捕获所得图像的传感器的效率低下;例如,在要求照射多个传感器像素来执行单次深度测量时,通过结构化光深度相机投射图案导致少于10%的传感器像素从所投射图案采集光。
[0006] 飞行时间深度相机测量被投射至深度相机周围的环境中并且返回至传感器阵列上的像素的光的往返行进时间。尽管飞行时间深度相机能够经由每个传感器像素独立地测量环境中的不同对象的深度,但是入射在传感器像素上的光可以是从深度相机周围的环境中的多个光路接收的光的组合。解决入射在传感器像素上的光的光路的现有技术在计算上是复杂的并且不能完全区分环境中的光路。

发明内容

[0007] 虚拟现实(VR)或增强现实(AR)系统环境中的头戴设备包括深度相机组件(DCA),深度相机组件(DCA)被配置为确定头戴式显示器(HMD)与位于HMD周围的区域中和在头戴设备包括的成像装置的视野(即,“局部区域”)内的一个或多个对象之间的距离。DCA包括诸如相机等成像装置和照明源,成像装置相对于照明源放置在特定的距离处。照明源被配置为将一系列的周期照明图案(例如,正弦曲线)发射至局部区域中。该系列中的每个周期照明图案以不同的量相移。照明图案的周期是对通过照明图案照射的对象进行观察的空间周期,并且相移是沿着周期的方向的横向空间相移。在各个实施方式中,照明图案的周期在与照明源和DCA的成像装置的中心之间的位移平行的方向上。
[0008] 成像装置经由包括多个像素并且耦接至处理器的传感器捕获包括周期照明图案的帧。对于传感器中的每个像素,处理器将通过多个图像中的像素捕获的强度与通过多个图像捕获的周期照明图案的相移相关联。从通过像素捕获的周期照明图案的相移中,处理器确定局部区域内的位置的深度,从这个位置,像素从HMD捕获周期照明图案的强度。传感器中的每个像素可以基于周期照明图案的捕获强度独立确定深度,最佳地,使用DCA的传感器中的像素进行确定。
[0009] 在各个实施方式中,传感器中的每个像素包括通过传输门耦接至多个电荷储存箱的光电二极管。例如,传感器中的像素包括耦接至三个电荷储存箱的光电二极管,且不同的传输门将光电二极管耦接至不同的电荷储存箱。在不同的时间,像素接收打开特定传输门的控制信号,而其他传输门保持关闭。通过像素的光电二极管累积的电荷经由打开的特定传输门累积在电荷储存箱中。随后,特定的传输门关闭并且通过光电二极管累积电荷。通过像素接收的后续控制信号在不同的时间打开另一传输门,以使得通过光电二极管累积的电荷经由其他传输门累积在另一电荷储存箱中。在各个实施方式中,当照明源发射周期照明图案时,在不同的时间打开不同的传输门。例如,在照明源发射周期照明图案的时间间隔内,打开第一传输门,而其他传输门保持关闭。当照明源停止发射周期照明图案时,第一传输门关闭。随后,当照明源在另一时间间隔内发射周期照明图案时,打开不同的传输门。因此,在不同的时间,不同的电荷储存箱储存通过传感器累积的电荷。回收累积在不同的电荷储存箱中的电荷并且使用电荷确定局部区域中的位置的深度,从这个位置,像素捕获光的强度。

附图说明

[0010] 图1是根据实施方式的用于提供虚拟现实或增强现实内容的系统环境的框图。
[0011] 图2是根据实施方式的头戴式显示器(HMD)的示图。
[0012] 图3是根据实施方式的头戴式显示器(HMD)的前刚体的截面图。
[0013] 图4是根据实施方式的发射至局部区域中并且由深度相机组件捕获的光的实例。
[0014] 图5是根据实施方式的使用由DCA发射的光的连续强度图案的多个频率识别传感器中的像素的相移的实例。
[0015] 图6A是根据实施方式的在深度相机组件的成像装置中包括的传感器的示例性像素。
[0016] 图6B是根据实施方式的操作图6A中所示的示例性像素的控制信号的实例。
[0017] 图7是根据实施方式的操作图6A中所示的示例性像素的控制信号的另一实例。
[0018] 图仅出于示出之目的描述了本公开的实施方式。本领域技术人员从下列描述中易于认识到,在不背离此处描述的本公开的原理或兜售的益处的情况下,可以采用此处示出的结构和方法的可替代实施方式。

具体实施方式

[0019] 系统概况
[0020] 图1是控制台10在其中操作的系统环境100的一个实施方式的框图。在各个实施方式中,图1中所示的系统环境100可以向用户提供增强现实(AR)或虚拟现实(VR)内容。此外或可替代地,系统环境100生成一个或多个虚拟环境并且向用户提供用户可以与其交互的虚拟环境。图1所示的系统环境100包括头戴式显示器(HMD)105和耦接至控制台110的输入/输出(I/O)接口115。尽管图1示出了包括一个HMD 105和一个I/O接口115的示例性系统环境100,但是在其他实施方式中,系统环境100中可以包括任意数量的这些部件。例如,可以存在各自具有相关联的I/O接口115的多个HMD 105,每个HMD 105和每个I/O接口115与控制台
110通信。在可替代的配置中,系统环境100中可以包括不同和/或附加的部件。此外,在一些实施方式中,结合图1中所示的一个或多个部件描述的功能可以通过与结合图1描述的不同方式在部件之间分布。例如,由HMD 105提供控制台110的一些或全部功能。
[0021] 头戴式显示器(HMD)105向用户呈现包括物理的现实世界环境的增强视野、具有计算机生成元素(例如,二维(2D)或三维(3D)图像,2D或3D视频,声音等)的内容、或呈现包括虚拟环境的内容。在一些实施方式中,所呈现的内容包括经由外部装置(例如,扬声器和/或耳麦)呈现的音频,外部装置从HMD 105、控制台110、或两者接收音频信息并且基于音频信息呈现音频数据。下面结合图2和图3进一步描述了HMD 105的实施方式。HMD 105可以包括将彼此刚性或非刚性地耦接在一起的一个或多个刚体。刚体之间的刚性耦接使耦接的刚体用作单个刚性实体。相反,刚体之间的非刚性耦接允许刚体相对于彼此移动。
[0022] HMD 105包括深度相机组件(DCA)120、电子显示器125、光学块130、一个或多个位置传感器135、以及惯性测量单元(IMU)140。HMD 105的一些实施方式具有与结合图1描述的不同部件。此外,在其他实施方式中,由结合图1描述的各个部件提供的功能可以不同地分布在HMD 105的部件之中。
[0023] DCA 120捕获描述HMD 105周围的区域的深度信息的数据。DCA 120的一些实施方式包括一个或多个成像装置(例如,相机、摄影仪)及被配置为发射一系列的周期照明图案的照明源,每个周期照明图案以不同的量相移。作为另一实例,照明源发射各自具有特定的空间相移的一系列正弦曲线。照明图案的周期性是在由照明图案照射的对象上观察到的空间周期性,并且相移是沿着周期性方向的横向空间相移。在各个实施方式中,照明图案的周期性在与照明源和DCA 120的成像装置的中心之间的位移平行的方向上。
[0024] 例如,照明源将各自具有不同的空间相移的一系列正弦曲线发射至HMD 105周围的环境中。在其他实例中,照明源发射乘以低频率包络(诸如高斯)的正弦曲线图案,低频率包络改变成像装置的视野内的相对信号强度。成像装置视野内的这种相对信号强度的变化改变了时间噪声特性,而不影响深度确定,这在下面结合提供更高频率信号为正弦曲线的图4和图5进一步描述。DCA 120的成像装置包括传感器,传感器包括多个像素,该多个像素基于多个捕获图像中所包括的相对强度来确定在由成像装置捕获的多个图像中包括的周期照明图案的相移。如下面结合图4和图5进一步描述的,由于相移是深度的函数,因此DCA 120从所确定的相移来确定局部区域内的位置(周期性照明的图像来自于这个位置)的深度。在各个实施方式中,成像装置中的传感器的每个像素基于针对由像素捕获的周期照明图案所确定的相移来确定局部区域内的位置的深度,像素从这个位置捕获周期照明图案的强度。
[0025] 成像装置捕获并且记录光的波长(即,光的“波段”)的具体范围。通过成像装置捕获的光的示例性波段包括:可见波段(~380nm至750nm)、红外(IR)波段(~750nm至2200nm)、紫外线波段(100nm至380nm)、电磁光谱的另一部分、或其某种组合。在一些实施方式中,成像装置捕获包括可见波段和红外波段内的光的图像。
[0026] 电子显示器125根据从控制台110接收的数据将2D或3D图像显示给用户。在各个实施方式中,电子显示器125包括单个电子显示器或多个电子显示器(例如,用于用户的每只眼睛的显示器)。电子显示器125的实例包括:液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、某一其他显示器、或其某种组合。
[0027] 光学块130对从电子显示器125接收的图像光进行放大、校正与图像光相关联的光学误差、并且将校正的图像光呈现给HMD 105的用户。在各个实施方式中,光学块130包括一个或多个光学元件。光学块130中包括的示例性光学元件包括:孔、菲涅耳透镜、凸透镜、凹透镜、滤波器、反射面、或影响图像光的任意其他合适的光学元件。而且,光学块130可以包括不同光学元件的组合。在一些实施方式中,光学块130中的一个或多个光学元件可以具有诸如抗反射涂层的一个或多个涂层。
[0028] 相比于较大的显示器,通过光学块130放大并且聚焦图像光允许电子显示器125在物理上更小、重量更轻、并且消耗更少的功率。此外,放大可以增加通过电子显示器125呈现的内容的视野。例如,所显示内容的视野使得使用几乎全部(例如,近似110度的对角线)并且在一些情况下是全部的用户的视野来呈现所显示的内容。此外,在一些实施方式中,通过添加或移除光学元件可以调整放大量。
[0029] 在一些实施方式中,光学块130可以被设计成校正一种或多种类型的光学误差。光学误差的实例包括桶形失真、枕形失真、纵向色差、或横向色差。其他类型的光学误差可以进一步包括球形像差、彗形像差、或由于透镜场曲率产生的误差、散光、或任意其他类型的光学误差。在一些实施方式中,使得提供至电子显示器125进行显示的内容预失真,并且当从基于内容生成的电子显示器125接收图像光时,光学块130校正失真。
[0030] IMU 140是基于从一个或多个位置传感器135接收的测量信号和从DCA 120接收的深度信息生成指示HMD 105的位置的数据的电子设备。位置传感器135响应HMD 105的运动生成一个或多个测量信号。位置传感器135的实例包括:一个或多个加速计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器、校正IMU 140的误差时使用的传感器类型、或其某种组合。位置传感器135可以位于IMU 140的外部、IMU 140的内部、或其某种组合。
[0031] 基于来自一个或多个位置传感器135的一个或多个测量信号,IMU 140生成指示HMD 105相对于HMD 105的初始位置的估计当前位置的数据。例如,位置传感器135包括测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速计和测量旋转运动(例如,俯仰、偏航、滚动)的多个陀螺仪。在一些实施方式中,IMU 140对测量信号进行快速地采样并且从采样数据计算HMD 105的估计当前位置。例如,IMU 140对从加速计接收的测量信号随时间积分以估计速度矢量,并且对速度矢量随时间积分以确定HMD 105上的参考点的估计当前位置。可替代地,IMU 140将采样测量信号提供至控制台110,控制台解释数据以减小误差。参考点是可以用来描述HMD 105的位置的点。参考点通常可以定义成与HMD 105的取向和位置有关的空间中的点或位置。
[0032] IMU 140从控制台110接收一个或多个参数。如下面进一步讨论的,使用一个或多个参数保持跟踪HMD 105。基于接收的参数,IMU 140可以调整一个或多个IMU参数(例如,采样率)。在一些实施方式中,特定的参数使IMU 140更新参考点的初始位置,以使得其与参考点的下一位置对应。将参考点的初始位置更新成参考点的下一校准位置有助于减少与估计IMU 140的当前位置相关联的累积误差。累积误差(也被称之为漂移误差)使参考点的估计位置随着时间远离参考点的实际位置“漂移”。在HMD 105的一些实施方式中,IMU 140可以是专用的硬件部件。在其他实施方式中,IMU 140可以是在一个或多个处理器中实现的软件部件。
[0033] I/O接口115是允许用户发送动作请求并且从控制台110接收响应的装置。动作请求是执行特定动作的请求。例如,动作请求可以是开始或结束图像或视频数据的捕获的指示或者是在应用程序内执行特定动作的指示。I/O接口115可包括一个或多个输入装置。示例性输入装置包括:键盘、鼠标、游戏控制器、或用于接收动作请求并将动作请求传送至控制台110的任何其他合适的装置。由I/O接口115接收的动作请求被传送至控制台110,该控制台执行与动作请求对应的动作。在一些实施方式中,I/O接口115包括IMU 140,如以下进一步描述的,该IMU捕获指示相对于I/O接口115的初始位置的I/O接口115的估计位置的校准数据。在一些实施方式中,I/O接口115可以根据从控制台110接收的指令向用户提供触觉反馈。例如,当接收动作请求时提供触觉反馈,或者当控制台110执行动作时控制台110将指令传送至I/O接口115使得I/O接口115生成触觉反馈。
[0034] 控制台110根据从DCA 120、HMD 105和I/O接口115中的一个或多个接收的信息将内容提供给HMD 105以进行处理。在图1示出的实例中,控制台110包括应用存储器150、跟踪模块155和内容引擎145。控制台110的一些实施方式具有与结合图1描述的那些模块或部件不同的模块或部件。相似地,可以以与结合图1描述的不同方式在控制台110的部件中分配下面进一步描述的功能。
[0035] 应用存储器150存储由控制台110执行的一个或多个应用程序。应用程序是一组指令,该组指令在由处理器执行时生成用于呈现给用户的内容。由应用程序生成的内容可响应经由HMD 105或I/O接口115的移动从用户接收的输入。应用程序的实例包括:游戏应用程序、会议应用程序、视频播放应用程序、或其他合适的应用程序。
[0036] 跟踪模块155使用一个或多个校准参数校准系统环境100并且可以调整一个或多个校准参数以减小确定HMD 105或I/O接口115的位置的误差。例如,跟踪模块155将校准参数传送至DCA 120以调整DCA 120的焦点以从所捕获的强度更精确地确定围绕HMD 105的局部区域内的位置的深度。由跟踪模块155执行的校准还考虑从HMD 105中的IMU 140和/或包括在I/O接口115中的IMU 140接收的信息。此外,如果HMD 105的跟踪丢失(例如,DCA 120失去至少阈值数量的SL元素的视线),则跟踪模块140可以重新校准系统环境100中的一些或全部。
[0037] 跟踪模块155使用来自DCA 120、一个或多个位置传感器135、IMU 140或者它们的某种组合的信息跟踪HMD 105或I/O接口115的移动。例如,跟踪模块155基于来自HMD 105的信息确定HMD 105在局部区域的映射中的位置和参考点。跟踪模块155还可以使用来自IMU 140的指示HMD 105的位置的数据或者使用来自包括在I/O接口115中的IMU 140的指示I/O接口115的位置的数据分别确定HMD 105的参考点的位置或者I/O接口115的参考点的位置。
此外,在一些实施方式中,跟踪模块155可以使用来自IMU 140的指示HMD 105的位置的数据的部分以及来自DCA 120的局部区域的表示,来预测HMD 105的未来位置。跟踪模块155将HMD 105或I/O接口115的估计的或预测的未来位置提供至内容引擎145。
[0038] 内容引擎145基于从包括在HMD 105中的DCA120接收的信息生成围绕HMD 105的区域(即,“局部区域”)的3D映射。在一些实施方式中,内容引擎145基于由成像装置中的传感器的每个像素确定的深度从由传感器的像素捕获的多个图像中的相对强度确定的相移来确定局部区域的3D映射的深度信息。在各种实施方式中,内容引擎145使用由DCA 120确定的不同类型的信息或者由DCA 120确定的信息类型的组合来生成局部区域的3D映射。
[0039] 内容引擎145也执行系统环境100内的应用程序并且从跟踪模块155接收HMD 105的位置信息、加速度信息、速度信息、预测的未来位置或它们的某种组合。基于所接收的信息,内容引擎145确定提供给HMD 105以呈现给用户的内容。例如,如果所接收的信息指示用户看向左边,则内容引擎145生成用于在虚拟环境中或者在利用额外内容增强局部区域的环境中反映用户的移动的HMD 105的内容。此外,内容引擎145响应于从I/O接口115接收的动作请求在控制台110上执行的应用程序内执行动作并且将该动作被执行的反馈提供至用户。所提供的反馈可以是经由HMD105的视觉反馈或听觉反馈或者经由I/O接口115的触觉反馈。
[0040] 头戴式显示器
[0041] 图2是头戴式显示器(HMD)200的一个实施方式的线图。HMD 200是HMD 105的实施方式,并且包括前刚体205、带子210、参考点215、左侧220A、顶侧220B、右侧220C、底侧220D和前侧220E。在图2中示出的HMD 200还包括深度相机组件(DCA)120的实施方式,其包括以下结合图3和图4进一步描述的成像装置225和照明源230。前刚体205包括电子显示器125(未示出)的一个或多个电子显示元件、IMU 130、一个或多个位置传感器135和参考点215。
[0042] 在由图2示出的实施方式中,HMD 200包括DCA 120,该DCA包括成像装置225(诸如,相机)以及被配置为发射一系列周期照明图案的照明源230,其中,每个周期照明图案以不同的量相移到围绕HMD 200的局部区域中。在各种实施方式中,照明源230发射正弦曲线图案、接近正弦曲线图案、或者任何其他周期图案(例如,矩形波)。例如,照明源230发射各自具有到围绕HMD 200的环境中的不同的相移的一系列正弦曲线。在各种实施方式中,照明源230包括声光调制器,该声光调制器被配置为在局部区域中生成两个彼此干扰的高斯光束,使得生成正弦干扰图案。然而,在其他实施方式中,照明源230包括一个或多个声光装置、电光装置、物理光学、光学干涉、衍射光学装置、或者被配置为生成周期照明图案的任何其他合适的部件中的一个或多个。在一些实施方式中,照明源230包括修改在强度包络内(例如,在高斯强度图案内)生成的正弦干扰图案的附加光学元件;可替换地,HMD 200包括附加光学元件并且由照明源230生成的高斯光束在发射到围绕HMD 200的环境中之前通过附加光学元件引导。如以下结合图3至图5进一步描述的,成像装置225捕获局部区域的图像,该图像用于计算局部区域内的各种位置相对于HMD 200的深度。
[0043] 图3是图2中描述的HMD 200的前刚体205的截面图。如图3所示,前刚体205包括成像装置225和照明源230。前刚体205还具有与光沿着其传播通过前刚体205的路径对应的光轴。在一些实施方式中,成像装置225沿着光轴放置并且捕获局部区域305的图像,该局部区域是在成像装置225的视野内的围绕前刚体205的环境的一部分。此外,前刚体205包括以上结合图1进一步描述的电子显示器125和光学块130。前刚体205还包括用户的眼睛340所在的出射光瞳335。为了说明的目的,图3示出了根据单只眼睛340的前刚体205的截面图。局部区域305反射入射的环境光以及由照明源230预测的随后被成像装置225捕获的光。
[0044] 如以上结合图1所描述的,电子显示器125朝向光学块130发射形成图像的光,该光学块改变从电子显示器125接收的光。光学块130将改变的图像光引导至出射光瞳335,该出射光瞳是用户的眼睛340所在的前刚体205的位置。图3示出了用户的单只眼睛340的前刚体205的截面图,其中,包括在前刚体205中的与图3中示出的那些分开的另一个电子显示器
125和光学块130将诸如局部区域305的增强表示等内容或虚拟内容呈现给用户的另一只眼睛。
[0045] 如以上结合图2进一步描述的,深度相机组件(DCA)的照明源230发射一系列周期照明图案,其中,每个周期照明图案通过不同量相移到局部区域305中,并且成像装置225使用包括多个像素的传感器捕获投射到局部区域305上的周期照明图案的图像。每个像素捕获由照明源230从各种图像的局部区域305发射的光的强度并且将捕获的强度传送至控制器或控制台110,如以下结合图4至图6B进一步描述的,该控制器或控制台110确定每个图像的相移,并且还如以下结合图4至图6B进一步描述的,该控制器或控制台110确定局部区域内的位置的深度,其中,由成像装置225捕获的由照明源230发射在该局部区域内的位置上的光被捕获。
[0046] 深度相机组件
[0047] 图4是发射到局部区域中并且由包括在头戴式显示器(HMD)105中的深度相机组件捕获的光的实例。图4示出了包括在HMD中的深度相机组件(DCA)120的成像装置225和照明源230。如图4所示,成像装置225和照明源230以特定的距离D(还称为“基线”)分开,这是在组装DCA 120时指定的。成像装置223和照明源230之间的距离D被存储在存储装置中,在各种实施方式中,该存储装置耦接至成像装置225、耦接至包括在DCA 120中的控制器、或者耦接至控制台110。
[0048] 在图4的实例中,照明源230将光的平稳连续强度图案405发射到围绕HMD 105的局部区域内和成像装置225的视野内的平面靶410上。光的连续强度图案405具有对DCA 120所知的周期T。然而,在其他实施方式中,照明源230发射具有对DCA 120所知的周期T的任何合适的强度图案。此外,图4识别了作为光的连续强度图案405的周期T的二分之一的角度θi。由于光的连续强度图案405随着距DCA 120的深度横向缩放,因此θi定义了照明的深度无关周期。类似地,图4描述了角度θc以及垂直于包括成像装置225的平面的线和靶410上的位置,其中,包括在成像装置225中的传感器的特定像素从该位置捕获不同图像中的光的连续强度图案405的强度;因此,θc指定垂直于包括成像装置225的平面的线与靶410上的位置之间的角度,其中,特定像素从该位置捕获由照明源230发射的光的连续强度图案405的强度。
[0049] 成像装置225的传感器的每个像素将来自在多个图像中捕获的光的连续强度图案405的光的强度提供至控制器或控制台110,该控制器或控制台确定由传感器的每个像素捕获的光的连续强度图案405的相移φ。由成像装置225捕获的每个图像是光的连续强度图案
405的数字抽样,使得由传感器捕获的该组图像表示光的连续强度图案405的傅里叶变换,并且连续强度图案405的基波的傅里叶分量a1和b1与传感器的像素的相移直接相关。至于由传感器的像素捕获的图像,使用以下等式确定傅里叶分量a1和b1:
[0050]
[0051]
[0052] 在前述中,Sn表示由传感器捕获的特定图像n中的传感器的像素的强度,并且θn的集合表示被引入光的连续强度图案405的相移。例如,如果使用三个相移,则θn的集合包括0度、120度和240度。如另一实例,如果使用四个相移,则θn的集合包括0度、90度、180度和270度。在一些实施方式中,确定θn的集合,使得0度和360度由所捕获的图像统一采样,但是在不同的实现中θn的集合可包括任意值。
[0053] 从以上描述的确定的傅里叶分量a1和b1,控制器或控制台确定由传感器的像素捕获的光的连续强度图案405的相移φ为如下:
[0054]
[0055]
[0056] 在前述中,φ是光的连续强度图案405的第一谐波的相移,R是光的连续强度图案405的第一谐波的幅值,并且θ1是校准偏移。至于光的连续强度图案405的每个空间频率,DCA 120使用至少三个图像中的传感器的像素的强度确定相移。
[0057] 通过以上等式(3)确定的连续强度图案405的第一谐波的相移由耦接至成像装置225且耦接至照明源230的控制器430使用。在各种实施方式中,控制器430是可以包括在成像装置225中、照明源230中或者控制台110中的处理器以确定靶410的位置的深度,其中,传感器的像素从该位置捕获光的连续强度图案405的强度,如下:
[0058]
[0059] 其中,z是靶410的位置的深度,传感器的像素从其捕获光的连续强度图案405的强度;D是照明源230与成像装置225之间的距离;θi是光的连续强度图案405的周期T的二分之一;并且θc是垂直于包括成像装置225的平面的线与靶410上的位置之间的角度,其中,位于包括在成像装置225中的传感器的行i和列j的特定像素从该位置捕获光的连续强度图案405的强度。此外,如以上进一步描述所确定的,φij是确定的传感器的行i和列j中的像素的相移。进一步地,φij,cal是如以下进一步描述所确定的传感器的行i和列j中的传感器的像素的校准偏移。
[0060] 如上所述,DCA 120确定成像装置225的传感器的至少一组像素中的每一个的相移。至于至少该组像素中的每一个,DCA 120确定从DCA 120至围绕DCA 120的局部区域内的位置的深度,其中,该组像素从该位置捕获发射到局部区域中的光的连续强度图案405的强度。这允许成像装置225的传感器的不同像素确定局部区域内的位置的深度,其中,不同像素从该位置捕获光的连续强度图案405的强度。在一些实施方式中,成像装置225的传感器的每个像素确定从DCA 120至围绕DCA 120的局部区域内的位置的深度,其中,像素从该位置捕获各种图像中的光的连续强度图案405的强度。DCA 120可以生成识别从DCA 120至局部区域内的不同位置的深度的深度图,其中,不同的像素从不同的位置捕获光的连续强度图案405的强度。例如,所生成的深度图基于由传感器的每个像素捕获的强度识别从DCA 120至局部区域内的不同位置的深度,其中,深度对应于捕获用于确定深度的强度的传感器的像素。
[0061] 然而,因为相移在0和2π弧度的范围内,因此当确定如上所述的相移时,在解决2π的整数倍数的相移中可能存在歧义。为了避免这些潜在歧义,在一些实施方式中,由照明源230发射的光的连续强度图案405作为单一的、相对较低的空间频率;然而,使用相对较低的空间频率可能降低DCA 120的深度确定的精确度。可替换地,光的连续强度图案405依次包括两个或更多个空间频率。使用两个或更多个空间频率增加在其内可以明确地识别相移的相位范围。基于在成像装置225的操作期间预期的最大视差,针对成像装置225的传感器内的像素的子集扩展相位范围,最大视差可以基于成像装置225的最大范围和最小范围之间的差异来确定。因此,对于最可能捕获来自光的连续强度图案405的光的传感器的像素的子集,扩展相位范围。
[0062] 图5示出了使用DCA 120发射的光的两个频率的连续强度图案来识别传感器像素的相移的实例。在图5的实例中,从频率505识别的相移在一时间间隔内通过0和2π弧度的间隔重复三次,而从频率510识别的相移在该时间间隔内通过0和2π弧度的间隔重复两次,如在曲线图520中所示。因此,发射具有频率505和频率510的光图案允许DCA 120以大于0与2π之间的间隔的时间间隔识别相移(即,“打开”可清楚识别的相移)。图5示出从频率505识别的相移在一时间间隔内通过0和2π弧度的间隔重复五次的另一实例,而从频率515识别的相移在该时间间隔内通过0和2π弧度的间隔重复两次,如曲线图530中所示。类似地,这允许DCA 120以大于0与2π之间的间隔的时间间隔识别相移(即,“打开”可清楚识别的相移)。另外,图5还示出频率505、频率510、及频率515的模拟三维曲线图540,这可以进一步扩展可清楚识别相移的相位范围。在其他实施方式中,可以使用光的任意个频率的连续强度图案来使用如上所述的处理识别传感器像素的相移。
[0063] 深度照相装置校准
[0064] 再次参考图4,成像装置225的传感器像素在相对于照明源230的D+x0的位置处捕获光的连续强度图案405的强度,其中,x0是成像装置225的主点(例如,检测器的光学中心)沿着使照明源230和传感器分开的轴线(例如,沿着照明源230和传感器沿其定位的水平轴线)的距离。如上文结合图4进一步描述的,像素沿着使照明源230和传感器分开的轴线的位置与针对像素确定的相移φij相关。另外,如上所述,θi限定光的连续强度图案405在局部区域中的空间周期性并且与光的连续强度图案的周期T的一半相对应。因为光的连续强度图案405随着距DCA 120的深度z增加而成角度地扩展,因此光的连续强度图案405的周期T与距DCA 120的具体深度z相对应,而θi限定的周期性独立于距DCA 120的深度z。光的连续强度图案405的周期T的依赖性,结合成像装置225与照明源230之间的距离D,允许DCA 120确定对象的深度z,光的连续强度图案405发射到该对象上,因为像素捕获相位的横向距离D+x0,等于成像装置225捕获的光的连续强度图案405的周期T与针对像素确定的相移φij与2π的比的乘积(即,D+x0=T(φij/2π))。深度相关的周期T、距成像装置225的主点的距离、以及针对像素确定的相移φij之间的这种关系等于相机平面和包括光的连续强度图案405发射到其上的对象的平面处的横向范围的估计,其均测量了从光的连续强度图案405的中心至像素的中心光线的距离。
[0065] 可使用任何合适的方法校准或者确定光的连续强度图案405,并且根据距DCA 120的深度缩放。因此,光的连续强度图案405在距DCA 120的深度Z处的周期T等于距DCA 120的深度z与限定光的连续强度图案的周期T的一半的角度θi的正切的乘积的两倍(即,T=(2)(z)(tan(θi)))。类似地,像素沿着使照明源230与传感器分开的轴线的相对于照明源230的位置x0,是距DCA 120的深度z与垂直于包括成像装置225的平面的线与目标410上的位置之间的角度θc的正切的乘积(即,x0=z(tan(θc))),特定像素从该位置捕获照明源230发射的光的连续强度图案405的强度。因此,
[0066]
[0067] 对于深度z,求解以上等式6:
[0068]
[0069] 然而,以上等式7基于在像素相对于照明源230的位置x0等于使成像装置225与照明源230分开的特定距离D的倒数时的相移φij为零(即,φij(x0=D)=0)。为了满足该条件,经由校准处理为每个像素确定校准偏移,φij,cal,其中,成像装置225的传感器捕获来自以精确预定深度zcal发射在目标上的光405的连续照明图案的强度。在各种实施方式中,目标是至少反射阈值量的入射在目标上的光的朗伯表面或者其他表面。由于校准偏置将以上等式(7)修改为等式(5), 之前结合图4已对其进行描述。利用预定深度zcal,每个像素的校准偏置确定为:
[0070]
[0071] 基于预定深度zcal确定传感器的每个像素和光405的每个频率的连续强度图案的校准偏置并将其存储在DCA 120中供操作期间使用。针对照明源230发射的光的连续强度图案405的每个周期确定传感器的每个像素的校准偏置,并在校准处理期间进行存储。例如,DCA 120存储传感器的像素的校准偏置,该校准偏置与传感器内的像素的位置(例如,排和列)相关联并且与光405的频率的连续强度图案相关联。在各种实施方式中,DCA 120存储用于基于传感器内的位置和光的连续强度图案405的频率确定传感器的不同像素的校准偏置的参数化函数,而不是存储为传感器的单个像素确定的校准偏置。在各种实施方式中,DCA 120存储与照明源230发射的光的连续强度图案405的每个周期T对应的参数化函数。在一些实施方式中,确定不同像素的校准偏置的参数化函数是线性函数。
[0072] 在实施方式中,照明源230包括被配置为生成在局部区域彼此干扰的两个高斯光束的声光调制器,使得随着光的连续强度图案405发射到局部区域而生成正弦干扰图案,光的连续强度图案405的周期T确定为:
[0073]
[0074] 在等式9中,λ是照明源230的波长并且a是声光调制器生成的高斯束的间距,以生成光405的发射到DCA 120周围的局部区域的连续强度图案。然后,所确定的周期T可以用来确定检测器的各个像素的校准偏置,如上文进一步所述的。
[0075] 成像装置传感器
[0076] 图6A示出深度照相装置(DCA)120的成像装置225中包括的传感器的示例性像素600。在图6A的实例中,像素600包括耦接至多个电荷储存箱615、625、635的光电二极管605。
虽然图6A示出耦接至光电二极管605的三个电荷储存箱615、625、635,但是在其他实施方式中,像素600耦接至超过三个电荷储存箱615、625、635。光电二极管605经由传输门610耦接至电荷储存箱615,经由传输门620耦接至电荷储存箱625,并且经由传输门630耦接至电荷储存箱635。
[0077] 控制器耦接至上文结合图4描述的DCA 120的照明源230,还耦接至成像装置225的传感器。控制器基于照明源230发射周期照明图案的时间向传输门610、传输门620、及传输门630提供控制信号。在各种实施方式中,照明源230被激活以发射周期照明图案,被停用,并且被再次激活以发射另一种周期照明图案。当照明源230被停用时,控制器向传输门610、传输门620、及传输门630传送控制信号。控制信号使单个传输门610、620、630打开,而其他传输门610、620、630保持关闭,因此在照明源230被激活时由光电二极管605累积的电荷经由打开的单个传输门610、620、630传输至耦接至光电二极管的电荷储存箱615、625、635。当照明源230再次被激活时,打开的传输门610、620、630被关闭,并且来自控制器的控制信号打开另一传输门610、620、630,因此在照明源230激活时由光电二极管605累积的电荷经由打开的传输门610、620、630传输至电荷储存箱615、625、635。
[0078] 图6B是在图6A中示出的像素600的控制信号调节操作的一个实例。为了说明,图6B识别指出照明源230发射周期照明图案的时间的信号650。当信号650具有图6B中的最大值时,照明源230发射周期照明图案。图6B还示出提供至传输门610、传输门620、及传输门630的控制信号。在图6B的实例中,当提供至传输门610、620、630的控制信号具有最大值时,接收控制信号的传输门610、620、630打开;当提供至传输门610、620、630的控制信号具有最小值时,传输门610、620、630关闭。
[0079] 在图6B的实例中,当照明源230被初次激活并且发射周期照明图案时,传输门610、传输门620、及传输门630关闭。当照明源230停用并且停止发射周期照明图案时,传输门610接收打开传输门610的控制信号,而传输门620和传输门630保持关闭。照明源230被激活时由光电二极管605累积的电荷经由传输门610传输到电荷储存箱615。在照明源230被再次激活之前,控制信号使传输门610关闭,并且光电二极管605从在照明源230被激活时捕获的光累积电荷。当照明源230被停用时,传输门620接收打开传输门620的控制信号,而传输门610和传输门630保持关闭;因此,由光电二极管605累积的电荷传输至电荷储存箱625。在照明源230被激活之前,控制信号使传输门620关闭,并且光电二极管605从在照明源230被激活时捕获的光累积电荷。当照明源230被再次停用时,传输门630接收打开传输门630的控制信号,而传输门610和传输门620保持关闭。因此,由光电二极管605累积的电荷传输至电荷储存箱635。在照明源230被再次激活之前关闭传输门630,并且由传输门610、传输门620、及传输门630接收的控制信号在照明源230被激活和停用时打开和关闭如上所述的传输门610、620、630。
[0080] 在一些实施方式中,控制器根据电荷储存箱615、625、635中累积的电荷确定信噪比并且比较所确定的信噪比与阈值。如果所确定的信噪比小于阈值,则控制器提供控制信号以如上进一步所述的打开和关闭传输门610、620、630,直至根据电荷储存箱615、625、635中累积的电荷确定的信噪比等于或者超过阈值。如果所确定的信噪比等于或者超过阈值,则控制器结合电荷储存箱615、625、635的每一个中存储的电荷来确定像素600捕获的来自照明源230的光强度并且确定在DCA 120周围的局部区域内的位置的深度,像素600在该位置捕获来自照明源230的光,如上文结合图4和图5进一步描述的。打开的传输门610、620、630在耦接至光电二极管605的单个电荷储存箱615、625、635中累积电荷限制了由光电二极管605从照明源230以外的光源捕获光所引起的背景噪声的累积,允许像素600具有比其他技术更高的信噪比。另外,在不同的电荷储存箱615、625、635中累积来自光电二极管605的电荷允许针对由像素600捕获的周期照明图案的像素至多路复用相移确定,这减少图像捕获装置225为确定像素600捕获的周期照明图案的相移而捕获的图像的数量并且减小像素
600捕获从照明源发射的光的时间量。
[0081] 参考回图6A,像素600还包括经由光闸640耦接至光电二极管605的漏极645。当照明源230被停用时,控制器提供控制信号至光闸640,使光闸640打开并且光电二极管605耦接至漏极645。在照明源被停用时将光电二极管605耦接至漏极645释放了由光电二极管605从DCA120周围的局部区域中的环境光中产生的电荷。当照明源230被激活时,控制器提供替代控制信号至光闸640,替代控制信号关闭光闸640以将漏极645与光电二极管605解耦。另外,光闸640可以被配置为在光电二极管605从捕获的光中累积的电荷等于或者超过阈值时打开,允许光电二极管605累积的电荷经由漏极645移除,防止光电二极管605饱和并且防止光电二极管605累积的电荷传输至相邻像素600。在一些实施方式中,光闸640被配置为将光电二极管605耦接至漏极645直至光电二极管605累积的电荷小于阈值或者至少是阈值以下的阈值量。
[0082] 然而,在其他实施方式中,不同的控制信号调节图6A中示出的像素600的操作。例如,照明源230被激活并且保持激活,而不同的传输门610、620、630在不同的时间被激活,因此电荷在不同的时间累积在不同的箱615、625、635中。例如,在一时间间隔期间,照明源230保持激活并且发射周期照明图案,控制信号在不同的时间周期交替激活传输门610、620、630,因此光电二极管605累积的电荷分别在该时间间隔期间交替地传输到箱615、625、635。
作为实例,在照明源230被激活的第一时间周期期间,传输门610被激活而传输门620、630被关闭,因此光电二极管605累积的电荷传输到箱615。在照明源230保持激活的第二时间周期期间,传输门620被激活而传输门610、630被关闭,因此光电二极管605累积的电荷传输到箱
625。类似地,在照明源230保持激活的第三时间周期期间,传输门630被激活而传输门610、
620被关闭,因此光电二极管605累积的电荷传输到箱635。如上所述,在照明源230发射周期照明图案的同时,不同的传输门610、620、630可在时间间隔期间交替地被激活。
[0083] 在其他实施方式中,激活照明源230的控制信号与激活传输门610、620、630的控制信号之间的相对定时可能不同。例如,控制信号激活传输门610、620、630使得传输门610、620、630在照明源230活跃并且发射周期照明图案的至少一部分时间内活跃。作为另一实例,在照明源230已停用一特定时间量之后,传输门610、620、630接收激活传输门610、620、
630的控制信号,增加照明源230的停用与传输门610、620、630的激活之间的延迟。然而,上述内容仅是实例,在不同的实施方式中,像素600可以任何合适的方式运行。
[0084] 图7是图6A所示的像素600的控制信号调节操作的另一实例。在图7的实例中,每个传输门610、620、630以通过被固定的漏极时间分开的序列被激活。为了说明的目的,图7指示照明源230发光的时间。如图7所示,上文进一步结合图3和图4所描述的照明源230在传输门610、传输门620、或传输门630中的一个打开时的时间间隔期间发射光脉冲。在图7所示的实例中,照明源230与每个传输门610、620、630的打开同步发射光脉冲。如图7所示,在照明源230发射光脉冲710时的时间间隔期间,传输门610打开并且传输门620和传输门230关闭,因此,发射光脉冲710时累积的电荷经由传输门610被传送到电荷储存箱615。类似地在照明源230发射光脉冲720时的附加时间间隔期间,传输门620打开,而传输门610和传输门630关闭,因此,发射光脉冲720时累积的电荷经由传输门620被传送至电荷储存箱625。在另一时间间隔期间,照明源230发射光脉冲730并且传输门630打开,而传输门610和传输门620关闭,因此,发射光脉冲730时累积的电荷经由传输门630被传送至电荷储存箱635。在各种实施方式中,传输门610、传输门620、及传输门630的打开分别与光脉冲710、光脉冲720、及光脉冲730的发射同步。
[0085] 在图7的实例中,在照明源230不发射光脉冲710、光脉冲720、或光脉冲730时的间隔期间光闸640打开。通过将所捕获的环境背景光传送至漏极645,在不同的传输门610、620、630的打开之间的间隔期间打开光闸640消除照明源230未发射光时的时间期间光电二极管605捕获的环境背景光。在各种实施方式中,光闸640在从照明源230停止发射光脉冲
710、光脉冲720、或光脉冲730时的时间的阈值时间间隔内打开。例如,光闸640从照明源230停止发射光脉冲710的时间到照明源230开始发射光脉冲720的时间的阈值时间间隔内打开(或者直至照明源230开始发射光脉冲720时的阈值时间间隔内的时间)。类似地,光闸640可以在照明源230停止发射光脉冲730的时间到照明源230开始发射光脉冲730的时间的阈值时间间隔内的时间(或者直至照明源230开始发射光脉冲730时的阈值时间间隔内的时间)打开;光闸640可以进一步在照明源230停止发射光脉冲730的时间到照明源230开始发射另一光脉冲的时间的阈值时间间隔内的时间(或者在从照明源230开始发射另一光脉冲时的时间的阈值时间间隔内)打开;然而,在其他实施方式中,像素600不包括光闸640和漏极
645。
[0086] 虽然图7示出了照射光脉冲、打开传输门610、传输门620、传输门630、及光闸640的示例性定时,但不同的实施方式可具有不同的定时。例如,与图7所示相比,光闸640可以在较长或较短的时间间隔内打开,在实施方式中,光闸640在照明源230发射连续光脉冲之间的一部分时间量内打开(例如,照明源230发射连续光脉冲之间的10%的时间,照明源230发射连续光脉冲之间的50%的时间)。可替换地,光闸在照明源230发射连续光脉冲之间的特定时间量内打开。在一些实施方式中,光闸640可以不打开。类似地,传输门610、传输门630、或传输门640可以打开比图7所示的时间长度更长或更短的时间长度。
[0087] 在一些实施方式中,当不同的传输门610、620、630打开时,照明源230发射不同的光图案。例如,当传输门610打开时,照明源230发射具有第一照明图案的光脉冲(例如,图7中的光脉冲710),当传输门620打开时发射具有第二照明图案的光脉冲(例如,图7中的光脉冲720),并且当传输门630打开时发射具有第三照明图案的光脉冲(例如,图7中的光脉冲730)。在各种实施方式中,第一照明图案、第二照明图案、及第三照明图案彼此不同。因此,照明源230在不同的传输门610、620、630打开时的时间间隔期间发射具有不同的照明图案的光脉冲。
[0088] 另外,在一些实施方式中,照明源230发射可变数量的光脉冲,其与传输门610、传输门620、及传输门630中的一个的打开同步,发射光脉冲的数量可以固定或者可以动态地改变(例如,基于自动曝光机构)。在一些实施方式中,不同数量的光脉冲可以与不同的传输门610、620、630的打开同步。例如,照明源230与传输门610的打开1000同步地发射光脉冲,与传输门620的打开2000同步地发射光脉冲,并且与传输门630的打开3000同步地发射光脉冲,然而,照明源230可以与不同的传输门610、620、630的打开不同地和与不同的传输门610、620、630的打开同步地发射任何任意数量的光脉冲。
[0089] 可替换地,照明源230连续发射光的图案而非离散光脉冲。在各种实施方式中,由照明源发射的连续的光图案随着时间的过去慢慢发生变化(例如,作为在时间上连续移动的条纹图案,如上文结合图3和图4进一步描述的)。如结合图7所描述的,当照明源230发射连续的光图案时,传输门610、620、630和光闸640打开,因此连续的光图案在固定的离散时间内整合。在这种情形中,发射的照明图案被配置为在指定的时间间隔内回到先前发射的图案,因此,照明图案随着时间的过去发生变化,但以特定频率或周期重复。还使每个传输门610、620、630的打开同步以使用指定的时间间隔重复,从而使得在不同的周期发射照明图案的同一部分时打开不同的传输门610、620、630。例如,传输门610同步以在连续照明图案的每个周期期间发射连续照明图案的特定部分时打开,因此传输门610在连续照明图案的每个周期期间整合连续照明图案的特定部分。类似地,传输门620与照明源230同步因此在连续照明图案的每个周期期间发射连续照明图案的不同特定部分,因此传输门620在连续照明图案的每个周期期间整合连续照明图案的不同特定部分。
[0090] 说明书使用的语言主要出于可读性和指导性目的而选择,并且选择其不是为了划定或限制发明主题。因此,专利权的范围并不旨在由具体实施方式来限定,而是由基于具体实施方式的本申请所发布的任何权利要求来限定。因此,实施方式的公开内容旨在为说明性的,并非限制专利权的范围。