增强图像分辨率的系统及方法

摘要

一种用于增强低分辨率深度图的分辨率的成像设备以及制作和使用所述成像设备的方法。所述成像设备能够接收低分辨率的深度图以及高分辨率图像。所述低分辨率的深度图能够由第一成像装置，例如ToF相机生成；但是，所述高分辨率图像能够由第二成像装置，例如RGB相机生成。所述成像设备能够接收所述低分辨率的深度图以及所述高分辨率图像作为强度和灰度图像并且利用所述强度和灰度图像之间的分辨率的差异生成退化模型。所述退化模型可以方便地反过来应用至所述低分辨率的深度图以创建高分辨率的深度图。在一个实施方式中，所述退化模型可以通过从所述强度及灰度图像的对应图像块比较生成。

权利要求

1.一种增强图像分辨率的方法，包括：

获得一个场景的一个或多个图像；及

通过第一成像装置捕获所述场景的第一图像，根据所述第一图像生成第一深度图及与所述第一图像相关的强度图像；

所述获得包括捕获所述场景的第二图像，根据所述第二图像生成与所述第二图像相关的灰度图像；

计算与所述第一图像相关的所述强度图像和与所述第二图像相关的所述灰度图像之间的关系，根据所述计算确定所述场景的第二深度图；

其中所述第二深度图具有比所述第一深度图更高的分辨率。

2.如权利要求1所述的方法，其中所述第一成像装置包括飞行时间ToF相机。

3.如权利要求1～2中任意一项所述的方法，其中所述第二图像包括红、绿和蓝RGB图像。

4.如权利要求3所述的方法，其中所述捕获所述第二图像包括通过第二成像装置捕获所述第二图像。

5.如权利要求4所述的方法，其中所述第二成像装置包括RGB相机。

6.如权利要求5所述的方法，进一步包括校准所述第一成像装置与所述第二成像装置中的至少一个。

7.如权利要求6所述的方法，其中所述校准包括：获得所述第一与所述第二成像装置的坐标之间的转换关系。

8.如权利要求7所述的方法，进一步包括：

映射所述第二图像的一个或多个像素到所述第一图像。

9.如权利要求1所述的方法，其中根据所述计算确定所述场景的第二深度图包括根据所述计算增强所述第一深度图的分辨率。

10.如权利要求9所述的方法，其中所述计算包括：

分析与所述第一图像相关的所述强度图像的每一个图像块和与所述第二图像相关的所述灰度图像的每一个对应的图像块之间的差别；以及在与所述第一图像相关的所述强度图像的每一个图像块和与所述第二图像相关的所述灰度图像的每一个对应图像块之间生成一个退化模型。

11.如权利要求10所述的方法，其中所述增强包括应用是退化模型的逆矩阵的转换矩阵到所述第一深度图的每一个图像块中。

12.一种成像分辨率增强设备，包括：

一个或多个处理器单独地或共同地被配置成用于获得一个场景的一个或多个图像及被配置成根据所述一个或多个图像确定所述场景的第二深度图，第一成像装置，被配置为捕获所述场景的第一图像；

第二成像装置，被配置为捕获所述场景的第二图像；

其中根据所述第一图像生成第一深度图及与所述第一图像相关的强度图像，并且根据所述第二图像生成与所述第二图像相关的灰度图像；

所述一个或多个处理器被配置为计算与所述第一图像相关的所述强度图像和与所述第二图像相关的所述灰度图像之间的关系，根据所述计算确定所述场景的第二深度图；

其中所述第二深度图具有比所述第一深度图更高的分辨率。

13.如权利要求12所述的设备，其中所述一个或多个处理器被配置成用于自动地生成所述第一成像装置的所述场景的第二深度图。

14.如权利要求13所述的设备，其中所述一个或多个处理器被配置成用于自动地校准所述第一成像装置及所述第二成像装置中的至少一个。

15.如权利要求14所述的设备，其中所述一个或多个处理器被配置成用于自动地获得所述第一与第二成像装置的坐标之间的转换关系。

16.如权利要求15所述的设备，其中所述一个或多个处理器被配置成用于自动地映射所述第二图像的一个或多个像素到所述第一图像的一个或多个像素。

17.如权利要求12所述的设备，其中所述一个或多个处理器被配置成用于自动地将所述第一图像转换成与所述第一图像相关的强度图像和第一深度图，及被配置成自动地将所述第二图像转换成与所述第二图像相关的灰度图像。

18.如权利要求12所述的设备，其中所述第一成像装置被配置成用于自动地将所述第一图像转换成与所述第一图像相关的强度图像和第一深度图，且其中所述第二成像装置被配置成用于自动地将所述第二图像转换成与所述第二图像相关的灰度图像。

19.如权利要求12所述的设备，其中所述一个或多个处理器被配置成自动地分析与所述第一图像相关的所述强度图像的每一个图像块和与所述第二图像相关的所述灰度图像的每一个对应的图像块之间的差别。

20.如权利要求19所述的设备，其中所述一个或多个处理器被配置成自动地在与所述第一图像相关的所述强度图像的每一个图像块和与所述第二图像相关的所述灰度图像的每一个对应图像块之间生成一个退化模型。

21.如权利要求20所述的设备，其中所述一个或多个处理器被配置成通过应用是所述退化模型的逆矩阵的转换矩阵到所述第一深度图来自动地增强所述第一深度图的分辨率。

22.如权利要求12～21中任意一项所述的设备，其中所述第一及第二成像装置中的其中一个是相机或者传感器。

23.如权利要求12～21中任意一项所述的设备，其中所述第一及第二成像装置选自由红、绿和蓝RGB相机、激光相机、红外相机、超声波相机以及飞行时间ToF相机组成的群组。

24.如权利要求12～21中任意一项所述的设备，其中所述第一成像装置包括一个或多个ToF相机。

25.如权利要求12所述的设备，其中所述第二成像装置包括一个或多个RGB相机。

26.如权利要求25所述的设备，其中所述一个或多个RGB相机包括一个或多个RGB摄像机。

27.如权利要求25或26所述的设备，其中所述一个或多个RGB相机中的每一个RGB相机包括至少一个接收来自所述场景的光线的透镜；过滤所述接收到的光线的滤波器；由所述过滤后的光线生成电信号的图像传感器；以及对所述电信号执行操作的处理器。

28.如权利要求13～21中任意一项所述的设备，其中所述第一及第二成像装置和所述一个或多个处理器安装在移动平台上。

29.如权利要求28所述的设备，其中所述移动平台是无人飞行器。

30.如权利要求29所述的设备，其中所述移动平台是机器人。

31.如权利要求24所述的设备，其中所述多个ToF相机中的至少一个ToF相机包括至少一个朝场景发射光线的照明单元，接收来自所述场景的光线的透镜，过滤所述接收到的光线的滤波器，由所述过滤后的光线生成电信号的图像传感器以及对所述电信号执行操作的处理器。

32.如权利要求31所述的设备，其中所述多个ToF相机中的所述至少一个ToF相机进一步包括存储来自所述操作的结果的至少一个存储器以及一个显示所述结果的显示器。

33.如权利要求31或32所述的设备，其中所述照明单元包括LED或者激光二极管。

34.如权利要求31或32所述的设备，其中所述滤波器包括带通滤波器。

35.如权利要求34所述的设备，其中所述照明单元发射红外或近红外光线，并且其中所述带通滤波器传递红外或近红外光线。

36.如权利要求27所述的设备，其中所述一个或多个RGB相机中的每一个RGB相机进一步包括存储来自所述操作的结果的至少一个存储器；以及一个显示所述结果的显示器。

37.如权利要求35所述的设备，其中所述滤波器为绿光滤波器。

38.如权利要求35所述的设备，其中所述滤波器为红光滤波器。

39.如权利要求35所述的设备，其中所述滤波器为蓝光滤波器。

40.一种成像系统，包括处理器和存储器，所述处理器执行存储在所述存储器上的指令，以根据权利要求1～11中任意一项来执行增强图像分辨率的步骤。

41.一种计算机可读存储介质，其上存储有指令，其特征在于，该指令被处理器执行时实现权利要求1～11中任意一项所述的方法。

说明书

增强图像分辨率的系统及方法

背景技术

[0001] 飞行时间(或者“ToF”)相机是一种基于测量从相机向场景发射的光信号的飞行时间的距离成像相机。从场景反射回的光线相对于发射出的光信号具有延迟相位。ToF相机依赖测量反射光线相对于发射光线的相位偏移来计算相机与场景之间的距离，从而获得环境深度的感知。

[0002] ToF相机通常包括感测从环境反射回的光线的图像传感器。所述图像传感器在图像采集中具有很快的速度并能感知深度。对于诸如小型机器人玩具或者其他高科技消费品的避免碰撞与导航功能来说，ToF相机的速度与深度感知将会使其成为好的候选品。但是，ToF相机相对于诸如红绿蓝(“RGB”)摄像机等普通的相机具有低的图像分辨率，这样的分辨率限制了其用途。

[0003] 因此有必要提供一种改进的ToF成像系统及方法，其具有更好的分辨率以增强ToF成像系统的深度识别。

发明内容

[0004] 根据本文公开的第一方面，提出一种增强图像分辨率的方法，包括：

[0005] 获得场景的一个或多个图像，所述一个或多个图像与第一深度图相关；及[0006] 根据所述一个或多个图像确定所述场景的第二深度图，

[0007] 其中所述第二深度图具有比所述第一深度图更高的分辨率。

[0008] 所述公开的方法的示例性实施方式进一步包括获得所述场景的第一图像，[0009] 其中所述第一图像包括深度图。

[0010] 在所述公开的方法的一个示例性实施方式中，获得第一图像包括通过第一成像装置捕获第一图像。

[0011] 所述公开的方法的示例性实施方式进一步包括根据所述第一图像确定所述第一深度图及与所述第一图像相关的强度图像。

[0012] 在所述公开的方法的一个示例性实施方式中，所述第一成像装置包括飞行时间(“ToF”)相机。

[0013] 在所述公开的方法的一个示例性实施方式中，获得包括捕获所述场景的第二图像。

[0014] 其中所述第二图像包括红、绿和蓝(“RGB”)图像。

[0015] 在所述公开的方法的一个示例性实施方式中，捕获第二图像包括通过第二成像装置捕获所述第二图像。

[0016] 在所述公开的方法的一个示例性实施方式中，所述第二成像装置包括RGB相机。

[0017] 所述公开的方法的示例性实施方式进一步包括校准所述第一成像装置与所述第二成像装置中的至少一个。

[0018] 在所述公开的方法的一个示例性实施方式中，校准包括：

[0019] 获得所述第一与第二成像装置坐标之间的转换关系。

[0020] 所述公开的方法的示例性实施方式进一步包括：

[0021] 映射所述第二图像的一个或多个像素到所述第一图像。

[0022] 在所述公开的方法的一个示例性实施方式中，确定包括通过所述场景的所述第一图像与所述场景的所述第二图像生成第二深度图。

[0023] 在所述公开的方法的一个示例性实施方式中，生成第二深度图进一步包括使第一图像转换成与第一图像相关的强度图像和第一深度图，及使第二图像转换成与第二图像相关的灰度图像中的至少一个。

[0024] 在所述公开的方法的一个示例性实施方式中，生成第二深度图进一步包括计算与第一图像相关的强度图像和与第二图像相关的灰度图像之间的关系；以及根据所述计算增强第一深度图的分辨率。

[0025] 在所述公开的方法的一个示例性实施方式中，计算包括：

[0026] 分析与第一图像相关的强度图像的每一个图像块和与第二图像相关的灰度图像的每一个对应的图像块之间的差别；以及

[0027] 在与第一图像相关的强度图像的每一个图像块和与第二图像相关的灰度图像的每一个对应图像块之间生成一个退化模型。

[0028] 在所述公开的方法的一个示例性实施方式中，增强包括应用是退化模型的逆矩阵的转换矩阵到第一深度图的每一个图像块中。

[0029] 根据本文公开的另外一个方面，提出一种成像分辨率增强设备，包括：

[0030] 一个或多个处理器单独地或共同地被配置成用于获得一个场景的一个或多个图像及根据所述一个或多个图像确定所述场景的第二深度图，

[0031] 其中与第一深度图及第二深度图相关的一个或多个图像比第一深度图具有更高的分辨率。

[0032] 所述公开的设备的实例性实施方式进一步包括用于捕获所述场景的所述一个或多个图像的第一成像装置与第二成像装置。

[0033] 在所述公开的设备的一个实例性实施方式中，一个或多个处理器被配置成用于自动地生成第一成像装置的场景的第二深度图。

[0034] 在所述公开的设备的其他实例性实施方式中，一个或多个处理器被配置成用于自动地校准第一成像装置及第二成像装置中的至少一个。

[0035] 在所述公开的设备的其他实例性实施方式中，一个或多个处理器被配置成用于自动地获得第一与第二成像装置的坐标之间的转换关系。

[0036] 在所述公开的设备的其他实例性实施方式中，第一成像装置被配置成用于获得所述场景的第一图像，并且其中第二成像装置被配置成用于获得所述场景的第二图像。

[0037] 在所述公开的设备的其他实例性实施方式中，一个或多个处理器被配置成用于自动地映射所述第二图像的一个或多个像素到所述第一图像的一个或多个像素。

[0038] 在所述公开的设备的其他实例性实施方式中，第一成像装置被配置成用于自动地将第一图像转换成与第一图像相关的强度图像和第一深度图，及被配置成自动地将第二图像转换成与第二图像相关的灰度图像。

[0039] 在所述公开的设备的其他实例性实施方式中，一个或多个处理器被配置成用于自动地计算所述强度图像与所述灰度图像之间的关系。

[0040] 在所述公开的设备的其他实例性实施方式中，一个或多个处理器被配置成自动地分析与第一图像相关的强度图像的每一个图像块和与第二图像相关的灰度图像的每一个对应的图像块之间的差别。

[0041] 在所述公开的设备的其他实例性实施方式中，一个或多个处理器被配置成自动地在与第一图像相关的强度图像的每一个图像块和与第二图像相关的灰度图像的每一个对应图像块之间生成一个退化模型。

[0042] 在所述公开的设备的其他实例性实施方式中，一个或多个处理器被配置成通过应用是退化模型的逆矩阵的转换矩阵到第一深度图来自动地增强第一深度图的分辨率。

[0043] 在所述公开的设备的其他实例性实施方式中，第一及第二成像装置中的其中一个是相机或者传感器。

[0044] 在所述公开的设备的其他实例性实施方式中，第一及第二成像装置选自由红、绿和蓝(“RGB”)相机、激光相机、红外相机、超声波相机以及飞行时间(“ToF”)相机组成的群组。

[0045] 在所述公开的设备的其他实例性实施方式中，第一成像装置包括一个或多个ToF相机。

[0046] 在所述公开的设备的其他实例性实施方式中，第二成像装置包括一个或多个RGB相机。

[0047] 在所述公开的设备的其他实例性实施方式中，所述一个或多个RGB相机包括一个或多个RGB摄像机。

[0048] 在所述公开的设备的其他实例性实施方式中，一个或多个RGB相机中的每一个RGB相机包括至少一个接收来自场景的光线的透镜；过滤接收到的光线的滤波器；由过滤后的光线生成电信号的图像传感器；以及对电信号执行操作的处理器。

[0049] 在所述公开的设备的其他实例性实施方式中，所述第一及第二成像装置和所述一个或多个处理器安装在移动平台上。

[0050] 在所述公开的设备的其他实例性实施方式中，所述移动平台是无人飞行器。

[0051] 在所述公开的设备的其他实例性实施方式中，所述移动平台是机器人。

[0052] 在所述公开的设备的其他实例性实施方式中，多个ToF相机中的至少一个ToF相机包括至少一个朝场景发射光线的照明单元，接收来自场景的光线的透镜，过滤接收到的光线的滤波器，由过滤后的光线生成电信号的图像传感器以及对电信号执行操作的处理器。

[0053] 在所述公开的设备的其他实例性实施方式中，多个ToF相机中的至少一个ToF相机进一步包括存储来自所述操作的结果的至少一个存储器以及一个显示所述结果的显示器。

[0054] 在所述公开的设备的其他实例性实施方式中，所述照明单元包括LED或者激光二极管。

[0055] 在所述公开的设备的其他实例性实施方式中，所述滤波器包括带通滤波器。

[0056] 在所述公开的设备的其他实例性实施方式中，所述照明单元发射红外或近红外光线，并且其中所述带通滤波器传递红外或近红外光线。

[0057] 在所述公开的设备的其他实例性实施方式中，一个或多个RGB相机中的每一个RGB相机进一步包括存储来自所述操作的结果的至少一个存储器；以及显示所述结果的显示器。

[0058] 在所述公开的设备的其他实例性实施方式中，所述滤波器为绿光滤波器。

[0059] 在所述公开的设备的其他实例性实施方式中，所述滤波器为红光滤波器。

[0060] 在所述公开的设备的其他实例性实施方式中，所述滤波器为蓝光滤波器。

[0061] 根据本文公开的另一方面，提出一种成像系统，其被配置成根据上述方法中的任意一种来自动地执行增强图像分辨率的步骤。

[0062] 根据本文公开的另一方面，提出一种计算机程序产品，其包括根据上述方法中的任意一种来增强图像分辨率的指令。

附图说明

[0063] 图1是示出具有增强的分辨率的成像设备的一个实施方式的示例性的顶层图。

[0064] 图2是示出图1中的成像设备的一可替换的实施方式的示例性的顶层图，其中所述成像系统包括第一及第二成像装置。

[0065] 图3是与场景的第一图像相关的低分辨率的示例性强度图像，所述第一图像由图2中的第一成像装置生成。

[0066] 图4是由图2中的第一成像装置生成的场景的示例性的低分辨率的深度图。

[0067] 图5是由图2中的第二成像装置捕获的场景的示例性的高分辨率的图像。

[0068] 图6是由图5中图像生成的场景的示例性的高分辨率的灰度图像。

[0069] 图7是示出图2中第一成像装置一可替换的实施方式的示例性示意图，其中所述第一成像装置包括ToF相机。

[0070] 图8是示出图2中第一成像装置的另一可替换的实施方式的示例性的顶层图，其中所述第一成像装置包括滤波器和/或图像传感器。

[0071] 图9是示出图8中第一成像装置的一可替换的实施方式的示例性的顶层图，其中所述第一成像装置包括显示器和/或存储器。

[0072] 图10是示出图2中第二成像装置的一可替换的实施方式的示例性示意图，其中所述第二成像装置包括RGB相机。

[0073] 图11是示出图2中第二成像装置的另一可替换的实施方式的示例性的顶层图，其中所述第一成像装置包括滤波器和/或图像传感器。

[0074] 图12是示出图11中第一成像装置的一可替换的实施方式的示例性的顶层图，其中所述第一成像装置包括显示器和/或存储器。

[0075] 图13是示出图2中成像设备另一可替换的实施方式的示例性的顶层图，其中所述成像设备由移动平台支撑。

[0076] 图14是示出图13中成像设备的一可替换的实施方式的示例性的示意图，其中所述移动平台为机器人。

[0077] 图15是示出创建高分辨率深度图的方法的一个实施方式的示例性顶层流程图。

[0078] 图16是示出图15中方法的一可替换的实施方式的示例性流程图，其中场景的第一及第二图像被捕获。

[0079] 图17是示出图15中方法的另一可替换的实施方式的示例性流程图，其中计算强度图像与灰度图像之间的退化模型及生成用于创建高分辨率深度图的转换矩阵。

[0080] 图18是基于图4中低分辨率深度图而生成的场景的示例性的高分辨率深度图。

[0081] 图19是示出图17中示例性的实现方法的示例性示意图，其中基于强度图像及灰度图像来计算退化模型。

[0082] 图20是示出图17中另一示例性的实现方法的示例性示意图，其中生成用于创建高分辨率深度图的转换矩阵。

[0083] 应当注意的是所述附图并不是按比例绘制的，并且为了图示的目的，类似结构或功能的元件在整个附图中通常用相似的标号来表示。应当注意的是所述附图只是为了便于优选实施方式的描述。所述附图并没有描述所述实施方式的所有方面，也没有限定本公开的范围。

具体实施方式

[0084] 由于当前可用的ToF成像相机具有低的图像分辨率，一种改良的可提供更高图像分辨率的成像系统和方法可证明是可取的并提供一个广泛的应用基础，例如防撞、导航或者诸如无人飞行器(“UAV”)、机器人等移动平台的其他功能。所述改良的成像系统和方法有利地提供增强的深度图分辨率，从而更加有效地防撞和导航。这些结果根据本文公开的一个实施方式通过如图1中所示的成像设备100能够实现。

[0085] 转到图1，具有增强的分辨率的成像设备100显示包括成像装置110，所述成像装置110与处理器130可操作地连接。所述成像装置110显示与场景175中的物体170面对。成像装置110可捕获场景175中的图像并可从被捕获的图像中生成图像数据。成像装置110可传输所述图像数据给处理器130。处理器130可接收或处理所述图像数据并创建一个或多个深度图。所述深度图可具有预设的比所述被捕获的图像的图像分辨率更高的图像分辨率。

[0086] 虽然为了说明的目的，图1仅包含单个成像装置，但是成像设备100可包含多于一个的成像装置110。例如，如图2所示，成像设备100可具有诸如第一成像装置110A及第二成像装置110B的两个成像装置。所述第二成像装置110B可与所述第一成像装置110A分离，或者至少部分与所述第一成像装置110A结合。第一成像装置110A与第二成像装置110B可优选地可操作地连接在一起。第一成像装置110A和第二成像装置110B均可与处理器130可操作地连接。

[0087] 成像设备100可包括任何合适数量、类型和/或结构的成像装置，例如包括并不限于激光相机、红外相机、超声波相机以及飞行时间(“ToF”)相机的第一及第二成像装置110A、110B。

[0088] 无限制地，处理器130可包括一个或多个通用微处理器，例如，单个或多核处理器、特殊应用的集成电路、特殊应用的指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等等。处理器130可被配置成执行本文描述的任何方法，包括但不限于与成像处理相关的多种操作。在一些实施方式中，处理器130可包括用于处理与障碍物检测与避免相关的特定操作的专门硬件---例如，处理飞行时间数据、处理超声波数据、基于搜集到的数据确定障碍物距离、及基于所述确定的距离控制移动平台(未示出)。

[0089] 在一些实施方式中，处理器130可设置在物理上接近第一及第二成像装置110A、110B的位置。在这种情况下，处理器130以及第一和第二成像装置110A、110B可被配置成进行本地通信，例如，使用硬件连接器和/或总线。本地通信的一个优点是可减少传输延迟以利于实时图像处理。

[0090] 在图2中，可选的移动平台140和/或可选的显示器150可与成像设备100结合起来创建一个移动系统200。

[0091] 移动平台140可包括但不限于包括自行车、汽车、卡车、轮船、小船、火车、直升机、飞机、无人机(“UAV”)或者无人机系统(“UAS”)、机器人、以上的各种混合等等。显示器150可为任何类型的显示器，包括但不限于电视机、电脑显示器、智能手机、平板电脑、智能穿戴设备、以上的各种组合等等。

[0092] 处理器130可与显示器150可操作地连接。移动平台140可在环境中移动。显示器150可呈现被处理器130处理过的图像。处理器130也可与移动平台140可操作地连接。第一成像装置110A、第二成像装置110B、处理器130及显示器150均可与移动平台140可物理地连接并可与移动平台140一起移动。处理器130可与移动平台140可操作地连接，因此可基于处理器130对第一及第二成像装置110A、110B捕获的图像进行的分析来提供指令给移动平台
140。处理器130也可与显示器150可操作地连接，因此成像设备100的操作者可观察被成像设备100捕获及处理的图像。

[0093] 另外和/或可选地，移动系统200可符合期望地包括一个或多个额外的硬件配件(未示出)。示例性的额外的硬件配件可包括但不限于存储器160(未示出)和/或一个或多个输入/输出接口。存储器160典型的例子可为随机存取存储器(“RAM”)、静态RAM、动态RAM、只读存储器(“ROM”)、可编程ROM、可擦可编程ROM、电可擦可编程ROM、闪存、安全数字(“SD”)卡等等。示例性的输入/输出接口可为通用串行总线(USB)、数字可视接口(“DVI”)、显示端口、串行ATA(“SATA”)、IEEE1394接口(也称为火线)、串行、视频图形阵列(VGA)、超级视频图形阵列(“SVGA”)、小型计算机系统接口(“SCSI”)、高清多媒体接口(“HDMI”)、音频端口、和/或专有的输入/输出接口等。包括但不限于按钮、键盘、按键、轨迹球、显示器、监控器的一个或多个输入/输出装置165(未示出)也可符合期望地被包含在移动系统200内。

[0094] 第一成像装置110A可生成诸如强度图像301(图3所示)的与第一图像相关的低分辨率的强度图像，和/或生成诸如第一深度图401(图4所示)的低分辨率的深度图。第二成像装置110B可生成与第二图像相关的具有比所述强度图像高的分辨率的灰度图像，例如灰度图像601(图6所示)。第一成像装置110A及第二成像装置110B可有利地被可操作地连接在一起，使得第一及第二成像装置110A、110B的座标可被计算出来，因此第一及第二成像装置110A、110B捕获的所有图像可采用诸如第一成像装置110A的一个装置的座标。处理器130可计算由第一成像装置110A生成的强度图像301的分辨率与由第二成像装置110B生成的灰度图像601的分辨率之间的差别。有利地，处理器130可由强度图像301及灰度图像601生成退化模型和/或基于来自第一成像装置110A的第一深度图401生成比第一深度图401更高分辨率的深度图。

[0095] 在优选的实施方式中，第一成像装置110A可以是飞行时间(“ToF”)相机，第二成像装置110B可以是RGB相机，且处理器130可以是经过特殊定制并用于成像设备100的特殊处理器。

[0096] ToF相机可以是扫描仪-少光检测和测距(“雷达”)装置的一类，场景175可通过每个激光(或光)脉冲被整体捕获，而不是通过诸如扫描雷达系统中的激光束点对点地被捕获。有不同类型的ToF相机，包括距离选通ToF相机、相移直接ToF相机、以及光子混频器设备。

[0097] ToF相机捕获的一个图像可正常地被自动显示成两个图像，一个如强度图像301所示例的强度图像，以及一个如第一深度图401所示例的深度图。所述深度图可被用于测量距离，而所述强度图像可被用于协助校正所述深度图。

[0098] 在优选的实施方式中，第一成像装置110A可以是相移直接ToF相机。从ToF相机发出的光线可行进到物体170并被反射回至ToF相机。从物体170反射至ToF相机的光线可以与离开ToF相机中的光源的光线具有一个延迟的相位。通过检测此相移，就可计算出ToF相机到物体170之间的距离。请以图2为例，第一成像装置110A，如果作为ToF相机提供，因此可通过测量光线行进到物体170及从物体170反射回的时间来计算出ToF相机到物体170之间的距离。第一成像装置110A还可包括其他类型的ToF相机或者其他类型的相机和/或传感器。

[0099] RGB相机可使用光接收传感器在全光谱下捕获图像，光接收传感器用于接收传统的代表红、绿和蓝(“RGB”)三种颜色各自强度值的环境图像。RGB图像捕获的图像正常地具有比ToF相机捕获的图像更高的分辨率。作为第二成像装置110B优选实施方式的RGB相机捕获的说明性图像以高分辨率图像501(图5所示)示出。RGB相机生成的诸如高分辨率图像501的图像可以为颜色全谱(未示出)的彩色图像。所述图像可以转换成灰度图像，例如灰度图像601。比较强度图像301与RGB相机生成的灰度图像601，所述灰度图像601可具有比所述强度图像301更高的分辨率。

[0100] 同一个场景175中同一个物体170的多个示例性图像通过强度图像301、第一深度图401、以及第二深度图701(如图18所示)进行了说明。深度图像301阐明了物体170的一个示例性的低分辨率的强度图像。第一深度图401可为所述物体170的深度图；反之，灰度图像601阐明了一个示例性的灰度图像。在示例中，示例性的图像均显示为从同一个角度被捕获。尤其地，由不同相机，诸如第一成像装置110A与第二成像装置110B(共同地被图2示出)，生成的图像可正常地具有稍微不同的角度。虽然第一成像装置110A与第二成像装置110B可被设置为彼此物理靠近，但是第一成像装置110A与第二成像装置110B各自的透镜可相对场景175中的物体170放置在具有稍微不同的角度。这种偏差可以通过校准第一与第二成像装置110A、110B来纠正，因此所有的图像具有相同的坐标。这种校准正常地可由处理器130来执行，此校准将结合参考下面的图16来进行显示及对细节进行描述。在优选的实施方式中，第一成像装置110A的坐标可用于所有经过校准后的图像。

[0101] 然后，图形可被处理器130以增强由第一成像装置110A生成的第一深度图401的分辨率(图4所示)的方式处理。增强由第一成像装置110A生成的第一深度图401的分辨率的方法将在下面进行仔细阐述及解释，并显示在图15～20中。

[0102] 尽管仅仅为了阐明的目的，结合包括两个成像装置110A、110B的图2进行显示与描述，成像设备100可包括任何合适数量的成像装置。例如，所述成像设备100可具有2、3、4、5、6、或者甚至更多数量的成像装置。

[0103] 如上面所讨论，第一成像装置110A的优选实施方式可以为一个ToF相机。图7示出了ToF相机701的一个示例性实施方式。ToF相机701可使用相移方法来计算物体170与相机传感器之间的距离。有许多类型的ToF相机，这些ToF相机可商用或者即将成为可用。但是，每个ToF相机都可作为所述设备100中的第一成像装置110A。

[0104] 如图8所示，第一成像装置110A包括透镜111、光源112、滤波器113、图像传感器114、和/或处理器115。光源112可发射光线至场景175(图2所示)。从场景175中的物体170(图2所示)反射的光线可回到透镜111。所述透镜111可被配置成用于汇聚光线到滤波器113上。滤波器113可除掉不需要的光线，并可让剩余的光线穿过以到达图像传感器114而生成场景175的图像。然后，处理器115可处理图像并生成一个诸如强度图像301(图3所示)的强度图像与一个诸如第一深度图401(图4所示)的深度图。

[0105] 透镜111优选的实施方式可以是一个数字单镜头反光(“DSLR”)透镜；但是，透镜111可包括任何传统类型的透镜。无限制地，作为透镜111的示例性的合适的透镜可包括销孔透镜、生物透镜、简单的凸面玻璃透镜、或者类似透镜中的一个或多个。另外和/或可选地，无限制地，透镜111可被配置成具有特定的成像性能，例如宏镜头、变焦镜头、远摄镜头、鱼眼镜头、广角镜头、或者类似镜头中的一个或多个。

[0106] 光源112可包括任何传统的光源，包括发光二极管(“LED”)和/或激光二极管。从光源112发出的光线可以是可见光、红外和/或近红外光线。光源112可设置在第一成像装置110A的任何合适的位置处，并优选地设置在靠近透镜111的位置。透镜111因此可接收从场景175与物体170回来的光线的直接反射。在一个实施方式中，透镜111与光源112可以共同定位以使光源112发出的光线(未示出)绕着透镜111围成一个环形。如此，光源112可以靠近透镜111，且光线能够均匀分布。发出的光线可以是脉冲、相位调制、和/或频率调制。在优选的实施方式中，所述发出的光线可以是相位调制。

[0107] 滤波器113可以是光学滤波器，所述光学滤波器可选择地允许特定波长范围的光线通过，而阻止另外波长的光线。滤波器113可包括任何合适类型的滤波器，包括但不限于吸收滤波器、二向色滤波器、单色滤波器、红外线滤波器、紫外线滤波器、长通滤波器、带通滤波器、短通滤波器、导模谐振滤波器、金属网滤波器、偏振片等等。滤波器113可优选地包括带通滤波器，所述带通滤波器有利地传递特定波长的光线，该特定波长与光源112发出的光线的波长相同。如果光源112生成红外和/或近红外光线，滤波器113可过滤掉环境可见光及环境中的紫外光。在白天的室外环境中占主导地位的可见光与紫外光可有利地被滤掉以避免成像设备100的图像传感器114的饱和度。当成像设备100在白天户外使用时，这是特别有用的。

[0108] 图像传感器114可接收来自滤波器113的光线并基于接收到的光线形成图像。图像传感器114可以是电荷耦合传感器(“CCD”)、互补金属氧化物半导体(“CMOS”)传感器、N型金属氧化物半导体(“NMOS”)传感器、和上述传感器的混合/变体、电光传感器、热/红外传感器、彩色或单色传感器、多光谱成像传感器、分光光度计、光谱仪、温度计、和/或照度计。在一个优选的实施方式中，其中成像设备100是ToF相机，图像传感器114通常可与特定类型的光源112配对。例如，射频调制的脉冲LED光源通常可与相位检测器一起使用。在另一例子中，脉冲激光光源112可与距离选通成像器一起使用。在又一个实施方式中，直接飞行时间图像传感器可与单个激光脉冲一起使用。

[0109] 与处理器130(图2所示)类似，处理器115可包括任何商用图形芯片，所述芯片可在当前可用的视频设备中使用。处理器115也可以是为成像设备100特别制作的定制设计的图形芯片。处理器115也可包括用于加速2D图形或3D场景渲染、MPEG-2/MPEG-4解码、电视输出、或连接多个显示器的能力的附加芯片。在其中一个实施方式中，处理器115可在VGA标准下操作。另外和/或可选地，处理器115可包括一个或多个通用微处理器(例如，单个或多核处理器)、特定应用的集成电路、特定应用的指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等等。处理器115可被配置成执行本文描述的任何方法，包括但不限于关于图像处理的各种操作。在一些实施方式中，处理器115可包括专门硬件，用于处理与图像处理相关的专门操作。

[0110] 处理器115通常可操作地连接到图像传感器114。这种连接可通过硬件或者无线连接。处理器115可处理图像传感器114接收到的原始图像，且可将所述原始图像自动转换为诸如强度图像301的强度图像与诸如第一深度图401的深度图。处理器115还可与第二成像装置110B(图11及12共同示出)的处理器125和/或处理器130(图2所示)物理地或无线地连接。图9、11及12详细所示，所述一个或多个处理器115、125、130可校准第一成像装置110A与第二成像装置110B的坐标，分析强度图像301(图3所示)的每一个图像块1110(图19所示)与灰度图像601(图6所示)的每一个对应的图像块1120(图19所示)之间的不同。所述一个或多个处理器115、125、130还可生成一个退化模型，并应用一个是退化模型的逆矩阵的转换矩阵到来自ToF相机的第一深度图401的每个图像块1210(图20所示)上，及创建高分辨率的深度图。

[0111] 转向图9，第一成像装置110A还可包括显示器116和/或存储器117。第一成像装置110A的处理器115(图8所示)可与显示器116可操作地连接，其中来自图像传感器114的原始图像或来自处理器115的被处理图像可被呈现。存储器117还可可选择地包含在第一成像装置110A中。在显示在显示器116上之前或者之后，来自图像传感器114的所述原始图像或者来自处理器115的所述被处理图像可被存储在存储器117中。显示器116与存储器117可物理地关联到成像装置110的其他部件。例如，显示器116与存储器117中的每一个或者两者可通过有线或无线连接而与处理器115连接。显示器116与存储器117中的每一个或者两者还可与诸如图像传感器114的第一成像装置110A的其他部件连接。

[0112] 在优选的实施方式中，图2中的第二成像装置110B可包括RGB相机。图10示出了由图像采集制成的示例性的可商用的RGB相机1601的图示。有很多其他商用的且能够在设备100中作为第二成像装置110B的RGB相机。这些RGB相机可捕获具有颜色全谱的图像及捕获可具有相对高分辨率的诸如灰度图像601(图6所示)的图像。

[0113] 在其他实施方式中，如图11所示，图2中的第二成像装置110B包括透镜121、滤波器123、图像传感器124、以及处理器125。透镜121可被配置成会聚光线到滤波器123上。滤波器
123可除掉不需要的光线，并让剩余的光线穿过以到达图像传感器124而生成图像。然后，处理器125可处理图像并生成一个诸如灰度图像601(图6所示)的灰度图像。

[0114] 在优选的实施方式中，透镜121可以是一个数字单镜头反光(“DSLR”)透镜；但是，透镜121可包括任何传统类型的透镜。无限制地，透镜121的示例性的合适的透镜系统可包括销孔透镜、生物透镜、简单的凸面玻璃透镜、或者类似透镜中的一个或多个。另外和/或可选地，无限制地，透镜121可被配置成具有特定的成像性能，例如宏镜头、变焦镜头、远摄镜头、鱼眼镜头、广角镜头、或者类似镜头中的一个或多个。

[0115] 滤波器123可以是光学滤波器，所述光学滤波器可选择地传输特定波长范围的光线。滤波器123可包括吸收滤波器、二向色滤波器、单色滤波器、红外线滤波器、紫外线滤波器、长通滤波器、带通滤波器、短通滤波器、导模谐振滤波器、金属网滤波器、或者偏振片等等。滤波器123可优选地包括带通滤波器，所述带通滤波器有利地传递特定波长的光线。如果滤波器123过滤掉环境可见光及所述环境中的紫外光，在白天的室外环境占主导地位的可见光与紫外光可有利地被滤掉以避免第二成像装置110B的图像传感器124的饱和度。当成像设备100在白天户外使用时，这是特别有用的。

[0116] 第二成像装置110B还可包括带通滤波器123，所述带通滤波器123大幅度地过滤掉特定波长的光线，仅留下红色、绿色或蓝色光线，且处理器125可被配置成感测所述波长。

[0117] 图像传感器124可接收来自滤波器123的光线并基于接收到的光线形成图像。图像传感器124可以是电荷耦合传感器(“CCD”)、互补金属氧化物半导体(“CMOS”)传感器、N型金属氧化物半导体(“NMOS”)传感器、及上述传感器的混合/变体、电光传感器、热/红外传感器、彩色或单色传感器、多光谱成像传感器、分光光度计、光谱仪、温度计、和/或照度计。

[0118] 与处理器130(图1及图2所示)类似，处理器125可包括任何由各制造商制造的商用图形芯片，这些芯片可在当前可用的视频设备中使用。可选择地，处理器125也可以是为第二成像装置110B特别制作的定制设计的图形芯片。处理器125可包括用于加速2D图形或3D场景渲染、MPEG-2/MPEG-4解码、电视输出、或连接多个显示器的能力的附加芯片。在一个实施方式中，处理器125可在VGA标准下操作。另外和/或可选地，处理器125可包括一个或多个通用微处理器(例如，单个或多核处理器)、特定应用的集成电路、特定应用的指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等等。处理器125可被配置成执行本文描述的任何方法，包括但不限于关于图像处理的各种操作。在一些实施方式中，处理器125可包括专门硬件，用于处理与图像处理相关的专门操作。

[0119] 处理器125通常可操作地连接到图像传感器124。这种连接可通过硬件或者无线连接。处理器125可处理图像传感器124接收到的原始图像，且可将所述原始图像自动转换为诸如灰度图像601(图6所示)的灰度图像。处理器125还可与第一成像装置110A的处理器115和/或处理器130物理地或无线地连接。图16、19及20详细所示，所述一个或多个处理器115、125、130可校准第一成像装置110A与第二成像装置110B的坐标，分析强度图像301(图3所示)的每一个图像块1110(图19所示)与灰度图像601(图6所示)的每一个对应的图像块1120(图19所示)之间的不同。另外，所述一个或多个处理器115、125、130还可生成一个退化模型，并应用一个是退化模型的逆矩阵的转换矩阵到来自ToF相机的第一深度图401(图4所示)的每个图像块1210(图20所示)上，及创建图15与20显示及描述的高分辨率的深度图。

[0120] 转向图12，在另一个实施方式中，图11中的第二成像装置110B还可包括显示器126和/或存储器127。来自图像传感器124的原始图像或来自处理器125的被处理图像可通所述显示器呈现。存储器127还可可选择地包含在本实施方式中。在显示在显示器126上之前或者之后，来自图像传感器124的所述原始图像或者来自处理器125的所述被处理图像可被存储在存储器127中。显示器126与存储器127可物理地连接到第二成像装置110B的其他部件。例如，显示器126与存储器127中的每一个或者两者可通过有线或无线连接而与处理器125连接。显示器126与存储器127中的每一个或者两者还可与第二成像装置110B的其他部件连接。来自第二成像装置110B的所述原始或被处理图像可进一步地被处理器130利用来自诸如第一成像装置110A的成像设备100其他部分的信息处理。

[0121] 在其他实施方式中，可不包括处理器130，且所有的处理都可分别由第一成像装置110A和/或第二成像装置110B的处理器115与125来施行。

[0122] 在一些实施方式中，可以提供分别不具备显示器116或126的第一及第二成像装置110A、110B。在这种情况下，所述设备100的唯一的显示器是显示器150，其可显示经处理后具备增强的分辨率的图像。例如，如果提供的第二成像装置110B为RGB相机，则其可不具备显示器126，并且本文讨论的图像可被直接传送给处理器130。

[0123] 当成像设备100可被用于检测可见光和/或红外光谱光线并因此生成图像时，所述设备100还可适于检测其他波长的光线，包括X射线、微波、或者等等。

[0124] 成像设备100可适于静态图像、视频图像、及三维图像、或等等。因此，本公开不应诠释为局限于本文显示及描述的示例性的成像系统100。

[0125] 尽管只是为了阐明的目的，图9显示及描述的包括一个处理器115、一个显示器116以及一个存储器117，且图12包括一个处理器125、一个显示器126、以及一个存储器127，成像设备100可包括任何预定数量的处理器、存储器和/或显示器。可选地和/或另外，根据系统应用，处理器、存储器和/或显示器中的一个或多个可从本文显示及描述的成像设备100中省略。

[0126] 在一些实施方式中，第一与第二成像装置110A、110B、处理器130中任何一个均可设置成任何合适的多个。

[0127] 图13示出了移动系统200的一个实施方式。图2显示与描述的移动平台140以包括电机与螺旋桨的无人飞行器1301示出。无人飞行器是没有装载人类飞行员的飞行器，其飞行可被自动地或被远程飞行员(或有时是两者同时)控制。现在正发现无人飞行器日渐增长的包括各种空中操作的民事用途，例如数据采集和/或数据传递。本文公开的系统和方法可适合很多类型的无人飞行器，包括但不限于四轴飞行器(也称为四旋翼直升机或四转子)、单转子、双转子、三转子、六转子、及八转子旋翼无人飞行器、固定翼无人飞行器，和混合旋翼-固定翼无人飞行器。

[0128] 在一些实施方式中，第一及第二成像装置110A、110B可被悬挂在无人飞行器的本体的下方。第一及第二成像装置110A、110B还可设置无人飞行器1301的顶部、无人飞行器1301的一侧、或者是与无人飞行器1301物理地结合。处理器130(图2所示)可与第一及第二成像装置110A、110B中的一个物理地结合，或者是设置在无人飞行器1301的本体的内部。无论位置，处理器130可与第一成像装置110A、第二成像装置110B、和/或诸如无人飞行器1301的移动平台140可操作地连接。

[0129] 可提供显示器150或不提供显示器150给移动系统200。如果包括显示器150，则所述显示器150可物理地附接到成像设备100上，或者远程地及无线地与处理器130连接。例如，多个无人飞行器可采用桌上型电脑、笔记本电脑、智能手机或平板电脑的显示器，并且所述显示器可通过其他硬件部件与无人飞行器1301无线地连接。

[0130] 图14示出了图2中移动系统200的另一个实施方式。移动平台140以包括电机与四肢的机器人1401示出。在本实施方式中，第一成像装置110A与第二成像装置110B(共同地被图2示出)可设置在诸如机器人1401的移动系统200的头部1402。处理器130可设置在机器人1401的本体1403的内部，并与第一成像装置110A、第二成像装置110B、和/或移动平台140可操作地连接。移动系统200可提供有显示器150或没有显示器150。如果包括显示器150，则所述显示器150可物理地附接到成像设备100上，和/或远程地及无线地与处理器130连接。很多最近发展的高品质机器人采用桌上型电脑、笔记本电脑、智能手机或平板电脑的显示器，并且所述显示器可通过其他硬件部件与机器人1401无线地连接。

[0131] 移动平台140还可包括电机与轮子、和/或电机与轨道(都未示出)等，以实现移动功能。移动平台140可包括但不局限于自行车、汽车、卡车、轮船、小船、火车、直升机、飞机、上述各种的组合等等。

[0132] 图15阐明了创建高分辨率深度图的示例性方法800。所述方法800开始于810，其中第一与第二成像装置110A、110B从稍微不同的角度捕获场景175(共同地被图2示出)中的图像。在820中，基于第一与第二成像装置110A、110B捕获的图像，处理器130可单独或者与处理器115和125共同创建场景175的高分辨率深度图。

[0133] 图16阐明了图15的810中捕获图像的细节。910中，处理器130(图2所示)可通过获得第一成像装置110A与第二成像装置110B的坐标系之间的转换来校准第一成像装置110A与第二成像装置110B。920中，第一成像装置110A可捕获第一图像。930中，第二成像装置110B可捕获第二图像501(图5所示)。校准之后，940中，处理器130可映射第二成像装置110B捕获的第二图像的任意像素到第一成像装置110A的坐标中。因此，第二图像501可在新的坐标下重新采样，结果是第一图像与第二图像可以更容易的在相同的坐标系下进行比较。

[0134] 转到图17，在920、930的捕获第一与第二图像及1050的校准之后，第一成像装置110A的处理器115可将第一图像转换成与第一图像相关的强度图像301(图3所示)及第一深度图像401(图4所示)。1060中，第二成像装置110B的处理器125可将校准图像转换成与第二图像相关的灰度图像601(图6所示)。1070中，处理器130可比较强度图像301与灰度图像
601，并基于高分辨率灰度图像601与低分辨率强度图像301之间的差异计算出一个退化模型。由于第一与第二成像装置110A、110B之间固有的分辨率差，从第一成像装置110A生成的强度图像301可比从第二成像装置110B生成的灰度图像601的分辨率要低。例如，在其中第一成像装置110A可以是ToF相机，而第二成像装置110B可以是RGB相机的优选实施方式中，所述分辨率差异可至少为QVGA相对于VGA，约为四倍。1070中，以下面参照图19与图20所述描述的具体的方式，计算强度图像301与灰度图像601的差别以形成一个退化模型。因为第一成像装置110A与第二成像装置110B可捕获同一个场景175的图像，由强度图像与灰度图像遭受到的退化可被认为直接正比于第一深度图401(图4所示)遭受到的低分辨率。因此，
1080中，处理器130可生成一个是退化模型的逆矩阵的转换矩阵。然后，在1090中，处理器
130可应用所述转换矩阵到图4的低分辨率的深度图401中，以创建如第二深度图701(图18所示)示出的例子那样的高分辨率的深度图。

[0135] 图19示出图17中示例性的实现方法800的示例性示意图，所述方法800是基于第一成像装置110A(图2所示)生成的强度图像301(图3所示)与第二成像装置110B(图2所示)生成的灰度图像601(图6所示)之间的分辨率差异计算出一个退化模型。图19示出了图17的1070中计算退化模型的示例性的细节。在优选的实施方式中，第一成像装置110A可以是ToF相机，而第二成像装置110B可以是RGB相机。在ToF相机的坐标下，处理器130可计算每对对应的图像块的差别。结果可以是退化模型。在退化模型里，i代表每个图像块的指标，每个图像块以虚线边界界定的小矩形示出。每个小矩形可以是一个图像块，例如1120。1120中的每个图像块可以定义为n。1110中对应的每个图像块定义为n’。处理器115、125、130中的一个或多个可计算n与n’之间的差别，并获得一对图像块n与n’的退化模型。

[0136] 退化模型阐明了根据公式(1)，如何通过模糊与噪音生成过程来由高分辨率灰度图像块n’创建一个低分辨率图像块n：

[0137]

[0138] 其中Ai描述图像退化(分辨率减少)过程，n表示成像中的随机噪声。为什么每个图像块对使用不同的退化模型的原因是因为相较于全球化，退化过程是本地的且可与图像的内容相关。对于整个图像块对，可以根据公式(2)来计算：

[0139]

[0140] 通过最大似然过程，基本上的追求退化模型Ai以使退化的图像块 最大限度地满足 的观测。

[0141] 图20示出图17中示例性的实现方法800的示例性示意图，所述方法800是生成一个转化矩阵以创建高分辨率深度图。图12示出了图10的1080与1090中的示例性的细节。因为第一深度图401(图4所示)及强度图像301(图3所示)可从同一个第一图像中生成，并且第一图像与第二图像可从相同场景175中拍得，可以假设所述深度图的退化模型可与强度图像相同。1080中，处理器115、125、130中一个或多个可生成是所述退化模型逆矩阵的转换矩阵。

[0142] 与1070类似，每一个图像块对n/n’可具有经分别计算的转换矩阵。然后，处理器115、125、130中一个或多个可应用所述转换矩阵到深度图1010的每个图像块n’以中深度图
1020中生成高分辨率深度图块n。所述转换矩阵可根据公式(3)来计算：

[0143]

[0144] 其中， 是ToF相机捕获的低分辨率深度图块中的第i个深度图块，Ai代表退化模型，n代表随机噪声。因此，可在优化过程中根据公式(4)来计算高分辨率的深度图块：

[0145]

[0146] 在每个图像块对重复上述步骤之后，便可获得诸如第二深度图701(图7所示)的高分辨率ToF深度图。

[0147] 所描述的实施方式可以具有各种修改和替换形式，其具体例子在图中已经示出并在本文进行了详细说明。然而，应当理解，所描述的实施方式并不限于所公开的具体形式或方法，相反，本发明涵盖所有修改、等同物和替代选择。

[0148] 以上示出并描述了本发明的优选实施方式，明显地，对本领域技术人员而言，这些实施方式仅仅是举例说明。本领域技术人员根据上述实施方式将作出不会脱离本发明的各种变形、改变以及替换。应当理解对本发明上述实施方式的各种变形都可应用于本发明。旨在由所附权利要求书限定本发明的范围且进而涵盖属于这些权利要求及其等效物的范围内的方法和结构。