深度数据监控系统

摘要

本发明公开了一种深度数据监控系统，该系统包括：红外编码投影系统，具有预定的工作周期，并在每个工作周期内以多种工作模式工作，在不同的工作模式下，红外编码投影系统向监控空间内不同的投射区域投射带有红外纹理的红外光束；成像装置，用于以预定的帧周期对监控空间成像，以形成包含纹理信息的红外纹理图像，工作周期的长度与帧周期的长度相同，红外编码投影系统的不同工作模式的投射区域分别对应于成像装置的不同像素区域。由此，基于本发明的深度数据监控系统，能够在不增加功耗的前提下监控位于较远处的监控区域的三维信息，并且能够获取包含监控空间的深度数据的红外纹理图像，通过对该图像进行分析，就可以获取监控空间的深度数据。

权利要求

1.一种深度数据监控成像系统，包括：

红外编码投影系统，具有预定的工作周期，并且在每个工作周期内以多种工作模式工作，每个工作模式的工作时期不同，在不同的工作模式下，所述红外编码投影系统向监控空间内不同的投射区域投射带有红外纹理的红外光束；

成像装置，用于以预定的帧周期对所述监控空间成像，以形成包含纹理信息的红外纹理图像，所述工作周期的长度与所述帧周期的长度相同，所述红外编码投影系统的不同工作模式的投射区域分别对应于所述成像装置的不同像素区域，所述红外编码投影系统的每个工作模式的工作时期与所述成像装置的对应于该工作模式的像素区域的曝光期至少部分重叠，使得所述成像装置的各个像素区域能够对其所对应的工作模式下投射的红外光束的反射光成像。

2.根据权利要求1所述的系统，其中，

在每个所述帧周期内，所述成像装置的所有像素区域具有相同的曝光期，并在所述曝光期内同步曝光，所述红外编码投影系统在所述曝光期内遍历所述多种工作模式。

3.根据权利要求1所述的系统，还包括：

触发信号发生装置，用于向所述成像装置发送触发信号，以触发所述成像装置对其一行像素的复位操作，其中，所述成像装置响应于所述触发信号，对其像素逐行依次执行复位操作，每一行像素的相邻两次复位操作之间的时间差为所述帧周期，每一行像素在复位操作之后开始曝光，并且在经过相同的有效曝光时间后对该行像素进行数据读取操作，所述红外编码投影系统的每个工作模式的投射区域分别对应于所述成像装置的若干行像素，每个工作模式的工作时期包括该工作模式对应的若干行像素中每一行像素的有效曝光期，并且在所述帧周期内除所述有效曝光期之外的时期内至少部分时间停止该工作模式。

4.根据权利要求3所述的系统，其中，

所述红外编码投影系统包括多个红外编码投影装置，在不同的工作模式下，由不同的红外编码投影装置投射所述红外光束。

5.根据权利要求1所述的系统，还包括：

可见光成像装置，用于对所述监控空间成像，所述可见光成像装置所成的像是包含所述监控空间的色彩信息的图像。

6.根据权利要求5所述的系统，还包括：

红外光过滤装置，设置在所述可见光成像装置的前端，用于滤除红外光。

7.根据权利要求6所述的系统，其中，

所述红外光过滤装置被配置为滤除波长在780nm-1100nm之间的红外光。

8.一种深度数据监控系统，包括：

如权利要求1-7中任一项所述的深度数据监控成像系统；以及

处理器，用于分析所述成像装置在每个帧周期内所成的红外纹理图像，以确定所述红外纹理图像中每一个纹理片段相对于所述成像装置的深度数据。

9.根据权利要求8所述的系统，其中，所述成像装置包括一个红外光图像传感器，所述处理器根据所述红外编码投影系统在不同工作模式下所投射的红外纹理在多个已知纵深距离的参考面纹理，能够确定所述红外纹理图像中每一个纹理片段的深度数据。

10.根据权利要求8所述的系统，其中，所述成像装置包括两个红外光图像传感器，所述两个红外光图像传感器之间具有预定相对空间位置关系，所述两个红外光图像传感器分别用于对所述监控空间成像，所述处理器根据所述两个红外光图像传感器之间的预定相对空间位置关系、基于所述红外纹理中同一个纹理片段在所述两个红外纹理图像中相对应地形成的纹理片段图像的位置差异，能够确定该纹理片段相对于所述两个红外光图像传感器的深度数据，从而确定所述红外纹理图像中每一个纹理片段的深度数据。

11.根据权利要求8所述的系统，其中，所述深度数据监控成像系统还包括：可见光成像装置，用于对所述监控空间成像，所述可见光成像装置所成的像是包含所述监控空间的色彩信息的图像，基于所确定的所述监控空间的深度数据及所述监控空间的色彩信息，所述处理器能够融合出包含所述监控空间的深度数据及色彩信息的图像。

说明书

深度数据监控系统

技术领域

[0001] 本发明涉及监控安防领域，更具体而言，涉及能够获取监控空间的深度数据的系统。

背景技术

[0002] 随着社会的发展，各种安防监控设备已广泛应用于银行、写字楼、街道、机场等多种公共场所。现有的安防监控设备一般采用输出模拟或数字图像信号的传感器对监控区域进行连续拍摄，以获得关于监控区域的视频数据，达到对监控区域进行监控的目的。

[0003] 但是，一方面，现有的安防监控设备大多只能获得监控区域的二维图像信息，无法获得监控区域中目标物体的真实三维信息；另一方面，在功率一定的情况下，监控设备中的照明系统向较远处的监控空间投射的光的强度较弱，使得监控设备所能监控的距离有限，而提高照明系统的功率又会造成能源的浪费，并增加成本。

[0004] 因此，需要一种在不显著增加功耗的前提下能够监控较远处的监控区域的三维信息的深度数据监控系统。

发明内容

[0005] 本发明要解决的一个技术问题是提供一种在不增加功耗的前提下能够监控较远处的监控区域的三维信息的深度数据监控系统。

[0006] 根据本发明的一个方面，提供了一种深度数据监控系统，包括：红外编码投影系统，具有预定的工作周期，并且在每个工作周期内以多种工作模式工作，每个工作模式的工作时期不同，在不同的工作模式下，红外编码投影系统向监控空间内不同的投射区域投射带有红外纹理的红外光束；成像装置，用于以预定的帧周期对监控空间成像，以形成包含纹理信息的红外纹理图像，工作周期的长度与帧周期的长度相同，红外编码投影系统的不同工作模式的投射区域分别对应于成像装置的不同像素区域，红外编码投影系统的每个工作模式的工作时期与成像装置的对应于该工作模式的像素区域的曝光期至少部分重叠，使得成像装置的各个像素区域能够对其所对应的工作模式下投射的红外光束的反射光成像。

[0007] 由此，红外编码投影系统采用分布式投射的方式，在一个工作周期内向监控空间的不同区域投射带有纹理信息的红外光束，使得成像装置获取监控空间的带有纹理信息的红外纹理图像，通过对所获取的红外纹理图像进行分析，就可以获得监控空间的深度数据。另外，由于红外编码投影系统采用分布式投射的方式，这样，在红外编码投影系统的工作功率一定的情况下，红外编码投影系统可以向更远处投射红外光束，并使得投射到监控空间的红外光束的亮度较强，使得成像装置所获取的红外纹理图像中的纹理信息更加清晰、可辨，使得系统能够监控更远位置处的监控空间，并提高所获得的监控空间的深度数据的准确性。

[0008] 优选地，在每个帧周期内，成像装置的所有像素区域具有相同的曝光期，并在曝光期内同步曝光，红外编码投影系统在曝光期内遍历多种工作模式。

[0009] 优选地，该系统还可以包括触发信号发生装置，用于向成像装置发送触发信号，以触发成像装置对其一行像素的复位操作，其中，成像装置响应于触发信号，对其像素逐行依次执行复位操作，每一行像素的相邻两次复位操作之间的时间差为帧周期，每一行像素在复位操作之后开始曝光，并且在经过相同的有效曝光时间后对该行像素进行数据读取操作，红外编码投影系统的每个工作模式的投射区域分别对应于成像装置的若干行像素，每个工作模式的工作时期包括该工作模式对应的若干行像素中每一行像素的有效曝光期，并且在帧周期内除有效曝光期之外的时期内至少部分时间停止该工作模式。

[0010] 优选地，红外编码投影系统包括多个红外编码投影装置，在不同的工作模式下，由不同的红外编码投影装置投射红外光束。

[0011] 由此，在采用多个红外编码投影装置以实现分布式投射时，每个红外编码投影装置对应于成像装置的若干行像素，且在每个工作周期内，每个红外编码投影系统都有一定的休息时间(断电时间)，这样，在不影响获取监控空间的包含深度数据的红外纹理图像的前提下，可以避免因长时间工作引起的器件发热对红外光编码投影装置造成的老化等损害，使得每个红外光发生器可以尽可能达到其使用寿命。

[0012] 优选地，该系统还可以包括：处理器，用于分析成像装置在每个帧周期内所成的红外纹理图像，以确定红外纹理图像中每一个纹理片段相对于成像装置的深度数据。

[0013] 优选地，成像装置包括一个红外光图像传感器，处理器根据红外编码投影系统在不同工作模式下所投射的红外纹理在多个已知纵深距离的参考面纹理，能够确定红外纹理图像中每一个纹理片段的深度数据。

[0014] 优选地，成像装置包括两个红外光图像传感器，两个红外光图像传感器之间具有预定相对空间位置关系，两个红外光图像传感器分别用于对监控空间成像，处理器根据两个红外光图像传感器之间的预定相对空间位置关系、基于红外纹理中同一个纹理片段在两个红外纹理图像中相对应地形成的纹理片段图像的位置差异，能够确定该纹理片段相对于两个红外光图像传感器的深度数据，从而确定红外纹理图像中每一个纹理片段的深度数据。

[0015] 优选地，该系统还可以包括：可见光成像装置，用于对监控空间成像，可见光成像装置所成的像是包含监控空间的色彩信息的图像，基于所确定的监控空间的深度数据及监控空间的色彩信息，处理器能够融合出包含监控空间的深度数据及色彩信息的图像。

[0016] 优选地，该系统还可以包括：红外光过滤装置，设置在可见光成像装置的前端，用于滤除红外光。

[0017] 其中，红外光过滤装置被配置为滤除波长在780nm-1100nm之间的红外光。

[0018] 综上，本发明的深度数据监控系统中的红外编码投影系统采用分布式投射的方式向监控空间的不同区域投射带有纹理信息的红外光束，使得系统能够监控更远处的空间，并且基于本发明的深度数据监控系统能够获取包含监控空间的深度数据的红外纹理图像，通过对该图像进行分析，就可以获取监控空间的深度数据。

附图说明

[0019] 通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

[0020] 图1示出了本发明一实施例的深度数据监控系统的示意性方框图。

[0021] 图2示出了本发明另一实施例的深度数据监控系统的示意性方框图。

[0022] 图3示出了本发明一实施例的成像装置的成像过程的示意性原理图。

[0023] 图4示出了本发明一实施例的红外编码投影系统的组成示意图。

[0024] 图5示出了本发明一实施例的红外编码投影系统向监控空间投射带有纹理的红外光束的投射结果示意图。

[0025] 图6示出了本发明另一实施例的深度数据监控系统的示意性方框图。

[0026] 图7示出了本发明另一实施例的深度数据监控系统的示意性方框图。

具体实施方式

[0027] 下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

[0028] 图1是根据本发明一实施例的深度数据监控系统的示意性方框图。

[0029] 如图1所示，本发明的深度数据监控系统包括红外编码投影系统1和成像装置2。

[0030] 红外编码投影系统1用于向监控空间投射经过编码后的带有纹理的红外光束，其中，红外编码投影系统1所投射的红外光束所携带的纹理可以是随机散斑纹理，也可以是采用De ruijn(德布鲁因)序列的条纹编码纹理，当然还可以是其它形状的纹理。红外编码投影系统1所投射的带有纹理的红外光束可以在监控空间内形成具有一定分布的纹理图案。

[0031] 红外编码投影系统1具有预定的工作周期，并且在每个工作周期内以多种工作模式工作，每个工作模式的工作时期不同，在不同的工作模式下，红外编码投影系统1向监控空间内不同的投射区域投射带有纹理的红外光束。

[0032] 其中，不同工作模式的工作时期可以重叠，即可以在一个时刻存在多个工作模式。另外，红外编码投影系统1在不同工作模式下所投射的区域也可以具有重叠区域。进一步地，红外编码投影系统1在不同工作模式下所投射的红外光束所携带的纹理信息可以相同，也可以不同。

[0033] 这样，在红外编码投影系统1的工作功率一定的情况下，采用向监控空间分布投射带有纹理的红外光束的方式，可以使得所投射的红外光束亮度更高，所投射的红外光束所能到达的最大距离更远。

[0034] 成像装置2用于以预定的帧周期对监控空间成像，以形成包含纹理信息的红外纹理图像，红外编码投影系统1的工作周期的长度与成像装置2的帧周期的长度相同，使得成像装置2可以对处在红外编码投影系统1的每个工作周期下的监控空间成像。

[0035] 进一步地，红外编码投影系统1的不同工作模式的投射区域分别对应于成像装置2的不同像素区域，红外编码投影系统1的每个工作模式的工作时期与成像装置2的对应于该工作模式的像素区域的曝光期至少部分重叠，使得成像装置2的各个像素区域能够对其所对应的工作模式下投射的红外光束的反射光成像。

[0036] 其中，根据所采用的成像装置2的结构不同，红外编码投影系统1每个工作周期内的工作模式也不尽相同。具体而言，在成像装置2使用全局曝光时(即成像装置2的每个帧周期内，成像装置2的所有像素区域具有相同的曝光期，并在曝光期内同步曝光)，红外编码投影系统1在曝光期内遍历多种工作模式。这样，成像装置2对监控空间拍摄形成的每帧图像是包含了纹理信息的红外纹理图像，基于红外纹理图像中的纹理片段的相关信息，就可以确定监控空间的深度信息。

[0037] 另外，成像装置2还可以采用卷帘式传感器，其可以按照触发(trigger)模式工作。如图2所示，此时，本发明的深度数据监控系统还可以包括触发信号发生装置4。在触发模式下，触发信号发生装置4向成像装置2发送触发信号，以触发成像装置2对其一行像素的复位操作。触发模式下，成像装置2的成像过程可以如图3所示。在触发信号发生装置4的触发信号作用下，成像装置2的像素可以逐行依次执行复位操作，每一行像素的相邻两次复位操作之间的时间差为帧周期(图中t1到t5)，每一行像素在复位操作之后开始曝光(t2到t3，t4到t5)，并且经过有效的曝光时间(有效曝光时间对应于图中的t2到t3)后对该行像素进行数据读取操作(t3到t4)。如图3所示，在数据读取操作完成之后，还可以继续进行曝光(t4到t5)，但是由于读取操作已经完成，所以此后的曝光到下一次复位之间的曝光期间属于无效曝光时间(无效曝光时间对应于图中的t4到t5)。在成像装置2采用图3所示的曝光过程的图像传感器时，红外编码投影系统1的每个工作模式的投射区域分别对应于成像装置2的若干行像素，其中，按预定时间顺序启动的不同工作模式的投射区域由上到下分布(可以具有重叠部分)，每个工作模式的工作时期包括该工作模式对应的若干行像素中每一行像素的有效曝光期，并且在帧周期内除有效曝光期之外的时期内至少部分时间停止该工作模式。

[0038] 其中，应该知道，上面所描述的成像装置2的两种工作模式中仅是本发明的一种优选，就本发明而言，成像装置2还可以有其它工作模式，此处不再赘述。

[0039] 至此已详细描述了本发明的深度数据监控系统的基本结构及工作过程，由上述描述可知，本发明的深度数据监控系统中的红外编码投影系统采用分布式投射的方式向监控空间的不同区域投射带有纹理信息的红外光束，使得深度数据监控系统中的成像装置通过对监控空间成像，可以获得带有纹理信息的红外纹理图像，通过对红外纹理图像分析，即可得到监控空间的深度数据。

[0040] 其中，本发明的深度数据监控系统中的红外编码投影系统1的功能可以由一个红外编码投影装置完成，也可以由多个红外编码投影装置完成。下面就红外编码投影系统包括多个红外编码投影装置的情况进行进一步说明，红外编码投影系统由一个红外编码投影装置完成时的情况不再详述。

[0041] 如图4所示，红外编码投影系统1包括多个红外编码投影装置(1-1、1-2、......1-N)，多个红外编码投影装置以预定的顺序投入工作，此时，上文所说的多种工作模式分别对应于多个红外编码投影装置，即在不同的工作模式下，由不同的红外编码投影装置向监控空间的不同区域投射红外光束。这样，当成像装置2的成像过程如图3所示时，每个红外编码投影装置的投射区域对应于成像装置2的若干行像素，这样，当一个帧周期内某个红外编码投影装置所对应的若干行像素的有效曝光期结束后，该红外编码投影装置就可以停止工作，等待下一个帧周期内其所对应的若干行像素的有效曝光期开始时，启动工作。

[0042] 以红外编码投影系统1包括上下两个红外编码投影装置来说，上红外编码投影装置用于向监控空间的上半部分投射带有纹理信息的红外光束(参见图5中的A部分)，下红外编码投影装置用于向监控空间的下半部分投射带有纹理信息的红外光束(参见图5中的B部分)。其中，上红外编码投影装置的投射区域和下红外编码投影装置的投射区域可以有重叠部分。这样，每个红外编码投影装置只需要向监控空间的一部分区域投射红外光束，就可以使得成像装置采集监控空间的包含了深度数据的红外纹理图像。

[0043] 综上，在不影响获取监控空间的包含深度数据的红外纹理图像的前提下，采用多个红外编码投影装置向监控空间的不同投射区域投射的方案与采用单个红外编码投影装置向整个监控空间投射的方案相比，在红外编码投影装置的工作功率相同的情况下，本发明实施例中的红外编码投影装置可以投射更远的红外光束，且红外光束投射到监控空间的照明强度较强。另外，对于采用多个红外编码投影装置的方案来说，在一个工作周期内，每个红外编码投影装置只需要工作一部分时间，即每个红外编码投影装置在每个工作周期内都有一定的断电时间，这样，可以避免因长时间工作引起的器件发热对红外光编码投影装置造成的老化等损害，使得每个红外光发生器可以尽可能达到其使用寿命。

[0044] 进一步地，红外编码投影装置可以由红外光发生器和光学系统组成。红外光发生器可以产生红外光，光学系统可以将红外光发生器产生的红外光进行处理，将其变成带有纹理的红外光束。其中，根据实际需要，光学系统可以有多种结构。当光学系统采用不同的结构时，红外光发生器发出的红外光经过光学系统后，可以变成带有不同纹理的红外光束。例如，光学系统可以由光学分束器和光学扩散片组成，红外光发生器发出的单束红外激光经过光学分束器后，可以变成多束红外激光，然后多束红外激光入射到光学扩散片后就可以产生多个条状光束或多个离散光斑(纹理片段的具体的结构与光学扩散片的光学性质有关)。再例如，光学系统也可以采用诸如全息式微透镜阵列、光学掩膜或者其它类型的光栅，由此，可以产生带有其它不同纹理的红外光。

[0045] 图6根据本发明另一实施例的深度数据监控系统的示意性方框图。如图6所示，本发明实施例的深度数据监控系统在包括了图1所示的所有结构外，还包括处理器3。

[0046] 处理器3用于分析成像装置2在每个帧周期内所成的红外纹理图像，以确定红外纹理图像中每一个纹理片段相对于成像装置的深度数据，从而确定监控空间的深度数据。

[0047] 其中，处理器3有多种确定成像装置2所成的红外纹理图像中的纹理片段的深度数据的方式。

[0048] 例如，在成像装置2包括一个红外光图像传感器的时候，处理器根据红外编码投影系统在不同工作模式下所投射的红外纹理在多个已知纵深距离的参考面纹理，能够确定红外纹理图像中每一个纹理片段的深度数据，即监控空间的深度数据。再例如，如图7所示，在成像装置2包括两个红外光图像传感器(第一红外光图像传感器2-1和第二红光图像传感器2-2)时候，两个红外光图像传感器之间具有预定相对空间位置关系，两个红外光图像传感器分别用于对监控空间成像，此时，处理器3根据两个红外光图像传感器之间的预定相对空间位置关系、基于红外纹理中同一个纹理片段在两个红外纹理图像中相对应地形成的纹理片段图像的位置差异，能够确定该纹理片段相对于两个红外光图像传感器的深度数据，从而确定红外纹理图像中每一个纹理片段的深度数据，即监控空间的深度数据。

[0049] 其中，如图7所示，在成像装置2包括两个红外光图像传感器的情况下，这两个红外光图像传感器可以按照如上文所述的触发模式来工作。两个红外光图像传感器可以分别与触发信号发生装置4连接。通过触发信号发生装置4同时向两个红外光图像传感器发送触发信号，使得两个红外光图像传感器可以同步对监控空间成像。

[0050] 在实际应用中，除了监控空间的三维信息，我们还需要采集监控空间的彩色图像信息，以便在需要的时候调取录像视频供用户参考和检索。因此，对于上述各个实施例中的深度数据监控系统来说，系统还可以包括可见光成像装置。

[0051] 可见光成像装置用于对监控空间成像，可见光成像装置所成的像是包含监控空间的色彩信息的图像，基于所确定的监控空间的深度数据及监控空间的色彩信息处理器能够融合出包含监控空间的深度数据及色彩信息的图像。

[0052] 另外，可见光成像装置一般也能够检测到红外光，因此，为了避免红外编码投影系统所投射的红外光所造成的干扰，还可以在可见光成像装置的前端设置一个红外光过滤装置，用于滤除红外光，其中，红外光过滤装置优选地被配置为滤除波长在780nm-1100nm之间的红外光。

[0053] 上文中已经参考附图详细描述了根据本发明的深度数据监控系统。

[0054] 此外，根据本发明的方法还可以实现为一种计算机程序，该计算机程序包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。或者，根据本发明的方法还可以实现为一种计算机程序产品，该计算机程序产品包括计算机可读介质，在该计算机可读介质上存储有用于执行本发明的上述方法中限定的上述功能的计算机程序。本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

[0055] 附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

[0056] 以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。