用于执行投影图像到检测到的红外线(IR)辐射信息的对准的方法和系统

摘要

一种利用热成像布置(10)基于从观察的现实世界场景发射的红外线(IR)辐射把红外线(IR)辐射信息的可见表示呈现到所述观察的现实世界场景上的方法，其中热成像布置(10)包括红外线(IR)成像系统(18)、可见光成像系统(14)和可见光投影系统(22)。

权利要求

1.一种利用热成像布置(10)基于从观察的现实世界场景发射的红外线辐射把红外线辐射信息的可见表示呈现到所述观察的现实世界场景上的方法，其中热成像布置(10)包括红外线成像系统(18)、可见光成像系统(14)和可见光投影系统(22)，该方法包括步骤：

-根据所述红外线成像系统(18)的第一视场，基于检测到的从所述观察的现实世界场景发射的红外线辐射捕捉红外线辐射信息；

-以红外线图像的形式创建所述检测到的红外线辐射的可见表示；

-根据所述可见光投影系统(22)的第二视场把可见光图案投影到所述观察的现实世界场景上，其中所述第二视场至少部分地重叠所述第一视场；

-根据所述可见光成像系统(14)的第三视场捕捉所述观察的现实世界场景的可见光图像，所述场景包括所述投影的可见光图案，所述第三视场至少部分地重叠第一视场和/或第二视场；

-检测所述捕捉到的可见光图像中的所述投影的可见光图案；

-依赖于所述可见光成像系统(14)和所述可见光投影系统(22)之间的预定关系，确定在可见光图像中的像素坐标中所述检测到的可见光图案的像素坐标和计算出的所述投影的可见光图案的像素坐标之间的像素位移d(pix vis)，其中，如果可见光成像系统和可见光投影系统对准，则投影的可见光图案将出现；

-依赖于所述红外线成像系统(18)和所述可见光投影系统(22)之间的预定关系，基于检测到的投影的可见光图案和可见光图像之间的所述像素位移d(pix vis)，确定在红外线图像中的像素坐标中红外线图像和可见光图像之间的像素位移d(pix IR)；

-基于所述像素位移d(pix IR)，把所述红外线图像对准到检测到的从所述观察的现实世界场景发射的红外线辐射；

及

-通过根据第二视场与检测到的从观察的现实世界场景发射的红外线辐射对准地把所述对准的红外线图像投影到所述现实世界场景上来呈现所述对准的红外线图像。

2.如权利要求1所述的方法，还包括取得从热成像布置到观察的场景的距离z，及-基于取得的距离z，确定检测到的投影的可见光和可见光图像之间的像素位移d(pix vis)；

和/或

-基于检测到的投影的可见光和可见光图像之间的像素位移d(pix vis)以及取得的距离z，确定红外线图像和可见光图像之间的像素位移d(pix IR)。

3.如权利要求1所述的方法，还包括：

-如果第一视场等于第三视场，则在可见光投影仪中接收红外线图像中全部像素的红外线图像像素信息；

-如果第一视场小于第三视场，则在可见光投影仪中接收红外线图像中对应于包括在第一视场中的场景部分的像素的红外线图像像素信息；或者-如果第一视场大于第三视场，则在可见光投影仪中接收红外线图像中全部像素的红外线图像像素信息并且还把接收到的信息重新缩放成可见光投影设备的分辨率。

4.如权利要求2所述的方法，其中距离z是通过使用校准后的热成像布置(10)作为测距仪来取得的。

5.如权利要求2所述的方法，其中距离z是通过使用集成在热成像布置(10)中或耦合到其的距离传感器来取得的。

6.如前面任何一项权利要求所述的方法，其中热成像布置是在生产期间校准的。

7.如权利要求1-5中任何一项所述的方法，其中热成像布置是在使用期间自校准的。

8.如权利要求1-5中任何一项所述的方法，其中热成像布置适于在操作期间自调节。

9.如权利要求1所述的方法，其中取得多于一个距离并且所述多于一个距离用来创建距离图或距离图像。

10.如权利要求1所述的方法，其中所述距离图或距离图像的距离用来在不同的深度对准红外线图像的可见表示和观察的现实世界，因为，依赖于距离图，每个投影的像素能够被适配为在正确的距离被投影。

11.如权利要求9和10任何一项所述的方法，还包括：

-依赖于距离图或距离图像的距离以及预设的条件，以变化的密度投影像素。

12.如权利要求9-10中任何一项所述的方法，其中通过取得多于一个距离zi来使能到不平的表面或对象或者所述现实世界场景中与所述可见光投影仪(22)的光轴不正交的表面上的投影对准。

13.如权利要求1-5中的任何一项所述的方法，还包括补偿视差距离和方向性误差的步骤。

14.如权利要求13所述的方法，其中所述补偿是通过生产期间或使用期间可见光成像系统和可见光图像投影设备的校准来实现的。

15.如权利要求1-5中的任何一项所述的方法，其中该方法还包括，依赖于一个或多个对象的热属性，检测场景中一个或多个对象的步骤。

16.如权利要求15所述的方法，其中一个或多个检测到的对象当中每一个都具有以以下方式之一与周围环境偏离的温度模式：-检测到的对象的平均温度低于其紧挨着的周围环境的平均温度；或者-检测到的对象的平均温度高于其紧挨着的周围环境的平均温度。

17.如权利要求15所述的方法，其中只有代表一个或多个检测到的对象的检测的红外线辐射的可见光被投影到场景上。

18.一种基于从观察的现实世界场景发射的红外线辐射把红外线辐射信息的可见表示呈现到所述现实世界场景上的热成像布置(10)，该布置(10)包括：-红外线成像系统(18)，用于根据第一视场检测从所述观察的现实世界场景发射的红外线辐射；

-处理器(13)，适于根据所述红外线成像系统(18)的第一视场基于检测到的从所述观察的现实世界场景发射的红外线辐射来捕捉红外线辐射信息，由此以红外线图像的形式创建所述检测到的红外线辐射的可见表示；

-可见光投影系统(22)，适于根据第二视场把可见光图案和/或图像投影到所述观察的现实世界场景上，其中第二视场至少部分地重叠第一视场；

-可见光成像系统(14)，适于根据第三视场捕捉所述观察的现实世界场景的可见光图像，其中第三视场至少部分地重叠第一和/或第二视场；

-所述处理器(13)还适于：

·根据所述可见光投影系统(22)的第二视场把可见光图案投影到所述观察的现实世界场景上，所述第二视场至少部分地重叠所述第一视场；

·根据所述可见光成像系统(14)的第三视场捕捉所述观察的现实世界场景的可见光图像，所述场景包括所述投影的可见光图案，其中所述第三视场至少部分地重叠第一视场和/或第二视场；

·检测所述捕捉到的可见光图像中的所述投影的可见光图案；

·依赖于所述可见光成像系统(14)和所述可见光投影系统(22)之间的预定关系，确定在可见光图像中的像素坐标中所述检测到的可见光图案的像素坐标和计算出的所述投影的可见光图案的像素坐标之间的像素位移d(pix vis)，其中，如果可见光成像系统和可见光投影系统对准，则投影的可见光图案将出现；

·依赖于所述红外线成像系统(18)和所述可见光投影系统(22)之间的预定关系，基于检测到的投影的可见光图案和可见光图像之间的像素位移d(pix vis)，确定在红外线图像中的像素坐标中红外线图像和可见光图像之间的所述像素位移d(pix IR)；

·基于所述像素位移d(pix IR)，把所述红外线图像对准到检测到的从所述观察的现实世界场景发射的红外线辐射；

·以及通过根据第二视场，与检测到的从观察的现实世界场景发射的红外线辐射对准地把所述对准的红外线图像投影到所述现实世界场景上来呈现所述对准的红外线图像。

19.如前一权利要求所述的热成像布置，其中处理器(13)还包括用于执行如权利要求

1-17中任何一项所述的方法的步骤的特征。

20.如权利要求18和19任何一项所述的热成像布置，其中处理器是现场可编程门阵列(FPGA)或者可利用硬件描述语言(HDL)配置的另一处理设备。

21.一种计算机可读介质，其上存储了适于控制处理器执行如权利要求1-17所述的任何步骤或功能的非暂时性信息。

22.一种利用热成像布置(10)基于从观察的现实世界场景发射的红外线辐射把红外线辐射信息的可见表示呈现到所述观察的现实世界场景上的设备，其中热成像布置(10)包括红外线成像系统(18)、可见光成像系统(14)和可见光投影系统(22)，该设备包括：

-根据所述红外线成像系统(18)的第一视场，基于检测到的从所述观察的现实世界场景发射的红外线辐射捕捉红外线辐射信息的装置；

-以红外线图像的形式创建所述检测到的红外线辐射的可见表示的装置；

-根据所述可见光投影系统(22)的第二视场把可见光图案投影到所述观察的现实世界场景上的装置，其中所述第二视场至少部分地重叠所述第一视场；

-根据所述可见光成像系统(14)的第三视场捕捉所述观察的现实世界场景的可见光图像的装置，所述场景包括所述投影的可见光图案，所述第三视场至少部分地重叠第一视场和/或第二视场；

-检测所述捕捉到的可见光图像中的所述投影的可见光图案的装置；

-依赖于所述可见光成像系统(14)和所述可见光投影系统(22)之间的预定关系，确定在可见光图像中的像素坐标中所述检测到的可见光图案的像素坐标和计算出的所述投影的可见光图案的像素坐标之间的像素位移d(pix vis)的装置，其中，如果可见光成像系统和可见光投影系统对准，则投影的可见光图案将出现；

-依赖于所述红外线成像系统(18)和所述可见光投影系统(22)之间的预定关系，基于检测到的投影的可见光图案和可见光图像之间的所述像素位移d(pix vis)，确定在红外线图像中的像素坐标中红外线图像和可见光图像之间的像素位移d(pix IR)的装置；

-基于所述像素位移d(pix IR)，把所述红外线图像对准到检测到的从所述观察的现实世界场景发射的红外线辐射的装置；

及

-通过根据第二视场与检测到的从观察的现实世界场景发射的红外线辐射对准地把所述对准的红外线图像投影到所述现实世界场景上来呈现所述对准的红外线图像的装置。

说明书

用于执行投影图像到检测到的红外线(IR)辐射信息的对准的

方法和系统

技术领域

[0001] 本发明一般而言涉及，依赖于检测到的来自对象场景的红外线(IR)辐射信息，图像到观察的场景上的投影。更具体而言，本发明涉及投影图像到检测到的红外线(IR)辐射信息的对准。

背景技术

[0002] 在红外线(IR)成像或热成像的场中，常见的是利用IR成像系统，也称为热成像布置，例如以IR相机的形式，捕捉从观察的场景发射的IR辐射，并且把IR辐射信息处理成通常在系统的显示器上向用户示出的可见光图像。

[0003] 与此相关的问题是成像系统的用户难以区分并分析什么在显示器上示出，因为代表IR辐射信息的图像常常具有低分辨率并且显示单元通常相当小。

[0004] IR成像系统的用户可以选择保存一个或多个图像并且把它们传送到另一单元，诸如计算机，用于随后显示。以这种方式，这一个或多个图像可以在更大的显示器上呈现。但是，这导致从IR辐射被检测到的时刻到检测到的信息向用户呈现的时刻的延迟，换句话说，检测到的信息的分析不能在现场执行。此外，用户难以回顾性地把显示在计算机上的信息关联到IR辐射检测已经执行的现实世界场景。

[0005] 在IR相机和典型用例中，操作人员会想通过检测对象的不同点或部分的温度来分析观察的场景中一个或多个对象或表面的特点。操作人员捕捉IR图像，然后比较场景的IR图像与现实世界场景。在这个过程中，操作人员必须通过比较在通常小的IR相机显示器上显示的内容与现实世界场景来把图像信息翻译或解释成现实，以便理解显示器上的图像信息如何关联到现实世界场景，其中会存在必然的努力、错误源和延迟。

[0006] 有些相关技术通过提供IR检测器或IR相机和可见光投影机的组合来解决这些问题，使得更大的可见图像能够在现场显示，例如，该可见图像投影到观察的场景的平表面上。这种相关技术设计成依赖于IR辐射生成可见光图像并且把IR辐射的可见解释直接投影到观察的场景上。由此使得有可能与观察的场景更紧密关联地使用IR辐射信息。

[0007] 随着技术发展以及更小构造部件可以获得，小尺寸投影设备的生产变得日益普通。因此，这种“小型化”投影仪可以例如结合手持式设备，诸如具有成像能力或成像系统的移动通信设备，使用。这种发展也使得生产具有投影仪的手持式IR相机更可行。但是，在相关技术中，仍然需要开发用于集成IR相机和投影机的方法。

[0008] 由于IR图像形式的IR信息的捕捉以及作为IR图像可见表示的可见图像的投影是由不同且物理上分离的部件执行的，因此部件的光轴通常彼此有一定距离并且称为视差的光学现象将发生。为了补偿视差误差，图像必须对准。按照惯例，对准是通过成像系统中的光学元件，例如对焦透镜或分束器，的调节来实现的。利用成像系统中光学或其它物理元件的对准需要成像系统中的空间并且会难以适合。此外，成像系统中附加或经过特别改装的元件的包括造成更高的生产成本。

[0009] 相关技术的例子

[0010] 公开IR检测器和可见光投影仪的结合的相关技术的例子在以下文档中找到。

[0011] 授予Cannamela的专利公开US 2008/0224041 A1公开了用于现实世界场景上的表面下异常检测和图像投影的方法和装置。根据该公开内容的各方面，该方法包括利用检测器确定在观察的场景中表面之后一个位置的表面下异常的存在并且生成代表该异常的信号表示。该信号被发送到投影仪、转换成该异常的可见表示并且投影到该表面上的其中该表面下异常在其后面存在的该表面上的位置处。

[0012] 授予Qinetiq的专利公开US 7,579,592 B2公开了照明和成像系统及方法。根据该公开内容的各方面，热手电筒包括IR相机和可见光发射器，布置成利用可见光照亮热对象。IR信息转换成可见光并且可见光投影到场景上。这个文档公开了利用分束器进行对准的解决方案。

[0013] 公开视差补偿和/或图像对准的相关技术的例子在以下文档中找到。

[0014] 在相机显示器登记可见光相机模块和红外线相机模块的独立视场的方法和装置在授予Johnson等人的文档US 2006/0289772 Al中找到。US 2006/0289772 Al的登记需要诸如霍尔效应传感器的传感器。该文档只公开了显示在数字显示器上的图像之间的对准，并且没有公开投影设备的使用。

[0015] 文档EP 2107799 A1 FLIR Systems AB公开了具有分别用于记录IR图像和可见图像的两个光学系统以及激光指示器的IR相机。与可见图像和IR图像之间的位移相关的一个或多个参数用来确定IR图像中激光点相对于可见图像中检测到的位置的位移。该公开内容的目的是通过在数字显示器上显示的图像的对准来确定激光点在红外线图像中的位置，并且没有公开投影设备的使用。

[0016] 因此，存在对IR辐射信息的可见表示到检测到的IR信息的改进对准的需求。

[0017] 发明目的

[0018] 本发明的目标是提供组合的IR成像设备和可见光投影仪，其具有IR辐射信息的可见表示到检测到的红外线(IR)辐射信息的改进对准。

[0019] 本发明的更多目标是解决以下部分问题：

[0020] -如何提供包括检测到的从现实世界场景发射的IR辐射的可见表示的投影图像到所述检测到的IR辐射的改进对准。

[0021] -如何以低成本提供用于执行上述改进对准的成像系统。

[0022] -如何在投影到与可见光投影仪的光轴不正交的表面上时使能改进的对准。

[0023] -如何在投影到不平的表面上时使能改进的对准。

[0024] -如何在可见光投影仪的光学系统和IR成像系统之间的相对距离未知时使能改进的对准。

[0025] -如何在与IR成像系统结合提供可见光投影仪的灵活使用时，例如在可见光投影仪和IR成像系统是独立部件时，使能改进的对准。

[0026] 本发明的一种或多种实施例解决或至少最小化以上提到的问题。

发明内容

[0027] 根据示例性实施例，本发明便于让用户向观察的现实世界场景登记IR辐射信息。

[0028] 根据更多的示例性实施例，本发明提供IR辐射的可见光投影，该辐射是从具有一个或多个对象的观察的现实世界场景发射并利用IR检测器捕捉的，其中可见光投影被投影到观察的现实世界场景、一个或多个对象上。

[0029] 根据另一种示例性实施例，本发明提供与在其上投影的观察的现实世界场景、一个或多个对象正确对准的可见光投影。

[0030] 根据本发明的一方面，提供了利用热成像布置基于从观察的现实世界发射的红外线(IR)辐射把红外线(IR)辐射信息的可见表示呈现到所述现实世界场景上的方法，其中热成像布置包括红外线(IR)成像系统、可见光成像系统(14)和可见光投影系统，其中红外线(IR)辐射信息的可见表示与从所述观察的现实世界发射的红外线(IR)辐射对准呈现，该方法包括步骤：根据第一视场检测从所述观察的现实世界发射的红外线(IR)辐射，或者更具体地说是基于检测到的从所述观察的现实世界场景发射的红外线(IR)辐射来捕捉红外线(IR)辐射信息；以红外线(IR)图像的形式创建所述检测到的红外线(IR)辐射的可见表示；根据第二视场把可见光图案投影到所述观察的现实世界场景上，其中第二视场至少部分地重叠第一视场；根据第三视场捕捉所述观察的现实世界场景的可见光图像，包括所述投影的可见光，该第三视场至少部分地重叠第一和/或第二视场；在所述捕捉到的可见光图像中检测所述投影的可见光图案；确定可见光图像中投影的可见光图案像素坐标和可见光图像中的像素坐标之间以像素为单位的像素位移d(pix vis)，其中，如果可见光成像系统和可见光投影系统对准，则投影的可见光图案将出现；基于检测到的投影的可见光图案和可见光图像之间的像素位移d(pix vis)，确定IR图像和可见光图像之间的像素位移d(pix IR)；基于所述确定的像素位移d(pix IR)，把所述检测到的红外线(IR)辐射的所述可见光表示，换句话说是所述IR图像，对准到检测到的从所述观察的现实世界场景发射的红外线(IR)辐射；以及通过根据第二视场与检测到的从观察的现实世界场景发射的IR辐射对准地把它投影到所述现实世界场景上来呈现所述对准的IR图像。

[0031] 根据本发明的另一方面，提供了基于从所述观察的现实世界场景发射的红外线(IR)辐射把红外线(IR)辐射信息的可见表示呈现到观察的现实世界场景上的热成像布置，其中红外线(IR)辐射信息的可见表示与从所述观察的现实世界场景发射的所述红外线(IR)辐射对准呈现，该布置包括：红外线(IR)成像系统(18)，用于根据第一视场检测从所述观察的现实世界场景发射的红外线(IR)辐射；处理器，适于把由红外线(IR)成像系统检测到的红外线(IR)辐射数据变换成图像数据，由此创建红外线(IR)图像；该布置还包括可见光投影系统，适于根据第二视场把可见光图案投影到所述观察的现实世界场景上，其中第二视场至少部分地重叠第一视场；以及可见光成像系统，适于根据第三视场捕捉所述观察的现实世界场景的可见光图像，包括所述投影的可见光图案，其中第三视场至少部分地重叠第一和/或第二视场；所述处理器还适于在所述捕捉到的可见光图像中检测所述可见光图案；确定可见光图像中投影的可见光图案像素坐标和可见光图像中的像素坐标之间以像素为单位的像素位移d(pix vis)，其中，如果可见光成像系统和可见光投影系统对准，则投影的可见光图案将出现；基于检测到的投影的可见光图案和可见光图像之间的像素位移d(pix vis)，确定红外线(IR)图像和可见光图像之间的像素位移d(pix IR)；基于所述像素位移d(pix IR)，把所述红外线(IR)图像对准到检测到的从所述观察的现实世界场景发射的红外线(IR)辐射；并且通过根据第二视场与检测到的从观察的现实世界场景发射的红外线(IR)辐射对准地把它投影到所述现实世界场景上来呈现所述对准的红外线(IR)图像。

[0032] 根据本发明的不同方面，还提供了计算机系统，该计算机系统具有处理器，适于执行发明性方法实施例的任何步骤或功能；计算机可读介质，在其上存储适于控制处理器执行发明性方法实施例的任何步骤或功能的非暂时性信息；包括代码部分的计算机程序产品，其中代码部分适于控制处理器执行发明性方法实施例的任何步骤或功能；和/或包括配置数据的计算机程序产品，其中配置数据适于配置现场可编程门阵列(FPGA)执行发明性方法实施例的任何步骤或功能。

[0033] 以下进一步描述的本发明的不同实施例提供了IR辐射信息的可见表示到检测到的红外线(IR)辐射信息的改进对准的优点。

[0034] 本发明的一种或多种实施例包括利用热成像布置(10)基于从观察的现实世界场景发射的红外线(IR)辐射把红外线(IR)辐射信息的可见表示呈现到所述观察的现实世界场景上的方法，其中热成像布置(10)包括红外线(IR)成像系统(18)、可见光成像系统(14)和可见光投影系统(22)，该方法包括步骤：

[0035] 根据所述红外线(IR)成像系统(18)的第一视场，基于检测到的从所述观察的现实世界场景发射的红外线(IR)辐射来捕捉红外线(IR)辐射信息；

[0036] 以红外线(IR)图像的形式创建所述检测到的红外线(IR)辐射的可见表示；

[0037] 根据所述可见光投影系统(22)的第二视场，把可见光图案投影到所述观察的现实世界场景上，所述第二视场至少部分地重叠所述第一视场；

[0038] 根据所述可见光成像系统(14)的第三视场，捕捉所述观察的现实世界场景的可见光图像，所述场景包括所述投影的可见光图案，所述第三视场至少部分地重叠第一和/或第二视场；

[0039] 检测所述捕捉到的可见光图像中所述投影的可见光图案；

[0040] 依赖于所述可见光成像系统(14)和所述可见光投影系统(22)之间的预定关系，检测可见光图像中的像素坐标中所述检测到的可见光图案的像素坐标和所述投影的可见光图案的计算出的像素坐标之间的像素位移(d(pix vis))，其中，如果可见光成像系统和可见光投影系统对准，则投影的可见光图案将出现；

[0041] 依赖于所述红外线(IR)成像系统(18)和所述可见光投影系统(22)之间的预定关系，基于检测到的投影的可见光图案和可见光图像之间的像素位移d(pix vis)，确定定红外线(IR)图像中的像素坐标中红外线(IR)图像和可见光图像之间的像素位移d(pix IR)；

[0042] 基于所述像素位移d(pix IR)，把所述红外线(IR)图像对准到检测到的从所述观察的现实世界场景发射的红外线(IR)辐射；及

[0043] 通过根据第二视场，与检测到的从观察的现实世界场景发射的IR辐射对准地把它投影到所述现实世界场景上来呈现所述对准的红外线(IR)图像。

[0044] 本发明的一种或多种实施例包括基于从观察的现实世界场景发射的红外线(IR)辐射把红外线(IR)辐射信息的可见表示呈现到所述观察的现实世界场景上的热成像布置(10)，该布置(10)包括：

[0045] 红外线(IR)成像系统(18)，用于根据第一视场检测从所述观察的现实世界场景发射的红外线(IR)辐射；

[0046] 处理器(13)，适于根据所述红外线(IR)成像系统(18)的第一视场基于检测到的从所述观察的现实世界场景发射的红外线(IR)辐射来捕捉红外线(IR)辐射信息，由此以红外线(IR)图像的形式创建所述检测到的红外线(IR)辐射的可见表示；

[0047] 可见光投影系统(22)，适于根据第二视场把可见光图案和/或图像投影到所述观察的现实世界场景上，其中第二视场至少部分地重叠第一视场；

[0048] 可见光成像系统(14)，适于根据第三视场捕捉所述观察的现实世界场景的可见光图像，其中第三视场至少部分地重叠第一和/或第二视场；

[0049] 所述处理器(13)还适于：

[0050] 根据所述可见光投影系统(22)的第二视场把可见光图案投影到所述观察的现实世界场景上，其中所述第二视场至少部分地重叠所述第一视场；

[0051] 根据所述可见光成像系统(14)的第三视场捕捉所述观察的现实世界场景的可见光图像，所述场景包括所述投影的可见光图案，其中所述第三视场至少部分地重叠第一和/或第二视场；

[0052] 在所述捕捉到的可见光图像中检测所述可见光图案；

[0053] 依赖于所述可见光成像系统(14)和所述可见光投影系统(22)之间的预定关系，确定在可见光图像中的像素坐标中所述检测到的可见光图案的像素坐标和所述投影的可见光图案的计算出的像素坐标之间的像素位移(d(pix vis))，其中，如果可见光成像系统和可见光投影系统对准，则投影的可见光图案将出现；

[0054] 依赖于所述红外线(IR)成像系统(18)和所述可见光投影系统(22)之间的预定关系，基于检测到的投影的可见光图案和可见光图像之间的所述像素位移d(pix vis)，确定红外线(IR)图像中像素坐标中的红外线(IR)图像和可见光图像之间的像素位移d(pix IR)；

[0055] 基于所述像素位移d(pix IR)，把所述IR图像对准到检测到的从所述观察的现实世界场景发射的红外线(IR)辐射；并且

[0056] 通过根据第二视场与检测到的从观察的现实世界场景发射的IR辐射对准地把它投影到所述现实世界场景上来呈现所述对准的红外线(IR)图像。

[0057] 此外，以下优点是通过本发明的实施例实现的：

[0058] -实现了投影图像到所述检测到的IR辐射的改进对准，其中投影图像包括检测到的从现实世界场景发射的所述IR辐射的可见表示。

[0059] -用于执行上述改进对准的成像系统以低成本提供。

[0060] -在投影到与可见光投影仪的光轴不正交的表面上时实现了改进的对准。

[0061] -在投影到不平的表面上时实现了改进的对准。

[0062] -甚至在可见光投影仪的光学系统和IR成像系统之间的相对距离未知时都获得了改进的对准。

[0063] -在结合IR成像系统提供可见光投影仪的灵活使用时，例如在可见光投影仪和IR成像系统是独立部件时，实现了改进的对准。

附图说明

[0064] 以下参考附图通过示例实施例进一步描述本发明，其中：

[0065] 图1A-1C示出了根据本发明不同示例性实施例的热成像布置的示意图。

[0066] 图2示出了根据本发明实施例、与观察的场景相关的热成像布置的三个光学系统的布置的示意图。

[0067] 图3A根据由本发明实施例使其成为可能的示例性用例示出了用在与可见光投影仪的光轴不正交的表面上的IR成像系统的光学系统的示意图。

[0068] 图3B根据由本发明实施例使其成为可能的另一个示例性用例示出了用在不平表面上的热成像布置的光学系统的示意图。

[0069] 图3C示出了一个示例性实施例，其中热成像布置的投影仪的光轴OA斜着落到场景中的表面上。

[0070] 图4A是根据实施例示出生产期间校准/对准的框图。

[0071] 图4B是根据实施例示出自校准/对准的框图。

[0072] 图5是根据本发明的实施例、执行投影图像到检测到的IR辐射信息的对准的方法的流程图。

[0073] 图6是根据实施例示出操作期间调节/对准的框图。

[0074] 图7是根据实施例的不同模式的示意性概述。

[0075] 图8是根据实施例示出校准的/对准的热成像布置的操作的框图。

具体实施方式

[0076] 介绍

[0077] 因此，本发明的实施例涉及用于IR(红外线)成像，也称为热成像，的解决方案，其中，代替或者除就像具有IR成像布置，或热成像布置，的常见情况那样的显示器布置上的间接视图之外，红外线图像也利用可见光的投影实时地或者近乎实时地叠加到现实世界场景上。这意味着用户可以使用他或她自己的正常视觉来观察现实世界场景，其中投影到场景上的可见光使得用户更容易解释和/或分析所观察的场景。例如，投影的可见光可以突出观察的场景中感兴趣的对象或区域。

[0078] 根据本发明的实施例，提供了利用热成像布置10基于从观察的现实世界场景发射的IR辐射把IR辐射信息的可见表示呈现到观察的现实世界场景上的方法和布置，其中热成像布置10包括IR成像系统18、可见光成像系统14和可见光投影系统22。

[0079] 根据本发明的实施例，提供了利用热成像布置(10)基于从观察的现实世界场景发射的IR辐射来呈现红外线(IR)辐射信息的可见表示的方法和热成像布置(10)，其中热成像布置10包括IR成像系统18、可见光成像系统14和可见光投影系统22。

[0080] 根据本发明的实施例，红外线(IR)辐射信息的可见表示与从所述观察的现实世界场景发射的所述红外线(IR)辐射对准呈现。

[0081] 根据实施例，IR成像系统18适于根据第一视场检测从观察的现实世界场景发射的红外线(IR)辐射。

[0082] 根据实施例，提供了根据本领域中本身已知的方法，例如，以本领域技术人员将理解的一种或多种常规方式，检测从观察的现实世界场景发射的红外线(IR)辐射的方法。

[0083] 根据实施例，处理器(13)适于把由红外线(IR)成像系统18检测到的红外线(IR)辐射数据变换成可见表示，由此创建红外线(IR)图像。以这种方式，检测到的红外线(IR)信息的可见表示被创建。

[0084] 根据一种或多种实施例，热成像布置包括可见光成像系统14，并且其中对准包括例如如下使用所述可见光成像系统。

[0085] 根据实施例，提供了用于根据本领域中本身已知的方法，例如，以本领域技术人员将理解的一种或多种常规方式，把由红外线(IR)成像系统(18)检测到的红外线(IR)辐射数据变换成图像数据的方法。

[0086] 根据实施例，可见光投影系统(22)适于根据第二视场把可见光图案投影到观察的现实世界场景上，其中第二视场至少部分地重叠第一视场。

[0087] 根据实施例，可见光成像系统(14)适于根据第三视场捕捉观察的现实世界场景的可见光图像，包括所述投影的可见光图案，其中第三视场至少部分地重叠第一和/或第二视场。

[0088] 根据实施例，处理器13还适于在所述捕捉到的可见光图像中检测所述投影的可见光图案；确定可见光图像中在投影的可见光图案的像素坐标与可见光图像中的像素坐标之间以像素为单位的像素位移d(pix vis)，其中如果可见光成像系统和可见光投影系统对准，则投影的可见光将出现；基于投影的可见光图案和可见光图像之间的像素位移d(pix vis)，确定IR图像和可见光图像之间的像素位移d(pix IR)；并且基于所述像素位移d(pix IR)，把所述检测到的红外线(IR)辐射的所述可见光表示，也称为红外线(IR)图像，对准到检测到的从所述观察的现实世界场景发射的红外线(IR)辐射；通过根据第二视场把它与检测到的从观察的现实世界场景发射的IR辐射对准地投影到所述现实世界场景上来呈现它。

[0089] 根据实施例，处理器13还适于：

[0090] -基于捕捉到的可见光图像中预定点之间的像素距离来计算第二视场；

[0091] -确定所述红外线(IR)成像系统(18)的光轴OA3和可见光成像系统(14)的光轴OA1的视差距离校准参数Co-3-1和定点误差校准参数C1-3-1；

[0092] -确定所述可见光投影系统(22)的光轴OA2和可见光成像系统(14)的光轴OA1的视差距离校准参数Co-2-1和定点误差校准参数C1-2-1；及

[0093] -确定所述可见光投影系统(22)的光轴OA2和所述红外线(IR)成像系统(18)的光轴OA3的视差距离校准参数Co-2-3和定点误差校准参数C1-2-3。

[0094] 在一种实施例中，用于第一光学系统的第一光轴和第二光学系统的第二光轴的视差距离校准参数依赖于第二光学系统的视场以及第一光学系统和第二光学系统之间的视差距离；其中，用于第一光学系统的第一光轴和第二光学系统的第二光轴的定点误差校准参数依赖于像素位移、用于第一光学系统的第一光轴和第二光学系统的第二光轴的所述视差距离校准参数以及所获得的从第一光学系统到观察的现实世界场景的距离值z。

[0095] 在一种实施例中，在所述捕捉到的可见光图像中检测所述投影的可见光图案的步骤是基于该距离值执行的。

[0096] 在一种实施例中，执行检测包括在捕捉到的可见光图像中由距离值z和捕捉到的可见光图像中一个位置之间的预定关系给出的位置开始检测。

[0097] 在一种实施例中，距离值z是作为预定值获得的。

[0098] 在一种实施例中，所述距离值z是通过传感器获得的(470)。

[0099] 在一种实施例中，确定红外线(IR)图像和可见光图像之间的像素位移d(pix IR)是依赖于像素位移d(pix IR)、检测到的投影的可见光图案和可见光图像之间的像素位移(d(pix vis))以及距离值z之间的预定关系而执行的。

[0100] 在一种实施例中，该预定关系是形式为查找表的映射函数。

[0101] 在一种实施例中，该方法的步骤是投影可见光图案、捕捉可见光图像、在所述捕捉到的可见光图像中进行检测、确定像素位移d(pix IR)，以及在热成像布置(10)的操作过程中对准并持续地呈现所述对准的红外线(IR)图像。

[0102] 在一种实施例中，从热成像布置(10)到观察的场景中多于一个点的多于一个距离可以被获得并转变成距离图。

[0103] 在一种实施例中，呈现所述对准的红外线(IR)图像包括依赖于距离图的距离来适配所述对准的红外线(IR)图像的像素的投影。

[0104] 在一种实施例中，适配像素的投影包括依赖于距离图的距离而以变化的密度投影像素。

[0105] 在一种实施例中，密度变化，使得，如果到所述对准的红外线(IR)图像的像素要投影到其上的点i的距离zi超过预设阈值，则像素更稀疏地投影。

[0106] 在一种实施例中，该方法还包括：

[0107] -在检测到的从所述观察的现实世界场景发射的红外线(IR)辐射中检测热点，-通过把所述对准的红外线(IR)图像投影到所述现实世界场景上来呈现它，其中对准的红外线(IR)图像中包括检测到的热点的部分利用与对准的红外线(IR)图像中不包括检测到的热点的部分不同的颜色或光强度投影。

[0108] 根据实施例，处理器13还适于从IR热成像布置10取得到观察的场景的距离z。根据更多实施例，处理器13适于基于取得的距离z来确定检测到的投影的可见光和可见光图像之间的像素位移d(pix vis)；和/或基于检测到的投影的可见光和可见光图像之间的像素位移d(pix vis)以及取得的距离z来确定IR图像和可见光图像之间的像素位移d(pix IR)。

[0109] 根据实施例，可见光投影系统(22)还适于通过与检测到的从场景发射的IR辐射对准地把检测到的红外线(IR)辐射的对准的可见表示，换句话说是IR图像，投影到所述现实世界场景上来呈现它。

[0110] 根据实施例，IR辐射信息的可见表示与从观察的现实世界场景发射的IR辐射对准地呈现。呈现方法的实施例在以下联系图5进一步描述。

[0111] 适用于这个目的的布置包括三个光学系统，即，IR成像系统、可见光成像系统和可见光投影系统。在不同的实施例中，这三个光学系统或者组装成一个集成的热成像布置，或者设计成具有作为独立部件的投影仪。在投影仪是独立部件的情况下，它可以适于可分离地附连到包括其它光学系统的组件或外罩或者适于与其它光学系统物理地分开操作。

[0112] 热成像布置的所有部件/单元都，例如，通过直接连接、有线连接、无线连接通信耦合。

[0113] 热成像布置的光学系统具有不同的视场(FOV)。为了实现根据本发明的对准，热成像布置的光学系统必须放置成使得每个光学系统的FOV至少部分地与另两个光学系统的FOV重叠。

[0114] 由于热成像布置的光学系统不具有相同的光轴，因此视差误差将发生。为了补偿视差误差，图像必须对准。

[0115] 在执行根据本发明的对准所需的计算中使用的有些信息可以在相机的校准过程中确定，如以下更详细地描述的。

[0116] 集成设备实施例

[0117] 图1A示出了根据本发明第一种实施例的系统的示例图，其中集成的热成像布置10包括三个光学系统14、18和22。根据实施例，光学系统14、18、22包括在组件12中。前两个光学系统是包括用于光的可见频谱的可见光传感器阵列16的可见光成像系统14，和包括用于光的红外线频谱的IR传感器阵列20的IR成像系统18。组件12中包括的第三个光学系统是可见光投影系统22或者有可能是适于投影诸如紫外线的(UV)通常不可见波长区域的光的光投影系统。根据这种实施例，三个光学系统14、18和22具有固定的安装，在各自的光轴OA1、OA3、OA2之间具有已知的相对距离和角度，如通过作为一种对准的校准确定的，例如在热成像布置的生产过程中执行的。热成像布置10的光学系统安装成使得每个光学系统的FOV至少部分地分别与另两个光学系统的FOV重叠，如在图2所示的实施例中说明的。

[0118] 可分离附连部件实施例

[0119] 图1B示出了根据本发明第二种实施例的系统的示意图，其中热成像布置10包括三个光学系统14、18和22。两个成像系统14、18具有固定的安装，在各自的光轴OA1、OA3(Cf图2)之间具有已知的相对距离和角度，如通过校准/对准确定的，例如在热成像布置的生产过程中执行的。根据实施例，可见光成像系统14和IR成像系统18包括在组件12中。根据这种实施例，投影系统22是适于通过附连特征25A和25B可分离附连到热成像布置10的独立部件。
附连特征25A在投影系统22上提供并且适于安装(fit)到在热成像布置10上提供的对应附连特征25B。根据实施例，在附连时，投影系统22经以下进一步解释的通信接口21和对应的通信接口27通信耦合到热成像布置10的处理器13。根据不同的实施例，通信接口21可以集成在投影系统22或附连特征25A任何一个当中、在其中实现或者耦合到其，而通信接口27可以集成在成像系统14或18、组件12、处理器13或附连特征25B任何一个当中、在其中实现或者耦合到其。

[0120] 根据实施例，当附连特征25A、25B彼此附连时，可见光投影系统22将定位成关于IR成像系统18和可见光成像系统14分别具有某个距离和角度。根据实施例，附连特征25A、25B可以包括锥形工具插入其中的插座、插孔，和/或通过以下的选择彼此附连：通过螺纹，其中特征25A、25B之一拧到另一个当中，通过把特征25A、25B之一安装(fit)、扣或按到另一个当中，通过使用磁力，或者通过使用任何其它合适类型的紧固或附连机制。附连特征放置并设计成使得在每次附连特征彼此附连时一边的可见光头像系统22与另一边的IR成像系统18和可见光成像系统14之间的所述距离和角度将基本上相同，具有最小的错误边际。通过确保在热成像布置的生产期间组合光学系统的放置基本上在每次IR成像被使用时都相同，可见光投影系统22与可见光成像系统14和IR成像系统18之间的视差误差，诸如视差距离和定点误差，分别可以从生产得知、在生产过程中校准/对准，或者在使用过程中近似。

[0121] 当部件附连时，热成像布置10的光学系统14、18、22定位成使得每个光学系统的FOV都至少部分地与另两个光学系统的FOV重叠，如图2中示例的。

[0122] 独立部件实施例

[0123] 图1C示出了根据本发明第三种实施例的系统的示意图，其中热成像布置10包括三个光学系统14、18、22。两个成像系统14、18具有固定的安装，在各自的光轴之间具有已知的相对距离和角度，如从生产得知或者在生产过程中校准的。根据实施例，可见光成像系统14和IR成像系统18包括在组件12中。根据这种实施例，投影系统22是适于在操作期间与热成像布置10的其它部件物理地分开放置并且有可能处于远处的独立部件。投影系统22经以下进一步解释的通信接口21通信耦合到处理器13。

[0124] 在根据这第三种实施例的操作中，投影系统22应当放置成使得其FOV至少部分地与IR成像系统和可见光成像系统的FOV重叠。为了实现或帮助实现至少部分重叠的FOV，投影仪可以适于投影可见光的预定指导投影，例如，以诸如图案的可识别特征的形式，以便引导用户把投影系统22放在把其投影FOV投到用户要观察的场景或对象上的这种位置。

[0125] 更多的系统体系架构细节

[0126] 参考图1A-1C中所示的全部实施例，根据实施例，成像系统14、18包括一个或多个透镜、用于调节透镜的控制设备、适于捕捉来自观察的场景的进入辐射并耦合到一个或多个处理器13的传感器16、20，其中处理器13具有适于处理从传感器16、20接收到的图像数据并且控制系统不同部件的功能的处理特征。可选地，热成像布置10包括耦合到处理器13并适于显示图像数据的显示器23。可选地，热成像布置10包括配置为向用户显示信息并获得用户输入信息的图形用户接口(GUI)。

[0127] 根据不同的实施例，包括或不包括可见光投影系统22的热成像布置10可以是手持式的，适于固定安装，例如为了监督目的或维护调查，或者适于在使用期间安装在架子上。

[0128] 根据实施例，热成像布置10还包括用于存储由热成像布置10登记或处理的数据的存储器15，以及用于输入命令和/或控制信号的一个或多个控制设备19的选择，例如，交互式显示器、操纵杆和/或记录/下压按钮，以及至少一个图形接口21，例如，有线或无线连接、IRDA、蓝牙、USB、FireWire等。响应于输入命令和/或控制信号，处理器13控制热成像布置10的不同部分的功能。

[0129] 根据不同的实施例，投影系统22可以包括投影仪29，例如，以激光投影仪、液晶显示器(LCD)投影仪、数字光处理(DLP)投影仪或本领域已知的任何其它合适类型的投影仪的形式。

[0130] 激光投影仪在许多应用中都会是合适的，因为激光投影仪通常具有高景深，由此图像或数据到任何种类投影表面上的投影都可以进行。通常，其锐度、颜色空间和对比度高于其它投影技术例如LCD或DLP投影仪的锐度、颜色空间和对比度。

[0131] 热成像布置10还可以包括本领域中本身已知的激光指示器，在图中没有示出。这种激光指示器可以在本发明性概念中用来例如投影可见光。根据实施例，可见光可以作为形式为受限图案(limited pattern)的可识别特征来投影，该受限图案包括投影系统的视场，下文中也表示为FOVproj，中所包括的全部或部分像素。

[0132] 联系图2-8，以下描述视差补偿、校准和对准的实施例。

[0133] 用例实施例

[0134] 在操作中，根据实施例，操作人员把手持式热成像布置10指向观察的现实世界场景，该场景可以例如包括管道、墙壁、地板、天花板或者对调查感兴趣的任何其它一个或多个目标表面或对象，并且，直接看到投影到观察的现实世界场景上的被发射或检测的IR辐射的可见表示，其中以该可见表示在与对应检测到的IR辐射的发射方向相同的方向上被投影的方式，该可见表示与观察的现实世界场景对准。例如，如果场景包括热点，例如过热的电气元件，则用户将看到投影到该检测到的热点上的光，例如光是指示该检测到的热点温度高的颜色或光强度的。根据实施例，投影到热点上的光可以是红色，通常用于代表色阶上的热温度，或者，如果灰度级值用于投影，则光可以是高强度光。如对本领域技术人员很显然的，对于在观察的现实世界场景中检测到的热、IR或温度信息的范围，任何合适的可见表示都可以使用。

[0135] 根据以下进一步描述的不同实施例，用户可以使用热成像布置来在观察的场景中照亮或突出或指明兴趣，或者在检测到异常时接收形式为投影到场景上的可见警报的告警。

[0136] 根据另一种实施例，用户可以使用热成像布置来取得到观察的场景的距离。从热成像布置到观察的场景的距离在下文中将被称为z，其中z是指示从热成像布置到观察的场景的距离的参数。

[0137] 根据实施例，距离参数z的值可以例如通过利用与已知参数和/或使热成像布置能够进行取得的参数的关系进行计算来取得，例如以下给出的等式2的关系。根据备选实施例，以本身已知的方式，距离参数值z可以通过使用两个可见光传感器、通过IR图像中激光点的检测、通过对焦透镜的位置或者通过集成在热成像布置中或耦合到其的距离传感器的使用来取得。

[0138] 为了让热成像布置作为距测仪工作，通过利用与已知参数和/或使热成像布置能够进行取得的参数的关系进行计算来取得，热成像布置必须首先被校准/对准。以下描述备选的校准/对准实施例。

[0139] 根据实施例，操作人员可以选择利用包括在一个或多个控制设备19中的输入特征激活对准功能。根据另一种实施例，对准功能是在热成像布置10启动的时候被自动激活的。

[0140] 根据其中可见光投影系统22是如在图1B中示例的可分离附连部件并且目前没有附连到手持式热成像布置10的实施例，操作人员在使用之前把可见光投影系统22附连到手持式热成像布置10。

[0141] 根据备选实施例，其中可见光投影系统22和手持式热成像布置10要用作物理上分离的部件，操作人员把可见光投影系统22放到相对于手持式热成像布置10的合适位置，确信投影系统22指向要调查的感兴趣的目标表面或对象，即，观察的现实世界场景。通过适于投影例如作为图案或符号的可识别特征的形式的可见光的预定指导投影的可见光投影系统22，操作人员有可能被指引着把可见光投影仪指向要调查的感兴趣的目标表面或对象。根据实施例，可见光可以作为形式为受限图案的可识别特征来投影，其中该受限图案包括投影系统的视场(FOVproj)中所包括的全部或部分像素。这种投影可以例如在可见光投影系统22被开启时自动激活，或者被控制成通过来自操作人员的输入而激活。操作人员可以利用例如集成在可见光投影系统22中或耦合到其的输入设备(图中未示出)或者热成像布置
10的控制设备19来提供输入，由此处理器13把来自控制设备19的输入信号翻译成经接口21传送到可见光投影系统22的控制信号，以便控制所述指导投影的激活。可见光投影系统22通过有线或无线连接通信耦合到热成像布置的处理器，例如经通信接口21和27通信。

[0142] 根据实施例，热成像布置10的IR成像系统18检测从观察的场景发射的IR辐射并且利用包括在IR成像系统18中的IR传感器阵列20捕捉所述IR辐射。在IR传感器阵列20中，进入的IR辐射被转换成包括IR辐射数据的IR辐射信号。捕捉到的IR辐射数据从IR传感器阵列20发送到处理器13，其中检测到的IR辐射数据被变换成形式为IR图像的图像数据的可见表示。根据实施例，IR图像传送到热成像系统10的显示器23并且呈现给设备的操作人员。但是，根据本发明的方法实施例，IR图像在相机显示器上的显示是可选的。

[0143] 根据实施例，可见光投影系统22被处理器13控制成把可见光投影到观察的现实世界场景上。根据实施例，可见光可以作为形式为受限图案或符号的可识别特征来投影，其中该受限图案或符号包括可见光投影系统22视场(FOVproj)中所包括的全部或部分像素。根据实施例，投影是与IR辐射信息的捕捉和处理并行执行的，但不必在相同的时刻。

[0144] 根据实施例，本发明语境下的图案或符号是由至少一个像素并且优选地多于一个像素，通常是多个像素，组成的形状或分布，这种形状或分布可以很容易地与在观察的场景的图像中可能出现的任何东西区分。例如，在优选实施例中，符号不是单个像素或组合到一起的几个像素的形式，因为单个像素或小的像素组会与在图像中出现的噪声混淆。本发明的符号可以具有可以被人眼识别的对象的形状，诸如花、星星或者人知道的任何其它对象。或者，它可以具有不能被人解释为某个对象但是很容易被人眼和/或数据处理器识别的形状或分布。类似地，本发明语境下的图案也是由很容易地与在观察的场景的图像中可能出现的任何东西以及与噪声区分的多于一个像素(通常是多个像素)组成的。根据实施例，符号或图案可以具有人已知的对象的形状或者使其很容易被人眼和/或数据处理器识别的任何其它合适的形状或分布。根据实施例，被可见光投影设备22投影的图案仅仅就是FOVproj中所包括的像素的全部或选定部分。在这种情况下，基于投影的可见光的强度，图案可以在包括该图案的可见光图像中被识别或认出。其中可见光被投影的像素有可能具有比可见光图像剩余像素更高的强度。

[0145] 根据实施例，在预定符号或图案投影期间，可见光成像系统14被处理器13控制成利用可见光成像系统14中所包括的可见光传感器阵列16捕捉进入的可见光。在可见光传感器阵列16中，进入的可见光被转换成包括可见光数据的可见光信号。捕捉到的可见光数据从可见光传感器阵列16发送到处理器13，其中可见光数据被变换成可见光图像。由于可见光传感器阵列16的传感器元件对可见光的波长敏感，因此可见光投影系统22的反射光可以在可见图像中通过其画面元素，即，像素，检测到。画面元素可以是例如CCD(电荷耦合设备)。由此，捕捉到的可见光图像包括被投影到其上的预定符号或图案叠加的现实世界场景的可见表示。

[0146] 根据实施例，在捕捉到包括被预定符号或图案叠加的现实世界场景的可见表示的图像之后，该图像被发送到处理器13，其中处理器13执行图像中预定符号或图案的检测。图像中符号或图案的检测可以利用本领域中本身已知的任何合适的检测方法来执行，例如特征提取、模板匹配、分割、边缘检测、薄化、相似性测量、遮蔽、过滤或者通过使用差异图像。

[0147] 根据其中符号或图案检测要利用差异图像执行的实施例，可见光成像系统14还被处理器13控制成，在与包括观察的现实世界场景和预定符号或图案的图像被捕捉的时刻接近的一个时刻，捕捉没有投影到其上的预定符号或图案的同一个观察的现实世界场景的图像。哪个图像先捕捉和哪个图像后捕捉没有关系。优选地，这两个图像是图像帧序列中两个相继的图像帧。彼此紧密相继地捕捉图像的原因是观察的现实世界场景通常从第一个图像帧到第二个图像帧不会改变太多，这意味着图像的现实世界图像部分将基本相同。此外，在其中热成像布置10是手持式的实施例中，如果图像是紧密相继捕捉的，例如作为图像帧序列中两个连续的图像帧，则由用户造成的布置的任何摇晃或移动将很小。由此，当处理器13从还包括投影的符号或图案的图像减去只包括观察的现实世界场景的表示的图像时，将获得只包括投影的符号或图案的差异图像。以这种方式，观察的现实世界场景中存在的任何符号或图案，例如墙上的壁纸上的图案，不会被热成像布置10错误地检测为符号或图案。

[0148] IR信息的可见表示，也称为IR图像，从处理器13发送到可见光投影系统22。可见光投影系统22还被处理器13控制成把IR信息的可见表示投影到现实世界场景上，使得检测到的IR辐射的可见光表示与进入的，或者捕捉到的，IR辐射对准，并且在与对应捕捉到的IR辐射发射的方向相同的方向投影到现实世界场景上。为了实现这种对准，传感器13使用检测到的符号或图案上的信息连同生产过程中取得的信息、生产中的校准，和/或热成像布置10操作期间的校准或调整。对准实施例以下进一步详细描述。

[0149] 表示检测到的红外线(IR)辐射并识别区域，例如，对象

[0150] 根据本发明的实施例，热成像布置10的操作人员将经历上述事件被实时地立刻执行，这意味着操作人员把热成像布置10指向观察的包括例如感兴趣表面或对象的现实世界场景，并且直接看到被发射并检测的投影到观察的现实世界场景上的IR辐射的可见表示，其中以该可见表示在与对应检测到的IR辐射从其发射的方向相同的方向上被投影的方式，该可见表示与场景对准。IR信息的可见表示通常是颜色或者灰度级，其代表IR信息的可见表示被投影到的观察的现实世界场景，诸如表面或对象，的不同热属性。利用本发明的对准方法，投影到现实世界场景上的可见表示将在对应检测到的IR辐射从其发射的方向被投影。例如，形式为红外线(IR)图像的所述检测到的红外线(IR)辐射的可见表示的投影被执行，使得检测到的从所述观察的现实世界场景发射的红外线(IR)辐射的不同热属性得以表示。关于此的例子是，如果代表低热值或温度的IR辐射在观察的现实世界场景的某个部分中被检测到，则根据例如选定的色阶或灰度级值范围，可见光投影系统22将把具有代表所述低热或温度值的颜色或灰度级值的光投影到观察的现实世界场景的这个部分之上。

[0151] 在一种实施例中，观察的现实世界场景中检测到的从所述观察的现实世界场景发射的红外线(IR)辐射偏离周围区域的区域可以被检测到，其例如有关于观察的现实世界场景中的对象。在一种实施例中，这种偏离是通过比较以下来检测的：该区域中检测到的红外线(IR)辐射和与周围区域有关的检测到的红外线(IR)辐射(例如，检测到的红外线(IR)辐射的紧挨着在周围的部分或者检测到的红外线(IR)辐射的全部)的均值。例如，以其热值或温度的形式，检测到具有比周围区域的平均的检测到的红外线(IR)辐射低的检测到的红外线(IR)辐射的区域有时候被称为检测到“冷点”，这可以指示该区域例如绝缘不良，或者暴露给水泄漏或者凝结的形成，并且由此具有增加的被水损坏的风险。例如，以其热值或温度的形式，检测到具有比周围区域的平均的检测到的红外线(IR)辐射高的检测到的红外线(IR)辐射的区域有时候被称为检测到“热点”，这可以指示例如该区域包括过热的部件并且具有增加的着火的风险。如果使用从用于低温的蓝色到用于高温的红色变化的、代表观察的现实世界场景的检测到的红外线(IR)辐射的色阶，则现实世界场景中的冷点通常有被可见光投影系统22投影到其上的蓝色光，而现实世界场景中的热点通常有被可见光投影系统22投影到其上的红色光。由此，即使是在操作人员把IR成像系统10指向的表面的另一侧上引起低的或高的热或温度值，也使得操作人员能够与场景对准地直接在现实世界场景中看到他或她正在调查的热点和冷点。

[0152] 上述红区域和蓝区域仅仅是作为例子。任何色阶、灰度级或者其它合适的可见表示都可以被可见光投影系统22用来表示检测到的不同IR辐射水平。例如，不同的IR辐射水平可以由不同的图案或光强度表示。

[0153] IR图像与投影的IR图像的对准

[0154] 如果可见光投影系统22的FOV完全包括在IR成像系统18的FOV中，则可见光投影系统22可以将依据检测到的UR辐射水平的选定的可见表示的可见光投影到现实世界场景的在可见光投影系统22的整个FOV内的那些部分上。或者，如果可见光投影系统22的FOV只部分地与IR成像系统18的FOV重叠，则可见光投影仪可以把可见光投影到位于两个系统的FOV的重叠部分内的场景部分上。或者，可见光投影系统22只把可见光投影到从其检测到高于、低于或者在某个选定的温度值或区间之间的IR辐射并且位于两个系统的FOV的重叠部分中的现实世界场景的部分上。可见光投影系统22应当把光投影到重叠FOV的哪些部分上的其它选择也可以被考虑。例如，利用IR成像系统10的输入特征，可见光可以投影到由操作人员指示的感兴趣的区域上，或者通过在处理器13中实现的对象检测特征投影到在图像中检测到的对象上。根据图2中说明的实施例，可见光成像系统14具有最大FOV，IR成像系统18具有第二大FOV并且投影系统22具有最小FOV。但是，依赖于诸如价格、性能和终端客户需求之类的条件，FOV尺寸的任何其它关系都是可以想到的。

[0155] 由于投影的可见光与检测到的从现实世界场景发射的IR辐射对准并且在检测到的IR辐射从其发射的方向投影，因此将没有可见光投影到现实世界场景中不在IR成像系统18和可见光投影系统22这两个系统的FOV中的部分上。

[0156] 根据实施例，本文所述本发明的不同方面可以在满足警报条件时提供警报，由此通知或提醒用户，例如，指示检测到某种可能的异常。警报可以是用户可见的或者可听的。

[0157] 根据实施例，如果满足一个或多个以下标准，则投影系统22可以被例如处理器13控制成把对准的可见光投影到场景上：检测到的从所述观察的现实世界场景发射的红外线(IR)辐射的一个或多个部分具有高于预设阈值限制的检测值；检测到的从所述观察的现实世界场景发射的红外线(IR)辐射的一个或多个部分具有低于预设阈值限制的检测值；检测到的从所述观察的现实世界场景发射的红外线(IR)辐射的一个或多个部分具有在预设区间内的检测值；或者观察的场景的一个或多个部分具有在预设区间之外的测量值。

[0158] 根据实施例，测量值可以关于检测到的从所述观察的现实世界场景发射的红外线(IR)辐射、温度或热信息、效率或功率(W，W/m2)、湿度或水分，例如作为百分比来指示的。

[0159] 根据实施例，以上提到的标准是警报标准，要提醒用户已经检测到可能的偏离或异常。作为例子，标准可以是检测到的从所述观察的现实世界场景发射的红外线(IR)辐射的全部或部分高于预定义的阈值。

[0160] 根据实施例，用于控制投影的一个或多个标准可以由用户通过例如利用一个或多个控制设备19的输入来预设或选择。

[0161] 根据实施例，投影系统22被控制成通过以下提供警报：

[0162] -如果投影仪已经在投影：闪烁、增加亮度、调节投影颜色和/或只把可见光投影到图像中满足所述一个或多个标准的一个或多个部分上，

[0163] -如果投影仪不在投影：开始把可见光投影到图像中满足所述一个或多个标准的一个或多个部分上或者投影到整个观察的场景上，由此提醒用户已经检测到可能的偏离或异常。

[0164] 根据不同的实施例，警报可以通过可见光投影仪系统22的使用来提供，例如，当满足以上的一个或多个报警条件时，如果可见光投影系统22还没有投影，则通过控制可见光投影系统22开始投影，或者，如果它已经投影到观察的现实世界场景上，则开始闪光或闪烁。

[0165] 换句话说，根据实施例，可见光投影仪系统22可以被控制成通过以下提供警报：

[0166] -如果投影系统22已经在投影：闪烁、增加亮度、调节投影颜色和/或只把可见光投影到图像中满足所述一个或多个标准的一个或多个部分上，

[0167] -如果投影系统22不在投影：开始把可见光投影到图像中满足所述一个或多个标准的一个或多个部分上或者投影到整个观察的场景上，由此提醒用户已经检测到可能的偏离或异常。

[0168] 根据其它实施例，通过开始把光投影或闪烁到与报警条件有关的被识别区域或者与该被识别区域非常近的与该被识别区域有关的区域上，可见光投影系统22可以适于突出那个被识别区域。根据不同的实施例，被投影的可见光可以包括任何合适颜色、颜色范围、灰度级范围和/或强度的光并且以任何合适的尺寸、形状和/或图案呈现。

[0169] 根据另一种实施例，热成像系统10可以包括一个或多个扬声器单元并且适于提供形式为可听信号的警报。

[0170] 视场(FOV)和视差误差

[0171] 图2说明了表示为角度α的图1热成像布置10的可见光成像系统14的视场(FOV)，表示为角度β的红外线成像系统18的FOV，以及表示为角度γ的可见光投影系统22的FOV。这三个光学系统14、18和22的光轴分别示为虚线OA1、OA3和OA2。

[0172] 有两个因素对不同成像系统产生的图像和/或投影的相对位移起作用。首先，成像系统14、18和22之间的相应距离造成图像的位移，也称为视差距离，这个位移在仪表中是恒定的，例如P(p-vis)，但是随着到对象的距离增加而像素个数减少，例如dpix vis。其次，不同成像系统14、18、22的光轴OA1、OA3、OA2通常不是完美平行。它们之间的相应角度造成位移，也称为定点误差或方向性误差，这在仪表中随着到对象的距离而变但是像素个数是恒定的。定点误差，或者说方向性误差，是由两个光学系统之间的角度与期望的角度相比的差造成的，并且由于构造不准确而发生。例如，当可见光成像系统14和IR成像系统18在生产过程中被组装时，对于每个热成像布置10，它们将不以完全相同的方式组装。细小的差异将发生，并由此发生方向性误差。

[0173] 根据实施例，如在本文中所使用的，术语“视差误差”包括由成像子系统之间的距离和光轴之间的角度造成的组合的像素位移。

[0174] 如在图2中可以看到的，在投影系统22的光轴OA2和可见光成像系统14的光轴OA1之间存在视差距离P(p-vis)，并且在投影系统22的光轴OA2和IR成像系统18的光轴OA3之间存在另一个视差距离P(p-IR)。

[0175] 视差距离P(p-vis)造成由可见光投影系统22投影的可见图像和由可见光成像系统14捕捉的图像之间的像素位移。这个像素位移在下文中表示为d(pix vis)。

[0176] 视差距离P(p-IR)造成由可见光投影系统22投影的可见图像和由IR成像系统18捕捉的IR图像之间的像素位移。这个像素位移在下文中表示为d(pix IR)。

[0177] 如对本领域技术人员来说很显然的，在可见光成像系统14的光轴OA1和IR成像系统18的OA3之间还存在另一个视差距离P(vis-IR)，从而造成由可见光成像系统14捕捉的图像和由IR成像系统18捕捉的IR图像之间的像素位移。根据本发明的所有实施例，可见光成像系统14和IR成像系统18集成在组件12中，由此视差距离P(vis-IR)从生产得知并且可以在热成像布置10的校准/对准或操作期间进行补偿。

[0178] 在一种实施例中，图2中所示的像素位移d(pix vis)和d(pix IR)可以作为距离z(x，y)的函数凭经验来确定，其中这个距离代表从热成像布置10到观察的一个或多个现实世界对象或场景上的点选择的每一个的距离，例如，在热成像布置10的生产或校准期间。根据实施例，结合可见光投影系统22和可见光成像系统14之间的视差距离P(p-vis)，距离z可以描述为到场景中代表被捕捉可见图像中检测到投影图案的具体坐标的部分的距离。

[0179] 由此，在一种实施例中，作为从热成像布置10到观察的场景的距离z的函数的像素位移的确定可以利用本身已知的方法分别对可见光成像系统14和IR成像系统18执行。

[0180] 根据实施例，作为距离z的函数确定的像素位移存储在热成像布置10的存储器中，例如，存储器存储15中，并且可以用来在操作期间补偿视差误差。

[0181] 根据实施例，距离z是相对于图像中代表观察的现实世界场景的预定坐标，诸如图像的中心、图像的角落或者图像中任何其它合适的坐标，确定的。

[0182] 热成像布置10的光学系统之间相应的视差距离P(p-vis)、P(p-IR)和定点误差，或者说方向性误差，可以用来估计用于作为到观察的现实世界场景的距离的函数的位移的关系，例如等式或曲线。这种等式或曲线可以存储在热成像布置10中的存储器中，例如存储器存储15中，并且可以用来在操作期间通过把确定的距离映射到相关视差距离等式或曲线来补偿视差误差。

[0183] 如前面所提到的，投影的预定可见光符号或图案通常由多于一个像素，通常是多个像素，组成。由此，该符号或图案比如果只一个像素/一个点用于确定距离的话更可靠地确定。此外，由于该符号或图案具有很容易与观察的场景的图像中可能出现的任何东西区分的形状或分布并且可以具有人已知的对象的形状或者使其很容易被数据处理器识别的任何其它合适形状或分布，而单个像素会与图像中存在的其它对象或噪声混淆。

[0184] 对准

[0185] 如以上所解释的，仪表中的视差距离P(p-vis)造成由可见光投影系统22投影的可见图像和由可见光成像系统14捕捉的图像之间的像素位移d(pix vis)，并且，视差距离P(p-IR)造成由可见光投影系统22投影的可见图像和由IR成像系统18捕捉的IR图像之间的像素位移d(pix IR)。如对本领域技术人员很显然的，通常在可见光成像系统14和IR成像系统18之间也有视差距离，从而造成由不同光学系统捕捉的图像之间的第三个像素位移。这个视差距离和像素位移在图2中未示出。

[0186] 根据实施例，处理器13布置成对由光学系统14、18、22中任何一个或全部捕捉的图像和/或由光学系统14、18、22中任何一个或全部投影的光执行对准。

[0187] 为了能够将利用可见光投影系统22投影到观察的场景上的可见光与从观察的场景发射、被IR成像系统18检测并变换成IR图像的IR辐射对准，投影的可见光和检测到的IR辐射之间的位移必须计算或近似，并且进行补偿。根据以下给出的不同实施例，这个位移的计算或近似是在热成像布置10的生产期间的校准/对准、其操作期间的自校准/对准或自调节/对准当中执行的。

[0188] 生产期间的校准/对准

[0189] 根据图1A中所说明的实施例，可见光成像系统14、IR成像系统18和可见光投影系统22全都组装在集成的热成像布置10中，例如集成在组件12中，在不同的光学设备14、18、22，光轴OA1、OA3、OA2之间分别具有已知的视差距离。

[0190] 根据这种实施例，热成像布置可以在热成像布置(10)的生产或制造中被校准/对准。在这种校准/对准期间，所有视差距离都是已知的，因为光轴OA1、OA3、OA2之间的距离是已知的。在生产期间执行校准时已知的其它参数是：可见光成像系统14的视场(FOVvis)；IR成像系统18的视场(FOVIR)；到观察的场景的距离z；以及利用可见光成像系统14捕捉的图像和利用IR成像系统18捕捉的图像的图像坐标之间的变换，或映射函数，f(z)，该函数是z的函数。

[0191] 根据实施例，距离z是相对于图像中的预定坐标确定的，诸如图像的中心、图像的角落或者图像中任何其它合适的坐标。

[0192] 生产校准方法的实施例包括以下在图4A中说明的步骤：

[0193] 步骤410：利用可见光投影系统22，根据第二视场，把可见光图案投影到观察的现实世界场景上，其中第二视场至少部分地重叠IR成像系统的第一视场。

[0194] 根据实施例，投影的可见光可以是诸如图案或符号的可识别特征的形式。

[0195] 步骤420：利用可见光成像系统14，根据第三视场捕捉观察的现实世界场景的可见光图像，包括投影的可见光图案，其中第三视场至少部分地重叠第一和/或第二视场。

[0196] 根据实施例，捕捉到两个可见光图像，其中一个包括场景和投影的可见光，而另一个包括场景但不包括投影的可见光。换句话说，在捕捉到其中一个图像时，投影设备把可见光投影到场景上，但在捕捉到另一个图像时不投影。通过减去捕捉到的图像，获得包括投影的可见光但不包括观察的场景的差异图像。

[0197] 步骤430：在可见光图像中，或者如果在步骤420中已经获得差异图像的情况下在差异图像中，检测投影的可见光图案。

[0198] 根据实施例，在到观察的场景的距离z和捕捉到的可见光图像中投影的可见光将出现的位置之间存在已知的预定关系。因此，距离z可以在可选步骤485中用作对于投影的可见光检测的输入。由此，由于检测在可见光图像最有可能的位置，或坐标，开始，因此获得更高效的检测。

[0199] 步骤440：基于捕捉到的可见光图像，计算由可见光投影系统22投影的光和由可见光成像系统14捕捉的图像之间的像素位移d(pix vis)。换句话说，如果可见光成像系统14和可见光投影系统22对准，例如从生产校准/对准或自校准/对准得知，则确定可见光图像中投影的可见光图案像素坐标和可见光图像中该投影的可见光将出现的像素坐标之间以像素为单位的位移d(pix vis)。像素位移d(pix vis)的例子在图2中示出。

[0200] 如对本领域技术人员很显然的，依赖于条件，像素位移可以例如表示为分成x方向分量和y方向分量(dx(pix vis)，dy(pix vis))或者表示为极坐标。

[0201] 步骤450：如果还未知，则计算投影仪的FOV，FOVproj。

[0202] 由于可见光成像系统的FOV，FOVvis，是已知的，因此FOVproj可以基于包括投影的可见光的捕捉到的可见光图像，或差异图像，以下列方式来计算，其中投影的可见光可以表示为区域、可识别特征、图案或符号：

[0203] 根据实施例，已知FOVproj的百分之多少由，例如x或y方向中，投影区域、特征、图案或符号中两个或更多个预定点之间的距离表示。在包括投影的可见光区域、特征、图案或符号的捕捉到的可见光图像中，确定投影的可见光区域、特征、图案或符号的预定点之间的像素距离。由于可见光图像的以像素为单位的分辨率是已知的，因此可见光图像的百分比，并且由此由投影的可见光区域、特征、图案或符号的两个点之间的距离表示的FOVvis的百分比，可以基于所述像素距离来确定。通过知道FOVvis并进一步知道分别代表投影的可见光区域、特征、图案或符号的预定点之间距离的FOVvis和FOVproj的百分比之间的关系，可以确定FOVproj。

[0204] 步骤460：确定形式为校准参数c0和c1的校准参数。

[0205] 校准参数c0是关于所比较的两个光学系统的光轴，例如光轴OA1、OA2，之间视差距离的理论常量。根据实施例，c0表示为(长度单位×像素个数)。

[0206] 校准参数c1关于定点，或方向性，误差。换句话说，c1关于所比较的两个光学系统的光轴，例如光轴OA1、OA2，之间的角度。根据实施例，c1以像素为单位来表示。

[0207] 根据实施例，校准参数以下列方式确定：

[0208]   (等式1)

[0209] 其中表示为长度单位的、到观察的现实世界场景的距离z是已知的，并且d(pix vis)是以像素为单位表示的像素位移，如在步骤440计算的。

[0210] 如对本领域技术人员很显然的，依赖于条件，校准参数可以例如表示为分成x方向分量和y方向分量(c0x,c0y),(c0x,c0y)，或者表示为极坐标。

[0211] 步骤490：校准热成像布置的光学系统，或者换句话说，补偿在步骤460确定的视差误差，或像素位移和定点误差。

[0212] 在步骤490的计算之后，由投影系统22产生的投影将和由IR成像系统18捕捉的IR辐射对准。换句话说，在步骤490之后，热成像布置准备好操作，并且根据实施例，可以进一步在操作期间用作距离传感器。

[0213] 根据实施例，上述校准过程被执行多次，例如两次或三次，以便确保适当的校准。

[0214] 校准的或对准的热成像布置的操作的实施例在图8中说明。

[0215] 自校准

[0216] 根据另一种实施例，热成像布置适于自校准/对准，一边的可见光投影系统22与另一边的可见光成像系统14和IR成像系统18之间的视差距离可以分别近似。

[0217] 根据在图1B中示出并在部分“可分离附连的部件实施例”中进一步描述的这种实施例，附连特征25A在投影系统22上提供并适于安装到在IR成像系统10上提供的对应附连特征25B，使得投影系统22可以附连到IR成像系统18并从其分离。这种附连特征可以例如形成为与固定到投影系统的第一耦合部分25A和固定到IR成像系统的第二耦合部分25B的附连耦合。当附连时，根据实施例，可见光投影系统22定位成关于IR成像系统18和可见光成像系统14分别有视差距离和定点误差，基本上在每次附连特征彼此附连时都相同，具有最小的误差边际。

[0218] 根据实施例，热成像布置是自校准/对准的。在这种自校准期间，以下参数从热成像布置生产中的校准期间的校准/对准得知：可见光成像系统14和IR成像系统18之间的视差距离和定点误差；可见光成像系统14的视场(FOVvis)；IR成像系统18的视场(FOVIR)；以及利用可见光成像系统14捕捉到的图像和利用IR成像系统18捕捉到的图像的图像坐标之间的变换，或映射函数，f(z)，该函数是到观察的场景的距离z的函数。根据实施例，自校准的目的是估计视差距离校准参数、定点误差校准参数以及，如果还未知的话，还有投影系统22的视场(FOVproj)。

[0219] 用于自校准的方法实施例包括以下步骤，在图4B中说明：

[0220] 步骤410、420、440、450和490对应于以上关于图4A给出的相同步骤。

[0221] 除输入距离z的可选步骤485之外，步骤430对应于上述步骤430，因为距离z不是早先知道或预定的。相反，距离z是通过在步骤470中测量来确定的，例如，通过距离传感器或飞行时间传感器。根据实施例，距离z在步骤480中输入或反馈到步骤430的投影的可见光区域、特征、图案或符号的检测，由此提供更智能或高效的区域、特征、图案或符号检测，如以上对步骤430所描述的。

[0222] 根据实施例，上述校准过程被执行多于一次，例如两次或三次，以便确保适当的校准。

[0223] 校准的或对准的热成像布置的操作的实施例在图8中说明。

[0224] 校准的热成像布置的操作

[0225] 一旦热成像布置已经根据以上关于图4A和4B给出的任何实施例校准/对准，该布置就准备好操作。在操作中，热成像布置将以相同的方式工作，而不管校准是在生产中还是使用期间执行，如图7所说明的。

[0226] 根据以上给出的方法实施例的实施例，已经在生产中校准/对准的热成像布置，以及自校准/对准的热成像布置，都在步骤490之后校准或对准。在步骤490中的校准/对准之后，由投影系统22产生的投影将与由IR成像系统18捕捉的IR辐射对准。换句话说，在步骤490之后，热成像布置准备好操作，并且，根据实施例，在操作期间进一步用来确定到观察的场景的距离，即，执行距离传感器的功能。根据实施例，热成像布置可以用来利用以下关系确定到观察的场景的距离：

[0227]   (等式2)

[0228] 其中参数对应于以上等式1的参数。

[0229] 如对本领域技术人员很显然的，依赖于条件，等式2的所有参数都可以例如表示为分成x方向分量和y方向分量，或者表示为极坐标。

[0230] 如对本领域技术人员很显然的，如果等式的剩余参数已知，则等式2的关系可以代替地用来确定参数c0、c1、z或d(pix vis)中任何一个。

[0231] 在操作中，根据图8中所示的实施例，通过获得或取得到观察的一个或多个对象或场景的距离z，校准的/对准的热成像布置产生到观察的场景上的可见光投影，其与从观察的场景发射并被热成像布置的IR成像系统的IR传感器接收的IR辐射对准；如上所述，基于距离z和在生产中或自校准期间确定的校准参数c0和c1确定像素位移dpix vis，并且该方法实施例包括以下步骤：

[0232] 步骤810：利用IR成像系统18，根据第一视场检测从观察的现实世界场景发射的IR辐射，并且创建形式为IR图像的检测到的IR辐射的可见表示。通常，检测到的IR辐射到达IR成像系统18的IR传感器阵列20，具有确定的第一视场。

[0233] 步骤820：取得从热成像布置10到观察的现实世界场景或对象的距离z。

[0234] 根据实施例，距离z可以例如通过利用与已知参数和/或使热成像布置能够进行取得的参数的关系的计算来取得，例如以上给出的等式2的关系。根据备选实施例，距离z可以通过使用集成到热成像布置中或耦合到其的距离传感器来取得。在一个例子中，距离是通过使用两个可见光传感器、IR图像中激光点的检测、对焦透镜的位置或者通过使用集成到热成像布置中或耦合到其的距离传感器以本身已知的方式取得的。

[0235] 根据实施例，取得的距离z用作对步骤830的输入。

[0236] 步骤830：计算由可见光投影系统22根据第一视场投影的可见图像与作为根据第一视场检测到的从所述观察的现实世界场景发射的红外线(IR)辐射的可见表示的、由IR成像系统18捕捉的IR图像之间的像素位移dpix IR。

[0237] 根据实施例，作为到观察的一个或多个对象或场景的距离的函数，像素位移dpix IR和像素位移dpix vis之间的关系从生产或校准得知，其中像素位移dpix vis是由可见光投影系统22投影的可见图像与由可见光成像系统14捕捉的可见光图像之间的像素位移。描述这种关系的一种方式是：

[0238] dpix IR＝f(dpix vis,z)  (等式3)

[0239] 根据实施例，该关系是映射函数，例如表示为查找表，其中，基于取得的距离z的值，用于dpix vis的每个值具有用于dpix IR的对应值。为了简化，每个位移在这里都公式化为一个值dpix vis或dpix IR。但是，位移可以包括多于一个分量。通常，对于图像，位移是关于x分量和y分量来描述的，例如以矢量(例如，dxpix vis,dypix vis)的形式，或者作为极坐标。

[0240] 根据上述实施例，距离是从步骤820得知的。因此，为了确定dpix IR，我们首先需要知道dpix vis。如果位移dpix vis还不知道，则，如上所述，它可以利用已知的参数C0和C1以及等式2中给出的关系来确定。

[0241] 当dpix vis已知或被确定时，根据以上给出的任何实施例，像素位移dpix IR通过使用等式3的关系来确定。

[0242] 步骤840：把IR图像呈现到观察的场景上，与观察的场景对准。换句话说，把IR图像呈现到观察的场景上，与从观察的图像发射的IR辐射对准。

[0243] 对准IR图像

[0244] 根据实施例，通过补偿在步骤830确定的像素位移dpixIR，IR图像对准到观察的场景，或者换句话说对准到从观察的场景发射的IR辐射。可以在热成像布置10的处理器13中或者在集成在热成像布置10的任何部件中或与其耦合的另一处理器中执行这种对准或补偿。

[0245] 根据实施例，把对准的IR图像呈现到观察的场景上包括把对准的IR图像传送到可见光投影系统22并且利用可见光投影系统22把对准的IR图像投影到观察的场景上。

[0246] 根据备选实施例，把对准的IR图像呈现到观察的场景上包括把IR图像传送到可见光投影系统22、利用集成在可见光投影系统22中或与其耦合的处理器对准IR图像，并且利用可见光投影系统22把对准的IR图像投影到观察的场景上。

[0247] 根据实施例，FOVproj小于FOVIR。根据这种实施例，可见光投影系统22将不适于显示整个IR图像。因此，获得IR图像中对应于FOVproj的部分，例如，通过从IR图像选择、裁剪或切割所述部分，然后投影到观察的现实世界场景上。

[0248] 根据实施例，通过补偿在步骤830确定的像素位移dpix IR，IR图像对准到观察的场景，或者换句话说对准到从观察的场景发射的IR辐射。这种对准，或补偿，可以在热成像布置10的处理器13中，或者在集成在热成像布置10的任何部件中或与其耦合的另一处理器中，执行。

[0249] 根据实施例，把对准的IR图像呈现到观察的场景上包括把对准的IR图像传送到可见光投影系统22并且利用可见光投影系统22把对准的IR图像投影到观察的场景上。

[0250] 根据备选实施例，把对准的IR图像呈现到观察的场景上包括把IR图像传送到可见光投影系统22、利用集成在可见光投影系统22中或与其耦合的处理器对准IR图像，并且利用可见光投影系统22把对准的IR图像投影到观察的场景上。

[0251] 在一种实施例中，可见光投影系统22的FOV完全包括在IR成像系统18的FOV中。根据这种实施例，把IR图像对准到检测到的从所述观察的现实世界场景发射的红外线(IR)辐射包括基于像素位移dpix IR和FOVproj获得IR图像中对应于FOVproj的部分，例如，通过从IR图像选择、裁剪或切割所述部分。

[0252] 根据一种实施例，可见光投影系统22的FOV只部分重叠IR成像系统18的FOV。根据这种实施例，把IR图像对准到检测到的从所述观察的现实世界场景发射的红外线(IR)辐射包括获得IR图像中位于两个系统的FOV的重叠部分之内的部分。

[0253] 根据一种实施例，把IR图像对准到检测到的从所述观察的现实世界场景发射的红外线(IR)辐射还包括获得对应检测到的从所述观察的现实世界场景发射的红外线(IR)辐射满足条件的IR图像的部分，其中的条件是例如高于阈值、低于阈值或者在区间内。

[0254] 根据一种实施例，把IR图像对准到检测到的从所述观察的现实世界场景发射的红外线(IR)辐射还包括基于由热成像布置(10)的操作人员利用IR成像系统的输入特征指示的区域，或者基于在处理器13中实现的对象检测特征，获得IR图像的部分，从而把IR图像的部分检测为对象。

[0255] 根据图2中说明的实施例，可见光成像系统14具有最大FOV，IR成像系统18具有第二大FOV并且投影系统22具有最小FOV。但是，依赖于诸如价格、性能和终端客户需求之类的条件，FOV尺寸的任何其它关系都是可以想到的。

[0256] 自调节

[0257] 根据另一种实施例，热成像布置是自调节或自对准的，或者换句话说在操作中自我调节或对准。

[0258] 在操作中，根据实施例，热成像布置通过以下与从观察的场景发射的IR辐射对准地产生到观察的场景上的可见光投影：利用热成像布置的IR成像系统的IR传感器接收从观察的场景发射的IR辐射；把接收到的IR辐射转换成形式为IR图像的可见表示；获得或取得从热成像布置到观察的一个或多个对象或场景的距离z；确定像素位移dpix vis；把像素位移dpix vis转换成像素位移dpix IR；通过补偿像素位移dpix IR来对准IR图像；并且把对准的IR图像投影到观察的场景上，由此与从场景发射的IR辐射对准地获得IR图像到场景上的呈现。

[0259] 根据实施例，一边的可见光投影系统22分别与另一边的可见光成像系统14和IR成像系统18之间的视差距离和定点误差都是未知的，因为可见光投影系统22是与其它光学系统14、18物理地分开的部件，离光学系统14、18有未知且不恒定的距离。这种实施例在图1C中示出并且以上在部分“独立部件实施例”中进一步描述。

[0260] 在操作过程中的这种自调节、自对准或对准期间，以下参数从生产得知：可见光成像系统14和IR成像系统18之间的视差距离和定点误差；可见光成像系统14的视场(FOVvis)；IR成像系统18的视场(FOVIR)；以及利用可见光成像系统14捕捉的图像和利用IR成像系统18捕捉的图像的图像坐标之间的变换，或映射函数，f(z)，该函数是到观察的场景的距离z的函数。根据实施例，自对准的目的是估计视差距离、定点误差和投影系统22的视场(FOVproj)，以便能够进行热成像布置的不同光学系统的对准。

[0261] 参考图4B，说明了方法的实施例。步骤410、420、430、440、450、470和480对应于以上关于图4B给出的相同步骤。自调节的实施例还包括在图6中说明的以下步骤：

[0262] 步骤610：利用以上在等式3中示出的、从生产得知的可见光成像系统14捕捉的图像和利用IR成像系统18捕捉的图像的图像坐标之间的变换或映射函数，把由可见光投影系统22投影的光和由可见光成像系统14捕捉的图像之间x和y方向计算出的像素位移(dx(pix vis)，dy(pix vis))，转换成由可见光投影系统22投影的光和由IR成像系统18捕捉的图像之间x和y方向的像素位移(dx(pix IR)，dy(pix IR))，。

[0263] 步骤620：与从观察的场景接收到的IR辐射对准地呈现，或投影，可见光。

[0264] 根据实施例，步骤620包括把形式为IR图像信号的IR图像从处理器13传送到可见光投影系统22，由此可见光投影系统22的投影仪29把重新采样的IR图像数据投影到现实世界场景上。由此，IR图像数据与现实世界场景对准地投影，换句话说，IR图像数据在对应检测到的IR辐射信号从其发射的方向中投影。

[0265] 与已经在生产中校准/对准或者在操作期间自校准的热成像布置形成对比，上述自对准不导致热成像布置的校准。相反，自对准，或自调节，是在操作期间通过步骤610的转换或映射持续执行的。

[0266] 根据实施例，上述校准被执行多于一次，例如两次或三次，以便确保适当的调节。

[0267] 呈现/投影实施例

[0268] 在图5中，示出了利用红外线(IR)热成像布置10基于从现实世界场景发射的红外线(IR)辐射把红外线(IR)辐射信息的可见表示呈现到观察的现实世界场景上的方法实施例，其中红外线(IR)热成像布置10包括红外线(IR)成像系统18、可见光成像系统14和可见光投影系统22，其中红外线(IR)辐射信息的可见表示与从所述观察的现实世界场景发射的所述红外线(IR)辐射对准呈现。

[0269] 根据图5，呈现，或投影，方法实施例包括以下步骤：

[0270] 步骤502：根据第一视场，利用IR成像系统18检测从观察的现实世界场景发射的IR辐射。通常，检测到的IR辐射到达IR成像系统18的IR传感器阵列20，具有确定的第一视场。

[0271] 步骤504：以IR图像的形式，产生检测到的IR辐射的可见表示。

[0272] 步骤506：根据第二视场，利用可见光投影系统22把可见光图案投影到观察的现实世界场景上，其中第二视场至少部分地重叠IR成像系统的第一视场。

[0273] 通常，可见光经具有确定的第二视场的可见光投影系统22投影到现实世界场景上。两个光学系统18、22关于彼此对准，使得第一和第二视场至少部分地重叠。换句话说，光学系统18、22定位成具有相互视差或相对距离。

[0274] 当投影的可见光图案可以包括至少一个并且优选地少量像素，例如2-15个像素，或者它可以包括更大量像素时，投影的可见光图案可以构成符号或任何其它可识别的特征。根据实施例，投影的可见光可以是区域、可识别特征、图案或符号的形式。

[0275] 步骤508：根据第三视场，利用可见光成像系统14捕捉观察的现实世界场景的可见光图像，包括投影的可见光，其中第三视场至少部分地重叠第一和/或第二视场。

[0276] 步骤510：在捕捉到的可见光图像中检测投影的可见光图案。

[0277] 根据实施例，投影的可见光可以是区域、可识别特征、图案或符号的形式。

[0278] 在可选的步骤512中，取得从热成像布置10到观察的场景的距离z。

[0279] 根据实施例，距离z依赖于可见光成像系统和可见光投影仪之间的预定位移。根据实施例，取得到观察的现实世界场景上被检测到的可见光符号或图案照亮的每个点的距离。根据实施例，取得到的距离用来形成距离图。

[0280] 根据不同的实施例，这一个或多个距离可以早就知道、通过使用集成在热成像布置中或耦合到其的距离传感器来确定、通过使用热成像布置作为距离传感器来确定、通过利用与已知参数和/或使得热成像布置能够进行取得的参数的关系，例如等式2的关系，来计算。根据备选实施例，距离z可以通过以本身已知的方式使用两个可见光传感器、IR图像中激光点的检测、对焦透镜的位置或者通过使用集成在热成像布置中或耦合到其的距离传感器来取得。

[0281] 步骤514：确定检测到的可见光图案和可见光图像之间的像素位移d(pix vis)。

[0282] 根据实施例，这可以描述为确定捕捉到的可见光图像中检测到的可见光图案，例如由可见光投影系统22投影并由可见光成像系统(14)捕捉的图像中的区域、特征或符号，的一个或多个选定坐标与可见光图像中如果可见光成像系统和可见光投影系统对准则投影的可见光将出现的坐标之间的距离。

[0283] 在一种非限制性例子中，如果可见光成像系统和可见光投影系统对准则投影的可见光将出现的坐标是图像中预定的坐标，诸如图像的中心、图像的角落或者可见光图像中任何其它合适的坐标。

[0284] 根据其中距离z已经在可选步骤512中取得的实施例，检测到的投影的可见光和可见光图像之间的像素位移d(pix vis)是基于取得的距离z确定的。

[0285] 步骤514还包括基于检测到的投影的可见光和可见光图像之间的像素位移d(pix vis)确定IR图像和可见光图像之间的像素位移d(pix IR)。

[0286] 根据其中距离z已经在可选步骤512中取得的实施例，IR图像和可见光图像之间的像素位移d(pix IR)是基于像素位移d(pix vis)和取得的距离z确定的。

[0287] 根据实施例，像素位移d(pix IR)是利用联系以上等式3给出的关系确定的。

[0288] 步骤516：基于所述像素位移d(pix IR)，把检测到的IR辐射信息的可见光表示，换句话说是IR图像，对准到检测到的从观察的现实世界场景发射的IR辐射信息。

[0289] 根据实施例，检测到的IR信息的可见表示以IR图像的形式表示，并且对准是通过根据在步骤514中确定的像素位移信息调节IR图像信息来执行的。

[0290] 步骤518：利用可见光投影系统22，与检测到的从场景发射的IR辐射对准，通过把对准的可见表示，例如以IR图像的形式，投影到观察的现实世界场景上来呈现对准的检测到的IR辐射信息的可见表示。

[0291] 根据实施例，步骤518包括把形式为IR图像信号的IR图像从处理器13传送到可见光投影系统22，由此可见光投影系统22的投影仪29把重新采样的IR图像数据投影到现实世界场景上。由此，IR图像数据与现实世界场景对准地投影，换句话说，IR图像数据在对应检测到的IR辐射信息从其发射的方向中投影。

[0292] 根据实施例，根据本文所述任何实施例的步骤502至518都可以执行多于一次，根据实施例，步骤502至518可以执行适当多次，以确保没有与测量相关的误差的适当对准。根据实施例，步骤502至518可以在投影期间重复执行，例如根据预定的速率，其中该速率可以依赖于光学系统14、18或22之一的帧速率。

[0293] 投影到不平的表面上

[0294] 在图2，现实世界场景被说明为平的表面200。但是，IR成像系统10的用户分析的一个或多个对象或者场景很少是由与可见光投影仪22的光轴完美正交的平表面组成的。

[0295] 在图3A中，示出了在不与可见光投影仪22的光轴正交的表面上使用的IR成像系统的光学系统。图3A的表面关于可见光投影系统22的光轴在一个维度中倾斜。但是，该表面也可以关于可见光投影系统22的光轴在两个维度中倾斜。在IR成像系统10的使用过程中，这将例如涉及操作人员使用设备10把检测到的IR辐射信息的可见表示投影到被调查的发热地板上。由于操作人员站在地板上，因此这使得他或她难以把设备10保持成使投影系统22的光轴与地板正交。

[0296] 这种示例性实施例在图3C中进一步说明，其中，以在两个维度中倾斜的方向，作为例子是坐标系统330的x和z方向，投影系统22的光轴OA(图中未示出)斜着落在被调查的表面中，在这个例子中是地板310。

[0297] 根据以下进一步描述的方法，不平表面310的例子在图3B中示出，对其也可以有利地使用本发明的不同实施例，尤其是对于其中从热成像布置(10)到观察的场景中多于一个点的几个距离如下所述被取得的本发明实施例。图3B的不平表面310是这种表面可能看起来像什么样子的一个例子。由于表面是现实世界对象的表面，因此任何3D形状都是可能的，包括平表面部分、弯曲部分和/或浮雕部分的任意组合。

[0298] 在图3A和3B中，示出了具有光轴OA和有角度v的FOV的光学系统300。在图3A和3B中只示出了一个光学系统，而不是如图2中所示的全部三个光学系统。这仅仅是为了绘图的简化。在以下的解释中，光学系统300可以交替地代表可见光成像系统光学系统14、IR成像系统18或者可见光投影仪22。

[0299] 距离映射

[0300] 如以上在步骤512中描述的，联系图5，多于一个距离值，即，从热成像布置(10)到观察的场景中多于一个点的多个距离可以被取得或计算并转变成距离图，其中距离图中每个值对应于取得的从热成像布置10到观察的场景中的一个点的距离值。该距离图也可以被称为距离图像。

[0301] 根据实施例，距离图使IR图像能够投影到观察的现实世界场景上，以便与包括在观察的现实世界场景中离热成像布置(10)处于不同距离或深度的一个或多个对象对准，因为，依赖于距离图，对准的IR图像的每个投影像素可以适于被投影。

[0302] 根据示例性实施例，依赖于距离图和预设的条件，通过利用变化的密度适配对准的IR图像的每个投影像素，IR图像作为可见光图案投影到观察的现实世界场景上，与包括在观察的现实世界场景中离热成像布置(10)处于不同距离或深度的一个或多个对象对准。例如，如果距离图中取得的从热成像布置(10)到像素要投影到其上的一个或多个对象或场景的点i的距离zi超过预设的阈值，则热成像布置可以适于更稀疏地投影像素。以这种方式，为场景中靠近热成像布置10的投影部分提供更详细的投影。或者，如果距离zi超过预设的阈值，则热成像布置10可以代替地适于更密集地投影像素，由此对场景中远离热成像布置10的投影部分提供更详细的投影。根据第三种示例性实施例，当距离zi在某个区间之内时，热成像布置10可以适于更稀疏或密集地投影像素。可以有一个或多个区间和/或阈值。
区间和/或阈值可以预定义并存储在热成像布置10的存储器15中或者由热成像布置10的操作人员利用包括在与热成像布置10的接口介质21通信耦合的一个或多个控制设备19中的输入特征选择并输入。

[0303] 为了实现上述投影适配，根据实施例，依赖于描述要投影的像素分布的预定义或操作人员输入的一个或多个区间间隔、一个或多个阈值或其它值，处理器13的图像处理特征可以重新采样IR图像数据。在IR图像数据的对准，例如重新采样，之后，重新采样的IR图像以IR图像信号的形式从处理器传送到可见光投影系统22。可见光投影系统22的投影仪29把重新采样的IR图像数据投影到现实世界场景上。由此，IR图像数据与现实世界场景对准投影，换句话说，IR图像数据在对应检测出的IR辐射信息从其发射的方向中投影。

[0304] 根据示例性实施例，依赖于距离图，通过适配具有变化尺寸的对准IR图像的每个投影像素，IR图像作为可见光图案与观察的现实世界场景中所包括的离热成像布置10处于不同距离的一个或多个对象对准地投影到观察的现实世界场景上。使得投影仪29能够把更大的像素投影到现实世界场景中被发现处于由距离图表示的离热成像布置(10)更大取得距离，即，离操作人员更大距离，的点上，并且当取得的由距离图表示的距离更小时，是更小的或正常尺寸的像素。根据另一种实施例，投影仪还适于，作为检测到的到现实世界场景的距离的函数，增加/减小投影的像素的尺寸，例如，具有线性依赖性。

[0305] 以这种方式，当在观察的现实世界场景中位于离热成像布置(10)不同距离的对象处投影时，对热成像布置(10)的操作人员来说，像素看起来尺寸将更相似。特别地，通过要投影的像素的适配后的频率(稀疏或密集)和/或振幅(小或大)，使得到不平和/或与可见光投影仪的光轴不正交的表面上能够有对准的投影。例如，如果操作人员把IR成像系统10指向操作人员站在其上的发热地板或者指向操作人员前面建筑物的墙壁，则有可能该表面将不与可见光投影系统22的光轴正交。

[0306] 如上所述，根据不同的示例性实施例，投影仪22可以包括激光投影仪、液晶显示器(LCD)、数字光处理器(DLP)投影仪或者本领域中已知的任何其它合适类型的投影仪。

[0307] 根据有些实施例，激光投影仪的使用会是有利的选择，因为激光投影仪具有高景深，这在不平的表面上给出好的投影结果。

[0308] 本文中所使用的用于投影仪的不同等效术语包括可见光投影仪、可见光图案投影仪、可见图像/成像投影仪，从这些术语，投影仪的目的和功能应当很容易理解。

[0309] 投影的可见光图案的检测/捕捉

[0310] 如以上提到的，可见光投影仪22投影可见光图案，其中可见光图案可以是在由可见光成像系统14捕捉的图像中检测到的区域或预定可识别特征的形式，例如符号或图案的形式。投影可以包括FOVproj中所包括的全部或部分像素，并且可以具有或者不具有人或计算机可识别的形式。为了简化，要检测的投影的可见光在下面被描述为图案或符号。

[0311] 图像中符号或图案的检测可以利用本领域中本身已知的任何合适的检测方法来执行，例如特征提取、模板匹配、分割、边缘检测、薄化、相似性测量、遮蔽、强度阈值化或过滤。

[0312] 根据非计算昂贵的示例性实施例，现实世界场景的第一和第二图像是利用可见光成像系统14紧密相继捕捉的，同时可见光投影系统22在短时间内“闪烁”预定的可识别特征，例如以符号或图案的形式。例如，在第二图像被捕捉之前，预定的符号或图案利用可见光投影仪22投影到现实世界场景上，其中可见光成像系统14的FOV至少部分地与可见光投影仪22的FOV重叠。由此，第二图像包括基本上与第一图像相同的场景，但是增加了投影的图案。根据这种实施例，控制投影系统22激活的处理器13把投影和可见光成像系统14执行的图像捕捉同步。这使得可见光成像系统14能够捕捉两个连续的帧，其中一帧包括叠加到观察的现实世界场景上的投影符号或图案的至少部分，而另一帧包括现实世界场景的相同视图，但没有投影。通过从第二图像减去第一图像，获得包括检测到的符号或图案的差异图像。如果场景本身当中包含更多信息，或“噪声”，则这种示例性图案提取方法可以例如有利地使用。

[0313] 更多实施例

[0314] 在一种实施例中，如果可见光投影仪22把可见光图案投影到应当焦点对准的某个对象上，则取得的距离参数z对应于焦距。因此，这个信息可以用于热成像布置10的精确聚焦。

[0315] 根据示例性实施例，可见光图像投影仪22是激光投影设备。激光投影设备是没有焦点的，这意味着对焦透镜具有固定在其超焦距的焦点。不是用确定正确焦距并把透镜设置到那个焦点的方法，无焦点的透镜依赖于景深产生可接受清晰度的图像。因此，激光投影设备不需要聚焦。根据其它示例性实施例，根据条件，任何其它适当类型的投影设备都可以使用。

[0316] 根据实施例，提供了具有处理器的计算机系统，该处理器适于执行以上给出的实施例的任何步骤或功能。

[0317] 根据本发明的实施例，提供了计算机可读介质，其上存储用于执行上述任何实施例的方法的非暂时性信息。

[0318] 根据更多实施例，提供了计算机可读介质，其上存储用于执行上述任何方法实施例的非暂时性信息。

[0319] 根据实施例，用户可以捕捉观察的场景的可见光图像，同时把可见光投影到场景上，与从观察的场景发射的IR辐射对准，并且保存捕捉到的图像用于以后观看或用于传送到另一处理单元，诸如计算机，供将来分析和存储。

[0320] 在备选实施例中，所公开的对准方法可以由诸如通信耦合到热成像布置的PC和/或专门适于执行本发明方法步骤的FPGA-单元和/或包含根据联系图2描述的通用处理单元2的计算设备来实现。计算设备还可以包括存储器15和/或显示单元3。

[0321] 更多优点

[0322] 根据本文所述本发明的实施例，可见光到观察的现实世界场景上的投影是在现场实时地或者近乎实时地(实况)，或者换句话说是实况，执行的，由此使用户更容易解释和分析观察的现实世界场景，因为在观察的现实世界场景上向用户直接呈现了相关信息。由于可见光信息，包括从观察的现实世界场景接收到的IR辐射的可见表示，实时地或者近乎实时地(实况)投影到所述观察的现实世界场景上，因此用户不需要为了关联接收到的IR辐射信息与他或她在观察的现实世界场景中看到的内容而把目光从观察的现实世界场景转向别处。此外，根据本发明的实施例，可见光投影到观察的现实世界场景上，与观察的现实世界场景对准，或者换句话说与从观察的现实世界场景发射的IR辐射对准，由此进一步帮助用户把投影的可见光信息和观察的现实世界场景关联并且还方便观察的/被调查的观察的现实世界场景的解释和分析。