用于捕捉和分析运动物体的热成像图像的方法和装置

摘要

本发明提供一种用于校正失真图像的方法，该方法包括：捕捉运动物体的图像，从而获取构成所述图像的多个像素；获取所述运动物体的速度；获取依据所述物体的速度而定的校正系数；并且将所述校正系数应用于所述多个像素，从而获取校正后的图像。

权利要求

1.一种用于校正失真的热图像的方法，包括：

利用热成像设备捕捉运动物体在第一位置处的第一原始图像，从而获取构成所述第一原始图像的多个像素；

利用所述热成像设备捕捉所述运动物体在第二位置处的第二原始图像，从而获取构成所述第二原始图像的第二多个像素，其中所述第二位置基本上只沿一个方向偏离所述第一位置；

获取所述运动物体的速度，其中所述获取所述运动物体的速度的步骤包括：将所述第一原始图像与所述第二原始图像相比较，并且对照所述热成像设备的已知帧频来分析所述图像的变化；

获取所述热成像设备的响应时间；

获取校正系数来补偿由所述物体的运动引起的第一原始图像的失真，其中所述校正系数依据所述运动物体的速度以及所述热成像设备的响应时间而定；并且将所述校正系数应用于所述多个像素，从而获取校正后的图像。

2.如权利要求1所述的方法，进一步包括获取所述第一原始图像的Blob图像。

3.如权利要求1所述的方法，其中所述第一原始图像是在第一垂直位置处获取的，所述第二原始图像是在低于该第一垂直位置的第二垂直位置处获取的。

4.如权利要求2所述的方法，其中所述获取所述Blob图像的步骤包括：选择性地将灰色像素转换成黑色像素或白色像素，从而提供更精细的图像。

5.一种校正失真的热图像的方法，包括：

(a)从热成像设备中获取运动物体的第一原始图像，所述第一原始图像包括所述运动物体在第一位置处的多个像素；

(b)从所述热成像设备中获取所述运动物体在第二位置处的第二原始图像；

(c)获取所述运动物体的速度，其中所述获取所述运动物体的速度的步骤包括：将所述第一原始图像与所述第二原始图像相比较，并且对照所述热成像设备的已知帧频来分析所述图像的变化；并且(d)将一校正系数应用于所述多个像素，从而获取所述运动物体的校正后图像；

所述方法进一步包括获取一用于获取所述热图像的热成像仪的响应时间的步骤，其中所述校正系数依据所述运动物体的速度和所述热成像仪的响应时间而定。

6.如权利要求5所述的方法，进一步包括获取所述第一原始图像的Blob图像的步骤。

7.如权利要求6所述的方法，其中所述获取所述Blob图像的步骤包括：选择性地将灰色像素转换成黑色像素或白色像素，从而提供更精细的图像。

说明书

用于捕捉和分析运动物体的热成像图像的方法和装置

[0001] 相关申请

[0002] 本申请是以已于2005年4月11递交的共同未决美国临时专利申请No.60/670,175为基础的非临时申请，并要求该临时申请的优先权，从而该临时申请通过参考特别合并于此。

技术领域

[0003] 本发明总地上涉及用于捕捉和分析运动物体的热成像图像的方法和装置。更具体地说，本发明涉及用于对在捕捉运动物体的图像时所引起的热成像图像的失真进行校正的方法和装置。

背景技术

[0004] 红外成像相机非常适合并且早前已经用于监控静止目标的热图像。例如，便携式成像仪通常用在维护应用场合，以便检测机器中的热点。类似地，便携式成像仪可以用于检测锅炉或熔融金属容器是否处于容许温度范围之内。联机相机可用在过程控制应用场合，例如用于测量从模压机中甩出的模压件的温度。不过，由于响应时间的限制，这些类型的成像仪和相机在用途方面受到限制。例如，这些成像仪和相机可能局限在用于静止的或缓慢运动的过程中。

[0005] 在典型的联机应用场合下，首先获得待检验物体的热瞬像。然后，使用一般的视频系统中所提供的一或多种技术，分析所获得的结果图像。例如，可以通过将其与一基准图像相比较并且/或者通过查找遗漏段，来分析所述图像。这种热图像可以用于检查容许温度的上限和/或下限。

[0006] 不过，目前相机和成像仪的缓慢响应时间造成在某部分运动太快时图像的模糊。例如，大多数过程控制应用场合非常适合使用在8-12微米波段下工作的相机，所述相机使用通常具有100毫秒响应时间的测辐射热计式传感器。但是，即使使用具有更快的16毫秒响应时间的非晶硅传感器，在大部分运动目标应用场合下图像仍旧相当模糊。

[0007] 结果，该部分运动得越快，图像就越模糊。模糊的图像不能产生众多分析功能所需要的足够好的结果。另外，模糊图像也不能产生精确的温度读数。

发明内容

[0008] 本发明一方面提供一种用于校正失真图像的方法，该方法包括：捕捉运动物体的图像，从而获取构成所述图像的多个像素；获取所述运动物体的速度；获取依据所述物体的速度而定的校正系数；并且将所述校正系数应用于所述多个像素，从而获取校正后的图像。

[0009] 对于本领域技术人员来说，通过对下列详细描述的审阅，其它方面和优点将变得显而易见。虽然本发明可以有各种形式的实施例，但是下文中所描述的是具体实施例，并且同时要理解到，本发明的公开内容是示例性的，并不意图将本发明局限于此处所描述的具体实施例。

附图说明

[0010] 图1是用于捕捉运动物体的热图像的热成像系统的图；

[0011] 图2是用在图1的热成像系统中的控制器单元的电子元件的框图；

[0012] 图3是获取经校正的由图1的系统捕捉的热图像的一示范性操作的流程图。

[0013] 图3A是用于获取图1中物体的速度的一示范性操作的流程图；

[0014] 图3B是用于获取校正系数以用于图1中运动物体的热图像捕捉的一示范性操作的流程图；

[0015] 图4是使用图1中热成像系统的物体的图片，在不使用热成像仪的情况下该物体看起来保持静止；

[0016] 图5A示出图4中物体的原始热图像，该物体处于运动中；

[0017] 图5B示出在校正物体运动所引起的模糊之后的图5A中的原始热图像；

[0018] 图5C示出图5A中原始热图像的Blob结果的图像；和

[0019] 图5D示出在校正物体运动所引起的模糊之后的图5C中的Blob结果的校正后图像。

具体实施方式

[0020] 虽然下文中对本发明若干不同的实施例进行了详细描述，不过应该理解的是，本发明的法定范围是由处于专利末尾的权利要求书的文字来限定的。这些详细描述应该被认为仅仅是示范性的，而且由于即使不无可能但是描述每个可能存在的实施例是不切实际的，因此这些详细描述并不能描述本发明每个可能存在的实施例。若干可选实施例可以使用目前的技术或在本专利申请的申请日之后开发出的技术来实现，它们也将落入限定本发明的权利要求书的范围之内。

[0021] 参照图1，此处所公开的红外探测系统20包括以可通信方式连接至控制器24的成像仪22。在本示范性实施例中，成像仪22为热成像相机，而控制器24为具有监视器40的个人计算机(PC)。帧捕获器26用于捕捉若干热图像，并以可通信方式设置在控制器24与成像仪22之间。举例来说，帧捕获器26可以用于将视频信息数字化和/或存储成位图图像。帧捕获器可以为独立部件，或者可以为内置到视频显示电路板之中的功能程序。如同以下将更详细描述的那样，红外探测系统20可以捕捉诸如在传送带上传送的物体之类的运动物体28的热图像。由于物体28的运动，所述热图像可能变得模糊，或相反变得失真，从而提供出物体28的无法使用或极度不精确的热图像。此处所公开的红外探测系统20要校正和/或调节的正是热图像的这种模糊和/或失真。

[0022] 如图1所示，热成像相机22具有由所使用的具体成像仪而定的特定分辨率。在本示范性实施例中，使用的是具有76800个像素的成像仪，所述像素被排成一320×240的阵列，不过也可以使用其它大小和几何排列。为了简要起见，以下方法将针对单个像素进行描述，不过如同本领域技术人员所知道的那样，该方法的实际实现可以用于传感器阵列中的每个像素。

[0023] 从图2看出，控制器24可以通过帧捕获器26以可通信方式连接至热成像相机22，并且可以包括程序存储器30、微控制器或微处理器(MP)32、随机存取存储器(RAM)34和输入/输出(I/O)电路36，它们均可以经由地址/数据总线38互连。应该理解的是，虽然图示出只有一个微处理器32，但是控制器24还可以包括其它的微处理器。类似地，控制器24的存储器可以包括多个RAM34以及多个程序存储器30。虽然图示出I/O电路36为单个块，但是应该理解，I/O电路36可以包括若干不同类型的I/O电路。RAM34和程序存储器30可以实现为例如，半导体存储器、磁可读存储器和/或光可读存储器，或者本领域普通技术人员所知道的其它存储器。

[0024] 图2示出了相机22以及帧捕获器26、监视器或显示器40能够以可操作方式连接至I/O电路36。以上各元件还可以单向或双向连接、利用单线路或多线路数据链接连接，这将取决于所用元件的设计。

[0025] 各元件可以经由直达线或导线连接至I/O电路36。可以使用不同的连接方案。例如，图2所示元件中的一或多个可以经由公共总线或其它由若干元件共享的数据链路连接至I/O电路36。此外，本领域的普通技术人员将认识到的是，这些元件中的一部分可以不经过I/O电路36直接就连接至微处理器32。

[0026] 一旦由控制器24从成像仪22和/或帧捕获器26接收到图像，就将对所述图像进行校正，从而获取更清晰且更精确的热图像。更具体地说，控制器24可以被程序化成校正热图像的像素，以便可以获取或者至少精密地估计所述像素的真实值。如图3所示，一种这样的示范性操作包括：确定经过相机的视场运动的物体的速度(102)(还可参照图3A)；获取所述图像中多个像素的校正系数(116)(还可参照图3B)；以及将所述校正系数应用于所述多个像素(118)。如同本领域技术人员将认识到的那样，可以以各种方式来完成以下操作，此处将描述其中的一种方式。结果，以下具体操作可以包括一些附加步骤或可替换步骤，或者以下具体操作可以通过删除一些步骤或将一些步骤组合来完成。

[0027] 如同从图1和图3看到的那样，所述相机可以捕捉运动物体28的一个或更多的图像(100、104)，这可以在帧捕获器26的携助下获取到。在本示范性实施例中，如从图4所看到的，在相机22的视场中，物体28是被加热然后下落的玩具游戏装置(toy play set)的塑料栅栏。从图5A看到的原始图像示出，由于相机22所捕捉到的物体处于运动中，所以产生了相当模糊或失真的效果。

[0028] 在一个示例中，通过将两个连续图像(第一图像与第二图像)相比较获取捕捉过程期间物体的速度，从而确定在第一图像与第二图像之间物体运动的像素数(102)。更具体地说，帧频或者成像仪22捕捉图像花费的时间是已知的，并且通常大致为每秒50或60帧。因此，可以通过获悉帧频和在第一图像与第二图像之间物体运动的像素数，确定物体运动的速度。

[0029] 此处所提到的物体的“速度”并不是所测量的距离对时间的真实速度，而是一个相对速度，它代表在获取第一图像与获取第二图像之间物体已移动的像素数。不过，为了测量所述速度，首先必须要确定物体已经移动了多少像素。在一个示例中，可以通过将第一图像中物体28的至少一部分与第二图像中物体28的同一部分匹配，确定物体28已移动的像素数。换句话说，通过将第一图像中物体28的至少一部分与第二图像中的同一部分匹配，相应图像中各部分之间的像素数将是在捕捉第一图像与捕捉第二图像之间物体已运动的像素数。

[0030] 如从图3和图3A看到的，可以通过将第一图像中的特定像素行与第二图像中的像素行相比较，确定物体28的位置。一旦在第二图像中找到与第一像素行匹配的像素行，就可以确定出它们之间的像素数。

[0031] 更具体地说，可以通过将用于对像素行数计数的移位计数器(K)设置到0并且将像素亮度的标准误差(SDE)变量设置到1,000,000，在第二图像上定位出物体。在这种情况下，第一图像与第二图像中物体之间的理论像素数(“L”)为0。所述移位计数器现在可以移位到K＝1，这代表第二图像中的第一像素行，并且然后从第一图像的初始像素行中消减该第一像素行。之后，在已消减的图像上计算标准差。如果该值小于设置的SDE，那么将SDE设置到新近获得的SDE，并且将L设置成等于K。

[0032] 现在，可以确定行数K是否已经超过先前确定出的移位限。例如，如果移位限为K＝60，那么直到已经评估了60个像素行之后才会达到移位限。这样做可以确保评估合理却不过量的像素。如果没有达到所述限，那么移位计数器将转到K＝2或第二像素行，并且重复上述步骤，直到达到上述移位限为止。

[0033] 不过，如果达到了移位限，那么在前一步骤中达到的K值代表在第一图像与第二图像之间图像已经移位的像素数。

[0034] 换句话说，通过移位一帧中的部分图像并且将它从下一帧的图像中消除，直到实现最小的标准误差，可以确定所述速度。这样，像素移位量与曝光时间成反比。这种操作假定所述过程是沿着单方向运动的，这大大减少了控制器的计算时间。否则的话，必须要检验运动的所有组合，以便得到最小的标准误差。编制程序可以减少控制器的开销，从而得到最小的标准误差。

[0035] 例如，一种途径是实施一两步式搜索算法。第一道搜索是在整个范围上以大的像素运动来步进，而第二道搜索是围绕第一道搜索的结果以单像素运动来步进。通过检验图像的较小部分并且限制所探测到的最大运动，可以进行进一步的简化。运动探测的限度可以以应用场合为基础。

[0036] 一旦确定了物体的速度，就可以确定出图像的校正系数，从而实现图5B中所示的校正后图像。一用于获取校正系数的示范性算法如下：

[0037] Pt＝P0+(Pf-P0)*(1-e-t/R)

[0038] 其中：Pt是时间t的像素值或像素亮度；

[0039] P0是初始像素值或像素亮度；

[0040] Pf是静止目标的期望最后像素值或像素亮度；

[0041] t是曝光时间；和

[0042] R是传感器时间常数。

[0043] Pf通过重新调整的以下等式计算：

[0044] Pf＝P0+(Pt-P0)/(1-e-t/R)

[0045] 所述等式假定在时间t期间，像素暴露在一恒定的目标温度下，而在本示例中，由于目标在运动所以等式不成立。单图像帧中的上一像素会在1个像素时间之前就大致观测到相同的目标，但是即使应用它也需要最大的校正系数。传感器并不是理想的，它们的输出中包含有噪声。校正系数可能会放大噪声，这会导致为某一像素确定的P0偏离不仅一个像素。实现所述等式的一个方案是获得使等式具有良好近似值的P0和t值。

[0046] 校正系数还可以应用于非原始图像的图像。例如，如从图5C和图5D看到的，校正系数也可以应用于Blob结果。更具体地说，图5C示出了图5A中的原始图像的Blob图像。原始图像是相机中出现的图像(图5A)。对于黑白式相机来说，原始图像包含有从亮到暗的各种值或者灰度值。Blob结果来自于视频系统中的公共功能块，在所述公共功能块中图像的像素转换成真值或假值，例如二进制选项1或0，这取决于灰度值是高于还是低于一特定阈值。为了呈现的目的，结果值然后可以以截然不同的任意两种颜色来显示，例如以黑色和白色来显示，从而移除图像中的所有灰色阴影。例如，如果所述值大于阈值，那么相应的Blob像素成为白色，否则就被设置成黑色。在有些情况下，结果Blob更容易在定位某些部分以及对某部分进行尺寸分析的过程中起作用。

[0047] 如之前所提及的，在校正系数和P0可靠性之间具有一折衷方案。例如，在t/R值等于0.4时，即意味着大约为3的总校正系数时，用于检验算法的相机产生出最佳结果。利用具有14毫秒的R值和16.7毫秒的帧间隔的检验相机，可以确定的是，用L除以3将产生最佳定位以便捕获P0值。如果不关注对缓慢运动图像的校正，那么校正算法可以简化成：

[0048] k＝L/3

[0049] P1[i][j]＝P[i+k][j]+3*(P[i][j]-P[i+k][j])

[0050] 其中：P1[i][j]表示校正后图像的单个元素；

[0051] P[i][j]表示校正前图像的单个元素；

[0052] i选择行；

[0053] j选择列；

[0054] k从图像运动中计算出的行偏移量；和

[0055] L是移动速度或移动量。

[0056] 应该注意到的是，可被校正的图像中的行数减小k值。

[0057] 一旦图像已经得到校正，就可以确定出图像是否包含待分析的物体。一种确定图像是否包含物体的示例为，在校正后相机图像的周围滑动所存储的所述物体的基准图像，以便可以确定出在所存储的图像与所捕捉的图像之间是否存在合理的匹配。这可以利用相关性技术来实现。

[0058] 另一种确定图像是否包含物体的方式为，在所述图像之上滑动所述基准图像并且检验消减后图像的标准差是否满足与速度算法的工作方式类似的准则。也可以使用其它的途径。

[0059] 以上示范性实施例可以进行改变，从而实现和/或产生另外或可替换的特征。例如，如果过程具有已知的恒定速度，那么就不需要利用软件来确定物体的速度。本发明的公开内容最适合用于过程检测中的实时相机校正，不过校正技术也可以用于手动模式下的单快摄图像。这样，即使所捕捉物体的速度未知，也可以通过试验以及调节校正间距的误差，恢复良好的图像。另外，虽然所开发出的方法用来增强红外成像相机的图像，不过这些技术也可以用于任何类型的具有慢速响应传感器的相机。此处用于设置SDE的值k和L也只是示范性的，意图并不在于限制本发明的范围。

[0060] 上述步骤可以在控制器中被编制成程序，并且/或者可以保存到计算机可读介质中。通过示例而非限制的方式，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括易失性和非易失性、可移除和非可移除介质，它们以任意方法或技术实现且用于存储诸如计算机可读指令、数据结构、程序模块或其它数据之类的信息。计算机存储介质包括但不局限于RAM、ROM、EEPROM、闪速存储器或其它技术的存储器、CD-ROM、数字通用盘(DVD)或其它光存储器、磁带盒、磁带、磁盘存储器或其它磁存储器件、或者其它任何可以用于存储所需信息的介质。通信介质通常将计算机可读指令、数据结构、程序模块或其它数据具体体现在诸如载波或其它传输机制之类的经调制数据信号中，并且包括任意的信息传送介质。术语“经调制数据信号”指的如下信号，即具有一或多个按照对信号中信息进行编码这样的方式设置或改变的特性。通过示例而非限制的方式，通信介质包括诸如有线网络或直接有线连接之类的有线介质，还包括诸如声音、RF、红外或其它无线介质之类的无线介质。任意上述介质的组合也应该包括在“计算机可读介质”的范围之内。

[0061] 以上描述只是为了理解清楚的目的给出的，而且由于本发明范围内的各种修改对于本领域普通技术人员来说是显而易见的，所以这些描述应该被理解成并没有任何不必要的限制。