用于增强由热相机捕获的图像中的改变的方法、设备及系统转让专利
申请号 : CN201911307846.9
文献号 : CN111339817B
文献日 : 2021-07-20
发明人 : 托马斯·温泽尔
申请人 : 安讯士有限公司
摘要 :
权利要求 :
1.一种用于增强由热相机(102)捕获的图像序列(103)的图像(103a)中的改变的方法,包括:
接收(S02)作为由热相机(102)捕获的图像序列(103)的一部分的图像(103a),通过将所述图像(103a)与所述图像序列(103)中的另一图像(103b)比较,来识别(S04)所述图像(103a)中的相对所述图像序列(103)中的所述另一图像(103b)改变的像素(408);
基于识别的像素(408)的强度值,确定(S06)用于重新分布所述图像(103a)中的像素的强度值的函数(212,212a,212b,212c,212d,212e),其中所述函数(212,212a,212b,212c,
212d,212e)对于所述识别的像素(408)的强度值的范围(514)内的第一强度值(602)具有最大值(601),并且随着与所述第一强度值(602 )的距离增加而衰减,以使得所述函数赋予所述范围(514)外的强度值的值低于赋予所述第一强度值(602)的值,并且通过将所述图像(103a)中的像素的强度值乘以它们对应的加权因子,来重新分布(S08)所述图像(103a)中的相对所述另一图像(103b)改变的像素的强度值和所述图像(103a)中的相对所述另一图像(103b)未改变的像素的强度值,从而增强所述图像(103a)中的改变,其中所述对应的加权因子是通过评估用于所述像素中的所述强度值的函数(212,
212a,212b,212c,212d,212e)来计算的。
2.根据权利要求1所述的方法,其中基于所述识别的像素(408)的强度值的变化,确定所述函数(212,212a,212b,212c,212d,212e)的衰减速率,其中较高的变化给出较低的衰减速率。
3.根据权利要求2所述的方法,其中基于所述识别的像素(408)的强度值的范围(514)的宽度,确定所述识别的像素(408)的所述强度值的变化。
4.根据权利要求2或3所述的方法,其中所述函数(212,212a,212b,212c,212d,212e)的衰减速率进一步基于所述图像(103a)中未被识别为相对所述另一图像(103b)改变的像素的强度值的变化,其中所述图像(103a)中未被识别为相对所述另一图像(103b)改变的像素的强度值的较高变化给出较低的衰减速率。
5.根据权利要求1所述的方法,其中所述第一强度值(602)与所述识别的像素(408)的强度值的模式相对应。
6.根据权利要求1所述的方法,其中所述第一强度值(602)与所述识别的像素(408)的强度值的所述范围(514)的中点相对应。
7.根据权利要求1所述的方法,其中所述第一强度值(602)与所述识别的像素(408)的强度值的均值相对应。
8.根据权利要求1所述的方法,其中所述函数(212,212a,212b,212c,212d,212e)是关于所述第一强度值(602)对称的。
9.根据权利要求1所述的方法,其中所述函数(212,212d)是关于所述第一强度值(602)偏斜的。
10.根据权利要求9所述的方法,其中所述函数(212,212d)是偏斜的,以使得较高的强度值比较低的强度值具有更重的尾部。
11.根据权利要求1所述的方法,其中所述函数(212,212a,212b,212d)为高斯函数或偏态高斯函数。
12.根据权利要求1所述的方法,其中识别(S04)所述图像(103a)中的相对所述图像序列(103)中的另一图像(103b)改变的像素的步骤包括:识别所述图像(103a)中具有与所述图像序列(103)中的所述另一图像(103b)的对应像素的强度值相差超过阈值的强度值的像素。
13.一种用于增强由热相机(102)捕获的图像序列(103)的图像(103a)中的改变的设备(104),包括:
接收器(202),被配置为接收作为由热相机(102)捕获的图像序列(103)的一部分的图像(103a),
改变检测器(204),被配置为通过将所述图像(103a)与所述图像序列(103)中的另一图像(103b)比较,来识别所述图像(103a)中的相对所述图像序列(103)中的所述另一图像(103b)改变的像素(408),
重新分布函数确定器(206),被配置为基于识别的像素(408)的强度值,确定用于重新分布所述图像(103a)中的像素的强度值的函数(212,212a,212b,212c,212d,212e),其中所述函数(212,212a,212b,212c,212d,212e)对于所述识别的像素(408)的强度值的范围(514)内的第一强度值(602)具有最大值(601),并且随着与第一强度值(602)的距离增加而衰减,以使得所述函数赋予所述范围(514)外的强度值的值低于赋予所述第一强度值(602)的值,以及
强度值重新分布器(208),被配置为:通过将所述图像(103a)中的像素的强度值乘以它们对应的加权因子,来重新分布所述图像(103a)中的相对所述另一图像(103b)改变的像素的强度值和所述图像(103a)中的相对所述另一图像(103b)未改变的像素的强度值,从而增强所述图像(103a)中的改变,其中所述对应的加权因子是通过评估用于所述像素中的所述强度值的函数(212,212a,212b,212c,212d,212e)来计算的。
14.一种用于增强由热相机(102)捕获的图像序列(103)的图像(103a)中的改变的系统,包括:
热相机(102),被配置为捕获图像序列(103),根据权利要求13所述的设备(104),被布置为接收由所述热相机(102)捕获的图像序列(103)的图像(103a,103b)。
15.一种计算机可读存储介质,在所述计算机可读存储介质上存储有计算机代码指令,所述计算机代码指令在由处理器执行时使所述处理器执行权利要求1所述的方法。
说明书 :
用于增强由热相机捕获的图像中的改变的方法、设备及系统
技术领域
背景技术
常较低的分辨率,此检测潜力难以用于诸如自动运动检测系统之类的自动系统。因较低的
分辨率,场景中小或远的目标可能仅覆盖所捕获的热图像的一个或一些像素。当从热图像
检测到场景中的运动时,该小或远的目标可能因此易被误认为噪声,而不是被检测为移动
目标。另外,大多数运动检测引擎针对视觉相机图像进行优化,而不为热相机图像进行优
化。
得较大。也就是说,该目标将覆盖图像中数量增多的像素。它因此不太可能被误认为噪声,
而更可能被检测为移动目标。
一种更进一步增强热图像序列中的改变的方法。
发明内容
度值的距离增加而衰减,以使得该函数赋予该范围外的强度值的值低于赋予该第一强度值
的值,并且
的改变的像素的强度值后裁剪,以使得在执行重新分布动作时,以期望的方式加强图像中
的这些强度值。
有像素,或至少图像中的大部分像素。该函数因其形状而具有改变的像素的强度值的范围
内的最大值以及随着与最大值的距离增加而衰减,从而服务于数个目的。更具体地,它不仅
倾向于给与改变的像素的像素强度相对应的像素强度较高的权重,还倾向于抑制不在改变
的像素的强度的范围内的像素强度。以那种方式,增加具有在改变的像素的强度范围内的
强度值的像素与具有在那个强度范围外的强度值的像素之间的对比度。结果,相较于原始
图像,移动目标较易在增强的图像中辨别并检测,例如,通过使用随后应用于图像处理的运
动检测器。
过用该函数赋予强度值的加权因子给图像中的每个像素的强度值加权,重新分布图像中所
有像素的强度值。
以至少对于识别的像素的强度值的范围的一部分,该函数严格地随距离减小。
衰减速率相对识别的像素的强度值的变化变得太快,因为那会使一些改变的像素不适当地
增强。相反,可以避免衰减速率相对识别的像素的强度值的变化太慢,因为那会导致具有在
改变的像素的强度范围内的强度值的像素与具有那个强度范围外的强度值的像素之间糟
糕的对比度。举例来说,假如识别的像素的强度值显示为直方图中的窄峰值,相较于假如改
变的像素的强度值显示为直方图中较宽的峰值,可使用较快的衰减函数。
较低的衰减速率。而且在此情况下,该改变可基于范围的宽度或相关像素的强度值的标准
差来计算。以这种方式,不仅考虑改变的像素的强度值的变化,还考虑未改变的像素的强度
值的变化。例如,设置函数的衰减速率时,可考虑未改变的像素和改变的像素的强度值的变
化之间的关系。假如未改变的像素的强度值的变化相对改变的像素的改变大,它可能譬如
有利于具有衰减速率较低的函数。当仅一些像素被识别为相对另一图像改变时,此类情况
可能发生。发现通过估计来自那些改变的像素的变化(如果可能),可以达到太快、以致于不
允许图像中的改变的适当增强的衰减速率。通过还考虑未改变像素的变化,反而可以得出
具有较低衰减速率的函数,从而改进图像中的改变的增强。
情况下,该选择可取决于识别的像素的强度值在强度刻度上所处的位置。例如,假如改变的
像素的强度值的范围位于强度刻度的上端,将第一强度值设为处于改变的像素的强度值的
范围的低端可能是有利的,反之亦然。
第一强度值的强度值,或反之亦然。
度值具有更重的尾部则会允许与人相关联的强度值相比较于与背景相关联的强度值更强。
可设为较高的强度值比较低的强度值具有更重的尾部,并且反之亦然。周围温度可使用热
相机中测辐射热计类型的热检测器来测量。
一些参数来确定。
用阈值,可排除小且微不足道的改变(例如噪声)。
具有最大值,并且随着与第一强度值的距离增加而衰减,以使得该函数赋予该范围外的强
度值的值低于赋予第一强度值的值,以及
像中的改变。
介质可为非暂时性计算机可读存储介质。
附图说明
件,其中:
具体实施方式
强设备104可为热相机102的主要部分。例如,图像增强设备104可集成在热相机102的图像
处理管线中。这样,它无需是热相机的隔离的部件,但它可与热相机的其它部分共享组件,
譬如处理器。或者,且如图1所示,可与热相机102分立地提供图像增强设备104。
增强图像中的改变,提高运动检测的性能,从而使它们对于运动检测器106更可见、且更易
于检测。
图像序列103。如此产生的图像的像素的强度值因而指示场景中目标发射的热能,这转而取
决于发射目标的温度。热相机102可因此提供热图像序列103,其中温暖的目标,诸如人或动
物之类,在周围较冷的环境中突出,或反之亦然。本发明可用于的其它目标的示例为不同类
型的机动交通工具,诸如轿车或无人驾驶飞机。举例来说,图5a示意性示出了描绘较冷背景
中人的热图像的强度值的直方图500。人显示为直方图中的峰值502。
接从热图像103的强度值读出。
送到设备104。图像增强设备104转而处理图像序列103的图像以产生增强的图像的序列
105,其中图像中的改变被增强。作为处理结果,图像中的改变将被增强,为的是更清楚地从
周围背景突出。例如,该处理使改变的像素与图像中的背景之间的对比度增强。图像增强设
备104可位于热相机的处理链或管线早期。在一些实施方式中,图像增强设备104甚至对图
像原始数据进行操作。在处理链早期,图像数据通常以高分辨率表示,诸如以高空间分辨率
和/或高比特分辨率(每像素更多比特)之类。在处理链后期(诸如在运动检测之前),图像数
据的分辨率可按比例降低,例如通过减小空间分辨率和/或比特分辨率。通过在早期阶段以
较高的分辨率增强改变,还可检测并增强否则因按比例下降而损失的改变。以那种方式,如
果在处理链中早期进行,则改变的增强具有较高的影响。
业可用的、实现公知的运动检测算法的运动检测器。运动检测器106无需特别适配为处理热
图像。相反,运动检测器106可设计为检测由可见光相机捕获的图像中的运动。因图像中的
改变在增强的图像序列105中增强,所以相较于假如反而在运动检测器106的输入提供原始
图像序列103,它们对于原始图像序列103来说较易检测。例如,且如上所述,改进了检测场
景内仅覆盖热图像中一个或一些像素的小或远的移动目标的可能性。图像增强设备104执
行的处理可因而在一些情况下被视为先于运动检测的、热图像序列103的预处理。
通过使用形状检测器,可能不仅检测运动,还识别什么种类的目标在移动。
置为实现组件202、204、206、208、且更具体地它们的功能的电路。
用集成电路或一个或多个场可编程门阵列之类。举例来说,改变检测器204可因而包括使用
时、识别图像中的相对图像序列中的另一图像改变的像素的电路。
执行本文公开的任一方法。非易失性存储器的示例包括只读存储器、闪存、铁电RAM、磁性计
算机存储设备、光盘等。在软件情况下,组件202、204、206、208可因而每一个与计算机可读
介质上存储的计算机代码指令的一部分相对应,该部分由处理器执行时,使设备104执行该
组件的功能。
收将要增强的当前图像103a以及序列103的另一图像103b。另一图像103b可先于图像序列
103中的当前图像103a,或它可晚于图像序列103中的当前图像103a。另一图像103b可在序
列103中的与当前图像103相邻。例如,它可以是序列103中紧接在当前图像103a之前的图
像。然而,它原则上可以是序列103中任一较早或较晚的图像。
被图示为人。第一目标402在先前帧103b和当前帧103a之间移动,而第二目标404是静止的。
为了图示此事实,通过虚线在当前图像103a中指示先前帧103b中第一目标402的位置。
像素地比较当前图像103a和当前图像103b,以查看哪些像素已改变。以那种方式,图像103a
中的改变可迅速识别。为了确定哪些像素已改变,改变检测器204可应用阈值。具有自先前
帧起已改变超过阈值的强度值的像素可被识别为改变的像素。其它像素被识别为未改变的
像素。阈值的值可取决于在热传感器的噪声的易变性来设置。具体地,对于热相机,该阈值
可与作为热相机的信噪比的噪声等效温差(Noise Equivalent Temperature Difference,
NETD)相关。例如,可使用等于传感器噪声的标准差的两倍的阈值。以那种方式,改变检测器
204所识别的图像103a中的大多数改变将与场景中的改变相对应,而不是噪声结果。
除像素组。以那种方式,在每个组中相邻像素的数目大于或等于阈值的情况下,识别的像素
的集仅包括相邻像素组。
素取一个值(诸如值“1”之类),而对于未被发现已改变的像素取另一个值(诸如值“0”之
类)。
将进一步发现当前图像103a中的与第二目标404或背景406相对应的像素未改变,因第二目
标404以及背景是静止的。基于它的发现,且如图4所示,改变检测器204可生成哪些像素408
自先前图像起已改变的指示210。改变的像素408在图4中用黑色图示。图4的示例简化为图
示本发明的原理。在现实世界情况下,不是第一目标402内部的所有像素都被识别为已改
变,因为目标402内部的许多像素基本上具有相同的温度,即便该目标移动,目标内部的像
素的值也因此基本相同。然而,目标402边界处的大多数像素被识别为已改变,因这些像素
表示从背景像素到目标像素的改变,且反之亦然。
向。例如,改变检测器204可仅将当前图像103a中的相对另一图像103b增加超过阈值的像素
识别为改变的像素。当对比背景暖的目标感兴趣时,这可能是相关的。或者,改变检测器204
可仅将当前图像103b中的相对另一图像103b减少超过阈值的像素识别为改变的像素。当对
比背景冷的目标感兴趣时,这可能是相关的。
意。当已知比背景暖或冷的目标是否有兴趣时,这可能尤其有用。这些改变的像素的一些将
原则上属于当前图像103中的背景。然而,现实情况是目标因为衍射而没有锋利的轮廓。这
意味着处于目标轮廓的像素将是背景及目标像素的混合。只要两个帧之间的移动处于与衍
射(通常为在每个方向的一些像素,诸如2至3个像素)相同的量级,识别改变的像素时,不必
考虑改变方向。处于目标轮廓的改变的像素将无论如何都是目标及背景像素的混合,并且
可能包含好的结果。
强度值。为了这样做,重新分布函数确定器206可使用改变检测器204生成的指示210从当前
图像103a提取改变像素408的强度值。例如,在指示210被提供为掩膜的情况下,这可由掩膜
过程执行。
峰值501和在强度刻度的较高部分的第二峰值502。第一峰值501与场景中的背景406发射的
热能相关联,并且第二峰值502与第一目标402及第二目标404发射的热能相关联。这因此是
目标402及404比背景406暖的示例。然而,理解可能有相反的情况,即目标比背景冷。图5b图
示了当前图像103a的改变的像素408的强度值的直方图510。直方图510示出了当前图像
103a中的改变的像素408的强度值如何分布。在此情况下,直方图510具有与第一目标402
(移动的目标)发射的热能最对应的单个峰值512。如能从直方图510看出的,改变的像素408
的强度值取最小强度值“Imin”与最大强度值“Imax”之间的范围514内的值。
函数212可能是什么样的。直方图510的形状也在图6中示出,仅为参考。它不是按比例绘制
的。
可取值1,意指该函数给第一强度值赋值1。最大值601可位于范围514内,且不处于它的端点
之一,诸如上端点“Imax”。假如范围514接近强度刻度的上端,这尤其有利,因为否则在使用
函数212重新分布时,范围514内的强度有饱和的风险。对于函数212c及212e,最大值601不
是对于单个第一强度值获取的、而是对于范围514的子范围内的强度值获取的。
及212e,该衰减对于强度子范围不是严格的。
值赋较低的值。然而,对于函数212d,情况并非如此。
212c、212e),或它可以是关于第一强度值不对称的(参见函数212d)。例如,函数212可以是
关于第一强度值602偏斜的。如示例性函数212d所图示的,函数212对于较高的强度值可具
有比对于较低的强度值的值更重的尾部。比起较低的强度值,这将用来更多强调较高的强
度值。这可能在图像描绘比背景暖的目标的情况下是相关的。在感兴趣的目标比背景冷的
相反情况下,诸如热带草原上的动物之类,该尾部可能反而对于较低的强度较重。函数212
可以是连续(参见函数212a、212b、212c、212d)或不连续(函数212e)的。进一步地,函数212
可以是光滑(诸如可微分的之类,参见函数212a、212b、212d)或不光滑的(参见函数121e)。
函数,而函数212d示意性图示了偏态高斯函数。参数函数完全由一组参数定义。重新分布函
数确定器206可基于改变的像素408的强度值(诸如基于改变的像素408的分布的各种属
性),来确定参数函数的参数。这些属性可包括强度值的均值、强度值的模式、强度值的范围
的中点和强度值的可变性的一个或多个。例如,函数最大值的位置可基于强度值的均值、强
度值的模式或强度值的范围的中点确定。进一步地,函数宽度(与函数的衰减速率逆相关)
可取决于改变的像素408的强度值的可变性来设置,并且在一些情况下,还取决于当前图像
103a中未改变的像素的可变性。
方图510具有它的最大值情况下的强度值)、改变的像素408的强度值的均值和范围514的中
点(即,Imin+(Imax‑Imin)/2)中的一个。
素408的强度值的范围514的宽度来确定改变的像素的强度值的变化。例如,对于特定因数
d,重新分布函数确定器206可将宽度参数c设为c=d(Imax‑Imin)。参考图6的函数212a、
212b,因数d被设为对于函数212a比对于函数212b更大。
度值的可变性成比例。可通过计算标准差或通过计算相关强度值的范围宽度,再估计该可
变性。
用来重新分布改变的像素408和未改变像素中的强度值。强度值的重新分布应用于当前图
像103a中的大多数像素,并且优选地应用于当前图像103a中的所有像素。
度值乘以它们对应的加权因子来确定。例如,用I表示像素中的强度值,并且用f表示函数
212,增强的图像序列105中像素的强度值被计算为I·f(I)。
于与第一移动目标402相对应的改变像素的强度值。结果,第一目标402与背景406之间的对
比度增强。尤其是,比起背景406,也将给第二目标404(类似于第一目标402,人)较大的加权
因子,因为它的强度值通常在范围514内。
500,而图5c图示了序列105的增强图像的直方图520,即在当前图像103a中强度值的重新分
布后。从图5c看出背景的强度值(与峰值512相对应)朝较低强度移动,这样它们进一步与目
标402、404的强度(与峰值522相对应)分立。
峰值。尤其是,直方图中可有与改变的像素的强度值相关联的数个不同峰值。换言之,该直
方图可为多模式的。在此类情况下,直方图中的不同峰值可互相分开考虑。更具体地,可以
上面解释的方式确定直方图中每个峰值的函数。每个函数将因而具有与峰值之一相关联的
范围内的强度的最大值,并且随着与那个距离的距离增加而衰减,以使得其赋予范围外的
强度值的值低于赋予到达最大值的强度的值。不同峰值可被给予相互关联的不同权重。权
重间的关系可例如表示峰值间的强度比。可通过允许上面描述的增益参数a对于不同峰值
是不同的,实现不同的权重。确定的函数因而可合并为单个函数,例如通过取每个强度值的
函数的最大值。理解对于将多个函数合并为单个函数,有其它选项。这包括在强度值的函数
重叠的情况下取它们的均值,取与改变的像素相对应的强度值的函数的最大值,并且取与
未改变像素相对应的强度值的函数的最小值。该单个函数可接着用来根据上文、重新分布
图像中所有像素的强度值。
附的权利要求所限。另外,如本领域技术人员理解的,可组合所示的实施方式。