背景模型更新方法和设备

摘要

提供了一种背景模型更新方法和设备。所述背景模型更新方法包括：利用所述背景模型获取当前帧灰度图像的前景图像；在所述前景图像中检测扰动像素；基于所述扰动像素对所述背景模型进行更新。根据本发明实施例的背景模型更新技术基于扰动像素对背景模型进行像素级别的更新，从而大大减少了处理时间和内存。另外，该技术不针对暂时静止的目标对象对背景模型进行更新，从而避免了“鬼影”问题。

权利要求

1.一种背景模型更新方法，包括：利用所述背景模型获取当前帧灰度图像的前景图像；

在所述前景图像中检测扰动像素；

基于所述扰动像素对所述背景模型进行更新，其中在所述前景图像中检测扰动像素进一步包括：对于所述前景图像中的每个像素计算扰动置信度；

将所述扰动置信度与第一预定阈值进行比较，并确定扰动置信度大于该第一预定阈值的像素为扰动像素，并且其中所述扰动置信度通过像素的运动矢量和像素的纹理中的至少一种来表示。

2.一种背景模型更新方法，包括：利用所述背景模型获取当前帧灰度图像的前景图像；

在所述前景图像中检测扰动像素；

基于所述扰动像素对所述背景模型进行更新，其中在所述前景图像中检测扰动像素进一步包括：在所述前景图像中检测感兴趣对象；

从所述前景图像中移除与所述感兴趣对象对应的像素；

对于所述前景图像中剩余的每个像素计算扰动置信度；

将所述扰动置信度与预定阈值进行比较，并确定置信度大于该预定阈值的像素为扰动像素，并且其中所述扰动置信度通过像素的运动矢量和像素的纹理中的至少一种来表示。

3.如权利要求1或2所述的背景模型更新方法，其中所述基于所述扰动像素对所述背景模型进行更新包括：对于背景模型中与所述扰动像素对应的各个像素进行更新。

4.如权利要求1或2所述的背景模型更新方法，其中所述基于所述扰动像素对所述背景模型进行更新包括：对于前景图像中的各个扰动像素，确定其扰动程度；

将所述扰动程度与第二预定阈值进行比较，并确定扰动程度大于该第二预定阈值的扰动像素为大扰动像素；

对于背景模型中与大扰动像素对应的各个像素进行更新。

5.如权利要求4所述的背景模型更新方法，其中每个所述扰动像素的扰动程度通过该扰动像素的扰动增长率和扰动严重率中的至少一种来表示。

6.如权利要求5所述的背景模型更新方法，其中每个扰动像素的所述扰动增长率r＝Nt-Nt-1/Nb，每个扰动像素的所述扰动严重率s＝Nt/Nb，其中Nb为所述当前帧灰度图像的前景图像中该扰动像素所属于的预定区域中的像素总数，Nt为所述预定区域中的扰动像素的个数，Nt-1为前一帧灰度图像的前景图像中与该预定区域对应的区域中的扰动像素的个数。

7.如权利要求1或2所述的背景模型更新方法，其中所述扰动像素是由于光照变化而发生像素值的改变从而对图像处理带来负面影响的像素。

8.一种背景模型更新设备，包括：前景图像生成单元，配置为利用所述背景模型获取当前帧灰度图像的前景图像；

扰动检测单元，配置为在所述前景图像中检测扰动像素；

更新单元，配置为基于所述扰动像素对所述背景模型进行更新，其中所述扰动检测单元进一步配置为：对于所述前景图像中的每个像素计算扰动置信度；

将所述扰动置信度与第一预定阈值进行比较，并确定扰动置信度大于该第一预定阈值的像素为扰动像素，并且其中所述扰动置信度通过像素的运动矢量和像素的纹理中的至少一种来表示。

9.一种背景模型更新设备，包括：前景图像生成单元，配置为利用所述背景模型获取当前帧灰度图像的前景图像；

扰动检测单元，配置为在所述前景图像中检测扰动像素；

更新单元，配置为基于所述扰动像素对所述背景模型进行更新，其中所述扰动检测单元进一步配置为：在所述前景图像中检测感兴趣对象；

从所述前景图像中移除与所述感兴趣对象对应的像素；

对于所述前景图像中剩余的每个像素计算扰动置信度；

将所述扰动置信度与预定阈值进行比较，并确定置信度大于该预定阈值的像素为扰动像素，并且其中所述扰动置信度通过像素的运动矢量和像素的纹理中的至少一种来表示。

说明书

背景模型更新方法和设备

技术领域

[0001] 本发明总体涉及图像处理，具体涉及目标检测领域的背景模型更新方法和设备。

背景技术

[0002] 前景检测是机器视觉及图像处理的基础预处理。在基于图像的目标检测领域，通过将待检测的图像与背景模型进行比较来检测前景是一种普遍使用并且有效的方法。在这一检测方法中，背景模型的准确程度将会直接影响到前景的检测结果。对于绝大多数基于图像的目标检测和跟踪技术，能长时间工作(甚至全天工作)是一个基本的要求。然而检测场景内缓慢的环境干扰，特别是光照变化，会导致图像信息(灰度或者深度)的变化，进而影响背景模型的准确性。如果不及时对背景模型进行更新，这种缓慢的环境干扰将最终导致严重的误检。图1(a)-图1(e)中示出了一种示例性的情形。

[0003] 图1(a)和图1(b)显示了同一检测场景下不同时间获取到的深度图像。其中图1(a)是08:55拍摄的，图1(b)是09:45拍摄的。这2张深度图像清楚的展示了由于光照的变化带来的图像的变化(参见例如图1(b)中用椭圆形标出的部分)。图1(c)和图1(d)分别显示了对于图1(a)和图1(b)应用同一背景模型而获得的前景掩膜。可以看到，随着光照的变化，没有更新的背景模型将会产生误检，例如将如图1(d)中用椭圆形标出的背景对象误检为前景。图1(e)是与图1(b)对应的灰度图像，图1(e)中用矩形标出了图1(d)中所标记的被误检对象对应的具体背景。

[0004] 由此可见，为了保证检测的准确性，需要更新背景模型来应对环境干扰在图像中随着时间而产生和累积的扰动。针对这一问题，本领域研究人员已经提出了采用动态背景模型。动态背景模型是一种随着时间(图像序列)不断更新的背景模型，其典型的更新机制包括：一直更新，间隔更新和随机更新。然而，现有的动态背景模型在应对环境干扰在图像中随着时间而产生和累积的扰动时需要耗费大量的时间。例如，美国专利US8208733B2提出了一种用来估计背景的变化的方法。该方法的基本思想是利用预先得到的背景图像产生边缘图像，通过计算边缘图像和前景图像的相似性来检测背景变化，进而控制整幅背景图像的更新速率。由于该方法在检测到背景变化时对背景图像的全幅进行更新率，因而其需要耗费大量的处理时间和内存。另一方面，现有的动态背景模型的绝大多数典型更新机制都会带来“鬼影”问题。所谓“鬼影”是指当暂时静止的物体(在背景模型更新过程中，该物体已被更新为背景)开始移动时，会在背景图像上留下一个“孔”，从而导致在利用背景模型进行前景检测时将该“孔”误检为前景。

发明内容

[0005] 根据本发明的一个实施例，提供了一种背景模型更新方法，包括：利用所述背景模型获取当前帧灰度图像的前景图像；在所述前景图像中检测扰动像素；基于所述扰动像素对所述背景模型进行更新。

[0006] 根据本发明的另一实施例，提供了一种背景模型更新设备，包括：前景图像生成单元，配置为利用所述背景模型获取当前帧灰度图像的前景图像；扰动检测单元，配置为在所述前景图像中检测扰动像素；更新单元，配置为基于所述扰动像素对所述背景模型进行更新。

[0007] 根据本发明实施例的背景模型更新技术基于扰动像素对背景模型进行像素级别的更新，从而大大减少了处理时间和内存。另外，该技术不针对暂时静止的目标对象对背景模型进行更新，从而避免了“鬼影”问题。

附图说明

[0008] 图1(a)和图1(b)例示了同一检测场景下不同时间获取到的深度图像的示意图；图1(c)和图1(d)分别例示了对于图1(a)和图1(b)应用同一背景模型而获得的前景掩膜；图1(e)示出了与图1(b)中例示的深度图像对应的灰度图像。

[0009] 图2示出了根据本发明实施例的背景模型更新方法的流程图。

[0010] 图3例示了一个前景掩膜的示意图。

[0011] 图4示出了根据本发明实施例的背景模型更新方法中根据扰动像素的扰动程度自适应地对背景模型进行更新处理的流程图。

[0012] 图5示意性地示出了根据本发明实施例的计算扰动增长率的示例情形。

[0013] 图6示出了根据本发明实施例的背景模型更新设备的功能配置框图。

[0014] 图7示出了根据本发明实施例的背景模型更新系统的总体硬件框图。

具体实施方式

[0015] 为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

[0016] 如前所述，缓慢的环境干扰会随着时间而在图像中产生和累积扰动。光照变化是最主要、最具代表性的环境干扰，下文中将以由于光照变化导致的扰动为例，对根据本发明实施例的背景模型更新技术进行描述。

[0017] 首先对本发明的基本思想进行简要的介绍。本领域中公知，扰动像素是指图像(或者拍摄场景)中容易受到诸如光照、气流等环境变化引发像素值(灰度、颜色或者深度信息等)发生改变后，对图像处理过程带来负面影响的像素。比如，在以目标检测和跟踪为目的的图像处理中，图像(场景)中作为背景的物体在光照变化的影响下灰度值发生变化，变成前景，最终导致虚警的产生。更具体的，在环境干扰为光照变化的情况下，扰动像素为光照变化引发的图像像素值改变后由背景变为前景的图像像素。通过实验和分析可知，图像中诸如墙或者玻璃窗等具有低纹理的区域容易受到光照影响而成为扰动(即，该区域出现在前景图像中，但却不是感兴趣的目标)。另一方面，在考虑由于光照变化导致扰动的情况下，图像中的扰动像素通常是静止的，即不具有运动信息。因此，根据本发明的一个方面，利用图像中的运动矢量和/或纹理信息来检测图像中的扰动像素，进而对现有背景模型中与所述扰动像素对应的像素进行更新。

[0018] 图2示出了根据本发明实施例的背景模型更新方法的流程图。

[0019] 如图2所示，在步骤S201，利用背景模型获取当前帧灰度图像的前景图像。

[0020] 在该步骤中，通过将当前帧灰度图像与所述背景模型相减得到前景掩膜，随后通过将该前景掩膜与当前帧灰度图像进行与操作获得当前帧灰度图像的前景图像。图3例示了前景掩膜的示意图，其中，黑色部分代表前景像素。该获取前景图像的处理过程是本领域中公知的，此处省略其详细描述。所述背景模型是采用例如高斯建模等任何现有的背景建模方法基于连续多帧灰度图像或连续多帧深度图像预先建立的。

[0021] 可选的，在该步骤中，可以对于获取的前景图像进行例如形态学操作等预处理。

[0022] 在步骤S202中，在所述前景图像中检测扰动像素。

[0023] 在该步骤中，可以对于前景图像中的每个像素计算扰动置信度，并根据扰动置信度的高低来确定该像素是否是扰动像素。

[0024] 扰动置信度pd(x)是用来衡量像素x成为扰动的可能性的参数。如前所述，图像中低纹理区域容易受到光照影响而成为扰动，另外，图像中的扰动像素通常是静止的，即不具有运动信息。在本实施例中，利用运动矢量和纹理信息来检测扰动像素。具体的，扰动置信度pd(x)反比于像素的运动矢量v和纹理丰富度g，即pd(x)∝1/(g×v)。例如，作为一个示例，扰动置信度pd(x)可以如表达式(1)所示通过运动矢量v和纹理丰富度g来表示：

[0025] pd(x)＝exp(-g-v)    ……(1)

[0026] 所述运动矢量v和纹理丰富度g可以通过本领域中任何适当的方式来计算。例如，可以通过连续多帧灰度图像之间的帧差来计算像素的运动矢量v；可以通过计算像素在任意一个或多个方向的梯度或计算熵值等来确定像素的纹理丰富度g，此处不进行详细描述，以免不必要地混淆本发明的发明点。

[0027] 需要说明的是，表达式(1)所示的仅仅是一种示例，扰动置信度pd(x)可以采用其他适当的表达式通过运动矢量v和纹理丰富度g来表示，只要扰动置信度pd(x)与运动矢量v和纹理丰富度g成反比即可。另一方面，扰动置信度并非必须通过像素的运动矢量和像素的纹理两者来表示，可选的，其可以仅通过像素的运动矢量和纹理两者中的任一种来表示(即，扰动置信度pd(x)反比于运动矢量v，或者扰动置信度pd(x)反比于纹理丰富度g)或通过其他适当的物理量来表示。

[0028] 在如上所述计算出一像素的扰动置信度后，可以将该扰动置信度与第一预定阈值进行比较，如果扰动置信度大于第一预定阈值，则确定该像素为扰动像素。第一预定阈值可以由本领域技术人员根据具体的应用情形来设定。

[0029] 在上面的描述中，对于前景图像中的每个像素均计算其扰动置信度，进而确定该像素是否是扰动像素。可选的，可以仅对前景图像中的部分像素进行该处理。例如，在对于处理速度有较高要求的应用中，在得到当前帧图像的前景图像后，可以采用任何已知的目标对象检测技术从该前景图像中检测感兴趣对象并移除与该对象对应的像素，并且针对前景图像中剩余的每个像素确定其是否是扰动像素。能够理解，前景图像中的感兴趣对象是期望检测出的目标对象，其通常不是图像中的扰动，因此可以不考虑该感兴趣对象而仅对前景图像中除了该感兴趣对象之外的其他像素进行扰动检测，由此可以提高处理速度。

[0030] 回到图2，在步骤S203中，基于所述扰动像素对所述背景模型进行更新。

[0031] 在该步骤中，可以从例如当前帧开始对于背景模型中与扰动像素对应的各个像素进行更新。可以采用例如高斯重建等本领域中任何适当的方式对背景模型中的对应像素进行更新，此处不对更新过程进行详细的描述。

[0032] 值得一提的是，自然光照随着时间的变化通常是一个缓慢累积的过程，而且绝大多数的目标检测对一定数量的噪声像素是有鲁棒性的，因此出于对处理速度的考虑，实际上没有必要一检测到扰动像素就对背景模型进行更新，或者说不必对于背景模型中与扰动像素对应的每个像素都进行更新。因此，可选的，在该步骤S203中，可以根据扰动像素的扰动程度，自适应地对背景模型进行更新。下面将参考图4对这一自适应更新过程进行描述。

[0033] 如图4所示，在步骤S2031，对于前景图像中的各个扰动像素，确定其扰动程度。

[0034] 扰动像素的扰动程度可以通过任何适当的物理量来表示，例如可以通过扰动像素在前后两帧中像素值的改变、在前后两帧中该扰动像素所属连通域中扰动像素数量的增加等来表示。作为示例，在本实施例中，通过扰动像素的扰动增长率和扰动严重率来表示扰动程度。

[0035] 扰动增长率是连续帧的灰度图像中，固定区域内扰动像素的数量增长率。例如，每个扰动像素的扰动增长率r可以通过表达式(2)来表示：

[0036] r＝Nt-Nt-1/Nb    ……(2)

[0037] 其中，Nb为所述当前帧灰度图像的前景图像中扰动像素所属于的预定区域中的像素的总数，Nt为所述预定区域中的扰动像素的个数，Nt-1为前一帧灰度图像的前景图像中与该预定区域对应的区域中的扰动像素的个数。

[0038] 图5示意性地示出了根据本发明实施例的计算扰动增长率的示例情形。如图5所示，假设当前帧是第t帧，该第t帧中的预定区域以及第t-1帧中的对应区域是固定的5×6像素的分块区域，分块区域中的“*”代表扰动像素，其中用圆圈框出的“*”代表要针对其计算扰动增长率的扰动像素(以下为了便于描述，称为扰动像素x)。从图中可以看出，分块区域中的像素总数为30，第t帧的分块区域中的扰动像素数量为12，第t-1帧的分块区域中的扰动像素数量为6，因此，扰动像素x的扰动增长率r＝6/30＝0.2。

[0039] 扰动严重率是当前帧灰度图像中固定区域内扰动像素与像素总数的比率。每个扰动像素的扰动严重率s可以通过例如表达式(3)来表示：

[0040] s＝Nt/Nb    ……(3)

[0041] 例如，对于如图5所示的示例情形，从图中可以看出，第t帧的分块区域中的像素总数为30，扰动像素数量为12，因此，扰动像素x的扰动严重率s＝12/30＝0.4。

[0042] 需要说明的是，在图5所示的示例情形中，预定区域是固定的5×6像素的分块区域，这仅仅是一种示例。一方面，该分块区域的大小并不一定是5×6像素，而是可以根据例如目标检测对象的大小等适当的设定；另一方面，预定区域并非必须是分块区域，而可以任何其他适当设定的区域，例如包含扰动像素x的连通区域等等。

[0043] 在如上所述确定扰动像素的扰动增长率和扰动严重率后，可以确定该扰动像素的扰动程度pu，其正比于扰动像素的扰动增长率和扰动严重率，即pu(x)∝r×s。

[0044] 可选的，扰动程度并非必须通过扰动像素的扰动增长率和扰动严重率两者来表示，而是可以仅通过扰动像素的扰动增长率和扰动严重率中的任一种来表示(即扰动程度正比于扰动增长率，或扰动程度正比于扰动严重率)，或通过其他适当的物理量来表示。

[0045] 回到图4，在步骤S2032，将扰动程度与第二预定阈值进行比较，并确定扰动程度大于该第二预定阈值的扰动像素为大扰动像素。

[0046] 第二预定阈值可以由本领域技术人员根据例如光照变化情况、目标检测精度、目标检测速度等具体的应用情形来设定。

[0047] 在步骤S2033，对于背景模型中与大扰动像素对应的各个像素进行更新。

[0048] 在该步骤中，仅对于背景模型中与扰动程度较高的大扰动像素对应的各个像素进行更新。因此，如果当前帧灰度图的前景图像中不存在所述大扰动像素，则不对背景模型进行更新。如前所述，可以采用例如高斯重建等本领域中任何适当的方式对背景模型中的对应像素进行更新。

[0049] 以上参考图4描述了根据扰动像素的扰动程度，自适应地对背景模型进行更新的处理过程。在该处理过程中，更新机制是自适应的，其根据扰动像素的扰动程度来确定更新的频率，即扰动程度越高，更新频率越高。

[0050] 以上详细描述了根据本发明实施例的背景模型更新方法。在该实施例中，基于扰动像素对背景模型进行像素级别的更新，即扰动的检测和背景模型的更新都是像素级别的，从而大大减少了处理时间和内存。另外，该方法在背景模型更新过程中针对背景模型中由于光照变化而从背景像素变为前景像素的像素进行更新，而不针对暂时静止的目标像素对背景模型进行更新，因此在暂时静止的目标重新运动时，背景模型不会在目标像素停留处出现“空洞”，从而避免了“鬼影”问题。

[0051] <背景模型更新设备的总体配置>

[0052] 图6示出了根据本发明实施例的背景模型更新设备600的功能配置框图。

[0053] 如图6所示，背景模型更新设备600包括：前景图像生成单元610，配置为利用所述背景模型获取当前帧灰度图像的前景图像；扰动检测单元620，配置为在所述前景图像中检测扰动像素；更新单元630，配置为基于所述扰动像素对所述背景模型进行更新。上述前景图像生成单元610、扰动检测单元620和更新单元630的具体功能和操作可以参考上述对图2到图5的相关描述，此处不再重复描述。

[0054] <系统硬件配置>

[0055] 图7示出了根据本发明实施例的背景模型更新系统700的总体硬件框图。如图7所示，背景模型更新系统700可以包括：输入设备710，用于从外部输入有关图像或信息，例如采用相机拍摄的深度图像和灰度(彩色)图像、预先建立的背景模型等，该输入设备例如可以是键盘、鼠标、相机、摄像机等等；处理设备720，用于实施上述的按照本发明实施例的背景模型更新方法，或者实施为上述的背景模型更新设备，该处理设备例如可以是计算机的中央处理器或其它的具有处理能力的芯片等等；输出设备730，用于向外部输出实施上述背景模型更新过程所得到的结果，例如更新后的背景模型，该输出设备例如可以是显示器、打印机等等；以及存储设备740，用于以易失或非易失的方式存储上述背景模型更新过程所涉及的数据，例如扰动置信度、检测出的扰动像素、像素的运动矢量、像素的纹理、像素的扰动程度、扰动增长率、扰动严重率、大扰动像素、各个预定阈值等等，该存储设备例如可以是随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

[0056] 以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

[0057] 因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

[0058] 还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

[0059] 上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。