一种从运动图像中提取背景图像的实现方法及装置转让专利

申请号 : CN200710112410.5

文献号 : CN101184235B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 李世平

申请人 : 腾讯科技(深圳)有限公司

摘要 :

本发明公开了一种从运动图像中提取背景图像的实现方法,通过设置运动图像背景图像与候选背景图像,对运动图像进行逐帧图像与候选背景图像的比较处理,尤其是对运动图像中每一帧图像进行逐图像块与背景帧图像中相应的背景块之间的比较处理,对背景图像进行不断的更新,从而实现从运动图像中提取背景图像。相应的,本发明实施例还提供一种从运动图像中提取背景图像的实现装置。

权利要求 :

1.一种从运动图像中提取背景图像的实现方法,其特征在于,该方法包括:

A、将运动图像的任一帧图像设置为初始背景图像;

B、将运动图像的当前帧图像分为图像块,并按顺序选定当前图像块;

C、计算所述当前图像块与背景图像中相同位置的背景块的第一匹配度,如果第一匹配度大于设定的第一阈值,继续下列步骤;

D、判断本帧是否存在下一个图像块,如果存在,将下一个图像块设为当前图像块并返回步骤C;否则,继续下列步骤;

E、判断是否存在下一帧图像,如果存在,将下一帧图像作为当前帧图像,并返回步骤B,否则,将当前背景图像作为所述运动图像的背景图像。

2.如权利要求1所述的方法,其特征在于,将候选背景图像初始化为空,所述步骤C中,如果第一匹配度小于等于设定的第一阈值,还包括下列步骤:C1、以前一帧图像为参考图像,与当前图像块进行运动估计,找到当前图像块的匹配块,计算当前图像块与所述匹配块的第二匹配度,如果第二匹配度大于设定的第二阈值,转至步骤D。

3.如权利要求2所述的方法,其特征在于,所述步骤C1中,如果第二匹配度小于等于设定的第二阈值,还包括下列步骤:C2、计算当前图像块与候选背景图像中相同位置的候选块的第三匹配度,如果第三匹配度大于设定的第三阈值,用当前图像块更新背景图像中与当前图像块相同位置的背景块,转至步骤D。

4.如权利要求3所述的方法,其特征在于,所述步骤C2中,当判断出所述第三匹配度大于所述第三阈值后,还包括:对当前图像块的边界在所述背景图像中的平滑度进行分析,如果当前图像块边界平滑,用当前图像块更新背景图像中相同位置的背景块。

5.如权利要求3所述的方法,其特征在于,包括:

所述步骤C1中,当判断出所述第二匹配度大于所述第二阈值后,还包括:将候选背景图像中与当前图像块相同位置的候选块置为空,并将该候选块的命中计数值置为0;

所述步骤C2中,当判断出所述第三匹配度小于等于所述第三阈值时,用当前图像块更新候选背景图像中相同位置的候选块,并将该候选块的命中计数值设为1;再转至步骤D;

所述步骤C2中,当判断出所述第三匹配度大于第三阈值后,还包括:将候选背景图像中与当前图像块相同位置的候选块的命中计数值加1,并判断所述命中计数值是否大于设定的第四阈值,如果是,执行用当前图像块更新所述背景图像中与当前图像块相同位置的背景块。

6.如权利要求5所述的方法,其特征在于,当判断出所述候选背景图像中与当前图像块相同位置的候选块的命中计数值大于设定的第四阈值后,还包括:对当前图像块的边界在所述背景图像中的平滑度进行分析,如果当前图像块边界平滑,用当前图像块更新背景图像中相同位置的背景块。

7.如权利要求1~6任一所述的方法,其特征在于,所述匹配度的计算方法采用绝对误差累加值法。

8.一种从运动图像中提取背景图像的实现装置,其特征在于,包括:控制单元、背景图像存储单元、候选背景图像存储单元、帧图像存储单元、运动估计单元和匹配度计算单元,其中,所述控制单元,用于将运动图像的任一帧图像设置为初始背景图像,存储到所述背景图像存储单元,将所述候选背景图像存储单元中存储的候选背景图像初始化为空;从所述帧图像存储单元中获取运动图像的当前帧图像分为图像块,并按顺序选定当前图像块;控制所述匹配度计算单元计算当前图像块与背景图像中相同位置的背景块的匹配度,接收所述匹配度计算单元返回的匹配结果,控制所述背景图像存储单元用当前图像块更新背景图像中相同位置的背景块,或者控制所述候选背景图像存储单元将当前图像块设定为候选背景图像中相同位置的候选块;或者继续获取下一个图像块进行处理;

所述背景图像存储单元,用于存储背景图像;

所述候选背景图像存储单元,用于存储候选背景图像;

所述帧图像存储单元,用于存储运动图像中当前帧图像与前一帧图像;

匹配度计算单元,用于计算所述图像块之间的匹配度,并向所述控制单元输出匹配结果;

还包括;

运动估计单元,用于对当前图像块在前一帧图像中进行运动估计,找到匹配块,并将找到的匹配块输出给所述匹配度计算单元;

所述控制单元还用于控制所述运动估计单元对当前图像块进行运行估计;控制所述匹配度计算单元计算当前图像块与运动估计中找到的匹配块或与候选背景图像中相同位置的候选块的匹配度;

所述控制单元包括:第一控制子单元、第二控制子单元、第三控制子单元和判断子单元,其中,所述第一控制子单元,用于获取当前图像块与背景块的图像信息,将当前图像块与背景块的图像信息输出给所述匹配度计算单元进行第一匹配度的计算;接收所述匹配度计算单元返回的第一匹配度计算结果值,并与设定的第一阈值进行比较,如果第一匹配度大于设定的第一阈值,则通知给所述判断子单元;否则,将获取的当前图像块的图像信息发送给所述第二控制子单元;

所述第二控制子单元,用于接收所述第一控制子单元发送的当前图像块的图像信息,并发送给所述运动估计单元,并指示所述运动估计单元对当前图像块在前一帧图像中进行运动估计;还指示所述匹配度计算单元计算出运行估计中找到的匹配块与当前图像块之间的第二匹配度;接收所述匹配度计算单元返回的第二匹配度计算结果值,并与设定的第二阈值进行比较,如果第二匹配度大于设定的第二阈值,则控制所述候选背景图像存储单元将所述候选背景图像中对应候选块置空,并通知给所述判断子单元;否则,将当前图像块的图像信息发送给所述第三控制子单元;

所述第三控制子单元,用于接收所述第二控制子单元发送的当前图像块的图像信息,并获取候选背景图像中对应候选块,将候选块图像信息发送给所述匹配度计算单元,并指示所述匹配度计算单元计算所述当前图像块和候选块之间的第三匹配度;并接收所述匹配度计算单元返回的第三匹配度计算结果值,与设定的第三阈值进行比较,如果第三匹配度大于设定的第三阈值,控制所述背景图像存储单元用当前图像块更新背景图像中对应背景块;否则,控制所述候选背景图像存储单元用当前图像块更新候选背景图像中对应候选块,并通知给所述判断子单元;

所述判断子单元,用于接收所述第一控制子单元、第二控制子单元或第三控制子单元发送的通知,判断是否存在后续图像块或图像帧;若存在,通知所述第一控制子单元进行后续图像块或图像帧的处理;否则,将所述背景图像存储单元中存储的当前背景图像作为所述运动图像的背景图像。

9.如权利要求8所述的装置,其特征在于,还包括:

命中计数单元,用于记录与存储候选背景图像中候选块的命中计数值;包括:

接收所述第二控制子单元发送的通知,将当前候选块的命中计数值置为0;所述第二控制子单元在控制所述候选背景图像存储单元将所述候选背景图像中对应候选块置空后发送所述通知;

接收所述第三控制子单元发送的通知,将当前候选块的命中计数值置为1;所述第三控制子单元在控制所述候选背景图像存储单元用当前图像块更新候选背景图像中对应候选块后发送所述通知;

还用于接收所述第三控制子单元在判定所述第三匹配度大于所述第三阈值时输出的命中计数值加1指令,将当前候选块的命中计数值加1后发送给所述第三控制子单元;

所述第三控制子单元判断所述命中计数值是否大于预先设定的第四阈值,如果是,控制所述背景图像存储单元用当前图像块更新背景图像中对应背景块;否则,通知所述判断子单元。

10.如权利要求8或9所述的装置,其特征在于,还包括:

平滑度分析单元,用于接收所述第三控制子单元在所述第三匹配度大于所述第三阈值或所述命中计数值大于所述第四阈值时发送的通知,对当前图像块在背景图像中进行平滑度分析,并将分析结果输出给所述第三控制子单元;

所述第三控制子单元接收所述平滑度分析结果,如果所述平滑度分析结果为当前图像块边界平滑,控制所述背景图像存储单元用当前图像块更新对应的背景块,否则,通知所述判断子单元。

11.如权利要求10所述的装置,其特征在于,所述平滑度分析单元和所述命中计数单元设置于所述控制单元中或设置于所述控制单元外。

说明书 :

技术领域

本发明涉及图像处理,尤其涉及一种从运动图像中提取背景图像的实现方法及装置。

背景技术

随着半导体技术的日益发展,摄像机和摄像头被广泛应用于工业、军事以及人们的日常生活中。例如,银行的监控摄像头、交通道路的监控摄像头以及用于网络视频聊天的USB摄像头等。很多情况下,在拍摄过程中,摄像头是固定的,这也就意味着摄像头拍摄的画面中的背景区域是固定不变的。
提取运动图像的背景图像有很多的应用价值,例如,在银行监控摄像系统中,可以利用背景差法检测到非法进入的人员;在道路监控摄像系统中,可以利用背景差法检测到不遵守交通规则的车辆;在网络视频聊天的应用中,提取背景后,视频输出方不需要重复传输固定不变的背景图像信息,只需要传输运动变化的前景图像信息,视频接收方将收到的背景图像和前景图像组合就可以得到完整的视频图像,从而有效地降低对网络带宽的需求。
现有技术中,使用运动估计方法来提高运动图像的编码效率,并进行背景图像检测,最常用的一种方法是块匹配法。块匹配法的基本思想是将运动图像序列的每一帧分成许多互不重叠的图像块,并认为图像块内所有像素的位移量都相同,然后对每个图像块到参考帧某一特定搜索范围内根据一定的匹配准则找出与当前图像块最匹配的图像块,即匹配块,匹配块与当前图像块的相对位移即为运动矢量。视频压缩的时候,只需保存运动矢量和残差数据就可以完全恢复出当前图像块。
实际物体的运动是十分复杂的三维运动,既有平动,又有转动,如果再考虑到物体的非刚性和运动中光照的变化,将使运动模型的建立和运动参量的估计十分复杂。在视频图像编码中,由于实时运算的要求,在目前所采用的运动估计算法仅考虑物体运动在视频画面内的平动总值。
现有技术中,还没有一种简单有效的方法实现从运行图像中提取背景图像。

发明内容

本发明实施例提供一种从运动图像中提取背景图像的实现方法及装置,简单有效地实现从运行图像中提取背景图像。
一种从运动图像中提取背景图像的实现方法,包括:
A、将运动图像的任一帧图像设置为初始背景图像;
B、将运动图像的当前帧图像分为若干个图像块,并按顺序选定当前图像块;
C、计算所述当前图像块与背景图像中相同位置的背景块的第一匹配度,如果第一匹配度大于设定的第一阈值,继续下列步骤;
D、判断本帧是否存在下一个图像块,如果存在,将下一个图像块设为当前图像块并返回步骤C;否则,继续下列步骤;
E、判断是否存在下一帧图像,如果存在,将下一帧图像作为当前帧图像,并返回步骤B,否则,将当前背景图像作为所述运动图像的背景图像。
一种从运动图像中提取背景图像的实现装置,包括:控制单元、背景图像存储单元、候选背景图像存储单元、帧图像存储单元、运动估计单元和匹配度计算单元,其中:
所述控制单元,用于将运动图像的任一帧图像设置为初始背景图像,存储到所述背景图像存储单元,将所述候选背景图像存储单元中存储的候选背景图像初始化为空;从所述帧图像存储单元中获取运动图像的当前帧图像,分为若干个图像块,并按顺序选定当前图像块;控制所述匹配度计算单元计算当前图像块与背景图像中相同位置的背景块的匹配度,接收所述匹配度计算单元返回的匹配结果,控制所述背景图像存储单元用当前图像块更新背景图像中相同位置的背景块,或者控制所述候选背景图像存储单元将当前图像块设定为候选背景图像中相同位置的候选块;或者继续获取下一个图像块进行处理;
所述背景图像存储单元,用于存储背景图像;
所述候选背景图像存储单元,用于存储候选背景图像;
所述帧图像存储单元,用于存储运动图像中当前帧图像与前一帧图像;
匹配度计算单元,用于计算所述图像块之间的匹配度,并向所述控制单元输出匹配结果;
还包括;
运动估计单元,用于对当前图像块在前一帧图像中进行运动估计,找到匹配块,并将找到的匹配块输出给所述匹配度计算单元;
所述控制单元还用于控制所述运动估计单元对当前图像块进行运行估计;控制所述匹配度计算单元计算当前图像块与运动估计中找到的匹配块或与候选背景图像中相同位置的候选块的匹配度;
所述控制单元包括:第一控制子单元、第二控制子单元、第三控制子单元和判断子单元,其中,
所述第一控制子单元,用于获取当前图像块与背景块的图像信息,将当前图像块与背景块的图像信息输出给所述匹配度计算单元进行第一匹配度的计算;接收所述匹配度计算单元返回的第一匹配度计算结果值,并与设定的第一阈值进行比较,如果第一匹配度大于设定的第一阈值,则通知给所述判断子单元;否则,将获取的当前图像块的图像信息发送给所述第二控制子单元;
所述第二控制子单元,用于接收所述第一控制子单元发送的当前图像块的图像信息,并发送给所述运动估计单元,并指示所述运动估计单元对当前图像块在前一帧图像中进行运动估计;还指示所述匹配度计算单元计算出运行估计中找到的匹配块与当前图像块之间的第二匹配度;接收所述匹配度计算单元返回的第二匹配度计算结果值,并与设定的第二阈值进行比较,如果第二匹配度大于设定的第二阈值,则控制所述候选背景图像存储单元将所述候选背景图像中对应候选块置空,并通知给所述判断子单元;否则,将当前图像块的图像信息发送给所述第三控制子单元;
所述第三控制子单元,用于接收所述第二控制子单元发送的当前图像块的图像信息,并获取候选背景图像中对应候选块,将候选块图像信息发送给所述匹配度计算单元,并指示所述匹配度计算单元计算所述当前图像块和候选块之间的第三匹配度;并接收所述匹配度计算单元返回的第三匹配度计算结果值,与设定的第三阈值进行比较,如果第三匹配度大于设定的第三阈值,控制所述背景图像存储单元用当前图像块更新背景图像中对应背景块;否则,控制所述候选背景图像存储单元用当前图像块更新候选背景图像中对应候选块,并通知给所述判断子单元;
所述判断子单元,用于接收所述第一控制子单元、第二控制子单元或第三控制子单元发送的通知,判断是否存在后续图像块或图像帧;若存在,通知所述第一控制子单元进行后续图像块或图像帧的处理;否则,将所述背景图像存储单元中存储的当前背景图像作为所述运动图像的背景图像。
本发明实施例首先将运动图像的任一帧图像设置为当前背景图像,同时将候选背景图像置空;将运动图像的当前帧图像分为若干图像块,比较当前图像块与背景图像中背景块的匹配度;当前图像块与当前背景图像中背景块的匹配度较低时,以前一帧图像为参考图像,与当前图像块进行运动估计,找到与当前图像块最匹配的匹配块,计算当前图像块与匹配块的匹配度;当前图像块与匹配块匹配度较低时,计算当前图像块与候选背景图像中候选块的匹配度,如果匹配度较高,用当前图像块更新背景图像中背景块并进行下一个图像块的处理,否则,不对背景图像中的背景块进行更新;处理完一帧图像的所有图像块之后,进行下一帧图像的处理,循环直至运动图像的最后一帧处理完成。本发明实施例解决了现有技术中无法有效提取运动图像背景图像的问题。

附图说明

图1为本发明实施例逐帧扫描的主要实现原理流程图;
图2为本发明实施例提供的逐图像块处理过程流程图;
图3为本发明实施例提供的装置结构示意图;
图4为本发明较佳实施例一提供的装置结构示意图;
图5为本发明较佳实施例二提供的装置结构示意图。

具体实施方式

本发明的核心思想在于:通过设置运动图像的背景图像与候选背景图像,对运动图像进行逐帧图像与候选背景图像的比较处理,尤其是对运动图像中每一帧图像进行逐图像块与背景图像中相应的背景块之间的比较处理,对背景图像进行不断的更新,从而实现从运动图像中提取背景图像。
本发明的核心技术方案包括:
将运动图像的任一帧图像设置为初始背景图像,将候选背景图像初始化为空;将运动图像的当前帧图像分为图像块,并按顺序选定当前图像块;计算当前图像块与背景图像中相同位置的背景块的第一匹配度,如果第一匹配度大于设定的第一阈值;判断本帧是否存在下一个图像块,如果存在,将下一个图像块设为当前图像块,并返回重新计算第一匹配度;否则,判断是否存在下一帧图像,如果存在,将下一帧图像作为当前帧图像,并进行下一帧的处理,否则,将当前背景图像作为运动图像的背景图像。
本发明提供如下具体实施例对本发明技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。
本发明实施例中,首先将运动图像的任一帧图像设置为当前背景图像,同时将候选背景图像初始化为空;将运动图像的当前帧图像分为若干图像块,计算当前图像块与背景图像中相同位置的对应背景块的第一匹配度;当前图像块与背景图像中背景块的第一匹配度较低时,以前一帧图像为参考图像,与当前图像块进行运动估计,找到与当前图像块最匹配的匹配块,计算当前图像块与匹配块的第二匹配度;当前图像块与匹配块第二匹配度较低时,再计算当前图像块与候选背景图像中相同位置的对应候选块的第三匹配度,如果第三匹配度较高,用当前图像块更新背景图像中对应背景块并进行下一个图像块的处理,否则,不对背景图像中的对应背景块进行更新,直接进入下一个图像块的处理;处理完一帧图像的所有图像块之后,进行下一帧图像的处理,循环直至运动图像的最后一帧处理完毕。
本发明实施例中,背景图像中与当前图像块相同位置的块称为对应的背景块,候选背景图像中与当前图像块相同位置的块称为对应的候选块。
本发明实施例中,求取两个图像块之间匹配度的方法采用绝对误差累加值法(SAD,Sum of the Absolute Difference),也可以采用其它的计算图像块之间匹配度的方法。SAD值根据如下公式计算:
SAD=Σm=1MΣn=1N|Sk(m,n)-Sl(p,q)|
式中,m,n分别为图像块的宽和高,Sk(m,n)为第k帧(m,n)处的像素灰度值,Sl(p,q)为第l帧(p,q)处的像素灰度值,SAD为两个图像块的匹配程度,SAD的值越小,表示两个图像块之间的匹配程度越大。
本发明实施例中,运动估计的方法采用块匹配法等现有技术中公知的快速运动估计方法,包括但不限于三步法、四步法、菱形算法、二维对数法等快速运动估计算法,具体算法此处不再赘述。
本发明实施例中,图像块的大小没有具体的限定,根据实际运动图像的大小设定,一般取4×4像素到32×32像素之间。逐图像块扫描处理的顺序可以是栅格扫描的顺序,也可以是其它逐图像块处理的顺序。
特别的,本发明实施例为候选背景图像中每个候选块设置命中计数值,用于表示该候选块与运动图像中每个帧的相应图像块的匹配度比较中,累计匹配度较高的次数。也就是说,命中计数值越大,该候选块在运动图像中所有的帧的对应位置出现的概率越大,该候选块也就越有可能为运动图像的背景图像的一部分。
本发明实施例设置一个命中计数值的第四阈值,比较候选背景图像中候选块的命中计数值与该第四阈值的大小,如果候选背景图像中候选块的命中计数值大于该第四阈值,说明与该候选块匹配度较高的图像块已经在运动图像各个帧中累计出现多次,判定该图像块为背景图像相应的背景图像块;否则,将该图像块置为候选背景图像相应候选块。
特别的,本发明实施例在判定运动图像的背景图像相应的图像块之后,进一步对该图像块进行平滑度分析。平滑度分析的方法可以采用Sobel算法。Sobel边缘检测算子使用两个如下有向算子(一个水平的,一个是垂直的):
-101-202-101-1-2-1000121
每一个逼近一个偏导数:
Dxf(x,y)={f(x+1,y-1)+2f(x+1,y)+f(x+1,y+1)}-{f(x-1,y-1)+2f(x-1,y)+f(x-1,y+1)}
Dyf(x,y)={f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1)}-{f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)}
其中,(x,y)表示一个边界点。如果用Sobel算子检测图像F的边缘的话,可以先分别用水平算子和垂直算子对图像进行卷积,得到两个矩阵,在不考虑边界的情形下也是和原图像同样大小的图像F1、F2,分别表示图像F中相同位置处的两个偏导数。然后把F1、F2对应位置的两个数平方后相加得到一个新的矩阵G,G表示F中各个像素灰度的梯度值(一个逼近)。这样,适当的选取一个比较门限阈值,就可以通过阀值处理得到边缘图像。
本发明实施例中,对当前图像块左边界和上边界的每个像素点分别采用垂直sobel算子和水平sobel算子进行矩阵运算,并将每个像素点上的计算结果进行累加,若累加值小于一个预先设定的第五阈值,则说明当前图像块在背景图像中是平滑的,用当前图像块作为背景图像的背景块;否则,说明当前图像块在背景图像中不平滑,不能用当前图像块作为背景图像的背景块。
下面结合各个附图对本发明实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。
如图1所示,本发明实施例逐帧扫描的主要实现原理流程如下:
步骤10,将运动图像的第一帧图像设置为初始背景图像。
特别的,初始背景图像也可以根据运动图像的任一帧设定,或通过其它的方式来设定运动图像的初始背景图像。
步骤20,将候选背景图像初始化为空。
步骤30,判断运动图像是否存在后续帧,如果存在后续帧,执行步骤40;否则,执行步骤50。
步骤40,将后续该帧分为若干个图像块,对每个图像块进行处理,并相应更新背景图像中相应的背景块,具体的对每个图像块的处理过程如图2所示,此处不多赘述。
特别的,在完成该帧的逐图像块处理后,需要返回执行步骤30,重新判断运动图像是否存在后续帧,并进行后续操作。
步骤50,在判断运动图像没有后续帧以后,将得到的背景图像作为运动图像的背景图像,流程结束。
相应的,如图2所示,为本发明实施例提供的逐图像块处理过程流程图,具体如下:
步骤401,将当前图像分为若干个图像块,并按照一定顺序逐图像块进行处理。首先将第一块作为当前图像块。
步骤402,对当前图像块和背景图像中位置相对应背景块求取SAD,若SAD值小于第一阈值T1,则执行步骤409,否则,执行步骤403。
第一阈值T1是一个预先设定的经验数值,根据图像块之间的匹配度对提取运动图像背景图像的准确率影响而设定,并可以随时根据需要而调整。
步骤403,以前一帧图像为参考图像,对当前图像块进行运动估计,从参考帧图像中搜索到与当前图像块最匹配的图像块,求取该图像块和当前图像块之间的SAD值。
如该值小于第二阈值T2,说明当前图像块与上一帧图像中搜索得到的图像块匹配度很高,则执行步骤408;否则,执行步骤404。
第二阈值T2是一个预先设定的经验数值,根据图像块之间的匹配度对提取运动图像背景图像的准确率影响而设定,并可以随时根据需要而调整。
步骤404,将当前图像块与候选背景图像中候选块求取SAD,如果SAD值小于T3,说明当前图像块与候选背景图像中候选块之间匹配度很高,则执行步骤405;否则,执行步骤410。
第三阈值T3是一个预先设定的经验数值,根据图像块之间的匹配度对提取运动图像背景图像的准确率影响而设定,并可以随时根据需要而调整。
步骤405,将候选背景图像中相应的候选块的命中计数值加1,比较块的命中计数值是否大于T4。如果候选块的命中计数值大于T4,执行步骤406;否则,执行步骤409。
第四阈值T4是一个预先设定经验数值,根据候选背景图像相应候选块的命中计数值对运动图像背景图像提取的影响而设定,并可以随时根据需要而调整。
步骤406,分析当前图像块在背景图像中的平滑性,如果平滑性较高,平滑度较好,执行步骤407;否则,执行步骤408。
本发明实施例中,对当前图像块左边界和上边界的每个像素点分别采用相应的sobel算子进行矩阵运算,并将每个像素点上的计算结果进行累加,若累加值小于第五阈值T5,则说明当前图像块在背景图像中是平滑的;否则,说明当前图像块在背景图像中不平滑。
步骤407,用当前图像块更新背景图像中的背景块。
步骤408,将当前图像块在候选背景图像中的对应位置,也就是候选块置为空,并将命中计数值设置为0。
步骤409,完成当前图像块的操作,判断当前帧图像是否存在下一个图像块,如果存在下一个图像块,返回执行步骤402,开始下一个图像块的分析操作;否则,执行步骤411。
步骤410,将当前图像块设定为候选背景图像中对应位置的候选块,将命中计数值设为1,并执行步骤409。
步骤411,在所有图像块均处理完成后,完成本帧图像的处理。
相应地,本发明实施例还提供了一种从运动图像中提取背景图像的实现装置,如图3所示,该装置包括背景图像存储单元100、候选背景图像存储单元200、帧图像存储单元300、运动估计单元400、匹配度计算单元500和控制单元600,具体如下:
背景图像存储单元100,用于存储背景图像。
候选背景图像存储单元200,用于存储候选背景图像。
帧图像存储单元300,用于存储运动图像中当前帧图像与前一帧图像。
运动估计单元400,用于对当前图像块在前一帧图像中进行运动估计,找到匹配块,并将匹配块输出给匹配度计算单元500。
匹配度计算单元500,用于计算两个图像块之间的匹配度,根据控制单元600的输出消息,对接收到的图像块计算匹配度值,并将匹配结果输出给控制单元600。
特别的,本发明实施例所采用的匹配度计算方法可以但不限于SAD法。
控制单元600,用于将运动图像的任一帧图像设置为初始背景图像,存储到背景图像存储单元100,将候选背景图像存储单元200中存储的候选背景图像初始化为空;
从帧图像存储单元300中获取运动图像的当前帧图像,分为若干图像块,并按顺序选定当前图像块;
控制运动估计单元400对当前图像块进行运行估计;控制匹配度计算单元500计算当前图像块与背景图像中相同位置的背景块、运动估计中找到的匹配块或与候选背景图像中相同位置的候选块的匹配度;
接收匹配度计算单元返回的匹配结果,根据匹配结果控制背景图像存储单元100用当前图像块更新背景图像中相同位置的背景块,或者控制候选背景图像存储单元200将当前图像块设定为候选背景图像中相同位置的候选块;或者继续获取下一个图像块进行处理。
特别的,如图3所示,控制单元600包括:第一控制子单元6001、第二控制子单元6002、第三控制子单元6003和判断子单元6004。其中,
第一控制子单元6001,用于获取当前图像块与背景块的图像信息,将当前图像块与背景块的图像信息输出给匹配度计算单元500;
相应的,匹配度计算单元500根据接收到的当前图像块与背景块的图像信息,计算当前图像块与背景块之间的第一匹配度,并将第一匹配度计算结果输出给第一控制子单元6001;
第一控制子单元6001将第一匹配度与第一阈值T1比较,如果第一匹配度大于设定的第一阈值T1,向判断子单元6004发送通知消息;否则,向第二控制子单元6002输出当前图像块的图像信息。
第二控制子单元6002,用于根据第一控制子单元6001输出的当前图像块的图像信息,向运动估计单元400输出当前图像块的图像信息;
相应的,运动估计单元400根据接收到的当前图像块的图像信息,从帧图像存储单元300获取前一帧图像,并对当前图像块在前一帧图像中进行运动估计,找到当前图像块的匹配块,将匹配块和当前图像块输出给匹配度计算单元500;
相应的,匹配度计算单元500根据接收到的当前图像块与匹配块的图像信息,计算当前图像块与匹配块之间的第二匹配度,并将第二匹配度计算结果输出给第二控制子单元6002;
第二控制子单元6002将第二匹配度与第二阈值T2比较,如果第二匹配度大于设定的第二阈值T2,控制候选背景图像存储单元200将候选背景图像中对应候选块置空,并向判断子单元6004发送通知消息;否则,向第三控制子单元6003输出当前图像块的图像信息。
第三控制单元6003,用于根据第二控制子单元6003输出的控制消息,获取候选块的图像信息,并将候选块与当前图像块的图像信息输出给匹配度计算单元500;
相应的,匹配度计算单元500计算出当前图像块与候选块之间的第三匹配度,并将第三匹配度输出给第三控制子单元6003;
第三控制子单元6003比较第三匹配度的值和预先设定的第三阈值T3的大小,如果第三匹配度大于设定的第三阈值T3,向背景图像存储单元100输出背景更新消息,用当前图像块更新背景图像中与当前图像块相同位置的背景块,相应的,背景图像存储单元100根据接收到的背景更新消息更新对应图像块。否则,控制候选背景图像存储单元200用当前图像块更新候选背景图像中对应候选块;并向判断子单元6004发送通知信息。
判断子单元6004,用于接收第一控制子单元、第二控制子单元或第三控制子单元发送的通知消息,判断本帧图像是否存在后续图像块,如果存在后续图像块,通知第一控制子单元6001进行后续图像块的处理;否则,判断运动图像是否存在其它图像帧,如果存在其它图像帧,通知第一控制子单元6001进行其它帧图像的处理,否则,通知将背景图像存储单元100将存储的背景图像作为运动图像的背景图像。
较佳地,上述的装置进一步还包括命中计数单元700,如图4所示,其中,
命中计数单元700,用于记录与存储候选背景图像中相应候选块的命中计数值;
还用于接收第二控制子单元6002在控制候选背景图像存储单元200将候选背景图像中对应候选块置空后发送的通知,将当前候选块的命中计数值置为0;
还用于接收第三控制子单元6003在控制候选背景图像存储单元200用当前图像块更新候选背景图像中对应候选块后发送的通知,将当前候选块的命中计数值置为1;
还用于接收第三控制子单元6003在判定第三匹配度大于第三阈值T3时输出的命中计数值加1指令,将命中计数值加1后发送给第三控制子单元6003;
相应的,第三控制子单元6003判断命中计数值是否大于预先设定的第四阈值T4,如果是,控制背景图像存储单元100用当前图像块更新背景图像中对应背景块;否则,通知判断子单元6004。
较佳地,如图3所述的系统进一步还包括平滑度分析单元800,如图5所示,其中,
平滑度分析单元800,用于接收第三控制子单元6003在第三匹配度大于第三阈值T3时发送的通知,对当前图像块在背景图像中进行平滑度分析,并将分析结果输出给第三控制子单元6003;
相应的,所述第三控制子单元6003接收平滑度分析结果,如果平滑度分析结果为当前图像块边界平滑,控制背景图像存储单元100用当前图像块更新对应的背景块,否则,通知判断子单元6004。
较佳地,基于图3所示的装置,图4与图5中附加的辅助单元可以相互结合,得到功能更为全面的对运动图像提取背景图像的实现装置。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。