一种运动检测方法及装置转让专利

申请号 : CN200710178409.2

文献号 : CN100593335C

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 王磊黄英

申请人 : 北京中星微电子有限公司

摘要 :

本发明提供了一种运动检测方法及装置,分别根据当前输入图像与当前背景图像获取背景差分图像,根据所述当前输入图像与所述当前输入图像的前一帧输入图像获取帧间差分图像;通过将所述背景差分图像和所述帧间差分图像进行逻辑与处理获取运动图像。由于背景差分图像中包括了当前输入图像中与背景图像相区别的前景信息,而帧间差分图像中包括了当前输入图像中发生运动的信息,因此将两部分信息结合起来,能够获得运动的前景信息。

权利要求 :

1、一种运动检测方法,其特征在于,该方法包括:

a、通过将当前输入图像与当前背景图像相减获得所述当前输入图像的背景 差分图像,并通过将当前输入图像与所述当前输入图像的前一帧输入图像相减 获得所述当前输入图像的帧间差分图像;

b、对相减后获得的背景差分图像和帧间差分图像进行二值化处理;

c、对二值化处理后的背景差分图像和帧间差分图像进行形态学滤波处理;

d、通过将形态学滤波处理处理后的背景差分图像和帧间差分图像进行逻辑 与处理获取运动图像;

e、对获取的运动图像进行形态学滤波处理,输出形态学滤波处理后的运动 图像;

f、在当前输出的运动图像中确定运动前景区域;在当前输入图像中确定非 替换区域,所述非替换区域在所述当前输入图像中的位置与所述运动前景区域 在所述当前输出的运动图像中的位置相同;用当前输入图像中非替换区域以外 的区域替换当前背景图像中相对应的区域,将替换后生成的背景图像作为当前 背景图像;

g、将当前检测到的运动目标与预先建立的数据库中的运动目标进行相 似度比较,并具体包括:

g1、计算相似度其中,当前检测到的运动区域为 {Ai}i=1M,数据库中的运动目标为{Bj}j=1N,Ai的区域直方图图像特征分别为 Bj的区域直方图图像特征分别为 i=1,2,…,M,j=1,2,…,N,M为运动区域的数量,N为运动目标的数量,H 为直方图的区间数;

g2、求出所有相似度中的最大值 d ( A x , B x ) = max ( { d ( A i , B j ) } i = 1,2 , · · · , M j = 1,2 , · · · , N ) , 以实现Ax 和By的匹配,x和y分别为d(Ai,Bj)最大时对应的i和j;

g3、用所述检测到的运动区域Ax的信息替换数据库中所述与之匹配的运 动目标By的信息,并在当前检测到的运动区域为{Ai}i=1M和数据库中的运动目 标为{Bj}j=1N中分别除去Ax和By,并返回步骤g1,直至没有当前检测到的运动 区域或者数据库中的运动目标剩余;

h、对步骤g获得的目标跟踪后图像进行后续分析,在分析结果为情况 异常时进行报警,同时将步骤g目标跟踪后得到的图像通过视频编码方法进 行视频编码、输出编码后的图像。

2、根据权利要求1所述的方法,其特征在于,步骤d所述逻辑与处理包括: 将背景差分图像中的前景区域与帧间差分图像中发生运动的区域重合的区域确 定为运动的前景区域。

3、根据权利要求1或2所述的方法,其特征在于,步骤h所述后续分析包 括:周边入侵分析、移走物体检测、人群密度分析。

4、根据权利要求3所述的方法,其特征在于,周边入侵分析包括:如果步 骤g获得的任一运动目标位于用户通过人机交互界面预先指定的任意禁止区域 之中,则认为发生了周边入侵行为、并执行报警。

5、一种运动检测装置,其特征在于,该装置包括:

第一模块,通过将当前输入图像与当前背景图像相减获得所述当前输入图 像的背景差分图像,并通过将当前输入图像与所述当前输入图像的前一帧输入 图像相减获得所述当前输入图像的帧间差分图像;

第二模块,对相减后获得的背景差分图像和帧间差分图像进行二值化处理;

第三模块,对二值化处理后的背景差分图像和帧间差分图像进行形态学滤 波处理;

第四模块,通过将形态学滤波处理处理后的背景差分图像和帧间差分图像 进行逻辑与处理获取运动图像;

第五模块,对获取的运动图像进行形态学滤波处理,输出形态学滤波处理 后的运动图像;

第六模块,在当前输出的运动图像中确定运动前景区域;在当前输入图像 中确定非替换区域,所述非替换区域在所述当前输入图像中的位置与所述运动 前景区域在所述当前输出的运动图像中的位置相同;用当前输入图像中非替换 区域以外的区域替换当前背景图像中相对应的区域,将替换后生成的背景图像 作为当前背景图像;

第七模块,将当前检测到的运动目标与预先建立的数据库中的运动目标 进行相似度比较,且第七模块的具体操作过程包括:

计算相似度其中,当前检测到的运动区域为 {Ai}i=1M,数据库中的运动目标为{Bj}j=1N,Ai的区域直方图图像特征分别为 Bj的区域直方图图像特征分别为 i=1,2,…,M,j=1,2,…,N,M为运动区域的数量,N为运动目标的数量,H 为直方图的区间数;

求出所有相似度中的最大值 d ( A x , B x ) = max ( { d ( A i , B j ) } i = 1,2 , · · · , M j = 1,2 , · · · , N ) , 以实现Ax和 By的匹配,x和y分别为d(Ai,Bj)最大时对应的i和j;

用所述检测到的运动区域Ax的信息替换数据库中所述与之匹配的运动 目标By的信息,并在当前检测到的运动区域为{Ai}i=1M和数据库中的运动目标 为{Bj}j=1N中分别除去Ax和By,并返回执行所述计算相似度 直至没有当前检测到的运动区域或者数据库中的运动 目标剩余;

第八模块,对第七模块获得的目标跟踪后图像进行后续分析,在分析结 果为情况异常时进行报警,同时将第七模块目标跟踪后得到的图像通过视频 编码方法进行视频编码、输出编码后的图像。

说明书 :

技术领域

本发明涉及智能监控技术,特别涉及一种运动检测方法及装置。

背景技术

智能视频监控是基于计算机视觉技术对监控场景内的视频图像进行后 续分析,提取场景中的关键信息,并形成相应事件和告警的监控方式,在公 共安全保护、交通管理等方面有着极其广泛的应用。
通常情况下,智能监控系统的结构如图1所示:现有技术中一般的智能 监控系统包括:视频采集装置101和中心控制装置102。视频采集装置101 用于连续采集视频图像,将采集到的视频图像作为输入图像发送至中心控制 装置102;中心控制装置102用于接收来自视频采集装置101的输入图像, 可以根据需要对接收到的输入图像进行运动检测、目标跟踪和后续处理等。 目前广泛采用的运动检测方法如图2所示:
步骤201:将当前输入图像与当前背景图像相减,获得所述当前输入图 像与所述当前背景图像的背景差分图像。
本步骤中,通过将当前输入图像与当前背景图像相减,可以使当前输入 图像中与当前背景图像相近的区域的像素值更小,而与当前背景图像不同的 区域的像素值更大。
步骤202:将步骤201获得的背景差分图像进行二值化处理。
二值化处理的方法有很多种,例如,可以预先设定一个阈值,背景差分 图像中高于这个阈值的区域设置为1,低于这个阈值的区域则设置为0,这 样,背景差分图像经过二值化处理就变成了一个只有1和0两个值的二值图 像,图像中值为1的点是当前输入图像中与当前背景图像差值高于阈值的 点,值为0的点为当前输入图像中与当前背景图像差值低于阈值的点。由此, 就将当前图像中与背景图像差别大于预先设定阈值的区域被认为是前景而 凸现出来,而低于预先设定阈值的区域被认为是背景而置为0了。
步骤203:对步骤202进行二值化处理后的背景差分图像进行形态学滤 波处理,将形态学滤波处理后的背景差分图像作为当前输出的运动图像输 出。
所述的形态学滤波处理是指:使用数学形态学方法,比如膨胀运算、腐 蚀运算、开运算、关运算等,填充空洞区域,去除面积较小的孤立区域、非 连通区域,只保留连通区域的面积大于给定阈值的连通区域。
步骤204:根据步骤203生成的当前输出的运动图像和当前输入图像更 新当前背景图像。
通常采用的更新当前背景图像的方法包括:在当前输出的运动图像中确 定经过二值化处理而凸现出的前景区域;在当前输入图像中确定非替换区 域,所述非替换区域在所述当前输入图像中的位置与所述前景区域在所述当 前输出的运动图像中的位置相同;用当前输入图像中非替换区域以外的区域 替换当前背景图像中相对应的区域,将替换后生成的图像作为当前背景图 像。
举例来说,如图3所示:
当前输出的运动图像301中,区域3011为经过二值化处理而凸现出来 的前景区域,也就是经过二值化处理为1的前景区域,区域3011以外的区 域,也就是区域3012,为经过二值化处理而置为0的背景区域。
在当前输入图像302中,对应当前输出的运动图像301,确定与区域3011 坐标相同的区域3021,将区域3021作为非替换区域。
相应的,在当前背景图像303中,确定出对应的区域3031和区域3032。
这样,区域3011在当前输出的运动图像301中的位置、区域3021在 当前输入图像302中的位置以及区域3031在当前背景图像303中的位置是 相同的,当然,区域3012在当前输出的运动图像301中的位置、区域3022 在当前输入图像302中的位置以及区域3032在当前背景图像303中的位置 也是相同的。
用区域3022来替换当前背景图像中的区域3032,将替换后生成的图像 304作为当前背景图像。这样,当前背景图像304就由区域3031和区域3022 组成。实现了背景的更新。
由此可见,现有技术中仅采用背景差分图像作为运动检测的结果,而背 景差分图像中只包括当前输入图像的前景信息,也就是说,背景差分图像只 能把当前输入图像中与背景图像差别大于预先设定阈值的区域作为前景凸 现出来。由此可见,仅采用背景差分图像作为运动检测结果,不能够将运动 的前景区域凸现出来,也就是说,单纯从背景差分图像中不能获得运动的前 景信息。

发明内容

本发明实施例提供一种运动检测方法,能够提供运动的前景信息。
本发明实施例提供一种运动检测装置,能够提供运动的前景信息。
为实现第一个发明目的,本发明实施例提供的技术方案为:
一种运动检测方法,该方法包括:
a、通过将当前输入图像与当前背景图像相减获得所述当前输入图像的背景 差分图像,并通过将当前输入图像与所述当前输入图像的前一帧输入图像相减 获得所述当前输入图像的帧间差分图像;
b、对相减后获得的背景差分图像和帧间差分图像进行二值化处理;
c、对二值化处理后的背景差分图像和帧间差分图像进行形态学滤波处理;
d、通过将形态学滤波处理处理后的背景差分图像和帧间差分图像进行逻辑 与处理获取运动图像;
e、对获取的运动图像进行形态学滤波处理,输出形态学滤波处理后的运动 图像;
f、在当前输出的运动图像中确定运动前景区域;在当前输入图像中确定非 替换区域,所述非替换区域在所述当前输入图像中的位置与所述运动前景区域 在所述当前输出的运动图像中的位置相同;用当前输入图像中非替换区域以外 的区域替换当前背景图像中相对应的区域,将替换后生成的背景图像作为当前 背景图像;
g、将当前检测到的运动目标与预先建立的数据库中的运动目标进行相 似度比较,并具体包括:
g1、计算相似度其中,当前检测到的运动区域为 {A i}i=1M,数据库中的运动目标为{Bj}j=1N,Ai的区域直方图图像特征分别为 Bj的区域直方图图像特征分别为 i=1,2,...,M,j=1,2,...,N,M为运动区域的数量,N为运动目标的数量,H 为直方图的区间数;
g2、求出所有相似度中的最大值以实现Ax 和By的匹配,x和y分别为d(Ai,Bj)最大时对应的i和j;
g3、用所述检测到的运动区域Ax的信息替换数据库中所述与之匹配的运 动目标By的信息,并在当前检测到的运动区域为{Ai}i=1M和数据库中的运动目 标为{Bj}j=1N中分别除去Ax和By,并返回步骤g1,直至没有当前检测到的运动 区域或者数据库中的运动目标剩余;
h、对步骤g获得的目标跟踪后图像进行后续分析,在分析结果为情况 异常时进行报警,同时将步骤g目标跟踪后得到的图像通过视频编码方法进 行视频编码、输出编码后的图像。
步骤d所述逻辑与处理包括:将背景差分图像中的前景区域与帧间差分图 像中发生运动的区域重合的区域确定为运动的前景区域。
步骤h所述后续分析包括:周边入侵分析、移走物体检测、人群密度分析。
周边入侵分析包括:如果步骤g获得的任一运动目标位于用户通过人机交 互界面预先指定的任意禁止区域之中,则认为发生了周边入侵行为、并执行报 警。
为实现第二个发明目的,本发明实施例提供的技术方案为:
一种运动检测装置,该装置包括:差分模块和运动提取模块;
第一模块,通过将当前输入图像与当前背景图像相减获得所述当前输入图 像的背景差分图像,并通过将当前输入图像与所述当前输入图像的前一帧输入 图像相减获得所述当前输入图像的帧间差分图像;
第二模块,对相减后获得的背景差分图像和帧间差分图像进行二值化处理;
第三模块,对二值化处理后的背景差分图像和帧间差分图像进行形态学滤 波处理;
第四模块,通过将形态学滤波处理处理后的背景差分图像和帧间差分图像 进行逻辑与处理获取运动图像;
第五模块,对获取的运动图像进行形态学滤波处理,输出形态学滤波处理 后的运动图像;
第六模块,在当前输出的运动图像中确定运动前景区域;在当前输入图像 中确定非替换区域,所述非替换区域在所述当前输入图像中的位置与所述运动 前景区域在所述当前输出的运动图像中的位置相同;用当前输入图像中非替换 区域以外的区域替换当前背景图像中相对应的区域,将替换后生成的背景图像 作为当前背景图像;
第七模块,将当前检测到的运动目标与预先建立的数据库中的运动目标 进行相似度比较,且第七模块的具体操作过程包括:
计算相似度其中,当前检测到的运动区域为 { Ai}i=1M,数据库中的运动目标为{Bj}j=1N,Ai的区域直方图图像特征分别为 Bj的区域直方图图像特征分别为 i=1,2,...,M,j=1,2,...,N,M为运动区域的数量,N为运动目标的数量,H 为直方图的区间数;
求出所有相似度中的最大值以实现Ax和 By的匹配,x和y分别为d(Ai,Bj)最大时对应的i和j;
用所述检测到的运动区域Ax的信息替换数据库中所述与之匹配的运动 目标By的信息,并在当前检测到的运动区域为{Ai}i=1M和数据库中的运动目标 为{Bj}j=1N中分别除去Ax和By,并返回执行所述计算相似度 直至没有当前检测到的运动区域或者数据库中的运动 目标剩余;
第八模块,对第七模块获得的目标跟踪后图像进行后续分析,在分析结 果为情况异常时进行报警,同时将第七模块目标跟踪后得到的图像通过视频 编码方法进行视频编码、输出编码后的图像。
由以上内容可以看出,本发明实施例提供的运动检测方法、装置,将现有 的背景差分图像与帧间差分图像结合起来,由于背景差分图像中包括了当前输 入图像中与背景图像相区别的前景信息,而帧间差分图像中包括了当前输入图 像中发生运动的信息,因此将两部分信息结合起来,能够获得运动的前景信息。

附图说明

图1为现有技术中智能监控系统的结构图;
图2为现有技术中运动检测方法的流程图;
图3为现有技术运动检测方法中更新当前背景图像的示例图;
图4为本发明实施例一提供的运动检测方法的流程图;
图5为本发明实施例二提供的运动检测方法的流程图;
图6为本发明实施例二提供的运动检测方法的示例图;
图7为本发明实施例二提供的运动检测方法中更新当前背景图像的示 例图;
图8为本发明实施例三提供的运动检测装置结构图;
图9为本发明实施例四提供的智能监控系统结构图;
图10为本发明实施例五提供的智能监控系统结构图。

具体实施方式

为使本发明的目的、技术方案和优点表达得更加清楚明白,下面结合附 图及具体实施例对本发明再作进一步详细的说明。
首先对本发明实施例提供的运动检测方法进行说明。
实施例一:
图4为本发明实施例提供的运动检测方法的流程图。如图4所示:
本发明实施例提供的运动检测方法包括:
步骤401:分别根据当前输入图像与当前背景图像获取背景差分图像,根 据所述当前输入图像与所述当前输入图像的前一帧输入图像获取帧间差分图 像。
其中,所述根据当前输入图像与当前背景图像获取背景差分图像的方法可 以包括:通过将当前输入图像与当前背景图像相减获得所述当前输入图像的背 景差分图像。所述根据输入图像与所述输入图像的前一帧输入图像获取帧间差 分图像的方法可以包括:通过将当前输入图像与所述当前输入图像的前一帧输 入图像相减获得所述当前输入图像的帧间差分图像。
在获取背景差分图像和帧间差分图像之后,本步骤还可以包括:分别对获 取的背景差分图像和帧间差分图像进行进行二值化处理,再分别对二值化处理 后的背景差分图像和帧间差分图像进行形态学滤波处理,将形态学滤波处理处 理后的背景差分图像和帧间差分图像作为步骤402进行逻辑与操作的对象。
步骤402:通过将所述背景差分图像和所述帧间差分图像进行逻辑与处理 获取运动图像。
在进行所述逻辑与处理之后,本步骤还可以进一步包括:对获取的运动图 像进行形态学滤波处理,输出形态学滤波处理后的运动图像。
较佳地,步骤402之后,还可以根据当前输入图像及当前输出的运动图像 更新当前背景图像。
所述根据当前输入图像及所述当前输出的运动图像更新当前背景图像的方 法可以包括:在当前输出的运动图像中确定运动前景区域;在当前输入图像中 确定非替换区域,所述非替换区域在所述当前输入图像中的位置与所述运动前 景区域在所述当前输出的运动图像中的位置相同;用当前输入图像中非替换区 域以外的区域替换当前背景图像中相对应的区域,将替换后生成的图像作为当 前背景图像。
另外,本发明实施例提供的运动检测方法中,还可以在步骤402之后进一 步在获取的运动图像中识别出运动目标并记录所述运动目标的运动轨迹,得到 目标跟踪后的图像。
还可以在执行以上所述目标跟踪的步骤之后,对所述目标跟踪后的图像进 行后续分析,在分析结果为情况异常时进行报警。
还可以在分析结果为情况异常时进一步对获取的目标跟踪后的图像通过视 频编码方法进行编码,向中心控制装置输出编码后的图像,以便中心控制装置 进行视频监控。
下面综合上述情况,对本发明实施例提供的运动检测方法作进一步详细说 明。
实施例二:
图5为本发明实施例提供的运动检测方法的流程图。如图5所示:
本发明实施例提供的运动检测方法包括:
步骤501:通过将当前输入图像与当前背景图像相减获得所述当前输入图 像的背景差分图像,通过将当前输入图像与所述当前输入图像的前一帧输入图 像相减获得所述当前输入图像的帧间差分图像。
本步骤中,通过相减,当前输入图像与当前背景图像相区别的区域的像素 值变大了,而相近或相同的区域的像素值变小或者为0。这样,在背景差分图 像中,就凸现出当前输入图像与当前背景图像的区别区域。也就是说,背景差 分图像中包括了当前输入图像的前景信息。
同理,在帧间差分图像中,当前输入图像与其前一帧输入图像相区别的区 域,即当前输入图像中发生运动的区域,被凸现了出来。也就是说,帧间差分 图像中包括了当前输入图像中发生运动的信息。
步骤502:分别对步骤501获取的背景差分图像和帧间差分图像进行进行 二值化处理。
本步骤中,可以采用目前广泛使用的最大类间方差法进行二值化处理。
通过二值化处理,可以将背景差分图像中的前景区域置为1,其它区域置 为0;将帧间差分图像中发生运动的区域置为1,其它区域置为0。
本步骤中,可以采用目前广泛使用的二值化方法,这里不再赘述。
步骤503:分别对步骤502二值化处理后的背景差分图像和帧间差分图像 进行形态学滤波处理。
本步骤中,形态学滤波处理可以采用以下方式实现:
5031、对二值图像进行中值滤波,以去除孤立的噪声点。
5032、然后对中值滤波后的图像进行的形态学膨胀操作。
5033、对形态学膨胀操作后的图像进行边界跟踪(Bound Tracking)或者边 缘点连接(Edge Point Linking),得到图像中每个连通区域的边界,从而获得每 个连通区域的相关信息,如大小、面积等。这样,用户就可以根据需要除去除 面积小于一定阈值或者形状不规则的连通区域。
5034、将步骤5033得到的连通区域边界内部的像素点设置为前景点,以填 充其中可能存在的空洞。
步骤504:通过将步骤503进行形态学滤波处理后的背景差分图像和帧间 差分图像进行逻辑与处理得到运动图像。
本步骤中,逻辑与处理后得到的运动图像包括了运动的前景信息。
举例来说,如图6所示,通过二值化处理,背景差分图像601中的前景区 域6011为1,其它区域6012为0;帧间差分图像中602发生运动的区域6021 为1,其它区域6022为0。
通过将背景差分图像601与帧间差分图像中602进行逻辑与处理,得到运 动图像603。通过逻辑与处理,前景区域6011与发生运动的区域6021重合的 区域,即运动的前景区域6031为1,而其它区域6032为0。这样,运动图像 603中就凸现了运动的前景区域,也就是说,运动图像603包括了运动的前景 信息。
步骤505:将步骤504得到的运动图像进行形态学滤波处理,将形态学滤 波处理后的运动图像作为当前输出的运动图像输出。
本步骤中,形态学滤波处理的方法可以与步骤503相同。
至此,获得了运动的前景信息。之后可以根据获取的运动前景信息对当前 背景图像进行更新,还可以根据获取的运动前景信息进行目标跟踪、后续分析、 以及视频编码等。
在步骤505之后,执行步骤506和步骤509。
步骤506:在步骤505生成的当前输出的运动图像中确定运动前景区域。
步骤507:在当前输入图像中确定非替换区域,所述非替换区域在所述当 前输入图像中的位置与所述运动前景区域在所述当前输出的运动图像中的位置 相同。
步骤508:用当前输入图像中非替换区域以外的区域替换当前背景图像中 相对应的区域,将替换后生成的图像作为当前背景图像,完成一次背景更新。
步骤506~步骤508是背景更新的过程,下面举例说明本发明实施例提供的 目标检测方法中,用当前输入图像更新当前背景图像的过程。如图7所示:
当前输出的运动图像701中,区域7011为经过逻辑与处理及形态学滤 波处理后而凸现出来的运动前景区域,区域7011以外的区域,也就是区域 7012,为背景区域。
在当前输入图像702中,对应当前输出的运动图像,确定与区域7011 坐标相同的区域7021,将区域7021作为非替换区域。
同样的,在当前背景图像703中,确定出对应的区域7031和区域7032。
这样,区域7011在当前输出的运动图像701中的位置、区域7021在 当前输入图像702中的位置以及区域7031在当前背景图像703中的位置是 相同的,当然,区域7012在当前输出的运动图像701中的位置、区域7022 在当前输入图像702中的位置以及区域7031在当前背景图像703中的位置 也是相同的。
用当前输入图像702的区域7022来替换当前背景图像中的区域7032,将 替换后生成的图像作为当前背景图像704。这样,更新后的当前背景图像704 就由区域7022和区域7031组成。实现了背景的更新。
那么在具体算法中,可以通过以下方式来实现:
在任意时刻t,当前的输入图像的像素值为It,当前输出的运动图像中各个 像素点的像素值为Ft,设定更新速率α,其中α为0~1之间的常数,一般取 0.01~0.05。按照公式1得到当前的背景图像中各象素点的像素值Bt:
B t ( x , y ) = B t - 1 ( x , y ) , if F t ( x , y ) = 1 αI t ( x , y ) + ( 1 - α ) B t - 1 ( x , y ) , else 公式1
上式的含义是,对于当前输出的运动图像中任意位置(x,y)处的像素点,如 果当前输出的运动图像中(x,y)点处的像素值Ft(x,y)为1,则(x,y)点为运动的前 景像素点,则当前背景图像中(x,y)处的像素值Bt(x,y)保持与时刻t-1时的像素值 Bt-1(x,y)相同,否则,Bt(x,y)按照当前输入图像在(x,y)处的像素值It(x,y)和前一 时刻t-1的背景图像在(x,y)处的像素值Bt-1(x,y)加权值计算。
这里,由于在对背景差分图像和帧间差分图像进行二值化之后,在背景差 分图像中,前景区域的像素点的像素值为1,而其余像素点的像素值为0;在帧 间差分图像中,发生运动区域的像素点的像素值为1,而其余像素点的像素值 为0。因此在进行逻辑与之后,如果(x,y)点为运动的前景象素点,则Ft(x,y)值 为1,否则(x,y)点的Ft(x,y)值为0。
步骤509:对步骤505获取的运动图像进行目标跟踪,获得目标跟踪后的 图像。
所述目标跟踪是指,在多幅连续的运动图像中识别出运动目标,并记录所 述运动目标的运动轨迹。
目标跟踪的方法有很多种,本实施例采用的目标跟踪的方法包括以下步 骤:
步骤5091:预先建立一个描述运动目标信息的数据库,主要负责记录 所有运动目标的大小、运动方向、瞬时速度、运动轨迹以及运动目标的图像 特征等,可以根据实际需要适当地设置需要记录的信息。将第一次检测到的 所有运动目标的相关信息记录到该数据库中。
步骤5092:在每一帧输入图像中,将当前检测到的运动目标与数据库 的运动目标进行相似性比较,比较过程如下:
步骤50921、设当前帧运动区域为{Ai}i=1M,数据库中的运动目标为{Bj}j=1N, 其中Ai与Bj的图像特征分别为和这里,所述Ai 与Bj的图像特征可以是图像像素点集合,也可以是区域直方图,此处以归一 化的颜色直方图为例。按照公式2计算Ai与Bj的相似性定义:
公式2
分别计算{Ai}i=1M与{Bj}j=1N之间的相似性:d(Ai,Bj),i=1,2,...,M, j=1,2,...,N。
步骤50922、根据公式3求出所有相似度中的最大值:
d ( A x , B y ) = max ( { d ( A i , B j ) } j = 1,2 , . . . , N i = 1,2 , . . . , M ) 公式3
这样,实现了Ax和By匹配。
在公式2和公式3中,M为运动区域的数量,N为运动目标的数量,H 为直方图的区间数。x和y分别为d(Ai,Bj)最大时对应的i和j。
步骤50923、在当前帧运动区域为{Ai}i=1M和数据库中的运动目标为{Bj}j=1N 中除去Ax和By,返回步骤50921,直至没有运动区域或者运动目标剩余。
如果有当前检测到的运动目标与数据库中的某个运动目标匹配,则用所述 检测到的运动目标信息替换数据库中所述与之匹配的运动目标的信息。
步骤510:对步骤509获得的目标跟踪后图像进行后续分析,在分析结果 为情况异常时执行步骤511。
常用的后续分析包括:周边入侵分析、移走物体检测、人群密度分析等等。 本实施例采用的后续分析的方法包括以下步骤:
步骤5101:在系统工作前,首先由用户通过系统中人机交互界面,指定若 干个禁止区域,通常用任意多边形表示这些区域。
步骤5102:在系统运行过程中,对经过步骤509目标跟踪后得到的图像进 行后续分析,如果发现某一运动目标位于用户指定的任意禁止区域之中,就认 为发生了周边入侵行为,执行步骤511。
步骤511:进行报警的同时,将步骤509目标跟踪后得到的图像通过视频 编码方法进行视频编码,输出编码后的图像。
目前广泛使用的视频编码方法有很多种,例如Mepg4,H.264等。
本发明实施例还提供了一种运动检测装置,下面对本发明实施例提供的 运动检测装置作进一步详细说明。
实施例三
图8为本发明实施例提供的运动检测装置的结构图,如图8所示:
本发明实施例提供的运动检测装置包括:差分模块801和运动提取模块 802。
差分模块801用于接收当前输入图像,根据当前输入图像与当前背景图 像获取背景差分图像,根据所述当前输入图像与所述当前输入图像的前一帧 输入图像获取帧间差分图像,将获取的背景差分图像和帧间差分图像发送至 运动提取模块802。
其中,差分模块801可以包括背景差分模块8011和帧间差分模块8012。
背景差分模块8011用于接收当前输入图像,根据接收到的当前输入图 像与当前背景图像获取背景差分图像,将获取的背景差分图像发送至运动提 取模块802。
帧间差分模块8012用于接收当前输入图像,根据接收到的当前输入图 像与所述当前输入图像的前一帧输入图像获取帧间差分图像,将获取的帧间 差分图像发送至运动提取模块802。
运动提取模块802用于接收来自差分模块801的背景差分图像和帧间差 分图像,将所述背景差分图像和所述帧间差分图像进行逻辑与处理,输出逻 辑与处理后得到的运动图像。
本发明实施例提供的运动检测装置还可以进一步包括第三滤波模块 803。第三滤波模块803用于接收运动提取模块输出的运动图像,对接收到 的运动图像进行形态学滤波处理,输出形态学滤波处理后的运动图像。
另外,本发明实施例提供的运动检测装置还可以进一步包括背景更新模 块804。背景更新模块804用于接收当前输入图像与第三滤波模块803当前 输出的运动图像,根据当前输入图像及所述当前输出的运动图像更新当前背 景图像。其中,背景更新模块可以采用本发明实施例提供的运动检测方法中 更新当前背景图像的方法来实现对当前背景图像的更新。
本发明实施例还提供了一种智能监控系统,下面对本发明实施例提供的 智能监控系统作进一步详细说明。
实施例四
图9为本发明实施例提供的智能监控系统的结构图,如图9所示:
本发明实施例提供的智能监控系统包括:视频采集装置901、运动检测 装置902和中心控制装置903。
视频采集装置901用于连续采集视频图像,将当前采集到的视频图像作 为当前输入图像发送至运动检测装置902。
运动检测装置902用于接收来自视频采集装置901的当前输入图像,获 取当前输入图像的背景差分图像与帧间差分图像,通过将所述背景差分图像 和所述帧间差分图像进行逻辑与处理获取运动图像,输出获取的运动图像至 中心控制装置903。
其中,运动检测装置902可以采用本发明实施例三提供的运动检测装置 来实现。
中心控制装置903用于接收来自运动检测装置902的运动图像,根据接 收到的运动图像进行视频监控。
另外,在本发明实施例提供的智能监控系统中,运动检测装置902还可 以采用以下方式实现:
方式一:
运动检测装置902包括:运动检测模块和目标跟踪模块。
所述运动检测模块用于接收来自视频采集装置的当前输入图像,获取当前 输入图像的背景差分图像与帧间差分图像,通过将所述背景差分图像和所述帧 间差分图像进行逻辑与处理获取运动图像,输出获取的运动图像至目标跟踪模 块。
所述目标跟踪模块用于接收目标检测模块输出的运动图像,在连续接收到 的运动图像中识别出运动目标,并记录所述运动目标的运动轨迹,输出目标跟 踪后的图像至中心控制装置903。
方式二:
运动检测装置902包括:运动检测模块、目标跟踪模块、后续分析模块和 报警模块。
所述运动检测模块与方式一中的运动检测模块相同。
所述目标跟踪模块用于接收目标检测模块输出的运动图像,在连续接收到 的运动图像中识别出运动目标,并记录所述运动目标的运动轨迹,输出目标跟 踪后的图像至后续分析模块。
所述后续分析模块用于接收来自目标跟踪模块的图像,对接收到的图像进 行后续分析,在分析结果为情况异常时通知报警模块进行报警,输出接收到的 图像至中心控制装置903。
所述报警模块用于接收来自后续分析模块的通知,接收到来自后续分析模 块的通知后进行报警903。
方式三:
运动检测装置902包括:运动检测模块、目标跟踪模块、后续分析模块、 报警模块和视频编码模块。
所述运动检测模块与方式二中的运动检测模块相同。
所述目标跟踪模块与方式二中的运动检测模块相同。
所述后续分析模块用于接收来自目标跟踪模块的图像,对接收到的图像进 行后续分析,在分析结果为情况异常时通知报警模块进行报警,输出接收到的 图像至视频编码模块。
所述报警模块与方式二中的报警模块相同。
所述视频编码模块用于接收来自后续分析模块的图像,对接收到的图像 通过视频编码方法进行编码,将编码后的图像通过IP网络发送至中心控制 装置903。
以上所述的智能监控系统中,运动检测装置902可以采用嵌入式芯片实 现,放在中心控制装置903的前端。
下面对本发明实施例提供的智能监控系统作进一步的详细说明。
实施例五
本发明实施例提供的智能监控系统包括:视频采集装置901、运动检测 装置902和中心控制装置903。
视频采集装置901用于连续采集视频图像,将当前采集到的视频图像作 为当前输入图像发送至运动检测装置902。
运动检测装置902用于接收来自视频采集装置的当前输入图像,获取当 前输入图像的背景差分图像与帧间差分图像,通过将所述背景差分图像和所 述帧间差分图像进行逻辑与处理获取运动图像,输出获取的运动图像。
其中,运动检测装置902包括:运动检测模块01、目标跟踪模块02、 后续分析模块03、报警模块04、视频编码模块05。
运动检测模块01用于接收来自视频采集装置901的当前输入图像,获 取当前输入图像的背景差分图像与帧间差分图像,通过将所述背景差分图像 和所述帧间差分图像进行逻辑与处理获取运动图像,输出获取的运动图像至 目标跟踪模块02。
运动检测模块01包括:差分模块801、运动提取模块802、第三滤波模 块803和背景更新模块804。
差分模块801用于接收当前输入图像,根据当前输入图像与当前背景图 像获取背景差分图像,根据所述当前输入图像与所述当前输入图像的前一帧 输入图像获取帧间差分图像,将获取的背景差分图像和帧间差分图像发送至 运动提取模块802。
其中,差分模块801包括背景差分模块8011和帧间差分模块8012。
背景差分模块8011包括:背景存储模块11、第一相减模块12、第一二 值化模块13和第一滤波模块14。
背景存储模块11用于存储当前背景图像,将存储的当前背景图像输出 到第一相减模块。
第一相减模块12用于接收当前输入图像,将接收到的当前输入图像与 背景存储模块11中的当前背景图像相减,将相减后得到的背景差分图像输 出至所述第一二值化模块13。
第一二值化模块13用于接收来自所述第一相减模块12的背景差分图 像,将接收到的背景差分图像进行二值化处理,输出二值化处理后的背景差 分图像至第一滤波模块14。
第一滤波模块14用于接收来自第一二值化模块13二值化处理后的背景 差分图像,对接收到的背景差分图像进行形态学滤波处理,输出形态学滤波 处理后的背景差分图像至运动提取模块802。
帧间差分模块8012包括:延迟模块21、第二相减模块22、第二二值化 模块23和第二滤波模块24。
延迟模块21用于接收输入图像,通过将接收到的输入图像进行延迟处 理得到当前输入图像的前一帧输入图像,将所述当前输入图像的前一帧输入 图像发送至第二相减模块22。
由此可见,延迟模块21的作用在于,使得当前输入图像和当前输入图 像的前一帧输入图像可以同时发送至第二相减模块22。
举例来说,假设输入图像a为输入图像a’的前一帧输入图像,在没有延 迟模块21的情况下,输入图像a和输入图像a’将分别在T-1时刻和T时刻 先后发送至第二相减模块22;如果将输入图像通过延迟装置21后再发送至 第二相减模块22,那么本该在T-1时刻发送至第二相减模块22的a就会在 T时刻才能发送至第二相减模块22。由此可以得出,在T时刻,第二相减 模块22将同时接收到视频采集装置901直接发送过来的输入图像a’以及来 自延迟模块21的输入图像a。
第二相减模块22用于接收当前输入图像和来自延迟模块21的当前输入 图像的前一帧输入图像,将接收到的当前输入图像与所述当前输入图像的前 一帧输入图像相减,将相减后得到的差值图像输出至第二二值化模块23。
第二二值化模块23用于接收来自第二相减模块22的差值图像,将接收 到的差值图像进行二值化处理,输出二值化处理后得到的帧间差分图像至第 二滤波模块24。
第二滤波模块24用于接收来自第二二值化模块23二值化处理后的帧间 差分图像,对接收到的帧间差分图像进行形态学滤波处理,输出形态学滤波 处理后的图像至运动提取模块802。
运动提取模块802用于接收来自差分模块801的背景差分图像和帧间差 分图像,将所述背景差分图像和所述帧间差分图像进行逻辑与处理,输出逻 辑与处理后得到的运动图像至第三滤波模块803。
第三滤波模块803用于接收来自运动提取模块802的运动图像,对接收 到的运动图像进行形态学滤波处理,输出形态学滤波处理后的运动图像至中 心控制装置903和背景更新模块804。
背景更新模块804用于接收来自视频采集装置901的当前输入图像与第 三滤波模块803当前输出的运动图像,根据当前输入图像及所述当前输出的 运动图像更新当前背景图像,所述更新当前背景图像是指,根据本发明实施 例提供的运动检测方法中更新当前背景图像的方法,根据当前输入图像以及 当前输出的运动图像更新背景存储模块11中的当前背景图像。
目标跟踪模块02用于接收运动检测模块01输出的运动图像,在连续接收 到的运动图像中识别出运动目标,并记录所述运动目标的运动轨迹,输出目标 跟踪后的图像至后续分析模块03。
本实施例中目标跟踪模块02可以采用本发明实施例提供的运动检测方法 中目标跟踪的方法来进行目标跟踪。
后续分析模块03用于接收来自目标跟踪模块02的图像,对接收到的图像 进行后续分析,在分析结果为情况异常时通知报警模块04进行报警,输出接收 到的图像至视频编码模块05。
报警模块04用于接收来自后续分析模块的通知,接收到来自后续分析模块 的通知后进行报警。
视频编码模块05用于接收来自后续分析模块的图像,对接收到的图像 通过视频编码方法进行编码,将编码后的图像通过IP网络发送至中心控制 装置903。
视频编码模块05可以采用的视频编码方法有很多种,例如Mepg4, H.264等编码方式。
中心控制装置903用于接收来自视频编码模块05的图像,根据接收到 的图像进行视频监控。
以上所述的智能监控系统中,运动检测装置902可以采用嵌入式芯片实 现,放在中心控制装置903的前端。
由以上内容可以看出:
本发明实施例提供的运动检测方法、装置及智能监控系统,将现有的背 景差分图像与帧间差分图像结合起来,由于背景差分图像中包括了当前输入 图像中与背景图像相区别的前景信息,而帧间差分图像中包括了当前输入图 像中发生运动的信息,因此将两部分信息结合起来,能够获得运动的前景信 息。
另外,在现有技术中,如果某一次运动检测错误,将某个静止的背景区 域作为前景区域而凸现了出来且经过形态学滤波处理后输出,那么在更新当 前背景图像的过程中,这个被凸现出来的背景区域所在的区域就不能够得到 更新,导致下一次的运动检测还可能会出现错误,周而复始,使运动检测进 入了一个死循环。本发明实施例提供的运动检测方法、装置及智能监控系统, 根据获取的运动的前景信息来更新当前背景图像,降低了将静止的背景区域 误识为前景区域的概率。而且,如果本次检测错误,将某个静止的背景区域 误识为前景区域,那么在下一次的运动检测中,通过将背景差分图像和帧间 差分图像进行逻辑与处理,就能够重新获得运动的前景信息,用这个新的运 动前景信息来更新当前背景图像,就能够纠正上次的误识造成的当前背景更 新错误,不会进入死循环。
最后,由于现有技术中的智能监控系统将所有采集到的视频图像全部输 出至中心控制装置来进行处理,因此占用带宽大,线路铺设成本高,中心控 制装置需要储存并处理海量视频图像,对中心控制装置性能要求高,成本高 昂。本发明实施例提供的智能监控系统,通过将现有技术中中心控制装置的 运动检测、目标跟踪、后续分析以及视频编码等功能采用嵌入式芯片放在前 端来实现,大大降低了对中心控制装置的性能要求,而由于减少了中心控制 装置的工作量,使得系统的延时小,实时性好。也使系统集成度高,使用方 便,更易于安装维护,提高了系统整体的稳定性和可靠性。另外,后续分析 装置只有在检测到异常时才将视频输出至中心控制装置,占用带宽小,节省 了线路铺设成本。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的 保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改 进等,均应包含在本发明的保护范围之内。