会员体验
专利管家(专利管理)
工作空间(专利管理)
风险监控(情报监控)
数据分析(专利分析)
侵权分析(诉讼无效)
联系我们
交流群
官方交流:
QQ群: 891211   
微信请扫码    >>>
现在联系顾问~
首页 / 专利库 / 医疗设备 / 视觉反馈 / 视频绊网

视频绊网

阅读:137发布:2021-02-22

IPRDB可以提供视频绊网专利检索,专利查询,专利分析的服务。并且一种用于实现视频绊网的方法,包括以下步骤:校准传感设备以确定由系统使用的传感设备参数;初始化系统,包括输入至少一条虚拟绊网;从传感设备中获取数据;分析从传感设备中获取的数据以确定是否已经穿过至少一条虚拟绊网;以及触发对穿过虚拟绊网的响应。,下面是视频绊网专利的具体信息内容。

1.一种视频绊网系统,包括:

传感设备,用于产生视频输出;以及

包括用户接口的计算机系统,用于执行对所述传感设备的校准 以及根据从传感设备中所接收的视频输出来收集和处理数据,所述用 户接口包括输入装置和输出装置,其中,计算机系统显示处理的数据, 并且所述计算机系统允许用户利用所述用户接口输入至少一种虚拟绊 网,所述虚拟绊网包括跨越与所述视频输出相对应的图像的至少一部 分的至少一条线,并且根据所述视频输出来确定是否已经穿过所述虚 拟绊网。

2.根据权利要求1所述的视频绊网系统,其特征在于还包括:用于传送来自传感设备的视频输出的装置;

通信介质,在其上通过用于传送的装置来传送视频输出;以及用于接收来自通信介质的视频输出的装置。

3.根据权利要求2所述的视频绊网系统,其特征在于所述通信 介质是电缆。

4.根据权利要求2所述的视频绊网系统,其特征在于所述通信 介质包括通信网络。

5.根据权利要求1所述的视频绊网系统,其特征在于所述输出 装置包括用于通知可视警报的装置和用于通知可听警报的装置中的至 少一个。

6.根据权利要求1所述的视频绊网系统,其特征在于所述输出 装置包括视觉显示设备。

7.根据权利要求6所述的视频绊网系统,其特征在于所述视觉 显示设备能够显示视频、一个或多个快照、以及字母数字信息中的至 少一个。

8.根据权利要求1所述的视频绊网系统,其特征在于还包括:至少一种存储设备,用于存储视频数据和字母数字数据中的至 少一种。

9.根据权利要求1所述的视频绊网系统,其特征在于所述传感 设备包括摄像机、红外线摄像机、超声波设备、以及热成像设备中的 至少一个。

10.根据权利要求1所述的视频绊网系统,其特征在于还包括:用于产生视频输出的至少一个附加传感设备,其中,所述计算机系统还接收和处理至少一个附加传感设备的 视频输出。

11.一种实现视频绊网系统的方法,包括以下步骤:校准传感设备以确定由系统使用的传感设备的参数;

初始化系统,包括输入至少一种虚拟绊网,所述输入至少一种 虚拟绊网包括:通过定义了所述至少一种虚拟绊网的用户接口,接收 来自用户的输入,其中所述至少一种虚拟绊网包括跨越与来自传感设 备的输入相对应的图像的至少一部分的至少一条线;

获得来自传感设备的数据;

分析从传感设备中所获得的数据,以确定是否已经穿过至少一 种虚拟绊网;以及触发对穿过虚拟绊网的响应。

12.根据权利要求11所述的方法,其特征在于所述校准步骤包 括以下步骤:由用户手工地输入参数;

产生给用户的视觉反馈;以及

如果视觉反馈的显示对用户而言是不可接受的,允许用户重新 输入参数。

13.根据权利要求11所述的方法,其特征在于所述校准步骤包 括以下步骤:使人通过传感设备的视场移动;

分割所述移动的人;

利用视场的不同区域中的人的尺寸来确定参数;

向用户提供视觉反馈;以及

如果视觉反馈的显示对用户而言是不可接受的,允许调整参数。

14.根据权利要求13所述的方法,其特征在于所述允许调整步 骤包括允许用户手工地调整参数的步骤。

15.根据权利要求13所述的方法,其特征在于所述允许调整步 骤包括重新启动校准步骤的步骤。

16.根据权利要求13所述的方法,其特征在于所述允许调整步 骤包括允许用户在手工调整参数或重启校准步骤之间进行选择的步 骤。

17.根据权利要求13所述的方法,其特征在于所述分割步骤包 括以下步骤:执行像素级背景建模;

执行前景检测和追踪;以及

分析前景对象。

18.根据权利要求11所述的方法,其特征在于所述校准步骤包 括以下步骤:利用传感设备收集在一定时间段内的视频信息;

分割来自视频信息的对象;

分析分割后的对象,以确定在对应于传感设备的视场的视频图 像的不同区域内的人的平均尺寸;以及利用在不同区域内人的平均尺寸来确定参数。

19.根据权利要求18所述的方法,其特征在于所述分割步骤包 括以下步骤:执行像素级背景建模;

执行前景检测和追踪;以及

分析前景对象。

20.根据权利要求18所述的方法,其特征在于所述分析步骤包 括以下步骤:确定视频图像的不突出区域;以及

构成在视频图像的不突出区域中所检测到的前景对象的直方 图。

21.根据权利要求20所述的方法,其特征在于:只有当在所述 区域中检测到的前景对象数量超出预定数量时,才进行视频图像的特 定区域内的人的平均尺寸的确定。

22.根据权利要求20所述的方法,其特征在于获取直方图中的 最高峰值以与单个的人相对应。

23.根据权利要求18所述的方法,还包括以下步骤:由用户输入一个或多个要用于校准的时间窗。

24.根据权利要求11所述的方法,其特征在于所述初始化系统 的步骤还包括选择至少一个记录选项的步骤。

25.根据权利要求11所述的方法,其特征在于所述分析步骤包 括确定所检测的对象是否与至少一个虚拟绊网交迭的步骤。

26.根据权利要求25所述的方法,其特征在于所述校准步骤包 括进行对象分割的步骤;以及其中,根据所述进行对象分割的步骤,对所述检测对象进行检 测。

27.根据权利要求26所述的方法,其特征在于所述进行对象分 割步骤包括以下步骤:执行像素标准级建模;

执行前景检测和追踪;以及

分析前景对象。

28.根据权利要求25所述的方法,其特征在于所述分析步骤还 包括以下步骤:进行对象分割,

其中,根据所述进行对象分割的步骤,对所述检测的对象进行 检测。

29.根据权利要求26所述的方法,其特征在于所述进行对象分 割步骤包括以下步骤:执行像素级背景建模;

执行前景检测和追踪;以及

分析前景对象。

30.根据权利要求25所述的方法,其特征在于所述分析步骤还 包括以下步骤:如果所述确定所检测到的对象是否与至少一个虚拟绊网交迭的 步骤返回了肯定的结果,确定穿过的方向是否与用户输入的穿过方向 匹配。

31.根据权利要求30所述的方法,其特征在于所述分析步骤还 包括以下步骤:如果所述确定穿过方向是否与用户输入的穿过方向匹配的步骤 返回了肯定的结果,进行关于检测对象的特征的至少一个附加询问。

32.根据权利要求25所述的方法,其特征在于所述分析步骤还包 括以下步骤:如果所述确定所检测到的对象是否与至少一个虚拟绊网交迭的 步骤返回了肯定的结果,进行关于所检测的对象的特征的至少一个附 加询问。

33.根据权利要求11所述的方法,其特征在于所述触发响应的 步骤包括激活声音警报、激活视觉警报、拍快照和记录视频中的至少 一个。

34.根据权利要求11所述的方法,其特征在于还包括:执行紧跟检测,所述紧跟检测包括以下步骤:检测到人正在进入所讨论的区域;

响应所述检测步骤,开始监视所讨论的区域;

确定进入所讨论的区域中的人的数量是否大于容许的数量;以 及如果确定步骤返回了肯定的结果,则触发响应。

35.根据权利要求1所述的视频绊网系统,其特征在于所述计算 机系统包括应用专用硬件,适合于执行所述校准、所述收集和所述处 理。

说明书全文

技术领域

本发明涉及监视系统。更具体地,本发明涉及一种实现了虚拟 绊网的基于视频的监视系统。

背景技术

在其最初的形式中,绊网是其中穿过道路拉伸导线、细绳等的 布置,如果某人或某物碰巧绊倒导线或以别的方式拉动它,则触发一 些响应。例如,这样的响应可以是引爆地雷、发出警报或记录事件(例 如,触发计数器、摄像机等)。现在,经常将绊网实现为光束(例如, 激光、红外线或可见光);当某人或某物打断了光束时,则触发响应。
图1中示意性地示出了利用光束的传统绊网的实例。光源产生了 穿过道路传送到接收机的光束。如果打断了光束,即接收机不再接收 光束,这导致了触发如上所讨论的一些响应。
传统绊网的优点在于:该绊网至少在概念上使用起来较简单, 一旦已经安装了绊网,这些绊网也只需要最少的人为干预。
然而,传统的绊网具有许多缺点,例如,其不能在触发所关心 的对象还是不关心的对象之间进行区分。作为实例,我们可能关心多 少人而不是狗走过了道路;然而,人或动物都将会触发绊网。还存在 的问题在于:如果一群人走在一起,导致绊网的单次触发,而不是针 对每一个人一次。
另外,传统绊网布置通常涉及专用装备的安装。例如,考虑到 激光绊网的实例,激光源和激光检测器必须穿过所关心的道路安装。 此外,这样的专用装备可能难以按照使其不易被发现的方式来安装。
此外,传统的绊网没有提供高度的灵活性。如果某人或某物穿 过该绊网,传统的绊网仅典型地进行检测,而不考虑横穿的方向。而 且,由于传统的绊网仅以直线的方式延伸,传统绊网的限制在于穿过 其所述绊网可以建立的区域。
今天,传统的视频监视系统也得到了普遍的使用。例如,这些 视频监视系统普遍位于商店、银行和许多其它设施中。视频监视系统 通常涉及使用一个或多个视频摄像机,而且,或者记录从摄像机输出 的视频以便稍后回顾,或者由人类观察者对所输出的视频进行监视, 或者二者同时进行。图2中示出了这样的视频监视系统,其中,使摄 像机1对准道路。摄像机1产生视频信号,该视频信号通过这里显示为 电缆2的通信介质进行传送。电缆2馈入视觉显示设备3和记录设备4之 一或这两者。
与传统绊网相比,视频监视系统能够在人和动物之间(例如, 所关心的对象和不关心的对象之间)进行区分,并且能够在走在一起 的一群人中区分单个的人。在视频监视系统能够监控的区域的形状方 面,该视频监视系统还提供了超过绊网的灵活性。此外,由于视频监 视系统被非常广泛地使用,因此,不需要安装另外的装备。然而,视 频监视系统也存在一些缺陷。
或许,传统视频监视系统的最重要的缺陷在于:为了从产生的 视频中提取信息,需要高度的人为干预。也就是说,或者某人必须在 视频产生时观看该视频,或者某人必须回顾所存储的视频。
在授予Seeley等人(以下统称为“Seeley等人”)的美国专利NO. 6,097,429和NO.6,091,771中可以找到现有技术的基于视频的监视系 统的实例。Seeley等人关注于视频安全系统,其中包括当检测到侵入 时拍摄快照。Seeley等人解决了与假警报和需要检测某些闯入/侵入 者而不是其它人有关的一些问题。在该功能中使用了图像区分技术和 对象识别技术。然而,如以下所述,在Seeley等人和本发明之间存在 许多不同。Seeley等人的最严重的缺点之一在于:没有关于如何执行 检测和识别的公开。在该区域内所公开的内容与针对本发明所提供的 内容大不相同。
在授予Nasburg(以下统称为“Nasburg”)的美国专利NO. 5,696,503和NO.5,801,943中公开了基于视频和基于其它传感器的监 视系统的另一实例。Nasburg利用包括视频传感器的多种传感器来处 理车辆的跟踪。针对要跟踪的车辆开发了“指纹”,并随后用于检测 各个车辆。虽然Nasburg提及了视频绊网的概念,但没有公开如何实 现这样的视频绊网。另外,Nasburg与本发明的不同在于:其专注于 检测和跟踪车辆。相反,如以下所公开和要求的本发明致力于检测任 意运动对象,包括刚性的(例如车辆)和非刚性的(例如人)。

发明内容

考虑到上述方面,具有其中组合了绊网的优点和视频监视系统 的优点的监视系统将较为有利,并且这是本发明的目的。
本发明实现了一种视频绊网系统,其中,使用基于计算机的视 频处理技术,将具有任意形状的虚拟绊网设置在数字视频中。然后, 再次利用基于计算机的视频处理技术,监视虚拟绊网。作为监视的结 果,可以编辑统计量,检测侵入,记录事件,触发响应等。例如,在 本发明的一个实施例中,某人沿一个方向穿过虚拟绊网的事件可能会 触发此人的快照的捕获以便将来识别。
因此,根据本发明,提出了一种视频绊网系统,包括:传感设 备,用于产生视频输出;以及包括用户接口的计算机系统,用于执行 对所述传感设备的校准以及根据从传感设备中所接收的视频输出来收 集和处理数据,所述用户接口包括输入装置和输出装置,其中,计算 机系统显示处理的数据,并且所述计算机系统允许用户利用所述用户 接口输入至少一种虚拟绊网,所述虚拟绊网包括跨越与所述视频输出 相对应的图像的至少一部分的至少一条线,并且根据所述视频输出来 确定是否已经穿过所述虚拟绊网。
另外,根据本发明,还提出了一种实现视频绊网系统的方法, 包括以下步骤:校准传感设备以确定由系统使用的传感设备的参数; 初始化系统,包括输入至少一种虚拟绊网,所述输入至少一种虚拟绊 网包括:通过定义了所述至少一种虚拟绊网的用户接口,接收来自用 户的输入,其中所述至少一种虚拟绊网包括跨越与来自传感设备的输 入相对应的图像的至少一部分的至少一条线;获得来自传感设备的数 据;分析从传感设备中所获得的数据,以确定是否已经穿过至少一种 虚拟绊网;以及触发对穿过虚拟绊网的响应。
利用现有的视频装备,连同计算机设备,可以实现本发明的系 统。因此,其具有不需要大量安装监视设备的优点。可以部分地按照 包含实现相应方法的不同步骤的软件的计算机可读介质的形式、或者 按照可以包括计算机网络的执行这样的软件的计算机系统的形式,来 具体实现本发明的系统。
此外,本发明的系统可以与除了传统视频之外的成像设备结合 使用,所述成像设备包括热成像系统或红外线摄像机。
本发明的一个实施例包括一种用于实现视频绊网系统的方法, 所述方法包括以下步骤:如果还不存在传感设备,则安装传感设备(其 可以是摄像机或其它这样的设备);校准传感设备;建立作为虚拟绊 网的边界;以及收集数据。
考虑到描述、附图和实例,另外的目的和优点将变得明显。
定义
在描述本发明的过程中,全文(包括上述)可以应用以下定义。
“计算机”是指能够接受结构化输入、根据指定的规则处理结 构化输入、并且产生作为输出的处理结果的任何设备。计算机的实例 包括:计算机、通用计算机、超级计算机、大型机、超小型计算机、 小型计算机、工作站、微型计算机、服务器、交互式电视、计算机和 交互式电视的混合组合、以及为了模拟计算机的应用专用硬件和/或 软件。计算机可以具有能够按照并联方式和/或不按照并联方式操作 的单个处理器或多个处理器。此外,计算机还涉及经由用于在计算机 之间传送或接收信息的网络连接在一起的二个或多个计算机。这样的 计算机实例包括:通过由网络连接的计算机来处理信息的分布式计算 机系统。
“计算机可读介质”是指用于存储可由计算机访问的数据的任 何存储设备。计算机可读介质的实例包括:磁硬盘;软盘;诸如CD-ROM 或DVD的光盘;磁带;存储器芯片;以及用于承载计算机可读电子数 据的载波,例如在传送和接收电子邮件中或在访问网络中所使用的那 些载波。
“软件”是指为了操作计算的指定规则。软件的实例包括:软 件、代码段、指令、计算机程序、以及程序控制逻辑。
“计算机系统”是指具有计算机的系统,其中,计算机包括具 体实现操作计算机的软件的计算机可读媒介。
“网络”是指通过通信设施连接的许多计算机和相关设备。网 络涉及诸如电缆的固定连接、或临时连接,例如通过电话或其它通信 链路所进行的连接。网络的实例包括:诸如因特网的互联网络、内联 网、局域网(LAN)、广域网(WAN)、以及诸如因特网和内联网的网络 的组合。
“视频”是指以模拟或数字的形式表示的运动图像。视频的实 例包括:电视、电影、来自摄像机或其它观测器的图像序列、以及计 算机产生的图像序列。所述这些可以从现场馈送、存储设备、基于IEEE 1394的接口、视频数字化仪、计算机图形引擎或网络连接中获得。
“视频处理”是指对视频的任何操作,例如,包括压缩或编辑。
“帧”涉及特定的图像或在视频内部的其它离散单元。

附图说明

结合参考附图,通过阅读以下详细描述,本发明将得到更好的 理解,其中,相同的参考数字表示相同的组件:
图1示出了现有技术的绊网系统;
图2示出了现有技术的视频监视系统;
图3示出了根据本发明的实施例的视频绊网系统;
图4示出了根据本发明的实施例的分析系统的实施例的方框图;
图5示出了用于描述根据本发明的实施例的方法的流程图;
图6示出了用于描述图5所示的校准步骤的第一实施例的流程 图;
图7示出了用于描述图5所示的校准步骤的第二实施例的流程 图;
图8示出了用于描述图5所示的校准步骤的第三实施例的流程 图;
图9示出了图8中所示的直方图(histogramming)步骤的典型实 施例;
图10示出了用于描述图7和8所示的分割步骤的典型实施例的流 程图;
图11示出了用于描述检测绊网横穿的步骤的典型实施例的流程 图;
图12和13示出了用于描述报告格式的典型实施例的“屏幕照 片”;以及
图14示出了用于描述本发明的典型应用的流程图。

具体实施方式

在描述图中所示出的本发明的优选实施例时,为了清楚,使用 了特定术语。然而,本发明并不想要局限于这样选择的特定术语。应 该理解的是,每一个特定的元素包括按照相似的方式操作来实现相似 的目的的所有技术等价物。将这里所引述的每一个参考文件包括在此 作为参考,如同每一个参考文件单独包括在此作为参考。
此外,通常根据对人的检测来讨论以下所讨论的实施例。然而, 本发明不应该理解为局限于对人的检测。相反,以下所讨论的实施例 中的视频绊网系统能够用于检测所有种类的对象,有生命的或无生命 的。实例包括车辆、动物、植物生长(例如,在是整理树篱的时候时 的检测系统)、落下的对象(例如,当可回收的罐头落入垃圾溜槽时 的检测系统)、以及微观实体(例如,当细菌透过细胞壁时的检测系 统)。
图3示出了视频绊网系统的实施例的概况。如同在图2中那样, 将传感设备1对准道路并产生输出信号。传感设备1可以是如结合图 2所讨论的摄像机;然而,该传感设备也可以是产生视频类型输出的 其它任何类型的传感器,例如,基于热、基于声音(例如,声波图) 或基于红外线的设备。传感设备1的输出通过通信介质2传送。通信 介质2可以是诸如电缆;然而,该通信介质也可以是其它任何通信介 质,例如,RF(射频)、网络(例如,因特网)、或者光波。如果经 由通信介质2的通信需要调制、编码、压缩、或其它与通信有关的信 号处理,设置用于执行这样的信号处理的装置,或者作为传感设备1 的一部分或者作为与传感设备1相连的分离装置(未示出)。通信介 质2向分析系统5传送来自传感设备1的输出信号。分析系统5接收 来自用户接口6的输入,并向用户接口6发送输出。用户接口6可以 包括诸如监视器、鼠标、键盘、触摸屏、打印机、或其它输入/输出 设备。利用用户接口6,用户能够向系统提供输入,包括需要初始化 (如稍后将描述的,包括创建虚拟绊网)的输入以及向分析系统5提 供命令。用户接口6也可以包括警报器或其它警报设备;该用户接口 6还可以包括或连接到用于实现以上所讨论的对触发事件的其它任何 响应的装置。通常,用户接口6还将包括诸如图2中的监视设备3的 显示设备。
分析系统5执行分析任务,包括需要的处理以实现视频绊网。在 图4中更详细地示出了的分析系统5的实施例。图4示出了如图3所 示的、与通信介质2和用户接口6相连的分析系统5,在图4中,示 出了包括接收机51、计算机系统52和存储器53的分析系统5。接收 机51接收来自通信介质2的传感设备1的输出信号。如果信号已经 被调制、编码等,接收机51包含用于执行解调、解码等的装置。另 外,如果从通信介质2所接收的信号处于模拟形式,接收机51包含 用于将模拟信号转换成适合于由计算机系统52进行处理的数字信号 的装置。接收机51可以实现为分离的模块,如所示的,或者在可选 的实施例中可以将其包括在计算机系统52中。此外,如果在向计算 机系统52传送来自通信介质2的信号之前不需要执行任何信号处理, 则完全可以省略接收机51。
计算机系统52配备有存储器53,该存储器53可以如所示的、 处于计算机系统52的外部,或者包括在计算机系统52中,或者这二 者的组合。存储器53包含由分析系统52所需的全部存储资源,并且 还可以包括用于存储从通信介质2中所接收到的信号的一个或多个记 录设备。
在本发明的另一实施例中,传感设备1可以按照监视相同位置的 多于一个传感设备的形式来实现。在这种情况下,在经由通信介质2 传送数据之前,可以综合由每一个传感设备输出的数据,或者可以将 所有传感设备的输出传送到分析系统5并在此进行处理。
在本发明的另一的实施例中,传感设备1可以包括监视不同位置 的许多传感设备,并向信号分析系统5传送这些传感设备的数据。按 照这种方式,信号系统可以用于多个地点的监视。
根据以下对本发明方法的描述,图3和4所示的组件执行的处理 将变得更为清楚。
图5示出了本发明方法的实施例的概述流程图。如果尚未安装传 感设备1,则必须安装传感设备(71)。然而,在许多情况下,可能 已经存在这样的传感器。例如,大多数银行已经使用了视频监视系统, 所以不需要安装新的摄像机。在此系统的优选实施例中,安装了传感 设备(或多个传感设备),以使其是固定的。理想地,按照“自然的” 方位对其进行安装(例如,图像中的上方对应于现实中的上方)
一旦已经安装了传感设备1,需要按照分析系统5对其进行校准。 一般而言,可以或者通过明确的校准或者通过隐含的校准来进行系统 校准,在明确的校准中,告知系统(或系统自动地确定)传感设备1 的所需校准参数;在隐含的校准中,告知系统(或系统自动地确定) 在传感设备1的视场中在不同位置处的所讨论对象的尺寸。校准的目 的是提供比例信息,即,使系统知道所讨论的人或其他对象的尺寸在 不同图像区域中应该是多大。该信息对于数据分析步骤74尤其重要。 可以按照以下三种方法中的一种,或二种或更多种的组合来进行校 准,这三种方法是:手动数字校准、半自动分割校准、以及全自动校 准。图6、7、8中分别示出了这些方法的实施例的流程图。
图6示出了手动校准方法的实施例的流程图,其中涉及如上所讨 论的明确校准。用户经由用户接口6输入与传感设备1相关的参数 721。这些参数可以包括例如传感设备1的焦距、传感设备1离地的 高度、以及传感设备1相对于地的角度。然后,分析系统5产生视觉 反馈722;例如,系统可以在实际视频帧上添加所讨论的人或其它对 象。在用户接口6处将视觉反馈显示给用户。该视觉反馈提供比例信 息(例如,所讨论的人或其它对象相对于环境的尺寸),这有助于验 证校准是正确的。然后,用户确定视觉反馈的显示是否为可接受的、 或者是否需要调整参数723。如果其是可接受的,结束处理;否则, 处理返回到对新参数的输入721。
图7中示出了利用隐含校准并且还可以涉及至少一定程度的明确 校准的半自动分割校准方法的实施例(参见以下描述)。在该实施例 中,一个人走过(或者所讨论的一些其它对象发生移动;随后的描述 将涉及人,但应该理解,同样地可适用于所讨论的其它类型的对象) 传感设备1的视场(步骤721A)。这样使系统能够确定在图像的不同 区域中的一般人的预计尺寸。在校准期间,走过的人应该是在视场中 唯一移动的对象。然后,系统分割出移动的人722A。然后,将图像 的不同区域中的人的尺寸用来校准(即,确定如上所讨论的参数) 723A。如同手动校准中那样,提供视觉反馈724A,然后,用户评估 图像的显示是否为可接受的725A。如果不可接受,则用户可以调整 参数726A,或者,可选地,可以完全地重做校准,同时处理返回到 步骤721A(虚线箭头)。可以由用户选择采用这些选项的哪一个。另 一方面,如果显示是可接受的,则结束操作。
图8中示出了包括隐含校准的全自动校准方法的实施例。首先, 在延长的时间段上,比方说几小时或几天,通过传感设备1收集信息 (图8中所示的视频信息)721B,在已经收集了数据之后,则分割 对象以进行分析722B。然后,针对图像的不同区域中的不同对象产 生直方图723B。图9中进一步示出了该步骤的详图。
图9示出了具体实现为两步处理的直方图步骤723B,尽管本发 明不局限于这样处理。在步骤1中,系统确定“不突出”的图像区域, 即,其中存在太多混淆对象以致于不能可靠地追踪对象的区域。结果, 只使用能够以高置信度追踪的对象;在本发明的一个实施例中,这些 对象刚好是所存储的对象。在步骤2中,系统仅使用剩余的图像区域, 并形成在这些区域中所检测到的对象的直方图。如步骤2中所示的那 样,以及如图8所示,然后,系统利用直方图来确定在图像的每一个 区域中的人的平均尺寸724B。之后,这些信息用于校准系统725B。 所述的后一个处理与图7的步骤723A相似地实现。
只有当产生有意义的确定的足够数量的对象被登记到给定的区域 时,才执行用于确定在图像区域中的人的平均尺寸的步骤724B。有 意义的直方图所需的确定数量可以利用经验来确定,并且可以诸如取 决于将使绊网暴露的活动量和类型。对于这样的区域,在直方图中检 测峰值。假定在每一个图像区域中的最高峰值即最频繁发生的事是单 个的人。如果确定了该信息,则成功地执行了校准725B,并且系统 能够信号通知其准备好进行实际操作。
典型地,执行图8所示的处理而无需人为的干预。然而,用户能 够提供在其间大多数对象预计是单独的人的时间窗,以缓解设法区分 一群人的问题。在获得信息的步骤721B中或在另外的处理步骤中可 以添加这样的时间窗
每一个自动校准方法(半自动和全自动)需要将图像分割为前景 对象和背景(分别见图7和8的步骤722A和722B)。图10中示出 了此处理的实施例。该典型实施例由三个步骤组成:像素级背景建模 7221;前景检测和追踪7222;以及对象分析7223。
像素级背景建模7221的目的是保持准确的图象背景显示以及从 前景(FG)像素中区分背景(BG)像素。在典型实施例中,该步骤 实现了在2001年3月23日递交的标题为《Video Segmentation Using Statistical Pixel Modeling》的共同转让的美国专利申请NO.09/815,385 中所公开的处理,该公开一并在此作为参考。典型实施例的一般概念 是在几个帧上保持所有像素的历史,包括像素值和其统计量。将稳定 且不变的像素作为背景对待。如果像素的统计量变化显著,则其将当 作前景。如果像素再次稳定,其回复到将其当作背景像素。这个方法 用于减轻传感器噪声和自动地解决向背景的改变(例如,在商店中, 当一个人从架子上取下商品时,瞬时地,将该架子作为前景对待,而 当场景重新稳定之后,将回复到背景)。
前景检测和追踪7222的目的是将前景像素组成为前景对象,并 在大量帧上追踪该前景对象,以确保时空的一致性。这样从像素级背 景建模7221中获得了确定为前景像素的像素集合及其统计特性。在 典型实施例中,利用在本领域中公知的技术,即简单的形态学以及与 连接组件检测,将前景像素在空间上合并为更大的前景对象,利用在 几个帧上的相关方法来追踪这些对象以获得可靠的尺寸信息。在2000 年10月24日递交的标题为《Interactive Video Manipulation》的共同 转让的待审美国专利申请NO.09/694,712中讨论了典型的追踪技术, 该公开在此一并作为参考。此外,参见Wren,C.R.等人所写的 《Pfinder:Real-Time Tracking of the Human Body》,IEEE Trans.on Pattern Matching and Machine Intelligence,Vol 19,pp.780-784,1997; Grimson W.E.L等人所写的《Using Adaptive Tracking to Classify and Monitor Activities in a Site》CVPR,pp.22-29,June 1998,以及Olson,T.J. 和Brill F.Z.,《Moving object Detection and Event Recognition Algorithm for Smart cameras》,IUW,pp.159-175,May 1997。将这些参考文献中 的每一个看作全文合并在此作为参考。
第三步骤,对象分析7223具有许多功能。对象分析7223可以用 来分离和计数对象;在所讨论的对象和“干扰物”(例如购物车)之 间进行区分;确定对象的运动方向;以及说明对象的夹杂。在可选实 施例中,根据以下各项中的一项或多项进行与对象有关的确定,所述 各项为:对象的尺寸;对象的内部运动;类似头部的突起的数量(例 如,在所讨论的对象是人的情况下);以及面部检测(例如,再次地, 在所讨论的对象是人的情况下)。用于执行这种功能的技术在本领域 中是公知的,并且例如,在Allmen M.和Dyer C.所写的《Long-range Spatiotemporal Motion Understanding Using Spatiotemporal Flow Curves》Proc.IEEE CVPR,Lahaina,Maui,Hawaii,pp.303-309,1991、 Gavrial,D.M.所写的《The Visual Analysis of Human Movement:A Survey》CVIU,Vol.73,No.1,pp82-98,January 1999、Collins,Lipton 等人所写的《A System for Video Surveillance and Monitoring:VSAM Final Report》Robotics Institute,Carnegie-Mellon University,Tech.Rept. No.CMU-RI-TR-00-12,May 2000、Lipton,A.J.等人所写的《Moving Target Classification and Tracking from Real-Time Video》1998 DARPA IUW,Nov.20-23,1998、以及Haering,N.等人所写的《Visual Event Detection》Video Computing Series,M.Shah.Ed.,2001中描述了这样 的技术的实例。这些参考文献中的每一个看作全文合并在此作为参 考。
现在,返回到图5,校准步骤72后面跟随有初始化系统的步骤73。 该步骤允许用户输入与系统将如何收集的、响应和报告数据有关的各 种参数。首先,用户可以在图像上添加一条或多条所讨论的线;这些 线将用作一个或多个的绊网(tripwire)。这些线可以具有任意的方位, 并且可以设置在图像中的几乎任何位置;例外之处在于:该线不能太 靠近图像边界出现,因为穿过所述线的对象(例如,人)在出现检测 的线的二侧上至少是部分可见的。在所示出的实施例中,假设绊网设 在图像中的地上;当对象的底部部分(例如,人的腿)穿过线时发生 了检测。在更一般的实施例中,针对每条线,用户可以设置超过地面 的高度。
可以初始化的其它参数包括:主动检测的时间间隔、作为事件检 测的标准的穿过每条线的方向(例如,当有人进入区域时进行确定, 与当有人或者进入或者退出时需要进行确定的情况相反)、以及检测 的灵敏度。
初始化73的另一功能是便于用户选择不同的记录选项。这些选 项确定收集了什么数据,并且可以包括但不局限于:
仅当人(或者,通常,所讨论的对象)穿过时记录;
仅当二个或更多人穿过时记录;
对全部穿过进行记录;
仅当在检测穿过时存在较高置信度时记录;
仅记录检测统计量;
拍“快照”或创建围绕检测事件的整个视频。
这表示由“快照”创建了静态图像,可以简单地是特定的视频 (或其它传感设备)帧,或者可以独立地产生。
在初始化73之后,系统操作以收集和分析数据74。如果用户已 进入了时间窗,当其处于时间窗内部时,系统开始处理。当其检测绊 网事件(具有特定的类型,如果由用户指定)时,将该事件连同伴随 信息一起记录;以下,在数据报告的描述中,伴随信息的类型将变得 明显。在一些申请的上下文中,绊网事件可以触发警报或其它响应76 (例如,拍快照)。
图11中示出了用于执行分析和检测绊网时间的典型技术的实施 例。首先,利用对象分割740从视频中确定前景对象。例如,对象分 割740可以包括如图10中所示和以上所讨论的步骤7221、7222以及 7223。然后,测试前景对象的位置741,以确定其是否与如上所述代 表绊网的线交迭742,在典型实施例中总是假定绊网线位于地上,如 果对象的底部部分与绊网线交迭,确认对象穿过了绊网。如果确定没 有发生交迭,就不存在绊网事件743。如果存在交迭,则如果只将沿 指定方向穿过看作绊网事件,测试穿过的方向744,未发生在指定的 区域中的那些横穿不被看作绊网事件745。如果按照任一方向穿过代 表绊网事件,则处理跳过步骤744的测试。如果已经执行了步骤744 并产生了肯定的结果,或者如果没有执行步骤744,则还可以执行附 加的询问746。例如,这样的询问可以包括:确定所讨论的对象的特 定特征(例如,汽车、卡车、蓝色汽车、蓝色旅行车,小于一定尺寸 的汽车等)或者特定对象(例如,特定的人脸,牌照号码等)如果这 种询问746返回肯定的结果,或者,如果未进行这样的询问,则该处 理确定发生绊网事件747。当然,如果进行了这样的询问746并返回 否定的结果,则将确定还未发生绊网事件。
能够进行几种用于实现穿过方向确定744的方法。作为第一实 例,可以通过利用光流方法对检测为穿过绊网的对象实现检测上述确 定;利用光流方法也可以用来避免对象分割的需要。作为第二实例, 根据对象追踪(在图10的步骤7222中),可以使用轨迹信息。作为 第三实例,通过在由用户加入的每个实际绊网的任一侧上建立辅助(伪) 绊网、并且确定当穿过实际绊网时按照什么顺序穿过了辅助绊网,可 以实现上述确定。
在执行步骤74时,校准72尤为重要,特别是如果只关心特定类 型的对象。例如,如果所讨论的对象是人,校准72允许步骤74在诸 如人和比人小(如猫和老鼠)或比人大(一群人和汽车)的对象之间 进行区分。
当已经收集了数据时,然后,可以将其报告给用户。在本发明的 典型实施例中,用户利用图形用户接口(GUI)可以向系统询问结果。 在这个实施例中,可以显示与一个或多个单独检测有关的摘要信息和 /或详细数据。摘要信息可以包括以下的一个或多个:检测数量、检 测到的人(或其它所讨论的对象)的数量、多人(多对象)检测的数 量(即,当多个人(或其它所讨论的对象)同时地穿过时)、在每个 方向上穿过的人(对象)的数量、在用户选择时间窗内的前述信息中 的任一个或全部、以及一个或全部前述信息的一个或多个的时间直方 图。关于单次检测的细节可以包括以下的一个或多个:时间、检测、 穿过的人(对象)的数量、穿过的对象的尺寸、以及一个或多个快照 或在检测时间附近拍到的视频。
图12和13示出了在典型实施例中的说明性报告显示的屏幕照 片。图12示出了关于穿过跨越走廊的绊网124的摘要信息121。在 这个特定的示例中,屏幕显示包含绊网124的区域的实况视频123。 还包含给出了在期间发生了监视(即,时间窗)的期间和在其间记录 了穿过事件的时间段的说明。摘要信息121包括穿过的数量及其方 向。在这种情况下,用户还已经指定应该显示特定的穿过时间和日期 122。
图13示出了关于特定的穿过事件的单独信息;这些穿过事件刚 好与图12中所示的特定穿过时间和日期122相对应。在图13所示的 显示中,用户已经选择了显示每一个穿过事件的快照及其时间和日 期。特别的,快照131和132与图12中的视频123所示的区域中的 穿过事件相对应。在另一实施例中,用户能够点击快照或与快照有关 的按钮,以观看在穿过事件的时间附近拍到的相应视频。
本发明视频绊网的应用实例是“紧跟”检测。紧跟描述了其中允 许一定数量的人(经常是一个人)进入区域(诸如此类),并且一个 或更多的其它人设法紧紧跟随以便也获得进入的事件。图14描述了 用于实现紧跟检测系统的方法的流程图。在这个实施例中,假定视频 监视摄像机安装在能够记录通过诸如门或回转门的入口进入情况的位 置。此外,如上所述,必须对摄像机进行校准。系统通过检测到人正 在通过入口141进入或正要进入而启动。这可以通过任意数量的方式 来实现:例如,一个人可能必须放入钱,在键盘上输入代码,或通过 读卡机扫卡,或者系统可以使用基于视频的检测方法,以视觉的方式 检测入口的开启(这样将具有不需要与外部设备(读卡机、小键盘等) 的接口的优点,在一些环境中,这可能易于安装和实现)。当检测到 进入时,监视开始142。在此监视期间,系统检测通过入口移动的对 象,并分析对象以确定已经进入了多少人。如果定位了摄像机以使其 能够记录脸部,则如上所述,这可能会涉及面部检测。然后,系统确 定进入的人数是否是容许的143。在所示出的实施例中,一次只允许 一个人进入;然而,在更一般的实施例中,这可以是任意选择的数量。 如果进入了一个人(容许数量),则不需要响应144。另一方面,如 果多于一个的(多于容许数量)人进入,则触发响应145。这样的响 应可以包括:诸如声音警报、拍快照、记录入口周围的视频。利用后 面二种响应的任一个的系统的附加优点在于:在利用读卡机的系统的 情况下,可以在跟踪使用偷来的卡的人时可以提供有用的证据。
在本说明书中所示和讨论的实施例仅打算向本领域的技术人员教 导发明人所知道的实施和利用本发明的最好方式。在说明书的任何内 容不应被当作对本发明范围的限定。如根据上述教导由本领域的技术 人员所意识到的那样,在不脱离本发明的情况下,可以修改和改变本 发明的上述实施例,以及添加和省略元素。因此,应该理解,在权利 要求及其等价物所限定的范围内,可以按照除了如所具体描述之外的 其他方式来实施本发明。
高效检索全球专利

IPRDB是专利检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,专利查询、专利分析

电话:13651749426

侵权分析

IPRDB的侵权分析产品是IPRDB结合多位一线专利维权律师和专利侵权分析师的智慧,开发出来的一款特色产品,也是市面上唯一一款帮助企业研发人员、科研工作者、专利律师、专利分析师快速定位侵权分析的产品,极大的减少了用户重复工作量,提升工作效率,降低无效或侵权分析的准入门槛。

立即试用