用于识别元数据中的结构以并行地自动分析可公开接入的数据组和报告控制实体的方法和设备

摘要

本发明涉及一种用于同时观察和分析许多数据组、尤其是来自可通过因特网公开接入的Webcam或传感器的数据组的方法。应该可以从许多大多具有低质量的数据组中检测到非典型状况。任务通过如下方式解决：生成元数据，关于关键结构检查这些元数据。此外，可以借助于数据组的实际对象群特性与数据组的目标对象群特性的比较来识别非典型状况。通过这种方式，可以有效地监控例如步行区、足球场或地铁站中的人群，并且可以使用大量的自由可用的因特网摄像头。

权利要求

1.一种用于同时观察和分析大量数据组、尤其是来自能通过因特网公开接入的因特网摄像头或传感器的数据组的方法，具有如下步骤：-从所述数据组中生成元数据；

-关于非典型状况和/或关键结构来分析所述元数据；

-如果检测到非典型状况和/或关键结构，则向控制实体报告；

2.根据权利要求1所述的方法，其特征在于，

将元数据生成为对象群的特性，尤其是生成为对象群的密度、密度分布、聚集、流、移动方向、速度、和/或行为模式、对象群的相关的最小值、最大值、平均值、和/或对象群的过去的、当前的或预测的行为。

3.根据权利要求2所述的方法，其特征在于，

根据观察位置的类别和对象群的相关类型来确定数据组的目标对象群特性。

4.根据权利要求3所述的方法，其特征在于，

观察位置的类别是公共场所、体育场、体育场入场区、街道，部分没有或完全没有道路使用者的自由区域和/或自然环境。

5.根据权利要求3或4所述的方法，其特征在于，

对象群的类型是人群、汽车群、自行车群和/或动物群。

6.根据权利要求3至5之一所述的方法，其特征在于，

借助于数据组的实际对象群特性与目标对象群特性的比较来识别非典型状况和/或关键结构。

7.根据权利要求2至6之一所述的方法，其特征在于，

尤其是将非典型状况和/或关键结构识别为对象群中的环形成、定期密集、清晰的边缘、轨迹形成和/或突然散开的对象。

8.根据权利要求3至7之一所述的方法，其特征在于，

借助于数据组的片段的实际对象群特性与该片段的目标对象群特性的比较来识别非典型状况和/或关键结构。

9.根据权利要求2至8之一所述的方法，其特征在于，

借助于对数据组进行过滤以便将元数据映射为位置和/或时间的函数和/或借助于模式识别来识别状况和/或结构。

10.根据权利要求3至9之一所述的方法，其特征在于，

自动识别观察位置的类别和/或对象群的类型。

11.根据权利要求1至10之一所述的方法，其特征在于，

自动识别非典型状况和/或关键结构和/或自动向控制实体报告。

12.一种用于同时观察和分析大量数据组、尤其是来自能通过因特网公开接入的因特网摄像头或传感器的数据组的设备，具有用于执行根据权利要求1至11之一所述的方法的装置。

说明书

用于识别元数据中的结构以并行地自动分析可公开接入的

数据组和报告控制实体的方法和设备

技术领域

[0001] 本发明涉及用于观察和分析大量实时数据组、尤其是来自可通过因特网公开接入的因特网摄像头-所谓的Webcam(网络摄像头)-的实时数据组以识别非典型状况和/或关键结构并将这样识别的实时数据组通告给控制实体的一种方法和一种设备。

背景技术

[0002] 应该以如下方式使得能够同时观察和分析大量的公开实时数据组，例如由Webcam提供的公开实时数据组：危险时刻被识别出来并且可以自动通过所谓的“通知”要求主管机关人工地观察这些所识别的数据流、尤其是来自Webcam的数据流。这是所谓的自动的清理中心功能(Clearing-Center-Function)，该自动的清理中心功能已经可以通过常规方式来实现。

[0003] 通过在世界范围内在不同的、也是国际的位置上使用因特网并且尤其是使用所谓的Webcam，对这些位置的观察并且因此也对人群和交通状况的观察变得非常简单。许多这样的数据是可公开接入的，但是因为这些数据的数量巨大不是所有数据都能被主管机构分析。同样地，这些数据的质量、尤其是图像的质量常常不足以能够直接将模式识别方法应用于分析。因此，虽然这样的Webcam的信息可提供使用，但是该信息根本不被使用或分析或者因此不被充分使用或分析。

[0004] 越来越多的Webcam可在因特网中自由接入，并且可由大量的个人使用。但是不存在例如由主管机关已经设立的自动分析。

[0005] 由于数据量，不可能同时人工地观察大量在因特网中可用的与安全相关的公共场所的视频图像。由于图像的质量较差并且算法的运行时间长，不可能通过图像处理方法中的经典模式识别进行直接的自动分析。

发明内容

[0006] 本发明的任务是提供用于观察和分析大量的实时数据组-尤其是来自可通过因特网公开接入的因特网摄像头的实时数据组-以识别非典型状况和/或关键结构并且将这样识别的实时数据组通告给控制实体的一种方法和一种设备，其中所述数据组的质量可以为低。将使得能够自动识别危险状况，所述危险状况例如可能由于人员或关键人流的聚集或者由于不允许的行为模式造成。将使得能够同时分析来自非常大量的网络摄像头或其他可公开接入的传感器的数据。这样的数据通常以较差质量存在。

[0007] 该任务通过根据独立权利要求的方法和根据并列独立权利要求的设备来解决。

[0008] 本发明与经典的模式识别方案的区别在于，根据本发明被称为结构识别的所述模式识别已经基于元数据-例如对象群密度，而不是直接基于视频图像。这样生成的小的细节深度首先允许并行观察大量的因特网摄像头。优选的是，视频图像具有例如从俯视角度(Vogelperspektive)生成的一定特性，使得这些图像容易被分析。相反，来自许多具有重叠的角度的视图难以被分析。然而，大多数常规的Webcam都被悬挂在高处。

[0009] 假设，数据被传送到从视频图像中生成元数据的位置处。元数据应理解为尤其是例如人群密度、人群密度分布以及人群的移动方向和速度。元数据导致额外的抽象层和相对于对数据、尤其是对视频图像的直接分析的简化。对视频图像的直接分析例如可以用常规方式通过模式识别来进行或者是用常规方式对人进行跟踪。元数据具有两个显著的优点。如果直接的模式识别方法由于数据的质量而可能不能进行或者会持续得太长，则可以对元数据进行收集。元数据是对状况的简化，因此减少了信息流并且因此使得能够对非常多的数据流进行并行分析。

[0010] 从可能指示危险的非典型状况和/或关键结构方面对元数据进行有针对性的分析是本发明的第二步骤。如果识别出这样的非典型状况和/或关键结构，则报告控制实体，例如将通告发送到控制中心中，在该控制中心中操作人员检查所涉及的Webcam的图像。数据收集的各个层在图1中示出。

[0011] 根据本发明，收集高度简化的元数据-例如人员密度，在这些元数据中可以识别出有说服力的结构，例如过度拥挤或环形成。如果识别出与安全有关的结构，则在控制中心中转换成人工监控。从中得出许多优点。元数据也可以在较差图像质量的情况下生成。元数据被高度简化并且允许对数据的快速分析。对观察区的分类允许快速识别非典型结构和状况。现在可以使用自由可用的关于交通的信息源，这例如是Webcam。数据可以被自动分析。不寻常的测量结果可以被通告。只有在数据组被指示为“值得观察”的情况下，才由人观察该特别指示的数据组。只有这样的效率提高才使得有可能观察许多自由的Webcam。

[0012] 此外得出下面的优点。现在，可以在有限的时间段中、即在多个时间步骤/时间脉冲上来计算关于发展的预测。因此，可以更好的预见危机并且更快地引入措施。所述预测允许在第一步骤中进行反应以便对人流进行前瞻性的控制。这为生命提供提高了的安全性。安全预防措施的部分自动化是可能的。此外，可以提供针对经济和旅游业的更好的统计报告。

[0013] 在怀疑有根据本发明应识别出的危险状况时，自动向主管当局发送“通知”并且因此请求由操作人员进行观察，从而可以及时引入相应的措施。

[0014] 可以在从属权利要求中发现其他有利的扩展方案。

[0015] 根据一个有利的扩展方案，将元数据生成为对象群的特性，尤其是生成为对象群的密度、密度分布、聚集、流、移动方向、速度、和/或行为模式、对象群的相关的最小值、最大值、平均值、和/或对象群的过去的或预测的行为。在此，对于对象群、例如人群的每个类型定义特定的特征。这例如可以借助于参数-人群的(典型的)密度、群的速度(典型的最小平均速度/最大平均速度的确定)、移动方向以及典型的行为模式来进行。这样的参数可以分别是当前的时刻、过去的时刻或将来行为的预测。

[0016] 根据另一有利的扩展方案，根据观察位置的类别和对象群的相关类型来确定数据组的目标对象群特性。基于可接入的数据源-例如Webcam，将这些源按照观察位置和对象群的相关类型来分类。下面对观察位置和道路使用者流的分类提出更精确的建议。

[0017] 根据另一有利的扩展方案，观察位置的类别例如是公共场所、体育场、体育场入场区、街道和/或自然环境。类别“公共场所”例如可以具有如下特性：场所的大小。该场所只装有人作为对象群。该场所中的人具有小的人员速度。这些人形成典型的方向/移动模式。另一类别例如是“体育场”。在此，体育场内部具有如下特性：人的最大数目。该体育场在内部只装有人。这些人具有非常小的速度或没有速度。类别“体育场入场区”例如具有如下特性：人的典型方向/移动模式。每面积存在最大人员密度。只存在时间有限的行为。类别“街道”，类型高速公路：高速公路是多车道的，机动车具有典型的方向/移动模式。每面积单位存在最大机动车密度。类型交通干道：交通干道最多是两车道的。机动车具有相对小的速度。存在机动车的典型方向/移动模式。每面积单位存在最大机动车密度。类型支线道路：支线道路是单车道的，机动车具有非常小的速度。机动车具有典型的方向/移动模式。每面积单位存在最大机动车密度。同样地，应该自动分析有或没有人群的区域组合并且通告非典型行为，例如a)在地铁站台上。在站台上有人。在铁轨区域没有人。b)足球场。在座位上有人。在到比赛场地的隔离栅栏的另一边没有人。c)警察封锁/示威。在障碍物前有人。在障碍物的另一边没有人。同样应该被识别的是没有道路使用者的自由区域，也就是说“不存在人群”，即例如a)拍摄风景的Webcam。b)拍摄建筑物。c)观测天气等等。类别“自然环境”：自然环境具有以下特性。只存在非常少量的人。这些人的速度非常小。这些人形成典型的方向/移动模式。

[0018] 根据另一优选的扩展方案，借助于人、汽车、自行车和/或动物构成对象群。对不同类型的对象群进行定义。其他类型的对象群例如可以是：人群：a)静止的人群，例如在足球比赛期间的足球场中的人群。b)有目标的和顺畅移动的人群，例如去往足球场/从足球场出来的人群。c)无目标的和以强列波动的速度和方向移动的人群，例如在十月节上的人群。d)在地铁站台上以10分钟为周期具有连续增长或突然下降的人群密度的周期性变化的人群。公路交通：a)可以想像高速公路上或堵车时具有非常结构化的汽车群模式以及相应更高速度的汽车交通流，所述汽车群模式即例如一车道、两车道或多车道。b)按照街道类型进行划分。

[0019] 根据另一优选的扩展方案，借助于数据组的实际对象群特性与对象群的相关类别和相关类型的目标对象群特性的比较来识别非典型状况和/或关键结构。针对观察位置或区域识别所谓非典型状况和/或关键结构原则上通过与通过所述分类所生成的常态数据或允许数据的比较来进行。尤其是同样可以定义每人群类型的非典型行为并且因此定义例外行为，即该人群类型不应具有何种行为，以及可以对多种非典型行为模式进行定义。a)人群的关键密度，过小和过大两者。b)人群的过高速度。c)混乱的或突然的方向改变。可接入的数据源-如Webcam-是起始点。利用关于典型密度以及典型的和允许的行为的信息根据观察位置和人群的相关类型对这样的源进行分类。典型的和允许的行为例如是以特定速度行走。此外，确定不允许的密度和行为方式。对当前看到的数据与常态数据或允许数据进行比较。

[0020] 根据另一有利的扩展方案，尤其是将非典型状况和/或关键结构识别为对象群中的环形成、定期密集、清晰的边缘、轨迹形成和/或突然散开的对象的非典型状况和/或关键结构。也就是说，除了非典型状况之外，还应在元数据中识别根据本申请被称为结构的特定模式。这种特殊的群结构例如可以通过群中人员的跌倒或事故而造成。因此，这种特殊的结构可能指示危险。为了识别这种结构，应将元数据理解为位置、即映射到观察区上的位置的函数和映射到观察时段上的时间的函数。例如，在任何时刻的人员密度是位置的函数。该函数随观察区而改变。人员密度中的结构现在可以通过图像处理的经典模式识别方法来识别，该方法不是本申请的主题。用于分析的元数据中的相关结构可以在特定时刻形成。人们将其称为随着时间变化的纯位置相关性，称为纯时间相关性或与位置和时间的相关性。以下结构是特别重要的：a)环形成。环形成例如表明人流中的事故。固定时刻的环可以被识别。同样应该识别普遍的环结构，例如椭圆、不完全为圆的环、有人在中心的环。b)数量上的定期密集，即有规律地出现密集。在固定时刻的有规律的密集指示数量上的波浪形移动。这种波浪形结构、即骚动，是对恐慌开始的指示。然而，仅在时间上的定期密集可能不是关键的，例如地铁的定期到达。c)清晰的边缘。群中的清晰边缘指示界限，例如栅栏。新出现的边缘或者必然导致观察区的重新分类，也就是说例如必须考虑建筑项目，或者该新出现的清晰边缘指示不允许的障碍。d)轨迹形成。在高人员密度的情况下形成相对的人流、即所谓的轨迹，其中人一个接一个行走。这是对明显提高的人员密度的指示，其中可能出现关键性状况。e)突然散开的人。到目前为止一直紧密地站在一起并且现在突然散开的人表明事故或恐慌。这些模式应当被识别出来。

[0021] 根据本发明的另一优选的扩展方案，借助于数据组的片段的实际对象群特性与该片段的相关类别的目标对象群特性的比较来识别非典型状况和/或关键结构。数据的允许性不必适用于Webcam的全部观察到的图像，而是随着观察区而变化。这允许对数据组的特别的、也是关键的子区域或片段-这例如是出口和入口-进行识别和特殊观察，以及对数据组中的特征性结构的识别。

[0022] 根据本发明的另一优选的扩展方案，借助于对数据组进行过滤以便将元数据映射为位置和/或时间的函数和/或借助于模式识别来识别状况和/或结构。使用用于过滤/自动分析数据组的方法，所述数据组通过观察场所处的Webcam生成。这些Webcam将例如是人员密度或汽车密度的元数据映射为随时间变化的位置的函数。

[0023] 根据本发明的另一优选的扩展方案，自动识别观察位置的类别和对象群的相关类型。因此在一步骤中期望的是，已经使观察位置的分类自动化。起始点例如应当是来自因特网的任意Webcam的数据/视频流。目标是对这些数据的分析，从而对分类所需要的参数进行自动的正确选择。

[0024] 根据本发明的另一优选的扩展方案，自动识别非典型状况和/或关键结构和/或自动向控制实体报告。一种可能的方法是，基于个人的预知和对Webcam图像的固有图形解释，将所观察的人群的类型映射为先前定义的类型。此后，拥挤控制程序可以为该具体选择的类型设置相应的参数极限以及相应的行为模式。拥挤控制程序是使得能够对典型状况和/或关键结构进行自动识别的机制。相应的非典型行为并且因此例外行为和/或关键结构可以被识别出来并且因此可以被通告(这对应于人工的类型预定)。可替换地可以进行自动的类型选择。也就是说，在通过先前的方法对Webcam的图像执行多次分析之后，可以为该Webcam确定特征性的值，如道路使用者-例如人群-的密度、速度或者方向，并且如果所观察的道路使用者的行为在此之前不是关键性的，则所述值也同样被分配给先前定义的类型之一。对此，可以重新为该现在自动选择的类型设置相应的参数极限以及相应的行为模式，可以识别并且因此通告非典型行为以及例外行为和/或关键结构。对特定的行为模式进行分配。如果现在已经将Webcam的视频流的数据分配给一种人群类型，则可以为该场景加载相应的类型模式行为。这是a)参数的最小值/最大值以及平均值。b)人群的密度。c)速度，其中确定典型的最小速度/最大速度、平均速度。d)环，以及e)群内的典型模式以及f)群的过去的或预测的行为。对非典型的行为模式进行自动识别。通过刚描述的到特定行为模式的分配并且通过实际状况与所分配的模式的比较，可以自动识别非典型行为或例外行为和/或关键结构。这可以向相应的站点通告，使得可以在那里采取措施。因此可以自动分析例如人群的行为，并且在怀疑时发起人工观察。

附图说明

[0025] 结合附图借助于实施例进一步描述本发明。

[0026] 图1示出数据收集的各个层；

[0027] 图2示出根据本发明的方法的实施例。

具体实施方式

[0028] 图1示出数据收集的各个层。在此，层1对应于现实。借助于成像，例如借助于视频将现实转化为现实的图像2。借助于图像识别的方法并且借助于特征提取，随后是层3，在层3中可以检测到特性，例如人、汽车或箱子或其特性。

[0029] 借助于例如关于人员密度的计数算法、分析算法，基于层3的特征参量或元数据-例如人员密度-可以被传送到层4中。

[0030] 现在根据优选的实施方式，借助于结构识别、也就是说借助于对数据组进行过滤以便将元数据映射为位置和/或时间的函数和/或借助于来自图像处理的经典模式识别来从层4的元数据中生成结构层5，结构层5同样可以称为状况层5。

[0031] 现在，在层6中，检测非典型状况和/或关键结构。对非典型状况和/或关键结构的识别原则上借助于实际对象群特性与允许的对象群特性的比较来进行，例如借助于从数据库中查询非典型状况和/或关键结构来进行。在元数据中，可以通过这种方式来识别非典型状况和/或关键结构，这例如是例如作为人群密度分布形式生成的环。其他的非典型状况和关键结构同样是可能的。非典型状况和关键结构例如可以是对象群中的定期密集、清晰的边缘、轨迹和/或突然散开的对象。

[0032] 对于出现非典型状况和关键结构的情况，作为最后一个步骤进行向控制实体7的报告。从元数据中形成结构。通过比较确定关键结构。在存在关键结构的情况下报告控制实体。

[0033] 在图2中公开根据本发明的完整方法的一个简单实施例。在可选的步骤1中，在步行区的公共场所设置新的Webcam。在步骤S2中，或者用手或者已经自动地借助于与模式数据组的比较进行数据流的分类。例如分类为公共场所，在公共场所中行人是允许的道路使用者，并且允许的人员密度例如是每平方米两个人。利用第三步骤S3进行连续分析，所通过的方式是执行连续的密度测量。进行所确定的密度与允许范围的连续比较。利用步骤S4进行出现危险时的报告，这可以称为“通知”。在离开允许范围时，向主管机构或清理中心进行自动通告。这样的通告例如可以表示，该场所过度拥挤。现在，借助于操作人员来观察通过Webcam生成的数据流，该操作人员认识该Webcam的相应URL(UniformResource Locator，统一资源定位符)。

[0034] 在许多因特网摄像头的情况下，例如在清理中心中首先对不同的观察场景-即观察位置和对象群类型-进行分类并且根据该分类进行分析，并且在怀疑有危险的情况下将结果转发到负责的主管机构。