用于企业管理的机器视觉系统转让专利
申请号 : CN200780053328.8
文献号 : CN101790717A
文献日 : 2010-07-28
发明人 : 安德鲁·J·格里菲斯 , 罗杰卡尔·米卡尔·安德哈根 , 廷库·阿查里雅
申请人 : 阿维萨瑞公司
摘要 :
提供了一种用于管理企业内感兴趣活动的系统。该系统包括被配置用于以下操作的计算机：(i)接收与企业的关键活动相关的传感器数据，这样的关键活动包括对象的类型和对象在与企业相关联的预定位置的活动，传感器提供信息，从该信息能够取得对象的类型和在预定位置的活动，(ii)处理所述传感器数据以生成与所述企业的关键活动相关的输出，以及(iii)以适当的方式存储从所处理的数据中提取的信息用于知识提取和未来分析。根据优选实施例，所述对象是人、机器或车辆，并且所述计算机被进一步配置用于将传感器数据关联至该企业的关键活动，并且所述输出包括基于该关联的反馈数据。
权利要求 :
1.一种用于管理企业内感兴趣活动的系统，包括被配置用于以下操作的计算机：(i)接收与企业的关键活动相关的传感器数据，这样的传感器数据包括由传感器在与对象依从性无关的预定位置取得的数据并且这样的关键活动包括对象、和在所述传感器数据中相对于其它物理不同对象的活动状态的所述对象的活动状态，以及(ii)处理所述传感器数据以生成与所述企业的关键活动相关的输出。
2.如权利要求1所述的系统，其中所述计算机被进一步配置以将过去和当前的传感器数据的组合与该企业的关键活动相关联，并且所述输出包括基于所述关联的反馈数据。
3.如权利要求2所述的系统，其中所述对象包括有生命的对象。
4.如权利要求3所述的系统，其中所述有生命的对象是从包含人、机器、动物/生物以及前述的组合的组中选取的。
5.如权利要求2所述的系统，其中所述对象包括无生命的对象。
6.如权利要求5所述的系统，其中所述无生命的对象是从包含自然对象、人造对象、类似机器的对象以及前述的组合的组中选取的。
7.如权利要求1所述的系统，其中所述对象包括有生命的对象。
8.如权利要求7所述的系统，其中所述有生命的对象是从包含人、机器、动物/生物以及前述的组合的组中选取的。
9.如权利要求1所述的系统，其中所述对象包括无生命的对象。
10.如权利要求9所述的系统，其中所述无生命的对象是从包含自然对象、人造对象、类似机器的对象以及前述的组合的组中选取的。
11.如权利要求1所述的系统，其中所述系统被配置为压缩所述传感器数据以存档。
12.如权利要求2所述的系统，其中所述系统被配置为压缩所述传感器数据以存档。
13.如权利要求2所述的系统，其中所述计算机包括识别所述企业的关键活动的数据结构，并且所述反馈数据能够被用于修改识别所述企业的关键活动的数据结构。
14.如权利要求1所述的系统，其中与所述对象相关的传感器数据能够被与其它传感器数据分开存储。
15.如权利要求2所述的系统，其中与所述对象相关的传感器数据能够被与其它传感器数据分开存储。
16.如权利要求1所述的系统，其中所述输出包括与所述企业的关键活动相关的报告。
17.如权利要求2所述的系统，其中所述输出包括与所述企业的关键活动相关的报告。
18.如权利要求1所述的系统，其中所述系统被配置为加密传送至所述计算机的传感器数据。
19.如权利要求2所述的系统，其中所述系统被配置为加密传送至所述计算机的传感器数据。
20.如权利要求1所述的系统，其中所述系统被配置为加密所述输出。
21.如权利要求2所述的系统，其中所述系统被配置为加密所述输出。
22.如权利要求1所述的系统，其中所述输出包括被配置为用于通信到在所述系统的外部的设备的消息。
23.如权利要求2所述的系统，其中所述输出包括被配置为用于通信到在所述系统的外部的设备的消息。
24.如权利要求1所述的系统，其中所述计算机包括跨所述系统分布的多个计算组件。
25.如权利要求2所述的系统，其中所述计算机包括跨所述系统分布的多个计算组件。
26.如权利要求1所述的系统，其中所述输出包括被配置为用于使用无线通信来通信到外部设备的消息。
27.如权利要求2所述的系统，其中所述输出包括被配置为用于使用无线通信来通信到外部设备的消息。。
28.如权利要求1所述的系统，其中所述输出可由便携式计算设备外部访问。
29.如权利要求2所述的系统，其中所述输出可由便携式计算设备外部访问。
30.如权利要求1所述的系统，其中所述输出可由非便携式计算设备外部访问。
31.如权利要求2所述的系统，其中所述输出可由非便携式计算设备外部访问。
说明书 :
技术领域
本发明涉及机器(例如，计算机)视觉领域及其应用至企业(enterprise)(例如，公司、社区、家庭以及所关注的其它地域或区域)内的人类活动和/或交互的优化和利用以监视事件和帮助自动或半自动决策过程来更有效和负责任地管理企业。
背景技术
由于在过去20年内计算机和电子传感器技术的发展，以及由于对拥有机器(例如但并不限于计算机)的持续魅力提供了通常需要人类智力的功能，近些年机器视觉领域在理论和实践中都显著地成熟。该成熟伴随着许多使用运行于商用可获得的计算机的机器视觉算法和使用商用可获得的传感器(例如，可见光焦平面阵列)来推断传感器数据事件(例如，运动或其它改变)、从其它事件中分离人类相关事件、识别传感器数据中移动和静止的对象以及识别由从该传感器数据推断的事件所隐含的特定活动的示范和示范公开。
在应用上的和理论上的机器(例如，计算机)视觉中的大多数这种活动已经针对机器人和生物识别(人的正确识别)的高级领域，其中尝试模仿人类丰富的感知能力以理解他们自己与周围环境的交互或能够推断其他人的独特个人特征(例如，面部特征、运动、步态等等)以帮助唯一识别他们。当然，对于机器视觉的研究人员来说存在重大困难问题需要解决以及仍然是一个持续的挑战。
但是，作为其结果，研究界已经把他们的机器视觉努力放在人类感知和生物识别的长期目标上，并且由于此，除了极少数的例外，大部分在适合完全商业开发的水平上尚待解决，至今做出的重大进步还未发现应用在商业产品上，尽管机器视觉技术(如在公开文献和开源代码处理组件中可获得的)的应用目前可被用于向零售、批发、相关制造业及市政当局提供明显的商业价值。
至今所缺乏的是将机器视觉算法的元素和商业相关的人类活动与企业(例如，公司、社区、家庭以及其它相关地域或区域)网络以及通信基础设施集成的系统设计和体系结构，使得至今的机器视觉用于观察对象、基本人类活动和基础事件(例如，运动或其它变化)的进展可被用来提供与企业目前操作有关的有价值和及时信息(例如，情景意识)。
在此公开的本发明揭示说明了一种新颖的系统设计，其使用传感器数据(例如，机器视觉)事件并将它们与关键活动识别符(例如，特定人类活动、动物活动、或人类、动物、机器之间的交互等等)相结合以使得来自于传感器的事件数据可用于决策逻辑以实时(例如，即时消息，作为一个示例但不限于此)和延迟(例如，数据库服务器、数据挖掘应用服务，但不局限于此)通知和/或记录对商业、市政类型公共企业或私有企业感兴趣的事件和相互关系，许多这些企业还具有面向顾客服务的环境。此外，本发明的系统体系结构能够将机器视觉技术应用于自动或半自动企业情景意识以推断和优化人与其他人类对象和/或动物(由于这些是常见于许多企业并且已知在一些设置中与人类活动相关联)和/或由人类对象使用或与其相关联的企业设备交互的价值(例如，商业价值，但不局限于此)。
本发明做到目前还未做到的是为机器视觉和统计数据分析领域非从业者提供一种访问高级机器视觉和统计数据分析能力的自动或半自动系统设计，以改进或增强企业和其管理的效率，其中人类活动以企业自身(例如，住宅或办公楼)中的使用或企业进行生产、销售或购买可销售产品(例如，电子组装设备、餐馆、零售销售货物商店等等，只是仅仅列出了一些，但是并不限于此)中的使用为显著特色。
如在本公开中所使用的，事件是在由传感器观察的特定感兴趣场景中发生的现象，其可以是对于本发明的特定用户特定感兴趣的现象。由于本发明的目的是为关注特定相关企业的用户提供态势感知(situational awareness)，并非所有的事件都导致至用户的通信(例如，消息)。相反，在一定程度上，事件被通信给用户仅仅由于其类似于那些用户确定是重要的事件，或者通过由事件数据(例如，事件不会容易地与非常罕有的在传感器数据中发生一次的纯粹随机性、随着时间重复发生的、或在同一位置反复发生的事件等等相混淆，在此只列出了一些示例)的时间和/或空间行为所暗示的有效证据被本发明认为是重要的事件。
对于本公开，这些事件是关键活动。由此遵循在企业管理中有用的关键活动消息将包含下列五个要素中的任意或全部：1)什么对象在移动或改变(人、动物、车辆、机器、其它无生命对象)2)移动或改变的对象在进行什么行为3)该对象所处的位置，4)该运动或改变发生的时间以及5)机器或人为某一目的做决定的现象或活动中改变的可测量说明。
零售商店用户可能感兴趣的事件可以例如包括在收银台前超过3个人(作为示例)的排队长度，或用户视为高得不能接受的其它数目。社区组织感兴趣的事件的示例例如可以是连续几个夜间当该社区的人在睡觉时在一个小巷中出现的车辆。对于路面和交通关注可能感兴趣的示例事件是在设置交通信号灯的繁忙街道等待穿越的排队人的数目。
在应用上的和理论上的机器(例如，计算机)视觉中的大多数这种活动已经针对机器人和生物识别(人的正确识别)的高级领域，其中尝试模仿人类丰富的感知能力以理解他们自己与周围环境的交互或能够推断其他人的独特个人特征(例如，面部特征、运动、步态等等)以帮助唯一识别他们。当然，对于机器视觉的研究人员来说存在重大困难问题需要解决以及仍然是一个持续的挑战。
但是，作为其结果，研究界已经把他们的机器视觉努力放在人类感知和生物识别的长期目标上，并且由于此，除了极少数的例外，大部分在适合完全商业开发的水平上尚待解决，至今做出的重大进步还未发现应用在商业产品上，尽管机器视觉技术(如在公开文献和开源代码处理组件中可获得的)的应用目前可被用于向零售、批发、相关制造业及市政当局提供明显的商业价值。
至今所缺乏的是将机器视觉算法的元素和商业相关的人类活动与企业(例如，公司、社区、家庭以及其它相关地域或区域)网络以及通信基础设施集成的系统设计和体系结构，使得至今的机器视觉用于观察对象、基本人类活动和基础事件(例如，运动或其它变化)的进展可被用来提供与企业目前操作有关的有价值和及时信息(例如，情景意识)。
在此公开的本发明揭示说明了一种新颖的系统设计，其使用传感器数据(例如，机器视觉)事件并将它们与关键活动识别符(例如，特定人类活动、动物活动、或人类、动物、机器之间的交互等等)相结合以使得来自于传感器的事件数据可用于决策逻辑以实时(例如，即时消息，作为一个示例但不限于此)和延迟(例如，数据库服务器、数据挖掘应用服务，但不局限于此)通知和/或记录对商业、市政类型公共企业或私有企业感兴趣的事件和相互关系，许多这些企业还具有面向顾客服务的环境。此外，本发明的系统体系结构能够将机器视觉技术应用于自动或半自动企业情景意识以推断和优化人与其他人类对象和/或动物(由于这些是常见于许多企业并且已知在一些设置中与人类活动相关联)和/或由人类对象使用或与其相关联的企业设备交互的价值(例如，商业价值，但不局限于此)。
本发明做到目前还未做到的是为机器视觉和统计数据分析领域非从业者提供一种访问高级机器视觉和统计数据分析能力的自动或半自动系统设计，以改进或增强企业和其管理的效率，其中人类活动以企业自身(例如，住宅或办公楼)中的使用或企业进行生产、销售或购买可销售产品(例如，电子组装设备、餐馆、零售销售货物商店等等，只是仅仅列出了一些，但是并不限于此)中的使用为显著特色。
如在本公开中所使用的，事件是在由传感器观察的特定感兴趣场景中发生的现象，其可以是对于本发明的特定用户特定感兴趣的现象。由于本发明的目的是为关注特定相关企业的用户提供态势感知(situational awareness)，并非所有的事件都导致至用户的通信(例如，消息)。相反，在一定程度上，事件被通信给用户仅仅由于其类似于那些用户确定是重要的事件，或者通过由事件数据(例如，事件不会容易地与非常罕有的在传感器数据中发生一次的纯粹随机性、随着时间重复发生的、或在同一位置反复发生的事件等等相混淆，在此只列出了一些示例)的时间和/或空间行为所暗示的有效证据被本发明认为是重要的事件。
对于本公开，这些事件是关键活动。由此遵循在企业管理中有用的关键活动消息将包含下列五个要素中的任意或全部：1)什么对象在移动或改变(人、动物、车辆、机器、其它无生命对象)2)移动或改变的对象在进行什么行为3)该对象所处的位置，4)该运动或改变发生的时间以及5)机器或人为某一目的做决定的现象或活动中改变的可测量说明。
零售商店用户可能感兴趣的事件可以例如包括在收银台前超过3个人(作为示例)的排队长度，或用户视为高得不能接受的其它数目。社区组织感兴趣的事件的示例例如可以是连续几个夜间当该社区的人在睡觉时在一个小巷中出现的车辆。对于路面和交通关注可能感兴趣的示例事件是在设置交通信号灯的繁忙街道等待穿越的排队人的数目。
发明内容
在此所公开的发明描述了一种用于管理企业内感兴趣活动的系统，包括被配置用于以下的计算机：(i)接收与企业的关键活动相关的传感器数据(这样的传感器数据包括由传感器在与对象依从性无关的预定位置取得的数据并且这样的关键活动包括对象、和在所述传感器数据中相对于其它物理不同对象的活动状态的所述对象的活动状态)，以及(ii)处理所述传感器数据以生成与所述企业的关键活动相关的输出。
根据优选实施例，该计算机被进一步配置用于将过去和当前传感器数据的组合与该企业的关键活动相关联，并且输出包括基于该关联的反馈数据。
本发明应用机器(例如，计算机)视觉算法，该算法使用应用于传感器数据的时间序列(例如，在线或离线数字视频图像序列，不同类型的多媒体数据)的活动标识符(例如，数据模型、数据记录)，以检测与本发明的用户(例如，企业管理者)相关的事件。基于通过使用计算系统挖掘可用数据的的知识发现和信息提取，本发明应用与这些事件的统计有效性相关的决策逻辑，以生成能被立即发送和/或为随后处理被存储的消息。
如在本公开中所使用的，传感器数据是在预定位置和时间在或临近企业处收集的量化信息，其可被用于使用机器视觉算法来推断企业的事件和关键活动。传感器数据在与对象依从性无关的预定位置收集，意味着与本发明推断的对象有关的信息的收集无需该对象的参与，与典型的生物识别(例如，指纹、面部识别、虹膜识别等等)系统需要对象参与的信息相反。
如在本公开中所使用的，对象是任何的物理实体，这样的实体可以是有生命(animate)的或无生命(inanimate)的。有生命的对象被认为是动物/生物、人、或机器。无生命的对象被认为是人造的或自然的。人造对象还被进一步认为是机器、建筑、陈设或用具(例如，工具、武器，在此仅仅列出一些)。
如在本公开中所使用的，活动是空间和时间上的运动，诸如通过本身移动或被移动的对象观测到的，并且包括被认为关于对象不发生运动的情况。
如在本公开中所使用的，企业是与负责管理或监视其中活动的人所关注的公司、社区、家庭或其它物理地区或区域。
如在本公开中所使用的，事件是在由传感器观察的特定感兴趣场景中发生的现象，其可以是对于本发明的特定用户特定感兴趣的现象。由于本发明的目的是为关注特定相关企业的用户提供态势感知，并非所有的事件都导致至用户的通信(例如，消息)。相反，在一定程度上，事件被通信给用户仅仅由于其类似于那些用户确定是重要的事件，或者通过由事件数据(例如，事件不会容易地与非常罕有的在传感器数据中发生一次的纯粹随机性、随着时间重复发生的、或在同一位置反复发生的事件等等相混淆，在此只列出了一些示例)的时间和/或空间行为所暗示的有效证据被本发明认为是重要的事件。
对于本公开，关键活动是用户确定其是重要的和/或由事件数据的时间和/或空间行为所暗示的有效证据被本发明认为是重要的事件(或事件组)。包括在企业管理中有用的关键活动消息的输出包括下列五个要素中的任意或全部：1)什么在移动或改变(人、动物、车辆、机器、其它无生命对象)，2)移动或改变的对象在进行什么行为3)该对象所处的位置，4)该运动或改变发生的时间以及5)机器或人为某一目的做决定的现象或活动中改变的可测量说明。
零售商店用户可能感兴趣的事件可以例如包括在收银台前超过3个人的排队长度，或用户视为高得不能接受的其它数目。社区组织感兴趣的事件的示例例如可以是连续几个夜间当该社区的人在睡觉时在一个小巷中出现车辆。
由本发明生成的事件消息可以以适合在商业可获得的统计分析软件中使用的格式(例如，数据库)被存储。但是优选实施例固有地提供对所记录信息分析空间和时间相关事件，当达到统计有效点时发信号至企业负责人以检查这些相关性和基本的活动事件。此外，通过对持续(on an ongoing basis)发生的记录信息的固有分析，该系统接着能够为感兴趣的关键活动数据提供自动更新，从而消除分析者/观察者回顾由系统持续生成的数据而不是获得对导致消息的基本事件的理解的需求。
这样，企业负责人能够被警告与该企业的操作以重要方式相关连的事件的存在，即使这些事件不能够确切地由单个观测者观测或必要地相关感知。这甚至对于感测者手工观察传感器数据是真实的，认识到人类操作员持续执行这种职责的警惕性和耐久性的局限性。
最后，为了保护在传感器和剩下计算机和通信基础设施之间传送的事件数据和原始传感器数据，特别是当使用了机器视觉算法的嵌入式实施方式(例如，传感器和专用的计算资源共同位于单个壳中并且通常不需要任何操作系统)时，本发明优选使用嵌入式和应用层(例如，在操作系统的上下文中以及计算机用户可访问)加密或事件数据和原始数据的其它安全测量的组合以保护该系统的操作和所涉及组件的完整性(例如，防止企业数据的商业间谍行为)。
在申请人的经验中，已存在的系统确实生成用于分析的数据，但是并不使用该数据来自动地进行以信号提示一致性和/或统计有效性以辅助自动决策管理系统。所以本发明扩展了该技术的状态，例如，在操作研究方面，通过从机器视觉、模式识别、通信、系统、多媒体处理、网络、统计和相关知识提取原理中提供技术。本发明预期的应用包括但不局限于：宾馆和餐饮管理、零售店的销售管理以及客户关系、老年人看护管理和质量保证、健康护理管理、用于质量和安全的制造和车间管理、市政和/或社区保障、安全、土地使用和交通及公路应用。
本发明的其它特征能够从下面详细描述和附图中清晰可见。
根据优选实施例，该计算机被进一步配置用于将过去和当前传感器数据的组合与该企业的关键活动相关联，并且输出包括基于该关联的反馈数据。
本发明应用机器(例如，计算机)视觉算法，该算法使用应用于传感器数据的时间序列(例如，在线或离线数字视频图像序列，不同类型的多媒体数据)的活动标识符(例如，数据模型、数据记录)，以检测与本发明的用户(例如，企业管理者)相关的事件。基于通过使用计算系统挖掘可用数据的的知识发现和信息提取，本发明应用与这些事件的统计有效性相关的决策逻辑，以生成能被立即发送和/或为随后处理被存储的消息。
如在本公开中所使用的，传感器数据是在预定位置和时间在或临近企业处收集的量化信息，其可被用于使用机器视觉算法来推断企业的事件和关键活动。传感器数据在与对象依从性无关的预定位置收集，意味着与本发明推断的对象有关的信息的收集无需该对象的参与，与典型的生物识别(例如，指纹、面部识别、虹膜识别等等)系统需要对象参与的信息相反。
如在本公开中所使用的，对象是任何的物理实体，这样的实体可以是有生命(animate)的或无生命(inanimate)的。有生命的对象被认为是动物/生物、人、或机器。无生命的对象被认为是人造的或自然的。人造对象还被进一步认为是机器、建筑、陈设或用具(例如，工具、武器，在此仅仅列出一些)。
如在本公开中所使用的，活动是空间和时间上的运动，诸如通过本身移动或被移动的对象观测到的，并且包括被认为关于对象不发生运动的情况。
如在本公开中所使用的，企业是与负责管理或监视其中活动的人所关注的公司、社区、家庭或其它物理地区或区域。
如在本公开中所使用的，事件是在由传感器观察的特定感兴趣场景中发生的现象，其可以是对于本发明的特定用户特定感兴趣的现象。由于本发明的目的是为关注特定相关企业的用户提供态势感知，并非所有的事件都导致至用户的通信(例如，消息)。相反，在一定程度上，事件被通信给用户仅仅由于其类似于那些用户确定是重要的事件，或者通过由事件数据(例如，事件不会容易地与非常罕有的在传感器数据中发生一次的纯粹随机性、随着时间重复发生的、或在同一位置反复发生的事件等等相混淆，在此只列出了一些示例)的时间和/或空间行为所暗示的有效证据被本发明认为是重要的事件。
对于本公开，关键活动是用户确定其是重要的和/或由事件数据的时间和/或空间行为所暗示的有效证据被本发明认为是重要的事件(或事件组)。包括在企业管理中有用的关键活动消息的输出包括下列五个要素中的任意或全部：1)什么在移动或改变(人、动物、车辆、机器、其它无生命对象)，2)移动或改变的对象在进行什么行为3)该对象所处的位置，4)该运动或改变发生的时间以及5)机器或人为某一目的做决定的现象或活动中改变的可测量说明。
零售商店用户可能感兴趣的事件可以例如包括在收银台前超过3个人的排队长度，或用户视为高得不能接受的其它数目。社区组织感兴趣的事件的示例例如可以是连续几个夜间当该社区的人在睡觉时在一个小巷中出现车辆。
由本发明生成的事件消息可以以适合在商业可获得的统计分析软件中使用的格式(例如，数据库)被存储。但是优选实施例固有地提供对所记录信息分析空间和时间相关事件，当达到统计有效点时发信号至企业负责人以检查这些相关性和基本的活动事件。此外，通过对持续(on an ongoing basis)发生的记录信息的固有分析，该系统接着能够为感兴趣的关键活动数据提供自动更新，从而消除分析者/观察者回顾由系统持续生成的数据而不是获得对导致消息的基本事件的理解的需求。
这样，企业负责人能够被警告与该企业的操作以重要方式相关连的事件的存在，即使这些事件不能够确切地由单个观测者观测或必要地相关感知。这甚至对于感测者手工观察传感器数据是真实的，认识到人类操作员持续执行这种职责的警惕性和耐久性的局限性。
最后，为了保护在传感器和剩下计算机和通信基础设施之间传送的事件数据和原始传感器数据，特别是当使用了机器视觉算法的嵌入式实施方式(例如，传感器和专用的计算资源共同位于单个壳中并且通常不需要任何操作系统)时，本发明优选使用嵌入式和应用层(例如，在操作系统的上下文中以及计算机用户可访问)加密或事件数据和原始数据的其它安全测量的组合以保护该系统的操作和所涉及组件的完整性(例如，防止企业数据的商业间谍行为)。
在申请人的经验中，已存在的系统确实生成用于分析的数据，但是并不使用该数据来自动地进行以信号提示一致性和/或统计有效性以辅助自动决策管理系统。所以本发明扩展了该技术的状态，例如，在操作研究方面，通过从机器视觉、模式识别、通信、系统、多媒体处理、网络、统计和相关知识提取原理中提供技术。本发明预期的应用包括但不局限于：宾馆和餐饮管理、零售店的销售管理以及客户关系、老年人看护管理和质量保证、健康护理管理、用于质量和安全的制造和车间管理、市政和/或社区保障、安全、土地使用和交通及公路应用。
本发明的其它特征能够从下面详细描述和附图中清晰可见。
附图说明
本申请的主题在说明书的总结部分特别指出和明显声明。但是，与操作的组织和方法相关的权利要求以及其目的、特征、和优点可以通过在阅读附图时参照下面的详细描述而得到最佳的理解，其中：
图1示出了本发明的总体结构和其主要组件。本发明操作来自传感器的数据(在本图的顶部示出)，并在数据流穿过系统时使其变为(reduce to)消息。这些消息包括即时和/或长期(long term)用途的信息，并且因此分别被发送和/或为随后的长期处理所使用。对系统外部提供接口以传递消息和用于数据库操作。最后，用户能够为系统输入设置以影响处理，并且能够通过同样方式从数据库访问数据产品。由于为了使用基本算法本发明移除进行中的数据分析的必要性，从长期分析向前端传感器数据处理组件提供反馈。
图2图示了一种为生成关键活动事件消息而处理传感器数据的方法。
图3示出了本发明包含的处理系统的核心元件。
图4示出了本发明被部署为客户端-服务器系统的示例，诸如可以使用常规个人计算机和服务器计算机技术。
图5示出了本发明被部署为嵌入式配置，诸如适合于具有有限网络、功率或安全资源的远程位置，或以其它方式受益于嵌入式技术。
图6图示了本发明潜在的模块设计，其允许被以多种设置部署，诸如在图4和图5中所描述的。
这些附图的细节将在本公开的以下部分描述。
图1示出了本发明的总体结构和其主要组件。本发明操作来自传感器的数据(在本图的顶部示出)，并在数据流穿过系统时使其变为(reduce to)消息。这些消息包括即时和/或长期(long term)用途的信息，并且因此分别被发送和/或为随后的长期处理所使用。对系统外部提供接口以传递消息和用于数据库操作。最后，用户能够为系统输入设置以影响处理，并且能够通过同样方式从数据库访问数据产品。由于为了使用基本算法本发明移除进行中的数据分析的必要性，从长期分析向前端传感器数据处理组件提供反馈。
图2图示了一种为生成关键活动事件消息而处理传感器数据的方法。
图3示出了本发明包含的处理系统的核心元件。
图4示出了本发明被部署为客户端-服务器系统的示例，诸如可以使用常规个人计算机和服务器计算机技术。
图5示出了本发明被部署为嵌入式配置，诸如适合于具有有限网络、功率或安全资源的远程位置，或以其它方式受益于嵌入式技术。
图6图示了本发明潜在的模块设计，其允许被以多种设置部署，诸如在图4和图5中所描述的。
这些附图的细节将在本公开的以下部分描述。
具体实施方式
示意性示例
为了帮助传达本发明的意图，本发明面向商业终端的一种使用的示例是指导性的。被认为是熟知的示例：由母公司特许经营或拥有的一天提供多次餐的大众市场餐厅从柜台和免下车(drive-through)窗口提供食物以及观察该日全天有效的业务量。这样的设置是其中单个现场(on-site)管理者不能期望实时或在一天的事件反映中保持对该组织的整体运行的全部认识的设置。类似的情况在面向其它服务的环境下也同样出现。
雇员和客户的日常管理需要完全的注意力并且为从更广泛的观点保留很小空间观测事件，诸如在企业内的许多客户活动点的全部客户服务和顾客事件交互(免下车入口、免下车付费、免下车提货、产品区、免下车款台、主服务器区和收银台、多入口区域、休息室和停车场等等)。特别是在以跨多个地点的企业盈利为显著特色的规模经济的大规模运行的情况下，理解通常与企业的效率和服务质量相关的顾客和雇员的活动和交互的能力是最重要的。
通过提供一种实时和扩展时间消息和消息分析的方式，基于将机器视觉和机器智能技术应用至传感器数据，这样企业的所有者不但能够帮助其雇员和更好地服务顾客，而且会更好地理解影响该操作成功或失败的因素。
有很多适于本发明的具有商业和/或企业管理价值的类似方案，这只是其中之一。在此所提供的示例很容易掌握，因此适合在本公开中阐述本发明。
本发明的组件和基础技术在下面的段落里详细说明。如上所述，本发明的系统接收与该企业的关键活动相关的传感器数据。图1示意性图示了根据本发明的系统100的组件和功能。在本发明的系统中，数据被输入至计算机101中并且也从该计算机中输出。本发明通过加载默认的关键活动数据102和/或具有用户输入的关键活动数据103来运行，其接着定义数据分析104，数据分析104对输入的传感器数据105应用机器视觉算法。当检测到对应于关键活动的统计有效事件时这些算法生成以关键活动消息106的形式的输出。这样的关键活动消息接着可以被立即发送或存储107以供随后使用。当消息被立即发送时，该计算机使用提供至外部电子消息系统108的接口。为了存储消息，计算机使用至外部数据管理系统109的接口。对于存储的消息，包括消息日志，定期应用算法来检测具有统计有效性的时间和/或空间关联110，时间和/或空间关联110能够接着导致额外的关键活动(更新)消息111、复杂/组合的事件消息112，或这样的算法能够通过关键活动更新/识别114功能提供对改变关键活动数据113有用的反馈。
图2示意性图示了本发明的关键活动分析部分的示例。该算法示例以传感器数据105输入至计算机101开始。该传感器数据接着被用于计算在以前时间点和当前时间之间所有传感器数据点的绝对差的和201以检测具有统计有效性的改变；位于前景(改变)的传感器数据点接着能够被从位于背景(未改变)的数据点中分离出，导致前景和背景对象202。接着通过计算质心203定位这些对象并且进行额外的对象计算以确定对象特征以及组合那些被认为是连接的对象204。该算法接着比较当前对象和历史(跟踪)对象并且确定该对象是否是新的或已存在对象的更新版本205。对于新的对象，初始化新的跟踪206并且对已存在的对象进行跟踪更新206。在该跟踪器数据已经被更新后，用于跟踪的统计模型接着被更新207。最后，在获取一组新的传感器数据之前，将当前组对象、位置和特征数据与关键活动数据作比较208，使得如果检测到关键活动则能够生成关键活动消息209。
图3示意性图示了本发明的系统级元件的核心元件。该系统包括至少一个传感器301，其经由传感器接口302连接至包含用于存储传感器数据和/或关键活动消息的存储器303的计算机101。该计算机还通过通信接口304连接至通信网络305，其提供将企业的关键活动通信至企业管理器的装置。如在随后的示例中所示，计算机功能还能够被分配给多个计算机组件(例如，工作站、服务器或便携式计算设备)。在该图中，计算机101功能位于一个单个组件中。
图4示意性图示了本发明被部署为客户端-服务器配置的示例，其中示出了能够使用一些常用的软件和图形用户界面(GUI)对象实施的一些软件功能块。该示意图标明了传感器数据处理和至服务器(在此示为web服务器)的消息生成；GUI、数据访问、用户配置和消息分析/查看能力被分配给客户端。在该图示中，所有的物理接口都与计算机101集成，并且这些功能块代表向物理接口提供计算接口的软件对象；这些软件对象都在计算机内运行。传感器数据401，在此也被示为可选的存储数据407，被输入至计算机101，并且对于执行关键活动分析402的动态链接库(DLL)对象是可用的；产生于关键活动分析的消息由消息处理/存储DLL 403生成/处理，所述消息处理/存储DLL 403进一步访问在其中可以存放用于存储和管理的消息的数据库404。网络接口对象405提供在服务器和客户端之间的通信的装置，以及配置接口和可执行406提供允许客户端(用户)配置本发明的装置。这些处理通过服务器/系统接口(包装)408在计算机上被管理和完成。通过虚线409与服务器侧分开的客户端侧本质上是运行在该计算机101或单独/对等网络计算机上的GUI应用。本发明的该示例中的GUI客户端包括主GUI窗口410、用于实时数据显示的窗口411、在本发明中设置用户偏好的窗口412、用于图形查看诸如事件统计的时间序列的消息数据的窗口413，最后该客户端GUI包括用于传感器和其它关键系统组件的配置窗口414。
图5示意性图示了以嵌入式(例如便携式等)配置部署的本发明，其中传感器、传感器数据处理以及外部消息接口全被集成在单个模块501中，模块501包括其中对传感器数据分析关键活动的发生的计算机101、传感器和相应的传感器数据502以及能够使用有线/无线网络连接504或直接连接的有线/无线接口505的消息生成和通信组件503。在本发明的该嵌入式网络实施例中，工作站计算机506提供加载默认的关键活动数据507的装置并且还能够执行计算以更新关键活动定义508，其能够替选地经由用户输入509更新。工作站计算机能够进一步通过访问数据库511分析关键活动消息日志510并且结果能够通过电子消息系统接口512或者外部数据管理系统接口513被通信，使得能够使用一个或多个服务器514或类似服务器的组件来实现本发明的更为分布式的方法。在本示例中一些计算机功能已经被指派/分发给系统中的服务器或工作站(两者都是计算机)。
图6示意性图示了本发明跨诸如因特网的广域网601部署的系统级实施例。在该示例中，系统的计算机部分出现在网络的多个节点(意味着该计算系统是分布式的)，传感器数据和一些关键活动分析预处理发生在一个网络节点602上，传感器数据关键活动分析的完成发生在第二节点603上，结果关键活动消息被存储在第三节点处的服务器605上的消息日志数据库604中，并且用于关键活动606的远程图形分析的GUI在第四网络节点执行。该示例图示了本发明的模块设计从而促使其在高度网络化环境下使用。
传感器数据是在预定位置和时间在或临近该企业收集的量化信息，其可被用于使用机器视觉算法来推断企业的事件和关键活动。传感器数据在预定位置收集而与对象依从性无关，意味着与本发明推断的对象有关的信息的收集无需对象的参与，与诸如典型的生物识别(例如，指纹、面部识别、虹膜识别等)系统的情况需要对象参与的信息相反。
对象是任何的物理实体，这样的实体可以是有生命的也可以是无生命的。有生命的对象被认为是动物/生物、人、或机器。无生命的对象被认为是人造的或自然的。人造对象还被进一步认为是任何机器、建筑、陈设或用具(例如，工具、武器，在此仅仅列出一些)。
活动是空间和时间上的运动，诸如被其本身移动或被移动的对象观察到的，并且包括关于对象不发生运动的情况。
企业是公司、社区、家庭、或与负责管理或监视其中活动相关的其它物理地区或区域。
事件是在由传感器观测的可以是对本发明的特定用户感兴趣的特定感兴趣场景中发生的现象。关键活动是用户确定其是重要的和/或由事件的时间和/或空间行为所暗示的有效证据被本发明认为重要的事件(或一组事件)。
下列段落详细说明图1的组件。
默认关键活动数据的描述
关键活动数据包括简洁地代表企业感兴趣事件的人、车辆、动物和无生命对象传感器数据的数学模型。默认关键活动数据是随系统安装的(或安装在系统中)的在系统安装之前已知的或者被预期与系统用户相关的关键活动数据。这些基本模型是为了描述默认用户感兴趣的默认生命和无生命对象，与对特定对象有特定兴趣的位置和时间相关联。
这些模型将包括一组普通的人类特征(例如，身体、肢体、头部、步态等等)和姿势(例如，站、坐、走、跑、跳、躺、谈论、丢弃、写、以及其它运动模式)，还有一些非人类但是有生命的特征和/或描述符(例如，犬类、猫科动物、鸟类)。例如，人类的身体部分可以根据具有与典型的人类部分成比例的区域的连通椭圆(和其它形状)来被数学描述，并且椭圆体(和其它形状)连接至传感器数据的方式可被用于确定姿势。继续该示例，对于人的形状具有太小区域的椭圆体和与动物的椭圆连通性比与人的更一致的椭圆体可被分配有生命的但非人类的标识符。
如果特征和姿势(例如，形状、颜色、连通性)的数学描述与这些特征和姿势时间上的空间行为相结合，则能够从传感器数据中确定更复杂的行为。例如，再次使用先前的椭圆体示例，如果在该传感器数据中观察到组成人类身体的椭圆体横越传感器视场内的空间时，则确定从一个特定点到另一点的行走行为(例如，从“点A至点B”的行走)。此外，如果伴随这些生命(人类或非人类)的活动数据是无生命活动对象模型，诸如通常会与人类活动相联系并且对理解特定人类活动(例如，汽车/轿车、汽车/皮卡、皮带/犬类、轮椅等等)很重要，则可以从传感器数据确定与人类和这些无生命对象交互相联系的额外复杂性。
组成关键活动数据的模型可以以多种方式构建，包括但不局限于之前讨论的椭圆体人类形状模型。传感器数据中特征的其它数学描述可以包括感兴趣的前景(例如，移动的)传感器区域的空间(例如，二维)柱状图，其表明在一个区域中不同对象的数目；诸如对允许在传感器数据中检测接近于参考形状的对象的匹配过滤器检测有用的形状模板(例如，使用圆形过滤器的匹配过滤器在检测传感器数据中圆形对象时是有用的)；基于传感器数据使用特征向量聚类和分类对象(例如，作为长宽比测量的椭圆长和短轴)；以及频域技术，诸如傅立叶-梅林变换，作为一个示例，可以提供需要被简洁表示和与参考代表比较的传感器数据的比例和旋转常量表示以评估传感器数据形状与一些已知传感器数据的匹配程度。
传感器数据中形状的另一个有用的数学描述、或模型的示例是简洁并且有助于小计算负担的基于轮廓的模型。可用于该方式的许多方法诸如用以表征非刚性形状/特征的B-样条技术已被一些机器视觉科学家证明是有用的。在这种方式中，例如，移动(前景)对象在传感器数据中被检测出来并且B-样条曲线与传感器数据中的对象的轮廓相拟合，并且该样条被用于描述该移动对象的位置和轨迹，因此通过本发明使得能够对被跟踪/观测的对象进行复杂描述，并且还使用最小量的传感器数据来描述它(对于一组密集传感器数据点具有一个相对简洁的表示的B-样条)。但是，其它机器视觉模型也可以应用于本发明中。
此外，描述诸如车辆的刚性的、非人类的对象的模型可被相应地用于检测、描述、跟踪以及一般地监视这样的车辆的活动。人类对象是一些更难被描述的对象，并且因此适于该示例的讨论。但是，被用于接近检测和测量人类活动的相同计算机视觉方法和技术一般也可用于车辆机器视觉测量。
为了确定传感器数据中更复杂的行为和交互，关键活动数据还包括位置、空间和时间数据。默认位置数据仅是作为该系统的一部分被安装的传感器的视场，因此，除非用户手动指定，否则所有的传感器数据(例如，像素)同样重要或有同样的意义。但是，例如，用户可以具有重要性的位置(例如，边界矩形或其它感兴趣的区域)指定为经历有效活动、小活动或无活动的区域。
同样，默认时间数据仅是该系统的操作时间，因此，除非用户手动指定，否则当系统被首次安装时所有的时间同样重要或有同样的意义。如同位置数据，用户可以为高活性、低活性或无活动手动指定特定兴趣时间段(例如，餐馆的后门在非营业时间应该是无活动的，以及在那些时间内的事件甚至在单事件级时都是重要的)。
最后，默认关键活动数据将包括组合生命和无生命数据模型并且构建合成活动的活动分类。例如，门道对象内发生的走动事件的组合将是大多数用户感兴趣的事件类型，因此其适合包含在默认中。还例如，准备过街的步行者的数目的观察与车辆(交通)活动的状态相组合将代表这样的活动组合体。还例如，当通过单行道路的交通方向具有安全暗示时移动方向有重要意义。
关键活动数据还包括位置和时间数据。默认位置数据仅是作为系统一部分被安装的传感器的视场，因此，除非用户手动指定，否则所有的传感器数据(例如，像素)同样重要或有同样的意义。但是，例如，该用户可以将具有重要性的位置(例如，边界矩形或其它感兴趣的区域)指定为经历有效活动、小活动或无活动的区域。
因此所描述的关键活动数据最好被实现为读入系统的数据结构，尽管能够设想存储、获取和操作这样数据的其它方式(例如，如多个单数据类型记录、简单缓冲区，但不局限于此)。
关键活动识别和更新的描述
本发明的该元件提供了一种自动(即，基于在部署系统中使用本发明之后收集和分析的数据)或手动添加默认关键活动数据的装置。用于本发明的关键活动数据的手动添加是使用交互用户界面(例如，图形用户接口、语音入口、或GUI)或在不能使用图形界面界面的情形时它的等同物(例如，蜂窝电话、计算机监视器或拨号电话入口的菜单)来实现的。该GUI或其等同物在本发明公开的随后部分被描述。
到关键活动列表的数据自动添加是通过分析随着系统操作积累的消息日志来进行统计推论而实现的。频繁发生的孤立事件(例如，人路过门道)、频繁发生的聚类事件(例如，人群在收银机前排队)、以及不频繁发生的孤立事件(例如，人在深夜营业结束后在餐馆后门闲逛)均是能够导致反馈至识别企业关键活动的数据结构的事件示例，以为该企业提供对关键活动数据的修改。
关键活动数据的用户输入的描述
本发明已经包括提供适合于工业或其所部署的设置的默认关键活动数据。但是，还会期望存在不包含在默认活动中的特定活动、对象或对象分类和/或事件，对用户也是重要的。因此，系统包括从预定义列表中选择额外数据元素、或添加用户通过独立装置获得的自定义数据元素的能力。
用户输入关键活动数据至少需要监听或查看要选择的项目列表的装置和选择它们的装置，其可以是用于声音入口菜单(例如，诸如在银行电话事务中使用的)、计算机监视器文本菜单或等同物的情形。优选实施例，可能的话，使用图形用户界面(GUI)如可以通过个人计算机，或任何可以显示图形内容并且允许用户选择/输入数据的类终端设备。
例如，GUI可以使用被初始化为默认设置的已选择复选框列表，但是包含能够代替或除默认值外使用的未选择框。此外，为了帮助包含额外模型数据，GUI可以具有使得用户能够加载与使用的特定数据结构相兼容的模型数据的按钮或其它控制。
除了关键活动数据(模型和相关参数)外，用户可以输入系统组件的位置以在空间关联中使用以及特定感兴趣对象在传感器数据中的位置，即使用户不能或不感兴趣指定因此指定的对象的模型。在GUI接口的情形中，对象的这种选择能够如同用诸如鼠标的指向设备画密闭的矩形或其它形状一样简单。显然地，这样的数据也可以通过不太复杂的接口(例如，声音入口)被输入，但是这样数据的输入变得麻烦，因此GUI再一次是优选实施例。
传感器数据的描述
本发明使用来自于提供相关企业信息的用户选择传感器的传感器数据(例如，数字视频数据、红外线数据、微波数据、其它多媒体数据，包括但不限于音频)。传感器数据可以源于单个传感器或多个传感器，并且可以与本发明的其它部分共同定位或可以源于远程、联网位置。借助于传感器数据分析计算机资源(例如，服务器或桌面计算机)上的唯一连接(例如，数据端口)或者借助于唯一的传感器标识符(例如，在数据传送至传感器数据分析计算机资源前放置在它的数据上的传感器序列号或水印)，传感器数据必须与特定的位置相关联，因为从传感器数据取得的事件的位置是关键活动数据的重要组件。
传感器数据在与对象依从性无关的预定位置被收集，意味着本发明推断的与对象有关的信息的收集无需对象的参与，与诸如在典型生物识别(例如，指纹、面部识别、虹膜识别等等)系统的情形需要对象参与的信息相反。例如，如果传感器被安置以观察在零售企业的通道闲逛的人的活动，关于该人类对象特征的有效信息可以被测量以在不了解该对象的情况下精确描述该人类对象，更不用说该对象的参与了；参与将需要该对象摆姿势，以某种程度上与测量合作，或用别的方式帮助活动信息的收集。
可以想象的是传感器自动定位在传感器视场重叠的情形中以及在传感器组中的至少一个传感器的位置是已知的情形中是有用的，使得用户指定位置是最少的。但是，可以预期的是大部分使用本发明的企业会在安装时从用户分别指定传感器的位置中获益，因此在来自特定传感器的数据和其唯一位置和/或视场之间明确地形成关联。
对传感器数据分析关键活动的出现的描述
本发明的该方面涉及机器视觉和机器智能算法应用于传感器数据(例如，数字视频图像序列或单独图像)，包括但不限于以下的算法元素：
1、检测指示事件可能发生的传感器数据中的改变；
2、使用统计前景和背景模型(例如，传感器数据的行为的经验、分析或半经验表示)检测和分离传感器数据中的背景(例如，具有统计有效性的固定或不变)对象和前景(例如，具有统计有效性的移动或改变)对象。
3、提取与所检测对象相关联的特征以及生成描述与在特定时间点的传感器数据有关的对象(例如，视频图像序列中的单个图像，或者传感器数据的一些其它时间序列)的数据(例如，元数据)。
4、用所提取的特征(例如，元数据)替代原始传感器数据作为传感器数据的更简洁表示，这在计算机数据存储(例如，诸如动态随机存取存储器的存储器)时是特别重要的。这可被看作是输入数据的压缩形式，并且本发明包括使用传感器数据的压缩(以及压缩数据的最终存档)。
5、定位和跟踪前景对象。定位包括计算由在传感器数据中的放置(例如，在单个数字图像中的一组传感器像素的质心，只作为一个可能的方法)所指示的对象位置。跟踪包括位置的测量、运动统计量(例如，均值、方差、协方差)的测量，包括但不限于速度和加速度。跟踪可被用于保持对象的过去位置、对象的当前位置以及也可以预测未来位置的信息。
6、检测事件(发生在由传感器查看的特定感兴趣场景中可能对本发明特定用户有特定兴趣的现象)。
7、通过比较事件数据和关键活动数据(例如，对应于用户有特定兴趣的现象的事件序列或单个事件)，检测关键活动。
8、调整前景和背景传感器数据模型以适应在相应背景或前景统计量中的改变(例如，新的无生命对象被放置在传感器视场内的地板上，因此如果其保持持久时段则变成了背景的一部分)。
存在许多方法能够被用来提供上述的分析功能，其中许多已经被公布(例如，IEEE学报机器视觉和模式识别)。此外，对于之前分析序列的各个部分存在很多不同技术的组合，这些不同技术的组合可以被使用并且对于特定的企业管理情形具有不同水平的效用。
例如，在传感器数据序列中检测和跟踪人的非常简单的系统可以包括：计算连续传感器数据(例如，在视频序列中的连续图像)之间的差值，这些差值指示改变足够大能指示运动的传感器数据；过滤这些差值(例如，应用高斯匹配过滤器以平滑不同图像)以减少易受随机事件影响的特性以及对过滤数据设定阈值以产生正在经历有效改变的传感器数据区域；识别阈值化的数据中的轮廓并且提取这些轮廓点的位置；使用这些轮廓点描述被包围在轮廓内的区域并且还确定该轮廓的主轴；基于轮廓从而判定计算该形状是否是人；如果类似人，则计算该轮廓的质心，其可被用于通过随着时间测量该对象的质心从一传感器数据集到时间上的下一个来跟踪该轮廓对象(理解在该点是类似人)并且通过使用该历史来既形成该对象(人)所在位置的精确估计又基于速度(每单位时间的运动)预测它将要去哪。如果该人类对象接近明显禁止入内的区域，则向企业管理者发送指示这样的事件已经发生或将要发生的消息。这是本发明的非常简单的应用，但是有助于描述一些基本概念。
更复杂的技术也是可预期的。例如，在本发明的特征提取和对象跟踪部分，可以对前景对象使用粗略适应多个假设的统计假设测试。其它方法，包括但是不限于模糊逻辑和神经网络模型，可以被成功地应用于本发明，并且被预期使用。
对传感器数据应用分析算法的结果是输出事件以及包括数据的事件和/或关键活动数据记录，所述数据可以包括但是不限于事件的具体性质、事件时间、位置、类型以及对象的空间和时间性质。这些可能会随着所选检测对象的特定算法而稍有改变，但是可以包括例如速度、诸如散度和旋度的向量梯度数据、以及对象的光谱行为，如果从传感器可获得这样的数据。
在对象的类型与关键活动/对象模型非常匹配的情形中，该类型标识将被声明为输出的一部分；但是，可以想象对象的标识有时是未知的以及保持未知需要稍后确定，或者事件只是由于消息存储能力的可用性而未知，但是基于随着时间对事件和消息数据的分析被提交于消息生成以促使发现新的关键活动。输出数据记录还可以包括分析数据产品的统计确定性，例如，在优选实施例中利用统计假设测试来检测和分类对象的似然比。
生成关键活动消息的描述
由于本发明的目的部分地是将利用传感器或传感器组观察的事件和行为通信给本发明的用户，所以来自分析算法的输出数据记录可被用于生成表示决定存储如所声明的事件的消息。是否生成消息、或消息生成逻辑的决定是基于事件的统计有效性来进行的，并且可以包括在生成消息之前所需的统计有效性级别的用户偏好(例如，用户可以指定事件必须具有错误报警小于1小时1次的概率，其接着会直接影响在可能性测试中使用的用于测试统计的阈值设置，在该情形中使用了特定测试类)。
一但决定使用消息生成逻辑生成消息，由传感器数据分析算法生成的数据被格式化以被数据存储(例如，数据库或其它存储组织方式)和消息模型(例如，电子邮件、即时消息、或其它通信消息的方式)使用，并且将其发送至这些模型中的一个或两个。可以认识到本发明的一些应用可能没有足够的数据存储能力来存储所有生成的消息，但是仅仅是希望发送能够被消息接收者(例如，可以进一步使用所生成消息的人或类似服务器的计算机)使用和/或丢弃的消息(例如，电子消息)。但是，优选实施例包括将消息存储在已知位置使得可以对所存储的消息(消息日志)执行额外的处理以跨越正在观察的许多活动和位置推断更加复杂、长期的活动。
如在本发明的传感器数据分析部分所描述的，优选实施例还包括不必与已知关键活动匹配的事件的存储。将在某些方面是未知的或否则被认为不重要的事件存储为消息，提供了用户自动或半自动学习发生在感兴趣企业内的事件的方式。这样的事件消息因此可以被存储，在所存储的数据中具有适当说明以指示该事件在某些方面是未知的或未完全确定的。
关于加密的使用
在本发明中使用加密作为保护所生成的传感器数据和/或消息不被目的用户的基础外的用户观察的方式。由于显而易见地本发明可以用在观察机密事件(例如，关闭银行款台、锁定或解锁零售机构的入口)的情形中，所以使用加密保护数据和/或消息业务对于提供高级客户服务是重要的。加密可以发生在该技术的任何部署的生成数据和/或关键事件消息的点。一旦数据和/或消息位于网络另一侧的可信方处，可以实施解密，因此为事务提供了安全的数据管道。存在很多可行的提供加密的方法，诸如当前被发现在因特网上广泛使用的安全端口层(SSL)协议采用的，在此只作为一个常见的示例。
发送和/或存储关键活动消息的描述
基于来自与消息相关的用户的输入，从本发明的消息生成组件接收的消息将被存储在预定位置或多个位置(例如，本地存储器、大容量存储介质的本地或远程数据库)和/或被放置在用于具有至公共接口的消息系统或专有消息系统的消息队列中。
因此，本发明的该元素本质上是至数据库和消息操作者的接口。优选实施例将包括促进对消息数据进行分析的私有数据库、由用户偶尔需要访问和/或用户批准分析的外部商业可用数据库(例如，SQL或其等同物)以及允许单个接口至多个即时消息(例如，AOL)和简单消息(例如，可视电话)标准的商业消息代理服务，因此移除了将这样标准合并至系统的需要。
电子消息系统接口的描述
本发明的该要素本质上是适应发送消息的商业或私有标准的消息队列，包括电子邮件、即时消息和诸如被用于移动电话的SMS(短消息系统)数据。可以设想的是本发明可能需要将私有消息发送至非公开资源(例如，能够接收这样消息的专用或公共网络上的微控制器和需要由本发明生成的信息所触发的控制硬件)。但是，优选实施例使用标准的消息接口/方法，使得最小化了系统对于用户的复杂度和不稳定性。
外部数据管理系统接口的描述
本发明的该要素本质上是用于写入消息数据记录的数据存储(例如，数据库)接口。如同本发明的电子消息组件，可以预期到非标准私有接口可能是必须的，但是优选实施例依赖于用户经验尽可能简单和不复杂的商业可用标准其，假设本发明总体目标是为不具有机器视觉或其它先进技术专业知识的人提供先进技术。
分析关键活动消息日志的描述
本发明的该要素的目的是对所存储的事件和关键活动消息分析具有统计有效性的组合的或复杂的活动(例如，按时间或位置分开的多个消息组成的事件)以及多事件的交叉关联(例如，在相同的感兴趣地域、在相同的感兴趣地域的相同时间、或在不同的感兴趣地域的相同时间发生的事件)。因此，本发明允许对多个事件(即，未知的或未完全确定的)和/或关键活动分析比通过上述对传感器数据分析关键活动所能够检测的更复杂的关键活动的出现。这适合例如用户感兴趣的长期关键活动的模式或者跨多个传感器的关键活动的模式，但是需要证实随时间和/或位置的一系列关键活动或关键活动的组合。这样关联的输出可被馈送回至识别企业关键活动的数据结构，以使得能够对识别企业关键活动的数据结构进行修改。
如同对所有传感器数据发生的传感器数据分析，由于近年来在这种数据挖掘和相关技术中有积极的活动，该要素可以多种方式实施。但是，优选实施例再次依赖允许表征多假设以及不必依赖于事件统计的先验说明(例如，正态分布一般不适合检测和跟踪远离概率密度函数的突出模式的事件)的鲁棒的粗略统计假设测试方法。
生成关键活动更新消息的描述
使用存在的关键活动消息和/或存储的未知事件消息，事件消息的时间或空间模式会不时发生。在这些模式可以指示企业内发生新的和/或未知(但潜在地是重要的)事件方面来说，新的关键活动能够被自动或半自动地添加至本发明中使用的关键活动列表。由于用户有能力指定和/或改变所使用的关键活动，所以用户可以自由拒绝自动生成的关键活动更新。替选地，用户可以通过关键活动选择工具调整控制关键活动的唯一性的参数，使得系统不会仅仅基于所分析的事件消息的模式中次要和无关紧要的变化来生成新的关键活动消息。
生成复杂事件消息的描述
由于用户感兴趣的一些关键活动可以包括关键活动的整体(多于一个)，或者一系列相同关键活动和/或多个关键活动的组合(例如，时间或空间上分布)，本发明可以形成用户指定的或通过消息更新机制变得明显的复杂事件消息(参见前面的段落)。一但生成，这些复杂事件消息以与简单关键活动消息一样的方式被处理。
示例说明
图1中描述的主要特征的可能实施例的示例在图2-5中提供，其在下面关于图1被描述。
图2示出了可以处理传感器数据(假设是数字视频，或数字图像或帧序列)以生成关键活动事件消息的简单方式示例。这是图1中被描述为“对传感器数据分析关键活动的出现”和“生成关键活动消息”的一些计算的简单示例。
假设传感器数据被输入至关键活动分析计算机程序，提取连续帧并且计算绝对差(SAD)的和。如果该SAD值足够大，则接着假定图像中出现改变并且值得进一步计算。对于出现改变的图像，使用在公开资料中已经说明的许多方法中的一种将背景(静态)传感器数据与前景(移动)传感器数据分离。
将背景与前景分离的问题被很好地研究。简单的技术仅仅包括平均级的减法。更复杂的技术可以包括每个传感器数据元件(例如，来自焦平面阵列传感器的每个像素)的统计特征(例如，测量均值、方差、其它时刻的传感器数据)，以基于像素在某个预先确定的时间长度内(例如，过去的几秒钟、过去的几分钟——对所关注的企业管理情形适合的任何时间长度)的方差和变化确定未改变的数据元素中正在改变的那些数据元素(例如，像素)。可以想象有些应用可以使用甚至是最简单的背景/前景分离技术，并且有些会需要更复杂的方法。但是，已经有足够的方法被描述，并且基于特定企业管理情形的要求，本发明中可以使用或多或少复杂的方式以获得满意的性能。
将前景与背景分离后，该前景数据可被分析以定位前景对象或计算前景对象的位置。随后，对前景对象分析其特征，并且如果检测到多个对象并且发现其是一个较大整体(例如，互连的组件分析)的一部分，这些组件可以被互连/关联以及因此被与适当对象关联。
在提取特征以及形成必要的组合对象，应用跟踪算法(“追踪器”；简单跟踪对象所处位置并且典型地能够基于先前对象位置历史预测将来的对象位置的跟踪算法)并且能够将所检测的对象与存在的被跟踪对象相比较，使得新对象能够开始被跟踪和/或存在的对象能够更新其跟踪。一但对象就检测和跟踪而言已经被处理，可以更新用于追踪器的统计模型；这通常包括更新所跟踪对象的错误协方差、更新存储的当前位置以及为下一传感器数据实例更新预测的跟踪。
最后，为了确定是否发生关键活动事件，可以将对象的特征和位置与感兴趣的关键活动事件相比较。如果发生了这样的事件，则生成消息。
图3示出了用于实践本发明的处理系统的核心元件。作为最低配置，系统必须具有处理器(例如，微型计算机、数字信号处理器、或专用集成电路)；某种存储或存储器，其允许计算机程序在其上运行，允许传感器数据被操作和存储以及还使得能够存储从传感器数据和关键活动数据的短期或长期分析中生成的消息；用于通信本发明的输出以及获取传感器数据的接口。
图4示出了本发明被部署为客户端-服务器应用的示例，所述应用将运行在常规的客户端(例如，桌面或移动计算机)和服务器(例如，web服务器、局域网服务器，诸如在典型的企业设置中可发现的)。具体地，该图示出了图1的一些元件可以如何被指派给计算机可执行模型，在此作为示例示出为动态链接库(DLL)模型，诸如在现代的计算机上通常可发现的。
该图通过虚线分成两部分。上部分是服务器部分且下部分是客户端部分。服务器包括处理关键活动分析的DLL以及处理生成和消息处理/存储的DLL。本示例中的服务器侧还具有至传感器和/或存储的数据文件(例如，AVI)的接口，来自其的数据被馈送至分析DLL。此外，服务器提供通过其配置接口控制和维护系统(传感器、感兴趣事件、其它系统细节)的配置的装置。服务器还为可执行组件提供网络接口，可执行组件都可以通过接口模型(有时称之为包装)和网络模型(例如，TCP、或传输控制协议)访问。最后，服务器提供至包含消息数据存档的数据库的接口，并且通过数据库DLL其可以执行所需的计算以推断复杂事件和记入在数据库中的新的/重复事件的统计意义。
客户端侧图示了本发明被用户通过典型的桌面计算机操作系统接口(例如，Microsoft Windows)从客户端侧访问时所期望的典型特征范围，并且其中涉及分析、设置、配置、传感器数据观看等的工具都被提供。窗口或接口被提供给用户以配置系统(选择/确定关键活动)、设置偏好、观看来自数据库DLL的结果以及观看通过该系统生成的各种数据。
图5示出了本发明被部署为嵌入式配置，其当需要在跨网络传输数据之前减少原始传感器数据(压缩的形式)时出现，其中安全性和带宽可以明显低于所有的系统组件被包含在单个建筑/结构的设置中)。在该嵌入式示例中，所有的传感器数据的初始关键活动分析是由专用集成电路(ASIC)或等同的通用可编程处理器(例如，微处理器、数字信号处理器)提供，使得仅仅该减少的数据被跨有线或无线网络发送至目的消息接收和/或数据库存储元件。
在该图中，图1的主要元件都是可见的。但是，它们跨网络被分布并且有些(活动分析和消息生成)被嵌入在包含提供用于分析的数据的传感器的模块中。从外部无线或有线设备的直接连接在此也被示出，因为可以想象到从这样的嵌入式模块至外部设备(例如，由该消息要传送给的那个人所持有)的直接消息对于例如在没有充足网络基础设施的远程位置的用户是非常方便的。
尽管没有明确示出，该示例是从包含加密中获得明显益处的一个示例，所述加密可以发生在ASIC的输出阶段，正如关键活动消息被生成。一但该消息位于网络另一侧的可信方处，加密可以被实施，因此为消息事务提供了安全的数据管道。有许多可行的提供加密的方法，作为示例，诸如当前被发现在因特网上广泛使用的由安全端口层(SSL)协议采用的。该例中示出的系统的剩余部分严密地遵循图1的逻辑，并且能够在上下文中被容易地理解。
图6图示了本发明的模块设计，这允许其被以多种设置进行部署，诸如在图3和图4中所描述的设置。本发明是结构化的，使得传感器数据、传感器数据处理、消息数据库和消息数据处理以及访问都能够在分离的、网络化的资源上发生。例如，在该图中，传感器(左下角)被部署为远离系统的其它部分但是具有用于发送原始传感器数据或减少的数据(例如经由ASIC)的网络连接。在此的传感器数据被传送至在右上方所示的传感器数据分析计算机，其生成由另一个服务器记入到消息日志数据库(右下)中的消息。该(右下)服务器还能够运行数据库和统计应用以向本发明的用户提供感兴趣的数据结果。最后，用户能够经由如左上方所示的便携式计算机(例如，便携式电脑)从远程、但是联网的位置请求这样的结果。
对于本发明的整体目标，该整体结构对促进非专业人员使用复杂机器视觉和数据挖掘算法是重要的。由于这些复杂算法能够在数据产品(消息)的用户无需负责的系统上运行和管理，用户可以避免关注于消息内容的理解。
为了帮助传达本发明的意图，本发明面向商业终端的一种使用的示例是指导性的。被认为是熟知的示例：由母公司特许经营或拥有的一天提供多次餐的大众市场餐厅从柜台和免下车(drive-through)窗口提供食物以及观察该日全天有效的业务量。这样的设置是其中单个现场(on-site)管理者不能期望实时或在一天的事件反映中保持对该组织的整体运行的全部认识的设置。类似的情况在面向其它服务的环境下也同样出现。
雇员和客户的日常管理需要完全的注意力并且为从更广泛的观点保留很小空间观测事件，诸如在企业内的许多客户活动点的全部客户服务和顾客事件交互(免下车入口、免下车付费、免下车提货、产品区、免下车款台、主服务器区和收银台、多入口区域、休息室和停车场等等)。特别是在以跨多个地点的企业盈利为显著特色的规模经济的大规模运行的情况下，理解通常与企业的效率和服务质量相关的顾客和雇员的活动和交互的能力是最重要的。
通过提供一种实时和扩展时间消息和消息分析的方式，基于将机器视觉和机器智能技术应用至传感器数据，这样企业的所有者不但能够帮助其雇员和更好地服务顾客，而且会更好地理解影响该操作成功或失败的因素。
有很多适于本发明的具有商业和/或企业管理价值的类似方案，这只是其中之一。在此所提供的示例很容易掌握，因此适合在本公开中阐述本发明。
本发明的组件和基础技术在下面的段落里详细说明。如上所述，本发明的系统接收与该企业的关键活动相关的传感器数据。图1示意性图示了根据本发明的系统100的组件和功能。在本发明的系统中，数据被输入至计算机101中并且也从该计算机中输出。本发明通过加载默认的关键活动数据102和/或具有用户输入的关键活动数据103来运行，其接着定义数据分析104，数据分析104对输入的传感器数据105应用机器视觉算法。当检测到对应于关键活动的统计有效事件时这些算法生成以关键活动消息106的形式的输出。这样的关键活动消息接着可以被立即发送或存储107以供随后使用。当消息被立即发送时，该计算机使用提供至外部电子消息系统108的接口。为了存储消息，计算机使用至外部数据管理系统109的接口。对于存储的消息，包括消息日志，定期应用算法来检测具有统计有效性的时间和/或空间关联110，时间和/或空间关联110能够接着导致额外的关键活动(更新)消息111、复杂/组合的事件消息112，或这样的算法能够通过关键活动更新/识别114功能提供对改变关键活动数据113有用的反馈。
图2示意性图示了本发明的关键活动分析部分的示例。该算法示例以传感器数据105输入至计算机101开始。该传感器数据接着被用于计算在以前时间点和当前时间之间所有传感器数据点的绝对差的和201以检测具有统计有效性的改变；位于前景(改变)的传感器数据点接着能够被从位于背景(未改变)的数据点中分离出，导致前景和背景对象202。接着通过计算质心203定位这些对象并且进行额外的对象计算以确定对象特征以及组合那些被认为是连接的对象204。该算法接着比较当前对象和历史(跟踪)对象并且确定该对象是否是新的或已存在对象的更新版本205。对于新的对象，初始化新的跟踪206并且对已存在的对象进行跟踪更新206。在该跟踪器数据已经被更新后，用于跟踪的统计模型接着被更新207。最后，在获取一组新的传感器数据之前，将当前组对象、位置和特征数据与关键活动数据作比较208，使得如果检测到关键活动则能够生成关键活动消息209。
图3示意性图示了本发明的系统级元件的核心元件。该系统包括至少一个传感器301，其经由传感器接口302连接至包含用于存储传感器数据和/或关键活动消息的存储器303的计算机101。该计算机还通过通信接口304连接至通信网络305，其提供将企业的关键活动通信至企业管理器的装置。如在随后的示例中所示，计算机功能还能够被分配给多个计算机组件(例如，工作站、服务器或便携式计算设备)。在该图中，计算机101功能位于一个单个组件中。
图4示意性图示了本发明被部署为客户端-服务器配置的示例，其中示出了能够使用一些常用的软件和图形用户界面(GUI)对象实施的一些软件功能块。该示意图标明了传感器数据处理和至服务器(在此示为web服务器)的消息生成；GUI、数据访问、用户配置和消息分析/查看能力被分配给客户端。在该图示中，所有的物理接口都与计算机101集成，并且这些功能块代表向物理接口提供计算接口的软件对象；这些软件对象都在计算机内运行。传感器数据401，在此也被示为可选的存储数据407，被输入至计算机101，并且对于执行关键活动分析402的动态链接库(DLL)对象是可用的；产生于关键活动分析的消息由消息处理/存储DLL 403生成/处理，所述消息处理/存储DLL 403进一步访问在其中可以存放用于存储和管理的消息的数据库404。网络接口对象405提供在服务器和客户端之间的通信的装置，以及配置接口和可执行406提供允许客户端(用户)配置本发明的装置。这些处理通过服务器/系统接口(包装)408在计算机上被管理和完成。通过虚线409与服务器侧分开的客户端侧本质上是运行在该计算机101或单独/对等网络计算机上的GUI应用。本发明的该示例中的GUI客户端包括主GUI窗口410、用于实时数据显示的窗口411、在本发明中设置用户偏好的窗口412、用于图形查看诸如事件统计的时间序列的消息数据的窗口413，最后该客户端GUI包括用于传感器和其它关键系统组件的配置窗口414。
图5示意性图示了以嵌入式(例如便携式等)配置部署的本发明，其中传感器、传感器数据处理以及外部消息接口全被集成在单个模块501中，模块501包括其中对传感器数据分析关键活动的发生的计算机101、传感器和相应的传感器数据502以及能够使用有线/无线网络连接504或直接连接的有线/无线接口505的消息生成和通信组件503。在本发明的该嵌入式网络实施例中，工作站计算机506提供加载默认的关键活动数据507的装置并且还能够执行计算以更新关键活动定义508，其能够替选地经由用户输入509更新。工作站计算机能够进一步通过访问数据库511分析关键活动消息日志510并且结果能够通过电子消息系统接口512或者外部数据管理系统接口513被通信，使得能够使用一个或多个服务器514或类似服务器的组件来实现本发明的更为分布式的方法。在本示例中一些计算机功能已经被指派/分发给系统中的服务器或工作站(两者都是计算机)。
图6示意性图示了本发明跨诸如因特网的广域网601部署的系统级实施例。在该示例中，系统的计算机部分出现在网络的多个节点(意味着该计算系统是分布式的)，传感器数据和一些关键活动分析预处理发生在一个网络节点602上，传感器数据关键活动分析的完成发生在第二节点603上，结果关键活动消息被存储在第三节点处的服务器605上的消息日志数据库604中，并且用于关键活动606的远程图形分析的GUI在第四网络节点执行。该示例图示了本发明的模块设计从而促使其在高度网络化环境下使用。
传感器数据是在预定位置和时间在或临近该企业收集的量化信息，其可被用于使用机器视觉算法来推断企业的事件和关键活动。传感器数据在预定位置收集而与对象依从性无关，意味着与本发明推断的对象有关的信息的收集无需对象的参与，与诸如典型的生物识别(例如，指纹、面部识别、虹膜识别等)系统的情况需要对象参与的信息相反。
对象是任何的物理实体，这样的实体可以是有生命的也可以是无生命的。有生命的对象被认为是动物/生物、人、或机器。无生命的对象被认为是人造的或自然的。人造对象还被进一步认为是任何机器、建筑、陈设或用具(例如，工具、武器，在此仅仅列出一些)。
活动是空间和时间上的运动，诸如被其本身移动或被移动的对象观察到的，并且包括关于对象不发生运动的情况。
企业是公司、社区、家庭、或与负责管理或监视其中活动相关的其它物理地区或区域。
事件是在由传感器观测的可以是对本发明的特定用户感兴趣的特定感兴趣场景中发生的现象。关键活动是用户确定其是重要的和/或由事件的时间和/或空间行为所暗示的有效证据被本发明认为重要的事件(或一组事件)。
下列段落详细说明图1的组件。
默认关键活动数据的描述
关键活动数据包括简洁地代表企业感兴趣事件的人、车辆、动物和无生命对象传感器数据的数学模型。默认关键活动数据是随系统安装的(或安装在系统中)的在系统安装之前已知的或者被预期与系统用户相关的关键活动数据。这些基本模型是为了描述默认用户感兴趣的默认生命和无生命对象，与对特定对象有特定兴趣的位置和时间相关联。
这些模型将包括一组普通的人类特征(例如，身体、肢体、头部、步态等等)和姿势(例如，站、坐、走、跑、跳、躺、谈论、丢弃、写、以及其它运动模式)，还有一些非人类但是有生命的特征和/或描述符(例如，犬类、猫科动物、鸟类)。例如，人类的身体部分可以根据具有与典型的人类部分成比例的区域的连通椭圆(和其它形状)来被数学描述，并且椭圆体(和其它形状)连接至传感器数据的方式可被用于确定姿势。继续该示例，对于人的形状具有太小区域的椭圆体和与动物的椭圆连通性比与人的更一致的椭圆体可被分配有生命的但非人类的标识符。
如果特征和姿势(例如，形状、颜色、连通性)的数学描述与这些特征和姿势时间上的空间行为相结合，则能够从传感器数据中确定更复杂的行为。例如，再次使用先前的椭圆体示例，如果在该传感器数据中观察到组成人类身体的椭圆体横越传感器视场内的空间时，则确定从一个特定点到另一点的行走行为(例如，从“点A至点B”的行走)。此外，如果伴随这些生命(人类或非人类)的活动数据是无生命活动对象模型，诸如通常会与人类活动相联系并且对理解特定人类活动(例如，汽车/轿车、汽车/皮卡、皮带/犬类、轮椅等等)很重要，则可以从传感器数据确定与人类和这些无生命对象交互相联系的额外复杂性。
组成关键活动数据的模型可以以多种方式构建，包括但不局限于之前讨论的椭圆体人类形状模型。传感器数据中特征的其它数学描述可以包括感兴趣的前景(例如，移动的)传感器区域的空间(例如，二维)柱状图，其表明在一个区域中不同对象的数目；诸如对允许在传感器数据中检测接近于参考形状的对象的匹配过滤器检测有用的形状模板(例如，使用圆形过滤器的匹配过滤器在检测传感器数据中圆形对象时是有用的)；基于传感器数据使用特征向量聚类和分类对象(例如，作为长宽比测量的椭圆长和短轴)；以及频域技术，诸如傅立叶-梅林变换，作为一个示例，可以提供需要被简洁表示和与参考代表比较的传感器数据的比例和旋转常量表示以评估传感器数据形状与一些已知传感器数据的匹配程度。
传感器数据中形状的另一个有用的数学描述、或模型的示例是简洁并且有助于小计算负担的基于轮廓的模型。可用于该方式的许多方法诸如用以表征非刚性形状/特征的B-样条技术已被一些机器视觉科学家证明是有用的。在这种方式中，例如，移动(前景)对象在传感器数据中被检测出来并且B-样条曲线与传感器数据中的对象的轮廓相拟合，并且该样条被用于描述该移动对象的位置和轨迹，因此通过本发明使得能够对被跟踪/观测的对象进行复杂描述，并且还使用最小量的传感器数据来描述它(对于一组密集传感器数据点具有一个相对简洁的表示的B-样条)。但是，其它机器视觉模型也可以应用于本发明中。
此外，描述诸如车辆的刚性的、非人类的对象的模型可被相应地用于检测、描述、跟踪以及一般地监视这样的车辆的活动。人类对象是一些更难被描述的对象，并且因此适于该示例的讨论。但是，被用于接近检测和测量人类活动的相同计算机视觉方法和技术一般也可用于车辆机器视觉测量。
为了确定传感器数据中更复杂的行为和交互，关键活动数据还包括位置、空间和时间数据。默认位置数据仅是作为该系统的一部分被安装的传感器的视场，因此，除非用户手动指定，否则所有的传感器数据(例如，像素)同样重要或有同样的意义。但是，例如，用户可以具有重要性的位置(例如，边界矩形或其它感兴趣的区域)指定为经历有效活动、小活动或无活动的区域。
同样，默认时间数据仅是该系统的操作时间，因此，除非用户手动指定，否则当系统被首次安装时所有的时间同样重要或有同样的意义。如同位置数据，用户可以为高活性、低活性或无活动手动指定特定兴趣时间段(例如，餐馆的后门在非营业时间应该是无活动的，以及在那些时间内的事件甚至在单事件级时都是重要的)。
最后，默认关键活动数据将包括组合生命和无生命数据模型并且构建合成活动的活动分类。例如，门道对象内发生的走动事件的组合将是大多数用户感兴趣的事件类型，因此其适合包含在默认中。还例如，准备过街的步行者的数目的观察与车辆(交通)活动的状态相组合将代表这样的活动组合体。还例如，当通过单行道路的交通方向具有安全暗示时移动方向有重要意义。
关键活动数据还包括位置和时间数据。默认位置数据仅是作为系统一部分被安装的传感器的视场，因此，除非用户手动指定，否则所有的传感器数据(例如，像素)同样重要或有同样的意义。但是，例如，该用户可以将具有重要性的位置(例如，边界矩形或其它感兴趣的区域)指定为经历有效活动、小活动或无活动的区域。
因此所描述的关键活动数据最好被实现为读入系统的数据结构，尽管能够设想存储、获取和操作这样数据的其它方式(例如，如多个单数据类型记录、简单缓冲区，但不局限于此)。
关键活动识别和更新的描述
本发明的该元件提供了一种自动(即，基于在部署系统中使用本发明之后收集和分析的数据)或手动添加默认关键活动数据的装置。用于本发明的关键活动数据的手动添加是使用交互用户界面(例如，图形用户接口、语音入口、或GUI)或在不能使用图形界面界面的情形时它的等同物(例如，蜂窝电话、计算机监视器或拨号电话入口的菜单)来实现的。该GUI或其等同物在本发明公开的随后部分被描述。
到关键活动列表的数据自动添加是通过分析随着系统操作积累的消息日志来进行统计推论而实现的。频繁发生的孤立事件(例如，人路过门道)、频繁发生的聚类事件(例如，人群在收银机前排队)、以及不频繁发生的孤立事件(例如，人在深夜营业结束后在餐馆后门闲逛)均是能够导致反馈至识别企业关键活动的数据结构的事件示例，以为该企业提供对关键活动数据的修改。
关键活动数据的用户输入的描述
本发明已经包括提供适合于工业或其所部署的设置的默认关键活动数据。但是，还会期望存在不包含在默认活动中的特定活动、对象或对象分类和/或事件，对用户也是重要的。因此，系统包括从预定义列表中选择额外数据元素、或添加用户通过独立装置获得的自定义数据元素的能力。
用户输入关键活动数据至少需要监听或查看要选择的项目列表的装置和选择它们的装置，其可以是用于声音入口菜单(例如，诸如在银行电话事务中使用的)、计算机监视器文本菜单或等同物的情形。优选实施例，可能的话，使用图形用户界面(GUI)如可以通过个人计算机，或任何可以显示图形内容并且允许用户选择/输入数据的类终端设备。
例如，GUI可以使用被初始化为默认设置的已选择复选框列表，但是包含能够代替或除默认值外使用的未选择框。此外，为了帮助包含额外模型数据，GUI可以具有使得用户能够加载与使用的特定数据结构相兼容的模型数据的按钮或其它控制。
除了关键活动数据(模型和相关参数)外，用户可以输入系统组件的位置以在空间关联中使用以及特定感兴趣对象在传感器数据中的位置，即使用户不能或不感兴趣指定因此指定的对象的模型。在GUI接口的情形中，对象的这种选择能够如同用诸如鼠标的指向设备画密闭的矩形或其它形状一样简单。显然地，这样的数据也可以通过不太复杂的接口(例如，声音入口)被输入，但是这样数据的输入变得麻烦，因此GUI再一次是优选实施例。
传感器数据的描述
本发明使用来自于提供相关企业信息的用户选择传感器的传感器数据(例如，数字视频数据、红外线数据、微波数据、其它多媒体数据，包括但不限于音频)。传感器数据可以源于单个传感器或多个传感器，并且可以与本发明的其它部分共同定位或可以源于远程、联网位置。借助于传感器数据分析计算机资源(例如，服务器或桌面计算机)上的唯一连接(例如，数据端口)或者借助于唯一的传感器标识符(例如，在数据传送至传感器数据分析计算机资源前放置在它的数据上的传感器序列号或水印)，传感器数据必须与特定的位置相关联，因为从传感器数据取得的事件的位置是关键活动数据的重要组件。
传感器数据在与对象依从性无关的预定位置被收集，意味着本发明推断的与对象有关的信息的收集无需对象的参与，与诸如在典型生物识别(例如，指纹、面部识别、虹膜识别等等)系统的情形需要对象参与的信息相反。例如，如果传感器被安置以观察在零售企业的通道闲逛的人的活动，关于该人类对象特征的有效信息可以被测量以在不了解该对象的情况下精确描述该人类对象，更不用说该对象的参与了；参与将需要该对象摆姿势，以某种程度上与测量合作，或用别的方式帮助活动信息的收集。
可以想象的是传感器自动定位在传感器视场重叠的情形中以及在传感器组中的至少一个传感器的位置是已知的情形中是有用的，使得用户指定位置是最少的。但是，可以预期的是大部分使用本发明的企业会在安装时从用户分别指定传感器的位置中获益，因此在来自特定传感器的数据和其唯一位置和/或视场之间明确地形成关联。
对传感器数据分析关键活动的出现的描述
本发明的该方面涉及机器视觉和机器智能算法应用于传感器数据(例如，数字视频图像序列或单独图像)，包括但不限于以下的算法元素：
1、检测指示事件可能发生的传感器数据中的改变；
2、使用统计前景和背景模型(例如，传感器数据的行为的经验、分析或半经验表示)检测和分离传感器数据中的背景(例如，具有统计有效性的固定或不变)对象和前景(例如，具有统计有效性的移动或改变)对象。
3、提取与所检测对象相关联的特征以及生成描述与在特定时间点的传感器数据有关的对象(例如，视频图像序列中的单个图像，或者传感器数据的一些其它时间序列)的数据(例如，元数据)。
4、用所提取的特征(例如，元数据)替代原始传感器数据作为传感器数据的更简洁表示，这在计算机数据存储(例如，诸如动态随机存取存储器的存储器)时是特别重要的。这可被看作是输入数据的压缩形式，并且本发明包括使用传感器数据的压缩(以及压缩数据的最终存档)。
5、定位和跟踪前景对象。定位包括计算由在传感器数据中的放置(例如，在单个数字图像中的一组传感器像素的质心，只作为一个可能的方法)所指示的对象位置。跟踪包括位置的测量、运动统计量(例如，均值、方差、协方差)的测量，包括但不限于速度和加速度。跟踪可被用于保持对象的过去位置、对象的当前位置以及也可以预测未来位置的信息。
6、检测事件(发生在由传感器查看的特定感兴趣场景中可能对本发明特定用户有特定兴趣的现象)。
7、通过比较事件数据和关键活动数据(例如，对应于用户有特定兴趣的现象的事件序列或单个事件)，检测关键活动。
8、调整前景和背景传感器数据模型以适应在相应背景或前景统计量中的改变(例如，新的无生命对象被放置在传感器视场内的地板上，因此如果其保持持久时段则变成了背景的一部分)。
存在许多方法能够被用来提供上述的分析功能，其中许多已经被公布(例如，IEEE学报机器视觉和模式识别)。此外，对于之前分析序列的各个部分存在很多不同技术的组合，这些不同技术的组合可以被使用并且对于特定的企业管理情形具有不同水平的效用。
例如，在传感器数据序列中检测和跟踪人的非常简单的系统可以包括：计算连续传感器数据(例如，在视频序列中的连续图像)之间的差值，这些差值指示改变足够大能指示运动的传感器数据；过滤这些差值(例如，应用高斯匹配过滤器以平滑不同图像)以减少易受随机事件影响的特性以及对过滤数据设定阈值以产生正在经历有效改变的传感器数据区域；识别阈值化的数据中的轮廓并且提取这些轮廓点的位置；使用这些轮廓点描述被包围在轮廓内的区域并且还确定该轮廓的主轴；基于轮廓从而判定计算该形状是否是人；如果类似人，则计算该轮廓的质心，其可被用于通过随着时间测量该对象的质心从一传感器数据集到时间上的下一个来跟踪该轮廓对象(理解在该点是类似人)并且通过使用该历史来既形成该对象(人)所在位置的精确估计又基于速度(每单位时间的运动)预测它将要去哪。如果该人类对象接近明显禁止入内的区域，则向企业管理者发送指示这样的事件已经发生或将要发生的消息。这是本发明的非常简单的应用，但是有助于描述一些基本概念。
更复杂的技术也是可预期的。例如，在本发明的特征提取和对象跟踪部分，可以对前景对象使用粗略适应多个假设的统计假设测试。其它方法，包括但是不限于模糊逻辑和神经网络模型，可以被成功地应用于本发明，并且被预期使用。
对传感器数据应用分析算法的结果是输出事件以及包括数据的事件和/或关键活动数据记录，所述数据可以包括但是不限于事件的具体性质、事件时间、位置、类型以及对象的空间和时间性质。这些可能会随着所选检测对象的特定算法而稍有改变，但是可以包括例如速度、诸如散度和旋度的向量梯度数据、以及对象的光谱行为，如果从传感器可获得这样的数据。
在对象的类型与关键活动/对象模型非常匹配的情形中，该类型标识将被声明为输出的一部分；但是，可以想象对象的标识有时是未知的以及保持未知需要稍后确定，或者事件只是由于消息存储能力的可用性而未知，但是基于随着时间对事件和消息数据的分析被提交于消息生成以促使发现新的关键活动。输出数据记录还可以包括分析数据产品的统计确定性，例如，在优选实施例中利用统计假设测试来检测和分类对象的似然比。
生成关键活动消息的描述
由于本发明的目的部分地是将利用传感器或传感器组观察的事件和行为通信给本发明的用户，所以来自分析算法的输出数据记录可被用于生成表示决定存储如所声明的事件的消息。是否生成消息、或消息生成逻辑的决定是基于事件的统计有效性来进行的，并且可以包括在生成消息之前所需的统计有效性级别的用户偏好(例如，用户可以指定事件必须具有错误报警小于1小时1次的概率，其接着会直接影响在可能性测试中使用的用于测试统计的阈值设置，在该情形中使用了特定测试类)。
一但决定使用消息生成逻辑生成消息，由传感器数据分析算法生成的数据被格式化以被数据存储(例如，数据库或其它存储组织方式)和消息模型(例如，电子邮件、即时消息、或其它通信消息的方式)使用，并且将其发送至这些模型中的一个或两个。可以认识到本发明的一些应用可能没有足够的数据存储能力来存储所有生成的消息，但是仅仅是希望发送能够被消息接收者(例如，可以进一步使用所生成消息的人或类似服务器的计算机)使用和/或丢弃的消息(例如，电子消息)。但是，优选实施例包括将消息存储在已知位置使得可以对所存储的消息(消息日志)执行额外的处理以跨越正在观察的许多活动和位置推断更加复杂、长期的活动。
如在本发明的传感器数据分析部分所描述的，优选实施例还包括不必与已知关键活动匹配的事件的存储。将在某些方面是未知的或否则被认为不重要的事件存储为消息，提供了用户自动或半自动学习发生在感兴趣企业内的事件的方式。这样的事件消息因此可以被存储，在所存储的数据中具有适当说明以指示该事件在某些方面是未知的或未完全确定的。
关于加密的使用
在本发明中使用加密作为保护所生成的传感器数据和/或消息不被目的用户的基础外的用户观察的方式。由于显而易见地本发明可以用在观察机密事件(例如，关闭银行款台、锁定或解锁零售机构的入口)的情形中，所以使用加密保护数据和/或消息业务对于提供高级客户服务是重要的。加密可以发生在该技术的任何部署的生成数据和/或关键事件消息的点。一旦数据和/或消息位于网络另一侧的可信方处，可以实施解密，因此为事务提供了安全的数据管道。存在很多可行的提供加密的方法，诸如当前被发现在因特网上广泛使用的安全端口层(SSL)协议采用的，在此只作为一个常见的示例。
发送和/或存储关键活动消息的描述
基于来自与消息相关的用户的输入，从本发明的消息生成组件接收的消息将被存储在预定位置或多个位置(例如，本地存储器、大容量存储介质的本地或远程数据库)和/或被放置在用于具有至公共接口的消息系统或专有消息系统的消息队列中。
因此，本发明的该元素本质上是至数据库和消息操作者的接口。优选实施例将包括促进对消息数据进行分析的私有数据库、由用户偶尔需要访问和/或用户批准分析的外部商业可用数据库(例如，SQL或其等同物)以及允许单个接口至多个即时消息(例如，AOL)和简单消息(例如，可视电话)标准的商业消息代理服务，因此移除了将这样标准合并至系统的需要。
电子消息系统接口的描述
本发明的该要素本质上是适应发送消息的商业或私有标准的消息队列，包括电子邮件、即时消息和诸如被用于移动电话的SMS(短消息系统)数据。可以设想的是本发明可能需要将私有消息发送至非公开资源(例如，能够接收这样消息的专用或公共网络上的微控制器和需要由本发明生成的信息所触发的控制硬件)。但是，优选实施例使用标准的消息接口/方法，使得最小化了系统对于用户的复杂度和不稳定性。
外部数据管理系统接口的描述
本发明的该要素本质上是用于写入消息数据记录的数据存储(例如，数据库)接口。如同本发明的电子消息组件，可以预期到非标准私有接口可能是必须的，但是优选实施例依赖于用户经验尽可能简单和不复杂的商业可用标准其，假设本发明总体目标是为不具有机器视觉或其它先进技术专业知识的人提供先进技术。
分析关键活动消息日志的描述
本发明的该要素的目的是对所存储的事件和关键活动消息分析具有统计有效性的组合的或复杂的活动(例如，按时间或位置分开的多个消息组成的事件)以及多事件的交叉关联(例如，在相同的感兴趣地域、在相同的感兴趣地域的相同时间、或在不同的感兴趣地域的相同时间发生的事件)。因此，本发明允许对多个事件(即，未知的或未完全确定的)和/或关键活动分析比通过上述对传感器数据分析关键活动所能够检测的更复杂的关键活动的出现。这适合例如用户感兴趣的长期关键活动的模式或者跨多个传感器的关键活动的模式，但是需要证实随时间和/或位置的一系列关键活动或关键活动的组合。这样关联的输出可被馈送回至识别企业关键活动的数据结构，以使得能够对识别企业关键活动的数据结构进行修改。
如同对所有传感器数据发生的传感器数据分析，由于近年来在这种数据挖掘和相关技术中有积极的活动，该要素可以多种方式实施。但是，优选实施例再次依赖允许表征多假设以及不必依赖于事件统计的先验说明(例如，正态分布一般不适合检测和跟踪远离概率密度函数的突出模式的事件)的鲁棒的粗略统计假设测试方法。
生成关键活动更新消息的描述
使用存在的关键活动消息和/或存储的未知事件消息，事件消息的时间或空间模式会不时发生。在这些模式可以指示企业内发生新的和/或未知(但潜在地是重要的)事件方面来说，新的关键活动能够被自动或半自动地添加至本发明中使用的关键活动列表。由于用户有能力指定和/或改变所使用的关键活动，所以用户可以自由拒绝自动生成的关键活动更新。替选地，用户可以通过关键活动选择工具调整控制关键活动的唯一性的参数，使得系统不会仅仅基于所分析的事件消息的模式中次要和无关紧要的变化来生成新的关键活动消息。
生成复杂事件消息的描述
由于用户感兴趣的一些关键活动可以包括关键活动的整体(多于一个)，或者一系列相同关键活动和/或多个关键活动的组合(例如，时间或空间上分布)，本发明可以形成用户指定的或通过消息更新机制变得明显的复杂事件消息(参见前面的段落)。一但生成，这些复杂事件消息以与简单关键活动消息一样的方式被处理。
示例说明
图1中描述的主要特征的可能实施例的示例在图2-5中提供，其在下面关于图1被描述。
图2示出了可以处理传感器数据(假设是数字视频，或数字图像或帧序列)以生成关键活动事件消息的简单方式示例。这是图1中被描述为“对传感器数据分析关键活动的出现”和“生成关键活动消息”的一些计算的简单示例。
假设传感器数据被输入至关键活动分析计算机程序，提取连续帧并且计算绝对差(SAD)的和。如果该SAD值足够大，则接着假定图像中出现改变并且值得进一步计算。对于出现改变的图像，使用在公开资料中已经说明的许多方法中的一种将背景(静态)传感器数据与前景(移动)传感器数据分离。
将背景与前景分离的问题被很好地研究。简单的技术仅仅包括平均级的减法。更复杂的技术可以包括每个传感器数据元件(例如，来自焦平面阵列传感器的每个像素)的统计特征(例如，测量均值、方差、其它时刻的传感器数据)，以基于像素在某个预先确定的时间长度内(例如，过去的几秒钟、过去的几分钟——对所关注的企业管理情形适合的任何时间长度)的方差和变化确定未改变的数据元素中正在改变的那些数据元素(例如，像素)。可以想象有些应用可以使用甚至是最简单的背景/前景分离技术，并且有些会需要更复杂的方法。但是，已经有足够的方法被描述，并且基于特定企业管理情形的要求，本发明中可以使用或多或少复杂的方式以获得满意的性能。
将前景与背景分离后，该前景数据可被分析以定位前景对象或计算前景对象的位置。随后，对前景对象分析其特征，并且如果检测到多个对象并且发现其是一个较大整体(例如，互连的组件分析)的一部分，这些组件可以被互连/关联以及因此被与适当对象关联。
在提取特征以及形成必要的组合对象，应用跟踪算法(“追踪器”；简单跟踪对象所处位置并且典型地能够基于先前对象位置历史预测将来的对象位置的跟踪算法)并且能够将所检测的对象与存在的被跟踪对象相比较，使得新对象能够开始被跟踪和/或存在的对象能够更新其跟踪。一但对象就检测和跟踪而言已经被处理，可以更新用于追踪器的统计模型；这通常包括更新所跟踪对象的错误协方差、更新存储的当前位置以及为下一传感器数据实例更新预测的跟踪。
最后，为了确定是否发生关键活动事件，可以将对象的特征和位置与感兴趣的关键活动事件相比较。如果发生了这样的事件，则生成消息。
图3示出了用于实践本发明的处理系统的核心元件。作为最低配置，系统必须具有处理器(例如，微型计算机、数字信号处理器、或专用集成电路)；某种存储或存储器，其允许计算机程序在其上运行，允许传感器数据被操作和存储以及还使得能够存储从传感器数据和关键活动数据的短期或长期分析中生成的消息；用于通信本发明的输出以及获取传感器数据的接口。
图4示出了本发明被部署为客户端-服务器应用的示例，所述应用将运行在常规的客户端(例如，桌面或移动计算机)和服务器(例如，web服务器、局域网服务器，诸如在典型的企业设置中可发现的)。具体地，该图示出了图1的一些元件可以如何被指派给计算机可执行模型，在此作为示例示出为动态链接库(DLL)模型，诸如在现代的计算机上通常可发现的。
该图通过虚线分成两部分。上部分是服务器部分且下部分是客户端部分。服务器包括处理关键活动分析的DLL以及处理生成和消息处理/存储的DLL。本示例中的服务器侧还具有至传感器和/或存储的数据文件(例如，AVI)的接口，来自其的数据被馈送至分析DLL。此外，服务器提供通过其配置接口控制和维护系统(传感器、感兴趣事件、其它系统细节)的配置的装置。服务器还为可执行组件提供网络接口，可执行组件都可以通过接口模型(有时称之为包装)和网络模型(例如，TCP、或传输控制协议)访问。最后，服务器提供至包含消息数据存档的数据库的接口，并且通过数据库DLL其可以执行所需的计算以推断复杂事件和记入在数据库中的新的/重复事件的统计意义。
客户端侧图示了本发明被用户通过典型的桌面计算机操作系统接口(例如，Microsoft Windows)从客户端侧访问时所期望的典型特征范围，并且其中涉及分析、设置、配置、传感器数据观看等的工具都被提供。窗口或接口被提供给用户以配置系统(选择/确定关键活动)、设置偏好、观看来自数据库DLL的结果以及观看通过该系统生成的各种数据。
图5示出了本发明被部署为嵌入式配置，其当需要在跨网络传输数据之前减少原始传感器数据(压缩的形式)时出现，其中安全性和带宽可以明显低于所有的系统组件被包含在单个建筑/结构的设置中)。在该嵌入式示例中，所有的传感器数据的初始关键活动分析是由专用集成电路(ASIC)或等同的通用可编程处理器(例如，微处理器、数字信号处理器)提供，使得仅仅该减少的数据被跨有线或无线网络发送至目的消息接收和/或数据库存储元件。
在该图中，图1的主要元件都是可见的。但是，它们跨网络被分布并且有些(活动分析和消息生成)被嵌入在包含提供用于分析的数据的传感器的模块中。从外部无线或有线设备的直接连接在此也被示出，因为可以想象到从这样的嵌入式模块至外部设备(例如，由该消息要传送给的那个人所持有)的直接消息对于例如在没有充足网络基础设施的远程位置的用户是非常方便的。
尽管没有明确示出，该示例是从包含加密中获得明显益处的一个示例，所述加密可以发生在ASIC的输出阶段，正如关键活动消息被生成。一但该消息位于网络另一侧的可信方处，加密可以被实施，因此为消息事务提供了安全的数据管道。有许多可行的提供加密的方法，作为示例，诸如当前被发现在因特网上广泛使用的由安全端口层(SSL)协议采用的。该例中示出的系统的剩余部分严密地遵循图1的逻辑，并且能够在上下文中被容易地理解。
图6图示了本发明的模块设计，这允许其被以多种设置进行部署，诸如在图3和图4中所描述的设置。本发明是结构化的，使得传感器数据、传感器数据处理、消息数据库和消息数据处理以及访问都能够在分离的、网络化的资源上发生。例如，在该图中，传感器(左下角)被部署为远离系统的其它部分但是具有用于发送原始传感器数据或减少的数据(例如经由ASIC)的网络连接。在此的传感器数据被传送至在右上方所示的传感器数据分析计算机，其生成由另一个服务器记入到消息日志数据库(右下)中的消息。该(右下)服务器还能够运行数据库和统计应用以向本发明的用户提供感兴趣的数据结果。最后，用户能够经由如左上方所示的便携式计算机(例如，便携式电脑)从远程、但是联网的位置请求这样的结果。
对于本发明的整体目标，该整体结构对促进非专业人员使用复杂机器视觉和数据挖掘算法是重要的。由于这些复杂算法能够在数据产品(消息)的用户无需负责的系统上运行和管理，用户可以避免关注于消息内容的理解。