向视频流添加用户选择的标记

摘要

用于向视频流添加标记的方法和系统。该方法包括通过计算设备接收来自图像传感器的视频流和与至少一个标记相关的元数据。该方法还包括：通过计算设备处理元数据，以生成用于视频流的所述至少一个标记，并显示叠加在视频流上的所述至少一个标记。

权利要求

1.一种用于向视频流添加标记的方法，该方法包括：

通过计算设备接收来自用户的至少一个标记的选择；

响应于所述至少一个标记的选择，通过计算设备将信息传输至图像传感器，其中，所传输的信息包括对与所述至少一个标记相关联的元数据的请求；

通过计算设备接收来自图像传感器的视频流；

通过计算设备接收来自图像传感器的与所述至少一个标记相关联的所述元数据；

通过计算设备处理所述元数据，以生成用于视频流的所述至少一个标记的图形表示，其中，所述图形表示包括所述元数据的至少一部分；

在视频流内的用户选择的位置处通过计算设备显示叠加在视频流上的所述至少一个标记的所述图形表示；

通过计算设备接收来自所述图像传感器的更新的视频流和来自所述图像传感器的与所述至少一个标记相关联的更新的元数据；

通过计算设备基于所述更新的元数据来更新所述至少一个标记的所述图形表示；

通过计算设备显示叠加在所述更新的视频流上的所述至少一个标记的更新的图形表示。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：通过计算设备接收来自用户的对所述至少一个标记的选择；从远程服务器下载与所述至少一个标记的选择相关联的软件应用程序；和通过计算设备来执行所述软件应用程序，以便处理所述元数据以生成所述至少一个标记。

3.根据权利要求1所述的方法，其特征在于，该方法还包括通过计算设备存储视频流和元数据，并且重播所存储的视频流，并且在重播所存储的视频流时处理所存储的元数据，以便生成所述至少一个标记的所述图形表示和显示叠加在所重播的视频流上的所述至少一个标记的所述图形表示。

4.根据权利要求1所述的方法，其特征在于，该方法还包括：提示用户指定所述至少一个标记的所述图形表示的大小和形状。

5.根据权利要求1所述的方法，其特征在于，处理所述元数据以生成所述至少一个标记的所述图形表示包括：处理所述元数据以生成被包括在所述图形表示中的文本描述，该方法还包括提示用户指定所述文本描述的文本。

6.根据权利要求1所述的方法，其特征在于，通过计算设备将信息传输至图像传感器包括传输用于执行动作的指令。

7.根据权利要求1所述的方法，其特征在于，处理所述元数据以生成所述至少一个标记包括：处理所述元数据以生成包括计时器的至少一个标记，以便跟踪出现在视频流内的物体的持续时间。

8.根据权利要求1所述的方法，其特征在于，处理所述元数据以生成所述至少一个标记的所述图形表示包括：处理所述元数据以生成表示一参数的至少一个标记，该参数由与所述图像传感器分离的至少一个传感器感测。

9.根据权利要求1所述的方法，其特征在于，该方法还包括：响应于接收到通过外围设备将所述至少一个标记的所述图形表示从第一用户选择的位置移动至第二用户选择的位置的拖动动作，显示在第二用户选择的位置处叠加在视频流上的所述至少一个标记的所述图形表示。

10.一种用于向视频流添加标记的系统，该系统包括：

计算设备，其包括被配置成用于执行软件应用程序的处理单元，所述计算设备被配置成：接收来自用户的至少一个标记的选择；

响应于所述至少一个标记的选择而将信息传输至图像传感器，其中，所传输的信息包括对与所述至少一个标记相关联的元数据的请求；

接收来自图像传感器的视频流；

接收来自图像传感器的与所述至少一个标记相关联的所述元数据，

处理元数据，以在视频流内的用户选择的位置处生成用于视频流的所述至少一个标记的图形表示；

接收来自所述图像传感器的更新的视频流和来自所述图像传感器的与所述至少一个标记相关联的更新的元数据；

基于所述更新的元数据来更新所述至少一个标记的所述图形表示；

在更新的视频流内的用户选择的位置处显示叠加在更新的视频流上的所述至少一个标记的更新的图形表示。

11.根据权利要求10所述的系统，其特征在于，所述软件应用程序还被配置成：将配置数据传输至图像传感器，以用于所述至少一个标记的所述图形表示。

12.根据权利要求10所述的系统，其特征在于，所述软件应用程序还被配置成：用于存储视频流和元数据，并且重播所存储的视频流，并且在重播所存储的视频流时处理所存储的元数据，以便生成所述至少一个标记的所述图形表示和显示叠加在所重播的视频流上的所述至少一个标记的所述图形表示。

13.根据权利要求10所述的系统，其特征在于，所述至少一个标记的所述图形表示包括文本描述。

14.根据权利要求10所述的系统，其特征在于，所述至少一个标记的所述图形表示包括计时器，以便跟踪出现在视频流内的物体的持续时间。

15.根据权利要求10所述的系统，其特征在于，所述至少一个标记的所述图形表示包括从包括隐私屏蔽、指南针和目标标识符的组中选择的至少一个。

16.根据权利要求10所述的系统，其特征在于，所述软件应用程序还被配置成：基于用户选择的标记位置和所述图像传感器的当前位置，自动地确定所述至少一个标记的所述图形表示在视频流内的位置。

17.根据权利要求10所述的系统，其特征在于，所述软件应用程序还被配置成：基于所述软件应用程序的用户的身份而自动地隐藏所述至少一个标记的所述图形表示。

18.根据权利要求10所述的系统，其特征在于，所述软件应用程序还被配置成：从用户接收所述至少一个标记的所述图形表示的第一可调节位置，其中，所接收的第一可调节位置与叠加在视频流上的所述至少一个标记的所述图形表示所处的位置相对应；

从用户接收所述至少一个标记的所述图形表示的第二可调节位置，其中，第二可调节位置基于用户将所述至少一个标记的所述图形表示拖动到的位置；

当用户将所述至少一个标记的所述图形表示拖动到第二可调节位置时，在所接收的第二可调节位置显示叠加在视频流上的所述至少一个标记的所述图形表示。

说明书

向视频流添加用户选择的标记

[0001] 相关申请

[0002] 本申请要求2013年2月8日提交的美国暂时专利申请No.61/762，696的优先权，其全部内容通过引用并入本文。

技术领域

[0003] 本发明的实施例涉及串流用户自定义的视频元数据。尤其地，本发明的实施例涉及一种提供增强现实观看的软件应用程序，其使得用户能够绘制或标记观察屏，并使标记(mark-up)在观察屏更新时也持久保留。

背景技术

[0004] 安全摄像机捕捉和传输视频。对于固定的摄相机，所传输的视频通常对应于相同的视野(“FoV”)。然而，对于平移(pan)、倾斜(tilt)和变焦(“PTZ”)摄相机，FoV不是恒定的。相反，PTZ摄像机被配置成提供不同空间位置处的视频。传统的安全监视摄像机以有限的元数据传输视频，元数据提供信息，比如区段(sector)的文本信息或位置信息和预设标题(例如，“后门”)。

[0005] 传统的视频安全系统还提供非交互数据流，从而供用户询问视频内容以获取更多信息的能力有限。此外，视频分析具有有限的功能，并从开发者到用户以自上而下的方式被开发。

发明内容

[0006] 因此，本发明的实施例提供了使用户能够以视频流上的标记的形式来介入、传输和呈现信息(比如安全监视)的方法和系统。例如，本发明的实施例允许用户在观察屏上(例如，通过手写笔)绘制或者向观察屏添加测量某量的实时特征，如计时器(以下统称为“标记”)。用户选择的标记定义由安全摄像机或其它来源提供的元数据。

[0007] 因此，本发明的实施方式提供了编码、在数据流中存储、和解码元数据的方法和系统，所述元数据用于生成并显示用户选择的标记。标记提供用于视频流的视频分析，并作为视频流参考而保持和刷新(即，在相关的元数据刷新时)。

[0008] 本发明的一个实施例提供一种用于向视频流添加标记的方法。该方法包括：通过计算设备接收来自图像传感器的视频流和与至少一个标记相关的元数据。该方法还包括：通过计算设备处理元数据，以生成用于视频流的所述至少一个标记，并显示叠加在视频流上的所述至少一个标记。

[0009] 本发明的另一个实施例提供了一种用于向视频流添加标记的系统。该系统包括计算设备，所述计算设备包括被配置成用于执行软件应用程序的处理单元。所述软件应用程序被配置成：在被执行时，接收来自图像传感器的视频流；接收与至少一个标记相关的元数据；处理所述元数据，以生成用于视频流的所述至少一个标记；和显示叠加在视频流上的所述至少一个标记。

[0010] 本发明的其他方面将通过考虑详细说明书和附图而显而易见。

附图说明

[0011] 专利或申请文件包括至少一个彩色附图。带彩色附图的专利或专利申请公开的附件将应要求提交并缴费。

[0012] 图1a示意性地示出了用于将用户选择的标记添加至视频流的系统。

[0013] 图1b示意性地示出了图la的系统中所包括的计算设备。

[0014] 图2示出了显示在图la的计算设备上的视频流。

[0015] 图3示出了将用户选择的标记添加至视频流的方法。

[0016] 图4示出了视频流和用来访问网站以下载用于向视频流添加标记的应用程序的图标。

[0017] 图5和6示出了用来下载用于向视频流添加标记的应用程序的网站。

[0018] 图7示出了视频流和用于向视频流添加标记的图标。

[0019] 图8示出了视频流和由用户放置在视频流上的标记。

[0020] 图9-12示出了包括标记的视频流。

具体实施方式

[0021] 在详细阐述本发明的任何实施方式之前，应当理解，本发明在其应用方面不限于在以下说明书中提出的或在附图中示出的结构的详细情形和构件的布置方式。本发明能够具有其他实施方式且能够以多种方式来实施或执行。

[0022] 并且，应当理解，本文所使用的措辞和术语是出于说明性目的且不应被看做是限制性的。“包含”、“包括”或“具有”及它们的变形的使用在本文中是指包括其后所列的项目及其等同物以及其他项目。术语“安装”、“连接”和“联接”被广义地使用，且涵盖直接和间接的安装、连接和联接。另外，“连接”和“联接”不限于物理或机械连接或联接，且可包括电连接或联接，不论是直接的还是间接的。同时，电子通信和通知可使用任何已知的手段来实施，包括直接连接、无线连接等。

[0023] 还应注意，多个基于硬件和软件的设备以及多个不同的结构部件可用于实施本发明。另外，应该理解的是，本发明的实施例可包括硬件、软件和电子元件或者模块，为了阐述的目的，可以将其说明并描述为多数元件被单独实施在硬件中。然而，本领域技术人员基于详细说明书将能够认识到，在至少一个实施例中，本发明的基于电子的方面能够被实现在能够通过一个或多个处理器来执行的软件中(例如，储存在非暂时的计算机可读介质中)。同样的，应该注意到，多个基于硬件和软件的设备以及多个不同的结构部件可以被用于实施本发明。例如，说明书中所描述的“控制器”和“控制单元”可包括标准处理部件，比如一个或多个处理器、一个或多个非暂时性计算机可读介质模块、一个或多个输入/输出接口和连接计算机的各种连接(例如系统总线)。

[0024] 图la示意性地示出了用于监视视频流的系统10。系统10包括计算设备12(在本申请中也被称为“客户端”设备)。系统10还包括图像传感器14，例如静态或视频摄相机。图像传感器14可具有固定的视野(“FoV”)或变化的FoV。例如，在某些实施例中，图像传感器14包括平移、倾斜和变焦(“PTZ”)摄像机。图像传感器14出于监控目的而监视一区域。

[0025] 计算设备12与图像传感器14在至少一个网络16上通信。网络16可包括有线网络、无线网络或它们的组合。例如，网络16可包括因特网、局域网或广域网。

[0026] 如图la所示，系统10还可包括服务器18(例如，远程服务器)，所述服务器18存储一个或多个软件应用程序(即“app”或“小工具”)，所述软件应用程序可通过网络16被下载到计算设备12。因此，在一些实施例中，服务器18被称为“App商店”。但应该理解，虽然只有单个的计算设备12、图像传感器14和服务器18在图la中被示出，但是系统10可包括多个图像传感器14、多个计算设备12和/或多个服务器18。

[0027] 计算设备12可包括台式计算机、笔记本电脑、平板计算机、智能电话、智能手表、智能电视，或使用户能够查看来自一个或多个图像传感器14(也称为“图像源”)的视频数据流的任何设备。如图lb所示，计算设备12可以以许多不同的方式进行配置，并且可包括处理单元20(例如，微处理器、专用集成电路(“ASIC”)等)、一个或多个存储模块22和一个或多个输入/输出接口24。

[0028] 存储模块22包括非暂时性计算机可读介质，比如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)。处理单元20从存储模块22检索指令并执行指令，以执行特定功能，如下面更详细地描述。处理单元20也可以检索和存储数据到存储模块22，作为执行指令的一部分。

[0029] 处理单元20还通过输入/输出接口24从外部设备和系统获得数据。例如，输入/输出接口24将计算设备12与图像传感器14和服务器18连接。输入/输出接口24还允许计算设备12与用户联接。例如，如图la所示，计算设备12还包括用于显示视频流的监视器25。在一些实施例中，监视器包括触摸屏。计算设备12还可包括一个或多个外围设备26，比如键盘、操纵杆、鼠标、手写笔、打印机等。这些设备可通过输入/输出接口24连接到计算设备12和与计算设备12联接。

[0030] 计算设备12在网络16上接收来自图像传感器14的数据。接收到的数据包括视频数据和元数据。元数据可包括任何类型的数据，包括视频数据、音频数据、非视频数据、非音频数据以及它们的组合。例如，元数据可包括图像传感器14的当前位置(例如，平移和倾斜位置)、视频分析、图像传感器14的参数(例如，焦点、光圈、变焦)、补充传感器信息以及其他信息，比如文本(例如，图像传感器14的说明，比如“摄像机1”或“后门”)、时间、日期等。补充传感器信息可通过与图像传感器14相关联的一个或多个传感器(例如，与图像传感器14相比包括在同一外壳或设备中，或另外与图像传感器14和/或计算设备12通信)来提供。传感器可感测由图像传感器14监视的区域的各种参数。例如，传感器可包括陀螺仪或从加速计传感器接收的加速计反馈，和/或环境、放射和生物传感器，比如感测污染水平的气体传感、感测辐射水平的辐射传感器、和位置传感器(例如，GPS传感器或设备)。图2示出基于从图像传感器14接收到的数据通过计算设备12显示的视频流28。

[0031] 如上所述，本发明的实施例使得用户能够向视频流绘制或添加标记。标记提供关于视频流的附加元数据，并且可以用于执行视频分析。例如，图3示出根据本发明的一个实施例向视频流添加标记的方法30。如图3所示，该方法包括选择、下载和在计算设备12上安装小工具(在框40处)。在一些实施例中，小工具是从服务器18下载的。例如，如图4所示，为了选择和下载小工具，计算设备12显示图标50(例如，在所显示的视频流52下面)。用户可以选择(例如，点击，触摸，敲击，滑动等)图标50以访问网站，用户可在网站处下载一个或多个应用程序或小工具(例如，可通过服务器18在因特网上从统一资源标识符(“URI”)访问的应用程序或“app”商店)。例如，如图5和图6所示，如果用户选择了图标50，用户可以被引导到由服务器18为主机的网站54。该网站允许用户选择一个或多个小工具，以便下载(和在适用时支付这种选择的小工具)。选择和下载小工具后，计算设备12显示小工具图标70，如图7所示。小工具图标70表示计时器小工具，其允许用户将计时器标记添加到显示的视频流。计时器标记在下面更详细描述。

[0032] 应当理解，其它的下载和安装机制可用于下载或在计算设备12上安装一个或多个小工具。例如，作为从服务器18下载小工具的替代或附加，小工具可从可连接(例如，通过USB接口)到计算设备12的闪存驱动器或可移动存储模块安装。替代性地，一个或多个小工具可以预先安装在计算设备12上。例如，在一些实施例中，平板电脑、笔记本电脑或个人计算机可以被专门配置和出售，以便连同视频流使用，并预安装可供使用的小工具的库。

[0033] 在下载和安装一个或多个小工具之后，用户配置每个小工具(在框80处，图3)。配置小工具可包括：将与小工具相关联的标记在所显示的视频流上放置在特定位置处。用户可以使用与计算设备12相关联的触摸屏25和/或外围设备26(例如，键盘、鼠标、操纵杆、手写笔等)来放置标记。例如，如上所述，可用的小工具可以显示为在显示视频流的图形用户界面中的图标(参照图7)。在一些实施例中，可用的小工具被显示在界面内的工具条(例如，底或侧工具条)上。用户可以将标记从工具条拖放到也显示在界面中的视频流上。例如，如图8所示，用户可以选择小工具图标70，并将图标70拖动到所显示的视频流82上的特定位置，以将与所选择的小工具相关联的标记84添加到所选位置(参照图9)。替代性地或附加地，用户可以选择小工具图标70(例如，双点击或双敲击)，以便将与所选择的小工具图标70相关联的标记84放置在所显示的视频流82内的默认位置处。用户选择的或默认的标记位置形成了用于标记的配置数据的一部分。

[0034] 一些标记与其他用户选择的参数(比如文本、颜色、功能等)相关联。在这些情况下，在用户将标记定位在视频流上之前或之后，小工具可提示用户进行其他输入。这些用户选择形成了用于视频流上的标记以及标记位置的配置数据的一部分。

[0035] 对于特定标记的配置数据也由元数据定义，小工具需要所述元数据以创建和显示标记。例如，下面的表1提供了用于不同小工具的样本配置数据。特别是，表1的最后一列表示对于特定小工具串流的特定元数据。例如，表1描述的指南针小工具作为视频流上的指南针标记显示指南针方向，如北、南、东、西(参见图11)。当指南针小工具被构造时，图像传感器14(即，摄相机)串流元数据，所述元数据包括：用于提供指南针标记的当前和参考平移和倾斜坐标(即，将特定平移和倾斜坐标映射到特定指南针方向的配置数据)。因此，指南针小工具使用元数据中提供的坐标，以将方向(例如，东和西，或北和南)在视频流上图形化地显示为标记。但是应当理解，与特定小工具相关联的元数据可相对于表1所示的元数据而变化，并且可以根据图像传感器或数据源的类型、数据源的状态等而变化。

[0036] 表1

[0037]

[0038] 因此，用于标记的配置数据包括对于标记的用户选择(例如，位置、文本、颜色等)，和小工具为了呈现和显示标记所需要的元数据(例如，相机信息、时间和日期等)。配置数据或配置数据的部分存储在计算设备12上(例如，作为下载的小工具的一部分或者被配置成解释来自摄相机的数据的单独应用程序)和/或在图像传感器14处(在框90处，图3)。特别是，小工具(或由计算设备12执行的单独的软件应用程序)可以将信息传送到图像传感器14，以基于用户添加到视频流的标记来告知图像传感器14需要什么元数据。如果用户改变了标记，图像传感器14就可类似地被告知该变化。因此，通过标记，用户自定义由图像传感器14提供的元数据。如果特定标记所需的任何元数据不能通过图像传感器14获得，与图像通信的小工具(或由计算设备12执行的单独的软件应用程序)就可与其他系统或设备通信以请求所需的信息。还应该理解的是，在一些实施例中，每当用户配置了小工具，配置和任何历史信息就被存储在图像传感器14上。因此，当电力周期发生时，所存储的信息也不会丢失。

[0039] 配置数据被存储(或按需要被请求)之后，图像传感器14串流由配置数据定义的视频数据和相关元数据(在框100处)。大多数视频流标准(如H.264)提供元数据通道。因此，图像传感器14可编码所需的元数据，并将元数据过通过元数据通道传送。

[0040] 计算设备12接收视频数据(表示由图像传感器14监视的静止或变化区域)和相关的元数据，并处理这两段数据以生成视频流和提供用于视频流的分析工具的一个或多个标记(在框110处，图3)。例如，在一些实施例中，每个小工具均被配置成：解码所述元数据和解释或处理所述元数据，以生成或刷新视频数据流上的标记(例如，通过由计算设备12执行的单独的应用程序产生并刷新)。

[0041] 如上所述，连同特定标记使用的元数据可通过图像传感器14、计算设备12(即，与标记相关联的小工具)、其他系统或设备或它们的组合来提供。在一些实施例中，小工具被配置成：结合所有必要的元数据，使用元数据来生成或更新特定标记，并存储元数据以及视频流，以便当所存储的视频流被重播时可重新创建标记。

[0042] 产生每个标记后，标记被显示在视频流上(例如，叠加在视频流上)。每个标记在视频流上被显示在用户选择的位置处或默认位置处。应当理解的是，标记可采取各种形式，并提供不同的功能。例如，每个小工具分别可以提供特定类型的标记。通常，标记可包括图形表示，比如形状(例如，线、圆等)、文本(例如，信息性文本或警告)、颜色(例如，用于特定目的或名称的阴影区域)、计时器、便签注释(例如，用于安全人员的广播消息)、与预定功能相关的可选按钮等。

[0043] 例如，标记可用来定义由图像传感器14所监视的区域的子区域。标记的子区域可定义视频流的一部分，特定人员或机器不能进入该区域(例如，施工人员因埋藏的设施不能挖掘)，或特定人员或机器必须待在该区域。安全人员可以使用标记快速识别特定目标是否处于限制区域中。在一些实施例中，标记可包括具有默认或用户选择的大小和形状的区域图形表示。标记可以是至少部分透明的，以使得用户能够查看标记后面的视频流。在其他实施例中，标记可以是半透明的，以充当用于视频流的特定区域的隐私屏蔽。

[0044] 类似地，标记可以用来提供用于视频流的参考方向或参考点。例如，如图11所示，由特定图像传感器14监视的单行道可以添加为基于文本的标记112，以帮助新的安全人员熟悉他们所监视的区域。如图11所示，这些标记可包括文本描述和图形表示，比如一个或多个箭头。例如，对于商场的区域的视频流，标记可包括一箭头，该箭头指向一方向并带有读作“SEARS(希尔斯)”的文本。

[0045] 基于文本的标记112也可以作为注释放在包含在视频流中的特定目标周围。例如，安全人员可将标记放置在出于安全目的已被批准的目标附近(例如，在与已被认可的现场服务承包商相应的区划中停放的货车)。这些基于文本的标记112也可被添加到视频流，以向安全人员提醒在被监视区域中的既定情况(见图10和11)。这些标记112可在改变安全人员的交接班或需要在多个个体人员之间分享信息的大安全人员组方面起作用。

[0046] 标记114也可以被用来识别和记录可疑情况(参照图10)。标记114可以识别可疑情况的位置、情况的时间和/或情况的描述。可疑情况可与未被识别的个体、敞开的门或窗、未被识别的车辆或包裹等相关联。例如，如图12所示，当安全人员注意到停车区划中的意外事件时，可将标记器114手动添加到视频流。标记114可与计时器相关联，该计时器记录该意外事件的时间或检测到该意外事件的时间。标记114的位置可识别意外事件的位置。识别可疑情况的标记也可与计时器相关联。该计时器可记录特定的可疑情况(例如，未被识别的车辆)已经静止并被关注了多久(见图11)。例如，图7所示的标记包括计时器标记116。在一些实施例中，定位的计时器标记116在计时器标记116被定位在显示的视频流上时开始计时。在其他实施例中，用户在放置后必须选择计时器标记116，以便启动计时器。一旦计时器标记116正在运行，用户就可以选择计时器标记116来停止并随后重新启动计时器。

[0047] 在一些实施例中，标记还可包括与一个或多个预定功能相关联的一个或多个可选择的按钮。例如，标记可包括打印按钮，从而允许用户将屏幕上的当前图像(包括或不包括标记)打印到打印机或文件。标记还可包括与以下功能相关联的按钮：重新定位摄相机；开启和关闭特定的摄相机；开启和关闭计时器；开启和关闭灯或警告；开启和关闭与特定的图像传感器相关联的其他传感器(例如，温度传感器、加速器传感器等)；执行特定软件应用程序，比如面部识别软件应用程序等。上述表1还提供了关于不同类型的标记的其他细节。

[0048] 应当理解，小工具的功能性可以在计算设备12和图像传感器14之间进行划分。例如，在一些实施例中，当小工具提供计时器标记时，图像传感器14可更新时间，并将该信息提供给小工具(其显示所接收的时间)。图像传感器14可跟踪计时器的实际经历时间(例如，从零开始向前计时或从一预定时间段开始向后计时)。替代性地或附加地，图像传感器14可提供当前时间，并且小工具可被配置成使用当前时间来计算对于计时器的时间。通过利用来自图像传感器14的时间信息，小工具可基于图像传感器14的时区来保持时间信息，该时区可不同于计算设备12的时区。

[0049] 此外，在一些实施例中，小工具可以与图像传感器14通信，并修改或控制传感器的行为。例如，小工具可以指示图像传感器14采取行动(如，发送警告或电子邮件)。图像传感器14可以被配置成能自动采取这些行动(例如，当计时器期满时)和/或基于从小工具接收到的具体指令来采取这些行动。

[0050] 应当理解，由计算设备12执行的小工具可与一种类型的标记或多种类型的标记相关联。此外，应该理解，标记可包括多个特征或方面。例如，标记可关联于一个或多个文本描述、一个或多个图形表示、一个或多个功能或它们的组合。

[0051] 此外，在一些实施例中，标记被定在相对于时间持久的三维空间位置。因此，当小工具生成或更新标记时，即使图像传感器14的FoV变化(例如，平移或倾斜)，标记也在视频流上显示在持久位置中(其可以包括：如果该持久位置不再在图像传感器的FoV内，就不显示标记)。标记的位置也可以是基于矢量的，从而允许标记随摄相机FoV和/或所显示的视频流被重新选择大小。此外，在一些实施例中，标记不覆盖原始图象流，而是叠加在视频流上。因此，即使标记叠加视频流的特定区域，视频流的帧数据也不会丢失。用户还能够隐藏所显示的标记(例如，在不删除标记的情况下)，以便查看标记下面的视频流的部分。隐藏的标记可在特定时间或动作(例如，屏幕刷新或交接班)后自动重新出现，或者可在用户的命令下重新出现。而且，如上所述，在一些实施例中，标记或标记的一部分可以是至少部分透明的，使得由标记叠加的视频流至少部分可见。此外，标记可被处理成层。每一层可被定制以针对特定的用户、用户类型或功能，如“电气服务”层、“紧急响应服务”层等。因此，根据访问视频流的用户类型，可以提供并显示标记的不同层(即，可基于用户的身份隐藏部分或全部标记)。

[0052] 如上所述，小工具可随实时视频流使用。然而，小工具也可随与相关联的元数据存储的历史视频流使用。特别是，小工具可以用来分析存储的视频数据和相关联的元数据。例如，如果用户将温度监测标记配置在图像传感器的特定平移和倾斜位置(例如，通过图像传感器在特定的FoV拍摄到机器的位置)处，与该标记相关联的相应元数据就被与视频数据串流，并随视频数据存储。于是，小工具可用于以非实时方式创建与所存储的视频相关联的标记。此外，小工具可以被配置成：根据历史标记来执行额外的分析，比如提供特定时段(例如，一天或数天)期间的温度随时间变化的曲线图。

[0053] 元数据也可以随视频流存储，并用于重新创建标记或为存储的视频流提供额外的标记。所存储的元数据也可以被用来在所存储的视频流上进行查询和执行分析。例如，与标记了被注意到的意外事件或可疑情况的标记相关联的元数据可以从存储的视频流被迅速地识别，并用于确定犯罪模式或请求其他安全力量的时间段。

[0054] 标记所使用的元数据也可以提供给第三方，以使用所述元数据生成用于提供标记和/或执行视频分析的其他软件应用程序。例如，软件应用程序可使用元数据来自动识别和标识目标。软件应用程序也可使用元数据来自动跟踪视频流内的用户定义的状态、位置、颜色等的变化。

[0055] 还应理解，本文所描述的小工具和标记可随任何类型的数据流使用，且不限于视频流。例如，小工具和标记可随热数据流，伽马数据流等使用。

[0056] 因此，本发明的实施例提供了方法和系统，所述方法和所述系统用于提供应用程序或基于软件的小工具，以用于监控摄像机平台。应用程序和小工具可以被配置为：定义由摄相机串流的元数据，并将所提供的元数据与标记相关联，标记显示为视频流的一部分。例如，元数据可用于创建定于特定视频帧的位置相关的和位置无关的标记。摄相机(比如PTZ设备)将所选择的、编码在视频数据中的或与视频数据分开的元数据串流，所述视频数据包括补充传感器信息(例如，包括在特定图像传感器14中的或与特定图像传感器14相关联的、除了图像传感器之外的传感器，比如热传感器)。小工具解码元数据并处理元数据，以便在视频流上以可见形式或其他形式呈现标记。

[0057] 本发明的不同的特征和方面在从属权利要求中提出。