会员体验
专利管家(专利管理)
工作空间(专利管理)
风险监控(情报监控)
数据分析(专利分析)
侵权分析(诉讼无效)
联系我们
交流群
官方交流:
QQ群: 891211   
微信请扫码    >>>
现在联系顾问~
首页 / 专利库 / 信息经纪 / 双向社区信息经纪

双向社区信息经纪

申请号 CN201580063089.9 申请日 2015-12-14 公开(公告)号 CN107004272A 公开(公告)日 2017-08-01
申请人 英特尔公司; 发明人 I·塔陶里安; H·李; R·H·奥海依比;
摘要 一种用于基于图像数据分析发送通知的系统,可包括:图像配准模块,用于从无人驾驶飞行器接收地理位置的当前图像数据;变化检测模块用于:将所述当前图像数据与所述地理位置的先前图像数据进行比较以识别在所述地理位置中的变化;以及分析所述变化以确定在所述地理位置中变化的类别;以及动作模块,用于:基于所述类别确定关于所述变化要通知的至少一方;以及经由无人驾驶飞行器将通知发送到所述至少一方。
权利要求

1.一种用于基于图像数据分析将通知发送到至少一方的系统,所述系统包括:图像配准模块,用于从无人驾驶飞行器接收地理位置的当前图像数据;

变化检测模块,用于:

将所述当前图像数据与所述地理位置的先前图像数据进行比较,以识别在所述地理位置中的变化;以及分析所述变化以确定在所述地理位置中的所述变化的类别;以及动作模块,用于:基于所述类别确定关于所述变化要通知的至少一方;以及经由无人驾驶飞行器将通知发送到所述至少一方。

2.根据权利要求1所述的系统,其中,为了分析所述变化以确定在所述地理位置中的所述变化的所述类别,所述变化检测模块用于:检测所述变化是在所述地理位置中的道路上的;以及将所述变化分类为道路危险。

3.根据权利要求2所述的系统,其中,所述动作模块用于:接收用于车辆的信息,所述信息表明所述车辆的路线;

确定所述路线包括所述地理区域中的所述道路;以及其中,为了确定关于所述变化要通知的所述至少一方,数据库被查询以确定与所述车辆相关联的一方。

4.根据权利要求3所述的系统,为了经由所述无人驾驶飞行器将所述通知发送到所述至少一方,所述动作模块用于:将所述通知发送到与所述车辆相关联的所述一方,所述通知包括更新的路线以便所述车辆规避所述变化。

5.根据权利要求1所述的系统,其中,为了经由所述无人驾驶飞行器将所述通知发送到所述至少一方,所述动作模块用于:当所述变化的所述类别表明在所述地理位置中存在事故时,将所述通知发送到第一响应者。

6.根据权利要求1所述的系统,其中,所述地理位置的所述当前图像数据包括所述地理位置的红外图像数据。

7.根据权利要求1所述的系统,其中,为了将所述当前图像数据与所述地理位置的所述先前图像数据进行比较,所述变化检测模块用于:将所述当前图像数据变换成已变换的图像数据,以匹配所述先前图像数据的视点;以及计算所述已变换的图像数据和所述先前图像数据之间的变化百分比。

8.根据权利要求7所述的系统,其中,所述已变换的图像数据是所述当前图像数据的旋转以及缩放版本。

9.根据权利要求1所述的系统,其中,为了经由所述无人驾驶飞行器将所述通知发送到所述至少一方,所述动作模块用于:查询数据库以检索至少一个UAV的位置信息以及所述至少一方的位置信息;

将所述至少一个UAV的位置信息与所述至少一方的位置信息进行比较,以确定在所述至少一方的阈值距离内的UAV;以及发送指令到在所述阈值距离内的所述UAV,所述指令用于将所述通知发送到所述至少一方。

10.根据权利要求1所述的系统,其中,为了将所述当前图像数据与所述地理位置的所述先前图像数据进行比较,所述变化检测模块用于:针对所述地理位置来访问先前图像数据的数据存储;

从所述数据存储检索在不同时间取得的所述地理位置的至少两个图像;以及将所述地理位置的所述至少两个图像与所述当前图像数据进行比较。

11.根据权利要求1所述的系统,其中,为了基于所述类别确定关于所述变化要通知的至少一方,所述动作模块用于:查询各方的数据库以确定已经请求了针对所述变化的类别的通知的一方。

12.根据权利要求11所述的系统,其中,为了基于所述类别确定关于所述变化要通知的至少一方,所述动作模块用于:确定所述一方的位置;以及

存储指示,所述指示关于当所述一方的位置在所述地理区域的边界内时通知所述一方。

13.根据权利要求1所述的系统,进一步包括:网络接口,用于经由所述无人驾驶飞行器从穿戴式设备接收传感器数据。

14.根据权利要求1所述的系统,进一步包括:网络接口,用于经由所述无人驾驶飞行器从不动产接收传感器数据。

15.一种用于基于图像数据分析将通知发送到至少一方的方法,所述方法包括:从无人驾驶飞行器接收地理位置的当前图像数据;

将所述当前图像数据与所述地理位置的先前图像数据进行比较,以识别在所述地理位置中的变化;

分析所述变化以确定在所述地理位置中的所述变化的类别;

基于所述类别确定关于所述变化要通知的至少一方;以及经由无人驾驶飞行器将通知发送到所述至少一方。

16.根据权利要求15所述的方法,其中,分析所述变化以确定在所述地理位置中的所述变化的所述类别,包括:检测所述变化是在所述地理位置中的道路上的;以及将所述变化分类为道路危险。

17.根据权利要求16所述的方法,进一步包括:接收用于车辆的信息,所述信息表明所述车辆的路线;

确定所述路线包括所述地理区域中的道路;以及其中,基于所述类别确定关于所述变化要通知的所述至少一方包括查询数据库以确定与所述车辆相关联的一方。

18.根据权利要求17所述的方法,其中,经由所述无人驾驶飞行器将所述通知发送到所述至少一方,包括:将所述通知发送到与所述车辆相关联的所述一方,所述通知包括更新的路线以便所述车辆规避所述变化。

19.根据权利要求15所述的方法,其中,将所述通知发送到所述至少一方,包括:当所述变化的所述类别表明在所述地理位置中存在事故时,将所述通知发送到第一响应者。

20.根据权利要求15所述的方法,其中,接收所述地理位置的当前图像数据包括接收所述地理位置的红外图像数据。

21.根据权利要求15所述的方法,其中,将所述当前图像数据与所述地理位置的所述先前图像数据进行比较,包括:将所述当前图像数据变换成已变换的图像数据,以匹配所述先前图像数据的视点;以及计算所述已变换的图像数据和所述先前图像数据之间的变化百分比。

22.根据权利要求21所述的方法,其中,将所述当前图像数据变换成已变换的图像数据包括旋转和缩放所述当前图像数据。

23.根据权利要求15所述的方法,其中,经由所述无人驾驶飞行器将所述通知发送到所述至少一方,包括:查询数据库以检索至少一个UAV的位置信息和所述至少一方的位置信息;

将所述至少一个UAV的位置信息与所述至少一方的位置信息进行比较,以确定在所述至少一方的阈值距离内的UAV;以及发送指令到所述阈值距离内的所述UAV,所述指令用于将所述通知发送到所述至少一方。

24.至少一种机器可读介质,包括指令,所述指令当由机器执行时,使得所述机器执行权利要求15-23的方法中的任一项所述的操作。

25.一种装置,包括用于执行权利要求15-23所述的方法中的任一种的单元。

说明书全文

双向社区信息经纪

[0001] 优先权声明
[0002] 本专利申请要求享有于2014年12月19日提交的、美国申请No.14/577,965的优先权,通过引用其全文的方式将该美国申请并入本文。

技术领域

[0003] 本文描述的实施例在总体上涉及信息交换系统,具体地但不限于涉及双向社区信息经纪(bi-directional community information brokerage)。

背景技术

[0004] 无人机,诸如无人驾驶飞行器(UAV),不再局限于由军方或政府人员操作。无人机越来越多地由商业公司以及个人操作。例如,无人机可用于检查输油管道、用于精确农业测绘,以及用于确定施工状况。在这样的操作期间,无人机可以取得照片以及视频,并存储数据或将数据发送回到无人机操作员。UAV的这些用途通常是非协作性的。因此,来自一个无人机的信息不被另一个无人机使用,即使这样的信息可能是有用的。
[0005] 在其他实例中,社交网络可用于共享信息,但信息通常是有限的并且范围狭窄。例如,社交网络可用于在用户之间共享交通数据。然而,该信息在社交网络之外并不是可用的,并且通常限于在特定设备上运行特定应用。

附图说明

[0006] 在不一定是按比例绘制的附图中,相同的数字可以在不同的视图中描述相似的部件。具有不同字母后缀的相同的数字可以表示相同组件的不同实例。在附图中的诸图中通过示例而非限制的方式示出一些实施例,其中:
[0007] 图1是根据各种示例说明了信息经纪生态系统的概述的系统图;
[0008] 图2根据各种示例说明了数据收集及通知服务器的组件;
[0009] 图3根据各种示例说明了环境变化的图像数据;
[0010] 图4根据各种示例说明了交通危险的图像数据;
[0011] 图5是根据各种示例说明了用于将通知发送到一方的方法的流程图;以及[0012] 图6是以计算机系统的示例形式的机器的框图,在计算机系统中的指令的集合可被执行,以便使机器执行本文所讨论的方法中任意一种或多种。

具体实施方式

[0013] 在下面的描述中,为了解释的目的阐述了许多特定细节,以便提供对一些示例性实施例的透彻理解。然而,对于本领域技术人员显而易见的是,可以在没有这些特定细节的情况下实践本公开。
[0014] 具有诸如相机等信息采集传感器的无人机(自主的或以其他方式的)的普及,创造了大量要收集及分析的信息。这些信息可在短至几分钟或长至数年的时间周期内被分析,以确定在环境中的变化。例如,在一天内从无人机取得的农场的图像可以与两周前从无人机取得的图像进行比较。在本文描述的各种示例中描述了一种信息经纪生态系统,其允许基于环境中的相关变化的上下文将该变化传送给一方或多方。在本公开中还描述了该系统和方法的其他益处。
[0015] 图1是根据各种示例示出的信息经纪生态系统100的概述的系统图。信息经纪生态系统100包括信息经纪服务102、UAV 104-110、智能手机112、穿戴式设备114、不动产116、车辆118及通信线路120和122。本公开使用四台UAV(UAV 104-110)进行讨论;然而,以本文所描述的方式可以使用更多的UAV。类似地,信息经纪生态系统100可利用更少的UAV操作。进一步,虽然示出了信息经纪生态系统100具有与无人机104-110通信的很少几个示例性设备—智能手机112、穿戴式设备114,不动产116上的传感器、及车辆118,但是如本文所描述地可以使用更多的设备。
[0016] 在各种示例中,信息经纪生态系统100中示出的组件可经由一个或多个网络(例如,通过通信线路,诸如通信线路120和122)进行通信。网络可以包括局域网(LAN)、广域网(WAN)、无线网络(例如,802.11或蜂窝网络)、公共交换电话网网络(PSTN)、自组织网络、蜂窝网络、个域网或对等网络(例如, Wi-Fi Direct),或网络协议及网络类型的其他组合或排列。网络可以包括单个局域网(LAN)或广域网(WAN),或LAN或WAN的组合(诸如因特网)。在各种示例中,通信可以是单向的。例如,不动产116或车辆118上的传感器可以广播信息,但是它们可能不能够接收数据。
[0017] 在各种示例中,UAV 104-110从各种源(例如,从机载传感器)收集数据。例如,UVA 104-110当在一个区域上方飞行时可以取得下面地面的照片。这些照片可以用照片被取得处的坐标进行地理编码,并且图片可被加上时间戳。在各种示例中,照片是使用光电传感器或红外传感器取得的。UAV104-110可以从机载或基于地面的设备(例如,不动产116上的传感器)收集传感器数据,所述设备包括但不限于:温度传感器、压力传感器、深度相机、陀螺仪、加速度计和磁力计。来自这些设备的传感器数据可被加上时间戳和被地理编码。
[0018] UAV 104-110可以被自主地、半自主地或手动地操作。例如,自主UAV可以被编程有利用使用航路点(例如,纬度,经度,海拔高度)的路径,其中UAV遵循该路径并返回到其始发点。半自主UAV可以被编程以导航到特定地点,然后等待进一步的指令。
[0019] 在各种示例中,UAV 104-110不断地在一个区域上方飞行以建立该区域随着时间推移的图像数据。例如,UAV 104可以在第一天在该区域上方飞行,并且UAV 106可以在第二天在该区域上方飞行。同一UAV也可以用于取得同一区域的照片。可以基于区域的类型来确定该区域上的航程之间的时间。例如,如果正在观察的区域是高峰时段的高速公路,则UAV 104-110可每五分钟取得一次照片。反之,如果该区域是乡村区域,那么可每周取得一次照片。
[0020] 在各种示例中,UAV将相机的实况转播提供给请求方或感兴趣的一方。例如,如果由UAV检测到环境事件(例如,泥石流),可将泥石流的实况转播向地方当局广播。
[0021] 在各种示例中,智能手机112和穿戴式设备114可以从UAV 104-110接收通知,该通知是关于如参考图2进一步描述的环境中的变化。此外,智能手机112和穿戴式设备114可以将来自智能手机112和穿戴式设备114的传感器的读数传送到UAV 104-110。
[0022] 在各种示例中,不动产116包括传感器,诸如相机(例如,红外线、视觉及深度)、噪声传感器、温度传感器和化学传感器。传感器可以是网络使能的,以与一个或多个UAV 104-110进行通信。虽然被示为房屋,但是不动产116可采取任何形式,如农场、商业建筑或空地块。在各种示例中,传感器是位于由政府拥有的不动产上的。
[0023] 在各种示例中,车辆118可以向UAV 104-110广播,或与UAV 104-110通信。例如,车辆118可以广播包括车辆的运行状况的车辆数据。这些状况可包括车辆的当前速度、转向信号灯是否打开、车辆的温度等等。车辆118还可以发送包括导航信息等其他车辆数据,该导航信息包括车辆正在行经的路线。例如,用户可使用GPS导航系统来编程目的地。路线可能包括车辆将要行经的街道/转弯,以及车辆将到达每个街道/转弯的大概时间。
[0024] 在各种示例中,智能手机112、穿戴式设备114、不动产116和车辆118可以将它们用嵌入式硬件/软件传感器收集的信息通过UAV发送回到信息经纪服务102。这些消费者/IoT设备上的嵌入式硬件传感器的示例包括但不限于,GPS、相机、运动检测器、速度计、温度计等。软件传感器可以包括社交网络应用、设备到设备通信、以及其他在线信息来源。这样的传感器信息可由信息经纪服务102作为反馈来接收,以进一步改善未来信息提供和变化检测的丰富性和准确性。
[0025] 图2示出了数据收集及通知服务器202(在本文中称为通知服务器202)的组件。通知服务器202接收多种类型的数据,包括但不限于,图像数据204、传感器数据206及车辆数据208,并且通知服务器202输出通知210-214。在示例中,通知服务器202包括图像配准模块216、变化检测模块218、动作模块220、图像数据库222以及设备数据库224。
[0026] 虽然图2的模块和数据库被示为分开存在,但是两个或多个模块或数据库可以被融合。例如,图像数据库222和设备数据库224可以作为单个数据库存在。类似地,模块和数据库的标签用于说明的目的,并且在不脱离本公开的范围的前提下可以使用其他标签。
[0027] 另外,模块和数据库可以在一个或多个服务器上运行。因此,尽管参照单个服务器描述了通知服务器202的功能,但是可以使用多个服务器来处理数据。类似地,组件可以跨多个服务器复制,以处理附加的数据和通知。
[0028] 数据库可以以多种方式配置。例如,数据库可以是平面文件数据库、关系数据库、非关系数据库或其组合。在各种示例中,文件结构用于将数据存储于数据库中。例如,图像文件可以被存储在磁盘上,并且数据库中的条目可以包括到实际图像文件的路径。
[0029] 在各种示例中,图像数据库222将图像数据存储在一个或多个地理位置上。图像数据可以包括地理位置的图像文件(例如,JPEG、TIFF、PNG、BMP等)或视频文件(H.264、H.265、VP8、AVC等)。不同的地理位置可在大小上有改变。例如,一个位置可以是两平方英里,而另一个位置可以是100米×50米。地理位置的界限可以被表示为图像数据库222的条目中的一系列经度和纬度坐标。一系列地理位置可被表示在一起,以形成由UAV104-110所监视的区域的综合地图。
[0030] 在各种示例中,图像数据204由UAV 104-110捕获并被发送到通知服务器202。UAV 104-110可以在数据被捕获时发送数据,或以分批方式发送数据。例如,如果UAV正在监视交通,则该UAV可以实时地发送图像数据。相反,如果UAV在乡村地区,则该UAV可以一次发送航程中的所有图像数据(例如,在航程结束时)。在示例中,UAV不发送完整的图像,而只是发送从上次捕获图像时起在图像中的变化。
[0031] 在各种示例中,传感器数据206和车辆数据208可以经由UAV 104-110发送到通知服务器202。例如,传感器数据206可以包括如参照图1所描述的来自在UAV的范围内的传感器或该UAV机载的传感器的传感器读数。类似地,车辆数据208可以来自UAV的通信范围内的车辆。
[0032] 在各种示例中,地理位置与一个或多个用户相关联。用户可以是拥有土地的或者以其他方式对土地的变化利益相关的一方。例如,用户可以是房主或地方当局。因此,如以下关于动作模块220进一步讨论的,如果传感器数据206表明住宅中出现水,则可以通知住宅所有者。
[0033] 在各种情况中,图像数据204由图像配准模块216进行处理。处理可以包括将已接收到的图像数据与图像数据库222中的现有图像数据相匹配。可以使用各种图像配准算法,其包括但不限于,基于强度和基于特征的算法。图像配准可以包括诸如缩放、旋转和改变图像数据的亮度级别等操作,以匹配针对地理区域的现有图像数据。
[0034] 为了促进图像配准,图像配准模块216可以初始地在图像数据库222中定位具有与已接收图像数据的地理坐标相接近的地理坐标的图像数据。当匹配图像数据时,可以将图像数据204(如果必要则被操作)以相关联的时间戳存储在图像数据库222中。因此,可以存在针对给定的地理位置的多个条目:对于每次针对该地理区域所取得的图像数据存在一个条目。
[0035] 在各种示例中,已接收的传感器数据206(例如,来自穿戴式设备114、不动产116和其他网络使能的设备的数据)以及已接收的车辆数据208可被存储在设备数据库224中。例如,设备数据库224可以具有针对传感器和车辆的条目,所述传感器和车辆已将数据传送到UAV 104-110。各种传感器和车辆可以由设备数据库224中的唯一标识符来标识。与图像数据一样,针对每个传感器/车辆可以随着时间推移生成多个条目,以创建传感器/车辆的综合历史。条目还可以包括针对传感器和车辆的相关联的用户(例如,所有者)。
[0036] 在各种示例中,变化检测模块218分析图像数据库222中的数据,以确定地理区域如何随着时间推移而变化。例如,许多事情可能导致地理区域发生变化。这些变化可能以多种方式分类,包括但不限于,环境变化、基础设施变化以及交通危险。在某些情况下,一个变化可能有多个类别。环境变化可能包括由于天气导致变化,诸如泥石流、滑坡、龙卷风、洪水、雪崩、干旱等。基础设施变化可能包括人造结构的变化,诸如桥梁劣化、房屋火灾、倒塌的建筑物等。交通危险可能由于因交通模式变化(例如交通繁忙)、道路堵塞(例如道路上的碎片)或道路上存在的野生动物导致的导航道路的变化。在不脱离本公开的范围的情况下,也可以使用其他类别。
[0037] 图3示出了根据各种示例的环境变化的图像数据。图3包括农场的当前图像数据302和先前图像数据304——为了说明的目的,农场的作物由各种图案表示。如图所示,当前图像数据302和先前图像数据304中都存在各种作物。然而,当前图像数据302中还存在环境变化306。在这个示例中,环境变化306可以由龙卷风引起。
[0038] 在各种示例中,为了检测环境变化306,变化检测模块218可以利用各种计算机视觉技术来检测农场的图像数据已经改变了一定量(例如,20%),并尝试使用模式匹配来将该变化分类。例如,变化检测模块218可将环境变化306与先前分类的变化相匹配,并确定变化来自龙卷风还是来自蝗虫。其他类型的环境变化可以以类似的方式确定。例如,如果当前图像数据包括先前不存在的大量蓝色像素,则变化检测模块218可以确定该区域中过去/现在有洪水。
[0039] 在各种示例中,变化检测模块218可以利用随着时间推移取得的多个图像来确定是否发生了改变。例如,如果地理位置每七天具有一定的百分比变化(例如,图像的的一个部分以阈值量有所不同),则变化检测模块218可以将该变化作为环境变化而忽略,因为它是重复的人造现象。此外,变化检测模块218可以利用从如图1所示的多个源接收的反馈信息,以提高相互关联的准确性,所述多个源包括智能手机112、穿戴式装置114、不动产116和车辆118。
[0040] 在各种示例中,为了检测基础设施变化,变化检测模块218可以利用结构的红外或热影像、超声波或允许创建结构或环境的代表性状态的其他技术。图像本身可被处理以提取特征,来帮助将来的差分分析。例如,红外影像的比较可检测桥梁或建筑物中的裂缝。类似地,房屋的红外成像可以容易地检测到可能表示房屋火灾的热量的增加,或者如果发现温度下降则炉子可能不起作用。在各种示例中,变化检测模块218可以从数据库(未示出)中访问基础设施位置以便比较。例如,桥梁和道路可以被地理编码,使得变化检测模块218可以分析来自图像数据库222中的位于那些位置的图像数据的多个部分。在示例中,变化检测模块218利用计算机视觉技术来确定基础设施元件的存在。在各种示例中,地理位置的基线可以基于从除UAV之外的源捕获的数据。例如,地理调查数据可以被归一化并且与从UAV接收的图像数据进行比较。
[0041] 在各种示例中,变化检测模块218可以以各种方式检测交通危险。例如,UAV可以通过比较道路随着时间推移的图像数据来检测交通危险。比较可以从道路上移除车辆(例如,使用模式匹配计算机视觉技术),并确定道路上是否存在(一个或多个)物体。在示例中,变化检测模块218可以不移除车辆并且确定给定道路上的交通已经减慢。在示例中,变化检测模块218可以分析图像数据并确定道路附近野生动物(例如,鹿)的出现—将其分类为交通危险。
[0042] 在各种示例中,动作模块220基于变化检测模块218的结果确定要采取什么动作。例如,变化的不同类别可能会有不同的通知并且被发送给不同的人。在示例中,通知偏好可以存储在通知服务器202上。通知偏好可能会指示谁应该关于什么变化而收到通知。
[0043] 在各种示例中,用户可以登录到通知服务器202来设置、修改或删除通知偏好。例如,不动产所有者可以利用计算设备(例如,平板电脑,个人计算机,移动电话)上的应用或网络浏览器来访问由通知服务器202提供的用户界面。使用本领域已知的输入机制(例如,输入框,下拉菜单,复选框等),不动产所有者可以选择用于不动产的状况和通知。用户还可以针对何时接收针对传感器的通知而设置通知偏好。例如,倘若传感器读数高于或低于某个阈值。
[0044] 例如,所有者可以指示如果环境变化发生,则应将推送通知发送到他/她的移动电话和穿戴式设备114(例如,智能手表)。当修改或添加状况/通知时,通知服务器202可更新通知偏好。例如,可使用存储不动产所有者的策略条目的数据库。可为在该地理区域中的地方当局存储类似的通知偏好。因此,如果确定了环境或基础设施变化,可以通知有关部门(例如,警察,火警,医疗)。
[0045] 在各种示例中,动作模块220检查变化类别的类型以及变化在哪里发生,以基于通知偏好来确定要发送的通知。这个过程还可以包括确定将通知发送到用户的哪些设备。然后,动作模块220可以确定与用于接收通知的设备相接近的UAV。例如,当通知服务器202接收图像数据204、传感器数据206和车辆数据208时,该通知服务器202存储UAV的当前坐标。
[0046] 然后,动作模块220可以将指令及通知的内容和通知的内容发送到与设备接近的UAV(例如,在设备的通信范围内最近的UAV)。然后该UAV可以将通知发送到该设备。通知可以是基于文本的,例如变化的概要、音频警报或图像警报(诸如,该变化的照片)。由于UAV可用于发送通知,所以即使用户不在蜂窝覆盖范围内,他/她也可以接收通知。在示例中,通知服务器202不使用UAV作为中介发送通知。
[0047] 在各种示例中,通知服务器202还基于已接收的传感器数据206和车辆数据208将通知发送到设备。例如,考虑用户从工作到家行进的情况。UAV可以基于传感器读数检测用户家中的配水泄漏。传感器读数可以被发送到通知服务器202。动作模块220可以检索用户的联系人信息(例如,用于通信的设备),确定用户的位置(例如,通过利用其他无人机来定位用户),并且向用户的设备发送通知。
[0048] 图4示出了根据各种示例的交通危险的程式化的(stylized)图像数据。例如,考虑到变化检测模块218检测关于特定道路的问题,例如碎片(debris)或附近的野生物402。通知服务器202可以向该问题附近的UAV发送指令,并且使该UAV将关于该问题的信息广播到该UAV范围内的车辆。信息可能包括绕行。此外,用于特定车辆(车辆404)的车辆数据208可以表明,虽然当前不在问题区域中,但是车辆404将要转向道路406。因此,另一(或可能同一)UAV可以向车辆404的导航系统发送通知以使用替代路线。
[0049] 用地理位置和环境变化为例,图5是示出用于将通知发送到一方的方法500的流程图。方法500可以由本文所述的模块、逻辑或组件中的任何一个来执行。其他类型的信息和变化检测可以遵循类似的流程图。
[0050] 在示例中,在操作502处,从无人驾驶飞行器(UAV)接收地理位置的当前图像数据。可以在诸如通知服务器202的服务器处接收当前图像数据。在示例中,当前图像数据是红外图像数据。当前图像数据可以是该地理位置的当前照片的子集。例如,可能是从该UAV前一次捕获该地理位置的照片起的变化。通知服务器202还可以基于地理位置的中心或该位置的界限的多个GPS坐标来接收地理位置的GPS坐标。
[0051] 在示例中,在操作504处,将当前图像数据与该地理位置的先前图像数据进行比较。例如,变化检测模块218可利用已接收的GPS坐标来检索该位置的图像数据。在示例中,从数据存储检索该地理位置的至少两个先前图像。可以将当前图像数据变换以匹配先前图像数据的视点。变换可以包括旋转,缩放,改变亮度级别,偏移(skew)图像等。变化检测模块218可以将已变换的当前图像数据与先前图像进行比较,并确定当前图像数据的与先前图像数据不同的百分比。
[0052] 在示例中,在操作506处,分析变化并确定该变化的类别。例如,计算机视觉及图像分析可用于检查当前图像的已变化部分——如由变化检测模块218识别的——来将图像的已变化部分与现有的分类的图像相匹配。变化检测模块218还可以分析图像的已变化部分以确定正在改变的内容。换言之,确定图像的已变化部分是道路、是房屋、还是田地等。例如,如果先前图像数据中的位置表明了道路,并且当前图像数据指示对道路的改变,则该改变可能被分类为道路危险。
[0053] 在示例中,在操作508处,基于类别来确定关于该变化要通知的至少一方。例如,动作模块220可以查询各方的数据库来确定已经请求了针对该类别的变化的通知的一方。在各种示例中,并非所有已经请求通知的各方都会被通知,而仅是在该地理位置边界内的那些。在示例中,该方的位置被确定(例如,通过使用UAV来定位该方,使用各方电话的GPS坐标等)。
[0054] 在示例中,在操作510处,无人驾驶飞行器向至少一方发送通知。在示例中,数据库可被查询以检索至少一个UAV和所述至少一方的位置信息。可以通过查询一个或多个UAV来确定一方的位置,以确定UAV是否能够与所述至少一方进行通信。还可以通过从外部服务(例如,小区网络)请求信息,来确定该位置。所述至少一个UAV的位置信息可以与所述至少一方的位置信息进行比较,以确定在所述至少一方的阈值距离内的UAV。该阈值距离可以由信息经纪服务102的管理员使用上述的用于用户通知偏好的输入技术来设置。
[0055] 当确定了所述至少一个UAV时,可向UAV发送指令以将该通知发送到所述至少一方。在示例中,当变化的类别表明地理位置中存在事故时,可以将通知发送到第一响应者。在各种示例中,数据库被查询以检索与所述至少一方相关联的设备信息。设备信息可以表明用于通知用户的设备的类型。例如,设备信息可以表明所述至少一个UAV要通知所述至少一方的智能手机。
[0056] 在各种示例中,其他数据可以被接收以确定谁/什么要通知。例如,可以接收关于车辆路线的信息。可以分析路线以确定路线包括由变化检测模块218识别的道路风险。可以查询数据库以确定与车辆相关联的一方,并且可以将通知发送到该方。该通知可以包括关于车辆的在道路危险周围的更新路线。在示例中,通知被发送到车辆的导航系统。
[0057] 如上文所讨论的,本文所描述的系统和方法可以允许与来自其他传感器的其他信息(例如,传感器数据206)的影像相关性。例如,道路基础设施中的传感器可能会报告发生事故或交通堵塞,但无人机的相机可能会抵触此信息。该“脱节”可能意味着道路传感器可能已经报告了由恶意软件或敌方为引起交通堵塞或将流量转移到不同的路线有意地操纵数据而引起的虚假数据。
[0058] 在各种示例中,无人机可以形成网状网络以在没有连接的区域中发送消息。例如,无人机可能会在紧急情况下积极寻找其他无人机或接收站来建立连接。
[0059] 另外,图像分析可用于在问题发生之前预测问题。例如,道路上的裂缝可表明未来的滑坡或地震。系统可关于变化进行警告,而不是在事件发生后通知当局。该系统也可将相似变化与其他地方相关联,诸如在农业中。例如,蝗虫可能对作物造成破坏,但无人机的影像可能会在发生重大爆发之前检测到迹象。同样,与社会媒体相关联的类似技术也可能会警告健康流行病,如非洲的埃博拉病毒。
[0060] 示例性计算机系统
[0061] 实施例可以在硬件,固件和软件的一个或组合中来实现。实施例还可以被实现为存储在机器可读存储设备上的指令,其可由至少一个处理器读取并执行以执行本文所述的操作。机器可读存储设备可以包括任何非暂时性机制,任何非暂时性机制用于以机器(例如,计算机)可读的形式存储信息。例如,机器可读存储设备可包括只读存储器(ROM),随机存取存储器(RAM),磁盘存储介质,光存储介质,闪存存储器设备以及其他存储设备和介质。
[0062] 如本文所述的示例可以包括逻辑或多个组件、模块或机构,或可以操作在其上。模块可以是通信地耦合到一个或多个处理器的硬件、软件或固件,以便执行本文所述的操作。模块可以是硬件模块,并且这样的模块可以被认为是能够执行指定操作的有形实体,并且可以以某种方式配置或排列。在示例中,电路可以以指定的方式作为模块来布置(例如,在内部或相对于诸如其他电路的外部实体)。在示例中,一个或多个计算机系统(例如,独立的,客户端或服务器计算机系统)或一个或多个硬件处理器的全部或部分可以由固件或软件(例如,指令,应用部分或应用)配置操作以执行指定操作的模块。在示例中,软件可以驻留在机器可读介质上。在示例中,当由模块的底层硬件执行时,软件使得硬件执行指定的操作。因此,术语“硬件模块”被理解为包括有形实体,即,物理地构造的实体,具体被配置(例如,硬连线)或者临时(例如,暂时)被配置(例如,被编程)为以指定方式操作的实体或执行本文所述的任何操作的部分或全部。考虑到示例中模块临时被配置,每个模块不需要在任何时刻都被实例化。例如,其中模块包括使用软件配置的通用硬件处理器;通用硬件处理器可以在不同时间被配置为相应的不同模块。软件可相应地将硬件处理器配置为:例如,在一个时刻构成特定模块,而在另一不同时刻构成不同的模块。模块也可以是软件或固件模块,其操作以执行本文描述的方法。
[0063] 图6是根据示例实施例以计算机系统600的示例形式示出的机器的框图,其中可以指令集或指令系统可被执行使得机器执行本文所讨论的任何一种方法。在替代实施例中,机器作为独立设备操作或者可以连接(例如,联网)到其他机器。在联网部署中,在客户端-服务器网络环境中,该机器可以作为服务器或客户端机器运作,或者在对等(peer-to-peer)(或分布式)网络环境中作为对等机运作。该机器可以是个人计算机(PC),平板电脑,混合平板,机顶盒(STB),个人数字助理(PDA),移动电话,网络设备,网络路由器,交换机或桥接器或任何能够执行指令(顺序或其他)的机器,该指令指定由该机器采取的动作。此外,虽然仅示出了单个机器,但是术语“机器”还应被视为包括任何一群机器,该群机器单独或共同执行指令集(或多个指令集)以执行本文所讨论的任何一种或多种方法。
[0064] 示例性计算机系统600包括至少一个处理器602(例如,中央处理单元(CPU)、图形处理单元(GPU)或两者、处理器核心、计算节点等),主存储器604和静态存储器606,其经由链路608(例如,总线)彼此通信。计算机系统600进一步可包括视频显示单元610、字母数字输入设备612(例如,键盘)以及用户界面(UI)导航设备614(例如,鼠标)。在一个实施例中,视频显示单元610、输入设备612以及UI导航设备614被纳入到触摸屏显示器中。计算机系统600可另外包括存储设备616(例如,驱动单元)、信号生成设备618(例如,扬声器)、网络接口设备620以及一个或多个传感器(未示出),诸如全球定位系统(GPS)传感器,罗盘,加速计或其它传感器。
[0065] 存储设备616包括机器可读介质622,在其上存储一组或多组数据结构和指令624(例如,软件),以实施本文描述的方法或功能中的任何一个或多个或由本文描述的方法或功能中的任何一个或多个来利用。在由计算机系统600执行指令624期间,指令624还可以完全地或至少部分地驻留在主存储器604、静态存储器606中和/或处理器602内,其中主存储器604、静态存储器60、及处理器602还构成机器可读介质。
[0066] 虽然机器可读介质622在示例实施例中被示为单个介质,但是术语“机器可读介质”可以包括单个介质或多个介质(例如,集中式或分布式数据库,和/或相关联的高速缓存及服务器)存储一个或多个指令624。术语“机器可读介质”还应当被视为包括任何有形介质,该有形介质能够存储、编码或由机器携带用于执行的指令并且使得机器执行本公开的方法中的任何一种或多种,或者该有形介质能够存储、编码或携带由指令利用的或与指令相关联的数据结构。术语“机器可读介质”因此应当被视为包括但不限于,固态存储器,以及光和磁介质。机器可读介质的具体示例包括非易失性存储器,包括但不限于通过举例的方式,半导体存储设备(例如,电可编程只读存储器(EPROM),电可擦除可编程只读存储器(EEPROM))及闪存设备;磁盘,诸如内部硬盘和可移动盘;磁-光盘;以及CD-ROM和DVD-ROM盘。
[0067] 所述指令624进一步可以使用传输介质通过网络接口设备620通过通信网络626被发送或被接收,其中网络接口设备620利用许多公知的传输协议中的任何一个(例如,HTTP)。通信网络的示例包括局域网(LAN)、广域网(WAN)、因特网、移动电话网、普通老式电话(POTS)网络以及无线数据网络(例如,Wi-Fi、3G和4G LTE/LTE-A或WiMAX网络)。术语“传输介质”应被视为包括任何无形介质;该无形介质能够存储、编码或携带指令用于由机器执行,并且包括数字或模拟通信信号或用于促进这种软件的通信的其它无形介质。
[0068] 示例1包括用于基于图像数据分析将通知发送到至少一方的主题(例如,设备、装置或机器),包括:图像配准模块用于:从无人驾驶飞行器接收地理位置的当前图像数据;变化检测模块用于:将当前图像数据与该地理位置的先前图像数据进行比较,以识别在该地理位置中的变化;并分析该变化以确定在地理位置中的变化的类别;以及行动模块用于:基于该类别来确定关于该变化要通知的至少一方;并经由无人驾驶飞行器将通知发送到至少一方。
[0069] 在示例2,示例1的主题可以包括,其中,为了分析变化以确定在地理位置中变化的类别,则变化检测模块用于:检测该变化是在地理位置中的道路上的;以及将该变化分类为道路危险。
[0070] 在示例3,示例1至2中任一项的主题可以包括,其中,动作模块用于:接收用于车辆的信息,该信息表明车辆的路线;确定该路线包括地理区域中的道路;以及其中,为了确定关于该变化要通知的至少一方,数据库被查询以确定与该车辆相关联的一方。
[0071] 在示例4,示例1至3中任一项的主题可以包括,为了经由无人驾驶飞行器将通知发送到至少一方,动作模块用于:将通知发送到与车辆相关联的一方,该通知包括更新的路线以便车辆规避变化。
[0072] 在示例5,示例1至4中任一项的主题可以包括,其中,为了经由无人驾驶飞行器将通知发送到至少一方,动作模块用于:当变化的类别表明该地理位置中存在事故时,将通知发送到第一响应者。
[0073] 在示例6,示例1至5中任一项的主题可以包括,其中,地理位置的当前图像数据包括该地理位置的红外图像数据。
[0074] 在示例7,示例1至6中任一项的主题可以包括,其中,为了将当前图像数据与地理位置的先前图像数据进行比较,变化检测模块用于:将当前图像数据变换成已变换的图像数据,以匹配先前图像数据的视点;并计算已变换的图像数据和先前图像数据之间的变化百分比。
[0075] 在示例8,示例1至7中任一项的主题可以包括,其中,已变换的图像数据是当前图像数据的旋转以及缩放版本。
[0076] 在示例9,示例1至8中任一项的主题可以包括,其中,为了经由无人驾驶飞行器将通知发送到至少一方,动作模块用于:查询数据库以检索至少一个UAV的位置信息和至少一方的位置信息;将至少一个UAV的位置信息与至少一方的位置信息进行比较,以确定在至少一方的阈值距离内的UAV;并发送指令到在阈值距离内的UAV,该指令用于将通知发送到至少一方。
[0077] 在示例10,示例1至9中任一项的主题可以包括,其中,为了将当前图像数据与地理位置的先前图像数据进行比较,变化检测模块用于:针对地理位置来访问先前图像数据的数据存储;从数据存储检索在不同时间取得的地理位置的至少两个图像;以及将地理位置的至少两个图像与当前图像数据进行比较。
[0078] 在示例11,示例1至10中任一项的主题可以包括,其中,为了基于类别确定关于变化要通知的至少一方,动作模块用于:查询各方的数据库以确定已经请求了针对变化的类别的通知的一方。
[0079] 在示例12,示例1至11中任一项的主题可以包括,其中,为了基于类别确定关于变化要通知的至少一方,动作模块用于:确定所述一方的位置;并且存储指示,所述指示关于,当所述一方的位置在地理区域的边界内时,要通知所述一方。
[0080] 在示例13,示例1至12中任一项的主题可以包括,网络接口,用于经由无人驾驶飞行器从穿戴式设备接收传感器数据。
[0081] 在示例14,示例1至13中任一项的主题可以包括,网络接口,用于经由无人驾驶飞行器从不动产接收传感器数据。
[0082] 示例15包括(诸如方法、用于执行动作单元、包括指令的机器可读介质(该指令当由机器执行时,使得该机器执行动作)或用于执行的装置),用于基于图像数据分析将通知发送到至少一方的主题,包括:从无人驾驶飞行器接收地理位置的当前图像数据;将当前图像数据与地理位置的先前图像数据进行比较以识别在该地理位置中的变化;分析该变化以确定在地理位置中变化的类别;基于该类别来确定关于该变化要通知的至少一方;并经由无人驾驶飞行器将通知发送到至少一方。
[0083] 在示例16,示例15的主题可以包括,其中,分析变化以确定在地理位置中的变化的类别,包括:检测该变化是在地理位置中的道路上的;以及将该变化分类为道路危险。
[0084] 在示例17,示例15至16中任一项的主题可以包括,接收用于车辆的信息,该信息表明车辆的路线;确定该路线包括地理区域中的道路;以及其中,基于类别确定关于变化要通知的至少一方包括查询数据库以确定与该车辆相关联的一方。
[0085] 在示例18,示例15至17中任一项的主题可以包括,其中,经由无人驾驶飞行器将通知发送到至少一方,包括:将通知发送到与车辆相关联的一方,该通知包括更新的路线以便车辆规避该变化。
[0086] 在示例19,示例15至18中任一项的主题可以包括,其中,发送通知至所述至少一方,包括:当变化的类别表明该地理位置中存在事故时,将通知发送到第一响应者。
[0087] 在示例20,示例15至19中任一项的主题可以包括,其中,接收该地理位置的当前图像数据包括接收该地理位置的红外图像数据。
[0088] 在示例21,示例15至20中任一项的主题可以包括,其中,将当前图像数据与该地理位置的先前图像数据进行比较,包括:将当前图像数据变换成已变换的图像数据,以匹配先前图像数据的视点;以及计算已变换的图像数据和先前图像数据之间的变化百分比。
[0089] 在示例22,示例15至21中任一项的主题可以包括,其中,将当前图像数据变换成已变换的图像数据包括旋转和缩放当前图像数据。
[0090] 在示例23,示例15至22中的任一项的主题可以包括,其中,经由无人驾驶飞行器将通知发送到至少一方,包括:查询数据库以检索至少一个UAV的位置信息和至少一方的位置信息;将至少一个UAV的位置信息与至少一方的位置信息进行比较以确定在至少一方的阈值距离内的UAV;并发送指令到阈值距离内的UAV,该指令用于将通知发送到至少一方。
[0091] 在示例24,示例15至23的任一项的主题可以包括,其中,将当前图像数据与地理位置的先前图像数据进行比较,包括:针对地理位置访问先前图像数据的数据存储;从数据存储检索在不同时间取得的地理位置的至少两个图像;以及将地理位置的至少两个图像与当前图像数据进行比较。
[0092] 在示例25,示例15至24中任一项的主题可以包括,其中,基于类别确定关于变化要通知的至少一方,包括:查询各方的数据库以确定已经请求了针对变化的类别的通知的一方。
[0093] 在示例26,示例15至25中的任一项的主题可以包括,其中,基于类别确定关于变化要通知的至少一方,进一步包括:确定所述一方的位置;并且存储指示,所述指示关于,当该方的位置是在地理区域的边界内时,要通知该方。
[0094] 在示例27,示例15至26中任一项的主题可以包括,经由无人驾驶飞行器,从穿戴式设备接收传感器数据。
[0095] 在示例28,示例15至27中任一项所述的主题可以包括,经由无人驾驶飞行器,从不动产接收传感器数据。
[0096] 示例29包括至少一种机器可读介质,包括指令,该指令在由机器执行时,使机器执行的示例15至28中任一种的操作。
[0097] 示例30包含一种装置,包括用于执行的示例15至28中任一种的单元。
[0098] 示例31包括(诸如设备、装置或机器),用于基于图像数据分析将通知发送到至少一方的主题包括:用于从无人驾驶飞行器接收地理位置的当前图像数据的单元;用于将当前图像数据与地理位置的先前图像数据进行比较以识别该地理位置中的变化的单元;用于分析该变化以确定在地理位置中的变化的类别的单元;用于基于该类别来确定关于该变化要通知的至少一方的单元;以及用于经由无人驾驶飞行器将通知发送到至少一方的单元。
[0099] 在示例32,示例31的主题可以包括,其中,用于分析的变化以确定在地理位置的改变的类别的单元包括:用于检测变化是在地理位置中的道路上的单元;以及用于将该变化分类为道路危险的单元。
[0100] 在示例33,示例31至32中任一项的主题可以包括,用于接收用于车辆的信息的单元,该信息表明车辆的路线信息;用于确定该路线包括地理区域中的道路的单元;以及其中,用于基于类别确定关于变化要通知的至少一方的单元,包括用于查询数据库以确定与该车辆相关联的一方的单元。
[0101] 在示例34,示例31至33中任一项的主题可以包括,其中,用于经由无人驾驶飞行器将通知发送到至少一方的单元包括:用于将通知发送到与车辆相关联的一方的单元,该通知包括更新的路线以便车辆规避该变化。
[0102] 在示例35,示例31至34中任一项的主题可以包括,其中,用于发送通知至至少一方的单元包括:用于当变化的类别表明该地理位置中存在事故时,将通知发送到第一响应者的单元。
[0103] 在示例36,示例31至35中任一项的主题可以包括,其中,用于接收该地理位置的当前图像数据的单元包括用于接收该地理位置的红外图像数据的单元。
[0104] 在示例37,示例31至36中任一项的主题可以包括,其中,用于将当前图像数据与该地理位置的先前图像数据进行比较的单元包括:用于将当前图像数据变换成已变换的图像数据,以匹配先前图像数据的视点的单元;以及用于计算已变换的图像数据和先前图像数据之间的变化百分比的单元。
[0105] 在示例38,示例31至37中任一项的主题可以包括,其中,用于将当前图像数据变换成已变换的图像数据的单元包括用于旋转和缩放当前图像数据的单元。
[0106] 在示例39,示例31至38中任一项的主题可以包括,其中,用于经由无人驾驶飞行器将通知发送到至少一方的单元包括:用于查询数据库以检索至少一个UAV的位置信息和至少一方的位置信息的单元;用于将至少一个UAV的位置信息与至少一方的位置信息进行比较,以确定在至少一方的阈值距离内的UAV的单元;以及用于发送指令到阈值距离内的UAV的单元,该指令用于将通知发送到至少一方。
[0107] 在示例40,示例31至39中任一项的主题可以包括,其中,用于将当前图像数据与地理位置的先前图像数据进行比较的单元包括:用于针对地理位置访问先前图像数据的数据存储的单元;用于从数据存储检索在不同时间取得的地理位置中的至少两个图像的单元;以及用于将地理位置的至少两个图像与当前图像数据进行比较的单元。
[0108] 在示例41,示例31至40中任一项的主题可以包括,其中,基于类别确定关于变化要通知的至少一方的单元包括:用于查询各方的数据库以确定已经对变化的类别请求了通知的一方的单元。
[0109] 在示例42,示例31至41中任一项的主题可以包括,其中,用于基于类别确定关于变化要通知的至少一方的单元进一步包括:用于确定所述一方的位置的单元;以及用于存储指示的单元,所述指示关于当该方的位置是在地理区域的边界内时要通知该方。
[0110] 在示例43,示例31至42中任一项的主题可以包括,用于经由无人驾驶飞行器从穿戴式设备接收传感器数据的单元。
[0111] 在示例44,示例31至43中任一项的主题可以包括,用于经由无人驾驶飞行器从不动产接收传感器数据的单元。