用于视觉障碍者的导航辅助转让专利

申请号 : CN201910789515.7

文献号 : CN110857857A

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 堂娜·贝尔莎拉·霍茨林恩·瓦莱丽·凯泽吴镇炯高拉夫·潘迪

申请人 : 福特全球技术公司

摘要 :

本公开提供了“用于视觉障碍者的导航辅助”。公开了用于向用户(例如,有视觉缺陷的用户)提供路线选择和导航信息的系统、方法和设备。示例性方法可以包括由联接到至少一个存储器的一个或多个计算机处理器来确定用户装置的第一位置和用户装置的取向,以及基于所述第一位置、所述第一取向和目的地位置来生成第一路线。此外,所述方法可以包括使用与视觉信息相对应的数据和一种或多种人工智能技术来确定所述第一路线上的一个或多个障碍物;以及基于在所述第一路线上检测到的所述一个或多个障碍物来生成第二路线。

权利要求 :

1.一种系统,其包括:

定位装置,所述定位装置被配置为确定用户装置的第一位置和第一取向;

对象检测装置,所述对象检测装置被配置为使用与视觉信息相对应的数据和人工智能技术来检测一个或多个障碍物;

存储器,所述存储器存储计算机可执行指令;以及

处理器,所述处理器可操作地联接到所述存储器,并且执行存储在所述存储器中的所述计算机可执行指令以:基于所述第一位置、所述第一取向和目的地位置来确定第一路线;以及基于所述第一路线上的一个或多个障碍物来确定第二路线。

2.如权利要求1所述的系统,其中所述定位装置使用全球定位系统(GPS)数据或来自所述对象检测装置的数据来确定所述用户装置的所述第一位置。

3.如权利要求1所述的系统,其中所述一个或多个障碍物包括静态障碍物和动态障碍物,并且所述处理器将所述动态障碍物添加到用于生成所述第一路线或所述第二路线的地图上。

4.如权利要求3所述的系统,其中所述动态障碍物包括与交通相关联的障碍物,并且所述静态障碍物包括与基础设施要素相关联的障碍物。

5.如权利要求1所述的系统,其还包括:信号发生装置,所述信号发生装置被配置为生成用于呈现给用户的信号,所述信号指示所述第一路线上的所述一个或多个障碍物或所述第二路线上的一个或多个障碍物。

6.如权利要求5所述的系统,其中所述信号包括音频信号或振动信号。

7.如权利要求5所述的系统,其中所述信号发生装置被配置为基于所述用户装置与所述一个或多个障碍物之间的距离来生成用于呈现给用户的信号。

8.如权利要求1所述的系统,其中来自所述对象检测装置的所述数据通过网络发送到与第二用户相关联的第二用户装置。

9.如权利要求8所述的系统,其中所述处理器接收反馈以便在所述用户装置处呈现给用户,所述反馈是从所述第二用户装置接收的。

10.一种方法,其包括:

提供第一音频提示,所述第一音频提示指示用户要采取的第一移动;

向所述用户穿着的服装提供第一强度的第一触觉信号,所述第一触觉信号对应于所述第一音频提示并且被配置为刺激所述用户的身体的第一部分;

提供第二音频提示,所述第二音频提示指示所述用户要采取的第二移动;以及向所述服装提供第二强度的第二触觉信号,所述第二强度大于所述第一强度,所述第二触觉信号对应于所述第二音频提示并且被配置为刺激所述用户的身体的第二部分。

11.如权利要求10所述的方法,其还包括:从所述用户接收反馈,所述反馈指示用户偏好。

12.如权利要求11所述的方法,其中所述用户偏好包括触觉信号的强度阈值。

13.如权利要求11所述的方法,其中所述用户偏好包括触觉信号的呈现与音频提示的呈现之间的时序差异。

14.如权利要求11所述的方法,其还包括:生成第三触觉信号,所述第三触觉信号被配置为刺激所述用户的身体的所述第一部分或所述第二部分,所述第三触觉信号具有基于所述用户偏好的第三强度。

15.如权利要求10所述的方法,其还包括:

基于所接收的视觉信息来确定用户移动;以及

生成第三触觉信号,所述第三触觉信号被配置为刺激所述用户的身体的所述第一部分或所述第二部分。

说明书 :

用于视觉障碍者的导航辅助

技术领域

[0001] 本公开涉及用于提供导航辅助,并且具体地用于为视觉障碍者提供导航辅助的系统、方法和计算机可读介质。

背景技术

[0002] 患有视觉障碍的个体在特定环境中导航时具有很多困难。例如,对于此类个体来说从给定位置步行到目的地可能是困难且危险的任务,特别是在城市环境中。步行手杖和导盲犬有助于避免一些障碍,但可能无法解决提供导航和情景感知的更广泛问题。此外,视觉障碍者在导航某些环境(例如,街道、地铁、火车站等)中所需的信息可能不容易以此类个体可理解的形式获得。此外,定向和导航信息可能采用不同的形式并且通常是复杂的,因此对于此类个体可能不是特别有帮助的。

发明内容

[0003] 本发明包括一种背心,所述背心具有传感器(诸如GPS传感器)、麦克风、相机、扬声器等,所述传感器、麦克风、相机、扬声器等可用于实时检测障碍物并警告可能在沿着不熟悉的路径步行或移动上有困难的视觉障碍人士。所述背心还可以使用地图数据和传感器反馈来沿着特定路径引导人。例如,可以将人引导到自主车辆以乘车到某一目的地。可以将新的障碍物添加到地图数据中以用于后续用户。

附图说明

[0004] 图1示出了根据本公开的示例实施例的使用服装的示例环境的图。
[0005] 图2示出了根据本公开的示例实施例的用于导航的示例服装的图。
[0006] 图3提供了根据本公开的一个实施例的与服装相关联的若干计算实体的示意图。
[0007] 图4提供了可以结合本公开的实施例使用的服装和/或用户装置的说明性示意表示。
[0008] 图5示出了根据本公开的示例实施例的用于结合导航使用的道路数据的示例。
[0009] 图6示出了根据本公开的示例实施例的包括障碍物的物理环境的图。
[0010] 图7示出了根据本公开的示例实施例的地图中的原始规划路线、动态障碍物和经修改的路线。
[0011] 图8示出了根据本公开的示例实施例的用于执行与服装相关联的示例性操作的示例流程图的图。
[0012] 图9示出了根据本公开的示例实施例的用于执行与服装相关联的示例性操作的另一示例流程图的图。
[0013] 图10示出了根据本公开的示例实施例的用于执行与服装相关联的示例性操作的另一示例流程图的图。

具体实施方式

[0014] 在本文中描述了本公开的实施例。然而,应当理解,所公开的实施例仅仅是示例,且其他实施例可以采用各种和替代形式。附图不一定按比例绘制;一些特征可能会被夸大或最小化以示出特定部件的细节。因此,本文中公开的具体结构细节和功能细节不应被解释为限制性的,而是仅作为教导本领域的技术人员以不同方式采用本发明的代表性基础。如本领域的普通技术人员将理解,参考附图中任一者示出和描述的各种特征可以与一个或多个其他附图中所示的特征进行组合以产生未被明确示出或描述的实施例。所示特征的组合提供了典型应用的代表性实施例。然而,特定应用或实现方式可以期望与本公开的教导一致的特征的各个组合和修改。
[0015] 在各种实施例中,本文所公开的系统、方法和设备可以使用具有障碍物数据(例如,与给定环境中动态/实时生成的障碍物相关联的数据)的地图(例如,预先生成的高清晰度(HD)地图)来向用户(例如,视觉障碍用户)提供可导航的最新路线。在另一个方面,诸如服装(例如,可穿着背心)等衣物可被配置为包括一个或多个装置(例如,用户的装置,诸如电话、一个或多个相机、诸如全球定位传感器(GPS)接收器等一个或多个定位接收器、超声波传感器、微控制器、扬声器、麦克风等)或与所述一个或多个装置相关联,所述一个或多个装置可用于接收路线信息,将障碍物信息提供给一个或多个服务器以更新HD地图,以及例如使用用户装置(例如,用户电话)上的应用程序向用户提供导航指令(例如,音频指令)。在另一个方面,服装和/或相关联的装置(例如,电话、一个或多个相机、诸如全球定位传感器(GPS)接收器等一个或多个定位接收器、超声波传感器、微控制器、扬声器、麦克风等)可由用户在给定路线上导航之前、期间和之后配置和训练。
[0016] 在另一个实施例中,地图可以包括在传统导航地图中可能不存在的某些特征和细节。例如,地图(例如,HD地图)可以包括与环境的基础设施要素相关联的一个或多个静态障碍物,例如路灯、灯杆、邮箱、公共汽车站、消防栓等。此外,可以用表示非静态障碍物(例如,诸如交通锥、建筑工地、车辆、碎片等的动态障碍物)的数据来更新地图。
[0017] 在另一个实施例中,除了由一个或多个用户(例如,经由服装)提供的动态障碍物数据外,还可以使用由一个或多个车辆(例如,自主车辆)提供的数据来生成和周期性地更新地图(例如,HD地图)。在另一个方面,车辆可具有提供环境和交通数据的一个或多个感知传感器(例如,相机、激光雷达、全球定位传感器(GPS)、惯性测量单元(IMU)、雷达等)。如所指出的,在另一个实施例中,可以例如使用由具有一个或多个电子装置(例如,将在下文进一步描述的相机、超声波装置、和/或其他传感器)的服装提供的数据,利用动态(例如,非静态)障碍物数据来周期性地更新地图。在各个方面,本公开的实施例可用于帮助用户(例如,视觉障碍的步行者)沿着给定路线导航到目的地,例如通过提供分路段导航(例如,使用给用户的音频信号和/或振动信号)。在另一示例用例中,本公开的实施例可以使用户能够导航到自主车辆,该自主车辆被配置为在没有附加的人为干预或帮助的情况下乘载用户并将所述用户带到目的地的。例如,该装置可以被配置为向用户提供关于站到哪里以使自主车辆能够乘载所述用户的指示。
[0018] 在一些方面,用户可以配置服装和相关联的装置和应用程序以选择具有给定特征的路线。例如,用户可以选择具有犯罪区域避免特征的路线,这可以使所生成的路线避开犯罪率指数高于用户选择值的区域。用户还可以设置行程持续时间,所述行程持续时间可以是行程的最大时长。
[0019] 图1示出了根据本公开的示例实施例的使用服装的示例环境的图。在一个方面,环境100显示用户102。在另一个实施例中,用户102可为有视觉缺陷的个体。在另一个实施例中,用户102可具有移动障碍,并且可以使用交通运输辅助器具(例如,手杖、拐杖、轮椅等)。在另一个实施例中,用户102可能伴有可以帮助用户102的个体(例如,家庭成员、朋友等)。
[0020] 在另一个实施例中,视觉障碍或缺陷的个体可包括那些由于无法利用眼镜或隐形眼镜而具有降低的视觉能力的个体或那些失明的个体。在另一个方面,视觉障碍可以指最佳矫正视力低于20/40或20/60,而术语失明可以指具有完全或几乎完全视力丧失的个体。在各种实施例中,有视觉缺陷的个体可能具有未矫正的屈光不正、白内障,或青光眼。屈光不正可能包括近视、远视、老花眼,以及散光。可能引起视力障碍的其他疾患可包括年龄相关性黄斑变性、糖尿病性视网膜病、角膜混浊、儿童失明、感染等。
[0021] 在另一个实施例中,用户102可以在他们的身体上穿着装置、服装104。在另一个实施例中,服装104可包括背心、衬衫、毛衣,或另一衣物或可穿着物品,所述可穿着物品固定到用户身体的一部分,例如固定到用户102的胸部。在另一方面,服装104可以是流行的(例如,服装104可具有流行趋势或风格的特征、受流行趋势或风格影响,或代表流行趋势或风格)。在另一个实施例中,服装104可以包括反射标记以引起驾驶员、建筑工人等的注意。在一个实施例中,服装104可以包括附加的安全措施(例如,闪光灯、声音等),使得例如在夜间照明环境中可以更容易注意到用户102。服装104可以配备有收发器(例如,包括天线和相关电路的收发器),以通过无线连接110(例如,蜂窝网络、WiFi网络、蓝牙网络等)与网络108(例如,无线网络)发送和接收信号。
[0022] 在另一个实施例中,收发器可以包括一个或多个定位接收器(例如,GPS接收器),所述一个或多个定位接收器可以从一个或多个卫星106和107接收定位信号(例如,GPS信号)。在另一方面,GPS接收器可以指代可以从GPS卫星(例如,卫星106和107)接收信息并计算装置的地理位置的装置。通过使用合适的软件,诸如用户装置(例如,移动电话)等装置可以在地图上显示所述位置,并且GPS接收器可以提供与导航方向相对应的信息。
[0023] 在另一方面,定位装置可以使用从全球导航卫星系统(GNSS)接收到的GPS信号。在另一方面,用户的装置(例如,智能电话)还可以具有可以与GPS接收器结合使用的GPS能力,例如以提高计算服装104的地理位置的准确度。具体地,例如当GPS信号差或不可用时,用户的装置可以使用辅助GPS(A-GPS)技术,所述辅助GPS(A-GPS)技术可以使用基站或蜂窝塔来提供更快的首次定位时间(TTFF)。在另一方面,GPS接收器可以连接到服装上的其他电子装置(例如,用户的装置,诸如智能电话)。取决于电子装置和可用连接器的类型,可通过串行或通用服务总线(USB)电缆,以及蓝牙连接、紧凑式闪存连接、标准(SD)连接、个人计算机存储卡国际协会(PCMCIA)连接、ExpressCard连接等来进行连接。
[0024] 在各种实施例中,GPS接收器可被配置为使用L5频带(例如,以约1176.45MHz为中心)来进行更高准确度的定位确定(例如,将服装104精确定位在30厘米或约1英尺内)。在另一方面,定位装置可以包括检测来自一个或多个非基于GPS的系统的定位信号的能力,例如以增强定位准确度确定。例如,定位装置可被配置为从俄罗斯全球导航卫星系统(GLONASS)、中国北斗导航卫星系统、欧盟伽利略定位系统、印度区域导航卫星系统(IRNSS)和/或日本准天顶卫星系统等接收一个或多个定位信号。
[0025] 在各个方面,网络108可以提供服装104与至少一个服务器112之间的连接。在另一个实施例中,服务器112可以包括远程服务器(例如,基于云的服务器或位于远程设施中的服务器)。在另一个实施例中,网络108可以提供到服务器112的高速(例如,光纤)连接,以部分地促进服装104和相关联的装置与服务器112之间的实时通信。在另一个实施例中,服务器112可被配置为还与一个或多个卫星106和107通信,例如以获得关于用户102的定位信息(位置、方位、取向等),或者关于环境100的信息(例如,林木植被、建筑物、障碍物、道路、水体等)。
[0026] 在另一个方面,服务器112可以位于远程资料站(例如,数据仓库)处。服务器可以与服装(例如,服装202)以及一个或多个第三方服务器(未示出)以及一个或多个用户装置(例如,用户装置220)通信。
[0027] 服务器、第三方服务器、与服装相关联的一个或多个用户装置、和/或服装可被配置为经由一个或多个网络进行通信。服务器可被配置为经由一个或多个网络进行通信。此类一个或多个网络可以包括但不限于任何一种或多种不同类型的通信网络,诸如电缆网络、公共网络(例如,因特网)、专用网络(例如,帧中继网络)、无线网络、蜂窝网络、电话网络(例如,公共交换电话网),或任何其他合适的专用或公共封包交换网络或电路交换网络。
[0028] 在说明性配置中,服务器、第三方服务器、与服装相关联的一个或多个用户装置和/或服装可包括一个或多个处理器(一个或多个处理程序)、一个或多个存储器装置(在本文中也称为存储器)、一个或多个输入/输出(I/O)接口、一个或多个网络接口、一个或多个传感器或传感器接口、一个或多个收发器、一个或多个可选显示部件、一个或多个可选相机/麦克风,以及数据存储装置。服务器还可以包括一个或多个总线,所述一个或多个总线功能性地联接服务器的各种部件。服务器还可以包括一个或多个天线,所述一个或多个天线可以包括但不限于用于向蜂窝网络基础设施发送信号或从蜂窝网络基础设施接收信号的蜂窝天线、用于向接入点(AP)发送Wi-Fi信号或从接入点(AP)接收Wi-Fi信号的天线、用于接收来自GNSS卫星的GNSS信号的全球导航卫星系统(GNSS)天线、用于发送或接收蓝牙信号的蓝牙天线、用于发送或接收NFC信号的近场通信(NFC)天线,等等。在下文中将更详细地描述这些各种部件。
[0029] 数据存储装置可以存储计算机可执行代码、指令等,所述计算机可执行代码、指令等可以加载到存储器中并且可由一个或多个处理器执行以使所述一个或多个处理器执行或发起各种操作。数据存储装置可以另外存储可以被复制到存储器以供一个或多个处理器在执行计算机可执行指令期间使用的数据。更特别地,数据存储装置可以存储一个或多个操作系统(O/S);一个或多个数据库管理系统(DBMS);以及一个或多个程序模块、应用程序、引擎、计算机可执行代码、脚本等,诸如一个或多个路由模块。这些模块中的一些或全部可以是子模块。被描绘为存储在数据存储装置中的部件中的任何部件可以包括软件、固件和/或硬件的任何组合。软件和/或固件可以包括计算机可执行代码、指令等,所述计算机可执行代码、指令等可以被加载到存储器中以供一个或多个处理器执行。被描绘为存储在数据存储装置中的部件中的任何部件可以支持参考本公开中先前命名的相应部件描述的功能。
[0030] 在另一个方面,路由模块可包括计算机可执行指令、代码等,所述计算机可执行指令、代码等响应于由一个或多个处理器执行而可执行本文所述的过程流程的一个或多个框和/或包括但不限于以下的功能:确定感兴趣的点、确定历史用户选择或偏好、确定最佳选路、确定实时交通数据、确定建议的选路选项、发送和接收数据、控制服装特征等。此外,路由模块可以与服装、第三方服务器、用户装置和/或其他部件通信。例如,路由模块可以将路线数据发送到服装、从第三方服务器接收交通和障碍物信息、接收用户偏好等等。
[0031] 导航模块可以包括计算机可执行指令、代码等,所述计算机可执行指令、代码等响应于由一个或多个处理器执行而可以执行包括但不限于以下的功能:发送和/或接收数据、确定用户是否已到达给定位置、确定用户是否接近给定位置等。
[0032] 在另一个实施例中,网络108可以提供服装104与一个或多个装置114之间的连接。在一个方面,一个或多个装置114可以向另外的用户120呈现信息。例如,另外的用户120可以包括在远程资料站处(例如,在公司处)的操作员,所述操作员与用户102通信并且能够向用户102提供实时反馈。例如,另外的用户120可以访问由服装102提供的数据,并且可以使用所述数据(例如,相机图像、定位信息等)来引导给定路线上的用户102、补充导航系统的指令(例如,其可以包括不捕获某些导航细微差别的自动路线信息),或者通常提供帮助(例如,如果用户102受伤或受到威胁则报警等)。
[0033] 在另一实施例中,环境100显示动态障碍物。此类动态障碍物可以是可移动的,并且可以放置在给定路线上的用户102的路径中。例如,环境100可以包括动态障碍物,诸如车辆122和交通锥124。动态障碍物的其他非限制性示例可包括动物、建筑工地、购物手推车、人群、自行车、停放的摩托车等。在另一个实施例中,环境100可以包括一个或多个静态障碍物,诸如建筑物126。静态障碍物的其他非限制性示例可以包括医院、学校、办公室、住宅等。
[0034] 在各种实施例中,静态障碍物和动态障碍物可以指交通管制装置(例如,用于通知、引导和控制包括步行者、机动车辆驾驶员和骑自行车者在内的交通的标记、标志和信号装置)。在另一个方面,交通标志可以包括管制标志,所述管制标志可以是用于传达交通规则和法规的交通标志,诸如交叉路口管制、重量限制、速度限制、单向指示、禁停区域等。另外的交通标志可包括警告标志,所述警告标志可用于向道路用户警告潜在的危险。除了临时交通管制标志可具有黄色背景上的黑色图例和边框之外,这些标志可为菱形形状。施工标志可具有橙色背景,并且事故管理标志可具有粉红色背景。警告标志的示例包括但不限于人行横道标志、弯道警告标志、前方交叉路口标志、交通指挥标志、工人标志,或道路机械标志。在另一个方面,交通标志可包括帮助道路用户导航到其目的地的引导标志。引导标志的示例包括街道名称标志、目的地和距离标志,以及地名标志。在一个方面,交通标志可以包括施工引导标志,诸如迂回路标记、施工时长标志,以及道路施工终止标志。
[0035] 在另一个方面,静态障碍物和动态障碍物可以包括可以是可变消息标志(VMS)的交通管制装置。在另一个方面,VMS可以包括电子交通管制标志,所述电子交通管制标志可以根据特定道路或区域的需要展示不同的交通消息。在另一个方面,交通管制装置可包括渠化装置,所述渠化装置可用于警告驾驶员和步行者并引导他们通过施工区。常见的渠化装置可以包括交通锥和鼓(drum)。这些类型的交通管制装置可以放置在交通和道路施工区域之间,或者放置在相对的交通流之间。箭头板是便携式、被照亮的、高可见度的面板,其用于警告驾车者正接近车道关闭并指定合流(merge)的方向。
[0036] 在另一个方面,动态障碍物可包括这样的交通管制装置,所述交通管制装置可包括施工桶或鼓,所述施工桶或鼓可以是用于增强可见性的圆柱形装置。此类装置可以用工业级橙色塑料制成并被交替的橙色和白色后向反光性条纹覆盖。
[0037] 在另一个方面,动态障碍物可以包括这样的交通管制装置,所述交通管制装置可包括路障,所述路障可以指用于在高速道路和高速公路上重定向交通的渠化装置。取决于路障的大小、设计和应用,可存在不同类型的路障。路障可为便携式交通管制装置。路障也可用于封闭道路和/或人行道。在另一个方面,交通管制装置可包括临时凸岛,所述临时凸岛可包括通常高度为4英寸(100mm)且宽度为18英寸(460mm)的路面,该路面可用于临时交通管制应用。
[0038] 在一个方面,静态障碍物和动态障碍物可以包括这样的交通管制装置,所述交通管制装置可包括交通信号灯,所述交通信号灯可以是用于交替地将通行权分配给在交叉路口的冲突方向上移动的交通的交通管制信号。此外,交通灯可以包括闪光标灯,所述闪光标灯是闪烁信号。例如,可以使用黄色闪光标灯来引起对诸如人行横道标志等其他交通管制装置的注意,而红色闪光标灯用于补充停车标志。在另一个方面,交通灯可以包括稳定的燃油电灯,所述稳定的燃油电灯可以类似于闪光的电灯,区别在于它们可以是不闪烁的黄光;这些光通常用于道路维护施工。在另一个方面,交通灯包括警示灯,所述警示灯可以是电池或太阳能供能的便携式照明装置,所述电池或太阳能供能的便携式照明装置可以用作闪光灯或稳定燃油灯;此类装置通常安装在鼓或路障上并且可以被认为是动态障碍物。
[0039] 图2示出了根据本公开的示例实施例的用于导航的示例服装的图200。在一个方面,服装202可包括定位装置,诸如GPS接收器204a和204b。在另一个实施例中,GPS接收器204a和204b可以获得卫星信号以确定用户的大致位置。在另一个实施例中,GPS接收器204a和204b可被配置为从一个或多个卫星(例如,类似于卫星222)接收GPS信号。在另一个实施例中,可以存在两个GPS接收器,使得服装202和相关联的装置能够以比使用单个GPS接收器更高的准确度来确定用户的取向(例如,用户面向的方向)。例如,GPS接收器204a和204b可以接收一个或多个GPS校正信号,以关于给定地图(例如,HD地图)估计用户位置的定位在约
10厘米内,这可以具有厘米级的精确度。此外,GPS接收器204a和204b和/或一个或多个相关联的后端服务器(例如,类似于上面结合图1示出和描述的服务器112)可以确定用户相对于诸如东、西、北、南等罗盘方向的取向。
[0040] 在另一个实施例中,服装202可包括相机206a和206b。在另一个实施例中,相机206a和206b可以包括立体相机(例如,可以一起工作以生成用户环境(类似于结合图1示出和描述的环境100)的全景或三维表示的相机)。在另一个实施例中,可以仅存在单个相机,所述单个相机可以提供用户环境的类似全景或三维表示,但是是以更长的曝光时间和更大的曝光角度提供。在另一个实施例中,一个或多个相机206a和206b(例如,立体相机对)和/或超声波声纳装置207可被配置为检测障碍物(例如,动态障碍物),并且可以将信号发送到与服装相关联的其他装置(例如,微控制器212、移动电话220等)以将所述障碍物添加到HD地图中所包含的预先标测的静态障碍物。在另一个实施例中,HD地图可以先前已经下载到用户装置(例如,移动电话220),或者可以存储在与服装202的一个或多个装置通信的一个或多个远程服务器(例如,结合图1示出和描述的服务器112)上,或两者。在另一个实施例中,相机206a和206b还可以识别和解码静态障碍物和动态障碍物的各方面,例如一个或多个标志(例如,交通标志、广告、商店店面等)和交通信号(例如,交通灯、行人交通信号、停车标志等)。在另一个实施例中,相机206a和206b可被配置为检测交通和/或人行横道标志状态(例如,指示行走或停止行走的时间的状态),所述相机可以不发出声音。在另一个实施例中,地图(例如,下载到用户装置上或至少部分地存储在远程服务器中)可以包括人行横道按钮的位置并引导用户接近并使用人行横道按钮作为可导航路线的一部分。
[0041] 在另一个实施例中,服装202上的相机206a和206b可周期性地(例如,每隔约1毫秒至约100毫秒)拍摄图像并将所述图像发送到用户的装置(例如,移动电话220)或与服装202相关联的其他装置(例如,微控制器212)。用户的装置220(以及可选地,与服装202相关联的其他装置)可以与一个或多个远程计算机(例如,驻留在服务器112上的远程计算机)组合地执行对象检测和/或识别,并且可以将识别的对象与地图(例如,HD地图)的特征进行比较。在另一个方面,相机206a和206b在本文中可被称为对象检测装置,并且可实现例如人工智能(AI)以便执行对象检测和/或识别(例如,障碍物检测)。计算机视觉任务可包括但不限于用于获取、处理、分析和理解数字图像以及从现实世界提取高维数据以便产生数字或符号信息的方法。在一个方面,相机206a和206b可用于确定用户的位置。在另一个实施例中,由相机206a和206b确定的位置可以与精确GPS位置信息组合,以便提供可靠的定位来帮助用户保持在安全路线上。
[0042] 在另一个实施例中,服装202可以包括信号发生装置,诸如扬声器和/或触觉装置208a和208b。在另一个实施例中,扬声器和/或触觉装置208a和208b可被配置为向穿着服装
202的用户提供振动信号和/或音频信号,以帮助用户导航给定路线。例如,第一扬声器和触觉装置208a可以提供叙述“向左略转弯(45度)”的音频信号,同时以预定的强度水平向用户的左肩提供振动信号。作为另一示例,第一扬声器和触觉装置208a可以生成叙述“向右急转弯(90度)”的音频信号,同时以相对较高的强度水平向用户的右肩提供振动信号。此外,另一示例音频信号可以叙述“紧急停止”,而扬声器和/或触觉装置208a和208b发送振动信号以振动服装202的较大面积(例如,强烈地振动服装202的两侧)。
[0043] 在另一个实施例中,扬声器中的一个或多个扬声器装置和/或触觉装置208a和208b可用于播放声音以引导用户。扬声器可以可选地提供朗读字词(例如,由计算机合成的可听字词)以描述路线和/或任何相关联的障碍物(例如,静态障碍物或动态障碍物)。在一个方面,经由扬声器和/或触觉装置208a和208b的扬声器装置播放声音和/或朗读字词的距离可以初始设置在距遇到的障碍物默认距离处,但是可以由用户修改(例如,在下面将要描述的训练期期间、在给定路线上的实际使用期间,或在给定路线上使用服装之后)。或者,服装202可以包括一个或多个定时器和/或附加传感器(未示出),所述一个或多个定时器和/或附加传感器可以确定用户对由服装202给出的指示作出反应所花费的时间,并且可以自动改变声音和/或朗读字词被呈现给用户的时间。
[0044] 在另一个实施例中,如所指出的,扬声器和/或触觉装置208a和208b中的一个或多个触觉装置(例如,被配置为向用户身体的一部分提供振动感觉的装置)可以用于在导航期间为用户提供反馈。例如,触觉装置可以以不同的相对强度振动以指示障碍物的方向(例如,由于给定用户的正左侧或右侧)。此外,由触觉装置208a和208b提供的振动信号的总强度可以指示给定障碍物离用户有多近。此外,与由扬声器生成的声音和/或朗读字词一样,由触觉装置208a和208b提供的振动信号的开始、频率和/或强度可以最初设置为默认值,所述开始、频率和/或强度可以通过由用户修改(例如,在训练期期间、在给定路线上的实际使用期间、或在给定路线上使用服装202之后)。或者,服装202可以使用一个或多个传感器信号与地图数据的组合来确定用户对由服装202给出的指示作出反应所花费的时间,并且可以相应地改变呈现给用户的振动信号的时序、频率和/或强度。
[0045] 在另一个实施例中,服装202可包括超声波装置207,例如超声波声纳装置。在另一个实施例中,超声波装置207可被配置为发送和接收超声波信号。可以将超声波信号引导到用户环境中的一个或多个对象,并且可以接近实时地获得关于一个或多个障碍物(例如,静态障碍物和动态障碍物)的信息(例如,距离信息)。在另一个实施例中,超声波装置207可以结合相机装置206a和206b一起工作。例如,相机206a和206b可以提供对用户环境中的一个或多个障碍物的视觉检测,而超声波装置207确定障碍物(或障碍物的一部分)与穿着服装202的用户之间的距离。此类信息可用于生成用于更新地图(例如,HD地图)的数据,或者可以与服装202上的其他装置组合使用以向在某一路线上的用户提供指导。
[0046] 在另一个实施例中,服装202可以包括车载计算模块212,所述车载计算模块212在本文中也称为微控制器212。在另一个实施例中,微控制器212可以包括无线连接(例如,WiFi连接、蜂窝连接、蓝牙连接等),所述无线连接可以允许微控制器212使用一个或多个远程服务器(例如,与结合图1示出和描述的服务器112类似,但未必相同)或者使用远程网络链路(例如,与蜂窝网络相关联的塔228)从/向与服装202相关联的其他装置(例如,用户装置220,诸如电话、麦克风214、超声波传感器207、相机206a和206b,和/或定位接收器204a和204b)发送和接收信息。在另一个实施例中,车载计算模块可以与远程计算机(例如,基于云的计算机,未示出)传送传感器数据(例如,相机、GPS、超声数据等)。在另一个实施例中,用户的装置和/或远程计算机可以计算修改的路线。在另一个实施例中,经修改的路线可以至少部分地基于静态障碍物和/或实时局部障碍物,所述静态障碍物和/或实时局部障碍物可以包括在与用户的路线相关联的地图(例如,HD地图)上。在另一个实施例中,可以通过用户的装置(例如,移动装置)来执行与远程计算机的连接。
[0047] 在另一个实施例中,服装202可包括麦克风214。在另一个实施例中,麦克风214可以用于与用户装置220或服装202的其他装置交互(例如,以控制相机206a和206b等)。在另一个方面,麦克风214可用于请求远程帮助(例如,来自远程用户或执行相应AI算法的装置),例如以帮助用户解译相机正在检测什么。例如,配备有AI能力的云服务器或人类用户可以查看实时、近实时或离线相机图像或视频(例如,如由诸如4G长期演进、LTE、网络等网络连接上传的),并且可以随后通知用户相机206a和206b正在检测什么,并且可以提供允许用户保持在安全路径上的指令。
[0048] 在另一个实施例中,服装202可以包括移动装置220,所述移动装置220在本文中也可以称为用户的装置、移动电话、智能电话、蜂窝电话、便携式装置等。具体地,移动装置220可以包括具有远程通信能力的其他装置,诸如膝上型计算机、平板电脑等。在另一个方面,当用户在电话服务区域内移动时,移动装置220可以通过射频链路发送和接收信息。射频链路建立到移动电话运营商的交换系统的连接,所述连接可以提供对公共交换电话网(PSTN)的访问。在另一个方面,移动装置220可以使用蜂窝网络架构。除了电话之外,移动装置200还可以支持各种其他服务,诸如文本消息、多媒体服务(MMS)、电子邮件、因特网访问、短程无线通信(红外、蓝牙)、商业应用、视频游戏,以及数码摄影。
[0049] 在另一个实施例中,服装202可被配置为与一个或多个远程服务器和/或装置(例如,结合图1示出和描述的远程服务器112)通信。在另一个实施例中,服装202可被配置为使用在用户装置220与数据连接228(例如,4G LTE塔)之间的无线连接来与远程服务器和/或装置通信。在另一个实施例中,数据连接228可以将信息(例如,地图数据)从远程服务器和/或装置中继到用户装置220。
[0050] 在另一个实施例中,服装202以及相关的算法和装置(例如,相机206a和206b、超声波装置207等)可以由用户训练和设置。在另一个实施例中,训练和设置可以在用户获得服装202并在用户装置(例如,移动装置220)上安装相关联的应用程序(未示出)时开始。在各个方面,本文所述的训练阶段可以是初始设置和训练阶段,所述初始设置和训练阶段可以在用户熟悉的位置(例如,用户的地下室或起居室)执行,并且可能不一定需要HD标测能力或GPS可用性。
[0051] 在一些方面,一个或多个音频提示允许用户将服装202连接到用户装置220(例如,经由无线网络连接,所述无线网络连接包括但不限于蓝牙连接、WiFi连接、和/或蜂窝连接)。在另一个实施例中,另外的音频提示可以为用户提供展示服装202使用的各方面的教程。例如,音频提示可以向用户通知用户可能会感觉到什么触觉反馈,并且可以允许用户基于由服装202提出的对问题的音频响应来调整触觉反馈(例如,更强或更弱)。示例性训练期可以包括由一个或多个扬声器(例如,扬声器和/或触觉装置208a和208b的扬声器)提供音频信号,所述音频信号叙述“向左略转弯(45度)将感觉到像这样”,同时触觉装置(例如,扬声器和/或触觉装置208a和208b中的触觉装置)以预定的强度水平向用户的左肩发送振动信号。在另一个实施例中,用户的装置220(例如,移动电话)和/或一个或多个扬声器(例如,扬声器和/或触觉装置208a和208b中的扬声器)可以提供口头反馈以实现正确的转弯量。另一个示例性音频信号可以叙述“向左急转弯(90度)将感觉像这样”,同时触觉装置以相对较高的强度水平向用户的左肩发送振动信号。此外,另一示例性音频信号可以表示“紧急停止将感觉像这样”,同时一个或多个触觉装置发送振动信号以振动服装202的较大面积(例如,强烈振动整个服装202)。
[0052] 或者,可以经由用户展示运动(例如,转弯)来训练服装202和相关算法,并且服装202可以提供并确认适当对应量的触觉反馈。在另一个实施例中,服装202和相关算法的设置和训练可以包括相机校准。例如,用户可以将用户装置220(在基于电话的相机的情况下)或服装202(在基于服装的相机206a和206b的情况下)定位为靠着对象(例如,桌子,等等),然后用户可以后退几英尺并执行预定的动作(例如,来回转弯)。在另一个实施例中,所述教程可以建议用户规划用户熟悉的两个位置之间的短路线。此外,用户可以使用手杖或与观看者一起在给定路线上行走,以便进一步训练和测试服装202和相关算法的响应的各方面。
服装202和相关算法的进一步训练和个性化可以在稍后的时间例如使用安装的移动应用程序执行。在另一个实施例中,可以执行附加训练,所述附加训练考虑服装202的预期使用情况(例如,在步行或使用轮椅期间)。
[0053] 如上所述,本文描述的装置和系统(以及它们的各种部件)的实施例可以采用AI来促进自动化本文所述的一个或多个特征(例如,执行对象检测和/或识别、确定最佳路线、基于用户偏好提供指令,等等)。所述部件可以采用各种基于AI的方案来实行本文所公开的各种实施例/示例。为了提供或辅助本文所述的众多决定(例如,确定、探知、推断、计算、预知、预测、估计、推导、预报、检测、运算),本文所述的部件可以检查所述部件被授权访问的数据的整体或子集,并且可以根据经由事件和/或数据捕获的一组观察来提供关于系统、环境等的状态的推理,或确定所述系统、环境等的状态。例如,可以采用决定来识别特定的情境或动作,或者可以生成状态分布的概率。确定可以是概率性的—即,基于对数据和事件的考虑来计算感兴趣的状态的分布概率。确定还可以指代用于从一组事件和/或数据组成较高级事件的技术。
[0054] 此类确定可实现从一组观察到的事件和/或存储的事件数据构建新事件或动作,不论事件是否在相近的时间上相互关联,以及不论事件和数据是来自一个还是若干事件和数据源。本文公开的部件可以采用各种分类(经明确训练的(例如,经由训练数据)以及隐式训练的(例如,经由观察行为、偏好、历史信息、接收外在信息等))方案和/或系统(例如,支持向量机、神经网络、专家系统、贝叶斯信度网络、模糊逻辑、数据融合引擎,等等)与结合所要求保护的主题执行自动和/或确定的动作的结合。因此,分类方案和/或系统可用于自动学习和执行许多功能、动作和/或决定。
[0055] 分类器可以将输入属性向量z=(z1,z2,z3,z4,…,zn)映射成输入属于某一类别的置信度,如通过f(z)=置信度(类别)。此类分类可采用基于概率和/或基于统计的分析(例如,将分析实用性和成本的因素包括进来)来确定要自动执行的动作。支持向量机(SVM)可以是可以采用的分类器的示例。SVM通过在可能输入的空间中找到超曲面来操作,其中超曲面尝试将触发标准与非触发事件分开。直观地,这使得分类对于测试接近训练数据但与训练数据不同的数据是正确的。其他有向和无向模型分类方法包括例如朴素贝叶斯、贝叶斯网络、决策树、神经网络、模糊逻辑模型,和/或可以采用提供不同独立模式的概率分类模型。如本文所用的分类还包括用于开发优先级模型的统计回归。
[0056] 图3提供了根据本公开的一个实施例的与服装300相关联的计算实体的示意图。通常,术语计算实体、计算机、实体、装置、系统和/或在本文中可互换使用的类似字词可以指代例如一个或多个计算机、计算实体、台式计算机、移动电话、平板电脑、平板手机、笔记本电脑、膝上型电脑、分布式系统、加密狗、相机、腕带、可穿着物品/装置、自助服务终端、输入终端、服务器或服务器网络、刀片式服务器(blade)、网关、交换机、处理装置、处理实体、机顶盒、中继、路由器、网络访问点、基站等,和/或适于执行本文所述的功能、操作和/或过程的装置或实体的任何组合。这些功能、操作和/或过程可以包括例如发送、接收、在……上操作、处理、显示、存储、确定、创建/生成、监视、评估、比较和/或本文可互换使用的类似术语。在一个实施例中,可以对本文可互换使用的数据、内容、信息和/或类似术语执行这些功能、操作和/或过程。
[0057] 如所指示的,在一个实施例中,服装300还可以包括用于与各种计算实体通信(诸如通过传送数据、内容、信息和/或本文中可互换使用的类似术语,所述数据、内容、信息和/或本文中可互换使用的类似术语可以被发送、接收、在……上操作、处理、显示、存储和/或类似处理)的一个或多个通信接口320。例如,服装300可以与用户装置和/或各种其他计算实体通信。
[0058] 如图3所示,在一个实施例中,服装300可包括经由例如总线与服装300内的其他元件通信的一个或多个处理元件305(也称为处理器、处理电路,和/或在本文中可互换使用的类似术语),或与所述一个或多个处理元件305通信。如将理解的,处理元件305可以以多种不同方式体现。例如,处理元件305可以体现为一个或多个复杂可编程逻辑器件(CPLD)、微处理器、多核处理器、协同处理实体、专用指令集处理器(ASIP)、微控制器,和/或控制器。此外,处理元件305可以体现为一个或多个其他处理装置或电路。术语电路可以指完全硬件实施例,或硬件和计算机程序产品的组合。因此,处理元件305可以体现为集成电路、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、硬件加速器、其他电路,和/或类似物。如将理解的,处理元件305可被配置为用于特定用途或被配置为执行存储在易失性或非易失性介质中或者处理元件305可以其他方式访问的指令。如此,无论是通过硬件或计算机程序产品配置,还是通过它们的组合配置,处理元件305都可以能够在被相应地配置时执行根据本公开的实施例的步骤或操作。
[0059] 在一个实施例中,服装300还可包括非易失性介质(或者也称为非易失性存储装置、存储器、记忆存储装置、记忆电路和/或本文中可互换使用的类似术语)或与所述非易失性介质通信。在一个实施例中,非易失性存储装置或存储器可以包括一个或多个非易失性存储装置或存储器介质310,所述一个或多个非易失性存储装置或存储器介质310包括但不限于硬盘、ROM、PROM、EPROM、EEPROM、闪存存储器、MMC、SD存储卡、存储棒、CBRAM、PRAM、FeRAM、NVRAM、MRAM、RRAM、SONOS、FJG RAM、Millipede存储器、赛道存储器,和/或类似物。如将认识到的,非易失性存储装置或存储器介质可以存储数据库、数据库实例、数据库管理系统、数据、应用程序、程序、程序模块、脚本、源代码、目标代码、字节代码、编译代码、解译代码、机器代码、可执行指令,和/或类似物。术语数据库、数据库实例、数据库管理系统和/或本文中可互换使用的类似术语可指代使用一个或多个数据库模型存储在计算机可读存储介质中的记录或数据的集合,所述一个或多个数据库模型为诸如分层数据库模型、网络模型、关系模型、实体-关系模型、对象模型、文档模型、语义模型、图解模型,和/或类似物。
[0060] 在一个实施例中,服装300还可包括易失性介质(或者也称为易失性存储装置、存储器、记忆存储装置、记忆电路和/或本文中可互换使用的类似术语)或与所述易失性介质通信。在一个实施例中,易失性存储装置或存储器还可以包括一个或多个易失性存储装置或存储器介质315,所述一个或多个易失性存储装置或存储器介质315包括但不限于RAM、DRAM、SRAM、FPM DRAM、EDO DRAM、SDRAM、DDR SDRAM、DDR2 SDRAM、DDR3 SDRAM、RDRAM、TTRAM、T-RAM、Z-RAM、RIMM、DIMM、SIMM、VRAM、高速缓冲存储器、寄存存储器,和/或类似物。如将认识到的,易失性存储装置或存储器介质可用于存储由例如处理元件305执行的数据库、数据库实例、数据库管理系统、数据、应用程序、程序、程序模块、脚本、源代码、目标代码、字节代码、编译代码、解译代码、机器代码、可执行指令等中的至少部分。因此,数据库、数据库实例、数据库管理系统、数据、应用程序、程序、程序模块、脚本、源代码、目标代码、字节代码、编译代码、解译代码、机器代码、可执行指令和/或类似物可用于在处理元件205和操作系统的帮助下控制服装100的操作的某些方面。
[0061] 如所指示的,在一个实施例中,服装300还可以包括用于与各种计算实体通信(诸如通过传送数据、内容、信息和/或本文中可互换使用的类似术语,所述数据、内容、信息和/或本文中可互换使用的类似术语可以被发送、接收、在……上操作、处理、显示、存储和/或类似处理)的一个或多个通信接口320。此类通信可以使用有线数据传输协议来执行,所述有线数据传输协议为诸如光纤分布式数据接口(FDDI)、数字用户线(DSL)、以太网、异步传输模式(ATM)、帧中继、有线电缆数据服务接口规范(DOCSIS),或任何其他有线传输协议。类似地,服装300可被配置为使用各种协议中的任何协议经由无线外部通信网络进行通信,所述各种协议为诸如通用分组无线服务(GPRS)、通用移动电信系统(UMTS)、码分多址2000(CDMA2000)、CDMA2000 1X(1xRTT)、宽频码分多址(WCDMA)、时分-同步码分多址(TD-SCDMA)、长期演进(LTE)、演进通用地面无线接入网(E-UTRAN)、演进-数据优化(EVDO)、高速分组接入(HSPA)、高速下行链路分组接入(HSDPA)、IEEE 802.11(Wi-Fi)、Wi-Fi直连、802.16(WiMAX)、超宽带(UWB)、红外(IR)协议、近场通信(NFC)协议、无线个域网(Zigbee)、蓝牙协议、无线通用串行总线(USB)协议,和/或任何其他无线协议。
[0062] 虽然未示出,但是服装300可以包括一个或多个输入元件或与所述一个或多个输入元件通信,所述一个或多个输入元件为例如键盘输入、鼠标输入、触摸屏/显示器输入、运动输入、移动输入、音频输入、指向装置输入、操纵杆输入、小键盘输入,和/或类似物。服装300还可以包括一个或多个输出元件(未示出)或与所述一个或多个输出元件通信,所述一个或多个输出元件为诸如音频输出、视频输出、屏幕/显示器输出、运动输出、移动输出,和/或类似物。
[0063] 如将理解的,服装300的一个或多个部件可以定位为远离服装300的其他部件,诸如在分布式系统中。此外,可以组合部件中的一个或多个部件,并且可以在服装300中包括执行本文所述的功能的附加部件。因此,服装300可适于适应各种需要和环境。如将认识到的,这些架构和描述仅提供用于示例目的,而非限制各种实施例。
[0064] 用户可以是个体、家庭、公司、组织、实体、组织内的部门、组织和/或个人的代表,和/或类似者。在一个示例中,用户可以是雇员、居民、客户,和/或类似者。例如,用户可以操作用户装置310,所述用户装置310包括在功能上类似于服装300的部件的一个或多个部件。
[0065] 图4提供了表示用户装置410(例如,智能电话)或服装300的可以与本公开的实施例结合使用的其他装置(例如,相机、GPS接收器、超声波接收器、微控制器等)的说明性示意图。通常,术语装置、系统、计算实体、实体和/或在本文中可互换使用的类似字词可以指代例如一个或多个计算机、计算实体、台式计算机、移动电话、平板电脑、平板手机、笔记本电脑、膝上型电脑、分布式系统、游戏机(例如Xbox、Play Station、Wii)、手表、眼镜、遥控钥匙、射频识别(RFID)标签、耳机、扫描仪、相机、腕带、自助服务终端、输入终端、服务器或服务器网络、刀片式服务器、网关、交换机、处理装置、处理实体、机顶盒、中继、路由器、网络接入点、基站等,和/或适于执行本文所述的功能、操作和/或过程的装置或实体的任何组合。用户装置410可以由各方操作。如图4所示,用户装置410或服装300的其他装置(例如,相机、GPS接收器、超声波接收器、微控制器等)可包括天线412、发射器404(例如无线电)、接收器
406(例如无线电),以及处理元件408(例如CPLD、微处理器、多核处理器、协同处理实体、ASIP、微控制器,和/或控制器),所述装置分别向发射器404和接收器406提供信号且从所述发射器404和所述接收器406接收信号。
[0066] 分别提供给发射器404和接收器406并从发射器404和接收器406接收的信号可以包括根据适用无线系统的空中接口标准的信令信息。就此而言,用户装置410或服装300的其他装置(例如,相机、GPS接收器、超声波接收器、微控制器等)可以能够利用一个或多个空中接口标准、通信协议、调制类型和访问类型进行操作。更具体地,用户装置410(例如,智能电话)或服装300的其他装置(例如,相机、GPS接收器、超声波接收器、微控制器等)可以根据多种无线通信标准和协议中的任何一种来操作,所述多种无线通信标准和协议为诸如上面关于服装300描述的那些无线通信标准和协议。在特定实施例中,用户装置410可以根据多种无线通信标准和协议操作,所述多种无线通信标准和协议为诸如UMTS、CDMA2000、1xRTT、WCDMA、TD-SCDMA、LTE、E-UTRAN、EVDO、HSPA、HSDPA、Wi-Fi、Wi-Fi Direct、WiMAX、UWB、IR、NFC、蓝牙、USB,和/或类似物。类似地,用户装置410可以经由网络接口420根据多种有线通信标准和协议进行操作,所述多种有线通信标准和协议为诸如上面关于服装300描述的那些有线通信标准和协议。
[0067] 经由这些通信标准和协议,用户装置410(例如,智能电话)或服装300的其他装置(例如,相机、GPS接收器、超声波接收器、微控制器等)可以使用诸如以下概念与各种其他实体进行通信:非结构化补充服务数据(USSD)、短消息服务(SMS)、多媒体消息服务(MMS)、双音多频信令(DTMF),和/或订户身份模块拨号器(SIM拨号器)。用户装置410还可以例如将更改、附加件和更新下载到所述用户装置的固件、软件(例如,包括可执行指令、应用程序、程序模块)和操作系统。
[0068] 根据一个实施例,用户装置410(例如,智能电话)或服装300的其他装置(例如,相机、GPS接收器、超声波接收器、微控制器等)可以包括位置确定方面、装置、模块、功能,和/或本文中可互换使用的类似字词。例如,用户装置410(例如,智能电话)或服装300的其他装置(例如,相机、GPS接收器、超声波接收器、微控制器等)可以包括室外定位方面,诸如适于获取例如纬度、经度、高度、地理编码、路线、方向、航向、速度、世界时间(UTC)、日期,和/或各种其他信息/数据。在一个实施例中,定位模块可以通过识别视视野中的卫星的数量和那些卫星的相对位置来获取数据,所述数据有时被称为星历表数据。卫星可以是各种不同的卫星,包括近地轨道(LEO)卫星系统、国防部(DOD)卫星系统、欧盟伽利略定位系统、中国北斗导航系统、印度区域导航卫星系统,和/或类似物。或者,可以通过结合各种其他系统对用户装置410的位置进行三角测量来确定定位信息,所述各种其他系统包括蜂窝塔、Wi-Fi接入点,和/或类似物。类似地,用户装置410可以包括室内定位方面,诸如适于获取例如纬度、经度、高度、地理编码、路线、方向、航向、速度、时间、日期和/或各种其他信息/数据的定位模块。一些室内系统可以使用各种位置或定位技术,所述各种位置或定位技术包括RFID标签、室内信标或发射器、Wi-Fi接入点、蜂窝塔、附近计算装置(例如智能电话、膝上型电脑),和/或类似物。例如,此类技术可以包括摇周边(iBeacon)、万向接近信标、蓝牙低功耗(BLE)发射器、NFC发射器,和/或类似物。这些室内定位方面可以各种设置使用,以确定某人或某物的位置在几英寸或几厘米内。
[0069] 用户装置410(例如,智能电话)或服装300的其他装置(例如,相机、GPS接收器、超声波接收器、微控制器等)还可以包括用户界面(其可以包括联接到处理元件408的显示器416)和/或用户输入接口(联接到处理元件408)。例如,用户界面可以是用户应用程序、浏览器、用户界面和/或本文中可互换使用的类似字词,所述用户界面可在用户装置410上执行和/或可经由所述用户装置410访问以与服装300交互和/或使来自服装300的信息被显示,如本文所述。用户输入接口可以包括允许用户装置410接收数据的多个装置或接口中的任何一个,诸如小键盘418(硬或软的)、触摸显示器、语音/话音或运动接口,或其他输入装置。
在包括小键盘418的实施例中,小键盘418可以包括传统的数字(0-9)和相关的键(#、*),以及用于操作用户装置410的其他键(或使所述传统的数字和相关的键以及所述其他键显示),并且可以包括完整的一组字母键或可以被激活以提供完整的一组字母数字键的一组键。除了提供输入之外,用户输入接口还可以用于例如激活或停用某些功能,诸如屏幕保护程序和/或睡眠模式。
[0070] 用户装置410(例如,智能电话)或服装300的其他装置(例如,相机、GPS接收器、超声波接收器、微控制器等)还可以包括易失性存储装置或存储器422和/或非易失性存储装置或存储器424,所述易失性存储装置或存储器422和/或非易失性存储装置或存储器424可以是嵌入的和/或可以是可移除的。例如,非易失性存储器可以是ROM、PROM、EPROM、EEPROM、闪存存储器、MMC、SD存储卡、存储棒、CBRAM、PRAM、FeRAM、NVRAM、MRAM、RRAM、SONOS、FJG RAM、Millipede存储器、赛道存储器,和/或类似物。易失性存储器可以是RAM、DRAM、SRAM、FPM DRAM、EDO DRAM、SDRAM、DDR SDRAM、DDR2 SDRAM、DDR3 SDRAM、RDRAM、TTRAM、T-RAM、Z-RAM、RIMM、DIMM、SIMM、VRAM、高速缓冲存储器、寄存存储器,和/或类似物。易失性和非易失性存储装置或存储器可以存储用以实现用户装置410的功能的数据库、数据库实例、数据库管理系统、数据、应用程序、程序、程序模块、脚本、源代码、目标代码、字节代码、编译代码、解译代码、机器代码、可执行指令和/或类似物。如所指示的,这可以包括驻留在实体上或者可以通过浏览器或用于与服装300和/或各种其他计算实体通信的其他用户界面访问的用户应用程序。
[0071] 在另一个实施例中,用户装置410(例如,智能电话)或服装300的其他装置(例如,相机、GPS接收器、超声波接收器、微控制器等)可以包括这样的一个或多个部件或功能,所述一个或多个部件或功能与与服装300的一个或多个部件或功能相同或类似,如上面更详细描述的。如将认识到的,这些架构和描述仅提供用于示例目的,而非限制各种实施例。
[0072] 图5示出了根据本公开的示例实施例的用于结合导航使用的道路数据的示例图500。具体地,图500表示由自主车辆传感器收集的数据,所述数据例如用于生成地图,诸如HD地图。在另一个实施例中,数据可以代表各种基础设施部件(例如,人行道、人行横道,以及路肩区域),并且可以用于为用户(例如,有视觉缺陷的步行者)标测安全路线。具体地,图
500示出了环境的示例特征,诸如道路502、路肩504、标志或广告牌505、一棵或多棵树木
510、一个或多个交通标志520,以及一个或多个景观特征522。
[0073] 在另一个实施例中,可以分析融合数据(例如,包括相机数据和激光雷达数据的融合数据)以识别各种静态障碍物,诸如基础设施要素。此类静态障碍物可包括但不限于人行道边缘、路沿、灯杆、公用设施箱、轮椅坡道、裸井、不平坦边缘,以及其他潜在障碍物。此外,可以分析融合数据以识别用于让用户或用户装置(例如,轮椅)行走或移动的平滑、平坦、安全的路径。在各种实施例中,通过使用先前添加到HD地图(例如,在与诸如蜂窝电话等用户装置通信的远程服务器上至少部分地存储和处理的HD地图)的路线和永久或半永久障碍物(例如,静态障碍物)的数据库,并且通过动态地添加由服装上的传感器检测到的动态障碍物(例如,交通锥、交通事故现场、步行者交通、车辆等),可以使用户保持了解要遵循的更新指示,以便保持在安全的路线上。
[0074] 图6示出了根据本公开的示例实施例的包括障碍物的物理环境的图。具体地,图600示出了具有多个障碍物的人行道601的截面,所述多个障碍物包括动态障碍物620和静态障碍物640的示例。在另一个实施例中,可以根据汽车传感器数据来生成地图(例如,HD地图)。此外,地图可以包括静态障碍物(诸如静态障碍物交通灯杆606、电力机箱或电话机箱
608、停车计时器610,或人行道边缘614)的位置。在另一个实施例中,地图可以包括环境的特征,例如一个或多个人行道611和其他可步行区域,诸如人行横道613。在一个方面,由用户(例如,有生理缺陷的步行者)穿着的服装(例如,与上面结合图2所示出和描述的服装202类似的服装)上的一个或多个传感器可以在动态障碍物620(诸如交通锥612)被传感器检测到并且被用户遇到时实时检测此类障碍物。此外,检测到的动态障碍物620可以被发送到一个或多个远程服务器(例如,类似于结合图1所示出和描述的远程服务器112),并且经由蜂窝链路或其他通讯链路从诸如移动电话等用户装置接收。呈现给用户的导航路线在由远程服务器处理之后,可以重新选路,以使用户可以由此避开动态障碍物620。
[0075] 图7示出了根据本公开的示例实施例的原始规划路径、新实时障碍物,以及围绕新障碍物转向的经修改路径,以及HD地图中包含的原始障碍物。在另一实施例中,环境700表示(例如,与可导航路线上的用户相关联的位置的)俯视图。在另一个实施例中,用户可以在通往给定目的地708的第一路线706上。因为用户可能在第一路线706上遇到障碍物(例如,动态障碍物)702,所以可能需要更新第一路线706。因此,服装(例如,上面结合图2示出和描述的服装202)可以向用户提供采取第二路线710以避免与障碍物702碰撞的指令。然后,用户可以沿着人行道714行进,并且在人行横道715处穿过街道到达目的地。此外,服装可以提供关于何时穿过人行横道715的附加指令(例如,使得用户不受交通流的伤害,未示出)。另外,服装可以检测静态障碍物712(例如,树木等)的存在,使得用户经引导而避开可能与这些障碍物碰撞的路径。
[0076] 图8示出了根据本公开的示例实施例的服装的示例操作的示例流程图的图。在框802处,可以从沿着规划路线的一个或多个车辆传感器确定静态(例如,永久或半永久)对象数据。在另一个方面,车辆(例如,如自主车辆)具有一个或多个感知传感器(例如,相机、激光雷达、GPS、惯性测量单元(IMU)和雷达等),从而提供环境和交通数据。在另一个实施例中,数据可以代表各种基础设施部件(例如,人行道、人行横道,以及路肩区域),并且可以用于为用户(例如,有视觉缺陷的步行者)标测安全路线。在另一个实施例中,可以分析融合数据(例如,包括相机数据和激光雷达数据的融合数据)以识别各种静态障碍物,诸如基础设施要素。此类静态障碍物可包括但不限于人行道边缘、路沿、灯杆、公用设施箱、轮椅坡道、裸井、不平坦边缘,以及其他潜在障碍物。此外,可以分析融合数据以识别用于让用户或用户装置(例如,轮椅)行走或移动的平滑、平坦、安全的路径。
[0077] 在框804处,地图(例如,HD地图)可以合并静态对象数据以更新地图。在另一个方面,静态对象数据可以由车辆发送到远程服务器(例如,类似于上面结合图1所示出和描述的远程服务器114)。另外或替代地,在框808处,可以生成传统地图(例如,非HD地图)和相关联的规划路线。在框810处,可以修改和/或重新创建规划路线。可以例如基于静态对象数据并使用服务器上的一个或多个算法来修改或重新创建规划路线。
[0078] 在框812处,可以由服装在一个或多个传感器(例如,相机、超声波装置等)处感测动态障碍物或其他交通状况(例如,标志、交通信号等)。如果在框818处服装没有检测到动态障碍物或交通状况,则流程可以进行到如下所述的框820。如果服装感测到此类动态障碍或其他交通情况,则流程在816行进到框818处,服装可以合并动态障碍物或其他交通信息,从而生成经修改的地图(例如,HD地图)。此外,在框820处,可以将导航信息(例如,更新的导航信息)发送给穿着所述服装的用户。流程从822返回到框812,在所述框812处,在服装可操作时,可由服装在一个或多个传感器处再次感测动态障碍物或其他交通信息。
[0079] 图9示出了根据本公开的示例实施例的服装的示例性操作的另一示例流程图的图。在框902处,可以确定用户装置的第一位置和用户装置的取向。在另一个方面,可以使用用户穿着的服装上的一个或多个装置来确定用户装置的第一位置和用户的取向。例如,一个或多个定位接收器(例如GPS接收器)与卫星数据、超声波传感器的组合,用户电话与蜂窝信号、WiFi信号等的组合,以及历史用户位置可用于确定用户装置的第一位置和用户的取向。
[0080] 在框904处,可以基于所述第一位置、所述第一取向和目的地位置来生成第一路线。在另一个方面,第一路线可以由用户装置(例如,智能电话)或远程服务器或两者生成。在另一个方面,可以利用来自服装上的装置(例如,扬声器和触觉装置)的音频命令向用户呈现路线。
[0081] 在框906处,可以使用与视觉信息相对应的数据和一种或多种人工智能技术来确定第一路线上的一个或多个障碍物。在另一个方面,障碍物可以包括静态障碍物和动态障碍物,并且可以由服装上的一个或多个装置确定,诸如利用相机与机器视觉的组合以及与超声波传感器的组合。在另一个方面,可以将与动态障碍物相关的数据发送到一个或多个远程服务器以更新HD地图,该经更新的HD地图可以用于生成更新的路线以供用户导航。
[0082] 在框908处,可以基于在第一路线上检测到的一个或多个障碍物来生成第二路线。在另一个方面,第二路线可以由用户装置(例如,智能电话)或远程服务器或两者生成。在另一个方面,可以利用来自服装上的装置(例如,扬声器和触觉装置)的音频命令和振动信号向用户呈现第二路线。
[0083] 图10示出了根据本公开的示例实施例的用于训练服装的示例性操作的示例流程图的图。在框1002处,可以向用户呈现第一音频提示,所述第一音频提示指示用户要采取的第一动作。在另一个方面,第一音频提示可以由与服装相关联的扬声器播放。在一个方面,第一音频提示可以基于为使用户从源头到达目的地而生成的路线。在另一个方面,该路线可以基于由定位装置(GPS接收器和/或诸如智能电话等用户装置)接收的定位信号(例如,GPS信号),或者可以基于用于训练目的的预先配置指令。
[0084] 在框1004处,可以向用户穿着的服装提供第一强度的第一触觉信号,所述第一触觉信号对应于所述第一音频提示并且被配置为刺激用户身体的第一部分。在一个方面,触觉信号可包括振动信号。在另一个方面,触觉信号可以由服装上的触觉装置提供。在另一个方面,用户身体的该部分可包括例如:左肩,其对应于指示用户进行左转的指示;或右肩,其对应于指示用户进行右转的指示。
[0085] 在框1006处,可以提供第二音频提示,所述第二音频提示指示用户要采取的第二动作。在另一个方面,第二音频提示可以由与服装相关联的扬声器播放。在一个方面,第二音频提示可以基于或代表为使用户从源头到达目的地而生成的路线。在另一个方面,该路线可以基于由定位装置(GPS接收器和/或诸如智能电话等用户装置)接收的更新的定位信号(例如,GPS信号),或者可以基于用于训练目的的预先配置指令。
[0086] 在框1008处,可以向服装提供第二触觉信号,所述第二触觉信号具有大于所述第一强度的第二强度,并且所述第二触觉信号对应于所述第二音频提示并且被配置为刺激用户身体的第二部分。在一个方面,触觉信号可包括振动信号。在另一个方面,触觉信号可以由服装上的触觉装置提供。在另一个方面,用户身体的该部分可包括:左肩,其对应于指示用户进行左转的指示;或右肩,其对应于指示用户进行右转的指示。
[0087] 在又一个方面,操作可以包括基于所接收的视觉信息(例如,相机信息)确定用户移动(例如,要由用户执行的预定移动模式),以及生成触觉信号,所述触觉信号被配置为刺激户身体的第一部分或第二部分并具有相关的强度。在另一个方面,操作还可包括从用户接收反馈,所述反馈指示用户偏好。在各种非限制性实施例中,用户偏好可以包括触觉信号的强度阈值。在另一个方面,用户偏好可以包括触觉信号的呈现与音频提示的呈现之间的时序差异。此外,操作可以包括生成第三触觉信号,所述第三触觉信号被配置为刺激用户身体的第一部分或第二部分并且具有基于用户偏好的强度。
[0088] 图1至图10的方法、过程流程和用例的一个或多个操作可以通过可在电子装置上执行的一个或多个引擎、程序模块、应用程序等来执行。然而应当理解,此类操作可以结合许多其他装置配置来实现。
[0089] 在图1至图10的说明性方法和过程流程中描述和描绘的操作可以在本公开的各种示例实施例中根据需要以任何合适的顺序进行或执行。另外,在某些示例实施例中,操作中的至少一部分操作可以并行执行。此外,在某些示例实施例中,与图1至图10中描绘的操作相比,可以执行更少、更多或不同的操作。
[0090] 尽管已经描述了本公开的特定实施例,但是本领域普通技术人员应认识到,许多其他修改和替换实施例在本公开的范围内。例如,关于特定装置或部件描述的功能和/或处理能力中的任一者可以由任何其他装置或部件执行。此外,虽然已经根据本公开的实施例描述了各种说明性实现和架构,但是本领域普通技术人员应理解,对本文描述的说明性实现和架构的许多其他修改也在本公开的范围内。
[0091] 框图和流程图的框支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合,以及用于执行指定功能的程序指令装置。还应理解,框图和流程图的每个框以及框图和流程图中的各框的组合可以由执行指定功能、元件或步骤的基于硬件的专用计算机系统来实现,或由专用硬件和计算机指令的组合来实现。
[0092] 软件部件可以用各种编程语言中的任何一种来编码。说明性编程语言可以是较低级的编程语言,诸如与特定硬件架构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件部件在由硬件架构和/或平台执行之前可能需要由汇编器转换成可执行的机器代码。
[0093] 软件部件可以存储作为文件或其他数据存储构造。相关的类似类型或功能的软件部件可以一起存储在例如特定目录,文件夹或库中。软件部件可以是静态的(例如,预先建立的或固定的)或动态的(例如,在执行时创建或修改)。
[0094] 软件部件可以通过各种机制中的任何一种机制来调用其他软件部件或被其他软件部件调用。使软件部件被调用或调用软件部件可以包括其他定制开发的应用程序软件、操作系统功能(例如,装置驱动程序、数据存储(例如,文件管理)程序、其他常见程序和服务等),或第三方软件部件(例如,中间件、加密或其他安全软件、数据库管理软件、文件传输或其他网络通信软件、数学或统计软件、图像处理软件,以及格式转换软件)。
[0095] 与特定解决方案或系统相关联的软件部件可以驻留在单个平台上并在所述单个平台上执行,或者可以跨多个平台分布。多个平台可以与多于一个硬件供应商、基础芯片技术或操作系统相关联。此外,与特定解决方案或系统相关联的软件部件可以最初用一种或多种编程语言编写,但是可以调用以另一种编程语言编写的软件部件。
[0096] 可以将计算机可执行程序指令加载到专用计算机或其他特定机器、处理器、或其他可编程数据处理设备上,以产生特定机器,使得在计算机、处理器或其他可编程数据处理设备上执行指令造成流程图中指定的一个或多个功能或操作被执行。这些计算机程序指令也可以存储在计算机可读存储介质(CRSM)中,这些计算机程序指令在执行时可以指示计算机或其他可编程数据处理设备以特定方式起作用,使得存储在计算机可读存储介质中的指令产生一种制品,所述制品包括实现流程图中指定的一个或多个功能或操作的指令手段。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上,以使得一系列操作元件或步骤在计算机或其他可编程设备上执行以产生计算机实现的过程。
[0097] 尽管已经用结构特征和/或方法动作特定的语言描述了实施例,但是应当理解,本公开不必限于所描述的具体特征或动作。相反,具体特征和行为被公开为实现实施例的说明性形式。除非另外特别说明,或者在所用的上下文中理解,否则诸如“能够”、“可以”、“可能”或“可”等条件语言通常意图表示,尽管其他实施例不包括,但某些实施例可包括某些特征、元件和/或步骤。因此,此类条件语言通常不旨在暗示一个或多个实施例以任何方式需要特征、元素,和/或步骤,或者一个或多个实施例必须包括用于在具有或不具有用户输入或提示的情况下对这些特征、元素和/或步骤包括在任何特定实施例中还是将在任何特定实施例中执行进行判定的逻辑。
[0098] 本公开的示例实施例可包括以下实施例中的一个或多个实施例:
[0099] 实施例1可以包括一种系统,所述系统包括:定位装置,所述定位装置被配置为确定用户装置的第一位置和第一取向;对象检测装置,所述对象检测装置被配置为使用与视觉信息相对应的数据和人工智能技术来检测一个或多个障碍物;存储器,所述存储器存储计算机可执行指令;以及处理器,所述处理器可操作地联接到所述存储器,并且执行存储在所述存储器中的所述计算机可执行指令以:基于所述第一位置、所述第一取向和目的地位置来确定第一路线;以及基于所述第一路线上的一个或多个障碍物来确定第二路线。
[0100] 实施例2可包括如实施例1所述的系统和/或本文的一些其他实施例,其中所述定位装置使用全球定位系统(GPS)数据或来自所述对象检测装置的数据来确定所述用户装置的所述第一位置。
[0101] 实施例3可包括如实施例1所述的系统和/或本文的一些其他实施例,其中所述一个或多个障碍物包括静态障碍物和动态障碍物,并且所述处理器将所述动态障碍物添加到用于生成所述第一路线或所述第二路线的地图上。
[0102] 实施例4可包括如实施例3所述的系统和/或本文的一些其他实施例,其中所述动态障碍物包括与交通相关联的障碍物,并且所述静态障碍物包括与基础设施要素相关联的障碍物。
[0103] 实施例5可包括如实施例1所述的系统和/或本文的一些其他实施例,所述系统还包括信号发生装置,所述信号发生装置被配置为生成用于呈现给用户的信号,所述信号指示所述第一路线上的所述一个或多个障碍物或所述第二路线上的一个或多个障碍物。
[0104] 实施例6可包括如实施例5所述的系统和/或本文的一些其他实施例,其中所述信号包括音频信号或振动信号。
[0105] 实施例7可包括如实施例5所述的系统和/或本文的一些其他实施例,其中所述信号发生装置被配置为基于所述用户装置与所述一个或多个障碍物之间的距离来生成用于呈现给用户的信号。
[0106] 实施例8可包括如实施例1所述的系统和/或本文的一些其他实施例,其中来自所述对象检测装置的所述数据通过网络发送到与第二用户相关联的第二用户装置。
[0107] 实施例9可包括如实施例8所述的系统和/或本文的一些其他实施例,其中所述处理器接收反馈以便在所述用户装置处呈现给用户,所述反馈是从所述第二用户装置接收的。
[0108] 实施例10可以包括一种方法,所述方法包括:确定用户装置的第一位置;确定所述用户装置的第一取向;基于所述第一位置、所述第一取向和目的地位置来确定第一路线;使用与视觉信息相对应的数据和一种或多种人工智能技术来确定所述第一路线上的一个或多个障碍物;以及基于在所述第一路线上检测到的所述一个或多个障碍物来确定第二路线。
[0109] 实施例11可包括如实施例10所述的方法和/或本文的一些其他实施例,其中确定所述用户装置的所述第一位置包括使用全球定位系统(GPS)数据或来自对象检测装置的数据来确定所述用户装置的所述第一位置。
[0110] 实施例12可包括如实施例10所述的方法和/或本文的一些其他实施例,其中所述一个或多个障碍物包括静态障碍物和动态障碍物,所述方法还包括将所述动态障碍物添加到用于确定所述第一路线或所述第二路线的地图上。
[0111] 实施例13可包括如实施例12所述的方法和/或本文的一些其他实施例,其中所述动态障碍物包括与交通相关联的障碍物,并且所述静态障碍物包括与基础设施要素相关联的障碍物。
[0112] 实施例14可包括如实施例10所述的方法和/或本文的一些其他实施例,所述实施例还包括在所述用户装置上生成信号,所述信号指示所述第一路线或所述第二路线上的一个或多个障碍物。
[0113] 实施例15可以包括一种方法,所述方法包括:提供第一音频提示,所述第一音频提示指示用户要采取的第一移动;所述用户穿着的服装提供第一强度的第一触觉信号,所述第一触觉信号对应于所述第一音频提示并且被配置为刺激所述用户的身体的第一部分;提供第二音频提示,所述第二音频提示指示所述用户要采取的第二移动;以及向所述服装提供第二强度的第二触觉信号,所述第二强度大于所述第一强度,所述第二触觉信号对应于所述第二音频提示并且被配置为刺激所述用户的身体的第二部分。
[0114] 实施例16可以包括如实施例15所述的方法和/或本文的一些其他实施例,所述方法还包括从所述用户接收反馈,所述反馈指示用户偏好。
[0115] 实施例17可以包括如实施例16所述的方法和/或本文的一些其他实施例,其中所述用户偏好包括触觉信号的强度阈值。
[0116] 实施例18可以包括如实施例16所述的方法和/或本文的一些其他实施例,其中所述用户偏好包括触觉信号的呈现与音频提示的呈现之间的时序差异。
[0117] 实施例19可以包括如实施例16所述的方法和/或本文的一些其他实施例,所述方法还包括生成第三触觉信号,所述第三触觉信号被配置为刺激所述用户的身体的所述第一部分或所述第二部分,所述第三触觉信号具有基于所述用户偏好的第三强度。
[0118] 实施例20可以包括如实施例15所述的方法和/或本文的一些其他实施例,所述方法还包括:基于所接收的视觉信息来确定用户移动;以及生成第三触觉信号,所述第三触觉信号被配置为刺激所述用户的身体的所述第一部分或所述第二部分。