用于增强现实的系统和方法转让专利

申请号 : CN201680025479.1

文献号 : CN107533233B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : M·J·伍兹

申请人 : 奇跃公司

摘要 :

公开了用于向用户呈现虚拟现实和增强现实体验的配置。增强现实显示系统包括:手持式组件,其容纳电磁场发射器;电磁场发射器,其发射已知磁场;头戴式组件,其耦合到一个或多个电磁传感器,所述一个或多个电磁传感器检测由容纳在手持式组件中的电磁场发射器发射的磁场,其中头部姿态是已知的;以及控制器,其通信地耦合到手持式组件和头戴式组件,所述控制器接收来自手持式组件的磁场数据,并接收来自头戴式组件的传感器数据,其中控制器至少部分地基于所接收的磁场数据和所接收的传感器数据来确定手的姿态。

权利要求 :

1.一种显示增强现实的方法,包括:

通过电磁场发射器发射已知磁场;

通过电磁传感器测量与在所述电磁传感器处的磁通量有关的参数,作为所发射的已知磁场的结果,其中,所述电磁传感器的世界坐标是已知的;

至少部分地基于所测量的与在所述电磁传感器处的所述磁通量有关的参数,确定相对于所述电磁场发射器的姿态信息;以及至少部分地基于所确定的相对于所述电磁场发射器的姿态信息,向用户显示虚拟内容,其中,所述电磁传感器包括至少三个线圈以测量三个方向的磁通量,其中,所述至少三个线圈在AR显示系统的头戴式组件的不同位置处被集成到所述头戴式组件中。

2.根据权利要求1所述的方法,其中,所述电磁场发射器位于AR显示系统的移动组件中。

3.根据权利要求2所述的方法,其中,所述移动组件是手持式组件。

4.根据权利要求2所述的方法,其中,所述移动组件是图腾装置。

5.根据权利要求2所述的方法,其中,所述移动组件是所述AR显示系统的头戴式组件。

6.根据权利要求1所述的方法,进一步包括:将显示系统容纳在头戴式组件中,其中,所述电磁传感器操作性地耦合到所述头戴式组件。

7.根据权利要求1所述的方法,其中,所述电磁传感器的世界坐标至少部分地基于被执行以确定头部姿态信息的SLAM分析而是已知的,其中,所述电磁传感器操作性地耦合到容纳显示系统的头戴式组件。

8.根据权利要求7所述的方法,通过操作性地耦合到所述头戴式组件的一个或多个照相机来捕获图像数据,其中,所述SLAM分析至少基于由所述一个或多个照相机捕获的数据来执行。

9.根据权利要求1所述的方法,其中,所述电磁传感器包括一个或多个惯性测量单元(IMU)。

10.根据权利要求1所述的方法,其中,所述姿态信息至少对应于所述电磁场发射器相对于世界的位置和朝向。

11.根据权利要求1所述的方法,其中,所述姿态信息被分析以确定与所述电磁场发射器对应的世界坐标。

12.根据权利要求1所述的方法,进一步包括:至少部分地基于与所述电磁场发射器对应的所述姿态信息来检测与一个或多个虚拟内容的交互。

13.根据权利要求12所述的方法,进一步包括:至少部分地基于所检测的交互,向所述用户显示虚拟内容。

14.根据权利要求1所述的方法,进一步包括:通过控制和快速释放模块解耦由所述电磁场发射器发射的磁场。

15.根据权利要求1所述的方法,进一步包括:通过附加定位资源来确定所述电磁场发射器的世界坐标。

16.根据权利要求15所述的方法,其中,所述附加定位资源包括GPS接收器。

17.根据权利要求15所述的方法,其中,所述附加定位资源包括信标。

18.根据权利要求1所述的方法,其中,所述电磁传感器包括非实心铁氧体立方体。

19.根据权利要求1所述的方法,其中,所述电磁传感器包括一堆铁氧体盘。

20.根据权利要求1所述的方法,其中,所述电磁传感器包括多个铁氧体棒,其每一个具有聚合物涂层。

21.根据权利要求1所述的方法,其中,所述电磁传感器包括时分复用开关。

22.根据权利要求1-21任意一项所述的方法,被实现为具有用于实现所述方法的步骤的装置的系统。

23.根据权利要求1-21任意一项所述的方法,被实现为包括计算机可用存储介质的计算机程序产品,所述存储介质具有执行所述方法的步骤的可执行代码。

说明书 :

用于增强现实的系统和方法

[0001] 相关申请的交叉引用
[0002] 本申请要求2015年3月5日提交的序列号为62/128,993的美国临时申请“ELECTROMAGNETIC TRACKING SYSTEM AND METHOD FOR AUGMENTED REALITY(用于增强现实的电磁跟踪系统和方法)”(案卷号ML 30031.00)和2016年2月5日提交的序列号为62/
292,185的美国临时申请“SYSTEMS AND METHODS FOR AUGMENTED REALITY(用于增强现实的系统和方法)”(案卷号ML 30062.00)的优先权。

背景技术

[0003] 现代计算和显示技术已经促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展,其中,数字再现的图像或其部分以看起来是或可能感知为真实的方式向用户呈现。虚拟现实“VR”场景通常涉及数字或虚拟图像信息的呈现,而对其它实际的真实世界视觉输入没有透明性。增强现实“AR”场景通常涉及数字或虚拟图像信息的呈现,作为对用户周围的实际世界的可视化的增强。
[0004] 例如,参见图1,描绘了增强现实场景4,其中AR技术的用户看见背景中以人、树、建筑物为特征的类似真实世界公园的设置6以及混凝土平台1120。除了这些项目之外,AR技术的用户还可以感知站在真实世界平台1120上的机器人雕像1110和绕着公园飞行的卡通式化身角色2。当然,虚拟元素2和1110在真实世界中不存在,但是,用户将这些虚拟对象感知为真实世界的一部分并与真实世界的对象(例如,6、1120等)交互。应当理解,人类视觉感知系统非常复杂,产生这种有助于虚拟图像元素在其它虚拟或现实世界图像元素中的舒适、自然感觉和丰富的呈现的AR场景是具有挑战性的。
[0005] 例如,头戴式AR显示器(例如,头盔显示器或智能眼镜)可以耦合到用户的头部,因此,可以在用户的头部移动时移动。如果显示系统检测到用户的头部动作,则可以更新正在显示的数据,以考虑头部姿态的变化。可以利用头部姿态以向用户适当地渲染虚拟内容。因此,任何小的变化可能会中断和/或减少传递给用户的AR显示器的虚拟内容的传递或定时。
[0006] 作为示例,如果戴着头戴式显示器的用户在显示器上观看三维(3D)对象的虚拟表示,并在3D对象出现的区域周围走动,则3D对象可对于每个视角重新渲染,向用户提供他或她正绕着占据真实空间的对象走动的感知。如果头戴式显示器用于在虚拟空间(例如,丰富的虚拟世界)中呈现多个对象,则头部姿态(即,用户的头部的位置和朝向)的测量可用于重新渲染场景以匹配用户的动态变化的头部位置和朝向,并提供增加的虚拟空间沉浸感。类似地,当AR技术的用户在与虚拟世界交互时,他或她可以使用物体或他/她的手指向对象或选择选项。为了这一交互的发生,物体或用户的手的定位达到精确的程度也很重要。因此,头部姿态和“手的姿态”二者都是关键的,并且定位技术必须使用以便准确地向用户描绘虚拟内容。
[0007] 在AR系统中,头部姿态和/或手的姿态的检测和/或计算可以促进AR显示系统渲染虚拟对象,以使得它们看起来以与真实世界的对象一致的方式占据真实世界中的空间。真实地呈现AR场景以使得虚拟内容相对于一个或多个真实对象不会看起来不和谐/混乱改善了用户对AR体验的享受。此外,诸如手持式装置(其也可称为“图腾装置(totem)”)、触觉装置或其它真实物理对象的真实对象相对于用户的头部或AR系统的位置和/或朝向的检测也可以促进显示系统向用户呈现显示信息,以使用户能够有效地与AR系统的某些方面进行交互。
[0008] 应当理解,在AR应用中,虚拟对象在空间相对于物理对象的放置(例如,被呈现以看起来在空间上在两个或三个维度接近物理对象)是重要的问题。例如,头部运动可使虚拟对象在周围环境的视图中的放置明显复杂。无论是视图被捕获成周围环境的图像,然后投影或显示给终端用户,还是终端用户直接感知周围环境的视图,这可能都是真的。例如,头部运动可能导致用户的视场改变。反过来,这可要求更新各种虚拟对象在终端用户的视场中显示的位置。类似地,手的运动(在手持式物体的情况下)在用于与系统交互时提出了同样的挑战。这些运动可能很快,通常需要以高的刷新率和低的延迟来准确地检测和定位。
[0009] 另外,头部和/或手的运动可以在各种范围和速度下发生。速度可不仅在不同类型的头部运动之间变化,还可在单个运动的范围内或在单个运动的范围上变化。例如,头部运动的速度可一开始从起点增加(例如,线性等),并可以在到达终点时降低,在头部运动的起点和终点之间的某处获得最大速度。快速移动甚至可能超过特定显示或投影技术向终端用户渲染看起来均匀和/或平滑运动的图像的能力。
[0010] 头部或手跟踪精度和延迟(即,用户移动他或她的头部/手时与图像获得更新并显示给用户时之间经过的时间)已经成为VR和AR系统的挑战。特别是对于用虚拟元素填充用户的视野的大部分的显示系统,关键是跟踪精度高并且从第一次运动检测到由显示器传递到用户的视觉系统的光的更新的总系统延迟非常低。如果延迟高,则系统可造成用户的前庭神经和视觉感觉系统之间的不匹配,并产生可导致晕动症或模拟器综合症的用户感知场景。如果系统延迟高,则虚拟对象的视在位置在快速头部运动期间可出现不稳定。
[0011] 除了头戴式显示系统之外,其它显示系统也可受益于准确和低延迟的头部姿态检测。这些可包括头部跟踪显示系统,其中显示器不佩戴在用户的身体上,而是例如安装在墙或其它表面上。头部跟踪显示器可以像窗口一样作用在场景上,并且当用户相对于“窗口”移动他的头部时,场景被重新渲染以匹配用户的变化的视点。其它系统可以包括头戴式投影系统,其中头戴式显示器将光投影到真实世界中。
[0012] 另外,为了提供真实的AR体验,AR系统可被设计成与用户交互。例如,多个用户可以用虚拟球和/或其它虚拟对象来玩球类游戏。一个用户可以“抓住”虚拟球,并将球扔回给另一个用户。在另一个实施例中,第一用户可配备图腾装置(例如,可通信地耦合到AR系统的物理“球棒”)以击中虚拟球。在其它实施例中,可向AR用户呈现虚拟用户界面,以允许用户选择多个选项中的一个。用户可以使用图腾装置、触觉装置、可穿戴组件、或仅仅触摸虚拟屏以与系统交互。
[0013] 检测用户(例如,用户的头部和手)的姿态和朝向以及检测空间中真实对象的物理位置可使得AR系统能够以有效且愉快的方式显示虚拟内容。然而,这种头部和手的姿态的准确检测可能难以实现。换句话说,AR系统必须识别真实对象(例如,用户的头部、图腾装置、触觉装置、可穿戴组件、用户的手等)的物理位置,并将真实对象的物理坐标与对应于向用户显示的一个或多个虚拟对象的虚拟坐标相关联。该过程可通过快速跟踪一个或多个对象的位置和朝向的高精度传感器和传感器识别系统来改进。目前的方法不能以令人满意的速度或精度标准来执行定位。
[0014] 因此,需要在AR和VR设备的上下文中的更好的定位系统。

发明内容

[0015] 本发明的实施例涉及用于促进一个或多个用户的虚拟现实和/或增强现实交互的装置、系统和方法。
[0016] 在一个方面,增强现实(AR)显示系统包括:电磁场发射器,其用于发射已知磁场;电磁传感器,其用于测量与在电磁传感器处测量的磁通量有关的参数,作为所发射的已知磁场结果,其中电磁传感器的世界坐标是已知的;控制器,其至少部分地基于所测量的与在所述电磁传感器处测量的磁通量有关的参数,确定相对于电磁场发射器的姿态信息;以及显示系统,其至少部分地基于所确定的相对于电磁场发射器的姿态信息,向用户显示虚拟内容。
[0017] 在一个或多个实施例中,电磁场发射器位于AR显示系统的移动组件中。在一个或多个实施例中,移动组件是手持式组件。在一个或多个实施例中,移动组件是图腾装置。
[0018] 在一个或多个实施例中,移动组件是AR显示系统的头戴式组件。在一个或多个实施例中,AR显示系统进一步包括容纳显示系统的头戴式组件,其中,电磁传感器可操作性地耦合到头戴式组件。在一个或多个实施例中,电磁传感器的世界坐标至少部分地基于被执行以确定头部姿态信息的SLAM分析而是已知的,其中,电磁传感器可操作性地耦合到容纳显示系统的头戴式组件。
[0019] 在一个或多个实施例中,AR显示系统进一步包括可操作性地耦合到头戴式组件的一个或多个照相机,其中,SLAM分析至少基于由一个或多个照相机捕获的数据来执行。在一个或多个实施例中,电磁传感器包括一个或多个惯性测量单元(IMU)。
[0020] 在一个或多个实施例中,姿态信息至少对应于电磁场发射器相对于世界的位置和朝向。在一个或多个实施例中,分析姿态信息以确定与电磁场发射器对应的世界坐标。在一个或多个实施例中,控制器至少部分地基于与电磁场发射器对应的姿态信息来检测与一个或多个虚拟内容的交互。
[0021] 在一个或多个实施例中,显示系统至少部分地基于所检测的交互,向用户显示虚拟内容。在一个或多个实施例中,电磁传感器包括至少三个线圈以测量三个方向的磁通量。在一个或多个实施例中,至少三个线圈被一起容纳在基本上相同的位置,电磁传感器耦合到AR显示系统的头戴式组件。
[0022] 在一个或多个实施例中,至少三个线圈被容纳在AR显示系统的头戴式组件的不同位置处。
[0023] 根据权利要求1的AR显示系统进一步包括控制和快速释放模块,用于解耦由电磁场发射器发射的磁场。在一个或多个实施例中,AR显示系统进一步包括确定电磁场发射器的世界坐标的附加定位资源。在一个或多个实施例中,附加定位资源包括GPS接收器。在一个或多个实施例中,附加定位资源包括信标。
[0024] 在一个或多个实施例中,电磁传感器包括非实心铁氧体立方体。在一个或多个实施例中,电磁传感器包括一堆铁氧体盘。在一个或多个实施例中,电磁传感器包括多个铁氧体棒,其每一个具有聚合物涂层。在一个或多个实施例中,电磁传感器包括时分复用开关。
[0025] 在另一个方面,显示增强现实的方法包括:通过电磁场发射器发射已知磁场;通过电磁传感器测量与在电磁传感器处测量的磁通量有关的参数,作为所发射的已知磁场的结果,其中电磁传感器的世界坐标是已知的;至少部分地基于所测量的与在电磁传感器处测量的磁通量有关的参数,确定相对于电磁场发射器的姿态信息;以及至少部分地基于所确定的相对于电磁场发射器的姿态信息,向用户显示虚拟内容。
[0026] 在一个或多个实施例中,电磁场发射器位于AR显示系统的移动组件中。在一个或多个实施例中,移动组件是手持式组件。在一个或多个实施例中,移动组件是图腾装置。在一个或多个实施例中,移动组件是AR显示系统的头戴式组件。
[0027] 在一个或多个实施例中,该方法进一步包括将显示系统容纳在头戴式组件中,其中,电磁传感器可操作性地耦合到头戴式组件。在一个或多个实施例中,电磁传感器的世界坐标至少部分地基于被执行以确定头部姿态信息的SLAM分析而是已知的,其中,电磁传感器可操作性地耦合到容纳显示系统的头戴式组件。
[0028] 在一个或多个实施例中,进一步包括通过可操作性地耦合到头戴式组件的一个或多个照相机捕获图像数据,其中,SLAM分析至少基于由一个或多个照相机捕获的数据执行。在一个或多个实施例中,电磁传感器包括一个或多个惯性测量单元(IMU)。
[0029] 在一个或多个实施例中,姿态信息至少对应于电磁场发射器相对于世界的位置和朝向。在一个或多个实施例中,分析姿态信息以确定与电磁场发射器对应的世界坐标。在一个或多个实施例中,该方法进一步包括至少部分地基于与电磁场发射器对应的姿态信息,检测与一个或多个虚拟内容的交互。
[0030] 在一个或多个实施例中,该方法进一步包括至少部分地基于所检测的交互,向用户显示虚拟内容。在一个或多个实施例中,电磁传感器包括至少三个线圈以测量三个方向的磁通量。在一个或多个实施例中,至少三个线圈被一起容纳在基本上相同的位置,电磁传感器耦合到AR显示系统的头戴式组件。在一个或多个实施例中,至少三个线圈被容纳在AR显示系统的头戴式组件的不同位置处。
[0031] 在一个或多个实施例中,该方法进一步包括通过控制和快速释放模块解耦由电磁场发射器发射的磁场。在一个或多个实施例中,该方法进一步包括通过附加定位资源来确定电磁场发射器的世界坐标。在一个或多个实施例中,附加定位资源包括GPS接收器。在一个或多个实施例中,附加定位资源包括信标。
[0032] 在再一个方面,增强现实显示系统包括:容纳电磁场发射器的手持式组件;发射已知磁场的电磁场发射器;具有向用户显示虚拟内容的显示系统的头戴式组件,该头戴式组件耦合到一个或多个电磁传感器,电磁传感器检测由容纳在手持式组件中的电磁场发射器发射的磁场,其中头部姿态是已知的;以及可通信地耦合到手持式组件和头戴式组件的控制器,该控制器从手持式组件接收磁场数据,并从头戴式组件接收传感器数据,其中,控制器至少部分地基于所接收的磁场数据和所接收的传感器数据来确定手的姿态,其中,显示系统至少部分地基于所确定的手的姿态修改显示给用户的虚拟内容。
[0033] 在一个或多个实施例中,手持式组件是移动的。在一个或多个实施例中,手持组件是图腾装置。在一个或多个实施例中,手持式组件是游戏组件。在一个或多个实施例中,头部姿态至少部分地基于SLAM分析而是已知的。
[0034] 在一个或多个实施例中,AR显示系统进一步包括可操作性地耦合到头戴式组件的一个或多个照相机,其中,SLAM分析至少基于由一个或多个照相机捕获的数据来执行。在一个或多个实施例中,电磁传感器包括一个或多个惯性测量单元(IMU)。
[0035] 在一个或多个实施例中,头部姿态至少对应于电磁传感器相对于世界的位置和朝向。在一个或多个实施例中,分析手的姿态以确定与手持式组件对应的世界坐标。在一个或多个实施例中,控制器至少部分地基于所确定的手的姿态来检测与一个或多个虚拟内容的交互。
[0036] 在一个或多个实施例中,显示系统至少部分地基于所检测的交互来向用户显示虚拟内容。在一个或多个实施例中,电磁传感器包括至少三个线圈以测量三个方向的磁通量。在一个或多个实施例中,至少三个线圈被一起容纳在基本相同的位置。在一个或多个实施例中,至少三个线圈被容纳在头戴式组件的不同位置处。
[0037] 在一个或多个实施例中,AR显示系统进一步包括控制和快速释放模块,用于解耦由电磁场发射器发射的磁场。在一个或多个实施例中,AR显示系统进一步包括用于确定手的姿态的附加定位资源。在一个或多个实施例中,附加定位资源包括GPS接收器。在一个或多个实施例中,附加定位资源包括信标。
[0038] 本发明的附加和其它目的、特征和优点在具体实施方式、附图和权利要求中描述。
[0039] 本发明的附加和其它目的、特征和优点在具体实施方式、附图和权利要求中描述。

附图说明

[0040] 附图示出了本发明的各种实施例的设计和使用。应当注意,附图未按比例绘制,并且在所有附图中,相似的结构或功能的元件由相同的参考标记表示。为了更好地了解如何获得本发明的各种实施例的上述和其它优点和目的,将通过参考在附图中示出的具体实施例来对上面简要描述的本发明进行更详细的描述。应当理解,这些附图仅描绘了本发明的典型实施例,因此不应被认为限制其范围,通过使用附图本发明将以附加的特征和细节来描述和解释,在附图中:
[0041] 图1示出了根据一个实施例的向AR系统的用户显示的AR场景的平面图;
[0042] 图2A-2D示出了可穿戴AR装置的各种实施例;
[0043] 图3示出了可穿戴AR装置的用户与AR系统的一个或多个云服务器交互的示例实施例;
[0044] 图4示出了电磁跟踪系统的示例实施例;
[0045] 图5示出了根据一个示例实施例的确定传感器的位置和朝向的示例方法;
[0046] 图6示出了利用电磁跟踪系统确定头部姿态的示例图;
[0047] 图7示出了基于所检测的头部姿态将虚拟内容传送给用户的示例方法;
[0048] 图8示出了根据一个实施例的具有电磁发射器和电磁传感器的AR系统的各种组件的示意图;
[0049] 图9A-9F示出了控制和快速释放模块的各种实施例;
[0050] 图10示出了AR装置的一个简化实施例;
[0051] 图11A和图11B示出了电磁传感器在头戴式AR系统上的布置的各种实施例;
[0052] 图12A-12E示出将被耦合到电磁传感器的铁氧体立方体的各种实施例;
[0053] 图13A-13C示出电磁传感器的电路的各种实施例;
[0054] 图14示出了使用电磁跟踪系统以检测头部姿态和手的姿态的示例方法;
[0055] 图15示出了使用电磁跟踪系统以检测头部姿态和手的姿态的另一示例方法。

具体实施方式

[0056] 参考图2A-2D,示出了一些通用的组件选项。在图2A-2D的说明之后的详细描述的部分,提供了用于实现向人类VR和/或AR提供高质量的感知舒适的显示系统的目的的各种系统、子系统和组件。
[0057] 如图2A所示,描绘了佩戴头戴式组件58的AR系统用户60,该头戴式组件58以与位于用户的眼睛前面的显示系统62连接的框架64结构为特征。在所描绘的配置中,扬声器66连接到框架64,并位于用户的耳道附近(在一个实施例中,另一个扬声器(未示出)位于用户的另一个耳道附近以提供立体声/可成形声音控制)。显示器62可以诸如通过有线引线或无线连接而可操作地连接68到本地处理和数据模块70,该本地处理和数据模块70可以按各种配置来安装,诸如固定地附接到框架64、固定地附接到如图2B的实施例所示的头盔或帽子80、嵌入在头戴式耳机中、以如图2C的实施例所示的背包式配置可移除地附着到用户60的躯干82、或者以如图2D的实施例所示的腰带耦接式配置可移除地附着到用户60的髋部84。
[0058] 本地处理和数据模块70可以包括低功耗处理器或控制器以及诸如闪存的数字存储器,它们二者都可以用于协助数据的处理、缓存和存储,其中数据可以是:(a)从可操作性地耦合到框架64的传感器捕获的,诸如图像捕获装置(例如照相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线装置和/或陀螺仪;和/或(b)使用远程处理模块72和/或远程数据存储库74来获取和/或处理的,可用于在这种处理或检索之后传送到显示器62。本地处理和数据模块70可诸如经由有线或无线通信链路可操作性地耦合(76,78)到远程处理模块72和远程数据存储库74,以使得这些远程模块(72,74)可操作性地彼此耦合,并可用作本地处理和数据模块70的资源。
[0059] 在一个实施例中,远程处理模块72可以包括被配置为分析和处理数据和/或图像信息的一个或多个相对强大的处理器或控制器。在一个实施例中,远程数据存储库74可以包括相对大规模的数字数据存储设施,其可以通过互联网或采用“云”资源配置的其它联网配置可用。在一个实施例中,可以在本地处理和数据模块中存储所有数据并以执行所有计算,允许来自任何远程模块的完全自主使用。
[0060] 现在参考图3,示意图示出了云计算资产46与本地处理资产之间的协同,本地处理资产例如可位于耦合到用户的头部120的头戴式组件58和耦合到用户的腰带308的本地处理和数据模块70中;因此,组件70也可以被称为“腰带包”70,如图3所示。在一个实施例中,云资产46(诸如可操作性地耦合115的一个或多个云服务器系统110)例如经由有线或无线网络(无线优选用于移动性,有线优选用于可能需要的某些高带宽或高数据量传输)直接耦合(40,42)到本地计算资产中的一个或两者,诸如如上所述耦合到用户的头部120和腰带308的处理器和存储器配置。用户本地的这些计算资产也可经由有线和/或无线连接配置
44,诸如下面参考图8所述的有线耦合68,彼此可操作性地耦合。在一个实施例中,为了维护安装在用户的头部120的低惯性小尺寸子系统,用户和云46之间的主要传输可以经由安装在腰带308的子系统与云之间的链路,而头戴式子系统120主要使用如当前在例如个人计算外围连接应用中采用的诸如超宽带(UWB)连接的无线连接来将数据绑定到基于腰带的子系统308。
[0061] 采用有效的本地和远程处理协同以及用于用户的适当的显示装置,诸如图2A中所示的用户接口或用户显示系统62或其变形,与用户的当前实际或虚拟位置有关的一个世界的各方面可以被传送或“传递”给用户并以有效的方式更新。换句话说,世界的地图可以在存储位置处不断地更新,该存储位置可部分位于用户的AR系统上并且部分位于云资源中。地图(也称为“可传递世界模型”)可以是包括有关真实世界的光栅图像、3D点和2D点、参数信息和其它信息的大型数据库。随着越来越多的AR用户持续捕获有关其真实环境的信息(例如,通过照相机、传感器、IMU等),地图变得越来越准确和完整。
[0062] 采用如上所述的配置,存在可以位于云计算资源上并从云服务器分发的一个世界的“模型”,这种世界可以采用相对低的带宽的形式被传递给一个或多个用户。这对于将实时视频数据或类似的复杂信息从一个AR系统传送到另一个AR系统可以是优选的。站在雕像附近的人(即,如图1所示)的增强体验可以由基于云的世界模型通知,该世界模型的子集可以被下传到人的本地显示装置以完成视图。坐在远程显示装置(例如,在桌子上的个人计算机)的人可以有效地从云下载该相同的信息部分并使其呈现在个人计算机显示器上。在另一个实施例中,另一个用户可以在公园处实时存在,并且可与通过共享的AR和/或VR体验加入用户的朋友(例如,在个人计算机处的人)在该公园中一起散步。为了向朋友渲染公园场景,AR系统可以检测街道的位置、公园中树木的位置、雕像的位置等。该位置可以上传到云中的可传递世界模型,朋友(在个人计算机处)可从云中下载可传递世界的该部分,然后在公园中与AR用户一起开始“散步”。当然,在一些实施例中,对于公园中的AR用户,该朋友可被渲染为可传递世界模型中的化身,以使得AR用户可与虚拟朋友在公园中行走。
[0063] 更具体地,为了捕获世界的细节,以使得它可被传递到云(并随后传递给其他AR用户),与各种对象有关的3D点可以从环境中捕获,并可以确定捕获那些图像或点的照相机的姿态(即,相对于世界的矢量和/或初始位置信息)。这些3D点可以用该姿态信息“标记”或与该姿态信息相关联。应当理解,在任何给定环境中可以存在捕获相同点的大量AR系统。例如,由(第二AR系统的)第二照相机捕获的点可用于确定第二照相机的头部姿态。换句话说,可以基于与来自第一照相机的所标记的图像的比较来确定第二照相机的方法和/或定位第二照相机。然后,该信息可用于提取纹理、制作地图和创建真实世界的一个或多个虚拟副本。
[0064] 在一个或多个实施例中,AR系统可用于捕获3D点和产生点的2D图像。如上所述,在一些实施例中,这些点和图像可被发送到云存储和处理资源(例如,图3的服务器110)。在其它实施例中,该信息可与嵌入式姿态信息(即,所标记的图像)在本地缓存,以使得所标记的2D图像可与3D点一起发送到云。如果用户正在观察动态场景,则该用户也可以向云服务器发送附加信息。在一个或多个实施例中,目标识别器可(在云资源上或在本地系统上)运行以便在所捕获的点中识别一个或多个对象。关于对象识别器和可传递世界模型的更多信息可以在美国专利申请No.14/205,126“SYSTEM AND METHOD FOR AUTMENTED AND VIRTUAL REALITY(用于增强和虚拟现实的系统和方法)”中找到。与诸如由佛罗里达州劳德代尔堡的Magic Leap公司开发的增强和虚拟现实系统有关的进一步信息公开在美国专利申请No.14/641,376、美国专利申请No.14/555,585、美国专利申请No.14/212,961;美国专利申请No.14/690,401、美国专利申请No.13/663,466和美国专利申请No.13/684,489中。
[0065] 为了捕获可用于创建“可传递世界模型”的点,准确地知道用户相对于世界的位置、姿态和朝向是有帮助的。更具体地,用户的位置必须定位到颗粒度,因为知道用户的头部姿态以及手的姿态(如果用户正在抓住手持式组件、做手势等)是重要的。在一个或多个实施例中,GPS和其它定位信息可以用作这种处理的输入。在处理从特定AR系统中导出的图像和点时,并且也为了向用户显示适当的虚拟内容,用户的头部、图腾装置、手势、触觉装置等的高精度定位是期望的。
[0066] 一种实现高精度定位的方式可以包含使用与电磁传感器耦合的电磁场,该电磁传感器被策略地放置在用户的AR头戴式耳机、腰带包和/或其它辅助装置(例如,图腾装置、触觉装置、游戏工具等)上。电磁跟踪系统通常至少包括电磁场发射器和至少一个电磁场传感器。电磁传感器可以测量具有已知分布的电磁场。基于这些测量,确定场传感器相对于发射器的位置和朝向。
[0067] 现在参考图4,示出了电磁跟踪系统的示例系统(例如,由诸如强生公司的Biosense(RTM)部门、佛蒙特州的科尔切斯特市的Polhemus(RTM)公司的组织开发并由加利福尼亚州的洛斯盖多斯的Sixense(RTM)娱乐公司和其它跟踪公司制造的那些系统)。在一个或多个实施例中,电磁跟踪系统包括被配置为发射已知磁场的电磁场发射器402。如图4所示,电磁场发射器402可以耦合到电源410(例如,电流、电池等)以向电磁场发射器402提供电力。
[0068] 在一个或多个实施例中,电磁场发射器402包括产生磁场的若干线圈(例如,彼此垂直以在x、y和z方向产生场的至少三个线圈)。这些磁场用于建立坐标空间。这可允许系统映射传感器404相对于已知磁场的位置,这有助于确定传感器404的位置和/或朝向。在一个或多个实施例中,电磁传感器404a、404b等可被附接到一个或多个真实对象。电磁传感器404可以包括更小的线圈,其中电流可通过所发射的电磁场而感应。通常,“传感器”组件404可以包括被定位/朝向以捕获来自由电磁发射器402发射的磁场的进入磁通量的小的线圈或环,诸如一组三个不同朝向(即,诸如相对于彼此正交朝向)的线圈,这些线圈被一起耦合在诸如立方体或其它容器的小的结构内。通过比较通过这些线圈感应的电流,并通过知道线圈相对于彼此的相对位置和朝向,可以计算传感器404相对于电磁发射器402的相对位置和朝向。
[0069] 可以测量与电磁跟踪传感器404中的线圈和可操作性地耦合到电磁跟踪传感器404的惯性测量单元(IMU)组件的行为有关的一个或多个参数,以便检测传感器404(及其所附接的对象)相对于电磁场发射器402所耦合的坐标系的位置和/或朝向。当然,该坐标系可以转换成世界坐标系,以便确定电磁场发射器在真实世界中的位置或姿态。在一个或多个实施例中,可以使用与电磁发射器402有关的多个传感器404以检测每一个传感器404在与电磁场发射器402相关联的坐标空间内的位置和朝向。
[0070] 应当理解,在一些实施例中,头部姿态可能已经基于AR系统的头戴式组件上的传感器和基于通过头戴式AR系统捕获的传感器数据和图像数据执行的SLAM分析而是已知的。然而,重要的是知道用户的手(例如,类似图腾装置的手持式组件等)相对于已知的头部姿态的位置。换句话说,重要的是知道相对于头部姿态的手的姿态。一旦头部(假设传感器放置在头戴式组件上)和手之间的关系是已知的,则可以容易地计算出手相对于世界(例如,世界坐标)的位置。
[0071] 在一个或多个实施例中,电磁跟踪系统可以提供传感器404的3D位置(即,X、Y和Z方向),并可进一步提供传感器404在两个或三个方向角上的位置信息。在一个或多个实施例中,IMU的测量可以与线圈的测量进行比较,以确定传感器404的位置和朝向。在一个或多个实施例中,电磁(EM)数据和IMU数据两者以及各种其它数据源(诸如照相机、深度传感器和其它传感器)可以组合以确定电磁传感器404的位置和朝向。
[0072] 在一个或多个实施例中,该信息可以被发送(例如,无线通信、蓝牙等)到控制器406。在一个或多个实施例中,与传感器404对应的姿态信息(例如,位置和朝向)可以以相对高的刷新率向控制器406报告。通常,电磁发射器402可以耦接到相对稳定和大的对象,诸如桌子、操作台、墙壁或天花板等,一个或多个传感器404可以耦接到较小的对象,诸如医疗装置、手持式游戏组件、图腾装置、头戴式AR系统的框架等。
[0073] 可替代地,如下面参考图6所述,可以采用电磁跟踪系统的各种特征来产生一种配置,其中,在空间中移动的两个对象之间的位置和/或朝向相对于更稳定的全局坐标系的变化或增量可被跟踪。换句话说,图6示出了一种配置,其中电磁跟踪系统的变化可用于跟踪头戴式组件和手持式组件之间的位置变化和朝向变化,而相对于全局坐标系(比如,用户的本地房间环境)的头部姿态另外确定,诸如通过使用可以耦合到AR系统的头戴式组件的向外拍摄照相机的即时定位和地图构建(SLAM)技术。
[0074] 返回参考图4,控制器406可以控制电磁场发射器402,并且也可以捕获来自各种电磁传感器404的测量数据。应当理解,系统的各种组件可以通过任何机电或无线/蓝牙方式彼此耦合。控制器406还可以存储关于已知磁场的数据和与磁场有关的坐标空间。该信息然后可用于检测传感器404相对于与已知电磁场对应的坐标空间的位置和朝向,然后,该位置和朝向可用于确定用户的手的世界坐标(例如,电磁发射器的位置)。
[0075] 电磁跟踪系统的一个优点是可以以最小延迟和高分辨率产生高精度的跟踪结果。此外,电磁跟踪系统并不必需依赖于光学跟踪器,从而使得跟踪不在用户的视线范围内的传感器/对象更容易。
[0076] 应当理解,电磁场的强度(v)随着与线圈发射器(例如,电磁场发射器402)的距离(r)的立方函数而下降。一个或多个算法可以基于传感器与电磁场发射器的距离来用公式表示。控制器406可被配置有这种算法,以确定在距离电磁场发射器不同距离处的传感器/对象的位置和朝向。假定随着越来越远离电磁发射器,电磁场的强度急剧下降,可以在较近的距离处实现在精度、效率和低延迟方面的改进结果。在典型的电磁跟踪系统中,电磁场发射器由电流(例如,插入式电源)供电,并且具有位于距离电磁场发射器20英尺半径内的传感器。在包括AR应用的许多应用中,传感器和场发射器之间的较短半径是更期望的。
[0077] 现在参考图5,简要说明描述典型的电磁跟踪系统的功能的示例流程图。在502处,发射已知电磁场。在一个或多个实施例中,电磁场发射器可以产生磁场。换句话说,发射器的每个线圈可以在一个方向(例如,x、y或z)上产生电场。可以产生具有任意波形的磁场。在一个或多个实施例中,每个轴可以以稍微不同的频率振荡。
[0078] 在504处,可以确定与电磁场对应的坐标空间。例如,图4的控制器406可以基于电磁场的参数自动确定在电磁发射器周围的坐标空间。在506处,可以检测/测量在传感器(其可以附接到已知对象)处的线圈的行为。例如,可以测量在线圈处感应的电流。在其它实施例中,线圈的旋转或其它可量化的行为可被追踪和测量。在508处,该测量可用于确定/计算传感器和/或已知对象的位置和朝向。例如,控制器可以参考将在传感器处的线圈的行为与各种位置或朝向相关的映射表。基于这些计算,可以确定传感器(或与其附接的对象)在坐标空间内的位置和朝向。在一些实施例中,可以在传感器处确定姿态/位置信息。在另一实施例中,传感器将在传感器处检测到的数据传送到控制器,控制器可以参考映射表以确定相对于已知磁场的姿态信息(例如,相对于手持式组件的坐标)。
[0079] 在AR系统的上下文中,可能需要修改电磁跟踪系统的一个或多个组件,以便于移动组件的精确跟踪。如上所述,跟踪用户的头部姿态和朝向在许多AR应用中是有帮助的。准确确定用户的头部姿态和朝向允许AR系统在AR显示器中的适当位置向用户显示正确的虚拟内容。例如,虚拟场景可包括隐藏在真实建筑物的后面的怪物。根据用户的头部相对于建筑物的姿态和朝向,可能需要修改虚拟怪物的视图,以使得提供真实的AR体验。
[0080] 在其它实施例中,图腾装置、触觉装置或一些其它与虚拟内容交互的装置的位置和/或朝向对于使AR用户能够与AR系统交互是重要的。例如,在许多游戏应用中,AR系统必须检测真实物体相对于虚拟内容的位置和朝向。或者,当显示虚拟界面时,图腾装置、用户的手、触觉装置或任何其它被配置用于与AR系统交互的真实物体相对于所显示的虚拟界面的位置必须是已知的,以便系统理解命令等。包括光学跟踪的传统定位方法和其它方法通常被高延迟和低分辨率问题困扰,这使得渲染虚拟内容在许多AR应用中具有挑战性。
[0081] 在一个或多个实施例中,以上讨论的电磁跟踪系统可适用于AR系统以检测一个或多个对象相对于所发射的电磁场的位置和朝向。典型的电磁系统倾向于具有大而笨重的电磁发射器(例如,图4中的402),这可使它们在AR应用中的使用不理想。然而,较小的电磁发射器(例如,在毫米范围内的)可用于在AR系统的上下文中发射已知电磁场。
[0082] 现在参考图6,电磁跟踪系统可以并入如图所示的AR系统中,其中电磁场发射器602被并入作为手持式控制器606的一部分。在一个或多个实施例中,手持式控制器可以是在游戏应用中使用的图腾装置。在其它实施例中,手持式控制器可以是可用于与AR系统(例如,经由虚拟用户界面)交互的触觉装置。在其它实施例中,电磁场发射器可以仅仅被并入作为腰带包70的一部分,如图2D所示。手持式控制器606可以包括电池610或其它向电磁场发射器602供电的电源。
[0083] 应当理解,电磁场发射器602还可以包括或者耦合到IMU组件650,该IMU组件650被配置为协助确定电磁场发射器602相对于其它组件的位置和/或朝向。这在电磁场发射器602和传感器604都是移动的情况下(在下面进一步详细讨论)是有用的。在一些实施例中,将电磁场发射器602放置在手持式控制器中而不是在腰带包中,如图6的实施例所示,确保电磁场发射器不竞争在腰带包处的资源,而是使用在手持式控制器606处它自己的电池电源。
[0084] 在一个或多个实施例中,电磁传感器604可以与诸如一个或多个IMU或附加磁通量捕获线圈608的其它传感装置一起放置在用户的头戴式耳机58上的一个或多个位置上。例如,如在图6中所示,传感器604、608可以放置在头戴式耳机58的任一侧上。由于这些传感器604、608被设计成相当小(并因此在一些情况下可能不太敏感),因此,重要的是包括多个传感器,以便提高测量的效率和精度。
[0085] 在一个或多个实施例中,一个或多个传感器604、608也可以被放置在腰带包620或用户的身体的任何其它部分上。传感器604、608可以与计算设备607(例如,控制器)无线或通过 通信,该计算设备607确定传感器604、608(和它们所附接的AR头戴式耳机58)相对于由电磁场发射器602发射的已知磁场的姿态和朝向。在一个或多个实施例中,如图6所示,计算设备607可位于腰带包620处。在其它实施例中,计算设备607可位于头戴式耳机58本身或甚至手持式控制器604处。在一个或多个实施例中,计算设备607可以接收传感器604、608的测量,并确定传感器604、608相对于由电磁场发射器602发射的已知电磁场的位置和朝向。
[0086] 在一个或多个实施例中,可以参考映射数据库632以确定传感器604、608的位置坐标。在一些实施例中,映射数据库632可位于腰带包620中。在所示的实施例中,映射数据库632位于云资源630上。如图6所示,计算设备607与云资源630进行无线通信。然后,所确定的姿态信息结合由AR系统收集的点和图像被传送到云资源630,并被添加到可传递世界模型
634。
[0087] 如上所述,传统的电磁发射器对于在AR装置中使用可能太笨重。因此,与传统的系统相比,电磁场发射器可以被设计得紧凑,使用较小的线圈。然而,假定电磁场的强度随着距离场发射器的距离的立方函数而减小,则与传统系统(诸如在图4中详述的系统)相比,电磁传感器604和电磁场发射器602之间的较短半径(例如,大约3-3.5英尺)可以减小功耗,同时保持可接受的场强。
[0088] 在一个或多个实施例中,该特征可用于延长向控制器606和电磁场发射器602供电的电池610的寿命。可替代地,该特征可用于减小在电磁场发射器602处的产生磁场的线圈的尺寸。然而,为了获得相同的磁场强度,可能需要增加电磁场发射器602的功率。这允许电磁场发射器单元602可紧凑地安装在手持式控制器606处。
[0089] 当将电磁跟踪系统用于AR装置时,可以进行若干其它改变。在一个或多个实施例中,可以使用基于IMU的姿态跟踪。在这种实施例中,尽可能稳定地保持IMU提高了姿态检测过程的效率。IMU可被设计以使得它们保持稳定达到50-100毫秒,这导致具有10-20Hz的姿态更新/报告速率的稳定信号。应当理解,一些实施例可以利用外部姿态评估模块(因为IMU可能随时间漂移),这可使姿态更新能够以10-20Hz的速率报告。通过在合理的时间内保持IMU稳定,姿态更新的速率可以显著地降低到10-20Hz(如与传统系统中的较高频相比)。
[0090] 节省AR系统的功率的另一种方法可以是以10%的占空比(例如,每100毫秒仅对地面进行ping)运行电磁跟踪系统。换句话说,电磁跟踪系统在每100毫秒内工作10毫秒以生成姿态估计。这直接转化成省电,这进而可以影响AR装置的尺寸、电池寿命和成本。
[0091] 在一个或多个实施例中,占空比的这种减小可通过提供两个手持式控制器(未示出)而不是仅仅一个手持式控制器来策略性地利用。例如,用户可能正在玩需要两个图腾装置等的游戏。或者,在多用户游戏中,两个用户可以有自己的图腾装置/手持式控制器来玩游戏。当使用两个控制器(例如,每个手的对称控制器)而不是一个控制器时,控制器可以按偏移占空比工作。相同的概念例如也可应用于由在玩多玩家游戏的两个不同的用户使用的控制器。
[0092] 现在参考图7,说明描述在AR装置的上下文中的电磁跟踪系统的示例流程图。在702处,手持式控制器606发射磁场。在704处,电磁传感器604(放置在头戴式耳机58、腰带包
620等上)检测磁场。在706处,基于在传感器604处的线圈/IMU 608的行为来确定头戴式耳机/腰带的位置和朝向。在一些实施例中,所检测的传感器604的行为被传送到计算设备
607,该计算设备607确定传感器604相对于电磁场的位置和朝向(例如,相对于手持式组件的坐标)。当然,应当理解,这些坐标然后可被转换成世界坐标,因为相对于世界的头部姿态可通过SLAM处理而知道,如上所述。
[0093] 在708处,姿态信息被传送到计算设备607(例如,在腰带包620或头戴式耳机58处)。在710处,可选地,可参考可传递世界模型634,以基于所确定的头部姿态和手的姿态来确定将要显示给用户的虚拟内容。在712处,基于相关性,虚拟内容可在AR头戴式耳机58传递给用户。应当理解,上述流程图仅用于说明的目的,而不应被视为限制。
[0094] 有利地,使用类似于图6中概述的电磁跟踪系统,能够以更高的刷新速率和更低的延迟进行姿态跟踪(例如,头部位置和朝向、图腾装置的位置和朝向、以及其它控制器)。这允许AR系统以更高的精度和更低的延迟来投影虚拟内容,与用于计算姿态信息的光学跟踪技术相比。
[0095] 参考图8,示出了以与上述的传感器类似的许多传感组件为特征的系统配置。应当理解,图2A-2D和图6的参考标记在图8中重复。示出了头戴式可穿戴组件58可操作性地耦合68到本地处理和数据模块70,诸如腰带包(类似于图2D),这里使用物理多芯引线,其也以如下参考图9A-9F所述的控制和快速释放模块86为特征。本地处理和数据模块70可以可操作性地耦合100到手持式组件606(类似于图6)。在一个或多个实施例中,本地处理模块70可以通过无线连接(诸如低功率 )耦合到手持式组件606。在一个或多个实施例中,手持式组件606也可以可操作性地直接耦合到头戴式可穿戴组件58,诸如通过无线连接(诸如低功率 )。
[0096] 通常,在传输IMU数据以便检测各种组件的姿态信息的情况下,高频连接是期望的,诸如在数百或数千周期/秒或更高的范围内。另一方面,数十周期每秒可能足够用于电磁定位感测,诸如通过传感器604和发射器602的配对。还示出了全局坐标系10,代表在用户周围的真实世界中的固定对象,诸如墙壁8。云资源46也可以可操作性地分别耦合42、40、88、90到本地处理和数据模块70、头戴式可穿戴组件58、可耦合到墙壁8或相对于全局坐标系10固定的其它物品的资源。耦合到墙壁8或具有已知的相对于全局坐标系10的位置和/或朝向的资源可包括Wi-Fi收发器114、电磁发射器602和/或接收器604、被配置为发射或反射给定类型的辐射的信标或反射器112(诸如红外LED信标)、蜂窝网络收发器110、雷达发射器或检测器108、激光雷达发射器或检测器106、GPS收发器118、具有已知的可检测图案122的海报或标志物、以及照相机124。
[0097] 头戴式可穿戴组件58以如图所示的相似组件为特征,加上被配置为辅助照相机124检测器的光发射器130,诸如用于红外照相机124的红外发射器130。在一个或多个实施例中,头戴式可穿戴组件58可以进一步包括一个或多个应变计116,其可以固定地耦合到头戴式可穿戴组件58的框架或机械平台,并被配置为确定这种平台在诸如电磁接收器传感器
604或显示元件62的组件之间的偏转,其中,理解平台的弯曲是否在诸如平台的变薄部分(诸如图8所示的眼镜状平台的鼻子上方的部分)已发生是有价值的。
[0098] 头戴式可穿戴组件58还可以包括处理器128和一个或多个IMU 102。优选地,每个组件可操作性地耦合到处理器128。示出以类似组件为特征的手持式组件606以及本地处理和数据模块70。如图8所示,采用这么多传感和连接装置,这种系统很可能很重、很大、相对贵,并且很可能耗电量大。然而,为了说明性的目的,这种系统可用于提供非常高水平的连接性、系统组件集成和位置/朝向跟踪。例如,采用这种配置,可以使用Wi-Fi、GPS或蜂窝信号三角算法,在相对于全局坐标系的位置方面来定位各种主要移动组件(58,70,606);信标、电磁跟踪(如上所述)、雷达和激光雷达系统可以提供进一步的位置和/或朝向信息和反馈。标志物和照相机也可用于提供关于相对和绝对位置和朝向的进一步信息。例如,诸如所示的耦合到头戴式可穿戴组件58的各种照相机组件124可用于捕获可在即时定位和地图构建(SLAM)协议中使用的数据,以确定组件58相对于其它组件的位置以及它相对于其它组件如何朝向。
[0099] 参考图9A-9F,示出了控制和快速释放模块86的各个方面。参考图9A,两个外壳134组件使用磁耦合配置耦合在一起,其可用机械闭锁来增强。可以包括用于关联系统的操作的按钮136。图9B示出了局部剖视图,其示出了按钮136和在下面的顶层印刷电路板138。参考图9C,除去按钮136和在下面的顶层印刷电路板138,母头引脚阵列140可见。参考图9D,除去外壳134的相对部分,底层印刷电路板142可见。如图9E所示,除去底层印刷电路板142,公头引脚阵列144可见。
[0100] 参考图9F的截面图,至少一个公头引脚或母头引脚被配置成弹簧支撑,以使得它们可以沿着每个引脚的纵轴被压缩。在一个或多个实施例中,引脚可以称为“弹簧引脚”,并通常可包括高导电性材料,诸如铜或金。当组装时,所示的配置可以将46个公头引脚与母头引脚配对,整个组装件可以通过手动拉开它并克服使用围绕引脚阵列140、144的周边取向的北磁体和南磁体而产生的磁性界面146负载来快速解耦成一半。
[0101] 在一个实施例中,压缩46个弹簧引脚的大约2kg的负载用大约4kg的闭合维持力抗衡。在一个实施例中,阵列140、144中的引脚可以分开大约1.3mm,引脚可以可操作性地耦合到各种类型的导线(诸如双绞线或其它支持USB 3.0、HDMI 2.0、I2S信号、GPIO和MIPI配置的组合)以及被配置为高达约4安培/5伏的大电流模拟线路和地。
[0102] 参考图10,使最小化组件/特征集能够最小化各种组件的重量和体积并得到相对纤薄的头戴式组件(例如,在图10中特征化的头戴式组件58的那些组件)是有益的。因此,可以利用在图8中所示的各种组件的各种排列和组合。
[0103] 参考图11A,示出了电磁感测线圈组装件(604,例如,耦合到壳体的3个单独的线圈)耦合到头戴式组件58。这种配置在整体组装件上添加了额外的几何结构(即,突出物),这可能不是期望的。参考图11B,并不是像图11A的配置那样将线圈容纳在盒子或单个壳体中,单独的线圈可被集成到头戴式组件58的各种结构中,如图11B所示。例如,x轴线圈148可以放置在头戴式组件58的一个部分(例如,框架的中心)。类似地,y轴线圈150可以放置在头戴式组件58的另一个部分(例如,框架的任一底侧)。类似地,z轴线圈152可以放置在头戴式组件58的再一个部分(例如,框架的任一顶侧)。
[0104] 图12A-12E示出了用于以耦合到电磁传感器以增加磁场灵敏度的铁氧体磁芯为特征的各种配置。参考图12A,铁氧体磁芯可以是实心立方体1202。虽然实心立方体在增加磁场灵敏度方面可能是最有效的,但是当与图12B-12E所示的其余配置相比时,它也可能是最重的。参考图12B,多个铁氧体盘1204可以耦合到电磁传感器。类似地,参考图12C,具有单轴空气芯的实心立方体1206可以耦合到电磁传感器。如图12C所示,可以沿着一个轴在实心立方体中形成开放空间(即空气芯)。这可以减小立方体的重量,同时仍然提供必要的磁场灵敏度。在另一个实施例中,参考图12D,具有三轴空气芯的实心立方体1208可以耦合到电磁传感器。在该配置中,实心立方体沿着所有三个轴被挖空,从而显著地减小立方体的重量。参考图12E,具有塑料壳体的铁氧体棒1210也可以耦合到电磁传感器。如上所述,应当理解,图12B-12E的实施例在重量上比图12A的实芯配置更轻,可用于节省质量,如上所述。
[0105] 参考图13A-13C,时分复用(TDM)也可用于节省质量。例如,参考图13A,示出了传统的用于3线圈电磁接收器传感器的本地数据处理配置,其中,模拟电流从X、Y和Z线圈(1302,1304和1306)的每一个进入,然后进入单独的前置放大器1308,进入单独的带通滤波器
1310、单独的前置放大器1312,通过模数转换器1314,并最终进入数字信号处理器1316。
[0106] 参考图13B的发射器配置和图13C的接收器配置,时分复用可用于共享硬件,以使得每个线圈传感器链不需要自己的放大器等。这可以通过TDM开关1320实现,如图13B所示,该TDM开关1320促进使用同一组硬件组件(放大器等)处理去往多个发射器和来自多个接收器的信号。除了去除传感器壳体和复用以节省硬件开销之外,信噪比可通过具有超过一组电磁传感器来增加,每一组电磁传感器相对于单个大线圈组来说相对小。此外,通常需要具有很靠近的多个感测线圈的低频极限可以改进以利于改进带宽需求。应当注意,可以存在复用的权衡,因为复用通常在时间上扩展射频信号的接收,这导致通常较宽的信号。因此,复用系统可能需要更大的线圈直径。例如,如果复用系统可能需要9mm边长的立方线圈传感器盒,则对于类似的性能,非复用系统可能仅需要7mm边长的立方线圈盒。因此,应当注意,在最小化几何形状和质量中存在权衡。
[0107] 在另一个实施例中,诸如头戴式组件58的特定系统组件以两个或更多个电磁线圈传感器组为特征,则该系统可被配置为选择性地利用彼此最接近的传感器和电磁发射器的配对来优化系统的性能。
[0108] 参考图14,在一个实施例中,在用户开启他或她的可穿戴计算系统160后,头戴式组件组装件可以捕获IMU数据和照相机数据(照相机数据例如用于SLAM分析,诸如在其中存在更多RAW处理能力的腰带包处理器处)的组合以确定和更新相对于真实世界全局坐标系162的头部姿态(即,位置和朝向)。用户也可以启动手持式组件以例如玩增强现实游戏164,手持式组件可包括可操作性地耦合到腰带包和头戴式组件166中的一个或两者的电磁发射器。耦合到头戴式组件的一个或多个电磁场线圈接收器组(例如,一组是3个不同朝向的独立线圈)可用于捕获来自电磁发射器的磁通量。该捕获的磁通量可用于确定头戴式组件和手持式组件之间的位置或朝向差(或增量)168。
[0109] 在一个或多个实施例中,辅助确定相对于全局坐标系的姿态的头戴式组件和辅助确定手持式组件相对于头戴式组件的相对位置和朝向的手持式组件的组合允许系统通常确定每个组件相对于全局坐标系所处的位置,因此,用户的头部姿态和手持姿态可优选地以相对低的延迟跟踪,以用于呈现增强现实图像特征和使用手持式组件的移动和旋转进行交互170。
[0110] 参考图15,示出了与图14的实施例有些相似的实施例,除了该系统具有更多的感测装置和配置可用于辅助确定头戴式组件172和手持式组件176、178的姿态,以使得用户的头部姿态和手持姿态可优选地以相对低的延迟来跟踪,以用于呈现增强现实图像特征和使用手持式组件的移动和旋转进行交互180。
[0111] 具体地,在用户开启他或她的可穿戴计算系统160后,头戴式组件捕获IMU数据和用于SLAM分析的照相机数据的组合,以便确定和更新相对于真实世界全局坐标系的头部姿态。该系统可以进一步被配置为检测环境中其它定位资源的存在172,如Wi-Fi、蜂窝、信标、雷达、激光雷达、GPS、标志物和/或其它可与全局坐标系的各个方面或者一个或多个可移动组件连接的照相机。
[0112] 用户也可以启动手持式组件以例如玩增强现实游戏174,手持式组件可以包括可操作性地耦合到腰带包和头戴式组件176中的一个或两者的电磁发射器。其它定位资源也可以类似地利用。耦合到头戴式组件的一个或多个电磁场线圈接收器组(例如,一组是3个不同朝向的独立线圈)可用于捕获来自电磁发射器的磁通量。该捕获的磁通量可用于确定头戴式组件和手持式组件之间的位置或朝向差(或增量)178。
[0113] 因此,用户的头部姿态和手持姿态可以相对低的延迟来跟踪,以用于呈现AR内容和/或用于使用手持式组件的移动或旋转与AR系统进行交互180。
[0114] 在此描述了本发明的各种示例性实施例。在非限制性意义上参考这些示例。提供这些示例以说明本发明的更广泛的应用方面。可以在不脱离本发明的精神和范围的情况下,可以对所描述的发明进行各种改变并可替换等同物。此外,可以进行许多修改以使特定情况、材料、物质的组成、过程、过程动作或步骤适应于本发明的目标、精神或范围。此外,如本领域技术人员将理解的,在不脱离本发明的范围或精神的情况下,在此所描述和示出的各个变型中的每一个具有分离的组件和特征,其可以容易地与其它若干实施例中的任一特征分离或组合。所有这些修改旨在处于与本公开相关联的权利要求的范围内。
[0115] 本发明包括可以使用主题装置执行的方法。该方法可以包括提供这种合适的装置的动作。这种提供可以由终端用户执行。换句话说,“提供”动作仅仅需要终端用户获得、访问、接近、定位、设置、激活、开启或以其它方式提供在该方法中的必要装置。在此所述的方法可以按逻辑上可能的所述事件的任何顺序以及按照所记载的事件顺序进行。
[0116] 以上已经阐述了本发明的示例性方面以及关于材料选择和制造的细节。关于本发明的其它细节,可以结合上述参考的专利和出版物以及本领域技术人员通常所知或理解的来理解这些。关于根据本发明的基础方法的方面在通常或逻辑上利用的附加动作方面同样可以成立。
[0117] 另外,虽然已经参考可选地并入各种特征的若干示例描述了本发明,但是本发明不限于针对本发明的每个变型所构想的描述或指示的发明。在不脱离本发明的实际精神和范围的情况下,可以对所描述的本发明进行各种改变,并且可以替代等同物(为了简洁起见,不论在此是否包括)。此外,在提供了值的范围的情况下,应当理解,在该范围的上限和下限之间的每个中间值以及在该所述范围内的任何其它所述或中间值都包含在本发明内。
[0118] 另外,可构想的是所描述的本发明变形的任何可选特征可独立地或与在此所描述的特征中的任何一个或多个相结合来陈述和要求权利。引用单数项包括可能存在相同项的复数。更具体地,如在此和关联权利要求书所使用的,单数形式“一”、“一个”、“所述”和“该”包括复数对象,除非另有明确说明。换句话说,在上述描述以及与本公开关联的权利要求中,允许使用冠词的“至少一个”目标项。进一步应注意,可以起草这种权利要求以排除任何可选要素。因此,结合权利要求要素或使用“否定”限制,本声明旨在作为使用“独家”、“仅”等排他性术语的先行基础。
[0119] 在不使用这种排他性术语的情况下,与本公开相关联的权利要求中的术语“包括”应允许包括任何附加元素,不考虑在这种权利要求中是否列举了给定数量的要素或添加特征可以被认为是改变在权利要求中所述的元素的性质。除了在此具体定义之外,应在保持权利要求有效性的同时给定在此使用的所有技术和科学术语尽可能广泛的通常理解含义。
[0120] 本发明的广度不限于提供的实施例和/或主题说明书,而是仅由与本公开相关联的权利要求语言的范围限定。