用于增强现实系统的动态颜色调整式视觉覆盖转让专利

申请号 : CN201710134562.9

文献号 : CN107229328B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : P·穆鲁吉桑S·G·帕特尔M·A·乌尔格勒

申请人 : 通用汽车环球科技运作有限责任公司

摘要 :

一种用于增强现实系统的动态颜色调整式视觉覆盖。许多说明性变型可以包括一种产生增强现实体验的方法。

权利要求 :

1.一种增强现实方法,其包括:

提供包括挡风玻璃的车辆;

提供面向增强现实系统用户的第一摄像头或传感器;

提供面向要增强的视点的第二摄像头或传感器;

使用所述第一摄像头或传感器来检测或估计通过挡风玻璃朝向车辆行驶方向的增强现实系统用户的目光;

使用所述第二摄像头或传感器来检测或估计要增强的所述视点;

使用控制器来在所述系统用户的目光中产生视点覆盖,所述视点覆盖经由显示媒介显示在所述增强现实用户的视线中;

使用所述第一摄像头或传感器来检测或估计通过挡风玻璃的用户的目光的焦点处物体的颜色或图案;

将所述视点覆盖的颜色或图案调整成不会与已检测或估计的物体颜色或图案混合的颜色;以及经由显示媒介在挡风玻璃上显示在所述增强现实用户的视线中的所述视点覆盖,其中视觉覆盖包括信息,所述信息包括警告、通知、警示、提醒信息或在操作车辆时对车辆操作员有用的信息中的至少一种。

2.根据权利要求1所述的方法,其中经由显示媒介显示在所述增强现实用户的视线中的所述视点覆盖包括经由所述显示媒介将所述视点覆盖插置在增强现实系统用户与用户目光的焦点之间。

3.根据权利要求1所述的方法,其中使用控制器来在所述系统用户的目光中产生视点覆盖,所述视点覆盖经由显示媒介显示在所述增强现实用户与要增强的视图之间,包括动态地调整所述视点覆盖在所述用户的目光中的外观。

4.根据权利要求1所述的方法,其中检测或估计在所述用户的目光的焦点处的物体的颜色或图案包括使用传感器来检测所述物体的颜色或图案。

5.根据权利要求4所述的方法,其中所述传感器是光传感器。

6.根据权利要求5所述的方法,其中所述传感器是红外线光传感器。

7.根据权利要求3所述的方法,其中动态地调整所述视点覆盖在所述用户的目光中的外观包括使用摄像头来创建包括在附近或上面将显示视点覆盖的所述用户的目光中的物体的颜色或图案的图像,分析所述图像以确定用于所述视点覆盖的适当颜色或图案,以及将所述视点覆盖的颜色或图案调整成不会与所述图像中的物体颜色或图案混合的颜色。

8.根据权利要求3所述的方法,其中动态地调整所述视点覆盖在所述用户的目光中的外观包括使用摄像头或传感器来检测或估计在附近或上面将显示视点覆盖的所述用户的目光中的物体的图案或纹理,以及将所述视点覆盖的图案填充调整成不会与已检测或估计的物体图案或纹理混合的图案。

9.根据权利要求3所述的方法,其中动态地调整所述视点覆盖在所述用户的目光中的外观包括使用摄像头来创建包括在附近或上面将显示视点覆盖的所述用户的目光中的物体的图案或纹理的图像,以及将所述视点覆盖的所述图案调整成不会与所述图像中的所述物体图案或纹理混合的图案。

说明书 :

用于增强现实系统的动态颜色调整式视觉覆盖

技术领域

[0001] 本发明所涉及的领域大体上涉及包括增强现实系统。

背景技术

[0002] 增强现实系统在技术上增强现实的感觉。

发明内容

[0003] 许多说明性变型可以包括动态地调整增强现实覆盖的颜色和图案以增强已覆盖的信息的可见性。
[0004] 从下文提供的详细描述中将明白本发明的范围内的其它说明性变型。应当明白的是,详述和具体实例在公开本发明的变型时仅仅旨在用于说明目的并且不旨在限制本发明的范围。

附图说明

[0005] 从详细描述和附图中将更完整地理解本发明的范围内的变型的选择实例,其中:
[0006] 图1A说明其中应调整增强现实覆盖的颜色以使用户更容易看见的案例。
[0007] 图1B说明其中应调整增强现实覆盖的颜色以使用户更容易看见的案例。
[0008] 图2A说明其中应调整增强现实覆盖的图案以使用户更容易看见的案例。
[0009] 图2B说明其中应调整增强现实覆盖的图案以使用户更容易看见的案例。
[0010] 图3是根据许多变型的产品的示意图。

具体实施方式

[0011] 变型的以下描述仅仅具有说明性本质并且决不旨在限制本发明的范围、其应用或用途。
[0012] 在许多说明性变型中,增强现实系统可以使用增强现实覆盖来以直观、视觉格式向用户传达关于用户视野中的物体的信息。
[0013] 参考图1A、1B、2A、2B和3,在许多说明性变型中,增强现实系统可以包括显示装置306,诸如(但不限于)投影仪和显示表面308,或电子监视器或显示器320。在此类说明性变型中,增强现实系统可以包括面向用户302有时候将面向的方向的第一传感器316或摄像头
314以及面向用户的第二传感器312或摄像头310。在此说明性变型中,传感器或摄像头可以选择性地并且结合软件使用以动态地覆盖增强现实用户的视线中的显示表面上的图像。
[0014] 在许多说明性变型中,提供面向增强现实系统用户302的第一摄像头310或传感器312;提供面向要增强的视点的第二摄像头314或传感器316;使用第一摄像头310或传感器
312来检测或估计增强现实系统用户的目光;使用第二摄像头314或传感器316来检测或估计要增强的视点;使用控制器318来在系统用户的目光中产生视点覆盖,视点覆盖可以经由显示媒介308显示在增强现实用户的视线中;以及经由显示媒介308在增强现实用户的视线中显示图像覆盖。
[0015] 在许多说明性变型中,面向用户302的摄像头310可以用于通过使包括(但不限于)用户的面部方向、用户与摄像头310或显示器320或显示表面308相距的距离、用户的视角、用户的瞳孔大小、用户的视线、用户的眼睛方向和用户的眼罩位置的数据相关来检测或估计用户的目光。
[0016] 在许多说明性变型中,面向用户正面向的方向的摄像头314或传感器316可以结合软件使用来检测或估计摄像头314或传感器316的捕捉视场中的物体上的颜色、纹理和图案。
[0017] 在许多说明性变型中,面向用户有时候将面向的方向的摄像头310可以结合控制器318使用来快速地捕捉并分析图像。该分析可以集中于已经确定为其中放置所呈现的图像覆盖的区域的图像的区域。
[0018] 在许多说明性变型中,车辆操作员也可以是增强现实系统用户。在此类说明性变型中,车辆操作员302可以位于方向盘304前面,并且可以通过车辆300的挡风玻璃注视车辆的行驶路径。面向车辆操作员302的第一摄像头310或传感器312可以用于检测车辆操作员的目光。同时,面向其中操作员注视的一般方向的第二摄像头314或传感器316可以用于检测车辆操作员的目光中的物体。从第一摄像头310或传感器312和第二摄像头314或传感器316搜集的图像可以相关以产生可以插置在车辆操作员与车辆操作员的目光的任何潜在焦点之间的视觉覆盖。视觉覆盖可以用于指示车辆或车辆操作员当前与物体的距离、移动实体的速度(speed)或速度(velocity)以及警告、通知、警示、提醒信息或在操作车辆300时有用于车辆操作员302的任何其它类型的信息。在此类说明性变型中,视觉覆盖可以用于通过经由诸如投影的某种合适显示方法将覆盖插置在车辆操作员与车辆操作员的目光在透明媒介(诸如车窗或挡风玻璃308)上的任何潜在焦点之间来增强车辆用户的视点。视觉覆盖也可以经由诸如显示屏的某个非透明媒介插置在车辆操作员与车辆操作员的目光的任何潜在焦点之间。
[0019] 在许多说明性变型中,显示装置可以动态地改变所显示的视觉覆盖的颜色、设置、图案、形状或格式。
[0020] 现在参考图1A中所示的说明性变型,车辆操作员可面临其中一个或多个视觉覆盖101A的当前颜色在视觉上可以混合至任何数量的实体102A(可以是车辆操作员的目光的潜在焦点)的颜色、图案或纹理中的情形。在此情况中且如图1B中所说明,可以改变任何数量的视觉覆盖101B的颜色和图案使得至少一个视觉覆盖不会混合至正覆盖的实体102B的颜色、图案或纹理中。
[0021] 现在参考图2A中所示的说明性变型,车辆操作员可面临其中一个或多个视觉覆盖201A的当前颜色在视觉上可以混合至任何数量的实体202A(可以是车辆操作员的目光的潜在焦点)的颜色、图案或纹理中的情形。在此情况中且如图2B中所说明,可以改变任何数量的视觉覆盖201B的颜色和图案使得至少一个视觉覆盖不会混合至正覆盖的实体202B的颜色、图案或纹理中。
[0022] 变型的以下描述仅仅说明被视为在本发明的范围内的部件、元件、动作、产品和方法,并且决不旨在限制具体公开或未明确陈述的此范围。如本文所述的部件、元件、动作、产品和方法可以不按照本文中明确描述的方式来组合和重新布置并且仍然被视为在本发明的范围内。
[0023] 变型1可以包括一种方法:提供面向增强现实系统用户302的第一摄像头310或传感器312;提供面向要增强的视点的第二摄像头314或传感器316;使用第一摄像头310或传感器312来检测或估计增强现实系统用户的目光;使用第二摄像头314或传感器来检测或估计要增强的视点;使用控制器318来在系统用户的目光中产生视点覆盖,视点覆盖可以经由显示媒介308、320显示在增强现实用户的视线中;以及经由显示媒介308在增强现实用户的视线中显示图像覆盖。
[0024] 变型2可以包括变型1的方法,其中经由显示媒介在增强现实用户的视线中显示图像覆盖包括经由显示媒介将图像覆盖插置在增强现实系统用户与要增强的视图之间。
[0025] 变型3可以包括变型1的方法,其中使用控制器来在系统用户的目光中产生视点覆盖,视点覆盖可以经由显示媒介显示在增强现实用户与要增强的视图之间,包括自适应地调整图像覆盖在用户的目光中的外观。
[0026] 变型4可以包括变型3的方法,其中自适应地调整视图覆盖在用户的目光中的外观包括使用摄像头或传感器来检测或估计上方将显示覆盖的用户的目光中的物体的颜色,以及将视图覆盖的颜色调整成将不会混合已检测或估计的物体颜色的颜色。
[0027] 变型5可以包括变型4的方法,其中检测或估计附近或上方将显示视图覆盖的用户的目光中的物体的颜色包括使用传感器316来检测物体的颜色。
[0028] 变型6可以包括变型5的方法,其中传感器是光传感器。
[0029] 变型7可以包括变型6的方法,其中传感器是红外线光传感器。
[0030] 变型8可以包括变型3的方法,其中自适应地调整视图覆盖在用户的目光中的外观包括使用摄像头来创建包括附近或上方将显示视图覆盖的用户的目光中的物体的颜色的图像、分析图像以确定图像覆盖的适当颜色,以及将图像覆盖的颜色调整成将不会混合图像中的物体颜色的颜色。
[0031] 变型9可以包括变型3的方法,其中自适应地调整视图覆盖在用户的目光中的外观包括使用摄像头来检测或估计上方将显示覆盖的用户的目光中的物体上的图案或纹理,以及将视图覆盖的图案填充调整成将不会与已检测或估计的物体图案或纹理混合的图案。
[0032] 变型10可以包括变型3的方法,其中自适应地调整视图覆盖在用户的目光中的外观包括使用摄像头来创建包括附近或上方将显示视图覆盖的用户的目光中的物体的图案或纹理的图像,以及将图像覆盖的图案调整成与混合图像中的物体图案或纹理不会的图案。
[0033] 变型11可以包括变型1的方法,其中显示媒介是玻璃。
[0034] 变型12可以包括变型11的方法,其中玻璃是窗口。
[0035] 变型13可以包括变型1的方法,其中显示媒介是电子显示器。
[0036] 本发明的范围内的选择变型的以上描述仅仅具有说明本质,并且因此其变型或变型不应被视为脱离本发明的精神和范围。