用于辨别眼睛信号和连续生物识别的系统和方法转让专利

申请号 : CN201580034682.0

文献号 : CN107087431A

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 纳尔逊·乔治·普布利科弗路易斯·詹姆斯·马格拉夫

申请人 : 谷歌公司

摘要 :

本发明提供用于实时使用眼睛信号对个体的基本连续的生物识别(CBID)的装置、系统和方法。所述装置被包括在可穿戴计算设备内,其中识别设备穿戴者是基于在指向一个眼镜或双眼的一个或多个相机内的虹膜识别和/或其他生理、解剖学和/或行为的测量。设备用户身份的验证能够被用于启用或者禁用对安全信息的显示。身份验证也能够被包括在从所述设备传送的信息内,以便由远程处理单元来确定适当的安全措施。所述装置可以被包含在可穿戴计算设备内,其执行其他功能,所述功能包括:视力矫正、头戴式显示、使用场景相机来查看周围环境、经由麦克风和/或其他感测设备来记录音频数据。

权利要求 :

1.一种用于提供对用户的基本连续的生物识别的系统,包括:头戴设备,被配置成被穿戴在用户的头部上;

多个相机,被安装在所述头戴设备上,以使得在所述头戴设备被穿戴以用于监视所述用户的眼睛的运动时所述相机被定向成从不同的角度朝向所述眼睛;

处理单元,能够操作地耦合至检测器以及电子显示器以:分析来自所述相机的一个或多个图像以识别所述眼睛的虹膜;

基于所述一个或多个图像,从所述多个相机中选择提供所述虹膜的所需视图的第一相机;

分析来自所述第一相机的图像以识别所述虹膜的特征;

至少部分地基于所述虹膜的所述特征来识别所述用户;以及在确认所述用户的身份后,授权所述用户来执行一个或多个动作。

2.一种用于提供对穿戴头戴设备的用户的基本连续的生物识别的方法,所述头戴设备包括被定向为从不同的角度朝向所述用户的眼睛的多个相机,所述方法包括:分析来自所述相机的一个或多个图像以识别所述眼睛的虹膜;

基于所述一个或多个图像,从所述多个相机中选择提供所述虹膜的所需视图的第一相机;

分析来自所述第一相机的图像以识别所述虹膜的特征;

至少部分地基于所述虹膜的所述特征来识别所述用户;以及在确认所述用户的身份后,授权所述用户来执行一个或多个动作。

3.根据权利要求2所述的方法,其中,至少部分地基于在来自所述第一相机的图像中所识别的所述虹膜的形状来选择所述第一相机。

4.根据权利要求3所述的方法,其中,至少部分地基于在来自所述第一相机的图像中所识别的所述虹膜的形状比来自其他相机的图像中所识别的所述虹膜的形状更加接近大体圆形来选择所述第一相机。

5.根据权利要求2所述的方法,其中,至少部分地基于在来自所述第一相机的图像中的光照对比度来选择所述第一相机。

6.根据权利要求1所述的方法,进一步包括,在授权所述用户来执行一个或多个动作之后:分析来自所述第一相机的另一个图像以识别所述虹膜的特征;以及至少部分地基于来自所述另一个图像的所述虹膜的特征,确认所述用户的身份。

7.根据权利要求6所述的方法,其中,基本连续地重复所述步骤。

8.根据权利要求6所述的方法,其中,周期性地重复所述步骤。

9.根据权利要求6所述的方法,其中,当在执行预定动作之前需要对身份的确认的预定动作被所述用户选择时,重复所述步骤。

10.根据权利要求1所述的方法,其中,因为所述虹膜的足够大的部分能够从所述图像被识别以满足识别所述用户所需的最小严格性阈值,而选择所述第一相机。

11.一种用于提供对用户的基本连续的生物识别的系统,包括:头戴设备,被配置成被穿戴在用户的头部上;

多个相机,被安装在所述头戴设备上,以使得在所述头戴设备被穿戴以用于监视所述用户的眼睛的运动时所述相机被定向成从不同的角度朝向所述眼睛;

处理单元,能够操作地耦合至检测器以及电子显示器以:分析来自所述相机的一个或多个图像以识别所述眼睛的虹膜;

选择来自所述多个相机中的数个相机的图像,所选择的图像提供所述虹膜的所需视图;

从所选择的图像中创建合成irisCode;

至少部分地基于所述合成irisCode,识别所述用户;以及在确认所述用户的身份后,授权所述用户来执行一个或多个动作。

12.一种用于提供对穿戴头戴设备的用户的基本连续的生物识别的方法,所述头戴设备包括被定向为从不同的角度朝向所述用户的眼睛的多个相机,所述方法包括:分析来自所述相机的一个或多个图像以识别所述眼睛的虹膜;

选择来自所述多个相机中的数个相机的图像,所选择的图像提供所述虹膜的所需视图;

从所选择的图像中创建合成irisCode;

至少部分地基于所述合成irisCode,识别所述用户;以及在确认所述用户的身份后,授权所述用户来执行一个或多个动作。

13.根据权利要求12所述的方法,其中,所选择的图像从多个角度提供所述虹膜的图像,以及其中,创建所述合成irisCode包括从所选择的图像中选择所述虹膜的部分并且将所述虹膜的所述部分组合成所述虹膜的合成图像。

14.根据权利要求12所述的方法,其中,创建所述合成irisCode进一步包括:在组合所述虹膜的所述部分之前,旋转所选择的图像中的一个或多个,以将所选择的图像中的所述虹膜的所述图像对准到公共轴线。

15.根据权利要求12所述的方法,进一步包括,在授权所述用户来执行一个或多个动作之后:分析来自所述相机的附加图像;

从所述附加图像创建新的合成irisCode;以及至少部分地基于所述新的合成irisCode,确认所述用户的所述身份。

16.一种用于提供对穿戴头戴设备的用户的基本连续的生物识别的方法,所述头戴设备包括被定向成朝向所述用户的眼睛的相机,所述方法包括:分析来自所述相机的多个图像;

基于所述多个图像来创建合成irisCode;

至少部分地基于所述合成irisCode来识别所述用户;以及在确认所述用户的身份后,授权所述用户来执行一个或多个动作。

17.根据权利要求16所述的方法,进一步包括,在授权所述用户来执行一个或多个动作之后:分析来自所述相机的附加图像;

从所述附加图像创建新的合成irisCode;以及至少部分地基于所述新的合成irisCode,确认所述用户的所述身份。

18.一种用于提供对用户的基本连续的生物识别的系统,包括:头戴设备,被配置成被穿戴在用户的头部上;

检测器,被安装在所述头戴设备上,使得当所述头戴设备被穿戴时,所述检测器被定向成朝向所述用户的眼睛;

显示器,被安装在所述头戴设备上,使得当所述头戴设备被穿戴时,所述显示器能够由所述用户查看;以及处理单元,能够操作地耦合至所述检测器以及电子显示器以:分析来自所述检测器的一个或多个图像以识别所述眼睛的虹膜的特征;

至少部分地基于所述虹膜的所述特征来识别所述用户;

在确认所述用户的身份后,经由所述显示器授权所述用户来执行一个或多个动作;以及修改所述显示器的不透明度以维护在所述显示器上被呈现给所述用户的信息的安全性。

19.根据权利要求18所述的系统,其中,所述处理单元被配置成识别在所述显示器上呈现安全信息的一个或多个区域并且修改所述区域以在呈现所述安全信息时将所述区域渲染成基本不透明。

20.根据权利要求18所述的系统,其中,所述处理单元被配置成在用户的身份与预定阈值安全性授权相关联时将整个所述显示器渲染成基本不透明,以保护随后被呈现在所述显示器上的安全信息。

21.一种用于提供对穿戴头戴设备的用户的基本连续的生物识别的方法,所述头戴设备包括被定向成朝向所述用户的眼睛的相机,所述方法包括:分析来自所述相机的一个或多个图像以识别所述眼睛的虹膜的特征;

至少部分地基于所述虹膜的所述特征来识别所述用户;

在确认所述用户的身份后,授权所述用户来执行一个或多个动作;

其后,执行附加分析以确认所述头戴设备仍由所述用户穿戴。

22.根据权利要求21所述的方法,其中,所述附加分析包括:分析来自所述相机的一个或多个图像以确认所述用户的眼睛保持处于所述一个或多个图像内。

23.根据权利要求22所述的方法,其中,所述附加分析包括:分析来自所述相机的一个或多个图像以确认所述用户的眼睛在所述一个或多个图像内保持活动。

24.根据权利要求21所述的方法,其中,所述附加分析包括:分析来自所述相机的一个或多个图像来以低于初始授权的严格性识别所述眼睛的虹膜的特征。

25.根据权利要求21所述的方法,进一步包括,在授权所述用户来执行一个或多个动作之后,一次或多次执行以下步骤:分析一个或多个附加图像以识别所述虹膜的特征;以及至少部分地基于所述虹膜的所述特征,确认所述用户的所述身份。

26.根据权利要求25所述的方法,其中,根据权利要求25所述的步骤以a)基本连续地;

b)周期性地;以及c)当在执行预定动作之前需要对身份的确认的预定动作被所述用户选择时中的一个或多个来执行。

27.根据权利要求21至26中任一项所述的方法,进一步包括:传输来自所述头戴设备的所述一个或多个图像,其中,在离所述头戴设备的远程位置处执行所述分析、识别、以及授权步骤,以及其中,将所述授权从远程位置传输至所述头戴设备;以及使用所述头戴设备来执行一个或多个经授权动作。

28.根据权利要求21至26中任一项所述的方法,其中,由所述头戴设备上的处理单元来执行所述分析、识别、以及授权步骤中的一个或多个,所述方法进一步包括与远程位置处的处理单元通信以执行其余的分析、识别、以及授权步骤。

29.根据权利要求21至26中任一项所述的方法,其中,由所述头戴设备上的处理单元来执行所述分析、识别、以及授权步骤。

30.一种用于提供对穿戴头戴设备的用户的基本连续的生物识别的方法,所述头戴设备包括被定向成朝向所述用户的眼睛的检测器,所述方法包括:分析来自所述检测器的一个或多个图像以识别所述眼睛的虹膜的特征;

至少部分地基于所述虹膜的所述特征来识别所述用户;

在确认所述用户的身份后,授权所述用户来执行一个或多个动作;以及修改所述显示器的不透明度以维护在所述显示器上被呈现给所述用户的信息的安全性。

31.一种用于提供对用户的基本连续的生物识别的系统,包括:头戴设备,被配置成被穿戴在用户的头部上;

检测器,被安装在所述头戴设备上,使得在所述头戴设备被穿戴时所述检测器被定向成朝向所述用户的眼睛;

显示器,被安装在所述头戴设备上,使得在所述头戴设备被穿戴时所述显示器能够由所述用户查看;

视线遮蔽物,能够安装至所述头戴设备以至少部分地覆盖所述显示器以防止所述显示器上所呈现的信息能够在所述显示器之外查看;

处理单元,能够操作地耦合至所述检测器以及电子显示器以:分析来自所述检测器的一个或多个图像以识别所述眼睛的虹膜的特征;

至少部分地基于所述虹膜的所述特征来识别所述用户;以及在确认所述用户的身份并且确认所述视线遮蔽物被安装至所述头戴设备后,授权所述用户经由所述显示器来访问信息。

32.一种用于提供对穿戴头戴设备的用户的基本连续的生物识别的方法,所述头戴设备包括被定向成朝向所述用户的眼睛的检测器,所述方法包括:分析来自所述检测器的一个或多个图像以识别所述眼睛的虹膜的特征;

至少部分地基于所述虹膜的所述特征来识别所述用户;

检测视线遮蔽物是否被安装至所述头戴设备以至少部分地覆盖所述显示器以防止所述显示器上所呈现的信息能够在所述显示器之外查看;以及在确认所述用户的身份并且确认所述视线遮蔽物被安装至所述头戴设备后,授权所述用户经由所述显示器来访问信息。

33.根据权利要求32所述的方法,进一步包括:检测所述视线遮蔽物已从所述头戴设备被去除;以及当所述视线遮蔽物已从所述头戴设备去除时,防止安全信息被呈现在所述显示器上。

34.根据权利要求32所述的方法,进一步包括:检测所述视线遮蔽物已从所述头戴设备去除;以及当所述视线遮蔽物已从所述头戴设备去除时,撤销所述用户的权限。

35.一种用于提供对用户的基本连续的生物识别的系统,包括:头戴设备,被配置成被穿戴在用户的头部上;

检测器,被安装在所述头戴设备上,使得在所述头戴设备被穿戴时所述检测器被定向成朝向所述用户的眼睛;以及处理单元,能够操作地耦合至所述检测器以及电子显示器以:分析来自所述检测器的一个或多个图像以识别所述眼睛的虹膜的特征;

至少部分地基于所述虹膜的所述特征来识别所述用户;以及在确认所述用户的身份后,授权所述用户来执行一个或多个动作。

36.根据权利要求35所述的系统,进一步包括显示器,其能够操作地与所述处理单元相关联,以及其中,所述处理单元被配置成经由所述显示器授权所述用户来执行一个或多个动作。

37.根据权利要求36所述的系统,其中,所述显示器被安装在所述头戴设备上,使得在所述头戴设备被穿戴时所述显示器能够由所述用户查看。

38.根据权利要求36所述的系统,其中,所述显示器远离所述头戴设备,所述系统进一步包括场景相机,所述场境相机被安装在所述头戴设备上,并且被定向为使得在所述显示器被定位在所述用户的前方时所述显示器处于所述场景相机的视场内。

39.根据权利要求35所述的系统,其中,所述处理单元包括被安装至所述头戴设备的处理器。

40.根据权利要求35所述的系统,进一步包括所述头戴设备上的无线收发器,以及其中,所述处理单元包括距所述头戴设备远程的处理器,所述处理器经由所述收发器被无线地耦合至所述检测器以及显示器。

41.根据权利要求35所述的系统,其中,所述检测器包括被安装在所述头戴设备上的一个或多个相机。

42.根据权利要求35所述的系统,进一步包括一个或多个照明源,所述照明源被安装在所述头戴设备上,使得在所述头戴设备被穿戴时所述源被定向成朝向所述眼睛。

43.根据权利要求35所述的系统,其中,所述处理单元被进一步配置成,在授权所述用户来执行一个或多个动作之后,一次或多次执行以下步骤:分析一个或多个附加图像以识别所述虹膜的特征;以及至少部分地基于所述虹膜的所述特征,确认所述用户的所述身份。

44.根据权利要求43所述的系统,其中,所述处理单元被配置成以a)基本连续地;b)周期性地;以及c)当在执行预定动作之前需要对身份的确认的预定动作被用户选择时重复所述步骤。

45.一种用于提供对穿戴头戴设备的用户的基本连续的生物识别的方法,所述头戴设备包括被定向成朝向所述用户的眼睛的检测器,所述方法包括:分析来自所述检测器的一个或多个图像以识别所述眼睛的虹膜的特征;

至少部分地基于所述虹膜的所述特征来识别所述用户;以及在确认所述用户的身份后,授权所述用户来执行一个或多个动作。

46.根据权利要求45所述的方法,进一步包括,在授权所述用户来执行一个或多个动作之后,一次或多次执行以下步骤:分析一个或多个附加图像以识别所述虹膜的特征;以及至少部分地基于所述虹膜的所述特征,确认所述用户的所述身份。

47.根据权利要求46所述的方法,其中,根据权利要求46所述的步骤以a)基本连续地;

b)周期性地;以及c)当在执行预定动作之前需要对身份的确认的预定动作被用户选择时中的一个或多个来执行。

48.根据权利要求45至47中任一项所述的方法,进一步包括:传输来自所述头戴设备的所述一个或多个图像,其中,在离所述头戴设备的远程位置处执行所述分析、识别、以及授权步骤,以及其中,将所述授权从远程位置传输至所述头戴设备;以及使用所述头戴设备来执行一个或多个经授权动作。

49.根据权利要求45至47中任一项所述的方法,其中,由所述头戴设备上的处理单元来执行所述分析、识别、以及授权步骤中的一个或多个,所述方法进一步包括与远程位置处的处理单元通信以执行其余的分析、识别、以及授权步骤。

50.根据权利要求45至47中任一项所述的方法,其中,由所述头戴设备上的处理单元来执行所述分析、识别、以及授权步骤。

说明书 :

用于辨别眼睛信号和连续生物识别的系统和方法

技术领域

[0001] 本发明一般涉及用于基本连续的生物识别(“CBID”)、眼睛跟踪、以及由个体实时进行的眼睛信号控制的系统和方法。CBID利用基于生物的识别、加密、以及网络安全领域内的技术;并且在能够与头戴式显示器、远程显示器、眼睛跟踪相机、查看设备穿戴者的环境的场景相机、和/或其他可穿戴传感器相关联的不显眼的处理器内实现。CBID可以解决与以下相关联的安全问题:使用虹膜代码确定、识别其他生物特征的步骤、以及与成体系系统(“SoS”)架构内的网络设备的安全接口,来尝试有意歪曲设备用户的身份和/或无意的身份盗用。

背景技术

[0002] 互联网以及计算/通信设备的广泛使用已导致电子信息传播的爆炸式增长。然而,在网络安全领域中,对安全信息的接收者的可验证控制仍是一个重要的问题。此外,信息接收者也能够成为敏感信息的来源,其中实时了解这样的来源的身份能够是重要的安全问题。
[0003] 这种情境的示例是了解在进行在线购买的过程期间录入信用卡(或者其他账户)信息的个体的身份。目前远程识别接收者或者安全信息的来源所通常使用的技术容易受骗。在美国,身份盗用每年大概影响一千五百万人,其中财务影响估计有五百亿美元。
[0004] 从互联网接收信息的计算机或者电信设备通常由所谓的IP(即互联网协议)地址和/或通常嵌入中央处理单元(CPU)或固件内的识别码来识别。虽然IP地址和/或嵌入的设备标识能够被用来识别接收或发送信息的装置,但IP地址无法可验证地识别设备的用户。
[0005] 尝试使设备与个体用户相关联的方案通常采用密码、安全问题、和/或历史记录(由诸如“trackers”或“cookies”的术语来指代)。然而,例如,一旦用户已经“登录”,便能够容易地绕开这些方案。当设备丢失或者被盗时,或者如果对设备的访问被除预期的信息接收者以外的某人取得,这能够变成特别严重的问题。此外,存在掩蔽或者隐藏真实身份和/或特定机器的IP的位置和/或嵌入硬件的地址的方案。
[0006] 尝试验证用户身份的最常见网络安全方法采用密码和/或安全问题。一旦已经录入了密码和/或回答了安全问题,就有可能切换用户;从而使安全方案失去作用。此外,存在用来秘密获取密码和/或安全问题的答案的若干方法。这些方法包括:在密码录入期间拦截按键输入;基于诸如姓氏、地点、宠物、或者简单的字母数字序列的要素来“猜测”密码;在整个互联网上传送分组时解密嵌入其中的信息(在公用的情况下,无线传输是特别脆弱的接入点);通过一系列常用的密码进行自动排序;经由嵌入的恶意软件获取密码;冒充需要录入密码的合法网站;以及其他形式的所谓“网络钓鱼”。
[0007] 用于用户识别的生物方案作为用来唯一识别个体的基于机器的方法而越来越普遍。生物识别涉及感测个体独有的身体属性、基因属性、生理属性、和/或行为属性。基本连续的、实时的生物识别要求一种迅速、非无侵扰、并且非侵入式的技术。
[0008] 作为生物识别技术的示例,美国专利No.8,432,252描述了一种光学扫描手指以识别个体并且随后基于指纹识别来启用或中断安全通信的设备。利用基于手指扫描的识别技术的多项专利已经授权给美国专利No.8,432,252的受让人。自动面部识别、语音识别、和签名识别是其他生物认证方法的基础。然而,这些技术一般都没有以不显眼方式提供基本连续的用户识别并且易受使安全特征失效的相对简单的方法影响。
[0009] 例如,在多数情况下,这样的生物设备能够在扫描时肯定地识别个体。然而,随后有可能使单独的个体接收安全信息或者使其成为安全信息的来源。即使在扫描时,被用来显示和/或录入安全信息的设备一般也不直接耦合至用于用户识别的那些设备。例如,在单独的个体正在执行键盘录入的同时能够发生自动面部识别。当潜在利益驱使已被生物地识别的个体有意隐藏或转变他或她的身份时,迷惑用户真实身份的这些相对简单的方法就特别成问题。
[0010] 信息的接收者可能希望有意伪装真实身份的实例的示例是在线学业考试的远程进行。在此情况下,有可能是考试成绩的最终接收者来解决所有安全质询,而不同的个体解决实际的考题。在GRE(研究生入学考试)、GMAT(经企管理研究生入学考试)、LSAT(法学院入学考试)、MCAT(医学院入学考试)、以及其他专业职业晋升考试的进行期间的高明的身份交换方案屡见通报。随着教育以及其他基于信息的服务提供者越来越多地使用MOOC(大型开放式在线课程)、函授学习、以及评价格式,与学业考试和其他形式的考试的远程进行相关联的安全问题将变得越来越重要。
[0011] 目前,虹膜识别被认为是最安全的生物识别技术之一。虹膜显示作为表观遗传的表型特征的精细结构,其由胚胎孕育期间的随机组分发育。因此,不同于DNA指纹图谱,即使是基因上完全相同的双胞胎(占人口的大约1%)也具有完全唯一的虹膜色素和结构。对虹膜的表观遗传性质的进一步证明是,虽然个体的(基因上完全相同的)左眼与右眼具备相似的结构和颜色,但个体的左眼与右眼的纹理细节极为不同。
[0012] 虽然能够以非侵入式的方式查看虹膜,但是其位于受到良好保护的器官(即眼睛)内,不同于指纹,该器官通常受到保护以防损伤和磨损。虽然有一些医学手术能够改变眼睛内的精细结构和色素,但虹膜纹理在数十年间的时期内通常都保持非凡的稳定(例如不同于面部特征)。
[0013] John Daugman在剑桥大学时率先开发了虹膜识别算法。当今投入使用的大部分商用的虹膜识别系统都利用了Daugman算法(例如在美国专利No.5,291,560中所公开的)。市售的虹膜识别系统(例如,Iris ID Systems Inc.、BI2Technologies、IrisGuard Inc.、Eyelock Corp.)通常使用手持式设备或者装于支座的设备,并且以虹膜与相机之间从10厘米到数米的距离下操作。
[0014] Daugman开发并应用了基于使用实时视频条件所收集的虹膜图像的二维Gabor小波(即短时Fourier变换的特例)系数。通过将基于笛卡尔坐标的图像变换成极坐标并且对小区域应用二维Gabor滤波器,能够计算复杂的点积,其主要反映相位角。对整体光振幅(即图像亮度、对比度等)不具敏感性有助于忽略视频录制条件的变化。
[0015] 不同区域的点积的最高有效位组成所谓的虹膜的代码或者下文的“irisCode(虹膜代码)”。最初和最常见被实现的irisCode利用来自每个区域的2位来生成2048位(即256字节)的值,其能够从数百万人当中识别唯一的个体。用于计算irisCode的算法已被编码为基于CPU的设备内的软件以及嵌入硬件的固件这两者。
[0016] 当今,在170个国家中已有超过六千万个体注册了基于虹膜模式的身份证明。印度政府目前正对超过十亿个体的其全部人口记录虹膜扫描以及指纹。利用这些技术的公司和政府机关包括IBM、Panasonic、LG、Sarnoff、伦敦希斯罗(Heathrow)机场(以及伯明翰(Birmingham)机场、盖特威克(Gatwick)机场和曼彻斯特(Manchester)机场)、IrisAccess(韩国)、IrisPass(日本)、CanPass(加拿大Nexus系统)、阿富汗遣返计划、以及美国国防部的拘留者人口管理计划。
[0017] 虹膜具有限定明确的几何形状,其仅因控制瞳孔直径的两块拮抗肌(括约肌乳突以及扩张肌乳突)的收缩而变化。这种均匀性和稳定性带来了在普通图像质量并且考虑了头部倾斜和移动的情况下、前所未有的低达(取决于严格性选择(stringency selection))109.6分之一(即,约四十亿分之一)的误匹配率的。

发明内容

[0018] 虽然通读说明书以及下面给出的权利要求书才能对本发明作出最佳理解,但提供本发明内容以便令读者悉知本文所述系统和方法的新颖和有用的特征中的某一些。当然,本发明内容并非旨在完整赘述本文所述系统和方法的全部特征,也非旨在以任何方式来限制本申请的具体实施方式后所附的权利要求的范围。
[0019] 根据一个实施例,提供用于头戴式设备的装置、系统、和方法,其包括:连接至至少一个成像器的至少一个处理器,其中所述成像器中的一个被定向成朝向用户的眼睛,所述处理器被配置成以如下中的至少一个方式来确定眼睛注视估计:基本连续、同时、和/或周期性地,或者其中所述成像器检测眼睛的一个或多个区别特征;以及确定用户的生物数据,其包括用户的面部特征、语音、或者虹膜数据,其中,所述生物数据被用于对用户的识别和认证,以用于至少对所述头戴式设备、所连接的设备、无线设备以及远程服务器进行访问和控制。
[0020] 根据另一个实施例,提供了用于对设备用户的基本连续的生物识别(CBID)的装置、系统和方法。所述装置可以被基本不显眼地安装于头戴设备上,该头戴设备能够被嵌入普通眼镜框内或与其附接,或者嵌入所谓的可穿戴计算设备内,诸如被称作Google Glass(谷歌眼镜) (Google Inc.)的那些可穿戴设备。更具体地,示例性实施例可以包括:一个或多个照明源,其(必要时)能够对所述设备穿戴者的一个或两个虹膜进行照明;一个或多个微型相机,其被定向成直接地、通过透光机构、或者经由反射系统来查看所述设备穿戴者的一个或两个眼睛;以及处理单元,其可以(1)分析眼睛的图像以确定所述设备穿戴者的身份;和/或(2)将眼睛的图像传送至另一个处理单元,其进而确定所述设备穿戴者的身份。
[0021] 在本公开中,意图与计算设备相交互的自主(voluntary)眼睛运动被称作“眼睛信号”。
[0022] 此外,生物识别信息(例如irisCode)以及与CBID相关联的全部信息二者都必须被安全地传送,其中,通信步骤可以包括与头戴式设备的无线通信。以在2015年5月9日提交、申请序列号14/708,229的Systems and Methods for Using Eye Signals with Secure Mobile Communications(用于使用眼睛信号与安全移动通信的系统和方法)中所述的方式,安全地执行基于CBID的通信。
[0023] 根据第一实施例,提供了可以利用可穿戴设备来基本连续、周期性地、和/或按需执行虹膜识别的装置、系统、和方法。
[0024] 根据另一个实施例,提供了可以查实穿戴所述头戴式设备的用户的真实身份的装置、系统和方法。
[0025] 根据另一个实施例,提供了可以经由行为生物特征而查实用户的真实身份的装置、系统、和方法。
[0026] 根据另一个实施例,提供了装置、系统、和方法,其为用户提供容易、简单、和/或直观的方法和系统以供无需令牌的安全,其中,令牌包括密码和物理设备中的至少一个,其中物理设备包括信用卡、密钥串(key fob)、或者其他物理令牌。
[0027] 根据另一个实施例,提供仅当存在已验证的所述设备穿戴者的生物识别时才允许执行眼睛信号的装置、系统、和方法。
[0028] 根据另一个实施例,提供可以防止用户身份欺诈和身份盗用的装置、系统、和方法。
[0029] 根据另一个实施例,提供使用过滤器的装置、系统、和方法,所述过滤器建立多个级别的设备安全以用于以下中的至少一个:单个用户、多个用户,以及所述可穿戴设备的所有用户的无限次访问。
[0030] 根据另一个实施例,提供了装置、系统和方法,其使用所述头戴式设备来出于以下目的中的至少一个来认证用户:教育、法律、许可、以及服务交付。
[0031] 根据另一个实施例,提供了装置、系统和方法,其使用所述头戴式设备来认证用户以用于准许对以下中的至少一个的访问:安全房、限制区、机动车、飞机、以及海运船舶。
[0032] 根据另一个实施例,提供了装置、系统和方法,其中由设备穿戴者查看和感知的真实和虚拟对象二者的图像能够被存储或标记作为个人增强存储器(PAM)形式以供未来参考。
[0033] 根据另一个实施例,提供使用所述头戴式设备来可验证地注释文档或数据的来源的装置、系统和方法。
[0034] 根据另一个实施例,提供了装置、系统和方法,其使用所述头戴式设备来可验证地注释已由所识别的个体检查或处理的文档或数据。
[0035] 根据另一个实施例,提供了装置、系统和方法,其使用所述头戴式设备来可验证地注释真实或虚拟的对象已由所识别的个体检查或处理。
[0036] 根据另一个实施例,提供了装置、系统和方法,其使用所述头戴式设备来可验证地注释已由所识别的个体生成、修改、或者审阅的书写、签名、或者其他手写信息。
[0037] 根据另一个实施例,提供使用所述头戴式设备来可验证地注释所识别的个体已说出或者听到听觉信息的装置、系统和方法。
[0038] 根据另一个实施例,提供使用所述头戴式设备来可验证地注释所识别的个体已执行活动的装置、系统和方法,所述活动包括:注视对象以及可由所述头戴式设备辨别的一些物理动作。
[0039] 根据另一个实施例,提供将所述头戴式设备用于以下目的的装置、系统和方法:可验证地监视、限制、控制、或者影响所识别的个体的活动、行为、表现、或者生物特征,所述所识别的个体已被监禁、假释、缓刑、受禁令限制、或者以其他方式受到法院强制的行为的约束。
[0040] 根据另一个实施例,提供将所述头戴式设备用于以下目的的装置、系统和方法:在某一时间点或者时间段内可验证地评估疑似受酒精、药物、或者其他物质影响的个体的中毒表现或状态。
[0041] 根据另一个实施例,提供装置、系统和方法,其使用所述头戴式设备来可验证地注释所识别的个体的生物反应或者其他度量,所述个体参加了受监督医疗活动以供药物或其他处方的测试、治疗或者研究。
[0042] 根据另一个实施例,提供了为认证购买的目的来使用所述头戴式设备的装置、系统和方法,其中,经认证购买是为了在线购买安全以及离线购买安全,其中离线包括在零售店或者想要购买对象的任何地点。
[0043] 根据另一个实施例,提供使用所述头戴式设备以允许由所识别的个体查看数据并且不允许其他个体查看数据的装置、系统和方法。
[0044] 根据另一个实施例,提供使用包括向外地定向的、连接至所述处理器的第二成像器的头戴式设备的装置、系统和方法,其中,所述第二成像器检测能够由所述处理器解码的代码,其中,所述代码是条形码以及QR码中的一个,并且其中,所述处理器解码的数据表示关于产品的信息。
[0045] 根据另一个实施例,提供使用包括向外定向的、连接至所述处理器的第二成像器的头戴式设备的装置、系统和方法,其中,所述第二成像器检测能够由所述处理器使用图像识别来识别的对象,并且其中,所述处理器表示关于产品的信息。
[0046] 根据另一个实施例,提供使用与产品相关的信息以允许已认证的用户安全地购买所述产品的装置、系统和方法。
[0047] 根据另一个实施例,提供了装置、系统和方法,其中,在监视器的实际正被所识别的设备穿戴者查看的区域中的信息能够(实时)以高空间分辨率来显示和/或以高时间频率来更新,同时周围区域(即,不被设备穿戴者查看的区域)以较低空间分辨率来显示和/或以较低频率来更新。
[0048] 根据另一个实施例,提供了装置、系统和方法,其中,当在监视器的实际正被所识别的设备穿戴者查看的区域中的信息(实时)以比外围区域(即设备穿戴者没有在查看的区域)——所述外围区域以较低空间分辨率来显示和/或以较低频率来更新——更高空间分辨率来显示和/或更高时间频率来更新时,在较低空间分辨率区域内的指定区域或者指定对象可以以比较低空间分辨率区域更高的空间分辨率来显示和/或以更高的频率来更新。例如,在高分辨率的中央凹(foveated)的渲染期间,在对中央凹区域的外面渲染时,诸如眼睛的面部特征可以以较高的分辨率来呈现。
[0049] 根据另一个实施例,提供允许实体通过互相注视而发起与另一个实体的安全通信信道的装置、系统和方法,其中,所述通信信道的安全性可以在通信之前建立,并且可以在通信期间持续或有间隔地重新确认。
[0050] 根据另一个实施例,提供装置、系统、和方法,其启用安全协议以用于在各方之间协调来使得发生动作,其中每一方都执行一些动作,在此期间利用CBID来连续验证它们的身份。
[0051] 根据另一个实施例,提供了系统和方法,其基于互相注视来警示个体关于一个或多个已识别的个体想要交换信息。
[0052] 根据另一个实施例,提供了装置、系统和方法,其启用维护暂时与场景相机数据和/或音频数据耦合的注视数据的隐私的安全装置。
[0053] 下面在附图和示例性实施例的具体描述中描述本文所呈现的系统和方法的方面和应用。

附图说明

[0054] 在结合以下例示性附图来考虑时,本发明可以通过参照具体实施方式来更加全面地理解。在附图中,各图中相似的附图标记指代相似的元素或动作。在附图中,图示出本发明的示例性实施例,其中:
[0055] 图1是用于识别设备的穿戴者的系统的示例性实施例的基本元素的方案。
[0056] 图2图示了用于确定设备穿戴者的身份的示例性步骤。
[0057] 图3是示出用于基本连续地取得设备穿戴者的识别状态的示例性逻辑的流程图。
[0058] 图4是用于基于设备穿戴者的身份来控制查看和生成安全信息的电路的示例性实施例的示意图。
[0059] 图5是图示指向单个虹膜的多个照明源和多个相机的示例性位置的透视图。
[0060] 图6描绘了多相机成像系统的示例性实施例。
[0061] 图7描绘了与网络通信的头戴设备的一个实施例。
[0062] 图8是执行在线安全购买所采取的示例性步骤的流程图。
[0063] 图9A和9B演示头戴式显示器的并入,其中图9B图示了视线遮蔽物的放置,其阻止除设备穿戴者以外的任何人查看显示的内容。

具体实施方式

[0064] 在下文的描述中,出于解释目的,阐明了若干具体细节以便全面理解示例性实施例的各个方面。然而,本领域技术人员将理解的是,本文的装置、系统、和方法可以在不具备这些具体细节的情况下实践。应理解的是,在不脱离本文的装置、系统、和方法的范围的情况下,可以利用其他实施例并且可以作出结构上和功能上的变化。在其他实例下,更加一般地示出或讨论已知的结构和设备,以便避免模糊示例性实施例。在许多情况下,对操作的描述足以使得本领域技术人员能够实现各个形式,特别是在软件中实现操作的时候。应指出的是,存在许多所公开的实施例可能适用的不同和替选的配置、设备、和技术。所述实施例的全部范围不限于下文所述的示例。
[0065] 在所图示实施例的下列示例中,将参照形成其一部分并且通过图示各个实施例来示出的附图。
[0066] 虹膜识别系统
[0067] 最新的虹膜识别系统在虹膜与相机之间的距离在十厘米到二十厘米的范围内操作(其中研究工作以高达三至十米的距离为目标)。本文的系统可以在与不显眼的头戴设备相关联的约二十至三十毫米(20-30mm)的相对短的距离内基本连续地执行虹膜识别。
[0068] 在这样短的距离内,在存在充足照明的情况下,一般的图像分辨率能够等于或者甚至超过在由当今商用虹膜识别设备使用的距离内所记录的图像质量。然而,附接至虹膜跟踪微型相机的微透镜和/或其他光学器件可能生成包括严重偏斜的空间像差。空间像差能够使虹膜以及眼睛区域中的其他结构的图像失真。
[0069] 空间像差能够通过使用短焦距平台来被计入虹膜识别算法内,以计算“目标”(即被确认为属于预期的接收者)以及设备用户二者的认证irisCode(虹膜代码)。这就在对其进行比较时保持了irisCode间的一致性程度。
[0070] 虹膜识别也取决于获得大致在轴上的虹膜图像的能力(即,与眼镜表面垂直并且以虹膜和/或瞳孔为中心来查看)。当以锐角(即离轴)来查看时,虹膜的特征能够变得失真,导致信息缺失。这在相机的放置既要不显眼并且又要位于与眼睛极为接近的头戴设备内时尤其成问题。在眼镜正常运动期间,虹膜能够相对于不显眼的相机的视角移动离开轴线,导致生成能够与对目标irisCode的高严格性(high-stringency)可比的能力有所损失。
[0071] 在用于处理这种状况的示例性实施例中,所述系统可以在能够以轴上模式查看虹膜时使用高严格性虹膜识别,同时耦合在虹膜相对于由相机所查看的方向离轴指向时使用较低的严格性的虹膜识别和/或对眼睛区域中的其他结构的特征识别。下面更全面地描述离轴期间所跟踪的特征,而能够包括巩膜的形状、巩膜内血管的模式和位置、眼睑的形状、和/或睫毛的位置。不同于虹膜,这些特征在一生之中可能发生变化。然而,这样的特征在穿戴所述设备的单个会话的时间过程中不会发生显著变化。
[0072] 因此,在正常操作期间,用户可以在最初穿戴所述设备后并且此后至少定期地直接看向相机以注册高严格性irisCode。取决于所需的安全级别,Gabor系数的精度和数目以及对差别或Hamming距离的度量(即,等长的0s与1s的两个向量之间的差异的度量)能够被调整到大范围的严格性。在使用高严格性irisCode注册之间的时间中,对眼睛区域中和其周围的特征进行跟踪以确保基本连续的用户身份。类似地,取决于所需的安全级别,能够调整所记录的眼睛周围特征的图像与在设备穿戴者的身份已知时的图像相比较的匹配程度的阈值。
[0073] 与例如在个体进入国家时用于识别(或者排除)该个体的市售系统相比,本系统可以解决以下问题:在任何给定的时刻,穿戴头戴设备的个体的虹膜的特性是否匹配基于Gabor系数的、对单个(即目标)个体的虹膜的描述?在技术上,这比在可能包含数百万计虹膜模式的数据库内提供虹膜图像的匹配或者不产生匹配挑战性大大降低。
[0074] 所述CBID系统能够在包括头戴式显示器、眼睛跟踪、和/或查看设备穿戴者的环境的一个或多个场景相机的头戴设备内实现。场景相机可以包括捕获“场景”信息的传感器,所述场景信息难以由穿戴者以其他方式察觉——诸如RF或IR波长处的能量。所述头戴设备还能够包括其他传感器,诸如:麦克风、加速计、触控板、环境光检测器、皮肤电传感器、温度计、脉搏血氧计、脑电图仪(EEG)、肌电图仪(EMG)、心电图仪(EKG)以及心率变异性(HRV)感测本地头戴设备定位系统、全球定位系统(GPS)、和/或用于测量头戴式设备的结构完整性和/或效能的电子组件。基本连续地从这样的可穿戴传感器中所获取的数据能够利用用户识别码来标记,以确保信息来源的肯定识别(positive identification)。
[0075] 连续生物识别(CBID)
[0076] 图1示出CBID系统100的元件的示例性实施例,该系统包括虹膜照明源130、135、和140、被定向以查看虹膜115和/或眼睛的其他特征的相机125、以及处理单元165。在解剖学上,虹膜115围绕瞳孔145并且本身被包含血管和其他可识别记号的巩膜150或者眼睛的眼白区域围绕。周期性地,眼睑105、110在眨眼期间或者自主(voluntary)闭眼期间妨碍查看虹膜115以及巩膜150。
[0077] 处理单元165能够生成irisCode和/或眼睛的图像并且经由通信链路155将其传送至远程处理单元160,该远程处理单元是(或者在功能上耦合至)安全信息的来源和/或接收者。经由通信链路155在安装在头戴式设备600(图5)上的处理单元165与远程处理单元160之间的传输能够被加密并且能够采用有线与无线传输155方法二者的组合。取决于基本连续的肯定识别存在或不存在,远程处理单元160能够采取步骤以允许或者隐藏对安全信息的处理和/或传输。
[0078] 照明源130、135、和140能够是红外或近红外的发光二极管(LED)或者有机LED(OLED)。基于在相机125的视场内感测的目标亮度水平,能够控制照明源130、135、和140的光照强度,如美国专利8,890,946所述。
[0079] 微型相机125能够包含基于电荷耦合器件(CCD)或者互补金属氧化物半导体(CMOS)的对电磁辐射的感测,下文称作成像器。微透镜120使来自眼睛区域的电磁辐射聚焦到相机125的感测区上。
[0080] 处理单元165能够是现场可编程门阵列(FPGA)、微计算机、微控制器、专用集成电路(ASIC)或者其他计算设备。处理单元165能够是单个设备或者处理功能能够由单独的物理设备的组合来执行。
[0081] 图2示出识别设备用户的步骤的示例性实施例。使用本领域公知的所谓“帧抓取(frame grabbing)”技术,将包括虹膜115的区域的图像200数字化(过程205)。基于数字化图像200内的最大暗区域的位置和/或识别瞳孔145与虹膜115之间的边界250的数学表示的中心,确定瞳孔145的中心(过程210)。基于瞳孔145的暗区域与虹膜115的有大理石纹理的较亮区域之间的过渡,能够确定虹膜的内缘250(过程215)。基于虹膜115的有大理石纹理或有结构的区域与巩膜150的眼白区域之间的过渡连同虹膜115形状近似环形的解剖学知识,确定虹膜的外缘(即异色边缘)245(过程215)。当在瞳孔145的中心处从不垂直于眼球表面的角度查看时,虹膜115的內缘250和外缘245能够在相机图像200内大体呈椭圆形。因此,针对虹膜內缘250和外缘245所跟踪的大体形状近似椭圆。irisCode的具体构造须虑及与虹膜115的圆形形状的典型偏差,特别是虹膜与巩膜245之间的边界。
[0082] 然后,对图像200内的位于虹膜115的內缘250与外缘245之间的像素应用Gabor变换计算(过程220)。然后,将Gabor变换的系数组装成所谓的“irisCode”(过程225),其中,由对虹膜115的每个区域的Gabor变换计算的两个最高有效位组装出最常用的2048位irisCode。在一些情况下,虹膜115的区域可能由于局部眼睑105、110闭合、阴影240或者睫毛235而被遮蔽。能够将严格性准则与irisCode相关联(过程230),以虑及这样的缺失或不确定信息。
[0083] 当已经经由irisCode来确定设备穿戴者的身份时,将围绕虹膜115的区域的图像存储并且注册为属于该设备穿戴者。随后,能够使用该图像作为在眼球转动时无法再计算出irisCode的状况下的对比基准。虹膜115的图像能够因以下而变得模糊:阴影240;受眼睑105、110或者睫毛235的阻挡;或者因为虹膜115与相机125的中央视场相比足够离轴。当发生这些状况时,使用基准图像内的区别特征来基本连续地确定设备穿戴者的身份。这些特征能够包括巩膜150;巩膜150内的血管的位置和模式、眼睑105、110的形状;以及睫毛235的位置和形状以及补充的生物(即生理和解剖学的)度量,如下所述。
[0084] 图3是图示用于确定在给定的时间是否肯定地识别设备穿戴者的基本连续的决策过程的流程图。该决策过程开始于从虹膜跟踪相机125获取图像(过程300)并且尝试计算irisCode。用于将相机图像数字化以及计算irisCode的方法由图2来更加全面地描述并且在现有技术中已知,例如,如美国专利No.5,291,560所述。下一步骤(过程305)是对是否已确定可行的irisCode的确定。不可行的irisCode的原因包括:局部闭合的眼睑、完全闭合的眼睑(即自主闭合或者无意识眨眼)、遮蔽虹膜115的阴影240、遮蔽近似杆状区域的睫毛235、和/或转动得大大远离相机125的视场中心的虹膜115。
[0085] 如果能够计算出可行的irisCode,则将其与预期或目标设备用户的预定的irisCode相比较(过程310)。取决于所需的设备用户安全级别,能够调整这种比较的严格性。如果存在与穿戴者身份证明的肯定匹配,则将该肯定匹配的时间设置成从自由运行时钟335获取的当前时间(过程315),将眼睛周围区域中的特征存储并且注册为属于目标设备用户(过程320),并且将肯定识别布尔指示符的状态设置为“真”(过程345)。
[0086] 如果无法计算出irisCode(过程305),则作出检查以确定irisCode是否已在延长的时间段内不可用(过程325)。如果irisCode最近已经被确定,则将眼睛周围区域的图像内的特征与在肯定识别的时间所存储的图像(过程345)相比较(过程310)。如果存在这些特征的充分匹配,则将肯定识别布尔指示符以其“真”状态保存,并且获取新的图像。
[0087] 如果新确定的irisCode不匹配预期的设备穿戴者的虹膜代码(过程325),或者如果在一段时间内未计算出irisCode(过程330)并且不存在眼睛周围特征的充分匹配(过程340),则计算由自由运行时钟注册的当前时间(步骤330)与最新近的肯定识别的时间之间的差额。如果确定该差额大于预定的阈值时间,则将肯定识别布尔指示符的状态设置为“假”(过程340)。
[0088] 预定的阈值时间被调整成允许在短暂间隔内无法肯定地识别用户的值,诸如在“正常”的设备穿戴者眨眼期间。因此,如本文所使用,“连续”以及“基本连续”的确定能够包括这样的无法肯定地识别用户的短暂间隔。一般地,将阈时间设置成0.1秒(即迅速眨眼的持续时间)与10秒之间的值,其中后一值最不安全,允许设备穿戴者在短暂间隔内把目光从头戴设备移开。典型的阈值是0.3秒。
[0089] 在获取新的图像(过程300)后,重复整个决策过程,以提供基本连续的识别。能够将用户识别的状态附加至与系统相关联的所有传输(过程345)。替选地,能够将虹膜115的图像传输至外部处理单元,并且能够远程执行用于确定设备穿戴者是否被肯定地识别的决策过程。
[0090] 图4是在经由外部设备来控制显示710和/或安全信息的传输155的应用期间的示例性实施例。虹膜的图像和/或眼睛115的区域中的特征由相机125被基本连续地获取,并且基于这些图像内的匹配程度;基本连续的设备穿戴者的识别状态由处理单元165确定。设备穿戴者的识别状态经由通信链路155来被传输至外部处理单元。然后,任何数目的其他处理单元400能够允许安全信息被显示710并且由基本连续授权的个体查看。
[0091] 生物识别能够发生在一个或多个时间(即会话)期间,或者发生在需要用户认证的眼睛信号控制过程之前、期间或之后的时间的任何组合。例如,参加考试的个体可能在考试时间段之前和之后二者都被要求执行导致生物认证的眼睛信号命令序列。在线购买可以在进行购买之前(例如,在可能发生对交易总费用的预授权步骤的时间内)以及与导致购买的眼睛信号序列的同时要求认证。使用眼睛信号控制以及可能的其他控制对安全的法律文档的阅读可以要求重复的生物识别,其与阅读过程期间所使用的全部眼睛信号同步。
[0092] 补充的生物测量
[0093] 另一个示例性实施例涉及使用解剖学和生理学特征来进一步基本连续地监视个体的身份和功能状态二者。为了准确跟踪眼睛信号,眼睛的解剖学特征的形状、尺寸、和/或相对空间位置必须对头戴式设备已知。因此,在正常操作期间,这些特征通常对设备可用,因为它们形成被用于产生准确的眼睛跟踪的校准系数中的许多的根本基础。同时,它们也能够被用于(基本连续地)验证设备穿戴者的身份。这在以下时间段期间尤其有用:当虹膜代码不连续可用时——诸如在眨眼期间、当虹膜被眼睫毛或者其他结构遮蔽时、和/或当虹膜远离查看一个或两个眼睛的相机来指向时。能够作为用户身份的组成部分的这样的解剖学特征的示例包括:
[0094] ·角膜曲率半径(包括二阶参数,因为形状能够是椭圆形)
[0095] ·瞳孔深度
[0096] ·眼球半径
[0097] ·异色边缘半径
[0098] ·光轴与视轴之间的偏移
[0099] ·人工晶状体参数(在美国每年执行270万例白内障手术以将天生的晶状体替换为人工晶状体)
[0100] ·各种病状,诸如结膜黄斑(眼睛的眼白(巩膜)部分的结膜发黄凸起增厚)、翼状胬肉(楔形增生)、斜视(内斜眼)、弱视(弱视眼)
[0101] ·眼睛上的大体眼睑位置
[0102] ·睫毛的粗度、密度、颜色、覆盖范围、长度
[0103] ·眼裂的形状和度量
[0104] ·取决于相机的视场(FOV)的,眉毛的毛发、结构、位置、颜色
[0105] ·取决于相机的FOV的、眼睑和周围组织的皮肤组成
[0106] 存在其他解剖学因素——诸如鼻部的大小和形状(通常影响设备如何搁置在头部上,并且由此影响相机和照明源相对于眼睛的位置),所述因素对于用户识别目的不太有用。然而,对相机与眼睛的特征之间的距离的测量(再一次,很大程度上受设备如何搁置在鼻部上的影响)能够被用于确定设备是否例如已经从头部去除。如果设备从头部去除,则能够设置指示,其阻止设备进行高安全性的动作或者交易,直至设备被重新置于头上并且执行高严格性(例如匹配的irisCode)的识别过程。
[0107] 由设备测量的生理反应也能够是个体的标识或者“签名”内的唯一标识符的组成部分。由设备测量并且由此能够是用户身份的组成部分的的生理特征的示例包括:
[0108] ·响应于光线变化(高度依赖于设备穿戴者的年龄)或者响应于特殊刺激(光、情绪反应、认知负荷)的、瞳孔收缩或扩张的程度
[0109] ·响应于光的变化的瞳孔收缩或扩张的速率
[0110] ·在瞳孔收缩或扩张时瞳孔的水平和竖直移位
[0111] ·自主扫视运动的范围和速率
[0112] ·微扫视的范围、频率、和速率
[0113] ·眼睛震颤、漂移和其他眼睛运动的程度、出现、范围、频率和模式
[0114] ·聚散(vergence)的眼睛运动之间的相关程度(当监视双眼时)
[0115] ·设备穿戴者识别和跟踪新目标的速率
[0116] ·眨眼行为,诸如发生的频率、速率、持续时间、场境(context)
[0117] ·用户执行眼睛信号的方式,所述眼睛信号可以作为用于眼睛控制的语法或者交互模型的一部分
[0118] ·在视觉刺激的场境下的眼睛信号、生物数据、以及包括位置、时间、活动、身体或认知状态和意图的其他数据
[0119] ·眼睑以及周围皮肤组织的运动,有可能是基于可见的、归类在“面部动作编码系统”中的运动、皮肤和肌肉
[0120] ·与设备穿戴者的“经验”(对比新手用户)相关联的各种参数
[0121] 该列表中后面的特征,设备穿戴者的经验可能并不被严格分类为“生理”度量。经验在由设备维护的系数集群内被反映,所述系数集群主要基于以下来反映用户的“经验”:设备穿戴者在设备上花费的时间、注视(fixation)时间、反应时间的历史、各种数据类型的场境化(contextualization)、以及无意选择的频率(即随后校正的选择)。由设备使用的这些数据的一个示例是:在平稳的追踪眼睛信号期间,调整所谓“眼睛致动物(eyemover)”的速度(即提示用户移动他们的眼睛来作出N中选1的选择的目标)。
[0122] 用户经验是在执行诸如浏览对象或阅读文本的动作时能够测量的多个行为特性的示例。这些行为生物特征(behavioral biometric)或者执行活动的“风格”能够基于诸如过去的经验、熟悉度、兴趣等因素。一些行为特性能够包括解剖学影响和生理影响。打个比方,个体的步态是这样的活动的大规模示例。在眼睛信号的情况下,控制每个眼睛的六块肌肉的精确附着点以及收缩强度能够影响眼睛运动的行为生物特征。
[0123] 如Systems and Methods for Biomechanically-Based Eye Signals for Interacting with Real and Virtual Objects(用于与真实对象和虚拟对象相交互的基于生物力学的眼睛信号的系统和方法)中所述,一种用于对眼睛信号进行分类的方法是对已被训练来辨别个体的眼睛运动特性的神经网络的应用。用户经验以及特定的运动特征(即,以此类推,个体的“眼步态(eye-gait)’)能够被用于识别个体。
[0124] 这些解剖学特征、生理特征、和/或行为特征的组合对于个体而言是唯一的;虽然在诸如区分同卵双胞胎的某些情况下,一些解剖学特征的独特变化可能对于生物识别的实际使用而言过小。认识到这样的缺点,正是独立特征的组合产生了进行区分的效力。例如,如果对异色边缘半径的测量具有分辨力来一致地(即反复地)将个体归类到十组中的一组并且在大范围扫视运动期间所达到的最高速度(可假定不取决于异色边缘半径)能够进一步将个体归类到十五组中的一组,则识别个体时这两个独立度量的组合的效力为10x15=150中选一。独立且有区别的特征的乘法性质提供了区分个体的显著效力。
[0125] 特别是在虹膜识别不可用的时间期间(例如,当虹膜被眼睑、睫毛遮蔽或者失焦时),解剖学参数、生理参数、和行为参数能够被用于保持用户身份的连续性。此外,对于许多应用,设备被要求尝试确定穿戴者的特性是否匹配单个的、经识别的个体或者是否是少量已知个体的成员。例如,与在大量个体当中识别可能要阻止其穿戴设备的人相比,这是简单得多的分类过程。一个或多个解剖学度量、生理度量、或者行为度量的偏差可以指示已发生设备用户的切换。
[0126] 这样的识别特征也能够与其他安全令牌相结合,诸如信息令牌(密码)、物理令牌(密钥)、产生的令牌(话音、手势、笔迹)、其他生物令牌(指纹、声纹)等。
[0127] 本文的系统和方法的另一个示例性实施例涉及使用虹膜识别来定位和检索与个体用户相关联的校准参数。当未知设备用户或新的设备用户将设备置于他/她的头上时,校准参数通常是未知的。通过指引用户看向相机查看其眼睛的大体方向或者使一个或多个相机在正常眼睛运动期间查看虹膜的过程,能够生成初始irisCode。
[0128] 多个相机配置
[0129] 当虹膜的多个部分可能在眼睛正常运动期间被遮蔽时,将已由单个相机在不同时间拍摄和/或使用多个相机从不同方向查看的虹膜图像的多个部分“拼接在一起”可能是有用的。在图5和图6中图示了使用多个相机来查看眼睛。
[0130] 替选地,irisCode本身(即在分段过程之后计算的)能够由不同的虹膜图像“拼接在一起”。再一次,可以在不同时间或者通过不同的相机或不同的时间和相机角度的组合来拍摄这些图像。作为此方法的组成部分,能够对在多个图像内成功查看的虹膜部分取平均(在计算irisCode之前或者之后),以便提高可靠性和/或减轻图像噪声的影响。
[0131] 与不显眼CBID相关联的问题中的一个与以下事实相关联:指向眼睛的相机与眼睛的视轴或光轴相比较通常“离轴”。这导致虹膜的“离轴”视图。此外,随着眼球在正常状态以及眼睛信号功能期间四处移动,虹膜“离轴”的程度有所变化。如果在用户正看向给定方向时注册虹膜模板,则随着眼睛从注册虹膜模板的方向转动远离,将相同虹膜识别为匹配会变得越来越困难。
[0132] 对于“离轴”问题的一个解决方案是:使用在不同视角观察眼睛的多个相机。在任何给定时间,能够从例如基于最圆的(与高度椭圆相比)内虹膜边界和外虹膜边界来辨别的最靠近处于“轴上”的相机中选择图像。最“轴上”的相机可以随眼睛在正常活动期间移动而改变。
[0133] 该问题的另一个解决方案是:存储在不同的查看方向上收集的个体的多个虹膜模板。因此,作为眼睛跟踪的结果,用户的查看方向是已知的,有可能作出以下操作:(1)存储多个已知的查看方向上的irisCode,以及(2)随后将在已知查看方向上、在任何时间所收集的irisCode与在相同或最近的查看方向上所收集和注册的irisCode相比较。
[0134] 使用多个相机和/或多个irisCode,能够降低离轴查看的程度。通过从最靠近处于“轴上”的相机中选择图像,能够获得虹膜的最直视视图。注册已知个体的irisCode以及实时识别个体二者能够是基于最轴上的相机的图像,从而提高识别的鲁棒性。
[0135] 类似地,这些方案中的全部还符合在注册模板或者实时计算irisCode以用于识别之前以数字方式将虹膜的图像“旋转”至处于轴上。在许多眼睛跟踪方案中,必须已知光轴与进行查看的相机的方向之间的角度以便计算注视方向。这提供了应用旋转变换的关键系数,使眼睛的图像看起来好像正沿着与瞳孔(或者异色边缘)的中心垂直的轴线来对其查看。
[0136] 使用提供所需的视图的常规透镜或者全息透镜,能够收集这些irisCode。通过由一个或多个反射表面反射眼睛的图像的方式,也能够收集irisCode。这样的表面能够被设计成单个大型反射面或者多个反射面(即多个微镜)。这些基于镜的系统能够处于常规反射面的形式或者处于设计用于使光学系统的物理特性(例如重量、大小)最小化的所谓的自由形式光路内。它们也能够反射所选择的波长的光(例如所谓的“热镜”)以在不阻碍可见波长的光下的视野的情况下促进CBID。自由形式的光学设计允许将相机沿眼镜的边缘来不显眼地安置,同时保持在其光轴处或附近查看眼睛的能力。替选地,能够通过一个或多个检测器(例如光电二极管)来收集眼睛的图像,其中通过可切换的表面——诸如基于可切换Bragg光栅(SBG)的设备中的那些表面来控制空间选择和分辨率。
[0137] 图5示出示例性系统600,其图示了多个照明源130、135、140以及多个相机125的放置位置。照明源130、135、140以及相机125二者都指向包含虹膜115连同中心的瞳孔145和周围的巩膜150的一个眼睛的区域。与单个光源400相比,使用多个照明源130、135、140确保在设备穿戴者的更宽的眼睛运动范围上良好照亮的虹膜115并且减少生成阴影240的倾向。使用多个相机125加强了在设备穿戴者的更宽视角范围上来在轴上对虹膜成像的能力并且减少以更尖的角度来基于相机进行成像所致的虹膜图像失真。
[0138] 相机也可以被配置成捕获眼睛、眼睛特征、眼睑、睫毛、眉毛、周围的皮肤、以及面部肌肉的视图,使得可以将感兴趣的区域作为不连续的视图集合、或者作为拼接在一起的相邻区域来单独地、相邻地查看。多个相机可以由被配置成对相机所查看的区域进行照明的多个LED或照明源支持。对眼睛、瞳孔、特征、眼睑、眉毛、和皮肤的捕获能够被用于测量对来自屏幕上的显示或者用户环境内的刺激的情绪反应。例如,这可以被用于人际交流、用于研究与注视方向相关联的情绪反应、以及用于游戏中基于情绪的交互。通过相机所测量的玩家的注视方向之间的关系与其他面部信息相耦合能够被解释以定义用户的情绪状态。然后,游戏或者娱乐体验中的演员可以用活动以及远离或朝向用户的注视方向来响应,与用户的眼睛、面部、头部、手部、身体、以及生物行为同步,通过所渲染的面部特征、身体、以及眼睛行为交流情感,以激发可变且动态的水平的角色/用户情感参与和交互。这些演员可以是人工智能的角色,或者他们可以是远程人类角色的化身,并且用户同样也可以由远程化身(avatar)来表示。
[0139] 在图5中所图示的系统600情况下,组件被安装于一副眼镜框内。仅为了简明起见,图5中的透视图仅示出指向左眼的眼镜的左半部分。眼镜框利用鼻部件510和耳柄515来搁置在头部上。在本示例中,板载的处理单元165位于左边耳柄515内。虽然未在此视图中示出,但向设备供应便携式电力的电池组能够例如被安装在右边耳柄中。虽然在此透视图中未完全看出,但可选地,框上的场景相机能够被用于查看设备穿戴者的环境。虽然在此视图中未示出,但可选地,向用户的眼睛呈现单眼或立体影像的一个或多个显示器也可以被安装在框中。该框可以包含显示器,其呈现:增强用户的现实世界的视图的图像、离轴或不在用户的直接视线中呈现的影像、或者创建虚拟现实的沉浸式影像。
[0140] 在图6中图示了多个相机的示例性配置。多个相机2000a至2000f能够经由多个眼睛视图来规避障碍物,所述障碍物包括上眼睑105、下眼睑110、以及任何发生遮挡的眼睫毛236。当从不同的角度来查看(即由不同的相机来观察)时,特定的障碍物(例如图6中的眼睫毛236)所遮蔽的区域有所不同。在这些条件下,通过对使用来自不同相机的图像所收集的图像信息进行提取或将其“拼接在一起”,能够重建眼睛的表面的完整表示。具有眼睛的不同视图的不同相机能够具有重叠或者不重叠的视场。不同的相机也能够具有不同的透镜、滤光器、帧速率、或者分辨率。也能够存在2D和3D成像相机的混合。一个或多个相机2000a至
2000f的任何组合能够在任何时间被启用(例如通电和工作)。能够获取在一系列采样条件下所收集的图像提高了虹膜识别、瞳孔识别、特征识别、以及眼睛信号识别的鲁棒性。
[0141] 使用多个相机也能够被用于构建眼睛的三维视图。用于查看眼内的三维结构的替选方法是空间相控成像。不管用于确定眼内结构的形状、大小、和位置的方法如何,了解其三维形态能够提高分辨率、便利性(即降低校准要求)、以及注视跟踪的鲁棒性。
[0142] 指向双眼的多个相机(即每只眼睛由多个相机来查看)进一步提高了聚散度测量的准确性。在字面上,聚散度向眼睛信号控制添加了额外的维度。例如,通过使用聚散度,设备穿戴者能够指定选择面板的不同层内的图标。
[0143] 在宽角范围上基本同时地查看眼睛的多个相机也能够被用于观察周围特征的运动,包括眼睑、皮肤、眉毛、乃至面部肌肉部分。这些特征内的运动能够被用于提取其他的用户状况,包括情绪状态。在示例性实施例中,指示情绪状态的其他眼睛测量包括瞳孔扩张、晶状体形状、以及心率。在附加的实施例中,通过使用一个或多个相机,有可能通过确定眼睛的脉管系统的图像内——特别是巩膜内的小扩张和收缩的速率来确定用户的心率。
[0144] 确定包括情绪状态的用户状况
[0145] 也有可能向头戴设备添加额外的传感器以确定设备用户状况以及情绪状态。基本连续监测的数据的示例包括:脉搏血氧仪、皮肤电阻、EEG、ECG、以及温度传感器。
[0146] 设备对用户情绪的了解能够被用于识别以及调节广泛范围的应用。情绪能够是对游戏的特别强大的附属输入(adjunctive input)。例如,游戏对用户恐惧或压力的响应可以使游戏过程中所涉及的任务更加简单。另一方面,多用户游戏内所表达的压力可以被用于触发失败。“真实”人的情绪反映能够与化身相耦合,其中化身的动作和响应受情绪状态的影响。
[0147] 对用户情绪的了解能够有价值的另一个领域是在涉及生成合成的面部表情的会议中。与在电话会议期间流送视频的传输相比,构建和查看一个或多个合成面部能够大幅降低了会议地点间所需的带宽。随着查看合成面部产生的问题是缺乏适当的面部表情。这往往会使查看者中的一部分产生“不舒服”的感觉。对作为会议内容来源的个体的情绪状态(以及真实身份)的了解允许生成更合适且动态的合成面部表情。情绪状态能够(视需要)被限制或者广泛广播给任何数目的接收者或者接收者的子集。
[0148] 在经由合成面部或者化身进行的人际交互内,也能够有可能将交互分隔(isolate)成一对个体或者小群体,甚至是在其他化身的“虚拟”出席内。在游戏以及电话会议应用二者中,这都会特别有用。类似于室内个体间的现实世界交谈,能够进行同时的多个虚拟交谈,包括在例如没有对现实世界参与者的身份或者地理位置的限制的情况下进行“虚拟目光接触”。
[0149] 认知负荷是对许多情绪状态的主要贡献者。在给定的光照条件下,瞳孔直径高度反映认知负荷。因此,利用能够例如根据场景相机图像中所观察到的总体强度水平来评估(assess)的已知光照条件,有可能通过观察瞳孔直径的变化来基本连续地评估认知负荷(以及认知负荷的变化)。类似于对情绪状态的了解,将认知负荷包括作为输入广泛应用于游戏、会议、文档审阅的速度、考题的难度比率和/或水平、广告效果的评估、包括创伤后应激障碍的医疗评估、基于查看图像的心理评估等。
[0150] 将一个或多个场景(即查看用户的环境)相机与用于查看眼睛的多个相机耦合来使用为沉浸式环境提供更大的潜力。例如,在游戏操作中,设备穿戴者的环境能够被投射至化身或者玩家在游戏空间内的其他表示的环境。“现实世界”中的头部运动和/或对对象的查看能够被转化成虚拟环境。现实与虚拟环境的转化对于三维“洞穴”投影系统内的设备穿戴者而言特别有效,但使用大型显示屏或者多个显示屏也能够获得类似的效果。
[0151] 使用多个场景相机来创建“环境场境”能够提供提高的用户满意度、安全性、效能增强等。例如,有可能在会议期间调整图像以实时查看一个或多个所选择的会议参与者观察下的位置。了解个体(特别是会议发言者)关注的内容极其有助于解释该个体正试图传达的内容。相反,如果一个或多个听众成员显然没有对正在呈现的内容表现出兴趣,则这可能是更改内容的线索。
[0152] 基于CBID的眼睛信号设备的配置
[0153] 取决于应用,基于CBID的眼睛信号设备的功能能够被以大量的配置来布置。处理和/或认证能够是自给式(self-contained)和/或被远程执行。认证能够被应用于传出数据和/或限制传入数据流。设备操作能够被限制到单个人或者人的群组、或者不受限制。设备操作能够被进一步限制成仅在某些操作条件下才执行任务。信息的显示能够对除设备用户以外的所有其他人隐藏,或者对所有人可见。认证能够仅在用户请求时被应用或者自动应用于一些或全部数据。其他设备的眼睛信号控制能够被限制于个体、个体的群组、或者不受限制。
[0154] 下列表格列出配置类别中的一些以及其中每个的示例。用于描述眼睛信号设备配置的定义和缩略语为:
[0155] IC-irisCode:对眼睛的图像应用模式识别技术以将虹膜内的表观遗传模式量化成可比较的位模式以用于生物识别目的。
[0156] EIC-加密IC:已加密的irisCode,使得其无法被反向工程为虹膜的原始图像或者任何其他基于虹膜的、所导出的参数。
[0157] TEIC-目标EIC:经识别的EIC,其中与根据眼睛图像所计算出的IC的匹配指示关联性并且由此指示肯定的生物识别。
[0158] CBID-连续的生物识别:能够在头戴式设备上或者远程地通过将EIC或者一个眼睛或双眼的图像传送至远程处理器来执行的生物识别的重复的过程。CBID能够以固定速率(例如每秒30次)或者异步速率(例如,每当设备被移动或者重新安装时)进行。
[0159] UUID-通用唯一标识符:针对包括头戴式设备的任何处理设备的固件编码的唯一标识符(即数字代码)。
[0160] GPS-全球定位系统:基于卫星的导航系统,其能够确定在地球表面上或其附近的任何地方的设备的位置。
[0161] 表1:CBID设备配置的类别
[0162]
[0163]
[0164]
[0165]
[0166] 以上表格指代EIC的传输和比较;然而,在一些情况下,在算法上可能将眼睛的图像转换成IC并且随后转换成EIC。因此,CBID能够同样涉及信息的比较和/或交换,其涉及虹膜的图像、IC、EIC、或者其他导出的参数。类似地,用于生物比较的数据库同样能够(出于识别目的)包含IC、EIC、眼睛的图像、面部(包括眼睛)的图像、虹膜的图像、眼睛的解剖学特征、所谓的“展开的”(即用极坐标表达的)虹膜图像、包括巩膜中的血管、异色边缘的其他眼睛特征的图像、或者其他捕获的或者导出的参数。因此,对EIC的交换或者比较的引用也指代出于生物识别目的而交换或者比较任何其他的导出的数据集。
[0167] 一旦irisCode已被算出,便能够将其用于在已知irisCode和/或补充的生物度量的数据库内的搜索。如果找到irisCode(以及其他度量)的匹配,则相关联的校准因子以及其他信息(用户的姓名、年龄、性别等)能够被传送回头戴式设备以供在眼睛跟踪以及其他操作期间的使用。这种搜索能够在多个不同的平台配置内进行:
[0168] ·头戴式设备本身能够包含多个(通常少量的)irisCode和校准集,使得例如家庭的任何成员都能够使用头戴式设备。irisCode的生成、搜索和匹配完全在头戴式设备上执行。
[0169] ·irisCode或者虹膜图像能够被发送至特定的远程处理器以用于识别和匹配。该处理器能够服务例如住所、公司、学校、剧场、或者地理区域内的一组头戴式设备。
[0170] ·irisCode或者虹膜图像能够被发送至云以用于识别和匹配。对经识别的个人数据集的基于云的检索允许与个体相关联的校准和其他数据可用于在世界上任何地方、在任何时间使用的任何头戴式设备。对校准和其他数据的无辅助检索将在用户看来是任何可穿戴设备的“即时开启”特征。在图7中示出用于该配置的总数据流。
[0171] 一旦用户识别已被证实,便还可能将关于一个设备形式因素所采集的校准集应用于另一个设备形式因素。例如,如果设备的设计被升级并且相机和照明源在头戴式设备内的位置和/或取向受升级的影响,则旧设备与升级的设备之间的已知替换能够被添加至校准集。这允许用户在可以具有相同或者不同的形式因素的多个可穿戴设备间利用单个校准集。
[0172] 在附加的实施例中,CBID能够被用于启用或者禁用《Systems and Methods for Biomechanically-based Eye Signals for Interacting with Real and Virtual Objects》中所述的“眼睛信号”或者眼睛信号控制。全部眼睛信号或者眼睛信号的子集视CBID的存在情况来执行。这样的眼睛信号能够包括:仅利用设备穿戴者的一个眼睛或双眼所作出的那些信号以及与现实世界或者其他虚拟对象进行交互的那些信号。例如,眼睛信号能够包括由设备用户(使用指向外面的场景相机)查看到的设备穿戴者的手指作出的手势。仅在CBID条件下,才能够有效地作出这样的手势(即导致动作)。
[0173] 在进一步的实施例中,支持CBID的动作能够被限制于一个或多个场景相机的视场内存在经识别的人或者其他经识别的对象的时间。面部识别、对象识别、和/或其他形式的识别能够被用于验证设备穿戴者与包括一个或多个其他的经识别个体的这样的对象的共处于同一位置(co-location)。例如,动作能够被限制于仅在那些个体在场的情况下才被执行。
[0174] 替选地,一个或多个其他个体的在场和/或同意能够由个体所穿戴的另一个基于CBID的设备来执行。在此情况下,个体能够与其他设备识别的个体被定位为共处同一位置、或者利用在设备间直接传送(可选地涉及中间数据传输设备)的认证或者经由多个集中式的(例如基于云的)认证服务来远程地定位。在共处一地的个体的情况下,对认证凭证的传输能够在必要时被进一步限制于近场通信(NFC,即明确排除使用其他数据传送设备)。
[0175] 反之,在设备穿戴者的环境中未经识别的个体的存在和/或明确指定在执行动作期间不能在场的一个或多个经识别的个体的存在能够禁止设备执行任何动作或者可能的动作的子集。禁止能够被扩展成排除环境中任何对象的存在,包括特定的头戴式设备(例如在传输期间通过UID来识别的设备)、相机、麦克风、敌方出现(例如在军事或者警务状况中)等。
[0176] 类似地,动作的执行和/或在设备穿戴者环境中对象(包括人)的存在能够是暂时或永久撤销基于CBID来执行动作的能力和权限的原因。基于来自远程来源的指令也能够撤销,所述指令可以例如确定已经执行了或者正在执行欺诈活动。对凭证的撤销能够被限于个体、个体的群组、设备、特定的能或者功能组。
[0177] 启用CBID的安全购买交易
[0178] 在安全购物的另一个实施例中,实时了解设备穿戴者的身份允许与所选择和购买的每个项目电子交换财务详情。这就不再需要针对每个交易或者交易组重复录入密码、安全问题、或者账户信息。作为结果,这样的瞬时采购系统消除了涉及所谓的在线购物“车”的过程,因为不再需要出于录入账户信息的目的来对项目进行群集。只为顾客方便起见,在在线购物会话期间所购买的项目的群组能够被视为集群或者为购买者进行总结。
[0179] 图8图示了进行经CBID授权的在线购买的一系列步骤(无需将物品群集到在线“购物车”中)。当待购买的项目已被识别2900时,眼睛信号2910能够被执行以指示购买的期望。一旦待购买的项目被确认2910,便将基于CBID的irisCode2930与属于经授权购买者的irisCode的数据库2940进行比较2950。如果确定2950匹配(并且足够的资金、授权等是可用的),则执行2960购买交易。然后,设备穿戴者能够继续购买其他项目2900并且购买过程能够重复任意次数。
[0180] 根据另一个实施例,提供了系统和方法以增强在所谓的“实体”零售商店处的安全性以及简化的购物。在此情况下,查看设备穿戴者的环境的、安装在头戴式设备上的相机能够被用于识别可能有兴趣购买的对象。识别能够基于通常附加于可购买项目的条形码或者快速响应(即QR)码。这样的对象识别使用本领域中公知的图像处理方法。
[0181] 包括建议购买价格的关于项目的信息能够由与零售商店相关联的处理单元生成。然后,该信息能够被显示在附近的监视器上或者显示在与设备穿戴者相关联的头戴式显示器上。如果顾客希望购买给定的项目,则基于CBID的交易能够由顾客发起。这样的交易能够整个商店中重复发生。然后,所搬运的项目与交易记录之间的匹配会允许项目可验证地由顾客从商店取走。基于CBID的零售购买消除了对于收银台或者交款处的需要。在许多情境下,在购买过程期间自动、实时显示信息也减少了店员协助潜在顾客的需要。
[0182] CBID方式的具体示例性实施方式是“在过道处购买”,其使用称为“看以购买”的眼睛信号的方法或过程。在此情况下,购买过程由察看与项目相关联识别符号(例如条形码、QR码)或者待购买项目的对象识别、以及执行购买激活序列组成。识别符号能够在物理上被贴附至项目或者其包装、或者与项目相关联(例如,与容器内的散装项目相关联)的标志内。购买激活序列可以包括以下步骤的任何组合:
[0183] ·将识别符号或者对象识别解码成索引,其能够被用于从数据库中检索关于项目的信息。
[0184] ·(在HMD或者远程显示设备上)显示关于项目的信息,包括价格。
[0185] ·使用眼睛信号和/或其他交互方式,可选地选择和供给购买者所需的任何附加信息(例如详细说明(specification)、类似项目的可用性、保修信息)。
[0186] ·可选地协商价格。
[0187] ·使用眼睛信号序列指示请求购买。
[0188] ·使用CBID,确保经识别的设备用户被授权并且具有足够的资金来进行购买。
[0189] ·使用安全的电信,执行购买过程。
[0190] ·供给已经进行购买的用户反馈。
[0191] ·将项目添加至能够从商店取走的项目的理货单或者“虚拟购物车”。
[0192] ·使用类似的步骤进行额外的购买。
[0193] ·在物理上将项目从商店取走或者虚拟地“标记”已购项目,使得在某将来时间实际项目或者其等同物能够被取走和/或递送。
[0194] ·不存在任何收银机,对从商店取走的项目的授权能够通过目视检验方式或者自动地被验证(例如使用RFID方法),以确保所有物理项目与虚拟购物车中的那些项目相匹配。
[0195] 这种通过看来购买的过程具有以下优点:
[0196] ·利用可经由在察看项目后显示来获得的具体信息,与店员交互的需求能够大幅降低,从而减少或消除的对于店员的需求。
[0197] ·因为在中央数据库内存储和访问购买的信息,所以诸如价格的关键元素能够被即时地调节,或者甚至能够与购买者逐项协商。
[0198] ·用于执行购买过程的零售基础设施(即硬件)为最小限度或者不存在(因为购买者提供主要硬件)。类似地,不需要零售硬件维护或者升级。
[0199] ·“看以购买”购物需要收银机或者收银台(包括运行它们的职员)。
[0200] ·因为在购买者在具体查看项目的时候进行购买,所以不会与可能看起来相似或者功能类似的项目混淆。
[0201] ·因为所有购买的项目都被单独识别,所以存货控制能够完全自动化。
[0202] ·“看以购买”也能够与传统的零售购买方法共存。
[0203] “看以购买”的更一般化示例为“world is your store(世界即商店)”。在此情况下,对象识别被用于单纯在用户的环境内查看的供购买的项目。这能够基于用户的环境中使用眼睛信号以及注视跟踪来具体观察的对象。作为示例,如果衣服在店面内被观察到或者为另一人所穿着,并且通过使用对象识别,用于购买该衣服的一个或多个在线来源能够被识别,然后主要基于对现实世界中、标志上描画的、或者例如在电视广播期间在显示器上看到的这样的所查看的对象的识别,能够进行即时购买。
[0204] “世界即商店”购买会以类似于在线购买的方式进行。主要区别在于,基于对象识别来作出对待购买对象的详细说明,可选地,通过查看和注册贴附至对象的任何识别标记(例如条形码、QR码)来对其增强。该详细说明也能够可选地受助于与设备用户的交互。例如,如果对象的关键部分尚未被观察到,则用户能够查看对象并且与其交互以便更加充分并且唯一地查明对象身份。作为示例,购买衣服可以涉及需要查看最初从正面查看的衣服的背面。用户能够被建议经由交互过程来查看背面。在用户视场内向用户呈现文本、图形信息、方向指引信息、或者叠加的“增强现实”信息的交互式对话能够促进用户的决策过程,所述交互式对话以交互方式经由眼睛信号提供关于材料、能力、效能、质量、评级、朋友的通常使用、价格、运送时间等信息。对话可以进一步基本连续或者偶然经过用户认证以验证用户身份、阻止跟踪与特定信息相关的用户活动等。购买也可以涉及访问个人基本信息的数据库,所述个人基本信息与身份或者过往行为、表现、偏好、以及愿望相关,诸如设备用户的衣服尺码。如在线购买期间,对于购买的授权是基于CBID。对象能够被递送至与用户相关联的地址。
[0205] 替选地,递送位置也能够基于对地点或者个体的自动识别来被指定。例如,递送能够发至与设备用户正查看的人相关联的个体的地址。递送也能够基于与设备穿戴者相关联的地点的(例如使用GPS)识别或者指定而被指定。地点识别能够基于对象识别,例如对路标或者建筑物的对象识别。
[0206] 其他启用CBID的安全应用
[0207] 根据另一个实施例,提供控制设备穿戴者与安全信息来源之间的安全数据交换的装置、系统和方法,使有意义信息不被不受欢迎的接收者获取。以最高的复杂度水平来尝试获取对所传送数据的访问权,潜在的攻击机制将会试图模仿CBID系统与安全服务器之间的双向通信。因此,CBID系统与任何远程计算机之间的通信被加密。加密密钥能够包括指派给每个所制造的头戴式系统的唯一标识码、目标irisCode,并且加密密钥能够是时间/使用敏感的。如上所述,CBID系统内的加密和解密过程也能够包括很难访问的硬件元件,进一步提高了所传送数据的安全性。
[0208] 眼睛信号控制序列使用认证的活动的示例包括:从自动柜员机取款;进行在线购买;需要电子签名的文档,其可以可选地利用确认身份的眼睛信号序列来签署;在任何形式的在线、私人、群组或者其他测试期间遵行(comply with)身份验证要求;遵行各种形式的职业的与身份耦合的表现要求,诸如职业驾驶、飞机船只驾驶(piloting)或者其他运输业记录工作时间(transportation logging hours);通过对在阅读中的扫视活动期间对身份进行基本连续的确认,确认由用户口头或者通过阅读来提供的知情同意的承认;确认对任何具有法律约束力的协议的承认;在临床试验或者其他医学研究、治疗或者测试计划的数据收集期间遵行身份验证要求;在要求阅读、签到、表现、或者假释、缓刑或者监狱内的囚犯或其他形式监禁的囚犯的行为的任何法院命令的活动期间遵行身份验证要求;政府监视的雇员、特工、或者被监视或测试的军方成员在执行任务期间遵行身份验证要求,所述任务包括:TSA(运输安全管理局)的训练或活动、作战或情报训练活动、情报训练或活动、人口普查训练或活动;在包括用户使用与捕获书写过程相关联的眼睛信号的实例的书写期间确认身份;在涉及眼睛信号发起或交互的竞赛或者职业视频游戏期间确认身份;在个人自我提升计划期间确认身份,所述个人自我提升计划包括:减肥、运动训练、克服恐惧症、公开演讲、戒烟、康复计划;在眼睛信号驱动的捕获或者信息的记录期间标记身份,用于后续经个人身份确认的、对信息的访问;确认身份以参与在与相互注视的实例相关联的信息共享,其中可识别方可验证地选择来共享信息。
[0209] 根据另一个实施例,提供装置、系统和方法以更换或者增强基于公共密码的、对计算设备的访问。与密码和/或安全问题相比,这样的系统可以提供更强的安全性。这是由于用户识别的生物性质(即对于个体完全唯一)以及完全在自给系统内基本连续地监视设备穿戴者的能力。所述系统被设计成大约每秒钟或者以任何期望的频率基本连续地反复验证设备穿戴者的身份,可能包括足够迅速以在扫视、眼睛信号形成期间的微扫视或者其他眼睛活动期间反复验证的采样率,所述其他眼睛活动包括在真实或者虚拟环境中观察有生命或者无生命的实体和动作。不像用户在密码录入之后(公然地或者无意地)能够被替换的传统密码录入,基于CBID的计算机访问系统能够在失去肯定的设备穿戴者识别时立刻停止安全操作。
[0210] 根据另一个实施例,提供增强所谓的“数字”或“电子”签名的安全性和便利性的装置、系统和方法。电子签名使用各种加密技术来指示:1)消息或文档的来源是来自已知的发送者,2)发送者之后无法否认发送消息,和/或3)消息在运送中不会改变。基于CBID的数字签名的生成提供了可追踪的方法以将唯一个体验证为消息的真正来源。数字签名的示例包括简单的生物认证、任何形式的用于产生制品的个体生产性创作——诸如打字、书写、演讲,其中用户的注视可以集中于生产行为同时具有基本连续的生物认证。
[0211] 此外,基本连续地验证设备穿戴者的身份允许生成连续的一系列可追踪文档。如果这样的电子签署的文档被接受为具有法律约束力,则迅速交换法律文档的能力能够使得许多专业服务提供者能够安全地在线执行他们服务中的更多服务。这样的服务提供者的示例包括财务顾问、保险公司、律师、参与基于远程医疗的医学诊断和处方的医生、以及房地产销售人员。
[0212] 通信链路155能够包括有线以太网或者无线技术,诸如IEEE802.11中所述的通信协议、蓝牙、Zigbee、以及移动通信协议——诸如LTE、GSM、CDMA、和GPRS。常规地,众多通信介质和协议可能参与将穿戴者识别状态以及其他数据传送至远程的、安全的处理单元。例如,无线(即IEEE802.11)通信可以在头戴式设备与本地路由器之间使用,所述本地路由器进而通过所谓的双绞线系统传送分组,其进而经由光纤电缆向位于一定距离之外的中央接收处理单元(例如服务器系统)传送数据。
[0213] 一些应用要求对设备穿戴者识别的验证与安全的(例如加密)的信息向外部处理单元的单向提供相耦合。录入信用卡或者账户信息以进行在线购买是这种模式的示例性应用。其他应用可以要求只有在存在对设备穿戴者的肯定识别的时候才接收安全信息。对经分类的只读文档的显示是这种模式的示例性应用。其他应用可以要求在存在设备穿戴者的肯定识别时在双向上的安全传输。期望对学业考试所提的问题以及用户响应二者进行保护是后一种模式的示例性应用。
[0214] 作为进一步的实施例,提供了系统和方法以将安全信息的接收者限制为有限数目的经识别个体。例如,可以期望在接收者中的一部分不可能记录或者存储文档的情况下将专有的商务文档分发给经识别个体的群组。在此情况下,以加密方式发送文档,其中解密密钥链接到嵌入式设备以及设备用户的irisCode和/或特定的头戴式系统。当存在肯定的CBID时,并且还可选地当个人视线遮蔽物(见下文)处于适当位置时,仅在有限数目的进行接收的用户/系统内进行文档解密。
[0215] 作为另一个实施例,CBID能够被用于可验证地将经识别个体(或者个体的群组)的活动表现记入文档。在此情况下,在阅读和/或查看特定数据集时,记录由指向设备穿戴者的视场的大体方向的场景相机所捕获的视频序列和/或由麦克风录制的音频序列。附加至这些数据的内容是设备穿戴者的基本连续的识别以及时间戳。然后,在短暂或者延长的时间段内(取决于需要),能够远程地或者在头戴式设备内将序列归档为执行活动(例如阅读、查看)或者何人执行该动作的事实的文档证据。
[0216] 这样的实施例的应用的示例包括:在诸如处理贵重材料(例如钻石)的活动期间可验证地将个体的身份记入文档、改善装配线检验(例如,是否去除有缺陷产品)、训练过程(例如驾驶员教育)、医疗程序(例如手术期间执行的步骤)、灾难事件(例如卷入车祸的驾驶员身份)、或者完全由适当个体执行的所需检验(例如由飞行员进行的飞行前飞机检验)。
[0217] 应用的其他示例包括:知名人士、职业运动员、专家级视频游戏玩家、执行突破性手术的外科医生、或者其他专家执行动作,其中利用同步场景相机记录或者虚拟显示器记录来捕获专家注视,同时具有基本连续或者间隔的认证。然后,所得的“注视投射(gaze-case)”(即,具有以相关的对象或者区域上的标线(reticle)或者对其聚焦的形式的用户的注视的同步覆盖的外部视频的记录)能够被认证并且可用于向个体出售、批准或者租赁以用于娱乐、技能发展、或者其他用途。
[0218] 安全程度
[0219] 在其他实施例中,本系统和方法能够适合于范围广泛的安全级别,包括需要极端安全性的那些应用。例如,在军事应用期间可以采用极端安全级别,以获取对高价值装置(例如核储备)或者秘密行动的访问。在这样的极端情况下,本系统必须防范复杂的欺骗企图,诸如将虹膜或者提取的眼睛的图像置于虹膜跟踪相机的视场内。作为抗衡这样的企图的措施的示例,能够监视眼睛的生理反应。
[0220] 安全协议可以要求多个个体作出一些动作或者一系列眼睛信号来解锁、激活、或以其他方式认证事件。穿戴具有CBID和眼睛跟踪的HMD的个体将遵循安全协议,其涉及执行已认证的并行、串行、或者相关的动作以发起事件。
[0221] 在这些高安全级别的实施例中,基于安全性的测量能够被联合(amalgamate)为环境为安全的置信度的单个度量。这样的综合安全指数(CSI)能够被用于评估安全信息是否要被显示和/或被视为是可靠的。例如,CSI的下降能够导致附加的安全问题或者“虚假”信息以进一步测试设备用户的响应。如果CSI继续下降,则能够采取各种附加步骤,其中例如,远程的、安全的服务器能够请求CBID平台传送与设备穿戴者的环境相关的视频和/或音频。取决于所需的安全级别,对CSI作出贡献的组成部分能够被选择成窄或宽的。CSI的组成部分能够包括以下中的一个或多个:
[0222] a.与实时虹膜扫描相关联的识别系数的匹配程度(包括严格性准则);
[0223] b.自高严格性(即轴上)虹膜识别以来已流失的时间;
[0224] c.在离轴查看期间,模式与眼睛周围区域相匹配的置信度;
[0225] d.眼部生物特征(ocular biometric),包括虹膜的几何结构、位置、和运动;
[0226] e.设备穿戴者在与显示器相关联的方向上看的时间(以及连贯性);
[0227] f.眨眼的出现、频率、和速度(即眼睑覆盖虹膜时的短暂时期);
[0228] g.确定头戴式设备的结构完整性的传感器的输出;
[0229] h.与设备穿戴者反馈响应相关联的时间流逝与在抬头显示器或者附近显示监视器上显示信息的时间相比较的度量;
[0230] i.环境光照条件的变化,包括对于这样的变化的瞳孔反应是否在正常范围内;
[0231] j.由头戴式系统以随机间隔(通过控制照明)来诱发瞳孔对光反射的计时;
[0232] k.由场景相机所查看的图像是否大体上符合预期的环境(例如,查看显示监视器与要修改头戴设备的明显企图相比);
[0233] l.由麦克风所监测的声音是否大体上符合预期的环境;
[0234] m.源自安全信息来源并且被显示在附近监视器上的编码的视频模式与随后由场景相机查看的图像相比较的匹配度;和/或
[0235] n.仅为设备穿戴者所知的识别码的录入(并且其可以是时间敏感的)。
[0236] 使用以上生物特征项f和j的一个示例会是确保面向眼睛的相机确实在查看待认证的用户的活体眼睛(living eye),而非作为危害(compromise)CBID系统的企图的冒名顶替的照片、隐形眼镜、或者甚至从所有者以手术方式摘除的眼睛(骇人听闻)的形式的眼睛复制品。
[0237] 在附加的实施例中,在定制的硅(包括专用集成电路——ASIC)内执行对眼睛信号确定和认证,所述定制的硅被设计成通过将识别和认证方法构建到硅内以作为在系统架构的最低层级内所保持的逻辑和功能来限制攻击者。这有助于基于更改设备的可编程软件来防止安全攻击。方法还可用于在该底层系统架构内加密固件或者硬件编码的指令。
[0238] 经识别个体作出的“亲自”查看
[0239] 根据另一个实施例,提供了系统和方法以将安全信息的接收者限制单个的、基本连续识别的个体,其没有能力记录或存储安全内容以供其他任何人查看。例如,在远程举行在线考试期间,正在被考查的人员需要能够阅读考题。然而,如果存在方法使另一个体或者记录设备(例如图1,相机125)出于意图向他人揭示考试内容而存储或者转录题目的目的来查看考题,则会危害日后对他人相同(或者相似)的考试的举行的廉正。
[0240] 对于这样的应用,能够与头戴式显示器结合来实现CBID系统100。一个或多个视线遮蔽物被置于显示器周围以将查看显示器的能力限制在仅设备穿戴者。这种配置的关键方面在于,在相同的设备内执行基本连续的用户识别以及安全信息的显示。只有在建立肯定的CBID的时候才显示安全内容,使另一个体不可能查看该安全内容。置于头戴式显示器与设备穿戴者的眼睛之间的光路中的任何对象都中断CBID。
[0241] 在附加的实施例中,能够通过添加传感器来建立进一步的安全级别,以确保视线遮蔽物处于适当位置并且CBID系统的组件未遭篡改。用以将其实现的一种相对简单的方法是添加传导路径,其串联地穿过所述系统的全部结构性和电子元件。篡改或者去除任何系统组件会中断电连续性,其进而能够被系统感测。这样的危害导致禁用肯定的CBID和/或对危害的指示被传送至安全信息服务器。
[0242] 同样地,围绕头戴式显示器的视线遮蔽物的结构完整性能够通过范围广泛的电子组件来感测,所述电子组件诸如接触开关、按钮开关、霍尔效应开关、反射式光电管、和/或电容传感器。视线遮蔽物能够被构造以供两用,例如,使得其在非安全应用期间不显眼从而允许头戴式显示器以在透过(see-through)模式(即去除了遮蔽物)或者在高度安全性的“个人查看者”模式(即附接了视线遮蔽物)二者下使用。
[0243] 在用于极端安全性应用的另一个实施例中,头戴式显示器能够被制造有持久性处于适当位置的高度防拆改(tamper-resistant)的视线遮蔽物。在极端安全性应用的另一个实施例中,头戴式显示器能够包含所添加或集成的电致变色材料层,其不透明度可以被电子地控制。
[0244] 进一步参照图7,远程处理单元160以及被用来显示信息的设备400可以是分离的设备,彼此相距一定距离并且需要安全的(例如加密的)通信链路155。替选地,远程处理单元160以及显示设备400能够被整合到单个封装中。具有整合的处理和显示能力的这样的设备的示例为膝上型计算机、平板计算机、以及移动电话,其中软件能够被编码以仅在存在肯定的用户识别时解密安全数据。
[0245] 图9A和9B图示了将示例性系统合并入眼镜设备500中,该眼镜设备包括头戴式显示器505(也被称作各种其他名称,诸如抬头显示器、平视显示器、HUD、视网膜显示器、虚拟现实眼镜、增强现实眼镜、或者智能眼睛)。如图9A所示,所述系统包括可见或者近红外光源400,其对虹膜115的区域进行照明。相机125被用于收集虹膜115的图像以及眼睛区域中的特征。显示器被布置成使得结构光(即构成显示图像的光)被反射或者投射在视网膜52上。
眼镜设备包括鼻部件510以及耳柄515,其允许以类似于一副典型眼镜的方式穿戴所述系统。CBID系统100能够被合并到眼镜设备内或者被构造为可穿戴计算设备或者眼镜设备的配件。
[0246] 在图9A的情况下,显示器505被布置以使得设备穿戴者能够透过所投影的图像来看以便查看环境。在图9B中,视线遮蔽物520已被策略地放置以使得除设备穿戴者之外没有个体(或者视频系统)能够查看可穿戴显示器505的内容。作为结果,设备穿戴者无法利用被用于查看显示器505的相同的眼睛来看到周围环境。这种设置禁止显示器505的内容被转录或者记录。开关525和/或其他感测元件能够被用于检测视线遮蔽物520是否处于合适位置和/或是否已存在使视线遮蔽物520的掩蔽功能失效的企图。
[0247] 作为前述“机械式”视线遮蔽物的替选方案,另一个示例性实施例利用对抬头显示器(或者其他近眼式显示设备)在显示内容处(即指向眼睛)与外部环境之间区域中的透过性的电子控制。这充当“电子遮光物(electronic shutter)”,控制外部环境中的任何人或者记录设备是否能够查看显示的内容。对光学透过性或电致变色的电子控制能够由多个机构来实现,所述机构包括:液晶(即在液晶显示设备—LCD中所使用的相同原理)、悬浮颗粒设备(SPD)、纳米晶体、以及常被用在所谓的“智能眼镜”内的其他机构。
[0248] 类似于刚描述的可拆卸式机械遮蔽物,控制HUD周围的材料的不透明度禁止除设备穿戴者外的任何人查看显示的内容(参阅图9B)。电子控制的主要优点是设备本身控制不透明度的能力,例如,只有在设备知道正在显示安全信息的时候才阻挡光透射。当未处于安全模式时,HUD能够以正常的显示模式操作,在该模式下用户能够查看在显示器“之外”的现实世界环境。当处于安全(即不透光)模式时,用户无法查看在显示器之外的外部世界,并且更重要地,外部环境中的任何人无法查看显示的内容。当执行显示功能的组件以及执行阻挡功能的那些组件被结合以形成无法在不破坏功能的情况下分离的单个结构时,这种策略能够特别有效。
[0249] 作为附加操作模式,光阻挡模式或者不透光模式也能够被用于使来自外部世界的干扰光最小化,以便加强在HUD内查看精细的细节。例如,当具有精细、暗或者低对比度结构的照片被显示时,设备穿戴者在来自环境的干扰光(即所谓的“噪声”)被阻挡时能够更好地查看这些结构。对不透明度的电子控制允许自动地(即取决于显示内容)或者在用户控制下的这种形式的控制。
[0250] 作为该实施例的进一步改进,也有可能控制HUD的特定区域中的不透明度(与整个显示区域相比)。在空间可寻址地控制不透明度的这种情况下,所述设备有可能仅阻挡特定安全信息周围的一个或多个区域。例如,可以阻挡对账号或者传统用户密码周围的区域的外部查看,同时允许用户继续查看除安全区域之外的区域内的外部世界。对不透明度的可寻址空间控制特别适合于(并且在电子工业内发展良好的)LCD技术(无背光照明),其中在LCD投射设备内使用类似的机构。
[0251] 安全个人增强存储器(PAM)
[0252] PAM是利用眼睛跟踪作为组件以电子地将介质增强成对经识别的设备穿戴者的长期存储器的系统。对信息的PAM存储和检索能够涉及完全可交换的信息模态(图像、音频、视频、文本、图标等)。下面是针对PAM的三个总体步骤:
[0253] 1.识别对个体重要的可跟踪对象,
[0254] 2.保持对多模态(multi-modal)的、耦合的数据集的动态、历史的归档,所述数据集包括一个或多个经识别的可跟踪对象或者属性,以及
[0255] 3.基于任何模式的可跟踪对象的详细说明或者属性,识别和检索一个或多个数据集。
[0256] PAM中的第一步骤是生成对经识别的个体“重要”的可跟踪对象的记录。这些可跟踪对象能够处于各种模式,包括:图像、音频剪辑、视频剪辑、文本、图标、标记(例如价格、制造商)、地图上的基于位置的所标记对象等。转化算法能够被用于耦合与每个可跟踪对象相关联的不同存储模式中的全部。例如,图像识别能够被用于识别(例如转换成文本)一个或多个图像内的对象,语音识别能够被用于将音频转换成文本,文本转语音能够被用于将文本转换成音频,图标能够与特定的对象或者对象的群组相关联等。进一步的,由注视指示的感兴趣区域可以与具有并发的基于irisCode的认证的感兴趣区域相耦合,以减少场景处理的需求,并且仅识别与用户识别的对象相关联的信息。
[0257] 在需要时,能够应用附加的信息转换。例如,能够将文本或音频从一种语言转换成另一种语言。图像识别能够被扩展成识别特定的对象。例如,用于识别汽车的算法能够被用于进一步识别设备穿戴者的特定汽车。对象的价格和物理特性(材料、设计特征等)能够被识别并且被包括在归档算法中。
[0258] 个体用户能够生成任何数目的个性化可跟踪对象。最常见地,注视跟踪被用于识别某人的环境中正被查看的对象。从下载的图像或者照片中也能够识别可跟踪的图像对象(例如路标、埃菲尔铁塔),再一次地,其中注视跟踪被用于识别观察中的对象。例如,基于图像识别,能够识别和索引所查看的对象。其他模态(例如语音短语)能够被类似地分类(即识别)和索引以用于将来的检索。
[0259] PAM的第二步骤涉及动态地添加和保持所查看的对象的经索引、可搜索的历史档案连同其相关联的模态,所述模态能够包括图像、视频、文本、音频等。在记录创建时可用的附加信息也能够被存储以定义附加的对象“属性”。例如,这能够包括创建日期和时间、生成数据集的用户和/或设备、地理位置、其他经识别的个体在场等。
[0260] 作为能够被重复任意次数的最后步骤,对经索引的对象以及其相关联数据的检索能够例如基于查看该对象或者相似的对象。例如,信息检索的准则能够包括:语音识别、文本片段、与特定对象或者对象类别相关联的图标等。在附加实施例中,用于最初存储信息的信息模式无需匹配被用于从数据档案中检索信息的模式。
[0261] 例如,钱包(wallet)的图像可以被用于识别基于GPS的位置处的特定钱包。关于钱包的数据检索可以响应于口头查询,诸如:“Where is my wallet?(我的钱包在哪?)”关于钱包所检索的随后的信息能够处于路线指引地图的形式(即另一种数据形式),其示出相对于设备用户当前位置的钱包位置。
[0262] 基于对象的属性,能够进一步分隔对特定所需数据集的检索。如上所述,属性包括所存储的关于对象的补充信息。如果属性包括位置、日期/时间和价格,则PAM系统能够响应于查询:“What is the least expensive shirt I viewed at a department store last Tuesday?(我上周二在百货商店查看的最便宜的衬衫是哪个?)”
[0263] 如果多于一个的数据集匹配检索准则,则设备用户能够:1)基于使用任何模式(更加靠近地查看对象、说出词语、指定属性等)的附加录入来允许进一步分隔,或者2)显示可能期望的数据集的缩略草图,例如按时间倒序排列。
[0264] 利用PAM的另一个示例性情景为保持跟踪新查看的对象的能力,诸如一组桌子抽屉的钥匙。设备用户开始于查看钥匙并且说“keys to my desk drawer(我桌子抽屉的钥匙)”。每当查看钥匙时,存储包括查看该钥匙的地点和时间的数据集。稍后,当询问“Where are the keys to my desk?(我桌子的钥匙在哪?)”时,所述设备利用钥匙所处位置的图像以及其最后一次被看见的时间作出响应。
[0265] 作为PAM的进一步示例,其中触发PAM数据存储的初始事件是“虚拟对象”,一个人能够查看处于其在线图像或者视频形式的个体。经由在线信息或者通过在被其被查看时陈述姓名,例如“Jim Smith”,能够识别该人。然后,一个人能够陈述任何其他所需的属性(年龄、职业等)。在亲自或者虚拟地查看个体的任何时间,附加后续的数据集。稍后,用户能够提出问题“When is the last time I saw Jim Smith?(我最后一次看见Jim Smith是什么时候?)”。此外,每当由场景相机查看Jim Smith时,所述设备能够识别他。
[0266] 使用PAM的另一个示例开始于查看个体的汽车并且说出“my car(我的车)”。当汽车已泊车时,其被识别并且创建包括最近图像以及汽车位置的数据集。稍后,所述设备能够以屏幕上的图标来响应,其表示对问题“Where is my car?(我的车在哪?)”的回答。
[0267] 如果“过多信息”变得可用,则设备用户可以包含机构以“忘记”指定的数据集和/或目标对象。例如,数据集生成的时间能够被用于“忘记”较老的项目,诸如特定一组钥匙或者某人的汽车的先前位置。能够将不同的准则指派给不同的可跟踪对象。
[0268] 信息存储和检索二者都能够基于CBID。数据集能够存在于可穿戴设备上、远程处理器内和/或分布在整个基于云的系统中。不管存档位置如何,对这样的信息的存储和检索二者都能够被限制于PAM的CBID来源或者已由PAM的CBID来源授权的个体的群组。使用CBID,即使在由多个个体穿戴单个设备时,对个体的信息分隔也能够被限制于该个体。
[0269] 如Systems and Methods for Biomechanically-based Eye Signals for Interacting with Real and Virtual Objects中所述,眼睛信号(特别是涉及机器学习技术的那些眼睛信号)能够被使用于辨别用户意图。使用这些方法,基于PAM的信息能够被检索并且“建议”给设备穿戴者。这是更加抽象的数据检索方法(与解决特定问题相比);然而,所述设备能够基于环境中正被查看的对象、作出的查询、日内时间、地理位置、识别的词语等来呈现已归档的数据。另外,将来的“建议”能够是基于对机器学习方法的修改,所述修改基于设备穿戴者是接受还是拒绝“建议”。
[0270] 安全的人与人交流(EyeConnect(目光连接))
[0271] 作为一个物种,无论是在公司还是社会场境下,我们在亲自会面时,在找到共有关系或者共同兴趣领域后会本能进行交流。确定我们是否应交流、何时应交流、应如何交流、以及应关于什么来交流的过程固有地效率不高并且时常会出现社交尴尬。另外,人类的记忆并不完善,并且我们常会遇到我们已经忘记之前会面细节的个人,诸如姓名或者早前的会面场境。我们都对由这样的碰面所致的社交尴尬以及这对社交言谈(social discourse)造成障碍的程度十分敏感。
[0272] 称为“EyeConnect”过程和应用是一种使可穿戴计算设备用户提高不同层次的人际关系并且使其更加高效而同时保持明确选择和良好控制的安全和隐私级别的方法。在简单、相互的目光接触后,EyeConnect提供了相互视线内的个体之间的增强的连接和交流。例如通过在安全和隐私级别已被建立的、已CBID注册的个体间建立连接,基于CBID的EyeConnect提供了个体的隐私。
[0273] 该应用的实施例的示例包括:
[0274] 1.针对互相认识但已经忘记早前碰面细节的人,EyeConnect在首次目光交流(exchange of gaze)后即时地提供被忘记的姓名,并且无缝地提供支持当面碰面的其他场境相关的信息。
[0275] 2.针对在事件中首次会面的人,所述事件诸如商务、教育、政治、社交、或者其他场合;有意义的、相关的、以及卓有成效的连接在很大程度上凭机遇并且需要时间来发展。虽然当今存在尝试强化个人之间连接或使其自动化的系统和程序,但它们效率低、不精确、不精细、并且有时扰乱现有的交流流程和社交交换或者使其尴尬。EyeConnect在这样的聚会中实现建立新连接的安全的效率和流畅性水平。
[0276] 3.对于经由个人(即CBID注册的第三方)介绍而首次会面的个体,EyeConnect加快场境相关的信息的交换,同时强化对相关的共同连接、经历、兴趣等的个人交流。
[0277] 4.对于为商业或者社交交流而聚集的个体群组,EyeConnect促进将个体添加和包括到为共享信息所建立的动态形成的群组内。
[0278] 可以沿着EyeConnection来交换的信息的模态范围还扩展了EyeConnect的价值。不仅在显示器(例如HUD)上即时和离散地共享的视觉信息,并且听觉信息也可以作为即时“电话呼叫”而被交换,其可以被建立于相距一定距离交流目光的两个个体之间。这对于某些安全应用、社交情境(例如派对、酒吧场景)以及人们可能认出彼此并且想要隔一定距离聊天的其他聚会能够是有用的。
[0279] 在示例性实施例中,EyeConnect执行这些功能,同时遵守关于面部识别或者其他对象识别软件的任何禁令。也就是说,与EyeConnect相关联的架构考虑到对自动识别可穿戴相机的视场内的人的最终允许。实际上,通过确保获取相机图像的个体的身份与那些图像相关联和/或被用于向所查看的任何人通知正在发生这样的活动,CBID能够有助于缓解隐私问题。仅在个体基于图像拍摄者的身份而允许这样的图像的情况下,CBID能够允许或者禁止存储和/或传输相机图像,。此外,所识别的设备用户与所拍摄的任何图像的关联性应当用来制止对不适当图像的拍摄。基于存储在图像和视频文件内的惯犯的身份,他们应当是可识别的。
[0280] EyeConnect应用也支持邻近相关的个体的单向或者双向的信息交换的置配以及地理位置。在另一示例性实施例中,EyeConnect的两个用户彼此注视片刻以确定他们是否应当连接或者是否已经连接。为了激活,他们在相同的时间和地理位置发生对彼此的眼睛的互相注视,生成“Spark(火花)”。如果两个用户还没有被EyeConnect并且具有充分的“共性”,则Spark“Ingite(点燃)”,并且用户接收到即时的“Connect Alert(连接警示)”,其具有场境适当的信息以支持个人的、介绍性交谈。
[0281] 利用其眼睛,在连接警示之后立即与显示器交互,已连接上的一对用户能够浏览选择关于彼此的信息。这可以在参与相互的物理会话之前、期间、或者之后进行。除最初经由Connect Alert所共享的信息之外,EyeConnect也促进共享和传输任一个用户决定提供的附加信息。
[0282] 支持EyeConnect是两个关键组成部分:1)用户的“Persona(人格面具)”以及2)用户的“Event Profile(事件简档)”。用户的Persona可以被手动录入、从诸如Facebook或Linkedln的所链接的账户自动填充信息、,和/或可以从用户的在线足迹中抽取其他信息。Persona数据包括这样的信息,如:姓名、目标、兴趣、职业、雇主、家庭成员、同事、社会关系、爱好、家乡、最喜爱的运动队、最喜爱的音乐等。
[0283] 用户的Event Profile包含用于促进匹配和共享二者的信息。用户从一组标准化事件模板开始建立Event Profile,其中以来自用户的Persona的数据来填充字段。可以自动地或手动地填充Event  Profile。继“Spark”(即在本地同时交换的目光)之后,EyeConnect比较来自两个用户的活跃Event Profile的数据以确定是否“点燃”并且产生Connect Alert。基于所选主题内的共性、连接兴趣和/或其他因素的阈值被用于确定何时应当出现Ignition(点燃)。除提供用于评估匹配的信息之外,每个Event Profile还确切指定在Connect Alert中应共享什么信息。这样,Event Profile被用于确定是否应出现Ingite,并且如果是,则确定应当自动共享什么介绍性信息。
[0284] 一组标准化Event Profile模板能够对于诸如以下的事件是可用的:商务会议、派对、酒吧场景、教室、办公地点、度假、街道场景、体育赛事、海滨场景、教堂、销售会议等。每个模板可以是由用户或者用户群组配置的定制,并且可以在EyeConnect用户社区内创建和共享新的事件模板。
[0285] 设备用户也能够保持任何数目的定制简档以符合范围广泛的日常状况。例如,用户可以保持简档以覆盖下列情形:一般商务会议、多个特定商务会议或其他事件、教育事件、爱好聚会、社交交互、教堂等。通过针对不同的情境保持不同的简档,能够以谨慎和预先计划的方式来控制信息向以下:群组的散布:诸如家庭、朋友、密友、商业伙伴、密切的商业伙伴、教师、具有共同兴趣的个体等。
[0286] 从一个情境向另一个情境的转变能够是:1)显式的,其中用户向设备通知情境已发生变化,或者2)隐式的,其中设备识别不同情境。识别情境状况能够基于对多个因素的考虑,所述因素包括:面部识别、(熟悉的)对象识别(例如住所内的对象)、特色活动的识别(例如处于运动赛事、打高尔夫球)、地理位置(例如机场、医院)、标志、在用户的日历上排程的事件、近期已由设备执行的其他活动(例如会议或者宾馆登记)、音乐的存在(例如在音乐会中)等。在一些情境中,多于一个简档可以同时生效(例如同时进行的爱好与社交活动)。在此情况下,交流能够基于任何可应用简档内的权限。基于其他因素——诸如兴趣的重叠程度和/或特定条件(例如在特定时间帧内、生活在相同的城市内),还能够使交流“附带条件”。
[0287] 在所有层级的交互中,信息交换是基于已建立的参与者的身份以及针对信息交换而预先建立的他们的隐私级别。例如,通过使用CBID,入侵者不可能交换或者拾取暂时被放下的设备并且开始将EyeConnect专有的、设备所有者的信息传送至第三方。
[0288] 作为另一实施例,先前经由EyeConnect会面或者彼此已经作为EyeConnect网络内的互相熟识者来连接的两个用户绝不会再面对没有回忆起姓名的尴尬。EyeConnect有效地提供了“隐形姓名标签”等。两个以前的熟人能够立即受益于忆起姓名以及先前碰面的完整场境二者而重新熟悉。这包括先前会面事件、位置、时间、共享信息、乃至在先前碰面时或者随后记录的补充信息的提醒。
[0289] 进一步的,EyeConnect将对于所连接的个体的即时在线搜索的结果与场境相关信息的立即表示一起提供。这样的会面中的两个用户都在同等的背景上,并且由于EyeConnect无害且流畅的记忆强化而如释重负。
[0290] 在进一步的实施例中,两个或多个EyeConnect的个体内重叠的兴趣能够被识别和显示。这样的兴趣能够被置于先前会面的历史场境以及关于所识别的主题的信息交换中。
[0291] 作为帮助说明实施例的情景,设备用户1(U1)在会议中遇到用户2(U2)。他们素未谋面,但二人以前都曾在相同的公司工作并且共同认识许多人。他们已经在会议之前加载了他们的Business-Conference(商务会议)Event Profile以用于EyeConnect。该Event Profile包含以下中的每一个:他们参加该会议的个人目标、他们的工作历史、来自以前公司的亲密同事的姓名、以及他们将其视为与使EyeConnection产生火花相关的其他信息。他们还各自配置他们的Business-Conference Event Profile以包含他们的最喜爱的爱好、他们妻子和孩子的姓名、他们孩子所上的学校、以及可以在更加个人层面上产生连接的其他个人数据。U1已经配置了他/她的Business-Conference Event Template(商务会议事件模板)以仅允许关于他的专业背景来共享信息。U2的配置允许共享全部匹配的项目。
[0292] 站在一个午餐队伍中的同时具有活动的EyeConnect,他们短暂地看向彼此以了解他们是否应连接。他们的可穿戴设备中的每一个都显示Connect Alert。二人读出他们先前在公司处有重叠,并且U1看到U2有孩子与他的孩子上相同的学校。他们还各自看到对方的目标是针对会议并且视线滚动浏览从他们的简档中选择性共享的其他信息。然后,他们进入谈话、立即共享他们共同的兴趣领域并且详述他们对于会议的目标。他们经由EyeConnect应用交换凭证并且安排时间以会见。几分钟内,他们就完成他们的初步连接并且与其他参会者继续EyeConnect。
[0293] 对该情景扩展以说明其他实施例,在与U2会面期间,U1也短暂地与用户3(U3)EyeConnect。稍后,U1在派对上认出U3并且认为她/他看起来很眼熟。U3与U1彼此注视,产生Spark,并且EyeConnect注意到U3与U1已经EyeConnected。Acquaintance Profile(熟人简档)优先于Party(派对)Event Profile并且为U3和U1中的每一个生成EyeKnowU Alert。U1看到U3的姓名、对他们会面的另一个事件的提及、以及U3在该事件中共享过的信息。U1注意到针对当前的Party Event(派对事件)存在具有新匹配的Ignition,并且经由眼睛发出信号来选择察看针对派对的Connect Alert。U1看到由U3针对派对场境所提供的一些附加信息并且注意到U3也是飞行员。U3注意到相同的内容。他们互相问候,确认他们先前的会面、并且开始关于他们对飞行的热衷的讨论。
[0294] EyeConnect服务能够选择性地将面部识别应用于其他个体的图像。能够采取步骤来避免暗中地提供关于视场内的人的信息,特别是存在关于该功能的禁令的情形下。当两个人同时互相注视时,EyeConnect的眼睛跟踪软件与可穿戴场景相机结合来工作以定义从用户已允许使用的信息中得到的Spark事件。例如,在以上示例中,U1的EyeConnect应用内的眼睛跟踪软件注意到U1正在注视另一个人的眼睛。U2的EyeConnect软件同时注意到U2正在注视另一个人的眼睛。每一个都拍摄了正被注视的人的面部的一次性临时照片,即U2捕获U1的面部且U1捕获U2的面部。可以从每个面部提取面部特征以供匹配,并且保持图像以供用户确认。
[0295] 每个图像都经过时间标注和地理位置标注并且被发送至服务器以供Spark测试。当U2的图像匹配U1的时间、面部和位置(使用预先存储的U1的面部的图像,其由U1在注册EyeConnect时提供给EyeConnect)并且U1的图像匹配U2的时间、面部和位置时,服务器声明U1与U2之间的“Spark”。为了确认,他们均被呈现作为Connect Alert的一部分的原始图像。
可选地,也可以与进行征求(soliciting)的用户共享每个用户的Persona图像。
[0296] 维护个体的隐私,服务器之后丢弃临时捕获的图像以及所提取的面部特征,并且使用他们的Event Profile信息筛选“共性的阈值”。假设连接阈值交叉,则服务器声明他们之间的“连接”,并且生成相互的Connect Alert,共享由他们的Event Profile所指定的信息。
[0297] 异常处理以及附加特征
[0298] 功耗以及可用的带宽是所有可穿戴设备的普遍问题。例如,当启用EyeConnect时,能够在已定义的用户视场(FOV)内,以一秒或者其他所需的间隔执行注视跟踪。针对每个所捕获的注视,注视点被映射在可穿戴相机的FOV内的受限的兴趣区域(AOI)上。EyeConnect应用在该AOI内查找面部。如果找到面部并且该面部看起来正穿戴着头戴式设备,则面部的图像能够被发送至EyeConnect云以确定该用户是否参与互相注视。存在许多优化机会以在保持降低的功耗的同时得到可接受的设备时延,所述机会包括:眼睛发起的Connect请求,递送至活跃的EyeConnect用户的、关于其他活跃的EyeConnect用户的接近推送或拉取的地理位置数据,以及用于优化对于穿戴头戴式设备的面部的图像处理的方法。
[0299] 作为另一个示例性实施例,EyeConnect被设计成在可穿戴计算机的大的FOV内以对低精度或者甚至甚至暂时无法操作的眼睛追踪的容差来操作,其中降低的精度或者身份和/或跟踪的丧失仅导致适度的效能降级。注视跟踪技术有助于在图像当中选择单个面部。对一对用户的选择也通过时间标注和地理位置标注来筛选。
[0300] 如上所述,EyeConnect基于用户的注视来提取AOI。AOI的大小通过所估计的注视精度来确定。譬如,±10度的注视点精度可能要求20度以上半径的AOI以供图像分析。如果系统经历注视跟踪的完全丧失,则AOI会变成场景相机的整个FOV。这会需要更高的处理能力来识别互相注视的穿戴着设备的面部。
[0301] 对互相注视者的筛选和识别也能够使用计算机视觉(CV)方法来增强,该方法在视觉上筛选穿戴着设备的个体。设备能够通过受控视觉信息来协助这样的CV方法,诸如一个或多个面向外部的红外(IR)光发光二极管(LED)和/或附接至设备和/或用户的特定可识别模式(例如可见或者红外)。IR LED能够被调制以避免与基于IR的眼睛跟踪或者其他设备冲突,或者识别特定的个体(通过编码特定的调制模式)。也能够包括其他形式的经调制/有区别的信息交换。
[0302] 作为另一个示例性实施例,尽管罕见,但是考虑潜在误连接的问题可能发生在若干同时共处同一位置的EyeConnect用户之间。考虑四个穿戴着设备的、EyeConnect处于活动的用户。U1与U2正并排而坐,并且U3与U4正彼此相邻而坐。U1与U3相互注视,希望连接,并且U2与U4也互相注视。如果精度不够准确,则系统可能会认为U1与U4正互相注视,而U2与U3正互相注视。在此情况下,所述系统可能提供若干机制中的任何一个来解决这种状况。
[0303] 1.EyeConnect能够注意到错误的可能性并且警示用户。
[0304] 2.EyeConnect能够作出其最佳猜测并且要求确认,具有简单的校正可用。
[0305] 3.EyeConnect能够请求每个用户在潜在的目标个体当中作出选择。
[0306] 回想,在两个用户看向彼此时,对每个用户的面部所拍摄的快照被暂时性保持以提供信息来验证两个用户实际上正看向彼此。如上所述,该快照的可用性以及时机适当的呈现能够为所意图的连接提供了保证。快照或者来自目标的persona的现有图像可以被用于该目的。
[0307] 精度导致注视进一步远离甚至单个额外的穿戴着设备的EyeConnect用户的该示例的变型也可以利用对更大AOI的更多处理与用户界面内的适当信息耦合的组合来解决。潜在错误的发生率——无论假肯定(false-positive)还是假否定(false-negative),都会随着精度降低的眼睛跟踪以及更多的EyeConnect用户而增加。
[0308] 下面是附加的可选示例性特征,其中任何一个或多个能够被包括在EyeConnect系统内:
[0309] 1.EyeTalk-支持“语音连接”的EyeConnect
[0310] 2.地理定位的元信息-视觉上快速呈现的信息,关于:a)接近的熟人(认识的附近的人),b)接近对进行连接开放的潜在EyeConnect用户(包括关于去何处寻找他们、为何某人应连接等的引导),以及c)经促进的连接,包括图片和姓名提醒和的列表。
[0311] 3.EyeNote-关于熟人的笔记,其能够被语音转录、作为文本添加、或者基于经筛选的对Facebook、Linkedln等的访问。
[0312] 4.事件前连接-用户刚加载Event Profile并且指定也可以允许Connect Alert的事件的时间和地点时。
[0313] 5.无需眼睛发出信号的操作-基于任何形式的识别的关于人的一般信息,包括地理位置。
[0314] 6.UniSpark–对已经选择性加入以允许匹配和/或访问他们的Persona或者事件信息的其他穿戴着设备的个体的眼睛信号选择。例如,用户1(U1)可以注视用户2(U2)——另一个穿戴设备的个体,其已经经由EyeConnect来选择性加入以允许与进行征求的用户进行匹配(单向或双向共享)。如果发生匹配,则U1接收ConnectAlert与关于U2的信息。U2也可以可选地接收ConnectAlert。如果U2的EyeConnect是活动的并且U2已启用非注视警示,则U2启用Gazeless(无注视)Connect Alert。如果U2未运行EyeConnect,则U2可以从进行征求的、相匹配的用户接收所建立的任何连接与记录的Connect Alert信息的随后的报告。
[0315] 7.AnySpot-在允许面部识别的位置、时间和/或条件,无论用户使用可穿戴计算设备/EyeConnect与否,设备用户都可以看向任何面部以获得信息。使用面部识别,设备用户从包括他们自己的通讯录(contacts)的任何来源接收关于他们注视的每个个体的任何可用信息。EyeConnect提供了基于显示的信息,包括AR信息呈现,支持单向信息访问(包括回忆、笔记等)以及双向信息交换。
[0316] 下面是附加示例性连接配置连同每个配置内的独特元素的列表。全部实施方式都能够是基于CBID的并且适应于隐形眼镜、电话、和/或外部相机和眼睛跟踪,并且显示以用于非增强现实/虚拟现实、增强现实、和虚拟现实情境。
[0317] 由对话来可选择地协助的注视协助的对象识别
[0318] 用于从静态场景或者迅速变化的一系列图像中识别对象的计算机视觉技术通常要求强大处理能力、图像数据的高带宽传输以供非本地处理、高分辨率数字影像、非实时处理、以及对配备了相机的可穿戴计算机上的有意义、通用、即时的对象识别所很难实现的其他元素的某种组合,所述可穿戴计算机上进行的识别受限于有限的处理能力、相机分辨率、传输速度、电池电力和/或存储器。在眼睛跟踪技术方面的最新进展实现低功率、低处理、自给式可穿戴技术的部署。该技术是高效、专注、并且离散的(即专用的)。添加人类的认知选择来在场景内或者跨迅速变化的一系列图像来指定感兴趣区域能够显著减少在不同场境中从视觉上识别对象所需的资源。此外,视觉反馈系统是可取的,其能够实现在计算机视觉搜索期间的智能交换,这流畅、直观、并且将人类认知处理与机器处理融合以利用有限的资源来使得可穿戴计算机能够跨多个场境来识别对象。
[0319] 软件与用户之间的“对话”能够被使用于确认或者有助于对象识别。一旦确认,对象便能够被用于EyeConnection和/或信息共享。
[0320] 结构化的个人信息交换
[0321] 用于允许和促进信息的选择性共享的基于Persona的匹配能够包括:使用具有或者不具有显示器的可穿戴计算机系统、实时、用于特定共享的接近度(地理位置)和基于事件的简档。共享意愿的其他指示包括:互相注视、单方面注视、握手、和/或其他信号(例如肢体语言)或者手势。系统能够涉及用户指定的信息的本地或远程信息管理、筛选、和/或传输。系统也能够涉及Event Profile属性的社区共享、精化、和评级,所述属性能够包括特定筛选准则和共享准则。
[0322] 基于事件选择信息以确定相关性
[0323] 事件过滤器能够被用于确定个人/交互关系的相关性。这些过滤器能够包括:用户可加载、日历可加载的、由算法、相互或协同选择的和/或动态加载的准则产生的过滤器。能够在事件之前、事件期间、或者事件之后加载动态过滤器。
[0324] 通过同时注视对参与方的私人确定
[0325] 系统能够比较使用可穿戴设备看向彼此的个体的图像。所述系统能够使用事件简档、时间戳、和/或地理位置;并且避免面部识别软件(除临时图像或先验图像(a priori image)外)。该系统能够包括对“穿戴着设备”的用户的识别,以作为另一种筛选方法。其方法包括:用于辨别可穿戴设备的计算机视觉、追求/参与互相注视的用户、设备之间或者在看到具有活动的EyeConnect的另一个设备时的IR和/或其他信号收发协议。
[0326] 用于事件发起的基于互相注视的协议
[0327] 多个不同的准则和启发能够被用于发起和展开(或者相反,维护其隐私性)基于注视的事件。其中主要的是检测同时的目光接触以发起事件。其他准则包括以下的存在:可穿戴系统、基于相机的会议系统、1对1注视、1对n注视、n对m注视(用于共享信息的事件的群组发起)、较大群组内的1对1私人共享、较大参与者群组内的1对n私人共享、和/或用于定义目光接触的阈值时间。此外,准则能够依赖于是否涉及其他动作,包括:附加筛选以适格于事件,事件是否能够致使某种类型的控制(例如事件注册、更改信息),事件能够导致单向地从一方向另一方还是双向地在双方之间传送信息,和/或动作是实时还是延迟的。
[0328] 针对同时位置和映射的共同的注视数据贡献
[0329] 利用自可穿戴显示器的引导和反馈,能够在用户间协调和指引用户注视。显示器能够内嵌于设备或者在设备外围。例如,多个用户的注视能够指向体育场屏幕。从多个地理定位的用户,能够确定对聚焦处于特定方向的确认和/或分析。
[0330] 常见的注视发起的多模式信息交换
[0331] EyeConnection能够包括其他模态的信息交换,包括:视觉信息交换(例如视频或者图像)或者实时语音信息交换。
[0332] 为了方便起见,将操作描述为各个互联的功能块或者不同的软件模块。然而,这并非必需,而且以下情况下,将这些功能块或模块在没有明确界限的情况下等价地聚合成单个逻辑设备、程序或者操作。无论如何,功能块以及软件模块或者所述的特征能够由其自身或者结合硬件或软件中的其他操作来实现。
[0333] 出于说明和描述目的,已经提出示例性实施例的上述公开。其并非旨在穷举或者将本发明限定成所公开的确切形式。本文所述的实施例的许多变型和修改根据上述公开将对本领域普通技术人员显而易见。
[0334] 此外,在描述代表性实施例时,本说明书可能已经将所述的方法和/过程作为特定步骤序列来呈现。然而,就所述方法或过程而言,并不依赖于本文中所阐述的特定步骤顺序,所述方法或过程不应被限制为所述的特定步骤序列。本领域普通技术人员将领会到,其他步骤序列也是可能的。因此,在本说明书中所阐述的特定步骤顺序不应被解释为对权利要求的限制。
[0335] 应领会到,在本文中以任何实施例所示的元素或者组件对于具体实施例都是示例性的并且可以被用于本文所开的其他实施例或者与其结合使用。
[0336] 在本发明的示例性实施例中已描述和说明其原理,应当清楚,在不脱离这样的原理的情况下,可以在布置和细节上对本发明作出修改。对落入随后权利要求范围内的所有修改和变型都要求保护。