促成计算设备上基于动态眼睛扭转的眼睛跟踪

摘要

描述根据一个实施例用于促成计算设备上基于眼睛扭转的准确眼睛跟踪的机构。如本文描述的，实施例的方法包括确定代表一个或多个捕捉/感测设备的捕捉设备所捕捉的图像中人的头部的倾斜的头部姿态。图像可图示人的一个或多个眼睛。方法可进一步包括基于涉及图像并且由一个或多个捕捉/感测设备的感测设备感测的数据估计涉及一个或多个眼睛中的眼睛的重力矢量、基于头部姿态和重力矢量中的一个或多个来计算总扭转角以及估计与眼睛关联的凝视矢量来促成眼睛的跟踪。跟踪包括基于凝视矢量的眼睛的定位或移动。

权利要求

1.一种用于促成计算设备上基于眼睛扭转的准确眼睛跟踪的装置，其包括：

头部姿态估计逻辑，用于确定代表一个或多个捕捉/感测设备的捕捉设备所捕捉的图像中人的头部的倾斜的头部姿态，其中所述图像图示所述人的一个或多个眼睛；

重力矢量估计逻辑，用于基于涉及所述图像并且由所述一个或多个捕捉/感测设备的感测设备感测的数据估计涉及所述一个或多个眼睛中的眼睛的重力矢量；

扭转估计逻辑，用于基于所述头部姿态和所述重力矢量中的一个或多个来计算总扭转角；以及凝视矢量估计逻辑，用于估计与眼睛关联的凝视矢量来促成所述眼睛的跟踪，其中跟踪包括基于所述凝视矢量的眼睛的定位或移动。

2.如权利要求1所述的装置，其进一步包括接收/检测逻辑，用于分别从所述捕捉设备和所述感测设备接收所述图像和感测的数据，其中所述捕捉设备包括拍摄装置，并且其中所述感测设备包括加速计。

3.如权利要求1所述的装置，其进一步包括眼睛跟踪计算逻辑，用于计算所述眼睛的一个或多个轴，其中所述一个或多个轴包括涉及所述眼睛的光轴，其中所述光轴用于计算涉及所述眼睛的视轴。

4.如权利要求3所述的装置，其中基于所述光轴、视轴和总扭转角中的一个或多个来估计所述凝视矢量。

5.如权利要求1所述的装置，其中所述总扭转角的估计进一步基于第一扭转角和第二扭转角，其中所述第一扭转角包括Listing扭转角，并且第二扭转角包括倾斜扭转角。

6.如权利要求5所述的装置，其中所述倾斜扭转角对应于代表所述图像中所述人的头部的倾斜的头部姿态。

7.如权利要求1或5所述的装置，其中所述头部的倾斜对应于与所述头部的一个或多个取向关联的一个或多个自由度，其中所述一个或多个自由度包括滚动、俯仰和偏转中的一个或多个，其中所述图像包括三维（“3D”）图像。

8.如权利要求5所述的装置，其中所述倾斜扭转角至少部分基于第一扭转矢量与第二扭转矢量之间的关系来测量，其中所述第一扭转矢量包括恒定的重力矢量，并且所述第二扭转矢量包括动态改变的眼对眼矢量。

9.如权利要求3所述的装置，其进一步包括特征提取和评估逻辑，用于提取涉及所述眼睛的一个或多个特征，其中所述一个或多个特征包括眼球、眼角膜、中央凹和所述眼睛中心中的一个或多个的位置，其中基于所述一个或多个特征确定所述光轴。

10.一种用于促成计算设备上基于眼睛扭转的准确眼睛跟踪的方法，其包括：

确定代表一个或多个捕捉/感测设备的捕捉设备所捕捉的图像中人的头部的倾斜的头部姿态，其中所述图像图示所述人的一个或多个眼睛；

基于涉及所述图像并且由所述一个或多个捕捉/感测设备的感测设备感测的数据估计涉及所述一个或多个眼睛中的眼睛的重力矢量；

基于所述头部姿态和所述重力矢量中的一个或多个来计算总扭转角；以及估计与眼睛关联的凝视矢量来促成眼睛的跟踪，其中跟踪包括基于所述凝视矢量的眼睛的定位或移动。

11.如权利要求10所述的方法，其进一步包括分别从所述捕捉设备和所述感测设备接收所述图像和感测的数据，其中所述捕捉设备包括拍摄装置，并且其中所述感测设备包括加速计。

12.如权利要求10所述的方法，其进一步包括计算所述眼睛的一个或多个轴，其中所述一个或多个轴包括涉及所述眼睛的光轴，其中所述光轴用于计算涉及所述眼睛的视轴。

13.如权利要求12所述的方法，其中基于所述光轴、视轴和总扭转角中的一个或多个来估计所述凝视矢量。

14.如权利要求10所述的方法，其中所述总扭转角的计算进一步基于第一扭转角和第二扭转角，其中所述第一扭转角包括Listing扭转角，并且第二扭转角包括倾斜扭转角。

15.如权利要求14所述的方法，其中所述倾斜扭转角对应于代表所述图像中人的头部的倾斜的头部姿态。

16.如权利要求14所述的方法，其中所述头部的倾斜对应于与所述头部的一个或多个取向关联的一个或多个自由度，其中所述一个或多个自由度包括滚动、俯仰和偏转中的一个或多个，其中所述图像包括三维（“3D”）图像。

17.如权利要求14所述的方法，其中所述倾斜扭转角至少部分基于第一扭转矢量与第二扭转矢量之间的关系来测量，其中所述第一扭转矢量包括恒定的重力矢量，并且所述第二扭转矢量包括动态改变的眼对眼矢量。

18.如权利要求12所述的方法，其进一步包括提取涉及所述眼睛的一个或多个特征，其中所述一个或多个特征包括眼球、眼角膜、中央凹和所述眼睛中心中的一个或多个的位置，其中基于所述一个或多个特征确定所述光轴。

19.至少一个机器可读介质，其包括多个指令，所述指令在计算设备上执行时实现或执行如权利要求10-18中任一项中所述的方法。

20.一种用于促成计算设备上基于眼睛扭转的准确眼睛跟踪的系统，其包括用于实现或执行如权利要求10-18中任一项中所述的方法的机构。

21.一种用于促成计算设备上基于眼睛扭转的准确眼睛跟踪的装置，其包括用于执行如权利要求10-18中任一项中所述的方法的部件。

22.一种计算设备，其设置成实现或执行如权利要求10-18中任一项中所述的方法。

23.一种通信设备，其设置成实现或执行如权利要求10-18中任一项中所述的方法。

24.一种用于促成计算设备上基于眼睛扭转的准确眼睛跟踪的装置，其包括：

用于确定代表一个或多个捕捉/感测设备的捕捉设备所捕捉的图像中人的头部的倾斜的头部姿态的部件，其中所述图像图示所述人的一个或多个眼睛；

用于基于涉及所述图像并且由所述一个或多个捕捉/感测设备的感测设备感测的数据估计涉及所述一个或多个眼睛中的眼睛的重力矢量的部件；

用于基于所述头部姿态和所述重力矢量中的一个或多个来计算总扭转角的部件；以及用于估计与眼睛关联的凝视矢量来促成眼睛的跟踪，其中跟踪包括基于所述凝视矢量的眼睛的定位或移动的部件。

25.如权利要求24所述的装置，其进一步包括用于分别从所述捕捉设备和所述感测设备接收所述图像和感测的数据的部件，其中所述捕捉设备包括拍摄装置，并且其中所述感测设备包括加速计。

26.如权利要求24所述的装置，其进一步包括用于计算所述眼睛的一个或多个轴的部件，其中所述一个或多个轴包括涉及所述眼睛的光轴，其中所述光轴用于计算涉及所述眼睛的视轴。

27.如权利要求26所述的装置，其中基于所述光轴、视轴和总扭转角中的一个或多个来估计所述凝视矢量。

28.如权利要求24所述的装置，其中所述总扭转角的计算进一步基于第一扭转角和第二扭转角，其中所述第一扭转角包括Listing扭转角，并且第二扭转角包括倾斜扭转角。

29.如权利要求28所述的装置，其中所述倾斜扭转角对应于代表所述图像中人的头部的倾斜的头部姿态。

30.如权利要求28所述的装置，其中所述头部的倾斜对应于与所述头部的一个或多个取向关联的一个或多个自由度，其中所述一个或多个自由度包括滚动、俯仰和偏转中的一个或多个，其中所述图像包括三维（“3D”）图像。

31.如权利要求28所述的装置，其中所述倾斜扭转角至少部分基于第一扭转矢量与第二扭转矢量之间的关系来测量，其中所述第一扭转矢量包括恒定的重力矢量，并且所述第二扭转矢量包括动态改变的眼对眼矢量。

32.如权利要求26所述的装置，其进一步包括用于提取涉及所述眼睛的一个或多个特征的部件，其中所述一个或多个特征包括眼球、眼角膜、中央凹和所述眼睛中心中的一个或多个的位置，其中基于所述一个或多个特征确定所述光轴。

说明书

促成计算设备上基于动态眼睛扭转的眼睛跟踪

技术领域

[0001] 本文描述的实施例大体上涉及计算机。更具体地，实施例涉及促成计算设备上基于动态眼睛扭转的眼睛跟踪。

背景技术

[0002] 随着例如移动计算设备等计算设备的使用增加，跟踪眼动对于用于各种应用和过程（例如用户识别、用户注意力检测等）变得日益重要。例如，常规的眼睛跟踪技术对于检测
与眼睛跟踪有关的所有可能自由度是低效的且装备不良，并且此外这样的技术未能估计用
户眼睛的扭转。

附图说明

[0003] 在附图（其中类似的标号指相似元件）的图中通过示例而非限制的方式图示实施例。

[0004] 图1图示根据一个实施例采用基于动态扭转的眼睛跟踪机构的计算设备。

[0005] 图2A图示根据一个实施例的基于动态扭转的眼睛跟踪机构。

[0006] 图2B图示根据一个实施例的眼睛。

[0007] 图2C图示根据一个实施例被捕捉和处理的图像。

[0008] 图2D图示根据一个实施例被捕捉和处理的图像。

[0009] 图2E图示根据一个实施例为了改进且准确的眼睛跟踪要用于眼睛扭转的高效估计的一个或多个捕捉和感测设备。

[0010] 图3图示根据一个实施例用于根据一个实施例促成基于眼睛扭转的准确眼睛跟踪的方法。

[0011] 图4图示根据一个实施例适合于实现本公开的实施例的计算机系统。具体实施例

[0012] 在下列描述中，阐述许多具体细节。然而，如本文描述的实施例可以在没有这些具体细节的情况下实践。在其它实例中，未详细示出众所周知的电路、结构和技术以便不混淆
对该描述的理解。

[0013] 考虑到人的视觉是最强大的感知之一并且人眼一直在凝视，它们的移动可以揭示关于人的大脑的大量信息，例如人在思考、感受、观看、预期什么，等。实施例通过使用任意
数量的数据感测和捕捉设备来获得凝视矢量（例如通过眼睛的扭转运动，等）而提供智能、
高效且准确的眼睛跟踪来更好反映前面提到的状况以及从跟踪人眼可以解密的更多内容。
预想眼睛跟踪可以称为获得凝视矢量或凝视点的过程，其中凝视矢量指凝视方向，并且其
中凝视点指用户观看的点，其通常是凝视矢量和屏幕的相交。

[0014] 预想对应于眼睛凝视方向的每个凝视矢量则可以用于任意数量的软件程序/应用，例如（而没有限制地）：医疗设备和/或研究、激光屈光术、车辆仿真器和/或传感器、体育训练、商业眼睛跟踪（例如，广告、Web应用、市场营销、汽车、电影院/电视、图像和/或视频压缩、用户活动识别、大脑响应、计算机视觉等。

[0015] 实施例提供与眼睛跟踪拍摄装置有关的头部取向的动态和高效估计并且进一步提供拍摄装置在世界上取向的估计（例如，使用惯性传感器等），并且相应地，实施例提供促
成在世界参考系中用户头部取向的估计。该头部取向估计然后可以用于估计用户眼睛的扭
转。

[0016] 预想人眼可以具有三个机械自由度，例如左右取向（也称为“偏转（yaw）”）、上下取向（也称为“俯仰（pitch）”）和扭转旋转，例如围绕眼轴（也称为“滚动”）。另外，有意识地管理或控制三个自由度中的两个，例如左右取向（例如偏转）和上下取向（例如俯仰）。如前面提到的，第三个自由度可以包括扭转旋转，例如围绕眼轴，例如滚动。该扭转旋转可以涉及
下列两个情况，其中扭转旋转可以（而没有限制地）：1）在眼睛凝视点改变时被自发控制，这可以遵循一个或多个已知定律，例如Donders定律、Listing定律等（也称为“第一情况”或
“第二运动”）；以及2）因头部倾斜而得到补偿，其中眼睛保持它与地球的重力地平线
（horizon）有关的取向（也称为“第二情况”或“第二运动”）。

[0017] 实施例提供估计前面提到的涉及扭转旋转的第一和第二运动。预想为了避免任何不准确，第二运动可另外在涉及采用移动眼睛跟踪器的移动计算设备（例如，智能电话、平
板计算机，等）时是显著的，该移动眼睛跟踪器可以嵌入这样的移动计算设备中，其中用户
的头部可以向上倾斜到特定角度（例如直角，90度），例如在移动设备由用户用于在床上阅
读时等。

[0018] 图1图示根据一个实施例采用基于动态扭转的眼睛跟踪机构110的计算设备100。计算设备100起到主机的作用，用于托管基于动态扭转的眼睛跟踪机构（“眼睛跟踪机构”）
110，其包括任意数量和类型的部件（如在图2中图示的），以为了改进且准确的眼睛跟踪来
高效执行眼睛扭转的动态、智能和高效估计，如将在该整个文献中进一步描述的。

[0019] 计算设备100可以包括任意数量和类型的通信设备，例如大型计算系统，例如服务器计算机、台式计算机等，并且可以进一步包括机顶盒（例如，基于因特网的电缆电视机顶
盒，等）、基于全球定位系统（“GPS”）的设备等。计算设备100可以包括移动计算设备，其起到通信设备的作用，例如包括智能电话的蜂窝电话（例如，Apple®的iPhone®，Research in 
Motion®的BlackBerry®，等）、个人数字助理（“PDA”）、平板计算机（例如，Apple®的iPad®，Samsung®的Galaxy 3®，等）、便携式计算机（例如，笔记本、上网本、UltrabookTM系统，等）、电子阅读器（例如，Amazon®的Kindle®，Barnes and Nobles®的Nook®，等）、媒体互
联网设备（“MID”）、智能电视、电视平台、智能设备、计算粉尘（computing dust）、媒体播放器、可佩戴设备（例如，可佩戴眼镜（例如，Google®的Google  ®Glass®）、智能手表、手镯、智能卡、首饰、衣物等））、媒体播放器等。

[0020] 计算设备100可以包括操作系统（“OS”）106，其在计算设备100的硬件和/或物理资源与用户之间起到接口的作用。计算设备100进一步包括一个或多个处理器102、存储器设
备104、网络设备、驱动器或类似物，以及输入/输出（“I/O”）源108，例如触屏、触控面板、触控板、虚拟或常规键盘、虚拟或常规鼠标等。

[0021] 要注意像“节点”、“计算节点”、“服务器”、“服务器设备”、“云计算机”、“云服务器”、“云服务器计算机”、“机器”、“主机”、“设备”、“计算设备”、“计算机”、“计算系统”及类似物的术语在该整个文献中可以能互换地使用。要进一步注意像“应用”、“软件应用”、“程序”、“软件程序”、“组件（package）”、“软件组件”、“代码”、“软件代码”及类似物的术语在该整个文献中可以能互换地使用。同样，像“工作”、“输入”、“请求”、“消息”及类似物的术语在该整个文献中可以能互换地使用。预想术语“用户”可以指使用或访问计算设备100的个体或一群个体。

[0022] 图2A图示根据一个实施例的基于动态扭转的眼睛跟踪机构110。在一个实施例中，基于动态扭转的眼睛跟踪机构110可以包括任意数量和类型的部件，例如（而没有限制地）：
检测/接收逻辑201；特征提取和评估逻辑203；头部姿态估计逻辑205；重力矢量估计逻辑
207；扭转估计逻辑209；眼睛跟踪计算逻辑211；凝视矢量计算逻辑213；和通信/兼容性逻辑
215。

[0023] 除托管眼睛跟踪机构110外，计算设备100可以进一步包括一个或多个捕捉/感测设备221，其包括一个或多个捕捉设备（例如，拍摄装置、麦克风、传感器、加速计、照明器，等），这些设备可以用于捕捉任意数量和类型的数据，例如图像（例如，照片、视频、电影、音频/视频流，等）、音频流、生物计量读数、环境/天气状况、地图等，其中捕捉/感测设备221中的一个或多个（例如拍摄装置）可以与眼睛跟踪机构110的一个或多个部件（例如接收/检测
逻辑201）通信，来检测和接收拍摄装置所捕捉的图像。这样的图像然后可以用于眼睛跟踪
机构110所执行的各种任务，例如眼睛跟踪、扭转估计等。进一步预想一个或多个捕捉/感测
设备221可以进一步包括用于数据捕捉和/或感测的一个或多个支持或补充设备，例如照明
器（例如，图2E的红外（“IR”）照明器）；灯具、发生器、声音拦截器等。

[0024] 进一步预想在一个实施例中，捕捉/感测设备221可以进一步包括任意数量和类型的感测设备或传感器（例如，线性加速计），用于感测或检测任意数量和类型的场景（例如，
涉及移动计算设备等的估计地平线、线性加速等），其然后可以由眼睛跟踪机构110用于执
行涉及扭转估计的一个或多个任务并且这样做以用于准确的眼睛跟踪，如将在该整个文献
中进一步描述的。例如，捕捉/感测设备221可以包括任意数量和类型的传感器，例如（而没
有限制地）：加速计（例如，线性加速计，用于测量线性加速度，等）；惯性设备（例如，惯性加速计、惯性陀螺仪、微机电系统（“MEMS”）陀螺仪、惯性导航仪，等）；重力梯度仪，用于研究和测量由于重力引起的重力加速度中的变化，等。例如，捕捉/感测设备221可以进一步包括
（而没有限制地）：音频/视觉设备（例如，拍摄装置、麦克风、扬声器，等）；场景感知传感器（例如，温度传感器、与音频/视觉设备的一个或多个拍摄装置一起工作的面部表情和特征
测量传感器、环境传感器（例如用于感测背景颜色、光，等）、生物计量传感器（例如用于检测指纹，等）、日程表维护和读取设备）等；全球定位系统（“GPS”）传感器；资源请求方；和可信执行环境（“TEE”）逻辑。TEE逻辑可以单独被采用或可以是资源请求方和/或I/O子系统等的
一部分。

[0025] 计算设备100可以进一步包括一个或多个显示设备223，例如显示设备、显示屏等，其还可以保持与眼睛跟踪机构110的一个或多个部件（例如通信/兼容性逻辑221）通信，来
促成图像的显示等。

[0026] 计算设备100可以包括移动计算设备（例如，智能电话、平板计算机、可佩戴眼镜，例如Google® Glass®，等），其可以与一个或多个仓库或数据库（例如数据库230）通信，其
中可以存储和维持任意数量和类型的数据（例如，扭转估计、眼睛跟踪数据，等）连同可以存
储任意数量和类型的其他信息和数据源，例如资源、策略等。此外，计算设备100可以通过一
个或多个网络（例如云网络、因特网、内联网、万物联网（“IoT”）、近距离网络、Bluetooth等）与任意数量和类型的其他计算设备（例如台式计算机、便携式计算机、移动计算设备（例如
智能电话）、平板计算机、可佩戴眼镜等）通信。

[0027] 在图示的实施例中，计算设备100示出为托管眼睛跟踪机构110；然而，预想实施例不限于此并且在另一个实施例中，眼睛跟踪机构110可以完全或部分由多个设备所托管，例
如多个客户端计算机或服务器和客户端计算机的组合，等。然而，在该整个文献中，为了简
洁清楚起见并且便于理解，眼睛跟踪机构110示出为由计算设备100托管。

[0028] 预想计算设备100可以包括与眼睛跟踪机构110通信的一个或多个软件应用（例如，网站、商业应用、移动设备应用，等），其中软件应用可以提供一个或多个用户界面（例
如，web用户界面（WUI）、图形用户界面（GUI）、触屏，等）来与眼睛跟踪机构110的一个或多个操作或功能性一起工作和/或促成这些操作或功能性。

[0029] 在一个实施例中，捕捉/感测设备221的拍摄装置（例如，IR拍摄装置）可以用于捕捉眼睛（例如，人眼）的图像。例如，图像可以包括两个眼，但在一个实施例中，可以对每个眼估计不同的凝视矢量。拍摄装置所拍摄的图像然后可以传达给接收/检测201并且由其接收
或检测。然后可以提取图像的某些特征并且初始通过特征提取和评估逻辑203来处理它们，
其中例如可以从图像提取眼睛的瞳孔轮廓连同IR源的任何反射（例如，闪光）。预想凝视矢
量（例如，对于每个眼的独立凝视矢量）可以指示眼睛的凝视点并且可以视为眼睛跟踪过程
的主要输出。预想凝视跟踪仪的输出可以是凝视点（例如，屏幕上的点）、凝视矢量等。

[0030] 例如并且在一个实施例中，特征提取和评估逻辑203可以用于提取涉及眼睛的图像的各种图像特征的任意数量和类型的数据以用于进一步处理。该提取的特征数据可以被
处理并且然后由凝视矢量估计逻辑213用于计算或获得与每个眼关联的凝视矢量，其中提
取的数据可以包括（而没有限制地）：瞳孔、闪光的高度准确的位置，等。

[0031] 在一个实施例中，图像特征的该处理和凝视矢量的最终估计可以通过执行下列任务（而没有限制地）中的一个或多个而实现：1）经由眼睛跟踪计算逻辑211估计眼睛的光轴，
图像，例如图2B的眼睛240的光轴241，其中眼睛的光轴指经过眼角膜 249的曲率中心并且
与对称轴平行延伸的线。预想眼睛240可以包含眼角膜 249和晶状体（其可以用于聚焦），其
中可以从眼角膜 249获得反射。此外，球面镜可以视为眼角膜 249的数学模型，而并不是眼
睛240的物理特征。如将在下文进一步描述的，使用眼睛跟踪计算逻辑211，可以基于图像特
征、眼角膜的曲率半径以及眼角膜曲率中心与瞳孔平面的距离（如由特征提取和评估逻辑
203提取）中的一个或多个来计算光轴的任何参数；以及2）经由凝视矢量估计逻辑213估计
图像中眼睛的视轴，例如图2B的眼睛240的视轴243，其中眼睛的视轴指经过视觉中心（例如
通过图2B的中央凹）和眼睛的（光）节点的线。

[0032] 此外，如在图2B中图示的，视轴243与光轴241可以偏离一定角度，其称为kappa（“κ”）215，其中κ可以包括两个分量，例如水平角α（alpha）和外侧角β（beta）。例如，α的平均值可以是5°并且β可以是1.5°。预想角度κ对于每个人可以不同，例如因人而异，以及对于每
个眼睛是不同的，例如对左眼和右眼是不同的。此外，对每个个体可以通过校准过程来测量
κ。

[0033] 在一个实施例中，视轴可以基于光轴通过计算κ和眼睛的三轴姿态而获得。相似地，眼睛的俯仰和偏转角也可以从光轴获得或已知，而滚动角可以从一个或多个经验定律
得到，例如（而没有限制地）Donders定律（其规定在特定方向上看时眼睛的取向总是相同
的）、Listing定律（其规定眼睛的旋转轴位于共同平面（“无扭”）中并且该平面垂直于光轴）等。在一些实施例中，前面提到的定律在一个或多个条件下可以有效，例如在头部竖起（与
重力有关）时定律有效。例如，在头部倾斜（例如图像261A的头部263A倾斜成图像261B的倾
斜头部263B，如在图2C中图示的）时，眼睛可以进行扭转动作以便补偿旋转（例如头部263A
的无扭眼265A在它变成倾斜头部265B的倾斜眼265B时进行扭转动作，如在图2C中图示的）。
因此，在一些实施例中，获得或知道头部倾斜在准确估计视轴方面可以是有用的，准确估计
视轴则可以用于准确估计扭转角ψ，例如图2D的扭转角273。

[0034] 在一个实施例中，在通过特征提取和评估逻辑203提取和评估图像特征时，可以触发头部姿态估计逻辑205以基于如由提取和评估逻辑203从图像获得的眼睛的眼定位来进
行头部姿态的估计，其中图像可以由图2A的捕捉/感测设备221（例如，IR拍摄装置，等）中的
一个或多个捕捉。在一个实施例中，头部的全三维（“3D”）姿态（例如包括三个机械自由度
（例如，滚动、俯仰和偏转）中的一个或多个）可以通过使用如头部姿态估计逻辑205所促成
的一个或多个基于图像的头部姿态估计技术来实现。在另一个实施例中，眼睛跟踪仪可以
安装在智能设备上，例如在可佩戴眼镜（例如，Google® Glass®，等）上，使得由于用户头
部上智能设备的对准而可以直接从重力矢量和固定旋转来估计头部姿态。此外，在一个实
施例中，图像中两个眼睛的3D定位可以用于使用一个或多个基于3D的估计技术估计图像中
人头部的头部倾斜以进一步改进基于图像的姿态估计，如头部姿态估计逻辑205所促成的。

[0035] 在一个实施例中，一旦估计了头部姿态，可以触发重力矢量估计逻辑207以进行重力矢量估计。例如，可以基于由图2A的一个或多个捕捉/感测设备221（例如，线性加速计）获
得并且从其处接收的传感器获得的数据（例如，加速计数据）使用如重力矢量估计逻辑207
所促成的一个或多个重力矢量估计技术来进行重力矢量估计。

[0036] 在一个实施例中，扭转估计逻辑209可以用于执行扭转估计过程来获得最后的扭转值。例如并且在一个实施例中，可以基于涉及如由头部姿态估计逻辑205估计并且从其处
接收的头部姿态的数据来进行对Listing扭转角ψListing的估计。相似地，使用扭转估计逻辑
209，可以使用涉及如由重力矢量逻辑207获得的重力矢量的数据进行对倾斜扭转角ψtilt的
估计。在一个实施例中，扭转角可以计算为左眼对右眼矢量与垂直平面中的重力矢量之间
的角度（如在图2C-2D中图示的），其中垂直平面可以指包含重力矢量和眼睛的平面。

[0037] 此外，在一个实施例中，在应用Donders和Listing定律时，Listing扭转角可以由扭转估计逻辑209使用下列方程得到： ，其中θ、φ分别代表光轴关
于眼睛的静息定位的水平旋转角和垂直旋转角。此外，θ、φ可以计算且视为头部正面方向
与眼睛的光轴的角度差异。在一个实施例中，可以通过将倾斜扭转角添加到Listing扭转角
（如通过Donders和Listing定律所预测的）来获得最后的/总扭转角ψ，例如：总扭转角
。

[0038] 在一个实施例中，使用眼睛跟踪计算逻辑211并且如参考图2A-2B论述的，可以对每个眼估计光轴并且估计的光轴则可以用作一个或多个过程（例如扭转估计、凝视矢量估
计等）的输入。

[0039] 此外，在一个实施例中并且如参考图2A-2B论述的，可以基于光轴使用新近估计的扭转参数（如从前面提到的扭转估计获得的）以及一个或多个图像取向（例如偏转和俯仰
等）计算视轴。在一个实施例中，使用凝视矢量估计逻辑212，视轴可以估计如下：

[0040]

[0041] 其中 指眼睛处于其静息定位（例如，向前看）的光轴，其中指旋转（α，β）的变换（例如，围绕眼睛节点的旋转），并且其中 和 指光轴的变换，
如由眼睛跟踪仪所估计的（例如，偏转、俯仰）。此外，静息光轴可以旋转（α，β）并且然后旋转总扭转角ψ，并且然后进一步按照俯仰和偏转取向来旋转。

[0042] 如前面提到的， 可以基于头部姿态估计以及图像中眼睛中每个的眼定位而得到。此外， 可以指（α，β）的结果，其从不同方面陈述可以是扭转估计的结
果并且在应用于眼睛坐标系时是使用下列方程先验地测量： 。

[0043] 相似地，在一个实施例中， 可以指眼睛跟踪计算的结果，如眼睛跟踪计算逻辑211所促成的，例如：

[0044] ，其中θ指水平旋转并且其中φ指垂直旋转角。因此，

[0045]

[0046] 例如并且在一个实施例中，可以使用坐标系，其中x指水平方向，y指垂直方向，并且z是前向方向并且从而， 假设α=5 °，β=0 °，其意味着
，并且假设90°的头部倾斜，其意味着
，并且光轴方向向前（0俯仰，0偏转），其意味着
。因此，结果可以是 ，
其中例如忽略头部倾斜， ，其可以导致5°偏差，其中一个或多个
眼睛跟踪应用（例如，商业眼睛跟踪应用）可需要<1°的准确性。

[0047] 在一个实施例中，如关于图3图示的，总扭转角和涉及眼睛的一个或多个轴（例如，光轴、视轴，等）以及任何其他相关信息可以用于对每个眼估计凝视矢量，如由凝视矢量估
计逻辑330所促成的。预想每个凝视矢量可以对应于一个眼睛并且可以用于确定该眼的凝
视模式。这样的凝视模式可以用于眼睛的准确跟踪，其然后可以用于任意数量的应用，例如
（而没有限制地）：医疗设备和/或研究、激光屈光术、车辆仿真器和/或传感器、体育训练、商业眼睛跟踪（例如，广告、Web应用、市场营销、汽车、电影院/电势、图像和/或视频压缩、用户活动识别、大脑响应、计算机视觉等。

[0048] 在一个实施例中，图像可以由捕捉/感测设备221所捕捉、经由眼睛跟踪机构110来处理并且经由显示设备223来显示。预想眼睛跟踪机构110可以与一个或多个软件应用一起
使用并且与之通信，例如一个或多个电子邮件应用（例如，Gmail®、Outlook®、基于公司的
电子邮件，等）、使用一个或多个电信应用的文本或电话（例如，Skype®、Tango®、Viber®、
默认文本应用）、社交/商业联网网站（例如，Facebook®、Twitter®、LinkedIn®，等）或类
似物。

[0049] 在确保与变化的技术、参数、协议、标准等的兼容性的同时，通信/兼容性逻辑213可以用于促成计算设备100与以下各项之间的动态通信和兼容性：任意数量和类型的其他
计算设备（例如，移动计算设备、台式计算机、服务器计算设备，等）、处理设备（例如中央处理单元（CPU）、图形处理单元（GPU），等）、捕捉/感测设备213（例如，数据捕捉和/或感测仪器，例如拍摄装置、传感器、照明器，等）、显示设备223（例如显示设备、显示屏、显示仪器，等）、用户/场景感知部件和/或识别/验证传感器/设备（例如生物计量传感器/检测器、扫描
仪，等）、存储器或存储设备、数据库和/或数据源（例如数据存储设备、硬驱动器、固态驱动器、硬盘、存储卡或设备、存储器电路，等）、网络（例如，云网络、因特网、内联网、蜂窝网络、近距离网络，例如Bluetooth、低能量Bluetooth（BLF）、Bluetooth Smart、近距离Wi-Fi、射频识别（RFID）、近场通信（NFC）、体域网（BAN），等）、无线或有线通信和相关协议（例如，Wi-Fi®、WiMAX、以太网，等）、连接性和位置管理技术、软件应用/网站（例如，例如Facebook®、LinkedIn®、Google+®、Twitter®等社交和/或商业联网网站、商业应用、游戏和其他娱乐
应用，等）、编程语言等。

[0050] 在该整个文献中，可以能互换地引用像“逻辑”、“部件”、“模块”、“框架”、“引擎”、“点”、“工具”及类似物的术语并且它们通过示例包括软件、硬件和/或软件和硬件的组合，例如固件。此外，例如“图像”、“切割”、“视觉技术”、“姿势”、“手前臂”、“比率”、“阈值”、“轴”、“垂直”、“水平”、“迭代”、“计算”、“极点”、“滞后点”、“假设切割”、“文本”或“文本的”、“照片”或“图像”、“视频”、“社交联网网站”、“逻辑”、“引擎”、“模块”等特定品牌、词、术语、短语、名称和/或首字母缩略词的任何使用不应解读成将实施例限制在该文献以外著作中或者产品中携带该标签的软件或设备。

[0051] 预想任意数量和类型的部件可以添加到眼睛跟踪机构110和/或从其中去除以促成各种实施例，其包括添加、去除和/或增强某些特征。为了简洁、清楚起见并且便于理解眼
睛跟踪机构110，这里未示出或论述标准和/或已知部件中的许多，例如计算设备中的那些。
预想如本文描述的实施例不限于任何特定技术、拓扑、系统、架构和/或标准并且动态性足
以采用和适应任何未来改变。

[0052] 现在参考图2B，图示根据一个实施例的眼睛240。在图示的实施例中，提供眼球245和眼角膜249的正确位置，其然后可以用于确定中央凹247和光轴241，它们然后可以用于计
算视轴243和kappa角251，如将参考后续图进一步论述的。

[0053] 图2C图示根据一个实施例被捕捉和处理的图像261A、261B。在图示的实施例，图像261A示出具有两个眼睛、其中眼睛265A待跟踪的人的面部的图像。图像261A进一步图示并
且包括头部263A，其示出为直的并且相对于地球是垂直的，其中地球是万有引力（或简单地
称为“重力”）的来源。因此，如图示的，重力矢量271示出为指向下并且眼对眼矢量269A示出为相对于地球是横向或是水平的并且关于重力矢量271垂直。

[0054] 如在后续图像（例如图像261B）中图示的，图像261A的向上且直起头部263A示出为倾斜为头部263B，其现在相对于头部263A垂直或90°。预想如图示的，头部263B还使眼对眼
矢量269A倾斜为现在的眼对眼矢量269B，其现在与重力矢量271平行。该倾斜还使眼睛的定
位移动，例如连同头部263B一起倾斜的眼睛265A现在示出为在新的定位（为眼睛265B），这
促使它进行扭转运动267。

[0055] 图2D图示根据一个实施例被捕捉和处理的图像261C。如图示的，图像261C可以是图2C的图像261A、261B的延续，其中在与头部263B的倾斜角相比和/或相对于地球和重力矢
量271时，现在头部263C示出为从头部263A以较小角度往一边倾斜。在图示的实施例中，利
用该倾斜头部263C，眼睛265C现在处于新的倾斜定位，如相对于例如重力矢量271的眼对眼
矢量269C。在一个实施例中并且如图示的，该头部倾斜（例如从头部263A到头部263C）以及
对应的引起扭转运动267的从眼睛265A到眼睛265C的倾斜在初始眼对眼矢量269A与相对于
恒定的重力矢量271的新的眼对眼矢量269C之间产生一定角度。该角度（由扭转运动267引
起）要估计为扭转角273。

[0056] 图2E图示根据一个实施例待用于基于眼睛扭转的准确眼睛跟踪的一个或多个捕捉和感测设备281-285。如前面提到的，任意数量和类型的部件（例如，拍摄装置、传感器、显示设备，等）可以连同图2A的眼睛跟踪机构110一起使用来执行涉及眼睛扭转的估计和眼睛
跟踪的一个或多个任务。例如，图示的实施例显示用于图像捕捉的一组281-285捕捉/感测
设备221，例如捕捉人287的面部289的一个或多个图像。预想面部289的任何图像还可以包
括人287的眼睛的图像，其然后可以用于确定待用于各种估计和计算的对应于面部289的头
部的姿态和倾斜，如在该整个文献中描述的。预想图像可以是视频流或静止图像或类似物
的部分或从其中获得。

[0057] 在一个实施例中，捕捉/感测设备221的图示部件281-285包括要连同一个或多个惯性传感器283（例如，惯性加速计、线性加速计，等）和一个或多个照明器285（例如，IR照明器，等）一起或与之通信地使用来提供必要和/或期望的照明的一个或多个拍摄装置281（例
如，IR拍摄装置，等）。此外，如图示的，这些部件281-285可以与一个或多个处理单元（例如图1的处理器102）通信地使用来促成图2A的眼睛跟踪机构110的各种任务。例如并且在一个
实施例中，惯性传感器283和拍摄装置281使用照明器285所捕捉的人287的头部姿态的组合
可以用于获得和/或估计相关值来确定用于眼睛跟踪的眼睛扭转，如参考图3以及在该整个
文献中描述的。

[0058] 图3图示根据一个实施例用于促成根据一个实施例的眼睛的基于眼睛扭转的准确跟踪的方法300。方法300可以由处理逻辑执行，该处理逻辑可以包括硬件（例如，电路、专用
逻辑、可编程逻辑，等）、软件（例如在处理设备上运行的指令）或其组合。在一个实施例中，方法300可以由图1的眼睛跟踪机构110执行。在呈现方面为了简洁和清楚起见，方法300的
过程以线性序列图示；然而，预想可以并行、异步或按不同顺序执行任意数量的过程。为了
简洁起见，参考图1和2A-E论述的细节中的许多在下文可不论述或重复。

[0059] 如前面提到的，实施例提供眼睛跟踪系统，其基于使用图2A的各种捕捉/感测设备221，例如IR拍摄装置、IR照明器、线性加速计等，其中例如并且IR拍摄装置可以捕捉眼睛的
图像。然后可以处理该图像，例如可以提取涉及眼睛的轮廓以及从任何IR源（例如，IR光源，
等）的反射（例如，闪光）。在一个实施例中，可以准确估计涉及眼睛的凝视矢量并且将其视
为眼睛跟踪的主要输出使得这些凝视矢量可以用于智能和准确眼睛跟踪。预想凝视矢量指
示凝视模式并且对于每个眼以及对于每个个体及类似物可以不同，并且用于各种目的和软
件程序。

[0060] 方法300在框305开始，其中使用图像中人眼睛的3D定位（如在图2C-2D中示出的）来估计图像的头部姿态（例如，头部倾斜）。例如并且在一个实施例中，头部的全3D姿态（其
可以包括滚动、俯仰和偏转中的一个或多个）可以通过使用如由图2A的头部姿态估计逻辑
205所促成的一个或多个基于图像的头部姿态估计技术而实现。此外，图像的两个眼的3D定
位可以用于使用一个或多个基于3D的估计技术来估计图像中人的头部的头部倾斜以进一
步改进基于图像的姿态估计。此外，关于头部姿态估计的过程，在框305，为了使眼睛的3D定
位与基于图像的姿态估计合并，眼睛的3D定位可以帮助确定滚动和偏转自由度，俯仰仍然
不确定。例如，在一个实施例中，两个估计器可以用于1）估计（或假设）如从眼睛的3D定位估计的滚动、偏转的噪声，以及如由基于图像的姿态估计所估计的噪声；以及2）计算两个测量
（例如，从3D眼睛测量，和基于图像的测量）的最大似然混合。

[0061] 在框310，触发图2A的重力矢量估计逻辑207以基于从图2A的捕捉/感测设备221（例如，线性加速计，等）中的一个或多个接收的检测/感测数据（例如，加速计数据，等）并且使用一个或多个重力矢量估计技术来进行重力矢量估计。在一个实施例中，在框315，
Listing扭转由图2A的扭转估计逻辑209使用从前面提到的框305的头部姿态估计获得的头
部姿态数据来估计。如参考图2A进一步论述的，应用Donders和Listing定律，使用下列方程
得到Listing扭转角ψListing： ，其中θ、φ分别代表光轴相对于
眼睛的静息定位的水平旋转角和垂直旋转角。

[0062] 相似地，在框320，图2A的扭转估计逻辑209基于从前面提到的框310的重力矢量估计获得的重力矢量数据促成倾斜扭转估计。如参考图2A进一步论述的，倾斜相关的扭转角
ψtilt可以计算为如在图2C-2D中图示的垂直平面中左眼对右眼矢量与重力矢量之间的角
度，其中该垂直平面可指包含重力矢量和眼睛的平面。使用倾斜和Listing扭转角，可以获
得总扭转角，例如通过简单地将倾斜扭转角添加到Listing扭转角（如由Donders和Listing
定律所预测的），例如：总扭转角 。

[0063] 此外，关于头部倾斜相关扭转计算，在框320，使用从加速计（例如，加速计数据，等）获得的信息，线性加速计可以用于在各种轴/坐标中产生加速度的测量，例如x、y、z轴、
AX、AY、AZ（在自身的坐标系中）。此外，假设此刻的加速度是重力加速度，则重力加速度可以是AX、AY、AZ。如果通过查看加速度矢量的大小（例如 ）检测到系统
不受额外加速度的影响，如果该大小与已知的加速度重力（ 9.8米/secˆ2）可以没有明显不
~
同，我们可以假设唯一加速度可以是重力加速度。

[0064] 在一个实施例中，在框325，使用眼睛的图像，可以对每个眼估计光轴，如由图2A的眼睛跟踪计算逻辑211所促成并且如参考图2A-2B进一步图示的。该估计的光轴然后可以用
作框320处的扭转估计和框330处的凝视矢量估计等中的一个或多个的输入。在进一步解释
框325处的过程中，可以发现若干角膜反射（例如，闪光）并且使用系统（例如，灯、拍摄装置，等）几何形状的光学几何形状和事先了解以及眼角膜曲率半径可以计算眼角膜曲率中心。
然后，可以发现瞳孔轮廓并且使用光学几何形状以及瞳孔平面与眼角膜曲率中心之间的
（先验已知的）距离，可以计算3D瞳孔中心。3D眼角膜曲率中心与3D瞳孔中心之间的矢量可
以视为光轴。此外，在框330处，通过凝视估计过程基于光轴并且进行校准变换来生成视轴。

[0065] 在框330，在一个实施例中，如参考图2A-2B论述的，凝视矢量估计逻辑212可以用于基于对应的光轴并且使用如在框315、320中获得的新的扭转参数或角度以及图像的偏转
和俯仰取向来对每个眼估计视轴。该视轴可以估计如下：

[0066]

[0067] 其中 指眼睛处于其静息定位（例如，向前看）的光轴，其中指旋转（α，β）的变换（例如，围绕眼睛节点的旋转），并且其中 和
指光轴的变换，如由眼睛跟踪仪所估计的（例如，偏转、俯仰）。此外，静息光轴
可以旋转（α，β）并且然后旋转总扭转角ψ，并且然后进一步按照俯仰和偏转来旋转。相似地，在一个实施例中， 可以使用图像中眼睛的定位从头部姿态估计得到，如参考
框305论述的。

[0068] 此外，在一个实施例中，如上文描述的对每个眼估计视轴，视轴连同眼睛的光轴以及总扭转角则可以由图2A的凝视矢量估计逻辑212用于估计每个眼的凝视矢量。预想每个
凝视矢量可以对应于一个眼睛并且可以用于确定该眼的凝视模式，其中这样的凝视模式可
以用于眼睛的准确跟踪，其然后可以用于任意数量的商业和非商业软件程序或应用。预想
准确的眼睛跟踪可以从采用眼睛跟踪的任何软件应用促成更好且更准确的性能。

[0069] 此外，关于框330的凝视矢量估计，眼睛跟踪可以同义地称为凝视跟踪，其中凝视矢量和凝视点（例如凝视矢量和屏幕的相交）基本上是眼睛跟踪过程的最后输出，例如使用
框325的眼睛跟踪算法。如参考框330描述的，光轴到视轴的变换，例如：

[0070]

[0071] 光轴（没有校准）可表现为：

[0072] ，其中如果忽略倾斜相关扭转，视轴可以如下：如前面提到的，

[0073]

[0074] 图4图示计算系统400的实施例。计算系统400代表一系列计算和电子设备（有线或无线），其包括例如台式计算系统、便携式计算系统、蜂窝电话、个人数字助理（PDA）（其包括启用蜂窝的PDA）、机顶盒、智能电话、平板、可佩戴设备等。备选的计算系统可以包括更多、更少和/或不同的部件。计算设备400可以与参考图1描述的计算设备100相同或相似或包括
该计算设备100。

[0075] 计算系统400包括总线405（或例如链路、互连或用于传达信息的另一个类型的通信设备或接口）和耦合于总线405、可以处理信息的处理器410。尽管计算系统400图示有单
个处理器，它可以包括多个处理器和/或协处理器，例如中央处理器、图像信号处理器、图形
处理器和视觉处理器等中的一个或多个。计算系统400可以进一步包括随机存取存储器
（RAM）或其他动态存储设备420（称为主存储器），其耦合于总线405，并且可以存储可以由处理器410执行的信息和指令。主存储器420也可以用于存储在处理器110执行指令期间的临
时变量或其他中间信息。

[0076] 计算系统400还可以包括只读存储器（ROM）和/或耦合于总线405、可以对处理器410存储静态信息和指令的其他存储设备430。数据存储设备440可以耦合于总线405来存储
信息和指令。数据存储设备440（例如磁盘或光盘和对应的驱动器）可以耦合于计算系统
400。

[0077] 计算系统400还可以经由总线405耦合于显示设备450，例如阴极射线管（CRT）、液晶显示器（LCD）或有机发光二极管（OLED）阵列，来向用户显示信息。用户输入设备460（其包括字母数字和其他键）可以耦合于总线405来向处理器410传达信息和命令选择。另一个类
型的用户输入设备460是光标控制470，例如鼠标、轨迹球、触屏、触控板或光标方向键，用于
向处理器410传达方向信息和命令选择并且控制光标在显示器450上的移动。计算机系统
400的拍摄装置和麦克风阵列490可以耦合于总线405来观察姿势、记录音频和视频并且接
收和传送视觉和音频命令。

[0078] 计算系统400可以进一步包括网络接口480，用于提供对例如局域网（LAN）、广域网（WAN）、城域网（MAN）、个人区域网（PAN）、Bluetooth、云网络、移动网络（例如，第三代（3G）等）、内联网、因特网等网络的接入。网络接口480可以包括例如无线网络接口，其具有天线
485，该天线485可以代表一个或多个天线。网络接口480还可以包括例如有线网络接口，用
于经由网络缆线487（其可以是例如以太网缆线、同轴缆线、光纤缆线、串行缆线或并行缆
线）与远程设备通信。

[0079] 网络接口480可以例如通过遵循IEEE 802.11b和/或IEEE 802.11g标准来提供对LAN的接入，并且/或无线网络接口可例如通过遵循Bluetooth标准来提供对个人区域网的
接入。还可支持其他无线网络接口和/或协议，其包括这些标准的之前和后续版本。

[0080] 除经由无线LAN标准通信之外或代替该通信，网络接口480可以使用例如时分多址（TDMA）协议、全球移动通信系统（GSM）协议、码分多址（CDMA）协议和/或任何其他类型的无线通信协议来提供无线通信。

[0081] 网络接口480可以包括一个或多个通信接口，例如调制解调器、网络接口卡或其他众所周知的接口设备，例如用于耦合于以太网的那些、令牌环，或为了提供通信链路来支持
例如LAN或WAN的其他类型的物理有线或无线附件。采用该方式，计算机系统还可以经由常
规网络基础设施（其包括例如内联网或因特网）耦合于许多外围设备、客户端、控制表面、控
制台或服务器。

[0082] 要意识到比上文描述的示例更少或更多配备的系统对于某些实现可以是优选的。因此，计算系统400的配置可因实现而异，这取决于许多因素，例如价格约束、性能要求、技
术改进或其他情况。电子设备或计算机系统400的示例可以无限制地包括移动设备、个人数
字助理、移动计算设备、智能电话、蜂窝电话、手持机、单向寻呼机、双向寻呼机、消息传递设备、计算机、个人计算机（PC）、台式计算机、便携式计算机、笔记本计算机、手持计算机、平板计算机、服务器、服务器阵列或服务器场、web服务器、网络服务器、因特网服务器、工作站、微型计算机、大型计算机、超型计算机、网络电器、web电器、分布式计算系统、多处理器系
统、基于处理器的系统、消费者电子器件、可编程消费者电子器件、电视、数字电视、机顶盒、无线接入点、基站、订户站、移动订户中心、无线电网络控制器、路由器、集线器、网关、网桥、交换机、机器或其组合。

[0083] 实施例可以实现为以下中的任一个或组合：使用母板而互连的一个或多个微芯片或集成电路、硬接线逻辑、存储器设备存储并且由微处理器执行的软件、固件、专用集成电
路（ASIC）和/或现场可编程门阵列（FPGA）。术语“逻辑”通过示例可以包括软件或硬件和/或软件和硬件的组合。

[0084] 实施例可例如作为计算机程序产品而提供，该计算机程序产品可以包括一个或多个机器可读介质，其具有存储在其上的机器可执行指令，该机器可执行指令在由例如计算
机、计算机的网络或其他电子设备等一个或多个机器执行时可以产生根据本文描述的实施
例实施操作的一个或多个机器。机器可读介质可以包括但不限于软盘、光盘、CD-ROM（压缩
盘-只读存储器）和磁光盘、ROM、RAM、EPROM（可擦除可编程只读存储器）、EEPROM（电可擦除可编程只读存储器）、磁或光卡、闪速存储器或适合于存储机器可执行指令的其他类型的介
质/机器可读介质。

[0085] 此外，实施例可以作为计算机程序产品被下载，其中程序可通过载波或其他传播介质中包含和/或由其调制的一个或多个数据信号经由通信链路（例如，调制解调器和/或
网络连接）从远程计算机（例如，服务器）传输到请求计算机（例如，客户端）。

[0086] 对“一个实施例”、“实施例”、 “示例实施例”、“各种实施例”等的引用指示这样描述的实施例可以包括特定特征、结构或特性，但不是每一个实施例都一定包括这些特定特征、结构或特性。此外，一些实施例可以具有对其他实施例所描述的特征中的一些、全部或
可以不具有对其他实施例所描述的特征。

[0087] 在下列说明书和权利要求中，可以使用术语“耦合”连同它的派生词。“耦合”用于指示两个或以上要素彼此协同操作或交互，但在它们之间它们可以具有或可以没有介入的
物理或电部件。

[0088] 如在权利要求中使用的，除非另外规定，用于描述公共要素的序数词“第一”、“第二”、“第三”等的使用仅仅指示类似要素的不同实例被提及，并且不意在暗指这样描述的要
素必须在时间上、空间上采用排序或采用任何其它方式处于给定序列中。

[0089] 下列条款和/或示例关于另外的实施例或示例。在一个或多个实施例中，示例中的细节可以在任何地方使用。不同实施例或示例的各种特征可以多方面地与所包括的一些特
征组合，其他特征被去除来适应多种不同应用。示例可以包括例如方法、用于执行方法的动
作的部件、至少一个机器可读介质等主旨，该至少一个机器可读介质包括指令，其在由机器
执行时促使该机器执行方法或装置或系统的动作以用于促成根据本文描述的实施例和示
例的混合通信。

[0090] 一些实施例关于示例1，其包括促成计算设备上基于眼睛扭转的准确眼睛跟踪的装置，该装置包括：头部姿态估计逻辑，用于确定代表一个或多个捕捉/感测设备的捕捉设
备所捕捉的图像中人的头部的倾斜的头部姿态，其中图像图示人的一个或多个眼睛；重力
矢量估计逻辑，用于基于涉及图像并且由一个或多个捕捉/感测设备的感测设备感测的数
据估计涉及一个或多个眼睛中的眼睛的重力矢量；扭转估计逻辑，用于基于头部姿态和重
力矢量中的一个或多个来计算总扭转角；和凝视矢量估计逻辑，用于估计与眼睛关联的凝
视矢量来促成眼睛的跟踪，其中跟踪包括基于凝视矢量的眼睛的定位或移动。

[0091] 示例2包括示例1的主旨，其进一步包括接收/检测逻辑，用于分别从捕捉设备和感测设备接收图像和感测的数据，其中捕捉设备包括拍摄装置，并且其中感测设备包括加速
计。

[0092] 示例3包括示例1的主旨，其进一步包括眼睛跟踪计算逻辑，用于计算眼睛的一个或多个轴，其中该一个或多个轴包括涉及眼睛的光轴，其中光轴用于计算涉及眼睛的视轴。

[0093] 示例4包括示例1的主旨，其中基于光轴、视轴和总扭转角中的一个或多个来估计凝视矢量。

[0094] 示例5包括示例1的主旨，其中扭转角的估计进一步基于第一扭转角和第二扭转角，其中该第一扭转角包括Listing扭转角，并且第二扭转角包括倾斜扭转角。

[0095] 示例6包括示例5的主旨，其中倾斜扭转角对应于代表图像中人的头部的倾斜的头部姿态，其中头部的倾斜对应于与头部的一个或多个取向关联的一个或多个自由度，其中
该一个或多个自由度包括滚动、俯仰和偏转中的一个或多个，其中图像包括三维（“3D”）图
像。

[0096] 示例7包括示例5的主旨，其中倾斜扭转角至少部分基于第一扭转角与第二扭转角之间的关系来测量，其中第一扭转角包括恒定的重力矢量，并且第二扭转矢量包括动态改
变的眼对眼矢量。

[0097] 示例8包括示例1的主旨，其进一步包括特征提取和评估逻辑，用于提取涉及眼睛的一个或多个特征，其中该一个或多个特征包括眼球、眼角膜、中央凹和眼睛中心中的一个
或多个的位置，其中基于该一个或多个特征确定光轴。

[0098] 一些实施例关于示例9，其包括用于促成计算设备上基于眼睛扭转的准确眼睛跟踪的方法，该方法包括：确定代表一个或多个捕捉/感测设备的捕捉设备所捕捉的图像中人
的头部的倾斜的头部姿态，其中图像图示人的一个或多个眼睛；基于涉及图像并且由一个
或多个捕捉/感测设备的感测设备感测的数据估计涉及一个或多个眼睛中的眼睛的重力矢
量；基于头部姿态和重力矢量中的一个或多个来计算总扭转角；以及估计与眼睛关联的凝
视矢量来促成眼睛的跟踪，其中跟踪包括基于凝视矢量的眼睛的定位或移动。

[0099] 示例10包括示例9的主旨，其进一步包括分别从捕捉设备和感测设备接收图像和感测的数据，其中捕捉设备包括拍摄装置，并且其中感测设备包括加速计。

[0100] 示例11包括示例9的主旨，其进一步包括计算眼睛的一个或多个轴，其中该一个或多个轴包括涉及眼睛的光轴，其中光轴用于计算涉及眼睛的视轴。

[0101] 示例12包括示例9的主旨，其中基于光轴、视轴和总扭转角中的一个或多个来估计凝视矢量。

[0102] 示例13包括示例9的主旨，其中扭转角的计算进一步基于第一扭转角和第二扭转角，其中该第一扭转角包括Listing扭转角，并且第二扭转角包括倾斜扭转角。

[0103] 示例14包括示例13的主旨，其中倾斜扭转角对应于代表图像中人的头部的倾斜的头部姿态，其中头部的倾斜对应于与头部的一个或多个取向关联的一个或多个自由度，其
中该一个或多个自由度包括滚动、俯仰和偏转中的一个或多个，其中图像包括三维（“3D”）
图像。

[0104] 示例15包括示例13的主旨，其中倾斜扭转角至少部分基于第一扭转角与第二扭转角之间的关系来测量，其中第一扭转角包括恒定的重力矢量，并且第二扭转矢量包括动态
改变的眼对眼矢量。

[0105] 示例16包括示例9的主旨，其进一步包括提取涉及眼睛的一个或多个特征，其中该一个或多个特征包括眼球、眼角膜、中央凹和眼睛中心中的一个或多个的位置，其中基于该
一个或多个特征确定光轴。

[0106] 示例17包括至少一个机器可读介质，其包括多个指令，这些指令在计算设备上执行时实现或执行方法或实现如在之前的权利要求中要求保护的装置。

[0107] 示例18包括至少一个非暂时性或有形的机器可读介质，其包括多个指令，这些指令在计算设备上执行时实现或执行方法或实现如在之前的权利要求中要求保护的装置。

[0108] 示例19包括一种系统，其包括用于实现或执行方法或实现如在之前的权利要求中要求保护的装置的机构。

[0109] 示例20包括一种装置，其包括用于执行如在之前的权利要求中要求保护的方法的部件。

[0110] 示例21包括一种计算设备，其设置成实现或执行方法或实现如在之前的权利要求中要求保护的装置。

[0111] 示例22包括一种通信设备，其设置成实现或执行方法或实现如在之前的权利要求中要求保护的装置。

[0112] 一些实施例关于示例23，其包括一种系统，该系统包括：具有指令的存储设备；和处理器，用于执行指令以促成机构执行一个或多个操作，其包括：确定代表一个或多个捕
捉/感测设备的捕捉设备所捕捉的图像中人的头部的倾斜的头部姿态，其中图像图示人的
一个或多个眼睛；基于涉及图像并且由一个或多个捕捉/感测设备的感测设备感测的数据
估计涉及一个或多个眼睛中的眼睛的重力矢量；基于头部姿态和重力矢量中的一个或多个
来计算总扭转角；以及估计与眼睛关联的凝视矢量来促成眼睛的跟踪，其中跟踪包括基于
凝视矢量的眼睛的定位或移动。

[0113] 示例24包括示例23的主旨，其中一个或多个操作包括分别从捕捉设备和感测设备接收图像和感测的数据，其中捕捉设备包括拍摄装置，并且其中感测设备包括加速计。

[0114] 示例25包括示例23的主旨，其中一个或多个操作包括计算眼睛的一个或多个轴，其中该一个或多个轴包括涉及眼睛的光轴，其中光轴用于计算涉及眼睛的视轴。

[0115] 示例26包括示例23的主旨，其中基于光轴、视轴和总扭转角中的一个或多个来估计凝视矢量。

[0116] 示例27包括示例23的主旨，其中扭转角的计算进一步基于第一扭转角和第二扭转角，其中该第一扭转角包括Listing扭转角，并且第二扭转角包括倾斜扭转角。

[0117] 示例28包括示例27的主旨，其中倾斜扭转角对应于代表图像中人的头部的倾斜的头部姿态，其中头部的倾斜对应于与头部的一个或多个取向关联的一个或多个自由度，其
中该一个或多个自由度包括滚动、俯仰和偏转中的一个或多个，其中图像包括三维（“3D”）
图像。

[0118] 示例29包括示例27的主旨，其中倾斜扭转角至少部分基于第一扭转角与第二扭转角之间的关系来测量，其中第一扭转角包括恒定的重力矢量，并且第二扭转矢量包括动态
改变的眼对眼矢量。

[0119] 示例30包括示例23的主旨，其中一个或多个操作包括提取涉及眼睛的一个或多个特征，其中该一个或多个特征包括眼球、眼角膜、中央凹和眼睛中心中的一个或多个的位
置，其中基于一个或多个特征确定光轴。

[0120] 一些实施例关于示例31，其包括一种装置，该装置包括：用于确定代表一个或多个捕捉/感测设备的捕捉设备所捕捉的图像中人的头部的倾斜的头部姿态的部件，其中图像
图示人的一个或多个眼睛；用于基于涉及图像并且由一个或多个捕捉/感测设备的感测设
备感测的数据估计涉及一个或多个眼睛中的眼睛的重力矢量的部件；用于基于头部姿态和
重力矢量中的一个或多个来计算总扭转角的部件；以及用于估计与眼睛关联的凝视矢量来
促成眼睛的跟踪的部件，其中跟踪包括基于凝视矢量的眼睛的定位或移动。

[0121] 示例32包括示例31的主旨，其进一步包括用于分别从捕捉设备和感测设备接收图像和感测的数据的部件，其中捕捉设备包括拍摄装置，并且其中感测设备包括加速计。

[0122] 示例33包括示例31的主旨，其进一步包括用于计算眼睛的一个或多个轴的部件，其中该一个或多个轴包括涉及眼睛的光轴，其中光轴用于计算涉及眼睛的视轴。

[0123] 示例34包括示例31的主旨，其中基于光轴、视轴和总扭转角中的一个或多个来估计凝视矢量。

[0124] 示例35包括示例31的主旨，其中扭转角的计算进一步基于第一扭转角和第二扭转角，其中该第一扭转角包括Listing扭转角，并且第二扭转角包括倾斜扭转角。

[0125] 示例36包括示例35的主旨，其中倾斜扭转角对应于代表图像中人的头部的倾斜的头部姿态，其中头部的倾斜对应于与头部的一个或多个取向关联的一个或多个自由度，其
中该一个或多个自由度包括滚动、俯仰和偏转中的一个或多个，其中图像包括三维（“3D”）
图像。

[0126] 示例37包括示例35的主旨，其中倾斜扭转角至少部分基于第一扭转角与第二扭转角之间的关系来测量，其中第一扭转角包括恒定的重力矢量，并且第二扭转矢量包括动态
改变的眼对眼矢量。

[0127] 示例38包括示例31的主旨，其中一个或多个操作包括提取涉及眼睛的一个或多个特征，其中该一个或多个特征包括眼球、眼角膜、中央凹和眼睛中心中的一个或多个的位
置，其中基于该一个或多个特征确定光轴。

[0128] 附图和前面的描述给出实施例的示例。本领域内技术人员将意识到描述的要素中的一个或多个可以很好地组合成单个功能要素。备选地，某些要素可分成多个功能要素。来
自一个实施例的要素可添加到另一个实施例。例如，本文描述的过程的顺序可改变并且不
限于本文描述的方式。此外，任何流程图的动作不必按示出的顺序实现；也不必执行动作中
的全部。而且，不依赖于其他动作的那些动作可与其他动作并行执行。实施例的范围绝不由
这些特定示例限制。例如结构、尺寸和材料使用中的差异等许多改动，无论是否在说明书中
明确给出，都是可能的。实施例的范围至少与由随附的权利要求给出的范围那样广。