一种视线追踪方法及装置

摘要

本申请提供一种视线追踪方法及装置，涉及计算机视觉技术领域，能够有效提高对视轴方向的估算准确率。该方法包括：获取用户脸部的纹理图像和三维点云数据；根据所述纹理图像和所述三维点云数据，确定所述用户眼睛的角膜中心坐标和眼球中心坐标；根据所述角膜中心坐标和所述眼球中心坐标，确定光轴方向；根据所述光轴方向和光视轴方向角度差，确定视轴方向；通过获取纹理图像和三维点云数据，实现了对用户凝视点的实时追踪，提高了光轴方向的判断准确率，因此实现了对视轴方向的准确追踪，在一定程度上提高了眼控操作和交互的准确性。

权利要求

1.一种视线追踪方法，其特征在于，包括：获取用户脸部的纹理图像和三维点云数据，所述纹理图像是基于结构光获取到的纹理图像，所述三维点云数据是基于结构光获取到的三维点云数据；

根据所述纹理图像和所述三维点云数据，确定所述用户眼睛的角膜中心坐标和眼球中心坐标；

根据所述角膜中心坐标和所述眼球中心坐标，确定光轴方向；

根据所述光轴方向和光视轴方向角度差，确定视轴方向；

其中，所述根据所述纹理图像和所述三维点云数据，确定所述用户眼睛的角膜中心坐标和眼球中心坐标，包括：

利用最小二乘法，对坐标集合中的三维空间坐标进行球拟合得到球心的坐标，所述球心的坐标为所述眼球中心坐标；

其中，进行球拟合得到球心的坐标，包括：从所述坐标集合中随机选择若干个不在同一平面的三维空间坐标，利用最小二乘法进行球拟合得到待定球心的坐标和半径；

根据预设误差公式和所述待定球心的坐标和半径计算误差值，将所述坐标集合中误差值最小的所述待定球心的坐标作为球拟合最终的球心坐标，所述预设误差公式为：

2 2 2 2

E＝∑(x+y+z‑Ax‑By‑Cz+D)其中，E为误差值，{x,y,z}为所述坐标集合中的任一三维空间坐标，A、B、C、D为中间参

2 2 2 2

数，其中A＝2a,B＝2b,C＝2c,D＝a+b+c‑R ，{a,b,c}为所述待定球心的坐标，R为所述待定球心的半径，

2.如权利要求1所述的视线追踪方法，其特征在于，所述根据所述纹理图像和所述三维点云数据，确定所述用户眼睛的角膜中心坐标和眼球中心坐标，包括：从所述纹理图像中获取所述用户的眼睛区域，并确定所述眼睛区域中的瞳孔区域；

根据所述眼睛区域和所述瞳孔区域，确定所述用户眼睛的虹膜区域；

根据所述虹膜区域和所述三维点云数据，确定所述用户的角膜中心坐标；

根据所述眼睛区域、所述虹膜区域和所述三维点云数据，确定所述用户的眼球中心坐标。

3.如权利要求2所述的视线追踪方法，其特征在于，所述根据所述虹膜区域和所述三维点云数据，确定所述用户的角膜中心坐标，包括：通过相机二维坐标与三维空间坐标之间的映射关系，根据所述虹膜区域对应的相机二维坐标，从所述三维点云数据中确定所述虹膜区域对应的三维空间坐标的第一坐标集合；

根据所述第一坐标集合中的三维空间坐标，确定所述用户的角膜中心坐标。

4.如权利要求3所述的视线追踪方法，其特征在于，所述根据所述第一坐标集合中的三维空间坐标，确定所述用户的角膜中心坐标，包括：利用最小二乘法，对所述第一坐标集合中的三维空间坐标进行球拟合得到第一球心的坐标，所述第一球心的坐标为所述角膜中心坐标。

5.如权利要求2所述的视线追踪方法，其特征在于，所述根据所述眼睛区域、所述虹膜区域和所述三维点云数据，确定所述用户的眼球中心坐标，包括：通过相机二维坐标与三维空间坐标之间的映射关系，根据第一区域对应的相机二维坐标，从所述三维点云数据中确定所述第一区域对应的三维空间坐标的第二坐标集合，所述第一区域为所述眼睛区域减去所述虹膜区域后得到的区域；

根据所述第二坐标集合中的三维空间坐标，确定所述用户的眼球中心坐标。

6.如权利要求5所述的视线追踪方法，其特征在于，所述根据所述第二坐标集合中的三维空间坐标，确定所述用户的眼球中心坐标，包括：利用最小二乘法，对所述第二坐标集合中的三维空间坐标进行球拟合得到第二球心的坐标，所述第二球心的坐标为所述眼球中心坐标。

7.如权利要求1至6任一项所述的视线追踪方法，其特征在于，所述根据所述角膜中心坐标和所述眼球中心坐标，确定光轴方向，包括：根据所述角膜中心坐标和所述眼球中心坐标的第一连接线的方向确定光轴方向。

8.如权利要求7所述的视线追踪方法，其特征在于，在所述根据所述光轴方向和光视轴方向角度差，确定视轴方向之前，还包括：根据凝视基准点，计算当前用户的光视轴方向角度差。

9.如权利要求8所述的视线追踪方法，其特征在于，所述光视轴方向角度差包括第一方向角度差和第二方向角度差，所述根据凝视基准点，计算当前用户的光视轴方向角度差，包括：

确定当前的光轴方向，并以当前的光轴方向所在的连接线为Z轴，建立眼球坐标系；

以所述凝视基准点和所述眼球中心坐标的第二连接线的方向为视轴标定方向；

根据所述视轴标定方向，计算所述第二连接线相对于第一平面所成的第一方向角度差，所述第一平面为所述眼球坐标系中X轴和Y轴所构成的平面；

根据所述视轴标定方向，计算所述第二连接线相对于第二平面所成的第二方向角度差，所述第二平面为所述眼球坐标系中的X轴和Z轴所构成的平面。

10.一种视线追踪设备，其特征在于，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述的方法。

11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的方法。

说明书

一种视线追踪方法及装置

技术领域

[0001] 本申请涉及计算机视觉技术领域，尤其涉及一种视线追踪方法及装置。

背景技术

[0002] 人们的信息绝大部分是通过眼睛来获取的，正因为通过视觉获取的信息对人们的生活有重要意义，视觉方面的研究显得至关重要。随着科技的飞速发展，视觉追踪日趋成为
国内外专家学者研究的焦点。其中，视觉追踪，是通过观测眼睛，来估算出视线凝视点的位
置。对视线追踪技术来说，最重要的是能够实时、精确地定位视线的位置。

[0003] 然而，现有的视线追踪方法中，存在精度不足，无法满足精确的视线计算和定位，无法实现精确的眼控操作和交互的问题。

发明内容

[0004] 本申请实施例提供了一种视线追踪方法及装置，能够有效提高对视轴方向的估算准确率。

[0005] 第一方面，本申请提供一种视线追踪方法，包括：获取用户脸部的纹理图像和三维点云数据；根据所述纹理图像和所述三维点云数据，确定所述用户眼睛的角膜中心坐标和
眼球中心坐标；根据所述角膜中心坐标和所述眼球中心坐标，确定光轴方向；根据所述光轴
方向和光视轴方向角度差，确定视轴方向。

[0006] 采用本申请实施例提供的视线追踪方法，通过获取用户脸部的纹理图像和三维点云数据，精确地估算了角膜中心坐标和眼球中心坐标，在一定程度上减少了由于对角膜中
心坐标和眼球中心坐标错误估算而导致确定的视轴方向的误差。因此，提高了视线追踪的
准确率，在一定程度了降低了由于错误估算光轴方向所产生的误差。

[0007] 可选的，所述根据所述纹理图像和所述三维点云数据，确定所述用户眼睛的角膜中心坐标和眼球中心坐标，包括：从所述纹理图像中获取所述用户的眼睛区域，并确定所述
眼睛区域中的瞳孔区域；根据所述眼睛区域和所述瞳孔区域，确定所述用户眼睛的虹膜区
域；根据所述虹膜区域和所述三维点云数据，确定所述用户的角膜中心坐标；根据所述眼睛
区域、所述虹膜区域和所述三维点云数据，确定所述用户的眼球中心坐标。

[0008] 可选的，所述根据所述虹膜区域和所述三维点云数据，确定所述用户的角膜中心坐标，包括：通过相机二维坐标与三维空间坐标之间的映射关系，根据所述虹膜区域对应的
相机二维坐标，从所述三维点云数据中确定所述虹膜区域对应的三维空间坐标的第一坐标
集合；根据所述第一坐标集合中的三维空间坐标，确定所述用户的角膜中心坐标。

[0009] 可选的，所述根据所述第一坐标集合中的三维空间坐标，确定所述用户的角膜中心坐标，包括：利用最小二乘法，对所述第一坐标集合中的三维空间坐标进行球拟合得到第
一球心的坐标，所述第一球心的坐标为所述角膜中心坐标。

[0010] 可选的，所述根据所述眼睛区域、所述虹膜区域和所述三维点云数据，确定所述用户的眼球中心坐标，包括：通过相机二维坐标与三维空间坐标之间的映射关系，根据第一区
域对应的相机二维坐标，从所述三维点云数据中确定所述第一区域对应的三维空间坐标的
第二坐标集合，所述第一区域为所述眼睛区域减去所述虹膜区域后得到的区域；根据所述
第二坐标集合中的三维空间坐标，确定所述用户的眼球中心坐标。

[0011] 可选的，所述根据所述第二坐标集合中的三维空间坐标，确定所述用户的眼球中心坐标，包括：利用最小二乘法，对所述第二坐标集合中的三维空间坐标进行球拟合得到第
二球心的坐标，所述第二球心的坐标为所述眼球中心坐标。

[0012] 可选的，进行球拟合得到球心坐标，包括：从坐标集合中随机选择若干个不在同一平面的三维空间坐标，利用最小二乘法进行球拟合得到待定球心的坐标和半径，所述坐标
集合为所述第一坐标集合或所述第二坐标集合；根据预设误差公式和所述待定球心的坐标
和半径计算误差值，将所述坐标集合中误差值最小的所述待定球心的坐标作为球拟合最终
的球心坐标，所述预设误差公式为：

[0013] E＝∑(x2+y2+z2‑Ax‑By‑Cz+D)2

[0014] 其中，E为误差值，{x,y,z}为所述坐标集合中的任一三维空间坐标，A、B、C、D为中2 2 2 2
间参数，其中A＝2a,B＝2b,C＝2c,D＝a +b+c ‑R ，{a,b,c}为所述待定球心的坐标，R为所
述待定球心的半径，

[0015] 可选的，所述根据所述角膜中心坐标和所述眼球中心坐标，确定光轴方向，包括：根据所述角膜中心坐标和所述眼球中心坐标的第一连接线的方向确定光轴方向。

[0016] 可选的，在所述根据所述光轴方向和光视轴方向角度差，确定视轴方向之前，还包括：根据凝视基准点，计算当前用户的光视轴方向角度差。

[0017] 可选的，所述光视轴方向角度差包括第一方向角度差和第二方向角度差，所述根据凝视基准点，计算当前用户的光视轴方向角度差，包括：确定当前的光轴方向，并以当前
的光轴方向所在的连接线为Z轴，建立眼球坐标系；以所述凝视基准点和所述眼球中心坐标
的第二连接线的方向为视轴标定方向；根据所述视轴标定方向，计算所述第二连接线相对
于第一平面所成的第一方向角度差，所述第一平面为所述眼球坐标系中X轴和Y轴所构成的
平面；根据所述视轴标定方向，计算所述第二连接线相对于第二平面所成的第二方向角度
差，所述第二平面为所述眼球坐标系中的X轴和Z轴所构成的平面。

[0018] 第二方面，本申请提供一种视线追踪装置，包括：图像和数据获取单元，用于获取用户脸部的纹理图像和三维点云数据；坐标确定单元，用于根据所述纹理图像和所述三维
点云数据，确定所述用户眼睛的角膜中心坐标和眼球中心坐标；光轴方向确定单元，用于根
据所述角膜中心坐标和所述眼球中心坐标，确定光轴方向；视轴方向确定单元，用于根据所
述光轴方向和光视轴方向角度差，确定视轴方向。

[0019] 第三方面，本申请提供一种视线追踪设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如
第一方面或第一方面的任意可选方式所述的方法。

[0020] 第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面的任意可选方
式所述的方法。

[0021] 第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在视线追踪设备上运行时，使得视线追踪设备执行上述第一方面所述的视频质量评估方法的步
骤。

[0022] 可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

[0023] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些
实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些
附图获得其他的附图。

[0024] 图1是本申请实施例提供的一种人眼构造示意图；

[0025] 图2是本申请实施例提供的一种视线追踪方法的流程示意图；

[0026] 图3是本申请实施例提供的一种基于相机的成像模型示意图；

[0027] 图4是本申请实施例提供的一种确定角膜中心坐标和眼球中心坐标的方法的流程示意图；

[0028] 图5是本申请实施例提供的一组纹理图像示意图，其中图(a)为基于结构光获取的包含用户脸部特征的纹理图像，图(b)和(c)是从图(a)中提取到的包含眼睛区域的纹理图
像；

[0029] 图6是本申请实施例提供的一种标定光视轴方向角度差的方法的流程示意图；

[0030] 图7是本申请实施例提供的一种视线追踪装置的结构示意图；

[0031] 图8是本申请实施例提供的一种视线追踪设备的结构示意图。

具体实施方式

[0032] 以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体
细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电
路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

[0033] 应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。另外，在本申
请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而
不能理解为指示或暗示相对重要性。

[0034] 还应当理解，在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，
在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些
实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或
多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”
及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

[0035] 在说明本申请实施例提供的视线追踪方法之前，首先对本申请实施例中涉及的人眼构造及视线追踪的相关概念进行示例性说明。

[0036] 人眼的主要构造部分是眼球，主要包括最外面的起保护作用的巩膜部分、以及巩膜所包裹的玻璃体、主要的屈光功能的角膜、位于角膜和晶状体之间的虹膜、位于虹膜中心
的瞳孔等组成。光线通过角膜以后，穿过房水，晶状体和玻璃体以后最终在视网膜上进行成
像。如图1所示的人眼构造模型，由于中央凹是人眼中作为人眼视觉最敏锐、精确的部位被
称为中心视觉，所以人眼注视的方向即视轴方向是从中央凹出发穿过眼球中心的。本申请
实施例中的光轴方向，是本申请实施例提供的视线追踪方法中测量到的眼球中心和角膜中
心的连线。光视轴方向角度差也即Kappa角，是视轴和光轴之间的夹角，对于不同的用户来
说，每个人的Kappa角是固定的。因此，在实现对不同用户的视线追踪过程中，需要对每个人
的Kappa角进行标定。

[0037] 下面通过具体实施例，对本申请提供的视线追踪方法进行示例性说明。

[0038] 请参考图2，图2是本申请一个实施例提供的一种视线追踪方法的示意流程图。本申请实施例中视线追踪方法的执行主体为人机交互设备，包括但不限于增强现实
(Augmented Reality，AR)设备、虚拟现实(Virtual Reality，VR)设备，比如VR眼镜、AR眼
镜，如图2所示的视线追踪方法可包括：

[0039] S101，获取用户脸部的纹理图像和三维点云数据。

[0040] 本申请实施例中，上述纹理图像和上述三维点云数据中包含有用户脸部的特征参数，比如用户的眼睛参数，虹膜参数、瞳孔参数等。

[0041] 本申请实施例中的纹理图像是基于结构光获取到的纹理图像，具体通过投影仪向用户脸部投射一张结构光图像后，触发相机拍摄一张纹理图像。

[0042] 本申请实施例中的三维点云数据是基于结构光获取到的三维点云数据，在投影仪向用户脸部投射一张结构光图像时，触发相机拍摄一张纹理图像，根据内置的投影仪和相
机的标定参数，实时计算出一帧三维点云图像并输出，该三维点云图像由三维点云数据构
成。示例性的，本申请实施例中，投影仪通过激光微机电系统(Micro‑Electro‑Mechanical 
System，MEMS)振镜的输出方式，通过振镜实现激光条纹的高速扫描输出，然后通过同步控
制相机曝光时间，实现整个扫描场的曝光融合，从而获取到一张完整的结构光图像。

[0043] 示例性的，在获取用户脸部的纹理图像和三维点云数据之前，触发结构光投射装置向用户脸部投射结构光图像以获取到对应的纹理图像和三维点云数据。

[0044] 示例性的，三维点云数据为基于结构光获取到的纹理图像进行三维重建后获取的相关数据。通过标定的相机参数和三角原理可以计算得到纹理图像对应的三维信息，这里
所指的相机参数包括但不限于相机、投影仪的内部参数。

[0045] 在结构光三维重建方法中，一般将相机看成一个逆光路的摄像机，可以如图3所示的基于相机的成像模型，经过第一预设公式、第二预设公式、第三预设公式和第四预设公
式，建立相机的二维平面坐标与其空间三维点的映射关系，该映射关系即相机二维坐标与
三维空间坐标之间的映射关系。其中，第一预设公式如下：

[0046]

[0047] 其中，s是一个尺度缩放因子；C表示相机；P表示投影仪；m表示相机二维坐标，即相机所拍摄的纹理图像中像素点的位置；M表示三维空间坐标，即三维空间点的位置；fu表示
相机在横轴方向上的焦距；fv表示相机在纵轴方向上的焦距；γ表示相机的切向畸变系数；
u0表示相机中心点横轴方向上的坐标；v0表示相机中心点纵轴方向上的坐标；I3表示3*3的
单位矩阵；R表示相机和投影仪之间的旋转矩阵；T表示相机和投影仪之间的平移向量。

[0048] 其中，第二预设公式如下：

[0049]

[0050] 需要说明的是，第二预设公式为相机和投影仪之间的坐标系关系，可以通过标定得到。

[0051] 其中，第三预设公式如下：

[0052]

[0053] 其中， 表示去畸变之后的相机二维坐标； 表示与相机二维坐标对应的去畸变之后的投影仪坐标。

[0054] 需要说明的是，第三预设公式是利用极线约束得到的一个公式，具体如图3中的(B)所示，OC和OP是极线，而E1和E2是极点，利用极线约束后可以得到第三预设公式。

[0055] 其中，第四预设公式如下：

[0056]

[0057] 其中，ZC表示的是得到三维空间点的在相机二维坐标系下的Z坐标， 表示与相机二维坐标对应的去畸变之后的相机坐标。

[0058] 具体的， 和 是利用得到的标定参数对相机二维坐标mC/P进行去畸变得到的坐标。

[0059] 需要说明的是，第四预设公式是通过利用三角测距原理得到深度信息Z。

[0060] S102，根据所述纹理图像和所述三维点云数据，确定所述用户眼睛的角膜中心坐标和眼球中心坐标。

[0061] 在本申请实施例中，为了确定用户眼睛注视的光轴方向，在获取到纹理图像和三维点云数据后，根据所获得的纹理图像和三维点云数据确定角膜中心和眼球中心在相机三
维坐标系中的坐标，基于纹理图像和三维点云数据确定角膜中心坐标和眼球中心坐标，可
以获取到更为准确的光轴方向，从而相应地提高了视线追踪的准确率。并且，由于三维点云
数据的实时性，可以实时确定光轴方向，实现了视线追踪的实时性。

[0062] 请参阅图4，图4是本申请实施例提供的一种确定角膜中心坐标和眼球中心坐标的方法的示意流程图，该方法可包括：

[0063] S201，从所述纹理图像中获取所述用户的眼睛区域，并确定所述眼睛区域中的瞳孔区域。

[0064] 图5为本申请实施例提供的一组纹理图像。

[0065] 本申请实施例中，基于结构光获取到的如图5中的(A)所示的纹理图像中包含有用户眼睛、鼻子、嘴巴等用户特征信息，为了提高虹膜检测的效率，需要从该纹理图像中提取
出用户的眼睛区域，具体可以通过基于Opencv的人眼关键点检测算法，从上述纹理图像中
切割出如图5中的(B)所示的用户的眼睛区域。

[0066] 示例性的，由于基于结构光获取的纹理图像中，瞳孔相对于周边的纹理差异明显，因而可以根据纹理图像的纹理差异快速地确定眼睛区域中的瞳孔区域。

[0067] 在一个实施例中，在从纹理图像中切割并提取出用户的眼睛区域后，通过大津算法对所提取的眼睛区域进行二值化处理，再通过霍夫圆检测算法从经二值化处理后的眼睛
区域中检测出瞳孔区域。

[0068] S202，根据所述眼睛区域和所述瞳孔区域，确定所述用户眼睛的虹膜区域。

[0069] 在本申请实施例中，在确定瞳孔区域后，根据瞳孔一般处于虹膜的中心这一特征，可以从眼睛区域中确定用户眼睛的虹膜区域，比如，利用霍夫圆检测算法检测两个圆后，瞳
孔为两个圆中半径小的一个圆，虹膜为两个圆中半径大的另一个圆。虹膜区域为两个圆中
半径大的圆所围起来的区域。

[0070] 具体的，在从纹理图像中切割并提取出用户的眼睛区域后，利用边缘检测算法对眼睛区域进行边缘检测，再通过霍夫圆检测算法对检测出的边缘进行圆形检测，从检测出
的圆形中筛选出虹膜区域。

[0071] 需要说明的是，检测出的圆形中包括瞳孔的形状和虹膜的形状。

[0072] S203，根据所述虹膜区域和所述三维点云数据，确定所述用户的角膜中心坐标。

[0073] 在本申请实施例中，虹膜区域是从纹理图像中提取出来了，图像的坐标为相机二维坐标，根据相机二维坐标和三维空间坐标之间的映射关系，可以从三维点云数据中获取
到虹膜区域对应的三维空间坐标。

[0074] 示例性的，步骤S203具体可包括：

[0075] S2031，通过相机二维坐标与三维空间坐标之间的映射关系，根据所述虹膜区域对应的相机二维坐标，从所述三维点云数据中确定所述虹膜区域对应的三维空间坐标的第一
坐标集合。

[0076] S2032，根据所述第一坐标集合中的三维空间坐标，确定所述用户的角膜中心坐标。

[0077] 在本申请实施例中，所采用的眼球模型为Le Grand的眼球模型，角膜可以当成一个球体来看待，而且角膜是覆盖在虹膜之上的，在确定虹膜区域对应的三维空间坐标的坐
标集合后，可以通过最小二乘法进行球拟合以计算出角膜中心坐标。即步骤S2032具体为：

[0078] 利用最小二乘法，对所述第一坐标集合中的三维空间坐标进行球拟合得到第一球心的坐标，所述第一球心的坐标为所述角膜中心坐标。

[0079] 具体的，从坐标集合中随机选择若干个比如4个不在同一平面的三维空间坐标，利用最小二乘法进行球拟合得到待定球心的坐标和半径。根据预设误差公式和所述待定球心
的坐标和半径计算误差值，将所述坐标集合中误差值最小的所述待定球心的坐标作为球拟
合最终的球心坐标。其中，预设误差公式为：

[0080] E＝∑(x2+y2+z2‑Ax‑By‑Cz+D)2

[0081] 其中，E为误差值，{x,y,z}为所述坐标集合中的任一三维空间坐标，A、B、C、D为中2 2 2 2
间参数，其中A＝2a,B＝2b,C＝2c,D＝a +b+c ‑R ，{a,b,c}为所述待定球心的坐标，R为所
述待定球心的半径，

[0082] 具体的，可以采用矩阵公式可以快速求出中间参数A、B、C和D，从而获得当前所求得的待定球心的坐标和半径，其中，矩阵公式如下：

[0083]

[0084] 其中，i为中随机选择的三维空间坐标的个数。

[0085] 需要说明的，在利用最小二乘法进行球拟合得到待定球心的坐标的过程中，如果坐标集合中符合预设条件的三维空间坐标的个数大于预设数值，则去除误差值较大的一部
分三维空间坐标，比如误差值排序在前的若干个三维空间坐标，或者误差值大于预设误差
值的部分三维空间坐标，再利用最小二乘法对剩下的三维空间坐标进行球拟合。如果第一
坐标集合中符合预设条件的三维空间坐标的个数不大于预设数值，则重新从坐标集合中随
机选择若干个不在同一平面的三维空间坐标，利用最小二乘法进行球拟合得到待定球心的
坐标和半径。

[0086] 需要说明的，上文中的预设条件为误差值小于预设误差值，即坐标集合中误差值小于预设误差值的三维空间坐标，即为符合预设条件的三维空间坐标。

[0087] S204，根据所述眼睛区域、所述虹膜区域和所述三维点云数据，确定所述用户的眼球中心坐标。

[0088] 本申请实施例中所采用的眼球模型为Le Grand的眼球模型，因此，可以将眼球当成一个球体来看待，由于角膜覆盖在虹膜上，为了准确地得到眼球的中心坐标，可以将虹膜
区域对应的坐标集合从眼球区域对应的坐标集合中去除，得到第二坐标集合，再通过最小
二乘法对第二坐标集合进行球拟合以得到眼球中心坐标。

[0089] 示例性的，步骤S204具体为：

[0090] S2041，通过相机二维坐标与三维空间坐标之间的映射关系，根据第一区域对应的相机二维坐标，从所述三维点云数据中确定所述第一区域对应的三维空间坐标的第二坐标
集合。

[0091] 本申请实施例中，所述第一区域为所述眼睛区域减去所述虹膜区域后得到的区域。

[0092] S2042，根据所述第二坐标集合中的三维空间坐标，确定所述用户的眼球中心坐标。

[0093] 示例性的，步骤S2042具体为：

[0094] 利用最小二乘法，对所述第二坐标集合中的三维空间坐标进行球拟合得到第二球心的坐标，所述第二球心的坐标为所述眼球中心坐标。

[0095] 需要说明的是，如何利用最小二乘法得到眼球中心坐标，具体可以参见步骤S2032中的相关描述，这里不再赘述。

[0096] S103，根据所述角膜中心坐标和所述眼球中心坐标，确定光轴方向。

[0097] 本申请实施例中，光轴方向为眼球中心坐标和角膜中心坐标的连线的方向，在得到角膜中心坐标和眼球中心坐标后，将两者连接后可以确定光轴方向，即步骤S103具体为：

[0098] 根据所述角膜中心坐标和所述眼球中心坐标的第一连接线的方向确定光轴方向。

[0099] S104，根据所述光轴方向和光视轴方向角度差，确定视轴方向。

[0100] 在本申请实施例中，在根据角膜中心坐标和眼球中心坐标确定用户当前注视点的光轴方向后，可以根据已经标定的光视轴方向角度差来确定视轴方向，在确定用户当前的
视轴方向和，可以快速地确定用户当前视线的凝视点。

[0101] 因为不同用户的光视轴方向角度差存在差异，当不同的用户使用同一视线追踪设备时，需要对该用户的光视轴方向角度差进行标定。

[0102] 在一些实施例中，当用户使用视线追踪设备时，视线追踪设备可以根据用户眼部特征参数确定当前用户是否为上一次使用该实现追踪设备的用户，如果不是，则需要对该
用户的光视轴方向角度差进行标定。

[0103] 在另一些实施例中，当用户使用视线追踪设备时，视线追踪设备可以根据用户眼部特征参数，查找对应的光视轴方向角度差。当无法查找到该用户眼部特征参数对应的光
视轴方向角度差时，需要对该用户的光视轴方向角度差进行标定。

[0104] 在确定需要对用户的光视轴方向角度进行标定后，在当前屏幕上比如虚拟屏幕上显示一个凝视基准点，提示用户注视该凝视基准点，当用户注视该凝视基准点时，根据该凝
视基准点，计算当前用户的光视轴方向角度差。

[0105] 需要说明的是，光视轴方向角度差包括第一方向角度差和第二方向角度差。其中第一方向角度差为凝视基准点和眼球中心坐标的连接线相对于第一平面所成的方向角度
差，第一平面为眼球坐标系中X轴和Y轴所构成的平面；第二方向角度差为凝视基准点和眼
球中心坐标的连接线相对于第二平面所成的方向角度差，第二平面为眼球坐标系中的X轴
和Z轴所构成的平面。

[0106] 还需要说明的是，第一方向角度差在一些实施例中可以被称为水平方向角度，第二方向角度差在一些实施例中可以被称为垂直方向角度。视轴和光轴在水平方向的夹角大
约为5°(左眼5°，右眼‑5°)，视轴光轴在垂直方向的夹角大约为1.5°。

[0107] 请参阅图6，图6是本申请实施例提供的一种标定光视轴方向角度差的方法的示意流程图，该方法包括：

[0108] S301，确定当前的光轴方向，并以当前的光轴方向所在的连接线为Z轴，建立眼球坐标系。

[0109] 如图1所示，光轴方向为眼球中心坐标和角膜中心坐标的连线的方向，在确定光轴方向后，可以得到光轴方向及其延长线所成的连接线。

[0110] 在本申请实施例中，可以根据上文中的相关方法确定当前的光轴方向，在获取到当前用户脸部的纹理图像和三维点云数据后，根据当前用户脸部的纹理图像和三维点云数
据，确定当前用户眼睛的角膜中心坐标和眼球中心坐标，再根据确定的角膜中心坐标和眼
球中心坐标，确定当前的光轴方向。在确定当前的光轴方向后，以当前光轴方向所在的连接
线即光轴方向及其延长线所成的连接线为Z轴，以与Z轴垂直并相互垂直的任意两条直线分
别构建X轴和Y轴，建立眼球坐标系。

[0111] S302，以所述凝视基准点和所述眼球中心坐标的第二连接线的方向为视轴标定方向。

[0112] S303，根据所述视轴标定方向，计算所述第二连接线相对于第一平面所成的第一方向角度差。

[0113] S304，根据所述视轴标定方向，计算所述第二连接线相对于第二平面所成的第二方向角度差。

[0114] 在标定光视轴方向角度差的过程中，实现了对不同用户的光视轴方向角度差标定，提高了视线追踪的准确率。

[0115] 本申请实施例中，通过获取用户脸部的纹理图像和三维点云数据；根据所述纹理图像和所述三维点云数据，确定所述用户眼睛的角膜中心坐标和眼球中心坐标；根据所述
角膜中心坐标和所述眼球中心坐标，确定光轴方向；根据所述光轴方向和光视轴方向角度
差，确定视轴方向；通过获取纹理图像和三维点云数据，实现了对用户凝视点的实时追踪，
提高了光轴方向的判断准确率，因此实现了对视轴方向的准确追踪，在一定程度上提高了
眼控操作和交互的准确性。

[0116] 应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限
定。

[0117] 基于上述实施例所提供的视线追踪方法，本申请实施例进一步给出实现上述方法实施例的装置实施例。

[0118] 请参见图7，图7是本申请实施例提供的视线追踪装置的示意图。包括的各单元用于执行图2对应的实施例中的各步骤。具体请参阅图2对应的实施例中的相关描述。为了便
于说明，仅示出了与本实施例相关的部分。参见图7，视线追踪装置7包括：

[0119] 图像和数据获取单元71，用于获取用户脸部的纹理图像和三维点云数据；

[0120] 坐标确定单元72，用于根据所述纹理图像和所述三维点云数据，确定所述用户眼睛的角膜中心坐标和眼球中心坐标；

[0121] 光轴方向确定单元73，用于根据所述角膜中心坐标和所述眼球中心坐标，确定光轴方向；

[0122] 视轴方向确定单元74，用于根据所述光轴方向和光视轴方向角度差，确定视轴方向。

[0123] 可选的，所述坐标确定单元72包括：

[0124] 瞳孔区域确定子单元，用于从所述纹理图像中获取所述用户的眼睛区域，并确定所述眼睛区域中的瞳孔区域；

[0125] 虹膜区域确定子单元，用于根据所述眼睛区域和所述瞳孔区域，确定所述用户眼睛的虹膜区域；

[0126] 角膜中心坐标确定子单元，用于根据所述虹膜区域和所述三维点云数据，确定所述用户的角膜中心坐标；

[0127] 眼球中心坐标确定子单元，用于根据所述眼睛区域、所述虹膜区域和所述三维点云数据，确定所述用户的眼球中心坐标。

[0128] 可选的，所述角膜中心坐标确定子单元具体用于：

[0129] 通过相机二维坐标与三维空间坐标之间的映射关系，根据所述虹膜区域对应的相机二维坐标，从所述三维点云数据中确定所述虹膜区域对应的三维空间坐标的第一坐标集
合；

[0130] 根据所述第一坐标集合中的三维空间坐标，确定所述用户的角膜中心坐标。

[0131] 可选的，所述角膜中心坐标确定子单元具体还用于：

[0132] 利用最小二乘法，对所述第一坐标集合中的三维空间坐标进行球拟合得到第一球心的坐标，所述第一球心的坐标为所述角膜中心坐标。

[0133] 可选的，所述眼球中心坐标确定子单元具体用于：

[0134] 通过相机二维坐标与三维空间坐标之间的映射关系，根据第一区域对应的相机二维坐标，从所述三维点云数据中确定所述第一区域对应的三维空间坐标的第二坐标集合，
所述第一区域为所述眼睛区域减去所述虹膜区域后得到的区域；

[0135] 根据所述第二坐标集合中的三维空间坐标，确定所述用户的眼球中心坐标。

[0136] 可选的，所述眼球中心坐标确定子单元具体还用于：

[0137] 利用最小二乘法，对所述第二坐标集合中的三维空间坐标进行球拟合得到第二球心的坐标，所述第二球心的坐标为所述眼球中心坐标。

[0138] 可选的，所述角膜中心坐标确定子单元或所述眼球中心坐标确定子单元，具体还用于：

[0139] 从坐标集合中随机选择若干个不在同一平面的三维空间坐标，利用最小二乘法进行球拟合得到待定球心的坐标和半径，所述坐标集合为所述第一坐标集合或所述第二坐标
集合；

[0140] 根据预设误差公式和所述待定球心的坐标和半径计算误差值，将所述坐标集合中误差值最小的所述待定球心的坐标作为球拟合最终的球心坐标，所述预设误差公式为：

[0141] E＝∑(x2+y2+z2‑Ax‑By‑Cz+D)2

[0142] 其中，E为误差值，{x,y,z}为所述坐标集合中的任一三维空间坐标，A、B、C、D为中2 2 2 2
间参数，其中A＝2a,B＝2b,C＝2c,D＝a +b+c ‑R ，{a,b,c}为所述待定球心的坐标，R为所
述待定球心的半径，

[0143] 可选的，所述光轴方向确定单元73具体用于：

[0144] 根据所述角膜中心坐标和所述眼球中心坐标的第一连接线的方向确定光轴方向。

[0145] 所述视线追踪设备还包括：

[0146] 光视轴方向角度差计算单元，用于根据凝视基准点，计算当前用户的光视轴方向角度差。

[0147] 所述光视轴方向角度差包括第一方向角度差和第二方向角度差，所述光视轴方向角度差计算单元包括：

[0148] 眼球坐标系建立子单元，用于确定当前的光轴方向，并以当前的光轴方向所在的连接线为Z轴，建立眼球坐标系；

[0149] 视轴标定方向设定子单元，用于以所述凝视基准点和所述眼球中心坐标的第二连接线的方向为视轴标定方向；

[0150] 第一方向角度差计算单元，用于根据所述视轴标定方向，计算所述第二连接线相对于第一平面所成的第一方向角度差，所述第一平面为所述眼球坐标系中X轴和Y轴所构成
的平面；

[0151] 第二方向角度差计算单元，用于根据所述视轴标定方向，计算所述第二连接线相对于第二平面所成的第二方向角度差，所述第二平面为所述眼球坐标系中的X轴和Z轴所构
成的平面。

[0152] 需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再
赘述。

[0153] 图8是本申请实施例提供的视线追踪设备的示意图。如图8所示，该实施例的视线追踪设备8包括：处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运
行的计算机程序82，例如语音识别程序。处理器80执行所述计算机程序82时实现上述各个
视线追踪方法实施例中的步骤，例如图2所示的步骤201‑204。或者，所述处理器80执行所述
计算机程序82时实现上述各装置实施例中各模块/单元的功能，例如图7所示单元71‑74的
功能。

[0154] 示例性的，所述计算机程序82可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器81中，并由处理器80执行，以完成本申请。所述一个或
多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述
所述计算机程序82在所述视线追踪设备8中的执行过程。例如，所述计算机程序82可以被分
割成图像和数据获取单元71、坐标确定单元72、光轴方向确定单元73、视轴方向确定单元
74，各单元具体功能请参阅图2对应的实施例中地相关描述，此处不赘述。

[0155] 所述视线追踪设备可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是视线追踪设备8的示例，并不构成对视线追踪设备8的限定，可以包括比
图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述视线追踪设备还可
以包括输入输出设备、网络接入设备、总线等。

[0156] 所称处理器80可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路
(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field‑
Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、
分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器
等。

[0157] 所述存储器81可以是所述视线追踪设备8的内部存储单元，例如视线追踪设备8的硬盘或内存。所述存储器81也可以是所述视线追踪设备8的外部存储设备，例如所述视线追
踪设备8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure 
Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述视线
追踪设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序
以及所述视线追踪设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经
输出或者将要输出的数据。

[0158] 本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述视线追踪方法。

[0159] 本申请实施例提供了一种计算机程序产品，当计算机程序产品在视线追踪设备上运行时，使得视线追踪设备执行时实现可实现上述视线追踪方法。

[0160] 所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的
功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上
描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可
以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的
单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单
元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统
中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0161] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

[0162] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟
以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员
可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出
本申请的范围。

[0163] 以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各
实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改
或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应
包含在本申请的保护范围之内。