用于虚拟现实头戴式显示下的眼动信号处理方法及可穿戴设备

摘要

本发明为用于虚拟现实头戴式显示下的眼动信号处理方法及可穿戴设备，属于虚拟现实和眼动数据分析领域。其方法包括：根据受试者的头动数据和眼动数据提取出头部旋转角度以及眼球在可视窗口中的二维注视点坐标；根据头部旋转角度，将可视窗口中的二维注视点坐标映射到三维球体空间坐标系，得到三维注视点坐标；对三维注视点坐标进行处理，得到地理经纬坐标系下的经纬注视点坐标，采用基于速度和时间阈值的方法解析出凝视数据；根据凝视数据提取出眼动特征。本发明能够准确采集虚拟现实头显环境下的眼动信号，提取出常用眼动的特征，计算过程简单易实现。

权利要求

1.用于虚拟现实头戴式显示下的眼动信号处理方法，其特征在于，包括以下步骤：S1、获取受试者的头动数据和眼动数据，根据获取到的数据提取出头部旋转角度以及眼球在可视窗口中的二维注视点坐标；

S2、根据头部旋转角度，将可视窗口中的二维注视点坐标映射到三维球体空间坐标系，得到三维注视点坐标；

S3、对三维注视点坐标进行处理，得到地理经纬坐标系下的经纬注视点坐标，采用基于速度和时间阈值的方法解析出凝视数据；

S4、根据凝视数据提取出眼动特征；

步骤S2包括以下步骤：

获取头部旋转角度中的俯仰角、方位角、坡度角，得到头部的旋转矩阵；

根据二维注视点坐标、头戴式显示中相机的虚拟焦距、单个水平像素的大小与单个垂直像素大小，以及可视窗口的宽度和高度，计算头戴式显示中相机的内在矩阵；

通过旋转矩阵与内在矩阵相乘，得到三维注视点坐标；

步骤S3解析凝视数据的过程包括：根据三维注视点坐标(x，y，z)计算出经纬注视点坐标利用经纬注视点坐标求出时间上相邻两个注视点之间的距离Δσ：其中， 分别表示两注视点的纬度坐标，Δλ、 分别表示两注视点之间的经度差、纬度差；

采用基于速度和时间阈值的方法解析出眼动的凝视点坐标。

2.根据权利要求1所述的眼动信号处理方法，其特征在于，旋转矩阵R为：其中，俯仰角为α，方位角为β，坡度角为γ。

3.根据权利要求1所述的眼动信号处理方法，其特征在于，内在矩阵X为：其中，二维眼动坐标为(Px，Py)，头戴式显示中相机的虚拟焦距为f，单个水平像素的大小为h，单个垂直像素大小为v，可视窗口的宽度为W，可视窗口的高度为H。

4.根据权利要求1所述的眼动信号处理方法，其特征在于，采用基于速度和时间阈值的方法解析凝视点坐标时，设置速度阈值为Vth和时间阈值为Tth；利用时间上相邻两个注视点之间的距离计算出眼球在相邻两个注视点之间移动的速度 其中Δt为眼球移动时间；并将所述速度与速度阈值Vth进行比较，当 且Δt＞Tth时，将该注视点标记为相应的凝视点。

5.根据权利要求1所述的眼动信号处理方法，其特征在于，步骤S4提取的眼动特征包括基于凝视的特征、基于扫视的特征和显著性图。

6.根据权利要求5所述的眼动信号处理方法，其特征在于，基于凝视的特征包括凝视点的坐标P(xf，yf)、凝视持续时间τf及凝视点数目nf。

7.根据权利要求5所述的眼动信号处理方法，其特征在于，基于扫视的特征包括扫视持续时间τs、扫视幅度as、扫视速度vs、扫视绝对角Abs及扫视相对角Res。

8.可穿戴设备，包括用于获取受试者头动数据和眼动数据的数据采集设备、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-7中任一项所述的眼动信号处理方法。

说明书

用于虚拟现实头戴式显示下的眼动信号处理方法及可穿戴

设备

技术领域

[0001] 本发明涉及虚拟现实和眼动数据分析领域，尤其涉及用于虚拟现实头戴式显示下的眼动信号处理方法及可穿戴设备。

背景技术

[0002] 随着信息技术和虚拟现实(VR)近几年的蓬勃发展，越来越多全景内容和应用开始出现。虚拟现实技术为用户提供了沉浸式媒体体验，360度全景内容作为一种全新的媒体形
式，可以放置在头戴式显示器(头显)下供用户浏览，用户可以通过移动头部选择显示球形
内容的某一部分，观看过程更自由，更具交互性。

[0003] 视觉注意力建模在近几年的多媒体处理和计算机视觉领域发展迅速，在图片和视频的传输、压缩和处理中起到了巨大作用。但是目前2D的视觉算法并不能直接地用在虚拟
现实和全景内容中，用户在头显下的观看模式与典型的2D情况不同，2D情况下用户固定头
部位置看向前方，3D下用户可以通过头部的旋转和平移来呈现不同场景，但每次只能观看
整个内容的某一部分。在3自由度(3-DOF)情况下，头部的旋转是唯一的影响因素，但在6自
由度(6-DOF)情况下，头部的平移和旋转运动共同决定在头显上呈现的内容。如何获取准确
的眼动数据、了解用户的探索模式对于开发有效技术进行多媒体内容优化、编码、传输、渲
染和体验质量评估等至关重要。

[0004] 眼球运动是我们和外界交互的窗口，包含了认知和视觉过程中的时空量度。一些眼部疾病会影响到眼球的运动，如青光眼、视力退化等，除此之外，眼动模式同时又受到大
脑作用，一些心理疾病如自闭症、痴呆、帕金森、多动症、注意力缺陷等也会影响到眼球的运
动。由于目前获取眼动数据的成本较低，因此对眼动数据进行处理，精准地提取出眼动特征
信息，将能作为中间检测结果，辅助于临床医学检测，具备很强的解释性。

发明内容

[0005] 为了解决现有技术所存在的问题，本发明提供用于虚拟现实头戴式显示下的眼动信号处理方法及可穿戴设备，考虑了虚拟现实头显下的显示特性和全景图片的位置映射问
题，首先提取出眼动数据，并通过处理变换得到相关眼动特征，解决了全景内容头显下的视
口映射问题。

[0006] 根据本发明的用于虚拟现实头戴式显示下的眼动信号处理方法，包括以下步骤：

[0007] S1、获取受试者的头动数据和眼动数据，根据获取到的数据提取出头部旋转角度以及眼球在可视窗口中的二维注视点坐标；

[0008] S2、根据头部旋转角度，将可视窗口中的二维注视点坐标映射到三维球体空间坐标系，得到三维注视点坐标；

[0009] S3、对三维注视点坐标进行处理，得到地理经纬坐标系下的经纬注视点坐标，采用基于速度和时间阈值的方法解析出凝视数据；

[0010] S4、根据凝视数据提取出眼动特征。

[0011] 在优选的实施例中，步骤S2包括以下步骤：

[0012] 获取头部旋转角度中的俯仰角、方位角、坡度角，得到头部的旋转矩阵；

[0013] 根据二维注视点坐标、头戴式显示中相机的虚拟焦距、单个水平像素的大小与单个垂直像素大小，以及可视窗口的宽度和高度，计算头戴式显示中相机的内在矩阵；

[0014] 通过旋转矩阵与内在矩阵相乘，得到三维注视点坐标。

[0015] 在优选的实施例中，步骤S3解析凝视数据的过程包括：

[0016] 三维注视点坐标为(x,y,z)；计算出经纬注视点坐标：

[0017]

[0018]

[0019] 利用经纬注视点坐标求出时间上相邻两个注视点之间的距离Δσ：

[0020]

[0021] 其中， 分别表示两注视点的纬度坐标，Δλ、 分别表示两注视点之间的经度差、纬度差。

[0022] 采用基于速度和时间阈值的方法解析出眼动的凝视点坐标。

[0023] 根据本发明的可穿戴设备，包括用于获取受试者头动数据和眼动数据的数据采集设备、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述
计算机程序被处理器执行时，实现本发明眼动信号处理方法。

[0024] 与现有技术相比，本发明取得的有益效果包括：

[0025] 1、本发明的眼动信号处理方法及可穿戴设备，通过传感器提取出眼动数据，能够较为准确地测量眼动信号和提取眼动特征，计算简单，较为方便地将2D坐标映射到3D空间
中，同时解析提取出与眼动相关的常用特征，解决了全景内容头显下的视口映射问题。

[0026] 2、本发明通过获取虚拟现实场景下用户准确的眼动数据，对探索用户行为，和多媒体内容的处理、传输起到重要作用；此外，由于眼动在情绪和认知过程、临床医学诊断等
方面都有着良好的应用前景，所提取的与眼动相关的常用特征也可以作为中间检测结果，
为眼部疾病和心理认知疾病的医学诊断提供数据支撑和参考。

附图说明

[0027] 图1为本发明眼动信号处理过程的流程图。

[0028] 图2为本发明的球体坐标下两凝视点之间的距离图。

[0029] 图3为本发明提取出的扫视特征表示图。

[0030] 图4为本发明提取出的扫视绝对角特征表示图。

[0031] 图5为本发明提取出的扫视相对角特征表示图。

具体实施方式

[0032] 下面结合附图和实施例对本发明做进一步详细的说明，但本发明的实施方式不限于此。

[0033] 实施例

[0034] 眼动信号是由一种能够跟踪测量眼球位置的眼动仪获得，采用光学原理；与通过传感器利用电位差获取到的眼电信号不同。如图1所示，本发明用于虚拟现实头戴式显示下
的眼动信号处理方法，采用虚拟现实环境下创建的全景内容场景作为诱发素材，具体包括
以下步骤：

[0035] 步骤1、准备好所需的全景内容和数据采集设备，搭建实验环境。

[0036] 本实施例中采用HTC VIVE VR头显显示全景素材，SMI眼动仪收集眼动数据。实验一共需要两台计算机，一台由实验者操作，与眼动仪相连以检索和处理注视数据；另一台用
于向受试者显示测试场景。为了让受试者安全地浏览整个视野，他们需要坐在滚动椅上。实
验过程中环境时刻保持安静。

[0037] 步骤2、在虚拟现实头戴式显示环境下，受试者自由浏览虚拟现实场景内容，交互的方式为头动和眼动。

[0038] 挑选视力正常、无色盲的受试者进行实验。实验之前需要进行校准，让受试者注视在屏幕中央红色十字上，考虑到眼动仪的精度，采集到的注视点应至少离中央十字的欧式
距离小于2.5方可进行正式实验。校准之后开始播放素材，每段素材之间间隔5秒。

[0039] 步骤3、获取受试者的头动数据和眼动数据，根据获取到的数据提取出头部旋转角度以及眼球在可视窗口(简称视口)中的二维注视点坐标。

[0040] 本实施例利用传感器获取受试者的头动数据和眼动数据，其中头动数据包括头部旋转角度，眼动数据包括视口中眼球的2D位置坐标。具体可通过HTC头显采集头部旋转角
度，获取其中的俯仰角、方位角、坡度角。通过眼动仪采集视口的二维眼动数据，即视口中眼
球的2D位置坐标，也称为2D注视数据。头动数据和眼动数据的采样频率一致，设置为250Hz。

[0041] 步骤4、根据头部旋转角度，将可视窗口中的二维注视点坐标映射到三维球体空间坐标系，得到三维注视点坐标(x,y,z)。

[0042] 本步骤将眼动数据投影到单位球体上，即将凝视点2D位置坐标映射到3D空间中。首先根据头部旋转角度创建旋转矩阵R，通过该旋转矩阵将2D注视数据转化为3D向量。

[0043] 其中，眼动仪获取到的是视口中的2D位置，在头部运动已知的情况下，该位置也是已知的。但是直接在视口空间中分析眼动数据并不方便，需要将其映射到球体的3D空间。映
射时，首先利用头部旋转角度中的俯仰角α、方位角β、坡度角γ获取头部的旋转矩阵R：

[0044]

[0045] 2D注视数据，即二维注视点坐标，表达为二维眼动坐标(Px，Py)；利用二维眼动坐标(Px，Py)、头戴式显示中的相机虚拟焦距f、单个水平像素的大小h与单个垂直像素大小v，以
及可视窗口的宽度W和高度H，计算头显中相机的内在矩阵X：

[0046]

[0047] 再通过旋转矩阵与内在矩阵相乘，得到注视点在三维球体下的坐标，即三维注视点坐标：G＝RX。

[0048] 本步骤还可对所得到的三维注视点坐标进行归一化处理。需说明的是，归一化并不是必须的。

[0049] 步骤5、对三维注视点坐标(x,y,z)进行处理，得到地理经纬坐标系下的经纬注视点坐标，采用基于速度和时间阈值的方法解析出凝视数据。

[0050] 解析凝视数据时，本实施例选择基于速度和时间阈值的方法，通过计算时间上两个相邻注视样本点位置之间的距离，再除以它们之间经过的时间，得到样本序列的速度。如
果样本速度低于阈值Vth，同时若注视的持续时间大于最小持续时间阈值Tth，则将其标记为
凝视。应当注意，在球体坐标系计算距离时，不能直接使用欧几里得距离。此时，如图2所示，
需要用大圆距离计算球体坐标的经纬坐标，利用经纬注视点坐标 计算两个球体坐标
的表面距离，即两个注视点之间的距离Δσ：

[0051]

[0052]

[0053]

[0054] 利用时间上相邻两个注视点之间的距离计算出眼球在相邻两个注视点之间移动的速度 其中Δt为眼球移动时间；并将所述速度与速度阈值Vth进行比较，当 且
Δt>Tth时，将该注视点标记为相应的凝视点。

[0055] 获得了球体上相应的凝视点后，接着输出凝视点的索引n，凝视点的坐标P(xf，yf)，凝视开始时间tstart，持续时间τf，在三维球体中的三维坐标u，两凝视点间的球面距离Δσ。

[0056] 步骤6、根据凝视数据提取出眼动的相关特征。

[0057] 如图3-5所示，相关特征包括：

[0058] 基于凝视的特征：凝视点的坐标P(xf，yf)，凝视持续时间τf，凝视点数目nf；

[0059] 基于扫视的特征：扫视持续时间τs，扫视幅度as，扫视速度vs，扫视绝对角Abs，扫视相对角Res；其中扫视持续时间为从一个凝视点结束到下一个凝视开始的时间，τs＝|tstart2-
tstart1-τf|；扫视幅度为两凝视点之间的大圆距离，as＝Δσ；扫视速度即扫视幅度as除以扫
视时间， 扫视绝对角指扫视向量和水平线之间的夹角， 扫视
相对角为两相邻扫视向量之间的夹角， 其中S1＝[xf2-xf1，yf2-yf1],S2
＝[xf3-xf2，yf3-yf2]；

[0060] 显著性图：由相邻两个点之间的高斯卷积求得，这里设置σ＝3。显著性图是一种热图，描述了观察者注视在不同位置的概率，全局反映受试者的注视效果。显著性图是以长方
形等角投影的形式提供的，对于每个凝视点，高斯核都将应用到视口中的位置并按照之前
的方法投影到球体空间，再投影到矩形图中归一化。

[0061] 步骤7、利用提取到的眼动特征进一步分析问题。例如方差分析，比较具体问题下特征的差异，也可利用特征的统计特征等构造新的特征，进行模式识别等。

[0062] 基于相同的发明构思，本实施例还提出一种可穿戴设备，其包括用于获取受试者头动数据和眼动数据的数据采集设备、处理器、存储器及存储在所述存储器上并可在所述
处理器上运行的计算机程序；计算机程序被处理器执行时，实现本实施例中眼动信号处理
方法。

[0063] 如上所述，便可较好地实现本发明，能够准确采集虚拟现实头显环境下的眼动信号，提取出常用眼动的特征，计算过程简单易实现。

[0064] 上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，
均应为等效的置换方式，都包含在本发明的保护范围之内。