一种基于眼动跟踪的沉浸式流场可视化人机交互方法

摘要

本发明提供了一种基于眼动跟踪的沉浸式流场可视化人机交互方法，通过眼动仪与VR头盔相结合进行人机交互，包括：步骤1、获取眼球注视方向向量与头盔旋转信息，将眼注视方向变换到世界坐标系下；步骤2、对世界坐标系下的眼球注视方向依次进行眼动校准以及眼动去抖；步骤3、根据VR头盔获取头盔凝视方向向量，将头盔凝视方向指向目标对象，判断眼动去抖后的眼球注视方向是否与头盔凝视方向相同，不同则移动视线进入步骤1；相同则触发交互操作，完成交互。本发明能够快速且随着使用不断优化的完成眼动校准；同时能够实现不同状态下的眼动跟踪去抖，提高交互沉浸感；仅依靠眼睛和头部转动就能完成人机交互中的交互确认操作，降低误操作率。

权利要求

1.一种基于眼动跟踪的沉浸式流场可视化人机交互方法，其特征在于，通过眼动仪与VR头盔相结合进行人机交互，包括：步骤1、获取眼球注视方向向量与头盔旋转信息，将眼注视方向变换到世界坐标系下；

步骤2、对世界坐标系下的眼球注视方向依次进行眼动校准以及眼动去抖；

步骤3、根据VR头盔获取头盔凝视方向向量，将头盔凝视方向指向目标对象，判断眼动去抖后的眼球注视方向是否与头盔凝视方向相同，不同则移动视线进入步骤1；相同则触发交互操作，完成交互；

所述步骤1的具体过程为:通过头盔接口获取VR头盔的旋转信息，包括相机旋转轴以及旋转角度，构造三维旋转矩阵，将眼球注视方向向量带入三维旋转矩阵，得到世界坐标系下的初始注视方向向量；

所述步骤2中，在执行眼动校准之前，判断是否为首次校准，若是则进行初始校准，否则执行动态隐式校准；

所述初始校准过程为：通过VR头盔获得用户的头部高度，在等高的正前方产生白色校准球，当用户头盔凝视方向落在校准球上时，产生红点光标，用户眼睛盯着红点2秒，此时用户实际眼球注视方向与头盔凝视方向一致，通过头盔凝视方向表示用户实际眼球注视方向对初始眼球注视方向向量进行偏移修正；偏移修正具体过程为：头盔凝视方向向量 与眼动仪测量的眼球注视方向向量 相减得到偏移向量 ,通过偏移向量进行初始校准后得到的用户眼球注视方向向量为 ；

所述动态隐式校准过程为：根据上次交互操作时的头盔凝视方向向量 与眼动仪测量的眼球注视方向向量 相减得到新的校准偏移向量 ，并采用指数平滑法更新校准偏移向量 ，通过新的校准偏移向量校准得到用户眼球注视方向向量为 ，其中，, 为平滑系数， 为前一次校准时的校准偏移向量；

所述眼动去抖具体方法为：

，

为 时刻去抖后的眼球注视方向向量， 为 时刻经过校准但仍需进行去抖处理的眼球注视方向向量， 为 时刻的眼球注视方向向量， 为动态平滑系数；所述 的获取方法为：预先设定眼动速度阈值 ，计算最近两次眼球注视方向向量的夹角确定扫视速度 ，当 时判定眼动处于低速注视状态， ；当 时判定眼动处于高速扫视状态， ，此时若 则将设定 。

2.根据权利要求1所述的基于眼动跟踪的沉浸式流场可视化人机交互方法，其特征在于，所述步骤3中，在沉浸式环境下构建交互界面来完成交互操作，通过QT构建初始交互界面并保存为图片，在沉浸式环境下加入一个有限平面，将保存的界面图片以贴图形式贴在有限平面表面形成交互平面；用户注视该交互平面，并将眼球注视方向、头盔凝视方向与该平面的交点坐标传回给QT触发交互事件，完成交互；当用户使用呼唤手势时可开启或关闭界面；当界面状态发生改变时，更新界面贴图使得沉浸式环境下的交互界面实时更新。

3.根据权利要求2所述的基于眼动跟踪的沉浸式流场可视化人机交互方法，其特征在于，所述步骤3中触发交互操作时还包括磁吸重合处理，当通过校准和去抖处理后的眼球注视方向向量与头盔凝视方向向量夹角大于4.3°时两向量分别独立表示各自的方向；当眼球注视方向向量与头盔凝视方向向量夹角小于等于4.3°时，将实际眼球注视方向设置为头盔凝视方向，使两者的方向重合。

4.根据权利要求1所述的基于眼动跟踪的沉浸式流场可视化人机交互方法，其特征在于，所述步骤3中触发交互操作前进行误触验证，当出现以下情况中任意一种情况表示该操作为误触操作：

（1）交互触发前，眼球注视方向向量的变化速度低于预设值；

（2）交互触发前，头盔凝视方向向量的变化速度低于预设值；

（3）交互触发时，眼球注视方向和头盔凝视方向处于重合状态。

5.根据权利要求4所述的基于眼动跟踪的沉浸式流场可视化人机交互方法，其特征在于，在触发交互操作后，设有0.3秒的操作保护期，在此期间不再触发交互操作。

说明书

一种基于眼动跟踪的沉浸式流场可视化人机交互方法

技术领域

[0001] 本发明涉及交互式流场可视化领域，特别涉及一种基于眼动跟踪的沉浸式流场可视化人机交互方法。

背景技术

[0002] 在高度沉浸式的虚拟现实环境中,为了获得更加自然的沉浸感、友好的人机交互，用户可以使用眼睛、耳朵、皮肤、手势、语言等多种方式实现人机交互。眼动跟踪就是一种使
用眼睛实现人机交互的重要方法，目前有着广泛的研究与应用。

[0003] 流场可视化作为面向计算流体动力学（CFD）的科学计算可视化技术，是科学计算可视化研究和CFD研究的一个重要部分，流场可视化借助计算机图形学、数据挖掘和人机交
互理论，将描绘流场运动轨迹的多变量、多维度、多源、多模态物理量数据以图形图像的形
式直观呈现出来，并借助交互式图形系统，从大量纷繁复杂的数据中提取有价值的信息，帮
助研究人员分析和理解复杂的流场流动机理，洞察流场物理现象并发现流动科学规律，为
数值模拟计算和重大工程提供意见指导和决策依据。

[0004] 虚拟现实技术囊括计算机、电子信息、仿真技术于一体，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。虚拟现实技术在流场可视化中的应用研究开始于上
世纪90年代，但受制于当时硬件的性能与成本问题其应用范围一直较小，随着虚拟现实技
术与流场可视化技术的并行发展，尤其是2015年以来头戴式虚拟现实设备技术的逐步成
熟，在虚拟现实环境下对流场数据进行可视化的方法正逐渐被广泛运用。沉浸式虚拟环境
下的流场可视化与传统显示方式下的流场可视化相比，沉浸式分析以虚拟现实环境为呈现
平台，通过多感官呈现、分析数据物理化、自然人机交互和直觉反馈分析等技术特点为用户
构建高沉浸度的数据分析环境，在空间沉浸感、用户参与度、多维感知等方面具有显著优
势。

[0005] 眼动跟踪是一种使用眼睛实现人机交互的重要方法，它利用专业设备采集、记录、分析用户视线，从而获得用户视觉的关注点。根据不同的眼动跟踪原理可以分为三类：一是
根据眼球和眼球周边的特征变化进行跟踪，二是根据虹膜角度变化进行跟踪，三是主动投
射红外线等光束到虹膜来提取特征。通过上述方法实时追踪眼睛的变化，预测用户的视觉
状态和需求并进行响应，达到用眼睛控制设备的目的。眼球追踪技术在人机交互领域有着
较为广泛的研究与应用。

[0006] 但是沉浸式环境下流场可视化分析存在许多诸如参数配置、微小部件选取等精细的人机交互操作，使得现有的眼动交互技术用于沉浸式环境下流场可视化人机交互还存在
如下缺点：

[0007] （1）在广阔的流场空间内，眼动跟踪误差大，准确定位到目标耗时长。

[0008] （2）眼动交互确认时过于复杂且误操作率高。

发明内容

[0009] 针对现有技术中存在的问题，提供了一种基于眼动跟踪的沉浸式流场可视化人机交互方法，以解决沉浸式流场可视化分析过程中应用眼动交互进行精细操作时存在的眼动
校准、眼动去抖、眼动交互确认问题。本发明提出的方法能够在沉浸式流场可视化应用中实
现快速且随着使用不断优化的眼动校准；同时能够根据各自特点兼顾低速注视及高速扫视
两个状态下的眼动跟踪去抖，提高交互沉浸感；并且通过引入头盔凝视方法、设置交互保护
规则，从而仅依靠眼睛和头部转动就能完成人机交互中的交互确认操作，降低误操作率。

[0010] 本发明采用的技术方案如下：一种基于眼动跟踪的沉浸式流场可视化人机交互方法，通过眼动仪与VR头盔相结合进行人机交互，包括：

[0011] 步骤1、获取眼球注视方向向量与头盔旋转信息，将眼注视方向变换到世界坐标系下；

[0012] 步骤2、对世界坐标系下的眼球注视方向依次进行眼动校准以及眼动去抖；

[0013] 步骤3、根据VR头盔获取头盔凝视方向向量，将头盔凝视方向指向目标对象，判断眼动去抖后的眼球注视方向是否与头盔凝视方向相同，不同则移动视线进入步骤1；相同则
触发交互操作，完成交互。

[0014] 进一步的，所述步骤1的具体过程为:通过头盔接口获取VR头盔的旋转信息，包括相机旋转轴以及旋转角度，构造三维旋转矩阵，将眼球注视方向向量带入三维旋转矩阵，得
到世界坐标系下的初始眼球注视方向向量。

[0015] 进一步的，所述步骤2中，在执行眼动校准之前，判断是否为首次校准，若是则进行初始校准，否则执行动态隐式校准。

[0016] 进一步的，所述初始校准过程为：通过VR头盔获得用户的头部高度，在等高的正前方产生白色校准球，当用户头盔凝视方向落在校准球上时，产生红点光标，用户眼睛盯着红
点2秒，此时用户实际眼球注视方向与头盔凝视方向一致，通过头盔凝视方向表示用户实际
眼球注视方向对初始眼球注视方向向量进行偏移修正；偏移修正具体过程为：头盔凝视方
向向量 与眼动仪测量的眼球注视方向向量 相减得到偏移向量 ,通过偏移
向量进行初始校准后得到的用户眼球注视方向向量为 。

[0017] 进一步的，所述动态隐式校准过程为：根据上次交互操作时的头盔凝视方向向量与眼动仪测量的眼球注视方向向量 相减得到新的校准偏移向量 ，并采用指数平滑
法更新校准偏移向量 ，通过新的校准偏移向量校准得到用户眼球注视方向向量为
，其中，

[0018] ,

[0019] 为平滑系数， 为前一次校准时的校准偏移向量。

[0020] 进一步的，所述眼动去抖具体方法为：

[0021]

[0022] ，为 时刻去抖后的眼球注视方向向量， 为 时刻经过校准但仍需进行去抖处理的眼球注视方向向量， 为 时刻的眼球注视方向向量， 为动态平滑系数；所述 的
获取方法为：预先设定眼动速度阈值 ，计算最近两次眼球注视方向向量的夹角确定扫
视速度 ，当 时判定眼动处于低速注视状态， ；当 时判定眼动处于
高速扫视状态， ，此时若 则将设定 。

[0023] 进一步的，所述步骤3中，在沉浸式环境下构建交互界面来完成交互操作，通过QT构建初始交互界面并保存为图片，在沉浸式环境下加入一个有限平面，将保存的界面图片
以贴图形式贴在有限平面表面形成交互平面；用户注视该交互平面，并将眼球注视方向、头
盔凝视方向与该平面的交点坐标传回给QT触发交互事件，完成交互；当用户使用呼唤手势
时可开启或关闭界面；当界面状态发生改变时，更新界面贴图使得沉浸式环境下的交互界
面实时更新。

[0024] 进一步的，所述步骤3中触发交互操作时还包括磁吸重合处理，当通过校准和去抖处理后的眼球注视方向向量与头盔凝视方向向量夹角大于4.3°时两向量分别独立表示各
自的方向；当眼球注视方向向量与头盔凝视方向向量夹角小于等于4.3°时，将实际眼球注
视方向设置为头盔凝视方向，使两者的方向重合。

[0025] 进一步的，所述步骤3中触发交互操作前进行误触验证，当出现以下情况中任意一种情况表示该操作为误触操作：

[0026] （1）交互触发前，眼球注视方向向量的变化速度低于预设值；

[0027] （2）交互触发前，头盔凝视方向向量的变化速度低于预设值；

[0028] （3）交互触发时，眼球注视方向和头盔凝视方向处于重合状态。

[0029] 进一步的，在触发交互操作后，设有0.3秒的操作保护期，在此期间不再触发交互操作。

[0030] 与现有技术相比，采用上述技术方案的有益效果为：

[0031] 1.仅需要眼睛和头部两个交互通道输入，无需双手参与，降低双手劳动强度，提高用户长时间分析的效率。

[0032] 2.初始快速校准减少了交互前眼动校准耗费的时间，交互中采用的动态隐式校准在不占用用户时间和精力的前提下不断更新眼动校准，提高校准精度。

[0033] 3.眼动注视方向的去抖中采用动态指数平滑法，根据人体视觉感官的特点降低眼球注视抖动程度。

[0034] 4.在交互事件触发逻辑上采用磁吸重合法进行触发，根据误触保护法过滤无意识或非法的触发情况，提高了界面交互的速度，降低了交互的误触。

附图说明

[0035] 图1为流场可视化的典型工作流程图。

[0036] 图2为本发明提出的基于眼动跟踪的沉浸式流场可视化人机交互方法流程图。

[0037] 图3为本发明提出的方案中初始校准示意图。

[0038] 图4为本发明提出的方案中动态隐式校准示意图。

[0039] 图5为本发明提出的方案中一种情况磁吸重合示意图。

[0040] 图6为本发明提出的方案中另一种情况磁吸重合示意图。

具体实施方式

[0041] 下面结合附图对本发明做进一步描述。

[0042] 本发明的目的是解决虚拟现实环境下流场可视化分析的人机交互问题。

[0043] 如图1所示为一个流场可视化的典型工作流程图，在其中有两处涉及人机交互问题，第一处是更改/新增过滤器，第二处是交互式探索。过滤器顾名思义即起过滤作用，其内
部是不同的可视化算法，通过修改或添加可视化算法将输入的复杂原始流场数据进行过
滤，仅选取与研究目标相关的数据进行映射绘制。交互式探索是通过移动、放大、缩小、旋转
等操作全方面细致地观察三维可视化图形，以不同的角度观察全局或局部特征从而更好的
研究流场科学规律。

[0044] 针对需要进行人机交互的部分，本发明提出了一种人机交互的具体实现方法，通过眼动仪与VR头盔相结合进行人机交互，包括：

[0045] 步骤1、分别根据眼动仪和VR头盔获取眼球注视方向向量与头盔旋转信息，将眼注视方向变换到世界坐标系下；

[0046] 步骤2、对世界坐标系下的眼球注视方向依次进行眼动校准以及眼动去抖；

[0047] 步骤3、根据VR头盔获取头盔凝视方向向量，将头盔凝视方向指向目标对象，判断眼动去抖后的眼球注视方向是否与头盔凝视方向相同，不同则移动视线进入步骤1；相同则
触发交互操作，完成交互。

[0048] 具体的，在进行人机交互时，通过眼动仪测量眼球注视方向向量以及通过VR头盔获取头盔旋转信息；而初始测量的眼球注视方向向量是基于眼动仪的局部坐标系，需要变
换到世界坐标系才能沉浸式环境下交互使用，考虑到对于指示方向的向量进行变换，因此
只需要进行旋转变换。在本实施例中，采用四元数表示的三维旋转法将眼球注视方向变换
到世界坐标系下，通过头盔接口可以获取虚拟现实头盔的旋转信息，用四元组表示, 包括
相机旋转轴 以及旋转角度 ,构造三维旋转矩阵 ：

[0049]

[0050] 将眼动跟踪器局部坐标系下的眼球初始注视方向向量 带入矩阵 ，可得世界坐标系下的初始注视方向向量 。

[0051] 在使用眼动交互之前，需要进行一次眼动校准，保证测量得到的眼球注视方向与实际注视方向基本一致,本发明提出初始快速校准+动态隐式校准结合的方法，在校准前判
断是否为首次校准，若是则进行初始校准，否则进行动态隐式校准。相对于现有的5点或者9
点校准，初始校准使用1点快速校准即可；另外随着眼动交互的使用，通过动态隐式校准不
断修正校准结果，使眼动校准更加准确。眼动校准的方法不限于偏移量法，还可以采用线性
回归法或者单应性法来完成偏移的校准修正。

[0052] （1）初始校准

[0053] 校准的原理如图3所示，为了有较好的指示效果，实际眼球注视方向以光圈的形式表现。通过VR头盔获得用户的头部高度，在等高的正前方产生一个白色校准小球，当用户头
盔凝视方向落在校准球上时，会产生红点光标，用户眼睛盯着红点2秒，此时用户实际眼球
注视方向与头盔凝视方向一致，因此可以用头盔凝视方向表示用户实际眼球注视方向对眼
动仪测量得到的眼球注视方向进行偏移修正。在本实施例中，采用偏移量法进行校正，头盔
凝视方向向量 与眼动仪测量的眼球注视方向向量 相减得到偏移向量 。经
过初始快速校准后得到的用户眼球注视方向向量为 。

[0054] （2）动态隐式校准

[0055] 在每次完成眼动交互操作时，动态隐式校准的第一次校准在经过初始校准后第一次完成交互后进行，虽然眼球真实视线始终落在目标对象上，但是软件通常在上一次校准
后的用户眼球注视方向与目标对象之前偏差小于某一阈值后便认为视线已经落在目标对
象上，这其中必定还存在一定的误差，因此需要修正前次校准偏移向量 。根据本发明交
互触发条件，进行交互操作时仍然可以用头盔凝视方向 作为用户真实视线方向，因此可
以再次通过头盔凝视方向向量 与眼动仪测量的眼球注视方向 相减得到新的校准偏移
向量 ，原理如图4所示。使用指数平滑法更新校准偏移量

[0056] ,其中， 为平滑系数， 为前一次校准时的校准偏移向量。

[0057] 经过校准后，由于眼球本身原因或者眼动跟踪设备原因，当用户注视某个目标对象时可能存在抖动，因此需要进行眼动去抖。本发明在指数平滑法基础上，结合高速扫视及
低速注视时眼动跟踪结果抖动的特点，提出动态指数平滑法。具体原理如下：

[0058]

[0059] 其中， 为 时刻去抖后的注视方向向量， 为 时刻经过校准但仍需进行去抖处理的眼球注视方向向量， 为 时刻的眼球注视方向向量， 为动态平滑系数，将眼球
注视方向向量 带入该公式进行更新，即可达到平滑眼动降低抖动的目的；根据眼动的该
特点，当眼睛高速扫视时对t时刻的初始注视坐标较为敏感，即 较大较好，当低速注视时
对 时刻的注视坐标较为敏感，即 较小较好。通过动态调整平滑系数，使得平滑结果
与眼动的运动特点更加符合。

[0060] 具体的， 的获取方法为：预先设定眼动速度阈值 ，计算最近两次眼动注视方向向量的夹角确定扫视速度 ，当 时判定眼动处于低速注视状态， ；
当 时判定眼动处于高速扫视状态， ，此时若 则将
设定 。

[0061] 本实施例中，更改/新增过滤器主要是对过滤算法的参数进行配置，例如过滤算法种类的选择、算法参数的范围设置等，在沉浸式环境下构建交互界面来完成该交互操作，通
过QT构建初始交互界面并保存为图片，在沉浸式环境下加入一个有限平面，将保存的界面
图片以贴图形式贴在有限平面表面形成交互平面；用户注视该交互平面，并将眼球注视方
向、头盔凝视方向与该平面的交点坐标传回给QT触发交互事件，完成交互；当用户使用呼唤
手势时可开启或关闭界面；当界面状态发生改变时，更新界面贴图使得沉浸式环境下的交
互界面实时更新。

[0062] 在本实施例中，如图5、图6所示，为了提高交互易用性，在触发交互过程中加入了磁吸重合功能，当经过校准和去抖处理后的眼球注视方向向量与头盔凝视方向向量夹角大
于4.3°时两向量分别独立表示各自的方向；当眼球注视方向与头盔凝视方向小于等于4.3°
时，将实际眼球注视方向设置为头盔凝视方向，使两者的方向重合。通过该功能得眼球注视
与头盔凝视呈现“磁吸”效果，可以较好的消除因物理测量和计算转换导致的误差，在不会
大幅提高误触率的前提下提高交互速度，提高交互易用性。

[0063] 在触发交互操作前进行误触验证，当出现以下情况中任意一种情况表示该操作为误触操作：

[0064] （1）交互触发前，眼球注视方向向量的变化速度低于预设值；

[0065] （2）交互触发前，头盔凝视方向向量的变化速度低于预设值；

[0066] （3）交互触发时，眼球注视方向和头盔凝视方向处于重合状态。

[0067] 在触发交互操作后，设有0.3秒的操作保护期，在此期间不再触发交互操作。

[0068] 上述误触保护规则能够在交互触发的整个流程中过滤绝大多数无意识触发交互的情况，保证用户的真实交互意图体现，降低误操作率。本发明方案的误触保护规则不限于
上述规则，可根据实际需求进行调整，例如加入头部凝视与眼球凝视重合时间的要求。

[0069] 本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。如果本
领域技术人员，在不脱离本发明的精神所做的非实质性改变或改进，都应该属于本发明权
利要求保护的范围。

[0070] 本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

[0071] 本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子
而已。