头戴式显示器

摘要

本公开提供一种包含腔室、光发射器、相机以及处理器的头戴式显示器(HMD)。腔室设置有透镜和显示器，其中透镜涂布有反射层，且反射层具有至少一个特定位置。光发射器位于腔室的外部且将第一光线发射到反射层上的各特定位置，其中对于第i个特定位置而言，第一光线经第i个特定位置散射为多个第二光线，多个第二光线经目标眼睛散射为多个第三光线，且多个第三光线经反射层上的多个参考位置散射为多个第四光线。相机从反射层捕获多个第四光线作为对应于第i个特定位置的图像。处理器基于对应于各特定位置的图像而估计目标眼睛的眼睛姿势。借此，可实现对于HMD穿戴者的眼睛跟踪。

权利要求

1.一种头戴式显示器(HMD)，包括：

腔室，设置有透镜和显示器，其中所述透镜具有第一表面和第二表面，所述第一表面面向所述显示器，且所述第二表面涂布有反射层且面向穿戴者的目标眼睛；

参考光源，位于所述腔室的外部且将参考光发射到所述反射层；

至少一个光发射器，位于所述腔室的外部且序列地将第一光线发射到所述目标眼睛，其中对于所述至少一光发射器的第j个光发射器而言，所述目标眼睛将对应于所述第j个光发射器的所述第一光线散射为多个第二光散射到所述反射层，对应于每一光发射器的所述第一光线与所述参考光为时间上同调，且对应于所述第j个光发射器的所述多个第二光与所述参考光干涉为对应于所述第j个光发射器的干涉图案；

相机，位于所述腔室的外部且捕获对应于每一光发射器的所述干涉图案；以及处理器，与所述参考光源、所述至少一个光发射器以及所述相机耦合且基于对应于每一光发射器的所述干涉图案而估计所述目标眼睛的眼睛姿势。

2.根据权利要求1所述的头戴式显示器，其中所述显示器用于提供视觉内容，其中所述视觉内容通过所述透镜传播到所述目标眼睛。

3.根据权利要求1所述的头戴式显示器，其中所述第一光线具有波长分布，所述反射层仅散射具有位于所述波长分布内的特定波长的光，且所述相机仅捕获具有所述特定波长的光。

4.根据权利要求1所述的头戴式显示器，其中所述处理器经配置以：

将对应于每一光发射器的所述干涉图案输入到特征提取模型，其中所述特征提取模型从对应于每一光发射器的所述干涉图案提取所述目标眼睛的多个3D眼睛特征；以及基于所述3D眼睛特征而获得所述目标眼睛的所述眼睛姿势。

5.根据权利要求4所述的头戴式显示器，其中所述特征提取模型包括编码器解码器卷积神经网络。

6.根据权利要求1所述的头戴式显示器，其中所述至少一个光发射器围绕所述透镜设置。

7.根据权利要求1所述的头戴式显示器，其中所述第一光线是不可见光。

8.根据权利要求1所述的头戴式显示器，其中所述处理器基于所述目标眼睛的所述眼睛姿势而进一步获得所述目标眼睛的凝视方向。

说明书

头戴式显示器

技术领域

[0001] 本公开大体上涉及用于获得眼睛姿势的装置，确切地说，涉及能够获得穿戴者的眼睛姿势的头戴式显示器(head‑mounted display；HMD)。

背景技术

[0002] 见图1A，其绘示常规眼睛跟踪机制。在图1A中，由于虚拟现实(virtual reality；VR)透镜102的光圈的趋势是变得越来越大以用于用户的沉浸式感知，因此当目标眼睛199处于一些特定眼睛旋转角度时，透镜102的边界处的直观型眼睛跟踪器的相机106的位置变得越来越难以捕获眼睛特征(例如，瞳孔)。举例来说，当由穿戴者穿戴的HMD的腔室100(其可称作VR管(VR tube))的显示器104展现具有围绕视觉内容的上部边界的一些对象的视觉内容时，穿戴者的目标眼睛199可能尝试注视那些对象。在这种情况下，目标眼睛199可向上旋转，使得设置于透镜102的下部边界附近的相机106无法取得具有瞳孔的眼睛图像，且因此不能恰当地执行相关的眼睛跟踪机制。

[0003] 见图1B，其绘示热镜面型(hot‑mirrortype)眼睛跟踪机制。在图1B中，用于捕获目标眼睛199的眼睛图像的相机106设置于腔室100a的内部，其中腔室100a还设置有仅能够反射红外(infrared；IR)光的镜面108。在这种情况下，HMD可设置有用于利用IR光来照明目标眼睛199的IR照明器，使得目标眼睛199可将IR光反射到镜面108。当镜面108接收由目标眼睛199反射的IR光时，镜面108会将接收到的IR光进一步反射到相机106a以使相机106a捕获目标眼睛199的眼睛图像，使得可执行后续眼睛跟踪机制。

[0004] 然而，随着腔室100a(即，VR管)的厚度的趋势变得越薄(即，透镜102与显示器104之间的距离变得越短)，镜面108将越来越接近显示器104，且因此相机106a的可见性也变得越来越小。

发明内容

[0005] 因此，本发明提出一种HMD，其可用于解决以上技术问题。

[0006] 在一个实施例中，本公开提供包含腔室、光发射器、相机以及处理器的头戴式显示器(HMD)。腔室设置有透镜和显示器，其中透镜具有第一表面和第二表面，第一表面面向显示器，第二表面涂布有反射层且面向穿戴者的目标眼睛，且反射层具有至少一个特定位置。光发射器位于腔室的外部且将第一光线发射到反射层上的每一特定位置，其中对于所述至少一特位置中的第i个特定位置而言，所述第一光线经所述第i个特定位置散射为多个第二光线，所述多个第二光线经所述目标眼睛散射为多个第三光线，且所述多个第三光线经所述反射层上的多个参考位置散射为多个第四光线。相机位于腔室外部且从反射层捕获所述多个第四光线作为对应于所述第i个特定位置的图像。处理器与光发射器和相机耦合且基于对应于每一特定位置的图像而估计目标眼睛的眼睛姿势。

[0007] 在另一实施例中，本公开提供包含腔室、参考光源、至少一个光发射器、相机以及处理器的头戴式显示器(HMD)。腔室设置有透镜和显示器，其中透镜具有第一表面和第二表面，第一表面面向显示器，且第二表面涂布有反射层且面向穿戴者的目标眼睛。参考光源位于腔室外部且将参考光发射到反射层。至少一个光发射器位于所述腔室的外部且序列地将第一光线发射到所述目标眼睛，其中对于所述至少一光发射器的第j个光发射器而言，所述目标眼睛将对应于所述第j个光发射器的所述第一光线散射为多个第二光散射到所述反射层，对应于每一光发射器的所述第一光线与所述参考光为时间上同调，且对应于所述第j个光发射器的所述多个第二光与所述参考光干涉为对应于所述第j个光发射器的干涉图案。相机位于腔室的外部且捕获对应于每一光发射器的干涉图案。处理器与参考光源、至少一个光发射器以及相机耦合且基于对应于每一光发射器的干涉图案而估计目标眼睛的眼睛姿势。

附图说明

[0008] 包含附图以提供对本发明的进一步理解，且附图并入本说明书中且构成本说明书的一部分。附图说明本发明的实施例，且与描述一起用于解释本发明的原理。

[0009] 图1A绘示常规眼睛跟踪机制。

[0010] 图1B绘示热镜面型眼睛跟踪机制。

[0011] 图2绘示根据本公开的第一实施例的HMD的示意图。

[0012] 图3A是根据本公开的第二实施例的HMD的示意图。

[0013] 图3B是图3A中的腔室的正视图。

[0014] 附图标号说明

[0015] 100、100a、210、310：腔室；

[0016] 102：透镜；

[0017] 104、212、312：显示器；

[0018] 106、106a、230、330：相机；

[0019] 108：镜面；

[0020] 199、299、399：目标眼睛；

[0021] 200、300：HMD；

[0022] 211、311：透镜；

[0023] 211a、311a：第一表面；

[0024] 211b、311b：第二表面；

[0025] 213、313：反射层；

[0026] 220、351、352、353、354、355、356、357、358：光发射器；

[0027] 240、340：处理器；

[0028] 320：参考光源；

[0029] k：参考位置；

[0030] L1、L11：第一光线；

[0031] L2、L21：第二光线；

[0032] L3：第三光线；

[0033] L4：第四光线；

[0034] p：眼睛位置；

[0035] P_1：干涉图案；

[0036] RL：参考光；

[0037] v：特定位置。

具体实施方式

[0038] 现将详细地对本发明的目前优选实施例进行参考，其实例在附图中加以说明。只要可能，相同的参考标号在附图和描述中用以指代相同或类似部分。

[0039] 见图2，其绘示根据本公开的第一实施例的HMD的示意图。在图2中，HMD 200包含腔室210、光发射器220、相机230以及处理器240。腔室210设置有透镜211和显示器212，其中透镜211具有第一表面211a和第二表面211b。

[0040] 在一个实施例中，显示器212可用于提供视觉内容(例如，VR内容)，且视觉内容可通过透镜211传播到HMD 200的穿戴者的目标眼睛299。也就是说，目标眼睛299可通过透镜211看见视觉内容。

[0041] 在本公开的一个实施例中，第一表面211a面向显示器212，第二表面211b涂布有反射层213且面向目标眼睛299。

[0042] 光发射器220位于腔室210外部且将第一光线L1发射到反射层213。在一个实施例中，反射层213可具有至少一个特定位置，且光发射器220可设计成将第一光线L1发射到反射层213上的每一特定位置。

[0043] 从另一视角，图2可视为绘示光发射器220将第一光线L1发射到反射层213上的一个特定位置(表示为v)的情形，但本公开不限于此。

[0044] 在一个实施例中，反射层213可包含N个特定位置及多个参考位置。在一实施例中,所述N个特定位置可分别表示为v1、v2、…、vN，且图2中的特定位置v可理解为N个特定位置中的一个，但本公开不限于此。此外，图2所示的参考位置k可理解为上述参考位置的其中之一，但本公开可不限于此。

[0045] 在一个实施例中，第一光线L1可以是具有波长分布的不可见窄带光(例如，IR光)，且反射层213可设计成仅散射具有位于上述波长分布的特定波长的光，例如，第一光线L1。

[0046] 在一个实施例中，在第一光线L1到达反射层213上的第i个(1≤i≤N)特定位置(例如特定位置v)之后，第一光线L1可经所述第i个特定位置散射为多个第二光线，所述多个第二光线可经目标眼睛299散射为多个第三光线，而所述多个第三光线可经反射层213上的上述参考位置而散射为多个第四光线。

[0047] 以图2为例，第一光线L1可视为由反射层213上的特定位置v散射为多个第二光线L2(图2中仅简示出所述多个第二光线L2的其中之一)。对应于特定位置v的第二光线L2可视为由目标眼睛299上的多个眼睛位置p(图2中仅简示出所述多个眼睛位置p的其中之一)散射为多个第三光线L3(图2中仅简示出所述多个第三光线L3的其中之一)。对应于特定位置v的所述多个第三光线L3可视为由反射层213上的上述参考位置散射为对应于特定位置v的多个第四光线L4(图2中仅简示出所述多个第四光线L4的其中之一)，但本公开不限于此。

[0048] 在一个实施例中，由位置k处的第三光线L3所产生的辐射(radiance)可模型化为：

[0049]

[0050] ，其中f表示点p处的双向反射分布函数(bidi  rectional refl ectance distribution function；BRDF)，L(v)是特定位置v处的辐射，L(k)是参考位置k处的辐射，nx是在眼睛位置p处的入射表面的表面法线，dSp是在眼睛位置p附近的微分表面元素，rpv是从点特定位置v到眼睛位置p的距离，且眼睛位置p处的BRDF编码目标眼睛299的信息。L(k)的以上公式的细节可参考“W.Chen，S.Daneau，C.Brosseau and F.Heide，″Steady‑State Non‑Line‑Of‑Sight Imaging，″2019/EEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR)，Long Beach，CA，USA，2019，pp.6783‑6792，doi：10.1109/CVPR.2019.00695”(下文中称作“文献D1”)，本文中将不重复所述细节。

[0051] 在一个实施例中，相机230可位于腔室210的外部且仅能够检测具有特定波长的光(例如，第四光线L4)。在这种情况下，相机230可将所述多个第四光线L4捕获为对应于所述第i个特定位置的图像。

[0052] 在一个实施例中，在对应于所述第i个特定位置的图像上的像素q上的辐射可模型化为：

[0053]

[0054] ，且其细节也可参考文献D1，本文中将并不重复所述细节。

[0055] 基于类似原理，相机230可捕获对应于各特定位置的图像。也就是说，相机230可捕获分别对应于N个特定位置(即，v1到vN)的N个图像(表示为Iv1、Iv2、...、IvN)，但本公开不限于此。

[0056] 随后，与光发射器220和相机230耦合的处理器240可基于对应于每一特定位置的图像而估计目标眼睛299的眼睛姿势。也就是说，处理器240可基于N个图像(即，Iv1、Iv2、...、IvN)而估计目标眼睛299的眼睛姿势。

[0057] 在一个实施例中，处理器240可将对应于每一特定位置的图像输入到特征提取模型。也就是说，处理器240可将Iv1、Iv2、...、IvN输入到特征提取模型。对应地，特征提取模型可从对应于每一特定位置的图像提取目标眼睛299的多个3D眼睛特征。

[0058] 在一个实施例中，Iv1、Iv2、...、IvN可理解为来自特定位置V上的不同入射光线的目标眼睛299的一系列已编码多视图图像。在这种情况下，特征提取模型可包含编码器解码器(encoder‑decoder)卷积神经网络，所述编码器解码器卷积神经网络经过预训练以学习从Iv1、Iv2、...、IvN(即，已编码多视图图像)提取目标眼睛299内的3D眼睛特征，但本公开不限于此。

[0059] 在一个实施例中，从上述图像中提取的3D眼睛特征可表征为张量，而表征提取自Iv1、Iv2、...、IvN的上述3D眼睛特征的输出张量的维度可以是W×H×C，其中W可以是Iv1的宽度且H可以是Iv1的高度。在一个实施例中，C可以是特征索引的预定数目，其也可视为张量的通道的数目。也就是说，上述张量可视为包含C个信道，其中这些信道一对一地对应于3D眼睛特征，且每一通道是W×H矩阵。在一个实施例中，第i个通道指示与第i个眼睛特征相对应的深度图，其中信道中此矩阵元素的值表示在定义范围内的深度步长(depth step)。

[0060] 随后，处理器240可基于3D眼睛特征以及3D至2D匹配技术(例如透视n点(PNP))而获得目标眼睛299的眼睛姿势。在一个实施例中，处理器240可基于3D眼睛特征而重构目标眼睛299的3D眼睛结构，且处理器240可使用姿势估计器来基于重构3D眼睛结构而估计目标眼睛299的眼睛姿势。在一些实施例中，姿势估计器可经过预训练以基于重构眼睛结构而输出估计眼睛姿势，但本公开不限于此。

[0061] 在一个实施例中，处理器240可基于目标眼睛299的眼睛姿势而进一步获得目标眼睛299的凝视方向，使得可恰当地执行眼睛跟踪机制。

[0062] 另外，HMD 200可包含如图2中所绘示的另一腔室，其中上文中的教示可用于获得穿戴者的另一目标眼睛的眼睛姿势，且本文中将不重复细节。

[0063] 见图3A和图3B，其中图3A是根据本公开的第二实施例的HMD的示意图，且图3B是图3A中的腔室的正视图。在第二实施例中，HMD 300包含腔室310、参考光源320、光发射器351到光发射器358、相机330以及处理器340。类似于图2中的结构，腔室310设置有透镜311和显示器312，其中透镜311具有第一表面311a和第二表面311b。第一表面311a面向显示器312，且第二表面311b涂布有反射层313且面向HMD 300的穿戴者的目标眼睛399。

[0064] 参考光源320位于腔室310的外部且将参考光RL发射到反射层313。在一个实施例中，参考光RL可以是IR光，但本公开不限于此。

[0065] 光发射器351到光发射器358位于腔室310的外部且序列地将第一光线L11发射到目标眼睛399，其中对应于每一光发射器351到光发射器358的第一光线L11与参考光RL在时间上同调(temporally coherent)。在一个实施例中，第一光线L11可以是具有波长分布的不可见窄带光(例如，IR光)，且反射层313可设计成仅散射具有位于上述波长分布内的特定波长的光，例如，第一光线L11。

[0066] 在图3B中，光发射器351到光发射器358可围绕透镜311设置，但本公开不限于此。在另一实施例中，每一光发射器的数目和位置可基于设计者的需求而调整。举例来说，光发射器的数目可更多或更少，且每一光发射器的位置可改变，只要由每一光发射器发射的第一光线L11可到达目标眼睛399即可，但本公开不限于此。应注意，为简化说明，图3A中仅绘示光发射器351，但本公开不限于此。

[0067] 在一个实施例中，对于第i个(i介于1及光发射器351‑358的总数之间)光发射器而言，目标眼睛399可将对应于所述第i个光发射器的第一光线散射为多个第二光线L21到反射层313。举例来说，在图3A中，目标眼睛399可将对应于光发射器351的第一光线L11散射为第二光线L21到反射层313(其中图3A中仅简示所述多个第二光线L21的其中之一)。对于其它光发射器352到光发射器358，与其对应的第一光线L11也将由目标眼睛399散射到反射层313。

[0068] 在这种情况下，对应于每一光发射器351到光发射器358的第二光线将与参考光RL干涉作为对应于每一光发射器351到光发射器358的干涉图案。举例来说，在图3A中，对应于光发射器351的第二光线L21将与参考光RL干涉作为对应于光发射器351的干涉图案P1。因此，在光发射器351到光发射器358顺序地发射第一光线L11之后，将存在可在反射层313上观测的八个(即，光发射器351到光发射器358的数目)干涉图案(称作P1到P8)。

[0069] 随后，相机330可位于腔室310的外部且仅能够检测具有特定波长的光。在这种情况下，相机330可捕获对应于每一光发射器351到光发射器358的干涉图案。也就是说，在图3A和图3B的情境中，相机330可捕获P1到P8。

[0070] 然后，与参考光源320、光发射器351到光发射器358以及相机330耦合的处理器340可基于对应于每一光发射器351到光发射器358的干涉图案而估计目标眼睛399的眼睛姿势。也就是说，处理器340可基于P1到P8而估计目标眼睛399的眼睛姿势

[0071] 在一个实施例中，处理器340可将对应于每一光发射器351到光发射器358的干涉图案输入到特征提取模型。也就是说，处理器340可将P1到P8输入到特征提取模型。对应地，特征提取模型可从对应于每一光发射器351到光发射器358的干涉图案提取目标眼睛399的多个3D眼睛特征。

[0072] 在一个实施例中，P1到P8可理解为目标眼睛399的已编码多视图图像。在这种情况下，特征提取模型可包含编码器解码器卷积神经网络，所述编码器解码器卷积神经网络经过预训练以学习从P1‑P8(即，已编码多视图图像)提取目标眼睛399内的3D眼睛特征，但本公开不限于此。在一个实施例中，从干涉图案中的一个提取的3D眼睛特征可表征为张量，且其细节可参考第一实施例中的教示，本文中将不重复所述细节。

[0073] 随后，处理器340可基于3D眼睛特征而获得目标眼睛399的眼睛姿势。在一个实施例中，处理器340可基于输入干涉图像而重构目标眼睛399的3D眼睛结构，且处理器340可使用姿势估计器来基于重构3D眼睛结构而估计目标眼睛399的眼睛姿势。在一些实施例中，姿势估计器可经过预训练以基于重构眼睛结构而输出估计眼睛姿势，但本公开不限于此。

[0074] 在一个实施例中，处理器340可基于目标眼睛399的眼睛姿势而进一步获得目标眼睛399的凝视方向，使得可恰当地执行眼睛跟踪机制。

[0075] 另外，HMD 300可包含如图3A中所绘示的另一腔室，其中上文中的教示可用于获得穿戴者的另一目标眼睛的眼睛姿势，且本文中将不重复细节。

[0076] 综上所述，本公开提供两个HMD结构，其中反射层涂布在面向穿戴者的目标眼睛的透镜表面上。在所述情形下，当由光发射器发射的光到达目标眼睛时，目标眼睛的信息可编码为由目标眼睛反射或散射的光，且因此可对应地获得目标眼睛的眼睛姿势。因此，两个提出的HMD结构可用于以新颖方式执行眼睛跟踪机制，使得眼睛跟踪机制将不受具有小厚度的腔室限制或不受其中目标眼睛执行极端旋转的情形(例如，注视视觉内容的边界处的对象)限制。

[0077] 将对本领域的技术人员显而易见的是，在不脱离本发明的范围或精神的情况下，可对本发明的结构作出各种修改和变化。鉴于前述内容，希望本发明涵盖属于所附权利要求书和其等效物的范围内的本发明的修改和变化。现将详细地对本发明的目前优选实施例进行参考，其实例在附图中加以说明。只要可能，相同的参考标号在附图和描述中用以指代相同或类似部分。

[0078] 见图2，其绘示根据本公开的第一实施例的HMD的示意图。在图2中，HMD 200包含腔室210、光发射器220、相机230以及处理器240。腔室210设置有透镜211和显示器212，其中透镜211具有第一表面211a和第二表面211b。

[0079] 在一个实施例中，显示器212可用于提供视觉内容(例如，VR内容)，且视觉内容可通过透镜211传播到HMD 200的穿戴者的目标眼睛299。也就是说，目标眼睛299可通过透镜211看见视觉内容。

[0080] 在本公开的一个实施例中，第一表面211a面向显示器212，第二表面211b涂布有反射层213且面向目标眼睛299。

[0081] 光发射器220位于腔室210外部且将第一光线L1发射到反射层213。在一个实施例中，反射层213可具有至少一个特定位置，且光发射器220可设计成将第一光线L1发射到反射层213上的每一特定位置。

[0082] 从另一视角，图2可视为绘示光发射器220将第一光线L1发射到反射层213上的一个特定位置(表示为v)的情形，但本公开不限于此。

[0083] 在一个实施例中，反射层213可包含N个特定位置及多个参考位置。在一实施例中,所述N个特定位置可分别表示为v1、v2、…、vN，且图2中的特定位置v可理解为N个特定位置中的一个，但本公开不限于此。此外，图2所示的参考位置k可理解为上述参考位置的其中之一，但本公开可不限于此。

[0084] 在一个实施例中，第一光线L1可以是具有波长分布的不可见窄带光(例如，IR光)，且反射层213可设计成仅散射具有位于上述波长分布的特定波长的光，例如，第一光线L1。

[0085] 在一个实施例中，在第一光线L1到达反射层213上的第i个(1≤i≤N)特定位置(例如特定位置v)之后，第一光线L1可经所述第i个特定位置散射为多个第二光线，所述多个第二光线可经目标眼睛299散射为多个第三光线，而所述多个第三光线可经反射层213上的上述参考位置而散射为多个第四光线。

[0086] 以图2为例，第一光线L1可视为由反射层213上的特定位置v散射为多个第二光线L2(图2中仅简示出所述多个第二光线L2的其中之一)。对应于特定位置v的第二光线L2可视为由目标眼睛299上的多个眼睛位置p(图2中仅简示出所述多个眼睛位置p的其中之一)散射为多个第三光线L3(图2中仅简示出所述多个第三光线L3的其中之一)。对应于特定位置v的所述多个第三光线L3可视为由反射层213上的上述参考位置散射为对应于特定位置v的多个第四光线L4(图2中仅简示出所述多个第四光线L4的其中之一)，但本公开不限于此。

[0087] 在一个实施例中，由位置k处的第三光线L3所产生的辐射(radiance)可模型化为：

[0088]

[0089] ，其中f表示点p处的双向反射分布函数(bidirectional  reflectance distribution function；BRDF)，L(v)是特定位置v处的辐射，L(k)是参考位置k处的辐射，nx是在眼睛位置p处的入射表面的表面法线，dSp是在眼睛位置p附近的微分表面元素，rpv是从点特定位置v到眼睛位置p的距离，且眼睛位置p处的BRDF编码目标眼睛299的信息。L(k)的以上公式的细节可参考“W.Chen,S.Daneau,C.Brosseau and F.Heide,"Steady‑State Non‑Line‑Of‑Sight Imaging,"2019IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR),Long Beach,CA,USA,2019,pp.6783‑6792,doi:10.1109/CVPR.2019.00695”(下文中称作“文献D1”)，本文中将不重复所述细节。

[0090] 在一个实施例中，相机230可位于腔室210的外部且仅能够检测具有特定波长的光(例如，第四光线L4)。在这种情况下，相机230可将所述多个第四光线L4捕获为对应于所述第i个特定位置的图像。

[0091] 在一个实施例中，在对应于所述第i个特定位置的图像上的像素q上的辐射可模型化为：

[0092]

[0093] ，且其细节也可参考文献D1，本文中将并不重复所述细节。

[0094] 基于类似原理，相机230可捕获对应于各特定位置的图像。也就是说，相机230可捕获分别对应于N个特定位置(即，v1到vN)的N个图像(表示为Iv1、v2、…、IvN)，但本公开不限于此。

[0095] 随后，与光发射器220和相机230耦合的处理器240可基于对应于每一特定位置的图像而估计目标眼睛299的眼睛姿势。也就是说，处理器240可基于N个图像(即，Iv1、Iv2、...、IvN)而估计目标眼睛299的眼睛姿势。

[0096] 在一个实施例中，处理器240可将对应于每一特定位置的图像输入到特征提取模型。也就是说，处理器240可将Iv1、Iv2、...、IvN输入到特征提取模型。对应地，特征提取模型可从对应于每一特定位置的图像提取目标眼睛299的多个3D眼睛特征。

[0097] 在一个实施例中，Iv1、Iv2、...、IvN可理解为来自特定位置v上的不同入射光线的目标眼睛299的一系列已编码多视图图像。在这种情况下，特征提取模型可包含编码器解码器(encoder‑decoder)卷积神经网络，所述编码器解码器卷积神经网络经过预训练以学习从Iv1、Iv2、...、IvN(即，已编码多视图图像)提取目标眼睛299内的3D眼睛特征，但本公开不限于此。

[0098] 在一个实施例中，从上述图像中提取的3D眼睛特征可表征为张量，而表征提取自Iv1、Iv2、...、IvN的上述3D眼睛特征的输出张量的维度可以是W×H×C，其中W可以是Iv1的宽度且H可以是Iv1的高度。在一个实施例中，C可以是特征索引的预定数目，其也可视为张量的通道的数目。也就是说，上述张量可视为包含C个信道，其中这些信道一对一地对应于3D眼睛特征，且每一通道是W×H矩阵。在一个实施例中，第i个通道指示与第i个眼睛特征相对应的深度图，其中信道中此矩阵元素的值表示在定义范围内的深度步长(depth step)。

[0099] 随后，处理器240可基于3D眼睛特征以及3D至2D匹配技术(例如透视n点(PNP))而获得目标眼睛299的眼睛姿势。在一个实施例中，处理器240可基于3D眼睛特征而重构目标眼睛299的3D眼睛结构，且处理器240可使用姿势估计器来基于重构3D眼睛结构而估计目标眼睛299的眼睛姿势。在一些实施例中，姿势估计器可经过预训练以基于重构眼睛结构而输出估计眼睛姿势，但本公开不限于此。

[0100] 在一个实施例中，处理器240可基于目标眼睛299的眼睛姿势而进一步获得目标眼睛299的凝视方向，使得可恰当地执行眼睛跟踪机制。

[0101] 另外，HMD 200可包含如图2中所绘示的另一腔室，其中上文中的教示可用于获得穿戴者的另一目标眼睛的眼睛姿势，且本文中将不重复细节。

[0102] 见图3A和图3B，其中图3A是根据本公开的第二实施例的HMD的示意图，且图3B是图3A中的腔室的正视图。在第二实施例中，HMD 300包含腔室310、参考光源320、光发射器351到光发射器358、相机330以及处理器340。类似于图2中的结构，腔室310设置有透镜311和显示器312，其中透镜311具有第一表面311a和第二表面311b。第一表面311a面向显示器312，且第二表面311b涂布有反射层313且面向HMD 300的穿戴者的目标眼睛399。

[0103] 参考光源320位于腔室310的外部且将参考光RL发射到反射层313。在一个实施例中，参考光RL可以是IR光，但本公开不限于此。

[0104] 光发射器351到光发射器358位于腔室310的外部且序列地将第一光线L11发射到目标眼睛399，其中对应于每一光发射器351到光发射器358的第一光线L11与参考光RL在时间上同调(temporally coherent)。在一个实施例中，第一光线L11可以是具有波长分布的不可见窄带光(例如，IR光)，且反射层313可设计成仅散射具有位于上述波长分布内的特定波长的光，例如，第一光线L11。

[0105] 在图3B中，光发射器351到光发射器358可围绕透镜311设置，但本公开不限于此。在另一实施例中，每一光发射器的数目和位置可基于设计者的需求而调整。举例来说，光发射器的数目可更多或更少，且每一光发射器的位置可改变，只要由每一光发射器发射的第一光线L11可到达目标眼睛399即可，但本公开不限于此。应注意，为简化说明，图3A中仅绘示光发射器351，但本公开不限于此。

[0106] 在一个实施例中，对于第j个(j介于1及光发射器351‑358的总数之间)光发射器而言，目标眼睛399可将对应于所述第j个光发射器的第一光线散射为多个第二光线L21到反射层313。举例来说，在图3A中，目标眼睛399可将对应于光发射器351的第一光线L11散射为第二光线L21到反射层313(其中图3A中仅简示所述多个第二光线L21的其中之一)。对于其它光发射器352到光发射器358，与其对应的第一光线L11也将由目标眼睛399散射到反射层313。

[0107] 在这种情况下，对应于每一光发射器351到光发射器358的第二光线将与参考光RL干涉作为对应于每一光发射器351到光发射器358的干涉图案。举例来说，在图3A中，对应于光发射器351的第二光线L21将与参考光RL干涉作为对应于光发射器351的干涉图案P1。因此，在光发射器351到光发射器358顺序地发射第一光线L11之后，将存在可在反射层313上观测的八个(即，光发射器351到光发射器358的数目)干涉图案(称作P1到P8)。

[0108] 随后，相机330可位于腔室310的外部且仅能够检测具有特定波长的光。在这种情况下，相机330可捕获对应于每一光发射器351到光发射器358的干涉图案。也就是说，在图3A和图3B的情境中，相机330可捕获P1到P8。

[0109] 然后，与参考光源320、光发射器351到光发射器358以及相机330耦合的处理器340可基于对应于每一光发射器351到光发射器358的干涉图案而估计目标眼睛399的眼睛姿势。也就是说，处理器340可基于P1到P8而估计目标眼睛399的眼睛姿势

[0110] 在一个实施例中，处理器340可将对应于每一光发射器351到光发射器358的干涉图案输入到特征提取模型。也就是说，处理器340可将P1到P8输入到特征提取模型。对应地，特征提取模型可从对应于每一光发射器351到光发射器358的干涉图案提取目标眼睛399的多个3D眼睛特征。

[0111] 在一个实施例中，P1到P8可理解为目标眼睛399的已编码多视图图像。在这种情况下，特征提取模型可包含编码器解码器卷积神经网络，所述编码器解码器卷积神经网络经过预训练以学习从P1‑P8(即，已编码多视图图像)提取目标眼睛399内的3D眼睛特征，但本公开不限于此。在一个实施例中，从干涉图案中的一个提取的3D眼睛特征可表征为张量，且其细节可参考第一实施例中的教示，本文中将不重复所述细节。

[0112] 随后，处理器340可基于3D眼睛特征而获得目标眼睛399的眼睛姿势。在一个实施例中，处理器340可基于输入干涉图像而重构目标眼睛399的3D眼睛结构，且处理器340可使用姿势估计器来基于重构3D眼睛结构而估计目标眼睛399的眼睛姿势。在一些实施例中，姿势估计器可经过预训练以基于重构眼睛结构而输出估计眼睛姿势，但本公开不限于此。

[0113] 在一个实施例中，处理器340可基于目标眼睛399的眼睛姿势而进一步获得目标眼睛399的凝视方向，使得可恰当地执行眼睛跟踪机制。

[0114] 另外，HMD 300可包含如图3A中所绘示的另一腔室，其中上文中的教示可用于获得穿戴者的另一目标眼睛的眼睛姿势，且本文中将不重复细节。

[0115] 综上所述，本公开提供两个HMD结构，其中反射层涂布在面向穿戴者的目标眼睛的透镜表面上。在所述情形下，当由光发射器发射的光到达目标眼睛时，目标眼睛的信息可编码为由目标眼睛反射或散射的光，且因此可对应地获得目标眼睛的眼睛姿势。因此，两个提出的HMD结构可用于以新颖方式执行眼睛跟踪机制，使得眼睛跟踪机制将不受具有小厚度的腔室限制或不受其中目标眼睛执行极端旋转的情形(例如，注视视觉内容的边界处的对象)限制。

[0116] 将对本领域的技术人员显而易见的是，在不脱离本发明的范围或精神的情况下，可对本发明的结构作出各种修改和变化。鉴于前述内容，希望本发明涵盖属于所附权利要求书和其等效物的范围内的本发明的修改和变化。