本发明公开了一种使用逆反射来进行瞳孔追踪的方法以及用于以逆反射进行瞳孔追踪的光学数组系统。所述光学数组系统包括一发光二极管数组、至少一图像传感器及一处理器。所述发光二极管数组包括至少一同轴发光二极管及至少一离轴发光二极管，用以照明位于一主动区的一使用者的瞳孔。所述至少一图像传感器是用以撷取被所述发光二极管数组光照后的瞳孔的图像，以产生多个撷取图像。所述处理器是耦接于所述图像传感器，用以接收所述多个撷取图像并对所述多个撷取图像作算法处理以分离出瞳孔信息，并据以判断所述主动区内的瞳孔存在及位置。本发明相较于现有的光学系统，可更快速地撷取图像，并且将背景噪声滤除。
1.一种用于以逆反射进行瞳孔追踪的光学数组系统，其特征在于包括：一发光二极管数组，包括至少一同轴发光二极管及至少一离轴发光二极管，用以照明位于一主动区中的一使用者的瞳孔；
至少一图像传感器，撷取被所述发光二极管数组光照后的瞳孔的图像，以产生多个撷取图像；以及一处理器，耦接于所述图像传感器，用以接收所述多个撷取图像并对所述多个撷取图像作算法处理以分离出瞳孔信息，并据以判断在所述主动区内的瞳孔存在及位置；
其中所述发光二极管数组是设置在一三面系统；以及所述光学数组系统还包括由多个发光二极管组成的一发光二极管内环、一第一发光二极管外环及一第二发光二极管外环，所述发光二极管内环是设置于所述三面系统的一中央面板上，所述第一发光二极管外环的部分发光二极管是分别设置于所述三面系统的一左侧面板的内缘及一右侧面板的内缘上，且所述第二发光二极管外环的部分发光二极管是分别设置于所述左侧面板的外缘及所述右侧面板的外缘上。
2.如权利要求1所述的光学数组系统，其特征在于，所述发光二极管内环、所述第一发光二极管外环及所述第二发光二极管外环的位置是根据一校正流程决定。
3.如权利要求1所述的光学数组系统，其特征在于，所述瞳孔信息是通过一同轴光照图像及一离轴光照图像之间的差别以及一画素临界值被分离出来。
4.如权利要求1所述的光学数组系统，其特征在于，所述主动区的一y轴是根据人体坐姿的平均高度而定义，且一x轴是根据人体两瞳孔间距的平均距离而定义。
5.一种使用逆反射来进行瞳孔追踪的方法，其特征在于包括：使用至少一同轴发光二极管及至少一离轴发光二极管照明位于一主动区中的一使用者的瞳孔；
提供至少一图像传感器，以撷取被所述发光二极管数组光照后的瞳孔的图像，以产生多个撷取图像；以及接收所述多个撷取图像并对所述多个撷取图像作算法处理以分离出瞳孔信息，并据以判断所述主动区内的瞳孔存在及位置；
其中照明所述使用者的瞳孔的步骤包括︰通过将由多个发光二极管组成的一发光二极管内环设置于一三面系统的一中央面板上、将由多个发光二极管组成的一第一发光二极管外环设置于所述三面系统的一左侧面板的内缘及一右侧面板的内缘上，以及将由多个发光二极管组成的一第二发光二极管外环分别设置于所述三面系统的所述左侧面板的外缘及所述右侧面板的外缘上，来照明所述使用者的瞳孔。
根据一校正流程决定所述发光二极管内环、所述第一发光二极管外环及所述第二发光二极管外环的位置。
在一三面系统的一左侧面板、一中央面板及一右侧面板中每一面板上设置一图像传感器与由多个发光二极管组成的一发光二极管内环及一发光二极管外环。
8.如权利要求5所述的方法，其特征在于，分离所述瞳孔信息的步骤包括：比较一同轴光照图像及一离轴光照图像以产生一差异图像；及
9.如权利要求5所述的方法，其特征在于，照明位于所述主动区中的所述使用者的瞳孔的步骤包括：根据人体坐姿的平均高度来定义所述主动区的一y轴；及
根据人体两瞳孔间距的平均距离来定义所述主动区的一x轴。
10.一种用于以逆反射进行瞳孔追踪的光学数组系统，其特征在于包括：一发光二极管数组，包括至少一同轴发光二极管及至少一离轴发光二极管，用以照明位于一主动区中的一使用者的瞳孔；
至少一图像传感器，撷取被所述发光二极管数组光照后的瞳孔的图像，以产生多个撷取图像；以及一处理器，耦接于所述图像传感器，用以接收所述多个撷取图像并对所述多个撷取图像作算法处理以分离出瞳孔信息，并据以判断在所述主动区内的瞳孔存在及位置；
其中所述发光二极管数组是设置在一三面系统；以及所述三面系统的一左侧面板、一中央面板及一右侧面板中每一面板上皆设置有一图像传感器与由多个发光二极管组成的一发光二极管内环及一发光二极管外环。
11.一种用于以逆反射进行瞳孔追踪的光学数组系统，其特征在于包括：一发光二极管数组，包括至少一同轴发光二极管及至少一离轴发光二极管，用以照明位于一主动区中的一使用者的瞳孔；
至少一图像传感器，撷取被所述发光二极管数组光照后的瞳孔的图像，以产生多个撷取图像；以及一处理器，耦接于所述图像传感器，用以接收所述多个撷取图像并对所述多个撷取图像作算法处理以分离出瞳孔信息，并据以判断在所述主动区内的瞳孔存在及位置；
其中所述发光二极管数组是设置在一三面系统；以及所述光学数组系统为一副眼镜，其包括︰一左眼镜框，用以安装一左眼镜片；
二连接臂，分别连接所述左眼镜框的最外缘及所述右眼镜框的最外缘；以及一鼻梁架，连接所述左眼镜框的最内缘及所述右眼镜框的最内缘；
其中一第一图像传感器是设置在所述左眼镜框的上方中间处，一第二图像传感器是设置在所述右眼镜框的上方中间处，多个离轴发光二极管是设置在所述左眼镜框的最外缘及最内缘，以及设置在所述右眼镜框的最外缘及最内缘，且多个同轴发光二极管是设置在所述第一图像传感器及所述第二图像传感器的周围。
用于以逆反射进行瞳孔追踪的光学数组系统及方法
技术领域
[0001] 本发明是涉及一种逆反射数组，尤指一种包括用以进行瞳孔追踪的具备高速感应的图像传感器的逆反射数组。
背景技术
[0002] 逆反射(retro reflectivity)为人眼的一种特性，其为当光源射入眼睛时，一主要的入射光会反向于其入射路径被反射到光源处，此特性造成所熟知的相片上的红眼效应(red-eye effect)。一光轴(optical axis)可被想象是图像传感器中央与人眼的瞳孔中央之间的一直线，为了使人眼逆反射可被图像传感器(imager)侦测到，照射人眼的光源应尽可能被设置为邻近于图像传感器(此即为同轴(on-axis)光源)，才可使图像传感器接收到瞳孔反射光源的光，并看起来为一亮点(bright spot)。若光源以偏离光轴的方式而自图像传感器附近被移远(此即为离轴(off-axis)光源)，则图像传感器将无法接收到来自瞳孔的逆反射，因此瞳孔在成像上会是黑色。
[0003] 通过上述红眼效应，可侦测到人眼的存在以及其位置。请参考图1，图1为现有技术用以进行瞳孔侦测的系统100的示意图。如图1所示，人眼50位于图像传感器30的对面，发光二极管(light emitting diode,LED)数组13、15被分别设置于图像传感器30的两侧。发光二极管数组15包括一同轴(on-axis)发光二极管2及一离轴(off-axis)发光二极管7，且发光二极管数组13包括一同轴发光二极管4及一离轴发光二极管9。如前所述，同轴发光二极管2、4是设置于邻近于图像传感器30的位置，而离轴发光二极管7、9则是设置远离于图像传感器30的位置。通过校正(calibration)流程可用以决定同轴光照角度以及离轴光照角度，例如通过使用图像传感器30侦测来自瞳孔的反射光是否超过一临界值(threshold)，可对同轴光照角度进行校正，而通过使用图像传感器30是否侦测到完全为黑色的瞳孔图像，则可对离轴光照角度进行校正。
[0004] 美国专利第7280678号揭示了类似的应用。类似于图1的逆反射数组被可用来侦测正在开车的驾驶是否睡着，其原理是基于驾驶应该直视前方道路，因此其注视角度可视为固定的。针对肩膀以上出现的偶然闭眼(occasional glance)现象，可设定一临界值来判断驾驶只是在眨眼或是驾驶已经睡着了。例如未侦测到瞳孔超过所述临界值时，即可判定为驾驶已经睡着了，并可据以启动一警报器或类似的警告系统。
[0005] 上述技术受限于现有的传感器及相关处理器的速度，可撷取(capture)到的图框(image frame)框数会低于每秒60张，在此速度下虽然可侦测到驾驶是不是清醒的(alert)，但若物体在快速移动的情况下，则必须使用特制的光学滤波器来同时(simultaneously)搜集同轴图像及离轴图像。虽然上述的差别图像(differenced image)概念可成功地侦测到瞳孔，但本发明着重于开发一种基于图像(image-based)的替代方法，其通过图像传感器侦测目光方向来追踪瞳孔，由于图像传感器的帧更新率(frame rate)极快，故本发明不需要用到前述的特制光学滤波器。
发明内容
[0006] 如上所述，本发明的目的之一在于公开一种使用逆反射来进行瞳孔追踪的光学数组。
[0007] 本发明之一实施例公开了一种用于以逆反射进行瞳孔追踪的光学数组系统。所述光学数组系统包括一发光二极管数组、至少一图像传感器及一处理器。所述发光二极管数组包括至少一同轴发光二极管及至少一离轴发光二极管，用以照明位于一主动区中的一使用者的瞳孔。所述至少一图像传感器是用以撷取被所述发光二极管数组光照后的瞳孔的图像，以产生多个撷取图像。所述处理器是耦接于所述图像传感器，用以接收所述多个撷取图像并对所述多个撷取图像作算法处理以分离出瞳孔信息，并据以判断所述主动区内的瞳孔存在及位置。
[0008] 本发明的另一实施例公开了一种使用逆反射来进行瞳孔追踪的方法。所述方法包括：使用至少一同轴发光二极管及至少一离轴发光二极管照明位于一主动区中的一使用者的瞳孔；提供至少一图像传感器，以撷取被所述发光二极管数组光照后的瞳孔的图像，以产生多个撷取图像；及接收所述多个撷取图像并对所述多个撷取图像作算法处理以分离出瞳孔信息，并据以判断在所述主动区内的瞳孔存在及位置。
[0009] 本发明公开一种通过人眼目光的方向进行瞳孔追踪的光学数组，其包括至少一高速且低分辨率图像传感器，因此相较于现有的利用逆反射技术的光学系统，可更快速地撷取图像。此外，对于不同的撷取图像作临界值的设置，可将背景噪声滤除。本发明另可通过人性化操作接口装置来实现。
附图说明
[0010] 图1为使用一光源来根据图像传感器与人眼之间的一同轴光照角度及以一离轴角度将光线射入人眼的示意图。
[0011] 图2A为本发明光学数组的第一实施例的俯视图。
[0012] 图2B为图2A的光学数组的正视图。
[0013] 图3A为本发明光学数组的第二实施例的俯视图。
[0014] 图3B为图3A的光学数组的正视图。
[0015] 图4A为根据本发明的一实施例的相关应用的示意图。
[0016] 图4B为图4A的光学数组的示意图。
[0017] 其中，附图标记说明如下：
[0018] 2、4 同轴发光二极管
[0019] 7、9 离轴发光二极管
[0020] 13、15 发光二极管数组
[0021] 30 图像传感器
[0022] 50 人眼
[0023] 100 系统
[0024] 200、300 光学数组
[0025] 208、308、315、317 发光二极管内环
[0026] 215、217、316、309、318 发光二极管外环
[0027] 220、320 中央面板
[0028] 240、340 右侧平板
[0029] 250、365、350、345、450 图像传感器
[0030] 260、360 左侧面板
[0031] 280、375、380、355 处理器
[0032] 400 眼镜
[0033] 401 左眼镜框
[0034] 402 右眼镜框
[0035] 403、404 连接臂
[0036] 405 鼻梁架
[0037] 408 内发光二极管
[0038] 413、415、417、419 外发光二极管
[0039] 420 光学数组
[0040] 430 图像传感器
具体实施方式
[0041] 在说明书及后续的权利要求当中使用了某些词汇来指称特定的组件。所属领域中具有通常知识者应可理解，硬件制造商可能会用不同的名词来称呼同样的组件。本说明书及后续的权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及后续的请求项当中所提及的「包括」为一开放式的用语，故应解释成「包括但不限定于」。另外「，耦接」一词在此是包括任何直接及间接的电气连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电气连接于所述第二装置，或通过其他装置或连接手段间接地电气连接至所述第二装置。
[0042] 本发明公开一种可高速侦测瞳孔存在及瞳孔位置的光学数组，因此可用来进行瞳孔追踪，以及可在某些特定情况下进行目光追踪(gaze tracking)。此外，本发明系统的一范例揭示了一种人性化操作接口装置(human interface device,HID)。
[0043] 本发明所公开的光学数组的主要概念在于以高速、低分辨率的鼠标导航传感器(mouse navigation sensor)来撷取瞳孔图像。相对于现有的逆反射技术所使用的图像传感器，本发明搭配鼠标导航传感器的图像传感器可在高帧更新率(high frame rate)下撷取及处理图像，并据以侦测瞳孔的存在、位置及移动。由于图像传感器可确认瞳孔的多个不同位置，故可决定出追踪算法并据以在一特定区域(又称为主动区(active area))进行瞳孔追踪。
[0044] 请参考图2A及图2B，图2A为本发明第一实施例的光学数组200的俯视图，图2B为图2A所示的光学数组200的正视图。如图2A及图2B所示，光学数组200为由左侧面板(panel)
260、中央面板220及右侧平板240所组成的三面(three-sided)光学数组。高速且低分辨率的图像传感器250是设置于中央面板220的中间位置。此外，设置于图像传感器250的USB连接器(未图示)可将一USB信号提供至处理器280中的一高速图像数据撷取应用程序(high-speed image data acquisition application)，而处理器280中的高速图像数据撷取应用程序可处理撷取图像以进行瞳孔追踪及目光侦测。在图2A中，左侧面板260及右侧面板240分别与中央面板220之间的角度皆为148度，然而这仅是一个实施方式，实际上，本发明并不加以限定左侧面板260、中央面板220及右侧平板240彼此之间的角度。
[0045] 设置在光学数组200上的发光二极管的排列可形成一发光环，用以进行同轴及离轴的照射，如图2B所示，一发光二极管内环208是由环绕图像传感器250的6颗发光二极管组成，但请注意，图示的排列仅为一种举例，并不用以限定本发明的范畴。此外，左侧面板260及右侧面板240亦各自设置6颗发光二极管，其中3颗发光二极管是设置于其靠近中央面板220处而形成一发光二极管外环215，另外3颗发光二极管是设置在其最外缘而形成另一发光二极管外环217。发光二极管可被设置在光学数组200的面板的任何位置以提供更多元化的组合，如图2A与图2B的排列方式仅为其中一种排列方式。
[0046] 接下来将详细描述图像是如何被撷取及处理。首先，光学数组200需要先校正以决定正确的同轴光照角度及离轴光照角度，并修正用户相对于光学数组200的高度及距离。在图像传感器镜头的参数中(其对于“主动区”的设定是十分重要)，主动区是使用标准化人体尺寸(standardized body dimension)来定义，以便通过人体坐姿平均高度及两瞳孔间的平均距离来分别设定y轴及x轴。图像传感器250亦需要能够侦测到较小频率的变化，其定义为用户头部移动的速度。此外，发光二极管内环208及发光二极管外环215、217的光照强度(illumination level)也可被校正。简言之，主动区被设定为一种可供图像传感器250侦测瞳孔存在及位置的区域。
[0047] 图像传感器250会撷取图像并进行降低取样(down-sample)，其中在降低取样后每个图框的时间间隔可为5毫秒或者更短。通过同轴及离轴光照图像之间的差异即可分离出(isolate)瞳孔信息，且差异图像可通过一追踪算法来估测。在得到瞳孔信息以后，处理器280可快速地判断使用者是否是清醒的。由于鼠标导航传感器(mouse navigation sensor)的高速特性，图像传感器250可快速地相对于使用者眼睛的动作产生反馈(feedback)。为了能够近一步移除环境噪声，可将一画素临界值(threshold)应用至所述差异图像。画素临界值可用以滤除环境噪声，而使图像只呈现所需的瞳孔相关信息。
[0048] 一种常见的判断目光方向的方法为将瞳孔位置与眼睛表面反射光线的位置作比较。当一使用者的目光可持续地被追踪时，光学数组系统可用作为一人性化操作接口装置(human interface device,HID)。然而，若是将上述的低分辨率且高速的图像传感器设置为太过远离使用者，则无法搜集到较为精准的信息(fine scale information)。
[0049] 请参考图3A及图3B。图3A为本发明第二实施例的光学数组300的俯视图。图3B为图3A所示的光学数组300的正视图。如图3A及图3B所示，光学数组300为由左侧面板360、中央面板320及右侧平板340所组成的一个三面光学数组。在此实施例中，左侧面板360、中央面板320及右侧平板340皆设置了一台具有高速及低分辨率的图像传感器。具有高速及低分辨率的图像传感器365是设置于左侧面板360的中间位置、具有高速及低分辨率的图像传感器
350是设置于中央面板320的中间位置，且具有高速及低分辨率的图像传感器345是设置于右侧面板340的中间位置。此外，图像传感器365、350、345各自具有USB连接器(未图标)以将来自图像传感器365、350、345的USB信号分别提供至处理器375、380、355中的高速图像数据撷取应用程序。处理器375、380、355的高速图像数据撷取应用程序可处理撷取图像以进行瞳孔追踪及目光侦测。
[0050] 如图3B所示，图像传感器365、350、345的周围皆具有多颗发光二极管组成的发光二极管环，例如，图像传感器365是被发光二极管内环315及发光二极管外环316环绕，图像传感器350是被发光二极管内环308及发光二极管外环309环绕，且图像传感器345是被发光二极管内环317及发光二极管外环318环绕。请注意，左侧面板360左右两侧仅绘示了数颗发光二极管，可视为整个发光二极管外环316的部分区段，实际的发光二极管外环316可包括更多颗发光二极管，并彼此串成一个圆形，亦即包围发光二极管内环315的“外环”，且发光二极管外环309、318亦然，在此便不再赘述。在第二实施例中，图像传感器365、350、345会快速依序地被启动。通过三台图像传感器所撷取的图像差异并以算法作处理，可得到瞳孔形状及亮度，用以大致上判断出目光的方向。若眼睛的目光方向是朝向图像传感器365、350、345其中一台时，瞳孔会呈现近似圆形的亮光。若眼睛的目光方向是稍微偏离一图像传感器时，瞳孔会呈现较暗且较不近似圆形的亮光。若眼睛的目光方向与所述图像传感器的角度过大时，瞳孔将完全不会呈现反光。另外，发光二极管内环308及发光二极管外环316、309、
318的位置可根据校正流程来决定。
[0051] 请参考图4A及图4B，其为根据本发明概念的一种实现，仅通过瞳孔位置来获得目光方向信息。在本实施例中，图像传感器必须设置为相当邻近于瞳孔，因此仅由瞳孔位置便可指示出目光方向。如图4A及图4B所示，本发明光学数组系统是设置为一副眼镜400，其包括一左眼镜框401、一右眼镜框402、连接臂403及404，以及一鼻梁架405。左眼镜框401用以安装一左眼镜片，右眼镜框402用以安装一右眼镜片，连接臂403及连接臂404分别用以连接左眼镜框401的最外缘及右眼镜框402的最外缘，且鼻梁架405用以连接左眼镜框401的最内缘及右眼镜框402的最内缘。左眼镜框401的上方中间处以及右眼镜框402的上方中间处各设置有图像传感器430。
[0052] 眼镜400设置有二光学数组420，内环发光二极管408是设置为邻近于图像传感器450，而外发光二极管413、415是设置在镜框的两侧。在此实施例中，内发光二极管408可为环状发光二极管的一部分。如图4B所示，左侧的光学数组420是由图像传感器450及其两侧的内发光二极管408，以及外发光二极管413及415、417及419所组成，通过内发光二极管408提供同轴照明以及通过外发光二极管413及415、417及419提供离轴照明。请注意，图4B中绘示的光学数组420仅为对应用户左眼向外看的光学数组，亦即图4A中右侧的光学数组420，由于熟知技艺者可无疑义地由图4B推得对应右眼的光学数组，故在此便不赘述。相较于图2的光学数组200，在图4B的光学数组420的图像传感器450对应瞳孔的设置下，对使用者来说可能会更为方便。请注意，因为每一位使用者的瞳孔会有差异，图像传感器450仍可能需要被校正。
[0053] 本实施例可通过设定临界画素值，使得只有瞳孔及表面反射信息会保留在处理后的图像，且本实施例可使用前述的高速且低分辨率的图像传感器来实现。通过校正及对数据进行相关处理，可进一步提升效能。虽然本实施例在使用上可能会受到眼部动作及头部速度的限制，但由于取样率以及画素传感器的灵敏度为可调整，因而仍可符合实际使用需求。当然，基于眼睛健康的考虑，参数的设定上仍需受到一些限制。
[0054] 综上所述，本发明公开通过人眼目光的方向进行瞳孔追踪的一光学数组，其包括至少一高速且低分辨率图像传感器，因此相较于现有的利用逆反射技术的光学系统可更快速地撷取图像。此外，对于不同的撷取图像作临界值的设置，可将背景噪声滤除。本发明另可通过人性化操作接口装置来实现(例如眼镜)。
[0055] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
