一种改进的人眼检测及跟踪方法

摘要

本发明的改进的人眼检测及跟踪方法，包括：a).视频图像采集；b).识别人脸区域，然后根据“三庭五眼”结构确定出人眼大致区域；c).在人眼大致区域中进行人眼检测；d).人眼跟踪，从标准平方差匹配度中选取最小值所对应的匹配位置作为当前帧的人眼图像；e).后续人眼跟踪。本发明的改进的人眼检测及跟踪方法，在计算标准方差匹配度的过程中，将每个像素点的灰度值与图像的平均灰度值做差后再进行标准方差匹配度的计算，避免了光照变化对图像标准方差匹配度的影响，解决了现有汽车在通过桥洞、隧道以及在夜间行驶时，光照会发生急剧变化会导致最佳位置处匹配度不为最小值的问题，可实现对人眼的准确跟踪。

权利要求

1.一种改进的人眼检测及跟踪方法，其特征在于，通过以下步骤来实现：

a).视频图像采集，通过设置于驾驶室内的图像采集装置采集含有驾驶员面部的视频图像，并对视频图像进行分帧；

b).获取人眼区域图像，识别出第一帧图像的人脸区域，然后根据人脸的“三庭五眼”结构确定出人眼区域；

c).人眼检测，在步骤b)中获取的人眼区域中进行人眼检测，获取驾驶员当前帧的人眼图像，设人眼图像的大小为w×h，w、h分别为图像宽度、高度上的像素数；

d).人眼跟踪，当第二帧图像到来时，将上一帧识别出的人眼区域向外扩充后作为当前帧图像的人眼区域，记为S，S的图像大小为m×n，w＜m，h＜n；将上一帧的人眼图像作为模板图像T，当前帧的人眼区域为人眼待匹配图像S，按照由左至右、从上到下的顺序，利用公式(1)计算模板图像T与待匹配图像S所有匹配位置上的标准平方差匹配度R(x,y)：其中：

T(x,y)表示模板图像T在点(x,y)处的灰度值，S(x+x′,y+y′)表示待匹配图像S在点(x+x′,y+y′)处的灰度值，(x′,y′)表示滑动步长，R(x,y)表示匹配度，w和h表示模板图像的宽与高， 表示模板图像T所有像素点灰度值的平均值，表示滑动步长为(x′,y′)位置处的待匹配图像S所有像素点灰度值的平均值；x＝1,2,...w；y＝1,2,...h；

x′依次取1,2,…,m-w，y′依次取1,2,…,n-h，通过公式(1)计算出模板图像与各个人眼待匹配图像各个位置上的标准平方差匹配度共计(m-w)·(n-h)个，从(m-w)·(n-h)个标准平方差匹配度中选取最小值所对应的匹配位置作为当前帧的人眼图像；

e).后续人眼跟踪，当第三帧图像到来时，第二帧就成为上一帧，第三帧就成为当前帧，采用与步骤d)相同的方法识别出第三帧的人眼图像；同样地，后续获取的当前帧，都采用与步骤d)相同的方法识别出人眼图像，以实现对驾驶员的人眼检测和跟踪。

2.根据权利要求1所述的改进的人眼检测及跟踪方法，其特征在于：所述步骤b)和步骤d)中人眼区域图像的获取，以及步骤c)和步骤d)中人眼图像的获取均通过Adaboost算法来实现，Adaboost算法的训练数据使用图像特征处理中的LBP特征，来作为灰度图像的特征提取方法。

说明书

一种改进的人眼检测及跟踪方法

技术领域

[0001] 本发明涉及一种改进的人眼检测及跟踪方法，更具体的说，尤其涉及一种在车辆经过诸如桥洞、隧道及夜间行车等环境，造成光照急剧变化的情况下仍旧可实现准确的人眼检测及跟踪的方法。

背景技术

[0002] 近年来危化品运输规模不断扩大，产生的交通事故也不断增长。大多数交通事故事是由驾驶员安全意识浅薄、疲劳驾驶所导致的，因此对危化品驾驶员进行疲劳检测，是避免危化品交通事故发生的手段之一。目前对于疲劳程度进行量化的方法分为两大类，主观评价法与客观评价法。主观评价法主要是通过疲劳量表对采访人员进行打分，比较典型的有日本产业卫生学会开发的《疲劳症状自评量表》。但是主观评价法由于其主观性比较大，只能统计某段时间内受访者疲劳状态，不能实时检测，所以在疲劳驾驶识别检测领域应用较少。

[0003] 客观评价法是利用客观检测技术去检测受访者疲劳状态，主要通过信息采集设备对受访者的一些疲劳特征进行客观的检测。例如，通过接触式设备测量受访者的生理特征，如脑电、心电信号、脉搏检测、肌电信号检测等。或者通过非接触式设备测量受访者行为特征，如头部，眼部特征检测等。这种方法避免了主观性强的问题，可靠性有很大的提高。

[0004] 而对于客观检测技术，通过实时采集驾驶员的视频图像，进而分析驾驶员的疲劳状态是较为常用的方法之一，该方法无需驾驶员佩戴任何辅助检测设备，只需在驾驶员正前方搭设一台普通摄像头即可，这种分析方法不仅不易受人为因素的干扰，而且不会对驾驶员造成影响，具有操作性简单，可控性强等优点。

[0005] 然而传统的模板匹配跟踪算法在进行人眼跟踪时，当光照强度发生明显变化时会导致眼部定位偏差，导致某帧或某些连续的帧无法对人眼进行准确跟踪。譬如当汽车通过桥洞、隧道以及在夜间行驶时，光照会发生急剧变化，会导致所采集的视频图像中当前帧与前一帧图像的像素值发生较大变化，这种情况下，如果再采用现有的平方差匹配或相关匹配，会导致驾驶员眼部定位不准确，无法定位出驾驶员的眼部区域，也就不能根据人眼图像判断驾驶员的疲劳状态，因此驾驶员的人眼检测及跟踪是实现疲劳检测的前提。

发明内容

[0006] 本发明为了克服上述技术问题的缺点，提供了一种改进的人眼检测及跟踪方法。

[0007] 本发明的改进的人眼检测及跟踪方法，其特征在于，通过以下步骤来实现：

[0008] a).视频图像采集，通过设置于驾驶室内的图像采集装置采集含有驾驶员面部的视频图像，并对视频图像进行分帧；

[0009] b).获取人眼大致区域图像，识别出第一帧图像的人脸区域，然后根据人脸的“三庭五眼”结构确定出人眼大致区域；

[0010] c).人眼检测，在步骤b)中获取的人眼大致区域中进行人眼检测，获取驾驶员当前帧的人眼图像，设人眼图像的大小为w×h，w、h分别为图像宽度、高度上的像素数；

[0011] d).人眼跟踪，当第二帧图像到来时，将上一帧识别出的人眼大致区域向外扩充后作为当前帧图像的人眼大致区域，记为S，S的图像大小为m×n，w＜m，h＜n；将上一帧的人眼图像作为模板图像T，当前帧的人眼大致区域为人眼待匹配图像S，按照由左至右、从上到下的顺序，利用公式(1)计算模板图像T与待匹配图像S所有匹配位置上的标准平方差匹配度R(x,y)：

[0012]

[0013] 其中：

[0014]

[0015]

[0016]

[0017]

[0018] T(x,y)表示模板图像T在点(x,y)处的灰度值，S(x+x′,y+y′)表示待匹配图像S在点(x+x′,y+y′)处的灰度值，(x′,y′)表示滑动步长，R(x,y)表示匹配度，w和h表示模板图像的宽与高， 表示模板图像T所有像素点灰度值的平均值， 表示滑动步长为(x′,y′)位置处的待匹配图像S所有像素点灰度值的平均值；x＝1,2,...w；y＝1,2,...h；

[0019] x′依次取1,2,…,m-w，y′依次取1,2,…,n-h，通过公式(1)计算出模板图像与各个人眼待匹配图像各个位置上的标准平方差匹配度共计(m-w)·(n-h)个，从(m-w)·(n-h)个标准平方差匹配度中选取最小值所对应的匹配位置作为当前帧的人眼图像；

[0020] e).后续人眼跟踪，当第三帧图像到来时，第二帧就成为上一帧，第三帧就成为当前帧，采用与步骤d)相同的方法识别出第三帧的人眼图像；同样地，后续获取的当前帧，都采用与步骤d)相同的方法识别出人眼图像，以实现对驾驶员的人眼检测和跟踪。

[0021] 本发明的改进的人眼检测及跟踪方法，所述步骤b)和步骤d)中人眼大致区域图像的获取，以及步骤c)和步骤d)中人眼图像的获取均通过Adaboost算法来实现，Adaboost算法的训练数据使用图像特征处理中的LBP特征，来作为灰度图像的特征提取方法。

[0022] 本发明的有益效果是：本发明的改进的人眼检测及跟踪方法，在人眼图像的检测过程中，首先在采集的图像中识别出人脸区域，再根据人脸的“三庭五眼”结构识别出人眼大致区域，在人眼大致区域中确定出人眼图像；在人眼图像的跟踪过程中，利用上一帧的人眼图像为模板图像T，在当前帧图像的人眼大致区域图像为待匹配图像S中，逐次计算模板图像T与待匹配图像S各个位置上的标准方差匹配度，选取标准方差匹配度最小值对应的位置为人眼图像，来实现人员图像的跟踪，在计算标准方差匹配度的过程中，将每个像素点的灰度值与图像的平均灰度值做差后再进行标准方差匹配度的计算，避免了光照变化对图像标准方差匹配度的影响，解决了现有汽车在通过桥洞、隧道以及在夜间行驶时，光照会发生急剧变化会导致最佳位置处匹配度不为最小值的问题，可实现对人眼的准确跟踪。

附图说明

[0023] 图1为本发明中从图像中识别人脸区域的示意图；

[0024] 图2为本发明中根据人脸的“三庭五眼”结构从人脸图像中确定出人眼大致区域的示意图；

[0025] 图3为本发明中最终所确定出的人眼图像；

[0026] 图4为本发明中利用模板图像T在待匹配图像S中逐次计算标准平方差匹配度的示意图；

[0027] 图5为现有人眼检测及跟踪方法在光照急剧变化过程中的跟踪示意图；

[0028] 图6为本发明的人眼检测及跟踪方法在光照急剧变化过程中的跟踪示意图。

具体实施方式

[0029] 下面结合附图与实施例对本发明作进一步说明。

[0030] 目前基于人眼定位的方法主要有三大类，基于几何特征、基于模板匹配和基于统计学习的方法。基于几何特征的方法主要思路是从人眼独特的特征来判断。如，人眼具有对称性、眼睛的相对位置、皮肤的肤色与眼睛的颜色等。此类方法基于人眼几何特征，优点是能快速进行快速检测，缺点是对背景要求较高。要求单一背景，且光照强度适中，不能发生强烈变化。所以此类方法鲁棒性较差。基于模板匹配的方法主要是先建立眼睛模板图像，再利用滑动窗口在源图像进行滑动，比较目标图像与源图像之间相似性，给出人眼具体位置。该方法受背景因素影响较小，但计算量巨大，不能达到实时需求，可扩展性差。基于统计学方法主要是通过人眼图片数据库进行大量训练得到一组参数，利用该参数模型构建人眼分类器。此类方法鲁棒性较强，应用范围较广，本发明中的人脸与人眼定位就是利用统计学方法中最具有代表的Adaboost算法。

[0031] 本发明的改进的人眼检测及跟踪方法，通过以下步骤来实现：

[0032] a).视频图像采集，通过设置于驾驶室内的图像采集装置采集含有驾驶员面部的视频图像，并对视频图像进行分帧；

[0033] b).获取人眼大致区域图像，识别出第一帧图像的人脸区域，然后根据人脸的“三庭五眼”结构确定出人眼大致区域；

[0034] 如图1所示，给出了本发明中从图像中识别人脸区域的示意图,图2给出了本发明中根据人脸的“三庭五眼”结构从人脸图像中确定出人眼大致区域的示意图，可见，在识别出人脸区域之后，根据人脸的三庭五眼分布，即可将驾驶员的双眼所在区域识别出来，所识别出的眼部所在区域即为人眼大致区域。

[0035] c).人眼检测，在步骤b)中获取的人眼大致区域中进行人眼检测，获取驾驶员当前帧的人眼图像，设人眼图像的大小为w×h，w、h分别为图像宽度、高度上的像素数；

[0036] 如图3所示，给出了本发明中最终所确定出的人眼图像，可见，在先确定出人脸区域，再确定出人眼大致区域，最后可获取准确的人眼图像。

[0037] d).人眼跟踪，当第二帧图像到来时，将上一帧识别出的人眼大致区域向外扩充后作为当前帧图像的人眼大致区域，记为S，S的图像大小为m×n，w＜m，h＜n；将上一帧的人眼图像作为模板图像T，当前帧的人眼大致区域为人眼待匹配图像S，按照由左至右、从上到下的顺序，利用公式(1)计算模板图像T与待匹配图像S所有匹配位置上的标准平方差匹配度R(x,y)：

[0038]

[0039] 其中：

[0040]

[0041]

[0042]

[0043]

[0044] T(x,y)表示模板图像T在点(x,y)处的灰度值，S(x+x′,y+y′)表示待匹配图像S在点(x+x′,y+y′)处的灰度值，(x′,y′)表示滑动步长，R(x,y)表示匹配度，w和h表示模板图像的宽与高，表示模板图像T所有像素点灰度值的平均值， 表示滑动步长为(x′,y′)位置处的待匹配图像S所有像素点灰度值的平均值；x＝1,2,...w；y＝1,2,...h；

[0045] x′依次取1,2,…,m-w，y′依次取1,2,…,n-h，通过公式(1)计算出模板图像与各个人眼待匹配图像各个位置上的标准平方差匹配度共计(m-w)·(n-h)个，从(m-w)·(n-h)个标准平方差匹配度中选取最小值所对应的匹配位置作为当前帧的人眼图像；

[0046] 如图4所示，给出了本发明中利用模板图像T在待匹配图像S中逐次计算标准平方差匹配度的示意图，可见，采用模板图像T在待匹配图像上“由左至右、从上到下”的顺序逐次匹配。

[0047] e).后续人眼跟踪，当第三帧图像到来时，第二帧就成为上一帧，第三帧就成为当前帧，采用与步骤d)相同的方法识别出第三帧的人眼图像；同样地，后续获取的当前帧，都采用与步骤d)相同的方法识别出人眼图像，以实现对驾驶员的人眼检测和跟踪。

[0048] 步骤b)和步骤d)中人眼大致区域图像的获取，以及步骤c)和步骤d)中人眼图像的获取均通过Adaboost算法来实现，Adaboost算法的训练数据使用图像特征处理中的LBP特征，来作为灰度图像的特征提取方法。

[0049] Adaboost算法是提升(boosting)方法的一种，提升方法是常用的统计学习方法，应用广泛有效，在分类问题中，它通过改变训练样本权重，学习多个分类器，并将这些分类器进行线性组合，提高分类组合。Adaboost算法核心思想也是遵循提升方法的思想。Adaboost算法的训练数据，并不是传统的灰度图像，而是由灰度图像经过特征提取处理所得出的数据，使用图像特征处理中常见的LBP(Local Binary Pattern)特征，来作为灰度图像的特征提取方法。

[0050] LBP(Local Binary Pattern)特征，是一种用来描述图像局部特征的算子。具有多分辨率、灰度尺度不变、旋转不变等特性。主要用于特征提取中的纹理提取。由于LBP特征计算简单、效果较好，因此LBP特征在计算机视觉的许多领域都得到了广泛的应用，LBP特征比较出名的应用是用在人脸识别和目标检测中，在计算机视觉开源库OpenCV中有使用LBP特征进行人脸识别的接口，也有用LBP特征训练目标检测分类器的方法，均可实现对人脸区域、人眼区域的准确识别。

[0051] 对于给定输入图像，若直接进行人眼检测，会降低人眼检测的精度。若先检测人脸，再从人脸照片中检测出人眼，则精度会增高。另外，在检测到人脸后，结合人脸的“三庭五眼”结构确定人眼的大致区域，再进一步使用该算法在这个区域内进行人眼检测，检测速度会有所提升，而相应的精度也会有所提升，表1是三种方式精度与时间的对比。

[0052] 表1

[0053] 检测方式 耗时 精度人眼 0.8s 78.7％
人脸-人眼 1.3s 86.9％
人脸-人眼大致区域-人眼 1.1s 91.3％

[0054] 从表1中可以看到通过“人脸-人眼大致区域-人眼”方式进行人眼检测，虽然速度上会有所降低，但在精度上却提升不少。

[0055] 对于现有的人眼检测及跟踪方法来说，在获取了模板图像T与待匹配图像S后，其通过平方差匹配或相关匹配来检测和跟踪人眼图像，

[0056] 平方差匹配度：

[0057]

[0058] 标准平方差匹配度：

[0059]

[0060] 相关匹配度：

[0061]

[0062] 标准相关匹配度：

[0063]

[0064] 上述4个公式中，T(x,y)表示模板图像在点(x,y)处像素的大小，S(x+x′,y+y′)表示待匹配目标图像在点(x+x′,y+y′)处像素大小。(x′,y′)表示滑动步长。R(x,y)表示匹配度，对于平方差匹配来说，最好匹配度为0，对于相关匹配来说，匹配度越大表示匹配程度越高。

[0065] 汽车在通过桥洞、隧道以及在夜间行驶时，光照会发生急剧变化，若这时采用现有的人眼检测及跟踪方法计算匹配度，则会导致最佳位置处相似度不为最小值(理想值为0)。因为此时待检测图像光照强度发生变化，使得最佳位置处像素与模板像素不相等。容易导致人眼图像跟踪丢失，如图5所示，给出了现有人眼检测及跟踪方法在光照急剧变化过程中的跟踪示意图，可见，在第3、第4和第5幅图像光照发生急剧变化时，采用现有的匹配度计算方法，容易导致人脸跟踪失败。

[0066] 但利用本发明的人眼检测及跟踪方法计算相似度，最佳位置处相似度仍然为最小值(理想值为0)。下面对上述公式做一个简要证明：

[0067] 假设光照强度均匀变化，即在光照强度发生变化时，像素值的大小变化都相等。不妨设变化值为c，则当光照强度未发生变化时，最佳位置处像素与模板像素应处处相等，此时：

[0068] T(x,y)＝S(x+x',y+y')  (6)

[0069] 对任意的x∈[0,w]，y∈[0,h]都成立，

[0070] 则有：

[0071]

[0072]

[0073] 对于(7)式中我们只关注分子，分子应等于0，(x′,y′)表示在最佳位置处模板图像左上角顶点相对于待检测图像的坐标，即滑动步长。

[0074] 当光照强度发生变化时，此时(7)式中分子变为：

[0075]

[0076] 因式分解为：

[0077]

[0078] 带入(6)式可得最终结果为：

[0079]

[0080] 此时相似度正比于光照变化的平方，显然不能保持在最佳位置处相似度为0。

[0081] 若采用(1)式求取相似度则此时(1)式中分子为：

[0082]

[0083] 因式分解为：

[0084]

[0085] 带入(6)式与(8)式，可得最终结果为：

[0086]

[0087] 此时相似度在最佳位置处为0，符合模板匹配跟踪算法基本思想。如图6所示，给出了本发明的人眼检测及跟踪方法在光照急剧变化过程中的跟踪示意图，可见，虽然在第3、第4和第5幅图像光照发生急剧变化时，采用本发明的匹配度计算方法，仍旧可以实现对人眼的准确检测和跟踪。