一种人眼定位方法、系统及电子设备转让专利

申请号 : CN201210308876.3

文献号 : CN102867172B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 陈永洒邵诗强

申请人 : TCL集团股份有限公司

摘要 :

本发明属于数字图像处理及模式识别技术领域,提供了一种人眼定位方法、系统及电子设备。其中的方法包括:利用用于人脸检测的第一级联分类器从当前待识别图像中提取出人脸区域,根据人脸区域的尺寸,从两个或两个以上的、用于不同距离人眼检测的第二级联分类器中选择相应的所述第二级联分类器;利用选择的第二级联分类器定位当前待识别图像中的人眼位置。由于与图像采集设备距离不同的人眼的特征存在差异,因而利用适于不同距离的级联分类器,可更好的适应不同距离的人眼检测定位任务,提高人眼定位的准确率,避免误检、漏检等现象的发生。

权利要求 :

1.一种人眼定位方法,其特征在于,所述方法包括以下步骤:

利用用于人脸检测的第一级联分类器从当前待识别图像中提取出人脸区域,根据所述人脸区域的尺寸,从两个或两个以上的、用于不同距离人眼检测的第二级联分类器中选择相应的所述第二级联分类器;

利用选择的所述第二级联分类器定位所述当前待识别图像中的人眼位置;

其中,所述利用选择的所述第二级联分类器定位所述当前待识别图像中的人眼位置的步骤进一步包括以下步骤:

利用选择的所述第二级联分类器,在提取出的所述人脸区域的上半部分中提取出右眼矩形区域,得到所述右眼矩形区域的大小及其在所述人脸区域中的位置信息,并根据所述右眼矩形区域的大小及其在所述人脸区域中的位置信息得到所述右眼矩形区域的中心在所述待识别人脸图像上的坐标,所述右眼矩形区域的中心在所述待识别人脸图像上的坐标即为定位得到的所述当前待识别图像中的右眼位置;

将提取出的所述人脸区域的上半部分进行水平翻转,利用选择的所述第二级联分类器,在翻转后的所述人脸区域中提取出左眼矩形区域,得到所述左眼矩形区域的大小及其在翻转后的所述人脸区域中的位置信息,并根据所述左眼矩形区域的大小及其在翻转后的所述人脸区域中的位置信息,得到所述左眼矩形区域的中心在未翻转的待识别人脸图像上的坐标,所述左眼矩形区域的中心在未翻转的所述待识别人脸图像上的坐标即为定位得到的所述当前待识别图像中的左眼位置;

在所述利用用于人脸检测的第一级联分类器从当前待识别图像中提取出人脸区域的步骤之前,所述方法还包括以下步骤:采集样本图像,并基于类哈尔特征和自适应增强算法训练所述样本图像,得到用于人脸检测的第一级联分类器;

采集近距离左眼样本图像和近距离右眼样本图像,之后将采集的所述近距离左眼样本图像进行水平翻转,由翻转后的近距离左眼样本图像和采集的所述近距离右眼样本图像构成近距离人眼样本图像库,或者将采集的所述近距离右眼样本图像进行水平翻转,由翻转后的近距离右眼样本图像和采集的所述近距离左眼样本图像构成近距离人眼样本图像库;

基于类哈尔特征和自适应增强算法训练所述近距离人眼样本图像库,得到用于近距离人眼检测的第二级联分类器;

采集远距离左眼样本图像和远距离右眼样本图像,之后将采集的所述远距离左眼样本图像进行水平翻转,由翻转后的远距离左眼样本图像和采集的所述远距离右眼样本图像构成远距离人眼样本图像库,或者将采集的所述远距离右眼样本图像进行水平翻转,由翻转后的远距离右眼样本图像和采集的所述远距离左眼样本图像构成远距离人眼样本图像库;

基于类哈尔特征和自适应增强算法训练所述远距离人眼样本图像库,得到用于远距离人眼检测的第二级联分类器。

2.如权利要求1所述的人眼定位方法,其特征在于,所述近距离左眼样本图像包括有近距离人脸上的左眼区域,所述近距离右眼样本图像包括有近距离人脸上的右眼区域;所述远距离左眼样本图像包括有远距离人脸上的左眉毛区域和左眼区域,所述远距离右眼样本图像包括有远距离人脸上的右眉毛区域和右眼区域。

3.如权利要求1所述的人眼定位方法,其特征在于,所述利用用于人脸检测的第一级联分类器从当前待识别图像中提取出人脸区域,根据所述人脸区域的尺寸,从两个或两个以上的、用于不同距离人眼检测的第二级联分类器中选择相应的所述第二级联分类器的步骤进一步包括以下步骤:利用所述第一级联分类器从当前待识别图像中提取出人脸矩形区域,并得到所述人脸矩形区域的高度、宽度及所述人脸矩形区域在所述当前待识别图像中的位置信息;

当所述人脸矩形区域的宽度大于或等于一预设宽度值时,选择所述用于近距离人眼检测的第二级联分类器,当人脸矩形区域的宽度小于所述预设宽度值时,选择所述用于远距离人眼检测的第二级联分类器。

4.如权利要求1所述的人眼定位方法,其特征在于,所述当前待识别图像为视频帧图像,所述利用用于人脸检测的第一级联分类器从当前待识别图像中提取出人脸区域,根据所述人脸区域的尺寸,从两个或两个以上的、用于不同距离人眼检测的第二级联分类器中选择相应的所述第二级联分类器的步骤进一步包括以下步骤:利用所述第一级联分类器从当前待识别图像中提取出人脸矩形区域,并得到所述人脸矩形区域的高度、宽度及所述人脸矩形区域在所述当前待识别图像中的位置信息;

当所述人脸矩形区域的宽度大于一预设宽度值与一过渡值之和时,选择所述用于近距离人眼检测的第二级联分类器,当所述人脸矩形区域的宽度小于所述预设宽度值与所述过渡值之差时,选择所述用于远距离人眼检测的第二级联分类器,当所述人脸矩形区域的宽度小于或等于所述预设宽度值与所述过渡值之和、且大于或等于所述预设宽度值与所述过渡值之差时,选择前一视频帧图像所选择的第二级联分类器。

5.一种人眼定位系统,其特征在于,所述系统包括:

第二级联分类器选择单元,用于利用用于人脸检测的第一级联分类器从当前待识别图像中提取出人脸区域,根据所述人脸区域的尺寸,从两个或两个以上的、用于不同距离人眼检测的第二级联分类器中选择相应的第二级联分类器;

定位单元,用于利用所述第二级联分类器选择单元选择的所述第二级联分类器定位所述当前待识别图像中的人眼位置;

其中,所述定位单元包括:

右眼位置定位模块,用于利用所述第二级联分类器选择单元选择的所述第二级联分类器,在所述第二级联分类器选择单元提取出的所述人脸区域的上半部分中提取出右眼矩形区域,得到所述右眼矩形区域的大小及其在所述人脸区域中的位置信息,并根据所述右眼矩形区域的大小及其在所述人脸区域中的所述位置信息得到所述右眼矩形区域的中心在待识别人脸图像上的坐标,所述右眼矩形区域的中心在所述待识别人脸图像上的坐标即为所述定位单元定位得到的所述当前待识别图像中的右眼位置;

左眼位置定位模块,用于将所述第二级联分类器选择单元提取出的所述人脸区域的上半部分进行水平翻转,利用所述第二级联分类器选择单元选择的所述第二级联分类器,在翻转后的所述人脸区域中提取出左眼矩形区域,得到所述左眼矩形区域的大小及其在翻转后的所述人脸区域中的位置信息,并根据所述左眼矩形区域的大小及其在翻转后的所述人脸区域中的所述位置信息,得到所述左眼矩形区域的中心在未翻转的所述待识别人脸图像上的坐标,所述左眼矩形区域的中心在未翻转的所述待识别人脸图像上的坐标即为所述定位单元定位得到的所述当前待识别图像中的左眼位置;

训练单元,包括:

第一训练模块,用于采集人脸样本图像,基于类哈尔特征和自适应增强算法训练所述人脸样本图像,得到用于人脸检测的第一级联分类器;

近距离人眼样本图像库采集模块,用于采集近距离左眼样本图像和近距离右眼样本图像,之后将采集的所述近距离左眼样本图像进行水平翻转,由翻转后的近距离左眼样本图像和采集的所述近距离右眼样本图像构成近距离人眼样本图像库,或者将采集的所述近距离右眼样本图像进行水平翻转,由翻转后的近距离右眼样本图像和采集的所述近距离左眼样本图像构成近距离人眼样本图像库;

第二训练模块,用于基于类哈尔特征和自适应增强算法训练所述近距离人眼样本图像库采集模块得到的所述近距离人眼样本图像库,得到用于近距离人眼检测的第二级联分类器;

远距离人眼样本图像库采集模块,用于采集远距离左眼样本图像和远距离右眼样本图像,之后将采集的所述远距离左眼样本图像进行水平翻转,由翻转后的远距离左眼样本图像和采集的所述远距离右眼样本图像构成远距离人眼样本图像库,或者将采集的所述远距离右眼样本图像进行水平翻转,由翻转后的远距离右眼样本图像和采集的所述远距离左眼样本图像构成远距离人眼样本图像库;

第三训练模块,用于基于类哈尔特征和自适应增强算法训练所述远距离人眼样本图像库采集模块得到的所述远距离人眼样本图像库,得到用于远距离人眼检测的第二级联分类器。

6.如权利要求5所述的人眼定位系统,其特征在于,所述第二级联分类器选择单元包括:

提取模块,用于利用所述训练单元得到的所述第一级联分类器从当前待识别图像中提取出人脸矩形区域,并得到所述人脸矩形区域的高度、宽度及所述人脸矩形区域在所述当前待识别图像中的位置信息;

选择模块,用于当所述提取模块得到的所述人脸矩形区域的宽度大于或等于一预设宽度值时,选择所述训练单元得到的所述用于近距离人眼检测的第二级联分类器,当所述人脸矩形区域的宽度小于所述预设宽度值时,选择所述训练单元得到的所述用于远距离人眼检测的第二级联分类器。

7.如权利要求5所述的人眼定位系统,其特征在于,所述第二级联分类器选择单元包括:

提取模块,用于利用所述训练单元得到的所述第一级联分类器从当前待识别图像中提取出人脸矩形区域,并得到所述人脸矩形区域的高度、宽度及所述人脸矩形区域在所述当前待识别图像中的位置信息;

选择模块,用于当所述提取模块得到的所述人脸矩形区域的宽度大于一预设宽度值与一过渡值之和时,选择所述训练单元得到的所述用于近距离人眼检测的第二级联分类器,当所述提取模块得到的所述人脸矩形区域的宽度小于所述预设宽度值与所述过渡值之差时,选择所述训练单元得到的所述用于远距离人眼检测的第二级联分类器,当所述提取模块得到的所述人脸矩形区域的宽度小于或等于所述预设宽度值与所述过渡值之和、且大于或等于所述预设宽度值与所述过渡值之差时,选择前一视频帧图像所选择的第二级联分类器。

8.一种电子设备,包括一显示单元,其特征在于,所述电子设备还包括一如权利要求5至7任一项所述的人眼定位系统,所述显示单元用于显示所述人眼定位系统定位得到的所述当前待识别图像中的所述人眼位置。

说明书 :

一种人眼定位方法、系统及电子设备

技术领域

[0001] 本发明属于数字图像处理及模式识别技术领域,尤其涉及一种人眼定位方法、系统及电子设备。

背景技术

[0002] 近年来,人眼检测与定位技术作为计算机视觉与模式识别领域中的重要技术,被广泛应用在医学应用、视频会议、公安刑侦等方面。
[0003] 现有技术提供了一种基于灰度投影法的人眼定位方法,该方法首先检测图像中的人脸区域,之后在人脸区域上,对人脸灰度图像进行水平及垂直方向上的投影,分别找到这两个方向上灰度投影的特定变化点,并结合先验知识对特定变化点的位置进行综合判断,从而得到人眼的位置。但该方法对人脸姿态的变化和图像中存在的噪声极其敏感,检测及定位效果较差,且仅在摄像机与人脸之间的距离较近时才有效果。
[0004] 为此,现有技术提供了另一种基于类哈尔(Haar)特征和自适应增强(Adaboost)算法的人眼定位方法。该方法基于类哈尔特征对大量的人眼样本与非人眼样本进行训练,利用自适应增强算法提取出性能较好的一些弱分类器,并将提取出的弱分类器进行级联,组成最终的强分类器,并利用该强分类器对待识别图像中的人眼进行检测和定位。相对于基于灰度投影法的人眼定位方法,该种方法检测效果好、定位速度快,但仍未解决摄像机与人脸之间的距离限制,当摄像机与人脸之间距离较远时,由于检测到的人眼特征较模糊,容易出现漏检、误检的情况。
[0005] 在本背景技术本部分所公开的上述信息仅仅用于增加对本发明背景技术的理解,因此其可能包括不构成对该国的本领域普通技术人员已知的现有技术。

发明内容

[0006] 本发明实施例的目的在于提供一种人眼定位方法,旨在解决现有技术在基于类哈尔特征和自适应增强算法进行人眼定位时,若摄像机与人脸之间的距离较远,由于人眼特征较模糊,易于出现漏检、误检的问题。
[0007] 本发明实施例是这样实现的,一种人眼定位方法,所述方法包括以下步骤:
[0008] 利用用于人脸检测的第一级联分类器从当前待识别图像中提取出人脸区域,根据所述人脸区域的尺寸,从两个或两个以上的、用于不同距离人眼检测的第二级联分类器中选择相应的所述第二级联分类器;
[0009] 利用选择的所述第二级联分类器定位所述当前待识别图像中的人眼位置。
[0010] 本发明实施例的另一目的在于提供一种人眼定位系统,所述系统包括:
[0011] 第二级联分类器选择单元,用于利用用于人脸检测的第一级联分类器从当前待识别图像中提取出人脸区域,根据所述人脸区域的尺寸,从两个或两个以上的、用于不同距离人眼检测的第二级联分类器中选择相应的第二级联分类器;
[0012] 定位单元,用于利用所述第二级联分类器选择单元选择的所述第二级联分类器定位所述当前待识别图像中的人眼位置。
[0013] 本发明实施例的另一目的在于提供一种电子设备,包括一显示单元,所述电子设备还包括一如上所述的人眼定位系统,所述显示单元用于显示所述人眼定位系统定位得到的所述当前待识别图像中的所述人眼位置。
[0014] 本发明实施例提供的人眼定位方法及系统是利用第一级联分类器提取出待识别图像上的人脸区域,并根据该人脸区域的尺寸,选择合适的第二级联分类器进行人眼定位。由于与图像采集设备距离不同的人眼的特征存在差异,因而应用本发明实施例提供的人眼定位方法及系统可更好的适应不同距离的人眼检测定位任务,提高人眼定位的准确率,避免误检、漏检等现象的发生。

附图说明

[0015] 图1是本发明实施例提供的人眼定位方法的流程图;
[0016] 图2是本发明实施例提供的人眼定位方法中提取出的人脸矩形区域的示例图;
[0017] 图3是本发明实施例提供的人眼定位方法中提取出的右眼矩形区域的示例图;
[0018] 图4是本发明实施例提供的人眼定位方法中提取出的左眼矩形区域的示例图;
[0019] 图5是本发明实施例提供的人眼定位系统的结构原理图;
[0020] 图6是图5中训练单元的结构图;
[0021] 图7是图5中第二级联分类器选择单元的结构图;
[0022] 图8是图5中定位单元的结构图。

具体实施方式

[0023] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0024] 针对现有人眼定位存在的问题,本发明实施例提供的人眼定位方法是基于类哈尔特征和自适应增强算法训练第一级联分类器和多个第二级联分类器,利用第一级联分类器提取出待识别图像上的人脸区域,并根据该人脸区域选择合适的第二级联分类器进行人眼的定位。
[0025] 图1示出了本发明实施例提供的人眼定位方法的流程。
[0026] 在步骤S11中,采集样本图像,并基于类哈尔特征和自适应增强算法训练样本图像,得到用于人脸检测的第一级联分类器,以及两个或两个以上、用于不同距离人眼检测的第二级联分类器。
[0027] 进一步地,若基于类哈尔特征和自适应增强算法训练样本图像,得到一个用于近距离人眼检测的第二级联分类器和一个用于远距离人眼检测的第二级联分类器,则步骤S11可进一步包括以下步骤:
[0028] 步骤S111:采集人脸样本图像,基于类哈尔特征和自适应增强算法训练人脸样本图像,得到用于人脸检测的第一级联分类器。
[0029] 步骤S112:采集近距离左眼样本图像和近距离右眼样本图像,之后将采集的近距离左眼样本图像进行水平翻转,由翻转后的近距离左眼样本图像和采集的近距离右眼样本图像构成近距离人眼样本图像库,或者将采集的近距离右眼样本图像进行水平翻转,由翻转后得到的近距离右眼样本图像和采集的近距离左眼样本图像构成近距离人眼样本图像库。
[0030] 步骤S113:基于类哈尔特征和自适应增强算法训练近距离人眼样本图像库,得到用于近距离人眼检测的第二级联分类器。
[0031] 为了提高人眼检测及定位的准确性,本发明实施例中,在步骤S113之前,还需要将近距离人眼样本图像库中,翻转后的近距离左眼样本图像中的人眼位置对齐、同时将采集的近距离右眼样本图像中的人眼位置对齐,或者将近距离人眼样本图像库中,翻转后的近距离右眼样本图像中的人眼位置对齐、同时将采集的近距离左眼样本图像中的人眼位置对齐,且将采集的近距离左眼样本图像和翻转后的近距离右眼样本图像、或采集的近距离右眼样本图像和翻转后的近距离左眼样本图像缩放至统一的尺寸。
[0032] 步骤S114:采集远距离左眼样本图像和远距离右眼样本图像,之后将采集的远距离左眼样本图像进行水平翻转,由翻转后的的远距离左眼样本图像和采集的远距离右眼样本图像构成远距离人眼样本图像库,或者将采集的远距离右眼样本图像进行水平翻转,由翻转后的远距离右眼样本图像和采集的远距离左眼样本图像构成远距离人眼样本图像库。
[0033] 由于当人距离图像采集设备较远时,人眼图像中的人眼区域不再如近距离人眼图像般清晰且特征明显,而是与人眼区域周围的其它面部特征(如:眉毛等)相混淆,则若仍是以用于近距离人眼检测的第二级联分类器定位远距离图像中的人眼,极易出现误检和漏检等现象,因此,本发明实施例中,采集的近距离左眼样本图像包括有近距离人脸上的左眼区域,采集的近距离右眼样本图像包括有近距离人脸上的右眼区域,而采集的远距离左眼样本图像包括有远距离人脸上的左眉毛区域和左眼区域,采集的远距离右眼样本图像包括有远距离人脸上的右眉毛区域和右眼区域。这样在后续的人眼定位中,将眉毛与人眼作为一整体进行检测及定位,可降低误检率。
[0034] 步骤S115:基于类哈尔特征和自适应增强算法训练远距离人眼样本图像库,得到用于远距离人眼检测的第二级联分类器。
[0035] 同样地,为了提高人眼检测及定位的准确性,本发明实施例中,在步骤S 115之前,还需要将远距离人眼样本图像库中,翻转后的远距离左眼样本图像中的人眼位置对齐、同时将采集的远距离右眼样本图像中的人眼位置对齐,或者将远距离人眼样本图像库中,翻转后的远距离右眼样本图像中的人眼位置对齐、同时将采集的远距离左眼样本图像中的人眼位置对齐,且将采集的远距离左眼样本图像和翻转后的远距离右眼样本图像、或采集的远距离右眼样本图像翻转后的远距离左眼样本图像缩放至统一的尺寸。
[0036] 在步骤S12中,利用用于人脸检测的第一级联分类器从当前待识别图像中提取出人脸区域,根据人脸区域的尺寸,从两个或两个以上的、用于不同距离人眼检测的第二级联分类器中选择相应的第二级联分类器。
[0037] 本发明实施例中,若在步骤S11中得到一个用于近距离人眼检测的第二级联分类器和一个用于远距离人眼检测的第二级联分类器,则步骤S12可进一步包括以下步骤:
[0038] 步骤S121:利用第一级联分类器从当前待识别图像中提取出人脸矩形区域,并得到人脸矩形区域的高度、宽度及人脸矩形区域在当前待识别图像中的位置信息。
[0039] 步骤S122:当人脸矩形区域的宽度大于或等于一预设宽度值时,则认为当前待识别图像中的人脸与图像采集设备之间的距离在近距离范围内,因而选择用于近距离人眼检测的第二级联分类器,当人脸矩形区域的宽度小于该预设宽度值时,则认为当前待识别图像中的人脸与图像采集设备之间的距离在远距离范围内,因而选择用于远距离人眼检测的第二级联分类器。
[0040] 进一步地,若当前待识别图像为视频帧图像,则由于视频帧图像的连续性,连续多帧图像中人脸矩形区域的宽度在接近预设宽度值时,有可能出现在预设宽度值左右跳动的现象,而造成用于近距离人眼检测的第二级联分类器和用于远距离人眼检测的第二级联分类器的频繁选择切换。此时,为了减少切换跳动,本发明实施例中,在预设有一预设宽度值的同时,还预设一过渡值,若当前待识别图像为首个视频帧图像,则对第二级联分类器的选择如步骤S122所述,若当前待识别图像不为首个视频帧图像,则步骤S122又可为:当人脸矩形区域的宽度大于预设宽度值与过渡值之和时,选择用于近距离人眼检测的第二级联分类器;当人脸矩形区域的宽度小于预设宽度值与过渡值之差时,选择用于远距离人眼检测的第二级联分类器;当人脸矩形区域的宽度小于或等于预设宽度值与过渡值之和、且大于或等于预设宽度值与过渡值之差时,选择前一视频帧图像所选择的第二级联分类器,即是说,若前一视频帧图像选择的是用于近距离人眼检测的第二级联分类器,则当前视频帧图像也选择用于近距离人眼检测的第二级联分类器,而若前一视频帧图像选择的是用于远距离人眼检测的第二级联分类器,则当前视频帧图像也选择用于远距离人眼检测的第二级联分类器。
[0041] 在步骤S13中,利用选择的第二级联分类器定位当前待识别图像中的人眼位置。进一步地,以首先定位右眼位置、再定位左眼位置为例,步骤S13可包括以下步骤:
[0042] 步骤S131:利用选择的第二级联分类器,在步骤S12提取出的人脸区域的上半部分中提取出右眼矩形区域,得到右眼矩形区域的大小及其在人脸区域中的位置信息,并根据右眼矩形区域的大小及其在人脸区域中的位置信息得到右眼矩形区域的中心在待识别人脸图像上的坐标,该中心坐标即为步骤S13定位得到的当前待识别图像中的右眼位置。
[0043] 步骤S132:将步骤S12提取出的人脸区域的上半部分进行水平翻转,利用选择的第二级联分类器,在翻转后的人脸区域中提取出左眼矩形区域,得到左眼矩形区域的大小及其在翻转后的人脸区域中的位置信息,并根据左眼矩形区域的大小及其在翻转后的人脸区域中的位置信息,得到左眼矩形区域的中心在未翻转的待识别人脸图像上的坐标,该中心坐标即为步骤S13定位得到的当前待识别图像中的左眼位置。
[0044] 由于在某些情况下,利用选择的第二级联分类器有可能在翻转或未翻转的人脸区域上分别检测出左眼和右眼,即是说,有可能在翻转和未翻转的人脸区域中定位到两个左眼位置或两个右眼位置,则此时,在执行步骤S132后,若在人脸区域的上半部分的左半部分中定位到两个右眼位置,则以步骤S131未翻转人脸区域时定位到的右眼位置为最终的右眼位置,若在人脸区域的上半部分的右半部分中定位到两个左眼位置,则以步骤S132翻转人脸区域后定位到的左眼位置为最终的左眼位置。
[0045] 当然,若首先定位左眼位置、再定位右眼位置,则步骤S13的详细步骤与步骤S131和步骤S132相似,为避免重复,在此不再赘述。同时,在实际应用时,也可以预存有第一级联分类器和两个或两个以上、用于不同距离人眼检测的第二级联分类器,从而无需执行步骤S11而直接执行步骤S12和步骤S13。
[0046] 本发明实施例提供的人眼定位方法是基于类哈尔特征和自适应增强算法训练第一级联分类器和多个第二级联分类器,利用第一级联分类器提取出待识别图像上的人脸区域,并根据该人脸区域选择合适的第二级联分类器进行人眼定位。由于与图像采集设备距离不同的人眼的特征存在差异,因而应用本发明实施例提供的人眼定位方法可更好的适应不同距离的人眼检测定位任务,提高人眼定位的准确率,避免误检、漏检等现象的发生。
[0047] 举例来说,假设对一段连续人脸视频进行人眼定位,经步骤S121提取出的人脸矩形区域如图2所示,该人脸矩形区域的高度为h、宽度为w,该人脸矩形区域左上顶点D在XOY坐标系中的坐标为(x,y)即为人脸矩形区域在当前待识别图像中的位置信息。假设预设宽度值为T,过渡值为△t,则在步骤S122中,若w>T+△t,选择用于近距离人眼检测的第二级联分类器,若w<T-△t,选择用于远距离人眼检测的第二级联分类器,若T-△t≤w≤T+△t,选择前一帧图像所选择的第二级联分类器。之后,在步骤S131中,在人脸矩形区域的上半部分中提取出右眼矩形区域如图3所示,该右眼矩形区域的高度为h1、宽度为w1,该人脸矩形区域左上顶点在XOY坐标系中的坐标为(x+u1,y+v1),从而得到右眼矩形区域的中心在待识别人脸图像上的坐标为(x+u1+w1/2,y+v1+h1/2),该中心坐标即为定位得到的右眼位置。之后,在步骤S132中,将人脸矩形区域的上半部分进行水平翻转,利用选择的第二级联分类器,在翻转后的人脸矩形区域中提取出左眼矩形区域如图4所示,该左眼矩形区域的高度为h2、宽度为w2,该左眼矩形区域左上顶点在翻转后的人脸矩形区域所在XOY坐标系中的坐标为(x+u2,y+v2),从而得到左眼矩形区域的中心在未翻转的待识别人脸图像上的坐标为(x+w-u2-w2/2,y+v2+h2/2),该中心坐标即为定位得到的左眼位置。
[0048] 图5示出了本发明实施例提供的人眼定位系统的结构原理,为了便于说明,仅示出了与本发明实施例相关的部分。
[0049] 本发明实施例提供的人眼定位系统包括:训练单元11,用于采集样本图像,并基于类哈尔特征和自适应增强算法训练样本图像,得到用于人脸检测的第一级联分类器,以及两个或两个以上、用于不同距离人眼检测的第二级联分类器;第二级联分类器选择单元12,用于利用训练单元11得到的第一级联分类器从当前待识别图像中提取出人脸区域,根据人脸区域的尺寸选择训练单元11得到的、相应的第二级联分类器;定位单元13,用于利用第二级联分类器选择单元12选择的第二级联分类器定位当前待识别图像中的人眼位置。
[0050] 图6示出了图5中训练单元11的结构。
[0051] 具体地,训练单元11可包括:第一训练模块111,用于采集人脸样本图像,基于类哈尔特征和自适应增强算法训练人脸样本图像,得到用于人脸检测的第一级联分类器;近距离人眼样本图像库采集模块112,用于采集近距离左眼样本图像和近距离右眼样本图像,之后将采集的近距离左眼样本图像进行水平翻转,由翻转后的近距离左眼样本图像和采集的近距离右眼样本图像构成近距离人眼样本图像库,或者将采集的近距离右眼样本图像进行水平翻转,由翻转后的近距离右眼样本图像和采集的近距离左眼样本图像构成近距离人眼样本图像库;第二训练模块113,用于基于类哈尔特征和自适应增强算法训练近距离人眼样本图像库采集模块112得到的近距离人眼样本图像库,得到用于近距离人眼检测的第二级联分类器;远距离人眼样本图像库采集模块114,用于采集远距离左眼样本图像和远距离右眼样本图像,之后将采集的远距离左眼样本图像进行水平翻转,由翻转后的远距离左眼样本图像和采集的远距离右眼样本图像构成远距离人眼样本图像库,或者将采集的远距离右眼样本图像进行水平翻转,由翻转后的远距离右眼样本图像和采集的远距离左眼样本图像构成远距离人眼样本图像库;第三训练模块115,用于基于类哈尔特征和自适应增强算法训练远距离人眼样本图像库采集模块114得到的远距离人眼样本图像库,得到用于远距离人眼检测的第二级联分类器。
[0052] 图7示出了图5中第二级联分类器选择单元12的结构。
[0053] 具体地,第二级联分类器选择模块12可包括:提取模块121,用于利用训练单元11得到的第一级联分类器从当前待识别图像中提取出人脸矩形区域,并得到人脸矩形区域的高度、宽度及人脸矩形区域在当前待识别图像中的位置信息;选择模块122,用于当提取模块121得到的人脸矩形区域的宽度大于或等于一预设宽度值时,选择训练单元11得到的用于近距离人眼检测的第二级联分类器,当人脸矩形区域的宽度小于该预设宽度值时,选择训练单元11得到的用于远距离人眼检测的第二级联分类器。而若当前待识别图像为视频帧图像,则选择模块122的选择步骤如上所述,在此不再赘述。
[0054] 图8示出了图5中定位单元13的结构。
[0055] 具体地,定位单元13可包括:右眼位置定位模块131,用于利用第二级联分类器选择单元12选择的第二级联分类器,在第二级联分类器选择单元12提取出的人脸区域的上半部分中提取出右眼矩形区域,得到右眼矩形区域的大小及其在人脸区域中的位置信息,并根据右眼矩形区域的大小及其在人脸区域中的位置信息得到右眼矩形区域的中心在待识别人脸图像上的坐标,该中心坐标即为定位单元13定位得到的当前待识别图像中的右眼位置;左眼位置定位模块132,用于将第二级联分类器选择单元12提取出的人脸区域的上半部分进行水平翻转,利用第二级联分类器选择单元12选择的第二级联分类器,在翻转后的人脸区域中提取出左眼矩形区域,得到左眼矩形区域的大小及其在翻转后的人脸区域中的位置信息,并根据左眼矩形区域的大小及其在翻转后的人脸区域中的位置信息,得到左眼矩形区域的中心在未翻转的待识别人脸图像上的坐标,该中心坐标即为定位单元13定位得到的当前待识别图像中的左眼位置。
[0056] 当然,若首先定位左眼位置、再定位右眼位置,则定位单元13的结构与图5所示类似,为避免重复,在此不再赘述。同时,在实际应用时,第二级联分类器选择单元12也可以预存有第一级联分类器和两个或两个以上、用于不同距离人眼检测的第二级联分类器,则此时的人眼定位系统可不包括训练单元11。
[0057] 本发明实施例还提供了一种电子设备,包括一显示单元、以及一如上所述的人眼定位系统,显示单元用于显示人眼定位系统定位得到的当前待识别图像中的人眼位置。
[0058] 本发明实施例提供的人眼定位方法及系统是利用第一级联分类器提取出待识别图像上的人脸区域,并根据该人脸区域的尺寸,选择合适的第二级联分类器进行人眼定位。由于与图像采集设备距离不同的人眼的特征存在差异,因而应用本发明实施例提供的人眼定位方法及系统可更好的适应不同距离的人眼检测定位任务,提高人眼定位的准确率,避免误检、漏检等现象的发生。
[0059] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来控制相关的硬件完成,所述的程序可以在存储于一计算机可读取存储介质中,所述的存储介质,如ROM/RAM、磁盘、光盘等。
[0060] 以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。