一种眼睛属性分类方法、装置及存储介质

摘要

本发明公开了一种眼睛属性分类方法、装置及存储介质，包括：获取眼部图像；获取对眼部图像进行标注得到的四类标注数据，并将预设比例的四类标注作为训练数据集，四类标注数据包括：无眼睛图像、闭眼图像、瞳孔可见图像和瞳孔不可见图像；将训练数据集输入至预先设计好的神经网络结构进行模型分类训练，得到眼睛属性分类模型；将待分类眼部图像输入至眼睛属性分类模型中，输出眼睛属性分类模型中三个级联分类器的分类结果。本发明实施例不仅能够保证眼睛属性判断的准确性，还能够有效适用于复杂场景。

权利要求

1.一种眼睛属性分类方法，其特征在于，包括：获取眼部图像；

获取对所述眼部图像进行标注得到的四类标注数据，并将预设比例的四类标注作为训练数据集，所述四类标注数据包括：无眼睛图像、闭眼图像、瞳孔可见图像和瞳孔不可见图像；

将所述训练数据集输入至预先设计好的神经网络结构进行模型分类训练，得到眼睛属性分类模型；

将待分类眼部图像输入至所述眼睛属性分类模型中，输出所述眼睛属性分类模型中三个级联分类器的分类结果，所述三个级联分类器包括第一分类器、第二分类器和第三分类器，第一分类器用于判断所述待分类眼部图像中是否存在眼睛，所述第二分类器用于判断所述待分类眼部图像中眼睛是否睁开，所述第三分类器用于判断瞳孔是否可见，包括：将待分类眼部图像输入至所述眼睛属性分类模型中，在第一分类器判断所述待分类眼部图像中不存在眼睛图像时，得到分类结果为所述待分类眼部图像中无眼睛图像；在第一分类器判断所述待分类眼部图像中存在眼睛图像时，通过第二分类器判断所述眼睛图像是否睁开，若判断为闭眼状态，则直接输出闭眼图像的分类结果，若判断为睁眼状态，则通过第三分类器判断瞳孔是否可见，若判断瞳孔可见则输出瞳孔可见的分类结果，若瞳孔不可见则输出瞳孔不可见的分类结果。

2.如权利要求1所述的眼睛属性分类方法，其特征在于，所述获取眼部图像，包括：采集目标图像，利用人脸检测算法检测目标图像中是否存在人脸，若存在人脸则截取所述目标图像中的头部图像，采用关键点检测算法得到所述头部图像的关键信息，并从所述关键点信息位置截取得到所述目标图像中的眼部图像。

3.如权利要求1所述的眼睛属性分类方法，其特征在于，获取对所述眼部图像进行标注得到的四类标注数据，包括：

判断所述眼部图像中是否存在眼睛图像，若不存在眼睛图像，则标注为无眼睛图像；

若存在眼睛图像，判断所述眼睛图像的上下眼睑是否闭合，若是则标注为闭眼图像；

若所述眼睛图像的上下眼睑不闭合，则判断所述眼睛图像中的瞳孔是否可见，在所述瞳孔可见时标注为瞳孔可见图像，在所述瞳孔为不可见时标注为瞳孔不可见图像。

4.如权利要求1所述的眼睛属性分类方法，其特征在于，将所述训练数据集输入至预先设计好的神经网络结构进行模型分类训练，得到眼睛属性分类模型，包括：将训练数据集进行数据增强处理后得到预处理数据，将所述预处理数据输入至预先设计好的神经网络结构中，采用交叉熵作为损失函数进行模型分类训练，得到眼睛属性分类模型。

5.如权利要求4所述的眼睛属性分类方法，其特征在于，所述数据增强处理包括水平翻转、随机旋转、对比度拉伸、随机高斯噪声、图像亮度变换、图像gamma值调整的至少一种。

6.如权利要求4所述的眼睛属性分类方法，其特征在于，所述损失函数的表达式为：yi表示样本i的标签，正样本为1，负样本为0，pi为模型预测样本i为正样本的概率。

7.一种眼睛属性分类装置，其特征在于，包括：眼部图像获取模块，用于获取眼部图像；

数据标注模块，用于获取对所述眼部图像进行标注得到的四类标注数据，并将预设比例的四类标注作为训练数据集，所述四类标注数据包括：无眼睛图像、闭眼图像、瞳孔可见图像和瞳孔不可见图像；

模型分类训练模块，用于将所述训练数据集输入至预先设计好的神经网络结构进行模型分类训练，得到眼睛属性分类模型；

眼睛属性分类模块，用于将待分类眼部图像输入至所述眼睛属性分类模型中，输出所述眼睛属性分类模型中三个级联分类器的分类结果，所述三个级联分类器包括第一分类器、第二分类器和第三分类器，第一分类器用于判断所述待分类眼部图像中是否存在眼睛，所述第二分类器用于判断所述待分类眼部图像中眼睛是否睁开，所述第三分类器用于判断瞳孔是否可见，包括：将待分类眼部图像输入至所述眼睛属性分类模型中，在第一分类器判断所述待分类眼部图像中不存在眼睛图像时，得到分类结果为所述待分类眼部图像中无眼睛图像；在第一分类器判断所述待分类眼部图像中存在眼睛图像时，通过第二分类器判断所述眼睛图像是否睁开，若判断为闭眼状态，则直接输出闭眼图像的分类结果，若判断为睁眼状态，则通过第三分类器判断瞳孔是否可见，若判断瞳孔可见则输出瞳孔可见的分类结果，若瞳孔不可见则输出瞳孔不可见的分类结果。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的眼睛属性分类方法的步骤。

说明书

一种眼睛属性分类方法、装置及存储介质

技术领域

[0001] 本发明涉及图像处理技术领域，尤其是涉及一种眼睛属性分类方法、装置及存储介质。

背景技术

[0002] 眼睛属性分类在智能座舱中对驾驶员的状态分析起着重要的作用，可以用于疲劳驾驶判断，包括眼睛睁闭识别，辅助表情识别和视线估计。目前，现有眼睛属性分类方法通
常为基于几何先验和特征定位的方式来进行眼睛属性分类，但是现有的眼睛属性分类方法
难以适用于真实环境中的复杂情况，眼睛属性分类的结果较差。

发明内容

[0003] 本发明提供了一种眼睛属性分类方法、装置及存储介质，以解决现有的眼睛属性分类方法无法是适用于真实环境中复杂的情况，导致眼睛属性分类的结果较差的技术问
题。

[0004] 本发明的一个实施例提供了一种眼睛属性分类方法，包括：

[0005] 获取眼部图像；

[0006] 获取对所述眼部图像进行标注得到的四类标注数据，并将预设比例的四类标注作为训练数据集，所述四类标注数据包括：无眼睛图像、闭眼图像、瞳孔可见图像和瞳孔不可
见图像；

[0007] 将所述训练数据集输入至预先设计好的神经网络结构进行模型分类训练，得到眼睛属性分类模型；

[0008] 将待分类眼部图像输入至所述眼睛属性分类模型中，输出所述眼睛属性分类模型中三个级联分类器的分类结果，所述三个级联分类器包括第一分类器、第二分类器和第三
分类器，第一分类器用于判断所述待分类眼部图像中是否存在眼睛，所述第二分类器用于
判断所述待分类图像中眼睛是否睁开，所述第三分类器用于判断瞳孔是否可见。

[0009] 进一步的，所述获取眼部图像，包括：

[0010] 采集目标图像，利用人脸检测算法检测目标图像中是否存在人脸，若存在人脸则截取所述目标图像中的头部图像，采用关键点检测算法得到所述头部图像的关键信息，并
从所述关键点信息位置截取得到所述目标图像中的眼部图像。

[0011] 进一步的，获取对所述眼部图像进行标注得到的四类标注数据，包括：

[0012] 判断所述眼部图像中是否存在眼睛图像，若不存在眼睛图像，则标注为无眼睛图像；

[0013] 若存在眼睛图像，判断所述眼睛图像的上下眼睑是否闭合，若是则标注为闭眼图像；

[0014] 若所述眼睛图像的上下眼睑不闭合，则判断所述眼睛图像中的瞳孔是否可见，在所述瞳孔可见时标注为瞳孔可见图像，在所述瞳孔为不可见时标注为瞳孔不可见图像。

[0015] 进一步的，将所述训练数据集输入至预先设计好的神经网络结构进行模型分类训练，得到眼睛属性分类模型，包括：

[0016] 将训练数据集进行数据增强处理后得到预处理数据，将所述预处理数据输入至预先设计好的神经网络结构中，采用交叉熵作为损失函数进行模型分类训练，得到眼睛属性
分类模型。

[0017] 进一步的，所述数据增强处理包括但不限于水平翻转、随机旋转、对比度拉伸、随机高斯噪声、图像亮度变换、图像gamma值调整的至少一种。

[0018] 进一步的，所述损失函数的表达式为：

[0019]

[0020] yi表示样本i的标签，正样本为1，负样本为0，pi为模型预测样本i为正样本的概率。

[0021] 进一步的，将待分类眼部图像输入至所述眼睛属性分类模型中，输出所述眼睛属性分类模型中三个级联分类器的分类结果，包括：

[0022] 将待分类眼部图像输入至所述眼睛属性分类模型中，在第一分类器判断所述待分类眼部图像中不存在眼睛图像时，得到分类结果为所述待分类眼部图像中无眼睛图像；在
第一分类器判断所述待分配眼部图像中存在眼睛图像时，通过第二分类器判断所述眼睛图
像是否睁开，若判断为闭眼状态，则直接输出闭眼图像的分类结果，若判断为睁眼状态，则
通过第三分类器判断瞳孔是否可见，若判断瞳孔可见则输出瞳孔可见的分类结果，若瞳孔
不可见则输出瞳孔不可见的分类结果。

[0023] 本发明的一个实施例提供了一种眼睛属性分类装置，包括：

[0024] 眼部图像获取模块，用于获取眼部图像；

[0025] 数据标注模块，用于获取对所述眼部图像进行标注得到的四类标注数据，并将预设比例的四类标注作为训练数据集，所述四类标注数据包括：无眼睛图像、闭眼图像、瞳孔
可见图像和瞳孔不可见图像；

[0026] 模型分类训练模块，用于将所述训练数据集输入至预先设计好的神经网络结构进行模型分类训练，得到眼睛属性分类模型；

[0027] 眼睛属性分类模块，用于将待分类眼部图像输入至所述眼睛属性分类模型中，输出所述眼睛属性分类模型中三个级联分类器的分类结果，所述三个级联分类器包括第一分
类器、第二分类器和第三分类器，第一分类器用于判断所述待分类眼部图像中是否存在眼
睛，所述第二分类器用于判断所述待分类图像中眼睛是否睁开，所述第三分类器用于判断
瞳孔是否可见。

[0028] 本发明的一个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的眼睛属性分类方法的
步骤。

[0029] 本发明实施例首先通过第一分类器对眼部图像是否存在眼睛进行判别，在判别到眼部图像中存在眼睛之后，再进行后续的眼睛属性判别，能够在实际应用场景中进行眼睛
属性的合理区分，从而提高眼睛属性分类的正确性；本发明实施例根据眼睛的上下眼睑闭
合程度判断眼睛的睁闭状态，不同于基于眼睛几何先验和特征定位的方式判断眼睛睁闭状
态难以适应于复杂场景，本发明实施例能够在复杂下保证分类的准确性；本发明实施例进
一步根据瞳孔的形状轮廓判别瞳孔是否可见，通过三个级联分类器对眼睛的多种属性进行
级联判别，不仅能够保证眼睛属性判断的准确性，还能够有效适用于复杂场景。

附图说明

[0030] 图1是本发明实施例提供的眼睛属性分类方法的流程示意图；

[0031] 图2是本发明实施例提供的数据标注的流程示意图；

[0032] 图3 是本发明实施例提供的无眼睛图像示意图；

[0033] 图4是本发明实施例提供的闭眼图像示意图；

[0034] 图5 是本发明实施例提供的瞳孔不可见图像示意图；

[0035] 图6 是本发明实施例提供的瞳孔可见图像示意图；

[0036] 图7是本发明实施例提供的一种神经网络结构；

[0037] 图8是本发明实施例提供的一种眼睛属性分类流程示意图；

[0038] 图9是本发明实施例提供的眼睛属性分装置的结构示意图。

具体实施方式

[0039] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于
本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本申请保护的范围。

[0040] 在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第
一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，
除非另有说明，“多个”的含义是两个或两个以上。

[0041] 在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可
以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是
两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本
申请中的具体含义。

[0042] 请参阅图1，本发明的一个实施例提供了一种眼睛属性分类方法，包括：

[0043] S1、获取眼部图像；

[0044] 在本发明实施例中，可以通过摄像机采集目标图像，并结合人脸关键点检测算法实现眼部图像的获取。其中人脸关键点检测算法包括人脸68点关键点检测算法。

[0045] S2、获取对眼部图像进行标注得到的四类标注数据，并将预设比例的四类标注作为训练数据集，四类标注数据包括：无眼睛图像、闭眼图像、瞳孔可见图像和瞳孔不可见图
像；

[0046] 在本发明实施例中，可以采用标注工具对眼部图像进行标注，本发明实施例根据人脸属性的四种分类对应标注四类标注数据，包括：无眼睛图像、闭眼图像、瞳孔可见图像
和瞳孔不可见图像，其中标注后的训练接样本无眼睛：闭眼：瞳孔可见：瞳孔不可见比例为
2：2：1：1。

[0047] S3、将训练数据集输入至预先设计好的神经网络结构进行模型分类训练，得到眼睛属性分类模型；

[0048] 在本发明实施例中，在将训练数据集输入至神经网络结构之前，需要进行数据增强操作。训练数据集输入至神经网络之后，经过卷积、下采样操作后，经过3个全连接得到最
终的分类结果。其中，每一个全连接层均对应一个分类器，三个分类器为级联关系。

[0049] S4、将待分类眼部图像输入至眼睛属性分类模型中，输出眼睛属性分类模型中三个级联分类器的分类结果，三个级联分类器包括第一分类器、第二分类器和第三分类器，第
一分类器用于判断待分类眼部图像中是否存在眼睛，第二分类器用于判断待分类图像中眼
睛是否睁开，第三分类器用于判断瞳孔是否可见。

[0050] 在本发明实施例中，通过三个级联分类器对不同的眼睛属性进行分类，包括是否存在眼睛、眼睛是否睁开、瞳孔是否可见，本发明实施例首先对图像中是否存在眼睛进行判
断，在第一分类器判断眼部图像中存在眼睛时，再对眼部图像进行后续的分类，能够在实际
应用场景中进行合理区分，提高眼睛属性分类的正确性。

[0051] 在一个实施例中，获取眼部图像，包括：

[0052] 采集目标图像，利用人脸检测算法检测目标图像中是否存在人脸，若存在人脸则截取目标图像中的头部图像，采用关键点检测算法得到头部图像的关键信息，并从关键点
信息位置截取得到目标图像中的眼部图像。

[0053] 在本发明实施例中，通过设置在目标区域的摄像机采集多张目标图像。在截取到目标图像的头图图像后，采用关键点检测算法得到眼部关键点信息，将多个眼部关键点信
息所在的矩形作为目标图像中的眼部图像。

[0054] 在一个实施例中，获取对眼部图像进行标注得到的四类标注数据，包括：

[0055] 判断眼部图像中是否存在眼睛图像，若不存在眼睛图像，则标注为无眼睛图像；

[0056] 在本发明实施例中，将获取的眼部图像作为待标注的数据图像，首先对眼部图像中是否存在眼睛进行判断，若不存在眼睛，例如眼睛被其他物体遮挡，例如关键点检测算法
获取的眼睛位置坐标错误等多种情况下，则标注眼部图像为无眼睛。

[0057] 若存在眼睛图像，判断眼睛图像的上下眼睑是否闭合，若是则标注为闭眼图像；

[0058] 在本发明实施例中，若眼部图像中存在眼睛，则进行下一步判断，即判断眼睛图像的上下眼睑是否闭合，通过检测上眼睑和下眼睑之间的相对位置关系，确定眼睛是否闭合。

[0059] 若眼睛图像的上下眼睑不闭合，则判断眼睛图像中的瞳孔是否可见，在瞳孔可见时标注为瞳孔可见图像，在瞳孔为不可见时标注为瞳孔不可见图像。

[0060] 在眼睛的上下眼睑不闭合时，进一步判断瞳孔的形状轮廓是否可见，如果可见则标注为瞳孔可见，如果不可见则标注为瞳孔不可见。

[0061] 请参阅图2，本发明实施例提供了一种数据标注的流程示意图，图3‑6为本发明实施例提供的四种标注数据示意图。

[0062] 在一个实施例中，将训练数据集输入至预先设计好的神经网络结构进行模型分类训练，得到眼睛属性分类模型，包括：

[0063] 将训练数据集进行数据增强处理后得到预处理数据，将预处理数据输入至预先设计好的神经网络结构中，采用交叉熵作为损失函数进行模型分类训练，得到眼睛属性分类
模型。

[0064] 请参阅图7，为本发明实施例提供的一种神经网络结构。

[0065] 在一个实施例中，数据增强处理包括但不限于水平翻转、随机旋转、对比度拉伸、随机高斯噪声、图像亮度变换、图像gamma值调整的至少一种。

[0066] 在一个实施例中，损失函数的表达式为：

[0067]

[0068] 其中，yi表示样本i的标签，正样本为1，负样本为0，pi为模型预测样本i为正样本的概率。

[0069] 在一个实施例中，将待分类眼部图像输入至眼睛属性分类模型中，输出眼睛属性分类模型中三个级联分类器的分类结果，包括：

[0070] 将待分类眼部图像输入至眼睛属性分类模型中，在第一分类器判断待分类眼部图像中不存在眼睛图像时，得到分类结果为待分类眼部图像中无眼睛图像；在第一分类器判
断待分配眼部图像中存在眼睛图像时，通过第二分类器判断眼睛图像是否睁开，若判断为
闭眼状态，则直接输出闭眼图像的分类结果，若判断为睁眼状态，则通过第三分类器判断瞳
孔是否可见，若判断瞳孔可见则输出瞳孔可见的分类结果，若瞳孔不可见则输出瞳孔不可
见的分类结果。

[0071] 请参阅图8，为本发明实施例提供的眼睛属性分类流程示意图。

[0072] 实施本发明实施例，具有以下有益效果：

[0073] 本发明实施例首先通过第一分类器对眼部图像是否存在眼睛进行判别，在判别到眼部图像中存在眼睛之后，再进行后续的眼睛属性判别，能够在实际应用场景中进行眼睛
属性的合理区分，从而提高眼睛属性分类的正确性；本发明实施例根据眼睛的上下眼睑闭
合程度判断眼睛的睁闭状态，不同于基于眼睛几何先验和特征定位的方式判断眼睛睁闭状
态难以适应于复杂场景，本发明实施例能够在复杂下保证分类的准确性；本发明实施例进
一步根据瞳孔的形状轮廓判别瞳孔是否可见，通过三个级联分类器对眼睛的多种属性进行
级联判别，不仅能够保证眼睛属性判断的准确性，还能够有效适用于复杂场景。

[0074] 请参阅图9，基于与上述实施例相同的发明构思，本发明的一个实施例提供了一种眼睛属性分类装置，包括：

[0075] 眼部图像获取模块10，用于获取眼部图像；

[0076] 数据标注模块20，用于获取对眼部图像进行标注得到的四类标注数据，并将预设比例的四类标注作为训练数据集，四类标注数据包括：无眼睛图像、闭眼图像、瞳孔可见图
像和瞳孔不可见图像；

[0077] 模型分类训练模块30，用于将训练数据集输入至预先设计好的神经网络结构进行模型分类训练，得到眼睛属性分类模型；

[0078] 眼睛属性分类模块40，用于将待分类眼部图像输入至眼睛属性分类模型中，输出眼睛属性分类模型中三个级联分类器的分类结果，三个级联分类器包括第一分类器、第二
分类器和第三分类器，第一分类器用于判断待分类眼部图像中是否存在眼睛，第二分类器
用于判断待分类图像中眼睛是否睁开，第三分类器用于判断瞳孔是否可见。

[0079] 在一个实施例中，眼部图像获取模块10具体用于：

[0080] 采集目标图像，利用人脸检测算法检测目标图像中是否存在人脸，若存在人脸则截取目标图像中的头部图像，采用关键点检测算法得到头部图像的关键信息，并从关键点
信息位置截取得到目标图像中的眼部图像。

[0081] 在一个实施例中，数据标注模块20：

[0082] 判断眼部图像中是否存在眼睛图像，若不存在眼睛图像，则标注为无眼睛图像；

[0083] 若存在眼睛图像，判断眼睛图像的上下眼睑是否闭合，若是则标注为闭眼图像；

[0084] 若眼睛图像的上下眼睑不闭合，则判断眼睛图像中的瞳孔是否可见，在瞳孔可见时标注为瞳孔可见图像，在瞳孔为不可见时标注为瞳孔不可见图像。

[0085] 在一个实施例中，模型分类训练模块30具体用于：

[0086] 将训练数据集进行数据增强处理后得到预处理数据，将预处理数据输入至预先设计好的神经网络结构中，采用交叉熵作为损失函数进行模型分类训练，得到眼睛属性分类
模型。

[0087] 在一个实施例中，数据增强处理包括但不限于水平翻转、随机旋转、对比度拉伸、随机高斯噪声、图像亮度变换、图像gamma值调整的至少一种。

[0088] 在一个实施例中，损失函数的表达式为：

[0089]

[0090] yi表示样本i的标签，正样本为1，负样本为0，pi为模型预测样本i为正样本的概率。

[0091] 在一个实施例中，眼睛属性分类模块40具体用于：

[0092] 将待分类眼部图像输入至眼睛属性分类模型中，在第一分类器判断待分类眼部图像中不存在眼睛图像时，得到分类结果为待分类眼部图像中无眼睛图像；在第一分类器判
断待分配眼部图像中存在眼睛图像时，通过第二分类器判断眼睛图像是否睁开，若判断为
闭眼状态，则直接输出闭眼图像的分类结果，若判断为睁眼状态，则通过第三分类器判断瞳
孔是否可见，若判断瞳孔可见则输出瞳孔可见的分类结果，若瞳孔不可见则输出瞳孔不可
见的分类结果。

[0093] 本发明的一个实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的眼睛属性分类方法的步骤。

[0094] 以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发
明的保护范围。