本发明提出了一种结合LBP特征图与卷积神经网络的人脸识别方法，主要解决现有人脸识别方法识别率低，对光照敏感的问题。其方案为：利用VJ人脸检测算法得到人脸区域边框，将其对应的图像进行人脸对齐；对人脸对齐后的图像提取人脸区域；将提取的人脸图像转换成灰度图和LBP特征图后进行融合；构建卷积神经网络并进行训练，得到训练好的网络模型；利用相同的方法对测试图进行预处理得到融合后的图像，利用训练好的网络模型对融合后的图像进行特征提取得到特征向量，利用特征向量进行相似度计算，并与判定阈值比较，判断测试图是否为同一人。本发明对光照变化有较强的鲁棒性，提高了人脸识别精，可用于视频监控，人证对比核对嫌疑人的追踪。
1.结合LBP特征图与卷积神经网络的人脸识别方法，包括:(1)训练卷积神经网络：
(1a)利用VJ人脸检测算法，对人脸图像进行检测，得到人脸区域边框位置；
(1b)利用3000FPS算法，对步骤(1a)中得到的人脸边框对应的图像进行人脸特征点检测，得到眼睛特征点坐标，利用特征点坐标，对人脸进行对齐，得到人脸对齐后的图像I0；
(1c)利用VJ人脸检测算法对人脸对齐后图像进行人脸检测，得到人脸区域图像I1，并将该人脸区域图像转换成灰度图I2；
(1d)利用LBP特征编码方法，对灰度图I2进行LBP编码，得到LBP特征图，再将该LBP特征图与灰度图进行融合，得到融合后的图像I3；
利用LBP特征编码方法，对灰度图I2进行LBP编码，按如下步骤进行：(1d1)将圆形LBP算子中的半径设定为1，采样点数设定为8，得到确定的LBP编码方法；
(1d2)利用确定的LBP编码方法,对灰度图I2进行LBP特征编码，得到对应的LBP特征图；
(1e)构建一个由输入层、5层卷积池化层、2层全连接层和输出层构成的卷积神经网络；
(1f)将融合后的图像I3，输入到步骤(1e)中构建的卷积神经网络中进行训练，得到训练好的卷积神经网络；
(2a)利用步骤(1a)至步骤(1d)的方法，对两张待测人脸图像进行数据预处理，得到预处理后的两张待测图像I4和I5；
(2b)将预处理后的两张待测图像I4和I5，依次输入步骤(1f)训练好的卷积神经网络中，对每张图像进行特征提取，得到第一张待测人脸图像的特征向量J1和第二张待测人脸图像的特征向量J2；
(2c)对步骤(2b)中得到的人脸图像的特征向量进行相似度计算，得到余弦相似度δ:(2d)设定判定阈值δ0，将余弦相似度δ与判定阈值δ0进行比较：若δ≤δ0，则表示两张待测人脸图像不是同一人；
2.根据权利要求1所述的方法，其中步骤(1a)利用VJ人脸检测算法，对人脸图像进行检测，按如下步骤进行：(1a1)设定观察窗口参数，得到固定大小的观察窗口；
(1a2)按照从左到右，从上到下的顺序，以固定步长移动步骤(1a1)中得到的观察窗口；
(1a3)利用“积分图”方法，对步骤(1a2)中观察窗口所对应的图像区域进行处理，得到观察窗口对应图像区域的Harr特征；
(1a4)利用级联分类器，对步骤(1a3)中得到的Harr特征进行分类，根据分类结果判断观察窗口对应区域是否是人脸区域：若是人脸区域，则观察窗口位置为人脸边框位置，若不是人脸区域，则移动观察窗口，返回步骤(1a3)；
(1a5)重新设定观察窗口参数，重复步骤(1a1)～步骤(1a4)，得到最终的边框位置。
3.根据权利要求1所述的方法，步骤(1b)中利用3000FPS算法，对步骤(1a)中得到的人脸边框对应的图像进行人脸特征点检测，按如下步骤进行：(1b1)选定一张正脸图像为基准图像，利用3000FPS算法，对基准图像进行人脸特征点检测，得到双眼特征点坐标矩阵P；
(1b2)选定一张待对齐图像，利用3000FPS算法，对待对齐图像进行人脸特征点检测，得到双眼特征点坐标矩阵P'；
(1b3)利用步骤(1b1)中的P与步骤(1b2)中的P'，得到仿射变换矩阵；
(1b4)利用步骤(1b3)中得到的仿射变换矩阵，对待对齐图像进行仿射变换，得到人脸对齐后的图像I0。
4.根据权利要求1所述的方法，其中步骤(1d)中将LBP特征图与灰度图进行融合，是将灰度图与LBP特征图在颜色维度上进行串联，得到融合后图像I3。
5.根据权利要求1所述的方法，其中所述的步骤(2b)，按如下步骤进行：(2b1)利用步骤(1e)中构成的卷积神经网络中第一层卷积池化层结构中的卷积层，对输入图像进行卷积操作，得到卷积特征图F0；
(2b2)利用卷积神经网络中第一层卷积池化层结构中的激活层，对卷积特征图F0进行非线性转换，得到激活特征图F1；
(2b3)利用卷积神经网络中第一层卷积池化层结构中的池化层，对激活特征图F1进行下采样，得到池化特征图F2；
(2b4)对卷积神经网络中第二层卷积池化层结构到第五层卷积池化层结构重复步骤(2b1)～步骤(2b3)，得到更精细的特征图F3；
(2b5)利用卷积神经网络中第一层全连接层，对步骤(2b4)中得到的特征图F3进行映射变换，得到一维人脸特征向量J。
结合LBP特征图与卷积神经网络的人脸识别方法
技术领域
[0001] 本发明属于图像处理技术领域，涉及一种人脸识别方法，可用于视频监控，人证对比，嫌疑人追踪领域。
背景技术
[0002] 人脸做为人的一种自然属性，具有很强的自身稳定性和个体差异性。人脸图像的采集具有友好，直接，方便等特点，易于被用户接受，因此人脸识别做为一种重要的生物特征识别技术得到了广泛的研究和应用。当前人脸识别主要用在公安部门对疑犯的鉴别与跟踪，人证对比验证，视频监控等领域。
[0003] 人脸识别一直是很多国家和研究机构研究的热点问题，同时也提出了很多方法。基于几何特征的方法是较早提出的方法，其主要是通过提取口，鼻，眼等重要特征点的位置和眼睛等重要器官的几何形状作为分类特征，但是此方法对于侧脸以及光照变化适应性较差。特征脸法利用主成分分析进行降维和提取特征。主成分分析是一种应用十分广泛的数据降维技术，该方法选择与原数据协方差矩阵前几个最大特征值对应的特征向量构成一组基，已达到最佳表征原数据的目的。由主成分分析法提取的特征向量被称为“特征脸”，有一组特征脸基准图像组成一个特征脸空间，任何一幅人脸图像都可投影到该子空间，得到一个权值向量。计算此权值向量和训练集中每个人的权值向量的欧式距离，取距离最小所对应的人脸图像的身份为测试人脸图像身份。由于以上方法的局限性很难应用到大规模人脸识别任务中，因此近几年基于深度学习尤其是基于卷积神经网络的人脸识别方法得到了广泛的应用。卷积神经网络CNN是人工神经网络的一种，通过卷积层、激活层、池化层和全连接层等组成一种层级结构，模仿人类大脑皮层的神经网络功能，在卷积神经网络中输入的是原始自然图像，减少了对图像的预处理操作。卷积神经网络将输入图像的一部分作为层级结构的最低层输入，图像信息在依次向下传递的过程中，不同卷积层中的若干不同卷积核对输入进行卷积操作提取显著特征，最后在网络的输出层以概率的形式输出测试人脸图像所属身份类别。将卷积神经网络应用到人脸识别问题已经取得许多值得称赞的成绩，比如香港中文大学唐晓鸥与王刚教授带领的DeepID团队提出的DeepID系列卷积神经网络在LFW数据库上的表现已经超过了人类。虽然卷积神经网络在人脸识别问题上取得了不俗的成绩，但是卷积神经网络的参数量巨大不利于移植到嵌入式设备中，而且光照的变化对人脸识别精度影响依然存在。
发明内容
[0004] 本发明的目的在于克服上述现有技术存在的不足，提出了一种结合LBP特征图与卷积神经网络的人脸识别方法，以减小光照变化，提高识别精度。
[0005] 为实现上述目的，本发明采取的技术方案包括如下：
[0006] (1)训练卷积神经网络：
[0007] (1a)利用VJ人脸检测算法，对人脸图像进行检测，得到人脸区域边框位置；
[0008] (1b)利用3000FPS算法，对步骤(1a)中得到的人脸边框对应的图像进行人脸特征点检测，得到眼睛特征点坐标，利用特征点坐标，对人脸进行对齐，得到人脸对齐后的图像I0；
[0009] (1c)利用VJ人脸检测算法对人脸对齐后图像进行人脸检测，得到人脸区域图像I1，并将该人脸区域图像转换成灰度图I2；
[0010] (1d)利用LBP特征编码方法，对灰度图I2进行LBP编码，得到LBP特征图，再将该LBP特征图与灰度图进行融合，得到融合后的图像I3；
[0011] (1e)构建一个由输入层、5层卷积池化层、2层全连接层和输出层构成的卷积神经网络；
[0012] (1f)将融合后的图像I3，输入到步骤(1e)中构建的卷积神经网络中进行训练，得到训练好的卷积神经网络；
[0013] (2)利用卷积神经网络对人脸图像进行识别：
[0014] (2a)利用步骤(1a)至步骤(1d)的方法，对两张待测人脸图像进行数据预处理，得到预处理后的两张待测图像I4和I5；
[0015] (2b)将预处理后的两张待测图像I4和I5，依次输入步骤(1f)训练好的卷积神经网络中，对每张图像进行特征提取，得到第一张待测人脸图像的特征向量J1和第二张待测人脸图像的特征向量J2；
[0016] (2c)对步骤(2b)中得到的人脸图像的特征向量进行相似度计算，得到余弦相似度δ:
[0017]
[0018] (2d)设定判定阈值δ0，将余弦相似度δ与判定阈值δ0进行比较：
[0019] 若δ≤δ0，则表示两张待测人脸图像不是同一人；
[0020] 若δ＞δ0，则表示两张待测人脸图像是同一人。
[0021] 本发明与现有技术相比，具有以下优点：
[0022] 本发明由于在卷积神经网络输入数据的过程中，采用了LBP特征编码方法将原始输入图像先转换成LBP特征图，再将原始输入图像与对应的LBP特征图在颜色通道串联合并后输入到卷积神经网络中，与现有的只输入原始图像的方法相比，有效的减少光照变化，提高了识别精度。
附图说明
[0023] 图1是本发明的实现流程图；
[0024] 图2是本发明中的卷积神经网络结构示意图；
[0025] 图3是本发明仿真使用的基准原始图和测试原始图；
[0026] 图4是用本发明对图3检测得到的人脸检测图；
[0027] 图5是用本发明从图4中检测到的人脸特征点检测图；
[0028] 图6是用本发明对图5仿射变换得到的人脸对齐图；
[0029] 图7是用本发明对图6检测得到的人脸区域图；
[0030] 图8是用本发明对测试原始图变换得到的灰度图和LBP特征图；
[0031] 图9是用本发明对图8融合得到的融合图。
具体实施方式
[0032] 以下结合附图，对本发明作进一步详细说明：
[0033] 参照图1，本发明包括如下步骤：
[0034] 步骤一，训练卷积神经网络。
[0035] (1a)从训练数据集中选择一幅人脸图像，利用VJ人脸检测算法，对选择的人脸图像进行检测，得到人脸区域边框位置：
[0036] (1a1)设定VJ人脸检测算法中观察窗口参数，得到固定大小的观察窗口；
[0037] (1a2)在选择的人脸图像上，按照从左到右，从上到下的顺序，以固定步长移动步骤(1a1)中得到的观察窗口；
[0038] (1a3)利用“积分图”方法，对步骤(1a2)中观察窗口所对应的图像区域进行处理，得到观察窗口对应图像区域的Harr特征；
[0039] (1a4)利用级联分类器，对步骤(1a3)中得到的Harr特征进行分类，根据分类结果判断观察窗口对应区域是否是人脸区域：若是人脸区域，则观察窗口位置为人脸边框位置；若不是人脸区域，则移动观察窗口，返回步骤(1a3)；
[0040] (1a5)重新设定VJ人脸检测算法中的观察窗口参数，重复步骤(1a1)～步骤(1a4)，得到最终的边框位置；
[0041] (1b)对步骤(1a)中得到的人脸边框对应的图像进行人脸对齐，得到对齐后的图像I0：
[0042] (1b1)选定一张正脸图像为基准图像，利用3000FPS算法，对基准图像进行人脸特征点检测，得到双眼特征点坐标矩阵P；
[0043] (1b2)对步骤(1a)中得到的人脸边框对应的图像，利用3000FPS算法进行人脸特征点检测，得到双眼特征点坐标矩阵P'；
[0044] (1b3)利用步骤(1b1)中的P与步骤(1b2)中的P'，根据如下公式，得到仿射变换矩阵M；
[0045] M＝P(P')-1
[0046] 其中，矩阵(P')-1为矩阵P'的逆矩阵；
[0047] (1b4)利用步骤(1b3)中得到的仿射变换矩阵M，对步骤(1a)中得到的人脸边框对应的图像进行仿射变换，得到人脸对齐后的图像I0；
[0048] (1c)利用VJ人脸检测算法对人脸对齐后图像I0进行人脸检测，得到人脸区域图像I1，并将该人脸区域图像转换成灰度图I2；
[0049] (1d)对灰度图I2与LBP特征图融合，得到融合后的图像I3：
[0050] (1d1)将圆形LBP算子中的半径设定为1，采样点数设定为8，得到确定的LBP编码方法；
[0051] (1d2)利用确定的LBP编码方法,对灰度图I2进行LBP特征编码，得到对应的LBP特征图；
[0052] (1d3)将灰度图I2与LBP特征图在颜色维度上进行串联，得到融合后图像I3；
[0053] (1e)对训练数据集中的剩余图像，重复步骤(1a)～步骤(1d)，得到新训练数据集；
[0054] (1f)构建一个图2所示的卷积神经网络，其中：
[0055] 图2(a)为网络结构图，其包括输入层、5层卷积池化层、2层全连接层和输出层；
[0056] 图2(b)为卷积池化层结构图，其包括2层卷基层、2层激活层、1层最大池化层；
[0057] (1g)将步骤(1e)得到的新训练数据集，输入到步骤(1f)中构建的卷积神经网络中进行训练，得到训练好的卷积神经网络。
[0058] 步骤二、利用卷积神经网络对人脸图像进行识别。
[0059] (2a)从测试数据集中选择两张待测图像，利用步骤(1a)至步骤(1d)的方法，对这两张待测人脸图像进行数据预处理，得到预处理后的两张待测图像I4和I5；
[0060] (2b)将预处理后两张待测图像I4和I5分别输入到训练好的卷积神经网络中，通过该网络中第一层卷积池化层结构中的不同层进行特征提取，即由卷积层对输入图像进行卷积操作，得到卷积特征图F0；由激活层，对卷积特征图F0进行非线性转换，得到激活特征图F1；由池化层对激活特征图F1进行下采样，得到池化特征图F2；
[0061] (2c)将池化特征图F2输入到卷积神经网络中，通过该网络中第二层至第五层的卷积池化层进行特征提取，得到更精细的特征图F3；
[0062] (2d)将特征图F3输入到卷积神经网络中，通过该网络中第一层全连接层对特征图F3进行映射变换，得到第一张待测人脸图像的特征向量J1和第二张待测人脸图像的特征向量J2；
[0063] (2e)对步骤(2d)中得到的人脸图像的特征向量J1和J2，根据如下公式进行相似度计算，得到余弦相似度δ：
[0064]
[0065] (2f)设定判定阈值δ0，将余弦相似度δ与判定阈值δ0进行比较：
[0066] 若δ≤δ0，则表示两张待测人脸图像不是同一人；
[0067] 若δ＞δ0，则表示两张待测人脸图像是同一人；
[0068] 至此完成对人脸图像的识别。
[0069] 下面结合仿真实验，对本发明的技术效果作进一步的描述。
[0070] 1、仿真实验条件：
[0071] 选择一幅大小为128×128的基准图像,如图3(a)所示；两幅大小为128×128的测试图像，如图3(b)和图3(c)所示；硬件平台为：Intel(R)Core(TM)i7-4600U、8GB RAM，软件平台：Caffe,Python2.7。
[0072] 2、实验内容与结果：
[0073] 仿真1，对图3中的基准图像和测试图像人脸检测过程进行仿真，结果如图4所示，其中图4(a)表示对图3(a)所示基准图像的人脸检测后图像，图4(b)和图4(c)分别表示对图3(b)和图3(c)所示测试图像的人脸检测后图像；
[0074] 从图4可以看出，图3(a)所示基准图像和图3(b)和图3(c)所示测试图像中的人脸区域已被检测出，得到人脸区域边框；
[0075] 仿真2，对图4所示的人脸特征点检测过程进行仿真，结果如图5所示，其中图5(a)表示图4(a)人脸特征点检测后图像，图5(b)和图5(c)表示对图4(b)和图4(c)的人脸特征点检测后图像；
[0076] 从图5可以看出，图4中面部68个特征点已被全部检测出；
[0077] 仿真3，对图5(b)和图5(c)人脸对齐过程进行仿真，结果如图6所示，其中图6(a)是对图5(b)人脸对齐后的图像，图6(b)是对图5(c)人脸对齐后的图像；
[0078] 从图6可以看出，图5(b)和图5(c)经仿射变换后已经与图3(a)所示基准图像对齐；
[0079] 仿真4，对图6人脸区域提取过程进行仿真，结果如图7所示，其中图7(a)是对图6(a)人脸区域提取后图像，图7(b)是对图6(b)人脸区域提取后图像；
[0080] 从图7可以看出，图中只保留了图6的人脸区域图像。
[0081] 仿真5，对图7(a)和图7(b)的灰度图与LBP特征图转换过程进行仿真，其结果如图8所示，其中图8(a)和图8(c)表示图7(a)和图7(b)的灰度图，图8(b)和图8(d)表示图7(a)和图7(b)的LBP特征图。
[0082] 仿真6，对图8(a)和图8(b),图8(c)和图8(d)融合过程进行仿真，结果如图9所示，其中图9(a)表示图8(a)和图8(b)融合后的图像，图9(b)表示图8(c)和图8(d)融合后的图像；
[0083] 仿真7，对利用卷积神经网络对人脸图像进行识别过程进行仿真，设判定阈值δ0为0.5，利用训练完成的卷积神经网络模型，对图9(a)和图9(b)进行人脸特征提取，得到两个特征向量，计算量个特征向量的余弦相似度,得到相似度δ为0.862688，由于δ＞δ0，因此判定测试图为同一人。
[0084] 从仿真5到仿真7的结果可以看出，本发明先将灰度图与LBP特征图融合，得到融合后图像，再利用卷积神经网络对融合后图像进行人脸识别的方法，可以减小光照变化对网络的影响，提高人脸识别精度。
