本发明公开一种多角度人脸检测装置与方法，主要解决现有技术中不能有效利用图像中彩色信息和主要针对单个角度检测人脸的问题。其装置包括图像采集模块、模数转换模块、图像处理模块、数据存储模块和通信模块。其方法步骤为：(1)建立人眼检测器；(2)建立侧面人脸模板；(3)获取待处理图像；(4)获取互选人脸区域；(5)判定正面人脸；(6)判定侧面人脸；(7)判定全侧人脸；(8)输出检测结果。本发明有效的利用了图像中的肤色信息，节省了计算资源，提高了处理速度；采用二值图像建立模板，可以简单有效的判定侧面人脸；将肤色检测、人眼检测和模板匹配方法结合，能够准确的检测水平方向多个角度的人脸。
1.一种多角度人脸检测方法，基于ADSPBF533数字信号处理器、ADV7183数模转换芯片、M25P64快闪存储器和MT48LC32M16A2TG-75动态随机存储器构成的硬件系统，实现多角度人脸检测，该方法的具体步骤如下：(1)建立人眼分类器
1a)采用手工标记方法从包含人眼的灰度图片中切割出人眼的双眼和左、右单眼图像；
从不包含人眼的灰度图片随机切割出非人眼图像，人眼图像和非人眼图像分别作为训练时的正样本和负样本；
1b)将收集到的人眼双眼和单眼图像的正样本和非人眼图像的负样本缩放为相同尺寸的样本；
1c)用直方图均衡法对缩放后正负样本进行光照补偿，获得补偿后的正负样本；
1d)对补偿后的正负样本进行矩形特征提取，分别建立双眼和单眼级联分类器；
2a)收集水平方向朝右偏转20～50度之间的半侧人脸和水平方向朝右偏转50～90度之间的全侧人脸图像作为样本；
2c)用直方图均衡法对缩放后的样本进行光照补偿，获得补偿后的样本；
2d)对补偿后的样本进行灰度二值化处理，获得二值化样本；
2e)分别将人脸的二值化样本相同位置像素点的灰度值累加后求平均值，将平均值图像分别作为朝右偏转的半侧人脸模板和全侧人脸模板，利用人脸对称性得到朝左偏转的半侧人脸模板和全侧人脸模板；
图像采集模块将获取的模拟信号彩色图像输入到ADV7183数模转换芯片，ADV7183数模转换芯片将转换后的数字信号彩色图像作为后续待处理图像；
4a)利用椭圆肤色模型法检测待处理图像的肤色点，获得图像的肤色区域；
4b)对肤色区域进行肤色二值化图像处理，获得二值图像；
4c)对二值图像进行积分投影，获得肤色区域的长度和宽度，将长宽比例在0.5～2之间的肤色区域定为候选人脸区域；
5b)将灰度图像连续缩小，穷举缩小后的图像中上半部分与步骤1c)建立的双眼的样本同样大小的子窗口，如果这些子窗口中存在通过双眼分类器检测的窗口，说明检测到双眼，则判定存在正面人脸，执行步骤(8)；否则，执行下一步骤；
6a)将步骤5a)中灰度图像连续缩小，穷举缩小后的图像中上半部分与步骤1c)建立的单眼的样本同样大小的子窗口，如果这些子窗口中存在通过单眼分类器检测的窗口，说明检测到单眼，则对灰度图像区域进行灰度二值化处理，获得二值图像，执行下一步骤；否则，执行步骤(7)；
6b)利用步骤2e)建立的半侧人脸模板对二值图像进行模板匹配，获得匹配的相关系数，若相关系数大于等于0.6，则判定存在半侧人脸，执行步骤(8)；否则，执行下一步骤；
7a)将步骤5a)的灰度图像区域进行灰度二值化处理，获得二值图像；
7b)利用步骤2e)建立的全侧人脸模板对二值图像进行模板匹配，获得匹配的相关系数，若相关系数大于等于0.6，则判定存在全侧人脸，否则判定该图像中无人脸，执行步骤(8)；
2.根据权利要求1所述的多角度人脸检测方法，其特征在于，步骤1d)所述的矩形特征是指将矩形作为人眼检测的特征向量。
3.根据权利要求1所述的多角度人脸检测方法，其特征在于，步骤1d)所述的级联分类器采用Adaboost算法建立，该方法先训练弱分类器，由弱分类器级联构成强分类器，再由强分类器级联构成的分类器。
4.根据权利要求1所述的多角度人脸检测方法，其特征在于，步骤2d)、步骤6a)和步骤7a)所述的灰度二值化处理是将灰度图像中灰度值小于一定阈值的像素赋灰度值的一个极值，大于该阈值的像素赋相反的极值。
5.根据权利要求1所述的多角度人脸检测方法，其特征在于，步骤4a)所述的椭圆肤色模型法是：在色彩空间YCrCb中，对图像中一个像素点经过下式运算，求该点在CrCb空间中的特征值：其中，x和y是像素点在CrCb空间中的特征值，θ=2.53rad，cx=109.38，cy=152.02，Cr′和Cb′分别表示Cr和Cb经过非线性色彩变换后获得的值；
将上式所得的x，y值带入下式中，如果所得结果不大于1就判定该点为肤色点；
其中，x和y是像素点在CrCb空间中的特征值，ecx=1.60，a=25.39，ecy=2.41，b=14.03。
6.根据权利要求1所述的多角度人脸检测方法，其特征在于，步骤4b)所述的肤色二值化处理是将图像中肤色区域在另一幅同样大小的灰度图像中的对应位置赋灰度值的一个极值，非肤色区域的对应位置赋相反的极值。
7.根据权利要求1所述的多角度人脸检测方法，其特征在于，步骤4c)所述的积分投影方法是将二值图像进行水平投影和垂直投影得到投影图，垂直投影图中肤色分布集中区域的宽度为肤色区域的长度，水平投影图中肤色分布集中区域的宽度为肤色区域宽度。
8.根据权利要求1所述的多角度人脸检测方法，其特征在于，步骤6b)和步骤7b)所述的相关系数通过下式计算获得：其中，R(i，j)表示搜索区域和模板的相关系数，i和j表示搜索区域的坐标范围，M和N表示被搜索图的长度和宽度，S表示被搜索图，m和n表示模板的长度和宽度，T表示模板。
多角度人脸检测装置与方法
技术领域
[0001] 本发明属于图像处理技术领域中的一种多角度人脸检测装置与方法。本发明使用多角度人脸检测方法判断摄像头采集的彩色图像中是否存在人脸，如果有人脸则定位图像中人脸的位置和所占的区域。
背景技术
[0002] 人脸检测是判断指定图像中所有人脸(如果存在)的位置和大小的过程，它是一项基础性工作，广泛应用于人机交互，人脸识别与跟踪，图像增强和检索，基于内容的视频编码等领域，已经成为模式识别和计算机视觉中十分活跃的研究课题。 [0003] 北京智安邦科技有限公司提出的专利申请“人脸检测方法及系统”(专利申请号CN200910077430.2，公开号CN101739549A)公开了一种用于驾驶员疲劳检测的人脸检测方法及系统。该方法的实施步骤是：步骤一，预处理图像，彩色图像灰度化处理和降低图像分辨率；步骤二，处理图像，包括获取连通区域和获取积分图像；步骤三，选定候选人脸区域，根据获取的连通区域及积分图像，选定候选人脸区域；步骤四，验证候选人脸区域，通过判决条件滤除虚假的人脸区域，并输出人脸区域。该专利申请还公开了一种装置，包括：预处理图像模块、处理图像模块、选定候选人脸区域模块和验证候选人脸区域模块。该方法虽然简单有效的进行了人脸检测，较好的保证了驾驶员疲劳检测中的人脸和人眼定位，但是仍然存在的不足是：该方法首先将彩色图像转化为灰度图像再进行人脸检测，没有有效的利用彩色信息，增加了处理时间；另外该发明公开的装置结构复杂，实现困难。 [0004] 华为技术有限公司提出的专利申请“一种人脸检测方法及装置”(专利申请号200810198047.8，公开号CN101344922A)公开了一种人脸检测方法。该方法实施步骤是：步骤一，基于灰度统计模型对视频当前帧中的人脸进行检测，获得候选人脸区域；步骤二，基于单通道肤色模型对候选人脸区域进行肤色过滤，获得人脸检测结果。此外，该专利申请还公开了一种装置，该装置包括：人脸区域检测模块，用于 基于灰度统计模型对视频当前帧中的人脸进行检测，获得候选人脸区域；肤色过滤模块，用于基于单通道肤色模型对人脸区域检测模块所获得的候选人脸区域进行肤色过滤，获得人脸检测结果。该方法虽然利用人脸的灰度结构本身存在与其它事物相区分的特殊性进行人脸检测，同时利用基于单通道肤色模型对候选人脸区域进行肤色过滤排除大部分假正脸，但是仍然存在的不足是：该方法首先采用了boosting算法进行人脸检测再进行肤色过滤，boosting方法主要对正面人脸检测较为有效，但对水平方向其他角度人脸(如侧面人脸)检测效果较差，并不能实现多角度人脸检测。
发明内容
[0005] 本发明针对现有技术的不足，提出一种彩色图像中多角度人脸检测的装置和方法，可以有效的利用彩色图像中肤色信息，实现水平方向的多角度人脸检测。 [0006] 为了实现上述目的，本发明装置包括图像采集模块，模数转换模块，图像处理模块，数据存储模块和通信模块五个模块，各模块之间通过总线连接；其中，图像采集模块采用电荷耦合器件摄像头采集外部模拟信号彩色图像数据，并将数据传送给模数转换模块；模数转换模块采用数模转换芯片将图像采集模块获取的模拟信号数据转换为数字信号数据，为图像处理模块提供数据；图像处理模块采用数字信号处理器对获取的图像数字信号进行处理，通过多角度人脸检测算法，实现图像中人脸的检测；数据存储模块完成程序和图像数据的存储，以及图像处理过程中中间数据的暂存；通信模块采用通用串行总线发送和接收装置，实现与外部的串行通信，输出人脸检测结果。
[0007] 本发明装置实现多角度人脸检测方法包括如下步骤：
[0008] (1)建立人眼分类器
[0009] 1a)采用手工标记方法从包含人眼的灰度图片中切割出人眼的双眼和左、右单眼图像；从不包含人眼的灰度图片随机切割出非人眼图像，人眼图像和非人眼图像分别作为训练时的正样本和负样本；
[0010] 1b)将收集到的人眼双眼和单眼图像的正样本和非人眼图像的负样本缩放为相同尺寸的样本；
[0011] 1c)用直方图均衡法对缩放后正负样本进行光照补偿，获得补偿后的正负样本； [0012] 1d)对补偿后的正负样本进行矩形特征提取，分别建立双眼和单眼级联分类器。 [0013] (2)建立侧面人脸模板
[0014] 2a)收集水平方向朝右偏转20～50度之间的半侧人脸和水平方向朝右偏转50～90度之间的全侧人脸图像作为样本；
[0015] 2b)将收集到的样本缩放为相同尺寸大小的样本；
[0016] 2c)用直方图均衡法对缩放后的样本进行光照补偿，获得补偿后的样本； [0017] 2d)对补偿后的样本进行灰度二值化处理，获得二值化样本；
[0018] 2e)分别将人脸的二值化样本相同位置像素点的灰度值累加后求平均值，将平均值图像分别作为朝右偏转的半侧人脸模板和全侧人脸模板，利用人脸对称性得到朝左偏转的半侧人脸模板和全侧人脸模板。
[0019] (3)获取待处理图像
[0020] 图像采集模块将获取的模拟信号彩色图像输入到数模转换模块，模数转换模块将转换后的数字信号彩色图像作为后续待处理图像。
[0021] (4)获取候选人脸区域
[0022] 4a)利用椭圆肤色模型法检测待处理图像的肤色点，获得图像的肤色区域； [0023] 4b)对肤色区域进行肤色二值化图像处理，获得二值图像；
[0024] 4c)对二值图像进行积分投影，获得肤色区域的长度和宽度，将长宽比例在0.5～2之间的肤色区域定为候选人脸区域。
[0025] (5)判定正面人脸
[0026] 5a)将候选人脸区域转化为灰度图像；
[0027] 5b)将灰度图像连续缩小，穷举缩小后的图像中上半部分与步骤1c)建立的双眼检测器的样本同样大小的子窗口，如果这些子窗口中存在通过双眼分类器检测的窗口，说明检测到双眼，则判定存在正面人脸，执行步骤(8)；否则，执行下一步骤。 [0028] (6)判定半侧人脸
[0029] 6a)将步骤5a)中灰度图像连续缩小，穷举缩小后的图像中上半部分与步骤1c)建立的单眼检测器的样本同样大小的子窗口，如果这些子窗口中存在通过单眼分类器检测的窗口，说明检测到单眼，则对灰度图像区域进行灰度二值化处理，获得二值图像，执行下一步骤；否则，执行步骤(7)；
[0030] 6b)利用步骤2e)建立的半侧人脸模板对二值图像进行模板匹配，获得匹配的相关系数，若相关系数大于等于0.6，则判定存在半侧人脸，执行步骤(8)；否则，执 行下一步骤。
[0031] (7)判定全侧人脸
[0032] 7a)将步骤5a)的灰度图像区域进行灰度二值化处理，获得二值图像； [0033] 7b)利用步骤2e)建立的全侧人脸模板对二值图像进行模板匹配，获得匹配的相关系数，若相关系数大于等于0.6，则判定存在全侧人脸，否则判定该图像中无人脸，执行步骤(8)。
[0034] (8)输出检测结果。
[0035] 本发明与现有技术相比有以下优点：
[0036] 第一，本发明采用肤色模型检测出彩色图像中比例相对较小的肤色区域，然后在该区域进行人脸检测，克服了现有技术对整幅图像进行人脸检测计算量较大的缺点，使本发明节省了计算资源，提高了处理速度。
[0037] 第二，本发明采用肤色检测、人眼检测和模板匹配相结合的方法，克服了现有技术只能检测正面人脸的缺点，使本发明可以检测水平方向多个角度的人脸，包括正面人脸和侧面人脸。
[0038] 第三，本发明采用二值图像建立侧面人脸模板进行侧面人脸检测，充分利用了人脸侧面特征分布简单的特点，克服了现有技术模板建立复杂的缺点，使本发明侧面人脸模板建立容易，判定侧面人脸运算简单有效。
附图说明
[0039] 图1为本发明装置的方框图；
[0040] 图2为本发明方法的流程图；
[0041] 图3为本发明的仿真效果图。
[0042] 具体实施措施
[0043] 下面结合附图对发明做进一步描述。
[0044] 参照附图1，本发明装置包括五个模块：图像采集模块，模数转换模块，图像处理模块，数据存储模块和通信模块，各模块之间通过总线连接。其中，图像采集模块采用电荷耦合器件摄像头采集外部模拟信号彩色图像数据，并将数据传送给模数转换模块；模数转换模块采用数模转换芯片将图像采集模块获取的模拟信号数据转换为数字信号数据，为图像处理模块提供数据；图像处理模块采用数字信号处理器对获取的 图像数字信号进行处理，通过多角度人脸检测算法，实现图像中人脸的检测；数据存储模块完成程序和图像数据的存储，以及图像处理过程中中间数据的暂存；通信模块采用通用串行总线发送和接收装置，实现与外部的串行通信，输出人脸检测结果。
[0045] 本发明装置中包括快闪存储器和动态随机存储器，快闪存储器完成程序的存储，动态随机存储器完成图像数据的暂存和提供多角度人脸检测算法所需的内存。 [0046] 在本发明实施例中，图像采集模块采用SONY HQ1型号电荷耦合器件摄像头，其信号制式为逐行倒相制式，分辨率(水平中心)为540电视行；模数转换模块采用ADV7183数模转换芯片，它是一款包含10位模数转换器的增强型视频解码器，内含两个10位精确模数转换器和完整的自动增益控制电路，有6个模拟视频信号输入信道，可以将模拟信号图像转换为数字信号图像；图像处理模块采用ADSPBF533芯片，可以提供强大的数字信号处理运算能力和多种接口，不但可以完成传统微处理器的控制功能，还可以针对图像特点运用二维直接内存存取传输数据，大大加快图像数据的传送和处理；快闪存储器采用M25P64芯片，动态随机存储器采用MT48LC32M16A2TG-75芯片；通信模块采用MAX232芯片组成符合标准RS232协议的串口通信电路。
[0047] 结合附图2对本发明方法的具体步骤描述如下：
[0048] 步骤1，建立人眼分类器
[0049] 采用手工标记方法从包含人眼的灰度图片中切割出人眼的双眼和左、右单眼图像；从不包含人眼的灰度图片随机切割出非人眼图像，人眼图像和非人眼图像分别作为训练时的正样本和负样本。
[0050] 将收集到的正负样本缩放为相同尺寸，本发明实施例中将双眼样本图像缩放为22×5像素，单眼样本图像归一化为18×12像素，非人眼样本分别对应人眼样本缩放为相同的尺寸。
[0051] 为了调整正负样本的亮度，用直方图均衡法对缩放后的正负样本进行光照补偿，首先计算正负样本的灰度直方图，然后将直方图的分布变化为均匀分布的形式，由此获得补偿后正负样本。
[0052] 将矩形作为人眼检测的特征向量对补偿后的正负样本进行特征提取，采用Adaboost算法分别建立双眼和单眼级联分类器，首先利用提取的特征训练弱分类器，再由弱分类器级联构成强分类器，然后由强分类器级联构成级联分类器。级联分类器 的构建采用由重到轻，由简到繁的方法，这种方法可以在前面层检测人眼的同时排除大量非人眼，而把次要的特征放在后面层，以便进一步排除，由此能快速有效的完成人眼的检测。 [0053] 步骤2，建立侧面人脸模板
[0054] 收集水平方向朝右偏转20～50度之间的半侧人脸和水平方向朝右偏转50～90度之间的全侧人脸图像作为样本，所选用的样本都包括完整的头发和脸部，并且这些图像中头发都没有遮挡耳朵。把收集到的样本缩放为相同尺寸大小的样本，本发明实施例中将样本统一缩放为70×110像素大小。
[0055] 为了调整样本的亮度，用直方图均衡法对缩放后的样本进行光照补偿，首先计算样本的灰度直方图，然后将直方图的分布变化为均匀分布的形式，由此获得补偿后样本。 [0056] 对补偿后的样本进行灰度二值化处理，将样本中灰度值小于一定阈值的像素赋灰度值的一个极值，大于该阈值的像素赋相反的极值，由此获得二值样本。本发明实施例中，灰度二值化处理的阈值设定为90，将灰度值大于90的像素赋值255，小于90的像素赋值0。
[0057] 分别将半侧和全侧人脸二值样本相同位置像素点的灰度值累加后求平均值，获得平均图像，将平均图像分别作为朝右偏转的半侧人脸模板和全侧人脸模板，利用人脸对称性得到朝左偏转的半侧人脸模板和全侧人脸模板。
[0058] 步骤3，获取待处理图像
[0059] 图像采集模块将获取的模拟信号彩色图像输入到数模转换模块，模数转换模块将转换后的数字信号彩色图像作为后续待处理图像。
[0060] 步骤4，获取候选人脸区域
[0061] 利用椭圆肤色模型法检测待处理图像的肤色点，在色彩空间YCrCb中，对待处理图像中每个像素点经过下式运算，求该点在CrCb空间中的特征值：
[0062]
[0063] 其中，x和y是像素点在CrCb空间中的特征值，θ＝2.53rad，cx＝109.38， cy＝152.02，Cr′和Cb′分别表示Cr和Cb经过非线性色彩变换后获得的值。 [0064] 将上式所得的x，y值带入下式中，如果所得结果不大于1就判定该点为肤色点： [0065] (x-ecx)2/a2+(y-ecy)2/b2
[0066] 其中，x和y是像素点在CrCb空间中的特征值，ecx＝1.60，a＝25.39，ecy＝2.41，b＝14.03；
[0067] 将检测到的肤色点连接组成肤色区域。本发明实施例中，为了得到比较平滑的肤色区域，还对该区域进行了膨胀与腐蚀的操作，膨胀采用的是四方向判断的方法，即在当前点的上下左右有一个点的颜色是黑色时，就把当前点填充为黑色，这样可以连接肤色区域中不连续的块；腐蚀同样采用四方向判断的方法，即检查当前点上下左右四个点，如果有一个点和当前点的颜色不同，那么就把当前点相同颜色填充，这样可以使非肤色区域变小，恢复到膨胀前的大小。
[0068] 在另一幅与待处理图像同样大小的灰度图像中，将与肤色区域相对应的位置赋灰度值的一个极值，与非肤色区域相对应的位置赋相反的极值，获得二值图像。本发明实施例中，将与肤色区域对应的位置赋值0，与非肤色区域对应的位置赋值255。 [0069] 对二值图像进行水平投影和垂直投影得到投影图，垂直投影图中肤色分布集中区域的宽度为肤色区域的长度，水平投影图中肤色分布集中区域的宽度为肤色区域宽度，由此获得肤色区域长宽比例，将长宽比例在0.5～2之间的肤色区域定为候选人脸区域。 [0070] 步骤5，判定正面人脸
[0071] 根据人眼在脸部的分布特征，对候选人脸区域的上半部分图像进行人眼检测。把候选人脸区域转化为灰度图像，将灰度图像连续缩小，穷举缩小后的图像中上半部分与建立的双眼检测器的样本同样大小的子窗口，如果这些子窗口中存在通过双眼分类器检测的窗口，说明检测到双眼，则判定存在正面人脸，执行步骤8；否则，执行下一步骤。 [0072] 步骤6，判定半侧人脸
[0073] 将候选人脸转化后的灰度图像连续缩小，穷举缩小后的图像中上半部分与建立的单眼检测器的样本同样大小的子窗口，如果这些子窗口中存在通过单眼分类器检测的 窗口，说明检测到单眼，则对灰度图像区域进行灰度二值化处理，将图像中灰度值小于一定阈值的像素赋灰度值的一个极值，大于该阈值的像素赋相反的极值，由此获得二值图像；否则，执行步骤7。本发明实施例中，灰度二值化处理的阈值设定为90，将灰度值大于90的像素赋值255，小于90的像素赋值0。
[0074] 利用建立的半侧人脸模板对二值图像进行模板匹配，通过下式计匹配相关系数： [0075]
[0076] 其中，R(i，j)表示搜索区域和模板的相关系数，i和j表示搜索区域的坐标范围，M和N表示被搜索图的长度和宽度，S表示被搜索图，m和n表示模板的长度和宽度，T表示模板；
[0077] 若相关系数大于等于0.6，则判定存在半侧人脸，执行步骤8；否则，执行下一步骤。
[0078] 步骤7，判定全侧人脸
[0079] 将候选人脸区域转化后的灰度图像区域进行灰度二值化处理，将图像中灰度值小于一定阈值的像素赋灰度值的一个极值，大于该阈值的像素赋相反的极值，由此获得二值图像。本发明实施例中，灰度二值化处理的阈值设定为90，将灰度值大于90的像素赋值255，小于90的像素赋值0。
[0080] 利用建立的全侧人脸模板对二值图像进行模板匹配，通过下式计匹配相关系数： [0081]
[0082] 其中，R(i，j)表示搜索区域和模板的相关系数，i和j表示搜索区域的坐标范围，M和N表示被搜索图的长度和宽度，S表示被搜索图，m和n表示模板的长度和宽度，T表示模板；
[0083] 若相关系数大于等于0.6，则判定存在全侧人脸，否则判定该图像中无人脸，执 行步骤8。
[0084] 步骤8，输出检测结果。
[0085] 下面结合附图3对本发明的效果做进一步描述。
[0086] 1.实验条件和内容
[0087] 附图3实现的仿真环境为：用SONY HQ1型号电荷耦合器件摄像头采集外部图像，ADV7183数模转换芯片将模拟信号图像转换为数字信号图像，ADSPBF533芯片运行多角度人脸检测算法，M25P64芯片存储程序，MT48LC32M 16A2TG-75提供算法运行所需内存，MAX232芯片组成串口通信电路输出检测结果，并通过ADSPBF533的JTAG接口获得人脸检测中的图像。
[0088] 本发明的具体仿真内容为：在室内环境下，分别采集人脸正面和水平方向偏转的侧面图像，采用本发明提出的多角度人脸检测方法在图像中进行人脸检测。 [0089] 2.实验结果
[0090] 附图3为本发明的仿真结果图，其中，图3(a)中为正面人脸，图中方框标记出了检测到的双眼和正面人脸；图3(b)中为半侧人脸，图中方框标记出了检测到的单眼和半侧人脸；图3(c)中为全侧人脸，图中方框标记出了检测到的全侧人脸。由图3可见，使用本发明的装置和方法可以准确的检测到水平方向多角度的人脸。
