基于神经网络的头发区域提取方法及系统

摘要

本发明公开了一种基于神经网络的头发区域提取方法，包括：获取待处理图像；逐层地对待处理图像进行卷积运算，并分别提取各卷积层所输出的图像特征，所述图像特征包括浅层特征和深层特征；根据图像特征以及预先训练的人脸先验卷积网络，提取人脸先验特征；根据图像特征、人脸先验特征以及预先训练的头发分割卷积网络，生成头发掩模图。本发明是从易于得到的且规模较大的人脸样本中学习人脸先验特征，再与图像的浅层和深层特征拟合头发分割函数，具体是通过两步融合的方式将人脸先验特征融合到头发分割网络中，以此约束头发分割网络在小规模样本中的学习，从而能够有效降低头发区域提取模型的规模和训练难度，并提升泛化能力。

权利要求

1.一种基于神经网络的头发区域提取方法，其特征在于，包括：获取待处理图像；

逐层地对待处理图像进行卷积运算，并分别提取各卷积层所输出的图像特征，所述图像特征包括浅层特征和深层特征；

根据图像特征以及预先训练的人脸先验卷积网络，提取人脸先验特征，包括根据预定的对应关系，将卷积层输出的图像特征分别与人脸先验卷积网络各层输出的人脸特征进行第一融合；

根据图像特征、人脸先验特征以及预先训练的头发分割卷积网络，生成头发掩模图，包括将各第一融合结果与头发分割卷积网络中各层输出的头发特征进行第二融合。

2.根据权利要求1所述的基于神经网络的头发区域提取方法，其特征在于，所述根据图像特征以及预先训练的人脸先验卷积网络，提取人脸先验特征包括：将从最后一个卷积层提取的图像特征输入至人脸先验卷积网络的起始的人脸处理层；

根据预定的对应关系，将从其他卷积层提取的图像特征分别与人脸先验卷积网络中相应的人脸处理层所输出的人脸特征进行融合；

提取融合后的人脸特征作为人脸先验特征。

3.根据权利要求2所述的基于神经网络的头发区域提取方法，其特征在于，所述根据预定的对应关系，将从其他卷积层提取的图像特征分别与人脸先验卷积网络中对应的人脸处理层所输出的人脸特征进行融合包括：根据分辨率大小及卷积核数量的对应关系，将从其他卷积层提取的图像特征与相应的人脸处理层所输出的人脸特征进行加权和。

4.根据权利要求2所述的基于神经网络的头发区域提取方法，其特征在于，所述根据图像特征、人脸先验特征以及预先训练的头发分割卷积网络，生成头发掩模图包括：将从最后一个卷积层提取的图像特征输入至头发分割卷积网络的起始的头发处理层；

根据预定的对应关系，逐层地将人脸先验特征与头发分割卷积网络中相应的头发处理层所输出的头发特征进行融合并输入至下一个头发处理层；

根据最后一个头发处理层的输出，生成头发掩模图。

5.根据权利要求4所述的基于神经网络的头发区域提取方法，其特征在于，所述根据预定的对应关系，逐层地将人脸先验特征与头发分割卷积网络中相应的头发处理层所输出的头发特征进行融合并输入至下一个头发处理层包括：根据分辨率大小及卷积核数量的对应关系，逐层地将人脸先验特征与相应的头发处理层所输出的头发特征进行级联或加权和，并输入至下一个头发处理层。

6.一种基于神经网络的头发区域提取系统，其特征在于，包括：获取模块，用于获取待处理图像；

图像特征提取模块，用于逐层地对待处理图像进行卷积运算，并分别提取各卷积层所输出的图像特征，所述图像特征包括浅层特征和深层特征；

人脸先验特征提取模块，用于根据图像特征以及预先训练的人脸先验卷积网络，提取人脸先验特征，包括根据预定的对应关系，将卷积层输出的图像特征分别与人脸先验卷积网络各层输出的人脸特征进行第一融合；

头发分割模块，用于根据图像特征、人脸先验特征以及预先训练的头发分割卷积网络，生成头发掩模图，包括将各第一融合结果与头发分割卷积网络中各层输出的头发特征进行第二融合。

7.根据权利要求6所述的基于神经网络的头发区域提取系统，其特征在于，所述人脸先验特征提取模块具体包括：第一输入单元，用于将从最后一个卷积层提取的图像特征输入至人脸先验卷积网络的起始的人脸处理层；

第一融合单元，用于根据预定的对应关系，将从其他卷积层提取的图像特征分别与人脸先验卷积网络中相应的人脸处理层所输出的人脸特征进行融合；

人脸先验特征提取单元，用于提取融合后的人脸特征作为人脸先验特征。

8.根据权利要求7所述的基于神经网络的头发区域提取系统，其特征在于，所述第一融合单元具体用于根据分辨率大小及卷积核数量的对应关系，将从其他卷积层提取的图像特征与相应的人脸处理层所输出的人脸特征进行加权和。

9.根据权利要求7所述的基于神经网络的头发区域提取系统，其特征在于，所述头发分割模块具体包括：第二输入单元，用于将从最后一个卷积层提取的图像特征输入至头发分割卷积网络的起始的头发处理层；

第二融合单元，用于根据预定的对应关系，逐层地将人脸先验特征与头发分割卷积网络中相应的头发处理层所输出的头发特征进行融合并输入至下一个头发处理层；

头发掩模图生成单元，用于根据最后一个头发处理层的输出，生成头发掩模图。

10.根据权利要求9所述的基于神经网络的头发区域提取系统，其特征在于，所述第二融合单元具体用于根据分辨率大小及卷积核数量的对应关系，逐层地将人脸先验特征与相应的头发处理层所输出的头发特征进行级联或加权和，并输入至下一个头发处理层。

说明书

基于神经网络的头发区域提取方法及系统

技术领域

[0001] 本发明涉及图像处理领域，尤其涉及一种基于神经网络的头发区域提取方法及系统。

背景技术

[0002] 随着移动设备和智能手机的发展，移动拍摄的质量越来越高，用户基于自拍图像的美颜或者娱乐需求也越来越多。自拍人像的头发分割是实现这类功能的基础技术之一，可以用于实现换发色、发型、头饰等功能中。近年来深度神经网络技术的发展，已经显示出它在图像分割领域的巨大潜力，出现了很多用于图像分割的神经网络结构和方法。

[0003] 但是这类方法均需要大量的训练样本来进行学习，对于头发分割这一相对小众的研究领域，存在数据量小、样本标注成本高的问题。一方面，常见的神经网络基于小样本训练出来的模型，存在泛化能力差的问题；另一方面，由于头发的纹理、形态、颜色等特征因个体不同存在很大的差异，为了拟合训练样本需要搭建更大规模的神经网络，网络过大则会引起训练困难的问题，同时也产生对更大规模的样本的需求。

发明内容

[0004] 本发明的目的是提供一种基于神经网络的头发区域提取方法及系统，以使在小规模样本中能够提高头发分割网络的泛化能力。

[0005] 本发明采用的技术方案如下：

[0006] 一种基于神经网络的头发区域提取方法，包括：

[0007] 获取待处理图像；

[0008] 逐层地对待处理图像进行卷积运算，并分别提取各卷积层所输出的图像特征，所述图像特征包括浅层特征和深层特征；

[0009] 根据图像特征以及预先训练的人脸先验卷积网络，提取人脸先验特征；

[0010] 根据图像特征、人脸先验特征以及预先训练的头发分割卷积网络，生成头发掩模图。

[0011] 可选地，所述根据图像特征以及预先训练的人脸先验卷积网络，提取人脸先验特征包括：

[0012] 将从最后一个卷积层提取的图像特征输入至人脸先验卷积网络的起始的人脸处理层；

[0013] 根据预定的对应关系，将从其他卷积层提取的图像特征分别与人脸先验卷积网络中相应的人脸处理层所输出的人脸特征进行融合；

[0014] 提取融合后的人脸特征作为人脸先验特征。

[0015] 可选地，所述根据预定的对应关系，将从其他卷积层提取的图像特征分别与人脸先验卷积网络中对应的人脸处理层所输出的人脸特征进行融合包括：

[0016] 根据分辨率大小及卷积核数量的对应关系，将从其他卷积层提取的图像特征与相应的人脸处理层所输出的人脸特征进行加权和。

[0017] 可选地，所述根据图像特征、人脸先验特征以及预先训练的头发分割卷积网络，生成头发掩模图包括：

[0018] 将从最后一个卷积层提取的图像特征输入至头发分割卷积网络的起始的头发处理层；

[0019] 根据预定的对应关系，逐层地将人脸先验特征与头发分割卷积网络中相应的头发处理层所输出的头发特征进行融合并输入至下一个头发处理层；

[0020] 根据最后一个头发处理层的输出，生成头发掩模图。

[0021] 可选地，所述根据预定的对应关系，逐层地将人脸先验特征与头发分割卷积网络中相应的头发处理层所输出的头发特征进行融合并输入至下一个头发处理层包括：

[0022] 根据分辨率大小及卷积核数量的对应关系，逐层地将人脸先验特征与相应的头发处理层所输出的头发特征进行级联或加权和，并输入至下一个头发处理层。

[0023] 一种基于神经网络的头发区域提取系统，包括：

[0024] 获取模块，用于获取待处理图像；

[0025] 图像特征提取模块，用于逐层地对待处理图像进行卷积运算，并分别提取各卷积层所输出的图像特征，所述图像特征包括浅层特征和深层特征；

[0026] 人脸先验特征提取模块，用于根据图像特征以及预先训练的人脸先验卷积网络，提取人脸先验特征；

[0027] 头发分割模块，用于根据图像特征、人脸先验特征以及预先训练的头发分割卷积网络，生成头发掩模图。

[0028] 可选地，所述人脸先验特征提取模块具体包括：

[0029] 第一输入单元，用于将从最后一个卷积层提取的图像特征输入至人脸先验卷积网络的起始的人脸处理层；

[0030] 第一融合单元，用于根据预定的对应关系，将从其他卷积层提取的图像特征分别与人脸先验卷积网络中相应的人脸处理层所输出的人脸特征进行融合；

[0031] 人脸先验特征提取单元，用于提取融合后的人脸特征作为人脸先验特征。

[0032] 可选地，所述第一融合单元具体用于根据分辨率大小及卷积核数量的对应关系，将从其他卷积层提取的图像特征与相应的人脸处理层所输出的人脸特征进行加权和。

[0033] 可选地，所述头发分割模块具体包括：

[0034] 第二输入单元，用于将从最后一个卷积层提取的图像特征输入至头发分割卷积网络的起始的头发处理层；

[0035] 第二融合单元，用于根据预定的对应关系，逐层地将人脸先验特征与头发分割卷积网络中相应的头发处理层所输出的头发特征进行融合并输入至下一个头发处理层；

[0036] 头发掩模图生成单元，用于根据最后一个头发处理层的输出，生成头发掩模图。

[0037] 可选地，所述第二融合单元具体用于根据分辨率大小及卷积核数量的对应关系，逐层地将人脸先验特征与相应的头发处理层所输出的头发特征进行级联或加权和，并输入至下一个头发处理层。

[0038] 本发明的主要构思是从易于得到的且规模较大的人脸样本中学习人脸先验特征，再与图像的浅层和深层特征拟合头发分割函数，具体是通过两步融合的方式将人脸先验特征融合到头发分割网络中，以此约束头发分割网络在小规模样本中的学习，从而能够有效降低头发区域提取模型的规模和训练难度，并提升泛化能力。

附图说明

[0039] 为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：

[0040] 图1为本发明提供的基于神经网络的头发区域提取方法的实施例的流程图；

[0041] 图2为本发明实施例提供的人脸先验卷积网络输出的人脸掩模图的示意图；

[0042] 图3为本发明实施例提供的头发分割卷积网络输出的头发掩模图的示意图；

[0043] 图4为本发明提供的基于神经网络的头发区域提取方法的另一个实施例的流程图；

[0044] 图5为本发明提供的匹配于上述头发区域提取方法实施例的网络结构示意图；

[0045] 图6为本发明提供的基于神经网络的头发区域提取系统的实施例的方框示意图。

具体实施方式

[0046] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

[0047] 区别于传统的图像提取方法，目前用于分割图像的深度神经网络不仅利用了图像的浅层特征(例如纹理特征)，并整合了图像中的深层特征(例如语义特征)，该方法在图像分割领域取得了令人瞩目的成绩。随着深度分割网络的发展和更迭，为了进一步完善网络结构，在机器学习训练过程中对于大规模的标注样本的需求也随之增加。然而，对于头发分割这类相对狭窄的应用领域，获得大规模的像素级的标注样本是一项成本极高的工作。基于此，本发明的设计初衷是提供一种能够利用小规模样本提高头发分割卷积网络的泛化能力的方法。

[0048] 经过研究和观察发现，在语义和相互位置关系上头发和人脸具有很强的相关性，同时获取大规模的有标注的人脸样本的成本会低很多(比如现有大量开源的人脸样本库)，本发明即是尝试从大量的人脸样本中学习到人脸先验特征，然后将人脸先验特征融合到头发分割卷积网络中，用于约束头发分割卷积网络的学习，从而降低头发分割卷积网络的规模和训练难度。

[0049] 据此，本发明提供了一种基于神经网络的头发区域提取方法的实施例，如图1所示，该方法包括：

[0050] 步骤S1、获取待处理图像。

[0051] 需说明的是，获取到待处理图像后可以进行常规的预处理操作，例如将图像进行归一化到与网络适配的分辨率，例如归一化至224x224的尺寸；另外，图像可以是灰度图也可以是RGB等图像数据，例如在采用RGB图像时需要在后续卷积操作中进行三个通道的扫描。通常上述图像预处理可以在神经网络的数据输入层完成，包括去均值、归一化、PCA及白化等操作，此皆为现有技术，本发明不予赘述。

[0052] 步骤S2、逐层地对待处理图像进行卷积运算，并分别提取各卷积层所输出的图像特征。

[0053] 本发明选用的图像分割工具是本领域中普遍采用的神经网络，并且本领域技术人员可以理解的是，通常在机器学习中对应图像处理较多采用的是卷积神经网络(或深层卷积神经网络等)，因而在本步骤中提出对获取到的待处理图像进行卷积操作，而一般在卷积网络结构中还可以包括卷积之间的池化以及对卷积输出激励等操作，此同样属于现有技术，因此在本实施例中不作特别说明，但需指出本发明中所称“卷积层”并非是指卷积计算层(或卷积块)，而是指代包含池化采样、卷积运算、激励映射等操作的网络层的统称，“卷积层”仅是出于简化表达的目的。

[0054] 而需要特别说明的是，在本步骤中提出在卷积层输出特征图后提取相应的图像特征，这里所称图像特征至少包括浅层的纹理特征和深层的语义特征；且一般是本层卷积输出的特征图(经激励池化等操作后)作为下一层卷积操作的输入，本发明在此基础上还将各卷积层输出的图像特征进行提取以留待后续操作。另需补充一点，这里所称“各”卷积层，并非是绝对地指所有的卷积层，一般可以不包含与输入层连接的第一个卷积计算层。

[0055] 步骤S3、根据图像特征以及预先训练的人脸先验卷积网络，提取人脸先验特征。

[0056] 所称人脸先验是针对后续的头发检测而言，具体而言可以是指人脸形状先验，而所称人脸先验卷积网络同样采用了卷积神经网络结构，正是由于采用了卷积神经网络，使得在每一层卷积运算后均可以得到相应的特征图，以此即可以提取到所述人脸先验特征，具体方式可见下文中的实施参考；该人脸先验卷积网络的工作过程可以是将人脸数据集样本归一化到预定的尺寸后，基于人脸的纹理、位置、大小以及相关语义，生成覆盖脸部的椭圆形白色前景掩模图(如图2所示)。在训练人脸先验卷积网络过程中以生成的白色人脸掩模图作为学习目标，结合大规模的人脸数据集，完成人脸先验卷积网络的训练。以具体实现角度而言，该人脸掩模图可用于训练前述图像特征提取过程，即在实际工作中，将前述用于提取图像特征的神经网络与人脸先验卷积网络关联，原始图像经由卷积操作得到纹理和语义特征，并进一步使纹理和语义特征参与到之后的人脸先验卷积网络的学习过程，因此，图2所示的白色人脸掩模图可以将图像特征提取以及人脸先验特征一并训练完成。具体在训练时将人脸分割目标(人脸掩模图或称人脸先验形状)进行归一化，且所采用的损失函数可为二值交叉熵，并使用随机梯度下降法进行训练，本发明对于训练方法本身不予限定。

[0057] 步骤S4、根据图像特征、人脸先验特征以及预先训练的头发分割卷积网络，生成头发掩模图。

[0058] 本发明的核心构思可以用公式M＝S(I，F)表达。其中I表征前述图像特征，F表征前述人脸先验特征，头发分割卷积网络通过多层卷积神经网络来拟合分割函数S，即可以通过数据样本来学习得到该卷积神经网络的具体参数，输出以M表征的头发图像掩模图(如图3所示)。在实际操作中，可以将头发掩模图作为学习目标，结合大规模的人脸图像的纹理和语义特征以及前述人脸先验特征，训练得到头发分割卷积网络的具体参数。本领域技术人员可以理解，本实施例的上述实现过程，实质上即是使前述用于提取图像特征的神经网络与人脸先验卷积网络和头发分割卷积网络构建成为一个“三合一”的全新网络结构，因而在上述人脸先验卷积网络和头发分割卷积网络的预训练过程可以是先将头发网络参数冻结，利用人脸掩模图训练人脸先验卷积网络(同时训练前文中描述的图像特征提取网络)，在训练结束后；可冻结人脸网络的参数(包括冻结图像特征提取网络的参数)，利用头发掩模图训练头发分割卷积网络，训练方法同样可以是将头发分割目标(头发掩模图)进行归一化，且损失函数采用二值交叉熵，并使用随机梯度下降法进行训练，本发明对于训练方法本身不予限定。

[0059] 基于上述实施例，本发明提供了一种更为具体的实施参考，如图4所示的基于神经网络的头发区域提取方法的综合实施例，其中包括：

[0060] 步骤S10、获取待处理图像。

[0061] 步骤S20、逐层地对待处理图像进行卷积运算，并分别提取各卷积层所输出的图像特征。

[0062] 步骤S31、将从最后一个卷积层提取的图像特征输入至人脸先验卷积网络的起始的人脸处理层。

[0063] 这里需要说明的是，这里所称的人脸处理层是由于人脸先验卷积网络同样包括上述卷积层，为了表述区分方便，因而定义了人脸先验卷积网络的卷积层在此称为“人脸处理层”；再者，人脸处理层中同样可以是指代了采样、卷积运算以及激励操作的统称，而且对于本实施例中的人脸先验卷积网络而言，需要先经过上采样处理后输出才输出至后续的卷积计算层，即由前述神经网络最后一个卷积层输出的特征图作为人脸先验卷积网络的起始的输入，以此开始进行人脸分割过程。

[0064] 步骤S32、根据预定的对应关系，将从其他卷积层提取的图像特征分别与人脸先验卷积网络中相应的人脸处理层所输出的人脸特征进行融合。

[0065] 在该步骤中，将从前文提及的参与输出图像特征的其他卷积层所提取的图像特征与相应的人脸处理层所输出的人脸特征融合，这里所称人脸特征仅是一种避免混淆的表达，由于卷积神经网络具有“黑箱模型”的特性，每层的输出特征的物理含义实质上并不明确，因此人脸特征不具有特定特征含义(前述纹理特征和语义特征同样是一种定义式表达，不具有特定含义)。

[0066] 再者，这里所称的预定的对应关系可以是指一种相一致关系，即两层(所述卷积层和所述人脸处理层)的分辨率大小相等或者还包括了卷积核数量相等，总之进行后续特征融合的优选前提是两个网络层的维度一致。

[0067] 此外，在本步骤中提及的融合方法优选考虑采用能够保持融合前后数据维度不变的加权和方法，加权和的具体方式是将两个长度为n的向量乘以各自对应的权重，之后将对应元素相加，输出一个长度为n的向量。加权和本身属于常规技术，本发明不作赘述；但需要说明的优选是将某卷积层的图像特征与对应人脸处理层的人脸特征融合后，可以作为下一个人脸处理层的输入；而在其他实施例中不排除输入至下一层人脸处理层的特征仅是上一人脸处理层输出的未融合的人脸特征，这取决于人脸先验卷积网络的训练方式，由于本发明强调的是头发分割过程，因而对此不做过多限定。

[0068] 步骤S33、提取融合后的人脸特征作为人脸先验特征。

[0069] 如前文所述，将上一步骤融合后的特征作为人脸先验特征，并提取该先验特征以待后续操作。

[0070] 步骤S41、将从最后一个卷积层提取的图像特征输入至头发分割卷积网络的起始的头发处理层。

[0071] 需指出的是，从原理上而言本步骤与步骤S31类似，可参考前文阐述。但需额外指出的是，步骤S31与本步骤的执行时机可以没有特定次序，即可以同时进行也可以先后执行，不过，由本步骤向后进行后续操作的过程须等待前述步骤提取到人脸先验特征模型之后进行。

[0072] 步骤S42、根据预定的对应关系，逐层地将人脸先验特征与头发分割卷积网络中相应的头发处理层所输出的头发特征进行融合并输入至下一个头发处理层。

[0073] 本步骤提及的对应关系与步骤S32所述对应关系相似，即融合的基础是网络结构相同，虽然维度不同也能进行融合，但相对复杂且不常见，因此本发明不予讨论。需特别说明的有两点：其一、后续头发处理层的输入来自于上一层的融合结果，以保证最终输出的头发掩模图的效果；其二，这里所述融合，即本实施例中的第二次融合，可以考虑采用上述加权和或者是级联，所谓级联即是将两个长度为n的向量串联，输出一个2n长度的向量，同样地级联本身为现有技术，不多赘述。仅是在此说明不同的融合方式可以产生不同的技术效果，级联包含全部的原始特征数据，具体的融合形式交由网络自行学习，有着更大的函数表示空间；而加权和函数形式具体，网络收敛更快从而学习速度更快。

[0074] 步骤S43、根据最后一个头发处理层的输出，生成头发掩模图。

[0075] 需说明的是，这里所述最后一个头发处理层，包括前述的“最后一个”、“起始的”并非绝对地指整体卷积网络中的最后一层，而是指上述过程所运用到的参与运算的网络层的起始和最后，在实际操作中，一个完整的卷积神经网络还包括其他层，例如输入层、全连接层以及Softmax层等，但在本发明构建的三合一结构中根据实际需求可以对上述功能层进行舍取或者由于皆属于本领域常识因而隐含在上述表达过程中，对本领域技术人员而言并不会因此产生理解障碍。

[0076] 基于上述实施例及其优选方案，本发明结合图5所示的网络结构示意图对上述方法的实施过程做形象化的说明：

[0077] 如图5示出各卷积网络结构近似或相同，且每一个神经层输出的数据维度已经在卷积块的下角标出，可见该示例中下采样池化都使用大小为2×2，步长为2的最大池化，相对应的右侧的人脸先验卷积网络和头发分割卷积网络可以利用最近邻方法对进行2×2，步长为2的上采样，并且上述卷积运算均可以是采用3×3的卷积核，但需说明的是图5仅为一种说明性质的示意，其中相关数值皆为参考而非限定。

[0078] 从左至右来看，起始可以输入一张图中示出的分辨率归一化到224x224的RGB三通道人脸图像，左侧网络表示用于提取前述图像特征的提取模块的深层卷积神经网络，例如可选用VGG16去除其全连接层后的卷积层，由该卷积层图像得到人脸图像数据的纹理及语义特征，图5中左侧网络的第二至第六层的输出特征图表示为I2、I3、I4、I5及I6；

[0079] 将得到的上述图像特征输入到右上的人脸先验卷积网络，具体过程可以是I6直接输入到人脸先验卷积网络的第一层(前文提及的初始的人脸处理层)，其他卷积层的输出I2、I3、I4及I5则按照维度对应的关系分别与人脸先验卷积网络的第一至第四层人脸处理层的输出进行融合，融合后的输出特征表示为F1、F2、F3及F4，此四项特征即可合称为人脸先验特征；

[0080] 将前述图像特征和人脸先验特征输入到左下的头发分割卷积网络，具体过程可以是I6直接输入到头发分割卷积网络的第一层(前文提及的初始的头发处理层)，人脸先验特征F1、F2、F3及F4则按照维度对应的关系与头发分割卷积网络的第一至第四层头发处理层的输出进行融合，利用这些输入特征逐层计算，头发分割卷积网络最后输出分割结果即头发的掩膜图。

[0081] 相应于上述提取方法，本发明还提供了一种基于神经网络的头发区域提取系统的实施例如图6所示，主要包括：用于获取待处理图像的获取模块，用于逐层地对待处理图像进行卷积运算并分别提取各卷积层所输出的图像特征(所述图像特征包括浅层特征和深层特征)的图像特征提取模块，用于根据图像特征以及预先训练的人脸先验卷积网络提取人脸先验特征的人脸先验特征提取模块，以及用于根据图像特征、人脸先验特征以及预先训练的头发分割卷积网络生成头发掩模图的头发分割模块。

[0082] 该系统实施例的工作原理已在前文中阐明，此处不再赘述，但需补充的是，其中所述人脸先验特征提取模块在一个具体的实施例中可以包括：用于将从最后一个卷积层提取的图像特征输入至人脸先验卷积网络的起始的人脸处理层的第一输入单元，用于根据预定的对应关系，将从其他卷积层提取的图像特征分别与人脸先验卷积网络中相应的人脸处理层所输出的人脸特征进行融合的第一融合单元，以及用于提取融合后的人脸特征作为人脸先验特征的人脸先验特征提取单元。

[0083] 进一步地，所述第一融合单元具体用于根据分辨率大小及卷积核数量的对应关系，将从其他卷积层提取的图像特征与相应的人脸处理层所输出的人脸特征进行加权和。

[0084] 此外，在其他实施例中所述头发分割模块可以具体包括：用于将从最后一个卷积层提取的图像特征输入至头发分割卷积网络的起始的头发处理层的第二输入单元，用于根据预定的对应关系，逐层地将人脸先验特征与头发分割卷积网络中相应的头发处理层所输出的头发特征进行融合并输入至下一个头发处理层的第二融合单元，以及用于根据最后一个头发处理层的输出生成头发掩模图的头发掩模图生成单元。

[0085] 进一步地，所述第二融合单元具体用于根据分辨率大小及卷积核数量的对应关系，逐层地将人脸先验特征与相应的头发处理层所输出的头发特征进行级联或加权和，并输入至下一个头发处理层。

[0086] 综上所述，本发明从易于得到的且规模较大的人脸样本中学习人脸先验特征，再与图像的浅层和深层特征拟合头发分割函数，具体是通过两步融合的方式将人脸先验特征融合到头发分割网络中，以此约束头发分割网络在小规模样本中的学习，从而能够有效降低头发区域提取模型的规模和训练难度，并提升泛化能力。

[0087] 最后，需指出本发明的系统实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。可以把实施例中所述模块或单元组合成一个模块或单元，此外，还可以把它们分成多个子模块或子单元，对此本发明不作限定。

[0088] 以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上所述仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。