一种基于深度图模型特征学习的人脸画像合成方法。其步骤为：(1)生成样本集合；(2)生成图像块集合；(3)提取深度特征；(4)求解人脸画像重构块系数；(5)重构人脸画像块；(6)合成人脸画像。本发明使用深度卷积网络提取人脸照片块的深度特征，利用马尔科夫图模型求解深度特征图系数与人脸画像块重构系数，使用人脸画像块重构系数对人脸画像块加权求和得到重构人脸画像块，拼接重构人脸画像块得到合成人脸画像。本发明使用从深度卷积网络中提取的深度特征来代替图像块的原始像素值信息，对光照等环境噪声具有更好的鲁棒性，能合成质量极高的人脸画像。
1.一种基于深度图模型特征学习的人脸画像合成方法，包括如下步骤：(1)生成样本集合：
(1a)从人脸照片样本集中取出M张人脸照片组成训练人脸照片样本集，2≤M≤U-1，U表示样本集中人脸照片总数；
(1b)将人脸照片样本集中剩余的人脸照片组成测试人脸照片集；
(1c)从人脸画像样本集中取出与训练人脸照片样本集的人脸照片一一对应的人脸画像，组成训练人脸画像样本集；
(2a)从测试人脸照片集中任意选取一张测试人脸照片，将测试人脸照片划分成大小相同，且重叠度相同的照片块，组成测试照片块集合；
(2b)将训练人脸照片样本集中的每一张照片，划分成大小相同，且重叠度相同的照片块，组成训练照片样本块集合；
(2c)将训练人脸画像样本集中的每一张画像，划分成大小相同，且重叠度相同的画像块，组成训练画像样本块集合；
(3a)将训练照片块集合与测试照片块集合中的所有照片块，输入已经在物体识别数据库ImageNet上训练好的用于物体识别的深度卷积网络VGG中，进行正向传播；
(3b)将深度卷积网络VGG的中间层输出的128层特征图作为照片块的深度特征，特征图每层的系数为ui,l，且 其中，∑表示求和操作，i表示测试照片块的序号，i＝1，
2，...，N，N表示测试照片块的总数，l表示特征图的序号,l＝1,...,128；
(4a)使用K近邻搜索算法，在训练照片样本块集合中找出与每个测试照片块最相似的
10个近邻训练照片块，同时从训练画像样本块集合中选出与近邻训练照片块一一对应的10个近邻训练画像块，每个近邻训练图像块的系数为wi,k，其中， k表示训练图像块序号，k＝1,...,10；
(4b)使用马尔科夫图模型公式，对所有测试照片块深度特征、所有近邻训练照片块的深度特征、所有近邻训练画像块、深度特征图的系数ui,l、近邻训练图像块的系数wi,k建模；
(4c)对马尔科夫图模型公式进行求解，得到人脸画像块重构系数wi,k；
将每个测试照片块对应的10个近邻训练画像块与各自系数wi,k相乘，相乘后结果求和，作为每个测试照片块对应的重构人脸画像块；
拼接所有测试照片块对应的重构人脸画像块，得到合成人脸画像。
2.根据权利要求1所述的基于深度图模型特征学习的人脸画像合成方法，其特征在于：步骤(2a)、步骤(2b)、步骤(2c)中所述的重叠度是指，相邻两个图像块之间重叠区域的面积为每个图像块面积的1/2。
3.根据权利要求1所述的基于深度图模型特征学习的人脸画像合成方法，其特征在于：步骤(3b)中所述的中间层是指深度卷积网络VGG的激活函数层。
4.根据权利要求1所述的基于深度图模型特征学习的人脸画像合成方法，其特征在于：步骤(4a)中所述K近邻搜索算法的具体步骤如下：第一步，计算每一个测试照片块的深度特征向量与所有训练照片块的深度特征向量之间的欧氏距离；
第二步，按照欧氏距离值得从小到大顺序，对所有训练照片块进行排序；
第三步，选取前10个训练照片块，作为近邻训练照片块。
5.根据权利要求1所述的基于深度图模型特征学习的人脸画像合成方法，其特征在于：步骤(4b)中所述的马尔科夫图模型公式如下：
其中，min表示求最小值操作，∑表示求和操作，|| ||2表示求模平方操作，wi,k表示第i个测试照片块的第k个近邻训练画像块的系数，oi,k表示第i个测试照片块的第k个近邻训练画像块的重叠部分的像素值向量，wj,k表示第j个测试照片块的第j个近邻训练画像块的系数，oj,k表示第j个测试照片块的第k个近邻训练画像块的重叠部分的像素值向量，ui,l表示第i个测试照片块的深度特征的第l层深度特征图的系数，dl(xi)表示第i个测试照片块的深度特征的第l层特征图，dl(xi,k)表示第i个测试照片块的第k个近邻训练照片块的深度特征的第l层特征图。
6.根据权利要求1所述的一种基于深度图模型特征学习的人脸画像合成方法，其特征在于：步骤(6)中所述的拼接所有测试照片块对应的重构画像块的方法如下：第一步，将位于画像不同位置的所有测试照片块对应的重构画像块按照其所在位置进行放置；
第二步，取相邻两重构人脸画像块间重叠部分的像素值的平均值；
第三步，用相邻两重构人脸画像块间重叠部分的像素值的平均值替换相邻两重构人脸画像块间重叠部分的像素值，得到合成人脸画像。
基于深度图模型特征学习的人脸画像合成方法
技术领域
[0001] 本发明属于图像处理技术领域，更进一步涉及模式识别与计算机视觉技术领域中的一种基于深度图模型特征学习的人脸画像合成方法。本发明可用于公共安全领域中的人脸检索与识别。
背景技术
[0002] 在刑侦追捕中，公安部门备有公民照片数据库，结合人脸识别技术用以确定犯罪嫌疑人身份，但实际中一般较难获得犯罪嫌疑人照片，但却可以在画家和目击者的合作下得到犯罪嫌疑人的素描画像来进行后续人脸检索和识别。由于画像与普通人脸照片之间有很大的差异，直接用传统的人脸识别方法很难获取得到满意的识别效果。将公民照片数据库中的照片合为画像能有效的减小他们纹理上的差距，进而提高识别率。
[0003] X.Gao等人在其发表的论文“X.Gao,J.Zhou,D.Tao,and X.Li,Local face sketch synthesis learning”(Neurocomputing,vol.71,no.10-12,pp.1921-1930,Jun.2008)中提出利用利用嵌入式隐马尔科夫模型来生成伪画像。该方法首先对训练库中的照片和画像进行分块，然后用嵌入式隐马尔科夫模型对相应的照片块和画像块进行建模，任意给一张照片，同样进行分块，对于任意的一个块，用选择性集成的思想，选择部分块生成的模型进行伪画像的生成并进行融合从而得到最终的伪画像。该方法存在的不足之处是，由于该方法采用了选择性集成技术，生成的伪画像要进行加权平均，导致背景不干净、细节不清晰，进而降低了生成画像质量。
[0004] H.Zhou等人在其发表的论文“H.Zhou,Z.Kuang,and K.Wong.Markov Weight Fields for Face Sketch Synthesis”(In Proc.IEEE Int.Conference on Computer Vision,pp.1091-1097,2012)中提出了一种基于马尔科夫权重场的人脸画像合成方法。该方法首先将训练图像与输入测试图像均匀分块，对于任意测试图像块，搜索其若干近邻，得到待合成图像形态的候选块。然后对测试图像块、近邻块及候选图像块使用马尔科夫图模型建模，求取重构权值。最后利用重构权值与候选画像块重构合成画像块，拼接得到合成画像。该方法存在的不足之处是，图像块特征使用原始的像素信息，表示能力不足，受光照等环境噪声影响较大。
[0005] 西安电子科技大学申请的专利“基于方向图模型的人脸画像合成方法”(申请号：CN201610171867.2申请日：2016.03.24申请公布号：CN105869134A)中公开了一种基于方向图模型的人脸画像合成方法。该方法首先将训练图像与输入测试图像均匀分块，对于任意测试照片块，搜索其若干近邻照片块及对应的近邻画像块。然后对测试照片块、近邻照片块提取方向特征。然后使用马尔科夫图模型对测试照片块、近邻照片块的方向特征及近邻画像块建模，求取由近邻画像块重构合成画像块的重构权值。最后利用重构权值与近邻画像块重构合成画像块，拼接得到合成画像。该方法存在的不足之处是，图像块特征使用人工设计的高频特征，自适应能力不足，没有对特征进行充分学习。
发明内容
[0006] 本发明的目的在于克服上述已有技术的不足，提出一种基于深度图模型特征学习的人脸画像合成方法，能够合成不受光照等环境噪声影响的高质量画像。
[0007] 实现本发明目的的具体步骤如下：
[0008] (1)生成样本集合：
[0009] (1a)从人脸照片样本集中取出M张人脸照片组成训练人脸照片样本集，2≤M≤U-1，U表示样本集中人脸照片总数；
[0010] (1b)将人脸照片样本集中剩余的人脸照片组成测试人脸照片集；
[0011] (1c)从人脸画像样本集中取出与训练人脸照片样本集的人脸照片一一对应的人脸画像，组成训练人脸画像样本集；
[0012] (2)生成图像块集合：
[0013] (2a)从测试人脸照片集中任意选取一张测试人脸照片，将测试人脸照片划分成大小相同，且重叠度相同的照片块，组成测试照片块集合；
[0014] (2b)将训练人脸照片样本集中的每一张照片，划分成大小相同，且重叠度相同的照片块，组成训练照片样本块集合；
[0015] (2c)将训练人脸画像样本集中的每一张画像，划分成大小相同，且重叠度相同的画像块，组成训练画像样本块集合；
[0016] (3)提取深度特征：
[0017] (3a)将训练照片块集合与测试照片块集合中的所有照片块，输入已经在物体识别数据库ImageNet上训练好的用于物体识别的深度卷积网络VGG中，进行正向传播；
[0018] (3b)将深度卷积网络VGG的中间层输出的128层特征图作为照片块的深度特征，特征图每层的系数为ui,l，且 其中，∑表示求和操作，i表示测试照片块的序号，i＝1，2，...，N，N表示测试照片块的总数，l表示特征图的序号,l＝1,...,128；
[0019] (4)求解人脸画像块重构系数：
[0020] (4a)使用K近邻搜索算法，在训练照片样本块集合中找出与每个测试照片块最相似的10个近邻训练照片块，同时从训练画像样本块集合中选出与近邻训练照片块一一对应的10个近邻训练画像块，每个近邻训练图像块的系数为wi,k，其中， k表示训练图像块序号，k＝1,...,10；
[0021] (4b)使用马尔科夫图模型公式，对所有测试照片块深度特征、所有近邻训练照片块的深度特征、所有近邻训练画像块、深度特征图的系数ui,l、近邻训练图像块的系数wi,k建模；
[0022] (4c)对马尔科夫图模型公式进行求解，得到人脸画像块重构系数wi,k；
[0023] (6)重构人脸画像块：
[0024] 将每个测试照片块对应的10个近邻训练画像块与各自系数wi,k相乘，相乘后结果求和，作为每个测试照片块对应的重构人脸画像块；
[0025] (7)合成人脸画像：
[0026] 拼接所有测试照片块对应的重构人脸画像块，得到合成人脸画像。
[0027] 与现有技术相比，本发明有以下优点：
[0028] 第1，由于本发明使用从深度卷积网络中提取的深度特征来代替图像块的原始像素值信息，克服现有技术使用的特征表示能力不足，受光照等环境噪声影响大的问题，使得本发明具有对光照等环境噪声鲁棒的优点。
[0029] 第2，由于本发明使用马尔科夫图模型对深度特征图系数与人脸画像块重构系数进行联合建模，克服现有技术合成的人脸画像背景不干净、细节不清晰的问题，使得本发明具有合成人脸画像背景干净，细节清晰的优点。
附图说明
[0030] 图1为本发明流程图；
[0031] 图2为本发明的仿真效果图。
具体实施方式
[0032] 下面结合附图对本发明作进一步地描述。
[0033] 参照图1，本发明的具体步骤如下。
[0034] 步骤1，生成样本集合。
[0035] 从人脸照片样本集中取出M张人脸照片组成训练人脸照片样本集，2≤M≤U-1，U表示样本集中人脸照片总数。
[0036] 将人脸照片样本集中剩余的人脸照片组成测试人脸照片集。
[0037] 从人脸画像样本集中取出与训练人脸照片样本集的人脸照片一一对应的人脸画像，组成训练人脸画像样本集。
[0038] 步骤2，生成图像块集合。
[0039] 从测试人脸照片集中任意选取一张测试人脸照片，将测试人脸照片划分成大小相同，且重叠度相同的照片块，组成测试照片块集合。
[0040] 将训练人脸照片样本集中的每一张照片，划分成大小相同，且重叠度相同的照片块，组成训练照片样本块集合。
[0041] 将训练人脸画像样本集中的每一张画像，划分成大小相同，且重叠度相同的画像块，组成训练画像样本块集合。
[0042] 重叠度是指，相邻两个图像块之间重叠区域的面积为每个图像块面积的1/2。
[0043] 步骤3，提取深度特征。
[0044] 将训练照片块集合与测试照片块集合中的所有照片块，输入已经在物体识别数据库ImageNet上训练好的用于物体识别的深度卷积网络VGG中，进行正向传播。
[0045] 将深度卷积网络VGG的中间层输出的128层特征图作为照片块的深度特征，特征图每层的系数为ui,l，且 其中，∑表示求和操作，i表示测试照片块的序号，i＝1，2，...，N，N表示测试照片块的总数，l表示特征图的序号,l＝1,...,128。
[0046] 中间层是指深度卷积网络VGG的激活函数层。
[0047] 步骤4，求解人脸画像块重构系数。
[0048] 使用K近邻搜索算法，在训练照片样本块集合中找出与每个测试照片块最相似的10个近邻训练照片块，同时从训练画像样本块集合中选出与近邻训练照片块一一对应的10个近邻训练画像块，每个近邻训练图像块的系数为wi,k，其中， k表示训练图像块序号，k＝1,...,10。
[0049] K近邻搜索算法的具体步骤如下：
[0050] 第一步，计算每一个测试照片块的深度特征向量与所有训练照片块的深度特征向量之间的欧氏距离；
[0051] 第二步，按照欧氏距离值得从小到大顺序，对所有训练照片块进行排序；
[0052] 第三步，选取前10个训练照片块，作为近邻训练照片块。
[0053] 使用马尔科夫图模型公式，对所有测试照片块深度特征、所有近邻训练照片块的深度特征、所有近邻训练画像块、深度特征图的系数ui,l、近邻训练图像块的系数wi,k建模。
[0054] 马尔科夫图模型公式如下：
[0055]
[0056] 其中，min表示求最小值操作，∑表示求和操作，||||2表示求模平方操作，wi,k表示第i个测试照片块的第k个近邻训练画像块的系数，oi,k表示第i个测试照片块的第k个近邻训练画像块的重叠部分的像素值向量，wj,k表示第j个测试照片块的第j个近邻训练画像块的系数，oj,k表示第j个测试照片块的第k个近邻训练画像块的重叠部分的像素值向量，ui,l表示第i个测试照片块的深度特征的第l层深度特征图的系数，dl(xi)表示第i个测试照片块的深度特征的第l层特征图，dl(xi,k)表示第i个测试照片块的第k个近邻训练照片块的深度特征的第l层特征图。
[0057] 对马尔科夫图模型公式进行求解，得到人脸画像块重构系数wi,k。
[0058] 步骤5，重构人脸画像块。
[0059] 将每个测试照片块对应的10个近邻训练画像块与各自系数wi,k相乘，相乘后结果求和，作为每个测试照片块对应的重构人脸画像块。
[0060] 步骤6，合成人脸画像。
[0061] 拼接所有测试照片块对应的重构人脸画像块，得到合成人脸画像。
[0062] 拼接所有测试照片块对应的重构画像块的方法如下：
[0063] 第一步，将位于画像不同位置的所有测试照片块对应的重构画像块按照其所在位置进行放置；
[0064] 第二步，取相邻两重构人脸画像块间重叠部分的像素值的平均值；
[0065] 第三步，用相邻两重构人脸画像块间重叠部分的像素值的平均值替换相邻两重构人脸画像块间重叠部分的像素值，得到合成人脸画像。
[0066] 本发明的效果通过以下仿真实验进一步说明。
[0067] 1.仿真实验条件：
[0068] 本发明仿真实验的计算机配置环境为Intel(R)Core i7-47903.6GHZ、内存16G、Linux操作系统，编程语言使用Python，数据库采用香港中文大学CUHK student数据库。
[0069] 本发明的仿真实验中所使用的现有技术的对比方法包括如下两种：
[0070] 一种是基于局部线性嵌入的方法，实验中记为LLE；参考文献为“Q.Liu,X.Tang,H.Jin,H.Lu,and S.Ma”(A Nonlinear Approach for Face Sketch Synthesis and Recognition.In Proc.IEEE Int.Conference on Computer Vision,pp.1005-1010,2005)；
[0071] 另一种是基于马尔可夫权重场模型的方法，实验中记为MWF；参考文献为“H.Zhou,Z.Kuang,and K.Wong.Markov Weight Fields for Face Sketch Synthesis”(In Proc.IEEE Int.Conference on Computer Vision,pp.1091-1097,2012)。
[0072] 2.仿真实验内容：
[0073] 本发明共有一组仿真实验。
[0074] 在CUHK student数据库上合成画像，并与局部线性嵌入LLE、马尔可夫权重场模型MWF方法合成的画像进行对比。
[0075] 3.仿真实验结果和分析：
[0076] 本发明的仿真实验结果如附图2所示，其中图2(a)是从测试照片样本集中任意取出的一张测试照片，图2(b)是使用现有技术局部线性嵌入LLE方法合成的画像，图2(c)是使用现有技术马尔可夫权重场模型MWF方法合成的画像，图2(d)是使用本发明方法合成的画像。
[0077] 由图2可见，由于本发明使用深度特征来代替图像块的原始像素值信息，其对光照等环境噪声具有更好的鲁棒性，因此对于受光照影响较大的照片，相比局部线性嵌入LLE、马尔可夫权重场模型MWF方法，合成画像质量更高，噪声更小。
