本发明公开了一种基于局部和全局优化融合图像卷积神经网络风格迁移方法，首先选定需转换的内容图像和风格图像，采用深度卷积神经网络VGG-19作为图像高级风格特征提取基础模型。然后在VGG-19模型中挑选局部优化内容约束层和风格约束层，建立新的网络模型F1，并定义基于局部优化的图像风格迁移损失函数；然后在VGG-19模型中选择全局优化风格约束层，建立新的网络模型F2，然后把图像风格迁移局部优化损失函数和图像风格迁移全局优化损失函数进行线性融合得到总的损失函数。最后初始化一张噪声图像，依据图像风格迁移损失函数，采用网络模型F1、F2分别提取内容图像和风格图像和特征图，利用梯度下降法，经多次迭代最小化损失函数，最后生成风格迁移结果图像。
1.基于局部和全局优化融合图像卷积神经网络风格迁移方法,其特征在于：包括以下步骤：步骤1，选取一张需要进行风格迁移的内容图像和一张作为风格来源的风格图像；
步骤2，采用深度卷积神经网络VGG-19作为图像高级特征提取原始模型，并以relu5_3为内容约束特征提取层，以relu3_1和relu4_1为风格局部约束特征提取层；提取relu5_1，relu3_1和relu4_1生成一个新的神经网络模型F1，用于对图像风格迁移的局部优化；
步骤3，从VGG-19模型中，选取relu2_1，relu3_1和relu4_1为风格全局约束特征提取层；生成一个新的深神经网络模型F2，用于对图像风格迁移的全局优化；
步骤5，根据内容图像的尺寸大小来调整初始化新图像的尺寸；
步骤6，将风格图像和初始化的新图像输入到卷积神经网络模型F1中，再利用马尔可夫随机场，利用局部风格约束层上的特征图，计算局部风格约束层损失函数；
步骤7，将内容图像和初始化新图像输入到卷积神经网络模型F1中，利用马尔可夫随机场模型，在神经网络模型F1中在内容约束层上，计算的内容约束损失函数；
步骤8，将风格图像和初始化的新图像输入到卷积神经网络模型F2中，利用全局风格约束层上的特征图，计算全局风格约束层损失函数；
步骤9，综合步骤6，步骤7和步骤8的结果，得到总的损失函数，步骤10，采用基于梯度下降法的优化算法生成图像风格迁移结果，即采用梯度下降法，通过迭代计算生成风格迁移图像的梯度，并利用总的损失函数，沿负梯度方向逼近原内容图像和风格图像，以让每次迭代生成的风格迁移图像尽可能地分别与原内容图像和风格图像相似；
步骤11，重复步骤6-10进行100次迭代，再调整内容图像的大小，重复步骤5-10进行3次迭代，输出最终的图像风格迁移图像。
2.根据权利要求1所述的基于局部和全局优化融合图像卷积神经网络风格迁移方法，其特征在于：所述的步骤5中，将初始化新图像的大小设置为 其中wc，hc分别为内容图像的长和宽，L为调整图像大小的参数，每次迭代L分别取3、2、1。
3.根据权利要求1所述的基于局部和全局优化融合图像卷积神经网络风格迁移方法，其特征在于：所述的步骤6中，局部风格约束层损失函数为：其中，φ(x)为x的特征图，i表示第i个，j表示第j个,将φ(x)按r*r大小的局部块即local patch进行分割，每个local patch即Φ(φ(x))，将φ(x)分割生成p1个local patch， 表示风格图像，R表示实数集，ws，hs分别为风格图像的长和宽，其中R表示实数集，wc，hc分别为内容图像的长和宽；
Φi(φ(x))表示Φ(φ(x))中的第i个local patch，而ΦTT(i)(φ(xs))表示Ψ(Φ(xs))中与Φi(φ(x))最匹配的一个local patch；其中，local patch选取规则定义为
4.根据权利要求1所述的基于局部和全局优化融合图像卷积神经网络风格迁移方法，其特征在于：所述的步骤7中，内容约束损失函数为Ec(φ(x),φ(xc))＝||φ(x)-φ(xc)||2。
5.根据权利要求1所述的基于局部和全局优化融合图像卷积神经网络风格迁移方法，其特征在于：所述的步骤8中，全局风格约束损失函数为其中w为每一层在重构误差中的比重，取值范围为w∈[0,1]。Nl表示在第l层中，特征图的个数。Sl表示在第l层中，特征图的面积。 表示在第l层中第i个特征图，Ψ为gram矩阵， 其中 表示 和 内积，因此，Ψl为表示第l层中所有特征图φ(x)两两相互内积之和。
6.根据权利要求1所述的基于局部和全局优化融合图像卷积神经网络风格迁移方法，其特征在于：所述的步骤9中，总的损失函数为E(x)＝α1Elocal(Φ(x),Φ(xs))+α2Eglobal(Φ(x),Φ(xs))+α3Ec(Φ(x),Φ(xc))其中α1，α2和α3分别为用于调节生成图像中包含的原内容图像和风格图像的强度的调节参数，取值范围为α1∈[10-5,10-3]，α2∈[0,100]，α3∈[0,100]。
7.根据权利要求1所述的基于局部和全局优化融合图像卷积神经网络风格迁移方法，其特征在于：所述的步骤10中，所述的基于梯度下降法的优化算法包括以下步骤：(1)初始化，迭代参数i＝0，j＝m，定义矩阵H并初始化为元素都为1的对角矩阵，允许误差ε＝10-5，利用神经网络模型F1，把x0作为输入，调用网络模型反向函数，计算梯度利用神经网络模型F2，把x0作为输入，调用网络模型反向函数，得到梯度得到初始梯度 x0为步骤4中随机生成的高斯噪声图像；
(2)如果i<＝itr或者如果 则输出第i次迭代结果xi+1，并结束优化算法；否则转步骤(3)；其中itr为最高迭代次数；
(3)定义pi为第i次迭代的负梯度方向pi＝-gi；
(4)更新第i次迭代的结果，xi+1＝xi+pi；
(5)定义si为上一步的结果xi和本次迭代的结果误差，即si＝xi+1-xi，定义yi为上一步的结果梯度的 和本次迭代结果的梯度 误差，即 定义其中T表示矩阵转制；
取 更新q,q＝q-aiyi-j，直到j＝m，m为预设的迭代次数；
取， 更新gi，gi＝gi+si-j(aj-b)，直到j＝m(11)更新迭代步骤，i＝i+1,跳转到步骤(2)。
8.根据权利要求1所述的基于局部和全局优化融合图像卷积神经网络风格迁移方法，其特征在于：在执行步骤(5)后，还包括保留最近m次的结果的步骤，如果i>m，则删除si-m、si-m-1...s1和yi-m、yi-m-1...y1。
基于局部和全局优化融合图像卷积神经网络风格迁移方法
技术领域
[0001] 本发明涉及深度学习技术领域，具体为基于局部和全局优化融合图像卷积神经网络风格迁移方法。
背景技术
[0002] 将一幅图像的风格转移到另外一幅图像上被认为是一个图像纹理风格转移问题。在图像纹理风格转移中，目标是利用一幅图像(风格图像)提供纹理风格，另一幅图像提供内容(内容图像)，要求合成的图像即有风格图像的纹理风格，但需要保留内容图像的语义内容。
[0003] 对于纹理合成，有大量强有力的非参数方法，其中使用CNN将一张图片的语义内容与不同风格融合起来的过程被称为神经风格迁移(Neural Style Transfer)，Gatys等人在CVPR2016(国际地模式识别大会)上的一篇口头报告文章“image Style Transfer Using Convolutional Neural Networks”证实了卷积神经网络(CNN)的在图像风格迁移中表现出惊人的能力，基于神经网络的风格迁移方法，可以从图像中学习提取高层语义信息，实现对包括纹理识别和艺术风格分离。
[0004] 目前，基于神经网络的风格迁移方法按，依据优化图像的方式不同，在线图像优化方法又可细分为全局特征优化和局部特征优化两大类，区别在于前都把神网络模型中的特征图(feature maps)作为优化目标，而后者是把每个特征图分割成块(local pacth)进行优化。它们基本思想是分别从内容和风格图像中提取内容和风格特征，并将这两个特征重新组合成为目标图像，之后在线迭代地重建目标图像，依据是生成图像与内容和风格图像之间的差异。对于内容图像和风格图像，定义损失函数，然后在线优化的目标是最小化损失函数。与基于全局特征优化的风格迁移方法相比，基于局部特征优化的方法更加灵活，能够更好地处理视觉样式或元素在图像中发生变化的情况。然而，当存在局部匹配错误时，它们也可能产生严重的错误。与基于局部特征优化方法的方法相比，全局特征优化方法可以更好地保留风格图像的结构和颜色，而细节风格可能无法完全捕获。
发明内容
[0005] 本发明的目的在于提供基于局部和全局优化融合图像卷积神经网络风格迁移方法，以解决上述背景技术中提出的问题。
[0006] 为实现上述目的，本发明提供如下技术方案：基于局部和全局优化融合图像卷积神经网络风格迁移方法,包括以下步骤：
[0007] 步骤1，选取一张需要进行风格迁移的内容图像和一张作为风格来源的风格图像；
[0008] 步骤2，采用深度卷积神经网络VGG-19作为图像高级特征提取原始模型，并以relu5_3为内容约束特征提取层，以relu3_1和relu4_1为风格局部约束特征提取层；提取relu5_1，relu3_1和relu4_1生成一个新的神经网络模型F1，用于对图像风格迁移的局部优化；
[0009] 步骤3，从VGG-19模型中，选取relu2_1，relu3_1和relu4_1为风格全局约束特征提取层；生成一个新的深神经网络模型F2，用于对图像风格迁移的全局优化；
[0010] 步骤4，随机生成高斯噪声图像为初始化新图像；
[0011] 步骤5，根据内容图像的尺寸大小来调整初始化新图像的尺寸；
[0012] 步骤6，将风格图像和初始化的新图像输入到卷积神经网络模型F1中，再利用马尔可夫随机场，利用局部风格约束层上的特征图，计算局部风格约束层损失函数；
[0013] 步骤7，将内容图像和初始化新图像输入到卷积神经网络模型F1中，利用马尔可夫随机场模型，在神经网络模型F1中在内容约束层上，计算的内容约束损失函数；
[0014] 步骤8，将风格图像和初始化的新图像输入到卷积神经网络模型F2中，利用全局风格约束层上的特征图，计算全局风格约束层损失函数；
[0015] 步骤9，综合步骤6，步骤7和步骤8的结果，得到总的损失函数，[0016] 步骤10，采用基于梯度下降法的优化算法生成图像风格迁移结果，即采用梯度下降法，通过迭代计算生成风格迁移图像的梯度，并利用总的损失函数，沿负梯度方向逼近原内容图像和风格图像，以让每次迭代生成的风格迁移图像尽可能地分别与原内容图像和风格图像相似；
[0017] 步骤11，重复步骤6-10进行100次迭代，再调整内容图像的大小，重复步骤5-10进行3次迭代，输出最终的图像风格迁移图像。
[0018] 优选的，所述的步骤5中，将初始化新图像的大小设置为 其中wc，hc分别为内容图像的长和宽，L为调整图像大小的参数，每次
迭代L分别取3、2、1。
[0019] 优选的，所述的步骤6中，局部风格约束层损失函数为：
[0020]
[0021] 其中，φ(x)为x的特征图，i表示第i个，j表示第j个,将φ(x)按r*r大小的局部块即local patch进行分割，每个local patch即Φ(φ(x))，将φ(x)分割生成p1个local patch， 表示风格图像，R表示实数集，ws，hs分别为风格图像的长和宽，其中R表示实数集，wc，hc分别为内容图像的长和宽；
[0022] Φi(φ(x))表示Φ(φ(x))中的第i个local patch，而ΦTT(i)(φ(xs))表示Ψ(Φ(xs))中与Φi(φ(x))最匹配的一个local patch；其中，local patch选取规则定义为[0023]
[0024] 优选的，所述的步骤7中，内容约束损失函数为
[0025] Ec(φ(x),φ(xc))＝||φ(x)-φ(xc)||2。
[0026] 优选的，所述的步骤8中，全局风格约束损失函数为
[0027]
[0028] 其中w为每一层在重构误差中的比重，取值范围为w∈[0,1]。Nl表示在第l层中，特征图的个数。Sl表示在第l层中，特征图的面积。 表示在第l层中第i个特征图，Ψ为gram矩阵， 其中 表示 和 内积，因此，Ψl为表示第l层中所有特征图φ(x)两两相互内积之和。
[0029] 优选的，所述的步骤9中，总的损失函数为
[0030] E(x)＝α1Elocal(Φ(x),Φ(xs))+α2Eglobal(Φ(x),Φ(xs))+α3Ec(Φ(x),Φ(xc))[0031] 其中α1，α2和α3分别为用于调节生成图像中包含的原内容图像和风格图像的强度的调节参数，取值范围为α1∈[10-5,10-3]，α2∈[0,100]，α3∈[0,100]。
[0032] 优选的，所述的步骤10中，所述的基于梯度下降法的优化算法包括以下步骤：
[0033] (1)初始化，迭代参数i＝0，j＝m，定义矩阵H并初始化为元素都为1的对角矩阵，允许误差ε＝10-5，利用神经网络模型F1，把x0作为输入，调用网络模型反向函数，计算梯度利用神经网络模型F2，把x0作为输入，调用网络模型反向函数，得到梯度得到初始梯度 x0为步骤4中随机生成的高斯噪声图像；
[0034] (2)如果i<＝itr或者如果 则输出第i次迭代结果xi+1，并结束优化算法；否则转步骤(3)；其中itr为最高迭代次数；
[0035] (3)定义pi为第i次迭代的负梯度方向pi＝-gi；
[0036] (4)更新第i次迭代的结果，xi+1＝xi+pi；
[0037] (5)定义si为上一步的结果xi和本次迭代的结果误差，即si＝xi+1-xi，定义yi为上一步的结果梯度的 和本次迭代结果的梯度 误差，即 定义其中T表示矩阵转制；
[0038] (6)更新
[0039] (7)定义变量q为xi的梯度
[0040] (8)j＝1迭代计算
[0041] 取 更新q,q＝q-aiyi-j，直到j＝m，m为预设的迭代次数；
[0042] (9)更新gi,gi＝Hiq；
[0043] (10)j＝1迭代计算
[0044] 取， 更新gi，gi＝gi+si-j(aj-b)，直到j＝m
[0045] (11)更新迭代步骤，i＝i+1,跳转到步骤(2)。
[0046] 优选的，在执行步骤(5)后，还包括保留最近m次的结果的步骤，如果i>m，则删除si-m、si-m-1...s1和yi-m、yi-m-1...y1。
[0047] 与现有技术相比，本发明的有益效果是：
[0048] (1)本发明利用VGG-19作为图像高级风格特征提取基础模型，通过选取全局特征提取层，先建立新的网络模型F1，用于对图像风格迁移的局部优化；然后选取局部特征提取层，建立新的网络模型F2，用于对图像风格迁移的全局优化。分别采用网络模型F1和F2提取内容图像和风格图像的特征图。
[0049] (2)本发明定义一个新的图像迁移损失函数，最小化函数包含两部分，其中局部特征优化损失函数，通过图生成的特征图进行更细分块，使得生成的合成图像具有更好的细节特征，而全局特征优化损失函数，用于保存源风格图像的全局特征，减少或避免迁移错误的发生。然后，利用梯度下降法，经多次迭代最小化损失函数，最后生成风格迁移结果图像。
[0050] (3)本方法实现了在图像风格迁移过程中，更好地利用源图像局部特征，同时保存源图像全局特征。
附图说明
[0051] 图1是本发明的系统流程图；
[0052] 图2是本发明的模型架构图；
[0053] 图3是本发明实施采用的一个内容图像；
[0054] 图4是本发明实施采用的一个风格图像；
[0055] 图5是本发明图像风格迁移方法的风格迁移结果示意图；
[0056] 图6是采用传统方法图像风格迁移方法的风格迁移结果示意图；
具体实施方式
[0057] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0058] 请参阅图1-4，本发明提供一种技术方案：基于局部和全局优化融合图像卷积神经网络风格迁移方法,包括以下步骤：
[0059] 步骤1，选取一张需要进行风格迁移的内容图像和一张作为风格来源的风格图像；
[0060] 步骤2，采用深度卷积神经网络VGG-19作为图像高级特征提取原始模型，并以relu5_3为内容约束特征提取层，以relu3_1和relu4_1为风格局部约束特征提取层；提取relu5_1，relu3_1和relu4_1生成一个新的神经网络模型F1，用于对图像风格迁移的局部优化；
[0061] 步骤3，从VGG-19模型中，选取relu2_1，relu3_1和relu4_1为风格全局约束特征提取层；生成一个新的深神经网络模型F2，用于对图像风格迁移的全局优化；
[0062] 步骤4，随机生成高斯噪声图像为初始化新图像；
[0063] 步骤5，根据内容图像的尺寸大小来调整初始化新图像的尺寸；
[0064] 步骤6，将风格图像和初始化的新图像输入到卷积神经网络模型F1中，再利用马尔可夫随机场，利用局部风格约束层上的特征图，计算局部风格约束层损失函数；
[0065] 步骤7，将内容图像和初始化新图像输入到卷积神经网络模型F1中，利用马尔可夫随机场模型，在神经网络模型F1中在内容约束层上，计算的内容约束损失函数；
[0066] 步骤8，将风格图像和初始化的新图像输入到卷积神经网络模型F2中，利用全局风格约束层上的特征图，计算全局风格约束层损失函数；
[0067] 步骤9，综合步骤6，步骤7和步骤8的结果，得到总的损失函数，[0068] 步骤10，采用基于梯度下降法的优化算法生成图像风格迁移结果，即采用梯度下降法，通过迭代计算生成风格迁移图像的梯度，并利用总的损失函数，沿负梯度方向逼近原内容图像和风格图像，以让每次迭代生成的风格迁移图像尽可能地分别与原内容图像和风格图像相似；
[0069] 步骤11，重复步骤6-10进行100次迭代，再调整内容图像的大小，重复步骤5-10进行3次迭代，输出最终的图像风格迁移图像。
[0070] 本发明中，步骤5中，将初始化新图像的大小设置为 其中wc，hc分别为内容图像的长和宽，L为调整图像大小的参数，每次
迭代L分别取3、2、1。
[0071] 优选的，所述的步骤6中，局部风格约束层损失函数为：
[0072]
[0073] 其中，φ(x)为x的特征图，i表示第i个，j表示第j个,将φ(x)按r*r大小的局部块即local patch进行分割，每个local patch即Φ(φ(x))，将φ(x)分割生成p1个local patch， 表示风格图像，R表示实数集，ws，hs分别为风格图像的长和宽，其中R表示实数集，wc，hc分别为内容图像的长和宽；
[0074] Φi(φ(x))表示Φ(φ(x))中的第i个local patch，而ΦTT(i)(φ(xs))表示Ψ(Φ(xs))中与Φi(φ(x))最匹配的一个local patch；其中，local patch选取规则定义为[0075]
[0076] 本发明中，步骤7中，内容约束损失函数为
[0077] Ec(φ(x),φ(xc))＝||φ(x)-φ(xc)||2。
[0078] 本发明中，步骤8中，全局风格约束损失函数为
[0079]
[0080] 其中w为每一层在重构误差中的比重，取值范围为w∈[0,1]。Nl表示在第l层中，特征图的个数。Sl表示在第l层中，特征图的面积。 表示在第l层中第i个特征图，Ψ为gram矩阵， 其中 表示 和 内积，因此，Ψl为表示第l层中所有特征图φ(x)两两相互内积之和。
[0081] 本发明中，步骤9中，总的损失函数为
[0082] E(x)＝α1Elocal(Φ(x),Φ(xs))+α2Eglobal(Φ(x),Φ(xs))+α3Ec(Φ(x),Φ(xc))[0083] 其中α1，α2和α3分别为用于调节生成图像中包含的原内容图像和风格图像的强度的调节参数，取值范围为α1∈[10-5,10-3]，α2∈[0,100]，α3∈[0,100]。
[0084] 本发明中，步骤10中，所述的基于梯度下降法的优化算法包括以下步骤：
[0085] (1)初始化，迭代参数i＝0，j＝m，定义矩阵H并初始化为元素都为1的对角矩阵，允许误差ε＝10-5，利用神经网络模型F1，把x0作为输入，调用网络模型反向函数，计算梯度利用神经网络模型F2，把x0作为输入，调用网络模型反向函数，得到梯度得到初始梯度 x0为步骤4中随机生成的高斯噪声图像；
[0086] (2)如果i<＝itr或者如果 则输出第i次迭代结果xi+1，并结束优化算法；否则转步骤(3)；其中itr为最高迭代次数；
[0087] (3)定义pi为第i次迭代的负梯度方向pi＝-gi；
[0088] (4)更新第i次迭代的结果，xi+1＝xi+pi；
[0089] (5)定义si为上一步的结果xi和本次迭代的结果误差，即si＝xi+1-xi，定义yi为上一步的结果梯度的 和本次迭代结果的梯度 误差，即 定义其中T表示矩阵转制；
[0090] (6)更新
[0091] (7)定义变量q为xi的梯度
[0092] (8)j＝1迭代计算
[0093] 取 更新q,q＝q-aiyi-j，直到j＝m，m为预设的迭代次数；
[0094] (9)更新gi,gi＝Hiq；
[0095] (10)j＝1迭代计算
[0096] 取， 更新gi，gi＝gi+si-j(aj-b)，直到j＝m
[0097] (11)更新迭代步骤，i＝i+1,跳转到步骤(2)。
[0098] 本发明中，在执行步骤(5)后，还包括保留最近m次的结果的步骤，如果i>m，则删除si-m、si-m-1...s1和yi-m、yi-m-1...y1。
[0099] 生成的风格转移效果图像如图5；
[0100] 实验结果表面，本发明能够有效地实现图像的风格转移功能。
[0101] 综上所述，本发明利用VGG-19作为图像高级风格特征提取基础模型，通过选取全局特征提取层，先建立新的网络模型F1，用于对图像风格迁移的局部优化；然后选取局部特征提取层，建立新的网络模型F2，用于对图像风格迁移的全局优化。分别采用网络模型F1和F2提取内容图像和风格图像的特征图；本发明定义一个新的图像迁移损失函数，最小化函数包含两部分，其中局部特征优化损失函数，通过图生成的特征图进行更细分块，使得生成的合成图像具有更好的细节特征，而全局特征优化损失函数，用于保存源风格图像的全局特征，减少或避免迁移错误的发生。然后，利用梯度下降法，经多次迭代最小化损失函数，最后生成风格迁移结果图像；本方法实现了在图像风格迁移过程中，更好地利用源图像局部特征，同时保存源图像全局特征。
[0102] 对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
