图像风格化处理方法、装置、计算设备及计算机存储介质

摘要

本发明公开了一种图像风格化处理方法、装置、计算设备及计算机存储介质，其中，图像风格化处理方法基于经过训练的第一网络而执行，该方法包括：获取一第一图像；将第一图像输入至第一网络中，得到与第一图像的风格对应的第二网络；利用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像。根据本发明提供的技术方案，利用经过训练的第一网络能够快速地得到对应的图像转换网络，提高了图像风格化处理的效率，优化了图像风格化处理方式。

权利要求

1.一种图像风格化处理方法，所述方法基于经过训练的第一网络而执行，所述方法包括：

获取一第一图像；

将所述第一图像输入至所述第一网络中，得到与所述第一图像的风格对应的第二网络；其中，第一网络训练所用的样本图像包含：风格图像库存储的多个第一样本图像和内容图像库存储的多个第二样本图像；

利用所述第二网络对待处理的第二图像进行风格化处理，得到与所述第二图像对应的第三图像；其中，所述第一网络的训练过程通过多次迭代完成；在多次迭代过程中，固定提取一个第一样本图像，替换地提取至少一个第二样本图像；当所述内容图像库中的第二样本图像提取完毕后，替换下一个第一样本图像，再替换地提取至少一个第二样本图像；

所述将所述第一图像输入至所述第一网络中，得到与所述第一图像的风格对应的第二网络进一步包括：

将所述第一图像输入至第一网络中，在所述第一网络中进行一次前向传播运算，得到与所述第一图像的风格对应的第二网络。

2.根据权利要求1所述的方法，其中，在一次迭代过程中，从所述风格图像库中提取一个第一样本图像，从所述内容图像库中提取至少一个第二样本图像，利用所述一个第一样本图像和所述至少一个第二样本图像实现第一网络的训练。

3.根据权利要求1所述的方法，其中，所述第一网络的训练过程通过多次迭代完成；其中一次迭代过程包括：

利用与第一样本图像的风格对应的第二网络，生成与第二样本图像对应的第三样本图像；

根据所述第三样本图像与所述第一样本图像之间的风格损失以及所述第三样本图像与所述第二样本图像之间的内容损失，得到第一网络损失函数，利用所述第一网络损失函数实现第一网络的训练。

4.根据权利要求1所述的方法，其中，所述第一网络的训练步骤包括：从所述风格图像库中提取一个第一样本图像，从所述内容图像库中提取至少一个第二样本图像；

将所述第一样本图像输入至第一网络中，得到与所述第一样本图像的风格对应的第二网络；

利用与所述第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像；

根据至少一个第三样本图像与所述第一样本图像之间的风格损失以及至少一个第三样本图像与对应的第二样本图像之间的内容损失，得到第一网络损失函数，根据所述第一网络损失函数更新所述第一网络的权重参数；

迭代执行所述第一网络的训练步骤，直至满足预定收敛条件。

5.根据权利要求4所述的方法，其中，所述预定收敛条件包括：迭代次数达到预设迭代次数；和/或，所述第一网络损失函数的输出值小于预设阈值；和/或，与所述第二样本图像对应的第三样本图像的视觉效果参数达到预设视觉效果参数。

6.根据权利要求1所述的方法，所述将所述第一样本图像输入至第一网络中，得到与所述第一样本图像的风格对应的第二网络进一步包括：从所述第一样本图像中提取风格纹理特征；

将所述风格纹理特征输入至第一网络中，得到与所述风格纹理特征对应的第二网络。

7.根据权利要求1‑6中任一项所述的方法，所述第一网络为对神经网络进行训练得到的元网络，所述第二网络为图像转换网络。

8.根据权利要求1‑6中任一项所述的方法，所述方法由终端执行。

9.一种图像风格化处理装置，所述装置基于经过训练的第一网络而运行，所述装置包括：

获取模块，适于获取一第一图像；

映射模块，适于将所述第一图像输入至所述第一网络中，得到与所述第一图像的风格对应的第二网络；其中，第一网络训练所用的样本图像包含：风格图像库存储的多个第一样本图像和内容图像库存储的多个第二样本图像；

处理模块，适于利用所述第二网络对待处理的第二图像进行风格化处理，得到与所述第二图像对应的第三图像；

以及第一网络训练模块；所述第一网络的训练过程通过多次迭代完成；所述第一网络训练模块进一步适于：固定提取一个第一样本图像，替换地提取至少一个第二样本图像；当所述内容图像库中的第二样本图像提取完毕后，替换下一个第一样本图像，再替换地提取至少一个第二样本图像；

所述映射模块进一步适于：

将所述第一图像输入至第一网络中，在所述第一网络中进行一次前向传播运算，得到与所述第一图像的风格对应的第二网络。

10.根据权利要求9所述的装置，其中，所述第一网络训练模块适于：在一次迭代过程中，从所述风格图像库中提取一个第一样本图像，从所述内容图像库中提取至少一个第二样本图像，利用所述一个第一样本图像和所述至少一个第二样本图像实现第一网络的训练。

11.根据权利要求9所述的装置，其中，所述装置还包括：第一网络训练模块；所述第一网络的训练过程通过多次迭代完成；

所述第一网络训练模块适于：在一次迭代过程中，利用与第一样本图像的风格对应的第二网络，生成与第二样本图像对应的第三样本图像；根据所述第三样本图像与所述第一样本图像之间的风格损失以及所述第三样本图像与所述第二样本图像之间的内容损失，得到第一网络损失函数，利用所述第一网络损失函数实现第一网络的训练。

12.根据权利要求9所述的装置，其中，所述装置还包括：第一网络训练模块；

所述第一网络训练模块包括：

提取单元，适于从所述风格图像库中提取一个第一样本图像，从所述内容图像库中提取至少一个第二样本图像；

生成单元，适于将所述第一样本图像输入至第一网络中，得到与所述第一样本图像的风格对应的第二网络；

处理单元，适于利用与所述第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像；

更新单元，适于根据至少一个第三样本图像与所述第一样本图像之间的风格损失以及至少一个第三样本图像与对应的第二样本图像之间的内容损失，得到第一网络损失函数，根据所述第一网络损失函数更新所述第一网络的权重参数；

所述第一网络训练模块迭代运行，直至满足预定收敛条件。

13.根据权利要求12所述的装置，其中，所述预定收敛条件包括：迭代次数达到预设迭代次数；和/或，所述第一网络损失函数的输出值小于预设阈值；和/或，与所述第二样本图像对应的第三样本图像的视觉效果参数达到预设视觉效果参数。

14.根据权利要求12所述的装置，所述生成单元进一步适于：从所述第一样本图像中提取风格纹理特征；

将所述风格纹理特征输入至第一网络中，得到与所述风格纹理特征对应的第二网络。

15.根据权利要求9‑14中任一项所述的装置，所述第一网络为对神经网络进行训练得到的元网络，所述第二网络为图像转换网络。

16.一种终端，包括权利要求9‑15中任一项所述的图像风格化处理装置。

17.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1‑8中任一项所述的图像风格化处理方法对应的操作。

18.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1‑8中任一项所述的图像风格化处理方法对应的操作。

说明书

图像风格化处理方法、装置、计算设备及计算机存储介质

技术领域

[0001] 本发明涉及图像处理技术领域，具体涉及一种图像风格化处理方法、装置、计算设备及计算机存储介质。

背景技术

[0002] 利用图像风格化处理技术，能够将风格图像上的风格转移到日常拍摄的图像上，使得图像能够获得更好的视觉效果。在现有技术中，是将一个给定的风格图像直接输入至
一个神经网络(neural network)中，然后利用大量的内容图像作为样本图像，经过多次迭
代训练得到与给定的风格图像对应的图像转换网络，利用该图像转换网络实现输入内容图
像的风格转换。

[0003] 现有技术中，对于任意给定的风格图像，都需要进行成千上万次的迭代运算对神经网络进行训练，得到该风格对应的图像转换网络。在图像转换网络的训练过程中，成千上
万次的迭代运算造成计算量巨大，这将会需要很长的训练时间，导致图像风格化处理效率
低下。

发明内容

[0004] 鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的图像风格化处理方法、装置、计算设备及计算机存储介质。

[0005] 根据本发明的一个方面，提供了一种图像风格化处理方法，该方法基于经过训练的第一网络而执行，该方法包括：

[0006] 获取一第一图像；

[0007] 将第一图像输入至第一网络中，得到与第一图像的风格对应的第二网络；

[0008] 利用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像。

[0009] 进一步地，第一网络训练所用的样本图像包含：风格图像库存储的多个第一样本图像和内容图像库存储的多个第二样本图像。

[0010] 进一步地，第一网络的训练过程通过多次迭代完成；在一次迭代过程中，从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像，利用一个第
一样本图像和至少一个第二样本图像实现第一网络的训练。

[0011] 进一步地，在多次迭代过程中，固定提取一个第一样本图像，替换地提取至少一个第二样本图像；当内容图像库中的第二样本图像提取完毕后，替换下一个第一样本图像，再
替换地提取至少一个第二内容样本图像。

[0012] 进一步地，第一网络的训练过程通过多次迭代完成；其中一次迭代过程包括：

[0013] 利用与第一样本图像的风格对应的第二网络，生成与第二样本图像对应的第三样本图像；

[0014] 根据所述第三样本图像与所述第一样本图像之间的风格损失以及所述第三样本图像与所述第二样本图像之间的内容损失，得到第一网络损失函数，利用所述第一网络损
失函数实现第一网络的训练。

[0015] 进一步地，第一网络的训练步骤包括：

[0016] 从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像；

[0017] 将第一样本图像输入至第一网络中，得到与第一样本图像的风格对应的第二网络；

[0018] 利用与第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像；

[0019] 根据至少一个第三样本图像与第一样本图像之间的风格损失以及至少一个第三样本图像与对应的第二样本图像之间的内容损失，得到第一网络损失函数，根据第一网络
损失函数更新第一网络的权重参数；

[0020] 迭代执行第一网络的训练步骤，直至满足预定收敛条件。

[0021] 进一步地，预定收敛条件包括：迭代次数达到预设迭代次数；和/或，第一网络损失函数的输出值小于预设阈值；和/或，与第二样本图像对应的第三样本图像的视觉效果参数
达到预设视觉效果参数。

[0022] 进一步地，将第一图像输入至第一网络中，得到与第一图像的风格对应的第二网络进一步包括：

[0023] 将第一图像输入至第一网络中，在第一网络中进行一次前向传播运算，得到与第一图像的风格对应的第二网络。

[0024] 进一步地，将第一样本图像输入至第一网络中，得到与第一样本图像的风格对应的第二网络进一步包括：

[0025] 从第一样本图像中提取风格纹理特征；

[0026] 将风格纹理特征输入至第一网络中，得到与风格纹理特征对应的第二网络。

[0027] 进一步地，第一网络为对神经网络进行训练得到的元网络，第二网络为图像转换网络。

[0028] 进一步地，该方法由终端执行。

[0029] 根据本发明的另一方面，提供了一种图像风格化处理装置，该装置基于经过训练的第一网络而运行，该装置包括：

[0030] 获取模块，适于获取一第一图像；

[0031] 映射模块，适于将第一图像输入至第一网络中，得到与第一图像的风格对应的第二网络；

[0032] 处理模块，适于利用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像。

[0033] 进一步地，第一网络训练所用的样本图像包含：风格图像库存储的多个第一样本图像和内容图像库存储的多个第二样本图像。

[0034] 进一步地，该装置还包括：第一网络训练模块；第一网络的训练过程通过多次迭代完成；

[0035] 第一网络训练模块适于：在一次迭代过程中，从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像，利用一个第一样本图像和至少一个第
二样本图像实现第一网络的训练。

[0036] 进一步地，第一网络训练模块进一步适于：

[0037] 固定提取一个第一样本图像，替换地提取至少一个第二样本图像；当内容图像库中的第二样本图像提取完毕后，替换下一个第一样本图像，再替换地提取至少一个第二样
本图像。

[0038] 进一步地，该装置还包括：第一网络训练模块；第一网络的训练过程通过多次迭代完成；

[0039] 第一网络训练模块适于：在一次迭代过程中，利用与第一样本图像的风格对应的第二网络，生成与第二样本图像对应的第三样本图像；根据第三样本图像与第一样本图像
之间的风格损失以及第三样本图像与第二样本图像之间的内容损失，得到第一网络损失函
数，利用所述第一网络损失函数实现第一网络的训练。

[0040] 进一步地，该装置还包括：第一网络训练模块；

[0041] 第一网络训练模块包括：

[0042] 提取单元，适于从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像；

[0043] 生成单元，适于将第一样本图像输入至第一网络中，得到与第一样本图像的风格对应的第二网络；

[0044] 处理单元，适于利用与第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像；

[0045] 更新单元，适于根据至少一个第三样本图像与第一样本图像之间的风格损失以及至少一个第三样本图像与对应的第二样本图像之间的内容损失，得到第一网络损失函数，
根据第一网络损失函数更新第一网络的权重参数；

[0046] 第一网络训练模块迭代运行，直至满足预定收敛条件。

[0047] 进一步地，预定收敛条件包括：迭代次数达到预设迭代次数；和/或，第一网络损失函数的输出值小于预设阈值；和/或，与第二样本图像对应的第三样本图像的视觉效果参数
达到预设视觉效果参数。

[0048] 进一步地，映射模块进一步适于：

[0049] 将第一图像输入至第一网络中，在第一网络中进行一次前向传播运算，得到与第一图像的风格对应的第二网络。

[0050] 进一步地，生成单元进一步适于：

[0051] 从第一样本图像中提取风格纹理特征；

[0052] 将风格纹理特征输入至第一网络中，得到与风格纹理特征对应的第二网络。

[0053] 进一步地，第一网络为对神经网络进行训练得到的元网络，第二网络为图像转换网络。

[0054] 根据本发明的另一方面，提供了一种终端，包括上述的图像风格化处理装置。

[0055] 根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；

[0056] 存储器用于存放至少一可执行指令，可执行指令使处理器执行上述图像风格化处理方法对应的操作。

[0057] 根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述图像风格化处理方法对应的操作。

[0058] 根据本发明提供的技术方案，获取一第一图像，接着将第一图像输入至第一网络中，得到与第一图像的风格对应的第二网络，然后利用第二网络对第二图像进行风格化处
理，得到与第二图像对应的第三图像。与现有技术中的图像风格化处理方式相比，本发明提
供的技术方案利用经过训练的第一网络能够快速地得到对应的图像转换网络，提高了图像
风格化处理的效率，优化了图像风格化处理方式。

[0059] 上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够
更明显易懂，以下特举本发明的具体实施方式。

附图说明

[0060] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明
的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

[0061] 图1示出了根据本发明一个实施例的图像风格化处理方法的流程示意图；

[0062] 图2a示出了第一图像的示例图；

[0063] 图2b示出了第二图像的示例图；

[0064] 图2c示出了第三图像的示例图；

[0065] 图3示出了根据本发明一个实施例的网络训练方法的流程示意图；

[0066] 图4示出了根据本发明另一个实施例的图像风格化处理方法的流程示意图；

[0067] 图5示出了根据本发明一个实施例的图像风格化处理装置的结构框图；

[0068] 图6示出了根据本发明另一个实施例的图像风格化处理装置的结构框图；

[0069] 图7示出了根据本发明另一个实施例的网络训练装置的结构框图；

[0070] 图8示出了根据本发明实施例的一种计算设备的结构示意图。

具体实施方式

[0071] 下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例
所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围
完整的传达给本领域的技术人员。

[0072] 图1示出了根据本发明一个实施例的图像风格化处理方法的流程示意图，该方法由终端执行，该方法基于经过训练的第一网络而执行，如图1所示，该方法包括如下步骤：

[0073] 步骤S100，获取一第一图像。

[0074] 其中，第一图像可以是具有任意风格的风格图像，并不限于具有某些特定风格的风格图像。当用户想要将图像处理成与某一个第一图像具有一致风格的图像时，可在步骤
S100中获取该第一图像。为了与第一图像进行区分，在本发明中将用户想要处理的图像称
为待处理的第二图像。

[0075] 步骤S101，将第一图像输入至第一网络中，得到与第一图像的风格对应的第二网络。

[0076] 第一网络是经过训练的，具体地，第一网络训练所用的样本图像包含：风格图像库存储的多个第一样本图像和内容图像库存储的多个第二样本图像。其中，第一样本图像为
风格样本图像，第二样本图像为内容样本图像。经训练得到的第一网络能够很好地适用于
任意风格图像和任意内容图像，所以在步骤S101中将步骤S100所获取的第一图像输入至第
一网络中后，无需再针对该第一图像进行训练，就能够快速地映射得到与该第一图像的风
格对应的第二网络。

[0077] 其中，第一网络的训练过程通过多次迭代完成。可选地，在一次迭代过程中，从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像，利用一
个第一样本图像和至少一个第二样本图像对第一网络进行训练。

[0078] 可选地，一次迭代过程包括：利用与第一样本图像的风格对应的第二网络，生成与第二样本图像对应的第三样本图像；根据第三样本图像与第一样本图像之间的风格损失以
及第三样本图像与第二样本图像之间的内容损失，得到第一网络损失函数，根据第一网络
损失函数更新第一网络的权重参数。

[0079] 在本发明具体实施例中，第一网络为对神经网络进行训练得到的元网络(meta network)，第二网络为图像转换网络。在现有技术中，是直接利用神经网络经长时间训练得
到对应的图像转换网络，而在本发明中是对神经网络进行训练，由于经训练得到的元网络
能够很好地适用于任意风格图像和任意内容图像，那么利用元网络就能够快速地映射得到
对应的图像转换网络，而并不是直接利用神经网络训练得到图像转换网络，因此与现有技
术相比，极大地了提高了获得图像转换网络的速度。

[0080] 步骤S102，利用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像。

[0081] 在得到了与第一图像的风格对应的第二网络之后，利用第二网络对待处理的第二图像进行风格化处理，经风格化处理后所得到的第三图像即为与第二图像对应的风格迁移
图像，该风格迁移图像具有与第一图像一致的风格。图2a和图2b分别示出了第一图像和第
二图像的示例图，利用与图2a所示的第一图像的风格对应的第二网络对图2b所示的第二图
像进行风格化处理，所得到的对应的第三图像如图2c所示。如图2c所示，该第三图像已具有
了图2a所示的第一图像的风格。

[0082] 根据本发明实施例提供的图像风格化处理方法，获取一第一图像，接着将第一图像输入至第一网络中，得到与第一图像的风格对应的第二网络，然后利用第二网络对待处
理的第二图像进行风格化处理，得到与第二图像对应的第三图像。与现有技术中的图像风
格化处理方式相比，本发明提供的技术方案利用经过训练的第一网络能够快速地得到对应
的图像转换网络，有效地提高了图像风格化处理的效率，优化了图像风格化处理方式。

[0083] 图3示出了根据本发明一个实施例的网络训练方法的流程示意图，如图3所示，第一网络的训练步骤包括如下步骤：

[0084] 步骤S300，从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像。

[0085] 在具体训练过程中，风格图像库存储了10万个第一样本图像，内容图像库存储了10万个第二样本图像，其中，第一样本图像为风格图像，第二样本图像为内容图像。在步骤
S300中，从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本
图像。本领域技术人员可根据实际需要设置第二样本图像的数量，此处不做限定。

[0086] 步骤S301，将第一样本图像输入至第一网络中，得到与第一样本图像的风格对应的第二网络。

[0087] 在本发明的一个具体实施例中，第一网络为对神经网络进行训练得到的元网络。例如，神经网络可为VGG‑16卷积神经网络(convolutional neural network)。具体地，在步
骤S301中，从第一样本图像中提取风格纹理特征，然后将所提取的风格纹理特征输入至第
一网络中，在第一网络中进行前向传播(forward propagation)运算，得到与风格纹理特征
对应的第二网络。

[0088] 步骤S302，利用与第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像。

[0089] 在得到了与第一样本图像的风格对应的第二网络之后，就可利用与第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像，第三
样本图像即为与第二样本图像对应的风格迁移图像，风格迁移图像具有与第一样本图像一
致的风格。当在步骤S300中提取了8个第二样本图像，那么在步骤S302中，分别针对8个第二
样本图像生成对应的第三样本图像，即针对每一个第二样本图像生成了一个对应的第三样
本图像。

[0090] 步骤S303，根据至少一个第三样本图像与第一样本图像之间的风格损失以及至少一个第三样本图像与对应的第二样本图像之间的内容损失，得到第一网络损失函数，根据
第一网络损失函数更新第一网络的权重参数。

[0091] 其中，本领域技术人员可根据实际需要设置第一网络损失函数的具体内容，此处不做限定。在一个具体实施例中，第一网络损失函数可以为：

[0092]

[0093] 其中，Ic为第二样本图像，Is为第一样本图像，I为第三样本图像，CP为用于感知内容差别的感知函数，SP为用于感知风格差别的感知函数， 为第三样本图
像与对应的第二样本图像之间的内容损失， 为第三样本图像与第一样本
图像之间的风格损失，θ为第一网络的权重参数，λc为预设内容损失权重，λs为预设风格损失
权重。根据上述第一网络损失函数，进行反向传播(back propagation)运算，通过运算结果
更新第一网络的权重参数θ。

[0094] 在一个具体的训练过程中，第一网络为对神经网络进行训练得到的元网络，第二网络为图像转换网络。利用随机梯度下降(stochastic gradient descent)算法训练第一
网络。具体地训练过程包括：

[0095] 1.设置一个第一样本图像的迭代次数k和第二样本图像Ic的个数m。例如，可将迭代次数k设置为20，将第二样本图像Ic的个数m设置为8，表示在元网络的训练过程中，针对
一个第一样本图像需要迭代20次，每次迭代需要从内容图像库中提取8个第二样本图像Ic。

[0096] 2.从风格图像库中固定提取一个第一样本图像Is。

[0097] 3.将第一样本图像Is输入至第一网络N(·；θ)中，在第一网络N(·；θ)中进行前馈传播(feed‑forward propagation)运算，得到与第一样本图像Is的风格对应的第二网络w。
其中，第二网络w与第一网络N(·；θ)的映射公式为：w←N(Is；θ)。

[0098] 4.输入m个第二样本图像Ic。其中，m个第二样本图像Ic可用 表示。

[0099] 5.利用第二网络w，分别针对每一个第二样本图像Ic生成对应的第三样本图像I。

[0100] 6.根据第一网络损失函数更新第一网络的权重参数θ。

[0101] 其中，第一网络损失函数具体为：

[0102]

[0103] 在第一网络损失函数中，λc为预设内容损失权重，λs为预设风格损失权重。

[0104] 步骤S304，迭代执行第一网络的训练步骤，直至满足预定收敛条件。

[0105] 其中，本领域技术人员可根据实际需要设置预定收敛条件，此处不做限定。例如，预定收敛条件可包括：迭代次数达到预设迭代次数；和/或，第一网络损失函数的输出值小
于预设阈值；和/或，与第二样本图像对应的第三样本图像的视觉效果参数达到预设视觉效
果参数。具体地，可以通过判断迭代次数是否达到预设迭代次数来判断是否满足预定收敛
条件，也可以根据第一网络损失函数的输出值是否小于预设阈值来判断是否满足预定收敛
条件，还可以通过判断与第二样本图像对应的第三样本图像的视觉效果参数是否达到预设
视觉效果参数来判断是否满足预定收敛条件。在步骤S304中，迭代执行第一网络的训练步
骤，直至满足预定收敛条件，从而得到经过训练的第一网络。

[0106] 值得注意的是，为了提升训练过程中第一网络的稳定性，本发明在多次迭代过程中，固定提取一个第一样本图像，替换地提取至少一个第二样本图像；当内容图像库中的第
二样本图像提取完毕后，替换下一个第一样本图像，再替换地提取至少一个第二样本图像。

[0107] 通过先固定第一样本图像并不断替换第二样本图像的方式，能够高效地训练得到适用于该第一样本图像和任意第二样本图像的第一网络，接着再替换下一个第一样本图像
并不断替换第二样本图像，从而训练得到适用于上述两个第一样本图像和任意第二样本图
像的第一网络。重复上述过程直至风格图像库中的第一样本图像和内容图像库中的第二样
本图像均提取完毕，就能够训练得到适用于任意第一样本图像和任意第二样本图像的第一
网络，相当于训练得到了适用于任意风格图像和任意内容图像的第一网络，从而有效地缩
减了训练第一网络所需的时间，提高了第一网络的训练效率。

[0108] 图4示出了根据本发明另一个实施例的图像风格化处理方法的流程示意图，该方法由终端执行，该方法基于经过训练的第一网络而执行，如图4所示，该方法包括如下步骤：

[0109] 步骤S400，获取一第一图像。

[0110] 其中，第一图像可以是具有任意风格的风格图像，并不限于具有某些特定风格的风格图像。具体地，第一图像可以是网站中的风格图像，也可以是其他用户分享的风格图
像。当用户想要将待处理的第二图像处理成与某一个第一图像具有一致风格的图像时，可
在步骤S400中获取该第一图像。

[0111] 步骤S401，将第一图像输入至第一网络中，在第一网络中进行一次前向传播运算，得到与第一图像的风格对应的第二网络。

[0112] 由于第一网络是经过训练的，该第一网络能够很好地适用于任意风格图像和任意内容图像，所以将第一图像输入至第一网络中后，无需再针对该第一图像进行训练，只需在
第一网络中进行一次前向传播运算，就能够快速地映射得到与该第一图像的风格对应的第
二网络。在具体应用中，将第一图像输入至第一网络中后，只需0.02s就能够得到与该第一
图像的风格对应的第二网络，与现有技术相比，有效地提高了获得图像转换网络的速度。

[0113] 步骤S402，利用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像。

[0114] 在得到了与第一图像的风格对应的第二网络之后，利用第二网络对待处理的第二图像进行风格化处理，可方便地得到与第二图像对应的第三图像。第三图像即为与第二图
像对应的风格迁移图像。

[0115] 下面通过与现有技术中的两种图像风格化处理方法进行对比说明本发明提供的图像风格化处理方法所具有的优势。其中，表1示出了本方法与现有技术中的两种图像风格
化处理方法的比较结果。

[0116] 表1

[0117]

[0118] 如表1所示，盖提斯等人于2015年提交了论文《一种艺术风格的神经算法》，该论文中所提出的方法无法得到图像转换网络，但能够适用于任何风格，需耗时9.52s才能得到对
应的风格迁移图像。

[0119] 约翰逊等人于2016年在欧洲计算机视觉会议中发表了论文《实时风格转换和超分辨率的感知损失》，该论文中所提出的方法需耗时4h才得到相应的图像转换网络，且只能适
用于一种风格，但只需耗时0.015s得到对应的风格迁移图像。

[0120] 而本发明提供的图像风格化处理方法与上述两种方法相比，不仅能够适用于任何风格，而且仅需耗时0.022s得到相应的图像转换网络，并只需耗时0.015s得到对应的风格
迁移图像，有效地提高了获得图像转换网络的速度和获得风格迁移图像的效率。

[0121] 根据本发明实施例提供的图像风格化处理方法，获取一第一图像，接着将第一图像输入至第一网络中，在第一网络中进行一次前向传播运算，得到与第一图像的风格对应
的第二网络，然后利用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对
应的第三图像。与现有技术中的图像风格化处理方式相比，本发明提供的技术方案在经过
训练的第一网络中进行一次前向传播运算，就能够快速地映射得到对应的图像转换网络，
有效地提高了获得图像转换网络的速度，提高了图像风格化处理的效率，优化了图像风格
化处理方式；另外，利用所得到的图像转换网络能够方便、快速地对图像进行风格化处理。

[0122] 图5示出了根据本发明一个实施例的图像风格化处理装置的结构框图，该装置基于经过训练的第一网络而运行，如图5所示，该装置包括：获取模块510、映射模块520和处理
模块530。

[0123] 获取模块510适于：获取一第一图像。

[0124] 其中，第一图像可以是具有任意风格的风格图像，并不限于具有某些特定风格的风格图像。当用户想要将待处理的第二图像处理成与某一个第一图像具有一致风格的图像
时，获取模块510需要获取该第一图像。

[0125] 映射模块520适于：将第一图像输入至第一网络中，得到与第一图像的风格对应的第二网络。

[0126] 具体地，第一网络训练所用的样本图像包含：风格图像库存储的多个第一样本图像和内容图像库存储的多个第二样本图像。映射模块520将获取模块510所获取的第一图像
输入至第一网络中后，无需针对该第一图像进行训练，就能够快速地映射得到与第一图像
的风格对应的第二网络。

[0127] 处理模块530适于：利用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像。

[0128] 处理模块530利用映射模块520得到的第二网络对待处理的第二图像进行风格化处理，方便地得到与第二图像对应的第三图像，该第三图像具有与第一图像一致的风格。

[0129] 根据本发明实施例提供的图像风格化处理装置，获取模块获取一第一图像，映射模块将第一图像输入至第一网络中，得到与第一图像的风格对应的第二网络，处理模块利
用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像。与现
有技术中的图像风格化处理方式相比，本发明提供的技术方案利用经过训练的第一网络能
够快速地得到对应的图像转换网络，有效地提高了图像风格化处理的效率，优化了图像风
格化处理方式。

[0130] 图6示出了根据本发明另一个实施例的图像风格化处理装置的结构框图，如图6所示，该装置包括：获取模块610、第一网络训练模块620、映射模块630和处理模块640。

[0131] 获取模块610适于：获取一第一图像。

[0132] 其中，第一网络的训练过程通过多次迭代完成。第一网络训练模块620适于：在一次迭代过程中，从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第
二样本图像，利用一个第一样本图像和至少一个第二样本图像对第一网络进行训练。

[0133] 可选地，第一网络训练模块620适于：在一次迭代过程中，利用与第一样本图像的风格对应的第二网络，生成与第二样本图像对应的第三样本图像；根据第三样本图像与第
一样本图像之间的风格损失以及第三样本图像与第二样本图像之间的内容损失，得到第一
网络损失函数，根据第一网络损失函数更新第一网络的权重参数。

[0134] 在一个具体实施例中，第一网络训练模块620可包括：提取单元621、生成单元622、处理单元623和更新单元624。

[0135] 具体地，提取单元621适于：从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像。

[0136] 生成单元622适于：将第一样本图像输入至第一网络中，得到与第一样本图像的风格对应的第二网络。

[0137] 在本发明的一个具体实施例中，第一网络为对神经网络进行训练得到的元网络，第二网络为图像转换网络。生成单元622进一步适于：从第一样本图像中提取风格纹理特
征；将风格纹理特征输入至第一网络中，得到与风格纹理特征对应的第二网络。

[0138] 处理单元623适于：利用与第一样本图像的风格对应的第二网络，分别针对至少一个第二样本图像生成对应的第三样本图像。

[0139] 更新单元624适于：根据至少一个第三样本图像与第一样本图像之间的风格损失以及至少一个第三样本图像与对应的第二样本图像之间的内容损失，得到第一网络损失函
数，根据第一网络损失函数更新第一网络的权重参数。其中，本领域技术人员可根据实际需
要设置第一网络损失函数的具体内容，此处不做限定。在一个具体实施例中，第一网络损失
函数可以为：

[0140]

[0141] 其中，Ic为第二样本图像，Is为第一样本图像，I为第三样本图像，CP为用于感知内容差别的感知函数，SP为用于感知风格差别的感知函数， 为第三样本图
像与对应的第二样本图像之间的内容损失， 为第三样本图像与第一样本
图像之间的风格损失，θ为神经网络的权重参数，λc为预设内容损失权重，λs为预设风格损失
权重。

[0142] 第一网络训练模块620迭代运行，直至满足预定收敛条件。第一网络训练模块620进一步适于：固定提取一个第一样本图像，替换地提取至少一个第二样本图像；当内容图像
库中的第二样本图像提取完毕后，替换下一个第一样本图像，再替换地提取至少一个第二
样本图像。通过上述方式，能够高效地训练得到适用于任意风格图像和任意内容图像的第
一网络，从而有效地缩减了训练第一网络所需的时间，提高了第一网络的训练效率。

[0143] 映射模块630适于：将第一图像输入至第一网络中，在第一网络中进行一次前向传播运算，得到与第一图像的风格对应的第二网络。

[0144] 由于第一网络是经过第一网络训练模块620训练的，该第一网络能够很好地适用于任意风格图像和任意内容图像，所以映射模块630将获取模块610所获取的第一图像输入
至第一网络训练模块620训练得到的第一网络中，无需再针对该第一图像进行训练，只需在
第一网络中进行一次前向传播运算，就能够快速地映射得到与该第一图像的风格对应的第
二网络。

[0145] 处理模块640适于：利用第二网络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像。

[0146] 根据本发明实施例提供的图像风格化处理装置，获取模块获取一第一图像，第一网络训练模块对第一网络进行训练，映射模块将第一图像输入至第一网络中，在第一网络
中进行一次前向传播运算，得到与第一图像的风格对应的第二网络，处理模块利用第二网
络对待处理的第二图像进行风格化处理，得到与第二图像对应的第三图像。与现有技术中
的图像风格化处理方式相比，本发明提供的技术方案在经过训练的第一网络中进行一次前
向传播运算，就能够快速地映射得到对应的图像转换网络，有效地提高了获得图像转换网
络的速度，提高了图像风格化处理的效率，优化了图像风格化处理方式；另外，利用所得到
的图像转换网络能够方便、快速地对图像进行风格化处理。

[0147] 图7示出了根据本发明另一个实施例的网络训练装置的结构框图，该装置通过多次迭代完成，如图7所示，该装置包括：提取模块710、生成模块720、样本处理模块730和更新
模块740。

[0148] 提取模块710适于：提取第一样本图像和第二样本图像。

[0149] 提取模块710进一步适于：从风格图像库中提取一个第一样本图像，从内容图像库中提取至少一个第二样本图像。

[0150] 生成模块720适于：根据第一网络和第一样本图像，得到与第一样本图像的风格对应的第二网络。

[0151] 生成模块720进一步适于：将第一样本图像输入至第一网络中，得到与第一样本图像的风格对应的第二网络。具体地，生成模块720进一步适于：从第一样本图像中提取风格
纹理特征；将风格纹理特征输入至第一网络中，得到与风格纹理特征对应的第二网络。

[0152] 样本处理模块730适于：利用第二网络，生成与第二样本图像对应的第三样本图像。

[0153] 更新模块740适于：根据第三样本图像与第一样本图像、第二样本图像之间的损失更新第一网络的权重参数。

[0154] 更新模块740进一步适于：根据第三样本图像与第一样本图像之间的风格损失以及第三样本图像与第二样本图像之间的内容损失，得到第一网络损失函数，利用第一网络
损失函数更新第一网络的权重参数。

[0155] 其中，本领域技术人员可根据实际需要设置第一网络损失函数的具体内容，此处不做限定。在一个具体实施例中，第一网络损失函数可以为：

[0156]

[0157] 其中，Ic为第二样本图像，Is为第一样本图像，I为第三样本图像，CP为用于感知内容差别的感知函数，SP为用于感知风格差别的感知函数， 为第三样本图
像与对应的第二样本图像之间的内容损失， 为第三样本图像与第一样本
图像之间的风格损失，θ为第一网络的权重参数，λc为预设内容损失权重，λs为预设风格损失
权重。

[0158] 该网络训练装置迭代运行，直至满足预定收敛条件。其中，预定收敛条件包括：迭代次数达到预设迭代次数；和/或，第一网络损失函数的输出值小于预设阈值；和/或，与第
二样本图像对应的第三样本图像的视觉效果参数达到预设视觉效果参数。

[0159] 该网络训练装置进一步适于：在多次迭代过程中，固定提取一个第一样本图像，替换地提取至少一个第二样本图像；当内容图像库中的第二样本图像提取完毕后，替换下一
个第一样本图像，再替换地提取至少一个第二样本图像。该网络训练装置有效地缩减了训
练第一网络所需的时间，提高了第一网络的训练效率。

[0160] 本发明还提供了一种终端，该终端包括上述的图像风格化处理装置。其中，终端可为手机、PAD、电脑、摄像设备等。

[0161] 本发明还提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的图像风格化处理方法。其
中，计算机存储介质可为手机的存储卡、PAD的存储卡、电脑的磁盘、摄像设备的存储卡等。

[0162] 图8示出了根据本发明实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。其中，计算设备可为手机、PAD、电脑、摄像设备、服务器
等。

[0163] 如图8所示，该计算设备可以包括：处理器(processor)802、通信接口(Communications Interface)804、存储器(memory)806、以及通信总线808。

[0164] 其中：

[0165] 处理器802、通信接口804、以及存储器806通过通信总线808完成相互间的通信。

[0166] 通信接口804，用于与其它设备比如客户端或其它服务器等的网元通信。

[0167] 处理器802，用于执行程序810，具体可以执行上述图像风格化处理方法实施例中的相关步骤。

[0168] 具体地，程序810可以包括程序代码，该程序代码包括计算机操作指令。

[0169] 处理器802可能是中央处理器CPU，或者是特定集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电
路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可
以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

[0170] 存储器806，用于存放程序810。存储器806可能包含高速RAM存储器，也可能还包括非易失性存储器(non‑volatile memory)，例如至少一个磁盘存储器。

[0171] 程序810具体可以用于使得处理器802执行上述任意方法实施例中的图像风格化处理方法。程序810中各步骤的具体实现可以参见上述图像风格化处理实施例中的相应步
骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方
便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过
程描述，在此不再赘述。

[0172] 通过本实施例提供的方案，利用经过训练的第一网络能够快速地得到对应的图像转换网络，有效地提高了图像风格化处理的效率，优化了图像风格化处理方式。

[0173] 在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求
的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种
编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发
明的最佳实施方式。

[0174] 在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构
和技术，以便不模糊对本说明书的理解。

[0175] 类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施
例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保
护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面
的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，
遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身
都作为本发明的单独实施例。

[0176] 本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单
元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或
子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何
组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任
何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权
利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代
替。

[0177] 此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的
范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任
意之一都可以以任意的组合方式来使用。

[0178] 本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用
微处理器或者数字信号处理器(DSP)来实现根据本发明实施例中的一些或者全部部件的一
些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设
备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存
储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特
网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

[0179] 应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，
不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未
列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的
元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实
现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项
来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名
称。