训练图像的预处理方法及模块、鉴别器、可读存储介质

摘要

本发明提供一种训练图像的预处理方法，包括：获取训练图像的第一特征图像；对第一特征图像进行多次图像平移，以得到多个移位图像；移位图像中像素的行、列数与第一特征图像中像素的行、列数对应相同；根据第一特征图像与每个移位图像之间的相关性，生成多个相关性图像，相关性图像中像素的行、列数与第一特征图像中像素的行、列数对应相同；将所述多个相关性图像提供给鉴别网络。本发明还提供一种训练图像的预处理模块、鉴别器、计算机可读存储介质。本发明能够使鉴别器更准确地区分原始的高分辨率样本图像和生成器的输出结果，从而促使生成器能够训练得到更优的参数。

权利要求

1.一种训练图像的预处理方法，用于生成式对抗网络的训练过程中，所述生成式对抗网络包括鉴别网络，其特征在于，所述训练图像的预处理方法包括：获取训练图像的第一特征图像；

对所述第一特征图像进行多次图像平移，以得到多个移位图像；所述移位图像中像素的行、列数与所述第一特征图像中像素的行、列数对应相同；

根据所述第一特征图像与每个移位图像之间的相关性，生成多个相关性图像，所述相关性图像中像素的行、列数与所述第一特征图像中像素的行、列数对应相同；

将所述多个相关性图像提供给鉴别网络；

其中，所述移位图像的一部分区域中各像素的值与所述第一特征图像的相同大小的区域中各像素的值一一对应相同，所述移位图像的其余区域中的各像素值均为零；或者，所述移位图像的所有像素的值与所述第一特征图像的所有像素的值一一对应相同。

2.根据权利要求1所述的训练图像的预处理方法，其特征在于，所述相关性图像中，第i行第j列像素的值为所述第一特征图像中第i行第j列像素的值与所述移位图像中第i行第j列像素的值的乘积；

其中，1≤i≤X，1≤j≤Y，i、j均为整数，X为所述第一特征图像中像素的总行数，Y为所述第一特征图像中像素的总列数。

3.根据权利要求1所述的训练图像的预处理方法，其特征在于，每次所述图像平移包括：将所述第一特征图像的后a列像素沿行方向平移至其余像素之前，得到中间图像；

将所述中间图像的后b行像素沿列方向平移至其余像素之前，得到所述移位图像；

其中，0≤a＜Y，0≤b＜X，a、b均为整数，X为所述第一特征图像中像素的总行数，Y为所述第一特征图像中像素的总列数；并且，在任意两次图像平移过程中，a、b中至少一者的取值发生改变。

4.根据权利要求1所述的训练图像的预处理方法，其特征在于，所述获取训练图像的第一特征图像，包括：根据所述训练图像的亮度特征生成训练图像的亮度特征图像；

对所述亮度特征图像进行归一化，以得到所述训练图像的第一特征图像。

5.根据权利要求4所述的训练图像的预处理方法，其特征在于，所述训练图像为彩色图像，所述亮度特征图像中第i行第j列的像素值P根据以下公式计算：P＝0.299R+0.587G+0.114B

其中，R为训练图像中第i行第j列像素的红色分量值；G为训练图像中第i行第j列像素的绿色分量值；B为训练图像中第i行第j列像素的蓝色分量值；1≤i≤X，1≤j≤Y，i、j均为整数，X为所述训练图像中像素的总行数，Y为所述训练图像中像素的总列数。

6.根据权利要求1所述训练图像的预处理方法，其特征在于，根据以下公式得到所述训练图像的第一特征图像：其中，N为所述训练图像的第一特征图像，I为所述训练图像的亮度特征图像；Blur为高斯模糊运算。

7.一种训练图像的预处理模块，用于生成式对抗网络的鉴别器中，所述鉴别器包括鉴别模块，其特征在于，所述训练图像的预处理模块包括：特征获取单元，用于获取训练图像的第一特征图像；

平移相关单元，用于对所述第一特征图像进行多次图像平移，以得到多个移位图像；并根据所述第一特征图像与每个移位图像之间的相关性，生成多个相关性图像；并将所述多个相关性图像提供给所述鉴别模块；

其中，所述移位图像的一部分区域中各像素的值与所述第一特征图像的相同大小的区域中各像素的值一一对应相同，所述移位图像的其余区域中的各像素值均为零；或者，所述移位图像的所有像素的值与所述第一特征图像的所有像素的值一一对应相同；所述相关性图像中像素的行、列数与所述第一特征图像中像素的行、列数对应相同。

8.根据权利要求7所述的训练图像的预处理模块，其特征在于，所述相关性图像中，第i行第j列像素的值为所述第一特征图像中第i行第j列像素的值与所述移位图像中第i行第j列像素的值的乘积；

其中，1≤i≤X，1≤j≤Y，i、j均为整数，X为所述第一特征图像中像素的总行数，Y为所述第一特征图像中像素的总列数。

9.根据权利要求7所述的训练图像的预处理模块，其特征在于，每次所述图像平移包括：将所述第一特征图像的后a列像素沿行方向平移至其余像素之前，得到中间图像；

将所述中间图像的后b行像素沿列方向平移至其余像素之前，得到所述移位图像；

其中，0≤a＜Y，0≤b＜X，a、b均为整数，X为所述第一特征图像中像素的总行数，Y为所述第一特征图像中像素的总列数；并且，在任意两次图像平移过程中，a、b中至少一者的取值发生改变。

10.根据权利要求7所述的训练图像的预处理模块，其特征在于，所述特征获取单元包括：亮度特征获取子单元，用于根据所述训练图像的亮度特征生成训练图像的亮度特征图像；

归一化子单元，用于对所述亮度特征图像进行归一化，以得到所述训练图像的第一特征图像。

11.根据权利要求10所述的训练图像的预处理模块，其特征在于，所述训练图像为彩色图像，所述亮度特征图像中第i行第j列的像素值P根据以下公式计算：P＝0.299R+0.587G+0.114B

其中，R为训练图像中第i行第j列像素的红色分量值；G为训练图像中第i行第j列像素的绿色分量值；B为训练图像中第i行第j列像素的蓝色分量值；1≤i≤X，1≤j≤Y，i、j均为整数，X为所述训练图像中像素的总行数，Y为所述训练图像中像素的总列数。

12.根据权利要求10所述的训练图像的预处理模块，其特征在于，所述归一化子单元根据以下公式得到所述训练图像的第一特征图像：其中，N为所述训练图像的第一特征图像，I为所述亮度特征图像；Blur为高斯模糊运算。

13.一种鉴别器，其特征在于，包括鉴别模块和权利要求7至12中任意一项所述的训练图像的预处理模块，所述鉴别模块具有至少一个输入端，所述鉴别模块用于输出其输入端接收到的图像与相同分辨率的预设标准图像之间的匹配度；

所述训练图像的预处理模块与所述鉴别模块的输入端一一对应，所述训练图像的预处理模块输出的图像提供至所述鉴别模块相应的输入端。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任意一项所述的训练图像的预处理方法。

说明书

训练图像的预处理方法及模块、鉴别器、可读存储介质

技术领域

[0001] 本发明涉及图像处理领域，具体涉及一种训练图像的预处理方法方法、训练图像的预处理模块、鉴别器和计算机可读存储介质。

背景技术

[0002] 在生成式对抗神经网络(Generative Adversarial Networks，GAN)中，生成网络和鉴别网络进行交替训练。生成网络对低分辨率样本图像进行分辨率放大并输出放大结果，鉴别网络可以接收生成网络的输出图像，并输出生成网络的输出图像与原始高分辨率样本图像的匹配度。如果输出为0，则鉴别网络认为其接收到的图像为生成网络的输出结果；若鉴别网络输出为1，则鉴别网络认为其接收到的图像为原始的高分辨率样本图像。通过训练生成网络来使鉴别网络的输出最大化，以使生成网络输出结果更加真实；并且对鉴别网络进行训练，以准确区分原始的高分辨率样本图像和生成网络的输出结果。通过二者的交替训练，从而相互竞争，获得最佳模型。

[0003] 如何使鉴别网络更准确地区分原始的高分辨率样本图像和生成网络的输出结果，从而促使生成网络能够训练得到更优的参数，成为本领域亟待解决的技术问题。

发明内容

[0004] 本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种训练图像的预处理方法及模块、鉴别器、计算机可读存储介质。

[0005] 为了实现上述目的，本发明提供一种训练图像的预处理方法，用于生成式对抗网络的训练过程中，所述生成式对抗网络包括鉴别网络，所述训练图像的预处理方法包括：

[0006] 获取训练图像的第一特征图像；

[0007] 对所述第一特征图像进行多次图像平移，以得到多个移位图像；所述移位图像中像素的行、列数与所述第一特征图像中像素的行、列数对应相同；

[0008] 根据所述第一特征图像与每个移位图像之间的相关性，生成多个相关性图像，所述相关性图像中像素的行、列数与所述第一特征图像中像素的行、列数对应相同；

[0009] 将所述多个相关性图像提供给鉴别网络；

[0010] 其中，所述移位图像的一部分区域中各像素的值与所述第一特征图像的相同大小的区域中各像素的值一一对应相同，所述移位图像的其余区域中的各像素值均为零；或者，所述移位图像的所有像素的值与所述第一特征图像的所有像素的值一一对应相同。

[0011] 可选地，所述相关性图像中，第i行第j列像素的值为所述第一特征图像中第i行第j列像素的值与所述移位图像中第i行第j列像素的值的乘积；

[0012] 其中，1≤i≤X，1≤j≤Y，i、j均为整数，X为所述第一特征图像中像素的总行数，Y为所述第一特征图像中像素的总列数。

[0013] 可选地，每次所述图像平移包括：

[0014] 将所述第一特征图像的后a列像素沿行方向平移至其余像素之前，得到中间图像；

[0015] 将所述中间图像的后b行像素沿列方向平移至其余像素之前，得到所述移位图像；

[0016] 其中，0≤a＜Y，0≤b＜X，a、b均为整数，X为所述第一特征图像中像素的总行数，Y为所述第一特征图像中像素的总列数；并且，在任意两次图像平移过程中，a、b中至少一者的取值发生改变。

[0017] 可选地，所述获取训练图像的第一特征图像，包括：

[0018] 根据所述训练图像的亮度特征生成训练图像的亮度特征图像；

[0019] 对所述亮度特征图像进行归一化，以得到所述训练图像的第一特征图像。

[0020] 可选地，所述训练图像为彩色图像，所述亮度特征图像中第i行第j列的像素值P根据以下公式计算：

[0021] P＝0.299R+0.587G+0.114B

[0022] 其中，R为训练图像中第i行第j列像素的红色分量值；G为训练图像中第i行第j列像素的绿色分量值；B为训练图像中第i行第j列像素的蓝色分量值；1≤i≤X，1≤j≤Y，i、j均为整数，X为所述训练图像中像素的总行数，Y为所述训练图像中像素的总列数。

[0023] 可选地，根据以下公式得到所述训练图像的第一特征图像：

[0024]

[0025] 其中，N为所述训练图像的第一特征图像，I为所述训练图像的亮度特征图像；Blur为高斯模糊运算。

[0026] 相应地，本发明还提供一种训练图像的预处理模块，用于生成式对抗网络的鉴别器中，所述鉴别器包括鉴别模块，所述训练图像的预处理模块包括：

[0027] 特征获取单元，用于获取训练图像的第一特征图像；

[0028] 平移相关单元，用于对所述第一特征图像进行多次图像平移，以得到多个移位图像；并根据所述第一特征图像与每个移位图像之间的相关性，生成多个相关性图像；并将所述多个相关性图像提供给所述鉴别模块；

[0029] 其中，所述移位图像的一部分区域中各像素的值与所述第一特征图像的相同大小的区域中各像素的值一一对应相同，所述移位图像的其余区域中的各像素值均为零；或者，所述移位图像的所有像素的值与所述第一特征图像的所有像素的值一一对应相同；所述相关性图像中像素的行、列数与所述第一特征图像中像素的行、列数对应相同。

[0030] 可选地，所述相关性图像中，第i行第j列像素的值为所述第一特征图像中第i行第j列像素的值与所述移位图像中第i行第j列像素的值的乘积；

[0031] 其中，1≤i≤X，1≤j≤Y，i、j均为整数，X为所述第一特征图像中像素的总行数，Y为所述第一特征图像中像素的总列数。

[0032] 可选地，每次所述图像平移包括：

[0033] 将所述第一特征图像的后a列像素沿行方向平移至其余像素之前，得到中间图像；

[0034] 将所述中间图像的后b行像素沿列方向平移至其余像素之前，得到所述移位图像；

[0035] 其中，0≤a＜Y，0≤b＜X，a、b均为整数，X为所述第一特征图像中像素的总行数，Y为所述第一特征图像中像素的总列数；并且，在任意两次图像平移过程中，a、b中至少一者的取值发生改变。

[0036] 可选地，所述特征获取单元包括：

[0037] 亮度特征获取子单元，用于根据所述训练图像的亮度特征生成训练图像的亮度特征图像；

[0038] 归一化子单元，用于对所述亮度特征图像进行归一化，以得到所述训练图像的第一特征图像。

[0039] 可选地，所述训练图像为彩色图像，所述亮度特征图像中第i行第j列的像素值P根据以下公式计算：

[0040] P＝0.299R+0.587G+0.114B

[0041] 其中，R为训练图像中第i行第j列像素的红色分量值；G为训练图像中第i行第j列像素的绿色分量值；B为训练图像中第i行第j列像素的蓝色分量值；1≤i≤X，1≤j≤Y，i、j均为整数，X为所述训练图像中像素的总行数，Y为所述训练图像中像素的总列数。

[0042] 可选地，所述归一化子单元根据以下公式得到所述训练图像的第一特征图像：

[0043]

[0044] 其中，N为所述训练图像的第一特征图像，I为所述亮度特征图像；Blur为高斯模糊运算。

[0045] 相应地，本发明还提供一种鉴别器，包括鉴别模块和上述训练图像的预处理模块，[0046] 所述鉴别模块具有至少一个输入端，所述鉴别模块用于输出其输入端接收到的图像与相同分辨率的预设标准图像之间的匹配度；

[0047] 所述训练图像的预处理模块与所述鉴别模块的输入端一一对应，所述训练图像的预处理模块输出的图像提供至所述鉴别模块相应的输入端。

[0048] 相应地，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述训练图像的预处理方法。

附图说明

[0049] 附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

[0050] 图1为本发明实施例中提供的训练图像的预处理模块的结构示意图；

[0051] 图2为一个3*3的第一特征图像中的像素值分布示意图；

[0052] 图3为对图2的图像进行图像平移后得到的9个移位图像中的每个图像的像素值分布示意图；

[0053] 图4为采用另一种方式对图2的图像进行图像平移后得到的9个移位图像中的每个图像的像素值分布示意图；

[0054] 图5为本发明实施例提供的一种训练图像的预处理方法流程图；

[0055] 图6为本发明实施例提供的另一种训练图像的预处理方法流程图；

[0056] 图7为本发明实施例提供的一种鉴别器的结构示意图。

具体实施方式

[0057] 以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

[0058] 生成式对抗神经网络(Generative Adversarial Networks，GAN网络)是产生真实图像的最先进的技术，在GAN网络中，生成器和鉴别器进行交替训练，从而相互竞争，获得最佳模型。

[0059] 具体地，在GAN网络中，生成网络用于将输入该生成网络的低分辨率图像进行分辨率提升，得到高分辨率图像。鉴别网络用于确定生成网络的输出结果与预设标准图像的匹配度。其中，鉴别网络可以看作具有打分功能的分类器，其可以对接收到的待鉴别图像进行打分，输出的分数则表示分辨率最高的待鉴别图像为预设标准图像的概率，即，上述匹配度。其中，匹配度可以在0～1之间，当鉴别网络的输出为0或接近0时，表示其接收到的待鉴别图像是由生成网络输出的；当鉴别网络的输出为1或接近1时，表示其接收到的待鉴别图像为预设标准图像。

[0060] 鉴别网络的打分功能可以利用预先确定分数的“真”样本和“假”样本进行训练。其中，“假”样本为生成网络生成的高分辨率图像，“真”样本为预设标准图像。鉴别网络的训练过程即：通过调整鉴别网络的参数，使得鉴别网络接收到“真”样本时输出接近1的分数；接收到“假”样本时输出接近0的分数。在生成网络的训练过程中，通过调整生成网络的参数，以使生成网络的输出结果输入鉴别网络后，鉴别网络输出尽量接近1的匹配度。通过生成网络和鉴别网络的交替训练，使得鉴别网络不断优化，以尽量鉴别区分开生成网络的输出结果与预设标准图像，而生成网络不断优化，以使输出结果尽可能接近预设标准图像。这种方法使得两个相互“对抗”的模型在每次训练中基于另一模型越来越好的结果而进行竞争和不断改进，以得到越来越优的网络模型。

[0061] 图1为本发明实施例中提供的训练图像的预处理模块的结构示意图，训练图像的预处理模块用于生成式对抗网络的鉴别器中，所述鉴别器包括鉴别模块。其中，所述鉴别模块为存储有鉴别网络的结构或器件，用于实现上述鉴别网络的功能，即，输出其输入端接收到的图像与相同分辨率的预设标准图像之间的匹配度。而下文提到的生成器则为存储有生成网络的结构或器件，用于实现上文所述的对图像进行分辨率提升。

[0062] 如图1所示，训练图像的预处理模块100包括特征获取单元110和平移相关单元120。

[0063] 其中，特征获取单元110用于获取输入至预处理模块100中的训练图像的第一特征图像。所述训练图像为生成网络生成的图像或预设标准图像，所述第一特征图像用于表征训练图像的一种或多种特征。

[0064] 平移相关单元120用于对所述训练图像的第一特征图像进行多次图像平移，以得到多个移位图像；并根据所述训练图像的第一特征图像与每个移位图像之间的相关性，生成多个相关性图像；并将所述多个相关性图像提供给所述鉴别模块。

[0065] 其中，图像平移可以看作将第一特征图像基于其初始所在区域进行沿行和/或列方向进行平移，将超出初始所在区域的部分去除；初始所在区域被空出的部分补充为0；或者将超出初始所在区域的部分平移至初始所在区域中被空出的部分。

[0066] 由此，经过图像平移得到的所述移位图像中，像素的行数与所述训练图像的第一特征图像中像素的行数相同；所述移位图像中像素的列数与所述训练图像的第一特征图像中像素的列数相同。所述移位图像的一部分区域中各像素的值与所述第一特征图像中的相同大小的区域中各像素的值一一对应相同；所述移位图像中其余区域的各像素值均为零。例如，所述移位图像前两行的各像素的值与所述第一特征图像中后两行的各像素的值一一对应相同，移位图像其余行的各像素值均为0。

[0067] 或者，移位图像中所有像素的值与第一特征图像的所有像素的值一一对应相同。需要注意的是，所谓的“一一对应相同”并不一定是两个图像中相同位置的像素的值相同，也可以是两个图像中不同位置的像素的值相同。

[0068] 应当理解的是，在进行图像处理时，各图像均以矩阵的形式进行处理，矩阵中各元素值即为图像中相应位置的像素值。两个图像之间的相关性可以为两个图像的矩阵之间进行点对点的相乘，即，相关性图像中第i行第j列像素的值可以为训练图像的第一特征图像第i行第j列的像素值和移位图像中第i行第j列像素的值的乘积。

[0069] 所述预处理模块100设置在鉴别器的前端位置，使得鉴别器并不直接对生成器的输出图像或原始的高分辨率样本图像进行鉴别、判断，而是对生成器的输出图像或原始的高分辨率样本图像经过预处理模块100后的输出结果进行鉴别、判断。

[0070] 现有技术在生成式对抗网络的训练中，鉴别器直接对生成器的输出图像和原始的高分辨率样本图像进行鉴别，这样，鉴别器在进行鉴别时，只是考虑了接收到的图像本身的信息；而生成器的输出图像或原始的高分辨率样本图像经过本申请中的平移相关模块的处理后，均会产生更多的图像(即相关性图像)，并且，多个相关性图像中，不但携带了图像本身的信息，而且还携带了图像本身与变换后的图像的相关性信息，这样，鉴别器可以判断生成器的输出图像与其变换后的多个图像之间的相关性是否和原始高分辨率样本图像与其变换后的多个图像之间的相关性相同，并且，根据无参考图像质量评价(natural image quality evaluator，NIQE)指标可知，图像与其变换后的图像之间的相关性会影响主观视觉效果，因此，鉴别器根据预处理模块的输出结果进行鉴别能够使得鉴别结果更加严格，进而促使生成器的参数向更优的方向训练，以使生成器输出结果在视觉上更真实。

[0071] 在一个实施例中，如图1所示，特征获取单元110包括亮度特征获取子单元111和归一化子单元112。

[0072] 亮度特征获取子单元111用于根据所述训练图像的亮度特征生成训练图像的亮度特征图像。由于人眼对图像的亮度特征比较敏感，而对其他特征并不敏感，因此，通过提取训练图像的亮度特征，能够去除一些不必要的信息，从而减少运算量。

[0073] 具体地，所述训练图像为彩色图像，所述亮度特征图像中像素的行、列数与所述训练图像中像素的行、列数对应相同。所述亮度特征图像中第i行第j列的像素值P根据以下公式(1)计算：

[0074] P＝0.299R+0.587G+0.114B  (1)

[0075] 其中，R为训练图像中第i行第j列像素的红色分量值；G为训练图像中第i行第j列像素的绿色分量值；B为训练图像中第i行第j列像素的蓝色分量值；1≤i≤X，1≤j≤Y，i、j均为整数，X为所述第一特征图像中像素的总行数，Y为所述第一特征图像中像素的总列数。

[0076] 归一化子单元112用于对所述亮度特征图像进行归一化，归一化后的图像即为所述训练图像的第一特征图像。通过归一化处理后，能够将图像的像素值统一在比较小的数值范围内，防止某些像素值过大或过小，从而更便于相关性的计算。

[0077] 具体地，归一化子单元112根据以下公式(2)进行所述归一化，以得到所述训练图像的第一特征图像。

[0078]

[0079] 其中，N为所述第一特征图像，I为所述训练图像的亮度特征图像；Blur为高斯模糊运算。即，Blur(I)表示对第一特征图像进行高斯模糊运算，Blur(I2)表示将第一特征图像中各像素值进行平方得到新的图像，对该新的图像进行高斯模糊运算。μ为经过高斯模糊运算后得到的图像，σ2为局部方差图像(variance normalized image)。

[0080] 在一个实施例中，每次所述图像平移包括：将所述训练图像的第一特征图像的后a列像素沿行方向平移至其余像素之前，得到中间图像；然后，将所述中间图像的后b行像素沿列方向平移至其余像素之前，得到所述移位图像。其中，0≤a＜Y，0≤b＜X，a、b均为整数，X为所述训练图像的第一特征图像中像素的总行数，Y为所述第一特征图像中像素的总列数；并且，在任意两次图像平移过程中，a、b中至少一者的取值发生改变。经过这种方式的图像平移，得到的移位图像中，各像素的值与所述第一特征图像的各像素的值一一对应相同；并且，所有移位图像中第i行第j列的像素的值分别来自于第一特征图像中不同位置的像素。

[0081] 需要说明的是，当a和b同时为0时，则移位图像即为所述训练图像的第一特征图像本身。另外，每次图像平移也可以先将第一特征图像的后b行像素沿列方向平移至其余像素之前，得到中间图像，然后再将中间图像的后a列像素沿行方向平移至其余像素之前，得到移位图像。优选地，图像平移次数为X*Y次(其中，a和b同时为0时也算一次)，从而获得X*Y个相关性图像。

[0082] 图2为一个3*3的第一特征图像中的像素值分布示意图，p1～p9分别表示9个像素的像素值。图3为对图2的图像进行图像平移后得到的9个移位图像中的每个图像的像素值分布示意图。其中，将图2中最上方的一行作为第一行，将图2中最左边的一列作为第一列。以a＝1，b＝1为例，经过图像平移后得到的移位图像即相当于将最后一列(最右列)的像素移动至第一列像素之前(即，最左侧)；之后将最后一行(最下行)的像素移动至第一行像素之前(即，最上方)，从而得到如图3中第二行第二列所示的移位图像。

[0083] 如图2和图3所示，经过平移后，每个像素在各位置出现的可能性在图3的9个移位图像中均有体现，那么，第一特征图像中每个像素与自身的相关性以及与其他各像素的相关性都能够在9个相关性图像中有所体现，那么，一旦生成器的输出图像某个位置的像素值出现偏差，则每张相关性图像与原始高分辨率样本图像相对应的相关性图像都会有误差，这时，鉴别器就会输出较低的匹配度，从而促使生成器朝更优的方向训练，以使得生成器所输出的图像与原始高分辨率样本图像处处一致。

[0084] 需要说明的是，本发明中的图像平移不限于上述方式，图4为采用另一种方式对图2的图像进行图像平移后得到的9个移位图像中的每个图像的像素值分布示意图。结合图2和图4所示，所述图像平移也可以为：

[0085] 将所述第一特征图像中后a列像素去除，并在第一列像素之前补a列像素值为0的像素，得到中间图像；将该中间像素的后b行像素去除，并在第一行像素之前补b行像素值0的像素，从而得到移位图像。其中，0≤a＜Y，0≤b＜X，a、b均为整数，X为所述训练图像的第一特征图像中像素的总行数，Y为所述第一特征图像中像素的总列数；并且，在任意两次图像平移过程中，a、b中至少一者的取值发生改变。

[0086] 平移相关单元120具体通过将两个图像点对点相乘的方式得到相关性图像，即，相关性图像中，第i行第j列像素的值为所述训练图像的第一特征图像中第i行第j列像素的值与所述移位图像中第i行第j列像素的值的乘积；其中，1≤i≤X，1≤j≤Y，i、j均为整数，X为所述训练图像的第一特征图像中像素的总行数，Y为所述训练图像的第一特征图像中像素的总列数。

[0087] 图5为本发明实施例提供的一种训练图像的预处理方法流程图，如图5所示，所述训练图像的预处理方法包括：

[0088] S1、获取训练图像的第一特征图像。

[0089] S2、对所述第一特征图像进行多次图像平移，以得到多个移位图像。所述移位图像中像素的行、列数与所述第一特征图像中像素的行、列数对应相同。所述移位图像的一部分区域中各像素的值与所述第一特征图像的相同大小的区域中各像素的值一一对应相同，所述移位图像的其余区域中的各像素值均为零；或者，所述移位图像的所有像素的值与所述第一特征图像的所有像素的值一一对应相同。

[0090] S3、根据所述第一特征图像与每个移位图像之间的相关性，生成多个相关性图像，所述相关性图像中像素的行、列数与所述第一特征图像中像素的行、列数对应相同。

[0091] S4、将所述多个相关性图像提供给鉴别网络。

[0092] 如上所述，现有技术中鉴别器在进行鉴别时，只是考虑了接收到的图像本身的信息；而本申请中，经过平移和相关性处理后，基于生成器的输出图像或原始的高分辨率样本图像，均会产生更多的图像(即相关性图像)，并且，多个相关性图像中，不但携带了图像本身的信息，而且还携带了图像本身与变换后的图像的相关性信息，这样，鉴别器可以判断生成器的输出图像与其变换后的多个图像之间的相关性是否和原始高分辨率样本图像与其变换后的多个图像之间的相关性相同，并且，根据无参考图像质量评价(natural image quality evaluator，NIQE)指标可知，图像与其变换后的图像之间的相关性会影响主观视觉效果，因此，根据预处理后的输出结果进行鉴别能够使得鉴别结果更加严格，进而促使生成网络的参数向更优的方向训练，以使生成网络输出结果在视觉上更真实。

[0093] 图6为本发明实施例提供的另一种训练图像的预处理方法流程图，如图6所示，所述训练图像的预处理方法包括步骤S1～S3：

[0094] S1、获取训练图像的第一特征图像。具体地，该步骤S1包括：

[0095] S11、根据所述训练图像的亮度特征生成训练图像的亮度特征图像。其中，所述训练图像为彩色图像，所述亮度特征图像中第i行第j列的像素值P根据以下公式(1)计算：

[0096] I＝0.299R+0.587G+0.114B  (1)

[0097] 其中，R为训练图像中第i行第j列像素的红色分量值；G为训练图像中第i行第j列像素的绿色分量值；B为训练图像中第i行第j列像素的蓝色分量值；1≤i≤X，1≤j≤Y，i、j均为整数，X为所述训练图像中像素的总行数，Y为所述训练图像中像素的总列数。

[0098] S12、对所述亮度特征图像进行归一化，以得到所述训练图像的第一特征图像。步骤S12具体根据以下公式(2)进行所述归一化：

[0099]

[0100] 其中，N为所述训练图像的第一特征图像，I为所述训练图像的亮度特征图像；Blur为高斯模糊运算。

[0101] S2、对所述第一特征图像进行多次图像平移，以得到多个移位图像。其中，每次图像平移包括：

[0102] 将所述第一特征图像的后a列像素沿行方向平移至其余像素之前，得到中间图像；之后将所述中间图像的后b行像素沿列方向平移至其余像素之前，得到所述移位图像。其中，0≤a＜Y，0≤b＜X，a、b均为整数，X为所述第一特征图像中像素的总行数，Y为所述第一特征图像中像素的总列数；并且，在任意两次图像平移过程中，a、b中至少一者的取值发生改变。

[0103] 如上文所述，每次图像平移也可以为：将所述第一特征图像中后a列像素去除，并在第一列像素之前补a列像素值为0的像素，得到中间图像；将该中间像素的后b行像素去除，并在第一行像素之前补b行像素值0的像素，从而得到移位图像。其中，0≤a＜Y，0≤b＜X，a、b均为整数，X为所述训练图像的第一特征图像中像素的总行数，Y为所述第一特征图像中像素的总列数；并且，在任意两次图像平移过程中，a、b中至少一者的取值发生改变。

[0104] S3、根据所述第一特征图像与每个移位图像之间的相关性，生成多个相关性图像，所述相关性图像中像素的行、列数与所述第一特征图像中像素的行、列数对应相同。其中，所述相关性图像中，第i行第j列像素的值为所述第一特征图像中第i行第j列像素的值与所述移位图像中第i行第j列像素的值的乘积；其中，1≤i≤X，1≤j≤Y，i、j均为整数，X为所述第一特征图像中像素的总行数，Y为所述第一特征图像中像素的总列数。

[0105] S4、将所述多个相关性图像提供给鉴别网络。

[0106] 上文已结合训练图像的预处理模块对所述训练图像的预处理方法的原理和过程进行了描述，这里不再赘述。

[0107] 图7为本发明实施例提供的一种鉴别器的结构示意图，如图7所示，所述鉴别器包括鉴别模块200和上述训练图像的预模块100。所述鉴别模块200具有至少一个输入端In，鉴别模块200用于输出其输入端接收到的图像与相同分辨率的预设标准图像之间的匹配度。训练图像的预处理模块100与鉴别模块200的输入端In一一对应，训练图像的预模块100输出的图像提供至与训练图像的预模块100所对应的输入端In。

[0108] 如上所述，在生成式对抗网络的训练中，鉴别器并不直接对生成器的输出图像或原始的高分辨率样本图像进行鉴别、判断，而是对生成器的输出图像或原始的高分辨率样本图像经过上述预处理后的输出结果进行鉴别、判断。而生成器的输出图像或原始的高分辨率样本图像经过上述预处理后，均会产生更多的图像(即相关性图像)，并且，多个相关性图像中，不但携带了图像本身的信息，而且还携带了图像本身与变换后的图像的相关性信息，从而使得鉴别器的鉴别更加严格，进而促使生成器的参数向更优的方向训练，以使生成器输出结果在视觉上更真实。

[0109] 图7中示意出了鉴别模块200具有一个输入端In、训练图像的预处理模块100的数量为一个的情况，当然，当生成器基于一个低分辨率图像生成多个分辨率不同的高分辨率图像时，也可以将鉴别模块设置为具有多个输入端，将训练图像的预处理模块100的数量设置为多个，并与鉴别模块的输入端一一对应。这种情况下，生成器输出的多个图像一一对应地提供给训练图像的预处理模块100，训练图像的预处理模块100将生成的多个相关性图像提供给鉴别模块200中与训练图像的预处理模块100相对应的输入端，同一预处理模块100所输出的多个相关性图像可以看做同一个待鉴别图像的各通道的特征图像。鉴别模块200则根据各输入端接收到的图像判断分辨率最高的待鉴别图像与相同分辨率的预设标准图像之间的匹配度。

[0110] 本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述训练图像的预处理方法。所述计算机可读存储介质包括但不限于以下可读介质：诸如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、闪存、磁或光数据存储、寄存器、磁盘或磁带、诸如光盘(CD)或DVD(数字通用盘)的光存储介质以及其它非暂时性介质。处理器的示例包括但不限于通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。

[0111] 可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。