图像处理方法、装置、设备及可读存储介质

摘要

本申请公开了一种图像处理方法、装置、设备及可读存储介质，涉及图像处理技术领域，以提升图像增强效果。该方法包括：获取待处理图像；将所述待处理图像经过跨域密集连接神经网络进行处理，得到目标图像。本申请实施例可以提升图像增强效果。

权利要求

1.一种图像处理方法，其特征在于，包括：

获取待处理图像；

将所述待处理图像经过跨域密集连接神经网络进行处理，得到目标图像；

其中，所述跨域密集连接神经网络包括n个子网络，n为整数且n≥1；

所述子网络包括至少一个空间域处理模块和至少一个小波域处理模块，所述空间域处理模块和对应的小波域处理模块之间形成密集连接，所述空间域处理模块的内部形成密集连接，所述小波域处理模块的内部形成密集连接；

所述空间域处理模块对第一输入图像进行空间域处理，得到第一输出图像，其中，所述第一输出图像的分辨率大于所述第一输入图像的分辨率，所述第一输入图像为所述待处理图像或者为前一子网络的输出图像；

所述小波域处理模块对所述第一输出图像和所述空间域处理模块的级连信息进行小波域处理，得到第二输出图像，其中，所述第二输出图像为所述目标图像或者为下一子网络的空间域处理模块的输入图像。

2.根据权利要求1所述的方法，其特征在于，所述空间域处理模块对第一输入图像进行空间域处理，得到第一输出图像，包括：所述空间域处理模块对所述第一输入图像进行上采样，得到所述第一输出图像，所述第一输出图像的分辨率是所述第一输入图像的分辨率的4倍。

3.根据权利要求1所述的方法，其特征在于，所述空间域处理模块包括一个或多个嵌套残差密集块，每个嵌套残差密集块包括一个或多个残差密集块；所述小波域处理模块包括一个或多个嵌套残差密集块，每个嵌套残差密集块包括一个或多个残差密集块；

其中，所述空间域处理模块的第x个嵌套残差密集块的第y个残差密集模块，和所述小波域处理模块的第x个嵌套残差密集块的第y个残差密集模块进行级连；

其中，x，y为整数，1≤x≤P，1≤y≤Q；P为大于0的整数，表示空间域处理模块或者小波域处理模块所包括的嵌套残差密集块的个数；Q为大于0的整数，表示空间域处理模块或者小波域处理模块的一个嵌套残差密集块所包括的残差密集块的个数。

4.根据权利要求3所述的方法，其特征在于，所述小波域处理模块对所述第一输出图像和所述空间域处理模块的级连信息进行小波域处理，得到第二输出图像，包括：所述小波域处理模块对所述第一输出图像进行小波分解，得到多个第一小波子带；

对所述多个第一小波子带和所述级连信息进行特征提取，得到多个小波域子带；

对所述多个小波域子带进行小波反变换，得到所述第二输出图像。

5.根据权利要求1所述的方法，其特征在于，对于第n个子网络，所述方法还包括：计算第一损失函数；

计算第二损失函数；

利用所述第一损失函数和所述第二损失函数，计算所述跨域密集连接神经网络的第三损失函数。

6.根据权利要求5所述的方法，其特征在于，所述计算第一损失函数，包括：计算所述目标图像和空间域真实图像之间的曼哈顿距离或者欧氏距离；

将所述曼哈顿距离或者欧氏距离，作为所述第一损失函数。

7.根据权利要求6所述的方法，其特征在于，所述计算所述目标图像和空间域真实图像之间的曼哈顿距离或者欧氏距离，包括：将所述目标图像经过目视图像生成器VGG网络进行处理，得到第一中间目标图像；

将所述空间域真实图像经过VGG网络，得到第一中间空间域真实图像；

计算所述第一中间目标图像和所述第一中间空间域真实图像之间的曼哈顿距离或者欧氏距离。

8.根据权利要求5所述的方法，其特征在于，所述计算第一损失函数，包括：基于所述目标图像和空间域真实图像经过生成对抗网络GAN的判别器进行处理的结果，按照以下公式，得到所述第一损失函数：Ladv,G1＝‑log(1‑DRa(D,IGT))‑log(DRa(IGT,D))；

其中，Ladv,G1表示所述第一损失函数，DRa表示GAN的判别器，D表示所述目标图像，IGT表示所述空间域真实图像。

9.根据权利要求5所述的方法，其特征在于，所述计算第二损失函数，包括：将所述空间域真实图像分解成多个第二小波子带，所述多个第二小波子带和多个小波域子带对应；

对于多个第二小波子带中的任一第一目标小波子带，计算所述第一目标小波子带和对应的小波域子带之间的曼哈顿距离或者欧氏距离；

将所述曼哈顿距离或者欧氏距离，作为所述第一目标小波子带的损失函数；

根据多个所述损失函数得到所述第二损失函数。

10.根据权利要求8所述的方法，其特征在于，所述计算所述第一目标小波子带和对应的小波域子带之间的曼哈顿距离或者欧氏距离，包括：将所述第一目标小波子带经过VGG网络进行处理，得到第一中间目标小波子带；

将所述第一目标小波子带对应的小波域子带经过VGG网络进行处理，得到第一中间小波域子带；

计算所述第一中间目标小波子带和所述第一中间小波域子带之间的曼哈顿距离或者欧氏距离。

11.根据权利要求5所述的方法，其特征在于，其特征在于，所述计算第二损失函数，包括：将所述空间域真实图像分解成多个第二小波子带，所述多个第二小波子带和多个小波域子带对应；

对于多个第二小波子带中的任一第一目标小波子带，将所述第一目标小波子带和所述第一目标小波子带对应的小波域子带经过GAN网络的判别器进行处理，按照以下公式，得到所述第一目标小波子带的损失函数：Ladv,G2＝‑log(1‑DRa(IGT,F(ISR)))‑log(DRa(F(ISR),IGT))其中，Ladv,G2表示所述第二损失函数，DRa表示GAN的判别器，IGT表示所述第一目标小波子带，F(ISR)表示第一目标小波子带对应的小波域子带；

根据多个所述损失函数得到所述第二损失函数。

12.根据权利要求4所述的方法，其特征在于，所述利用所述第一损失函数和所述第二损失函数，计算所述跨域密集连接神经网络的第三损失函数，包括：利用所述第一损失函数和第一系数的乘积，与所述第二损失函数和第二系数的乘积之和，作为所述第三损失函数。

13.一种图像处理装置，其特征在于，包括：

第一获取模块，用于获取待处理图像；

第一处理模块，用于将所述待处理图像经过跨域密集连接神经网络进行处理，得到目标图像；

其中，所述跨域密集连接神经网络包括n个子网络，n为整数且n≥1；

所述子网络包括至少一个空间域处理模块和至少一个小波域处理模块，所述空间域处理模块和对应的小波域处理模块之间形成密集连接，所述空间域处理模块的内部形成密集连接，所述小波域处理模块的内部形成密集连接；

所述空间域处理模块对第一输入图像进行空间域处理，得到第一输出图像，其中，所述第一输出图像的分辨率大于所述第一输入图像的分辨率，所述第一输入图像为所述待处理图像或者为前一子网络的输出图像；

所述小波域处理模块对所述第一输出图像和所述空间域处理模块的级连信息进行小波域处理，得到第二输出图像，其中，所述第二输出图像为所述目标图像或者为下一子网络的空间域处理模块的输入图像。

14.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；其特征在于，所述处理器，用于读取存储器中的程序实现如权利要求1至12中任一项所述的图像处理方法中的步骤。

15.一种可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至12中任一项所述的图像处理方法中的步骤。

说明书

图像处理方法、装置、设备及可读存储介质

技术领域

[0001] 本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及可读存储介质。

背景技术

[0002] 基于深度学习的图像增强技术可以生成接近真实图像(Ground truth)的结果，但与真实图像相比，按照这种方式生成的图像缺少高频细节。

[0003] 其中，图像增强技术可包括空间域图像增强和小波域图像增强等。空间域图像增强是对整张图像不分频段地进行特征提取。小波域图像增强可以把一张图像分解成不同的低频子带和高频小波子带。其中，高频子带可保留一张图像的纹理细节，低频子带保留图像中物体的基本结构。因此，很多现有技术采用小波域来进行特征提取。

[0004] 然而，按照现有技术生成的图像的纹理细节和真实图像的差异还是较大。因此，需要提供一种提升图像增强的效果的方法

发明内容

[0005] 本申请实施例提供一种图像处理方法、装置、设备及可读存储介质，以提升图像增强效果。

[0006] 第一方面，本申请实施例提供了一种图像处理方法，包括：

[0007] 获取待处理图像；

[0008] 将所述待处理图像经过跨域密集连接神经网络进行处理，得到目标图像；

[0009] 其中，所述跨域密集连接神经网络包括n个子网络，n为整数且n≥1；

[0010] 所述子网络包括至少一个空间域处理模块和至少一个小波域处理模块，所述空间域处理模块和对应的小波域处理模块之间形成密集连接，所述空间域处理模块的内部形成密集连接，所述小波域处理模块的内部形成密集连接；

[0011] 所述空间域处理模块对第一输入图像进行空间域处理，得到第一输出图像，其中，所述第一输出图像的分辨率大于所述第一输入图像的分辨率，所述第一输入图像为所述待处理图像或者为前一子网络的输出图像；

[0012] 所述小波域处理模块对所述第一输出图像和所述空间域处理模块的级连信息进行小波域处理，得到第二输出图像，其中，所述第二输出图像为所述目标图像或者为下一子网络的空间域处理模块的输入图像。

[0013] 其中，所述空间域处理模块对第一输入图像进行空间域处理，得到第一输出图像，包括：

[0014] 所述空间域处理模块对所述第一输入图像进行上采样，得到所述第一输出图像，所述第一输出图像的分辨率是所述第一输入图像的分辨率的4倍。

[0015] 其中，所述空间域处理模块包括一个或多个嵌套残差密集块，每个嵌套残差密集块包括一个或多个残差密集块；所述小波域处理模块包括一个或多个嵌套残差密集块，每个嵌套残差密集块包括一个或多个残差密集块；

[0016] 其中，所述空间域处理模块的第x个嵌套残差密集块的第y个残差密集模块，和所述小波域处理模块的第x个嵌套残差密集块的第y个残差密集模块进行级连；

[0017] 其中，x，y为整数，1≤x≤P，1≤y≤Q；P为大于0的整数，表示空间域处理模块或者小波域处理模块所包括的嵌套残差密集块的个数；Q为大于0的整数，表示空间域处理模块或者小波域处理模块的一个嵌套残差密集块所包括的残差密集块的个数。

[0018] 其中，所述小波域处理模块对所述第一输出图像和所述空间域处理模块的级连信息进行小波域处理，得到第二输出图像，包括：

[0019] 所述小波域处理模块对所述第一输出图像进行小波分解，得到多个第一小波子带；

[0020] 对所述多个第一小波子带和所述级连信息进行特征提取，得到多个小波域子带；

[0021] 对所述多个小波域子带进行小波反变换，得到所述第二输出图像。

[0022] 其中，对于第n个子网络，所述方法还包括：

[0023] 计算第一损失函数；

[0024] 计算第二损失函数；

[0025] 利用所述第一损失函数和所述第二损失函数，计算所述跨域密集连接神经网络的第三损失函数。

[0026] 其中，所述计算第一损失函数，包括：

[0027] 计算所述目标图像和空间域真实图像之间的曼哈顿距离或者欧氏距离；

[0028] 将所述曼哈顿距离或者欧氏距离，作为所述第一损失函数。

[0029] 其中，所述计算所述目标图像和空间域真实图像之间的曼哈顿距离或者欧氏距离，包括：

[0030] 将所述目标图像经过目视图像生成器VGG网络进行处理，得到第一中间目标图像；

[0031] 将所述空间域真实图像经过VGG网络进行处理，得到第一中间空间域真实图像；

[0032] 计算所述第一中间目标图像和所述第一中间空间域真实图像之间的曼哈顿距离或者欧氏距离。

[0033] 其中，所述计算第一损失函数，包括：

[0034] 基于所述目标图像和空间域真实图像经过生成对抗网络GAN的判别器进行处理的结果，按照以下公式，得到所述第一损失函数：

[0035] Ladv,G1＝‑log(1‑DRa(D,IGT))‑log(DRa(IGT,D))；

[0036] 其中，Ladv,G1表示所述第一损失函数，DRa表示GAN的判别器，D表示所述目标图像，IGT表示所述空间域真实图像。

[0037] 其中，所述计算第二损失函数，包括：

[0038] 将所述空间域真实图像分解成多个第二小波子带，所述多个第二小波子带和多个小波域子带对应；

[0039] 对于多个第二小波子带中的任一第一目标小波子带，计算所述第一目标小波子带和对应的小波域子带之间的曼哈顿距离或者欧氏距离；

[0040] 将所述曼哈顿距离或者欧氏距离，作为所述第一目标小波子带的损失函数；

[0041] 根据多个损失函数得到所述第二损失函数。

[0042] 其中，所述计算所述第一目标小波子带和对应的小波域子带之间的曼哈顿距离或者欧氏距离，包括：

[0043] 将所述第一目标小波子带经过VGG网络进行处理，得到第一中间目标小波子带；

[0044] 将所述第一目标小波子带对应的小波域子带经过VGG网络进行处理，得到第一中间小波域子带；

[0045] 计算所述第一中间目标小波子带和所述第一中间小波域子带之间的曼哈顿距离或者欧氏距离。

[0046] 其中，所述计算第二损失函数，包括：

[0047] 将所述空间域真实图像分解成多个第二小波子带，所述多个第二小波子带和多个小波域子带对应；

[0048] 对于多个第二小波子带中的任一第一目标小波子带，将所述第一目标小波子带和所述第一目标小波子带对应的小波域子带经过GAN网络的判别器进行处理，按照以下公式，得到所述第一目标小波子带的损失函数：

[0049] Ladv,G2＝‑log(1‑DRa(IGT,F(ISR)))‑log(DRa(F(ISR),IGT))

[0050] 其中，Ladv,G2表示所述第二损失函数，DRa表示GAN的判别器，IGT表示所述第一目标小波子带，F(ISR)表示第一目标小波子带对应的小波域子带；

[0051] 根据多个所述损失函数得到所述第二损失函数。

[0052] 其中，所述利用所述第一损失函数和所述第二损失函数，计算所述跨域密集连接神经网络的第三损失函数，包括：

[0053] 利用所述第一损失函数和第一系数的乘积，与所述第二损失函数和第二系数的乘积之和，作为所述第三损失函数。

[0054] 第二方面，本申请实施例还提供一种图像处理装置，包括：

[0055] 第一获取模块，用于获取待处理图像；

[0056] 第一处理模块，用于将所述待处理图像经过跨域密集连接神经网络进行处理，得到目标图像；

[0057] 其中，所述跨域密集连接神经网络包括n个子网络，n为整数且n≥1；

[0058] 所述子网络包括至少一个空间域处理模块和至少一个小波域处理模块，所述空间域处理模块和对应的小波域处理模块之间形成密集连接，所述空间域处理模块的内部形成密集连接，所述小波域处理模块的内部形成密集连接；

[0059] 所述空间域处理模块对第一输入图像进行空间域处理，得到第一输出图像，其中，所述第一输出图像的分辨率大于所述第一输入图像的分辨率，所述第一输入图像为所述待处理图像或者为前一子网络的输出图像；

[0060] 所述小波域处理模块对所述第一输出图像和所述空间域处理模块的级连信息进行小波域处理，得到第二输出图像，其中，所述第二输出图像为所述目标图像或者为下一子网络的空间域处理模块的输入图像。

[0061] 其中，所述空间域处理模块对所述第一输入图像进行上采样，得到所述第一输出图像，所述第一输出图像的分辨率是所述第一输入图像的分辨率的4倍。

[0062] 其中，所述空间域处理模块包括一个或多个嵌套残差密集块，每个嵌套残差密集块包括一个或多个残差密集块；所述小波域处理模块包括一个或多个嵌套残差密集块，每个嵌套残差密集块包括一个或多个残差密集块；

[0063] 其中，所述空间域处理模块的第x个嵌套残差密集块的第y个残差密集模块，和所述小波域处理模块的第x个嵌套残差密集块的第y个残差密集模块进行级连；

[0064] 其中，x，y为整数，1≤x≤P，1≤y≤Q；P为大于0的整数，表示空间域处理模块或者小波域处理模块所包括的嵌套残差密集块的个数；Q为大于0的整数，表示空间域处理模块或者小波域处理模块的一个嵌套残差密集块所包括的残差密集块的个数。

[0065] 其中，所述小波域处理模块，用于：

[0066] 对所述第一输出图像进行小波分解，得到多个第一小波子带；

[0067] 对所述多个第一小波子带和所述级连信息进行特征提取，得到多个小波域子带；

[0068] 对所述多个小波域子带进行小波反变换，得到所述第二输出图像。

[0069] 其中，所述装置还包括：

[0070] 第一计算模块，用于对于第n个子网络，计算第一损失函数；

[0071] 第二计算模块，用于计算第二损失函数；

[0072] 第三计算模块，用于利用所述第一损失函数和所述第二损失函数，计算所述跨域密集连接神经网络的第三损失函数。

[0073] 其中，所述第一计算模块包括：

[0074] 第一计算子模块，用于计算所述目标图像和空间域真实图像之间的曼哈顿距离或者欧氏距离；

[0075] 第二计算子模块，用于将所述曼哈顿距离或者欧氏距离，作为所述第一损失函数。

[0076] 其中，所述第一计算子模块包括：

[0077] 第一获取单元，用于将所述目标图像经过VGG网络进行处理，得到第一中间目标图像；

[0078] 第二获取单元，用于将所述空间域真实图像经过VGG网络进行处理，得到第一中间空间域真实图像；

[0079] 第一计算单元，用于计算所述第一中间目标图像和所述第一中间空间域真实图像之间的曼哈顿距离或者欧氏距离。

[0080] 其中，所述第一计算模块，用于基于所述目标图像和空间域真实图像经过生成对抗网络GAN的判别器进行处理的结果，按照以下公式，得到所述第一损失函数：

[0081] Ladv,G1＝‑log(1‑DRa(D,IGT))‑log(DRa(IGT,D))；

[0082] 其中，Ladv,G1表示所述第一损失函数，DRa表示GAN的判别器，D表示所述目标图像，IGT表示所述空间域真实图像。

[0083] 其中，所述第二计算模块包括：

[0084] 第一分解子模块，用于将所述空间域真实图像分解成多个第二小波子带，所述多个第二小波子带和多个小波域子带对应；

[0085] 第一计算子模块，用于对于多个第二小波子带中的任一第一目标小波子带，计算所述第一目标小波子带和对应的小波域子带之间的曼哈顿距离或者欧氏距离；

[0086] 第一获取子模块，用于将所述曼哈顿距离或者欧氏距离，作为所述第一目标小波子带的损失函数；

[0087] 第二获取子模块，用于根据多个损失函数得到所述第二损失函数。

[0088] 其中，所述第一计算子模块包括：

[0089] 第一处理单元，用于将所述第一目标小波子带经过VGG网络进行处理，得到第一中间目标小波子带；

[0090] 第二处理单元，用于将所述第一目标小波子带对应的小波域子带经过VGG网络进行处理，得到第一中间小波域子带；

[0091] 第一计算单元，用于计算所述第一中间目标小波子带和所述第一中间小波域子带之间的曼哈顿距离或者欧氏距离。

[0092] 其中，所述第二计算模块包括：

[0093] 第二分解子模块，用于将所述空间域真实图像分解成多个第二小波子带，所述多个第二小波子带和多个小波域子带对应；

[0094] 第二计算子模块，用于对于多个第二小波子带中的任一第一目标小波子带，将所述第一目标小波子带和所述第一目标小波子带对应的小波域子带经过GAN网络的判别器进行处理，按照以下公式，得到所述第一目标小波子带的损失函数：

[0095] Ladv,G2＝‑log(1‑DRa(IGT,F(ISR)))‑log(DRa(F(ISR),IGT))

[0096] 其中，Ladv,G2表示所述第二损失函数，DRa表示GAN的判别器，IGT表示所述第一目标小波子带，F(ISR)表示第一目标小波子带对应的小波域子带；

[0097] 第三获取子模块，用于根据多个所述损失函数得到所述第二损失函数。

[0098] 其中，所述第三计算模块用于，利用所述第一损失函数和第一系数的乘积，与所述第二损失函数和第二系数的乘积之和，作为所述第三损失函数。

[0099] 第三方面，本申请实施例还提供一种电子设备，包括：收发机、存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上所述的图像处理方法中的步骤。

[0100] 第四方面，本申请实施例还提供一种可读存储介质，所述可读存储介质上存储程序，所述程序被处理器执行时实现如上所述的图像处理方法中的步骤。

[0101] 在本申请实施例中，利用跨域密集连接神经网络对待处理图像进行处理，得到目标图像。由于跨域密集连接神经网络的子网络包括至少一个空间域处理模块和至少一个小波域处理模块，且在空间域处理模块处理的空间域处理的基础上，利用小波域处理模块进行小波域的处理，从而可以将空间域的特征叠加到小波域，提高小波域的特征多样性。因此，利用本申请实施例的方案，可提高图像增强效果。

附图说明

[0102] 图1是本申请实施例提供的图像处理方法的流程图之一；

[0103] 图2(a)是本申请实施例提供的跨域密集连接神经网络的示意图；

[0104] 图2(b)是密集连接的示意图；

[0105] 图3是本申请实施例提供的图像处理方法的流程图之二；

[0106] 图4是利用本申请实施例提出的跨域密集连接神经网络来进行多级(多尺度)图像增强的示意图；

[0107] 图5是本申请实施例提供的跨域密集连接神经网络中一个子网络的示意图；

[0108] 图6显示了子网络中第一阶段空间域特征提取模块与第二阶段小波域特征提取之间的密集连结；

[0109] 图7是本申请实施例提供的图像处理方法的流程图之三；

[0110] 图8至图10展示了利用本申请实施例的方法以及与利用现有技术的方法获得的图像效果的示意图；

[0111] 图11是本申请实施例提供的图像处理装置的结构图之一；

[0112] 图12是本申请实施例提供的图像处理装置的结构图之二；

[0113] 图13是本申请实施例提供的第一计算模块的结构图；

[0114] 图14是本申请实施例提供的第一计算子模块的结构图；

[0115] 图15是本申请实施例提供的第二计算模块的结构图之一；

[0116] 图16是本申请实施例提供的第一计算子模块的结构图；

[0117] 图17是本申请实施例提供的第二计算模块的结构图之二；

[0118] 图18是本申请实施例提供的电子设备的结构图。

具体实施方式

[0119] 本申请实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

[0120] 本申请实施例中术语“多个”是指两个或两个以上，其它量词与之类似。

[0121] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0122] 参见图1，图1是本申请实施例提供的图像处理方法的流程图，如图1所示，包括以下步骤：

[0123] 步骤101、获取待处理图像。

[0124] 在本申请实施例中，所述待处理图像可以是低质量图像，例如，通过手机拍摄的图像等。

[0125] 步骤102、将所述待处理图像经过跨域密集连接神经网络进行处理，得到目标图像。

[0126] 其中，所述跨域密集连接神经网络包括n个子网络，n为整数且n≥1。所述子网络包括至少一个空间域处理模块和至少一个小波域处理模块，所述空间域处理模块和对应的小波域处理模块之间形成密集连接，所述空间域处理模块的内部形成密集连接，所述小波域处理模块的内部形成密集连接。在本申请实施例中，一个空间域处理模块可对应一个小波域处理模块。

[0127] 当跨域密集连接神经网络包括两个以上的子网络时，各个子网络之间可依次连接。

[0128] 如图2(a)所示，为本申请实施例中跨域密集连接神经网络的示意图。跨域密集连接神经网络包括n个子网络201。所述子网络包括至少一个空间域处理模块2011和至少一个小波域处理模块2012，所述空间域处理模块和对应的小波域处理模块之间形成密集连接，所述空间域处理模块的内部形成密集连接，所述小波域处理模块的内部形成密集连接。每个子网络可视为一级，每一级包含两个阶段：第一阶段为空间域处理模块执行的空间域的图像预增强阶段，在空间域进行特征提取，第二阶段为小波域处理模块执行的小波域的特征提取阶段。

[0129] 密集连接是通过如下方式形成的：神经网络中，某一卷积层的输入是该卷积层之前所有卷积层的输出，该卷积层的输出又作为后面所有卷积层的输入；通过神经网络中所有卷积层的按照如上方式描述的连接，就形成了密集连接。如图2(b)所示，示出了神经网络中密集连接的示意图。为了确保最大程度的信息在网络中各卷积层之间的流动，为了保留前馈特性，每个卷积层都从所有先前的卷积层获取附加输入，并将其自身的特征图传递给所有后续卷积层。在本申请实施例中，密集连接体现在两个方面：一是域内的密集连接，另一种是域间的密集连接。在本申请实施例中，空间域处理模块和小波域处理模块都可视为神经网络。域内的密集连接，指的是空间域处理模块内和小波域处理模块内，某一卷积层的输入是该卷积层之前所有卷积层的输出，该卷积层的输出又作为后面所有卷积层的输入。或者，还可以解释为，某个卷积层的输出连接到该卷积层之后所有卷积层的输出。域间的密集连接，指的是空间域处理模块和小波域处理模块之间形成的密集连接，也即，某一个子网络内，空间域处理模块的输出和空间域处理模块的级连信息是与其对应的小波域处理模块中的每个卷积层的输入。

[0130] 所述空间域处理模块对第一输入图像进行空间域处理，得到第一输出图像，其中，所述第一输出图像的分辨率大于所述第一输入图像的分辨率，所述第一输入图像为所述待处理图像或者为前一子网络的输出图像；所述小波域处理模块对所述第一输出图像和所述空间域处理模块的级连信息进行小波域处理，得到第二输出图像，其中，所述第二输出图像为所述目标图像或者为下一子网络的空间域处理模块的输入图像。

[0131] 具体的，对于整个跨域密集连接神经网络的第一个子网络来讲，它的空间域处理模块的第一输入图像可以是待处理图像；而对后续的其他子网络来讲，它的空间域处理模块的第一输入图像则是上一子网络的输出图像。对于整个跨域密集连接神经网络的最后一个子网络来讲，它的小波域处理模块的第二输出图像是目标图像；而对其他子网络来讲，它的小波域处理模块的第二输出图像则是下一子网络的空间域处理模块的输入图像。

[0132] 对于任何一个子网络，在空间域处理模块对第一输入图像进行空间域处理时，所述空间域处理模块对所述第一输入图像进行上采样，得到所述第一输出图像。其中，空间域的处理也可称为图像预增强，在空间域通过深度神经网络将空间域处理模块的输入图像的图像质量提升到一定的程度，通常，可使得所述第一输出图像的分辨率是所述第一输入图像的分辨率的4倍(长和宽分别为第一输出图像的2倍)。那么，一张输入图像经过n级增强n n后，得到的图像的分辨率为(2×H)*(2×W)。

[0133] 对于任何一个子网络，结合图5所示，所述空间域处理模块包括一个或多个嵌套残差密集块(Residual‑in‑Residual Dense Block，RRDB)，每个嵌套残差密集块包括一个或多个残差密集块(Residual Dense Block，RDB)；所述小波域处理模块包括一个或多个嵌套残差密集块，每个嵌套残差密集块包括一个或多个残差密集块。此外，所述空间域处理模块还可包括卷积层等。其中，所述级连信息来自于所述空间域处理模块的残差密集模块。

[0134] 其中，所述空间域处理模块的第x个嵌套残差密集块的第y个残差密集模块，和所述小波域处理模块的第x个嵌套残差密集块的第y个残差密集模块进行级连；其中，x，y为整数，1≤x≤P，1≤y≤Q；P为大于0的整数，表示空间域处理模块或者小波域处理模块所包括的嵌套残差密集块的个数；Q为大于0的整数，表示空间域处理模块或者小波域处理模块的一个嵌套残差密集块所包括的残差密集块的个数。

[0135] 通过以上方式，形成了空间域处理模块和小波域处理模块之间的密集连接。对于每个RDB包括卷积层、LReLu等。在形成级连的过程中，空间域处理模块的第x个嵌套残差密集块的第y个残差密集模块的任意卷积层的输出，均连接到小波域处理模块的第x个嵌套残差密集块的第y个残差密集模块的每个卷积层的输出，从而形成了小波域处理模块的第x个嵌套残差密集块的第y个残差密集模块的级连信息。

[0136] 当然，在实际应用中，还可用其他的模块代替RRDB或者RDB。

[0137] 那么，在小波域处理模块中，对所述第一输出图像进行小波分解，得到多个第一小波子带，同时，从所述空间域处理模块获得级连信息。之后，对所述多个第一小波子带和所述级连信息进行特征提取，得到多个小波域子带。然后，对所述多个小波域子带进行小波反变换，得到所述第二输出图像。其中，所述小波反变换包括小波重建等。

[0138] 在本申请实施例中，利用跨域密集连接神经网络对待处理图像进行处理，得到目标图像。由于跨域密集连接神经网络的子网络包括至少一个空间域处理模块和至少一个小波域处理模块，且在空间域处理模块处理的空间域处理的基础上，利用小波域处理模块进行小波域的处理，从而可以将空间域的特征叠加到小波域，提高小波域的特征多样性。因此，利用本申请实施例的方案，可提高图像增强效果。

[0139] 参见图3，图3是本申请实施例提供的图像处理方法的流程图，如图3所示，包括以下步骤：

[0140] 步骤301、获取待处理图像。

[0141] 在本申请实施例中，所述待处理图像可以是低质量图像，例如，通过手机拍摄的图像等。

[0142] 步骤302、将所述待处理图像经过跨域密集连接神经网络进行处理，得到目标图像。

[0143] 其中，步骤301和步骤302的描述可参照前述实施例的描述。

[0144] 步骤303、计算第一损失函数。

[0145] 具体的，在此步骤中，可计算所述目标图像和空间域真实图像之间的曼哈顿距离(L1)或者欧氏距离(L2距离)，将所述曼哈顿距离或者欧氏距离，作为所述第一损失函数。

[0146] 具体的，在计算曼哈顿距离或者欧氏距离时，还可将所述目标图像经过VGG(Visual Graphics Generator，目视图像生成器)网络进行处理，得到第一中间目标图像；将所述空间域真实图像经过VGG网络进行处理，得到第一中间空间域真实图像。之后，计算所述第一中间目标图像和所述第一中间空间域真实图像之间的曼哈顿距离或者欧氏距离。

[0147] 例如，损失函数可以基于空间域真实图像(ground truth)IGT和目标图像的像素的L1距离(曼哈顿距离)或者L2距离(欧氏距离)进行计算得到。

[0148] 此时，L1距离可以定义为：Lpixel＝‖IGT‑D‖1。其中，D表示目标图像。

[0149] 又例如，也可以基于空间域真实图像(ground truth)IGT和目标图像经过VGG网络输出后的结果来计算L1或者L2距离。

[0150] 此时，L1距离可以定义为：LVGG＝‖φ(IGT)‑φ(D)‖1，其中φ()表示VGG19网络某一层的输出。

[0151] 具体的，在此步骤中，还可基于所述目标图像和空间域真实图像经过GAN(Generative Adversarial Networks，生成对抗网络)的判别器进行处理的结果，按照以下公式，得到所述第一损失函数：

[0152] Ladv,G1＝‑log(1‑DRa(D,IGT))‑log(DRa(IGT,D))；

[0153] 其中，Ladv,G1表示所述第一损失函数，DRa表示GAN的判别器，D表示所述目标图像，IGT表示所述空间域真实图像。

[0154] 具体的，在此基于空间域真实图像(ground truth)IGT和目标图像经过生成对抗网络中的判别网络输出后的结果来进行计算。

[0155] 判别网络的损失函数可以定义为：

[0156] Ladv,D＝‑log(DRa(D,IGT)))‑log(1‑DRa(IGT,D))；

[0157] 而生成网络的损失函数(即第一损失函数)为：

[0158] Ladv,G1＝‑log(1‑DRa(D,IGT))‑log(DRa(IGT,D))；

[0159] 其中，DRa表示判别器，D表示所述目标图像，IGT表示所述空间域真实图像。

[0160] 需要说明的是，上述公式是针对一张图像来计算的损失函数。如果有多张图像一起进行训练，则损失函数为多张图像的损失函数的平均值。

[0161] 步骤304、计算第二损失函数。

[0162] 在此步骤中，可将所述空间域真实图像分解成多个第二小波子带，所述多个第二小波子带和多个小波域子带对应。之后，对于多个第二小波子带中的任一第一目标小波子带，计算所述第一目标小波子带和对应的小波域子带之间的曼哈顿距离或者欧氏距离，并将所述曼哈顿距离或者欧氏距离，作为所述第一目标小波子带的损失函数，根据多个损失函数得到所述第二损失函数。例如，可将多个损失函数求平均值得到所述第二损失函数，也可将多个损失函数分别和对应的权值进行相乘，然后将获得的多个乘积的和求平均值得到所述第二损失函数。

[0163] 在计算所述第一目标小波子带和对应的小波域子带之间的曼哈顿距离或者欧氏距离时，可将所述第一目标小波子带经过VGG网络进行处理，得到第一中间目标小波子带。然后，将所述第一目标小波子带对应的小波域子带经过VGG网络进行处理，得到第一中间小波域子带。最后，计算所述第一中间目标小波子带和所述第一中间小波域子带之间的曼哈顿距离或者欧氏距离。

[0164] 具体的，在此步骤中，首先，将空间域真实图像(ground truth)IGT先分解成不同的小波子带LLGT，LHGT，HLGT，HHGT。然后，再和对应的小波域处理模块输出的不同小波子带F(LLSR),F(LHSR),F(HLSR),F(HHSR)进行运算得到。其中LLGT,LHGT,HLGT,HHGT分别代表空间域真实图像的低频子带，垂直方向高频子带，水平方向高频子带和对角线方向高频子带，F()表示小波域处理模块输出的低频子带，垂直方向高频子带，水平方向高频子带和对角线方向高频子带。

[0165] 例如，损失函数可以基于上述两种小波子带的像素的L1距离(曼哈顿距离)或者L2距离(欧氏距离)进行计算得到。

[0166] 此时，以LH子带为例，L1距离可以定义为：Lpixel＝‖F(LHSR)‑LHGT‖1。

[0167] 又例如，也可以基于上述两种小波子带经过VGG网络输出后的结果来计算L1或者L2距离。

[0168] 以LH子带为例，如L1距离可以定义为：LVGG_LH＝‖φ(F(LHSR)‑φ(LHGT)‖1，其中φ()表示VGG19网络某一层的输出。

[0169] 此外，在此步骤中，还可将所述空间域真实图像分解成多个第二小波子带，所述多个第二小波子带和多个小波域子带对应，然后，对于多个第二小波子带中的任一第一目标小波子带，将所述第一目标小波子带和所述第一目标小波子带对应的小波域子带经过GAN网络的判别器进行处理，按照以下公式，得到所述第一目标小波子带的损失函数：

[0170] Ladv,G2＝‑log(1‑DRa(IGT,F(ISR)))‑log(DRa(F(ISR),IGT))

[0171] 其中，Ladv,G2表示所述第二损失函数，DRa表示GAN的判别器，IGT表示所述第一目标小波子带，F(ISR)表示第一目标小波子带对应的小波域子带。

[0172] 最后，根据多个所述损失函数得到所述第二损失函数。例如，可将多个损失函数求平均值得到所述第二损失函数，也可将多个损失函数分别和对应的权值进行相乘，然后将获得的多个乘积的和求平均值得到所述第二损失函数。

[0173] 具体的，在此基于上述两种小波子带经过生成对抗网络中的判别网络输出后的结果来进行计算。

[0174] 以LH子带为例，判别网络的损失函数可以定义为：

[0175] Ladv，D＝‑log(DRa(LHGT,F(LHSR)))‑log(1‑DRa(F(LHSR)，LHGT))；

[0176] 而生成网络的损失函数(即第二损失函数)为：

[0177] Ladv,G2＝‑log(1‑DRa(LHGT，F(LHSR)))‑log(DRa(F(LHSR),LHGT))；

[0178] 其中，DRa表示相对判别器，LHGT表示LH子带，F(LHSR)表示LH子带对应的小波域子带。

[0179] 需要说明的是，上述公式是针对一张图像来计算的损失函数，如果有多张图像一起进行训练，则损失函数为多张图像的损失函数的平均值。

[0180] 在本申请实施例中，步骤303和步骤304之间并没有严格的先后关系，既可以先执行步骤303再执行步骤304，也可以先执行步骤304再执行步骤303。

[0181] 步骤305、利用所述第一损失函数和所述第二损失函数，计算所述跨域密集连接神经网络的第三损失函数。

[0182] 具体的，在此步骤中，可利用所述第一损失函数和第一系数的乘积，与所述第二损失函数和第二系数的乘积之和，作为所述第三损失函数。

[0183] 假设整个网络的损失函数为：Ltotal,可以得到：

[0184] Ltotal＝αLspatial+βLwavelet，其中α和β分别为空间域损失函数和小波域损失函数的系数，Lspatial表示空间域损失函数，Lwavelet表示小波域损失函数。

[0185] 通过以上描述可以看出，在本申请实施例中，将空间域的特征叠加到小波域，从而提高小波域的特征多样性。因此，与仅仅在空间域或者小波域内部进行密集连接相比，利用本申请实施例的方案，会带来更好的图像增强效果。

[0186] 此外，利用本申请实施例的方案，不仅仅在空间域求损失函数，还在小波域求损失函数，因此，可通过获得的小波域求损失函数有助于针对不同的小波波段(LL,LH,HL和HH)分别进行特征提取，从而有针对性地对图像细节进行增强。

[0187] 图4展示了一个利用本申请实施例提出的跨域密集连接神经网络来进行多级(多尺度)图像增强的示意图。每一级(Scale)(或称为每个子网络)包含两个阶段：第一阶段(Stage‑1)为空间域的图像预增强阶段，在空间域进行特征提取，第二阶段(Stage‑2)为小波域的特征提取阶段。两个阶段通过密集连接将模块中的卷积层输出连接起来。与第一阶段空间域特征提取模块的特征图像分辨率H×W相比，第二阶段小波域特征提取阶段的特征图像的分辨率为2H×2W。在多级结构中，图像增强是通过超分辨率技术实现的。每一级将输入图像的分辨率提升为原来的4倍(长和宽分别为原来的2倍)。一张输入图像经过n级增强n n后的图像的分辨率为(2×H)*(2×W)。

[0188] 图5展示了本申请实施例提供的跨域密集连接神经网络中一个子网络的示意图。每一级包含两个阶段：第一阶段为空间域的图像预增强阶段，第二阶段为小波域的特征提取阶段。图像预增强阶段在空间域通过深度神经网络将输入图像的图像质量提升到一定程度。然后第二阶段通过小波分解将第一阶段输出的图像分解成许多小波子带，然后再通过第二阶段的小波域深度神经网络对这些小波子带分别进行特征提取。最后，再将第二阶段小波域特征提取模块的输出进行重建，得到空间域的一张输出图像。

[0189] 从图5中可以看出，第一阶段包括卷积层Conv和CDDB‑I(空间域密集连接)等。CDDB‑I内部都可包括多个卷积层、LReLu、RRDB(Residual‑in‑Residual Dense Block，嵌套残差密集块)等。每个RRDB又包括多个RDB(Residual Dense Block，残差密集块)。第二阶段包括CDDB‑W(小波域密集连接)等。每个CDDB‑W内部都可包括多个卷积层、LReLu、RRDB等。每个RRDB又包括多个RDB。当然，在实际应用中，还可用其他的模块代替RRDB。

[0190] 对于输入图像ILR(分辨率为H×W)，经第一阶段处理后，生成 (分辨率为2H×2W)。之后， 被输入到第二阶段，被划分成多个子带LL2SR，LH2SR……等。之后，经过小波域特征提取，得到对应的小波域子带F(LL2SR)，F(LH2SR)……。CDDB‑I的任意一个RRDB的任意一个RDB内部的某一卷积层的输出，连接到CDDB‑W中对应的RRDB的RDB内部的每个卷积层的输出。例如，CDDB‑I的第一个RRDB的第一个RDB内部的第一个卷积层的输出，连接到CDDB‑W的第一个RRDB的第一个RDB内部的每个卷积层的输出。IGT表示空间域真实图像(ground truth)。

[0191] 图6展示了某一级中第一阶段空间域特征提取模块与第二阶段小波域特征提取之间的密集连结。其中，空间域和小波域分别包含3个密集连接模块。图中仅展示了两个阶段的第一个密集连接模块的细节，其他密集连接模块的结构和展示的相同。

[0192] 本申请实施例中包含两种类型的密集连接：域内密集连接和跨域密集连接。即空间域或者小波域内部的特征图像之间的密集连接，以及空间域的特征图像与小波域的特征图像之间的密集连接。

[0193] 跨域的密集连接是通过以下方式实现的：第一阶段(CDDB‑I)空间域特征提取模块的某卷积层输出的特征图像，首先通过上采样将其分辨率提升到原来的4倍(长和宽分别为2倍)。第一阶段的输出，输入到第二阶段(CDDB‑W)。通过小波分解将上述提高了分辨率的空间域特征图像分解成不同的小波子带(wavelet sub‑bands)，最后将这些不同的子带与第二阶段小波域特征提取模块中对应的卷积层输出的小波域特征图像进行级连
(concatenation)操作，从而实现跨域的密集连接。

[0194] 在图6中，61和62分别指示空间域中的RDB和小波域的RDB的结构。从图6中可以看出，空间域RDB的某个卷积层(或者还可认为是LReLu)的输出分别是空间域RDB内、该卷积层之后每个卷积层的输入；空间域RDB的某个卷积层(或者还可认为是LReLu)的输出(即级连信息)分别连接到小波域的RDB的每个卷积层(或者还可认为是LReLu)的输出，从而形成跨域的密集连接。

[0195] 图5与图6仅仅展示了两级小波分解，总共有8个小波子带，每一级有4个，即LL、LH、HL和HH。但由于LL1继续分解成了第2级小波子带，一般只保留最高级的LL小波子带，所以2级小波分解，一般只保留LL2。因此，在本申请实施例中，总共有7个小波子带，分别是LL2,LH1,HL1,HH1,LH2,HL2和HH2。

[0196] 图7展示了多级结构中某一级的处理流程图。所述流程图描述了训练本申请实施例提出的方法的流程示意图。如图7所示，该方法包括：s

[0197] 步骤701、输入图像被传到第一阶段空间域特征提取模块CDDB_I。

[0198] 步骤702、在每一个密集连接模块中，某卷积层输出的特征图像首先通过上采样将其分辨率提升到原来的4倍(长和宽分别为2倍)。

[0199] 步骤703、通过小波分解将上述提高了分辨率的空间域特征图像分解成多级的小波子带。

[0200] 步骤704、存储小波子带，以供后面密集连接操作时使用。

[0201] 步骤705、将第一阶段空间域特征提取模块的输出小波分解成不同的小波子带，然后传输给第二阶段小波域特征提取模块CDDB_W。

[0202] 步骤706、CDDB_I和CDDB_W对应的特征提取模块以密集连接方式连接。

[0203] 步骤707、在空间域与小波域分别计算真实图像与生成图像之间的损失函数，两个域的损失函数叠加后的损失函数作为整个网络的损失函数。

[0204] 步骤708、将第二阶段小波域特征提取模块的输出进行小波重建，得到空间域的一张输出图像。此输出图像作为下一级的输入。

[0205] 通过以上描述可以看出，在本申请实施例中，将空间域的特征叠加到小波域，从而提高小波域的特征多样性。因此，与仅仅在空间域或者小波域内部进行密集连接相比，利用本申请实施例的方案，会带来更好的图像增强效果。

[0206] 图8至图10展示了利用本申请实施例的方法以及与利用现有技术的方法获得的图像效果的示意图。其中，在图8至图10中，第一行的最左侧是原始图像，中间是利用现有技术的方法得到的图像，最右边是利用本申请实施例方法得到的增强图像。在图8至图10中，第二行是第一行中画方框区域的放大。通过对比可以看出，利用本申请实施例的方案，使得图像细节得到了增强。

[0207] 本申请实施例还提供了一种图像处理装置。参见图11，图11是本申请实施例提供的图像处理装置的结构图。如图11所示，图像处理装置1100包括：

[0208] 第一获取模块1101，用于获取待处理图像；第一处理模块1102，用于将所述待处理图像经过跨域密集连接神经网络进行处理，得到目标图像；

[0209] 其中，所述跨域密集连接神经网络包括n个子网络，n为整数且n≥1；

[0210] 所述子网络包括至少一个空间域处理模块和至少一个小波域处理模块，所述空间域处理模块和对应的小波域处理模块之间形成密集连接，所述空间域处理模块的内部形成密集连接，所述小波域处理模块的内部形成密集连接；

[0211] 所述空间域处理模块对第一输入图像进行空间域处理，得到第一输出图像，其中，所述第一输出图像的分辨率大于所述第一输入图像的分辨率，所述第一输入图像为所述待处理图像或者为前一子网络的输出图像；

[0212] 所述小波域处理模块对所述第一输出图像和所述空间域处理模块的级连信息进行小波域处理，得到第二输出图像，其中，所述第二输出图像为所述目标图像或者为下一子网络的空间域处理模块的输入图像。

[0213] 其中，所述空间域处理模块对所述第一输入图像进行上采样，得到所述第一输出图像，所述第一输出图像的分辨率是所述第一输入图像的分辨率的4倍。

[0214] 其中，所述空间域处理模块包括一个或多个嵌套残差密集块，每个嵌套残差密集块包括一个或多个残差密集块；所述小波域处理模块包括一个或多个嵌套残差密集块，每个嵌套残差密集块包括一个或多个残差密集块；

[0215] 其中，所述空间域处理模块的第x个嵌套残差密集块的第y个残差密集模块，和所述小波域处理模块的第x个嵌套残差密集块的第y个残差密集模块进行级连；

[0216] 其中，x，y为整数，1≤x≤P，1≤y≤Q；P为大于0的整数，表示空间域处理模块或者小波域处理模块所包括的嵌套残差密集块的个数；Q为大于0的整数，表示空间域处理模块或者小波域处理模块的一个嵌套残差密集块所包括的残差密集块的个数。

[0217] 其中，所述小波域处理模块，用于：

[0218] 对所述第一输出图像进行小波分解，得到多个第一小波子带；

[0219] 对所述多个第一小波子带和所述级连信息进行特征提取，得到多个小波域子带；

[0220] 对所述多个小波域子带进行小波反变换，得到所述第二输出图像。

[0221] 其中，如图12所示，所述装置还包括：

[0222] 第一计算模块1103，用于对于第n个子网络，计算第一损失函数；

[0223] 第二计算模块1104，用于计算第二损失函数；

[0224] 第三计算模块1105，用于利用所述第一损失函数和所述第二损失函数，计算所述跨域密集连接神经网络的第三损失函数。

[0225] 其中，如图13所示，所述第一计算模块1103包括：

[0226] 第一计算子模块11031，用于计算所述目标图像和空间域真实图像之间的曼哈顿距离或者欧氏距离；

[0227] 第二计算子模块11032，用于将所述曼哈顿距离或者欧氏距离，作为所述第一损失函数。

[0228] 其中，如图14所示，所述第一计算子模块11031包括：

[0229] 第一获取单元11031a，用于将所述目标图像经过VGG网络进行处理，得到第一中间目标图像；

[0230] 第二获取单元11031b，用于将所述空间域真实图像经过VGG网络进行处理，得到第一中间空间域真实图像；

[0231] 第一计算单元11031c，用于计算所述第一中间目标图像和所述第一中间空间域真实图像之间的曼哈顿距离或者欧氏距离。

[0232] 其中，所述第一计算模块1103，还用于基于所述目标图像和空间域真实图像经过生成对抗网络GAN的判别器进行处理的结果，按照以下公式，得到所述第一损失函数：

[0233] Ladv,G1＝‑log(1‑DRa(D,IGT))‑log(DRa(IGT,D))；

[0234] 其中，Ladv,G1表示所述第一损失函数，DRa表示GAN的判别器，D表示所述目标图像，IGT表示所述空间域真实图像。

[0235] 其中，如图15所示，所述第二计算模块1104包括：

[0236] 第一分解子模块11041，用于将所述空间域真实图像分解成多个第二小波子带，所述多个第二小波子带和多个小波域子带对应；

[0237] 第一计算子模块11042，用于对于多个第二小波子带中的任一第一目标小波子带，计算所述第一目标小波子带和对应的小波域子带之间的曼哈顿距离或者欧氏距离；

[0238] 第一获取子模块11043，用于将所述曼哈顿距离或者欧氏距离，作为所述第一目标小波子带的损失函数；

[0239] 第二获取子模块11044，用于根据多个损失函数得到所述第二损失函数。

[0240] 其中，如图16所示，所述第一计算子模块11042，包括：

[0241] 第一处理单元110421，用于将所述第一目标小波子带经过VGG网络GAN进行处理，得到第一中间目标小波子带；

[0242] 第二处理单元110422，用于将所述第一目标小波子带对应的小波域子带经过VGG网络进行处理，得到第一中间小波域子带；

[0243] 第一计算单元110423，用于计算所述第一中间目标小波子带和所述第一中间小波域子带之间的曼哈顿距离或者欧氏距离。

[0244] 其中，如图17所示，其中，所述第二计算模块1104包括：

[0245] 第二分解子模块11045，用于将所述空间域真实图像分解成多个第二小波子带，所述多个第二小波子带和多个小波域子带对应；

[0246] 第二计算子模块11046，用于对于多个第二小波子带中的任一第一目标小波子带，将所述第一目标小波子带和所述第一目标小波子带对应的小波域子带经过GAN网络的判别器进行处理，按照以下公式，得到所述第一目标小波子带的损失函数：

[0247] Ladv,G2＝‑log(1‑DRa(IGT,F(ISR)))‑log(DRa(F(ISR),IGT))

[0248] 其中，Ladv,G2表示所述第二损失函数，DRa表示GAN的判别器，IGT表示所述第一目标小波子带，F(ISR)表示第一目标小波子带对应的小波域子带；

[0249] 第三获取子模块11047，用于根据多个所述损失函数得到所述第二损失函数。

[0250] 其中，所述第三计算模块用于，利用所述第一损失函数和第一系数的乘积，与所述第二损失函数和第二系数的乘积之和，作为所述第三损失函数。

[0251] 本申请实施例提供的装置，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

[0252] 需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

[0253] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read‑Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

[0254] 参见图18，本申请实施例还提供了一种电子设备的硬件结构。如图18所示，该电子设备1800包括：

[0255] 处理器1802；和

[0256] 存储器1804，在所述存储器1804中存储有程序指令，其中，在所述程序指令被所述处理器运行时，使得所述处理器1802执行以下步骤：

[0257] 获取待处理图像；

[0258] 将所述待处理图像经过跨域密集连接神经网络进行处理，得到目标图像；

[0259] 其中，所述跨域密集连接神经网络包括n个子网络，n为整数且n≥1；

[0260] 所述子网络包括至少一个空间域处理模块和至少一个小波域处理模块，所述空间域处理模块和对应的小波域处理模块之间形成密集连接，所述空间域处理模块的内部形成密集连接，所述小波域处理模块的内部形成密集连接；

[0261] 所述空间域处理模块对第一输入图像进行空间域处理，得到第一输出图像，其中，所述第一输出图像的分辨率大于所述第一输入图像的分辨率，所述第一输入图像为所述待处理图像或者为前一子网络的输出图像；

[0262] 所述小波域处理模块对所述第一输出图像和所述空间域处理模块的级连信息进行小波域处理，得到第二输出图像，其中，所述第二输出图像为所述目标图像或者为下一子网络的空间域处理模块的输入图像。

[0263] 进一步地，如图18所示，该电子设备1800还可以包括网络接口1801、输入设备1803、硬盘1805、和显示设备1806。

[0264] 上述各个接口和设备之间可以通过总线架构互连。总线架构可以是包括任意数量的互联的总线和桥。具体由处理器1802代表的一个或者多个中央处理器(CPU)，以及由存储器1804代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。

[0265] 所述网络接口1801，可以连接至网络(如因特网、局域网等)，从网络中接收数据，并可以将接收到的数据保存在硬盘1805中。

[0266] 所述输入设备1803，可以接收操作人员输入的各种指令，并发送给处理器1802以供执行。所述输入设备1803可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等)。

[0267] 所述显示设备1806，可以将处理器1802执行指令获得的结果进行显示。

[0268] 所述存储器1804，用于存储操作系统运行所必须的程序和数据，以及处理器1802计算过程中的中间结果等数据。

[0269] 可以理解，本申请实施例中的存储器1804可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器1804旨在包括但不限于这些和任意其它适合类型的存储器。

[0270] 在一些实施方式中，存储器1804存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统18041和应用程序18042。

[0271] 其中，操作系统18041，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序18042，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本申请实施例方法的程序可以包含在应用程序18042中。

[0272] 本发明上述实施例揭示的图像处理方法可以应用于处理器1802中，或者由处理器1802实现。处理器1802可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述图像处理方法的各步骤可以通过处理器1802中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1802可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1804，处理器1802读取存储器1804中的信息，结合其硬件完成上述方法的步骤。

[0273] 可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

[0274] 对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

[0275] 具体地，所述程序被处理器1802执行时还可实现如下步骤：

[0276] 对所述第一输入图像进行上采样，得到所述第一输出图像，所述第一输出图像的分辨率是所述第一输入图像的分辨率的4倍。

[0277] 其中，所述空间域处理模块包括一个或多个嵌套残差密集块，每个嵌套残差密集块包括一个或多个残差密集块；所述小波域处理模块包括一个或多个嵌套残差密集块，每个嵌套残差密集块包括一个或多个残差密集块；

[0278] 其中，所述空间域处理模块的第x个嵌套残差密集块的第y个残差密集模块，和所述小波域处理模块的第x个嵌套残差密集块的第y个残差密集模块进行级连；

[0279] 其中，x，y为整数，1≤x≤P，1≤y≤Q；P为大于0的整数，表示空间域处理模块或者小波域处理模块所包括的嵌套残差密集块的个数；Q为大于0的整数，表示空间域处理模块或者小波域处理模块的一个嵌套残差密集块所包括的残差密集块的个数。

[0280] 具体地，所述程序被处理器1802执行时还可实现如下步骤：

[0281] 对所述第一输出图像进行小波分解，得到多个第一小波子带；

[0282] 对所述多个第一小波子带和所述级连信息进行特征提取，得到多个小波域子带；

[0283] 对所述多个小波域子带进行小波反变换，得到所述第二输出图像。

[0284] 具体地，所述程序被处理器1802执行时还可实现如下步骤：

[0285] 计算第一损失函数；

[0286] 计算第二损失函数；

[0287] 利用所述第一损失函数和所述第二损失函数，计算所述跨域密集连接神经网络的第三损失函数。

[0288] 具体地，所述程序被处理器1802执行时还可实现如下步骤：

[0289] 计算所述目标图像和空间域真实图像之间的曼哈顿距离或者欧氏距离；

[0290] 将所述曼哈顿距离或者欧氏距离，作为所述第一损失函数。

[0291] 具体地，所述程序被处理器1802执行时还可实现如下步骤：

[0292] 将所述目标图像经过目视图像生成器VGG网络进行处理，得到第一中间目标图像；

[0293] 将所述空间域真实图像经过VGG网络进行处理，得到第一中间空间域真实图像；

[0294] 计算所述第一中间目标图像和所述第一中间空间域真实图像之间的曼哈顿距离或者欧氏距离。

[0295] 具体地，所述程序被处理器1802执行时还可实现如下步骤：

[0296] 基于所述目标图像和空间域真实图像经过生成对抗网络GAN的判别器进行处理的结果，按照以下公式，得到所述第一损失函数：

[0297] Ladv,G1＝‑log(1‑DRa(D,IGT))‑log(DRa(IGT,D))；

[0298] 其中，Ladv,G1表示所述第一损失函数，DRa表示GAN的判别器，D表示所述目标图像，IGT表示所述空间域真实图像。

[0299] 具体地，所述程序被处理器1802执行时还可实现如下步骤：

[0300] 将所述空间域真实图像分解成多个第二小波子带，所述多个第二小波子带和多个小波域子带对应；

[0301] 对于多个第二小波子带中的任一第一目标小波子带，计算所述第一目标小波子带和对应的小波域子带之间的曼哈顿距离或者欧氏距离；

[0302] 将所述曼哈顿距离或者欧氏距离，作为所述第一目标小波子带的损失函数；

[0303] 根据多个损失函数得到所述第二损失函数。

[0304] 具体地，所述程序被处理器1802执行时还可实现如下步骤：

[0305] 将所述第一目标小波子带经过VGG网络进行处理，得到第一中间目标小波子带；

[0306] 将所述第一目标小波子带对应的小波域子带经过VGG网络进行处理，得到第一中间小波域子带；

[0307] 计算所述第一中间目标小波子带和所述第一中间小波域子带之间的曼哈顿距离或者欧氏距离。

[0308] 具体地，所述程序被处理器1802执行时还可实现如下步骤：

[0309] 将所述空间域真实图像分解成多个第二小波子带，所述多个第二小波子带和多个小波域子带对应；

[0310] 对于多个第二小波子带中的任一第一目标小波子带，将所述第一目标小波子带和所述第一目标小波子带对应的小波域子带经过GAN网络的判别器进行处理，按照以下公式，得到所述第一目标小波子带的损失函数：

[0311] Ladv,G2＝‑log(1‑DRa(IGT,F(ISR)))‑log(DRa(F(ISR),IGT))

[0312] 其中，Ladv,G2表示所述第二损失函数，DRa表示GAN的判别器，IGT表示所述第一目标小波子带，F(ISR)表示第一目标小波子带对应的小波域子带；

[0313] 根据多个所述损失函数得到所述第二损失函数。

[0314] 具体地，所述程序被处理器1802执行时还可实现如下步骤：

[0315] 利用所述第一损失函数和第一系数的乘积，与所述第二损失函数和第二系数的乘积之和，作为所述第三损失函数。

[0316] 本申请实施例提供的电子设备，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

[0317] 本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序，该程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的可读存储介质，可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。

[0318] 需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

[0319] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。根据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁盘、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

[0320] 上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。