一种图像生成方法和装置

摘要

本申请实施例提供一种图像生成方法和装置，涉及图像处理技术领域，能够解决采用ERM原则处理得出的图像过于平滑，缺少细节信息的问题。其方法为：确定低分辨率图像对应的至少一个细节定向低分辨率特征图和至少一个互补定向低分辨率特征图；确定至少一个细节定向低分辨率特征图中的每个细节定向低分辨率特征图对应的细节定向超分辨率图像；确定至少一个互补定向低分辨率特征图中的每个互补定向低分辨率特征图对应的互补定向超分辨率图像；根据细节定向超分辨率图像和互补定向超分辨率图像获取低分辨率图像对应的超分辨率图像。本申请实施例应用于图像超分辨率的过程中。

权利要求

1.一种图像生成方法，其特征在于，包括：

确定低分辨率图像对应的至少一个细节定向低分辨率特征图和至少一个互补定向低分辨率特征图；

确定所述至少一个细节定向低分辨率特征图中的每个细节定向低分辨率特征图对应的细节定向超分辨率图像；

确定所述至少一个互补定向低分辨率特征图中的每个互补定向低分辨率特征图对应的互补定向超分辨率图像；

根据所述细节定向超分辨率图像和所述互补定向超分辨率图像获取所述低分辨率图像对应的超分辨率图像；

所述确定低分辨率图像对应的至少一个细节定向低分辨率特征图和至少一个互补定向低分辨率特征图包括：确定所述低分辨率图像的至少一个候选特征图；

对于所述至少一个候选特征图中的每个候选特征图，将该候选特征图转换为灰度图像；将该灰度图像分割成N个图像块，确定所述N个图像块对应的梯度直方图的中值大于或等于第一预设阈值的图像块数目D；若R大于或等于第二预设阈值，确定该候选特征图为所述细节定向低分辨率特征图；其中，R＝D/N，N为大于或等于1的整数，D为大于或等于0的整数；

将所述细节定向低分辨率特征图的像素值与所述低分辨率图像的灰度图像的像素值相减，得到所述互补定向低分辨率特征图。

2.根据权利要求1所述的方法，其特征在于，所述确定所述至少一个细节定向低分辨率特征图中的每个细节定向低分辨率特征图对应的细节定向超分辨率图像包括：对于所述至少一个细节定向低分辨率特征图中的每个细节定向低分辨率特征图，根据所述细节定向低分辨率特征图和所述细节定向低分辨率特征图对应的细节定向高分辨率特征图确定所述细节定向超分辨率图像。

3.根据权利要求1或2所述的方法，其特征在于，所述确定所述至少一个互补定向低分辨率特征图中的每个互补定向低分辨率特征图对应的互补定向超分辨率图像包括：对于所述至少一个互补定向低分辨率特征图中的每个互补定向低分辨率特征图，根据所述互补定向低分辨率特征图和所述互补定向低分辨率特征图对应的互补定向高分辨率特征图确定所述互补定向超分辨率图像。

4.根据权利要求1或2所述的方法，其特征在于，所述根据所述细节定向超分辨率图像和所述互补定向超分辨率图像获取所述低分辨率图像对应的超分辨率图像包括：对于至少一个细节定向超分辨率特征图中的每个细节定向超分辨率特征图以及至少一个互补定向超分辨率特征图中的每个互补定向超分辨率特征图，相加该细节定向超分辨率特征图对应的细节定向超分辨率图像的像素值和该互补定向超分辨率特征图对应的细节定向超分辨率图像的像素值；

其中，该细节定向超分辨率特征图对应该互补定向超分辨率特征图。

5.一种图像生成装置，其特征在于，包括：

细节定向分离模块，用于确定低分辨率图像对应的至少一个细节定向低分辨率特征图和至少一个互补定向低分辨率特征图；

细节定向超分模块，用于确定所述至少一个细节定向低分辨率特征图中的每个细节定向低分辨率特征图对应的细节定向超分辨率图像；

互补定向超分模块，用于确定所述至少一个互补定向低分辨率特征图中的每个互补定向低分辨率特征图对应的互补定向超分辨率图像；

超分图像融合模块，用于根据所述细节定向超分辨率图像和所述互补定向超分辨率图像获取所述低分辨率图像对应的超分辨率图像；

所述细节定向分离模块用于：

确定所述低分辨率图像的至少一个候选特征图；

对于所述至少一个候选特征图中的每个候选特征图，将该候选特征图转换为灰度图像；将该灰度图像分割成N个图像块，确定所述N个图像块对应的梯度直方图的中值大于或等于第一预设阈值的图像块数目D；若R大于或等于第二预设阈值，确定该候选特征图为所述细节定向低分辨率特征图；其中，R＝D/N，N为大于或等于1的整数，D为大于或等于0的整数；

将所述细节定向低分辨率特征图的像素值与所述低分辨率图像的灰度图像的像素值相减，得到所述互补定向低分辨率特征图。

6.根据权利要求5所述的图像生成装置，其特征在于，所述细节定向超分模块用于：对于所述至少一个细节定向低分辨率特征图中的每个细节定向低分辨率特征图，根据所述细节定向低分辨率特征图和所述细节定向低分辨率特征图对应的细节定向高分辨率特征图确定所述细节定向超分辨率图像。

7.根据权利要求5或6所述的图像生成装置，其特征在于，所述互补定向超分模块用于：对于所述至少一个互补定向低分辨率特征图中的每个互补定向低分辨率特征图，根据所述互补定向低分辨率特征图和所述互补定向低分辨率特征图对应的互补定向高分辨率特征图确定所述互补定向超分辨率图像。

8.根据权利要求5或6所述的图像生成装置，其特征在于，所述超分图像融合模块用于：对于至少一个细节定向超分辨率特征图中的每个细节定向超分辨率特征图以及至少一个互补定向超分辨率特征图中的每个互补定向超分辨率特征图，相加该细节定向超分辨率特征图对应的细节定向超分辨率图像的像素值和该互补定向超分辨率特征图对应的细节定向超分辨率图像的像素值；

其中，该细节定向超分辨率特征图对应该互补定向超分辨率特征图。

说明书

一种图像生成方法和装置

技术领域

[0001] 本申请涉及图像处理技术领域，尤其涉及一种图像生成方法和装置。

背景技术

[0002] 超分辨率技术(Super-Resolution)是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。当前大多数的单一图像进行超分辨率处理的方法是运用经验风险最小化(Empirical Risk Minimisation，ERM)原则。如图1所示，X列代表低分辨率图像，Y列代表运用ERM原则处理后的图像。

[0003] 但是，采用ERM原则处理得出的图像，像素之间的过度往往过度平滑，从而造成图像模糊，图像过于平滑，缺少细节信息。整体效果看起来与原图差别较大。

发明内容

[0004] 本申请实施例提供一种图像生成方法和装置，能够解决采用ERM原则处理得出的图像过于平滑，缺少细节信息的问题。

[0005] 第一方面，本申请实施例提供一种图像生成方法，包括：确定低分辨率图像对应的至少一个细节定向低分辨率特征图和至少一个互补定向低分辨率特征图；确定至少一个细节定向低分辨率特征图中的每个细节定向低分辨率特征图对应的细节定向超分辨率图像；确定至少一个互补定向低分辨率特征图中的每个互补定向低分辨率特征图对应的互补定向超分辨率图像；根据细节定向超分辨率图像和互补定向超分辨率图像获取低分辨率图像对应的超分辨率图像。

[0006] 由此，根据低分辨率图像确定的至少一个细节定向低分辨率特征图和至少一个互补定向低分辨率特征图分别记录了低分辨率图像真实的细节内容等信息和其他特征信息，细节定向超分辨率图像和互补定向超分辨率图像具有更多的细节信息和局部纹理等其他信息，即加重了细节内容等信息的权值，从而输出的超分辨率图像具有更丰富的细节内容和结构，同时也可以抑制一些图像处理后产生的锯齿效应。如图5中的(a)所示，本申请实施例提供的图像生成方法生成的超分辨率图像具有更丰富的细节内容和结构，视觉感官更为自然。如图5中的(b)所示，相比采用ERM原则处理得出的图像会产生图像过于平滑，缺少细节信息的问题，本申请实施例提供的图像生成方法能够解决采用ERM原则处理得出的图像过于平滑，缺少细节信息的问题。

[0007] 在一种可能的实现方式中，确定低分辨率图像对应的至少一个细节定向低分辨率特征图和至少一个互补定向低分辨率特征图包括：确定低分辨率图像的至少一个候选特征图；对于至少一个候选特征图中的每个候选特征图，将该候选特征图转换为灰度图像；将该灰度图像分割成N个图像块，确定N个图像块对应的梯度直方图的中值大于或等于第一预设阈值的图像块数目D；若R(R＝D/N)大于或等于第二预设阈值，确定该候选特征图为细节定向低分辨率特征图；其中，N为大于或等于1的整数，D为大于或等于0的整数；将细节定向低分辨率特征图的像素值与低分辨率图像的灰度图像的像素值相减，得到互补定向低分辨率特征图。

[0008] 类似的，细节定向分离模块可以根据低分辨率图像确定细节定向低分辨率特征图和互补定向低分辨率特征图，类似的，细节定向分离模块可以根据高分辨率图像确定细节定向高分辨率特征图和互补定向高分辨率特征图。

[0009] 在一种可能的实现方式中，确定至少一个细节定向低分辨率特征图中的每个细节定向低分辨率特征图对应的细节定向超分辨率图像包括：对于至少一个细节定向低分辨率特征图中的每个细节定向低分辨率特征图，根据细节定向低分辨率特征图和细节定向低分辨率特征图对应的细节定向高分辨率特征图确定细节定向超分辨率图像。

[0010] 相比细节定向低分辨率特征图，根据细节定向低分辨率特征图和细节定向高分辨率特征图确定的细节定向超分辨率图像具有更多的细节内容和结构，即加重了低分辨率图像的细节内容等信息的权值，可以使后续生成的超分辨率图像的视觉感官更为自然和逼真。

[0011] 在一种可能的实现方式中，确定至少一个互补定向低分辨率特征图中的每个互补定向低分辨率特征图对应的互补定向超分辨率图像包括：对于至少一个互补定向低分辨率特征图中的每个互补定向低分辨率特征图，根据互补定向低分辨率特征图和互补定向低分辨率特征图对应的互补定向高分辨率特征图确定互补定向超分辨率图像。

[0012] 相比互补定向低分辨率特征图，根据互补定向低分辨率特征图和互补定向高分辨率特征图确定的互补定向超分辨率图像具有更多的除细节内容以外的其他内容，可以使后续生成的超分辨率图像的视觉感官更为自然和逼真。

[0013] 在一种可能的实现方式中，根据细节定向超分辨率图像和互补定向超分辨率图像获取低分辨率图像对应的超分辨率图像包括：对于至少一个细节定向超分辨率特征图中的每个细节定向超分辨率特征图以及至少一个互补定向超分辨率特征图中的每个互补定向超分辨率特征图，相加该细节定向超分辨率特征图对应的细节定向超分辨率图像的像素值和该互补定向超分辨率特征图对应的细节定向超分辨率图像的像素值；其中，该细节定向超分辨率特征图对应该互补定向超分辨率特征图，即该互补定向超分辨率特征图对应的互补定向低分辨率特征图是由该细节定向超分辨率特征图对应的细节定向低分辨率特征图的像素值与相应的灰度图像的像素值相减得到的。

[0014] 第二方面，本申请实施例提供一种图像生成装置，包括：细节定向分离模块，用于确定低分辨率图像对应的至少一个细节定向低分辨率特征图和至少一个互补定向低分辨率特征图；细节定向超分模块，用于确定至少一个细节定向低分辨率特征图中的每个细节定向低分辨率特征图对应的细节定向超分辨率图像；互补定向超分模块，用于确定至少一个互补定向低分辨率特征图中的每个互补定向低分辨率特征图对应的互补定向超分辨率图像；超分图像融合模块，用于根据细节定向超分辨率图像和互补定向超分辨率图像获取低分辨率图像对应的超分辨率图像。

[0015] 由此，细节定向分离模块根据低分辨率图像确定的至少一个细节定向低分辨率特征图和至少一个互补定向低分辨率特征图分别记录了低分辨率图像真实的细节内容等信息和其他特征信息，细节定向超分模块确定的细节定向超分辨率图像和互补定向超分模块确定的互补定向超分辨率图像加重了细节内容等信息的权值，从而输出的超分辨率图像具有更丰富的细节内容和结构，同时也可以抑制一些图像处理后产生的锯齿效应。如图5中的(a)所示，本申请实施例提供的图像生成方法生成的超分辨率图像具有更丰富的细节内容和结构，视觉感官更为自然。如图5中的(b)所示，相比采用ERM原则处理得出的图像会产生图像过于平滑，缺少细节信息的问题，本申请实施例提供的图像生成方法能够解决采用ERM原则处理得出的图像过于平滑，缺少细节信息的问题。

[0016] 在一种可能的实现方式中，细节定向分离模块用于：确定低分辨率图像的至少一个候选特征图；对于至少一个候选特征图中的每个候选特征图，将该候选特征图转换为灰度图像；将该灰度图像分割成N个图像块，确定N个图像块对应的梯度直方图的中值大于或等于第一预设阈值的图像块数目D；若R(R＝D/N)大于或等于第二预设阈值，确定该候选特征图为细节定向低分辨率特征图；其中，N为大于或等于1的整数，D为大于或等于0的整数；将细节定向低分辨率特征图的像素值与低分辨率图像的灰度图像的像素值相减，得到互补定向低分辨率特征图。

[0017] 在一种可能的实现方式中，细节定向超分模块用于：对于至少一个细节定向低分辨率特征图中的每个细节定向低分辨率特征图，根据细节定向低分辨率特征图和细节定向低分辨率特征图对应的细节定向高分辨率特征图确定细节定向超分辨率图像。

[0018] 在一种可能的实现方式中，互补定向超分模块用于：对于至少一个互补定向低分辨率特征图中的每个互补定向低分辨率特征图，根据互补定向低分辨率特征图和互补定向低分辨率特征图对应的互补定向高分辨率特征图确定互补定向超分辨率图像。

[0019] 在一种可能的实现方式中，超分图像融合模块用于：对于至少一个细节定向超分辨率特征图中的每个细节定向超分辨率特征图以及至少一个互补定向超分辨率特征图中的每个互补定向超分辨率特征图，相加该细节定向超分辨率特征图对应的细节定向超分辨率图像的像素值和该互补定向超分辨率特征图对应的细节定向超分辨率图像的像素值；其中，该细节定向超分辨率特征图对应该互补定向超分辨率特征图。

[0020] 第三方面，本申请实施例提供了一种装置，该装置以芯片的产品形态存在，该装置的结构中包括处理器和存储器，该存储器用于与处理器耦合，保存该装置必要的程序指令和数据，该处理器用于执行存储器中存储的程序指令，使得该装置执行上述方法中图像生成装置的功能。

[0021] 第四方面，本申请实施例提供了一种图像生成装置，该图像生成装置可以实现上述方法实施例中图像生成装置所执行的功能，功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个上述功能相应的模块。

[0022] 在一种可能的设计中，该图像生成装置的结构中包括处理器和通信接口，该处理器被配置为支持该图像生成装置执行上述方法中相应的功能。该通信接口用于支持该图像生成装置与其他网元之间的通信。该图像生成装置还可以包括存储器，该存储器用于与处理器耦合，其保存该图像生成装置必要的程序指令和数据。

[0023] 第五方面，本申请实施例提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行第一方面提供的任意一种方法。

[0024] 第六方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行第一方面提供的任意一种方法。

附图说明

[0025] 图1为本申请实施例提供的一种低分辨率图像和ERM原则处理后的图像的对比示意图；

[0026] 图2为本申请实施例提供的一种图像生成装置的结构示意图；

[0027] 图3为本申请实施例提供的一种端到端的系统框架示意图；

[0028] 图4为本申请实施例提供的一种图像生成方法的流程示意图；

[0029] 图5为本申请实施例提供的一种超分辨率图像与ERM原则处理后的图像的对比示意图；

[0030] 图6为本申请实施例提供的一种图像生成装置的结构示意图。

具体实施方式

[0031] 本申请实施例提供一种图像生成方法和装置，可以应用于图像超分辨率的过程中，例如应用于将标清影像升级为高清影像的过程。

[0032] 图2为本申请实施例中图像生成装置的一种内部结构示意图，在本申请实施例中，图像生成装置可以包括处理模块201、通讯模块202和存储模块203。其中，处理模块201用于控制图像生成装置的各部分硬件装置和应用程序软件等，处理模块201可以是处理器或控制器，例如可以是中央处理器(Central Processing Unit，CPU)，图形处理器(Graphics Processing Unit，GPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-Specific Integrated Circuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通讯模块202用于可使用长期演进(Long  Term Evolution，LTE)、无线保真(WIreless-Fidelity，WiFi)等通讯方式接受其它设备发送的指令，也可以将图像生成装置的数据发送给其它设备。通讯模块202可以是收发器、收发电路或通信接口等。存储模块203用于执行图像生成装置的软件程序的存储、数据的存储和软件的运行等，可以是只读存储器(Read-Only Memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(Random Access Memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

[0033] 其中，图像生成装置可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备、或有图2中类似结构的支持图像超分辨率技术的设备。

[0034] 在本申请实施例中，进一步的，上述图像生成装置的处理器可以通过运行端到端的系统框架实现图像生成方法，该端到端的系统框架所包括的软件模块可以被存放于存储器等存储介质中。如图3所示，为本申请实施例提供的一种端到端的系统框架的逻辑关系示意图，该系统框架采用语义网络模型，包括细节定向分离模块、细节定向超分模块、互补定向超分模块和超分图像融合模块，该系统框架的输入为低分辨率图像，输出为超分辨率图像。

[0035] 其中，细节定向分离模块用于确定低分辨率图像对应的至少一个细节定向低分辨率特征图和至少一个互补定向低分辨率特征图。细节定向超分模块用于确定至少一个细节定向低分辨率特征图中的每个细节定向低分辨率特征图对应的细节定向超分辨率图像，细节定向超分辨率图像相比细节定向低分辨率图像具有更多的边缘结构、边缘强度、细节内容以及目标特征类型信息。互补定向超分模块用于确定至少一个互补定向低分辨率特征图中的每个互补定向低分辨率特征图对应的互补定向超分辨率图像。互补定向超分辨率图像相比互补定向低分辨率图像具有更多的其它特征信息，例如局部纹理信息。超分辨率图像融合模块用于根据细节定向超分辨率图像和互补定向超分辨率图像获取低分辨率图像对应的超分辨率图像。

[0036] 为了下述各实施例的描述清楚简洁，首先给出相关概念或技术的简要介绍：

[0037] RGB三通道图像：由R、G、B三个通道组成。其中，R代表红(red)，G代表绿(green)，B代表蓝(Blue)。

[0038] VGG-Net：是一种卷积神经网络(Convolutional Neural Network，CNN)，VGG-Net通常有16－19个卷积层。

[0039] 网络的均方误差(Mean Square Error，MSE)：简单来说，即一组数的误差平方和再除以数据的对数。

[0040] 基于区域的快速卷积神经网络(Accelerating the Super-Resolution Convolutional Neural Network，FSRCNN)：一种卷积神经网络，通常有4个卷积层，能够对低分辨率图像进行计算卷积得到高分辨率图像。

[0041] 高效子像素卷积神经网络(Efficient Sub-Pixel Convolutional Neural Network，ESPCN)：类似FSRCNN，也是一种卷积神经网络，能够对低分辨率图像进行计算卷积得到高分辨率图像。

[0042] 本申请实施例提供一种图像生成方法，如图4所示，包括：

[0043] 401、确定低分辨率图像对应的至少一个细节定向低分辨率特征图和至少一个互补定向低分辨率特征图。

[0044] 细节定向分离模块可以用于接收输入的低分辨率图像，确定低分辨率图像对应的至少一个细节定向低分辨率特征图和至少一个互补定向低分辨率特征图。

[0045] 首先，细节定向分离模块确定低分辨率图像的至少一个候选特征图。举例来说，当低分辨率图像为RGB三通道图像时，可以采用VGG-net对RGB三通道图像进行连续的两个卷积层运算，每个卷积层运算可以包含N个k*k的卷积核运算。示例性的，N可以为[20，100]之间的整数，k可以3或者5。而后，细节定向分离模块可以将第2个卷积层运算后得到的至少一个特征图作为至少一个候选特征图。

[0046] 对于至少一个候选特征图中的每个候选特征图，细节定向分离模块将该候选特征图转换为灰度图像；将该灰度图像分割成N个图像块，确定N个图像块对应的梯度直方图的中值大于或等于第一预设阈值的图像块数目D。其中，N为大于或等于1的整数，例如N可以为9、25或49等。D为大于或等于0的整数。若R(R＝D/N)大于或等于第二预设阈值，细节定向分离模块确定该候选特征图为细节定向低分辨率特征图。细节定向低分辨率特征图包含不同方向的边缘信息和细节内容，也可以包含不同图像类型特征信息。需要说明的是，R可以用于判断细节内容丰富程度，R值越高说明细节内容越多，反之细节内容越少。示例性的，第二预设阈值可以为0.3。

[0047] 举例来说，假设N为9，即将候选特征图转换得到的灰度图分割成9个图像块，9个图像块对应的边缘梯度直方图中值分别为0、10、20、30、40、50、60、70和80，第一预设阈值为30，则9个图像块对应的梯度直方图的中值大于或等于第一预设阈值的图像块数目D为6，第二预设阈值为0.3，则R＝D/N＝0.67，R>0.3，从而细节定向分离模块可以确定该候选特征图为细节定向低分辨率特征图。

[0048] 而后，细节定向分离模块根据信息互补原理，将细节定向低分辨率特征图的像素值与低分辨率图像的灰度图像的像素值相减，得到互补定向低分辨率特征图。

[0049] 可以理解的是，细节定向分离模块的功能可以是根据模型参数决定的。举例来说，可以采用FSRCNN或ESPCN等神经网络对低分辨率图像进行处理后得到处理结果，而后根据MSE误差函数，采用误差反向传播方法(back-propagation)，更新上述处理结果的权值，训练生成细节定向分离模块的模型参数。

[0050] 可以理解的是，细节定向分离模块可以根据低分辨率图像确定细节定向低分辨率特征图和互补定向低分辨率特征图，类似的，细节定向分离模块可以根据高分辨率图像确定细节定向高分辨率特征图和互补定向高分辨率特征图。在一种可能的设计中，细节定向分离模块可以根据低分辨率图像确定该低分辨率图像对应的高分辨率图像。

[0051] 402、确定至少一个细节定向低分辨率特征图中的每个细节定向低分辨率特征图对应的细节定向超分辨率图像。

[0052] 即细节定向超分模块用于从细节定向分离模块获取至少一个细节定向低分辨率特征图，确定至少一个细节定向低分辨率特征图中的每个细节定向低分辨率特征图对应的细节定向超分辨率图像。

[0053] 对于至少一个细节定向低分辨率特征图中的每个细节定向低分辨率特征图，细节定向超分模块可以根据细节定向低分辨率特征图和细节定向低分辨率特征图对应的细节定向高分辨率特征图确定细节定向超分辨率图像。

[0054] 相比细节定向低分辨率特征图，根据细节定向低分辨率特征图和细节定向高分辨率特征图确定的细节定向超分辨率图像具有更多的细节内容和结构，即加重了低分辨率图像的细节内容等信息的权值，可以使后续生成的超分辨率图像的视觉感官更为自然和逼真。

[0055] 可以理解的是，细节定向超分模块的功能可以是根据模型参数决定的。举例来说，可以采用FSRCNN或ESPCN等神经网络对低分辨率细节定向特征图和低分辨率细节定向特征图对应的高分辨率细节定向特征图进行处理后得到处理结果，而后根据MSE误差函数，采用误差反向传播方法，更新上述处理结果的权值，训练生成细节定向超分模块的模型参数。

[0056] 403、确定至少一个互补定向低分辨率特征图中的每个互补定向低分辨率特征图对应的互补定向超分辨率图像。

[0057] 即互补定向超分模块用于从细节定向分离模块获取至少一个互补定向低分辨率特征图，确定至少一个互补定向低分辨率特征图中的每个互补定向低分辨率特征图对应的互补定向超分辨率图像。

[0058] 对于至少一个互补定向低分辨率特征图中的每个互补定向低分辨率特征图，根据互补定向低分辨率特征图和互补定向低分辨率特征图对应的互补定向高分辨率特征图确定互补定向超分辨率图像。

[0059] 相比互补定向低分辨率特征图，根据互补定向低分辨率特征图和互补定向高分辨率特征图确定的互补定向超分辨率图像具有更多的除细节内容以外的其他内容，可以使后续生成的超分辨率图像的视觉感官更为自然和逼真。

[0060] 可以理解的是，互补定向超分模块的功能是根据模型参数决定的。举例来说，可以采用FSRCNN或ESPCN等神经网络对低分辨率互补定向特征图和低分辨率互补定向特征图对应的高分辨率互补定向特征图进行处理后得到处理结果，而后根据MSE误差函数，采用误差反向传播方法，更新上述处理结果的权值，训练生成互补定向超分模块的模型参数。

[0061] 404、根据细节定向超分辨率图像和互补定向超分辨率图像获取低分辨率图像对应的超分辨率图像。

[0062] 超分辨率图像融合模块可以用于从细节定向超分模块获取至少一个细节定向超分辨率图像，并可以从互补定向超分模块获取至少一个互补定向超分辨率图像，根据至少一个细节定向超分辨率图像和至少一个互补定向超分辨率图像获取低分辨率图像对应的超分辨率图像。

[0063] 对于至少一个细节定向超分辨率特征图中的每个细节定向超分辨率特征图以及至少一个互补定向超分辨率特征图中的每个互补定向超分辨率特征图，相加该细节定向超分辨率特征图对应的细节定向超分辨率图像的像素值和该互补定向超分辨率特征图对应的细节定向超分辨率图像的像素值；其中，该细节定向超分辨率特征图对应该互补定向超分辨率特征图，即该互补定向超分辨率特征图对应的互补定向低分辨率特征图是由该细节定向超分辨率特征图对应的细节定向低分辨率特征图的像素值与相应的灰度图像的像素值相减得到的。

[0064] 由此，细节定向分离模块根据低分辨率图像确定的至少一个细节定向低分辨率特征图和至少一个互补定向低分辨率特征图分别记录了低分辨率图像真实的细节内容等信息和其他特征信息，细节定向超分模块确定的细节定向超分辨率图像和互补定向超分模块确定的互补定向超分辨率图像加重了细节内容等信息的权值，从而输出的超分辨率图像具有更丰富的细节内容和结构，同时也可以抑制一些图像处理后产生的锯齿效应。如图5中的(a)所示，本申请实施例提供的图像生成方法生成的超分辨率图像具有更丰富的细节内容和结构，视觉感官更为自然。如图5中的(b)所示，相比采用ERM原则处理得出的图像会产生图像过于平滑，缺少细节信息的问题，本申请实施例提供的图像生成方法能够解决采用ERM原则处理得出的图像过于平滑，缺少细节信息的问题。

[0065] 上述主要从图像生成装置的角度对本申请实施例提供的方案进行了介绍。可以理解的是，图像生成装置为了实现上述功能，其包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的算法步骤，本申请能够以硬件或硬件和软件的结合形式来实现。某个功能究竟以硬件还是软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

[0066] 本申请实施例可以根据上述方法示例对图像生成装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

[0067] 在采用对应各个功能划分各个功能模块的情况下，图6示出了上述实施例中所涉及的图像生成装置6的一种可能的结构示意图，图像生成装置包括：细节定向分离模块601、细节定向超分模块602、互补定向超分模块603和超分图像融合模块604。细节定向分离模块601用于支持图像生成装置执行图4中的过程401。细节定向超分模块602用于支持图像生成装置执行图4中的过程402。互补定向超分模块603用于支持图像生成装置执行图4中的过程
403。超分图像融合模块604用于支持图像生成装置执行404。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

[0068] 结合本申请公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM、闪存、ROM、EPROM、EEPROM、寄存器、硬盘、移动硬盘、只读光盘或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于核心网接口设备中。当然，处理器和存储介质也可以作为分立组件存在于核心网接口设备中。

[0069] 本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在图像生成装置可读介质中或者作为图像生成装置可读介质上的一个或多个指令或代码进行传输。图像生成装置可读介质包括图像生成装置存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送图像生成装置程序的任何介质。存储介质可以是通用或专用图像生成装置能够存取的任何可用介质。

[0070] 以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。