灰度图像增强方法、装置、计算机设备及存储介质

摘要

本发明公开了一种灰度图像增强方法、装置、计算机设备及存储介质。该方法包括：获取训练图像集合x1，并对x1进行图像增广，得到增广图像集合{x2,x3,…xp}；构建图像匹配网络模型，其中，所述图像匹配网络模型包括分布匹配网络和结构匹配网络，用于对输入所述图像匹配网络模型的灰度图像进行分布匹配和结构匹配，实现灰度图像增强；利用{x1,x2,x3,…xp}，对所述图像匹配网络模型进行模型训练；获取待增强的灰度图像，并将所述待增强的图像输入到训练好的图像匹配网络模型中，得到增强后的灰度图像。该方法拓宽了图像处理的范围，使目标的灰度分布得到很好的分离，保证生成的增强图像在灰度分布上具有良好的质量。

权利要求

1.一种灰度图像增强方法，其特征在于，包括：S10：获取训练图像集合x1，并对x1进行图像增广，得到(P‑1)个增广图像集合{x2,x3,…xp}，其中，P为大于2的整数；

S20：构建图像匹配网络模型，其中，所述图像匹配网络模型包括分布匹配网络和结构匹配网络，用于对输入所述图像匹配网络模型的灰度图像进行分布匹配和结构匹配，实现灰度图像增强；

S30：利用{x1,x2,x3,…xp}，对所述图像匹配网络模型进行模型训练；

S40：获取待增强的灰度图像，并将所述待增强的图像输入到训练好的图像匹配网络模型中，得到增强后的灰度图像；

其中，所述图像匹配网络模型的输入为：灰度图像、以及所述灰度图像对应的随机噪声图像和二值模板图像，所述图像匹配网络模型的输出为增强后的灰度图像；

所述图像匹配网络模型为二分支网络，包括上分支网络和下分支网络；

所述上分支网络为所述分布匹配网络，计算所述随机噪声图像和二值模板图像之间的感知差异损失；

所述下分支网络为所述结构匹配网络，计算所述随机噪声图像和灰度图像之间的结构差异损失；

所述灰度图像、所述二值模板图像和所述随机噪声图像输入所述图像匹配模型后，所述图像匹配网络模型将所述感知差异损失和结构差异损失的加权相加值作为总损失，并根据所述总损失，迭代优化随机噪声图像，改变随机噪声图像的像素值，使随机噪声图像成为最终的新的增强图像。

2.如权利要求1所述的灰度图像增强方法，其特征在于，所述图像匹配网络模型将所述感知差异损失和结构差异损失的加权相加值作为总损失，并根据所述总损失使用梯度下降法迭代训练所述随机噪声图像，改变所述随机噪声图像的像素值，直至训练后的随机噪声图像符合预定的条件，停止迭代并将当前训练后的随机噪声图像作为所述增强后的灰度图像。

3.如权利要求2所述的灰度图像增强方法，其特征在于，所述分布匹配网络和结构匹配网络采用相同的卷积神经网VGG16模型，并以在ImageNet数据集上预训练的VGG16模型作为初始化网络权重，设置相同的初始学习率。

4.如权利要求2所述的灰度图像增强方法，其特征在于，所述预定的条件为：所述训练后的随机噪声图像的噪声抑制增益比大于给定的阈值。

5.如权利要求4所述的灰度图像增强方法，其特征在于，S30包括：S310：依次将x1中的每一幅图像及其对应的随机噪声图像和二值模板图像输入所述图像匹配网络模型，得到的增强后的图像集合y1；

S320：对于训练图像集合xj，如果1

S330：通过y1和yj计算交叉熵损失，反向传播优化所述图像匹配网络模型的网络权重；

S340：j加1，重复执行S320、S330，直至所述图像匹配网络模型收敛。

6.一种灰度图像增强装置，其特征在于，包括：训练图像获取模块，用于获取训练图像集合x1，并对x1进行图像增广，得到(P‑1)个增广图像集合{x2,x3,…xp}，其中，P为大于2的整数；

网络构建模块，用于构建图像匹配网络模型，其中，所述图像匹配网络模型包括分布匹配网络和结构匹配网络，用于对输入所述图像匹配网络模型的灰度图像进行分布匹配和结构匹配，实现灰度图像增强；

网络训练模块，用于利用{x1,x2,x3,…xp}，对所述图像匹配网络模型进行模型训练；

图像增强模块，用于获取待增强的灰度图像，并将所述待增强的图像输入到训练好的图像匹配网络模型中，得到增强后的灰度图像；

其中，所述图像匹配网络模型的输入为：灰度图像、以及所述灰度图像对应的随机噪声图像和二值模板图像，所述图像匹配网络模型的输出为增强后的灰度图像；

所述图像匹配网络模型为二分支网络，包括上分支网络和下分支网络；

所述上分支网络为所述分布匹配网络，计算所述随机噪声图像和二值模板图像之间的感知差异损失；

所述下分支网络为所述结构匹配网络，计算所述随机噪声图像和灰度图像之间的结构差异损失；

所述灰度图像、所述二值模板图像和所述随机噪声图像输入所述图像匹配模型后，所述图像匹配网络模型将所述感知差异损失和结构差异损失的加权相加值作为总损失，并根据所述总损失，迭代优化随机噪声图像，改变随机噪声图像的像素值，使随机噪声图像成为最终的新的增强图像。

7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1‑5中任意一项所述的灰度图像增强方法。

8.一种存储介质，其上存储有计算机可读的程序，其特征在于，该程序被执行时实现如权利要求1‑5中任意一项所述的灰度图像增强方法。

说明书

灰度图像增强方法、装置、计算机设备及存储介质

技术领域

[0001] 本发明实施例涉及图像增强领域，尤其涉及一种灰度图像增强方法、装置、计算机设备及存储介质。

背景技术

[0002] 本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

[0003] 图像增强是有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使
之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。在医
学成像、遥感成像、人物摄影等领域，图像增强技术都有着广泛的应用。图像增强同时可以
作为目标识别、目标跟踪、特征点匹配、图像融合、超分辨率重构等图像处理算法的预处理
算法。

[0004] 图像增强方法主要分为两大类，空间域处理方法和频域处理方法。空间域图像增强是直接对图像中的像素进行处理，主要分为点处理（包括灰度变换和直方图修正法）和区
域处理（包括平滑和锐化处理）。频域图像增强方法是建立在图像傅里叶变化基础上的，将
原来的图像空间中的图像以某种形式转换到其他空间中，然后利用该空间的特有性质进行
图像处理，最后再转换到原来的图像空间中；主要方法有陷波滤波、高通滤波、低通滤波和
同态滤波。

[0005] 灰度分离是图像增强的重要手段。一张图像中，我们称感兴趣的区域（如电子计算机断层扫描（Computed Tomography，CT）图像中的病灶区域）为目标，非目标区域称为背景。
绘制目标和背景的灰度分布直方图，可以观察到二者有交叉重叠的部分。灰度分离是指在
不改变图像整体结构和细节的同时，只改变目标和背景的灰度值，使二者的重叠部分变小。
该过程增强了目标和背景之间的区分性。

[0006] 随着科学技术的发展，对图像质量的要求也越来越高，单一的增强处理方法已经无法满足现在的需求，且在具体应用中仍有许多不足，例如计算效率低、可处理的图像范围
较窄、处理效果欠佳、处理后图像质量不高等。

发明内容

[0007] 本发明提供一种灰度图像增强方法、装置、计算机设备及存储介质，以解决现有技术中存在的上述问题。

[0008] 第一方面，本发明实施例提供了一种灰度图像增强方法。该方法包括：

[0009] S10：获取训练图像集合x1，并对x1进行图像增广，得到(P‑1)个增广图像集合{x2,x3,…xp}，其中，P为大于2的整数；

[0010] S20：构建图像匹配网络模型，其中，所述图像匹配网络模型包括分布匹配网络和结构匹配网络，用于对输入所述图像匹配网络模型的灰度图像进行分布匹配和结构匹配，
实现灰度图像增强；

[0011] S30：利用{x1,x2,x3,…xp}，对所述图像匹配网络模型进行模型训练；

[0012] S40：获取待增强的灰度图像，并将所述待增强的图像输入到训练好的图像匹配网络模型中，得到增强后的灰度图像。

[0013] 在一实施例中，所述图像匹配网络模型的输入为：灰度图像、以及所述灰度图像对应的随机噪声图像和二值模板图像，所述图像匹配网络模型的输出为增强后的灰度图像；
所述图像匹配网络模型迭代训练所述随机噪声图像，改变所述随机噪声图像的像素值，并
将训练后的随机噪声图像作为所述增强后的灰度图像。

[0014] 在一实施例中，所述图像匹配网络模型为二分支网络，包括上分支网络和下分支网络，其中，所述上分支网络为所述分布匹配网络，计算所述随机噪声图像和二值模板图像
之间的感知差异损失；所述下分支网络为所述结构匹配网络，计算所述随机噪声图像和灰
度图像之间的结构差异损失。

[0015] 在一实施例中，所述图像匹配网络模型将所述感知差异损失和结构差异损失的加权相加值作为总损失，并根据所述总损失使用梯度下降法迭代训练所述随机噪声图像，改
变所述随机噪声图像的像素值，直至训练后的随机噪声图像符合预定的条件，停止迭代并
将当前训练后的随机噪声图像作为所述增强后的灰度图像。

[0016] 在一实施例中，所述预定的条件为：所述训练后的随机噪声图像的噪声抑制增益比大于给定的阈值。

[0017] 在一实施例中，所述分布匹配网络和结构匹配网络采用相同的卷积神经网VGG16模型，并以在ImageNet数据集上预训练的VGG16模型作为初始化网络权重，设置相同的初始
学习率。

[0018] 在一实施例中，S30包括：

[0019] S310：依次将x1中的每一幅图像及其对应的随机噪声图像和二值模板图像输入所述图像匹配网络模型，得到的增强后的图像集合y1；

[0020] S320：对于训练图像集合xj，如果1

[0021] S330：通过y1和yj计算交叉熵损失，反向传播优化所述图像匹配网络模型的网络权重；

[0022] S340：j加1，重复执行S320、S330，直至所述图像匹配网络模型收敛。

[0023] 第二方面，本发明实施例还提供了一种灰度图像增强装置。该装置包括：

[0024] 训练图像获取模块，用于获取训练图像集合x1，并对x1进行图像增广，得到(P‑1)个增广图像集合{x2,x3,…xp}，其中，P为大于2的整数；

[0025] 网络构建模块，用于构建图像匹配网络模型，其中，所述图像匹配网络模型包括分布匹配网络和结构匹配网络，用于对输入所述图像匹配网络模型的灰度图像进行分布匹配
和结构匹配，实现灰度图像增强；

[0026] 网络训练模块，用于利用{x1,x2,x3,…xp}，对所述图像匹配网络模型进行模型训练；

[0027] 图像增强模块，用于获取待增强的灰度图像，并将所述待增强的图像输入到训练好的图像匹配网络模型中，得到增强后的灰度图像。

[0028] 第三方面，本发明实施例还提供了一种计算机设备。该设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现本
发明实施例提供的任一灰度图像增强方法。

[0029] 第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机可读的程序，该程序被执行时实现本发明实施例提供的任一灰度图像增强方法。

[0030] 本发明的有益效果为：提出了一个基于二值模板匹配的通用深度框架，拓宽了图像处理的范围。二值模板匹配模块是基于包含分布匹配分支和结构匹配分支的双分支网络
开发的。在分布匹配分支中，引入二值模板和感知差异损失，将原始图像匹配到一个新的区
域中，使目标的灰度分布得到很好的分离。在训练过程中，提出了一种新的基于噪声抑制增
益比（Noise suppression gain ratio，NSGR）的图像质量评价方法，以保证生成的增强图
像在灰度分布上具有良好的质量。

附图说明

[0031] 图1为本发明实施例提供的一种灰度图像增强方法的流程图。

[0032] 图2为本发明实施例提供的一种通过训练好的图像匹配模块进行灰度图像增强的流程图。

[0033] 图3为本发明实施例提供的一种灰度图像增强装置的结构示意图。

[0034] 图4为本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

[0035] 下面结合附图与实施例对本发明做进一步说明。

[0036] 应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常
理解的相同含义。

[0037] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式
也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，
意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设
备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过
程、方法、产品或设备固有的其它步骤或单元。

[0038] 在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

[0039] 实施例一

[0040] 图1为本发明实施例提供的一种灰度图像增强方法的流程图。该方法将深度学习方法和图像增强方法结合，包括步骤S10‑S40。

[0041] S10：获取训练图像集合x1，对x1进行图像增广，得到(P‑1)个增广图像集合{x2,x3,…xp}，其中，P为大于2的整数。

[0042] S20：构建图像匹配网络模型，其中，所述图像匹配网络模型包括分布匹配网络和结构匹配网络，用于对输入所述图像匹配网络模型的灰度图像进行分布匹配和结构匹配，
实现灰度图像增强。

[0043] S30：利用{x1,x2,x3,…xp}，对所述图像匹配网络模型进行模型训练。

[0044] S40：获取待增强的灰度图像，将所述待增强的图像输入到训练好的图像匹配网络模型中，得到增强后的灰度图像。

[0045] 在本发明实施例中，x1中的每一幅图像均为灰度图像，像素值在[0,255]闭区间内。在S10中，包括图像预处理（S110）和图像增广（S120）两个过程。

[0046] S110：获取x1后，在对x1进行图像增广前，采用归一化对x1中的每一幅图像进行预处理。可以通过归一化将图像的像素值变换到[0,1]闭区间内，例如，将图像的每一个像素
值除以255。采用归一化方式对输入图像进行预处理，可以防止在网络训练过程中出现梯度
爆炸的现象。

[0047] S120：对预处理后的x1进行图像增广，得到(P‑1)个增广图像集合{x2,x3,…xp}。具°
体地，增广操作包括：水平翻转、向左或向右旋转5 、裁剪、局部扭曲、加入随机高斯噪声。对
于每一幅待增广图像，顺序地进行上述所有的增广操作。对于每一个增广操作，预先设置一
个随机值，当随机值大于0.5时，则执行该增广操作，否则跳过，判断下一个增广操作是否执
°
行。通过随机进行水平翻转、向左或向右旋转5 、裁剪、局部扭曲、噪声等增广方式，可以增
加图像数量，扩大数据集，其中，局部扭曲和噪声方法还可以增加数据的多样性。

[0048] 在本发明实施例中，所述图像匹配网络模型的输入为：灰度图像、以及所述灰度图像对应的随机噪声图像和二值模板图像，所述图像匹配网络模型的输出为增强后的灰度图
像；通过所述图像匹配网络模型，可以迭代训练所述随机噪声图像，改变所述随机噪声图像
的像素值，并将训练后的随机噪声图像作为所述增强后的灰度图像。

[0049] 在本发明实施例中，所述图像匹配网络模型为二分支网络，包括上分支网络和下分支网络，其中，所述上分支网络为所述分布匹配网络，可以计算所述随机噪声图像和二值
模板图像之间的感知差异损失；所述下分支网络为所述结构匹配网络，可以计算所述随机
噪声图像和灰度图像之间的结构差异损失。

[0050] 在本发明实施例中，所述图像匹配网络模型可以将所述感知差异损失和结构差异损失的加权相加值作为总损失，并根据所述总损失，使用梯度下降法迭代训练所述随机噪
声图像，改变所述随机噪声图像的像素值，直至训练后的随机噪声图像符合预定的条件，停
止迭代并将当前训练后的随机噪声图像作为所述增强后的灰度图像。增强后的灰度图像具
有与灰度图像（即原始图像）相似的对象内容和与二值模板图像相似的易于分离的灰度分
布。

[0051] 在本发明实施例中，所述预定的条件为：所述训练后的随机噪声图像的噪声抑制增益比大于给定的阈值。

[0052] 在本发明实施例中，所述分布匹配网络和结构匹配网络采用相同的卷积神经网（CNN）VGG16模型，并以在ImageNet数据集上预训练的VGG16模型作为初始化网络权重，设置
相同的初始学习率。

[0053] 在本发明实施例中，S20包括步骤S210‑S230。

[0054] S210：构建图像匹配模块。图像匹配模块由两个分支构成，上分支为分布匹配模块，下分支为结构匹配模块。这里的“分布匹配”指“灰度分布匹配”。分布匹配模块进行图像
像素的二值匹配，使增强后的图像与二值模板图像具有相似的灰度分布，即我们希望的灰
度分布。结构匹配模块重建与原始图像相同的对象内容。二者使用相同的卷积神经网络中
的VGG16网络模型，共享参数设置及权重。CNN包括13个卷积层，全部使用3x3的卷积和2x2的
平均池化层。使用在ImageNet数据集上预训练的VGG16模型作为网络模型的初始化权重。此
处的参数设置具体指学习率的设置，初始学习率为1.0e‑3，然后使用离散下降方法，随着迭
代次数的增加，减小学习率。

[0055] 对于一副灰度图像，首先使用区域生长的方法对灰度图像进行粗分割，得到粗糙的二值模板图像。其中，二值模板图像中目标区域的灰度值为255，背景区域的灰度值为0，
在灰度直方图中，目标与背景的灰度分布没有重叠交叉部分，这样的灰度分布是我们期待
的。然后，创建与灰度图像尺寸相同的随机噪声图像。将灰度图像、二值模板图像和随机噪
声图像输入图像匹配模块，迭代优化随机噪声图像，改变随机噪声图像的像素值，使随机噪
声图像成为最终的新的增强图像。

[0056] 具体来说，将灰度图像X输入到结构匹配模块进行特征提取， 表示VGG16模型中第l个卷积层的第i个卷积核的输出特征。将原始随机噪声图像输入分布匹配模块，同结构
匹配模块一样进行特征提取。使用感知损失函数计算感知差异损失，使用结构差异损失函
数计算结构差异损失，加权计算总损失函数。根据总损失，迭代增强随机噪声图像。

[0057] S220：基于感知差异最小化和结构差异最小化设计结构差异损失函数。S220包括步骤S221‑S223。

[0058] S221：设计感知差异损失。

[0059] 为了使图像匹配网络模型中生成的增强后的图像与原始灰度图像在高层语义信息上相似，即内容和全局结构上相似，将增强后的图像与原始灰度图像分别与CNN的卷积核
卷积后得到的特征图作比较。图像经过卷积后会丢失细节部分和高频部分，因此增强后的
图像与原始图像不会完全匹配，只是在感知上相似。感知差异性计算如下：

[0060]

[0061] 其中，k表示特征图的像素值的个数，即特征图的长乘宽的值， 表示第l个卷积层的第i个卷积核的第k个输出特征值， 表示第l个卷积层的第i个和第j个卷积核的感
知。

[0062] G的匹配等价于一个特定的最大平均差异过程。因此，感知信息在本质上是由CNN中特征图的分布来表示的，感知传递可以通过分布对齐来实现。具体为，对特征图中的每一
个元素求内积，求与位置信息无关的一种相关性。

[0063] 为了增强感知差异性，在多个卷积层的输出特征上计算感知差异性，加权融合后为总的感知差异性：

[0064]

[0065] 其中，表示原始灰度图像，表示二值模板图像， 表示X在第l个卷积层的第i个和第j个卷积核的感知，  表示图像T在第l个卷积层的第i个和第j个卷积核的感知，Nl
表示第l个卷积层的卷积核个数，kl表示第l个卷积层输出特征图的像素值的个数，El表示第
l层的感知差异性。

[0066] 则感知差异约束为：

[0067]

[0068] 其中，γl是El的相加权重。

[0069] CNN的卷积操作是一个幼小的局部特征抽取操作，不同层的卷积操作能够抽取不同层次的特征信息，如低层次描述小范围的边角、曲线，中层次描述方块、螺旋，高层次描述
更加抽象的特征。S221中，在计算感知差异时，使用不同层的特征作为感知参考，可以获得
不同层次的特征感知。

[0070] S222：设计结构差异损失。

[0071] 结构匹配部分采用传统的特征相似性，计算不同层特征间的欧氏距离作为结构差异损失：

[0072]

[0073] 其中， 表示原始灰度图像x在第l个卷积层的第i个卷积核的第k个输出特征值，表示二值模板图像T在第l个卷积层的第i个卷积核的第k个输出特征值。

[0074] 图像的结构主要指其宏观架构和轮廓，而CCN的层数越深越能提取图像中全局、抽象的信息。因此，在计算结构差异损失时，仅使用神经网络中高层的输出特征作为结构表示
的参考。

[0075] S223：图像匹配网络模型总损失函数为：

[0076]

[0077] 其中，E表示总损失，LP表示感知差异损失，LR表示结构差异损失，α表示感知差异性损失的权重，β表示结构差异性损失的权重。

[0078] S230：生成图像质量评价。

[0079] 为了对增强后的图像的灰度分布质量进行评估，使用NSGR的评估方式。具体地，通过迭代过程生成新图像，每次迭代生成质量不同的图像。用NSGR来测量当前图像灰度分布
的改善情况，并确定当前图像是否为最终图像。如果当前图像的NSGR大于给定的阈值，则停
止迭代，将当前图像视为最终图像。

[0080] 一幅质量好的图像应该具有均匀的灰度分布，即像素点在局部区域的像素值的噪声应该尽可能的小。因此，计算图像的噪声抑制性来衡量局部区域内像素的噪声，如下所
示：

[0081]

[0082] 其中，对于一副图像X被划分为m×m的E个局部区域， 和 分别是局部区域f的中心点的像素值和其他点的像素值。当LS值比较小时，说明该局部区域的像素噪声小，产生
了较好的分布。

[0083] 噪声抑制增益比计算方式如下：

[0084]

[0085] 其中，xo表示每次迭代中的原始图像，xc表示每次迭代中的生成图像。

[0086] 在本发明实施例中，对于一张待增强的图像，联合它对应的随机噪声图像和二值模板图像，一起输入到图像匹配网络模型后，图像匹配网络模型根据总损失优化随机噪声
图像，得到第一张优化的噪声图像；然后将第一张优化的随机噪声图像作为新的随机噪声
图像，再一次联合待增强的图像及其二值模板图像，一起输入到图像匹配网络模型中，图像
匹配网络模型根据总损失第二次优化随机噪声图像，得到第二张优化的随机噪声图像；然
后再将第二张优化的随机噪声图像作为新的随机噪声图像，联合待增强的图像及其二值模
板图像，一起输入到图像匹配网络模型…如此循环迭代，直到得到的随机噪声图像满足质
量评价要求。在迭代优化随机噪声图像的过程中，冻结图像匹配网络模型的权重，不跟随迭
代过程改变，不断迭代优化随机噪声图像即可。

[0087] 在本发明实施例中，S30包括步骤S310‑S340。

[0088] S310：依次将x1中的每一幅图像及其对应的随机噪声图像和二值模板图像输入所述图像匹配网络模型，得到的增强后的图像集合y1。

[0089] S320：对于训练图像集合xj，如果1

[0090] S330：通过y1和yj计算交叉熵损失，反向传播优化所述图像匹配网络模型的网络权重。

[0091] S340：j加1，重复执行S320、S330，直至所述图像匹配网络模型收敛。

[0092] 经过以上对图像匹配网络模型的训练过程，优化后的网络权重可以保存下来用于其他所有的待增强图像。

[0093] 在本发明实施例中，图2为本发明实施例提供的一种通过训练好的图像匹配模块进行灰度图像增强的流程图。参照图2，S40包括步骤S410‑S430。

[0094] S410：获取待增强的图像，对待增强的图像进行预处理。

[0095] S420：生成待增强的图像对应的随机噪声图像和二值模板图像。

[0096] S430：将待增强的图像、及其随机噪声图像和二值模板图像同时输入到训练好的图像匹配网络模型中，在双分支网络中，同时进行分布匹配和结构匹配。

[0097] 经过训练好的模型后，输入的随机噪声图像被增强为具有与待增强图像相同的对象内容和与二值模板图像相似的灰度分布的新图像。

[0098] 本发明实施例提出的灰度图像增强方法，通过引入二值模板，来指导生成新的理想的具有灰度分布均匀特性的图像。在本方法中，每一张图像都被匹配到一个新的目标域
中，新的目标域和背景之间的灰度分布可以被很好的分离出来，降低了增强的难度。在随机
噪声图像训练过程中，采用基于NSGR的图像质量评价方法，以更有效地获得最终图像，保证
了生成的图像具有更可分离的灰度分布，并提供了自动迭代停止准则，进一步提高了训练
效率。

[0099] 实施例二

[0100] 图3是本发明实施例提供的一种灰度图像增强装置的结构示意图。该装置用于实现实施例一提供的灰度图像增强方法，包括训练图像获取模块510、网络构建模块520、网络
训练模块530和图像增强模块540。

[0101] 训练图像获取模块510用于获取训练图像集合x1，并对x1进行图像增广，得到(P‑1)个增广图像集合{x2,x3,…xp}，其中，P为大于2的整数。

[0102] 网络构建模块520用于构建图像匹配网络模型，其中，所述图像匹配网络模型包括分布匹配网络和结构匹配网络，用于对输入所述图像匹配网络模型的灰度图像进行分布匹
配和结构匹配，实现灰度图像增强。

[0103] 网络训练模块530用于利用{x1,x2,x3,…xp}，对所述图像匹配网络模型进行模型训练。

[0104] 图像增强模块540用于获取待增强的灰度图像，并将所述待增强的图像输入到训练好的图像匹配网络模型中，得到增强后的灰度图像。

[0105] 在本发明实施例中，所述图像匹配网络模型的输入为：灰度图像、以及所述灰度图像对应的随机噪声图像和二值模板图像，所述图像匹配网络模型的输出为增强后的灰度图
像；所述图像匹配网络模型可以迭代训练所述随机噪声图像，改变所述随机噪声图像的像
素值，并将训练后的随机噪声图像作为所述增强后的灰度图像。

[0106] 在本发明实施例中，所述图像匹配网络模型为二分支网络，包括上分支网络和下分支网络；所述上分支网络为所述分布匹配网络，计算所述随机噪声图像和二值模板图像
之间的感知差异损失；所述下分支网络为所述结构匹配网络，计算所述随机噪声图像和灰
度图像之间的结构差异损失。

[0107] 在本发明实施例中，所述图像匹配网络模型将所述感知差异损失和结构差异损失的加权相加值作为总损失，并根据所述总损失使用梯度下降法迭代训练所述随机噪声图
像，改变所述随机噪声图像的像素值，直至训练后的随机噪声图像符合预定的条件。当训练
后的随机噪声图像符合预定条件时，图像匹配网络模型停止迭代，并将当前训练后的随机
噪声图像作为所述增强后的灰度图像。

[0108] 在本发明实施例中，所述预定的条件为：所述训练后的随机噪声图像的噪声抑制增益比大于给定的阈值。

[0109] 在本发明实施例中，所述分布匹配网络和结构匹配网络采用相同的卷积神经网VGG16模型，并以在ImageNet数据集上预训练的VGG16模型作为初始化网络权重，设置相同
的初始学习率。

[0110] 本发明实施例中，网络训练模块530是用于执行步骤S310‑S350。

[0111] S310：依次将x1中的每一幅图像及其对应的随机噪声图像和二值模板图像输入所述图像匹配网络模型，得到的增强后的图像集合y1。

[0112] S320：对于训练图像集合xj，如果1

[0113] S330：通过y1和yj计算交叉熵损失，反向传播优化所述图像匹配网络模型的网络权重。

[0114] S340：j加1，重复执行S320、S330，直至所述图像匹配网络模型收敛。

[0115] 本发明实施例提出的灰度图像增强装置，通过引入二值模板，来指导生成新的理想的具有灰度分布均匀特性的图像。通过该装置，每一张图像都被匹配到一个新的目标域
中，新的目标域和背景之间的灰度分布可以被很好的分离出来，降低了增强的难度。在随机
噪声图像训练过程中，采用基于NSGR的图像质量评价方法，以更有效地获得最终图像。保证
了生成的图像具有更可分离的灰度分布，并提供了自动迭代停止准则，进一步提高了训练
效率。

[0116] 本发明实施例的灰度图像增强装置与实施例一中的灰度图像增强方法具有相同的技术原理和有益效果。未在本实施例中详尽描述的技术细节，请参照实施例一中的灰度
图像增强方法。

[0117] 值得注意的是，上述装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单
元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

[0118] 实施例三

[0119] 图4为本发明实施例提供的一种计算机设备的结构示意图。如图4所示，该设备包括处理器610和存储器620。处理器610的数量可以是一个或多个，图4中以一个处理器610为
例。

[0120] 存储器620作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的灰度图像增强方法的程序指令/模块。处理器610通过运
行存储在存储器620中的软件程序、指令以及模块，实现上述灰度图像增强方法。

[0121] 存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此
外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个
磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一
步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至设备/终
端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组
合。

[0122] 实施例四

[0123] 本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序：

[0124] S10：获取训练图像集合x1，并对x1进行图像增广，得到(P‑1)个增广图像集合{x2,x3,…xp}，其中，P为大于2的整数；

[0125] S20：构建图像匹配网络模型，其中，所述图像匹配网络模型包括分布匹配网络和结构匹配网络，用于对输入所述图像匹配网络模型的灰度图像进行分布匹配和结构匹配，
实现灰度图像增强；

[0126] S30：利用{x1,x2,x3,…xp}，对所述图像匹配网络模型进行模型训练；

[0127] S40：获取待增强的灰度图像，并将所述待增强的图像输入到训练好的图像匹配网络模型中，得到增强后的灰度图像。

[0128] 当然，本发明实施例所提供的存储介质，其存储的计算机可读程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的灰度图像方法中的相关操作。

[0129] 可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（ROM，Read‑Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者
光盘等各种可以存储程序代码的介质。

[0130] 本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形
式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储
介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

[0131] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修
改、等同替换、改进等，均应包含在本发明的保护范围之内。