一种图像去夜方法和装置

摘要

本发明公开了一种图像去夜方法和装置，所述方法包括：利用编码器网络输出夜间图像的编码特征图像；根据所述编码特征图像利用注意力模型输出所述夜间图像的注意力特征图像；根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述夜间图像的去夜图像。应用本发明可以提高对多种不同监控场景下的去夜适应性，并改善去夜后图像模糊和对灯光去除效果差的问题，提高去夜图像质量。

权利要求

1.一种图像去夜方法，其特征在于，包括：

利用编码器网络输出夜间图像的编码特征图像；

根据所述编码特征图像利用注意力模型输出所述夜间图像的注意力特征图像；

根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述夜间图像的去夜图像。

2.根据权利要求1所述的方法，其特征在于，所述编码器网络、注意力模型和解码器网络组成的图像去夜模型的训练方法如下：获取多对训练样本，其中一对训练样本为同一场景的夜晚图像和白天图像；

将同一场景的夜晚图像和白天图像的V通道做差后得到的图像作为注意力掩码；

根据所述训练样本以及得到的注意力掩码对所述图像去夜模型进行训练，多次调整所述编码器网络、注意力模型和解码器网络的参数。

3.根据权利要求2所述的方法，其特征在于，在一次调整所述编码器网络、注意力模型和解码器网络的参数过程中，具体包括：将一对训练样本中的夜晚图像输入到所述图像去夜模型，并根据所述图像去夜模型输出的去夜图像与该对训练样本中的白天图像的差异，调整所述图像去夜模型中的编码器网络和解码器网络的参数；

根据所述图像去夜模型中的注意力模型输出的最后一个注意力特征图像和根据该对训练样本得到的注意力掩码之间的距离，调整所述注意力模型的参数。

4.根据权利要求3所述的方法，其特征在于，在一次调整所述编码器网络、注意力模型和解码器网络的参数后，还包括：将所述图像去夜模型输出的去夜图像和对应的白天图像输入到图像判别模型进行真实性判断；

根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力；

在所述图像判别模型的判别能力达到要求，并判断所述图像去夜模型输出的去夜图像为真实时，结束所述训练过程。

5.根据权利要求1-4任一所述的方法，其特征在于，所述编码器网络包括多层卷积层；

以及

所述利用编码器网络输出夜间图像的编码特征图像，具体包括：将所述夜间图像输入到所述编码器网络的第一层卷积层进行卷积运算得到该卷积层输出的编码特征图像；

当前的卷积层对前一层的卷积层输出的编码特征图像进行卷积运算，得到当前的卷积层输出的编码特征图像；

最后一层卷积层的输出为所述夜间图像的编码特征图像。

6.根据权利要求5所述的方法，其特征在于，所述注意力模型包括多层转置卷积层；以及所述利用注意力模型输出所述编码特征图像的注意力特征图像，具体包括：将所述夜间图像的编码特征图像输入到所述注意力模型的第一层转置卷积层进行转置卷积运算输出该层的注意力特征图像；

所述注意力模型中当前的转置卷积层对前一层的转置卷积层输出的注意力特征图像进行转置卷积运算，得到当前的转置卷积层输出的注意力特征图像；

所述注意力模型中最后一层转置卷积层的输出为所述夜间图像的注意力特征图像。

7.根据权利要求6所述的方法，其特征在于，所述解码器网络包括多层转置卷积点乘层；以及所述根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述夜间图像的去夜图像，具体包括：将所述夜间图像的编码特征图像以及所述注意力模型中第一层转置卷积层输出的注意力特征图像，输入到所述解码器网络的第一层转置卷积点乘层；第一层转置卷积点乘层对输入的编码特征图像进行转置卷积运算得到该层的中间过程特征图像，进而将得到的中间过程特征图像与输入的注意力特征图像进行点乘运算得到该层的注意力加权的特征图像；

所述解码器网络中当前的转置卷积点乘层对前一层的转置卷积点乘层输出的注意力加权的特征图像进行转置卷积运算，将运算得到的中间过程特征图像与所述注意力模型中对应层的转置卷积层输出的注意力特征图像进行点乘运算后，得到当前的转置卷积点乘层输出的注意力加权的特征图像；

所述解码器网络中最后一层转置卷积点乘层的输出为所述夜间图像的去夜图像。

8.一种图像去夜装置，其特征在于，包括：

编码器网络，用于输出夜间图像的编码特征图像；

注意力模型，用于根据所述编码特征图像输出所述夜间图像的注意力特征图像；

解码器网络，用于根据所述编码特征图像以及注意力特征图像输出所述夜间图像的去夜图像。

9.根据权利要求8所述的装置，其特征在于，还包括：

训练模块，用于获取多对训练样本，其中一对训练样本为同一场景的夜晚图像和白天图像；将同一场景的夜晚图像和白天图像的V通道做差后，得到的图像作为注意力掩码；根据所述训练样本以及得到的注意力掩码对所述图像去夜模型进行训练，多次调整所述编码器网络、注意力模型和解码器网络的参数。

10.根据权利要求9所述的装置，其特征在于，

所述训练模块还用于在一次调整所述编码器网络、注意力模型和解码器网络的参数后，将所述图像去夜模型输出的去夜图像和对应的白天图像输入到图像判别模型进行真实性判断；根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力；在所述图像判别模型的判别能力达到要求，并判断所述图像去夜模型输出的去夜图像为真实时，结束所述训练过程。

说明书

一种图像去夜方法和装置

技术领域

[0001] 本发明涉及图像处理领域，特别是指一种图像去夜方法和装置。

背景技术

[0002] 图像夜色去除是视频监控领域的重要内容。在监控场景下，对夜间图像进行去夜处理可以得到信息更为丰富的白天图像，从而大大提高图像可视度，这对于视频监控具有重大意义。随着数字图像处理、模式识别和深度学习技术的日益发展和完善，图像去夜方法也在不断发展。

[0003] 基于传统图像处理技术的去夜方法直接对图像本身进行处理，没有对图像的高级特征加以利用，对新场景的适应性差。在现有技术中，基于深度学习的夜色去除技术应用较为广泛，但仍然存在去夜后图像模糊，无法去除灯光，去夜效果较差等诸多技术问题。

发明内容

[0004] 本发明提出了一种图像去夜方法和装置，可以提高对多种不同监控场景下的去夜适应性，并改善去夜后图像模糊和对灯光去除效果差的问题，提高去夜图像质量。

[0005] 基于上述目的，本发明提供一种图像去夜方法，包括：

[0006] 利用编码器网络输出夜间图像的编码特征图像；

[0007] 根据所述编码特征图像利用注意力模型输出所述夜间图像的注意力特征图像；

[0008] 根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述夜间图像的去夜图像。

[0009] 其中，所述编码器网络、注意力模型和解码器网络组成的图像去夜模型的训练方法如下：

[0010] 获取多对训练样本，其中一对训练样本为同一场景的夜晚图像和白天图像；

[0011] 将同一场景的夜晚图像和白天图像的V通道做差后得到的图像作为注意力掩码；

[0012] 根据所述训练样本以及得到的注意力掩码对所述图像去夜模型进行训练，多次调整所述编码器网络、注意力模型和解码器网络的参数。

[0013] 其中，在一次调整所述编码器网络、注意力模型和解码器网络的参数过程中，具体包括：

[0014] 将一对训练样本中的夜晚图像输入到所述图像去夜模型，并根据所述图像去夜模型输出的去夜图像与该对训练样本中的白天图像的差异，调整所述图像去夜模型中的编码器网络和解码器网络的参数；

[0015] 根据所述图像去夜模型中的注意力模型输出的最后一个注意力特征图像和根据该对训练样本得到的注意力掩码之间的距离，调整所述注意力模型的参数。

[0016] 较佳地，在一次调整所述编码器网络、注意力模型和解码器网络的参数后，还包括：

[0017] 将所述图像去夜模型输出的去夜图像和对应的白天图像输入到图像判别模型进行真实性判断；

[0018] 根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力；

[0019] 在所述图像判别模型的判别能力达到要求，并判断所述图像去夜模型输出的去夜图像为真实时，结束所述训练过程。

[0020] 其中，所述编码器网络包括多层卷积层；以及

[0021] 所述利用编码器网络输出夜间图像的编码特征图像，具体包括：

[0022] 将所述夜间图像输入到所述编码器网络的第一层卷积层进行卷积运算得到该卷积层输出的编码特征图像；

[0023] 当前的卷积层对前一层的卷积层输出的编码特征图像进行卷积运算，得到当前的卷积层输出的编码特征图像；

[0024] 最后一层卷积层的输出为所述夜间图像的编码特征图像。

[0025] 其中，所述注意力模型包括多层转置卷积层；以及

[0026] 所述利用注意力模型输出所述编码特征图像的注意力特征图像，具体包括：

[0027] 将所述夜间图像的编码特征图像输入到所述注意力模型的第一层转置卷积层进行转置卷积运算输出该层的注意力特征图像；

[0028] 所述注意力模型中当前的转置卷积层对前一层的转置卷积层输出的注意力特征图像进行转置卷积运算，得到当前的转置卷积层输出的注意力特征图像；

[0029] 所述注意力模型中最后一层转置卷积层的输出为所述夜间图像的注意力特征图像。

[0030] 其中，所述解码器网络包括多层转置卷积点乘层；以及

[0031] 所述根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述夜间图像的去夜图像，具体包括：

[0032] 将所述夜间图像的编码特征图像以及所述注意力模型中第一层转置卷积层输出的注意力特征图像，输入到所述解码器网络的第一层转置卷积点乘层；第一层转置卷积点乘层对输入的编码特征图像进行转置卷积运算得到该层的中间过程特征图像，进而将得到的中间过程特征图像与输入的注意力特征图像进行点乘运算得到该层的注意力加权的特征图像；

[0033] 所述解码器网络中当前的转置卷积点乘层对前一层的转置卷积点乘层输出的注意力加权的特征图像进行转置卷积运算，将运算得到的中间过程特征图像与所述注意力模型中对应层的转置卷积层输出的注意力特征图像进行点乘运算后，得到当前的转置卷积点乘层输出的注意力加权的特征图像；

[0034] 所述解码器网络中最后一层转置卷积点乘层的输出为所述夜间图像的去夜图像。

[0035] 本发明还提供一种图像去夜装置，包括：

[0036] 编码器网络，用于输出夜间图像的编码特征图像；

[0037] 注意力模型，用于根据所述编码特征图像输出所述夜间图像的注意力特征图像；

[0038] 解码器网络，用于根据所述编码特征图像以及注意力特征图像输出所述夜间图像的去夜图像。

[0039] 进一步，所述装置还包括：

[0040] 训练模块，用于获取多对训练样本，其中一对训练样本为同一场景的夜晚图像和白天图像；将同一场景的夜晚图像和白天图像的V通道做差后，得到的图像作为注意力掩码；根据所述训练样本以及得到的注意力掩码对所述图像去夜模型进行训练，多次调整所述编码器网络、注意力模型和解码器网络的参数。

[0041] 进一步，所述训练模块还用于在一次调整所述编码器网络、注意力模型和解码器网络的参数后，将所述图像去夜模型输出的去夜图像和对应的白天图像输入到图像判别模型进行真实性判断；根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力；在所述图像判别模型的判别能力达到要求，并判断所述图像去夜模型输出的去夜图像为真实时，结束所述训练过程。

[0042] 本发明的技术方案中，将注意力模型嵌入到编码器网络与解码器网络之间，用于加强对夜晚图像和白天图像之间视觉差异大的区域的注意，所述视觉差异大的区域主要包括暗区域和灯光区域，并对所述视觉差异大的区域赋予较大的权重，从而加强了模型对所述区域的夜晚到白天的转换学习，从而提高了上述区域的转换效果，改善了去夜后图像模糊和对灯光去除效果差的问题；同时结合编码器网络和解码器网络的结构，加强了对图像特征的提取和学习，使模型泛化能力提高，从而提高了对不同监控场景下的去夜适应性，提高去夜图像质量。

[0043] 更优地，在训练图像去夜模型的同时还可训练图像判别模型，使得图像判别模型的判别能力达到要求；并且在图像判别模型的判别能力达到要求后，继续训练图像去夜模型，图像去夜模型输出的去夜图像被图像判别模型判断为真实时，说明图像去夜模型可以生成真实度很高的去夜图像，从而使得图像去夜模型能够输出更高质量的去夜图像。

附图说明

[0044] 图1为本发明实施例提供的一种图像去夜方法的流程图；

[0045] 图2为本发明实施例提供的一种图像去夜模型的结构示意图；

[0046] 图3为本发明实施例提供的一种图像去夜模型的训练方法流程图；

[0047] 图4为本发明实施例提供的根据获取的训练样本以及得到的注意力掩码对所述图像去夜模型进行训练的一种具体方法流程图；

[0048] 图5为本发明实施例提供的一种图像去夜装置的内部结构框图。

具体实施方式

[0049] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

[0050] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

[0051] 本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

[0052] 需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

[0053] 本发明的技术方案中，将注意力模型嵌入到编码器网络与解码器网络之间，用于加强对夜晚图像和白天图像之间视觉差异大的区域的注意，所述视觉差异大的区域主要包括暗区域和灯光区域，并对所述视觉差异大的区域赋予较大的权重，从而加强了模型对所述区域的夜晚到白天的转换学习，从而提高了上述区域的转换效果，改善了去夜后图像模糊和对灯光去除效果差的问题。

[0054] 同时结合编码器网络和解码器网络的结构，加强了对图像特征的提取和学习，使模型泛化能力提高，从而提高了对不同监控场景下的去夜适应性，提高去夜图像质量。

[0055] 下面结合附图详细说明本发明实施例的技术方案。

[0056] 本发明实施例提供的一种图像去夜方法，流程如图1所示，包括如下步骤：

[0057] 步骤S101：利用编码器网络输出夜间图像的编码特征图像。

[0058] 本步骤中，将拍摄的夜间图像输入到预先训练得到的图像去夜模型中；图像去夜模型中的编码器网络可以根据输入的夜间图像输出该夜间图像的编码特征图像的编码特征图像。其中，图像去夜模型如图2所示，包括编码器网络、注意力模型和解码器网络；也就是说，图像去夜模型是由编码器网络、注意力模型和解码器网络组成。

[0059] 编码器网络可以为轻量级特征提取卷积神经网络，如Darknet reference network等卷积神经网络。可以理解的是，轻量级特征提取卷积神经网络的连接参数比较少，占据内存少，能够更加快速的对输入图像特征进行提取。同时，对硬件的要求也相对降低。

[0060] 编码器网络包括多层卷积层；每层卷积层的卷积核大小和卷积步长可以根据具体的场景设定。例如，可以采用卷积核大小为(3×3)，步长为(2×2)的卷积层对夜间图像根据预设的参数进行卷积运算，得到该卷积层输出的编码特征图像。这些卷积层的作用是进行低频特征和高频特征的提取。每经过一个卷积层得到一个尺寸特定的编码特征图像，最终得到的编码特征图像充分包含了夜间图像的低频和高频特征。可以理解的是，由于卷积运算的平移不变性，在该编码特征图中，所有物体之间的相对位置与在夜间图像中是相同的。其中，编码器网络中各卷积层中的参数是在训练图像去夜模型时调整预设的。

[0061] 具体地，如图2所示，可以将所述夜间图像输入到所述编码器网络的第一层卷积层进行卷积运算得到该卷积层输出的编码特征图像；之后，当前的卷积层对前一层的卷积层输出的编码特征图像进行卷积运算，得到当前的卷积层输出的编码特征图像；当前的卷积层输出的编码特征图像的大小为前一卷积层输出编码特征图像的一半；从而提取出相比于前一层的卷积层输出的编码特征图像更高级的图像特征；例如，第i+1层的卷积层对第i层的卷积层输出的编码特征图像进行卷积运算，得到第i+1层输出的编码特征图像，第i+1层输出的编码特征图像的大小为第i层的卷积层输出编码特征图像的一半。其中，编码器网络中卷积层的层数为N，i为1～N-1的自然数。最后一层卷积层的输出为所述夜间图像的编码特征图像。

[0062] 编码器网络中不同的卷积层输出的编码特征图像大小不同，最后一层卷积层输出的编码特征图像尺寸最小，包含了原始图像的高级特征。

[0063] 更优地，编码器网络还可将每个卷积层运算得到的编码特征图像向注意力模型输出。

[0064] 步骤S102：根据所述编码特征图像利用图像去夜模型中的注意力模型输出所述夜间图像的注意力特征图像。

[0065] 本步骤中，将编码器网络输出的所述夜间图像的编码特征图像输入到图像去夜模型中的注意力模型。

[0066] 注意力模型包括多层转置卷积层；每层转置卷积层的卷积核大小和卷积步长可以根据具体的场景设定。例如，可以采用卷积核大小为(3×3)，步长为(2×2)的转置卷积层对编码特征图像进行转置卷积运算，得到该转置卷积层输出的注意力特征图像。其中，注意力模型中各转置卷积层中的参数是在训练图像去夜模型时调整预设的。

[0067] 具体地，如图2所示，可以将编码器网络最后一层卷积层输出的夜间图像的编码特征图像，输入到所述注意力模型的第一层转置卷积层，第一层转置卷积层对输入进行转置卷积运算输出该层的注意力特征图像；之后，所述注意力模型中当前的转置卷积层对前一层的转置卷积层输出的注意力特征图像进行转置卷积运算，得到当前的转置卷积层输出的注意力特征图像；当前的转置卷积层输出的注意力特征图像大小为前一层的转置卷积层输出的注意力特征图像大小的2倍；例如，注意力模型中第i+1层的转置卷积层对第i层的转置卷积层输出的注意力特征图像进行转置卷积运算，得到第i+1层转置卷积层输出的注意力特征图像，第i+1层转置卷积层输出的注意力特征图像大小为第i层转置卷积层输出的注意力特征图像大小的2倍。其中，注意力模型中转置卷积层的层数为N，i为1～N-1的自然数。所述注意力模型最后一层转置卷积层的输出为所述夜间图像的注意力特征图像。

[0068] 注意力模型中不同的转置卷积层输出的注意力特征图像大小不同。注意力模型中最后一层转置卷积层的输出的注意力特征图像与输入到图像去夜模型的夜晚图像尺寸相同。

[0069] 更优地，注意力模型的每层转置卷积层在进行转置卷积运算时还可融合编码器网络对应层的卷积层输出的编码特征图像，例如，注意力模型的第i层转置卷积层在进行转置卷积运算时还可融合编码器网络的第N+1-i层的卷积层输出的编码特征图像。其中，注意力模型中转置卷积层的层数为N，i为1～N-1的自然数。

[0070] 步骤S103：根据编码器网络输出的编码特征图像以及注意力模型输出的注意力特征图像利用解码器网络输出所述夜间图像的去夜图像。

[0071] 本步骤中，将编码器网络输出的编码特征图像以及注意力模型输出的注意力特征图像，输入到图像去夜模型的解码器网络中。

[0072] 解码器网络包括多层转置卷积点乘层；每层转置卷积点乘层的卷积核大小和卷积步长可以根据具体的场景设定。例如，可以采用卷积核大小为(3×3)，步长为(2×2)的转置卷积点乘层对编码特征图像进行转置卷积运算，得到中间特征图像，进而将中间特征图像再与注意力模型对应层的转置卷积层输出的注意力特征图像进行点乘运算，得到本转置卷积点乘层输出的注意力加权的特征图像。

[0073] 具体地，如图2所示，将编码器网络输出的夜间图像的编码特征图像以及所述注意力模型中第一层转置卷积层输出的注意力特征图像，输入到所述解码器网络的第一层转置卷积点乘层；第一层转置卷积点乘层对输入的编码特征图像进行转置卷积运算得到该层的中间过程特征图像，将得到的中间过程特征图像与输入的注意力特征图像进行点乘运算得到该层的注意力加权的特征图像；

[0074] 进而，所述解码器网络中当前的转置卷积点乘层对前一层的转置卷积点乘层输出的注意力加权的特征图像进行转置卷积运算，将运算得到的中间过程特征图像与所述注意力模型中对应层的转置卷积层输出的注意力特征图像进行点乘运算后，得到当前的转置卷积点乘层输出的注意力加权的特征图像；当前的转置卷积点乘层输出的注意力加权的特征图像大小为前一层的转置卷积点乘层输出的注意力加权的特征图像大小的2倍；例如，解码器网络中第i+1层的转置卷积点乘层对第i层的转置卷积点乘层输出的注意力加权的特征图像进行转置卷积运算，得到第i+1层的中间过程特征图像；进而第i+1层的转置卷积点乘层将运算得到的第i+1层的中间过程特征图像与所述注意力模型中第i+1层的转置卷积层输出的注意力特征图像进行点乘运算，得到第i+1层的转置卷积点乘层输出的注意力加权的特征图像，第i+1层转置卷积点乘层输出的注意力加权的特征图像大小为第i层转置卷积点乘层输出的注意力加权的特征图像大小的2倍。其中，解码器网络中转置卷积点乘层的层数为N，i为1～N-1的自然数。所述解码器网络最后一层转置卷积点乘层的输出为所述夜间图像的去夜图像。

[0075] 更优地，解码器网络的每层转置卷积点乘层在进行转置卷积运算时还可融合编码器网络对应层的卷积层输出的编码特征图像。例如，解码器网络的第i层转置卷积点乘层在进行转置卷积运算时还可融合编码器网络的第N+1-i层的卷积层输出的编码特征图像。其中，解码器网络中转置卷积点乘层的层数为N，i为1～N-1的自然数。

[0076] 这样，可以将编码器网络的卷积层提取到的低频信息和高频信息无损地融合到解码器网络通过转置卷积点乘运算得到的恢复信息中，使得恢复出来的图像能够充分保留原始图像的画面结构等信息。

[0077] 上述的图像去夜模型是预先训练得到的，具体训练方法流程如图3所示，包括如下步骤：

[0078] 步骤S301：获取多对训练样本，其中一对训练样本为同一场景的夜晚图像和白天图像。

[0079] 具体地，训练样本可以在真实的监控场景中获取，为了保证训练得到的图像去夜模型的去夜效果，可以选取大量的不同监控场景下的训练样本。

[0080] 步骤S302：将同一场景的夜晚图像和白天图像的V通道做差后，得到的图像作为注意力掩码。

[0081] 具体地，对于每对训练样本，将该对训练样本中同一场景的RGB(Red-Green-Blue，红-绿-蓝)夜晚图像和白天图像转换到HSV(Hue-Saturation-Value,色调-饱和度-明度)域，然后对HSV域的白天图像和夜晚图像的V(明度)通道做差，得到对应该对训练样本的注意力掩码。

[0082] 步骤S303：根据获取的训练样本以及得到的注意力掩码对所述图像去夜模型进行训练，期间多次调整所述编码器网络、注意力模型和解码器网络的参数。

[0083] 本步骤中，根据获取的训练样本以及得到的注意力掩码对所述图像去夜模型进行训练时，可以多次调整注意力模型的参数，训练注意力模型能够加强对夜晚图像和白天图像之间视觉差异大的区域的注意，例如，对暗区域和灯光区域的注意，从而有助提高了上述区域的转换效果；本步骤的图像去夜模型训练过程中，还可以多次调整编码器网络和解码器网络的参数，训练深度学习的卷积神经网络，能够对图像低频特征和高频特征进行更有效的提取和处理，可以进一步提高目标的去夜图像的质量。

[0084] 具体地，根据获取的训练样本以及得到的注意力掩码对所述图像去夜模型进行训练的一种具体方法，流程如图4所示，包括如下步骤：

[0085] 步骤S401：基于深度学习框架构(如PyTorch)构建初始去夜模型，并令图像去夜模型的参数的调整次数j＝1，图像判别模型的参数的调整次数k＝1。

[0086] 步骤S402：在第j次图像去夜模型的参数的调整过程中，将一对训练样本中的夜晚图像输入到所述图像去夜模型，并根据所述图像去夜模型输出的去夜图像与该对训练样本中的白天图像的差异，调整所述图像去夜模型中的编码器网络和解码器网络的参数。

[0087] 具体地，将一对训练样本中的夜晚图像输入到所述图像去夜模型，获取图像去夜模型输出的去夜图像；将该对训练样本中的白天图像作为图像去夜模型的期望输出，进而根据图像去夜模型实际输出的去夜图像与期望输出的白天图像的差异，调整所述图像去夜模型中的编码器网络和解码器网络的参数。可采用现有技术的方法，根据实际输出与期望输出之间的差异调整编码器网络和解码器网络的参数，此处不再赘述。

[0088] 步骤S403：在第j次图像去夜模型的参数的调整过程中，根据所述图像去夜模型中的注意力模型输出的最后一个注意力特征图像和根据该对训练样本得到的注意力掩码之间的距离，调整所述注意力模型的参数。

[0089] 具体地，将根据该对训练样本得到的注意力掩码作为注意力模型的期望输出，根据注意力模型实际输出的注意力特征图像与期望输出的注意力掩码之间的距离，即两者之间的差异(比如像素级别差)，调整注意力模型的参数。可采用现有技术的方法，根据注意力模型的实际输出与期望输出之间的差异调整注意力模型的参数，此处不再赘述。

[0090] 步骤S404：判断j是否超过设定的第一阈值；若是，跳转到步骤S405，结束图像去夜模型的初步训练过程；否则，令j＝j+1后，跳转到步骤S402进行下次图像去夜模型的参数的调整。

[0091] 具体地，本领域技术人员可以根据经验设置第一阈值；当j超过设定的第一阈值时，说明编码器网络、注意力模型和解码器网络的参数调整达到一定程度，此时图像去夜模型已经有了较好的特征提取能力和特征恢复能力；基本上可以结束图像去夜模型的训练，跳转到步骤S405。其中，第一阈值可以为1万、2万、5万等，不做具体限定。

[0092] 如果j小于第一阈值，则令j＝j+1后，跳转到步骤S402进行下次图像去夜模型的参数的调整。

[0093] 步骤S405：结束图像去夜模型的初步训练过程。

[0094] 在结束图像去夜模型的初步训练过程后，即可使用训练后的图像去夜模型对夜间图像进行去夜处理。

[0095] 更优地，为使得图像去夜模型获得更好的去夜效果，在步骤S405后还可采用如下后续步骤进一步训练图像去夜模型：

[0096] 步骤S406：将所述图像去夜模型输出的去夜图像和对应的白天图像输入到图像判别模型进行真实性判断。

[0097] 其中，所述图像判别模型可以采用Patch Discriminator(区域判别器)模型，具体地所述图像判别模型可以包含多层卷积层，每个卷积层的卷积核大小和卷积步长可以根据具体的场景设定。例如，可以采用卷积核大小为(4×4)，步长为(2×2)的卷积层对输入图像根据预设的参数进行卷积运算。

[0098] 将图像输入到所述图像判别模型后，图像判别模型的最终输出为一个两维的数组，数组的每一个元素表示原始输入图像中的某一区域块是真实的还是虚假的。可以理解的是，采用所述区域判别器模型对输入图像进行判别，可以将对原始输入图像的单一判别转换成对原始输入图像的多个可重叠区域块的综合判别，从而提高了判别模型的判别能力。

[0099] 具体地，本步骤中，对于一对训练样本，将其夜间图像输入到图像去夜模型中，图像去夜模型输出该夜间图像的去夜图像；

[0100] 将图像去夜模型输出的去夜图像输入到图像判别模型进行真实性判断；

[0101] 将该对训练样本中的白天图像，即图像去夜模型输出的去夜图像对应的白天图像也输入到图像判别模型进行真实性判断。

[0102] 步骤S407：在第k次图像判别模型的参数的调整过程中，根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力。

[0103] 具体地，对于图像判别模型的输入为去夜图像的情况，图像判别模型的期望输出应是非真实；对于图像判别模型的输入为白天图像的情况，图像判别模型的期望输出应是真实。

[0104] 本步骤中，在第k次图像判别模型的参数的调整过程中，根据所述图像判别模型的判断结果与图像判别模型的期望输出的差异，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力。可采用现有技术方法，根据图像判别模型的实际输出与期望输出之间的差异调整注意力模型的参数，此处不再赘述。

[0105] 步骤S408：判断k是否超过设定的第二阈值，且图像判别模型判断所述图像去夜模型输出的去夜图像为真实；若是，则跳转到步骤S409，结束图像去夜模型和图像判别模型的训练过程；否则，令k＝k+1后，跳转到步骤S402再次进行图像去夜模型和图像判别模型的参数的调整。

[0106] 具体地，本领域技术人员可以根据经验设置第二阈值；当k超过设定的第二阈值时，说明图像判别模型的参数调整达到一定程度，图像判别模型的判别能力达到要求；此时，若图像判别模型判断所述图像去夜模型输出的去夜图像为真实，则说明图像判别模型在判别能力达到要求的基础上，对于图像去夜模型输出的去夜图像判定为真实拍摄的，这说明图像去夜模型可以生成真实度很高的去夜图像。此时可以停止图像去夜模型和图像判别模型的参数调整，跳转到步骤S409，结束训练过程，得到最终的图像去夜模型。其中，第二阈值可以为1万、2万、5万等，在此不做具体限定。

[0107] 若k小于设定的第二阈值，则说明图像判别模型的判别能力未达到要求，则令k＝k+1后，跳转到步骤S402再次进行图像去夜模型和图像判别模型的参数的调整；

[0108] 若k超过设定的第二阈值，且图像判别模型对于图像去夜模型输出的去夜图像判定为非真实拍摄的，则说明图像判别模型的参数调整达到一定程度，图像判别模型的判别能力达到要求，但图像去夜模型输出的去夜图像真实度不是很高，仍然可以被图像判别模型判别出非真实拍摄的，还可进一步调整图像去夜模型的参数，则令k＝k+1后，跳转到步骤S402再次进行图像去夜模型和图像判别模型的参数的调整。

[0109] 步骤S409：结束图像去夜模型和图像判别模型的训练过程。

[0110] 基于上述的图像去夜方法，本发明实施例提供的一种图像去夜装置，包括上述的图像去夜模型，其内部结构框图如图5所示，包括：上述的编码器网络501、注意力模型502、解码器网络503。

[0111] 其中，编码器网络501用于输出夜间图像的编码特征图像；具体地，编码器网络501包括多层卷积层；其中，编码器网络501的第一层卷积层对输入的夜间图像进行卷积运算得到该卷积层输出的编码特征图像；对于第一层卷积层之后的每个卷积层，该卷积层对其前一层的卷积层输出的编码特征图像进行卷积运算，输出运算得到的编码特征图像；最后一层卷积层的输出为所述夜间图像的编码特征图像。

[0112] 更优地，编码器网络501还可将每个卷积层运算得到的编码特征图像向注意力模型502输出。

[0113] 注意力模型502用于根据所述编码特征图像输出所述夜间图像的注意力特征图像；具体地，注意力模型502包括多层转置卷积层；其中，注意力模型502的第一层转置卷积层对输入的夜间图像的编码特征图像进行转置卷积运算输出该层的注意力特征图像；对于第一层转置卷积层之后的每个转置卷积层，该转置卷积层对其前一层的转置卷积层输出的注意力特征图像进行转置卷积运算，输出转置卷积运算得到的注意力特征图像；最后一层转置卷积层的输出为所述夜间图像的注意力特征图像。

[0114] 更优地，注意力模型502的每层转置卷积层在进行转置卷积运算时还可融合编码器网络501对应层的卷积层输出的编码特征图像。

[0115] 解码器网络503用于根据所述编码特征图像以及注意力特征图像输出所述夜间图像的去夜图像；具体地，解码器网络503包括多层转置卷积点乘层；其中，第一层转置卷积点乘层对输入的夜间图像的编码特征图像进行转置卷积运算得到该层的中间过程特征图像，进而将得到的中间过程特征图像与输入的注意力特征图像进行点乘运算得到该层的注意力加权的特征图像；对于第一层转置卷积点乘层之后的每个转置卷积点乘层，该转置卷积点乘层对其前一层的转置卷积点乘层输出的注意力加权的特征图像进行转置卷积运算，将运算得到的中间过程特征图像与所述注意力模型中对应层的转置卷积层输出的注意力特征图像进行点乘运算后，输出点乘运算得到的注意力加权的特征图像；最后一层转置卷积点乘层的输出为所述夜间图像的去夜图像。

[0116] 更优地，解码器网络503的每层转置卷积点乘层在进行转置卷积运算时还可融合编码器网络501对应层的卷积层输出的编码特征图像。这样，可以将编码器网络的卷积层提取到的低频信息和高频信息无损地融合到解码器网络通过转置卷积点乘运算得到的恢复信息中，使得恢复出来的图像能够充分保留原始图像的画面结构等信息。

[0117] 进一步，本发明实施例提供的一种图像去夜装置，还包括：训练模块。

[0118] 训练模块用于获取多对训练样本，其中一对训练样本为同一场景的夜晚图像和白天图像；将同一场景的夜晚图像和白天图像的V通道做差后，得到的图像作为注意力掩码；根据所述训练样本以及得到的注意力掩码对所述图像去夜模型进行训练，多次调整所述编码器网络501、注意力模型502和解码器网络503的参数。其中，在一次调整所述编码器网络、注意力模型和解码器网络的参数过程中，训练模块将一对训练样本中的夜晚图像输入到所述图像去夜模型，并根据所述图像去夜模型输出的去夜图像与该对训练样本中的白天图像的差异，调整所述图像去夜模型中的编码器网络501和解码器网络503的参数；训练模块根据所述图像去夜模型中的注意力模型502输出的最后一个注意力特征图像和根据该对训练样本得到的注意力掩码之间的距离，调整所述注意力模型502的参数。

[0119] 进一步，上述的训练模块还可在一次调整所述编码器网络、注意力模型和解码器网络的参数后，将所述图像去夜模型输出的去夜图像和对应的白天图像输入到图像判别模型进行真实性判断；根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力；在所述图像判别模型的判别能力达到要求，并判断所述图像去夜模型输出的去夜图像为真实时，结束所述训练过程。

[0120] 上述图像去夜装置中的各模块的功能的具体实现方法可参考上述图1～图4所示的流程步骤中的方法，此处不再赘述。

[0121] 本发明的技术方案中，将注意力模型嵌入到编码器网络与解码器网络之间，用于加强对夜晚图像和白天图像之间视觉差异大的区域的注意，所述视觉差异大的区域主要包括暗区域和灯光区域，并对所述视觉差异大的区域赋予较大的权重，从而加强了模型对所述区域的夜晚到白天的转换学习，从而提高了上述区域的转换效果，改善了去夜后图像模糊和对灯光去除效果差的问题；同时结合编码器网络和解码器网络的结构，加强了对图像特征的提取和学习，使模型泛化能力提高，从而提高了对不同监控场景下的去夜适应性，提高去夜图像质量。

[0122] 更优地，注意力模型的每层转置卷积层在进行转置卷积运算时还可融合编码器网络对应层的卷积层输出的编码特征图像，这样，可以将编码器网络的卷积层提取到的低频信息和高频信息无损地融合到注意力特征图像，使得注意力特征图像能够充分保留原始图像的画面结构等信息；

[0123] 更优地，解码器网络的每层转置卷积点乘层在进行转置卷积运算时还可融合编码器网络对应层的卷积层输出的编码特征图像。这样，可以将编码器网络的卷积层提取到的低频信息和高频信息无损地融合到解码器网络通过转置卷积点乘运算得到的恢复信息中，使得恢复出来的图像能够充分保留原始图像的画面结构等信息。

[0124] 更优地，在训练图像去夜模型的同时还可训练图像判别模型，使得图像判别模型的判别能力达到要求；并且在图像判别模型的判别能力达到要求后，继续训练图像去夜模型，图像去夜模型输出的去夜图像被图像判别模型判断为真实时，说明图像去夜模型可以生成真实度很高的去夜图像，从而使得图像去夜模型能够输出更高质量的去夜图像。

[0125] 本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

[0126] 所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。