一种图像质量评价方法、模型训练方法及装置

摘要

本发明提供一种图像质量评价方法、模型训练方法及装置，该方法包括：获取待评价的第一图像；根据预先训练的图像质量评价模型对所述第一图像进行图像质量评价，得到图像质量评价结果；其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层。通过本发明提供的图像质量评价方法，可以提高图像质量评价的准确性。

权利要求

1.一种图像质量评价方法，其特征在于，包括：

获取待评价的第一图像；

根据预先训练的图像质量评价模型对所述第一图像进行图像质量评价，得到图像质量评价结果；

其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述第一图像进行特征提取并输出第一特征图，所述特征包括第一图像的纹理特征、轮廓低频特征、强度分布特征、图像像素之间的相关性、高频细节特征、图像失真类型特征和图像失真强度特征中的至少一项，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述第一图像进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出所述图像质量评价结果。

2.根据权利要求1所述的方法，其特征在于，所述获取待评价的第一图像之后，所述方法还包括：

确定所述第一图像的过曝光区域、欠曝光区域和正常曝光区域；

所述根据预先训练的图像质量评价模型对所述第一图像进行图像质量评价，得到图像质量评价结果，包括：

将所述第一图像、所述过曝光区域、所述欠曝光区域和所述正常曝光区域输入预先训练的图像质量评价模型，得到图像质量评价结果；

其中，所述卷积网络包括第一子卷积网络、第二子卷积网络、第三子卷积网络和第四子卷积网络；所述第一子卷积网络用于对所述第一图像进行多维度特征提取并输出第一子特征图，所述第二子卷积网络用于对所述过曝光区域进行高频细节特征提取并输出第二子特征图，所述第三子卷积网络用于对所述欠曝光区域进行强度特征提取并输出第三子特征图，所述第四子卷积网络用于对所述正常曝光区域进行低频轮廓特征提取并输出第四子特征图，所述第一特征图为所述第一子特征图、所述第二子特征图、所述第三子特征图和所述第四子特征图进行通道合并所得到的特征图。

3.根据权利要求2所述的方法，其特征在于，所述确定所述第一图像的过曝光区域、欠曝光区域和正常曝光区域，包括：计算所述第一图像的平均强度值和所述第一图像的标准差强度值；

根据所述第一图像的平均强度值和所述第一图像的标准差强度值确定用于图像区域划分的第一阈值和第二阈值；其中，所述第一阈值小于所述第二阈值；

根据所述第一阈值和所述第二阈值确定所述第一图像的过曝光区域、欠曝光区域和正常曝光区域。

4.根据权利要求2所述的方法，其特征在于，所述第一子卷积网络、所述第二子卷积网络、所述第三子卷积网络和所述第四子卷积网络均包括串联连接的M个卷积层，M的取值为

3、4或5。

5.根据权利要求1所述的方法，其特征在于，所述视觉敏感度生成网络为unet网络，所述unet网络包括N个下采样网络和N个上采样网络，所述N个下采样网络之间串联连接，所述N个上采样网络之间串联连接；

所述N个下采样网络用于对所述第一特征图进行下采样处理以提取所述视觉敏感度特征，所述N个上采样网络用于对所述N个下采样网络输出的特征图进行上采样处理以生成所述视觉敏感度图；

所述N个下采样网络中各个下采样网络输出的特征图分别与所述N个上采样网络中各个上采样网络输出的特征图中尺寸相同的特征图进行通道合并，N的取值为3、4或5。

6.根据权利要求5所述的方法，其特征在于，每个所述下采样网络均包括依次串联连接的卷积层、激活层和池化层；每个所述下采样网络均包括依次串联连接的反卷积层和激活层。

7.根据权利要求1所述的方法，其特征在于，所述池化网络包括卷积层、批量归一化层、激活层、点乘层和求均值层，所述卷积层用于对所述第三特征图进行卷积处理并输出第四特征图，所述批量归一化层用于对所述第四特征图进行归一化处理并输出第五特征图，所述激活层用于对所述第五特征图进行激活处理并输出第六特征图，所述点乘层用于对所述第六特征图和所述第三特征图中相同通道的特征图进行像素点的点乘并输出第七特征图，所述求均值层用于分别计算所述第七特征图的各个通道的特征的平均值并输出所述第一特征向量，所述第一特征向量的长度与所述第七特征图的通道数相同。

8.一种模型训练方法，其特征在于，包括：

获取S个图像样本和每个所述图像样本的标注参数，其中，S为大于1的整数，所述标注参数用于指示所述图像样本的图像质量分数；

根据所述S个图像样本中每个图像样本和每个所述图像样本的标注参数训练图像质量评价模型；

其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述图像样本进行特征提取并输出第一特征图，所述特征包括第一图像的纹理特征、轮廓低频特征、强度分布特征、图像像素之间的相关性、高频细节特征、图像失真类型特征和图像失真强度特征中的至少一项，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述图像样本进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出预测的图像质量分数。

9.根据权利要求8所述的方法，其特征在于，所述根据所述S个图像样本中每个图像样本和每个所述图像样本的标注参数训练图像质量评价模型，包括：分别确定每个所述图像样本的过曝光区域、欠曝光区域和正常曝光区域；

根据每个所述图像样本、每个所述图像样本的过曝光区域、每个所述图像样本的欠曝光区域、每个所述图像样本的正常曝光区域以及每个所述图像样本的标注参数，训练图像质量评价模型；

其中，所述卷积网络包括第一子卷积网络、第二子卷积网络、第三子卷积网络和第四子卷积网络；所述第一子卷积网络用于对所述图像样本进行多维度特征提取并输出第一子特征图，所述第二子卷积网络用于对所述过曝光区域进行高频细节特征提取并输出第二子特征图，所述第三子卷积网络用于对所述欠曝光区域进行强度特征提取并输出第三子特征图，所述第四子卷积网络用于对所述正常曝光区域进行低频轮廓特征提取并输出第四子特征图，所述第一特征图为所述第一子特征图、所述第二子特征图、所述第三子特征图和所述第四子特征图进行通道合并所得到的特征图。

10.一种图像质量评价装置，其特征在于，包括：

第一获取模块，用于获取待评价的第一图像；

评价模块，用于根据预先训练的图像质量评价模型对所述第一图像进行图像质量评价，得到图像质量评价结果；

其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述第一图像进行特征提取并输出第一特征图，所述特征包括第一图像的纹理特征、轮廓低频特征、强度分布特征、图像像素之间的相关性、高频细节特征、图像失真类型特征和图像失真强度特征中的至少一项，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述第一图像进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出所述图像质量评价结果。

11.一种模型训练装置，其特征在于，包括：

第二获取模块，用于获取S个图像样本和每个所述图像样本的标注参数，其中，S为大于

1的整数，所述标注参数用于指示所述图像样本的图像质量分数；

训练模块，用于根据所述S个图像样本中每个图像样本和每个所述图像样本的标注参数训练图像质量评价模型；

其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述图像样本进行特征提取并输出第一特征图，所述特征包括第一图像的纹理特征、轮廓低频特征、强度分布特征、图像像素之间的相关性、高频细节特征、图像失真类型特征和图像失真强度特征中的至少一项，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述图像样本进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出预测的图像质量分数。

12.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的图像质量评价方法的步骤，或者实现如权利要求8至9中任一项所述的模型训练方法的步骤。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像质量评价方法的步骤，或者实现如权利要求8至9中任一项所述的模型训练方法的步骤。

说明书

一种图像质量评价方法、模型训练方法及装置

技术领域

[0001] 本发明涉及图像处理技术领域，尤其涉及一种图像质量评价方法、模型训练方法及装置。

背景技术

[0002] 目前，很多图像应用的技术都与图像质量的好坏关联紧密，例如，人脸识别、身份证识别等。以人脸识别为例，人脸图像在采集、压缩、存储以及显示的过程中会引入不同程度的噪声导致图像降质，特别是光照因素，而降质的人脸图像对于人脸识别准确性具有较大的影响。因此，通过对人脸图像质量进行评价，可以有效的减少低质量人脸图像输入到人脸识别系统中，从而提高人脸识别的准确性。

[0003] 图像质量评价方式分为主观质量评价方式和客观质量评价方式，其中，主观质量评价方式依赖人工对图像质量进行评价，较为耗时耗力；客观质量评价方式更为简便且易集成到系统中，因此现有技术往往是基于客观质量评价方式进行图像质量评价，例如，基于深度学习进行图像质量评价方式。然而，现有的客观质量评价方式对图像质量进行评价所得到的图像质量评价结果往往与主观评价感受不相关，导致现有的客观质量评价方式对图像质量进行评价的准确性较低。

发明内容

[0004] 本发明实施例提供一种图像质量评价方法、模型训练方法及装置，以解决现有的客观质量评价方式对图像质量进行评价的准确性较低的问题。

[0005] 为了解决上述技术问题，本发明是这样实现的：

[0006] 第一方面，本发明实施例提供了一种图像质量评价方法，该方法包括：

[0007] 获取待评价的第一图像；

[0008] 根据预先训练的图像质量评价模型对所述第一图像进行图像质量评价，得到图像质量评价结果；

[0009] 其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述第一图像进行特征提取并输出第一特征图，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述第一图像进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出所述图像质量评价结果。

[0010] 第二方面，本发明实施例提供了一种模型训练方法，该方法包括：

[0011] 获取S个图像样本和每个所述图像样本的标注参数，其中，S为大于1的整数，所述标注参数用于指示所述图像样本的图像质量分数；

[0012] 根据所述S个图像样本中每个图像样本和每个所述图像样本的标注参数训练图像质量评价模型；

[0013] 其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述图像样本进行特征提取并输出第一特征图，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述图像样本进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出预测的图像质量分数。

[0014] 第三方面，本发明实施例还提供一种图像质量评价装置，该装置包括：

[0015] 第一获取模块，用于获取待评价的第一图像；

[0016] 评价模块，用于根据预先训练的图像质量评价模型对所述第一图像进行图像质量评价，得到图像质量评价结果；

[0017] 其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述第一图像进行特征提取并输出第一特征图，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述第一图像进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出所述图像质量评价结果。

[0018] 第四方面，本发明实施例还提供一种模型训练装置，该装置包括：

[0019] 第二获取模块，用于获取S个图像样本和每个所述图像样本的标注参数，其中，S为大于1的整数，所述标注参数用于指示所述图像样本的图像质量分数；

[0020] 训练模块，用于根据所述S个图像样本中每个图像样本和每个所述图像样本的标注参数训练图像质量评价模型；

[0021] 其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述图像样本进行特征提取并输出第一特征图，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述图像样本进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出预测的图像质量分数。

[0022] 第五方面，本发明实施例还提供一种图像质量评价装置，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的图像质量评价方法的步骤，或者实现上述的模型训练方法的步骤。

[0023] 第六方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像质量评价方法的步骤，或者实现上述的模型训练方法的步骤。

[0024] 本发明实施例中，通过在图像质量评价过程中考虑人视觉系统特性以相应获取视觉敏感度图，并基于视觉敏感度图对残差网络提取的特征图进行空间加权以对图像进行质量评价，可以提高图像质量评价的准确性。

附图说明

[0025] 为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

[0026] 图1是本发明实施例提供的图像质量评价方法的流程图；

[0027] 图2是本发明实施例提供的视觉敏感度生成网络的示意图；

[0028] 图3是本发明实施例提供的池化网络的示意图；

[0029] 图4是本发明实施例提供的基于图像质量评价模型进行图像质量评价的示意图；

[0030] 图5是本发明实施例提供的模型训练方法的流程图；

[0031] 图6是本发明实施例提供的图像质量评价装置的结构图；

[0032] 图7是本发明实施例提供的模型训练装置的结构图；

[0033] 图8是本发明又一实施例提供的图像质量评价装置的结构图；

[0034] 图9是本发明又一实施例提供的模型训练装置的结构图。

具体实施方式

[0035] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0036] 本发明实施例提供一种图像质量评价方法。参见图1，图1是本发明实施例提供的图像质量评价方法的流程图，如图1所示，包括以下步骤：

[0037] 步骤101、获取待评价的第一图像。

[0038] 本实施例中，上述第一图像可以是任意待评价的图像。具体地，对于人脸识别等应用场景，上述第一图像可以是任意的人脸图像。

[0039] 步骤102、根据预先训练的图像质量评价模型对所述第一图像进行图像质量评价，得到图像质量评价结果；

[0040] 其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述第一图像进行特征提取并输出第一特征图，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述第一图像进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出所述图像质量评价结果。

[0041] 本实施例中，上述卷积网络可以提取第一图像的纹理特征、轮廓低频特征、强度分布特征、图像像素之间的相关性、高频细节特征、图像失真类型特征和图像失真强度特征等中的一项或多项特征。

[0042] 可选地，上述卷积网络可以包括K个卷积子网络，K为正整数。例如，上述卷积网络可以包括一个卷积子网络，该卷积子网络用于对第一图像进行卷积处理并输出第一特征图；或者，上述卷积网络可以包括两个卷积子网络，上述两个卷积子网络分别用于对第一图像以及第一图像的异常曝光区域(例如，欠曝光和过曝光的区域)进行卷积处理，其中，上述第一特征图可以是上述两个卷积子网络分别输出的特征图进行通道合并得到的特征图；或者，上述卷积网络可以包括三个卷积子网络，上述三个卷积子网络分别用于对第一图像、第一图像的异常曝光区域(例如，欠曝光和过曝光的区域)和第一图像的正常曝光区域进行卷积处理，其中，上述第一特征图可以是上述三个卷积子网络分别输出的特征图进行通道合并得到的特征图等。

[0043] 需要说明的是，上述每个卷积子网络均可以包括串联连接的多个卷积层，例如，每个卷积子网络均可以包括串联连接的3个卷积层。

[0044] 上述视觉敏感度生成网络用于基于上述第一特征图输出视觉敏感度图。例如，上述视觉敏感度生成网络可以为Unet网络，通过Unet网络中的多个卷积层对第一特征图进行卷积处理以提取视觉敏感度特征，并基于Unet网络中的多个反卷积层对提取的视觉敏感度特征进行反卷积处理以得到视觉敏感度图。上述视觉敏感度特征可以理解为一些抽象的高频细节特征，例如，上述视觉敏感度特征可以是对上述第一图像的纹理特征、轮廓低频特征、强度分布特征、图像像素之间的相关性、高频细节特征、图像失真类型特征和图像失真强度特征等中的一项或多项特征进行整合所提取到的更加抽象的高频细节特征。具体地，通过上述视觉敏感度生成网络模拟人视觉系统，以提取视觉敏感度特征并生成视觉敏感度图，并利用视觉敏感度图对残差网络输出的特征图进行空间加权以进行图像质量评价，可以使得图像质量评价模型的注意力可以更为集中于可以表示图像质量的敏感区域，因此可以提高图像质量评价结果的准确性。

[0045] 上述残差网络(resnet)，例如，可以是将现有的resnet18去掉最后三层所得到的网络，也即不包括resblock层(即残差块层)和两个全连接层。通过残差网络对第一图像进行特征提取，可以得到第一图像较为丰富的特征信息。

[0046] 上述加权层用于将所述第二特征图和所述视觉敏感度图进行加权，也即将第二特征图和所述视觉敏感度图进行像素点的点乘或点积，也就是分别将第二特征图和视觉敏感度图相同位置的像素进行相乘。可以理解的是，上述第二特征图和视觉敏感度图的大小相同。

[0047] 上述池化网络用于将所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量。实际应用中，卷积层对于图像大小没有要求，但是全连接层对于图像大小具有限制，为了使得全连接层能够适用不同图像大小的输入，需要对待输入全连接层的特征图进行池化处理以得到与全连接层匹配的特征向量。上述池化网络可以包括但不限于全局平均池化层或空间金字塔池化层等。

[0048] 上述图像质量评价结果可以是用于指示图像质量分数，例如，图像质量分数的取值范围为[0,1]，其中，在图像质量分数大于或等于预设值(例如，0.7或0.8等)的情况下表示图像光照正常，在图像质量分数小于预设值的情况下表示图像光照不正常。

[0049] 本发明实施例提供的图像评价方法，通过在图像质量评价过程中考虑人视觉系统特性以相应获取视觉敏感度图，并基于视觉敏感度图对残差网络提取的特征图进行空间加权以对图像进行质量评价，可以提高图像质量评价的准确性。

[0050] 可选地，所述获取待评价的第一图像之后，所述方法还包括：

[0051] 确定所述第一图像的过曝光区域、欠曝光区域和正常曝光区域；

[0052] 所述根据预先训练的图像质量评价模型对所述第一图像进行图像质量评价，得到图像质量评价结果，包括：

[0053] 将所述第一图像、所述过曝光区域、所述欠曝光区域和所述正常曝光区域输入预先训练的图像质量评价模型，得到图像质量评价结果；

[0054] 其中，所述卷积网络包括第一子卷积网络、第二子卷积网络、第三子卷积网络和第四子卷积网络；所述第一子卷积网络用于对所述第一图像进行多维度特征提取并输出第一子特征图，所述第二子卷积网络用于对所述过曝光区域进行高频细节特征提取并输出第二子特征图，所述第三子卷积网络用于对所述欠曝光区域进行强度特征提取并输出第三子特征图，所述第四子卷积网络用于对所述正常曝光区域进行低频轮廓特征提取并输出第四子特征图，所述第一特征图为所述第一子特征图、所述第二子特征图、所述第三子特征图和所述第四子特征图进行通道合并所得到的特征图。

[0055] 本实施例中，上述第一子卷积网络用于对第一图像进行卷积处理以提取第一图像多维度的特征，其中，上述第一图像多维度的特征可以包括但不限于上述第一图像的纹理特征、轮廓低频特征、强度分布特征、图像像素之间的相关性、高频细节特征、图像失真类型特征和图像失真强度特征等中的一项或多项特征。上述第二子卷积网络用于对过曝光区域进行卷积处理以提取过曝光区域的高频细节特征。上述第三子卷积网络用于对欠曝光区域进行卷积处理以提取欠曝光区域的强度特征。上述第四子卷积网络用于对正常曝光区域进行卷积处理以提取正常曝光区域的低频轮廓特征。

[0056] 需要说明的是，目前基于深度学习的光照图像质量评价直接将光照图像送入深度学习网络中进行特征提取，并没有很好分析其过曝、欠曝和正常区域对整体人脸光照图像质量所产生的影响。然而，实际上曝光不正常以及曝光正常区域对于整体质量分数所产生的影响具有很大的差异，且曝光不正常区域、过曝光和欠曝光所产生的质量影响也不一样，因此，本发明实施通过对第一图像进行三个区域(过曝光区域、欠曝光区域以及正常区域)区分，并分别提取其特征，可以提高用于图像光照质量评价的特征学习效果。

[0057] 此外，实际情况中，在人的视觉系统中，可以在短暂时间内对一个事物做出反应，是因为人眼具有选择性的观看某些区域进行特征提取然后做出反应。相应地，上述卷积网络也会对输入数据进行选择性的学习，若上述卷积网络仅是基于第一图像进行特征学习，这样不免会丢失某些区域(过曝区域、欠曝区域、正常区域)的相关信息，因此，本发明实施例将第一图像划分为过曝光区域、欠曝光区域和正常曝光区域，并分别对第一图像、过曝光区域、欠曝光区域和正常曝光区域进行针对性的特征提取，可以对基于第一图像进行特征学习进行补偿。此外，从一个数据源进行信息提取具有一定的局限性，而从多个数据源进行特征学习，可以学习到更丰富的特征。

[0058] 本发明实施例通过将第一图像划分为过曝光区域、欠曝光区域和正常曝光区域，根据四个子卷积网络分别对第一图像、过曝光区域、欠曝光区域和正常曝光区域进行卷积处理，并将上述四个卷积子网络分别输出的特征图进行通道合并得到第一特征图输入至视觉敏感度生成网络以得到视觉敏感度图，使得所得到的视觉敏感度图可以更为准确的反映人视觉特性，进而可以提高图像质量评价结果的准确性。

[0059] 可选地，所述第一子卷积网络、所述第二子卷积网络、所述第三子卷积网络和所述第四子卷积网络均可以包括串联连接的M个卷积层，M的取值为3、4或5。

[0060] 本实施例中，上述四个子卷积网络均包括M个卷积层，每个卷积层的卷积核大小均可以根据实际需求进行合理设置，例如，每个卷积层的卷积核大小均为3*3。

[0061] 本发明实施例中由于每个子卷积网络均包括M个卷积层，这样通过上述四个子卷积网络分别对第一图像、过曝光区域、欠曝光区域和正常曝光区域进行针对性的特征提取，可以提取到可以更为准确的反映图像曝光特性的细节特征。

[0062] 可选地，所述确定所述第一图像的过曝光区域、欠曝光区域和正常曝光区域，包括：

[0063] 计算所述第一图像的平均强度值和所述第一图像的标准差强度值；

[0064] 根据所述第一图像的平均强度值和所述第一图像的标准差强度值确定用于图像区域划分的第一阈值和第二阈值；其中，所述第一阈值小于所述第二阈值

[0065] 根据所述第一阈值和所述第二阈值确定所述第一图像的过曝光区域、欠曝光区域和正常曝光区域。

[0066] 可选地，若第一图像为RGB图像，可以先将第一图像转换为HSV颜色空间的图像，并基于HSV颜色空间的图像计算平均强度值和标准差强度值。

[0067] 上述第一图像的平均强度值Vm可以基于如下公式计算：

[0068]

[0069] 其中，W表示第一图像的行数或宽度，H表示第一图像的列数或高度。V(i,j)表示第一图像的像素点(i,j)的强度值。

[0070] 上述第一图像的标准差强度值Vs可以基于如下公式计算：

[0071]

[0072] 其中，W表示第一图像的行数或宽度，H表示第一图像的列数或高度。V(i,j)表示第一图像的像素点(i,j)的强度值。需要说明的是，本实施例选择标准差来计算上下阈值，以表示准确的类别统计分布，是因为类别的离散度与标准差成比例。

[0073] 上述第一阈值可以根据第一图像的平均强度值和所述第一图像的标准差强度值计算得到，例如，上述第一阈值可以为第一图像的平均强度值和所述第一图像的标准差强度值之差，也即第一阈值Tu＝Vm‑Vs。上述第二阈值可以根据第一图像的平均强度值和所述第一图像的标准差强度值计算得到，例如，上述第二阈值可以为第一图像的平均强度值和所述第一图像的标准差强度值之和，也即第二阈值Tl＝Vm+Vs。

[0074] 上述根据所述第一阈值和所述第二阈值确定所述第一图像的过曝光区域、欠曝光区域和正常曝光区域，例如，可以分别将第一图像的各个像素点的强度值分别与上述第一阈值和第二阈值进行比较，并将强度值小于第一阈值的像素点划分为欠曝光区域的像素点，将强度值大于或等于第一阈值且小于第二阈值的像素点划分为正常曝光区域的像素点，将强度值大于或等于第二阈值的像素点划分为过曝光区域的像素点，进而可以得到第一图像的过曝光区域、欠曝光区域和正常曝光区域。

[0075] 需要说明的是，在得到的第一图像的过曝光区域、欠曝光区域和正常曝光区域为不规则图像区域的情况下，可以对第一图像的过曝光区域、欠曝光区域和正常曝光区域进行边缘检测(例如，使用canny算子进行边缘检测)以提取第一图像的过曝光区域、欠曝光区域和正常曝光区域，并可以利用形态学图像处理算法(例如，膨胀与腐蚀等)将第一图像的过曝光区域、欠曝光区域和正常曝光区域中不规则图像区域转变成规则图像区域，以便后续深度学习的特征提取。

[0076] 本发明实施例根据所述第一图像的平均强度值和所述第一图像的标准差强度值确定用于图像曝光区域划分的上下阈值，不但实现较为简单，而且由于标准差强度值可以较为准确地表示曝光类别的统计分布，因此还可以提高图像曝光区域划分的准确性。

[0077] 可选地，所述第一阈值为所述第一图像的平均强度值和所述第一图像的标准差强度值之差，所述第二阈值为所述第一图像的平均强度值和所述第一图像的标准差强度值之和；

[0078] 所述根据所述第一阈值和所述第二阈值确定所述第一图像的过曝光区域、欠曝光区域和正常曝光区域，包括：

[0079] 按照目标大小对所述第一图像进行分块，得到P个图像块，P为大于1的整数；

[0080] 分别计算所述P个图像块中每个图像块的平均强度值；

[0081] 分别将每个所述图像块的平均强度值与所述第一阈值和所述第二阈值进行比较，以确定每个所述图像块所属的区域；其中，在第一图像块的平均强度值小于所述第一阈值的情况下确定所述第一图像块属于欠曝光区域，在所述第一图像块的平均强度值大于或等于所述第一阈值且小于所述第二阈值的情况下确定所述第一图像块属于正常曝光区域，在所述第一图像块的平均强度值大于或等于所述第二阈值的情况下确定所述第一图像块属于过曝光区域，所述第一图像块为所述P个图像块中的任意图像块；

[0082] 根据每个所述图像块所属的区域确定所述第一图像的过曝光区域、欠曝光区域和正常曝光区域。

[0083] 本实施例中，上述目标大小可以是预设的大小，例如，16*16；也可以是根据第一图像的大小确定的图像大小，例如，上述目标大小的宽度和高度可以分别为第一图像的宽度和高度的四分之一或者八分之一等。例如，第一图像为32*32的人脸图像，上述目标大小可以为16*16或者8*8等。可以理解的是，上述目标大小可以根据实际需求进行合理设置。

[0084] 上述第一阈值为第一图像的平均强度值和所述第一图像的标准差强度值之差，也即第一阈值Tu＝Vm‑Vs。上述第二阈值为第一图像的平均强度值和所述第一图像的标准差强度值之和，也即第二阈值Tl＝Vm+Vs。上述第一图像块可以是P个图像块中的任意图像块，也就是说P个图像块中的每个图像块均可以基于上述第一图像块相同的确定方式确定每个图像块所属的区域。

[0085] 上述每个图像块的平均强度值I可以基于如下公式计算：

[0086]

[0087] 其中，w表示图像块的行数或宽度，h表示图像块的列数或高度。V(i,j)表示图像块的像素点(i,j)的强度值。

[0088] 上述每个图像块所属的区域可以基于如下公式确定：

[0089]

[0090] 其中，Ilow表示该图像块属于欠曝光区域，Imid表示该图像块属于正常曝光区域，Iover表示该图像块属于过曝光区域，Tl表示第一阈值，Tu表示第二阈值。在判断所有图像块所属的区域之后，可以得到第一图像的欠曝光区域、正常曝光区域和过曝光区域。

[0091] 本实施例通过对第一图像进行分块，并基于各个图像块的平均强度值与第一阈值和第二阈值的比较结果对第一图像进行图像曝光区域划分，相比于基于第一图像的各个像素点的强度值与第一阈值和第二阈值的比较结果对第一图像进行图像曝光区域划分，可以在保证图像曝光区域划分的准确性的同时，降低图像曝光区域划分的实现难度。

[0092] 可选地，所述分别将每个所述图像块的平均强度值与所述第一阈值和所述第二阈值进行比较，以确定每个所述图像块所属的区域之前，所述方法还包括：

[0093] 分别计算所述P个图像块中每个图像块的熵值和对比度值；

[0094] 根据所述P个图像块的熵值确定第三阈值，并根据所述P个图像块的对比度值确定第四阈值，其中，所述第三阈值为所述P个图像块的熵值的平均值，所述第四阈值为所述P个图像块的对比度的平均值；

[0095] 其中，在所述第一图像块的熵值小于所述第三阈值或所述第一图像块的对比度值小于所述第四阈值中的至少一项的情况下，将所述第一图像块的平均强度值与所述第一阈值和所述第二阈值进行比较，以确定所述第一图像块所属的区域，在所述第一图像块的熵值高于所述第三阈值且所述第一图像块的对比度值高于所述第四阈值的情况下，确定所述第一图像块属于正常曝光区域。

[0096] 本实施例中，熵可以度量图像的细节信息，若图像的熵值较大，则表明当前图像的细节信息较多，若熵值较小，则表明当前图像的细节信息较少。对比度可以是指一个区域与其周围区域之间的亮度差异，在图像处理中，对比度表示一个区域的灰度等级划分，高对比度值表示灰度动态范围大，对比度显著。

[0097] 具体地，可以计算P个图像块中每个图像块的熵值，并将所有图像块的熵值的平均值作为第三阈值，并可以计算P个图像块中每个图像块的对比度值，并将所有图像块的对比度值的平均值作为第四阈值。这样可以分别将每个图像块的熵值与第三阈值比较，并将每个图像块的对比度值与第四阈值比较。

[0098] 对于每个图像块，若某一图像块的熵值小于第三阈值且图像块的对比度值小于第四阈值，说明在该图像块中检测到的细节较少或没有，检测到的灰度值变化较小或没有，表明熵和对比度在区域确定中没有显著的影响，此时可以基于上述公式一确定该图像块所属的区域。

[0099] 若某一图像块的熵值小于第三阈值且图像块的对比度值大于第四阈值，说明在该图像块中检测到的细节较少或没有，检测到的灰度值变化较大，虽然对比度很高，但没有明显的检测到细节，因此该图像块不能归类为曝光良好，在该种情况下可以基于上述公式一确定该图像块所属的区域。

[0100] 若某一图像块的熵值大于第三阈值且图像块的对比度值小于第四阈值，说明在该图像块中检测到的细节较多，检测到的灰度值变化较小或没有，虽然可以观察到一个区域的细节，但对比度很低，因此不能被认为是曝光良好的区域，因此该图像块也不能归类为曝光良好，在该种情况下也可以基于上述公式一确定该图像块所属的区域。

[0101] 若某一图像块的熵值大于第三阈值且图像块的对比度值大于第四阈值，说明在该图像块中检测到的细节较多，检测到的灰度值变化较大，因此该图像块可以被认为是曝光良好的区域，也即该图像块属于曝光正常区域。

[0102] 实际应用中，在图像采集过程中，由于不适当的环境光照和不适当的采集设备设置等因素，会产生不均匀的光照区域。将具有相同增强概念的对比度增强方法应用于整幅图像，可以对不均匀光照的图像进行过增强。因此，对于非均匀照度图像的不同区域，应采用不同的、具体的增强概念。这一概念需要对这些不同区域进行识别，且不同区域以及不同光照对于整体图像质量的影响不同，对预测结果的最终贡献权重不同，因此有必要对图像中的三个曝光区域进行分别处理，提取其各自的感知质量特征。然而，现有的曝光区域检测的方法都只能检测到两个不同的区域，即过曝光区域和欠曝光区域，且只考虑强度参数来确定曝光区域，不能充分反映真实的曝光条件。由于不同的照度不仅会影响图像亮度，还会影响图像的细节，因此，本发明实施例综合图像块的熵值、对比度值和强度值这三个参数共同对图像块所属的区域进行判断，可以提高判断结果的准确性，进而可以提高曝光区域划分的准确性。

[0103] 可选地，所述视觉敏感度生成网络为unet网络，所述unet网络包括N个下采样网络和N个上采样网络，所述N个下采样网络之间串联连接，所述N个上采样网络之间串联连接；

[0104] 所述N个下采样网络用于对所述第一特征图进行下采样处理以提取所述视觉敏感度特征，所述N个上采样网络用于对所述N个下采样网络输出的特征图进行上采样处理以生成所述视觉敏感度图；

[0105] 所述N个下采样网络中各个下采样网络输出的特征图分别与所述N个上采样网络中各个上采样网络输出的特征图中尺寸相同的特征图进行通道合并，N的取值为3、4或5。

[0106] 本实施例中，每个下采样网络均可以包括卷积层，用于对第一特征图进行卷积处理，以实现特征图的下采样。每个下采样网络均可以包括反卷积层，用于对N个下采样网络输出的特征图进行反卷积处理，以实现特征图的上采样。

[0107] 上述N个下采样网络中各个下采样网络输出的特征图分别与所述N个上采样网络中各个上采样网络输出的特征图中尺寸相同的特征图进行通道合并，也可以称为concat连接或跳跃(Skip)连接。也即上述N个下采样网络输出的N个特征图与N个上采样网络输出的N个特征图之间一一对应地进行通道合并。可以理解的是，上述进行通道合并输出的特征图作为下一层网络的输入。

[0108] 例如，如图2所示，上述N个下采样网络包括依次串联连接的第一下采样网络、第二下采样网络、第三下采样网络和第四下采样网络，上述N个上采样网络包括依次串联连接的第一上采样网络、第二上采样网络、第三上采样网络和第四上采样网络，上述N个下采样网络和上述N个上采样网络经由第四下采样网络与第四上采样网络之间的连接实现连接。其中，第一下采样网络和第一上采样网络输出的特征图的大小相同，第二下采样网络和第二上采样网络输出的特征图的大小相同，第三下采样网络和第三上采样网络输出的特征图的大小相同，第四下采样网络和第四上采样网络输出的特征图的大小相同，则可以将第一下采样网络和第一上采样网络输出的特征图进行cancat连接，并将所得到的特征图作为视觉敏感度图；将第二下采样网络和第二上采样网络输出的特征图进行cancat连接，并将所得到的特征图作为第一上采样网络的输入；将第三下采样网络和第三上采样网络输出的特征图进行cancat连接，并将所得到的特征图作为第二上采样网络的输入；将第四下采样网络和第四上采样网络输出的特征图进行cancat连接，并将所得到的特征图作为第三上采样网络的输入。

[0109] 本实施例中，相同大小的下采样网络输出与上采样网络输出进行concat连接，可以弥补深层抽象特征缺乏浅层具体特征的缺点。

[0110] 可选地，每个所述下采样网络均包括依次串联连接的卷积层、激活层和池化层；每个所述下采样网络均包括依次串联连接的反卷积层和激活层。

[0111] 本实施例中，每个下采样网络均包括一个卷积层、激活层(即Relu)和池化层，激活层位于卷积层之后，池化层位于激活层之后，卷积层可以提取出图像中的低层次特征和高层次特征，激活层的作用是激活处理，在卷积层后面加上非线性激活函数(即激活层)能够更好的模拟人脑对于图像高维信息的提取过程。

[0112] 对于反卷积层，由于卷积层操作会降低特征图的尺度，因此需要反卷积层进行上采样，使得到的视觉敏感度图与视觉敏感度生成网络的输入图像的尺度大小一致，反卷积层后的激活层的作用同上述卷积层后的激活层的作用一致，在此不做赘述。

[0113] 可选地，所述池化网络包括卷积层、批量归一化层、激活层、点乘层和求均值层，所述卷积层用于对所述第三特征图进行卷积处理并输出第四特征图，所述批量归一化层用于对所述第四特征图进行归一化处理并输出第五特征图，所述激活层用于对所述第五特征图进行激活处理并输出第六特征图，所述点乘层用于对所述第六特征图和所述第三特征图中相同通道的特征图进行像素点的点乘并输出第七特征图，所述求均值层用于分别计算所述第七特征图的各个通道的特征的平均值并输出所述第一特征向量，所述第一特征向量的长度与所述第七特征图的通道数相同。

[0114] 本实施例中，上述卷积层的卷积核可以为1*1。上述批量归一化(batchnorm，BN)层可用于加速网络训练，使损失函数快速收敛。上述激活层也可称为激励层，其激活函数可以包括但不限于relu函数。上述点乘层可以用于对所述第六特征图和所述第三特征图中相同通道的特征图进行像素点的点乘，也即分别对所述第六特征图和所述第三特征图中相同通道的特征图中的相同位置的像素点进行相乘，例如，第三特征图和第六特征图均为512*4*4，则可以分别将第三特征图的第一通道的特征图和第六特征图的第一通道的特征图进行逐像素点相乘，将第三特征图的第二通道的特征图和第六特征图的第二通道的特征图进行逐像素点相乘，以此类推，直至完成512个通道的特征图的逐像素点相乘。

[0115] 上述求均值层用于分别计算所述第七特征图的各个通道的特征的平均值并输出所述第一特征向量，例如，第三特征图的通道数为n，相应的第七特征图的通道数也为n，分别将n个通道中每个通道的所有特征进行累加并求均值，得到每个通道的特征均值，n个通道的特征均值形成n元一维特征向量，即上述第一特征向量，这样就可以保证不同输入尺寸的图像最后到达全连接层的特征向量的长度是一致的，且进入全连接层的特征向量长度取决于第三特征图的通道数，解决了全连接层无法适应不同输入尺寸的图像的问题。

[0116] 例如，如图3所示，自适应加权池，也即上述的池化网络，包括卷积层、BN层(即批量归一化层)、Relu层(即激活层)以及点乘和求均值层(包括上述的点乘层和求均值层)，将敏感度特征图输入自适应加权池，该敏感度特征图依次经由自适应加权池的卷积层、BN层和Relu层进行处理，得到敏感度特征图对应的第六特征图，该第六特征图也可以称为空间权重图。将各通道的空间权重图与相应通道的敏感度特征图进行像素点积，并对每一个通道的空间特征进行累计求和并求平均值作为该通道的特征，得到一个与通道数量一致的一维特征向量。

[0117] 本发明实施例中，利用上述卷积层、批量归一化层和激活层学习到所有第三特征图所有通道对应的权重图，也即上述第六特征图，再利用点乘层对第六特征图和第三特征图中相同通道的特征图进行像素点的点乘，再利用求均值层分别计算第七特征图的各个通道的特征的平均值并输出第一特征向量，不仅可以满足全连接层对于输出尺寸的要求，还能满足特征图空间加权的作用，使其通道中所有特征点对于最终得到的特征都具有一定的贡献。此外，相比于现有的全局平均池化层、空间金字塔池化层等，不仅实现较为简单，还可以减少特征信息的丢失，进而可以提高图像质量评价结果的准确性。

[0118] 以下以第一图像为人脸图像为例，结合图4对本发明实施例进行说明：

[0119] 如图4所示，对人脸图像进行预处理，得到人脸图像的过曝光区域、正常曝光区域和欠曝光区域，对于人脸图像、过曝光区域、正常曝光区域和欠曝光区域，分别利用3个卷积层进行卷积处理，其中，每个卷积层的卷积核大小均可以为3*3，将四个通道所得到的特征图进行通道合并，即concat连接，并将其输入视觉敏感度生成网络中得到人脸图像所对应的视觉敏感度图11。

[0120] 人脸图像输入Resnet18网络进行特征提取，得到第二特征图12。利用视觉敏感度图11对第二特征图12进行空间敏感度加权，也即点乘，突出其空间重要性，得到上述的第三特征图13，该第三特征图也可以称为敏感度特征图。将敏感度特征图输入池化网络，也可以称为自适应加权池，该敏感度特征图依次经由自适应加权池的卷积层、BN层(即批量归一化层)和Relu层(即激活层)进行处理，得到敏感度特征图对应的第六特征图，该第六特征图也可以称为空间权重图。将各通道的空间权重图与相应通道的敏感度特征图进行像素点积，并对每一个通道的空间特征进行累计求和并求平均值作为该通道的特征，得到一个与通道数量一致的一维特征向量，将其输入全连接层进行质量回归得到最终的预测图像质量分数，也即上述的图像质量评价结果，该预测图像质量分数可以反映人脸图像的质量。

[0121] 本发明实施例通过四个支路分别提取不同曝光区域(即人脸图像、过曝光区域、正常曝光区域和欠曝光区域)的特征，使得所提取的不同曝光区域的特征之间可以相互补充，这样基于所提取的不同曝光区域的特征来生成视觉敏感度图，可以使得到的敏感度图更能反映人类视觉系统的注意力机制，进而可以针对不同光照，不同失真类型的人脸图像进行准确的评价。此外，本发明实施例针对全连接层不能适应不同输入尺寸的问题，结合空间权重的想法对其进行加权平均，最后得到与通道数量相一致的全连接层的输入向量，且该操作可以很好地弥补全局平均池化等对于大尺寸特征图的处理会丢失相关细节信息的缺陷。此外，本发明实施例提供的图像质量评价方法不仅可以对人脸光照图像进行筛选，还可以对采集设备等的调参具有很好的指导作用。

[0122] 本发明实施例还提供一种模型训练方法，上述任一图像质量评价方法实施例提供的图像质量评价模型可以是基于本发明实施例提供的模型训练方法训练得到。

[0123] 参见图5，图5是本发明实施例提供的模型训练方法的流程图，如图5所示，包括以下步骤：

[0124] 步骤501、获取S个图像样本和每个所述图像样本的标注参数，其中，S为大于1的整数，所述标注参数用于指示所述图像样本的图像质量分数。

[0125] 本实施例中，上述S个图像样本可以包括不同质量的图像，例如，不同光照强度(均匀和非均匀)、不同失真类型以及针对同一失真类型不同失真强度的图像等。上述S的值可以根据实际需求进行合理设置。为了保证所训练的图像质量评价模型的准确性，S的取值往往较大，例如，5000、10000或50000等。每个图像样本的标注参数用于指示该图像样本的图像质量分数，例如，图像质量分数取值范围为[0,1]，在图像质量分数大于或等于预设值(例如，0.7或0.8等)的情况下表示图像光照正常，在图像质量分数小于预设值的情况下表示图像光照不正常。

[0126] 步骤502、根据所述S个图像样本中每个图像样本和每个所述图像样本的标注参数训练图像质量评价模型；

[0127] 其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述图像样本进行特征提取并输出第一特征图，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述图像样本进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出预测的图像质量分数。

[0128] 本实施例中，上述图像质量评价模型的具体内容可以参见前述图像质量评价方法实施例中的相关描述，为避免重复，在此不做赘述。

[0129] 上述图像质量评价模型训练所采用的损失函数可以是均方误差损失函数。具体地，本实施例可以在损失函数最小化或达到设定的训练步数时停止训练，例如，可以在图像样本的预测图像质量分数和该图像样本标注的图像质量分数的均方误差值达到最小化的情况下停止训练。此外，可选地，在上述图像质量评价模型训练过程中可以使用Adam优化器进行优化。

[0130] 本发明实施例通过获取S个图像样本和每个所述图像样本的标注参数，其中，S为大于1的整数，所述标注参数用于指示所述图像样本的图像质量分数；根据所述S个图像样本中每个图像样本和每个所述图像样本的标注参数训练图像质量评价模型；其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述图像样本进行特征提取并输出第一特征图，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述图像样本进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出预测的图像质量分数。这样所训练得到的图像质量评价模型可以较为准确地对图像质量进行评价。

[0131] 可选地，所述根据所述S个图像样本中每个图像样本和每个所述图像样本的标注参数训练图像质量评价模型，包括：

[0132] 分别确定每个所述图像样本的过曝光区域、欠曝光区域和正常曝光区域；

[0133] 根据每个所述图像样本、每个所述图像样本的过曝光区域、每个所述图像样本的欠曝光区域、每个所述图像样本的正常曝光区域以及每个所述图像样本的标注参数，训练图像质量评价模型；

[0134] 其中，所述卷积网络包括第一子卷积网络、第二子卷积网络、第三子卷积网络和第四子卷积网络；所述第一子卷积网络用于对所述图像样本进行多维度特征提取并输出第一子特征图，所述第二子卷积网络用于对所述过曝光区域进行高频细节特征提取并输出第二子特征图，所述第三子卷积网络用于对所述欠曝光区域进行强度特征提取并输出第三子特征图，所述第四子卷积网络用于对所述正常曝光区域进行低频轮廓特征提取并输出第四子特征图，所述第一特征图为所述第一子特征图、所述第二子特征图、所述第三子特征图和所述第四子特征图进行通道合并所得到的特征图。

[0135] 可以理解的是，该实施方式的实现方式可以参见上述图像质量评价方法实施例的相关说明，此处不作赘述。

[0136] 本发明实施例根据每个所述图像样本、每个所述图像样本的过曝光区域、每个所述图像样本的欠曝光区域、每个所述图像样本的正常曝光区域以及每个所述图像样本的标注参数，训练图像质量评价模型，可以进一步提高所训练得到的图像质量评价模型进行图像质量评价的准确性。

[0137] 可选地，确定所述图像样本的过曝光区域、欠曝光区域和正常曝光区域，包括：

[0138] 计算所述图像样本的平均强度值和所述图像样本的标准差强度值；

[0139] 根据所述图像样本的平均强度值和所述图像样本的标准差强度值确定用于图像区域划分的第一阈值和第二阈值；其中，所述第一阈值小于所述第二阈值

[0140] 根据所述第一阈值和所述第二阈值确定所述图像样本的过曝光区域、欠曝光区域和正常曝光区域。

[0141] 可以理解的是，该实施方式的实现方式可以参见上述图像质量评价方法实施例的相关说明，此处不作赘述。

[0142] 可选地，所述第一阈值为所述图像样本的平均强度值和所述图像样本的标准差强度值之差，所述第二阈值为所述图像样本的平均强度值和所述图像样本的标准差强度值之和；

[0143] 所述根据所述第一阈值和所述第二阈值确定所述图像样本的过曝光区域、欠曝光区域和正常曝光区域，包括：

[0144] 按照目标大小对所述图像样本进行分块，得到P个图像块，P为大于1的整数；

[0145] 分别计算所述P个图像块中每个图像块的平均强度值；

[0146] 分别将每个所述图像块的平均强度值与所述第一阈值和所述第二阈值进行比较，以确定每个所述图像块所属的区域；其中，在第一图像块的平均强度值小于所述第一阈值的情况下确定所述第一图像块属于欠曝光区域，在所述第一图像块的平均强度值大于或等于所述第一阈值且小于所述第二阈值的情况下确定所述第一图像块属于正常曝光区域，在所述第一图像块的平均强度值大于或等于所述第二阈值的情况下确定所述第一图像块属于过曝光区域，所述第一图像块为所述P个图像块中的任意图像块；

[0147] 根据每个所述图像块所属的区域确定所述图像样本的过曝光区域、欠曝光区域和正常曝光区域。

[0148] 可以理解的是，该实施方式的实现方式可以参见上述图像质量评价实施例的相关说明，此处不作赘述。

[0149] 可选地，所述分别将每个所述图像块的平均强度值与所述第一阈值和所述第二阈值进行比较，以确定每个所述图像块所属的区域之前，所述方法还包括：

[0150] 分别计算所述P个图像块中每个图像块的熵值和对比度值；

[0151] 根据所述P个图像块的熵值确定第三阈值，并根据所述P个图像块的对比度值确定第四阈值，其中，所述第三阈值为所述P个图像块的熵值的平均值，所述第四阈值为所述P个图像块的对比度的平均值；

[0152] 其中，在所述第一图像块的熵值小于所述第三阈值或所述第一图像块的对比度值小于所述第四阈值中的至少一项的情况下，将所述第一图像块的平均强度值与所述第一阈值和所述第二阈值进行比较，以确定所述第一图像块所属的区域，在所述第一图像块的熵值高于所述第三阈值且所述第一图像块的对比度值高于所述第四阈值的情况下，确定所述第一图像块属于正常曝光区域。

[0153] 可以理解的是，该实施方式的实现方式可以参见上述图像质量评价方法实施例的相关说明，此处不作赘述。

[0154] 可选地，所述第一子卷积网络、所述第二子卷积网络、所述第三子卷积网络和所述第四子卷积网络均包括串联连接的M个卷积层，M的取值为3、4或5。

[0155] 可以理解的是，该实施方式的实现方式可以参见上述图像质量评价方法实施例的相关说明，此处不作赘述。

[0156] 可选地，所述视觉敏感度生成网络为unet网络，所述unet网络包括N个下采样网络和N个上采样网络，所述N个下采样网络之间串联连接，所述N个上采样网络之间串联连接；

[0157] 所述N个下采样网络用于对所述第一特征图进行下采样处理以提取所述视觉敏感度特征，所述N个上采样网络用于对所述N个下采样网络输出的特征图进行上采样处理以生成所述视觉敏感度图；

[0158] 所述N个下采样网络中各个下采样网络输出的特征图分别与所述N个上采样网络中各个上采样网络输出的特征图中尺寸相同的特征图进行通道合并，N的取值为3、4或5。

[0159] 可以理解的是，该实施方式的实现方式可以参见上述图像质量评价方法实施例的相关说明，此处不作赘述。

[0160] 可选地，每个所述下采样网络均包括依次串联连接的卷积层、激活层和池化层；每个所述下采样网络均包括依次串联连接的反卷积层和激活层。

[0161] 可以理解的是，该实施方式的实现方式可以参见上述图像质量评价方法实施例的相关说明，此处不作赘述。

[0162] 可选地，所述池化网络包括卷积层、批量归一化层、激活层、点乘层和求均值层，所述卷积层用于对所述第三特征图进行卷积处理并输出第三特征图，所述批量归一化层用于对所述第三特征图进行归一化处理并输出第四特征图，所述激活层用于对所述第四特征图进行激活处理并输出第五特征图，所述点乘层用于将所述第五特征图和所述第三特征图进行像素的点乘并输出第六特征图，所述求均值层用于分别计算所述第六特征图的各个通道的特征的平均值并输出所述第一特征向量，所述第一特征向量的长度与所述第六特征图的通道数相同。

[0163] 可以理解的是，该实施方式的实现方式可以参见上述图像质量评价方法实施例的相关说明，此处不作赘述。

[0164] 参见图6，图6是本发明实施例提供的图像质量评价装置的结构图。如图6所示，图像质量评价装置600包括：

[0165] 第一获取模块601，用于获取待评价的第一图像；

[0166] 评价模块602，用于根据预先训练的图像质量评价模型对所述第一图像进行图像质量评价，得到图像质量评价结果；

[0167] 其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述第一图像进行特征提取并输出第一特征图，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述第一图像进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出所述图像质量评价结果。

[0168] 可选地，所述装置还包括：

[0169] 第一确定模块，用于所述获取待评价的第一图像之后，确定所述第一图像的过曝光区域、欠曝光区域和正常曝光区域；

[0170] 所述评价模块具体用于：

[0171] 将所述第一图像、所述过曝光区域、所述欠曝光区域和所述正常曝光区域输入预先训练的图像质量评价模型，得到图像质量评价结果；

[0172] 其中，所述卷积网络包括第一子卷积网络、第二子卷积网络、第三子卷积网络和第四子卷积网络；所述第一子卷积网络用于对所述第一图像进行多维度特征提取并输出第一子特征图，所述第二子卷积网络用于对所述过曝光区域进行高频细节特征提取并输出第二子特征图，所述第三子卷积网络用于对所述欠曝光区域进行强度特征提取并输出第三子特征图，所述第四子卷积网络用于对所述正常曝光区域进行低频轮廓特征提取并输出第四子特征图，所述第一特征图为所述第一子特征图、所述第二子特征图、所述第三子特征图和所述第四子特征图进行通道合并所得到的特征图。

[0173] 可选地，所述第一确定模块，包括：

[0174] 第一计算单元，用于计算所述第一图像的平均强度值和所述第一图像的标准差强度值；

[0175] 第一确定单元，用于根据所述第一图像的平均强度值和所述第一图像的标准差强度值确定用于图像区域划分的第一阈值和第二阈值；其中，所述第一阈值小于所述第二阈值

[0176] 第二确定单元，用于根据所述第一阈值和所述第二阈值确定所述第一图像的过曝光区域、欠曝光区域和正常曝光区域。

[0177] 可选地，所述第一阈值为所述第一图像的平均强度值和所述第一图像的标准差强度值之差，所述第二阈值为所述第一图像的平均强度值和所述第一图像的标准差强度值之和；

[0178] 所述第二确定单元具体用于：

[0179] 按照目标大小对所述第一图像进行分块，得到P个图像块，P为大于1的整数；

[0180] 分别计算所述P个图像块中每个图像块的平均强度值；

[0181] 分别将每个所述图像块的平均强度值与所述第一阈值和所述第二阈值进行比较，以确定每个所述图像块所属的区域；其中，在第一图像块的平均强度值小于所述第一阈值的情况下确定所述第一图像块属于欠曝光区域，在所述第一图像块的平均强度值大于或等于所述第一阈值且小于所述第二阈值的情况下确定所述第一图像块属于正常曝光区域，在所述第一图像块的平均强度值大于或等于所述第二阈值的情况下确定所述第一图像块属于过曝光区域，所述第一图像块为所述P个图像块中的任意图像块；

[0182] 根据每个所述图像块所属的区域确定所述第一图像的过曝光区域、欠曝光区域和正常曝光区域。

[0183] 可选地，所述装置还包括：

[0184] 第一计算模块，用于所述分别将每个所述图像块的平均强度值与所述第一阈值和所述第二阈值进行比较，以确定每个所述图像块所属的区域之前，分别计算所述P个图像块中每个图像块的熵值和对比度值；

[0185] 第二确定模块，用于根据所述P个图像块的熵值确定第三阈值，并根据所述P个图像块的对比度值确定第四阈值，其中，所述第三阈值为所述P个图像块的熵值的平均值，所述第四阈值为所述P个图像块的对比度的平均值；

[0186] 其中，在所述第一图像块的熵值小于所述第三阈值或所述第一图像块的对比度值小于所述第四阈值中的至少一项的情况下，将所述第一图像块的平均强度值与所述第一阈值和所述第二阈值进行比较，以确定所述第一图像块所属的区域，在所述第一图像块的熵值高于所述第三阈值且所述第一图像块的对比度值高于所述第四阈值的情况下，确定所述第一图像块属于正常曝光区域。

[0187] 可选地，所述第一子卷积网络、所述第二子卷积网络、所述第三子卷积网络和所述第四子卷积网络均包括串联连接的M个卷积层，M的取值为3、4或5。

[0188] 可选地，所述视觉敏感度生成网络为unet网络，所述unet网络包括N个下采样网络和N个上采样网络，所述N个下采样网络之间串联连接，所述N个上采样网络之间串联连接；

[0189] 所述N个下采样网络用于对所述第一特征图进行下采样处理以提取所述视觉敏感度特征，所述N个上采样网络用于对所述N个下采样网络输出的特征图进行上采样处理以生成所述视觉敏感度图；

[0190] 所述N个下采样网络中各个下采样网络输出的特征图分别与所述N个上采样网络中各个上采样网络输出的特征图中尺寸相同的特征图进行通道合并，N的取值为3、4或5。

[0191] 可选地，每个所述下采样网络均包括依次串联连接的卷积层、激活层和池化层；每个所述下采样网络均包括依次串联连接的反卷积层和激活层。

[0192] 可选地，所述池化网络包括卷积层、批量归一化层、激活层、点乘层和求均值层，所述卷积层用于对所述第三特征图进行卷积处理并输出第四特征图，所述批量归一化层用于对所述第四特征图进行归一化处理并输出第五特征图，所述激活层用于对所述第五特征图进行激活处理并输出第六特征图，所述点乘层用于对所述第六特征图和所述第三特征图中相同通道的特征图进行像素点的点乘并输出第七特征图，所述求均值层用于分别计算所述第七特征图的各个通道的特征的平均值并输出所述第一特征向量，所述第一特征向量的长度与所述第七特征图的通道数相同。

[0193] 本发明实施例提供的图像质量评价装置600能够实现上述图像质量评价方法实施例中的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。

[0194] 参见图7，图7是本发明实施例提供的模型训练装置的结构图。如图7所示，模型训练装置700包括：

[0195] 第二获取模块701，用于获取S个图像样本和每个所述图像样本的标注参数，其中，S为大于1的整数，所述标注参数用于指示所述图像样本的图像质量分数；

[0196] 训练模块702，用于根据所述S个图像样本中每个图像样本和每个所述图像样本的标注参数训练图像质量评价模型；

[0197] 其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述图像样本进行特征提取并输出第一特征图，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述图像样本进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出预测的图像质量分数。

[0198] 可选地，所述训练模块具体用于：

[0199] 分别确定每个所述图像样本的过曝光区域、欠曝光区域和正常曝光区域；

[0200] 根据每个所述图像样本、每个所述图像样本的过曝光区域、每个所述图像样本的欠曝光区域、每个所述图像样本的正常曝光区域以及每个所述图像样本的标注参数，训练图像质量评价模型；

[0201] 其中，所述卷积网络包括第一子卷积网络、第二子卷积网络、第三子卷积网络和第四子卷积网络；所述第一子卷积网络用于对所述图像样本进行多维度特征提取并输出第一子特征图，所述第二子卷积网络用于对所述过曝光区域进行高频细节特征提取并输出第二子特征图，所述第三子卷积网络用于对所述欠曝光区域进行强度特征提取并输出第三子特征图，所述第四子卷积网络用于对所述正常曝光区域进行低频轮廓特征提取并输出第四子特征图，所述第一特征图为所述第一子特征图、所述第二子特征图、所述第三子特征图和所述第四子特征图进行通道合并所得到的特征图。

[0202] 可选地，所述池化网络包括卷积层、批量归一化层、激活层、点乘层和求均值层，所述卷积层用于对所述第三特征图进行卷积处理并输出第三特征图，所述批量归一化层用于对所述第三特征图进行归一化处理并输出第四特征图，所述激活层用于对所述第四特征图进行激活处理并输出第五特征图，所述点乘层用于将所述第五特征图和所述第三特征图进行像素的点乘并输出第六特征图，所述求均值层用于分别计算所述第六特征图的各个通道的特征的平均值并输出所述第一特征向量，所述第一特征向量的长度与所述第六特征图的通道数相同。

[0203] 本发明实施例提供的模型训练装置700能够实现上述模型训练方法实施例中的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。

[0204] 参见图8，图8是本发明又一实施提供的图像质量评价装置的结构图，如图8所示，图像质量评价装置800包括：处理器801、存储器802及存储在所述存储器802上并可在所述处理器上运行的计算机程序，图像质量评价装置800中的各个组件通过总线接口803耦合在一起，所述计算机程序被所述处理器801执行时实现如下步骤：

[0205] 获取待评价的第一图像；

[0206] 根据预先训练的图像质量评价模型对所述第一图像进行图像质量评价，得到图像质量评价结果；

[0207] 其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述第一图像进行特征提取并输出第一特征图，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述第一图像进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出所述图像质量评价结果。

[0208] 应理解的是，本发明实施例中，所述计算机程序被处理器801执行时能够实现上述图像质量评价方法实施例中的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。

[0209] 参见图9，图9是本发明又一实施提供的模型训练装置的结构图，如图9所示，模型训练装置900包括：处理器901、存储器902及存储在所述存储器902上并可在所述处理器上运行的计算机程序，模型训练装置900中的各个组件通过总线接口903耦合在一起，所述计算机程序被所述处理器901执行时实现如下步骤：

[0210] 获取S个图像样本和每个所述图像样本的标注参数，其中，S为大于1的整数，所述标注参数用于指示所述图像样本的图像质量分数；

[0211] 根据所述S个图像样本中每个图像样本和每个所述图像样本的标注参数训练图像质量评价模型；

[0212] 其中，所述图像质量评价模型包括卷积网络、视觉敏感度生成网络、残差网络、加权层、池化网络和全连接层，所述卷积网络用于基于所述图像样本进行特征提取并输出第一特征图，所述视觉敏感度生成网络用于对所述第一特征图进行视觉敏感度特征提取并基于所提取的视觉敏感度特征生成视觉敏感度图，所述残差网络用于对所述图像样本进行特征提取并输出第二特征图，所述加权层用于将所述第二特征图和所述视觉敏感度图进行加权并输出第三特征图，所述池化网络用于对所述第三特征图进行池化处理以输出与所述全连接层匹配的第一特征向量，所述全连接层用于基于所述第一特征向量输出预测的图像质量分数。

[0213] 应理解的是，本发明实施例中，所述计算机程序被处理器901执行时能够实现上述模型训练方法实施例中的各个过程，并能达到相同的技术效果，为避免重复，这里不再赘述。

[0214] 本发明实施例还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述图像质量评价方法实施例的各个过程，或者实现上述模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

[0215] 本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像质量评价方法实施例的各个过程，或者实现上述模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read‑Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

[0216] 需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

[0217] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

[0218] 上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。