一种基于深度神经网络的图像质量检测方法及装置

摘要

本发明公开了一种基于深度神经网络的图像质量检测方法及装置，属于图像处理技术领域。所述方法包括：对各图像分别进行整体质量及局部质量的标定后作为样本，得到样本库；在优化的深度神经网络中对样本库进行分层训练，得到整体质量检测模型和局部质量检测模型，对整体质量检测模型和局部质量检测模型进行融合，得到图像质量检测模型；采用图像质量检测模型，对输入图像进行整体质量检测和局部质量检测后，得到图像质量。本发明中训练出的图像质量检测模型不仅具有现有的客观检测方法的优点，同时能够反应出人的主观评价，并且在使用该模型进行图像质量检测时，综合了图像的整体质量及局部质量后得到图像质量，使得检测的结果更具准确性。

权利要求

1.一种基于深度神经网络的图像质量检测方法，其特征在于，包括：对各图像分别进行整体质量及局部质量的标定后作为样本，得到样本库；

所述得到样本库，具体包括：

计算各图像的峰值信噪比，根据所述峰值信噪比及肉眼的主观感受，对各图像进行图像级的整体质量标定；

将各图像划分为预设大小的多个块，结合标定的对应图像的整体质量，对各块进行像素级的局部质量标定；

将各图像与对应的整体质量及局部质量作为样本，得到样本库；

在优化的深度神经网络中对所述样本库进行分层训练，得到整体质量检测模型和局部质量检测模型，对所述整体质量检测模型和所述局部质量检测模型进行融合，得到图像质量检测模型；

所述得到图像质量检测模型，具体包括：

将所述样本库输入优化的深度神经网络，并在所述优化的深度神经网络中对所述样本库中的各图像划分为所述预设大小的多个块；

将所述样本库中的各图像与对应的各整体质量置于所述优化的深度神经网络的一个分支中进行训练，得到整体质量检测模型；将划分的各块与所述样本库中的各局部质量置于所述优化的深度神经网络的另一个分支中并结合反卷积操作进行训练，得到局部质量检测模型；

将所述整体质量检测模型与所述局部质量检测模型顺序拼接，得到图像质量检测模型；

采用所述图像质量检测模型，对输入图像进行整体质量检测和局部质量检测后，得到图像质量。

2.根据权利要求1所述的方法，其特征在于，所述采用所述图像质量检测模型，对输入图像进行整体质量检测和局部质量检测后，得到图像质量，具体包括：采用所述图像质量检测模型，对输入图像进行整体质量检测和局部质量检测得到整体质量和局部质量，对所述整体质量和所述局部质量进行加权得到图像质量。

3.根据权利要求1所述的方法，其特征在于，所述对各图像分别进行整体质量及局部质量的标定后作为样本，得到样本库之前，还包括：将各图像调整为预设像素的图像；

所述采用所述图像质量检测模型，对输入图像进行整体质量检测和局部质量检测之前，还包括：将输入图像调整为所述预设像素的图像。

4.一种基于深度神经网络的图像质量检测装置，其特征在于，包括：标定模块，用于对各图像分别进行整体质量及局部质量的标定后作为样本，得到样本库；

所述标定模块，具体包括：第一标定子模块、第二标定子模块和作为子模块；

所述第一标定子模块，用于计算各图像的峰值信噪比，根据所述峰值信噪比及肉眼的主观感受，对各图像进行图像级的整体质量标定；

所述第二标定子模块，用于将各图像划分为预设大小的多个块，结合所述第一标定子模块标定的对应图像的整体质量，对各块进行像素级的局部质量标定；

所述作为子模块，用于将各图像与对应的所述第一标定子模块标定的整体质量及所述第二标定子模块标定的局部质量作为样本，得到样本库；

训练模块，用于在优化的深度神经网络中对所述标定模块得到的样本库进行分层训练，得到整体质量检测模型和局部质量检测模型；

所述训练模块，具体包括：输入子模块、划分子模块和训练子模块；

所述输入子模块，用于将所述标定模块得到的样本库输入优化的深度神经网络；

所述划分子模块，用于在所述优化的深度神经网络中对所述输入子模块输入的样本库中的各图像划分为所述预设大小的多个块；

所述训练子模块，用于将所述输入子模块输入的样本库中的各图像与对应的各整体质量置于所述优化的深度神经网络的一个分支中进行训练，得到整体质量检测模型；将所述划分子模块划分的各块与所述输入子模块输入的样本库中的各局部质量置于所述优化的深度神经网络的另一个分支中并结合反卷积操作进行训练，得到局部质量检测模型；

融合模块，用于对所述训练模块得到的整体质量检测模型和局部质量检测模型进行融合，得到图像质量检测模型；其中，所述融合模块具体用于：将所述训练子模块得到的整体质量检测模型与局部质量检测模型顺序拼接，得到图像质量检测模型；

检测模块，用于采用所述融合模块得到的图像质量检测模型，对输入图像进行整体质量检测和局部质量检测后，得到图像质量。

5.根据权利要求4所述的装置，其特征在于，所述检测模块，具体用于：采用所述融合模块得到的图像质量检测模型，对输入图像进行整体质量检测和局部质量检测得到整体质量和局部质量，对所述整体质量和所述局部质量进行加权得到图像质量。

6.根据权利要求4所述的装置，其特征在于，还包括：第一调整模块和第二调整模块；

所述第一调整模块，用于将各图像调整为预设像素的图像；

所述标定模块具体用于：对所述第一调整模块调整后的各图像进行整体质量及局部质量的标定后作为样本，得到样本库；

所述第二调整模块，用于将输入图像调整为所述预设像素的图像；

所述检测模块具体用于：采用所述融合模块得到的图像质量检测模型，对所述第二调整模块调整后的输入图像进行整体质量检测和局部质量检测后，得到图像质量。

说明书

一种基于深度神经网络的图像质量检测方法及装置

技术领域

[0001] 本发明涉及图像处理技术领域，尤其涉及一种基于深度神经网络的图像质量检测方法及装置。

背景技术

[0002] 随着电子技术的发展以及相机的普及，图像已成为重要的传达信息的媒介。通常地，人是图像优劣的最终接收者和评判者，随着人们对图像感官要求的越来越高，对图像的质量也提出了更高要求，因此，对图像质量的检测也变得越来越重要。

[0003] 目前，图像质量检测的方法可分为主观检测和客观检测两类，其中，主观检测对人的图像观察能力要求很高，而且劳动强度大、费时，且受观察者背景知识、观测动机和观测环境等因素的影响，结果稳定性差，可移植性也不好；客观检测则是利用客观的数学检测模型进行图像质量的检测，与主观评价相比，具有速度快、费用低和可嵌入等优点，因此是比较实用和常用的方法。然而全完使用客观检测方法而脱离人眼对图像的感知所确定的高质量图片，在观察者使用图像时可能会与其预期存在偏差，并且现有的客观检测方法通常仅仅是对图像的整体质量进行检测，而忽略了图像局部的质量。

发明内容

[0004] 为解决现有技术的不足，本发明提供一种基于深度神经网络的图像质量检测方法及装置。

[0005] 一方面，本发明提供一种基于深度神经网络的图像质量检测方法，包括：

[0006] 对各图像分别进行整体质量及局部质量的标定后作为样本，得到样本库；

[0007] 在优化的深度神经网络中对所述样本库进行分层训练，得到整体质量检测模型和局部质量检测模型，对所述整体质量检测模型和所述局部质量检测模型进行融合，得到图像质量检测模型；

[0008] 采用所述图像质量检测模型，对输入图像进行整体质量检测和局部质量检测后，得到图像质量。

[0009] 可选地，所述对各图像分别进行整体质量及局部质量的标定后作为样本，得到样本库，具体包括：

[0010] 计算各图像的峰值信噪比，根据所述峰值信噪比及肉眼的主观感受，对各图像进行图像级的整体质量标定；

[0011] 将各图像划分为预设大小的多个块，结合标定的对应图像的整体质量，对各块进行像素级的局部质量标定；

[0012] 将各图像与对应的整体质量及局部质量作为样本，得到样本库。

[0013] 可选地，所述在优化的深度神经网络中对所述样本库进行分层训练，得到整体质量检测模型和局部质量检测模型，对所述整体质量检测模型和所述局部质量检测模型进行融合，得到图像质量检测模型，具体包括：

[0014] 将所述样本库输入优化的深度神经网络，并在所述优化的深度神经网络中对所述样本库中的各图像划分为所述预设大小的多个块；

[0015] 将所述样本库中的各图像与对应的各整体质量置于所述优化的深度神经网络的一个分支中进行训练，得到质量检测模型；将划分的各块与所述样本库中的各局部质量置于所述优化的深度神经网络的另一个分支中并结合反卷积操作进行训练，得到局部质量检测模型；

[0016] 将所述整体质量检测模型与所述局部质量检测模型顺序拼接，得到图像质量检测模型。

[0017] 可选地，所述采用所述图像质量检测模型，对输入图像进行整体质量检测和局部质量检测后，得到图像质量，具体包括：

[0018] 采用所述图像质量检测模型，对输入图像进行整体质量检测和局部质量检测得到整体质量和局部质量，对所述整体质量和所述局部质量进行加权得到图像质量。

[0019] 可选地，所述对各图像分别进行整体质量及局部质量的标定后作为样本，得到样本库之前，还包括：将各图像调整为预设像素的图像；

[0020] 可选地，所述采用所述图像质量检测模型，对输入图像进行整体质量检测和局部质量检测之前，还包括：将输入图像调整为所述预设像素的图像。

[0021] 另一方面，本发明提供一种基于深度神经网络的图像质量检测装置，包括：

[0022] 标定模块，用于对各图像分别进行整体质量及局部质量的标定后作为样本，得到样本库；

[0023] 训练模块，用于在优化的深度神经网络中对所述标定模块得到的样本库进行分层训练，得到整体质量检测模型和局部质量检测模型；

[0024] 融合模块，用于对所述训练模块得到的整体质量检测模型和局部质量检测模型进行融合，得到图像质量检测模型；

[0025] 检测模块，用于采用所述融合模块得到的图像质量检测模型，对输入图像进行整体质量检测和局部质量检测后，得到图像质量。

[0026] 可选地，所述标定模块，具体包括：第一标定子模块、第二标定子模块和作为子模块；

[0027] 所述第一标定子模块，用于计算各图像的峰值信噪比，根据所述峰值信噪比及肉眼的主观感受，对各图像进行图像级的整体质量标定；

[0028] 所述第二标定子模块，用于将各图像划分为预设大小的多个块，结合所述第一标定子模块标定的对应图像的整体质量，对各块进行像素级的局部质量标定；

[0029] 所述作为子模块，用于将各图像与对应的所述第一标定子模块标定的整体质量及所述第二标定子模块标定的局部质量作为样本，得到样本库。

[0030] 可选地，所述训练模块，具体包括：输入子模块、划分子模块和训练子模块；

[0031] 所述输入子模块，用于将所述标定模块得到的样本库输入优化的深度神经网络；

[0032] 所述划分子模块，用于在所述优化的深度神经网络中对所述输入子模块输入的样本库中的各图像划分为所述预设大小的多个块；

[0033] 所述训练子模块，用于将所述输入子模块输入的样本库中的各图像与对应的各整体质量置于所述优化的深度神经网络的一个分支中进行训练，得到质量检测模型；将所述划分子模块划分的各块与所述输入子模块输入的样本库中的各局部质量置于所述优化的深度神经网络的另一个分支中并结合反卷积操作进行训练，得到局部质量检测模型；

[0034] 所述融合模块具体用于：将所述训练子模块得到的整体质量检测模型与局部质量检测模型顺序拼接，得到图像质量检测模型。

[0035] 可选地，所述检测模块，具体用于：采用所述融合模块得到的图像质量检测模型，对输入图像进行整体质量检测和局部质量检测得到整体质量和局部质量，对所述整体质量和所述局部质量进行加权得到图像质量。

[0036] 可选地，所述装置还包括：第一调整模块和第二调整模块；

[0037] 所述第一调整模块，用于将各图像调整为预设像素的图像；

[0038] 对应地，所述标定模块具体用于：对所述第一调整模块调整后的各图像进行整体质量及局部质量的标定后作为样本，得到样本库；

[0039] 所述第二调整模块，用于将输入图像调整为所述预设像素的图像；

[0040] 对应地，所述检测模块具体用于：采用所述融合模块得到的图像质量检测模型，对所述第二调整模块调整后的输入图像进行整体质量检测和局部质量检测后，得到图像质量。

[0041] 本发明的优点在于：

[0042] 本发明中，一方面，通过计算峰值信噪比并结合人眼的主观感受标定图像质量而得到样本库，使得基于该样本库训练出的图像质量检测模型不仅具有现有的客观检测方法的优点，同时能够反应出人的主观评价，使得通过该图像质量检测模型进行质量检测后的图像，更符合使用者的需求；另一方面，在模型训练时，采用优化的神经网络，提高了计算速率；再一方面，通过对各图像进行整体质量的标定以及局部质量的标定，从而使得训练出的图像质量检测模型在对输入图像进行质量检测时，能够综合图像的整体质量及局部质量后得到输入图像的图像质量，使得检测的结果更具准确性；其对于大规模治安卡口相机图片质量的诊断、图像识别时的预先检测以及图像检索成功率评判等计算机视觉应用具有积极意义。

附图说明

[0043] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

[0044] 附图1为本发明提供的一种基于深度神经网络的图像质量检测方法流程图；

[0045] 附图2为本发明提供的一种基于深度神经网络的图像质量检测装置模块组成框图。

具体实施方式

[0046] 下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

[0047] 实施例一

[0048] 根据本发明的实施方式，提供一种基于深度神经网络的图像质量检测方法，如图1所示，包括：

[0049] 步骤101：对各图像分别进行整体质量及局部质量的标定后作为样本，得到样本库；

[0050] 在本实施例中，步骤101之前还包括：

[0051] 步骤N：将各图像调整为预设像素的图像；

[0052] 对应地，步骤101具体为：对各预设像素的图像分别进行整体质量及局部质量的标定后作为样本，得到样本库；

[0053] 其中，各图像可以为拍摄的照片，还可以为在视频中提取的图像。

[0054] 需要指出地，预设像素可以根据需求自行设定，例如，在本实施例中，预设像素设定为512*512。

[0055] 根据本发明的实施方式，步骤101具体包括：

[0056] 步骤101-1：计算各图像的峰值信噪比，根据峰值信噪比及肉眼的主观感受，对各图像进行图像级的整体质量标定；

[0057] 其中，图像级的整体质量包括：正常、模糊、过暗、过曝、高光、虚焦、分辨率低等；

[0058] 例如，计算某图像的峰值信噪比为20dB，肉眼对该图像的主观感受为有朦层，则标定该图像的整体质量为模糊。

[0059] 进一步地，计算图像的峰值信噪比的方法与现有的计算图像的峰值信噪比的方法相同，在此不再赘述。

[0060] 步骤101-2：将各图像划分为预设大小的多个块，结合标定的对应图像的整体质量，对各块进行像素级的局部质量标定；

[0061] 其中，预设大小可以根据需求自行设定，例如，在本实施例中，预设大小为256*256；像素级的局部质量包括：正常、模糊、过暗、过曝、高光、虚焦、分辨率低等；

[0062] 进一步地，结合标定的对应图像的整体质量，对各块进行像素级的局部质量标定，具体包括：当图像的整体质量为模糊或者分辨率低时，对应地各块的像素级的局部质量同样标定为模糊或者分辨率低；而对于高光、虚焦等，则需要对各块进行观察分析后分别进行标定。

[0063] 步骤101-3：将各图像与对应的整体质量及局部质量作为样本，得到样本库。

[0064] 步骤102：在优化的深度神经网络中对得到的样本库进行分层训练，得到整体质量检测模型和局部质量检测模型，对得到的整体质量检测模型和局部质量检测模型进行融合，得到图像质量检测模型；

[0065] 在本实施例中，对现有的VGG神经网络进行瘦身得到优化的深度神经网络；具体地，去除了VGG神经网络中的两个全连接层，以提升运算速率。

[0066] 根据本发明的实施方式，步骤102具体包括：

[0067] 步骤102-1：将得到的样本库输入优化的深度神经网络，并在优化的深度神经网络中对样本库中的各图像划分为预设大小的多个块；

[0068] 具体地，将得到的样本库输入优化的深度神经网络，并对样本库进行预处理，即将样本库中的各图像划分为预设大小的多个块；其中预设大小与步骤101-2中所述的预设大小相同，例如，在本实施例中为256*256。

[0069] 步骤102-2：将样本库中的各图像与对应的各整体质量置于优化的深度神经网络的一个分支中进行训练，得到质量检测模型；将划分的各块与样本库中的各局部质量置于优化的深度神经网络的另一个分支中并结合反卷积操作进行训练，得到局部质量检测模型；

[0070] 在本实施例中，优化的深度神经网络具体包括两个分支，其中一个用于对各图像及对应的各整体质量进行训练得到整体质量检测模型，另一个用于对划分的各块及样本库中的各局部质量进行训练得到局部质量检测模型；

[0071] 进一步地，在局部质量检测模型的训练中结合了反卷积操作，以将大小发生改变的图像还原至原始大小。

[0072] 步骤102-3：将整体质量检测模型与局部质量检测模型顺序拼接，得到图像质量检测模型。

[0073] 本发明中，通过对各图像进行整体质量的标定以及局部质量的标定，并且在训练时进行分支得到对应的整体质量检测模型及局部质量检测模型，将二者进行融合后得到图像质量检测模型，使得在后续使用该模型对输入图像进行质量检测时，能够综合图像的整体质量及局部质量，从而得到输入图像的图像质量，使得检测的结果更具准确性。

[0074] 步骤103：采用得到的图像质量检测模型，对输入图像进行整体质量检测和局部质量检测后，得到图像质量。

[0075] 在本实施例中，步骤103之前，还包括：将输入图像调整为预设像素的图像；

[0076] 具体地，将输入图像调整为步骤N中所述的预设像素的图像，以适用于训练得到的图像质量检测模型；例如，在本实施例中，将输入图像调整为512*512像素。

[0077] 对应地，步骤103具体为：采用得到的图像质量检测模型，对调整后的输入图像进行整体质量检测和局部质量检测后，得到图像质量。

[0078] 进一步地，根据本发明的实施方式，步骤103具体为：采用得到的图像质量检测模型，对输入图像进行整体质量检测和局部质量检测得到整体质量和局部质量，对得到的整体质量和局部质量进行加权得到图像质量。

[0079] 其中，整体质量及局部质量的权重，可以根据需求自行设定；优选地，在本实施例中，整体质量的权重在0.3至0.5之间。

[0080] 例如，在本实施例中，对输入图像进行检测得到的整体质量为过曝，得到的局部质量包括虚焦、过曝、模糊、分辨率低；则将得到的各质量进行对应的权重的加权即得到输入图像的图像质量。

[0081] 实施例二

[0082] 根据本发明的实施方式，提供一种基于深度神经网络的图像质量检测装置，如图2所示，包括：

[0083] 标定模块201，用于对各图像分别进行整体质量及局部质量的标定后作为样本，得到样本库；

[0084] 训练模块202，用于在优化的深度神经网络中对标定模块201得到的样本库进行分层训练，得到整体质量检测模型和局部质量检测模型；

[0085] 融合模块203，用于对训练模块202得到的整体质量检测模型和局部质量检测模型进行融合，得到图像质量检测模型；

[0086] 检测模块204，用于采用融合模块203得到的图像质量检测模型，对输入图像进行整体质量检测和局部质量检测后，得到图像质量。

[0087] 根据本发明的实施方式，标定模块201具体包括：第一标定子模块、第二标定子模块和作为子模块，其中：

[0088] 第一标定子模块，用于计算各图像的峰值信噪比，根据峰值信噪比及肉眼的主观感受，对各图像进行图像级的整体质量标定；

[0089] 第二标定子模块，用于将各图像划分为预设大小的多个块，结合第一标定子模块标定的对应图像的整体质量，对各块进行像素级的局部质量标定；

[0090] 作为子模块，用于将各图像与对应的第一标定子模块标定的整体质量及第二标定子模块标定的局部质量作为样本，得到样本库。

[0091] 其中，预设大小可以根据需求自行设定，例如，在本实施例中，预设大小为256*256；

[0092] 在本实施例中，图像级的整体质量及像素级的局部质量均包括：正常、模糊、过暗、过曝、高光、虚焦、分辨率低等。

[0093] 进一步地，第一标定子模块计算图像的峰值信噪比的过程与现有的计算图像的峰值信噪比的过程相同，在此不再赘述。

[0094] 根据本发明的实施方式，训练模块202具体包括：输入子模块、划分子模块和训练子模块，其中：

[0095] 输入子模块，用于将标定模块201得到的样本库输入优化的深度神经网络；

[0096] 划分子模块，用于在优化的深度神经网络中对输入子模块输入的样本库中的各图像划分为预设大小的多个块；

[0097] 训练子模块，用于将输入子模块输入的样本库中的各图像与对应的各整体质量置于优化的深度神经网络的一个分支中进行训练，得到质量检测模型；将划分子模块划分的各块与输入子模块输入的样本库中的各局部质量置于优化的深度神经网络的另一个分支中并结合反卷积操作进行训练，得到局部质量检测模型；

[0098] 对应地，融合模块203具体用于：将训练子模块得到的整体质量检测模型与局部质量检测模型顺序拼接，得到图像质量检测模型。

[0099] 根据本发明的实施方式，检测模块204，具体用于：采用融合模块203得到的图像质量检测模型，对输入图像进行整体质量检测和局部质量检测得到整体质量和局部质量，对得到的整体质量和局部质量进行加权得到图像质量。

[0100] 根据本发明的实施方式，该装置还包括：第一调整模块和第二调整模块，其中：

[0101] 第一调整模块，用于将各图像调整为预设像素的图像；

[0102] 对应地，标定模块201具体用于：对第一调整模块调整后的各图像进行整体质量及局部质量的标定后作为样本，得到样本库；

[0103] 第二调整模块，用于将输入图像调整为预设像素的图像；

[0104] 对应地检测模块204具体用于：采用融合模块203得到的图像质量检测模型，对第二调整模块调整后的输入图像进行整体质量检测和局部质量检测后，得到图像质量。

[0105] 其中，预设像素可以根据需求自行设定，例如，在本实施例中，预设像素为512*52。

[0106] 本发明中，一方面，通过计算峰值信噪比并结合人眼的主观感受标定图像质量而得到样本库，使得基于该样本库训练出的图像质量检测模型不仅具有现有的客观检测方法的优点，同时能够反应出人的主观评价，使得通过该图像质量检测模型进行质量检测后的图像，更符合使用者的需求；另一方面，在模型训练时，采用优化的神经网络，提高了计算速率；再一方面，对各图像进行整体质量的标定以及局部质量的标定，从而训练出的图像质量检测模型在对输入图像进行质量检测时，综合了图像的整体质量及局部质量后得到输入图像的图像质量，使得检测的结果更具准确性；其对于大规模治安卡口相机图片质量的诊断、图像识别时的预先检测以及图像检索成功率评判等计算机视觉应用具有积极意义。

[0107] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。