适用于摄像头模糊画面的检测处理方法及系统转让专利

申请号 : CN202211408548.0

文献号 : CN115713501B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 盛金平贺鹏飞胡志恒

申请人 : 深圳市探鸽智能科技有限公司

摘要 :

本发明提供一种适用于摄像头模糊画面的检测处理方法及系统,包括:基于检测模型对输入的待分析图像进行分析处理,确定待分析图像中的图像目标,确定待分析图像中为污点或绿色色块的第一图像目标,以及待分析图像中非污点和绿色色块的第二图像目标;若判断第一图像目标和第二图像目标的数量为0,则根据待分析图像进行计算得到第一图像模糊因子,根据所述第一图像模糊因子确定待分析图像为图像模糊或图像清晰;若判断第一图像目标和第二图像目标中的任意一个数量大于等于1,则根据所有第一图像目标的种类、数量以及面积进行计算得到第二图像模糊因子,根据所述第二图像模糊因子确定待分析图像为图像模糊或图像清晰。

权利要求 :

1.适用于摄像头模糊画面的检测处理方法,其特征在于,包括:

基于检测模型对输入的待分析图像进行分析处理,确定待分析图像中的图像目标,确定待分析图像中为污点或绿色色块的第一图像目标,以及待分析图像中非污点和绿色色块的第二图像目标;

若判断第一图像目标和第二图像目标的数量为0,则根据待分析图像进行计算得到第一图像模糊因子,根据所述第一图像模糊因子确定待分析图像为图像模糊或图像清晰;

对所述待分析图像进行灰度转换得到第一灰度图像,基于拉普拉斯算子对所述第一灰度图像进行边缘检测得到第一边缘图像,拉普拉斯算子的矩阵如下,计算所述第一边缘图像的方差,将第一边缘图像的方差归一化到0至1的区间,以统一量纲,通过以下公式将第一边缘图像的方差归一化到0至1的区间,其中,g1为待分析图像的第一图像模糊因子,var1为第一边缘图像的方差,max_val1为第一预设经验值,与第一边缘图像方差的上限成正比设置,max_var1为第一边缘图像方差的上限值,ρ为第一预设常数值;

若所述第一图像模糊因子大于第一阈值,则判断图像模糊;

若所述第一图像模糊因子小于等于第一阈值,则判断图像清晰;

若判断第一图像目标和第二图像目标中的任意一个数量大于等于1,则根据所有第一图像目标的种类、数量以及面积进行计算得到第二图像模糊因子,根据所述第二图像模糊因子确定待分析图像为图像模糊或图像清晰;

所述第二图像模糊因子包括第一子模糊因子和第二子模糊因子;

若判断第一图像目标和第二图像目标中的任意一个数量大于等于1,且存在第一图像目标,则选中与第一图像目标所对应的所有像素点得到第一像素点集合;

统计待分析图像中所有的像素点的数量得到像素点总数量,根据所述第一像素点集合内的第一像素点数量、待分析图像的像素点总数量、第一图像目标的种类进行融合计算,得到第一子模糊因子;

统计所有为污点种类的第一图像目标的第一像素点数量之和得到污点像素点总数量,统计所有为绿色色块的第一图像目标的第一像素点数量之和得到色块像素点总数量;

分别对所述污点像素点总数量、色块像素点总数量进行加权的融合计算,得到第一子模糊因子,通过以下公式计算第一子模糊因子,其中,g2为第一子模糊因子,ksta为污点像素点的权重值, 为第x个污点种类的第一图像目标的第一像素点数量,y为污点种类的第一图像目标的上限值,kgre为色块像素点的权重值, 为第w个绿色色块种类的第一图像目标的第一像素点数量,z为绿色色块种类的第一图像目标的上限值,sall为待分析图像的像素点总数量,f1为像素点归一化值,α1为因子训练系数;

若所述第一子模糊因子大于面积占比阈值,则判断图像模糊;

若所述第一子模糊因子小于等于面积占比阈值,则计算所有第二图像目标的模糊度得到第二子模糊因子;

对所述待分析图像进行灰度转换得到第二灰度图像,确定第二灰度图像中与每一个第二图像目标对应的像素点得到灰度像素点集合;

基于拉普拉斯算子对所有的灰度像素点集合形成的灰度图像进行边缘检测得到第二边缘图像,拉普拉斯算子的矩阵如下,计算每个第二边缘图像所对应的第二边缘图像的方差,将第二边缘图像的方差归一化到0至1的区间,以统一量纲,通过以下公式将第二边缘图像的方差归一化到0至1的区间,其中,h为灰度图像的图像模糊因子,varj为第j个第二边缘图像的方差,max_valr为第二预设经验值,与第二边缘图像方差的上限成正比设置,max_varj为第j个第二边缘图像的方差的上限值,π为第二预设常数值;

根据所有的第二边缘图像的第二边缘图像的方差进行综合计算,得到第二子模糊因子,通过以下公式计算第二子模糊因子,其中,g3为第二子模糊因子,hi为第i个灰度图像的图像模糊因子,n为第二边缘图像的上限值,N为第二边缘图像的数量值;

若所述第二子模糊因子大于第二阈值,则判断图像模糊;

若所述第二子模糊因子小于等于第二阈值,则判断图像清晰。

2.根据权利要求1所述的适用于摄像头模糊画面的检测处理方法,其特征在于,通过以下步骤对检测模型进行训练,包括:预先设置多个训练样本图像,所述训练样本图像中具有多个预设图像目标,将每个训练样本图像与相对应的预设图像目标对应设置;

基于训练样本图像与预设图像目标的对应关系对检测模型进行训练。

3.根据权利要求1所述的适用于摄像头模糊画面的检测处理方法,其特征在于,还包括:若判断基于第一子模糊因子输出图像模糊结果,则接收用户输入的反馈信息,若所述反馈信息为待分析图像模糊,则不对因子训练系数进行训练;

若所述反馈信息为待分析图像为可以继续使用的非模糊状态,则对因子训练系数进行训练,根据所述第一子模糊因子、面积占比阈值进行计算得到训练调整系数,根据所述训练调整系数对所述因子训练系数进行降低训练。

4.根据权利要求3所述的适用于摄像头模糊画面的检测处理方法,其特征在于,所述若所述反馈信息为待分析图像为可以继续使用的非模糊状态,则对因子训练系数进行训练,根据所述第一子模糊因子、面积占比阈值进行计算得到训练调整系数,根据所述训练调整系数对所述因子训练系数进行降低训练,包括:计算所述第一子模糊因子和面积占比阈值的差值得到第一占比差值,对所述第一占比差值进行加权处理得到训练调整系数;

根据所述训练调整系数对所述因子训练系数进行降低训练,通过以下公式计算降低训练后的因子训练系数,其中,α2为降低训练后的因子训练系数,bthr为面积占比阈值,β为占比归一化值,μ为加权系数。

5.根据权利要求3所述的适用于摄像头模糊画面的检测处理方法,其特征在于,还包括:获取所有的摄像头对应的第一子模糊因子,选取大于第一预设模糊因子的摄像头作为第一摄像头,统计所有的第一摄像头分别对应的第一摄像头标签、第一位置点;

将所有的第一摄像头在预设摄像头图像中进行突出显示,确定与检修点所对应的第二位置点,选取与第二位置点最接近的第一位置点所对应的第一摄像头作为起始摄像头;

将起始摄像头所对应的第一位置点作为中继位置点,将中继位置点与第二位置点连接,确定与中继位置点最接近的第一位置点作为最接近位置点,将最接近位置点与中继位置点相连接;

在判断最接近位置点与相应的中继位置点相连接后,将最接近位置点转换为中继位置点,重复确定中继位置点、最接近位置点的步骤,按照确定中继位置点、最接近位置点的顺序依次提取每个第一摄像头的第一摄像头标签;

根据所第一摄像头的第一摄像头标的提取顺序生成标签序列,根据所述标签序列生成摄像头巡检路径。

6.适用于摄像头模糊画面的检测系统,其特征在于,包括:

确定模块,用于基于检测模型对输入的待分析图像进行分析处理,确定待分析图像中的图像目标,确定待分析图像中为污点或绿色色块的第一图像目标,以及待分析图像中非污点和绿色色块的第二图像目标;

第一计算模块,用于若判断第一图像目标和第二图像目标的数量为0,则根据待分析图像进行计算得到第一图像模糊因子,根据所述第一图像模糊因子确定待分析图像为图像模糊或图像清晰;

对所述待分析图像进行灰度转换得到第一灰度图像,基于拉普拉斯算子对所述第一灰度图像进行边缘检测得到第一边缘图像,拉普拉斯算子的矩阵如下,计算所述第一边缘图像的方差,将第一边缘图像的方差归一化到0至1的区间,以统一量纲,通过以下公式将第一边缘图像的方差归一化到0至1的区间,其中,g1为待分析图像的第一图像模糊因子,var1为第一边缘图像的方差,max_val1为第一预设经验值,与第一边缘图像方差的上限成正比设置,max_var1为第一边缘图像方差的上限值,ρ为第一预设常数值;

若所述第一图像模糊因子大于第一阈值,则判断图像模糊;

若所述第一图像模糊因子小于等于第一阈值,则判断图像清晰;

第二计算模块,用于若判断第一图像目标和第二图像目标中的任意一个数量大于等于

1,则根据所有第一图像目标的种类、数量以及面积进行计算得到第二图像模糊因子,根据所述第二图像模糊因子确定待分析图像为图像模糊或图像清晰;

所述第二图像模糊因子包括第一子模糊因子和第二子模糊因子;

若判断第一图像目标和第二图像目标中的任意一个数量大于等于1,且存在第一图像目标,则选中与第一图像目标所对应的所有像素点得到第一像素点集合;

统计待分析图像中所有的像素点的数量得到像素点总数量,根据所述第一像素点集合内的第一像素点数量、待分析图像的像素点总数量、第一图像目标的种类进行融合计算,得到第一子模糊因子;

统计所有为污点种类的第一图像目标的第一像素点数量之和得到污点像素点总数量,统计所有为绿色色块的第一图像目标的第一像素点数量之和得到色块像素点总数量;

分别对所述污点像素点总数量、色块像素点总数量进行加权的融合计算,得到第一子模糊因子,通过以下公式计算第一子模糊因子,其中,g2为第一子模糊因子,ksta为污点像素点的权重值, 为第x个污点种类的第一图像目标的第一像素点数量,y为污点种类的第一图像目标的上限值,kgre为色块像素点的权重值, 为第w个绿色色块种类的第一图像目标的第一像素点数量,z为绿色色块种类的第一图像目标的上限值,sall为待分析图像的像素点总数量,f1为像素点归一化值,α1为因子训练系数;

若所述第一子模糊因子大于面积占比阈值,则判断图像模糊;

若所述第一子模糊因子小于等于面积占比阈值,则计算所有第二图像目标的模糊度得到第二子模糊因子;

对所述待分析图像进行灰度转换得到第二灰度图像,确定第二灰度图像中与每一个第二图像目标对应的像素点得到灰度像素点集合;

基于拉普拉斯算子对所有的灰度像素点集合形成的灰度图像进行边缘检测得到第二边缘图像,拉普拉斯算子的矩阵如下,计算每个第二边缘图像所对应的第二边缘图像的方差,将第二边缘图像的方差归一化到0至1的区间,以统一量纲,通过以下公式将第二边缘图像的方差归一化到0至1的区间,其中,h为灰度图像的图像模糊因子,varj为第j个第二边缘图像的方差,max_valr为第二预设经验值,与第二边缘图像方差的上限成正比设置,max_varj为第j个第二边缘图像的方差的上限值,π为第二预设常数值;

根据所有的第二边缘图像的第二边缘图像的方差进行综合计算,得到第二子模糊因子,通过以下公式计算第二子模糊因子,其中,g3为第二子模糊因子,hi为第i个灰度图像的图像模糊因子,n为第二边缘图像的上限值,N为第二边缘图像的数量值;

若所述第二子模糊因子大于第二阈值,则判断图像模糊;

若所述第二子模糊因子小于等于第二阈值,则判断图像清晰。

说明书 :

适用于摄像头模糊画面的检测处理方法及系统

技术领域

[0001] 本发明涉及图像处理技术领域,尤其涉及一种适用于摄像头模糊画面的检测处理方法及系统。

背景技术

[0002] 随着互联网的不断升级,网络摄像头的应用越来越广泛,一些摄像机在使用过程中会由于自然老化或人为破坏的原因,导致监控视频出现信号丢失、信号干扰、图像模糊、图像偏色、画面遮挡、亮度异常等问题。如何集群化管理这些摄像头,准确快速的定位到出现异常的摄像头,成为监控系统运维需要解决的问题。
[0003] 目前解决上述的问题的技术方案是周期性截取系统中摄像头的画面,使用对应算法对画面进行分析,定位到有问题的设备,对其进行修复。异常检测算法是整套技术方案的核心,现有技术方案中,基于传统图像处理的画面模糊检测算法通常通过计算画面的边缘信息,当边缘强度的均值和方差低于预先定义的阈值时则判定为模糊。但是上述方法在某些场景下是失效的,如镜头仅有局部区域出现污点时会出现漏判。所以,现有技术中并无法在摄像头中具有污点时进行摄像头的模糊检测,导致其应用场景较为局限。

发明内容

[0004] 本发明实施例提供一种适用于摄像头模糊画面的检测处理方法及系统,能够在摄像头具有污点、绿色色块等场景下进行模糊度的检测,使得本发明在进行模糊度检测时的应用场景更加多元化,适用于更多的检测场景。
[0005] 本发明实施例的第一方面,提供一种适用于摄像头模糊画面的检测处理方法,包括:
[0006] 基于检测模型对输入的待分析图像进行分析处理,确定待分析图像中的图像目标,确定待分析图像中为污点或绿色色块的第一图像目标,以及待分析图像中非污点和绿色色块的第二图像目标;
[0007] 若判断第一图像目标和第二图像目标的数量为0,则根据待分析图像进行计算得到第一图像模糊因子,根据所述第一图像模糊因子确定待分析图像为图像模糊或图像清晰;
[0008] 若判断第一图像目标和第二图像目标中的任意一个数量大于等于1,则根据所有第一图像目标的种类、数量以及面积进行计算得到第二图像模糊因子,根据所述第二图像模糊因子确定待分析图像为图像模糊或图像清晰。
[0009] 可选地,在第一方面的一种可能实现方式中通过以下步骤对检测模型进行训练,包括:
[0010] 预先设置多个训练样本图像,所述训练样本图像中具有多个预设图像目标,将每个训练样本图像与相对应的预设图像目标对应设置;
[0011] 基于训练样本图像与预设图像目标的对应关系对检测模型进行训练。
[0012] 可选地,在第一方面的一种可能实现方式中所述若判断第一图像目标和第二图像目标的数量为0,则根据待分析图像进行计算得到第一图像模糊因子,根据所述第一图像模糊因子确定待分析图像为图像模糊或图像清晰,包括:
[0013] 对所述待分析图像进行灰度转换得到第一灰度图像,基于拉普拉斯算子对所述第一灰度图像进行边缘检测得到第一边缘图像,拉普拉斯算子的矩阵如下,
[0014]
[0015] 计算所述第一边缘图像的方差,将第一边缘图像的方差归一化到0至1的区间,以统一量纲,通过以下公式将第一边缘图像的方差归一化到0至1的区间,
[0016]
[0017] 其中, 为待分析图像的第一图像模糊因子, 为第一边缘图像的方差,为第一预设经验值,与第一边缘图像方差的上限成正比设置, 为第
一边缘图像方差的上限值,为第一预设常数值;
[0018] 若所述第一图像模糊因子大于第一阈值,则判断图像模糊;
[0019] 若所述第一图像模糊因子小于等于第一阈值,则判断图像清晰。
[0020] 可选地,在第一方面的一种可能实现方式中所述若判断第一图像目标和第二图像目标中的任意一个数量大于等于1,则根据所有第一图像目标的种类、数量以及面积进行计算得到第二图像模糊因子,根据所述第二图像模糊因子确定待分析图像为图像模糊或图像清晰,包括:
[0021] 所述第二图像模糊因子包括第一子模糊因子和第二子模糊因子;
[0022] 若判断第一图像目标和第二图像目标中的任意一个数量大于等于1,且存在第一图像目标,则选中与第一图像目标所对应的所有像素点得到第一像素点集合;
[0023] 统计待分析图像中所有的像素点的数量得到像素点总数量,根据所述第一像素点集合内的第一像素点数量、待分析图像的像素点总数量、第一图像目标的种类进行融合计算,得到第一子模糊因子;
[0024] 若所述第一子模糊因子大于面积占比阈值,则判断图像模糊;
[0025] 若所述第一子模糊因子小于等于面积占比阈值,则计算所有第二图像目标的模糊度得到第二子模糊因子;
[0026] 若所述第二子模糊因子大于第二阈值,则判断图像模糊;
[0027] 若所述第二子模糊因子小于等于第二阈值,则判断图像清晰。
[0028] 可选地,在第一方面的一种可能实现方式中所述统计待分析图像中所有的像素点的数量得到像素点总数量,根据所述第一像素点集合内的第一像素点数量、待分析图像的像素点总数量、第一图像目标的种类进行融合计算,得到第一子模糊因子,包括:
[0029] 统计所有为污点种类的第一图像目标的第一像素点数量之和得到污点像素点总数量,统计所有为绿色色块的第一图像目标的第一像素点数量之和得到色块像素点总数量;
[0030] 分别对所述污点像素点总数量、色块像素点总数量进行加权的融合计算,得到第一子模糊因子,通过以下公式计算第一子模糊因子,
[0031]
[0032] 其中, 为第一子模糊因子, 为污点像素点的权重值, 为第 个污点种类的第一图像目标的第一像素点数量,为污点种类的第一图像目标的上限值, 为色块像素点的权重值, 为第 个绿色色块种类的第一图像目标的第一像素点数量,为绿色色块种类的第一图像目标的上限值, 为待分析图像的像素点总数量, 为像素点归一化值, 为因子训练系数。
[0033] 可选地,在第一方面的一种可能实现方式中所述若所述第一子模糊因子小于等于面积占比阈值,则计算所有第二图像目标的模糊度得到第二子模糊因子,包括:
[0034] 对所述待分析图像进行灰度转换得到第二灰度图像,确定第二灰度图像中与每一个第二图像目标对应的像素点得到灰度像素点集合;
[0035] 基于拉普拉斯算子对所有的灰度像素点集合形成的灰度图像进行边缘检测得到第二边缘图像,拉普拉斯算子的矩阵如下,
[0036]
[0037] 计算每个第二边缘图像所对应的第二边缘图像的方差,将第二边缘图像的方差归一化到0至1的区间,以统一量纲,通过以下公式将第二边缘图像的方差归一化到0至1的区间,
[0038]
[0039] 其中,为灰度图像的图像模糊因子, 为第 个第二边缘图像的方差,为第二预设经验值,与第二边缘图像方差的上限成正比设置, 为第
个第二边缘图像的方差的上限值,为第二预设常数值;
[0040] 根据所有的第二边缘图像的第二边缘图像的方差进行综合计算,得到第二子模糊因子,通过以下公式计算第二子模糊因子,
[0041]
[0042] 其中, 为第二子模糊因子, 为第 个灰度图像的图像模糊因子,为第二边缘图像的上限值,为第二边缘图像的数量值。
[0043] 可选地,在第一方面的一种可能实现方式中还包括:
[0044] 若判断基于第一子模糊因子输出图像模糊结果,则接收用户输入的反馈信息,若所述反馈信息为待分析图像模糊,则不对因子训练系数进行训练;
[0045] 若所述反馈信息为待分析图像为可以继续使用的非模糊状态,则对因子训练系数进行训练,根据所述第一子模糊因子、面积占比阈值进行计算得到训练调整系数,根据所述训练调整系数对所述因子训练系数进行降低训练。
[0046] 可选地,在第一方面的一种可能实现方式中所述若所述反馈信息为待分析图像为可以继续使用的非模糊状态,则对因子训练系数进行训练,根据所述第一子模糊因子、面积占比阈值进行计算得到训练调整系数,根据所述训练调整系数对所述因子训练系数进行降低训练,包括:
[0047] 计算所述第一子模糊因子和面积占比阈值的差值得到第一占比差值,对所述第一占比差值进行加权处理得到训练调整系数;
[0048] 根据所述训练调整系数对所述因子训练系数进行降低训练,通过以下公式计算降低训练后的因子训练系数,
[0049]
[0050] 其中, 为降低训练后的因子训练系数, 为面积占比阈值,为占比归一化值,为加权系数。
[0051] 可选地,在第一方面的一种可能实现方式中还包括:
[0052] 获取所有的摄像头对应的第一子模糊因子,选取大于第一预设模糊因子的摄像头作为第一摄像头,统计所有的第一摄像头分别对应的第一摄像头标签、第一位置点;
[0053] 将所有的第一摄像头在预设摄像头图像中进行突出显示,确定与检修点所对应的第二位置点,选取与第二位置点最接近的第一位置点所对应的第一摄像头作为起始摄像头;
[0054] 将起始摄像头所对应的第一位置点作为中继位置点,将中继位置点与第二位置点连接,确定与中继位置点最接近的第一位置点作为最接近位置点,将最接近位置点与中继位置点相连接;
[0055] 在判断最接近位置点与相应的中继位置点相连接后,将最接近位置点转换为中继位置点,重复确定中继位置点、最接近位置点的步骤,按照确定中继位置点、最接近位置点的顺序依次提取每个第一摄像头的第一摄像头标签;
[0056] 根据所第一摄像头的第一摄像头标的提取顺序生成标签序列,根据所述标签序列生成摄像头巡检路径。
[0057] 本发明实施例的第二方面,提供一种适用于摄像头模糊画面的检测系统,包括:
[0058] 确定模块,用于基于检测模型对输入的待分析图像进行分析处理,确定待分析图像中的图像目标,确定待分析图像中为污点或绿色色块的第一图像目标,以及待分析图像中非污点和绿色色块的第二图像目标;
[0059] 第一计算模块,用于若判断第一图像目标和第二图像目标的数量为0,则根据待分析图像进行计算得到第一图像模糊因子,根据所述第一图像模糊因子确定待分析图像为图像模糊或图像清晰;
[0060] 第二计算模块,用于若判断第一图像目标和第二图像目标中的任意一个数量大于等于1,则根据所有第一图像目标的种类、数量以及面积进行计算得到第二图像模糊因子,根据所述第二图像模糊因子确定待分析图像为图像模糊或图像清晰。
[0061] 本发明实施例的第三方面,提供一种存储介质,所述存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述方法。
[0062] 本发明提供的一种适用于摄像头模糊画面的检测处理方法及系统。本发明在得到待分析图像后,会针对待分析图像中的图像目标进行识别,并且根据待分析图像中的图像目标的不同将图像目标分类为第一图像目标和第二图像目标,本发明会对第一图像目标和/或第二图像目标的数量进行统计,并且在第一图像目标和第二图像目标分别为0时,会针对整个待分析图像进行整体的模糊度计算,判断相应的待分析图像为图像模糊或图像清晰。本发明会在第一图像目标和第二图像目标中的任意一个数量大于等于1时,根据第一图像目标的种类、数量以及面积进行计算得到第二图像模糊因子,通过该种方式,使得本发明会针对每个第一图像目标的覆盖程度,第二图像目标的清晰度进行融合计算,得到相应待分析图像为图像模糊或图像清晰的结果。通过以上的技术方案,使得本发明能够在没有图像目标、存在图像目标、存在污点、绿色色块等多种情况下对待分析图像进行分析,得到待分析图像的模糊度。
[0063] 本发明在计算具有污点、绿色色块的待分析图像的模糊度时,会采取多种维度的比对方式,本发明首先会确定污点、绿色色块的覆盖程度,在污点、绿色色块的覆盖面积较大时,则直接将相应的待分析图像作为模糊图像。在污点、绿色色块的覆盖面积符合要求时,本发明会针对每个第二图像目标的模糊度进行计算,并且根据所有第二图像目标的图像模糊因子进行综合计算得到第二子模糊因子,通过以上方式,使得本发明能够考虑多个影响图像清晰度的因素,并根据相应的因素从整体上判断待分析图像是否为模糊状态。

附图说明

[0064] 图1为适用于摄像头模糊画面的检测处理方法的流程图;
[0065] 图2为适用于摄像头模糊画面的检测处理系统的结构图。

具体实施方式

[0066] 为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0067] 本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
[0068] 应当理解,在本发明的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
[0069] 应当理解,在本发明中,“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0070] 应当理解,在本发明中,“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含,“包含A、B或C”是指包含A、B、C三者之一,“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
[0071] 应当理解,在本发明中,“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”,表示B与A相关联,根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其他信息确定B。A与B的匹配,是A与B的相似度大于或等于预设的阈值。
[0072] 取决于语境,如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
[0073] 下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0074] 本发明提供一种适用于摄像头模糊画面的检测处理方法,如图1所示,包括:
[0075] 步骤S110、基于检测模型对输入的待分析图像进行分析处理,确定待分析图像中的图像目标,确定待分析图像中为污点或绿色色块的第一图像目标,以及待分析图像中非污点和绿色色块的第二图像目标。本发明会根据预先训练的检测模型对输入的待分析图像进行分析处理,对待分析图像中的图像目标进行识别。在实际的图像中,可能有多种类型的图像目标,例如正常的图像目标、异常的图像目标,正常的图像目标例如人、植物、动物等等,异常的图像目标例如污点和/或绿色色块等等。本发明会对图像目标进行分类,即将图像目标分为污点和/或绿色色块的第一图像目标,以及非污点的第二图像目标。
[0076] 本发明提供的技术方案,在一个可能的实施方式中,通过以下步骤对检测模型进行训练,包括:
[0077] 预先设置多个训练样本图像,所述训练样本图像中具有多个预设图像目标,将每个训练样本图像与相对应的预设图像目标对应设置。本发明会预先设置多个训练样本图像。例如,我们可以以树、人、房子、车、树枝、桌子,沙发、电视、污点、绿色色块为目标进行检测模型的训练,此时训练样本图像中可能会具有人、污点的图像,预设图像目标即为人、污点。
[0078] 基于训练样本图像与预设图像目标的对应关系对检测模型进行训练。本发明可以使用深度学习领域中应用非常广泛的YOLO框架对检测模型进行训练,使得训练后的检测模型可以对待分析图像中的感兴趣目标进行检测。
[0079] 步骤S120、若判断第一图像目标和第二图像目标的数量为0,则根据待分析图像进行计算得到第一图像模糊因子,根据所述第一图像模糊因子确定待分析图像为图像模糊或图像清晰。在第一图像目标和第二图像目标的数量为0时,则此时相应的图像中并不具有污点、绿色色块,也不存在其他的图像目标,所以此时本发明会对待分析图像按照第一种方式进行计算,得到与待分析图像对应的第一图像模糊因子,并且结合第一图像模糊因子确定待分析图像为图像模糊或图像清晰。
[0080] 本发明提供的技术方案,在一个可能的实施方式中,步骤S120包括:
[0081] 对所述待分析图像进行灰度转换得到第一灰度图像,基于拉普拉斯算子对所述第一灰度图像进行边缘检测得到第一边缘图像,拉普拉斯算子的矩阵如下,
[0082]
[0083] 计算所述第一边缘图像的方差,将第一边缘图像的方差归一化到0至1的区间,以统一量纲,通过以下公式将第一边缘图像的方差归一化到0至1的区间,
[0084]
[0085] 其中, 为待分析图像的第一图像模糊因子, 为第一边缘图像的方差,为第一预设经验值,与第一边缘图像方差的上限成正比设置, 为第
一边缘图像方差的上限值,为第一预设常数值。通过 可以计算第一边缘图像的方
差的占比,第一预设经验值是工作人员预先根据实际拍摄场景设置的,与第一边缘图像方差的上限成正比设置,第一边缘图像方差的上限值、第一预设常数值均为工作人员预先设置,可以根据不同的识别场景、识别灵敏度分别进行调整、设置。
[0086] 若所述第一图像模糊因子大于第一阈值,其中第一阈值可以是2,则判断图像模糊,此时则相应的待分析图像中虽然不具有污点、绿屏等情况,但是其较为模糊。第一阈值可以是工作人员预先设置的。
[0087] 若所述第一图像模糊因子小于等于第一阈值,则判断图像清晰。此时相应的待分析图像较为清楚,相应的摄像头不需要进行维护、维修。
[0088] 通过以上的技术方案,使得本发明能够不具有目标、或不具有污点和/或绿色色块时,对无目标的待分析图像、无污点和/或绿色色块的待分析图像进行模糊分析,此时的第一阈值相较于第二阈值可以是较大的,通过以上的技术方案,实现对待分析图像的第一种分析方式。
[0089] 步骤S130、若判断第一图像目标和第二图像目标中的任意一个数量大于等于1,则根据所有第一图像目标的种类、数量以及面积进行计算得到第二图像模糊因子,根据所述第二图像模糊因子确定待分析图像为图像模糊或图像清晰。此时相应的待分析图像中会具有污点和/或绿色色块,所以此时本发明会结合第一图像目标的种类、数量以及面积进行计算得到第二图像模糊因子,结合污点和/或绿色色块对待分析图像的模糊度进行分析,并结合第二图像模糊因子确定待分析图像为图像模糊或图像清晰。需要说明的是,本发明在计算第二图像模糊因子时,会结合第一图像目标、第二图像目标进行综合的计算。
[0090] 本发明提供的技术方案,在一个可能的实施方式中,步骤S130包括:
[0091] 所述第二图像模糊因子包括第一子模糊因子和第二子模糊因子。本发明提供的技术方案中,第二图像模糊因子会包括第一子模糊因子和第二子模糊因子,通过第一子模糊因子和第二子模糊因子能够对第二种类型的待分析图像的清晰度进行分析。
[0092] 若判断第一图像目标和第二图像目标中的任意一个数量大于等于1,且存在第一图像目标,则选中与第一图像目标所对应的所有像素点得到第一像素点集合。此时即存在第二图像目标也存在第一图像目标,此时本发明会对第一图像目标所对应的所有像素点得到第一像素点集合,通过第一像素点集合能够反映出污点、绿色色块的像素数量、面积,如果第一像素点集合内的像素点数量越多,则相对应的面积越大。
[0093] 统计待分析图像中所有的像素点的数量得到像素点总数量,根据所述第一像素点集合内的第一像素点数量、待分析图像的像素点总数量、第一图像目标的种类进行融合计算,得到第一子模糊因子。本发明会得到待分析图像中所有的像素点的数量得到像素点总数量,如果待分析图像的分辨率越高,则像素点总数量越多。本发明会根据第一像素点数量、待分析图像的像素点总数量、第一图像目标的种类进行融合计算,得到第一子模糊因子。
[0094] 本发明提供的技术方案,在一个可能的实施方式中,所述统计待分析图像中所有的像素点的数量得到像素点总数量,根据所述第一像素点集合内的第一像素点数量、待分析图像的像素点总数量、第一图像目标的种类进行融合计算,得到第一子模糊因子,包括:
[0095] 统计所有为污点种类的第一图像目标的第一像素点数量之和得到污点像素点总数量,统计所有为绿色色块的第一图像目标的第一像素点数量之和得到色块像素点总数量。在实际的应用场景中,待分析图像中可能只存在污点或者绿色色块,也可能同时出现污点和绿色色块,所以本发明需要对污点和绿色色块的第一像素点数量进行分别的统计,分别得到相对应的污点像素点总数量和色块像素点总数量。
[0096] 分别对所述污点像素点总数量、色块像素点总数量进行加权的融合计算,得到第一子模糊因子,通过以下公式计算第一子模糊因子,
[0097]
[0098] 其中, 为第一子模糊因子, 为污点像素点的权重值, 为第 个污点种类的第一图像目标的第一像素点数量,为污点种类的第一图像目标的上限值, 为色块像素点的权重值, 为第 个绿色色块种类的第一图像目标的第一像素点数量,为绿色色块种类的第一图像目标的上限值, 为待分析图像的像素点总数量, 为像素点归一化值, 为因子训练系数。通过 可以计算得到污点像素点总数量,通过
可以得到色块像素点总数量,通过污点像素点的权重值 对 进行加权,通过色
块像素点的权重值 对 进行加权。通过 可以得
到污点像素点总数量、色块像素点总数量相较于待分析图像中像素点总数量的占比,然后根据像素点归一化值 进行归一化处理,根据因子训练系数进行计算,得到最终的第一子模糊因子 。其中,色块像素点的权重值 优选大于污点像素点的权重值 ,因为绿色色块为硬件设备损害,此时的不清晰度要大于污点的情况,所以绿色色块的权重值 大于污点像素点的权重值。
[0099] 若所述第一子模糊因子大于面积占比阈值,则判断图像模糊。此时则污点、绿色色块所占的比例较大,所以此时本发明可以判断相应的待分析图像为图像模糊。
[0100] 若所述第一子模糊因子小于等于面积占比阈值,则计算所有第二图像目标的模糊度得到第二子模糊因子。此时则污点、绿色色块所占的比例较小,所以此时本发明可以判断相应的待分析图像为图像清晰。所以,此时本发明需要根据第二图像目标来计算相应目标图像的模糊度,此时待分析图像中即存在污点、绿色色块,也存正常的目标图像。
[0101] 本发明提供的技术方案,在一个可能的实施方式中,所述若所述第一子模糊因子小于等于面积占比阈值,则计算所有第二图像目标的模糊度得到第二子模糊因子,包括:
[0102] 对所述待分析图像进行灰度转换得到第二灰度图像,确定第二灰度图像中与每一个第二图像目标对应的像素点得到灰度像素点集合。本发明会对待分析图像进行灰度转换得到第二灰度图像,然后确定第二灰度图像中与每一个第二图像目标对应的像素点得到灰度像素点集合。通过该种方式,使得本发明能够将待分析图像中每个第二图像目标的灰度像素点集合进行提取。
[0103] 基于拉普拉斯算子对所有的灰度像素点集合形成的灰度图像进行边缘检测得到第二边缘图像,拉普拉斯算子的矩阵如下,
[0104]
[0105] 计算每个第二边缘图像所对应的第二边缘图像的方差,将第二边缘图像的方差归一化到0至1的区间,以统一量纲,通过以下公式将第二边缘图像的方差归一化到0至1的区间,
[0106]
[0107] 其中,为灰度图像的图像模糊因子, 为第 个第二边缘图像的方差,为第二预设经验值,与第二边缘图像方差的上限成正比设置, 为第
个第二边缘图像的方差的上限值,为第二预设常数值。通过 可以计算第二边缘图
像的方差的占比,第二预设经验值是工作人员预先根据实际拍摄场景设置的,与第二边缘图像方差的上限成正比设置,第二边缘图像方差的上限值、第二预设常数值均为工作人员预先设置,可以根据不同的识别场景、识别灵敏度分别进行调整、设置。
[0108] 根据所有的第二边缘图像的第二边缘图像的方差进行综合计算,得到第二子模糊因子,通过以下公式计算第二子模糊因子,
[0109]
[0110] 其中, 为第二子模糊因子, 为第 个灰度图像的图像模糊因子,为第二边缘图像的上限值,为第二边缘图像的数量值。本发明会通过 得到所有的灰度图像的图像模糊因子之和,通过 计算所有的灰度图像的图像模糊因子的平均数得到第二子模糊因子 。
[0111] 若所述第二子模糊因子大于第二阈值,第二阈值优选设置为1,则判断图像模糊。此时对待分析图像进行了综合的分析,即在同时存在第一目标图像和第二目标图像时,对所有的第二目标图像分别进行分析,进行模糊度的计算,并且在第二子模糊因子大于第二阈值时,则判断相应的待分析图像为模糊。相应的摄像头可以需要进行维护、维修。
[0112] 若所述第二子模糊因子小于等于第二阈值,则判断图像清晰。在第二子模糊因子小于等于第二阈值时,则判断相应的待分析图像为清晰。相应的摄像头可以继续使用。
[0113] 本发明提供的技术方案,在一个可能的实施方式中,还包括:
[0114] 若判断基于第一子模糊因子输出图像模糊结果,则接收用户输入的反馈信息,若所述反馈信息为待分析图像模糊,则不对因子训练系数进行训练。在实际的应用场景中,此时则证明污点、绿色色块较多时,本发明输出本发明提供的技术方案,在一个可能的实施方式中,提醒用户对相应的摄像头进行更换。同时,用户进行了反馈,反馈信息为待分析图像模糊,则证明本发明所输出的结果是正确的,所计算的第一子模糊因子是符合当前场景的,所以不需要对因子训练系数进行训练。
[0115] 若所述反馈信息为待分析图像为可以继续使用的非模糊状态,则对因子训练系数进行训练,根据所述第一子模糊因子、面积占比阈值进行计算得到训练调整系数,根据所述训练调整系数对所述因子训练系数进行降低训练。但是,在反馈信息为待分析图像对应的摄像头为可以继续使用的非模糊状态时,则证明本发明所输出的结果是错误的,所计算的第一子模糊因子是不符合当前场景的,所以需要对因子训练系数进行训练。即根据第一子模糊因子、面积占比阈值对因子训练系数进行降低训练。
[0116] 本发明提供的技术方案,在一个可能的实施方式中,所述若所述反馈信息为待分析图像为可以继续使用的非模糊状态,则对因子训练系数进行训练,根据所述第一子模糊因子、面积占比阈值进行计算得到训练调整系数,根据所述训练调整系数对所述因子训练系数进行降低训练,包括:
[0117] 计算所述第一子模糊因子和面积占比阈值的差值得到第一占比差值,对所述第一占比差值进行加权处理得到训练调整系数。本发明首先会计算第一子模糊因子和面积占比阈值的差值得到第一占比差值,如果第一占比差值越大,则训练调整系数越大,则证明因子训练系数需要减少的越多。
[0118] 根据所述训练调整系数对所述因子训练系数进行降低训练,通过以下公式计算降低训练后的因子训练系数,
[0119]
[0120] 其中, 为降低训练后的因子训练系数, 为面积占比阈值,为占比归一化值,为加权系数。通过 可以计算得到训练调整系数,结合加权系数 对 进行加权处理后,得到减小训练后的因子训练系数 。
[0121] 本发明提供的技术方案,在一个可能的实施方式中,还包括:
[0122] 获取所有的摄像头对应的第一子模糊因子,选取大于第一预设模糊因子的摄像头作为第一摄像头,统计所有的第一摄像头分别对应的第一摄像头标签、第一位置点。本发明会得到所有摄像头对应的第一子模糊因子,在第一子模糊因子较大时,则证明相应的第一像摄像头的可能需要清洗、维修、更换等等,所以此时本发明会对第一摄像头分别对应的第一摄像头标签、第一位置点进行统计。
[0123] 将所有的第一摄像头在预设摄像头图像中进行突出显示,确定与检修点所对应的第二位置点,选取与第二位置点最接近的第一位置点所对应的第一摄像头作为起始摄像头。本发明会预先构建所有摄像头对应的预设摄像头图像,预设摄像头图像可以看作是一个地图,预设摄像头图像中会具有所有摄像头的位置。预设摄像头图像中会具有检修点,检修点会存在进行检修、巡检的工作人员,所以本发明会将检修点所对应的第二位置点作为起始点,并选取与第二位置点最接近的第一位置点所对应的第一摄像头作为起始摄像头。
[0124] 将起始摄像头所对应的第一位置点作为中继位置点,将中继位置点与第二位置点连接,确定与中继位置点最接近的第一位置点作为最接近位置点,将最接近位置点与中继位置点相连接。本发明会将起始摄像头的第一位置点首先作为中继位置点,并且将中继位置点与第二位置点连接,然后依次确定距离最接近的其他第一位置点作为最接近位置点,进而确定新的第一摄像头所对应的中继位置点。
[0125] 在判断最接近位置点与相应的中继位置点相连接后,将最接近位置点转换为中继位置点,重复确定中继位置点、最接近位置点的步骤,按照确定中继位置点、最接近位置点的顺序依次提取每个第一摄像头的第一摄像头标签。本发明会在最接近位置点与相应的中继位置点相连接后,重复以上的步骤,直到所有的第一摄像头分别连接后,依次提取每个第一摄像头的第一摄像头标签,此时第一摄像头标签的提取顺序即可以看作是对第一摄像头的巡检路径顺序。
[0126] 根据所第一摄像头的第一摄像头标的提取顺序生成标签序列,根据所述标签序列生成摄像头巡检路径。本发明会根据第一摄像头标的提取顺序生成标签序列,生成最终的摄像头巡检路径,使得本发明会根据检修点、第一摄像头的位置进行自动的路径规划,得到可能会出现问题的第一摄像头的巡检路径,使得第一摄像头在出现问题前即能够得到良好的维护,保障整个监控系统的稳定性。
[0127] 本发明融合深度学习目标检测技术和传统图像模糊检测算法,使用双阈值策略,补齐了传统算法在背景单一和镜头有少量污点时效果较差的短板,同时也弥补了深度学习技术对于图像模糊程度的缺乏解释性的缺陷,对于摄像机工作异常中的模糊判定问题,达到了良好的效果。
[0128] 在背景单一的场景下,本发明一方面能通过深度学习检测技术准确定位到纹理丰富的目标,能够有效降低单一背景对于模糊度量的不利影响,实现有效检测;另一方面,在定位不到目标的情况下,也能够通过这个信息推断出该图像纹理比较单一,从而选取比较高的阈值,解决在背景简单的场景下图像经常被误判为模糊图像的问题。
[0129] 在镜头有污点的情况下,深度学习检测算法能够检测到污点,通过统计污点的个数和面积,能够有效识别污点类型造成的图像模糊。
[0130] 本发明中,并没有使用深度学习简单进行二分类,而仅仅用于检测感兴趣的目标,通过传统图像算法和组合逻辑来判定图像是否模糊,当检测需求需要调整的时候,能够快速通过调整逻辑快速适配,也大大提高了摄像头异常检测程序的灵活性。
[0131] 为了实现本发明提供的一种适用于摄像头模糊画面的检测系统,如图2所示,包括:
[0132] 确定模块,用于基于检测模型对输入的待分析图像进行分析处理,确定待分析图像中的图像目标,确定待分析图像中为污点或绿色色块的第一图像目标,以及待分析图像中非污点和绿色色块的第二图像目标;
[0133] 第一计算模块,用于若判断第一图像目标和第二图像目标的数量为0,则根据待分析图像进行计算得到第一图像模糊因子,根据所述第一图像模糊因子确定待分析图像为图像模糊或图像清晰;
[0134] 第二计算模块,用于若判断第一图像目标和第二图像目标中的任意一个数量大于等于1,则根据所有第一图像目标的种类、数量以及面积进行计算得到第二图像模糊因子,根据所述第二图像模糊因子确定待分析图像为图像模糊或图像清晰。
[0135] 本发明还提供一种存储介质,所述存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。
[0136] 其中,存储介质可以是计算机存储介质,也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如,存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated 
Circuits,简称:ASIC)中。另外,该ASIC可以位于用户设备中。当然,处理器和存储介质也可以作为分立组件存在于通信设备中。存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD‑ROM、磁带、软盘和光数据存储设备等。
[0137] 本发明还提供一种程序产品,该程序产品包括执行指令,该执行指令存储在存储介质中。设备的至少一个处理器可以从存储介质读取该执行指令,至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
[0138] 在上述终端或者服务器的实施例中,应理解,处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:
Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application Specific Integrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
[0139] 最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。