一种基于去雾AI图像分析系统和快速响应门禁控制方法转让专利

申请号 : CN201810371650.5

文献号 : CN108711139B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 刘丰

申请人 : 特斯联(北京)科技有限公司

摘要 :

本发明提供了一种基于去雾AI图像分析系统以及快速响应门禁控制方法。本发明通过人工智能(AI)学习技术实现对当前图像的场景模式判断,采取与场景模式适配的图像局域划分策略,降低局域内的场景深度差异,通过与图像场景最优适配的局域划分策略使得假定局域的场景透射率均衡所带来的误差最小化,显著降低了去雾图像的块状效应,同时无需软抠图和引导滤波等精细调整算法,节约了门禁系统的运算资源,加快了门禁响应速度。同时本发明还可以基于场景模式判定当前图像是否存在去雾算法失效的情况,并且相应地引用相同场景模式下的无雾图像中提取的参数执行去雾算法中相关参数的修正,从而提升了门禁系统的鲁棒性。

权利要求 :

1.一种基于去雾AI图像分析的系统,其特征在于,包括:

图像场景特征提取模块,用于获取通过门禁摄像设备采集的当前图像,并且对所述当前图像执行增强处理,然后提取表示当前图像场景特征的图像边缘像素比率、封闭边缘像素比率、图像灰度一致性、图像像素纹理分布,将这些表示场景特征的值聚合为一个集合,作为有雾图像的场景特征集矢量;

其中,图像场景特征提取模块按照如下方式计算图像边缘像素比率:利用canny边缘检测算子来计算图像中属于边缘的像素个数,然后与总像素做比值求出边缘像素比率,作为描述图像场景深度的复杂程度的一个维度,边缘像素比率为: 其中,E、R分别为图像宽和高方向上的像素数,W为边缘的像素个数;

其中,图像场景特征提取模块按照如下方式计算封闭边缘像素比率:对于利用canny边缘检测算子计算的边缘像素(x,y),提取以该边缘像素(x,y)为中心的3ⅹ3像素块中包含的每个相邻像素(xb,yb),进而,计算边缘像素(x,y)的灰度值I(x,y)在x方向的灰度梯度和在y方向的灰度梯度 利用梯度计算像素梯度幅度函数值和像素梯度角度函数值

计算相邻像素(xb,yb)的灰度值I(xb,yb)在x方向的

灰度梯度 和在y方向的灰度梯度 计算相邻像素(xb,yb)的像素梯度幅度

函数值 和像素梯度角度函数值

判断|AF(x,y)-AF(xb,yb)|≤AFT和|DF

(x,y)-F(xb,yb)|≤DFT是否成立,若二者均成立则将该相邻像素(xb,yb)也加入边缘像素;其中AFT和DFT为预设的像素梯度角度阈值和像素梯度幅度阈值;遍历全部识别出的图像边缘像素及其相邻像素,以进行上述将相邻像素加入边缘像素的处理;然后,设置一封闭验证游标;选取任意边缘像素,将封闭验证游标放置在该边缘像素上,判断以该边缘像素为中心的

3ⅹ3像素块当中是否存在其它边缘像素,如果存在则将封闭验证游标移动至所述其它边缘像素;迭代执行上述判断,如果通过遍历图像边缘的边缘像素,该游标能够回归其起点,则认定当前的边缘为封闭边缘;在识别了全部封闭边缘之后,计算图像中属于封闭边缘的像素个数,然后与总像素做比值求出边缘像素比率;

其中 ,图像场景特征提取模块按照如下方式计算图像灰度一致性:

其中,f(i,j)是图像中(i,j)像素的处像素的灰度

值, 是图像中以(i,j)像素为中心的3*3邻域像素的灰度均值;E、R分别为图像宽和高方向上的像素数;

图像场景特征提取模块按照如下方式计算图像像素纹理分布:将图像分解为N×N个子区域,N的取值范围为5-10;针对其中每一个子区域,为该子区域内的每一个像素提取以该像素为中心像素、包括该像素左上、上、右上、右、右下、下、左下、左侧相邻像素的3×3像素块;该中心像素的纹理特征值Tc为:其中ic表示中心像素的像素灰度值,ip表示相邻像素的像素灰度值,按照左上、上、右上、右、右下、下、左下、左的顺序,p的取值依次由1至8;且在3×3像素块内,以中心像素的灰度值为阈值,将相邻的8个像素的灰度值与其进行比较,若相邻像素灰度值大于等于中心像素灰度值,则该相邻像素被标记为1,否则该相邻像素标记为0;这样,3×3像素块内的8个相邻像素经比较可产生8个数值为0或者1的标记,按照左上、上、右上、右、右下、下、左下、左的顺序将相邻像素对应的标记排列为一个8位的二进制数,该8位二进制数转化为十进制即为Tc,作为中心像素的纹理特征值,并用这个值来反映该像素块的纹理信息;对于N×N个子区域中的每一个子区域,获得其中每一个像素的纹理特征值,进而进行图像的像素纹理特征值的直方图统计,获得每个子区域的直方图数据;将全部子区域的直方图数据组合在一起,形成所述像素纹理分布特征;

场景模式分类模块,用于将表示当前图像场景特征的特征集矢量输入场景模式分类向量机,根据场景模式分类向量机的输出结果,确定该当前图像是否属于在暗通道去雾处理中需要对暗通道值和/或大气光值进行特殊估计的场景模式;

参数特殊估计模块,根据所述场景模式分类模块的判断结果,确定当前图像属于需要对暗通道值和/或大气光值进行特殊估计的有雾图像的情况下,根据预存储的相同场景模式下无雾图像,特殊估计暗通道值和/或大气光值;

基于人工神经网络的局域划分策略决定模块,用于预先建立一个标准局域划分模板,并且通过对其中每个标准局域均匀划分为一个或者多个等大的精细局域,生成局域划分调整策略;选取一定数量的有雾图像作为样本,针对每一张有雾图像样本,通过所述图像场景特征提取模块提取场景特征集矢量,作为样本特征集矢量;并且针对每一张有雾图像样本在标准局域划分模板的基础上进行精细局域划分,获得样本局域划分调整策略;将全部有雾图像样本的样本特征集矢量和样本局域划分调整策略,代入卷积神经网络模型,执行对该模型基于场景特征输出局域划分调整策略的训练;将当前有雾图像的场景特征集矢量输入训练后的卷积神经网络模型,使该卷积神经网络模型输出适应当前有雾图像的局域划分调整策略;将表示有雾当前图像场景特征的特征集矢量输入以有雾图像样本数据进行训练之后的人工智能神经网络,根据神经网络的输出确定局域划分调整策略;

去雾处理模块,根据所述局域划分调整策略对所述有雾当前图像划分局域,并且针对所划分的局域计算该局域的透射率值;进而根据所述局域的透射率值以及大气光值,从所述有雾当前图像计算去雾图像;其中,如果当前有雾图像不属于需要特殊估计的图像,则基于无雾图像暗通道为0的先验规则以及通过提取图像中的最大亮度像素值作为大气光值的设定,针对按照局域划分调整策略所划分的每个局域,如下计算每个局域的透射率进而将求得的A和每个局域的场景透射率t(Δ)代入上述模型:其中,局域Δ内的t(x,y)取值为场景透射率t(Δ),从而可以求得去雾图像J(x,y);反之,如果去雾处理模块根据场景模式分类模块的判定结果,确定当前有雾图像属于需要特殊估计暗通道值和/或大气光值的图像,则按照参数特殊估计模块为当前图像选定的参考无雾图像对应的参考暗通道值以及参考大气光值,代入如下公式:从而针对按照局域划分调整策略所划分的每个局域,计算每个局域的透射率;进而将特殊估计的A值和每个局域的场景透射率t(Δ)代入上述模型:其中,局域Δ内的t(x,y)取值为场景透射率t(Δ),从而可以求得去雾图像J(x,y);

图像分析模块,用于针对所述去雾图像执行识别人物身份相关的图像分析,并根据图像分析结果控制门禁设备的响应。

2.如权利要求1所述的基于去雾AI图像分析的系统,其特征在于:

所述场景模式分类模块包括:第一场景模式分类向量机,用于接受具有大片白色明亮区域图像样本的训练,并且根据当前图像的场景特征集矢量,判断当前图像是否属于大片白色明亮区域图像;以及第二场景模式分类向量机,用于接受具有异常明亮点的图像样本的训练,并且根据输入的当前图像的场景特征集矢量,判断当前图像是否属于存在异常明亮点的图像。

3.如权利要求1所述的基于去雾AI图像分析的系统,其特征在于:

参数特殊估计模块用于在场景模式分类模块判断一幅图像属于大片白色明亮区域图像或者属于存在异常明亮点的图像情况下,根据该图像的图像灰度一致性,判断该图像是有雾图像还是无雾图像;对于该图像是无雾图像的情况,则将该图像作为参考无雾图像,计算该参考无雾图像的暗通道值作为参考暗通道值进行存储;并且通过该参考无雾图像计算参考大气光值进行存储;还存储该参考无雾图像的场景特征集;并且,当前图像属于存在大片白色明亮区域或者属于存在异常明亮点的有雾图像的情况下,确定与当前图像的场景特征集相似度最大的参考无雾图像,将该参考无雾图像对应的参考暗通道值以及参考大气光值作为对当前有雾图像的特殊估计的暗通道值和/或大气光值。

4.一种基于去雾AI图像分析的快速响应门禁控制方法,其特征在于,包括以下步骤:

用于获取通过门禁摄像设备采集的当前图像,并且对所述当前图像执行增强处理,然后提取表示当前图像场景特征的图像边缘像素比率、封闭边缘像素比率、图像灰度一致性、图像像素纹理分布,将这些表示场景特征的值聚合为一个集合,作为有雾图像的场景特征集矢量;

其中,按照如下方式计算图像边缘像素比率:利用canny边缘检测算子来计算图像中属于边缘的像素个数,然后与总像素做比值求出边缘像素比率,作为描述图像场景深度的复杂程度的一个维度,边缘像素比率为: 其中,E、R分别为图像宽和高方向上的像素数,W为边缘的像素个数;

其中,按照如下方式计算封闭边缘像素比率:对于利用canny边缘检测算子计算的边缘像素(x,y),提取以该边缘像素(x,y)为中心的3ⅹ3像素块中包含的每个相邻像素(xb,yb),进而,计算边缘像素(x,y)的灰度值I(x,y)在x方向的灰度梯度 和在y方向的灰度梯度 利用梯度计算像素梯度幅度函数值 和像素梯度角度函数值 计算相邻像素(xb,yb)的灰度值I(xb,yb)

在x方向的灰度梯度 和在y方向的灰度梯度 计算相邻像素(xb,yb)的像素

梯 度幅 度函 数 值 和像 素 梯度 角 度函 数 值

判断|AF(x,y)-AF(xb,yb)|≤AFT和|DF(x,

y)-DF(xb,yb)|≤DFT是否成立,若二者均成立则将该相邻像素(xb,yb)也加入边缘像素;其中AFT和DFT为预设的像素梯度角度阈值和像素梯度幅度阈值;遍历全部识别出的图像边缘像素及其相邻像素,以进行上述将相邻像素加入边缘像素的处理;然后,设置一封闭验证游标;选取任意边缘像素,将封闭验证游标放置在该边缘像素上,判断以该边缘像素为中心的

3ⅹ3像素块当中是否存在其它边缘像素,如果存在则将封闭验证游标移动至所述其它边缘像素;迭代执行上述判断,如果通过遍历图像边缘的边缘像素,该游标能够回归其起点,则认定当前的边缘为封闭边缘;在识别了全部封闭边缘之后,计算图像中属于封闭边缘的像素个数,然后与总像素做比值求出边缘像素比率;

其中,按照如下方式计算图像灰度一致性: 其中,

f(i,j)是图像中(i,j)像素的处像素的灰度值, 是图像中以(i,j)像素为中心的3*3邻域像素的灰度均值;E、R分别为图像宽和高方向上的像素数;

按照如下方式计算图像像素纹理分布:将图像分解为N×N个子区域,N的取值范围为5-

10;针对其中每一个子区域,为该子区域内的每一个像素提取以该像素为中心像素、包括该像素左上、上、右上、右、右下、下、左下、左侧相邻像素的3×3像素块;该中心像素的纹理特征值Tc为:其中ic表示中心像素的像素灰度值,ip表示相邻像素的像素灰度值,按照左上、上、右上、右、右下、下、左下、左的顺序,p的取值依次由1至8;且在3×3像素块内,以中心像素的灰度值为阈值,将相邻的8个像素的灰度值与其进行比较,若相邻像素灰度值大于等于中心像素灰度值,则该相邻像素被标记为1,否则该相邻像素标记为0;这样,3×3像素块内的8个相邻像素经比较可产生8个数值为0或者1的标记,按照左上、上、右上、右、右下、下、左下、左的顺序将相邻像素对应的标记排列为一个8位的二进制数,该8位二进制数转化为十进制即为Tc,作为中心像素的纹理特征值,并用这个值来反映该像素块的纹理信息;对于N×N个子区域中的每一个子区域,获得其中每一个像素的纹理特征值,进而进行图像的像素纹理特征值的直方图统计,获得每个子区域的直方图数据;将全部子区域的直方图数据组合在一起,形成所述像素纹理分布特征;

将表示当前图像场景特征的特征集矢量输入场景模式分类向量机,根据场景模式分类向量机的输出结果,确定该当前图像是否属于在暗通道去雾处理中需要对暗通道值和/或大气光值进行特殊估计的场景模式;

根据所述场景模式分类的判断结果,确定当前图像属于需要对暗通道值和/或大气光值进行特殊估计的有雾图像的情况下,根据预存储的相同场景模式下无雾图像,特殊估计暗通道值和/或大气光值;

预先建立一个标准局域划分模板,并且通过对其中每个标准局域均匀划分为一个或者多个等大的精细局域,生成局域划分调整策略;选取一定数量的有雾图像作为样本,针对每一张有雾图像样本,提取场景特征集矢量,作为样本特征集矢量;并且针对每一张有雾图像样本在标准局域划分模板的基础上进行精细局域划分,获得样本局域划分调整策略;将全部有雾图像样本的样本特征集矢量和样本局域划分调整策略,代入卷积神经网络模型,执行对该模型基于场景特征输出局域划分调整策略的训练;将当前有雾图像的场景特征集矢量输入训练后的卷积神经网络模型,使该卷积神经网络模型输出适应当前有雾图像的局域划分调整策略;将表示有雾当前图像场景特征的特征矢量输入以有雾图像样本数据进行训练之后的人工智能神经网络,根据神经网络的输出确定局域划分调整策略;

根据所述局域划分调整策略对所述有雾当前图像划分局域,并且针对所划分的局域计算该局域的透射率值;进而根据所述局域的透射率值以及大气光值,从所述有雾当前图像计算去雾图像;其中,如果当前有雾图像不属于需要特殊估计的图像,则基于无雾图像暗通道为0的先验规则以及通过提取图像中的最大亮度像素值作为大气光值的设定,针对按照局域划分调整策略所划分的每个局域,如下计算每个局域的透射率进而将求得的A和每个局域的场景透射率t(Δ)代入上述模型:

其中,局域Δ内的t(x,y)取值为场景透射率t(Δ),从而可以求得去雾图像J(x,y);反之,如果根据场景模式分类的判定结果,确定当前有雾图像属于需要特殊估计暗通道值和/或大气光值的图像,则按照为当前图像选定的参考无雾图像对应的参考暗通道值以及参考大气光值,代入如下公式:从而针对按照局域划分调整策略所划分的每个局域,计算每个局域的透射率;进而将特殊估计的A值和每个局域的场景透射率t(Δ)代入上述模型:其中,局域Δ内的t(x,y)取值为场景透射率t(Δ),从而可以求得去雾图像J(x,y);

针对所述去雾图像执行识别人物身份相关的图像分析,并根据图像分析结果控制门禁设备的响应。

5.根据权利要求4所述的基于去雾AI图像分析的快速响应门禁控制方法,其特征在于:

在判断一幅图像属于大片白色明亮区域图像或者属于存在异常明亮点的图像情况下,根据该图像的图像灰度一致性,判断该图像是有雾图像还是无雾图像;对于该图像是无雾图像的情况,则将该图像作为参考无雾图像,计算该参考无雾图像的暗通道值作为参考暗通道值进行存储;并且通过该参考无雾图像计算参考大气光值进行存储;还存储该参考无雾图像的场景特征集;并且,当前图像属于存在大片白色明亮区域或者属于存在异常明亮点的有雾图像的情况下,确定与当前图像的场景特征集相似度最大的参考无雾图像,将该参考无雾图像对应的参考暗通道值以及参考大气光值作为对当前有雾图像的特殊估计的暗通道值和/或大气光值。

说明书 :

一种基于去雾AI图像分析系统和快速响应门禁控制方法

技术领域

[0001] 本发明属于人工智能技术领域,尤其涉及一种基于去雾AI图像分析系统和快速响应门禁控制方法。

背景技术

[0002] 在雾霾天气里面进行室外图像采集时,由于空气中细小颗粒物对光线的吸收与散射,造成图像对比度降低,色调出现偏移,画面内容呈现模糊,这必然会给图像内容的快速识别与分析带来障碍。特别是对于智慧社区、智慧楼宇的门禁系统来说,由于其主要是提取用户面部图像的表面纹理的精细特征值实现身份认证,在雾霾天气下,以上特征值受到比较大的干扰,很容易发生错误识别、延迟识别或无法识别的情况。尤其目前部分地区的雾霾天气发生频率比较高,会给门禁系统的可靠工作产生相当不利的影响。
[0003] 图像去雾处理在近年来愈发得到相关技术领域的重视。最初的技术手段是采用基于图像增强的方法,通过提高有雾图像的对比度、利用算子强化边缘以及突出图像细节以改善视觉效果,但是这一方法去雾程度比较有限,而且在处理过程中易造成图像细节的改变,对于门禁识别来说同样增大了错误发生率。2009年以来,本领域又提出了基于暗通道的图像去雾处理方法,这一原理为图像去雾技术向着本质深入发展打下了坚实的基础。基于暗通道的图像去雾处理方法认为描述有雾图像与去雾图像之间关系的光学模型如下:
[0004]
[0005] 其中,J(x,y)表示去雾后的图像,I(x,y)表示有雾的原始图像,A表示该图像的大气光值,也就是环境大气的亮度,而t(x,y)表示该幅图像的场景透射率图,也就是景物光线穿透空气进入相机的投射程度,t0是为了防止过度去雾造成失真而人为规定的一个门限值。原始图像I(x,y)和t0是已知量,因此为了通过上述公式求解去雾图像J(x,y),需要获得公式中的其它参量A与t(x,y)。在现有技术中,一般根据有雾图像中亮度最大的像素点的值估算出大气光值A。而场景透射率图t(x,y)=e-β·d(x,y),β为图像的介质散射系数,是一个均匀的常量,而d(x,y)为图像的场景深度图,与图像的场景深度特征,每一幅图像场景都不尽相同,因此对于每一幅图像来说场景透射率图t(x,y)都是特有的。
[0006] 通过对大量无雾图像的研究,认为对户外无雾图像当中除了天空区域的大部分局域来说,进行R、G、B颜色通道分离之后,至少某个颜色通道的强度分布在较低的灰度级,则将该局部区域的该通道称之为暗通道,则将暗通道表示为Jdark=min(x,y)∈Δ(minc∈(R,G,B)Jc(x,y)),其中Jdark表示去雾图像J(x,y)的暗通道值,c表示R、G、B三个通道,minc∈(R,G,B)Jc(x,y)表示去雾图像的像素(x,y)在R、G、B三个通道上的强度值的最小值,Δ表示去雾图像的一个局域,像素(x,y)属于该局域;对于无雾图像除了天空区域以外的大部分局域来说,Jdark的值趋近于零。并且,对于一个图像局域Δ来说,由于场景深度变化不大,因此可以认为该局域内的场景透射率图t(x,y)取一个固定值,表示为t((x,y)∈Δ)=t(Δ),则
[0007]
[0008]
[0009] 根据去雾图像除了天空区域以外的大部分局域Jdark的值趋近于零的先验规则,认为 的值趋于0,则局域的透射率
[0010]
[0011] 其中Ac可以用R、G、B每个颜色通道中亮度最大的像素点的值,而min(x,y)∈Δ(minc∈(R,G,B)Ic(x,y))是求每个局域的有雾图像的暗通道值。将求得的A和每个局域的场景透射率t(Δ)代入上述模型:
[0012]
[0013] 就可以求得去雾图像J(x,y)。
[0014] 但是,现有的基于暗通道原理的图像去雾技术仍然存在缺陷,首先,对于公式中的场景透射率图t(x,y),是将其转化为每个局域的场景透射率t(Δ),也就是假定每个局域内各个像素的场景透射率是相同的,如上面介绍的,场景投射率是由场景深度特征决定的,一个局域内的场景深度差异相对于整幅图像的场景深度差异确实是有所减小,但是该差异也并不是总可以被忽略的,有些局域内部也存在较为明显的场景深度差异。暗通道原理的去雾算法将每个局域内部的场景透射率假定为一个恒量,这样,就导致去雾后的图像中出现块状效应。现有技术中为了解决块状效应的问题,还需要进一步采用软抠图或者引导滤波的方法对局域的场景透射率进行细化,但是软抠图和引导滤波都需要遍历图像的全部像素点进行逐像素级别的运算,需要消耗的运算资源比较大,容易产生较长的时间延迟,这对于门禁系统中成本较低的硬件配置和需要快速响应的应用场景来说并不适合。另外,暗通道原理虽然是大概率成立的,但是也不是100%适用的,例如,如果图像画面中存在大块白色局域,就有可能造成暗通道原理的去雾算法失效。另外如果图像画面中存在个别异常明亮点(例如强烈光照下的反光点),还有可能造成对上述公式中A值的估计偏差,这在实际应用中都是不得不考虑的情况,特别是在门禁系统这种对可靠性要求比较高的设备之中。

发明内容

[0015] 本发明提供了一种基于去雾AI图像分析系统以及快速响应门禁控制方法。本发明基于门禁应用中获取的图像具有一定场景相似度的实际,通过人工智能(AI)学习技术实现对当前图像的场景模式判断,采取与场景模式适配的图像局域划分策略,降低局域内的场景深度差异,通过与图像场景最优适配的局域划分策略使得假定局域的场景透射率均衡所带来的误差最小化,显著降低了去雾图像的块状效应,同时无需软抠图和引导滤波等精细调整算法,节约了门禁系统的运算资源,加快了门禁响应速度。同时本发明还可以基于场景模式判定当前图像是否存在去雾算法失效的情况,并且相应地引用相同场景模式下的无雾图像中提取的参数执行去雾算法中相关参数的修正,从而提升了门禁系统的鲁棒性。
[0016] 本发明提供的技术方案如下:
[0017] 一种基于去雾AI图像分析的系统,其特征在于,包括:
[0018] 图像场景特征提取模块,用于获取通过门禁摄像设备采集的当前图像,并且对所述当前图像执行增强处理,然后提取表示当前图像场景特征的特征集矢量;
[0019] 场景模式分类模块,用于将表示当前图像场景特征的特征集矢量输入场景模式分类向量机,根据场景模式分类向量机的输出结果,确定该当前图像是否属于在暗通道去雾处理中需要对暗通道值和/或大气光值进行特殊估计的场景模式;
[0020] 参数特殊估计模块,根据所述场景模式分类模块的判断结果,确定当前图像属于需要对暗通道值和/或大气光值进行特殊估计的有雾图像的情况下,根据预存储的相同场景模式下无雾图像,特殊估计暗通道值和/或大气光值;
[0021] 基于人工神经网络的局域划分策略决定模块,用于将表示有雾当前图像场景特征的特征矢量输入以有雾图像样本数据进行训练之后的人工智能神经网络,根据神经网络的输出确定局域划分调整策略;
[0022] 去雾处理模块,根据所述局域划分调整策略对所述有雾当前图像划分局域,并且针对所划分的局域计算该局域的透射率值;进而根据所述局域的透射率值以及大气光值,从所述有雾当前图像计算去雾图像;
[0023] 图像分析模块,用于针对所述去雾图像执行识别人物身份相关的图像分析,并根据图像分析结果控制门禁设备的响应。
[0024] 优选的是,图像场景特征提取模块提取的场景特征集包括但不限于:图像边缘像素比率、封闭边缘像素比率、图像灰度一致性、图像像素纹理分布。
[0025] 优选的是,所述场景模式分类模块包括:第一场景模式分类向量机,用于接受具有大片白色明亮区域图像样本的训练,并且根据当前图像的场景特征集矢量,判断当前图像是否属于大片白色明亮区域图像;以及
[0026] 第二场景模式分类向量机,用于接受具有异常明亮点的图像样本的训练,并且根据输入的当前图像的场景特征集矢量,判断当前图像是否属于存在异常明亮点的图像。
[0027] 优选的是,参数特殊估计模块用于在场景模式分类模块判断一幅图像属于大片白色明亮区域图像或者属于存在异常明亮点的图像情况下,根据该图像的图像灰度一致性,判断该图像是有雾图像还是无雾图像;对于该图像是无雾图像的情况,则将该图像作为参考无雾图像,计算该参考无雾图像的暗通道值作为参考暗通道值进行存储;并且通过该参考无雾图像计算参考大气光值进行存储;还存储该参考无雾图像的场景特征集;并且,当前图像属于存在大片白色明亮区域或者属于存在异常明亮点的有雾图像的情况下,确定与当前图像的场景特征集相似度最大的参考无雾图像,将该参考无雾图像对应的参考暗通道值以及参考大气光值作为对当前有雾图像的特殊估计的暗通道值和/或大气光值。
[0028] 优选的是,所述局域划分策略决定模块预先建立一个标准局域划分模板,并且通过对其中每个标准局域均匀划分为一个或者多个等大的精细局域,生成局域划分调整策略;选取一定数量的有雾图像作为样本,针对每一张有雾图像样本,通过所述图像场景特征提取模块提取场景特征集矢量,作为样本特征集矢量;并且针对每一张有雾图像样本在标准局域划分模板的基础上进行精细局域划分,获得样本局域划分调整策略;将全部有雾图像样本的样本特征集矢量和样本局域划分调整策略,代入卷积神经网络模型,执行对该模型基于场景特征输出局域划分调整策略的训练;将当前有雾图像的场景特征集矢量输入训练后的卷积神经网络模型,使该卷积神经网络模型输出适应当前有雾图像的局域划分调整策略。
[0029] 优选的是,所述去雾处理模块针对需要对暗通道值和/或大气光值进行特殊估计的有雾图像,代入所述特殊估计的暗通道值和/或大气光值计算所述局域的透射率;并且,根据所述局域的透射率以及特殊估计的大气光值进行从所述有雾图像到无雾图像的计算。
[0030] 本发明提供了一种基于去雾A I图像分析的快速响应门禁控制方法,其特征在于,包括以下步骤:
[0031] 用于获取通过门禁摄像设备采集的当前图像,并且对所述当前图像执行增强处理,然后提取表示当前图像场景特征的特征集矢量;
[0032] 将表示当前图像场景特征的特征集矢量输入场景模式分类向量机,根据场景模式分类向量机的输出结果,确定该当前图像是否属于在暗通道去雾处理中需要对暗通道值和/或大气光值进行特殊估计的场景模式;
[0033] 根据所述场景模式分类模块的判断结果,确定当前图像属于需要对暗通道值和/或大气光值进行特殊估计的有雾图像的情况下,根据预存储的相同场景模式下无雾图像,特殊估计暗通道值和/或大气光值;
[0034] 将表示有雾当前图像场景特征的特征矢量输入以有雾图像样本数据进行训练之后的人工智能神经网络,根据神经网络的输出确定局域划分调整策略;
[0035] 根据所述局域划分调整策略对所述有雾当前图像划分局域,并且针对所划分的局域计算该局域的透射率值;进而根据所述局域的透射率值以及大气光值,从所述有雾当前图像计算去雾图像;
[0036] 针对所述去雾图像执行识别人物身份相关的图像分析,并根据图像分析结果控制门禁设备的响应。
[0037] 优选的是,其中,提取的场景特征集包括但不限于:图像边缘像素比率、封闭边缘像素比率、图像灰度一致性、图像像素纹理分布。
[0038] 优选的是,在判断一幅图像属于大片白色明亮区域图像或者属于存在异常明亮点的图像情况下,根据该图像的图像灰度一致性,判断该图像是有雾图像还是无雾图像;对于该图像是无雾图像的情况,则将该图像作为参考无雾图像,计算该参考无雾图像的暗通道值作为参考暗通道值进行存储;并且通过该参考无雾图像计算参考大气光值进行存储;还存储该参考无雾图像的场景特征集;并且,当前图像属于存在大片白色明亮区域或者属于存在异常明亮点的有雾图像的情况下,确定与当前图像的场景特征集相似度最大的参考无雾图像,将该参考无雾图像对应的参考暗通道值以及参考大气光值作为对当前有雾图像的特殊估计的暗通道值和/或大气光值。
[0039] 优选的是,预先建立一个标准局域划分模板,并且通过对其中每个标准局域均匀划分为一个或者多个等大的精细局域,生成局域划分调整策略;选取一定数量的有雾图像作为样本,针对每一张有雾图像样本提取场景特征集矢量,作为样本特征集矢量;并且针对每一张有雾图像样本在标准局域划分模板的基础上进行精细局域划分,获得样本局域划分调整策略;将全部有雾图像样本的样本特征集矢量和样本局域划分调整策略,代入卷积神经网络模型,执行对该模型基于场景特征输出局域划分调整策略的训练;将当前有雾图像的场景特征集矢量输入训练后的卷积神经网络模型,使该卷积神经网络模型输出适应当前有雾图像的局域划分调整策略。
[0040] 优选的是,针对需要对暗通道值和/或大气光值进行特殊估计的有雾图像,代入所述特殊估计的暗通道值和/或大气光值计算所述局域的透射率;并且,根据所述局域的透射率以及特殊估计的大气光值进行从所述有雾图像到无雾图像的计算。
[0041] 本发明通过人工智能(AI)学习技术实现对当前图像的场景模式判断,采取与场景模式适配的图像局域划分策略,降低局域内的场景深度差异,通过与图像场景最优适配的局域划分策略使得假定局域的场景透射率均衡所带来的误差最小化,显著降低了去雾图像的块状效应,同时无需软抠图和引导滤波等精细调整算法,节约了门禁系统的运算资源,加快了门禁响应速度。同时本发明还可以基于场景模式判定当前图像是否存在去雾算法失效的情况,并且相应地引用相同场景模式下的无雾图像中提取的参数执行去雾算法中相关参数的修正,从而提升了门禁系统的鲁棒性。

附图说明

[0042] 图1是本发明实施例提供的基于去雾A I图像分析的系统结构示意图;
[0043] 图2是本发明实施例提供的场景模式分类模块的具体结构示意图;
[0044] 图3A和图3B是本发明实施例提供的标准局域划分到精细局域划分的调整策略示意图;
[0045] 图4是本发明实施例提供的局域划分策略决定模块卷积神经网络模型示意图。

具体实施方式

[0046] 以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
[0047] 同时,在以下说明中,出于解释的目的而阐述了许多具体细节,以提供对本发明实施例的彻底理解。然而,对本领域的技术人员来说显而易见的是,本发明可以不用这里的具体细节或者所描述的特定方式来实施。
[0048] 图1示出了作为本发明实施例的一种基于去雾AI图像分析的系统,具体包括:图像场景特征提取模块101、场景模式分类模块102、参数特殊估计模块103、基于人工神经网络的局域划分策略决定模块104、去雾处理模块105以及图像分析模块106。
[0049] 图像场景特征提取模块101,用于获取通过门禁摄像设备采集的当前图像,并且对所述有雾图像执行增强处理,然后提取表示当前图像场景特征的特征集矢量。图像场景特征提取模块101从增强处理之后的当前图像中所提取的场景特征集包括但不限于:图像边缘像素比率、封闭边缘像素比率、图像灰度一致性、图像像素纹理分布。
[0050] 其中,按照如下方式计算图像边缘像素比率:利用canny边缘检测算子来计算图像中属于边缘的像素个数,然后与总像素做比值求出边缘像素比率,作为描述图像场景深度的复杂程度的一个维度;边缘像素比率为: 其中,E、R分别为图像宽和高方向上的像素数;W为边缘的像素个数。
[0051] 封闭边缘像素比率是图像中封闭边缘的像素数与总像素数的比率,因为封闭边缘一般代表了场景中的对象,因此其能够更为准确地表征图像场景深度的复杂程度。对于利用canny边缘检测算子边缘像素(x,y),提取以该边缘像素(x,y)为中心的3ⅹ3像素块中包含的每个相邻像素(xb,yb),进而,计算边缘像素(x,y)的灰度值I(x,y)在x方向的灰度梯度和在y方向的灰度梯度 利用梯度计算像素梯度幅度函数值和像素梯度角度函数值
计算相邻像素(xb,yb)的灰度值I(xb,yb)在x方向的
灰度梯度 和在y方向的灰度梯度 计算相邻像素(xb,yb)的像素梯度幅度
函数值 和像素梯度角度函数值
判断|AF(x,y)-AF(xb,yb)|≤AFT和|DF(x,
y)-DF(xb,yb)|≤DFT是否成立,若二者均成立则将该相邻像素(xb,yb)也加入边缘像素;其中AFT和DFT为预设的像素梯度角度阈值和像素梯度幅度阈值。遍历全部识别出的图像边缘像素及其相邻像素,以进行上述将相邻像素加入边缘像素的处理。然后,设置一封闭验证游标;选取任意边缘像素,将封闭验证游标放置在该边缘像素上,判断以该边缘像素为中心的
3ⅹ3像素块当中是否存在其它边缘像素,如果存在则将封闭验证游标移动至所述其它边缘像素;迭代执行上述判断,如果通过遍历图像边缘的边缘像素,该游标能够回归其起点,则认定当前的边缘为封闭边缘。在识别了全部封闭边缘之后,计算图像中属于封闭边缘的像素个数,然后与总像素做比值求出边缘像素比率。
[0052] 图像灰度一致性表示为 其中,f(i,j)是图像中(i,j)像素的处像素的灰度值, 是图像中以(i,j)像素为中心的3*3邻域像素的灰度均值;E、R分别为图像宽和高方向上的像素数。图像灰度一致性反映了图像场景的均一性,同时也是图像是有雾图像还是无雾图像的判定依据。
[0053] 图像像素纹理分布是将图像分解为N×N个子区域,N的取值范围为5-10;针对其中每一个子区域,为该子区域内的每一个像素提取以该像素为中心像素、包括该像素左上、上、右上、右、右下、下、左下、左侧相邻像素的3×3像素块;该中心像素的纹理特征值Tc为:
[0054]
[0055] 其中ic表示中心像素的像素灰度值,ip表示相邻像素的像素灰度值,按照左上、上、右上、右、右下、下、左下、左的顺序,p的取值依次由1至8;且
[0056]
[0057] 也就是说,在3×3像素块内,以中心像素的灰度值为阈值,将相邻的8个像素的灰度值与其进行比较,若相邻像素灰度值大于等于中心像素灰度值,则该相邻像素被标记为1,否则该相邻像素标记为0。这样,3×3像素块内的8个相邻像素经比较可产生8个数值为0或者1的标记,按照左上、上、右上、右、右下、下、左下、左的顺序将相邻像素对应的标记排列为一个8位的二进制数,该8位二进制数转化为十进制即为Tc,作为中心像素的纹理特征值,并用这个值来反映该像素块的纹理信息。对于N×N个子区域中的每一个子区域,获得其中每一个像素的纹理特征值,进而进行图像的像素纹理特征值的直方图统计,获得每个子区域的直方图数据;将全部子区域的直方图数据组合在一起,形成所述像素纹理分布特征。图像场景深度越多样,则图像纹理分布越丰富;图像场景深度单一,则图像纹理分布越简单。
[0058] 图像场景特征提取模块101针对每幅输入的当前图像计算以上图像边缘像素比率、封闭边缘像素比率、图像灰度一致性、图像像素纹理分布,将这些场景特征的值聚合为一个集合,作为该有雾图像的场景特征集,也可以将每个场景特征集理解为一个高维特征集矢量。
[0059] 场景模式分类模块102用于将表示当前图像场景特征的特征集矢量输入场景模式分类向量机,根据场景模式分类向量机的输出结果,确定该当前图像是否属于在暗通道去雾处理中需要对暗通道值和/或大气光值进行特殊估计的场景模式。对于图像画面中存在大片白色明亮区域的图像,暗通道规律有很大概率会失效,因此,需要对此类画面的暗通道值进行特殊估计。另外,如果图像画面中存在个别异常明亮点,就不能依据最大亮度的像素点来估计大气光值A,也需要特殊估计该A值。如图2所示,场景模式分类模块102运用SVM分类机制,包括第一场景模式分类向量机102A和第二场景模式分类向量机102B。第一场景模式分类向量机102A接受具有大片白色明亮区域图像样本的训练,例如,选取500-1000张具有大片白色明亮区域图像样本,从每幅图像样本提取上述场景特征集,作为一个特征集矢量输入该SVM分类向量机102A执行训练;从而,可根据输入该分类向量机102A的当前图像的场景特征集,由第一场景模式分类向量机102A判断当前图像是否属于大片白色明亮区域图像(属于则输出1,不属于则输出0),如果是,则当前图像需要对其暗通道值进行特殊估计。类似,第二场景模式分类向量机102B接受具有异常明亮点的图像样本的训练,例如选取
500-1000张具有异常明亮像素点的图像样本,从每幅图像样本提取上述场景特征集,作为一个特征集矢量输入该SVM分类向量机102B执行训练;从而,可根据输入该分类向量机102B的当前图像的场景特征集,由第二场景模式分类向量机102B判断当前图像是否属于存在异常明亮点的图像(属于则输出1,不属于则输出0),如果是,则需要对当前图像的大气光值A进行特殊估计。
[0060] 参数特殊估计模块103,用于在所述场景模式分类模块102确定当前图像属于需要对暗通道值和/或大气光值进行特殊估计的有雾图像的情况下,根据预存储的相同场景模式下无雾图像,特殊估计暗通道值和/或大气光值。本发明利用门禁设备的安装位置和拍摄范围比较固定,因此容易获得相对固定场景画面的特点,当场景模式分类模块102确定门禁摄像设备采集的某一幅图像属于大片白色明亮区域图像或者存在异常明亮点的图像的情况下,则进而通过该图像的图像灰度一致性,判断该图像是有雾图像还是无雾图像;可以设定一个灰度一致性阈值,若大于等于该阈值说明该图像为有雾图像,若小于该阈值说明该图像是无雾图像;对于该图像是无雾图像的情况,则针对该图像计算其暗通道值,作为参考暗通道值进行存储;并且,利用识别算法(例如色彩识别)从该无雾图像中提取天空区域(大片蓝色区域),进而根据天空区域像素计算参考大气光值进行存储;还存储该参考无雾图像的场景特征集。当场景模式分类模块102确定门禁摄像设备采集的当前图像需要对暗通道值和/或大气光值进行特殊估计,且根据灰度一致性确定当前图像属于有雾图像的情况下,则参数特殊估计模块103根据当前图像的场景特征集与所存储的参考无雾图像的场景特征集进行比较,确定与当前图像的场景特征集相似度最大的参考无雾图像(可以认为特征集矢量的距离最近则该相似度最大),将该参考无雾图像对应的参考暗通道值以及参考大气光值作为对当前有雾图像的特殊估计的暗通道值和/或大气光值。
[0061] 基于人工神经网络的局域划分策略决定模块104,用于将表示有雾图像场景特征的特征集矢量输入以有雾图像样本数据进行训练之后的人工智能神经网络,根据神经网络的输出确定局域划分调整策略。首先,局域划分策略决定模块104根据图像场景特征提取模块101提取的当前图像的图像灰度一致性,判断该图像是有雾图像还是无雾图像;根据设定灰度一致性阈值,若大于等于该阈值说明当前图像为有雾图像,若小于该阈值说明当前图像是无雾图像。如果判断当前图像属于有雾图像,则局域划分策略决定模块104将当前有雾图像的所述特征集矢量输入该模块内置的卷积神经网络,该神经网络的输出为适应当前有雾图像深度分布的局域划分调整策略。
[0062] 下面具体介绍关于局域划分策略决定模块104如何进行卷积神经网络模型的训练,以及如何基于训练之后的该神经网络模型对当前输入的有雾图像输出局域划分调整策略。
[0063] 具体来说,预先建立一个标准局域划分模板,如图3A,将一幅图像均匀划分为L×W个等大的局域。针对一幅有雾图像,在所述标准局域划分模板的基础上,再针对其中每个标准局域进行精细局域划分,将每个标准局域均匀划分为至少一个、至多H×K个等大的精细局域,如图3B所示,通过精细划分使每个精细局域内的场景深度差异最小化。将每个标准局域被划分的精细局域数量作为一个L×W维度的向量,即作为所述局域划分调整策略。
[0064] 首先选取一定数量的各种场景模式的有雾图像作为样本,例如500-1000张各种场景模式的有雾图像样本;针对每一张有雾图像样本,通过所述图像场景特征提取模块101提取至少包括图像边缘像素比率、封闭边缘像素比率、图像灰度一致性、图像像素纹理分布的特征集矢量,作为样本特征集矢量。并且,针对每一幅有雾图像样本,在标准局域划分模板的基础上进行精细局域划分,例如可以针对有雾图像样本利用引导滤波优化局域大小,实现所述精细局域划分;也可以对每个标准局域尝试进行初步精细划分(例如划分为2个精细局域),检测划分后每个精细局域内部的场景深度差异,进而决定是否继续进行下一轮精细局域划分;从而,针对每一幅有雾图像样本,最终获得样本局域划分调整策略。
[0065] 然后,利用全部有雾图像样本的样本特征集矢量和样本局域划分调整策略,代入到图4所示的卷积神经网络模型,执行对该模型基于场景特征输出局域划分调整策略的训练。该卷积神经网络输入层具有N个输入神经元,每个输入神经元对应特征集矢量的一个维度xpn;隐藏层具有K个隐层神经元;输出层具有M个输出神经元,每个输出神经元对应局域划分调整策略的一个维度O2pm;则依次计算隐藏层和输出层的数值如下:
[0066]
[0067]
[0068] 其中w1nk是输入层的第n个神经元与隐藏层的第k个神经元之间的权重,O1pk是隐藏层第k个神经元的输出;w2km是隐藏层第k个神经元与输出层第m个神经元之间的权重,O2pm是第m个输出层神经元的输出,激活函数 i表示第i轮训练;
[0069] (3)执行偏差计算: 判断本轮(第i轮)获得的局域划分调整策略与样本局域划分调整策略的偏差是否小于等于预定的允许偏差ε,若判断结果为是,则停止迭代,若判断结果为否,则继续下面的流程;
[0070] (4)执行反向计算:
[0071]
[0072] 其中学习率为μ,
[0073] -δpm(i)=(tpm-O2pm(i))O2pm(i)(1-O2pm(i)),
[0074]
[0075] 更改权值如下:
[0076] w1nk(i+1)=w1nk(i)+Δw1nk(i+1)
[0077] w2km(i+1)=w2km(i)+Δw2km(i+1)
[0078] (5)返回第(2)步,重新进行第i+1轮学习。
[0079] 经过反复学习,不断调整神经元之间的权重值,直至神经网络输出的局域划分调整策略与样本局域划分调整策略之间的偏差达到小于等于预定的允许偏差ε,则卷积神经网络训练完成。
[0080] 从而,局域划分策略决定模块104将当前有雾图像的所述特征集矢量输入该模块内置的卷积神经网络,该神经网络的输出为适应当前有雾图像深度分布的局域划分调整策略,根据该局域划分调整策略对当前有雾图像实现局域划分,可以适应当前有雾图像的场景特征而使得局域内部的场景深度差异最小化。
[0081] 去雾处理模块105,根据所述局域划分调整策略所确定的精细局域,对当前的有雾图像划分局域。并且,去雾处理模块105根据场景模式分类模块102的判定结果,确定当前有雾图像是否属于需要特殊估计暗通道值和/或大气光值的图像。如果当前有雾图像不属于需要特殊估计的图像,则基于无雾图像暗通道为0的先验规则以及通过提取图像中的最大亮度像素值作为大气光值的设定,针对按照局域划分调整策略所划分的每个局域,如下计算每个局域的透射率
[0082]
[0083] 进而将求得的A和每个局域的场景透射率t(Δ)代入上述模型:
[0084]
[0085] 其中,局域Δ内的t(x,y)取值为场景透射率t(Δ),从而可以求得去雾图像J(x,y)。反之,如果去雾处理模块105根据场景模式分类模块102的判定结果,确定当前有雾图像属于需要特殊估计暗通道值和/或大气光值的图像,则按照参数特殊估计模块103为当前图像选定的参考无雾图像对应的参考暗通道值以及参考大气光值,代入如下公式:
[0086]
[0087] 从而针对按照局域划分调整策略所划分的每个局域,计算每个局域的透射率。进而将特殊估计的A值和每个局域的场景透射率t(Δ)代入上述模型:
[0088]
[0089] 其中,局域Δ内的t(x,y)取值为场景透射率t(Δ),从而可以求得去雾图像J(x,y)。
[0090] 图像分析模块106,用于针对所得到的去雾图像,执行识别人物身份相关的图像分析,例如人脸身份识别等,在此不再赘述。
[0091] 相应的,本发明提供了一种基于去雾AI图像分析的快速响应门禁控制方法,包括以下步骤:
[0092] 用于获取通过门禁摄像设备采集的当前图像,并且对所述当前图像执行增强处理,然后提取表示当前图像场景特征的特征集矢量。从当前图像中所提取的场景特征集包括但不限于:图像边缘像素比率、封闭边缘像素比率、图像灰度一致性、图像像素纹理分布。每种特征的计算方法及其意义在上文中已经详细说明,在此不再赘述。
[0093] 将表示当前图像场景特征的特征集矢量输入场景模式分类向量机,根据场景模式分类向量机的输出结果,确定该当前图像是否属于在暗通道去雾处理中需要对暗通道值和/或大气光值进行特殊估计的场景模式;
[0094] 根据所述场景模式分类模块的判断结果,确定当前图像属于需要对暗通道值和/或大气光值进行特殊估计的有雾图像的情况下,根据预存储的相同场景模式下无雾图像,特殊估计暗通道值和/或大气光值;
[0095] 将表示有雾当前图像场景特征的特征矢量输入以有雾图像样本数据进行训练之后的人工智能神经网络,根据神经网络的输出确定局域划分调整策略;
[0096] 根据所述局域划分调整策略对所述有雾当前图像划分局域,并且针对所划分的局域计算该局域的透射率值;进而根据所述局域的透射率值以及大气光值,从所述有雾当前图像计算去雾图像;
[0097] 针对所述去雾图像执行识别人物身份相关的图像分析,并根据图像分析结果控制门禁设备的响应。
[0098] 本发明通过人工智能(AI)学习技术实现对当前图像的场景模式判断,采取与场景模式适配的图像局域划分策略,降低局域内的场景深度差异,通过与图像场景最优适配的局域划分策略使得假定局域的场景透射率均衡所带来的误差最小化,显著降低了去雾图像的块状效应,同时无需软抠图和引导滤波等精细调整算法,节约了门禁系统的运算资源,加快了门禁响应速度。同时本发明还可以基于场景模式判定当前图像是否存在去雾算法失效的情况,并且相应地引用相同场景模式下的无雾图像中提取的参数执行去雾算法中相关参数的修正,从而提升了门禁系统的鲁棒性。
[0099] 显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。