一种消除图像阴霾的方法转让专利

申请号 : CN201610075166.9

文献号 : CN105741248B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 王好谦袁新王兴政张永兵邵航戴琼海

申请人 : 深圳市未来媒体技术研究院清华大学深圳研究生院

摘要 :

本发明涉及数字图像处理领域,尤其是涉及一种单幅图像去阴霾的技术:消除阴霾导致图像退化的方法。本发明基于大气光散射模型,并引入表征近似黑体辐射的暗点来作为图像先验知识来去除图像的阴霾退化,恢复清晰图像。具体的步骤有:输入图像;盒式滤波以获得亮度图和局部最小值点;图像分割以区分天空区域和地面目标;对天空区域作大气光估计;对地面目标作暗点选取;阴霾分布估计;衰减补偿计算;无衰减图像重建;色彩还原;输出图像。本发明实现了从一幅阴霾退化的图像中恢复一个等效晴天拍摄的清晰图像,即去阴霾。

权利要求 :

1.一种消除图像阴霾的方法,其特征在于包括如下步骤:S1、输入图像:输入一幅待处理的图像;

S2、滤波:对输入的图像作滤波;

S3、图像分割:将作滤波后的所有剩余的像素点分别标记为大气区域像素点或者地面区域像素点,完成分割图像;

S4、大气光估计:针对大气区域的亮度统计信息,按局部邻域像素亮度均匀一致程度筛选用于估计大气光的点,以这些点的均值计算大气光,分别记录大气光三个颜色通道的强度;

S5、暗点选取:选取暗点,求出所有暗点的集合;暗点是图像中表征场景近似黑体辐射物体的像素点,通过统计所有局部最小值点周围邻域得到的统计信息,只有周围邻域与局部最小值点亮度接近的点才是暗点;

S6、阴霾分布估计:获得图像各像素点的阴霾分布;

S7、衰减补偿计算:将不同颜色的光强衰减系数,以及各个暗点处的由距离造成的光强衰减程度分别求出,将由距离造成的光强衰减程度通过双边滤波传播到整幅图像,由此计算整幅图像的阴霾分布和RGB三个颜色通道的光强衰减信息,计算图像中各个点的衰减补偿量;

S8、无衰减图像重建:将大气光调整为纯白光,将整幅图像各颜色通道亮度等比例放大来还原无阴霾情况下的清晰图像,以此来补偿阴霾造成的整体亮度偏低和目标物体的颜色失真,得到去除光程中大气衰减因素造成的光亮变化后所有像素点各颜色通道的亮度值;

S9、色彩还原:去除由于大气光造成的颜色失真;

S10、输出图像: 将每个点的各颜色通道的亮度值保存下来,以图像格式输出,即得到了去除阴霾影响的图像。

2.如权利要求1所述的方法,其特征在于:所述滤波为盒式滤波,包括如下步骤:获得亮度图L(i,j)和暗通道图M(i,j)

L(i,j)=0.299IR(i,j)+0.587IG(i,j)+0.114IB(i,j)其中Ω(i,j)为点(i,j)的邻域,对于c∈{R,G,B}各颜色通道,Ic(i,j)表示输入图像(i,j)位置的像素点的颜色通道的亮度值。

3.如权利要求2所述的方法,其特征在于图像分割的方法包括如下步骤:对M(i,j)作直方图统计,获取直方图分布谷值的亮度值大小作为阈值Tc,并计算两个上下限阈值Ts=Tc+α(255-Tc)To=Tc-βTc

其中对于大于阈值Ts的像素求均值,标记为S,低于阈值To的像素求均值,标记为O,对于未标注点,通过最小化如下函数来标记:上式中

MX表示像素点X的暗通道值,Mω表示像素点X的邻域Ω(X)中像素点ω的暗通道值,γ是方程中的平滑参数,取0.1到10的参数作调整,最终将所有剩余的像素点X分别标记为S或者O,即完成分割图像。

4.如权利要求3所述的方法,其特征在于所述大气光估计包括如步骤:对于所有标记为S的点,选取所有满足如下方程的点:其中,Ω(i,j)为点(i,j)的邻域;选取所有满足以上方程的点(i,j),计算这些点各颜色通道的均值,作为大气光的估计值;大气光三个颜色通道的强度分别记为AR、AG、AB。

5.如权利要求4所述的方法,其特征在于暗点选取的方法包括如下步骤:对于所有标记为O的点,计算所有满足如下方程的局部最小值点,L(i,j)-M(i,j)=0

对于所有局部最小值点(i,j),按如下方程筛选为暗点:其中,Ω(i,j)是(i,j)的邻域,记所有暗点的集合为DP,数量为n。

6.如权利要求5所述的方法,其特征是阴霾分布估计的方法包括如下步骤:暗点(i,j)∈DP的各颜色通道亮度值均满足如下的方程:将所有n个暗点的坐标简记为1,2,…,k,…,n,则有如下矩阵方程成立:按如下方法求解该方程可得:

其中,||…||2表示计算向量的2-范数,也即是向量的模;

记所有求得的 为 且 原矩阵方程转化为如下:

其中,Z定义为Z=dl(1)τR,按如下方程计算:将暗点处求得的 按如下方程传播到图像中所有像素点;

计算出图像中所有像素点的 即获得了图像的阴霾分布。

7.如权利要求6所述的方法,其特征是所述衰减补偿计算包括如下步骤:定义衰减补偿Dc(i,j),其中c∈{R,G,B},(i,j)为图像中像素点坐标,Dc(i,j)分别按如下方程计算:

8.如权利要求7所述的方法,其特征是无衰减图像重建的方法包括如下步骤:得到衰减补偿系数,按如下方程计算所有点各颜色通道的亮度值:其中,c∈{R,G,B},得到的Pc(i,j)为去除光程中大气衰减因素造成的光亮变化。

9.如权利要求8所述的方法,其特征是色彩还原的方法包括如下步骤:将得到的Pc(i,j)按如下方程作调整:计算得到的Qc(i,j)即去除阴霾影响的清晰图像。

10.如权利要求1所述的方法,其特征是:对于大气区域不作去阴霾处理,使其保留阴霾散射信息。

说明书 :

一种消除图像阴霾的方法

技术领域

[0001] 本发明涉及数字图像处理领域,尤其是涉及一种单幅图像去阴霾的技术。

背景技术

[0002] 人类正在进入信息时代,计算机将越来越广泛地进入到几乎所有的领域。通过利用计算机,可以使人们从一些简单而重复的工作中解放出来,使人们更多的精力投入到创造性的工作中来。基于计算机视觉的算法,从底层的图像特征提取,到高层的图像内目标识别、行为分析往往建立在处理的图像是清晰的图像基础之上的。而在阴霾天气条件下拍摄的图像,内容模糊,对比度下降,图像的整体颜色偏灰白色,这样的图像会导致大多数基于计算机视觉的算法不能正常的工作。为此,在数字图像处理、计算机视觉等领域人们提出了一系列的算法来处理由于在阴霾天气条件下成像造成的图像质量的下降。
[0003] 目前图像去阴霾方法中,比较经典的是基于物理模型并引入暗通道先验的方法,物理模型主要是利用大气散射模型,通过求解图像退化过程的逆过程来恢复清晰图像。空气中杂质的存在会造成所拍摄室外场景图像的阴霾退化。退化的程度与空气中杂质对光的衰减强度和光从目标物体至拍照设备间的距离相关。在均匀大气假设下,地面物体成像的大气光衰减模型可以表示如下:
[0004] Ivis=τ·dl·Iobj+Iair(1-τ·dl)
[0005] 其中,Ivis、Iobj、Iair分别表示接收到的光强、目标物漫反射光强、大气光强,τ是散射系数表示介质对光的吸收散射能力,dl表示从目标物体到接收者间光程距离造成的衰减大小。
[0006] 暗通道先验是颜色先验图像的统计规律。可以表示为:图像中每个像素点周围总会存在亮度很低的点,这些点来源于物体的阴影、黑色物体以及具有鲜艳颜色的物体中。根据这一规律,通过计算暗通道,即可获得阴霾分布的信息,从而推算出无阴霾条件下的清晰图像。然而,基于暗通道先验方法还存在着种种不足。首先,远处的物体的阴影、黑色物体以及具有鲜艳颜色的物体反应在图像中往往十分小,甚至不足一个像素的空间角,此时暗通道亮度极低的假设并不成立,因此造成结果中远处的阴霾无法完全去除的问题;其次,基于暗通道先验的算法未考虑天空区域与地面区域光线来源不同,导致去雾霾后天空颜色失真严重;再次,基于暗通道先验的算法估计大气光时,直接以天空区域的最亮值作大气光,其对噪声敏感导致最终结果不稳定,鲁棒性低;然后,基于暗通道先验的算法并没有考虑到同颜色的光具有相同的光强衰减而RGB三个颜色的光强衰减是不一样的,因此算法恢复的图像存在色彩失真等问题;最后,基于暗通道先验的算法并没有考虑到大气光是太阳光经过大气散射形成的,对这部分的颜色与光强缺少处理导致最终成像存在图像整体偏暗,色彩失真等问题。

发明内容

[0007] 本发明的目的是提出一种消除阴霾导致图像退化的方法,从一幅阴霾退化的图像中恢复一个等效晴天拍摄的清晰图像,即去阴霾。
[0008] 为此,本发明提出的消除阴霾导致图像退化的方法包括如下步骤:S1、输入图像:输入一幅待处理的图像;S2、滤波:对输入的图像作滤波;S3、图像分割:将所有剩余的像素点分别标记为天空区域像素点或者地面区域像素点,完成分割图像;S4、大气光估计:针对大气区域的亮度统计信息,按局部邻域像素亮度均匀一致程度筛选用于估计大气光的点,以这些点的均值计算的大气光,分别记录大气光三个颜色通道的强度;S5、暗点选取:选取暗点,求出所有暗点的集合;暗点是图像中表征场景近似黑体辐射物体的像素点,通过统计所有局部最小值点周围邻域的统计信息,只有周围邻域与局部最小值点亮度接近的点才是暗点;S6、阴霾分布估计:获得图像各像素点的阴霾分布;S7、衰减补偿计算:将不同颜色的光强衰减系数,以及各个暗点处的由距离造成的光强衰减程度分别求出,将距离衰减系数通过双边滤波传播到整幅图像,由此计算整幅图像的阴霾分布和RGB三个颜色通道的光强衰减信息,计算图像中各个点的衰减补偿量;S8、无衰减图像重建:将大气光调整为纯白光,将整幅图像各颜色通道亮度等比例放大来还原无阴霾情况下的清晰图像,以此来补偿阴霾造成的整体亮度偏低和目标物体的颜色失真,得到去除光程中大气衰减因素造成的光亮变化后所有像素点各颜色通道的亮度值;S9、色彩还原:去除由于大气光造成的颜色失真;
S10、输出图像:将每个点的各颜色通道的亮度值保存下来,以图像格式输出,即得到了去除阴霾影响的图像。
[0009] 本发明将整幅图像各颜色通道亮度等比例放大来还原无阴霾情况下的清晰图像。以此来补偿阴霾造成的整体亮度偏低和目标物体的颜色失真,从而实现了从一幅阴霾退化的图像中恢复一个等效晴天拍摄的清晰图像。

附图说明

[0010] 图1为本发明实施例方法流程图。

具体实施方式

[0011] 本实施例的目的是去除单幅图像中的阴霾退化,恢复等效于晴天拍摄的清晰图像。解决目前经典的基于暗通道先验的方法所存在种种问题如远处阴霾无法去除,天空区域失真严重,大气光估计值不稳定,色彩存在偏差,图像整体偏暗等。大气光强衰减模型可表示如下:
[0012] Ic(i,j)=dl(i,j)·τc·Pc(i,j)+Ac(1-dl(i,j)·τc)
[0013] 其中,(i,j)表示像素点位置,c∈{R,G,B}表示各颜色通道,Ic(i,j)表示输入图像(i,j)位置的像素点c颜色通道的亮度值,Pc(i,j)表示无衰减时(i,j)位置的像素点c颜色通道的亮度值,dl(i,j)表示该点由距离远近造成的光强衰减程度,τc表示图像中c颜色通道的光强衰减系数,Ac表示c颜色通道的大气光。
[0014] 本发明人发现,现有技术在去除阴霾时所存在的问题可由如下原因导致并相应提出了应对方案:
[0015] 首先,针对室外场景图像中暗通道的信息来源存在误差。暗通道的信息均来源于局部区域的亮度极小值点,这些点可以是物体的阴影、黑色物体以及具有鲜艳颜色的物体。然而,由于相机分辨率的限制,这些物体一旦距离过远,其将与周围其他物体发出的光同时作用于相机单个像素中,造成该点不满足暗通道的条件。本发明中引入暗点的概念,暗点是图像中表征场景近似黑体辐射物体的像素点,通过统计所有局部最小值点周围邻域的统计信息,只有周围邻域与局部最小值点亮度接近的点才是暗点,这些暗点在无衰减图像中存在Pc(i,j)→0的规律。
[0016] 其次,天空区域与地面目标物体的光线来源不同。天空区域的光线完全是由太阳光在大气中散射造成的,既不符合地面物体成像的大气光强衰减模型,也不符合暗通道先验,直接按经典方法处理,必然导致失真。本发明针对天空区域与地面目标物体的亮度统计信息不同,将图像分割为天空区域和地面目标区域。由于人们对天空区域关心的正是阴霾散射信息,因此本发明对于天空区域不作去阴霾处理,使其保留阴霾散射信息。
[0017] 再次,由于图像中噪声的存在,直接以最大亮度作大气光估计值将导致结果不稳定。为此,本发明针对大气区域的亮度统计信息,按局部邻域像素亮度均匀一致程度筛选用于估计大气光的点,以这些点的均值计算的大气光。该方法的估计结果对噪声不敏感,稳定性好。
[0018] 然后,由暗点来分别计算图像的阴霾分布和RGB三个颜色通道的光强衰减信息。将三种颜色的光强衰减模型列出后,转化为矩阵形式,引入矩阵的低秩分解,将不同颜色的光强衰减系数,以及各个暗点处的由距离造成的光强衰减程度分别求出,将距离衰减系数通过双边滤波传播到整幅图像,由此计算整幅图像的阴霾分布和RGB三个颜色通道的光强衰减信息。
[0019] 最后,本发明基于获得的无衰减图像,将大气光调整为纯白光,将整幅图像各颜色通道亮度等比例放大来还原无阴霾情况下的清晰图像。以此来补偿阴霾造成的整体亮度偏低和目标物体的颜色失真。
[0020] 本实施例解决了从一幅阴霾退化的图像中恢复一个等效晴天拍摄的清晰图像,即去阴霾。本发明的处理步骤为:输入图像,盒式滤波,图像分割,大气光估计,暗点选取,阴霾分布估计,衰减补偿计算,无衰减图像重建,色彩还原,输出图像。各个步骤具体的描述如下:
[0021] 输入图像:输入一幅图像,记其大小为M×N,每个点的像素值记为Ic(i,j),其中,c∈{R,G,B},表示红、绿、蓝三个颜色通道。(i,j)表示该像素点所在的坐标。
[0022] 盒式滤波:对输入的图像作滤波,分别按如下公式处理,获得亮度图L(i,j)和暗通道图M(i,j)
[0023] L(i,j)=0.299IR(i,j)+0.587IG(i,j)+0.114IB(i,j)
[0024]
[0025] 图像分割:对M(i,j)作直方图统计,获取直方图分布谷值的亮度值大小作为阈值Tc,并计算两个上下限阈值
[0026] Ts=Tc+α(255-Tc)
[0027] To=Tc-βTc
[0028] 对于大于阈值Ts有像素求均值,标记为S,低于阈值To有像素求均值,标记为O。对于未标注点,通过最小化如下函数来标记:
[0029]
[0030] 上式中,L为未标记点的暗通道值,Δ(L)为该点的标记。MX表示像素点X的暗通道值,Mω表示像素点X的邻域Ω(X)中像素点ω的暗通道值,γ是方程中的平滑参数,可以去0.1到10的参数作调整,一般取1。
[0031]
[0032] 最终将所有剩余的像素点X分别标记为S或者O,即完成分割图像。
[0033] 大气光估计:对于所有标记为S的点,选取所有满足如下方程的点:
[0034]
[0035] 其中,Ω(i,j)为点(i,j)的邻域。选取所有满足以上方程的点(i,j),计算这些点各颜色通道的均值,作为大气光的估计值。大气光三个颜色通道的强度分别记为AR、AG、AB。
[0036] 暗点选取:对于所有标记为O的点,计算所有满足如下方程的局部最小值点。
[0037] L(i,j)-M(i,j)=0
[0038] 对于所有局部最小值点(i,j),按如下方程筛选为暗点:
[0039]
[0040] 其中,Ω(i,j)是(i,j)的邻域。记所有暗点的集合为DP,数量为n。
[0041] 阴霾分布估计:暗点(i,j)∈DP的各颜色通道亮度值均满足如下的方程:
[0042]
[0043] 将所有n个暗点的坐标简记为1,2,…,k,…,n,则有如下矩阵方程成立:
[0044]
[0045] 按如下方法求解该方程可得:
[0046]
[0047]
[0048] 其中,||…||2表示计算向量的2-范数也即是向量的模。
[0049]
[0050] 记所有求得的 为 且 原矩阵方程转化为如下:
[0051]
[0052] 其中,Z定义为Z=dl(1)τR,按如下方程计算:
[0053]
[0054] 将暗点处求得的 按如下方程传播到图像中所有像素点。
[0055]
[0056] 计算出图像中所有像素点的 即获得了图像的阴霾分布。
[0057] 衰减补偿计算:定义衰减补偿Dc(i,j),其中c∈{R,G,B},(i,j)为图像中像素点坐标。Dc(i,j)分别按如下方程计算:
[0058]
[0059]
[0060]
[0061] 无衰减图像重建:得到衰减补偿系数,按如下方程计算所有点各颜色通道的亮度值:
[0062]
[0063] 其中,c∈{R,G,B}。得到的Pc(i,j)为去除光程中大气衰减因素造成的光亮变化。
[0064] 色彩还原:将得到的Pc(i,j)按如下方程作调整,去除由于大气光造成的颜色失真。
[0065]
[0066] 计算得到的Qc(i,j)即去除阴霾影响的清晰图像。
[0067] 图像输出:将每个点的各颜色通道的亮度值保存下来,以图像格式输出,即得到了去除阴霾影响的图像。