一种基于多通路分解的夜间图像增强方法转让专利
申请号 : CN201910218341.9
文献号 : CN109886901B
文献日 : 2021-07-02
发明人 : 杨开富 , 张显石 , 李永杰
申请人 : 电子科技大学
摘要 :
本发明公开一种基于多通路分解的夜间图像增强方法，应用于图像处理技术领域，针对现有技术在夜间图像处理时不能很好地去除噪声的问题，本发明首先根据待处理夜间图像全局噪声水平的估计，将待处理夜间图像分解为基底层图像和细节层图像；然后对基底层图像进行亮度适应计算；其次对基底层亮度适应图像的颜色进行矫正；再次对细节层图像进行边缘保护和噪声抑制；最后将颜色矫正后的基底层图像跟边缘保护与噪声抑制后的细节层图像进行融合，得到增强后的夜间图像；本发明的方法能够很好地去除夜间图像的噪声干扰。
权利要求 :
1.一种基于多通路分解的夜间图像增强方法，其特征在于，包括：S1、根据待处理夜间图像全局噪声水平的估计，将待处理夜间图像分解为基底层图像和细节层图像；通过求解优化问题：获得分解后图像的为基底层图像 而对应细节层图像为c c
其中λ,c∈{R,G,B}为正则化参数， 表示梯度运算符，I(x,y)表示待处理的图像，(x,y)表示图像像素点坐标；
S2、对基底层图像进行亮度适应计算；具体为：采用颜色空间变换提取基底层图像的亮度通道，然后对亮度通道图像进行亮度适应计算，得到亮度适应后的亮度通道图像；
亮度适应后的亮度通道图像的表达式为：k
其中， ωg(x,y)＝Lin(x,y) ，ωl(x,y)＝1‑ωg(x,y)，n＝exp(σg)；(x,y)表示图像像素点坐标，Lin(x,y)为从基底层图像中提取的亮度通道图像，Mg为亮度通道图像的像素均值，Sg为亮度通道图像像素的标准差，Sl(x,y)为亮度通道图像中像素点(x,y)位置处的局部标准差，Lout(x,y)为亮度适应后的亮度通道图像，k为设定的参数，ws为对比度权重系数；
S3、对亮度适应后的基底层图像进行颜色矫正；
S4、对细节层图像进行边缘保护和噪声抑制；
S5、将步骤S3得到的基底层图像与步骤S4得到的细节层图像进行融合，得到增强后的夜间图像。
2.根据权利要求1所述的一种基于多通路分解的夜间图像增强方法，其特征在于，步骤S1具体为：提取待处理夜间图像的红、绿、蓝三个颜色通道，对每个颜色通道的图像进行噪声估计，得到反映每个通道全局噪声水平的估计值；以各通道的全局噪声水平估计值作为正则化参数，对该颜色通道图像进行分解，得到各颜色通道分解后的基底层图像和细节层图像。
3.根据权利要求2所述的一种基于多通路分解的夜间图像增强方法，其特征在于，通道图像基于全变分模型进行分解。
4.根据权利要求3所述的一种基于多通路分解的夜间图像增强方法，其特征在于，步骤S3具体为：对于步骤S1得到的某个颜色通道的基底层图像，结合各颜色通道亮度适应前与亮度适应后的亮度通道图像，对该颜色通道的基底层图像进行颜色矫正处理，得到颜色矫正后的基底层图像。
5.根据权利要求4所述的一种基于多通路分解的夜间图像增强方法，其特征在于，颜色矫正后的基底层图像表达式为：
其中，Lout(x,y)为适应后的亮度通道图像，参数s取值范围为：[0,1]。
6.根据权利要求5所述的一种基于多通路分解的夜间图像增强方法，其特征在于，步骤S4具体为：对各颜色通道的细节层图像进行取绝对值处理，获得各颜色通道对应的绝对值图像，再对各颜色通道对应的绝对值图像进行高斯滤波处理获得每个像素点的局部能量；
依次将每个像素点的局部能量值与该像素点在对应细节层图像中的灰度值相乘，获得每个像素点进行噪声抑制后的值；最终获得经过边缘保护和噪声抑制后的各颜色通道的细节层图像。
说明书 :
一种基于多通路分解的夜间图像增强方法
技术领域
[0001] 本发明属于图像处理领域，特别涉及一种夜间图像的增强技术。
背景技术
[0002] 图像处理中，在夜间场景获取的图像往往存在亮度低、光照不均匀、以及噪声干扰大等问题。低质量的夜间图像往往会影响基于图像信息的计算系统的工作性能，比如夜间
监控系统等。因此，对设备采集到的低质量夜间图像进行视觉增强的预处理(如去噪、亮度
增强、细节增强等)具有重要意义。比较典型的夜间或低亮度图像增强方法有基于光源估计
的图像增强方法(LIME)，参见文献“X.Guo,Y.Li,and H.Ling,“LIME:Low‑light image
enhancement via illumination map estimation,”IEEE Trans.Image Processing,
vol.26,no.2,pp.982–993,2017.”。该方法对亮度增强效果较好。而对于噪声的处理，该方
法中的采用的方案是在图像增强后，另外加上一个图像去噪方法作为后处理。但是，由于图
像噪声在亮度增强的过程中被放大，因此现有的去噪算法并不能很好地去除噪声。
监控系统等。因此，对设备采集到的低质量夜间图像进行视觉增强的预处理(如去噪、亮度
增强、细节增强等)具有重要意义。比较典型的夜间或低亮度图像增强方法有基于光源估计
的图像增强方法(LIME)，参见文献“X.Guo,Y.Li,and H.Ling,“LIME:Low‑light image
enhancement via illumination map estimation,”IEEE Trans.Image Processing,
vol.26,no.2,pp.982–993,2017.”。该方法对亮度增强效果较好。而对于噪声的处理，该方
法中的采用的方案是在图像增强后，另外加上一个图像去噪方法作为后处理。但是，由于图
像噪声在亮度增强的过程中被放大，因此现有的去噪算法并不能很好地去除噪声。
发明内容
[0003] 为解决上述技术问题，本发明提出一种基于多通路分解的夜间图像增强方法，能够在亮度增强时不放大噪声。
[0004] 本发明采用的技术方案为：一种基于多通路分解的夜间图像增强方法，包括：
[0005] S1、根据待处理夜间图像全局噪声水平的估计，将待处理夜间图像分解为基底层图像和细节层图像；具体为：提取待处理夜间图像的红、绿、蓝三个颜色通道，对每个颜色通
道的图像进行噪声估计，得到反映每个通道全局噪声水平的估计值；以各通道的全局噪声
水平估计值作为正则化参数，基于全变分模型对该颜色通道图像进行分解，得到各颜色通
道分解后的基底层图像和细节层图像。
道的图像进行噪声估计，得到反映每个通道全局噪声水平的估计值；以各通道的全局噪声
水平估计值作为正则化参数，基于全变分模型对该颜色通道图像进行分解，得到各颜色通
道分解后的基底层图像和细节层图像。
[0006] S2、对基底层图像进行亮度适应计算；具体为：采用颜色空间变换提取基底层图像的亮度通道，然后对亮度通道图像进行亮度适应计算，得到亮度适应后的亮度通道图像：
[0007]k
[0008] 其中， ωg(x,y)＝Lin(x,y) ，ωl(x,y)＝1‑ωg(x,y)，n＝exp(σg)；(x,y)表示图像像素点坐标，Lin(x,y)为从基底层图像中
提取的亮度通道图像，Mg为亮度通道图像的像素均值，Sg为亮度通道图像像素的标准差，Sl
(x,y)为亮度通道图像中像素点(x,y)位置处的局部标准差，Lout(x,y)为亮度适应后的亮度
通道图像，k为设定的参数，ws为对比度权重系数。
提取的亮度通道图像，Mg为亮度通道图像的像素均值，Sg为亮度通道图像像素的标准差，Sl
(x,y)为亮度通道图像中像素点(x,y)位置处的局部标准差，Lout(x,y)为亮度适应后的亮度
通道图像，k为设定的参数，ws为对比度权重系数。
[0009] S3、对亮度适应后的基底层图像进行颜色矫正；具体为：对于步骤S1得到的某个颜色通道的基底层图像，结合各颜色通道亮度适应前与亮度适应后的亮度通道图像，对该颜
色通道的基底层图像进行颜色矫正处理，得到颜色矫正后的基底层图像：
色通道的基底层图像进行颜色矫正处理，得到颜色矫正后的基底层图像：
[0010]
[0011] 其中， 为原始基底层图像的三个颜色通道，Lin(x,y)为亮度适应前亮度通道图像，Lout(x,y)为适应后的亮度通道图像，参数s取值范围为：[0,1]。
[0012] S4、对细节层图像进行边缘保护和噪声抑制；具体为：对各颜色通道的细节层图像进行取绝对值处理，获得各颜色通道对应的绝对值图像，再对各颜色通道对应的绝对值图
像进行高斯滤波处理获得每个像素点的局部能量；依次将每个像素点的局部能量值与该像
素点在对应细节层图像中的灰度值相乘，获得每个像素点进行噪声抑制后的值；最终获得
经过边缘保护和噪声抑制后的各颜色通道的细节层图像。
像进行高斯滤波处理获得每个像素点的局部能量；依次将每个像素点的局部能量值与该像
素点在对应细节层图像中的灰度值相乘，获得每个像素点进行噪声抑制后的值；最终获得
经过边缘保护和噪声抑制后的各颜色通道的细节层图像。
[0013] S5、将步骤S3得到的基底层图像与步骤S4得到的细节层图像进行融合，得到增强后的夜间图像。
[0014] 本发明的有益效果：本发明的方法首先对待处理图像的红、绿、蓝三个通道进行噪声估计，并以该组噪声水平估计值作为参数对每个通道进行图像分解，获得基底层图像和
细节层图像；通过颜色空间变换从基底层图像中提取亮度通道，并对亮度通道进行亮度适
应计算，对基底层亮度适应图像进行颜色矫正，获得亮度适应后的基底层图像，在细节层图
像中进行局部能量估计并实现自适应的噪声抑制；最后将亮度适应后的基底层图像与边缘
保护及噪声抑制后的细节层图像进行加权融合，获得增强后的夜间图像；本发明所展示的
方法通过图像分解，能够在亮度增强时不放大噪声，且通过边缘保护及噪声抑制后能够很
好地去除夜间噪声干扰，非常适合于低质量夜间图像的增强处理。
细节层图像；通过颜色空间变换从基底层图像中提取亮度通道，并对亮度通道进行亮度适
应计算，对基底层亮度适应图像进行颜色矫正，获得亮度适应后的基底层图像，在细节层图
像中进行局部能量估计并实现自适应的噪声抑制；最后将亮度适应后的基底层图像与边缘
保护及噪声抑制后的细节层图像进行加权融合，获得增强后的夜间图像；本发明所展示的
方法通过图像分解，能够在亮度增强时不放大噪声，且通过边缘保护及噪声抑制后能够很
好地去除夜间噪声干扰，非常适合于低质量夜间图像的增强处理。
附图说明
[0015] 图1是本发明一种基于多视觉通路的夜间图像增强方法的流程示意图。
[0016] 图2是实施例中采用本发明方法对一幅夜间图像进行增强的对比图组；
[0017] 其中，图2(a)为原始夜间图像，图2(b)为由对比方法(LIME)计算得到的增强图像，图2(c)由本发明的图像增强方法计算得到的增强图像。
具体实施方式
[0018] 为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。
[0019] 下面结合附图和具体的实施例对本发明做进一步的阐述。
[0020] 从目前公开的低质量图像库PKU‑EAQA(下载地址：https://pkuml.org/resources/pku‑eaqa.html)中选择一幅夜间图像(编号：N‑002‑0)作为实施对象，图像大小
为400×300×3，格式为24位bmp格式图像。具体计算方法的流程如图1所示，具体过程如下：
为400×300×3，格式为24位bmp格式图像。具体计算方法的流程如图1所示，具体过程如下：
[0021] S1.基于图像全局噪声水平的估计，将图像分解为基底层和细节层：提取待处理图像的红(R)、绿(G)、蓝(B)三个颜色通道，并对每个通道的图像进行噪声估计，本实施例中，
得到红、绿、蓝三个通道的噪声水平估计值分别为：0.0086、0.0087、0.0086；以每个通道的
噪声水平估计值为正则化参数，基于全变分模型分别对每个通道的图像进行分解，获得每
个通道分解后的基底层图像和细节层图像；以像素点(100,100)为例，该像素点在输入图像
中红、绿、蓝三个通道的灰度值分别为0.0784、0.0745、0.0588。经过图像分解后，该像素点
在基底层图像中三个通道的灰度值分别为0.0900、0.0865、0.0705，而在细节层图像三个通
道的值分别为‑0.0116、‑0.0120、‑0.0116。
得到红、绿、蓝三个通道的噪声水平估计值分别为：0.0086、0.0087、0.0086；以每个通道的
噪声水平估计值为正则化参数，基于全变分模型分别对每个通道的图像进行分解，获得每
个通道分解后的基底层图像和细节层图像；以像素点(100,100)为例，该像素点在输入图像
中红、绿、蓝三个通道的灰度值分别为0.0784、0.0745、0.0588。经过图像分解后，该像素点
在基底层图像中三个通道的灰度值分别为0.0900、0.0865、0.0705，而在细节层图像三个通
道的值分别为‑0.0116、‑0.0120、‑0.0116。
[0022] 步骤S1中所采用的图像分解方法为基于全变分模型的方法，即通过求解以下优化问题： c∈{R,G,B}，获得分解后图像的为基底层
c
图像 而对应细节层图像为 其中λ,c∈{R,G,B}
为正则化参数，▽表示梯度运算符，(x,y)表示图像像素点坐标。全局噪声水平的估计值表
达式为：
c
图像 而对应细节层图像为 其中λ,c∈{R,G,B}
为正则化参数，▽表示梯度运算符，(x,y)表示图像像素点坐标。全局噪声水平的估计值表
达式为：
[0023]c
[0024] 其中， c∈{R,G,B}，I为待处理图像，(x,y)表示图像像素点坐标， 表示卷积运算，W表示图像的宽，H表示图像的高。
[0025] S2.针对基底层图像进行亮度适应计算；本实施例中，将步骤S1中获得的基底层图像(RGB图像)转换到HSV颜色空间，并提取V通道作为亮度通道。以像素点(100,100)为例，变
换到HSV空间后该点在H、S、V通道的值分别为：0.136、0.2169、0.0900，提取V通道作为亮度
通道，即像素点(100,100)在亮度通道的值为0.0900；本实施例中，参数k设定值为0.01，参
数ws为设定值为5.0，对亮度通道图像进行亮度适应计算得到亮度适应后的亮度通道图像
在像素点(100,100)的值为0.8148；具体计算式如下：
换到HSV空间后该点在H、S、V通道的值分别为：0.136、0.2169、0.0900，提取V通道作为亮度
通道，即像素点(100,100)在亮度通道的值为0.0900；本实施例中，参数k设定值为0.01，参
数ws为设定值为5.0，对亮度通道图像进行亮度适应计算得到亮度适应后的亮度通道图像
在像素点(100,100)的值为0.8148；具体计算式如下：
[0026]k
[0027] 其中， ωg(x,y)＝Lin(x,y) ，ωl(x,y)＝1‑ωg(x,y)，n＝exp(σg)；(x,y)表示图像像素点坐标，Lin(x,y)为从基底层图像中
提取的亮度通道图像，Mg为亮度通道图像的像素均值，Sg为亮度通道图像像素的标准差，Sl
(x,y)为亮度通道图像中像素点(x,y)位置处的局部标准差，Lout(x,y)为亮度适应后的亮度
通道图像，k为设定的参数，取值范围为：[0,1]，ws为对比度权重系数，取值范围为：[0,∞)。
提取的亮度通道图像，Mg为亮度通道图像的像素均值，Sg为亮度通道图像像素的标准差，Sl
(x,y)为亮度通道图像中像素点(x,y)位置处的局部标准差，Lout(x,y)为亮度适应后的亮度
通道图像，k为设定的参数，取值范围为：[0,1]，ws为对比度权重系数，取值范围为：[0,∞)。
[0028] S3.基底层图像的颜色矫正；设定参数值s为0.6，经过颜色矫正后获得亮度适应后的基底层图像(RGB图像)。以像素点(100,100)为例，该点在原始亮度适应计算前的基底层
图像亮度通道中值为0.0900，该点在亮度适应后的亮度通道图像值为0.8148，该像素点在
输入图像中红、绿、蓝三个通道的灰度值分别为0.0784、0.0745、0.0588，因此颜色矫正计算
后，该点在颜色矫正后的基底层图像的三个通道中的灰度值分别为：0.8148、0.7957、
0.7037；具体计算式为：
图像亮度通道中值为0.0900，该点在亮度适应后的亮度通道图像值为0.8148，该像素点在
输入图像中红、绿、蓝三个通道的灰度值分别为0.0784、0.0745、0.0588，因此颜色矫正计算
后，该点在颜色矫正后的基底层图像的三个通道中的灰度值分别为：0.8148、0.7957、
0.7037；具体计算式为：
[0029]
[0030] 其中， 为原始基底层图像的三个颜色通道，Lin(x,y)为亮度适应前亮度通道图像，Lout(x,y)为适应后的亮度通道图像，参数s取值范围为：[0,1]，∈为属于，表示元素
和集合之间的关系，即c为集合{R,G,B}中的元素。
和集合之间的关系，即c为集合{R,G,B}中的元素。
[0031] S4.针对细节层图像的边缘保护和噪声抑制；具体为：对细节层图像各通道、各像素值取绝对值获得绝对值图像，再对绝对值图像的每个通道进行高斯滤波处理获得每个像
素点的局部能量；对图像中每个通道、每个像素点，依次将每个点的局部能量值与该点在细
节图中的灰度值相乘，获得每个像素点进行噪声抑制后的值；最终获得经过边缘保护和噪
声抑制后的细节层图像；以像素点(100,100)为例，在细节层图像的三个颜色通道中该点的
灰度值分别为：‑0.0116、‑0.0120、‑0.0116，取绝对值后为：0.0116、0.0120、0.0116；再对绝
对值图像的每个通道进行高斯滤波处理，获得像素点(100,100)在三个通道中的局部能量
分别为：0.6942、0.6841、0.5739；将每个通道、每个点的局部能量值与该点在细节图中的灰
度值相乘，获得每个像素点进行噪声抑制后的值分别为：‑0.0080、‑0.0082、‑0.0067；
素点的局部能量；对图像中每个通道、每个像素点，依次将每个点的局部能量值与该点在细
节图中的灰度值相乘，获得每个像素点进行噪声抑制后的值；最终获得经过边缘保护和噪
声抑制后的细节层图像；以像素点(100,100)为例，在细节层图像的三个颜色通道中该点的
灰度值分别为：‑0.0116、‑0.0120、‑0.0116，取绝对值后为：0.0116、0.0120、0.0116；再对绝
对值图像的每个通道进行高斯滤波处理，获得像素点(100,100)在三个通道中的局部能量
分别为：0.6942、0.6841、0.5739；将每个通道、每个点的局部能量值与该点在细节图中的灰
度值相乘，获得每个像素点进行噪声抑制后的值分别为：‑0.0080、‑0.0082、‑0.0067；
[0032] S5.融合亮度适应后的基底层图像与经过边缘保护及噪声抑制后的细节层图像；权重系数取值范围为：[0,∞)，本实施例中，设置加权系数为5.0；以像素点(100,100)为例，
该像素点在步骤S3中得到的亮度适应后的基底层图像中的值为：0.8148、0.7957、0.7037，
该像素点在步骤S4中得到的经过边缘保护及噪声抑制后的细节层图像中值为‑0.0080、‑
0.0082、‑0.0067，其与加权系数的乘积为：0.6942、0.6841、0.5739；最终得到增强后的夜间
图像中像素点(100,100)处的值为：0.7748、0.7547、0.6703；
该像素点在步骤S3中得到的亮度适应后的基底层图像中的值为：0.8148、0.7957、0.7037，
该像素点在步骤S4中得到的经过边缘保护及噪声抑制后的细节层图像中值为‑0.0080、‑
0.0082、‑0.0067，其与加权系数的乘积为：0.6942、0.6841、0.5739；最终得到增强后的夜间
图像中像素点(100,100)处的值为：0.7748、0.7547、0.6703；
[0033] 测试结果如图2所示，图2(a)为原始夜间图像，图2(b)为由现有技术LIME计算得到的增强图像，图2(c)为由本发明的图像增强方法计算得到的增强图像。从图2中可以清楚看
出，采用本发明方法对夜间图像进行增强能够得到更好的去噪效果，例如图2(b)中较暗区
域(地面区域)存在明显斑块状噪声，而图2(c)中地面区域更为均匀，即本发明的方法噪声
抑制效果更显著。
出，采用本发明方法对夜间图像进行增强能够得到更好的去噪效果，例如图2(b)中较暗区
域(地面区域)存在明显斑块状噪声，而图2(c)中地面区域更为均匀，即本发明的方法噪声
抑制效果更显著。
[0034] 本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领
域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的
任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的
任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。