一种Retinex图像增强方法及系统

摘要

本发明提出种Retinex图像增强方法及系统。该方法:对摄像机采集的视频源图像进行多次均值滤波迭代生成图像照度分量;根据源图像和图像照度分量获得图像反射分量;对图像照射分量和图像反射分量进行修正;根据修正后的图像照射分量和图像反射分量,计算获得经过Retinex图像增强后的图像。该系统包括迭代卷积模块、反射分量生成模块、照度分量修正模块、反射分量修正模块、增强图像生成模块,上述模块均在FPGA上实现。本发明可以针对不同类型图像进行自适应增强,保证了图像增强的实时性。

权利要求

1.一种Retinex图像增强系统，其特征在于，包括迭代卷积模块、反射分量生成模块、照度分量修正模块、反射分量修正模块、增强图像生成模块，上述模块均在FPGA上实现；

迭代卷积模块输出端同时与反射分量生成模块和照度分量修正模块的输入端相连，反射分量生成模块的输出端与反射分量修正模块的输入端相连，反射分量修正模块的输出端与增强图像生成模块的输入端相连，照度分量修正模块的输出端与增强图像生成模块的输入端相连；

摄像机采集的视频流图像送入迭代卷积模块进行多次均值滤波迭代生成照度分量发送给反射分量生成模块与照度分量修正模块；

反射分量生成模块接收到照度分量后，读取存储在第一块随机存储器中的源图像后计算反射分量，然后将反射分量发送至反射分量修正模块；

反射分量修正模块接收到反射分量后，利用自适应灰度变换对反射分量进行修正，修正后的反射分量发送给增强图像生成模块；

照度分量修正模块接收到照度分量后，利用直方图均衡化对照度分量进行修正，修正后的照度分量发送给增强图像生成模块；

增强图像生成模块接收到修正后的反射分量和照度分量，生成增强后的图像；

其中，在迭代卷积模块中计算窗口时，首先通过先入先出缓存器FIFO生成N×N大小的窗口，N为奇数，将窗口同时划分为((N-1)/2)×((N-1)/2)、(N-1)×1、(N-1)×1、1大小的新窗口；然后对新窗口内图像数据对称折叠求和，最后将新窗口的和求和，得到整个窗口的和；通过除法器运算，得到均值滤波值。

2.如权利要求1所述Retinex图像增强系统，其特征在于，摄像机采集的视频源图像与反射分量生成模块之间连接有第一块随机存储器，反射分量生成模块调用第一块随机存储器，照度分量修正模块内部调用第二块随机存储器和第三块随机存储器，反射分量生成模块内部调用第四块随机存储器和第五块随机存储器；摄像机采集的视频源图像使用第一块随机存储器进行缓存；照度分量修正模块进行直方图统计的灰度值个数缓存在第二块随机存储器中，直方图均衡化映射表缓存在第三块随机存储器中；反射分量修正模块进行自适应灰度拉伸统计的灰度值个数缓存在第四块随机存储器中，自适应灰度拉伸映射表缓存在第五块随机存储器中。

3.如权利要求1所述Retinex图像增强系统，其特征在于，在反射分量修正模块中，直方图统计利用第二块随机存储器存储图像反射分量每一级灰度值的个数，根据每一级灰度值在总灰度级中占的比例，计算出直方图均衡化后对应的灰度值，存储在第三块随机存储器中，生成直方图均衡化映射表。

4.如权利要求1所述Retinex图像增强系统，其特征在于，在照度分量修正模块中，自适应灰度拉伸利用第四块随机存储器存储图像照度分量每一级灰度值的个数，根据阈值范围确定拉伸比例，然后根据每一级灰度值在总灰度级中占的比例和拉伸比例，计算出自适应灰度拉伸后对应的灰度值，存储在第五块随机存储器中，生成自适应灰度拉伸映射表。

说明书

一种Retinex图像增强方法及系统

技术领域

[0001] 本发明属于数字视频图像处理技术领域，具体涉及一种Retinex图像增强方法及系统。

背景技术

[0002] 图像增强是指按特定的需要采用特定方法突出图像中的某些信息，同时削弱或去除无关信息，或将源图像转换成一种更适合人或机器进行分析处理形式的图像处理方法。传统图像增强方法主要包含图像灰度级变换、直方图均衡化、Gamma校正、图像锐化、边缘增强等。传统图像增强算法一般功能较单一，只能增强某一类型图像或者图像的某些局部特征，并且不同类型图像需要不断调整参数才能获得较好的增强效果。

[0003] Retinex图像增强方法是针对上述情况提出的一种相对最优的方法。现有的Retinex图像增强方法如下：

[0004] Retinex图像增强方法的基本假设是源图像F(x,y)是图像照度分量I(x,y)和图像反射分量R(x,y)的乘积,如公式(l)所示，

[0005] F(x,y)＝R(x,y)×I(x,y)          (1)

[0006] 其中，x,y是图像横纵坐标点，图像照度分量I(x,y)代表环境光，决定了源图像F(x,y)的动态范围；图像反射分量R(x,y)代表物体的反射性质，决定了源图像F(x,y)的图像细节。

[0007] 图像照度分量I(x,y)如公式(2)所示，

[0008] I(x,y)＝F(x,y)*G(x,y)          (2)

[0009] G(x,y)为低通卷积环绕函数，一般采用高斯形式，用来从源图像F(x,y)中估算图像照度分量I(x,y)，其表达式为公式(3)所示，

[0010]

[0011] 其中λ是常量矩阵，它使得

[0012] ∫∫G(x,y)dxdy＝1     (4)

[0013] c为尺度常量。

[0014] 则图像反射分量R(x,y)可以表示如公式(5)所示，

[0015] R(x,y)＝F(x,y)/[F(x,y)*G(x,y)]     (5)

[0016] Retinex图像增强方法基本原理就是源图像F(x,y)除以源图像F(x,y)与低通卷积环绕函数G(x,y)的卷积结果，其目的是消除光照不均的影响，达到提高图像视觉效果的目的。而且低通卷积环绕函数G(x,y)越尖锐，图像反射分量R(x,y)越突出；反之，低通卷积环绕函数G(x,y)越平坦，则图像照度分量I(x,y)保持得越好。该方法不只增强图像某一类特征，还能在亮度再现、动态范围压缩和色彩恒常性三方面达到平衡，因而可以对不同类型的图像进行自适应性地增强。但Retinex图像增强方法采用单/多尺度模板卷积运算，计算复杂度往往超出实际应用的需要。该方法在软件平台上实现时，实时性较差；而通过多核DSP硬件实现则占用大量内存，增加图像处理系统成本，同时实时性没有得到彻底改善。

发明内容

[0017] 本发明解决的技术问题是，提供一种Retinex图像增强方法及系统，该方法可以针对不同类型图像进行自适应增强，该系统保证了图像增强的实时性。

[0018] 为了解决上述技术问题，本发明提供一种Retinex图像增强方法，包括以下步骤：

[0019] 步骤一、对摄像机采集的视频源图像进行多次均值滤波迭代生成图像照度分量，根据公式n＝m/N，计算均值滤波迭代次数n，其中N为均值滤波窗口宽度，m为源图像的宽度；

[0020] 步骤二、根据源图像和图像照度分量获得图像反射分量；

[0021] 步骤三、图像照射分量修正：使用直方图统计方法，根据图像照射分量各灰度级的像素点数目，生成图像照射分量的直方图；将所有灰度级像素点累加，将累加结果均分至所有灰度级中，生成直方图均衡映射表；通过直方图均衡映射表，生成直方图均衡化后的图像照射分量；

[0022] 步骤四、图像反射分量修正：使用直方图统计方法，根据图像反射分量各灰度级的像素点数目，生成图像反射分量的直方图；根据像素点数目阈值，读取所有灰度级像素点累加，计算出自适应灰度级范围及映射灰度级；通过自适应映射灰度级，生成自适应线性变换后的图像反射分量；

[0023] 步骤五、根据修正后的图像照射分量和图像反射分量，计算获得经过Retinex图像增强后的图像。

[0024] 本发明还提供一种Retinex图像增强系统，包括迭代卷积模块、反射分量生成模块、照度分量修正模块、反射分量修正模块、增强图像生成模块，上述模块均在FPGA上实现；

[0025] 迭代卷积模块输出端同时与反射分量生成模块和照度分量修正模块的输入端相连，反射分量生成模块的输出端与反射分量修正模块的输入端相连，反射分量修正模块的输出端与增强图像生成模块的输入端相连，照度分量修正模块的输出端与增强图像生成模块的输入端相连。

[0026] 摄像机采集的视频源图像送入迭代卷积模块进行多次均值滤波迭代生成照度分量发送给反射分量生成模块与照度分量修正模块；

[0027] 反射分量生成模块接收到照度分量后，读取存储在第一块随机存储器中的源图像后计算反射分量，然后将反射分量发送至反射分量修正模块；

[0028] 反射分量修正模块接收到反射分量后，利用自适应灰度变换对反射分量进行修正，修正后的反射分量发送给增强图像生成模块；

[0029] 照度分量修正模块接收到照度分量后，利用直方图均衡化对照度分量进行修正，修正后的照度分量发送给增强图像生成模块；

[0030] 增强图像生成模块接收到修正后的反射分量和照度分量，生成增强后的图像。

[0031] 本发明Retinex图像增强系统中，中间产生的部分数据利用片内块随机存储器进行缓存。具体为：摄像机采集的视频源图像与反射分量生成模块之间连接有第一块随机存储器，反射分量生成模块调用第一块随机存储器，照度分量修正模块内部调用第二块随机存储器和第三块随机存储器，反射分量生成模块内部调用第四块随机存储器和第五块随机存储器。摄像机采集的视频源图像使用第一块随机存储器进行缓存；照度分量修正模块进行直方图统计的灰度值个数缓存在第二块随机存储器中，而直方图均衡化映射表缓存在第三块随机存储器中；反射分量修正模块进行自适应灰度拉伸统计的灰度值个数缓存在第四块随机存储器中，而自适应灰度拉伸映射表缓存在第五块随机存储器中。

[0032] 本发明对低通卷积环绕函数的改进

[0033] 如背景技术中式(3)所示，高斯形式的低通卷积环绕函数G(x,y)，由于存在指数函数，因此硬件实现时计算复杂，本发明选用均值滤波代替高斯形式的低通卷积环绕函数G(x,y)对源图像F(x,y)进行卷积。

[0034] 例如，以窗口大小N＝3为例对源图像信号 采用均值滤波进行卷积，ai,j为图像坐标对应的灰度值，m、n为源图像长和宽。

[0035] 则一次均值滤波后图像信号为 bi,j是第一次均值滤波后图像坐标对应的灰度值。

[0036] 由均值滤波算法知，任意位bi,j(1≤i≤n，1≤j≤m)的值为ai-1,j-1至ai+1,j+1连续9个数的均值，即

[0037]

[0038] 设第二次均值滤波后的图像信号 其中 cij是第二次均值滤波后图像坐标对应的灰度值。当i＝1,n时，cij＝bij。展开cij得到式(6)所示[0039]

[0040] 同理，三次均值滤波后的图像信号 其中dij如式(7)所示，dij是第三次均值滤波后图像坐标对应的灰度值。

[0041]

[0042] 同样，可以推导出更多次均值滤波的迭代过程。式(6)、(7)表明，多次均值滤波后图像信号任意点dij(或cij)的值取决于i,j位前后上下数据的加权平均值，且权值数据分布具备高斯特性，即符合式(3)的分布特性。因此，多次均值滤波迭代可以很好地逼近高斯形式的低通卷积环绕函数G(x,y)。

[0043] 本发明图像照度分量与图像反射分量的修正

[0044] 图像照度分量I(x,y)代表环境光，对应着图像的低频分量，决定了源图像F(x,y)中像素能到达的动态范围，与物体无关。本发明通过直方图均衡化修正图像照度分量I(x,y)，来提高图像的全局对比度。图像反射分量R(x,y)代表物体的反射性质，对应着图像中的高频分量，决定了源图像F(x,y)的图像细节。因此，可以通过调整图像反射分量R(x,y)的值来增强局部细节。

[0045] 直方图均衡化的原理在于，占有较多像素的灰度在变换后和前一个灰度级的极差增大，而目标和背景往往占有较多的像素，从而加大了目标与背景的对比度；与此同时，占有较少像素的灰度在变换后和前一个的极差较小，需要归并，而边界与背景的过渡处像素较少，由于归并，其或者变为背景点或者变为目标点，从而使边界变得陡峭。利用直方图均衡化对图像照度分量I(x,y)进行修正，从而提高图像的全局对比度。

[0046] 自适应灰度拉伸主要提高图像灰度级的动态范围，其有选择的拉伸某段灰度区间以改善输出图像。如果一幅图像的灰度集中在较暗的区域而导致图像偏暗，可以用灰度可以用灰度拉伸功能来拉伸(斜率>1)物体灰度区间以改善图像；同样如果图像灰度集中在较亮的区域而导致图像偏亮，也可以用灰度拉伸功能来压缩(斜率<1)物体灰度区间以改善图像质量。利用自适应灰度拉伸对图像反射分量R(x,y)进行修正，从而提高图像的局部细节。

[0047] 经过对上述对图像照度分量和图像反射分量的调整后，即可实现图像的全局和局部对比度增强处理。

[0048] 本发明与现有技术相比，其显著优点在于，(1)本发明采用多次均值滤波迭代避免了复杂的多尺度高斯形式的低通卷积环绕函数G(x,y)模板卷积运算，通过选择合理的尺度大小和迭代次数来保证精度要求，降低了运算的复杂度；(2)本发明对图像照度分量I(x,y)与图像反射分量R(x,y)的修正提高了全局对比度和细节的局部可见度，图像增强效果较明显；(3)在本发明中，采用块随机存储器缓存技术来存储算法中间产生的图像数据，利用块随机存储器属于FPGA片内存储器，读写操作较容易，电路简单，提高了计算速度；(4)本发明Retinex图像增强系统采用纯硬件实现，所以数据传输率快，运算速度快，实时性好，效率高。

附图说明

[0049] 图1是本发明Retinex图像增强系统的结构示意图。

[0050] 图2是本发明中迭代卷积示意图。

[0051] 图3是本发明中照度分量修正示意图。

[0052] 图4是本发明照度分量修正过程中使用的直方图均衡化过程示意图。

[0053] 图5是本发明实施例中目标场景使用本发明方法获得的处理结果图，其中(a)为源图像，(b)为图像照度分量，(c)图像反射分量，(d)增强后的图像。

具体实施方式

[0054] 如图1所示，本发明还提供一种Retinex图像增强系统，包括迭代卷积模块、反射分量生成模块、照度分量修正模块、反射分量修正模块、增强图像生成模块，上述模块均在FPGA上实现；

[0055] 迭代卷积模块输出端同时与反射分量生成模块和照度分量修正模块的输入端相连，反射分量生成模块的输出端与反射分量修正模块的输入端相连，反射分量修正模块的输出端与增强图像生成模块的输入端相连，照度分量修正模块的输出端与增强图像生成模块的输入端相连。

[0056] 摄像机采集的视频源图像送入迭代卷积模块进行多次均值滤波迭代生成照度分量发送给反射分量生成模块与照度分量修正模块；

[0057] 反射分量生成模块接收到照度分量后，读取存储在第一块随机存储器中的源图像后计算反射分量，然后将反射分量发送至反射分量修正模块；

[0058] 反射分量修正模块接收到反射分量后，利用自适应灰度变换对反射分量进行修正，修正后的反射分量发送给增强图像生成模块；

[0059] 照度分量修正模块接收到照度分量后，利用直方图均衡化对照度分量进行修正，修正后的照度分量发送给增强图像生成模块；

[0060] 增强图像生成模块接收到修正后的反射分量和照度分量，生成增强后的图像。

[0061] 本发明Retinex图像增强系统中，中间产生的部分数据利用片内块随机存储器进行缓存。具体为：摄像机采集的视频源图像与反射分量生成模块之间连接有第一块随机存储器，反射分量生成模块调用第一块随机存储器，照度分量修正模块内部调用第二块随机存储器和第三块随机存储器，反射分量生成模块内部调用第四块随机存储器和第五块随机存储器。

[0062] 摄像机采集的视频源图像使用第一块随机存储器进行缓存；照度分量修正模块进行直方图统计的灰度值个数缓存在第二块随机存储器中，而直方图均衡化映射表缓存在第三块随机存储器中；反射分量修正模块进行自适应灰度拉伸统计的灰度值个数缓存在第四块随机存储器中，而自适应灰度拉伸映射表缓存在第五块随机存储器中。

[0063] 本发明迭代卷积模块中，采用多次均值滤波迭代的方式逼近高斯形式的低通卷积环绕函数G(x,y)。如图2所示，每一次均值滤波后，判断是否达到迭代次数，若没有达到迭代次数，将这一次均值滤波结果输入到均值滤波模块，求取下一次的均值滤波值，依次迭代下去，直到达到迭代次数。

[0064] 本发明在迭代卷积模块中计算窗口时，调用先入先出缓存器FIFO，对输入的源图像F(x,y)进行延时，保证窗口内部的图像数据的时序同步，通过对窗口内部的图像数据求和取平均求得均值。

[0065] 本发明在迭代卷积模块中计算窗口时，首先通过先入先出缓存器FIFO生成N*N大小的窗口(N为奇数)，将窗口同时划分为((N-1)/2)*((N-1)/2)、(N-1)*1、(N-1)*1、1大小的新窗口，同时对新窗口内图像数据对称折叠求和，最后将新窗口的和求和，得到整个窗口的和；通过除法器运算，得到均值滤波值。分窗口折叠求和，可以减少运算步骤，降低运算时间，提高系统实时性。

[0066] 本发明反射分量生成模块中，调用FPGA硬件设计工具ISE自带的除法器IP核，该除法器IP核，具有性能稳定，计算准确，适应性强的特点，相比于其他除法器，降低了系统资源，数据准确度高，布局布线规范合理，提高了整个系统的稳定性。

[0067] 本发明反射分量修正模块中，直方图统计利用第二块随机存储器存储图像反射分量R(x,y)每一级灰度值的个数，根据每一级灰度值在总灰度级中占的比例，计算出直方图均衡化后对应的灰度值，存储在第三块随机存储器中，即为直方图均衡化映射表。

[0068] 本发明照度分量修正模块中，自适应灰度拉伸同样利用第四块随机存储器存储图像照度分量I(x,y)每一级灰度值的个数，根据阈值范围确定拉伸比例，然后根据每一级灰度值在总灰度级中占的比例和拉伸比例，计算出自适应灰度拉伸后对应的灰度值，存储在第五块随机存储器中，即为自适应灰度拉伸映射表。

[0069] 实施例

[0070] 本实施例实现的硬件平台：采用Xilinx公司的高性能处理器Spartan6 LX150T芯片为核心的视频处理系统中，采用Verilog语言实现，程序编写和仿真在FPGA硬件设计工具ISE13.1上完成。摄像机采集的视频流图像大小是256*256格式。

[0071] 迭代卷积模块

[0072] 如图2，迭代卷积模块接收摄像机采集的视频源图像后，首先通过先入先出缓存器FIFO生成N*N大小的窗口(N为奇数)，将窗口划分为((N-1)/2)*((N-1)/2)、(N-1)*1、(N-1)*1、1大小的新窗口，同时对新窗口内图像数据对称折叠求和，最后将新窗口的和求和，得到N*N大小窗口的和；通过除法器运算，得到第一次均值滤波值；判断迭代次数是否达到设定的阈值，如若没有，将此次均值滤波值再次送入均值滤波模块，直至迭代次数达到设定的阈值；将最后得到的均值滤波值(即图像照度分量)一路送入反射分量生成模块，一路送入照度分量修正模块。

[0073] 本实施例中均值滤波算法采用9*9窗口，共进行50次迭代，最后求得的图像照度分量十分逼近利用高斯形式的低通卷积结果。本发明根据实际精度的需要和资源的损耗来改变窗口大小和迭代次数。

[0074] 反射分量生成模块

[0075] 反射分量接生成模块接收到图像照度分量后，按时钟读取第一块随机存储器中的源图像，将源图像数据位转换为16位数据位，同时调用除法器，计算出16位的图像反射分量，通过设置限定条件，超过灰度级255灰度值的压缩到灰度级255，将图像反射分量限定到8位数据位。

[0076] 照度分量修正模块

[0077] 如图3，系统上电后，场同步信号将直方图统计模块中的第二块随机存储器用0值初始化，作为直方图统计的起始值。随后当有效信号到来时，开始接收图像照度分量(图像灰度值)，如图4，直方图统计模块接收到该灰度值后，分两个时钟周期完成直方图统计：第一个时钟周期把接收来的灰度值作为直方图缓存模块的地址，读出对应的数据；第二个时钟周期对读出的数据加一后，以同一地址分别写入直方图缓存模块。该模块对接收到的每一个有效灰度值都重复上述过程，即可完成图像照度分量各灰度级的直方图统计。

[0078] 当输入控制模块接受完一帧图像照度分量后，产生一个使能信号，驱动直方图均衡映射表生成模块依次从0到255地址读取直方图模块中的直方图，顺序累加后，和灰度级数255相乘，并除以总像素个数，可得到增强后的灰度值，并存入均衡映射表模块中的第三块随机存储器，读取256个地址后生成直方图均衡映射表。在累加和写入的实现过程中，采用了流水操作，大大的减少了整个过程实现所需的时钟周期个数。在此模块中涉及到乘法和除法操作，利用255＝256-1，且图像源为256*256，为216，可通过移位和减法运算，既节约片上逻辑资源，又能提高FPGA的运算速度，进而提升整个系统的工作性能。

[0079] 反射分量修正模块

[0080] 所述的图像反射分量模块中，当源图像与图像照度分量进行运算后，得出图像反射分量送给反射修正模块，由于反射分量构成的图像的动态范围偏小，要使输出图像能达到一个好的处理效果，就要对反射分量进行动态拉伸。首先对反射分量(图像灰度值)做灰度直方图统计，低信噪比条件下，选取压缩因子为5％，将盲元和噪声的影响降到最低。分布搜索10％最大灰度值中的最小值作为Xmax，15％最小灰度值里的最大值作为Xmin。拉伸转换时，将大于Xmax的像素灰度置为Zmax，小于Xmin的像素灰度置为0。此算法将线性拉伸区间自适应地分为[0,Xmin),[Xmin,Xmax]和(Xmax，255]三个部分。其中[0,Xmin)和(Xmax，255]两个灰度区间的像素灰度分别被压缩为0和255。若图像中目标较小，且目标正好位于两个被压缩的区间内，将有可能被抑制。为避免这种情况发生，可视情况适当调整压缩因子5％的大小。

[0081] 在每帧图像反射分量到来时，用第四块随机存储器进行直方图统计，记录每个像素灰度值出现的次数，即可统计得到此帧图像的Xmin和Xmax。因为相邻两帧图像近似度高，可用前帧得到的Xmin和Xmax来处理下帧图像。在下帧图像数据来临使，即可计算[X(i,j)-Xmin]*255/[Xmax-Xmin]，利用FPGA自带的IP核完成,存储至第五块随机存储器中，实现对图像的实时处理。

[0082] 增强图像生成模块

[0083] 同时读取修正后的图像照度分量与图像反射分量，按照时钟，对应像素点的图像照度分量与图像反射分量相乘，得到增强后的图像，输出。

[0084] 本实施例FPGA资源消耗占用情况如表1所示。由表1可以看出，本发明Retinex图像增强系统在FPGA上消耗片寄存器资源为42％。表明本发明占用FPGA资源较少，留给其他后端算法的资源空间量比较大；同时资源消耗少有利于FPGA内部走线，能够保证程序运行的稳定性，提高鲁棒性。

[0085] 从图5可以看出，(a)为光线不足下拍摄的源图像，模糊不清，能见度低，亮度偏低。(b)为(a)经过多次迭代均值滤波处理的结果，细节部分已经基本消失，只留下照度分量。
(c)为(a)滤除照度分量后所产生的反射分量，但是图像偏暗，对比度增强和颜色恢复效果也非常有限，图像整体视觉效果不太自然。(d)为修正后Retinex处理效果，窗户栏杆清晰可见，绿化带可以较清楚的看见枝叶等信息，并能分辨出电线杆与树干，汽车与背景对比度增强，右下角的任务也能较好的被识别，整体视觉感受变好。由此，本发明与现有技术相比，图像的局部细节有所增强，进一步增加了图像的对比度和清晰度，有效地克服了光线对图像的退化作用。

[0086] 表1实施例硬件平台FPGA资源消耗占用情况

[0087]资源分类 已使用 可用 利用率
Slice Registers 4368 184308 2％
Slice LUTs 9918 92152 10％
IOBs 55 396 13％
块随机存储器/FIFO 113 268 42％