一种实时视频去雾处理系统

摘要

一种实时视频去雾系统属于图像处理领域，其特征在于在一个数字集成电路中设有：数据读取单元、判断单元、天空亮度估计单元、大气光照白平衡单元、大气耗散图像估计单元、以及清晰场景恢复单元，对待处理视频当前镜头中的前K帧，估计其天空区域并从中计算天空亮度值，再用白平衡算法通过天空亮度值校正待处理图像中大气光照的颜色，并归一化白平衡图像，求出各颜色分量的最小值作为粗估计图像，并据此用边缘保持平滑方法计算出细化后的大气耗散图像，再由此计算出大气的场景反照率，以进行去雾复原处理。对于分辨率为288×352的CIF格式视频，处理速度可达60fps，分辨率为576×720的D1格式视频，可达15fps，能实用于交通监控系统中，达到实时性要求。

权利要求

1.一种实时视频去雾处理系统，其特征在于，是在一个数字集成电路中实现的，设有：

数据读取单元(U1)、判断单元(U2)、天空亮度估计单元(U3)、大气光照白平衡单元(U4)、大气耗散图像估计单元(U5)、以及清晰场景恢复单元(U6)，其中：数据读取单元(U1)，逐帧读取视频中待处理图像的数据：从所述待处理视频当前镜头T中读取一帧由R、G、B三个颜色分量组成的待处理图像I(x)＝(IR(x)，IG(x)，IB(x))，简称I(x)，下同，所述待处理图像I(x)的高为Nh个像数，宽为Nw个像数，x表示二维空间坐标，用向量表示为(m，n)，0≤m≤Nh-1，0≤n≤Nw-1，m、n、Nh、Nw均为非负整数；

判断单元(U2)，接收来自所述数据读取单元的一帧待处理图像I(x)，作为当前帧图像，且执行以下步骤：若所述待处理图像I(x)为当前镜头中前K帧中的一帧，K＝50，发送至所述天空亮度估计单元(U3)，若否，则为非前K帧，发送至大气光照白平衡单元(U4)；

天空亮度估计单元(U3)，设有降采样子单元(U31)、中心最小亮度值获取子单元(U32)、天空区域获取子单元(U33)以及天空亮度值估计子单元(U34)，其中：降采样子单元(U31)，从所述判断单元(U2)输入所述待处理图像I(x)，I(x)经降采样后，再裁剪出降采样图像的上半部分Ψ(x)，x为二维空间坐标，中心最小亮度值获取子单元(U32)，从所述降采样子单元(U31)输入所述降采样图像的上半部分Ψ(x)，依次按照以下步骤计算各像素的最小亮度值：第一步，对于每一个像素x，计算对应坐标处的R、G、B三个颜色分量的最小值，构成一幅最小颜色分量图像L(x)：第二步，遍历所述L(x)中的像素，对于每一个像素x，计算以像素x为中心的邻域Ω(x)内所有像素y的最小值，构成一幅最小值滤波图像Imin(x)：其中，Ω(x)表示以坐标x为中心的正方形邻域，正方形的边长为所述降采样图像的上半部分Ψ(x)的宽和高中较短边的0.025倍，c表示颜色通道，x表示二维空间坐标，Ψc(x)表示所述降采样图像的上半部分Ψ(x)的各颜色分量图像，c∈{R，G，B}分别表示R、G、B颜色通道，y为所述Ω(x)内的二维坐标点，天空区域获取子单元(U33)，根据设定的亮度阈值Tυ，将来自所述中心最小亮度值获取子单元(U32)输出的所述Imin(x)中亮度不小于所述阈值Tυ的像素点作为天空区域，将所述Imin(x)中的像素按像素值从大到小排列，前30％像素中的最小像素值设定为亮度阈值Tυ，天空亮度值估计子单元(U34)，将从所述Imin(x)中选取已检测出的所述天空区域中各T颜色分量中最亮的像素点的像素值作为天空亮度值A＝(AR，AG，AB)，并计算当前帧图像的天空亮度值A与前面各帧图像的天空亮度值的平均值大气光照白平衡单元(U4)，由校正子单元(U41)和归一化子单元(U42)串接而成，其中：校正子单元(U41)，利用来自所述天空亮度值估计子单元(U34)的平均天空亮度值的各颜色分量 代替Max-RGB白平衡算法中的各颜色分量最大值，对所述待处理图像进行校正得到校正后的白平衡图像 设k表示当前帧的序号，若k≤K，则输入来自天空亮度值估计子单元(U34)的天空亮度值的平均值若k＞K，则输入前K帧图像的天空亮度值的平均值 归一化子单元(U42)，按下式计算所述校正后的白平衡图像 与1之间的最小值，获取归一化校正图像I′(x)：大气耗散图像估计单元(U5)，由大气耗散图像粗估计子单元(U51)、大气耗散图像细化子单元(U52)以及介质传播图像估计子单元(U53)依次串接而成，其中：大气耗散图像粗估计子单元(U51)，按下式对来自所述归一化子单元(U42)输入的校正后的归一化图像I′(x)求出其中不同颜色分量之间的最小值 作为大气函数图像的粗估计值：大气耗散图像细化子单元(U52)按下式计算来自所述大气耗散图像粗估计子单元(U51)的粗估计值 的大气耗散细化图像V(x)：其中， 表示腐蚀“膨胀”式重构函数， 表示用结构元素b对粗估计图像进行n次腐蚀，n＝1，结构元素b为一圆盘型区域，其半径为所述图像宽度W和高度H中最小值的0.0125倍，将粗估计图像 作为模板图像，将它的腐蚀图像作为标记图像，经过对所述模板图像进行腐蚀后，在对应位置标记图像的像素值不大于所述模板图像的像素值的条件下，得到重构图像V(x)，介质传播图像估计子单元(U53)，输入来自所述大气耗散图像细化子单元(U52)的大气耗散细化图像V(x)，按下式计算介质传播函数t(x)：t(x)＝1-V(x)；

清晰场景恢复单元(U6)，按下式依据来自所述大气耗散图像估计单元(U5)的所述大气耗散细化图像V(x)和介质传播函数t(x)计算场景反照率ρ(x)：其中，κ为影响因子，0＜κ＜1，κ＝0.95，κ为强制恢复天空区域为白色而引入的因子。

说明书

一种实时视频去雾处理系统

技术领域

[0001] 本发明属于图像处理领域，更具体地说，涉及一种实时视频去雾处理系统。

背景技术

[0002] 计算机视觉系统的很多户外应用，如城市交通、视频监控、智能车辆等，都要求图像特征的检测具备鲁棒性。然而，在雾、霾等天气条件下，大气中悬浮的大量微小水滴、气溶胶的散射作用导致采集的图像严重降质，这极大地限制和影响了户外系统的功能。因此，有必要对降质视频进行自动、鲁棒、实时的处理，才能适应实际应用场合的需求。

[0003] 在计算机视觉领域中，常用大气散射模型来描述雾、霾天气条件下场景的成像过程。最近提出的单幅图像去雾算法在大气散射模型的基础上利用图像数据本身构造约束场景反照率或(和)景深的假设条件。Tan假设局部区域的环境光为常数，以及对比度显著增强。该算法旨在增强图像的对比度。尽管明显地改善了图像的视见度，然而，由于没有从物理模型上恢复真实场景反照率，恢复后的颜色显得过饱和，且在景深突变的交界区域产生严重的Halo效应。He等假设在至少一个颜色通道的局部区域内，场景反照率趋于0，使用最小值滤波对介质传播函数进行粗估计。然后，用图像抠图的解析解算法对介质传播函数进行细化。然而，这样的细化并不合理。在所用的代价函数中，数据项起着很小的作用。但若提高正则参数的取值，则景深突变边缘处的颜色易产生过冲失真。Kratz等假设场景反照率和景深是统计独立的，并可用正则概率先验对它们建模。需根据特定图像选取景深先验模型，且根据经验给定先验模型中的参数。Tarel等假设大气耗散函数在可行域中逼近最大值，且局部变化平缓。利用中值滤波的变形形式估计大气耗散函数。但是，中值滤波并非好的边缘保持滤波器，不恰当的参数设置易引入Halo效应。此外，基于数据假设的单幅图像去雾算法均存在计算过程复杂、耗时的问题，难以应用到实际场合。

发明内容

[0004] 有鉴于此，本发明提供了一种实时视频去雾处理系统，以解决现有技术的算法存在的计算过程复杂、耗时，难以应用到实际场合的问题。

[0005] 一种实时视频去雾处理系统，其特征在于，是在一个数字集成电路中实现的，设有：数据读取单元U1、判断单元U2、天空亮度估计单元U3、大气光照白平衡单元U4、大气耗散图像估计单元U5、以及清晰场景恢复单元U6，其中：

[0006] 数据读取单元U1，逐帧读取视频中待处理图像的数据：从所述待处理视频当前镜T头中读取一帧由R、G、B三个颜色分量组成的待处理图像I(x)＝(IR(x)，IG(x)，IB(x))，简称I(x)，下同，所述待处理图像I(x)的高为Nh个像数，宽为Nw个像数，x表示二维空间坐标，用向量表示为(m，n)，0≤m≤Nh-1，0≤n≤Nw-1，m、n、Nh、Nw均为非负整数；

[0007] 判断单元U2，接收来自所述数据读取单元的一帧待处理图像I(x)，作为当前帧图像，且执行以下步骤：

[0008] 若所述待处理图像I(x)为当前镜头中前K帧中的一帧，K＝50，发送至所述天空亮度估计单元U3，若否，则为非前K帧，发送至大气光照白平衡单元U4；

[0009] 天空亮度估计单元U3，设有降采样子单元U31、中心最小亮度值获取子单元U32、天空区域获取子单元U33以及天空亮度值估计子单元U34，其中：

[0010] 降采样子单元U31，从所述判断单元U2输入所述待处理图像I(x)，I(x)经降采样后，再裁剪出降采样图像的上半部分Ψ(x)，x为二维空间坐标，

[0011] 中心最小亮度值获取子单元U32，从所述降采样子单元U31输入所述降采样图像的上半部分Ψ(x)，依次按照以下步骤计算各像素的最小亮度值：

[0012] 第一步，对于每一个像素x，计算对应坐标处的R、G、B三个颜色分量的最小值，构成一幅最小颜色分量图像L(x)：

[0013]

[0014] 第二步，遍历所述L(x)中的像素，对于每一个像素x，计算以像素x为中心的邻域Ω(x)内所有像素y的最小值，构成一幅最小值滤波图像Imin(x)：

[0015]

[0016] 其中，Ω(x)表示以坐标x为中心的正方形邻域，正方形的边长为所述降采样图像的上半部分Ψ(x)的宽和高中较短边的0.025倍，c表示颜色通道，x表示二维空间坐标，Ψc(x)表示所述降采样图像的上半部分Ψ(x)的各颜色分量图像，c∈{R，G，B}分别表示R、G、B颜色通道，y为所述Ω(x)内的二维坐标点，

[0017] 天空区域获取子单元U33，根据设定的亮度阈值Tυ，将来自所述中心最小亮度值获取子单元U32输出的所述Imin(x)中亮度不小于所述阈值Tυ的像素点作为天空区域，将所述Imin(x)中的像素按像素值从大到小排列，前30％像素中的最小像素值设定为亮度阈值Tυ，

[0018] 天空亮度值估计子单元U34，将从所述Imin(x)中选取已检测出的所述天空区域中T各颜色分量中最亮的像素点的像素值作为天空亮度值A＝(AR，AG，AB)，并计算当前帧图像的天空亮度值A与前面各帧图像的天空亮度值的平均值

[0019] 大气光照白平衡单元U4，由校正子单元U41和归一化子单元U42串接而成，其中：

[0020] 校正子单元U41，利用来自所述天空亮度值估计子单元U34的平均天空亮度值的各颜色分量 代替Max-RGB白平衡算法中的各颜色分量最大值，对所述待处理图像进行校正得到校正后的白平衡图像 设k表示当前帧的序号，

[0021] 若k≤K，则输入来自天空亮度值估计子单元U34的天空亮度值的平均值[0022] 若k＞K，则输入前K帧图像的天空亮度值的平均值 归一化子单元U42，按下式计算所述校正后的白平衡图像 与1之间的最小值，获取归一化校正图像I′(x)：

[0023]

[0024] 大气耗散图像估计单元U5，由大气耗散图像粗估计子单元U51、大气耗散图像细化子单元U52以及介质传播图像估计子单元U53依次串接而成，其中：

[0025] 大气耗散图像粗估计子单元U51，按下式对来自所述归一化子单元U42输入的校正后的归一化图像I′(x)求出其中不同颜色分量之间的最小值 作为大气函数图像的粗估计值：

[0026]

[0027] 大气耗散图像细化子单元U52按下式计算来自所述大气耗散图像粗估计子单元U51的粗估计值 的大气耗散细化图像V(x)：

[0028]

[0029] 其中， 表示腐蚀“膨胀”式重构函数， 表示用结构元素b对粗估计图像 进行n次腐蚀，n＝1，结构元素b为一圆盘型区域，其半径为所述图像宽度W和高度H中最小值的0.0125倍，将粗估计图像 作为模板图像，将它的腐蚀图像作为标记图像，经过对所述模板图像进行腐蚀后，在对应位置标记图像的像素值不大于所述模板图像的像素值的条件下，得到重构图像V(x)，

[0030] 介质传播图像估计子单元U53，输入来自所述大气耗散图像细化子单元U52的大气耗散细化图像V(x)，按下式计算介质传播函数t(x)：

[0031] t(x)＝1-V(x)；

[0032] 清晰场景恢复单元U6，按下式依据来自所述大气耗散图像估计单元U5的所述大气耗散细化图像V(x)和介质传播函数t(x)计算场景反照率ρ(x)：

[0033]

[0034] 其中，κ为影响因子，0＜κ＜1，κ＝0.95，κ为强制恢复天空区域为白色而引入的因子。

[0035] 本发明公开的实时视频去雾处理系统，通过对大气光照白平衡及利用边缘保持平滑方法估计大气耗散图像，抑制了大气混浊粒子造成的图像偏色及在景深突变的边界产生Halo效应的问题，有效地提高了视频去雾效果；并且，通过天空亮度估计的加速方案及快速的边缘保持平滑方法，有效地加速了视频去雾处理。对于交通监控中常用格式的采集视频，能够达到实时性的要求。

附图说明

[0036] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0037] 图1为本发明公开的大气散射模型示意图；

[0038] 图2为本发明公开的实时视频去雾处理系统结构示意图；

[0039] 图3为本发明公开的天空亮度估计单元结构示意图；

[0040] 图4为本发明公开的大气光照白平衡单元结构示意图；

[0041] 图5为本发明公开的大气耗散图像估计单元结构示意图；

[0042] 图6为本发明实施例公开的实时视频去雾处理流程图；

[0043] 图7为同一镜头内部50帧图像的天空亮度值变化的曲线图：○表示红色(Red)分量，×表示绿色(Green)分量，表示蓝色(Blue)分量，天空亮度(Sky intensity)，帧(Frame)；

[0044] 图8为本发明实施例公开的实时视频去雾处理具体流程图；

[0045] 图9为本发明实施例中计算各像素最小亮度值的过程示意图；

[0046] 图10为一维函数的灰度形态学重构过程示意图：10-1表示标记图像，10-2表示模板图像，10-3表示标记图像的反复膨胀结果；

[0047] 图11为一维函数的灰度形态学重构结果示意图：11-1表示重构图像。

具体实施方式

[0048] 一种实时视频去雾处理系统，包括：

[0049] 数据读取单元，用于读取视频中的一帧待处理图像；

[0050] 判断单元，用于判断所述待处理图像I(x)属于当前镜头中的前K帧，若是，则执行天空亮度估计单元，若否，则执行大气光照白平衡单元；

[0051] 天空亮度估计单元，用于估计所述待处理图像的天空区域，并依据所述天空区域估计天空亮度值；

[0052] 大气光照白平衡单元，用于利用白平衡算法，依据所述天空亮度值，校正大气光照的颜色，并将白平衡图像归一化；

[0053] 大气耗散图像估计单元，用于利用边缘保持平滑方法，依据所述归一化校正图像，估计所述待处理图像的大气耗散图像；

[0054] 清晰场景恢复单元，用于利用大气散射模型，依据所述大气耗散图像，恢复所述待处理图像的场景反照率。

[0055] 优选的，所述天空亮度估计单元包括：

[0056] 降采样子单元，用于对所述待处理图像进行降采样，并按照天空区域具有的位置偏上的特性，裁剪出降采样图像上半部分；

[0057] 中心最小值获取子单元，用于计算所述降采样图像的各像素所位于的不同颜色分量之间及邻域范围内的最小亮度值；

[0058] 天空区域获取子单元，用于按照天空区域具有的亮度较大的特性，将所述中心最小亮度值不小于预设亮度阈值的像素点所组成的区域确定为天空区域；

[0059] 天空亮度值估计子单元，用于依据所述天空区域，选取所述待处理图像不同颜色分量的最大像素值，将其确定为相应颜色分量的天空亮度值；

[0060] 优选的，所述大气光照白平衡单元包括：

[0061] 校正子单元，用于利用白平衡算法，依据所述不同颜色分量相应的天空亮度值，校正所述待处理图像中大气光照的颜色；

[0062] 归一化子单元，用于选取所述白平衡图像的各像素值与1之间的最小值，获取归一化校正图像。

[0063] 优选的，所述大气耗散图像估计单元包括：

[0064] 大气耗散图像粗估计子单元，用于计算所述归一化校正图像不同颜色分量之间的最小值，作为大气耗散图像的粗估计值；

[0065] 大气耗散图像细化子单元，用于利用边缘保持平滑方法，对所述大气耗散粗估计图像进行细化处理，估计大气耗散图像；

[0066] 介质传播图像估计子单元，用于利用介质传播图像与大气耗散图像的关系式，依据所述大气耗散图像，计算介质传播图像的估计值。

[0067] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0068] 在雾、霾等天气条件下，大气中悬浮的大量微小水滴、气溶胶的散射作用导致采集的图像严重降质。随着物体到成像设备距离的增大，大气粒子与光线的散射作用对成像的影响逐渐增加。这种影响主要由两个散射过程造成：1)物体表面的反射光在到达成像设备的过程中，由于大气粒子的散射而发生衰减。2)自然光因大气粒子的散射而进入成像设备参与成像。在雾、霾等天气条件下窄波段摄像机所采集的降质图像I(x)可用公式1所示的大气散射模型来描述：

[0069] I(x)＝Aρ(x)e-βd(x)+A(1-e-βd(x)) 1

[0070] 式中，A为天空亮度(Skylight)，β为大气散射系数，ρ(x)和d(x)分别为空间坐标x处的场景反照率和景深。大气散射模型是雾霾图像呈现偏色、低对比度等特点的物理理论基础，是了解雾霾图像的成像机理，对大气降质图像进行复原的主要依据。式中天空亮度A、大气散射系数β、景深d(x)这3个参数为未知量，通过反向求解ρ(x)过程称为图像复原。

[0071] 为了简化公式1的描述，用介质传播函数t(x)表示指数衰减项e-βd(x)，即可用公式2表示为

[0072] t(x)＝e-βd(x) 2

[0073] 式中，0＜t(x)＜1。大气耗散函数定义为

[0074] V(x)＝1-t(x) 3

[0075] 显然，0＜V(x)＜1。大气耗散函数表示环境光对场景成像的附加部分，它是关于景深d(x)的增函数。

[0076] 如图1所示，大气散射模型由两项组成。第一项Aρ(x)e-βd(x)表示衰减模型，也称为直接传播或直接衰减。由于大气粒子的散射作用，一部分物体表面的反射光因散射而损失，未被散射的部分直接到达成像传感器，到达的光强随着传播的距离增大而呈指数衰减。-βd(x)
第二项A(1-e )表示环境光模型。这是因为大气粒子对自然光的散射引起大气表现出光源的特性。环境光的强度随着传播的距离增大而逐渐增加。

[0077] 本发明公开了一种实时视频去雾处理系统，以解决现有技术的算法存在的计算过程复杂、耗时，难以应用到实际场合的问题。其结构如图2所示，包括：数据读取单元U1、判断单元U2、天空亮度估计单元U3、大气光照白平衡单元U4、大气耗散图像估计单元U5和清晰场景恢复单元U6，其中：

[0078] 数据读取单元U1，用于读取视频中的一帧待处理图像；判断单元U2，用于判断所述待处理图像I(x)属于当前镜头中的前K帧，若是，则执行天空亮度估计单元U3，若否，则执行大气光照白平衡单元U4；天空亮度估计单元U3，用于估计所述待处理图像的天空区域，并依据所述天空区域估计天空亮度值；大气光照白平衡单元U4，用于利用白平衡算法，依据所述天空亮度值，校正大气光照的颜色，并将白平衡图像归一化；大气耗散图像估计单元U5，用于利用边缘保持平滑方法，依据所述归一化校正图像，估计所述待处理图像的大气耗散图像；清晰场景恢复单元U6，用于利用大气散射模型，依据所述大气耗散图像，恢复所述待处理图像的场景反照率。其详细内容可参见下面所对应的实施例。

[0079] 所述天空亮度估计单元U3结构如图3所示，包括：降采样子单元U31，用于对所述待处理图像进行降采样，并按照天空区域具有的位置偏上的特性，裁剪出降采样图像上半部分；中心最小亮度值获取子单元U32，用于计算所述降采样图像的各像素所位于的不同颜色分量之间及邻域范围内的最小亮度值；天空区域获取子单元U33，用于按照天空区域具有的亮度较大的特性，将所述中心最小亮度值不小于预设亮度阈值的像素点所组成的区域确定为天空区域；天空亮度值估计子单元U34，用于依据所述天空区域，选取所述待处理图像不同颜色分量的最大像素值，将其确定为相应颜色分量的天空亮度值。其详细内容可参见下面所对应的实施例。

[0080] 所述大气光照白平衡单元U4结构如图4所示，包括：校正子单元U41，用于利用白平衡算法，依据所述不同颜色分量相应的天空亮度值，校正所述待处理图像中大气光照的颜色；归一化子单元U42，用于选取所述白平衡图像的各像素值与1之间的最小值，获取归一化校正图像。其详细内容可参见下面所对应的实施例。

[0081] 所述大气耗散图像估计单元U5如图5所示，包括：大气耗散图像粗估计子单元U51，用于计算所述归一化校正图像不同颜色分量之间的最小值，作为大气耗散图像的粗估计值；大气耗散图像细化子单元U52，用于利用边缘保持平滑方法，对所述大气耗散粗估计图像进行细化处理，估计大气耗散图像；介质传播图像估计子单元U53，用于利用介质传播图像与大气耗散图像的关系式，依据所述大气耗散图像，计算介质传播图像的估计值。其详细内容可参见下面所对应的实施例。

[0082] 其具体实施方式如下所述：

[0083] 实施例一

[0084] 参见图1，本实施例公开的实时视频去雾处理流程包括以下步骤：

[0085] 步骤S1、读取一帧待处理视频；

[0086] 从视频中读取一帧待处理图像I(x)＝(IR(x)，IG(x)，IB(x))T，由R、G、B三个颜色分量组成，其高为Nh个像素，宽为Nw个像素，x表示二维空间的坐标，可以用向量(m，n)表示，其中，0≤m≤Nh-1，0≤n≤Nw-1，m、n、Nh、Nw均为非负整数。

[0087] 步骤S2、判断所述待处理图像I(x)属于当前镜头中的前K帧；若是，则执行步骤S3；若否，则执行步骤S4；

[0088] 镜头是视频流的基本组成成分，一段视频流是由许多镜头组成的。镜头是指所采集的内容相似的视频图像，主要是根据视频流的帧间差异进行镜头切换检测。对于视频而言，相邻两帧之间具有很高的相关性。在对视频进行处理时，应考虑视频特有的时间相关性。若对每一帧或每几帧分别计算一次天空亮度A，则一方面，每次计算出的A略有不同，如图7所示，导致画面闪烁、亮度跳跃；另一方面，增加了视频处理的时间开销，也没有必要如此做。判断当前帧是否属于当前镜头的前K帧，设k表示当前帧的序号，若k≤K，计算当前帧的天空亮度A，并计算当前帧与前面k-1帧图像的天空亮度的平均值 若k＞K，则利用视频的时间相关特性，直接用前K帧的天空亮度的平均值 在本实施例中，K取值为50，也就是2s视频的帧数，但是并不仅限于此。

[0089] 步骤S3、估计所述待处理图像的天空区域，并依据所述天空区域估计天空亮度值；

[0090] 天空亮度估计的准确与否对处理效果起着至关重要的作用。本发明中利用天空区域具有的亮度较高和位置偏上的特性，确定天空区域。由于天空区域的搜索时间约占总时间的一半。因此，采取两个加速方案：1)对图像进行降采样，降低其分辨率；2)依据天空区域位置的先验知识，裁剪出图像的上半部分。对于图像中的每一个像素x，计算像素x所位于的不同颜色分量之间及邻域范围内的最小亮度值。按照天空区域具有的亮度较高的先验知识，将最小亮度值不小于预设亮度阈值的像素点所组成的区域确定为天空区域。在待处理图像的对应区域中，将最大像素值确定为天空亮度A的估计值。

[0091] 步骤S4、利用白平衡算法，依据所述天空亮度值，校正大气光照的颜色，并将白平衡图像归一化；

[0092] 干洁的空气中大气分子的尺寸(10-4mm)远小于可见光的波长，短波长的蓝光占主导，因而天空呈现蓝色。雨、雾天气中所含小水滴的尺寸(＞1mm)与可见光的波长相比很大，因此，散射系数几乎不依赖于波长。不同波段的可见光以同样的比例发生散射，因而纯净的雾看起来是白色或者灰色的。然而，灰霾天气中所含气溶胶的尺寸范围(10-2～1mm)介于以上两者之间，因而灰霾呈现蓝色或褐色。因此，利用白平衡算法，将天空亮度 校正T为白色(1，1，1)，并通过选取所述白平衡图像的各像素值与1之间的最小值，将所述白平衡图像的像素值限制到[0，1]范围内。

[0093] 步骤S5、利用边缘保持平滑方法，依据所述归一化校正图像，估计所述待处理图像的大气耗散图像；

[0094] 随着场景到成像设备的距离增大，环境光对成像的作用逐渐增加，图像的亮度逐渐增大。环境光仅仅是关于景深的函数，因此，图像亮度的增量是场景景深的依据。由于在雾、霾天气条件下零反照率(全吸收)颜色波段成像的灰度值主要是环境光的贡献，本发明用归一化校正图像I′(x)的不同颜色分量之间的最小值作为大气耗散图像的粗估计值。由于大气耗散函数仅是关于景深d(x)的函数，而与反照率ρ(x)无关。第二步，对大气耗散函数的粗估计 进行区域平滑操作，保持景深突变的边缘细节。边缘保持平滑(滤波)的目的是使输出图像与输入图像尽可能得相似，但是，除了穿过较大梯度的区域应尽可能得平滑。目前具有边缘保持特性的滤波方法有中值滤波、双边滤波、引导滤波、局部极值平滑、加权最小二乘平滑、二代小波滤波、三边滤波等。其中，由于双边滤波理论简单、且有快速算法，成为目前最为广泛使用的边缘保持滤波方法。然而，以上滤波方法普遍存在算法过程复杂、硬件上不容易实现的问题，因此，本发明用数学形态学图像处理中的开、闭重构运算相结合方法对大气耗散粗估计图像进行细化。数学形态学算法具有利于并行实现的结构，适合于并行操作，且硬件上容易实现。

[0095] 步骤S6、利用大气散射模型，依据所述大气耗散图像，恢复所述待处理图像的场景反照率；

[0096] 利用已估计的大气耗散函数V(x)和介质传播函数t(x)，依据公式1来解出场景反照率ρ(x)。

[0097] 在本实施例中，参见图8，步骤S3所述天空亮度估计具体以步骤S31-S34加以实现，包括以下步骤：

[0098] 步骤S31、对所述待处理图像进行降采样，并按照天空区域具有的位置偏上的特性，裁剪出降采样图像上半部分；

[0099] 步骤S32、计算所述降采样图像的各像素所位于的不同颜色分量之间及邻域范围内的最小亮度值；

[0100] 步骤S33、按照天空区域具有的亮度较大的特性，将所述中心最小亮度值不小于预设亮度阈值的像素点所组成的区域确定为天空区域；

[0101] 步骤S34、依据所述天空区域，选取所述待处理图像不同颜色分量的最大像素值，将其确定为相应颜色分量的天空亮度值。

[0102] 步骤S31-步骤S34的实施过程详细地阐述如下：

[0103] 对所述待处理图像I(x)进行降采样，并根据天空区域一般出现在图像上方这个先验知识，裁剪出图像的上半部分，将新图像记为Ψ(x)，对Ψ(x)的最小颜色分量进行最小值滤波操作，即公式4所示：

[0104]

[0105] 式中，Ψc(x)表示所述降采样图像的上半部分Ψ(x)的各颜色分量图像，c∈{R，G，B}分别表示R、G、B颜色通道；Ω(x)表示以像素x为中心的邻域，其尺寸自适应地与图像宽和高中的最小值成正比。在本实施例中，降采样图像宽与高之间短边的值小于300，Ω(x)为一正方形邻域，该正方形邻域的尺寸等于所述降采样图像宽与高之间最小值的0.025倍，但是并不仅限于此。公式4的过程如图9所示，第一步，对于每一个像素x，计算对应坐标处的R、G、B三个颜色分量的最小值，构成一幅最小颜色分量图像L(x)：

[0106]

[0107] 第二步，遍历L(x)中的像素，对于每一个像素x，计算以像素x为中心的邻域Ω(x)内所有像素y的最小值，构成一幅最小值滤波图像Imin(x)：

[0108]

[0109] 计算天空亮度时涉及亮度阈值Tυ。本发明将所述Imin(x)中的像素按像素值从大到小排列，前30％像素中的最小像素值设定为亮度阈值Tυ，Imin(x)中不小于阈值Tυ的像素点作为天空区域。在待处理图像中选取已检测出的天空区域各颜色分量中最亮的像素点作为天空亮度A。最后，利用滑动平均法，按下式更新天空亮度的平均值：

[0110]

[0111] 式中，k为当前帧的序号， 和 分别表示第k-1帧和第k帧的天空亮度的平均值。

[0112] 需要指出的是，Ω(x)的选取将影响后续对候选天空区域的判定。这是因为，为了滤除图像中白色物体对估计天空亮度的影响，Ω(x)的尺寸应大于图像中白色物体的尺寸。但是，若图像中的天空区域也小于Ω(x)的尺寸，则将错误地滤除天空区域。在具体实现时，本领域技术人员可进行灵活设计，只要尽可能避免误选和漏选即可，在此不作赘述。

[0113] 以上部分对天空亮度估计的过程做了具体的描述，对所述待处理图像进行降采样，并裁剪出所述降采样图像的上半部分，以达到减小处理时间的目的，加快天空亮度估计的速度。进一步，将所述最小亮度值不小于预设亮度阈值的像素点所组成的区域确定为天空区域。在待处理图像中选取已检测出的天空区域中最亮的像素点作为天空亮度A。最后，利用滑动平均法，计算平均天空亮度 解决了天空亮度序列上下随机波动的问题，使大气光照的颜色平稳变化。

[0114] 在本实施例中，参见图8，步骤S4所述大气光照白平衡具体以步骤S41-S42加以实现，包括以下步骤：

[0115] 步骤S41、利用白平衡算法，依据所述不同颜色分量相应的天空亮度值，校正所述待处理图像中大气光照的颜色；

[0116] 步骤S42、选取所述白平衡图像的各像素值与1之间的最小值，获取归一化校正图像；

[0117] 步骤S41-步骤S42的实施过程详细地阐述如下：

[0118] WP(White Point)算法，也称为Max-RGB算法，利用R、G、B颜色分量的最大值来估计光照的颜色。在本发明中，用已估计的天空亮度 替换最大值，对大气光照进行白平衡。这样，对公式1两端除以 大气散射模型可简化为公式8为：

[0119]

[0120] 对于图像中亮度高的区域，则对应 将白平衡校正的图像 限制在[0，1]范围内，用I′(x)表示为 与1之间的最小值，即公式9所示：

[0121]

[0122] 为此，大气散射模型可表示为公式10：

[0123] I′(x)＝ρ(x)t(x)+V(x) 10

[0124] 在I′(x)中，天空亮度 校正为白色(1，1，1)T。

[0125] 以上部分对大气光照白平衡的过程作了具体的描述，利用基于WP的白平衡算法依据所述天空亮度值对大气光照的颜色进行校正，避免了大气混浊粒子造成的图像偏色的问题，有效地提高了视频去雾效果，例如，在灰霾天气条件下采集的视频，其大气光照的偏向蓝色或褐色。本实施例并不限定采用基于WP的白平衡算法，也可以采用其他基于图像低阶统计特征的白平衡算法，例如，基于均值(Gray World，GW)、p阶闵可夫斯基范数(Shades-of-Gray)等假设。基于低阶特征的方法可以快速有效地校正灰霾图像的颜色。

[0126] 在本实施例中，参见图8，步骤S5所述大气耗散图像估计具体以步骤S51-S53加以实现，包括以下步骤：

[0127] 步骤S51、计算所述归一化校正图像不同颜色分量之间的最小值，作为大气耗散图像的粗估计值；

[0128] 步骤S52、利用边缘保持平滑方法，对所述大气耗散粗估计图像进行细化处理，估计大气耗散图像；

[0129] 步骤S53、利用介质传播图像与大气耗散图像的关系式，依据所述大气耗散图像，计算介质传播图像的估计值。

[0130] 步骤S51的实施过程详细地阐述如下：

[0131] 由于雾、霾的存在，随着场景到成像设备的距离增大，环境光对成像的作用逐渐增加，图像的亮度逐渐增大。环境光仅仅是关于景深的函数，因此，图像亮度的增量是场景景深的依据。He等的假设条件是在至少一个颜色通道的局部小区域Ω(x)内，场景反照率趋于0，可用公式11表示为：

[0132]

[0133] 根据公式8，进而获得大气耗散函数的粗估计值为：

[0134]

[0135] 大气耗散函数V(x)受两个条件的约束：1)V(x)≥0，即V(x)为正值；2)V(x)≤I′(x)，即V(x)不大于I′(x)的最小颜色分量。本发明通过由粗到细的两步估计大气耗散函数。第一步，用I′(x)的最小颜色分量对大气耗散函数进行粗估计，即[0136]

[0137] 这基本上与He等的假设条件保持一致，即在雾、霾天气条件下零反照率(全吸收)颜色波段成像的灰度值主要是环境光的贡献。

[0138] 步骤S52-步骤S53的实施过程详细地阐述如下：

[0139] 由于大气耗散函数仅是关于景深d(x)的函数，而与反照率ρ(x)无关。第二步，对大气耗散函数的粗估计 进行区域平滑操作，保持景深突变的边缘细节，非景深突变的边缘处，景深平缓变化，尽可能地使相同景深具有相同的大气耗教值。

[0140] He等估计介质传播函数的第一步实际上等效于对 进行最小值滤波，但是，单一的最小值滤波会产生Halo效应和块效应。第二步借助图像抠图的解析解算法对介质传播函数进行细化操作。Tarel等本质上是对 进行中值滤波来估计大气耗散函数。

[0141] 灰度形态学重构是一种重要的形态学变换，它是利用两幅图像，一幅称为标记图像(marker)，包含变换初始点集；另一幅称为模板图像(mask)，约束变换。形态学重构是在模板图像的约束下，来处理标记图像。设f和g分别表示标记图像和模板图像，f和g的尺寸相同，且对于灰度值，f≤g。f关于g的1次测地膨胀(geodesic dilation)定义为[0142]

[0143] 这表明1次测地膨胀是首先计算f被b膨胀，再对各像素(x，y)计算膨胀结果和g的最小值。f关于g的n次测地膨胀(geodesic dilation)定义为

[0144]

[0145] 上式实际上表明 是公式14的n次迭代，初始值 为标记图像f。

[0146] 灰度标记图像f关于灰度模板图像g的膨胀式形态学重构定义为f关于g的测地膨胀，执行公式15的迭代过程直至膨胀不再发生变化为止，可表示为

[0147]

[0148] 式中，k满足

[0149] 图10直观上说明了一维函数的灰度形态学重构的解释，形态学重构对标记图像进行反复膨胀，直至标记图像的边界与模板图像中的边界拟合。图10中最上方的曲线表示模板图像，而最下方曲线表示标记图像。在此图中，通过从模板图像中减去一个常数获得标记图像。标记图像的像素值不能大于模板图像中对应位置的像素值。标记图像每次膨胀都受到模板图像的约束，重复这样的过程直至像素值不再发生改变时，膨胀终止，图11所示中黑线为重构图像。

[0150] 开重构 运算(Opening by reconstruction)和闭 重构运算 (Closing by reconstruction)是两个常用的灰度重构技术，它们不同于开运算和闭运算。在开重构运算中，首先对图像进行腐蚀操作，但是，不同于开运算中腐蚀后进行膨胀操作，而是利用腐蚀图像作为标记图像，而原图像作为模板图像，执行形态学重构。大气耗散图像的粗估计的n次开重构运算定义为其n次腐蚀结果的膨胀式重构，可表示为

[0151]

[0152] 式中， 表示用结构元素b对图像 进行n次腐蚀， 表示膨胀式重构函数。开重构运算的作用是保持腐蚀保留成分的整体形状。闭重构运算利用膨胀图像的补操作作为标记图像，而原图像的补操作作为模板图像，执行开重构运算，最后对结果图像求补来实现的。开重构运算和闭重构运算相结合不仅去除图像的过亮和过暗细节，对图像起着平滑的作用，而且，能够很好地保持目标的整体形状，没有破坏原目标的形状。在本实施例中，n的取值为1，结构元素b为一圆盘性邻域，其半径等于上述Nh和Nw中最小值的
0.0125倍，但是并不仅限于此。

[0153] 进一步，根据公式3计算介质传播函数t(x)，可表示为公式18：

[0154] t(x)＝1-V(x) 18

[0155] 以上部分对大气耗散图像估计过程做了具体的描述，因此，本发明用数学形态学图像处理中的开重构运算与闭重构运算相结合方法对大气耗散粗估计图像进行细化。数学形态学算法具有利于并行实现的结构，适合于并行操作，且硬件上容易实现，解决了滤波方法普遍存在算法过程复杂、硬件上不容易实现的问题。本实施例并不限定采用开、闭重构运算相结合的边缘保持平滑方法，也可以采用其他具有边缘保持特性的快速滤波方法，例如中值滤波、双边滤波、引导滤波等。只是，滤波方法普遍存在算法过程复杂、硬件上不容易实现的问题。只要最终能够获得边缘保持平滑图像，都是本发明保护的范围。

[0156] 步骤S6的实施过程详细地阐述如下：

[0157] 利用已估计的大气耗散函数V(x)和介质传播函数t(x)，依据公式10来解出场景反照率ρ(x)。由公式13可知，图像I′(x)与大气耗散函数V(x)的差值极可能接近0。与此同时，天空位于无穷远处，其介质传播函数t(x)趋于0。在这种情形下，直接恢复场景反照率将导致天空区域的颜色发生严重失真。为了避免O/O型(或者非常小的两数相除)的不确定值，引入因子κ(0＜κ＜1)，场景反照率ρ(x)由公式19计算为

[0158]

[0159] 式中，κ的引入强制恢复结果中的天空区域为白色。在本实施例中，κ的取值为0.95，但是并不仅限于此。最后，对于具有不连续性景深和严重遮挡的场景，截断[0，1]范围以外的值；而对于具有连续性景深的场景，使用非线性映射函数压缩场景反照率的动态范围。通过对大量有雾图像的观察发现，ρ(x)的直方图形状是区别上述两种情况的依据。

[0160] 本实施例通过对大气光照白平衡，抑制了大气混浊粒子造成的图像偏色；利用边缘保持平滑方法对大气耗散粗估计图像进行细化，避免了在景深突变的边界产生Halo效应的问题，有效地提高了视频去雾效果；通过天空亮度估计的加速方案及开、闭重构运算相结合的平滑方法有效地加速了视频去雾处理，能满足实时性要求的应用场景，且开、闭重构运算相结合的平滑方法具有硬件上容易并行实现的优点。设一幅图像的尺寸为Nh×Nw，本发明的时间复杂度可达到O(NhNw)。

[0161] 上述各个实施例从理论方面对本发明公开的一种实时视频去雾处理系统进行了详细的描述，同时从理论方面对其有益效果进行了描述，下面，本发明将从实际的处理过程出发，将本发明与现有技术对同一组图像数据进行处理的数据进行对比，以实现从实际应用中支持本发明的目的。

[0162] 在大多数实际应用中，真实图像或真实数据是未知的。由于没有真实图像可做参考，本发明使用无参考客观质量评测方法来进行算法性能的评价与比较。在雾、霾等天气下采集的视频，环境光对成像的作用导致图像亮度增大、饱和度、对比度降低及图像偏色。一种好的去雾算法是恢复场景的视见度，同时恢复场景的真实颜色。换句话说，复原图像有好的对比度，同时在色调、饱和度和亮度方面与降质图像具有高相似度，从而同时保持了色调、饱和度和亮度的自然特性。至于颜色保持方面，可以用色调极坐标直方图加以描述。色调用色度盘上关于红色轴的夹角来度量，色调值以角度表示的范围为[0，360)。色调极坐标直方图在单位圆中表示图像中所有色调出现的概率。由于低饱和度像素对应的色调没有意义，因而，仅对饱和度大于0.05的像素统计色调极坐标直方图。

[0163] 直方图相似度测量两个直方图分布之间的相似程度，本发明使用两个直方图分布的相关系数(correlation coefficient)作为直方图相似度的评测指数。两个直方图h′和h的相关系数定义为

[0164]

[0165] dcorr越大，匹配度越高；完全匹配时，dcorr为1，而完全不匹配时，dcorr为-1。而对比度可以通过方差来度量，对RGB图像进行主成分分析(Principle Component Analysis，PCA)，主成分的特征值就是其方差。本发明定义方差比值ηλ为去雾图像特征值之和与待处理图像特征值之和的比值。表格1比较了本发明与Tan、He&al、Tarel&al、Krafiz&al等算法的去雾图像的色调、饱和度、亮度相似度与方差比值。

[0166] 表格1：综合评测指数比较

[0167]

[0168] 根据Wang等的综合评价方法，去雾图像质量的综合评测指数Qm可表示为[0169] Qm＝(hcorr·scorr·υcorr)α·(ηλ)β 21

[0170] 式中，α、β用于调节色调、饱和度、亮度复原的保真度和对比度在综合评价中所占的比重。Tan、He&al、Tarel&al、Kraftz&al和本发明算法的综合评测指数Qm(10-4)分别为0.0349、0.1667、0.1136、0.0747和0.1770。由此可见，与其他4种算法的去雾图像相比，本发明的算法达到最优的去雾结果。

[0171] 由于各量的方差差别较大，通过除以方差使各量的方差标准化到1，在方差标准化之前，色调相似度hcorr、饱和度相似度scorr、亮度相似度υcorr、方差比值ηλ的方差分别为0.0343、0.0022、0.0010、0.7458，标准化的综合评测Qm为62.8330、299.9157、204.3461、134.4478、318.4299。由此可见，本发明的去雾结果的综合评测指数最高，这说明本发明较现有技术的处理方法，在提高图像对比度和饱和度的同时，保持了色调、饱和度和亮度方面的相似性，使处理图像具有自然特性。

[0172] 在速度方面，对于分辨率为288×352的CIF格式视频，本发明的处理速度可达60fps。对于分辨率为576×720的D1格式视频，本发明的处理速度可达15fps。对于交通监控中常用格式的采集视频，能够达到实时性的要求。

[0173] 本说明书中各个实施例采用递进的方式描述。专业人员还可以进一步意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

[0174] 结合本发明中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

[0175] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本发明所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。