一种基于生物视觉机制的夜间交通图像增强方法

摘要

本发明公开一种基于生物视觉机制的夜间交通图像增强方法，应用于计算机视觉技术领域，针对夜间道路环境昏暗、对向行驶车辆灯光对驾驶员视线的干扰、行人和路灯模糊不清等图像问题，提高夜间交通图像亮度，使夜间驾驶任务更容易更安全；本发明首先构建一个夜间交通图像分类器，根据夜间交通图像的亮度和局部对比度将夜间交通图像分为三类，再依据不同的分类结果调用三种不同的图像增强算法对输入的夜间交通图像进行增强，最后对增强前后图像质量进行无参考图像质量评价，发现增强后的夜间交通图像具有更好的主观及客观视觉感知性能，本发明的方法对辅助驾驶技术的发展具有重要的意义。

权利要求

1.一种基于生物视觉机制的夜间交通图像增强方法，其特征在于，包括：S1、利用行车记录仪获取不同场景的夜间交通图像，构建数据集，根据图像的亮度对数据集进行划分；步骤S1所述的根据图像的亮度对数据集进行划分，具体为：将亮度值大于185400的图像，划分至：“01”类别；

将亮度值大于121500且小于或等于185400的图像，划分至：“02”类别；

将亮度值大于0且小于121500的图像，划分至：“03”类别；

S2、根据S1对图像所分类别和图像本身的亮度和局部对比度，将其作为向量训练基于高斯径向基核函数的支持向量机，以构建夜间交通图像分类器；

S3、根据步骤S2建立的夜间交通图像分类器对图像进行分类，每个类别调用对应的图像增强算法对夜间交通图像进行增强，最后输出增强后的图像；

“01”类图像的图像增强算法的实现过程为：将待增强的图像进行图像分解，得到高频细节分量和低频亮度分量；

高频细节分量采用噪声抑制策略进行处理；

低频亮度分量的处理过程为：先将图像从RGB通道转换为HSV通道，然后对V通道图像进行对数变换；然后将HSV通道图像变换回RGB通道图像；

最后将处理后的高频细节分量和低频亮度分量进行叠加得到增强后的图像；

“02”类图像的图像增强算法的实现过程为：将待增强的图像进行图像分解，得到高频细节分量和低频亮度分量；

高频细节分量采用噪声抑制策略进行处理；

低频亮度分量的处理过程为：采用RGB进行采样，三个通道的图像采样模拟生物视觉处理中的视杆细胞和视锥细胞，其中，fR(x，y)、fG(x，y)、fB(x，y)分别为三个通道的图像采样，HCin表示输入水平细胞的信号，HCback为经水平细胞处理后的输出图像， 为二维高斯函数模拟的水平细胞，σL(x，y)、σc(x，y)为高斯函数方差；

水平细胞对视锥信号的增强控制由Naka‑Rushton经验公式描述：为水平细胞的输出，即HCback；m为所有像素的平均亮度，s为所有像素的标准差；

然后水平细胞将增强后的信号传递给双极细胞，双极细胞输出增强后的包含亮度的低频图像BCoutc(x，y)：其中，“*”表示卷积， 为利用二维高斯函数建模的双极细胞中心感受野，为利用二维高斯函数建模的双极细胞外周感受野，k为一个取值范围为[0，1]的权值；

最后将处理后的高频细节分量和低频亮度分量进行叠加得到增强后的图像；

“03”类图像的图像增强算法的实现过程为：将待增强的图像进行图像分解，得到高频细节分量和低频亮度分量；

高频细节分量采用噪声抑制策略进行处理；

低频亮度分量的处理过程为：将RGB图像进行通道变换为HSV图像，提取V通道图像进行自适应gamma校正；自适应gamma校正根据图像的亮度自适应取gamma值实现对图像的gamma校正；

然后将V通道增强后，将HSV图像还原为RGB图像；

最后将处理后的高频细节分量和低频亮度分量进行叠加得到增强后的图像。

2.根据权利要求1所述的一种基于生物视觉机制的夜间交通图像增强方法，其特征在于，还包括计算图像的亮度值，计算过程为：将图像从RGB通道转换为HSV通道，提取V通道图像，把V通道图像的所有像素求和得到图像的亮度值。

3.根据权利要求2所述的一种基于生物视觉机制的夜间交通图像增强方法，其特征在于，步骤S2具体为：利用图像分类的类别信息作为标签，图片本身亮度和局部对比度作为图像的特征，利用图像的特征和标签组成的向量训练基于高斯径向基核函数的支持向量机，从而得到夜间交通图像分类器。

4.根据权利要求3所述的一种基于生物视觉机制的夜间交通图像增强方法，其特征在于，σL(x，y)、σc(x，y)的值确定方式为：其中，n＝L或c，sigma是预定义参数， 表示被处理图像中的像素点。

5.根据权利要求3所述的一种基于生物视觉机制的夜间交通图像增强方法，其特征在于，gamma取值如下：其中，Iin为输入待增强的亮度通道图像，Iout为经过校正增强后的亮度通道图像，lum为图像的亮度值。

6.根据权利要求1或5所述的一种基于生物视觉机制的夜间交通图像增强方法，其特征在于，噪声抑制策略实现过程为：将图像分解出来的高频细节分量与二维高斯函数进行卷积得到一个权重图，然后将权重图与分解出来的高频细节分量进行逐像素相乘即得到噪声抑制后的高频图像。

说明书

一种基于生物视觉机制的夜间交通图像增强方法

技术领域

[0001] 本发明属于计算机视觉技术领域，特别涉及一种夜间交通图像增强技术。

背景技术

[0002] 随着辅助驾驶技术的发展，在自动驾驶技术还不成熟和人们夜间驾车出行又比较频繁的当下，人们渴望高级辅助驾驶技术来提高夜间驾驶的舒适性和安全性。在辅助驾驶技术的相关领域中，夜间交通图像增强是一个热门话题，对于比较暗的行车环境，车载光学成像传感系统无法准确感知周围环境信息，使得辅助驾驶系统有做出错误决策的可能，从而给夜间行车带来安全隐患，因此夜间交通图像增强在夜间辅助驾驶中起着至关重要的作用。实际上，夜间交通环境是一个动态的场景，不同场景中的照明情况不同，要准确捕捉驾驶场景中的信息这不仅对驾驶员是一个考验，对高级辅助驾驶系统也是一个挑战。受早期生物视觉双通路的启发，视网膜上的视锥和视杆细胞在接受到光刺激后会将神经冲动传递给水平细胞，水平细胞又会把神经冲动传递给双极细胞，在层层传递的过程中，受光刺激的强度的影响，水平细胞和双极细胞被激活的程度也不尽相同，于是我们选择不同的图像增强算法，针对动态变化的交通场景图像进行增强。

[0003] 众所周知，相较于白天且天气状况良好的情况下行车，夜间驾驶存在周围环境昏暗，路灯和对向驶来的车辆的车灯的干扰以及昏暗导致的视线范围内的行人等都会增加夜间行车的危险性，灯光的干扰使得驾驶员更加容易视觉疲劳，环境的昏暗使得驾驶员要更加集中注意力。因此，在充分了解了夜间行车现状和需求后，设计出一种可以随着交通场景变化而变换的图像增强方法是有必要的，这可以让驾驶员不管在什么夜间场景下行车，驾驶辅助系统都能获得视觉质量最好的图像以辅助驾驶员的驾驶，从而提高夜间行车的安全性和舒适性。

发明内容

[0004] 为解决上述技术问题，本发明提出一种基于生物视觉机制的夜间交通图像增强方法。

[0005] 本发明采用的技术方案为：一种基于生物视觉机制的夜间交通图像增强方法，包括：

[0006] S1、利用行车记录仪获取不同场景的夜间交通图像，构件数据集，根据图像的亮度对数据集进行划分；

[0007] S2、根据S1对图像所分类别和图像本身的亮度和局部对比度，将其作为向量训练基于高斯径向基核函数的支持向量机(SVM)，以构建夜间交通图像分类器；

[0008] S3、根据步骤S2建立的夜间交通图像分类器对图像进行分类，每个类别调用对应的图像增强算法对夜间交通图像进行增强，最后输出增强后的图像。

[0009] 步骤S1所述的根据图像的亮度对数据集进行划分，具体为：

[0010] 将亮度值大于185400的图像，划分至：“01”类别；

[0011] 将亮度值大于121500且小于或等于185400的图像，划分至：“02”类别；

[0012] 将亮度值大于0且小于121500的图像，划分至：“03”类别。

[0013] 还包括计算图像的亮度值，计算过程为：将图像从RGB通道转换为HSV通道，提取V通道图像，把V通道图像的所有像素求和得到图像的亮度值。

[0014] 步骤S2具体为：利用图像分类的类别信息作为标签，图片本身亮度和局部对比度作为图像的特征，利用图像的特征和标签组成的向量训练基于高斯径向基核函数的支持向量机，从而得到夜间交通图像分类器。

[0015] “01”类图像的图像增强算法的实现过程为：将待增强的图像进行图像分解，得到高频细节分量和低频亮度分量；

[0016] 高频细节分量采用噪声抑制策略进行处理；

[0017] 低频亮度分量的处理过程为：先将图像从RGB通道转换为HSV通道，然后对V通道图像进行对数变换；然后将HSV通道图像变换回RGB通道图像；

[0018] 最后将处理后的高频细节分量和低频亮度分量进行叠加得到增强后的图像。

[0019] 噪声抑制策略实现过程为：将图像分解出来的高频细节分量与二维高斯函数进行卷积得到一个权重图，然后将权重图与分解出来的高频细节分量进行逐像素相乘即得到噪声抑制后的高频图像。

[0020] “02”类图像的图像增强算法的实现过程为：将待增强的图像进行图像分解，得到高频细节分量和低频亮度分量；

[0021] 高频细节分量采用噪声抑制策略进行处理；

[0022] 低频亮度分量的处理过程为：采用RGB进行采样，三个通道的图像采样模拟生物视觉处理中的视杆细胞和视锥细胞，

[0023]

[0024]

[0025] 其中，fR(x，y)、fG(x，y)、fB(x，y)分别为三个通道的图像采样，HCin表示输入水平细胞的信号，HCback为经水平细胞处理后的输出图像， 为二维高斯函数模拟的水平细胞，σL(x，y)、σc(x，y)为高斯函数方差；

[0026] 水平细胞对视锥信号的增强控制由Naka‑Rushton经验公式描述：

[0027]

[0028]

[0029] 为水平细胞的输出，即HCback；

[0030] 然后水平细胞将增强后的信号传递给双极细胞，双极细胞输出增强后的包含亮度的低频图像BCoutc(x，y)：

[0031]

[0032]

[0033] 其中，“*”表示卷积， 为利用二维高斯函数建模的双极细胞中心感受野，为利用二维高斯函数建模的双极细胞外周感受野，k为一个取值范围为[0，1]的权值；

[0034] 最后将处理后的高频细节分量和低频亮度分量进行叠加得到增强后的图像。

[0035] σL(x，y)、σc(x，y)的值确定方式为：

[0036]

[0037] 其中，n＝L或c，m为所有像素的平均亮度，s为所有像素的标准差，sigma是预定义参数， 表示被处理图像中的像素点。

[0038] “03”类图像的图像增强算法的实现过程为：将待增强的图像进行图像分解，得到高频细节分量和低频亮度分量；

[0039] 高频细节分量采用噪声抑制策略进行处理；

[0040] 低频亮度分量的处理过程为：将RGB图像进行通道变换为HSV图像，提取V通道图像进行自适应gamma校正；自适应gamma校正根据图像的亮度自适应取gamma值实现对图像的gamma校正，gamma取值如下：

[0041] 其中

[0042] 其中，Iin为输入待增强的亮度通道图像，Iout为经过校正增强后的亮度通道图像，lum为图像的亮度值；

[0043] 然后将V通道增强后，将HSV图像还原为RGB图像；

[0044] 最后将处理后的高频细节分量和低频亮度分量进行叠加得到增强后的图像。

[0045] 本发明的有益效果：本发明的方法，基于传统机器学习分类算法和生物视觉机制来对夜间交通图像进行先分类，再根据图像所属类别调用对应类别的图像增强算法对夜间交通图像进行增强，从而得到夜间交通场景的清晰景象，帮助驾驶员提前有效地发现可能的危险，减轻驾驶负担，从而提高驾驶安全性和舒适性；并且本发明的方法可以与高级辅助驾驶系统联合使用，提升高级辅助驾驶系统的决策水平。

附图说明

[0046] 图1为本发明的夜间交通图像分类和增强任务流程图。

[0047] 图2为本发明的夜间交通图像分类器训练和测试流程图。

[0048] 图3为根据图像亮度将图像数据集划分为三个类别。

[0049] 图4为本发明的对“01”类夜间交通图像的增强算法流程图；

[0050] 其中，(a)为本发明的方法流程图；(b)为图像分解后低频通路图像亮度增强所使用的对数函数；(c)为分别取不同v值对数变换曲线的取值。

[0051] 图5为本发明的对“02”类夜间交通图像的增强算法流程图。

[0052] 图6为本发明的对“03”类夜间交通图像的增强算法流程图。

[0053] 图7为采用本发明方法对夜间交通图像进行增强的结果图；

[0054] 其中，(a)为原图一，(b)为原图二，(c)为原图三，(d)为采用本发明的方法对原图一进行增强后的图像，(e)为采用本发明的方法对原图二进行增强后的图像，(f)为采用本发明的方法对原图三进行增强后的图像，(g)为原图一中的局部图像，(h)为原图二中的局部图像，(i)为原图三中的局部图像，(j)为采用本发明的方法对原图一中的局部图像进行增强后的效果，(k)为采用本发明的方法对原图二中的局部图像进行增强后的效果，(l)为采用本发明的方法对原图三中的局部图像进行增强后的效果。

[0055] 图8为本发明方法对200幅夜间交通图像进行增强前后的定量指标结果统计图；

[0056] 其中，(a)为“01”类图像的综合图像质量评价函数，(b)为“02”类图像的综合图像质量评价函数，(c)为“03”类图像的综合图像质量评价函数，(d)为“01”类图像的IL‑NIQE，(e)为“02”类图像的IL‑NIQE，(f)为“03”类图像的IL‑NIQE，(g)为“01”类图像的基于空间光谱熵的质量指数，(h)为“02”类图像的基于空间光谱熵的质量指数，(i)为“03”类图像的基于空间光谱熵的质量指数。

具体实施方式

[0057] 为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。

[0058] 本发明的实现过程包括以下四个步骤：

[0059] A、根据夜间交通图像的亮度和局部对比度进行图像类别划分：利用采集来的数据制作的数据集，计算数据集中图像的亮度和局部对比度，然后以图像的亮度为横坐标，局部对比度为纵坐标将图像数据集反映在二维坐标上，然后人为设定两个亮度阈值将整个数据集分为三个类别，比如本实施例中根据亮度值设定了121500与185400两个阈值，则具体的类别划分如下：

[0060] 亮度值lum大于185400的图像类别为“01”类别；

[0061] 亮度值大于121500且小于或等于185400的图像类别为“02”类别；

[0062] 亮度值大于0且小于121500的图像类别为“03”类别。

[0063] 这里的亮度值lum计算为对图像从RGB空间转换为HSV空间后，计算V通道图像所有像素值之和。其中，“01”类别亮度比较高，“02”类别亮度适中，“03”类别亮度最低。划分结果如图3所示。

[0064] 步骤A1、夜间交通图像的亮度值计算过程为：将RGB图像转换为HSV通道的图像，提取V通道图像，把V通道图像的所有像素求和即得到图像的亮度值。

[0065] 步骤A2、夜间交通图像的局部对比度值计算过程为：将RGB图像转换为HSV通道图像，提取V通道图像，计算V通道图像21×21窗口内像素的标准差即得到图像的局部对比度图，然后计算局部对比度图的所有像素之和即得到图像的局部对比度值。

[0066] 步骤A3、设定两个跟图像亮度值相关的阈值，将亮度值划分为三个类别；

[0067] 其中，“01”类别图像的特征为图像场景中明亮刺眼的光源较多，光场复杂，局部对比度较好(即图像细节清晰)；“02”类别图像的特征为图像中各部分亮度适中，没有特别刺眼的光源，即使图像中有部分无法看清楚的区域但这部分任然存在像素值，局部对比度较好，细节清晰；“03”类别图像的特征为图像整体亮度很暗，图像中大片像素值为0，局部对比度较差。

[0068] B、夜间交通图像分类器的构建

[0069] 图2所示为夜间交通图像分类器训练和测试过程。利用图像分类的类别信息作为标签，图片本身亮度和局部对比度图作为图片的特征，利用这些特征和标签组成的向量训练基于高斯径向基核函数的支持向量机(SVM)，从而得到夜间交通图像分类器。

[0070] C、夜间交通图像增强算法：

[0071] 本发明采用的整体思路是：对夜间交通图像采取分类增强的策略。图4、图5和图6分别是对三类图像增强的算法流程图。图4所示为针对“01”类图像的图像增强算法为：将待增强的输入图像进行图像分解；本发明采用了基于总变差能量(total‑variation energy)的图像分解方法，该方法是J.‑F.Aujol等人于2006年提出；将输入图像分解为包含图像细节和噪声高频细节分量和包含图像亮度的低频亮度分量，高频部分采用噪声抑制策略，噪声抑制策略实现为：将图像分解出来的高频图像与二维高斯函数进行卷积得到一个权重图，然后将权重图与分解出来的高频图像进行逐像素相乘即得到噪声抑制后的高频通路输出分量，表达式如下：

[0072]

[0073]

[0074]C

[0075] 其中，μ(x，y)为高频图像 与二维高斯函数G(x，y)卷积得到的权重图像，为噪声抑制后的输出的高频通路图像。

[0076] 低频亮度成分先将图像从RGB通道转换为HSV通道，然后对V通道图像进行对数变换以抑制高亮区域和提升低亮区域；然后将HSV通道图像变换回RGB图像，最后将高频通路和低频通路处理后的图像进行叠加即得到增强后的图像。图4采用的对数变换表达式为：

[0077] S＝logv+1(1+v*r)

[0078] 其中，S为对数变换后输出的图像，r表示图像的像素值，v是一个控制图像增强强度的参数值，v值越大小图像亮度提升越大，但是我们通过实验发现v值并不是越小越好，图像亮度提升与v值的关系如图4(c)所示，根据大量图像增强实验我们发现v＝30时图像增强的视觉效果是最好的。

[0079] 图5所示为针对“02”类图像的图像增强算法为：将输入的增强图像分解为高频细节分量Idetail和低频亮度分量Ibase，高频细节分量的处理采用噪声抑制策略，记经过噪声抑制后的高频图像为Outdetail；低频亮度分量则采用RGB进行采样，三个通道的图像采样模拟生物视觉处理中的视杆细胞和视锥细胞，

[0080]

[0081]

[0082] 其中，fR(x，y)，fG(x，y)和fB(x，y)分别是视锥和视杆细胞对光信号的采样，反映到图像处理即为对图像的RGB采样，因此输入水平细胞HC的信号就为HCin，HCback为经水平细胞处理后的输出图像， 为二维高斯函数模拟的水平细胞，σL(x，y)、σc(x，y)为高斯函数方差；

[0083] 水平细胞感受野大小受亮度水平调控：

[0084]

[0085] m为所有像素的平均亮度，s为所有像素的标准差，sigma是预定义参数设置为1，表示被处理图像中的像素点；水平细胞对视锥信号的增强控制由Naka‑Rushton经验公式描述：

[0086]

[0087]

[0088] 为水平细胞的输出，即HCback；

[0089] 然后水平细胞将增强后的信号传递给双极细胞BC，双极细胞的感受野由较小的中心兴奋区和较大的外周抑制区组成，这一结构通常被描述为高斯差模型。双极细胞利用中心外周的拮抗机制，能够有效地降低输入信号的冗余，增加空间分辨率和对比敏感度[0090]

[0091]

[0092] 这里，BCoutc(x，y)表示图像增强后的包含亮度的低频图像，“*”表示卷积，为利用二维高斯函数建模的双极细胞中心感受野， 为利用二维高斯函数建模的双极细胞外周感受野，k为一个取值范围为[0，1]的权值，控制的是双击细胞中心和外周的相对大小。建立的这种生物视觉机制的夜间交通图像增强模型使得增强后的图像更加符合人的视觉感官系统；图5中的Outbase表示图像增强后的包含亮度的低频图像；

[0093] 最后将高频通路和低频通路叠加即可得到增强后的图像。

[0094] 图6所示为针对“03”类图像的图像增强算法为：将待增强的图像进行高频细节和低频亮度成分的分解，高频细节成分的处理依然采用噪声抑制策略，低频亮度的处理则是将RGB图像进行通道变换为HSV图像，提取V通道图像进行自适应gamma校正；自适应gamma校正的实现是根据图像的亮度(lun)自适应取gamma值实现对图像的gamma校正，这里我们设置的4个gamma值如下：

[0095] 其中

[0096] 其中，Iin为输入待增强的亮度通道图像，Iout为经过校正增强后的亮度通道图像，lum为亮度通道(V通道)图像所有像素之和(即图像的亮度值)。

[0097] 最后将V通道增强后，将HSV图像还原为RGB图像，再将高频成分和低频成分叠加即可得到增强后的图像。

[0098] D、测试、评价夜间交通图像分类器和夜间交通图像增强算法效果：

[0099] 步骤D1：将测试夜间交通图像分类器的图像数据各200张分别放入以类别“01”、“02”、“03”命名的三个文件夹。得到的测试结果准确率为92％；

[0100] 步骤D2：图7展示了本发明所分三类夜间交通图像增强的视觉效果，三类图像在亮度和局部对比度上相较于原图都有明显的提升，图像场景中原本在黑暗中模糊不清的物体变得清晰可见，这不仅提升了图像的视觉质量还可以有效辅助驾驶员的驾驶，增加了夜间行车的安全性。图8为本发明采用的三种夜间交通图像无参考图像评价指标对图像增强前后图像质量的评估，采用的定量指标为综合图像质量评价函数(vpmi)、IL‑NIQE和基于空间光谱熵的质量指数(SSEQ)，其中vpmi值越大代表图像质量越好，IL‑NIQE和SSEQ值越小代表图像质量越好。图中横坐标n表示图像的标号；图8从定量的指标上也证明了本发明方法对夜间交通图像进行分类增强的有效性，从图中可以看出增强后的图像相较于原图其综合图像质量评价函数(vpmi)值明显高于原图、IL‑NIQE值明显小于原图、基于空间光谱熵的质量指数(SSEQ)值明显小于原图。

[0101] 本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。