交通信号识别方法、系统、设备和存储介质

摘要

本发明公开了一种交通信号识别方法，包括步骤：获取摄像头实时拍摄的道路场景图像；提取道路场景图像中感兴趣区域ROI；基于RGB颜色空间，对ROI进行处理，以获得交通信号候选区域；通过所述交通信号候选区域的方向梯度直方图HOG特征和预设支持向量机SVM，实时识别交通信号。本发明还公开了一种交通信号识别系统、设备和计算机可存储介质。本发明解决了现有技术在交通信号识别时所需时间较长，识别的实时性差的技术问题。

权利要求

1.一种交通信号识别方法，其特征在于，包括步骤：

获取摄像头实时拍摄的道路场景图像；

提取道路场景图像中感兴趣区域ROI；

基于RGB颜色空间，对ROI进行处理，以获得交通信号候选区域；

通过所述交通信号候选区域的方向梯度直方图HOG特征和预设支持向量机SVM，识别交通信号；

所述基于RGB颜色空间，对ROI进行处理，以获得交通信号候选区域的步骤包括：当交通信号为交通信号灯时，根据ROI中各像素的R、G值对ROI进行灰度化以获得ROI灰度图，并对所述ROI灰度图进行降噪处理，以获得降噪后的ROI灰度图；

对降噪后的ROI灰度图进行二值化，获得ROI二值图；

选取ROI二值图中灰度值为255的所有区域轮廓，将所述区域轮廓映射到所述ROI中，获得ROI中初步交通信号灯候选区域；

获取所述初步交通信号灯候选区域的R通道值、G通道值和B通道值方差，将所述初步交通信号灯候选区域中R通道值、G通道值和B通道值的方差大于或等于对应预设阈值的区域作为ROI中二次交通信号灯候选区域；

对所述二次交通信号灯候选区域对应的ROI二值图区域进行闭运算，获得闭运算后的二次交通信号灯候选区域二值图；

对所述闭运算后的二次交通信号灯候选区域二值图进行轮廓筛选，将筛选后的轮廓映射到ROI中，获得交通信号灯最终候选区域，并将交通信号灯最终候选区域作为交通信号候选区域。

2.如权利要求1所述的交通信号识别方法，其特征在于，所述基于RGB颜色空间，对ROI进行处理，获得交通信号候选区域步骤包括：当交通信号是交通禁令标志时，对ROI进行颜色分割，以获得ROI的二值图；

对ROI二值图进行降噪，获得降噪后的ROI二值图；

对降噪后的ROI二值图进行开运算，获得开运算后ROI二值图；

对开运算后ROI二值图进行轮廓筛选，将筛选后的轮廓映射到ROI中，获得交通禁令标志候选区域，并将所述交通禁令标志候选区域作为交通信号候选区域。

3.如权利要求2所述的交通信号识别方法，其特征在于，所述当交通信号是交通禁令标志时，对ROI进行颜色分割，以获得ROI的二值图步骤包括：采用归一化算法对ROI的RGB通道值进行处理，获得归一化处理后RGB通道值；

获得归一化处理后的RGB通道值中任两个通道值间的差值和归一化处理后R通道值与G通道值间的比值，将ROI中获得的比值和任两个通道值的差值都处在对应的预设范围内的区域的灰度值设置为255，其他区域的灰度值设置为0，从而获得ROI二值图。

4.如权利要求1所述的交通信号识别方法，其特征在于，所述预设SVM包括第一预设SVM、第二预设SVM以及第三预设SVM；所述通过所述交通信号候选区域的方向梯度直方图HOG特征和预设支持向量机SVM，识别交通信号步骤包括：当交通信号为交通信号灯时，提取所述交通信号候选区域的HOG特征，将提取的HOG特征输入第一预设SVM中，以对所述交通信号候选区域进行分类，从而获得所述交通信号候选区域中的交通信号灯发光区域；

根据预设交通信号灯颜色规律分布对所述交通信号灯发光区域进行区域延伸，获得交通信号灯面板候选区域；

提取所述交通信号灯面板候选区域的HOG特征，将该HOG特征输入到第二预设SVM中，以对所述交通信号灯面板候选区域进行分类，从而获得交通信号灯面板区域；

对所述交通信号灯面板区域实时跟踪，并通过第三预设SVM识别交通信号灯。

5.如权利要求4所述的交通信号识别方法，其特征在于，所述对所述交通信号灯面板区域实时跟踪，并通过第三预设SVM识别交通信号灯步骤包括：将所述交通信号灯面板区域映射到所述ROI中对应的位置区域输入到KCF多目标跟踪器中，获得KCF多目标跟踪器的输出结果；

将所述输出结果输入到目标管理器中，获得所述交通信号灯面板区域位置信息；

根据所述交通信号灯面板区域位置信息，提取所述ROI中所述位置信息对应区域的HOG特征、R通道值、G通道值和B通道值；

将所述位置信息对应区域的HOG特征、R通道值、G通道值和B通道值输入第三预设SVM中，以识别交通信号灯方向和颜色。

6.如权利要求1所述的交通信号识别方法，其特征在于，所述预设SVM包括第一预设SVM、第二预设SVM以及第三预设SVM；所述通过所述交通信号候选区域的方向梯度直方图HOG特征和预设支持向量机SVM，识别交通信号步骤包括：当交通信号为交通禁令标志时，提取所述交通信号候选区域的HOG特征，将所述HOG特征输入第一级SVM中，获得交通禁令标志初次识别候选区域；

提取所述交通禁令标志初次识别候选区域的HOG特征，将所述交通禁令标志初次识别候选区域的HOG特征输入到第二级SVM中，获得交通禁令标志二次识别区域；

提取所述交通禁令标志二次识别区域的HOG特征，将该HOG特征输入到第三级SVM中，识别交通禁令标志。

7.一种交通信号识别系统，其特征在于，包括：

获取图像模块，用于获取摄像头实时拍摄的道路场景图像；

提取ROI模块，用于提取道路场景图像中感兴趣区域ROI；

图像预处理模块，用于基于RGB颜色空间，对ROI进行处理，以获得交通信号候选区域；

识别模块，用于通过所述交通信号候选区域的方向梯度直方图HOG特征和预设支持向量机SVM，识别交通信号；

当所述交通信号为交通信号灯时，所述图像预处理模块包括：

降噪单元，用于根据ROI中各像素的R、G值对ROI进行灰度化以获得ROI灰度图，并对所述ROI灰度图进行降噪处理，以获得降噪后的ROI灰度图；

二值化单元，用于对降噪后的ROI灰度图进行二值化，获得ROI二值图；

映射单元，用于选取ROI二值图中灰度值为255的所有区域轮廓，将所述区域轮廓映射到所述ROI中，获得ROI中初步交通信号灯候选区域；

计算单元，用于获取所述初步交通信号灯候选区域的三R通道值GB的方差，将所述初步交通信号灯候选区域中三R通道值GB通道值的方差大于或等于预设阈值的区域作为ROI中二次交通信号灯候选区域；

闭运算单元，用于对所述二次交通信号灯候选区域对应的ROI二值图区域进行闭运算，获得闭运算后的二次交通信号灯候选区域二值图；

筛选单元，用于对所述闭运算后的二次交通信号灯候选区域二值图进行轮廓筛选，将筛选后的轮廓映射到ROI中，获得交通信号灯最终候选区域，并将交通信号灯最终候选区域作为交通信号候选区域。

8.一种交通信号识别设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的交通信号识别方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的交通信号识别方法的步骤。

说明书

交通信号识别方法、系统、设备和存储介质

技术领域

[0001] 本发明涉及图像识别技术领域，尤其涉及交通信号识别方法、系统、设备和计算机可读存储介质。

背景技术

[0002] 交通信号包括交通信号灯和交通禁令标志，是一种视觉语言。它能为驾驶员或者智能驾驶系统实时传输一些重要的道路交通信息，协助安全驾驶。交通信号识别方法作为先进驾驶辅助系统重要的组成部分，实时地、准确地识别交通信号将有利于智能驾驶系统的发展，甚至无人驾驶的发展。

[0003] 目前交通信号的识别方法一般是首先将获取的视频图像的RGB颜色空间通过浮点运算转换为HSV或HIS颜色空间，再对转换为HSV或HIS颜色空间的视频图像进行处理，识别图像中的交通信号。但是RGB颜色空间转换为HSV或HIS颜色空间需要需要大量的浮点运算，并且浮点运算耗时，从而导致现有技术的识别所需时间较长，识别的实时性差。

[0004] 上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

[0005] 本发明的主要目的在于提供一种交通信号识别方法、系统、设备和计算机可读存储介质，旨在解决现有技术的识别所需时间较长，识别的实时性差的技术问题。

[0006] 为实现上述目的，本发明提供了一种交通信号识别方法，包括步骤：

[0007] 获取摄像头实时拍摄的道路场景图像；

[0008] 提取道路场景图像中感兴趣区域ROI；

[0009] 基于RGB颜色空间，对ROI进行处理，以获得交通信号候选区域；

[0010] 通过所述交通信号候选区域的方向梯度直方图HOG特征和预设支持向量机SVM，识别交通信号。

[0011] 可选地，所述基于RGB颜色空间，对ROI进行处理，获得交通信号候选区域步骤包括：

[0012] 当交通信号为交通信号灯时，对ROI灰度化以获得ROI灰度图，并对所述ROI灰度图进行降噪处理，以获得降噪后的ROI灰度图；

[0013] 对降噪后的ROI灰度图进行二值化，获得ROI二值图；

[0014] 选取ROI二值图中灰度值为255的所有区域轮廓，将所述区域轮廓映射到所述ROI中，获得ROI中初步交通信号灯候选区域；

[0015] 获取所述初步交通信号灯候选区域的R通道值、G通道值和B通道值方差，将所述初步交通信号灯候选区域中R通道值、G通道值和B通道值的方差大于或等于对应预设阈值的区域作为ROI中二次交通信号灯候选区域；

[0016] 对所述二次交通信号灯候选区域对应的ROI二值图区域进行闭运算，获得闭运算后的二次交通信号灯候选区域二值图；

[0017] 对所述闭运算后的二次交通信号灯候选区域二值图进行轮廓筛选，将筛选后的轮廓映射到ROI中，获得交通信号灯最终候选区域，并将交通信号灯最终候选区域作为交通信号候选区域。

[0018] 可选地，所述基于RGB颜色空间，对ROI进行处理，获得交通信号候选区域步骤包括：

[0019] 当交通信号是交通禁令标志时，对ROI进行颜色分割，以获得ROI的二值图；

[0020] 对ROI二值图进行降噪，获得降噪后的ROI二值图；

[0021] 对降噪后的ROI二值图进行开运算，获得开运算后ROI二值图；

[0022] 对开运算后ROI二值图进行轮廓筛选，将筛选后的轮廓映射到ROI中，获得交通禁令标志候选区域，并将所述交通禁令标志候选区域作为交通信号候选区域。

[0023] 可选地，所述当交通信号是交通禁令标志时，对ROI进行颜色分割，以获得ROI的二值图步骤包括：

[0024] 采用归一化算法对ROI的RGB通道值进行处理，获得归一化处理后RGB通道值；

[0025] 获得归一化处理后的RGB通道值中任两个通道值间的差值和归一化处理后R通道值与G通道值间的比值，将ROI中获得的比值和任两个通道值的差值都处在对应的预设范围内的区域的灰度值设置为255，其他区域的灰度值设置为0，从而获得ROI二值图。

[0026] 可选地，所述预设SVM包括第一预设SVM、第二预设SVM以及第三预设SVM；所述通过所述交通信号候选区域的方向梯度直方图HOG特征和预设支持向量机SVM，识别交通信号步骤包括：

[0027] 当交通信号为交通信号灯时，提取所述交通信号候选区域的HOG特征，将提取的HOG特征输入第一预设SVM中，以对所述交通信号候选区域进行分类，从而获得所述交通信号候选区域中的交通信号灯发光区域；

[0028] 根据预设交通信号灯颜色规律分布对所述交通信号灯发光区域进行区域延伸，获得交通信号灯面板候选区域；

[0029] 提取所述交通信号灯面板候选区域的HOG特征，将该HOG特征输入到第二预设SVM中，以对所述交通信号灯面板候选区域进行分类，从而获得交通信号灯面板区域；

[0030] 对所述交通信号灯面板区域实时跟踪，并通过第三预设SVM识别交通信号灯。

[0031] 可选地，所述对所述交通信号灯面板区域实时跟踪，并通过第三预设SVM识别交通信号灯步骤包括：

[0032] 将所述交通信号灯面板区域映射到所述ROI中对应的位置区域输入到KCF多目标跟踪器中，获得KCF多目标跟踪器的输出结果；

[0033] 将所述输出结果输入到目标管理器中，获得所述交通信号灯面板区域位置信息；

[0034] 根据所述交通信号灯面板区域位置信息，提取所述ROI中所述位置信息对应区域的HOG特征、R通道值、G通道值和B通道值；

[0035] 将所述位置信息对应区域的HOG特征、R通道值、G通道值和B通道值输入第三预设SVM中，以识别交通信号灯方向和颜色。

[0036] 可选地，所述预设SVM包括第一预设SVM、第二预设SVM以及第三预设SVM；所述通过所述交通信号候选区域的方向梯度直方图HOG特征和预设支持向量机SVM，识别交通信号步骤包括：

[0037] 当交通信号为交通禁令标志时，提取所述交通信号候选区域的HOG特征，将所述HOG特征输入第一级SVM中，获得交通禁令标志初次识别候选区域；

[0038] 提取所述交通禁令标志初次识别候选区域的HOG特征，将所述交通禁令标志初次识别候选区域的HOG特征输入到第二级SVM中，获得交通禁令标志二次识别区域；

[0039] 提取所述交通禁令标志二次识别区域的HOG特征，将该HOG特征输入到第三级SVM中，识别交通禁令标志。

[0040] 此外，为实现上述目的，本发明还提供一种交通信号识别系统，所述系统包括：

[0041] 获取图像模块，用于获取摄像头实时拍摄的道路场景图像；

[0042] 提取ROI模块，用于提取道路场景图像中感兴趣区域ROI；

[0043] 图像预处理模块，用于基于RGB颜色空间，对ROI进行处理，以获得交通信号候选区域；

[0044] 识别模块，用于通过所述交通信号候选区域的方向梯度直方图HOG特征和预设支持向量机SVM，识别交通信号。

[0045] 此外，为实现上述目的，本发明还提供一种交通信号识别设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的交通信号识别方法的步骤。

[0046] 此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的交通信号识别方法的步骤。

[0047] 本发明实施例提出的一种交通信号识别方法、装置、设备和计算机可存储介质，通过获取摄像头实时拍摄的道路场景图像；提取道路场景图像中感兴趣区域ROI；基于RGB颜色空间，对ROI进行处理，以获得交通信号候选区域；通过所述交通信号候选区域的方向梯度直方图HOG特征和预设支持向量机SVM，识别交通信号。从而相比现有技术将RGB颜色空间转化为HIS颜色空间或HSV颜色空间，直接通过RGB颜色空间进行交通信号识别，减少了浮点运算的时间，能够实现快速和实时地识别道路中的交通信号，协助安全驾驶。

附图说明

[0048] 图1是本发明实施例方案涉及的硬件运行环境的结构示意图；

[0049] 图2为本发明交通信号识别方法第一实施例的流程示意图；

[0050] 图3为本发明交通信号识别方法第二实施例中步骤S30的细化流程示意图；

[0051] 图4为本发明交通信号识别方法第三实施例中步骤S30的细化流程示意图；

[0052] 图5为本发明交通信号识别方法第四实施例中步骤S40的细化流程示意图。

[0053] 图6为本发明交通信号识别方法第五实施例中步骤S40的细化流程示意图；

[0054] 图7为本发明交通信号识别系统一实施例的功能模块示意图。

[0055] 本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

[0056] 应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

[0057] 请参照图1，图1为本发明各个实施例中的交通信号识别设备的硬件结构示意图，所述交通信号识别设备包括通信模块10、存储器20及处理器30等部件。本领域技术人员可以理解，图1中所示出的交通信号识别设备还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中，所述处理器30分别与所述存储器20和所述通信模块10连接，所述存储器20上存储有计算机程序，所述计算机程序同时被处理器30执行。

[0058] 通信模块10，可通过网络与外部设备连接。通信模块10可以接收外部通讯设备发出的请求，还可广播交通信号识别内容至所述外部通讯设备。所述外部通讯设备可以是车载电脑、手机、平板电脑及监控设备等电子设备。

[0059] 存储器20，可用于存储软件程序以及各种数据。存储器20可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如图像处理)等；存储数据区可存储根据交通信号识别设备的使用所创建的数据或信息等。此外，存储器20可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

[0060] 处理器30，是交通信号识别设备的控制中心，利用各种接口和线路连接整个交通信号识别设备的各个部分，通过运行或执行存储在存储器20内的软件程序和/或模块，以及调用存储在存储器20内的数据，执行交通信号识别设备的各种功能和处理数据，从而对交通信号识别设备进行整体监控。处理器30可包括一个或多个处理单元；优选的，处理器30可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器30中。

[0061] 尽管图1未示出，但上述交通信号识别设备还可以包括电路控制模块，实现电源控制，保证其他部件的正常工作。

[0062] 本领域技术人员可以理解，图1中示出的交通信号识别设备结构并不构成对交通信号识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

[0063] 基于上述硬件结构，提出本发明方法各个实施例。

[0064] 参照图2，在本发明交通信号识别方法的第一实施例中，所述交通信号识别方法包括步骤：

[0065] 步骤S10，获取摄像头实时拍摄的道路场景图像；

[0066] 步骤S20，提取道路场景图像中感兴趣区域ROI；

[0067] 交通信号分为:交通信号灯、交通禁令标志、交通标线和交通警察的指挥，交通信号灯和交通禁令标志位置一般都设置在道路的某个区域范围内。在通过统计大量的道路视频图像中的交通信号灯和交通禁令标志在视频图像的空间位置后，可以得出交通信号灯和交通禁令标志在视频图像中大概的空间位置区域，因此，对摄像头实时拍摄的道路场景图像可能出现交通信号灯和交通禁令标志位置附近选取某一区域作为ROI，该区域一般都是位于视频图像固定部分，例如右上半部分。

[0068] 步骤S30，基于RGB颜色空间，对ROI进行处理，以获得交通信号候选区域；

[0069] 基于RGB颜色空间，对选取的ROI进行一系列的图像处理技术对ROI进行处理，包括三通道归一化、三通道方差、灰度化，降噪、二值化、开运算、闭运算和轮廓筛选等，通过上述处理不断缩小区域，从而获得交通信号的候选区域，该候选区域作为交通信号识别对象。

[0070] 需要说明的是，颜色是交通信号的重要的特征之一，基于颜色的检测是常用的方法，而检测的关键是选择一个合适的颜色空间模型对颜色进行描述。目前常用的颜色空间有RGB空间、经浮点运算进行空间转换而得到的HIS颜色空间或HSV颜色空间。虽然HSV或者HIS颜色空间中进行颜色分割，能够克服光照变化的影响，但是空间转换需要大量的浮点运算，该过程耗时较长，从而达不到智能驾驶所需的实时性；而RGB颜色空间中进行颜色分割不需要空间转换过程，能够更快速的对ROI进行处理，以更快速的获得交通信号候选区域，从而对交通信号候选区域识别出交通信号，故基于RGB颜色空间进行识别交通信号的方法更具有很好的实时性，更加能满足智能驾驶所需的实时性。

[0071] 步骤S40，通过所述交通信号候选区域的方向梯度直方图HOG特征和预设支持向量机SVM，识别交通信号。

[0072] 在一幅图像中，局部目标的表象和形状能够被梯度或边缘的方向密度分布很好地描述。其本质为：梯度的统计信息，而梯度主要存在于边缘的地方。首先将图像分成小的连通区域，称之为细胞单元(cell)，统计每个cell的梯度直方图，即可形成每个cell的HOG(Histogram of Oriented Gradient，方向梯度直方图)特征描述符。将多个cell组成一个块，一个块内所有cell的HOG特征描述符串联起来便得到该块的HOG特征描述符。将图像内的所有块的HOG特征描述符串联起来就可以得到该图像的HOG特征描述符了。

[0073] 通过将候选区域的HOG特征输入至预设的SVM(Support VectorMachine，支持向量机)中，所述预设的SVM为已经训练好的SVM；将所述HOG特征与预设SVM中已经创建的分类模型的HOG特征进行对比，判断该HOG特征属于的类型；通过不同预设的SVM识别，最终识别出候选区域中的交通信号的内容；将识别出的交通信号内容通过显示在车内的车载电脑、手机和平板电脑上或者语音播报形式告知驾驶员。

[0074] 本实施例通过获取摄像头实时拍摄的道路场景图像；提取道路场景图像中感兴趣区域ROI；基于RGB颜色空间，对ROI进行处理，以获得交通信号的候选区域；通过候选区域的HOG特征和预设SVM，实时识别交通信号。从而相比现有技术将RGB颜色空间转化为HIS颜色空间或HSV颜色空间，直接通过RGB颜色空间进行交通信号识别，减少了浮点运算的时间，能够实现快速和实时地识别道路中的交通信号，协助安全驾驶。

[0075] 进一步地，参照图3，基于本申请交通信号识别方法的第一实施例提出本申请交通信号识别方法的第二实施例，在本实施例中，所述步骤S30包括：

[0076] 步骤S311，当交通信号为交通信号灯时，对ROI灰度化以获得ROI灰度图，并对所述ROI灰度图进行降噪处理，以获得降噪后的ROI灰度图；

[0077] 交通信号灯颜色在RGB中以R、G通道占主导，因此为了凸显图像上的交通信号灯亮度特征，我们取R、G通道最大值，对图像进行灰度化，从而可以排除ROI中与交通信号灯颜色差别很大的颜色对应的区域，缩小了待处理的区域。

[0078] 步骤S312，对降噪后的ROI灰度图进行二值化，获得ROI二值图；

[0079] 用Size(w,h)的高斯内核对灰度图进行高斯滤波处理，抑制图像中服从正态分布的噪声。通过调用高斯滤波函数接口，输入参数进行降噪处理。其高斯滤波函数如下：

[0080] 其中μx和δx代表x坐标的期望值和标准差，μy和δy代表y坐标的标准差。

[0081] 步骤S313，选取ROI二值图中灰度值为255的所有区域轮廓，将所述区域轮廓映射到所述ROI中，获得ROI中初步交通信号灯候选区域；

[0082] 采用某一阈值对降噪后的图像二值化，该阈值选取原则是二值化后尽可能地将所有交通信号灯区域的灰度值为255，其他区域置为0；进一步排除非交通信号灯区域，最终选取灰度值为255的区域轮廓映射到ROI中，获得初步交通信号灯候选区域。

[0083] 步骤S314，获取所述初步交通信号灯候选区域的R通道值、G通道值和B通道值方差，将所述初步交通信号灯候选区域中R通道值、G通道值和B通道值的方差大于或等于对应预设阈值的区域作为ROI中二次交通信号灯候选区域；

[0084] 对于固定阈值带来的背景干扰，例如高亮背景、路灯和一些偏白色光源。我们利用交通信号灯本身固有的属性，即交通信号灯在RGB空间中三个通道呈现较大的方差，但是对于背景和其他偏白色光源来说RGB三通道方差偏小。进而可以过滤大部分高亮背景，偏白色光源，从而进一步缩小候选区域范围，获得二次交通信号灯候选区域。

[0085] 步骤S315，对所述二次交通信号灯候选区域对应的ROI二值图区域进行闭运算，获得闭运算后的二次交通信号灯候选区域二值图；

[0086] 步骤S316，对所述闭运算后的二次交通信号灯候选区域二值图进行轮廓筛选，将筛选后的轮廓映射到ROI中，获得交通信号灯最终候选区域，并将交通信号灯最终候选区域作为交通信号候选区域。

[0087] 对二次交通信号灯候选区域的二值图进行形态学的闭运算(先膨胀后腐蚀)，这样做的目的是交通信号灯本身在自然场景下会出现自身发光亮度不均匀，固定阈值二值化会让发光区域出现不连续的小孔、缝隙等。利用闭运算正是基于这样的考虑，将发光区域二值图缺失的小块弥补起来的同时又保证了发光区域原有的形状不变。

[0088] 交通信号灯本身具有一定的特性，包括交通信号灯轮廓的面积大小，交通信号灯轮廓的长宽比以及交通信号灯轮廓的半径。利用交通信号灯轮廓本身的固有特性，对轮廓的面积、长宽比和半径分别预设一个范围，对所述闭运算后的二次交通信号灯候选区域二值图中的轮廓进行筛选，其检测的轮廓面积、长宽比和半径都处于预设的范围内对应的区域作为交通信号灯最终候选区域，并将作为交通信号的候选区域。

[0089] 本实施例通过基于RGB颜色空间，以及交通信号灯的颜色、形状、大小特性，对选取的ROI依次进行灰度化、降噪、RGB通道值方差、二值化、闭运算和轮廓分析，获得交通候选区域，从而不断的缩小交通信号待检测区域，最终获得交通信号候选区域，减小了后续识别对象数目，并通过计算交通候选区域的R、G、B通道值的方差，来降低光照的影响，因此虽然没有采用类似现有技术的方案，但是本实施例仍然能够在降低光照影响的同时加快整个交通信号识别过程以及加强识别的准确性和稳定性。

[0090] 进一步地，参照图4，基于本申请交通信号识别方法的第一实施例提出本申请交通信号识别方法的第三实施例，在本实施例中，所述步骤S30包括：

[0091] 步骤S321，当交通信号为交通禁令标志时，采用归一化算法对ROI的RGB通道值进行处理，获得归一化后RGB通道值；

[0092] 步骤S322，获得归一化处理后的RGB通道值中任两个通道值间的差值和归一化处理后R通道值与G通道值间的比值，将ROI中获得的比值和任两个通道值的差值都处在对应的预设范围内的区域的灰度值设置为255，其他区域的灰度值设置为0，从而获得ROI二值图；

[0093] 交通禁令标志中普通禁令标志和限速标志主要颜色为红色，通过实验分析发现，在不同的亮度下，红色对应的三个分类的差值限定在一定的范围之内，根据这一颜色分布特点，对ROI进行归一化处理：

[0094]

[0095] 得到归一化后的各通道分量值r、g、b；再对任两个通道分量值进行差值以及r与g的比值；选取符合r-g>0.07&r-b>0.07&g-b<0.12&r/g>1.4的r、g、b所对应的区域，将这些区域的灰度值设置为255，其他区域的灰度值设置为0，获得ROI二值图。在ROI二值图中白色的区域(即灰度值为255的区域)在ROI原图中主要颜色为红色，ROI二值图中黑色区域在ROI原图中颜色为非红色，从而区分了ROI中红色为主区域和非红色为主区域。

[0096] 步骤S323，对ROI二值图进行降噪，获得降噪后的ROI二值图；

[0097] 步骤S324，对降噪后的ROI二值图进行开运算，获得开运算后ROI二值图；

[0098] 对所述闭运算后的初步交通禁令标志候选区域二值图进行形态学的开运算(先腐蚀后膨胀)，这样做的目的是交通禁令标志本身在自然场景下会出现自身颜色不均匀，固定阈值二值化会让ROI二值图出现不连续的小孔、缝隙等。利用开运算正是基于这样的考虑，将ROI二值图缺失的小块弥补起来的同时又保证了原有的形状不变。腐蚀可以使目标区域范围“变小”，其实质造成图像的边界收缩，可以用来消除小且无意义的目标物；膨胀会使目标区域范围“变大”，将于目标区域接触的背景点合并到该目标物中，使目标边界向外部扩张。作用就是可以用来填补目标区域中某些空洞以及消除包含在目标区域中的小颗粒噪声。

[0099] 步骤S325，对开运算后ROI二值图进行轮廓筛选，将筛选后的轮廓映射到ROI中，获得交通禁令标志候选区域，并将所述交通禁令标志候选区域作为交通信号候选区域。

[0100] 交通禁令标志本身具有一定的特性，包括交通禁令标志轮廓的面积大小，交通禁令标志轮廓的长宽比以及交通禁令标志轮廓的半径。利用交通禁令标志轮廓本身的固有特性，对轮廓的面积、长宽比和半径分别预设一个范围，对所述开运算后的ROI二值图中的轮廓进行筛选，其检测的轮廓面积、长宽比和半径都处于预设的范围内对应的区域作为交通禁令标志候选区域，并将作为交通信号的候选区域。

[0101] 本实施例通过基于RGB颜色空间，以及交通信号灯的颜色、形状、大小特性，对选取的ROI依次进行颜色分割、二值化、降噪、开运算和轮廓分析，获得交通候选区域，从而不断的缩小交通信号待检测区域，最终获得交通信号候选区域，减小了后续识别对象数目，从而加快了整个交通信号识别过程。

[0102] 进一步地，参照图5，基于本申请交通信号识别方法的第一实施例提出本申请交通信号识别方法的第四实施例，在本实施例中，所述步骤S40包括：

[0103] 步骤S411，当交通信号为交通信号灯时，提取所述交通信号候选区域的HOG特征，将提取的HOG特征输入第一预设SVM中，以对所述交通信号候选区域进行分类，从而获得所述交通信号候选区域中的交通信号灯发光区域；

[0104] 实验表明经过之前一系列的筛选工作，交通信号灯候选发光区域样本呈现一定的相似性，负样本主要集中在公交车尾灯，高亮的发光区域，夜晚城市黄色路灯等发光区域。通过提取交通信号灯发光候选区域的HOG特征，运用支持向量机SVM二分类方法判断交通信号灯边缘梯度信号与负样本的差异性，对交通信号灯候选区域是否为交通信号灯发光区域进行确认；从而排除交通信号灯候选区域中的公交车尾灯，高亮的发光区域，夜晚城市黄色路灯等发光区域。

[0105] 步骤S412，根据预设交通信号灯颜色规律分布对所述交通信号灯发光区域进行区域延伸，获得交通信号灯面板候选区域；

[0106] 步骤S413，提取所述交通信号灯面板候选区域的HOG特征，将该HOG特征输入到第二预设SVM中，以对所述交通信号灯面板候选区域进行分类，从而获得交通信号灯面板区域；

[0107] 经过交通信号灯第一预设SVM对交通信号灯候选区域的确认，得到较为准确的交通信号灯发光区域，即使第一预设SVM能够保证98％的准确率，但是对于视频流带来大量的交通信号灯发光区域，这依然存在一定数量的误检。因此我们利用交通信号灯镶嵌在黑色面板框的基本事实，我们采取第二预设SVM来确认交通信号灯面板区域。将第一预设SVM得到的交通信号灯发光区域按照交通信号灯颜色规律分布进行区域延伸，获取交通信号灯面板候选区域。通过人工筛选交通信号灯面板候选区域正负样本，提取交通信号灯面板的局部HOG特征，利用支持向量对正负样本做二分类，从而排除交通信号灯面板候选区域中霓虹灯、红色灯光招牌等不属于交通信号灯的区域，从而获得交通信号灯面板区域。

[0108] 步骤S414，将所述交通信号灯面板区域映射到所述ROI中对应的位置区域输入到KCF多目标跟踪器中，获得KCF多目标跟踪器的输出结果；

[0109] 步骤S415，将所述输出结果输入到目标管理器中，获得所述交通信号灯面板区域位置信息；

[0110] 交通信号灯检测是基于交通信号灯发光亮度的图像分割方法，这在复杂环境下往往会呈现不鲁棒性，即上一帧检测到的下一帧可能检测不到，另外逐帧检测所带来的耗时会严重影响系统的实时性，因此加入多目标跟踪算法可以在很大程度上弥补了检测的不连续性，KCF本身的高效性和实时性既提高了系统的鲁棒性又加快了系统的运行速度。KCF多目标跟踪是一种典型的基于判别式的跟踪方法，它的核心部分的岭回归，循环移位的近似密集采样，既保证了运行速度又有很好的效果。

[0111] 多目标管理是对KCF多目标跟踪器输出的结果进行筛选，主要依据空间位置、面积等先验知识，最终将符合客观规律的目标框输出，极大地保证了交通信号灯跟踪的准确率。

[0112] 步骤S416，根据所述交通信号灯面板区域位置信息，提取所述ROI中所述位置信息对应区域的HOG特征、R通道值、G通道值和B通道值；

[0113] 步骤S417，将所述位置信息对应区域的HOG特征、R通道值、G通道值和B通道值输入第三预设SVM中，以识别交通信号灯方向和颜色。

[0114] 交通信号灯识别主要包括交通信号灯颜色和交通信号灯形状的识别。交通信号灯颜色识别通过统计交通信号灯面板区域在RGB颜色空间下R、G、B三通道最大的值。实验表明，这种统计像素值得方法识别交通信号灯颜色比较稳定，并且所需时间短。

[0115] 交通信号灯形状识别，通过将交通信号灯面板区域二值化，凸显交通信号灯发光区域的轮廓信息。交通信号灯形状存在标准的模板信息，将交通信号灯发光轮廓与标准模板进行模板匹配。实验表明，运用模板匹配进行交通信号灯形状识别，既高效又精确。

[0116] 本实施例通过图像的直方图梯度特征(HOG)进行分类器筛选以及利用了KCF多目标跟踪器进行目标跟踪，不需要逐帧地去检测交通信号灯，使得交通信号灯识别既保证了准确性、提高了运行速度，又保证了交通信号灯识别的稳定性和鲁棒性，并将识别出的交通信号内容通过显示在车内的车载电脑、手机或平板电脑或者语音播报形式告知驾驶员。

[0117] 进一步地，参照图6，基于本申请交通信号识别方法的第一实施例提出本申请交通信号识别方法的第五实施例，在本实施例中，所述步骤S40还包括：

[0118] 步骤S421，当交通信号为交通禁令标志时，提取所述交通信号候选区域的HOG特征，将所述HOG特征输入第一级SVM中，获得交通禁令标志初次识别候选区域；

[0119] 传统的检测圆的方法为霍夫圆检测，但是在某些实际应用场景中，例如：在车辆转弯的过程中，视域内交通禁令标志呈椭圆型；或者交通禁令标志部分被树枝，车辆等障碍物遮挡；或者交通禁令标志存在轻微程度的偏斜，损坏以及其他其他交通禁令标志不呈圆形的情况下，使用霍夫圆检测方法无法检测到交通禁令标志。

[0120] 采用SVM识别圆的方法代替霍夫圆检测，将训练样本分成单个圆，两个圆及三个圆在一个连通区域内。将交通禁令标志候选区域HOG特征输入至第一预设的SVM，将所述HOG特征和第一预设的SVM中的建立的样本模型HOG特征对比，从而单圆、两个及多个圆在同一连通区域的情况都识别出来，再对两个圆及多个圆进行分割成单个的交通禁令标志，最终获得交通禁令标志初次识别候选区域。

[0121] 步骤S422，提取所述交通禁令标志初次识别候选区域的HOG特征，将所述交通禁令标志初次识别候选区域的HOG特征输入到第二级SVM中，获得交通禁令标志二次识别区域；

[0122] 步骤S423，提取所述交通禁令标志二次识别区域的HOG特征，将该HOG特征输入到第三级SVM中，识别交通禁令标志。

[0123] 第二级SVM识别出交通禁令标志初次识别候选区域具体为普通禁令标志、非标志牌和限速标志，所述第三预设SVM包括普通禁令标志牌分类器和限速标志牌分类器，当第二级SVM识别出交通禁令标志初次识别候选区域具体为普通禁令标志时，采用第三预设SVM中的普通禁令标志牌分类器进行语义识别，从而识别出具体是属于普通禁令标志牌中哪一个交通禁令标志，例如禁止停车、禁止驶入；当第二级SVM识别出交通禁令标志初次识别候选区域具体为限速标志时，采用第三预设SVM中的限速标志牌分类器进行语义识别，从而识别出具体的限速速度，例如限速60。

[0124] 本实施例通过将交通禁令标志候选区域的HOG特征输入至预设的SVM中，将所述HOG特征与预设SVM中已经创建的分类模型的HOG特征进行对比，判断该HOG特征属于的类型；通过不同预设的SVM识别，最终识别出交通禁令标志候选区域中的交通禁令标志的内容；将识别出的交通禁令标志内容通过显示在车内的车载电脑、手机或平板电脑上或者语音播报形式告知驾驶员。

[0125] 本发明还提供了一种交通信号识别系统。

[0126] 参照图7，图7为本发明交通信号识别系统一实施例的功能模块示意图。

[0127] 在一实时例中，所述系统包括：获取图像模块100、提取ROI模块200、图像预处理模块300、识别模块400。

[0128] 获取图像模块100，用于获取摄像头实时拍摄的道路场景图像；

[0129] 提取ROI模块200，用于提取道路场景图像中感兴趣区域ROI；

[0130] 图像预处理模块300，用于基于RGB颜色空间，对ROI进行处理，以获得交通信号候选区域；

[0131] 识别模块400，用于通过所述交通信号候选区域的方向梯度直方图HOG特征和预设支持向量机SVM，识别交通信号。

[0132] 进一步地，在另一实施例中，当所述交通信号为交通信号灯时，所述图像预处理模块包括：

[0133] 降噪单元，用于对ROI灰度化以获得ROI灰度图，并对所述ROI灰度图进行降噪处理，以获得降噪后的ROI灰度图；

[0134] 二值化单元，用于对降噪后的ROI灰度图进行二值化，获得ROI二值图；

[0135] 映射单元，用于选取ROI二值图中灰度值为255的所有区域轮廓，将所述区域轮廓映射到所述ROI中，获得ROI中初步交通信号灯候选区域；

[0136] 计算单元，用于获取所述初步交通信号灯候选区域的三R通道值GB的方差，将所述初步交通信号灯候选区域中三R通道值GB通道值的方差大于或等于预设阈值的区域作为ROI中二次交通信号灯候选区域；

[0137] 闭运算单元，用于对所述二次交通信号灯候选区域对应的ROI二值图区域进行闭运算，获得闭运算后的二次交通信号灯候选区域二值图；

[0138] 筛选单元，用于对所述闭运算后的二次交通信号灯候选区域二值图进行轮廓筛选，将筛选后的轮廓映射到ROI中，获得交通信号灯最终候选区域，并将交通信号灯最终候选区域作为交通信号候选区域。

[0139] 进一步地，在又一实施例中，当交通信号是交通禁令标志时，所述图像预处理模块包括：

[0140] 颜色分割单元，用于对ROI进行颜色分割，以获得ROI的二值图；

[0141] 降噪单元，用于对ROI二值图进行降噪，获得降噪后的ROI二值图；

[0142] 开运算单元，用于对降噪后的ROI二值图进行开运算，获得开运算后ROI二值图；

[0143] 筛选单元，用于对开运算后ROI二值图进行轮廓筛选，将筛选后的轮廓映射到ROI中，获得交通禁令标志候选区域，并将所述交通禁令标志候选区域作为交通信号候选区域。

[0144] 进一步地，在又一实施例中，所述颜色分割单元包括：

[0145] 归一化处理子单元，用于采用归一化算法对ROI的RGB通道值进行处理，获得归一化处理后RGB通道值；

[0146] 计算子单元，用于获得归一化处理后的RGB通道值中任两个通道值间的差值和归一化处理后R通道值与G通道值间的比值，将ROI中获得的比值和任两个通道值的差值都处在对应的预设范围内的区域的灰度值设置为255，其他区域的灰度值设置为0，从而获得ROI二值图。

[0147] 进一步地，在又一实施例中，所述预设SVM包括第一预设SVM、第二预设SVM以及第三预设SVM；当交通信号为交通信号灯时，所述识别模块包括：

[0148] 提取单元，用于提取所述交通信号候选区域的HOG特征，将提取的HOG特征输入第一预设SVM中，以对所述交通信号候选区域进行分类，从而获得所述交通信号候选区域中的交通信号灯发光区域；

[0149] 延伸单元，用于根据预设交通信号灯颜色规律分布对所述交通信号灯发光区域进行区域延伸，获得交通信号灯面板候选区域；

[0150] 所述提取单元，还用于提取所述交通信号灯面板候选区域的HOG特征，将该HOG特征输入到第二预设SVM中，以对所述交通信号灯面板候选区域进行分类，从而获得交通信号灯面板区域；

[0151] 实时跟踪单元，用于对所述交通信号灯面板区域实时跟踪，并通过第三预设SVM识别交通信号灯。

[0152] 进一步地，在又一实施例中，所述实时跟踪单元包括：

[0153] 目标跟踪子单元，用于将所述交通信号灯面板区域映射到所述ROI中对应的位置区域输入到KCF多目标跟踪器中，获得KCF多目标跟踪器的输出结果；

[0154] 目标管理子单元，用于将所述输出结果输入到目标管理器中，获得所述交通信号灯面板区域位置信息；

[0155] 提取子单元，用于根据所述交通信号灯面板区域位置信息，提取所述ROI中所述位置信息对应区域的HOG特征、R通道值、G通道值和B通道值；

[0156] 识别子单元，用于将所述位置信息对应区域的HOG特征、R通道值、G通道值和B通道值输入第三预设SVM中，以识别交通信号灯方向和颜色。

[0157] 进一步地，在又一实施例中，所述预设SVM包括第一预设SVM、第二预设SVM以及第三预设SVM；当交通信号为交通禁令标志时，所述识别模块包括：

[0158] 提取单元，用于提取所述交通信号候选区域的HOG特征，将所述HOG特征输入第一级SVM中，获得交通禁令标志初次识别候选区域；

[0159] 识别单元，用于提取所述交通禁令标志初次识别候选区域的HOG特征，将所述交通禁令标志初次识别候选区域的HOG特征输入到第二级SVM中，获得交通禁令标志二次识别区域；

[0160] 所述识别单元，还用于提取所述交通禁令标志二次识别区域的HOG特征，将该HOG特征输入到第三级SVM中，识别交通禁令标志。

[0161] 本申请还提供一种交通信号识别设备，在一实施例中，所述设备包括通信模块、存储器及处理器，其中，所述处理器与所述存储器连接，所述存储器上存储有计算机程序。所述处理器可以调用存储器中存储的计算机程序，实现如上述实施例中交通信号识别方法的全部步骤。

[0162] 本发明还提出一种计算机可读存储介质，其上存储有交通信号识别程序，所述交通信号识别程序被处理器执行时实现如上述实施例所述的交通信号识别方法的全部步骤。

[0163] 需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

[0164] 上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

[0165] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得交通信号识别设备执行本发明各个实施例所述的方法。

[0166] 以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。