一种基于双目CCD相机的交通标牌自动提取方法及系统

摘要

本发明提供了一种基于双目CCD相机的交通标牌自动提取方法及系统，其中的方法包括：影像数据处理：包括影像地理参考处理、影像数据检查与修改；交通标牌样本库采集、训练与管理：包括交通标牌先验样本的采集、样本训练、分类管理、样本查看、导入及导出；交通标牌信息提取：对目标影像进行坐标及标志牌信息的自动提取；交通标牌检查：核实并修改交通标牌提取结果，核实修改后的数据存入对应数据库；交通标牌成果管理：包括提取结果的导入及导出、分类管理、结果查看等。本发明大大减少了人工浏览影像，提取交通标牌的工作量，并且可以对样本信息和交通标牌成果进行高效、规范地管理。

权利要求

1.一种基于双目CCD相机的交通标牌自动提取方法，其特征在于，包括：

S1：对影像地理参考处理，为影像数据匹配坐标信息，检查影像数据并修复问题影像数据，其中，检查和修复后的影像数据存入影像数据库；

S2：从影像数据库中读取出预设比例的影像数据，并从读取的影像数据中采集交通标牌样本，将采集的交通标牌样本存入交通标牌样本库，其中，交通标牌样本库中包括从读取的影像数据中采集的交通标牌样本和历史交通标牌样本，对存入交通标牌样本库中的所有交通标牌样本进行样本训练，其中，训练后的交通标牌样本包括交通标牌影像、对应的交通标牌类型以及位置信息，位置信息为交通标牌外接矩形框的图框像素坐标；

S3：对采集和训练后的交通标牌样本进行管理；

S4：从影像数据库中逐一读取出影像数据作为本次待提取影像数据，将待提取影像与交通标牌样本库中的样本进行像素色彩和由像素构成的图形形状的匹配，当待提取影像与某样本的像素色彩匹配度和由像素构成的图形形状匹配度均满足要求时，则提取该交通标牌样本的类型作为待提取影像中交通标牌目标物的类型；计算交通标牌目标物匹配到的像素的外接矩形框图框像素坐标；通过拍摄该待提取影像双目CCD相机记录的经纬度坐标信息，以及通过交通标牌目标物匹配到的像素的外接矩形框图框像素坐标所计算的中心点坐标，得到交通标牌目标物的中心点经纬度坐标信息，将提取出的交通标牌目标物对应的交通标牌影像、交通标牌类型、图框像素坐标和交通标牌中心点经纬度坐标信息存储至交通标牌作业库中；

S5：读取交通标牌作业库中的交通标牌影像，在提取过交通标牌目标物的影像中反投显示交通标牌的外接矩形框的图框，并显示该交通标牌影像的类型，判断外接矩形框的图框位置和类型是否与影像数据中的交通标牌实际位置和实际类型一致；若位置和类型均一致则不做修改，否则，将从交通标牌作业库中读取的交通标牌影像修改为与实际位置和实际类型一致。

2.如权利要求1所述的方法，其特征在于，S1包括：

根据影像拍照时刻，匹配GPS接收时间，获取当前影像拍摄时的相机坐标；

将获取的相机坐标与影像数据进行匹配；

检查影像数据中曝光、偏色、光斑、光柱问题，对问题影像数据进行图像处理与修复。

3.如权利要求1所述的方法，其特征在于，S3包括：

对采集和训练后的交通标牌样本进行查询、浏览、导入和导出。

4.如权利要求2所述的方法，其特征在于，步骤S4中，在通过交通标牌目标物匹配的图框像素坐标计算中心点坐标之前，所述方法还包括：判断是否可以准确计算交通标牌目标物的中心点坐标，如果交通标牌在对应的影像上像素个数少于预设像素个数，或者交通标牌在影像中显示不完整，或者交通标牌本身有磨损、遮挡物，则无法准确计算交通标牌目标物的中心点坐标。

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

当可以准确计算交通标牌目标物的中心点坐标时，将提取出的交通标牌目标物对应的交通标牌影像、交通标牌类型和坐标信息作为一条提取成果数据，其中，坐标信息包括目标物的中心点坐标和外接矩形框的图框像素坐标；

当无法准确计算交通标牌目标物的中心点坐标时，将提取出的交通标牌目标物对应的交通标牌影像、交通标牌类型和坐标信息作为一条识别成果数据，其中，坐标信息包括外接矩形框的图框像素坐标。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

如果提取结果为提取成果数据，则经核实修改后与对应的交通标牌影像一同提交至交通标牌成果库；

如果提取结果为识别成果数据，经核实修改后与对应的交通标牌影像一同提交到交通标牌样本库。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括S6：对交通标牌提取结果数据进行分类管理，包括：对交通标牌提取结果数据的查询、浏览、信息统计、导入及导出，其中查询的信息包括：

标牌类型、采集城市、采集时间、相机型号。

8.一种基于双目CCD相机的交通标牌自动提取系统，其特征在于，包括：

影像数据处理子模块，用于对影像地理参考处理，为影像数据匹配坐标信息，检查影像数据并修复问题影像数据，其中，检查和修复后的影像数据存入影像数据库；

交通标牌样本采集子模块，用于从影像数据库中读取出预设比例的影像数据，并从读取的影像数据中采集交通标牌样本，将采集的交通标牌样本存入交通标牌样本库，其中，交通标牌样本库中包括从读取的影像数据中采集的交通标牌样本和历史交通标牌样本，对存入交通标牌样本库中的所有交通标牌样本进行样本训练，其中，训练后的交通标牌样本包括交通标牌影像、对应的交通标牌类型以及位置信息，位置信息为交通标牌外接矩形框的图框像素坐标；

交通标牌样本管理子模块，用于对采集和训练后的交通标牌样本进行管理；

交通标牌信息提取子模块，用于从影像数据库中逐一读取出影像数据作为本次待提取影像数据，将待提取影像与交通标牌样本库中的样本进行像素色彩和由像素构成的图形形状的匹配，当待提取影像与某样本的像素色彩匹配度和由像素构成的图形形状匹配度均满足要求时，则提取该交通标牌样本的类型作为待提取影像中交通标牌目标物的类型；计算交通标牌目标物匹配到的像素的外接矩形框图框像素坐标；通过拍摄该待提取影像双目CCD相机记录的经纬度坐标信息，以及通过交通标牌目标物匹配到的像素的外接矩形框图框像素坐标所计算的中心点坐标，得到交通标牌目标物的中心点经纬度坐标信息，将提取出的交通标牌目标物对应的交通标牌影像、交通标牌类型、图框像素坐标和交通标牌中心点经纬度坐标信息存储至交通标牌作业库中；

交通标牌检查子模块，用于读取交通标牌作业库中的交通标牌影像，在提取过交通标牌目标物的影像中反投显示交通标牌的外接矩形框的图框，并显示该交通标牌影像的类型，判断外接矩形框的图框位置和类型是否与影像数据中的交通标牌实际位置和实际类型一致；若位置和类型均一致则不做修改，否则，将从交通标牌作业库中读取的交通标牌影像修改为与实际位置和实际类型一致。

9.如权利要求8所述的系统，其特征在于，所述系统还包括交通标牌成果管理子模块，用于对交通标牌提取结果数据进行分类管理。

说明书

一种基于双目CCD相机的交通标牌自动提取方法及系统

技术领域

[0001] 本发明涉及地图绘测技术领域，具体涉及一种基于双目CCD相机的交通标牌自动提取方法及系统。

背景技术

[0002] 近年来，智能驾驶作为新兴领域在智能交通行业快速发展，而高精地图则是智能驾驶不可或缺的重要组成部分。智能驾驶主要依靠各类感应传感器、定位系统等技术作为支撑以实现无人操纵的行驶，但道路交通的情况错综复杂，恶劣天气将大大影响传感器的感知能力，交通标牌等信息不能单靠硬件设备来识别并快速做出反应，交通标牌的内容和位置对车辆的安全行驶至关重要，若无法快速、准确地识别，则将降低了无人驾驶交通工具的安全性。

[0003] 针对上述情况，高精地图的出现弥补了这方面的不足，作为预先内置到导航设备中的数据，高精地图将已有的交通标牌信息整合到地图中，可以不受外界环境影响地引导交通工具的行驶，提前预知道路前方的交通标牌内容，为智能驾驶设备提供决策依据，营造安全、舒适、稳定的乘坐体验。

[0004] 本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：

[0005] 现有技术中，一般通过读取影像数据，然后人工从中识别和提取出交通标牌的类型和坐标，由于交通标牌类别多、数量大，现有的方法需要消耗大量人力来提取交通标牌，导致交通标牌的提取效率较低。

发明内容

[0006] 本发明通过提供一种基于双目CCD相机的交通标牌自动提取方法及系统，用以解决或者至少部分解决现有方法中存在的交通标牌的提取效率较低的技术问题。

[0007] 为了解决上述技术问题，本发明第一方面提供了一种基于双目CCD相机的交通标牌自动提取方法，包括：

[0008] S1：对影像地理参考处理，为影像数据匹配坐标信息，检查影像数据并修复问题影像数据，其中，检查和修复后的影像数据存入影像数据库；

[0009] S2：从影像数据库中读取出预设比例的影像数据，并从读取的影像数据中采集交通标牌样本，将采集的交通标牌样本存入交通标牌样本库，其中，交通标牌样本库中包括从读取的影像数据中采集的交通标牌样本和历史交通标牌样本，对存入交通标牌样本库中的所有交通标牌样本进行样本训练，其中，训练后的交通标牌样本包括交通标牌影像、对应的交通标牌类型以及位置信息，位置信息为交通标牌外接矩形框的图框像素坐标；

[0010] S3：对采集和训练后的交通标牌样本进行管理；

[0011] S4：从影像数据库中逐一读取出影像数据作为本次待提取影像数据，将待提取影像与交通标牌样本库中的样本进行像素色彩和由像素构成的图形形状的匹配，当待提取影像与某样本的像素色彩匹配度和由像素构成的图形形状匹配度均满足要求时，则提取该交通标牌样本的类型作为待提取影像中交通标牌目标物的类型；计算交通标牌目标物匹配到的像素的外接矩形框图框像素坐标；通过拍摄该待提取影像双目CCD相机记录的经纬度坐标信息以及通过交通标牌目标物匹配的图框像素坐标所计算的中心点坐标，得到交通标牌目标物的中心点经纬度坐标信息，将提取出的交通标牌目标物对应的交通标牌影像、交通标牌类型、图框像素坐标和交通标牌中心点经纬度坐标信息存储至交通标牌作业库中；

[0012] S5：读取交通标牌作业库中的交通标牌影像，在提取过交通标牌目标物的影像中反投显示交通标牌的外接矩形框的图框，并显示该交通标牌影像的类型，判断外接矩形框的图框位置和类型是否与影像数据中的交通标牌实际位置和实际类型一致；若位置和类型均一致则不做修改，否则，将从交通标牌作业库中读取的交通标牌影像修改为与实际位置和实际类型一致。

[0013] 在一种实施方式中，S1包括：

[0014] 根据影像拍照时刻，匹配GPS接收时间，获取当前影像拍摄时的相机坐标；

[0015] 将获取的相机坐标与影像数据进行匹配；

[0016] 检查影像数据中曝光、偏色、光斑、光柱问题，对问题影像数据进行图像处理与修复。

[0017] 在一种实施方式中，S3包括：

[0018] 对采集和训练后的交通标牌样本进行查询、浏览、导入和导出。

[0019] 在一种实施方式中，步骤S4中，在通过交通标牌目标物匹配的图框像素坐标计算中心点坐标之前，所述方法还包括：

[0020] 判断是否可以准确计算交通标牌目标物的中心点坐标，如果交通标牌在对应的影像上像素个数少于预设像素个数，或者交通标牌在影像中显示不完整，或者交通标牌本身有磨损、遮挡物，则无法准确计算目标的中心点坐标。

[0021] 在一种实施方式中，所述方法还包括：

[0022] 当可以准确计算交通标牌目标物的中心点坐标时，将提取出的交通标牌目标物对应的交通标牌影像、交通标牌类型和坐标信息作为一条提取成果数据，其中，坐标信息包括目标物的中心点坐标和外接矩形框的图框像素坐标；

[0023] 当无法准确计算交通标牌目标物的中心点坐标时，将提取出的交通标牌目标物对应的交通标牌影像、交通标牌类型和坐标信息作为一条识别成果数据，其中，坐标信息包括外接矩形框的图框像素坐标。

[0024] 在一种实施方式中，所述方法还包括：

[0025] 如果提取结果为提取成果数据，则经核实修改后与对应的交通标牌影像一同提交至交通标牌成果库；

[0026] 如果提取结果为识别成果数据，经核实修改后与对应的交通标牌影像一同提交到交通标牌样本库。

[0027] 在一种实施方式中，所述方法还包括S6：对交通标牌提取结果数据进行分类管理，具体包括：

[0028] 对交通标牌提取结果数据的查询、浏览、信息统计、导入及导出，其中查询的信息包括：标牌类型、采集城市、采集时间、相机型号。

[0029] 基于同样的发明构思，本发明第二方面提供了一种基于双目CCD相机的交通标牌自动提取系统，包括：

[0030] 影像数据处理子模块，用于对影像地理参考处理，为影像数据匹配坐标信息，检查影像数据并修复问题影像数据，其中，检查和修复后的影像数据存入影像数据库；

[0031] 交通标牌样本采集子模块，用于从影像数据库中读取出预设比例的影像数据，并从读取的影像数据中采集交通标牌样本，将采集的交通标牌样本存入交通标牌样本库，其中，交通标牌样本库中包括从读取的影像数据中采集的交通标牌样本和历史交通标牌样本，对存入交通标牌样本库中的所有交通标牌样本进行样本训练，其中，训练后的交通标牌样本包括交通标牌影像、对应的交通标牌类型以及位置信息，位置信息为交通标牌外接矩形框的图框像素坐标；

[0032] 交通标牌样本管理子模块，用于对采集和训练后的交通标牌样本进行管理；

[0033] 交通标牌信息提取子模块，用于从影像数据库中逐一读取出影像数据作为本次待提取影像数据，将待提取影像与交通标牌样本库中的样本进行像素色彩和由像素构成的图形形状的匹配，当待提取影像与某样本的像素色彩匹配度和由像素构成的图形形状匹配度均满足要求时，则提取该交通标牌样本的类型作为待提取影像中交通标牌目标物的类型；计算交通标牌目标物匹配到的像素的外接矩形框图框像素坐标；通过拍摄该待提取影像双目CCD相机记录的经纬度坐标信息，以及通过交通标牌目标物匹配的图框像素坐标所计算的中心点坐标，得到交通标牌目标物的中心点经纬度坐标信息，将提取出的交通标牌目标物对应的交通标牌影像、交通标牌类型、图框像素坐标和交通标牌中心点经纬度坐标信息存储至交通标牌作业库中；

[0034] 交通标牌检查子模块，用于读取交通标牌作业库中的交通标牌影像，在提取过交通标牌目标物的影像中反投显示交通标牌的外接矩形框的图框，并显示该交通标牌影像的类型，判断外接矩形框的图框位置和类型是否与影像数据中的交通标牌实际位置和实际类型一致；若位置和类型均一致则不做修改，否则，将从交通标牌作业库中读取的交通标牌影像修改为与实际位置和实际类型一致。

[0035] 在一种实施方式中，所述系统还包括交通标牌成果管理子模块，用于对交通标牌提取结果数据进行分类管理。

[0036] 本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

[0037] 本发明公开的一种基于双目CCD相机的交通标牌自动提取方法，从读取的影像数据中采集交通标牌样本，将采集的交通标牌样本存入交通标牌样本库，交通标牌样本库中包括从读取的预设比例影像数据中采集的交通标牌样本和历史交通标牌样本，将交通标牌样本库中的所有交通标牌样本作为历史先验信息，然后逐一读取影像数据中的影像数据作为本次待提取影像，通过将待提取影像与交通标牌样本库中的样本进行匹配，以此来识别待提取影像中包含的交通标牌目标物，如果匹配成功，则该交通标牌影像对应的交通标牌类型即为交通标牌目标物的类型，并通过匹配到的影像像素坐标计算外接图框像素坐标，再通过相机与图框像素坐标计算中心点经纬度坐标，从而提取出交通标牌目标物的位置信息，具体包括图框像素坐标和交通标牌中心点经纬度坐标信息，从而可以实现对将影像数据中的交通标牌信息的自动提取，相比于现有技术需要读取影像数据后，再通过人工浏览识别的方式对交通标牌的类别和坐标进行提取的方式而言，本发明的方法可以大大提高交通标牌的提取效率。

[0038] 进一步地，本发明还进一步对交通标牌的提取结果进行核实检查，以提高提取的准确性，并且对样本信息和交通标牌成果的进行高效、规范地管理。

[0039] 本实施例还提供了一种基于双目CCD相机的交通标牌自动提取系统，还将影像数据、样本数据、作业过程数据、成果数据以数据库的形式进行管理，避免了文件数据管理形式的低效、冗余的问题，还能避免在数据流转过程导致的文件遗失的问题；数据库管理的模式可更加方便地进行数据查询和展示，可使用权限管理保证数据库的安全性，交通标牌提取成果的后续使用也更加灵活、易操作；使用数据库管理可以进行历史版本控制，增加样本数据量，也提高了交通标牌自动提取的方法的准确率。

附图说明

[0040] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0041] 图1为本发明实施例提供的基于双目CCD相机的交通标牌自动提取方法流程图；

[0042] 图2为本发明实施例提供的基于双目CCD相机的交通标牌自动提取系统结构示意图。

具体实施方式

[0043] 本发明提供了一种基于双目CCD相机的交通标牌自动提取方法及系统，用以改善现有方法中存在的交通标牌提取效率较低的技术问题，从而达到提高提取交通标牌信息效率的目的。

[0044] 为了达到上述目的，本发明的总体发明构思如下：

[0045] 提供一种基于双目CCD相机的交通标牌自动提取方法，该方法包括：影像数据处理：包括影像地理参考处理、影像数据检查与修改；交通标牌样本库采集、训练与管理：包括交通标牌先验样本的采集、样本训练、分类管理、样本查看、导入及导出；交通标牌信息提取：对目标影像进行坐标及标志牌信息的自动提取；交通标牌检查：核实并修改交通标牌提取结果，核实修改后的数据存入对应数据库；交通标牌成果管理：包括提取结果的导入及导出、分类管理、结果查看等。

[0046] 本发明提供的基于双目CCD相机的交通标牌自动提取方法和系统，利用交通标牌样本库提供的历史先验交通标牌信息，将影像中的交通标牌信息（类型和位置）提取出来，可以提高提取的效率，并且将提取出的位置信息反投到影像中以供检查，可以保证提取结果的准确性，并且对样本信息和交通标牌成果的进行高效、规范地管理。

[0047] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0048] 实施例一

[0049] 本实施例提供了一种基于双目CCD相机的交通标牌自动提取方法，请参见图1，该方法包括：

[0050] S1：对影像地理参考处理，为影像数据匹配坐标信息，检查影像数据并修复问题影像数据，其中，检查和修复后的影像数据存入影像数据库；

[0051] S2：从影像数据库中读取出预设比例的影像数据，并从读取的影像数据中采集交通标牌样本，将采集的交通标牌样本存入交通标牌样本库，其中，交通标牌样本库中包括从读取的影像数据中采集的交通标牌样本和历史交通标牌样本，对存入交通标牌样本库中的所有交通标牌样本进行样本训练，其中，训练后的交通标牌样本包括交通标牌影像、对应的交通标牌类型以及位置信息，位置信息为交通标牌外接矩形框的图框像素坐标；

[0052] S3：对采集和训练后的交通标牌样本进行管理；

[0053] S4：从影像数据库中逐一读取出影像数据作为本次待提取影像数据，将待提取影像与交通标牌样本库中的样本进行像素色彩和由像素构成的图形形状的匹配，当待提取影像与某样本的像素色彩匹配度和由像素构成的图形形状匹配度均满足要求时，则提取该交通标牌样本的类型作为待提取影像中交通标牌目标物的类型；计算交通标牌目标物匹配到的像素的外接矩形框图框像素坐标；通过拍摄该待提取影像双目CCD相机记录的经纬度坐标信息，以及通过交通标牌目标物匹配的图框像素坐标所计算的中心点坐标，得到交通标牌目标物的中心点经纬度坐标信息，将提取出的交通标牌目标物对应的交通标牌影像、交通标牌类型、图框像素坐标和交通标牌中心点经纬度坐标信息存储至交通标牌作业库中；

[0054] S5：读取交通标牌作业库中的交通标牌影像，在提取过交通标牌目标物的影像中反投显示交通标牌的外接矩形框的图框，并显示该交通标牌影像的类型，判断外接矩形框的图框位置和类型是否与影像数据中的实际位置和实际类型一致；若一致则不做修改，若不一致则修改为一致。

[0055] 具体来说，S1中构建的影像数据库是步骤S2构建交通标牌样本库以及步骤S4中提取交通标牌的基础。

[0056] S2中从影像数据库中读取出的预设比例的影像数据可以根据实际情况设置，例如5%、10%、20%等等。历史交通标牌样本是指历史已知的交通标牌影像以及对应的交通标牌类型。其中，交通标牌样本采集，可以提供影像可视化界面和标注工具。交通标牌样本库中的交通标牌样本数据作为先验数据进行样本训练，提供到交通标牌自动提取步骤S4作为匹配参考数据。即步骤S2为步骤S4的交通标牌提取提供了先验交通标牌信息。

[0057] S4中，在将待提取影像与交通标牌样本库进行匹配时，是将待提取影像与交通标牌样本库中的样本进行像素色彩和由像素所构成的图形形状的匹配，以此来识别待提取影像中包含的交通标牌目标物。

[0058] 具体实施过程中，首先进行像素色彩的匹配，即RGB值的匹配，如果待提取影像中像素RGB值与交通标牌样本图框像素坐标范围内的影像的RGB值中，三个值的差值都在阈值范围之内，则表明像素色彩匹配度满足要求，例如RGB值的差值均小于3，则认为像素色彩匹配成功，接着进一步进行由像素构成的图形形状的匹配，即，将待提取影像中像素色彩匹配度满足要求的所有像素点构成的图形形状，与样本中像素色彩对应匹配的所有像素点所构成的图形形状进行匹配，如果二者构成的图形形状类型相同，则认为图形形状匹配度满足要求，即图形形状匹配成功。例如，待提取影像中像素色彩匹配度满足要求的所有像素点构成的图形形状为圆形，交通标牌样本中对应匹配的所有像素点所构成的图形形状也为圆形，二者图形形状类型相同，则认为图形形状匹配度满足要求，否则，图形形状不同，如一个为三角形，一个为圆形，则认为图形形状匹配度不满足要求。当像素色彩匹配度与图形形状匹配度都满足要求时，则匹配成功，即认为待提取影像中存在与交通标牌样本类型一致的交通标牌，则将交通标牌样本库中存储的交通标牌影像对应的交通标牌类型作为交通标牌目标物的类型，然后计算与交通标牌目标物匹配成功的像素的外接矩形框图框像素坐标；拍摄该待提取影像双目CCD相机会记录经纬度坐标信息，根据计算出的与交通标牌目标物匹配的像素的外接矩形框图框像素坐标以及记录的经纬度坐标信息，从而可以得到交通标牌目标物的中心点经纬度坐标信息。

[0059] 具体实施过程中，将从S1中构建的影像数据库中读取出整张影像，然后将读取出的整张影像与交通表标牌样本库中存储的交通标牌影像进行像素匹配，如果匹配不成功，则结束，如果匹配成功，则提取出对应的交通标牌类型，即将与该影像匹配的交通表标牌样本库中存储的交通标牌影像对应的交通标牌类型提取出来，接着提取出位置信息，即外接矩形框的图框像素坐标。进一步地，根据是否可以准确计算交通标牌目标物的中心点坐标，提取结果可以分为提取成果数据（可以计算中心点坐标）和提取结果数据（无法计算中心点坐标）。

[0060] 其中，在计算中心点经纬度坐标时：首先计算交通标牌目标物匹配到的像素的外接矩形框的图框像素坐标，然后通过外接矩形框的图框像素坐标计算中心像素坐标，再将中心像素坐标和CCD相机记录的经纬度坐标信息转换为中心点的经纬度坐标。交通标牌类型包括禁止标志、禁令标志、指示标志及其子类，指路标志大类等，坐标信息包括经纬度坐标和高程信息。交通标牌作业库中存储的信息包括一次作业中，可以成功匹配时，得到的交通标牌数据，一次作业是指每读取一次影像数据后，进行交通标牌自动提取的过程。通过步骤S4，可以利用交通标牌样本库提供的信息作为历史先验信息，从而实现交通标牌的自动提取，主要是提取交通标牌的类型和在影像中位置信息。

[0061] 具体来说，通过前述步骤S1 S4，可以实现对交通标牌的自动提取。为了进一步提~高提取的准确性，通过步骤S5对步骤S4的提取成果进行进一步检查与核实。其中，反投是指利用S4得到的交通标牌外接矩形框的图框像素坐标，显示到影像上的过程。由于外接矩形框的图框像素坐标，本身是从影像上获取的，现在反过来将其显示在影像上，故称为反投。

[0062] 判断外接矩形框的图框位置和类型是否与影像数据中的交通标牌类型一致，是将从交通标牌作业库中的读取的交通标牌影像的外接矩形框的图框位置与影像数据的实际位置进行比较，从交通标牌作业库中读取的交通标牌影像的类型与影像数据的实际类型进行比较，如果二者均相同，则不对交通标牌作业库的影像数据信息进行修改。否则（位置和类型有一项不一致，或者二者均不一致），则将从交通标牌作业库中的读取的交通标牌影像的信息（位置和类型）修改为与影像数据的实际信息（实际位置和实际类型）一致。

[0063] 举例来说，比如从交通标牌作业库中读取的交通标牌影像的外接矩形框的图框位置不在影像上对应的实际交通标牌处（实际位置），则需要将读取的交通标牌影像的外接矩形框的图框位置移动到实际交通标牌处；如果从交通标牌作业库中读取的交通标牌影像的类型是限速标牌，但是影像的实际类型是限高标牌，则需要将限速类型修改限高类型。

[0064] S5中，提取过程中会记录影像的像素坐标，并将提取的的外接矩形框显示在影像上。

[0065] 在一种实施方式中，S1 包括：

[0066] 根据影像拍照时刻，匹配GPS接收时间，获取当前影像拍摄时的相机坐标；

[0067] 将获取的相机坐标与影像数据进行匹配；

[0068] 检查影像数据中曝光、偏色、光斑、光柱问题，对问题影像数据进行图像处理与修复。

[0069] 在一种实施方式中，S3包括：

[0070] 对采集和训练后的交通标牌样本进行查询、浏览、导入和导出。

[0071] 具体来说，交通标牌样本数据查询，支持多种方式分类查询，包括标牌类型、采集城市、采集时间、相机型号等。

[0072] 在一种实施方式中，在通过交通标牌目标物匹配的图框像素坐标计算中心点坐标之前，所述方法还包括：

[0073] 判断是否可以准确计算交通标牌目标物的中心点坐标，如果交通标牌在对应的影像上像素个数少于预设像素个数，或者交通标牌在影像中显示不完整，则无法准确计算目标的中心点坐标。

[0074] 在一种实施方式中，所述方法还包括：

[0075] 当可以准确计算交通标牌目标物的中心点坐标时，将提取出的交通标牌目标物对应的交通标牌影像、交通标牌类型和坐标信息作为一条提取成果数据，其中，坐标信息包括目标物的中心点坐标和图框像素坐标；

[0076] 当无法准确计算交通标牌目标物的中心点坐标时，将提取出的交通标牌目标物对应的交通标牌影像、交通标牌类型和坐标信息作为一条识别成果数据，其中，坐标信息包括图框像素坐标。

[0077] 具体来说，通过影像对应的双目CCD相机的经纬度坐标，以及交通标牌目标物图框像素坐标所计算的中心像素坐标，得到交通标牌目标物的中心点经纬度坐标信息，此外，还可以获取影像的高程信息。提取成果数据和识别成果数据中的交通标牌影像可以包括影像编号。

[0078] 当可以准确计算中心点坐标时，将目标物的坐标、类型、图框像素坐标、对应影像编号等信息生成一条提取成果数据；当无法计算准确目标物中心点的经纬度坐标是，则将目标物的类型、图框像素坐标、对应影像编号等信息生成一条识别成果数据。

[0079] 在一种实施方式中，所述方法还包括：

[0080] 如果提取结果为提取成果数据，则经核实修改后与对应的交通标牌影像一同提交至交通标牌成果库；

[0081] 如果提取结果为识别成果数据，经核实修改后与对应的交通标牌影像一同提交到交通标牌样本库。

[0082] 具体来说，当为提取成果数据时，则通过步骤S5核实和修改后的数据存储至交通标牌成果库中，交通标牌成果库存储的信息包括提取结果中可以准确计算中心点坐标的交通标牌信息，具体包括交通标牌影像、交通标牌类型以及坐标信息，其中，坐标信息包括中心点坐标和外接矩形框的图框像素坐标。

[0083] 交通标牌样本库存储的是从读取的部分本次影像数据中采集的交通标牌样本、历史交通标牌样本以及提取结果中无法准确计算中心点坐标的交通标牌信息，交通标牌样本包括交通标牌影像、对应的交通标牌类型以及位置信息，位置信息为交通标牌外接矩形框的图框像素坐标；提取结果中无法准确计算中心点坐标的交通标牌信息包括交通标牌影像、交通标牌类型以及坐标信息，其中，坐标信息包括外接矩形框的图框像素坐标。

[0084] 交通标牌作业库中存储的信息包括一次作业中，可以成功匹配时，得到的交通标牌数据，具体包括交通标牌目标物对应的交通标牌影像、交通标牌类型和坐标信息，坐标信息包括外接矩形框的图框像素坐标。

[0085] 在一种实施方式中，所述方法还包括步骤S6：

[0086] 对交通标牌提取结果数据进行分类管理。

[0087] 在一种实施方式中，S6对交通标牌提取结果数据进行分类管理，包括：

[0088] 对交通标牌提取结果数据的查询、浏览、信息统计、导入及导出，其中查询的信息包括：标牌类型、采集城市、采集时间、相机型号。

[0089] 实施例二

[0090] 基于同样的发明构思，本实施例提供了一种基于双目CCD相机的交通标牌自动提取系统，请参见图2，该系统包括：

[0091] 影像数据处理子模块，用于对影像地理参考处理，为影像数据匹配坐标信息，检查影像数据并修复问题影像数据，其中，检查和修复后的影像数据存入影像数据库；

[0092] 交通标牌样本采集子模块，用于从影像数据库中读取出预设比例的影像数据，并从读取的影像数据中采集交通标牌样本，将采集的交通标牌样本存入交通标牌样本库，其中，交通标牌样本库中包括从读取的影像数据中采集的交通标牌样本和历史交通标牌样本，对存入交通标牌样本库中的所有交通标牌样本进行样本训练，其中，训练后的交通标牌样本包括交通标牌影像、对应的交通标牌类型以及位置信息，位置信息为交通标牌外接矩形框的图框像素坐标；

[0093] 交通标牌样本管理子模块，用于对采集和训练后的交通标牌样本进行管理；

[0094] 交通标牌信息提取子模块，用于从影像数据库中逐一读取出影像数据作为本次待提取影像数据，将待提取影像与交通标牌样本库中的样本进行像素色彩和由像素构成的图形形状的匹配，当待提取影像与某样本的像素色彩匹配度和由像素构成的图形形状匹配度均满足要求时，则提取该交通标牌样本的类型作为待提取影像中交通标牌目标物的类型；计算交通标牌目标物匹配到的像素的外接矩形框图框像素坐标；通过拍摄该待提取影像双目CCD相机记录的经纬度坐标信息，以及通过交通标牌目标物匹配的图框像素坐标所计算的中心点坐标，得到交通标牌目标物的中心点经纬度坐标信息，将提取出的交通标牌目标物对应的交通标牌影像、交通标牌类型、图框像素坐标和交通标牌中心点经纬度坐标信息存储至交通标牌作业库中；

[0095] 交通标牌检查子模块，用于读取交通标牌作业库中的交通标牌影像，在提取过交通标牌目标物的影像中反投显示交通标牌的外接矩形框的图框，并显示该交通标牌影像的类型，判断外接矩形框的图框位置和类型是否与影像数据中的交通标牌实际位置和实际类型一致；若位置和类型均一致则不做修改，否则，将从交通标牌作业库中读取的交通标牌影像修改为与实际位置和实际类型一致。

[0096] 在一种实施方式中，所述系统还包括交通标牌成果管理子模块，用于对交通标牌提取结果数据进行分类管理。

[0097] 具体来说，影像数据处理子模块用于影像地理参考处理，为影像数据匹配坐标信息，还用于影像数据检查与修复，提供影像数据可视化检查界面和影像修复功能。

[0098] 交通标牌样本采集子模块用于交通标牌样本的采集与训练，该模块提供影像可视化界面和标注功能，在交通标牌样本采集子模块采集与训练之后，可在交通标牌样本管理子模块进行数据管理，包含：样本查询、浏览、导入及导出。

[0099] 交通标牌信息提取子模块，将交通标牌样本库数据作为先验数据，交通标牌信息提取子模块针对影像处理后的数据，自动识别影像中潜在的交通标牌目标物，将识别出的交通标牌目标物在先验数据中（交通标牌样本库）进行匹配，获取该交通标牌目标物的交通标牌类型和目标物外接矩形框的图框像素坐标，再计算该目标物的中心点坐标：

[0100] 如果可以准确计算目标物中心点坐标，则将目标物的坐标、类型、图框像素坐标、对应影像编号等信息生成一条提取成果数据；如果无法准确计算目标物中心点坐标，则将目标物的类型、图框像素坐标、对应影像编号等信息生成一条识别成果数据提取成果数据和识别成果数据都将存储在交通标牌作业库中。

[0101] 例如：交通标牌距离相机太远，导致这个标牌在影像上像素个数太少（少于36个像素），就会导致计算不准；或者标牌在影像上缺了一部分，但是被识别出来，这种计算的坐标也不准。

[0102] 交通标牌检查子模块，将对交通标牌作业库中数据提供检查及修改的功能，通过浏览影像，并在提取过目标物的影像中反投显示交通标牌外接图框，并显示该交通标牌的类型信息，作业员检查图框位置与类型是否和影像中的地物（实际位置和类型）一致；若一致则不做修改，不一致则需修改正确，

[0103] 提取成果数据经核实正确后与对应影像一同提交到交通标牌成果库；

[0104] 识别成果数据经核实正确后与对应影像一同提交到交通标牌样本库。

[0105] 交通标牌样本库适用于存储交通标牌影像和对应的类型，作为机器学习的先验知识库，提高识别准确度；交通标牌成果库，用于存储交通标牌影像、类型、中心点经纬度坐标、外接图框像素坐标，作为成果。交通标牌成果库，支持查询、浏览、信息统计、导入及导出功能。

[0106] 下面通过具体的示例，对本发明提供的基于双目CCD相机的交通标牌自动提取系统进行详细说明。

[0107] 如图2所示，交通标牌自动提取作业任务管理平台用于各数据处理模块间的任务状态流转管理。

[0108] 交通标牌自动提取作业任务管理平台新建影像处理任务后，启动影像数据处理子模块；

[0109] 影像数据处理子模块中可进行影像地理参考自动处理，然后启动影像数据检查，由作业员查看影像有无曝光、偏色、光斑、光柱等问题，若存在上述问题，则使用图像处理功能对问题影像进行修复，处理后的影像数据进入影像数据库，同时发送任务状态为“影像数据处理完毕”至交通标牌自动提取作业任务管理平台。

[0110] 此时，交通标牌自动提取作业任务管理平台中可选择进行交通标牌样本采集或者交通标牌信息提取；

[0111] 如果选择交通标牌样本采集，则在交通标牌自动提取作业任务管理平台中创建交通标牌样本采集任务，启动交通标牌样本采集子模块；

[0112] 交通标牌样本采集子模块提供影像可视化界面，可进行人工浏览，在存在交通标牌的影像上添加标注，标注信息包括交通标牌类型和交通标牌外接矩形框的图框，交通标牌影像和添加的标注信息组成该交通标牌的样本信息，采集的样本经过本模块（交通标牌样本采集子模块）提供的样本训练功能，将被训练为先验交通标牌样本，样本信息入交通标牌样本库并发送任务状态为“样本采集完毕”至交通标牌自动提取作业任务管理平台；

[0113] 在交通标牌自动提取作业任务管理平台中核实访问权限后，启动交通标牌样本管理子模块；

[0114] 交通标牌样本管理子模块提供交通标牌样本库的查询、浏览、导入及导出等操作：查询操作提供标牌类型、采集城市、采集时间、相机型号、作业员等信息的查询；浏览操作提供查询结果的可视化显示；导入操作提供外部样本数据导入交通标牌样本库；导出操作提供将交通标牌样本库查询内容导出为多种可选格式的数据，该模块中的所有操作将记录到交通标牌自动提取作业任务管理平台中。

[0115] 如果选择交通标牌信息提取，则任务状态会由“影像数据处理完毕”转换为“待信息提取”，启动交通标牌信息提取子模块；

[0116] 交通标牌信息提取子模块通过读取影像数据库，将影像数据与交通标牌样本库中的样本进行匹配，自动提取交通标牌目标物的类型，并计算得到外接矩形图框像素坐标，然后通过影像中包含的双目CCD相机所在的经纬度坐标和外部导入的相机参数，自动计算交通标牌目标物的中心点经纬度坐标，目标物中心坐标准确的数据则生成提取成果数据，目标物中心坐标不准确的数据则生成识别成果数据，上述两种数据存入交通标牌作业库，同时发送任务状态为“作业数据待检查”至交通标牌自动提取作业任务管理平台。

[0117] 交通标牌自动提取作业任务管理平台可进行交通标牌检查任务，启动交通标牌检查子模块；

[0118] 交通标牌检查子模块读取交通标牌作业库，作业员通过浏览可视化界面中影像，核实交通标牌类型及反投到影像中的位置信息，错误的数据则人工修改，核实后的提取成果数据入交通标牌成果库，识别成果数据入交通标牌样本库，同时发送任务状态为“作业数据检查完毕”至交通标牌自动提取作业任务管理平台；

[0119] 在交通标牌自动提取作业任务管理平台中核实访问权限后，启动交通标牌成果管理子模块；

[0120] 交通标牌成果管理子模块提供交通标牌成果库的查询、统计、浏览、导入及导出等操作：查询操作提供标牌类型、采集城市、采集时间、相机型号、作业员等信息的查询；统计操作可以将查询结果通过可选图表样式进行展示；浏览操作提供查询结果的可视化显示；导入操作提供外部样本数据导入交通标牌成果库；导出操作提供将交通标牌成果库查询内容导出为多种可选格式的数据，该模块中的所有操作将记录到交通标牌自动提取作业任务管理平台中。

[0121] 上述用于交通标牌自动提取的系统的生产作业过程如下：

[0122] 首先，对影像数据进行影像地理参考处理得到对应相机的坐标，然后检查并修复问题影像，检查后的影像存储与影像数据库。

[0123] 然后进行交通标牌自动提取，自动读取影像数据库的数据与交通标牌样本库的样本进行匹配，生成交通标牌识别成果与交通标牌提取成果，存储到交通标牌作业库。

[0124] 上述交通标牌样本库存储的包括历史交通标牌样本数据和从影像数据库中读取的一定比例的影像数据制作成的交通标牌样本。

[0125] 由作业员对交通标牌作业库的数据进行检查和修改，检查后的交通标牌识别成果存储到交通标牌样本库，交通标牌提取成果存储到交通标牌成果库。

[0126] 实施例的作用与效果

[0127] 本实施例采用的基于双目CCD相机的交通标牌自动提取的方法，考虑到交通标牌在CCD相机影像成像结果在像素层面上是规律的，所以构建了交通标牌样本库，其中包括从读取的影像数据中采集的交通标牌样本和历史交通标牌样本，将其作为先验交通标牌信息对影像中的交通标牌目标物进行自动识别和提取，相比于人工浏览影像提取交通标牌的方式而言，可以大大提高交通标牌的提取效率。

[0128] 而作业员只需核实和修改提取结果即可，自动提取过程无需人工参与，人工参与度低，减少了操作错误发生几率。

[0129] 根据本实施例所涉及的一种基于双目CCD相机的交通标牌自动提取方法和系统，使用交通标牌自动提取作业任务管理平台进行数据任务的创建和数据流转，对交通标牌自动提取的作业过程进行工序的分配和整合，能够有效地进行作业流程监督和规范化管理。

[0130] 本实施例的系统，还将影像数据、样本数据、作业过程数据、成果数据以数据库的形式进行管理，避免了文件数据管理形式的低效、冗余的问题，还能避免在数据流转过程导致的文件遗失的问题；数据库管理的模式可更加方便地进行数据查询和展示，可使用权限管理保证数据库的安全性，交通标牌提取成果的后续使用也更加灵活、易操作；使用数据库管理可以进行历史版本控制，增加样本数据量，也提高了交通标牌自动提取的方法的准确率。

[0131] 应用本实施例的作业系统后，从流程管理方面来说，实现作业过程的规范化管理；从数据管理的方面来说，保证了数据的安全，减少了人为操作的错误发生率；从交通标牌自动提取的方面来说，缩短了作业时间，减少了人工作业量，节省了人工方面的成本。

[0132] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

[0133] 本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

[0134] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

[0135] 显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。