融合多目标雷达与视频信息的通行车辆跟踪测速方法

摘要

本发明涉及一种融合多目标雷达与视频信息的通行车辆跟踪测速方法，利用多目标雷达与摄像机对多个车辆目标进行持续跟踪和测速，并进行抓拍记录。本发明方法的具体处理步骤包括：（1）对摄像机拍摄的视频进行实时分析，检测车辆的图像区域；（2）对检测到的车辆图像区域进行前后帧关联分析，对该车辆目标的实现连续跟踪；（3）对多目标雷达获得的车辆位置信息进行空间标定，与检测到的车辆图像区域关联；（4）对进入抓拍区域的车辆目标进行图像抓拍，并记录其关联的雷达测速信息。本发明提出的方法有效解决了视频场景中多个车辆目标与雷达测速信息的对应关系，用于多车辆目标的精确测速和超速判定。

权利要求

1.一种融合多目标雷达与视频信息的通行车辆跟踪测速方法，其特征是，包括以下步骤：

步骤S1、对摄像机视频实时检测车辆的图像区域；

步骤S2、基于前后帧图像中的车辆图像区域对车辆目标进行连续视频跟踪；

步骤S3、建立多目标雷达坐标系与图像空间坐标系的映射关系，对多目标雷达信息进行空间标定并变换至图像空间坐标系中以关联车辆图像区域；

步骤S4、在视频图像中设置抓拍区域，对进入抓拍区域的一个或多个车辆目标进行成像记录；

所述步骤S1包括图像前景区域提取、利用图像形态学对图像前景区域修正填充、对图像前景区域进行形状特征判定；经过上述步骤处理的一个或多个图像前景区域对应一个或多个车辆的图像区域；

所述车辆的图像区域为车辆在视频图像中所覆盖的像素区域，视频图像中存在多个车辆则获取同等数目的彼此非连通的像素区域；

所述步骤S2通过对前后视频帧中所有车辆图像区域进行重叠度、形状相似度、运动趋势分析，建立前后视频帧中各车辆图像区域的时序对应关系，获取时序上连续关联对应的车辆图像区域，每一个车辆图像区域的时序序列表示一个连续跟踪的车辆目标；

所述步骤S3包括：方法初始化时利用多目标雷达和摄像机的安装参数建立雷达坐标系与图像空间坐标系的映射关系，运行时实时地将多目标雷达信息中的车辆位置坐标变换为图像空间坐标，并与当前视频帧中该坐标位置处的车辆图像区域关联，多目标雷达信息中对应的车速信息为该车辆图像区域所对应车辆目标的速度值；

所述利用多目标雷达和摄像机的安装参数建立雷达坐标系与图像空间坐标系的映射关系具体包括：所需要的安装参数包括：摄像机与雷达在左右、上下以及前后之间的距离差Lx、Ly和Lz，摄像机与道路方向的夹角α，摄像机与水平面的夹角β以及多目标雷达的安装高度H；车辆目标在以多目标雷达为中心的坐标系中的坐标一般表示为车辆在道路横向方向上与雷达之间的距离Dh及在道路纵向方向上的距离Dv，将其变换至以摄像机为中心的右手笛卡尔坐标系中，坐标(x,y,z)T满足：已知摄像机的水平和竖直视角分别为aw和ah，以及图像的水平和竖直分辨率分别为w和h，则将上述坐标变换至图像空间坐标系中，坐标(u,v)T满足：

2.如权利要求1所述的融合多目标雷达与视频信息的通行车辆跟踪测速方法，其特征是：所述多目标雷达信息包括：车辆在雷达坐标系中的位置坐标和车辆的当前速度，多目标雷达测量范围内存在多个车辆的则包含同等数目的信息序列。

3.如权利要求1所述的融合多目标雷达与视频信息的通行车辆跟踪测速方法，其特征是：所述步骤S4包括：方法初始化时在视频图像中设置抓拍区域，并对应调节摄像机的成像面以保证抓拍区域中车辆成像的清晰度，运行时实时地判断有无跟踪的车辆图像区域进入该抓拍区域；当车辆的图像区域进入该抓拍区域时触发摄像机截取一帧高分辨率的清晰图像并叠加该车辆图像区域关联的当前速度。

说明书

融合多目标雷达与视频信息的通行车辆跟踪测速方法

技术领域

[0001] 本发明涉及一种融合多目标雷达与视频信息的通行车辆跟踪测速方法，属于交通图像处理与交通信息技术领域。

背景技术

[0002] 超速抓拍系统在我国应用广泛，是对路面车辆违章超速行为的重要取证手段。常见的超速抓拍系统采用线圈-摄像机、微波雷达-摄像机、虚拟线圈-摄像机以及区间测速等方式。其中线圈-摄像机组合的方式通过计算车辆先后通过两个线圈的时间差来估计车辆的速度，准确性高但线圈的工作寿命短且布置不方便；雷达-摄像机组合的方式基于车辆对雷达波反射的多普勒效应计算其速度，性能可靠且可路侧安装；虚拟线圈-摄像机的方式则在摄像机获取图像中建立虚拟的线圈区域，采用类似于线圈-摄像机的方法来计算车速，优点是仅依靠一台摄像机便可完成车速测量和抓拍，系统运行可靠性高，缺点是摄像机标定工作复杂且对图像算法依赖性高，车速测量准确度低；区间测速则基于车辆通过一段路程所需的时间计算其平均速度，对车辆的监控具有持续性且车速测量准确度高，但需要在两个道路卡口上进行布设，成本投入高。

[0003] 考虑车速测量的准确性、性价比、系统可靠性和维护便捷性等，采用微波雷达-摄像机配合的方式具有一定的优势，也是当前公路上应用广泛的一种超速抓拍手段。但是常用的窄波束雷达在对单车道车辆进行测速时容易受旁车道车辆的干扰而造成测量不准确，难以处理交通流较大情况下的多车辆目标测速的难题。目前交通产品行业中有一类新型的多目标雷达被研制出来，这种雷达产品的微波波束可以完整覆盖多个车道，对雷达回波信号的时延和频移特性进行分析从而实现对多个车辆目标进行检测，并返回他们的速度和位置信息。但是雷达检测结果不具直观性，需要与摄像机抓拍的图像进行叠加，才可作为车辆超速行为的取证依据。

[0004] 在现有的文献中，已有少量多目标雷达与摄像机配合测速抓拍的方法。申请号为201510318437.4的中国专利申请中提出的一体化多目标雷达测速抓拍系统，利用多目标雷达对多个车道上的车辆进行测速，当进入触发位置时则触发抓拍摄像机进行抓拍。该方法主要依赖于多目标雷达信息，需要多目标雷达具有车道宽度和车道数目的配置功能，对多目标雷达功能要求较高；而摄像机仅用于抓拍，不具备视频查看和车辆检测功能，直观性和交互性较差。申请号为201610098711.6的中国专利申请中提出基于测距测角测速相结合的多车道雷达测速方法及装置，利用车辆与雷达之间的测量角度和距离信息对车辆所属车道进行判断，从而实现对多个车道的车辆同时测速的功能，但也需要配置车道信息。

[0005] 可见，目前基于多目标雷达进行测速抓拍的方法较少且单一，更侧重多目标雷达信息而忽视视频图像分析的作用。对于一个信息化的道路卡口来说，雷达信息过于稀疏，单独使用需有车道信息等先验，当车辆针对性地变更车道时仍会发生误判和抓拍不准确的情况。

发明内容

[0006] 本发明的目的是克服现有技术中存在的不足，提供一种融合多目标雷达与视频信息的通行车辆跟踪测速方法，从多目标雷达与视频信息融合的角度出发，实现对监控范围内多车辆目标的检测和连续跟踪，并关联上雷达测速信息，最后触发抓拍，能够处理各种复杂情形下通行车辆的测速问题。

[0007] 按照本发明提供的技术方案，所述融合多目标雷达与视频信息的通行车辆跟踪测速方法，其特征是，包括以下步骤：

[0008] 步骤S1、对摄像机视频实时检测车辆的图像区域；

[0009] 步骤S2、基于前后帧图像中的车辆图像区域对车辆目标进行连续视频跟踪；

[0010] 步骤S3、建立多目标雷达坐标系与图像空间坐标系的映射关系，对多目标雷达信息进行空间标定并变换至图像空间坐标系中以关联车辆图像区域；

[0011] 步骤S4、在视频图像中设置抓拍区域，对进入抓拍区域的一个或多个车辆目标进行成像记录。

[0012] 进一步的，所述步骤S1包括图像前景区域提取、利用图像形态学对图像前景区域修正填充、对图像前景区域进行形状特征判定；经过上述步骤处理的一个或多个图像前景区域对应一个或多个车辆的图像区域。

[0013] 进一步的，所述车辆的图像区域为车辆在视频图像中所覆盖的像素区域，视频图像中存在多个车辆则获取同等数目的彼此非连通的像素区域。

[0014] 进一步的，所述步骤S2通过对前后视频帧中所有车辆图像区域进行重叠度、形状相似度、运动趋势分析，建立前后视频帧中各车辆图像区域的时序对应关系，获取时序上连续关联对应的车辆图像区域，每一个车辆图像区域的时序序列表示一个连续跟踪的车辆目标。

[0015] 进一步的，所述步骤S3包括：方法初始化时利用多目标雷达和摄像机的安装参数建立雷达坐标系与图像空间坐标系的映射关系，运行时实时地将多目标雷达信息中的车辆位置坐标变换为图像空间坐标，并与当前视频帧中该坐标位置处的车辆图像区域关联，多目标雷达信息中对应的车速信息为该车辆图像区域所对应车辆目标的速度值。

[0016] 进一步的，所述多目标雷达信息包括：车辆在雷达坐标系中的位置坐标和车辆的当前速度，多目标雷达测量范围内存在多个车辆的则包含同等数目的信息序列。

[0017] 进一步的，所述步骤S4包括：方法初始化时在视频图像中设置抓拍区域，并对应调节摄像机的成像面以保证抓拍区域中车辆成像的清晰度，运行时实时地判断有无跟踪的车辆图像区域进入该抓拍区域；当车辆的图像区域进入该抓拍区域时触发摄像机截取一帧高分辨率的清晰图像并叠加该车辆图像区域关联的当前速度。

[0018] 本发明所述融合多目标雷达与视频信息的通行车辆跟踪测速方法，可以对道路通行车辆进行连续的视频检测和跟踪，实时关联车辆目标的速度信息，并可不受车道限制方便地设置图像抓拍区域。当前交通监控市场上有多种具有嵌入式计算能力的摄像机，和多目标雷达结合可以方便地实施上述方法，构建出简单可靠的多车辆目标测速系统，并可进一步基于该发明方法获得的车辆视频轨迹和速度信息实现车辆违法行为识别等功能，可广泛应用于道路及治安卡口的视频图像监控系统中。

附图说明

[0019] 图1为本发明融合多目标雷达与视频信息的通行车辆跟踪测速方法的示意图。

[0020] 图2为本发明融合多目标雷达与视频信息的通行车辆跟踪测速方法的具体流程图。

[0021] 图3为车辆图像区域示意图。

[0022] 图4为车辆图像区域关联示意图。

[0023] 图5为车辆图像区域与多目标雷达信息关联示意图。

[0024] 图6为多目标雷达信息空间标定所需的多目标雷达和摄像机的安装示意图。

[0025] 图7为本发明所述通行车辆跟踪测速方法的系统构建示意图。

具体实施方式

[0026] 下面结合具体附图对本发明作进一步说明。

[0027] 如图1所示，本发明所述融合多目标雷达与视频信息的通行车辆跟踪测速方法，包括以下步骤：

[0028] 步骤S1、车辆图像区域检测：对摄像机视频实时检测车辆的图像区域，具体包括如图2所示的步骤S11建立背景模型、步骤S12前景区域提取、步骤S13形态学操作、步骤S14形状特征判定。

[0029] 步骤S11、建立背景模型：系统初始化时，基于视频的第一帧图像建立路面环境的图像背景模型，可采用单/多高斯背景建模方法，本实施例中采用基于Vibe的背景建模方法。对于高分辨率的视频图像，应先缩放至合适的分辨率，如320×240像素，再进行背景建模。

[0030] 步骤S12、前景区域提取：基于背景模型对获取的视频每一帧图像提取不属于背景的像素区域。先将图像缩放至与背景模型同样的分辨率，然后遍历每一个像素，与背景模型中对应像素比较，像素灰度值差异超出一定阈值将认为是前景像素。对于计算性能较弱的系统，步骤S11和S12可以使用帧差法来检测前景区域，通过对当前帧图像与前一帧图像的对应像素求差值，超出一定阈值将认为是前景像素。

[0031] 步骤S13、形态学操作：基于图像形态学操作，如开运算和闭运算，对提取的前景区域形态进行处理。滤除孤立的像素点，联接属于同一个车辆目标但分离的像素区域，填补前景区域内的镂空等，从而获得形状规整的图像前景区域。

[0032] 步骤S14、形状特征判定：基于面积、长宽比、凹凸性等形状特征对每一个图像前景区域判定，符合要求的为车辆图像区域。本实施例中对符合要求的图像前景区域计算最小外接矩形，将其作为车辆图像区域。图3示出了覆盖车辆目标的3个车辆图像区域(101、102和103)。

[0033] 步骤S2、车辆目标视频跟踪：基于前后帧图像中的车辆图像区域对车辆目标进行连续视频跟踪，具体包括如图2所示的步骤S21与前帧车辆图像区域关联分析、步骤S22与多目标雷达信息关联和步骤S23更新车辆跟踪信息。

[0034] 步骤S21、与前帧车辆图像区域关联分析：将当前帧中的所有车辆图像区域与前一帧中的所有车辆图像区域进行关联分析，计算前后帧图像区域间的重叠度、形状相似度矩阵。同时基于开尔曼滤波对前一帧车辆图像区域的运动趋势进行估计，计算当前帧图像区域与预测估计区域质心的距离。综合上述3种计算结果，建立当前帧中的车辆图像区域与前一帧中的对应关系。

[0035] 当前帧中的车辆图像区域，具有对应的前一帧车辆图像区域的，则将其作为前一帧车辆图像区域所属于的车辆目标在时序上的延续，从而实现对该车辆目标的视频图像跟踪。图4示出了当前帧3个车辆图像区域(104、105和106)与前一帧中3个车辆图像区域(101、102和103)分别对应的关系。

[0036] 当前帧中的车辆图像区域，不具有对应的前一帧车辆图像区域的，则将其作为新的车辆目标的初始图像区域，系统分配相应的内存空间存储该车辆目标当前帧及后序的跟踪时序序列。

[0037] 步骤S22、与多目标雷达信息关联：在与当前帧时间最近的多目标雷达信息中，车辆雷达坐标通过步骤S34变换至图像空间，进而将覆盖该坐标的车辆图像区域所属的车辆目标与该坐标对应的多目标雷达信息关联。图5示出了车辆雷达坐标变换后得到的图像空间坐标(301、302、303)分别处于3个车辆图像区域(104、105和106)中。

[0038] 步骤S23、更新车辆跟踪信息：将当前帧中车辆图像区域的位置坐标、长宽大小以及对应的多目标雷达信息作为车辆目标的当前状态信息，添加至对应的车辆目标的时序序列中。

[0039] 步骤S3、多目标雷达信息空间变换：建立多目标雷达坐标系与图像空间坐标系的映射关系，对多目标雷达信息进行空间标定并变换至图像空间坐标系中用于关联车辆图像区域，具体包括如图2所示的步骤S31建立雷达-图像坐标系变换映射、步骤S32获取当前帧多目标雷达信息、步骤S33获取车辆位置坐标信息、步骤S34车辆位置坐标变换和步骤S35获取车速信息。在本实施例中，步骤S3与步骤S2是并行计算的2个线程，不存在严格的先后顺序关系。

[0040] 步骤S31、建立雷达-图像坐标系变换映射：系统初始化时利用多目标雷达和摄像机的安装参数建立雷达坐标系与图像空间坐标系的映射关系。所需要的安装参数包括：摄像机与雷达在左右、上下以及前后之间的距离差Lx、Ly和Lz，摄像机与道路方向的夹角α，摄像机与水平面的夹角β以及多目标雷达的安装高度H。车辆目标在以多目标雷达为中心的坐标系(如图6所示的307)中的坐标一般表示为车辆在道路横向方向上与雷达之间的距离Dh及在道路纵向方向上的距离Dv，将其变换至以摄像机为中心的右手笛卡尔坐标系(308)中，坐标(x,y,z)T满足：

[0041]

[0042] 已知摄像机的水平和竖直视角分别为aw和ah，以及图像的水平和竖直分辨率分别为w和h，则将上述坐标变换至图像空间坐标系(309)中，坐标(u,v)T满足：

[0043]

[0044] 步骤S32、获取当前帧多目标雷达信息：系统运行过程中多目标雷达持续感知，其微波扫描频率不一定与视频帧率一致，将选取与当前视频帧时间最近的多目标雷达信息帧。

[0045] 步骤S33、获取车辆位置坐标信息：车辆目标的雷达信息一般包括车辆目标序号、车辆目标在以多目标雷达为中心的坐标系中的坐标、车辆目标的速度。多个车辆目标以包含上述信息的数组集合存储在一帧多目标雷达信息中。通过对多目标雷达信息进行一定格式的变换可以获取车辆雷达坐标。

[0046] 步骤S34、车辆位置坐标变换：将当前获取的所有车辆雷达坐标利用步骤S31中的雷达-图像坐标系变换映射，换算成图像空间坐标供步骤S22使用。图6示出的车辆雷达坐标(304、305、306)与图5示出的图像空间坐标(301、302、303)一一对应。

[0047] 步骤S35、获取车速信息：通过对多目标雷达信息进行一定格式的变换可以获取车辆目标的速度，供步骤S23使用。

[0048] 步骤S4、车辆目标抓拍记录：在视频图像中设置抓拍区域，对进入抓拍区域的一个或多个车辆目标进行成像记录，具体包括如图2所示的步骤S41设置抓拍区域、步骤S42判断是否进入抓拍区域和步骤S43车辆图像抓拍与车速叠加。

[0049] 步骤S41、设置抓拍区域：系统初始化时，通过人机交互界面在视频图像中设置抓拍区域。为了保证车辆目标清晰度及号牌图像区域的像素长度和宽度，一般为图像下部范围内的一个四边形区域，对应覆盖道路一个或多个车道的一段距离范围。对应地，需调节摄像机镜头，使得图像成像面对焦在这个抓拍区域。

[0050] 步骤S42、判断是否进入抓拍区域：判断当前帧的各个车辆图像区域是否与抓拍区域产生重叠。如有，则触发摄像机产生一帧高清晰度的图像。

[0051] 步骤S43、车辆图像抓拍与车速叠加：图像抓拍后，将触发抓拍的一个或多个车辆目标对应的雷达测速信息叠加在各自的车辆图像区域左上角，并将该图像发送至后台终端。

[0052] 最后，根据应用需求可以在后台终端记录触发抓拍的一个或多个车辆目标在视频中的位置、大小、轨迹、车速时序序列等视频、图像与跟踪信息，进一步用于基于车道轨迹分析的违法行为识别和特征信息取证。

[0053] 如图7所示，为本发明所述通行车辆跟踪测速方法的最小系统组成，包括：多目标雷达51、具有嵌入式计算分析功能的智能摄像机52、后台终端计算机53、连接多目标雷达51与智能摄像机52的串口通讯及直流供电线缆54、连接智能摄像机52与后台终端计算机53的专网通讯网线55等。多目标雷达51一般为独立的低功耗产品模块，通过具备RS485或者RS232通讯协议以及直流供电的航空接口511与智能摄像机52连接。智能摄像机52具备嵌入式计算环境，当前市场上的主流产品可以满足运行本发明所述方法系统程序的运行需求，其接口面板一般包括：直流电源接口521、USB接口522、RJ45以太网接口523、以及具备电源输出、串口通讯、IO等功能的综合接口524等。后台终端计算机53一般运行数据库程序，记录存储智能摄像机52发送的包含车辆目标及其雷达信息的视频、图像与跟踪信息。

[0054] 由此，本发明所述融合多目标雷达与视频信息的通行车辆跟踪测速方法及其系统，能够对通行的多个车辆目标进行持续跟踪和测速，并进行抓拍记录。主要步骤包括：(1)对摄像机拍摄的视频进行实时分析，检测车辆的图像区域；(2)对检测到的车辆图像区域进行前后帧关联分析，对该车辆目标的实现连续跟踪；(3)对多目标雷达获得的车辆位置信息进行空间标定，与检测到的车辆图像区域关联；(4)对进入抓拍区域的车辆目标进行图像抓拍，并记录其关联的雷达测速信息。和已有的方法相比，本发明方法实现简单，仅需要摄像机、多目标雷达、嵌入式处理系统或者普通计算机便可以实现，可方便地用于公路、道路卡口或路侧设施中，实现多车辆目标无相互干扰的实时测速；本发明方法输出信息丰富，除测速外，根据应用需求，可以记录车辆目标的位置、大小、轨迹、车速时序序列等视频、图像与跟踪信息，进一步用于超速、不按规定车道行驶、随意变更车道等交通违法行为的视频图像取证。

[0055] 本发明对白天、夜晚补光拍摄的视频均有效，可以实现多车辆目标的图像区域准确检测定位和跟踪。

[0056] 本发明所述方法要求摄像机与多目标雷达安装在卡口或者路侧上方，摄像机和多目标雷达以俯视的角度面向或者背向车道方向，符合当前道路监控设备的安装要求。