基于图像识别和红外避障的车辆跟踪系统、方法及车辆转让专利
申请号 : CN201711116535.5
文献号 : CN107909024B
文献日 : 2021-11-05
发明人 : 卢迪 , 张旭标 , 林尤添 , 梁金伟
申请人 : 哈尔滨理工大学
摘要 :
权利要求 :
1.一种基于图像识别和红外避障的车辆跟踪系统,其特征在于,包括:上位机监视子系统、跟踪避障子系统以及车辆控制子系统;
所述上位机监视子系统用于监视车辆的前进速度与前进方向;所述跟踪避障子系统用于车辆的跟踪与避障;所述车辆控制子系统用于控制车辆的前进速度与前进方向;
所述上位机监视子系统包括Wifi接收模块、显示模块以及监控模块;
所述跟踪避障子系统包括:摄像头模块、红外传感器模块、Wifi发送模块、嵌入式图像处理开发板以及跟踪避障处理模块;所述跟踪避障处理模块包括:Linux操作系统内核子模块、ROS子模块以及TLD计算子模块;
所述车辆控制子系统包括:控制器以及驱动电机;
所述Wifi发送模块用于发送所述摄像头模块获取的待跟踪车辆的实时图像至上位机监视子系统;所述Wifi接收模块用于接收所述摄像头模块获取的待跟踪车辆的实时图像;
所述嵌入式图像处理开发板用于对所述摄像头模块获取的待跟踪车辆的实时图像信息进行采集;所述跟踪避障处理模块用于处理经所述嵌入式图像处理开发板采集的数据;
所述TLD计算子模块包括:目标模型改进单元、最近邻图像片改进单元、分类器优化单元以及GPU加速单元;所述目标模型改进单元用于改进目标模型;所述最近邻图像片改进单元用于改进最近邻图像片;所述分类器优化单元用于优化分类器;所述GPU加速单元用于加快TLD计算子模块的计算速度;
所述改进目标模型的具体方法为:保存摄像头模块获取的待跟踪车辆的实时图像作为离线训练样本,并自动读取离线训练完成的第一帧图像的参数进行TLD计算子模块的初始化;所述参数包括:通过集合分类器的所有图像片,集合分类器十棵树节点的图像的坐标值,通过最近邻分类器的所有正负样本图像片和级联分类器中的各个分类器的阈值;
所述改进最近邻图像片的具体方法为:根据时间与可信度计算方法,从离线训练样本中取出时间与可信度均在预设值范围内的正样本图像片和负样本图像片,所述正样本图像片和负样本图像片的数量之和为20张;
所述优化分类器的具体方法为:通过距离聚类方法,排除超出预设值距离的车辆的图像框,将在预设值距离范围内的车辆的图像框进行聚类,计算出新的目标框,并用最近邻方法进行重新评估;判断当通过最近邻分类器的结果为0个图像片时,重新对要通过集合分类器的图像片进行聚合,获取最近邻分类阈值,将聚合后的图像片送到最近邻分类器重新训练;
所述控制器用于根据红外传感器模块的实时检测结果和跟踪避障处理模块处理数据的结果控制驱动电机,所述数据是指嵌入式图像处理开发板采集的数据。
2.如权利要求1所述的基于图像识别和红外避障的车辆跟踪系统,其特征在于,所述GPU加速单元使用GPU并行加速方法,具体为使用CUDA平台将串行运行改为多线程的并行运算。
3.一种基于图像识别和红外避障的车辆跟踪方法,其特征在于,包括:S201、通过摄像头获取待跟踪车辆的实时图像;
S202、通过嵌入式图像处理开发板对获取待跟踪车辆的实时图像信息进行采集,S203、将采集到实时图像信息使用TLD跟踪方法进行处理,计算出待跟踪车辆的前进速度与前进方向;
S204、根据红外传感器的实时检测结果和跟踪避障处理数据的结果控制驱动电机,所述数据是指嵌入式图像处理开发板采集的数据;并通过WIFI模块将跟踪车辆的实时图像信息上传至上位机监视;
其中,所述TLD跟踪方法包括:改进目标模型、改进最近邻图像片以及优化分类器;
所述改进目标模型的具体方法为:保存摄像头模块获取的待跟踪车辆的实时图像作为离线训练样本,并自动读取离线训练完成的第一帧图像的参数进行TLD计算子模块的初始化;用GPU加速单元加快TLD计算子模块的计算速度;所述参数包括:通过集合分类器的所有图像片,集合分类器十棵树节点的图像的坐标值,通过最近邻分类器的所有正负样本图像片和级联分类器中的各个分类器的阈值;
所述改进最近邻图像片的具体方法为:根据时间与可信度计算方法,从离线训练样本中取出时间与可信度均在预设值范围内的正样本图像片和负样本图像片,所述正样本图像片和负样本图像片的数量之和为20张;
所述优化分类器的具体方法为:通过距离聚类方法,排除超出预设值距离的车辆的图像框,将在预设值距离范围内的车辆的图像框进行聚类,计算出新的目标框,并用最近邻方法进行重新评估;判断当通过最近邻分类器的结果为0个图像片时,重新对要通过集合分类器的图像片进行聚合,获取最近邻分类阈值,将聚合后的图像片送到最近邻分类器重新训练。
4.如权利要求3所述的基于图像识别和红外避障的车辆跟踪方法,其特征在于,所述GPU加速单元使用GPU并行加速方法,具体为使用CUDA平台将串行运行改为多线程的并行运算。
5.一种基于图像识别和红外避障的车辆,其特征在于,安装有如权利要求1‑2任一所述的基于图像识别和红外避障的车辆跟踪系统。
说明书 :
基于图像识别和红外避障的车辆跟踪系统、方法及车辆
技术领域
背景技术
而采用的相对复杂的算法虽然不易受外界的影响,精度较高,但实时性较差。此外,这两种
算法均未实现对于前端摄像头信息的同步传输至上位机监视器的过程。
发明内容
像;所述嵌入式图像处理开发板用于对所述摄像头模块获取的待跟踪车辆的实时图像信息
进行采集;所述跟踪避障处理模块用于处理经所述嵌入式图像处理开发板采集的数据;
进单元用于改进最近邻图像片;所述分类器优化单元用于优化分类器;所述GPU加速单元用
于加快TLD计算子模块的计算速度;
初始化;所述参数包括:通过集合分类器的所有patch,集合分类器的十棵树的节点的图像
坐标点的位置值,通过最近邻分类器的所有的正负样本的,还有级联分类器的各个分类器
的阈值;
述正样本图像片和负样本图像片的数量之和为20张。
并用最近邻方法进行重新评估;并判断当通过最近邻分类器的结果为0个patch的时,重新
对集合分类器进行聚合,同时最近邻分类阈值,重新将聚合后的patch送到最近邻分类器重
新训练。
图像信息上传至上位机监视;
初始化;所述参数包括:通过集合分类器的所有patch,集合分类器的十棵树的节点的图像
坐标点的位置值,通过最近邻分类器的所有的正负样本的,还有级联分类器的各个分类器
的阈值;
并用最近邻方法进行重新评估;并判断当通过最近邻分类器的结果为0个patch的时,重新
对集合分类器进行聚合,同时最近邻分类阈值,重新将聚合后的patch送到最近邻分类器重
新训练。
前进方向;所述跟踪避障子系统用于车辆的跟踪与避障;所述车辆控制子系统用于控制车
辆的前进速度与前进方向;所述上位机监视子系统包括Wifi接收模块、显示模块以及监控
模块;所述跟踪避障子系统包括:摄像头模块、红外传感器模块、Wifi发送模块、嵌入式图像
处理开发板以及跟踪避障处理模块;所述跟踪避障处理模块包括:Linux操作系统内核子模
块、ROS子模块以及TLD计算子模块;所述车辆控制子系统包括:控制器以及驱动电机;所述
Wifi发送模块用于发送所述摄像头模块获取的待跟踪车辆的实时图像至上位机监视子系
统;所述Wifi接收模块用于接收所述摄像头模块获取的待跟踪车辆的实时图像;所述嵌入
式图像处理开发板用于对所述摄像头模块获取的待跟踪车辆的实时图像信息进行采集;所
述跟踪避障处理模块用于处理经所述嵌入式图像处理开发板采集的数据;所述TLD计算子
模块包括;目标模型改进单元、最近邻图像片改进单元、分类器优化单元以及GPU加速单元;
所述目标模型改进单元用于改进目标模型;所述最近邻图像片改进单元用于改进最近邻图
像片;所述分类器优化单元用于优化分类器;所述GPU加速单元用于加快TLD计算子模块的
计算速度;所述改进目标模型的具体方法为:保存摄像头模块获取的待跟踪车辆的实时图
像作为离线训练样本,并自动读取离线训练完成的第一帧图像的参数进行TLD计算子模块
的初始化且只对最近邻图像片和方差值进行保存;所述控制器用于根据红外传感器模块的
实时检测结果和跟踪避障处理模块处理数据的结果控制驱动电机,所述数据是指嵌入式图
像处理开发板采集的数据。
实现了离线检测和在线学习能力;减小模型的占用空间,使得存储和加载目标模型的时间
大大缩短;
附图说明
普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
具体实施方式
征和优点能够更加明显易懂,下面结合附图对本发明中技术方案作进一步详细的说明:
向;
灵进程Client客户端可实时读取TLD计算方法法保存在指定路径下的图片,通过Linux网络
编程方法将图片发至上位机进行实时监视。
测的数据传回STM32控制器进行避障判断。
监督与学习,达到长时间目标跟踪效果。
踪车辆的实时图像;所述嵌入式图像处理开发板204用于对所述摄像头模块201获取的待跟
踪车辆的实时图像信息进行采集;所述跟踪避障处理模块205用于处理经所述嵌入式图像
处理开发板采集的数据;
进目标模型;所述最近邻图像片改进单元20532用于改进最近邻图像片;所述分类器优化单
元20533用于优化分类器;所述GPU加速单元20534用于加快TLD计算子模块的计算速度;
初始化;所述参数包括:通过集合分类器的所有patch,集合分类器的十棵树的节点的图像
坐标点的位置值,通过最近邻分类器的所有的正负样本的,还有级联分类器的各个分类器
的阈值;
分类器的阈值、集合分类器的先验概率、最近邻分类器的阈值、在线模型20张、集合分类器
10棵树,每棵树中的每个节点的图像位置等;初始化的过程是把上述vector数据给保存到
一个文件里面,存成矩阵的形式,当第二次开机时直接读取文件中的数据,从而进行初始
化;所采用的最近邻分类器,对在线模型的数量进行了限定,前10张初始化不动,后10张采
用Round robin算法进行循环更新。
用最近邻方法进行重新评估;并判断当通过最近邻分类器的结果为0个patch的时,重新对
集合分类器进行聚合,同时最近邻分类阈值,重新将聚合后的patch送到最近邻分类器重新
训练。。
图像信息上传至上位机监视;
初始化;所述参数包括:通过集合分类器的所有patch,集合分类器的十棵树的节点的图像
坐标点的位置值,通过最近邻分类器的所有的正负样本的,还有级联分类器的各个分类器
的阈值;
正样本图像片和负样本图像片的数量之和为20张。
用最近邻方法进行重新评估;并判断当通过最近邻分类器的结果为0个patch的时,重新对
集合分类器进行聚合,同时最近邻分类阈值,重新将聚合后的patch送到最近邻分类器重新
训练。
模型中的图像片,减小计算量以及占中的运行内存;本发明还通过距离聚类算法,将远离目
标的图像框排除,在目标附近的图像框进行聚类,综合出新的目标框,并用最近邻重新评
估,使得分类器的分类效果更加准确;另外本发明使用CUDA多线程并行计算技术进行算法
优化,将原来在CPU上串行计算方法改写成并行计算,提高算法的运行速度,缩短了运行时
间。
速度与前进方向;所述跟踪避障子系统用于车辆的跟踪与避障;所述车辆控制子系统用于
控制车辆的前进速度与前进方向;所述上位机监视子系统包括Wifi接收模块、显示模块以
及监控模块;所述跟踪避障子系统包括:摄像头模块、红外传感器模块、Wifi发送模块、嵌入
式图像处理开发板以及跟踪避障处理模块;所述跟踪避障处理模块包括:Linux操作系统内
核子模块、ROS子模块以及TLD计算子模块;所述车辆控制子系统包括:控制器以及驱动电
机;所述Wifi发送模块用于发送所述摄像头模块获取的待跟踪车辆的实时图像至上位机监
视子系统;所述Wifi接收模块用于接收所述摄像头模块获取的待跟踪车辆的实时图像;所
述嵌入式图像处理开发板用于对所述摄像头模块获取的待跟踪车辆的实时图像信息进行
采集;所述跟踪避障处理模块用于处理经所述嵌入式图像处理开发板采集的数据;所述TLD
计算子模块包括;目标模型改进单元、最近邻图像片改进单元、分类器优化单元以及GPU加
速单元;所述目标模型改进单元用于改进目标模型;所述最近邻图像片改进单元用于改进
最近邻图像片;所述分类器优化单元用于优化分类器;所述GPU加速单元用于加快TLD计算
子模块的计算速度。本发明通过改变原算法只能每次手动设置初始化目标,再跟踪过程,本
发明保存了第一帧图片数据的信息作为初始化;同时改进了因GPU加速而带来的级联分类
器耗费时间的问题,本发明是对方差分类器进行加速,原算法在cpu上运行,其利用NVIDIA
的TK1板子带有显卡的嵌入式板子,用GPU并行计算,加快了方差分类器的计算。所采用的最
近邻分类器,对在线模型的数量进行了限定,解决了原算法无限制增长,嵌入式平台根本不
能支持通过级联分类器的数量的问题,且运用了聚合算法,多张图片归一,保证了跟踪的正
确性。