一种基于红外成像的行人预警方法及系统转让专利
申请号 : CN201711251575.0
文献号 : CN108256418B
文献日 : 2022-01-21
发明人 : 潘想 , 邱佳杰 , 黄立 , 胡艳山
申请人 : 轩辕智驾科技(深圳)有限公司
摘要 :
权利要求 :
1.一种基于红外成像的行人预警方法,其特征在于,包括:S1:获取视野场景的动态红外影像;
S11:根据所述动态红外影像获得行人目标及其时帧动态;
S12:检测在Δt等于第一阈值时所述行人目标累积的放大次数,若放大次数超过第二阈值,则判断该行人目标为危险目标,获得第一危险预警信号,否则排除该行人目标,所述Δt为t帧的时间变化,t>1,所述放大为行人目标的面积变大;
S2:获取受危险目标影响的气流信息,所述气流信息包括前方一条直线上的多个有效压强,根据所述气流信息获得危险目标的速度和距离,根据危险目标的速度和距离获得碰撞时间,并根据所述碰撞时间获得碰撞预警信号。
2.如权利要求1所述的基于红外成像的行人预警方法,其特征在于,所述步骤S12中根据行人目标及其时帧动态获得危险目标的方法包括:S121:当Δt等于第一阈值时,若|Δxt|大于第二阈值则判断该行人目标为横穿目标,若|Δyt|大于第三阈值且|kt|>|kt‑1|,则判断该行人目标为逼近横穿目标,获得第一危险预警信号;否则进入S122,所述Δt为t帧的时间变化,t>1,Δxt为t帧内行人目标左右方向的位移,Δyt为t帧内行人目标前后方向的位移,所述kt为t帧内行人目标的位移斜率,kt‑1为(t‑1)帧内行人目标的位移斜率,kt=Δyt/Δxt,kt‑1=Δyt‑1/Δxt‑1,所述Δxt‑1为(t‑1)帧内行人目标左右方向的位移,Δyt‑1为(t‑1)帧内行人目标前后方向的位移;
S122:当Δt等于第一阈值时,若横穿目标Δxt大于第四阈值,则判断该横穿目标为右横穿目标,获得第二危险预警信号;若横穿目标Δxt为负数且|Δxt|大于第四阈值,则判断行人目标为左横穿目标,获得第三危险预警信号;否则排除该行人目标。
3.如权利要求1所述的基于红外成像的行人预警方法,其特征在于,在步骤S11前包括:用Adaboost算法获得具有行人目标特征识别功能的Adaboost级联分类器;在步骤S11中所述根据动态红外影像获得行人目标的方法为:用所述Adaboost级联分类器从所述动态红外影像中提取出行人目标。
4.如权利要求3所述的一种基于红外成像的行人预警方法,其特征在于,所述提取出行人目标的方法具体为:
S111:将红外影像中当前时帧的红外图像等面积划分成至少2个子图像块;
S112:用所述Adaboost级联分类器对所述子图像块进行检测,剔除不含行人目标特征的子图像块,保留包含行人目标特征的子图像块;
S113:将保留的每个子图像块进一步等面积划分成至少2个子图像块,用Adaboost级联分类器对最终划分得到的子图像块进行检测,剔除不含行人目标特征的子图像块,保留包含行人目标特征的子图像块;
S114:判断划分的次数是否超过预设的循环次数,是则停止划分,融合最终保留的子图像块获得行人目标,否则返回S113。
5.一种基于红外成像的行人预警系统,其特征在于,包括人工侧线单元、红外组件、主控制系统、预警装置,所述人工侧线单元的输出端连接主控制系统的第一输入端,所述红外组件的输出端连接主控制系统的第二输入端,所述主控制系统的输出端连接预警装置的输入端,
所述红外组件用于获取视野场景的动态红外影像,所述主控制系统用于根据视野场景的动态红外影像获得危险目标,所述人工侧线单元用于根据前方一条直线上的多个有效压强获得危险目标的速度与距离,所述主控制系统进一步根据所述危险目标的速度与距离获得碰撞预警信号;
其中,所述根据视野场景的动态红外影像获得危险目标的方法具体包括:S11:根据所述动态红外影像获得行人目标及其时帧动态;
S12:检测在Δt等于第一阈值时所述行人目标累积的放大次数,若放大次数超过第二阈值,则判断该行人目标为危险目标,获得第一危险预警信号,否则排除该行人目标,所述Δt为t帧的时间变化,t>1,所述放大为行人目标的面积变大。
6.一种用于权利要求5所述的预警系统的人工侧线单元,其特征在于,包括压力传感器阵列、采集板、集成电路总线、STM32控制器,所述压力传感器阵列的输出端通过集成电路总线连接所述采集板的输入端,所述采集板的输出端连接所述STM32控制器的输入端,所述STM32控制器的输出端作为所述人工侧线单元的输出端,所述压力传感器阵列用于根据不同传感器的压力信息获得前方一条直线上的多个有效压强,所述STM32控制器用于根据所述前方一条直线上的多个有效压强获得行人的速度、距离。
7.如权利要求6所述的人工侧线单元,其特征在于,所述压力传感器阵列沿前方气流压力迹线设置,包括三个以上压力传感器。
说明书 :
一种基于红外成像的行人预警方法及系统
技术领域
背景技术
驾驶环境往往又是危险驾驶环境,因此有必要研发针对夜间等恶劣气候环境的驾驶辅助系
统。红外热成像能够在夜间及雾天等环境下提供一个较好的驾驶环境,但是红外热成像存
在着无法判断前方行人目标的距离,不能提供准确的报警提示。
来越受到关注,而现有的Adaboost行人目标检测器未考虑视频图像中行人目标存在近大远
小的尺度变化,导致检测误差较大,不能对动态的行人目标作出准确预警。目前,国内外通
过给水下机器人装载人工侧线系统进行了一系列研究,但还没有人工侧线系统应用于陆地
或航空领域的报道。
发明内容
Adaboost算法筛选出红外图像中的行人目标,进一步根据目标逼近算法检测出逼近的行人
目标,给出行人目标逼近提示,当检测到有行人目标向驾驶方向一侧横穿时,根据行人目标
横穿算法判断行人目标状态,并针对不同的危险程度给出不同的横穿预警。
标的碰撞时间小于指定阈值时,给出提示碰撞报警提示。人工侧线技术是受鱼类侧线系统
启发而研制成的一种可以感知周围环境信息的系统。鱼类依靠其自身所具备的侧线系统感
知流体特征,能够获知流体的流动方向和水流强度,进而完成捕食、学习、集群等行为。侧线
系统以分布在鱼类身体不同部位的神经丘为基础,在鱼类游动过程中,其身体与水流位置
产生变化时感知流体运动。本发明首次将人工侧线技术应用于非水下领域,通过机械波信
号进行对障碍物的距离于速度进行测试,比通常驾驶预警系统采用的电磁波谱信号更加稳
定。
磁波谱信号系统相比,辅助安装了接受机械波信号的人工侧线单元,提高了系统的稳定性,
使驾驶员作出有效的反应,避免恶劣天气下安全事故的发生。
用Adaboost级联分类器检测算法对行人目标进行检测,利用行人目标逼近以及横穿预警算
法对行人目标进行逼近判断和横穿判断,并针对不同的行人目标状态做出相应的预警,利
用人工侧线技术计算行人目标的相对速度与距离,从而进一步计算出碰撞时间,实现了在
夜间等恶劣气候环境对驾驶环境的行人目标的检测与预警。
化;
获得碰撞时间,并根据所述碰撞时间获得碰撞预警信号。
像块,保留包含行人目标特征的子图像块;
则判断该行人目标为危险目标,否则排除该行人目标,所述放大为行人目标所占图像的面
积变大。
险预警信号;否则进入S122,所述Δt为t帧的时间变化,Δxt为t帧内行人目标左右方向的
位移,Δyt为t帧内行人目标前后方向的位移,所述kt为t帧内行人目标的位移斜率,kt‑1为
(t‑1)帧内行人目标的位移斜率,kt=Δyt/Δxt,kt‑1=Δyt‑1/Δxt‑1,所述Δxt‑1为(t‑1)帧
内行人目标左右方向的位移,Δyt‑1为(t‑1)帧内行人目标前后方向的位移;所述第一阈值
为1~6,第二阈值为1~3,第三阈值为1~3;
断行人目标为左横穿目标,获得第三危险预警信号;否则排除该行人目标,所述第四阈值为
2~6。
效压强获得第一关系模型;
强代入第一关系模型获得危险目标的速度,所述危险目标对应的所述直线上的位置可由红
外图像得到。
准风压,获得有效压强。根据伯努利方程,流体的停滞压强等于静态压强和动态压强之和:
度,因此可以得出自然风速对压强的影响。所述风速为相对自然风速,所述自然风速的获取
方法为利用风杯测速仪、热敏式风速仪或皮托管式风速仪或压力传感器中的一种或几种测
得自然风速。
连接主控制系统的第一输入端,所述红外组件的输出端连接主控制系统的第二输入端,所
述主控制系统的输出端连接预警装置的输入端,
上不同位置的压力信息获得危险目标的速度与距离,所述主控制系统进一步根据所述危险
目标的速度与距离获得碰撞预警信号。
出端连接所述STM32控制器的输入端,所述STM32控制器的输出端作为所述人工侧线单元的
输出端,
流体的流动方向和流动强度获得位于一条直线上的多个有效压强,所述STM32控制器用于
根据一条直线上不同位置对应的有效压强获得行人的速度、距离,所述行人为前方行人。
度,计算碰撞时间,并进行相应的预警,帮助驾驶员判断并作出更加有效的反应,加强行驶
安全。
经验参数,以根据行人目标提取危险目标,并获得相应预警,进一步优化信息,减少驾驶员
的判断时间。
图像处理计算得出一个估算值,无法实现精准的判断的问题,因此引进人工侧线单元与红
外热成像单元相结合的方式以实现更精准的报警,本系统与电磁波谱信号系统相比,辅助
安装了接受机械波信号的人工侧线单元,机械波比电磁波系统更加稳定性。
系,从而构建关系模型,有利于在行驶过程中根据一条直线上不同位置的有效压强快速得
到行人的距离与速度,进一步计算出碰撞时间,给安全行驶提供了一种新途径。
间。
附图说明
具体实施方式
不用于限定本发明。
目标,进一步根据目标逼近算法检测出逼近的行人目标,给出行人目标逼近提示,当检测到
有行人目标向驾驶方向一侧横穿时,根据行人目标横穿算法判断行人目标状态,并针对不
同的危险程度给出不同的横穿预警。
征描述子作为训练数据,按最小错误率的方法进行训练分类,获得若干弱分类器,根据
AdaBoost算法组合弱分类器获得强分类器,再由多个强分类器获得级联分类器,所述级联
分类器能有效识别行人目标特征的特征描述子,所述特征描述子包括Haar‑like矩形特征、
EOH特征、HOG特征中的一种或几种的组合。
标特征的子图像块合并融合,获得行人目标。
险目标,否则排除该行人目标,所述放大为行人目标所占图像的面积变大,其中第一阈值为
15~20帧,充分考虑现实中目标的状态及碰撞概率,在车速较快时可减小第一阈值,车速较
慢时增大第一阈值,若第一阈值过大可能导致预警不及时,若过小可能导致预警不准确。
目标为逼近横穿目标,获得第一危险预警信号;否则进入S122,所述Δt为t帧的时间变化,
Δxt为t帧内行人目标左右方向的位移,Δyt为t帧内行人目标前后方向的位移,所述kt为t
帧内行人目标的位移斜率,kt‑1为(t‑1)帧内行人目标的位移斜率,kt=Δyt/Δxt,kt‑1=Δ
yt‑1/Δxt‑1,所述Δxt‑1为(t‑1)帧内行人目标左右方向的位移,Δyt‑1为(t‑1)帧内行人目标
前后方向的位移;
人目标为左横穿目标,获得第三危险预警信号;否则排除该行人目标。
时,若过小可能导致预警信息过多,不精确,第二至四阈值越大,预警越严格可靠,预警次数
越少,有利于减少不必要的预警信号,适用于路况熟悉的区域或经验丰富的驾驶员,仅在紧
急情况下启动预警,第二至四阈值越大安全性越强,但同时预警次数增多,适用于安全性要
求较高的区域或驾驶新手,该阈值范围充分考虑现实中目标的状态及碰撞概率,用户可根
据自身需要进行调节。
用Adaboost级联分类器检测算法对红外影像进行检测,得到行人目标,利用行人逼近以及
横穿预警算法对行人进行逼近判断和横穿判断,得到危险行人目标,并针对不同的危险行
人目标做出相应的预警,利用人工侧线单元的压力传感器阵列收集车前方的气流信息,所
述气流信息包括前方一条直线上不同位置对应的有效压强,直线为动态红外影像中的一条
直线,所述压力传感器阵列至少包括第一压力传感器、第二压力传感器、第三压力传感器,
由采集板汇总不同压力传感器收集的压强信息,得到前方的一条直线上的多个有效压强,
STM32控制器根据与动态红外影像中一条直线上不同位置对应的有效压强获得危险行人目
标的相对速度与距离,由主控制系统根据危险行人目标的相对速度与距离,从而进一步计
算出碰撞时间,实现了车辆在夜间等恶劣气候环境对行人的检测与预警。
制系统的第二输入端,所述主控制系统的输出端连接预警装置的输入端,
外影像获得危险行人目标,根据所述危险行人目标和行人信息获得碰撞预警信号,所述预
警装置用于根据预警信号进行预警。
输出端连接所述STM32控制器的输入端,所述STM32控制器的输出端作为所述人工侧线单元
的输出端,
于汇总所述压力信息,获得一条直线上不同位置对应的有效压强,所述STM32控制器用于根
据一条直线上不同位置对应的有效压强获得行人信息,所述行人信息包括行人的速度、距
离,所述行人为车前方行人,所述速度为车前方行人与车的相对速度,本发明人工侧线单元
通过STM32控制器实现了高速运算和信息传递的功能,适用于车载预警系统,减少反应时
间,通过集成电路总线进行通信,该通信方法适用于多系统同步裁决,能减小不同传感器的
信息传输时间差,使检测结果更加可靠,压力传感器采用CPS131传感器,比一般传感器更加
灵敏,保证获取气流信息的可靠性,其支持IIC通信功能,能保证数据的快速读写,适用于车
载预警系统,减少反应时间。
尺寸进行适当调整,基于采集的实时图像中行人可能发生碰撞的位置信息估计,对部分不
可能出现行人以及行人不处于危险区域的图像不计入检测,只在较小范围内检测行人,减
少图像处理面积,从而减少数据处理量,提高算法实用性。提供了一种基于红外热成像和人
工侧线技术的行人预警方法,运用了红外热成像的方法对车辆周围的障碍物图像进行采
集,利用Adaboost级联分类器检测算法对行人进行检测,利用行人逼近以及横穿预警算法
对行人进行逼近判断和横穿判断,并针对不同的行人状态做出相应的预警,利用人工侧线
技术计算行人的相对速度与距离,从而进一步计算出碰撞时间,对车辆实现了在夜间等恶
劣气候环境对行人的检测与预警。
化;
得碰撞时间,并根据所述碰撞时间获得碰撞预警信号。
像块,保留包含行人目标特征的子图像块;
放大为行人目标所占图像的面积变大。
的距离,所述危险行人目标的速为危险行人目标与车的相对速度。
化;
获得碰撞时间,并根据所述碰撞时间获得碰撞预警信号。
像块,保留包含行人目标特征的子图像块;
kt|>|kt‑1|,则判断该目标为逼近横穿行人目标,获得第一危险预警信号;否则进入S22,所
述Δt为t帧的时间变化,Δxt为t帧内行人目标的横坐标变化,Δyt为t帧内行人目标的纵坐
标变化,所述kt为t帧内行人目标的速度斜率,kt‑1为(t‑1)帧内行人目标的速度斜率,kt=Δ
yt/Δxt,kt‑1=Δyt‑1/Δxt‑1;
行人目标,获得第三危险预警信号;否则排除该行人目标。
行人目标的距离,所述危险行人目标的速度为危险行人目标与车的相对速度。
在本发明的保护范围之内。