基于智能驾驶系统的安装数据处理方法及装置转让专利
申请号 : CN202110429222.5
文献号 : CN112990117B
文献日 : 2021-08-17
发明人 : 孟绍旭 , 朱磊 , 李成军 , 范均均
申请人 : 智道网联科技(北京)有限公司 , 智道网联科技(深圳)有限公司
摘要 :
权利要求 :
1.一种基于智能驾驶系统的安装数据处理方法,其特征在于,包括:获取车载的摄像传感器采集的当前车辆的行驶图像;
根据所述行驶图像的内容判断所述摄像传感器是否符合预设的安装合规条件,其中,所述预设的安装合规条件至少包括:图像中车辆图标横向水平线与物理地平线相重合同时图像中车辆图标纵向中轴线与物理车头中垂线相重合且图像中车辆图标中心点与延长消失点相重合;
若判断所述摄像传感器不符合预设的安装合规条件,则发出安装不合规的预警信息;
针对俯仰角偏差判断和/或偏移角偏差判断,所述根据所述行驶图像的内容判断所述摄像传感器是否符合预设的安装合规条件,包括:判断所述行驶图像中目标检测框总数量是否超过第一预设阈值;
在所述目标检测框总数量超过所述第一预设阈值时,检测各个所述目标检测框的上下边缘线是否处于相对所述物理地平线的第一预设波动范围内;
根据处于相对所述物理地平线的第一预设波动范围内的目标检测框数量占总数量的比例,并结合目标检测框中车辆图标所产生的纵向偏移量和/或横向偏移量情况,确定是否存在俯仰角偏差和/或偏移角偏差。
2.根据权利要求1所述的基于智能驾驶系统的安装数据处理方法,其特征在于,所述目标检测框,根据以所述行驶图像中其他小型机动车辆为检测目标并结合YOLO开源算法和/或SSD开源算法所训练的目标检测模型来确定。
3.根据权利要求1所述的基于智能驾驶系统的安装数据处理方法,其特征在于,针对俯仰角偏差判断和/或偏移角偏差判断和/或横滚角偏差判断,所述根据所述行驶图像的内容判断所述摄像传感器是否符合预设的安装合规条件,还包括:判断所述当前车辆的行驶车速是否超过第二预设阈值;
在所述行驶车速超过所述第二预设阈值时,通过灭点位置判断法确定出灭点位置,并判断所述灭点位置是否处于所述图像中心点周围的第二预设波动范围内,获得灭点位置判断结果;
根据所述灭点位置判断结果,并结合灭点位置在当前图像中心点为坐标原点和预设圆形范围的坐标系中所在象限和位置像素坐标,确定是否存在俯仰角偏差和/或偏移角偏差和/或横滚角偏差。
4.根据权利要求3所述的基于智能驾驶系统的安装数据处理方法,其特征在于,所述通过灭点位置判断法确定出灭点位置,包括:根据目标视野范围对所述行驶图像设定感兴趣区域;
通过Canny边缘检测法和/或霍夫线检测法从所述行驶图像的感兴趣区域中检测出至少两条车道线;
通过Ransac算法对所述检测出的至少两条车道线进行运算处理以确定出灭点位置。
5.根据权利要求1所述的基于智能驾驶系统的安装数据处理方法,其特征在于,按照预设的时间间隔定期地根据所述行驶图像的内容判断所述摄像传感器是否符合预设的安装合规条件。
6.一种基于智能驾驶系统的安装数据处理装置,其特征在于,包括:获取模块,用于获取车载的摄像传感器采集的当前车辆的行驶图像;
判断模块,用于根据所述行驶图像的内容判断所述摄像传感器是否符合预设的安装合规条件,其中,所述预设的安装合规条件至少包括:图像横向水平线与物理地平线相重合同时图像纵向中轴线与物理车头中垂线相重合且图像中心点与延长消失点相重合;所述判断模块具体用于判断所述行驶图像中目标检测框总数量是否超过第一预设阈值;在所述目标检测框总数量超过所述第一预设阈值时,检测各个所述目标检测框的上下边缘线是否处于相对所述物理地平线的第一预设波动范围内;根据处于相对所述物理地平线的第一预设波动范围内的目标检测框数量占总数量的比例,并结合目标检测框中车辆图标所产生的纵向偏移量和/或横向偏移量情况,确定是否存在俯仰角偏差和/或偏移角偏差;
预警模块,用于若判断所述摄像传感器不符合预设的安装合规条件,则发出安装不合规的预警信息。
7.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现根据权利要求1‑5任一项所述基于智能驾驶系统的安装数据处理方法的全部或部分步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现根据权利要求1‑5任一项所述基于智能驾驶系统的安装数据处理方法的全部或部分步骤。
说明书 :
基于智能驾驶系统的安装数据处理方法及装置
技术领域
背景技术
车辆上,利用各种车载传感器,再结合多种数据算法,来实现前车碰撞预警、车道线偏离预
警等的辅助驾驶技术,以增强驾驶安全性和增强用户体验。而众多车载传感器中,安装于前
挡风玻璃中间的车载的摄像传感器(可采用车载摄像头),由于其所采集的数据是作为众多
传感器工作的基础数据,因此,摄像传感器视为ADAS系统内最主要的传感器。而为了使ADAS
系统整体预警结果精准度更高,通常对摄像传感器的安装合规程度要求也越来越高。并且,
用户自行安装的不规范性,以及车辆长期运驶导致的摄像头振动,或者摄像传感器涉及拆
修重装,均可能导致摄像传感器的安装位置或角度发生变化,因此,检测摄像传感器安装地
是否合规非常重要。
确性较差。
发明内容
安装合规性实现高效精准的检测判断和预警。
向中轴线与物理车头中垂线相重合且图像中心点与延长消失点相重合;
一一对应于图像横向水平线与物理地平线是否重合的判断、图像纵向中轴线与物理车头中
垂线是否重合的判断和图像中心点与延长消失点是否重合的判断。
符合预设的安装合规条件,包括:
法所训练的目标检测模型来确定。
所述摄像传感器是否符合预设的安装合规条件,还包括:
合同时图像纵向中轴线与物理车头中垂线相重合且图像中心点与延长消失点相重合;
于智能驾驶系统的安装数据处理方法的全部或部分步骤。
或部分步骤。
测判断和预警。
附图说明
发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以
根据这些图获得其他的附图。
具体实施方式
是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前
提下所获得的所有其他实施例,都属于本发明保护的范围。
辆车头前方或车辆前挡风玻璃内外合适的位置,比如固定安装在前挡风玻璃靠近车辆内部
一侧的中间下方位置,或者与普通行车记录仪一起固定安装在常见的前挡风玻璃内反光镜
侧边处等位置。
像纵向中轴线与物理车头中垂线相重合且图像中心点与延长消失点相重合。
的两条或者两条以上的车道线,甚至还可以是过街天桥等等参考物。
重合且图像中心点与延长消失点相重合。但凡有一个条件不符合,则所述车载的摄像传感
器的安装即为不合规,由此该摄像传感器录制采集的行驶相关数据也就不会满足作为智能
驾驶系统基础数据的精确性。
规条件,则根据该判断结果自动发出安装不合规的预警信息。
的摄像传感器安装合规检测方法,并可对摄像传感器安装合规性实现高效精准的检测判断
和预警。
条件的情形,再细分为俯仰角偏差判断、偏移角偏差判断和横滚角偏差判断这三种情形,且
上述三种情形分别一一对应于图像横向水平线与物理地平线是否重合的判断、图像纵向中
轴线与物理车头中垂线是否重合的判断和图像中心点与延长消失点是否重合的判断。也
即,若图像横向水平线与物理地平线不重合,则其会引起俯仰角偏差;若图像纵向中轴线与
物理车头中垂线不重合,则其会引起偏移角偏差;若图像中心点与延长消失点不重合,则其
会引起横滚角偏差。
符合预设的安装合规条件,图2是本发明提供的基于智能驾驶系统的安装数据处理方法的
流程图之二,具体如图2所示,该方法在图1所示方法的基础上,步骤200根据所述行驶图像
的内容判断所述摄像传感器是否符合预设的安装合规条件,进一步可以使用目标检测框判
断法,理解为步骤200进一步包括:
为针对目标检测框总数量设定的数量阈值,例如设置目标检测框总数量阈值为4个。
范围是指相对于所述物理地平线向上和向下浮动的范围,在行驶图像中,为了表示精确,不
用cm或mm做单位,而用图像像素作单位,且具体第一预设波动范围可以根据实际场景进行
预先设置,比如将所述第一预设波动范围设定为相对于物理地平线上下各50个像素单位的
范围。对于每一个目标检测框,判断其上边缘线和下边缘线是否均处于相对于物理地平线
上下各50个像素单位的范围内。
存在俯仰角偏差和偏移角偏差,即俯仰角偏差相对应的安装合规条件和偏移角偏差所对应
的安装合规条件均符合。而若该比例小于等于1/2,则判定存在俯仰角偏差和/或偏移角偏
差,导致车载的摄像传感器安装不合规。
若所述发生概率大于1/2,则同样判定不存在俯仰角偏差和/或偏移角偏差,即俯仰角偏差
相对应的安装合规条件和偏移角偏差所对应的安装合规条件均符合。而若该概率小于等于
1/2,则判定存在俯仰角偏差和/或偏移角偏差,导致车载的摄像传感器安装不合规。
区分是仅有俯仰角偏差、仅有偏移角偏差、还是同时有俯仰角偏差和偏移角偏差,从而确定
安装不合规的详细情形。并且,根据不合规的详细情形,在发出安装不合规的预警信息之
后,还可以为相关人员提供参考依据,以使相关人员据其有效调整所述摄像传感器的安装
角度和位置,实现对摄像传感器安装校正,使其符合安装合规性。
法所训练的目标检测模型来确定。
合适作为检测目标的紧凑型车辆、SUV、普通面包车、小轿车等车辆,但是其并不包括行人,
也不包括卡车、公交车等大型车辆。所述目标检测模型在预先训练时,先采集大量的小型机
动车辆的图像作为数据集,结合YOLO开源算法和/或SSD开源算法等,对所述图像内容进行
实时推理演练,最终训练出所述目标检测模型,具体内容涉及检测目标所属车型类别、检测
目标在所述图像中的位置和尺寸等。因此,根据所述目标检测模型,能够快速准确地确定出
当前检测过程中所需的目标检测框。
所述摄像传感器是否符合预设的安装合规条件,图3是本发明提供的基于智能驾驶系统的
安装数据处理方法的流程图之三,具体如图3所示,在图1所示方法的基础上,步骤200根据
所述行驶图像的内容判断所述摄像传感器是否符合预设的安装合规条件,进一步包括:
车辆行驶非常平稳,车载的摄像传感器也很少摆动,此时判断意义并不大;而在车辆达到一
定车速时,摄像传感器轻微角度或位置变化才会越发明显,此时具有较大判断意义。
图像中心点周围的第二预设波动范围内。第二预设波动范围是指以图像中心点为原点而向
外扩一定半径值的圆形范围,比如以图像中心点为原点而向外扩50像素单位(为半径)的圆
形范围,判断已经确定的具体灭点位置,是否落入预设的该圆形范围内。
差,车载的摄像传感器安装合规。而若该具体灭点位置未落入预设的该圆形范围内,则可能
存在俯仰角偏差和/或偏移角偏差和/或横滚角偏差,车载的摄像传感器安装不合规。
率大于1/2,则同样判定不存在俯仰角偏差和/或偏移角偏差和/横滚角,即俯仰角偏差相对
应的安装合规条件和偏移角偏差所对应的安装合规条件以及横滚角偏差相对应的安装合
规条件均符合。而若该概率小于等于1/2,则判定存在俯仰角偏差和/或偏移角偏差和/横滚
角偏差,导致车载的摄像传感器安装不合规。
成的坐标系中,该具体灭点位置处于相对于坐标原点的哪一个象限及具体位置,并根据其
所在象限和具体位置的像素坐标,确定出是仅有俯仰角偏差、偏移角偏差和横滚角偏差中
的某一种偏差,还是存在某两种偏差,还是三种偏差均存在的不合规的详细情形。并且,根
据不合规的详细情形,在发出安装不合规的预警信息之后,还可以为相关人员提供参考依
据,以使相关人员据其有效调整所述摄像传感器的安装角度和位置,实现对摄像传感器安
装校正,使其符合安装合规性。
标检测框判断法的步骤211‑213和灭点位置判断法的步骤221‑223,联合两种方法后的综合
判断法,最终会综合目标检测框判断法和灭点位置判断法各自的判断结果,若目标检测框
判断法的判断结果和灭点位置判断法的判断结果中有任一结果为不存在俯仰角偏差和/或
偏移角偏差,则判定符合图像横向水平线与物理地平线相重合的条件和/或符合图像纵向
中轴线与物理车头中垂线相重合的条件。而对于横滚角偏差的不合规情形的判断过程,仅
可使用灭点位置判断法进行判断,即采用步骤221‑223的方法进行判断,根据判断结果确定
出图像中心点落入该圆形预设范围时,不存在横滚角偏差,则符合图像中心点与延长消失
点相重合的条件。
使得综合判断结果更准确,并且也更能适应不同环境,比如:在所述行驶图像中检测不到车
道线时,灭点位置判断法可能会不准,此时可以使用目标检测框判断法;而若在前方小型机
动车辆非常少时,目标检测框判断法又可能不准,此时则可以使用灭点位置判断法。但是,
关于横滚角偏差的合规条件判断,只能应用灭点位置判断法。需要说明的是,必须同时满足
符合图像横向水平线与物理地平线相重合的条件、符合图像纵向中轴线与物理车头中垂线
相重合的条件和符合图像中心点与延长消失点相重合的条件时,才能总体判定车载的摄像
传感器安装合规。
感兴趣区域,比如选取车辆前方3条车道视野范围作为感兴趣区域。
获取模块410、判断模块420和预警模块430,其中:
相重合同时图像纵向中轴线与物理车头中垂线相重合且图像中心点与延长消失点相重合;
装合规性实现高效精准的检测判断和预警。
Interface)620、存储器(memory)630和通信总线540,其中,处理器510,通信接口520,存储
器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令,
以执行所述基于智能驾驶系统的安装数据处理方法的全部或部分步骤,该方法包括:
向中轴线与物理车头中垂线相重合且图像中心点与延长消失点相重合;
产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的
技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产
品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一
台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述
基于智能驾驶系统的安装数据处理方法的全部或部分步骤。而前述的存储介质包括:U盘、
移动硬盘、只读存储器(ROM,Read‑Only Memory)、随机存取存储器(RAM,Random Access
Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
指令被计算机执行时,计算机能够执行上述各实施例所提供的基于智能驾驶系统的安装数
据处理方法的全部或部分步骤,该方法包括:
向中轴线与物理车头中垂线相重合且图像中心点与延长消失点相重合;
理方法的全部或部分步骤,该方法包括:
向中轴线与物理车头中垂线相重合且图像中心点与延长消失点相重合;
元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其
中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创
造性的劳动的情况下,即可以理解并实施。
述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该
计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指
令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施
例或者实施例的某些部分所述的指标监控方法。
以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;
而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和
范围。