交通标识的检测方法、装置、电子设备及存储介质转让专利
申请号 : CN202110445372.5
文献号 : CN112861832B
文献日 : 2021-07-20
发明人 : 李博文 , 王春
申请人 : 湖北亿咖通科技有限公司
摘要 :
权利要求 :
1.一种交通标识的检测方法,其特征在于,包括:获取车辆上摄像头所拍摄的当前图像,以及,获取车辆的当前位姿信息;
对所述当前图像进行物体检测,得到第一静态物组中各个第一交通标识在像平面的对应区域;
基于车辆的当前位姿信息从车辆使用的地图的感兴趣区域中获取第二静态物组中各个第二交通标识的世界坐标;
基于各个第一交通标识在像平面的对应区域,确定所述第一静态物组对应的图像的像平面点云;
基于部分或全部第二交通标识的世界坐标确定,所述第二静态物组对应的至少一个地图的像平面点云;
基于所述图像的像平面点云和各个所述地图的像平面点云,将第一静态物组中的各个第一交通标识和第二静态物组中的各个第二交通标识进行要素匹配;
若第一静态物组中的各个第一交通标识分别与第二静态物组中的各个第二交通标识匹配成功,则将各个第一交通标识作为目标交通标识,并从预先存储在地图中的各个交通标识的属性信息中,获得各个所述目标交通标识的属性信息,并根据所述当前图像得到各个所述目标交通标识的颜色信息;
所述基于部分或全部第二交通标识的世界坐标确定所述第二静态物组对应的至少一个地图的像平面点云,包括:
采用如下公式,基于各个第二交通标识的世界坐标、车辆的当前位姿信息和预设参数,确定所述第二静态物组中各个第二交通标识被投影至二维像平面后,在二维像平面的对应坐标点:
其中,ds为尺度缩放比例;x、y和z分别为第二交通标识的世界坐标中的横坐标、纵坐标和竖坐标;u和v为第二交通标识被投影至二维像平面后在二维像平面的对应坐标点; 为车辆的当前位姿信息; 为预设参数,表示:当前车辆定位坐标系原点到摄像头的标定参数;
根据第二静态物组中k种类型的第二交通标识确定待匹配组合,得到f个待匹配组合;
其中, ,第一静态物组中包括k种类型的第一交通标识,且k种类型的第一交通标识的数量分别为:{P1,P2,……,Pk};第二静态物组中包括k种类型的第二交通标识,且k种类型的第二交通标识的数量分别为:{Q1,Q2,……,Qk};且数量为Pi的第一交通标识与数量为Qi第二交通标识为相同类型的交通标识, ;
针对每个待匹配组合,将该待匹配组合中各个第二交通标识在二维像平面的对应坐标点共同作为该待匹配组合的像平面点云;
将各个待匹配组合的像平面点云均确定为所述第二静态物组对应的地图的像平面点云。
2.根据权利要求1所述的方法,其特征在于,在所述基于所述图像的像平面点云和各个所述地图的像平面点云,将第一静态物组中的各个第一交通标识和第二静态物组中的各个第二交通标识进行要素匹配之后,还包括:若第一静态物组中的各个第一交通标识与第二静态物组中的各个第二交通标识匹配不成功,则根据所述当前图像获取各个第一交通标识的属性信息和颜色信息。
3.根据权利要求1所述的方法,其特征在于,所述基于各个第一交通标识在像平面的对应区域,确定所述第一静态物组对应的图像的像平面点云,包括:针对所述当前图像中的第一静态物组中每个第一交通标识,根据该第一交通标识在像平面的对应区域,计算该第一交通标识的轮廓处对应的各像素点的平均坐标,将平均坐标处的像素点作为该第一交通标识对应的点;
将各个第一交通标识对应的点共同作为图像的像平面点云。
4.根据权利要求1所述的方法,其特征在于,所述基于所述图像的像平面点云和各个所述地图的像平面点云,将第一静态物组中的各个第一交通标识和第二静态物组中的各个第二交通标识进行要素匹配,包括:
针对每个所述地图的像平面点云,迭代次数为0,针对该地图的像平面点云中的每个点,从图像的像平面点云中确定出与该点距离最近的点;
将该点和与该点距离最近的点构成的点对作为一个待匹配点对,得到至少一个待匹配点对;
根据各个待匹配点对,计算使得各个待匹配点对的平均距离最小的刚体变换,得到刚体变换的平移参数和旋转参数;
基于所述平移参数和旋转参数对该地图的像平面点云进行平移变换和旋转变换,得到变换后的地图的像平面点云;
计算该地图的像平面点云和变换后的地图的像平面点云中各个对应的点之间的距离平均值;
判断距离平均值是否小于第一预设距离阈值;
如果是,将距离平均值确定为该地图的像平面点云对应的距离平均值,并记录平移参数和旋转参数,作为该地图的像平面点云对应的平移参数和旋转参数;
如果否,迭代次数加1,并返回所述针对该地图的像平面点云中的每个点,从图像的像平面点云中确定出与该点距离最近的点的步骤;直至迭代次数达到预设迭代次数则停止迭代,并将最后迭代得到的距离平均值作为该地图的像平面点云对应的距离平均值;并记录最后迭代得到的平移参数和旋转参数,作为该地图的像平面点云对应的平移参数和旋转参数;
从各个所述地图的像平面点云中,选出对应的距离平均值最小的地图的像平面点云作为目标地图的像平面点云;
判断目标地图的像平面点云对应的距离平均值是否小于第二预设距离阈值;
如果是,确定第一静态物组中的各个第一交通标识和第二静态物组中的各个第二交通标识要素匹配成功;
如果否,确定第一静态物组中的各个第一交通标识和第二静态物组中的各个第二交通标识要素匹配不成功。
5.根据权利要求4所述的方法,其特征在于,在所述确定第一静态物组中的各个第一交通标识和第二静态物组中的各个第二交通标识要素匹配成功之后,还包括:基于目标地图的像平面点云对应的平移参数和旋转参数,对目标地图的像平面点云进行平移变换和旋转变换,得到变换后的目标地图的像平面点云;
利用匈牙利算法,对图像的像平面点云中各个点对应的各个第一交通标识和变换后的目标地图的像平面点云中各个点对应的各个第二交通标识进行一一对应匹配,得到匹配成功的至少一个目标交通标识;其中,每个第一交通标识匹配到一个第二交通标识;将相匹配的第一交通标识或第二交通标识作为目标交通标识。
6.一种交通标识的检测装置,其特征在于,包括:图像信息获取模块,用于获取车辆中的摄像头所拍摄的当前图像,以及,获取车辆的当前位姿信息;
第一静态物组获取模块,用于对所述当前图像进行物体检测,得到第一静态物组中各个第一交通标识在像平面的对应区域;
第一点云确定模块,用于基于各个第一交通标识在像平面的对应区域,确定所述第一静态物组对应的图像的像平面点云;
第二点云确定模块,用于基于车辆的当前位姿信息从车辆使用的地图的感兴趣区域中获取第二静态物组中各个第二交通标识的世界坐标;并基于部分或全部第二交通标识的世界坐标确定所述第二静态物组对应的至少一个地图的像平面点云;
匹配模块,用于基于所述图像的像平面点云和各个所述地图的像平面点云,将第一静态物组中的各个第一交通标识和第二静态物组中的各个第二交通标识进行要素匹配;
属性信息获取模块,用于若第一静态物组中的各个第一交通标识分别与第二静态物组中的各个第二交通标识匹配成功,则将各个第一交通标识作为目标交通标识,并从预先存储在地图中的各个交通标识的属性信息中,获得各个所述目标交通标识的属性信息,并根据所述当前图像得到各个所述目标交通标识的颜色信息;
所述第二点云确定模块,用于采用如下公式,基于各个第二交通标识的世界坐标、车辆的当前位姿信息和预设参数,确定所述第二静态物组中各个第二交通标识被投影至二维像平面后,在二维像平面的对应坐标点:其中,ds为尺度缩放比例;x、y和z分别为第二交通标识的世界坐标中的横坐标、纵坐标和竖坐标;u和v为第二交通标识被投影至二维像平面后在二维像平面的对应坐标点; 为车辆的当前位姿信息; 为预设参数,表示:当前车辆定位坐标系原点到摄像头的标定参数;
根据第二静态物组中k种类型的第二交通标识确定待匹配组合,得到f个待匹配组合;
其中, ,第一静态物组中包括k种类型的第一交通标识,且k种类型的第一交通标识的数量分别为:{P1,P2,……,Pk};第二静态物组中包括k种类型的第二交通标识,且k种类型的第二交通标识的数量分别为:{Q1,Q2,……,Qk};且数量为Pi的第一交通标识与数量为Qi第二交通标识为相同类型的交通标识, ;针对每个待匹配组合,将该待匹配组合中各个第二交通标识在二维像平面的对应坐标点共同作为该待匹配组合的像平面点云;将各个待匹配组合的像平面点云均确定为所述第二静态物组对应的地图的像平面点云。
7.根据权利要求6所述的装置,其特征在于,所述属性信息获取模块,还用于若第一静态物组中的各个第一交通标识与第二静态物组中的各个第二交通标识匹配不成功,则根据所述当前图像获取各个第一交通标识的属性信息和颜色信息。
8.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1‑5任一所述的方法步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1‑5任一所述的方法步骤。
说明书 :
交通标识的检测方法、装置、电子设备及存储介质
技术领域
背景技术
例如:基于图像处理,从摄像头拍摄的图像中,识别出红绿灯并获得其颜色和属性信息(包
括红绿灯所归属的车道信息和红绿灯的转向信息等),根据颜色和属性信息,确定车辆下一
步驾驶操作是否需要转向以及是否通过路口等。再例如:基于图像处理,从摄像头拍摄的图
像中,识别出限速标识牌,根据限速标识牌中的限速值,确定车辆下一步驾驶操作是否需要
加速或减速等等。
识的属性信息不够准确。
发明内容
交通标识的属性信息中,获得各个所述目标交通标识的属性信息,并根据所述当前图像得
到各个所述目标交通标识的颜色信息。
配之后,还包括:
坐标处的像素点作为该第一交通标识对应的点;
的对应坐标点:
为车辆的当前位姿信息; 为预设参数,表示:当前车辆定位坐标系原点到摄像头的
标定参数;根据第二静态物组中k种类型的第二交通标识确定待匹配组合,得到f个待匹配
组合;其中, ,第一静态物组中包括k种类型的第一交通标识,且k种类型的第一
交通标识的数量分别为:{P1,P2,……,Pk};第二静态物组中包括k种类型的第二交通标识,
且k种类型的第二交通标识的数量分别为:{Q1,Q2,……,Qk};且数量为Pi的第一交通标识与
数量为Qi第二交通标识为相同类型的交通标识, ;针对每个待匹配组合,将该
待匹配组合中各个第二交通标识在二维像平面的对应坐标点共同作为该待匹配组合的像
平面点云;
包括:
止迭代,并将最后迭代得到的距离平均值作为该地图的像平面点云对应的距离平均值;并
记录最后迭代得到的平移参数和旋转参数,作为该地图的像平面点云对应的平移参数和旋
转参数;
配成功的至少一个目标交通标识;其中,每个第一交通标识匹配到一个第二交通标识;将相
匹配的第一交通标识或第二交通标识作为目标交通标识。
的世界坐标确定所述第二静态物组对应的至少一个地图的像平面点云;
先存储在地图中的各个交通标识的属性信息中,获得各个所述目标交通标识的属性信息,
并根据所述当前图像得到各个所述目标交通标识的颜色信息。
交通标识的检测方法步骤。
在像平面的对应区域;基于车辆的当前位姿信息从车辆使用的地图的感兴趣区域中获取第
二静态物组中各个第二交通标识的世界坐标;基于各个第一交通标识在像平面的对应区
域,确定第一静态物组对应的图像的像平面点云;基于部分或全部第二交通标识的世界坐
标确定,第二静态物组对应的至少一个地图的像平面点云;基于图像的像平面点云和各个
所述地图的像平面点云,将第一静态物组中的各个第一交通标识和第二静态物组中的各个
第二交通标识进行要素匹配;若第一静态物组中的各个第一交通标识分别与第二静态物组
中的各个第二交通标识匹配成功,则将各个第一交通标识作为目标交通标识,并从预先存
储在地图中的各个交通标识的属性信息中,获得各个目标交通标识的属性信息,并根据当
前图像得到各个目标交通标识的颜色信息。即通过将第一静态物组中的各个第一交通标识
和第二静态物组中的各个第二交通标识进行匹配,得到匹配成功的目标交通标识;并从预
先存储在地图中的各个交通标识的属性信息中,获得各个目标交通标识的属性信息,解决
了由于摄像头拍摄的图像不够清楚所导致的获取的交通标识的属性信息不够准确的问题,
使得车辆自动驾驶时可以获得更为准确的交通标识的属性信息。
附图说明
发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以
根据这些附图获得其他的实施例。
具体实施方式
本发明中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本
发明保护的范围。
中的各个交通标识的属性信息中,获得各个目标交通标识的属性信息,并根据当前图像得
到各个目标交通标识的颜色信息。
在像平面的对应区域;基于车辆的当前位姿信息从车辆使用的地图的感兴趣区域中获取第
二静态物组中各个第二交通标识的世界坐标;基于各个第一交通标识在像平面的对应区
域,确定第一静态物组对应的图像的像平面点云;基于部分或全部第二交通标识的世界坐
标确定,第二静态物组对应的至少一个地图的像平面点云;基于图像的像平面点云和各个
所述地图的像平面点云,将第一静态物组中的各个第一交通标识和第二静态物组中的各个
第二交通标识进行要素匹配;若第一静态物组中的各个第一交通标识分别与第二静态物组
中的各个第二交通标识匹配成功,则将各个第一交通标识作为目标交通标识,并从预先存
储在地图中的各个交通标识的属性信息中,获得各个目标交通标识的属性信息,并根据当
前图像得到各个目标交通标识的颜色信息。即通过将第一静态物组中的各个第一交通标识
和第二静态物组中的各个第二交通标识进行匹配,得到匹配成功的目标交通标识;并从预
先存储在地图中的各个交通标识的属性信息中,获得各个目标交通标识的属性信息,解决
了由于摄像头拍摄的图像不够清楚所导致的获取的交通标识的属性信息不够准确的问题,
使得车辆自动驾驶时可以获得更为准确的交通标识的属性信息。
以从车辆的定位系统中获取车辆的当前位姿信息。车辆的当前位姿信息可以用于将世界坐
标系下的物体转换到当前车辆定位坐标系下。
识作为第一静态物组。其中,图像检测模型可以为现有的任何用于图像检测的神经网络模
型。
红绿灯306和交通标志牌307共同作为第一静态物组。
的,可以查找ROI中的各个第二交通标识的世界坐标,并将ROI中的各个第二交通标识作为
第二静态物组。
域中交通标识的属性信息的地图。
平均坐标处的像素点作为该第一交通标识对应的点;并将各个第一交通标识对应的点共同
作为图像的像平面点云。
像素点d;且像素点a、像素点b、像素点c和像素点d在像素坐标系中的坐标分别为 、
、 、 。针对第一交通标识401,可以计算第一交通标识401的轮廓
处对应的像素点a、像素点b、像素点c和像素点d的平均坐标 :
共同作为图像的像平面点云。
坐标处的点作为该第一交通标识对应的点;并将各个第一交通标识对应的点共同作为图像
的像平面点云。
和 。针对第一交通标识402,可以计算第一交通标识402对应的像素点o、
像素点p和像素点q的平均坐标 : 并将平均坐标对应的点
作为第一交通标识402对应的点;基于同样的方法可以分别计算出第一交通标识401、第一
交通标识403和第一交通标识404对应的点;将第一交通标识401‑404对应的点共同作为图
像的像平面点云。
后,在二维像平面的对应坐标点:
面的对应坐标点; 为车辆的当前位姿信息; 为预设参数,表示:当前车辆定位坐标系
原点到摄像头的标定参数。
面点云:
识,且k种类型的第二交通标识的数量分别为:{Q1,Q2,……,Qk};且数量为Pi的第一交通标
识与数量为Qi第二交通标识为相同类型的交通标识, 。
交通标识:第一标牌和第一红绿灯,且第一标牌和第一红绿灯的数量分别为P1和P2。其中,标
牌可以为交通标志牌、限速标识牌等等。可以将第二静态物组中每P1个不同第二标牌和每P2
个不同第二红绿灯构成的组合作为待匹配组合,得到 个待匹配组合。
个待匹配组合的像平面点云均确定为第二静态物组对应的地图的像平面点云。
物组中1个第二标牌和每2个不同第二红绿灯构成的组合作为待匹配组合,得到
个待匹配组合。待匹配组合1中包含:第二标牌b1、第二红绿灯
b2和第二红绿灯b3;待匹配组合2中包含:第二标牌b1、第二红绿灯b2和第二红绿灯b4;待匹
配组合3中包含:第二标牌b1、第二红绿灯b3和第二红绿灯b4。
出待匹配组合2的像平面点云和待匹配组合3的像平面点云。并将待匹配组合1的像平面点
云、待匹配组合2的像平面点云和待匹配组合3的像平面点云均确定为第二静态物组对应的
地图的像平面点云。
中的各个交通标识的属性信息中,获得各个目标交通标识的属性信息,并根据当前图像得
到各个目标交通标识的颜色信息。
交通标识为限速标识牌,则从预先存储在地图中所获取的目标交通标识的属性信息为限速
标识牌中的限速值。
标识牌中的限速值。
物组中的各个第二交通标识进行要素匹配,具体可以包括如下步骤:
后的地图的像平面点云。或者,本步骤中,也可以根据刚体变换的旋转参数先对该地图的像
平面点云进行旋转变换,然后根据刚体变换的平移参数再对该地图的像平面点云进行平移
变换,得到变换后的地图的像平面点云。
509。
代次数则停止迭代,并将最后迭代得到的距离平均值作为该地图的像平面点云对应的距离
平均值;并记录最后迭代得到的平移参数和旋转参数,作为该地图的像平面点云对应的平
移参数和旋转参数。
配,得到匹配成功的至少一个目标交通标识;其中,每个第一交通标识匹配到一个第二交通
标识;将相匹配的第一交通标识或第二交通标识作为目标交通标识。
储在地图中的各个目标交通标识的属性信息中,获得各个目标交通标识的属性信息,以及
从当前图像得到各个目标交通标识的颜色信息,解决了由于摄像头拍摄的图像不够清楚所
导致的获取的交通标识的信息不够准确的问题,使得车辆自动驾驶时可以获得更为准确的
交通标识的信息。并且,在进行第一交通标识与第二交通标识匹配时,由于不仅仅考虑单个
交通标识,而是考虑了交通标识整体的分布情况,因此匹配效果更好,获得的各个目标交通
标识的信息更为准确。
括:
标识的世界坐标确定所述第二静态物组对应的至少一个地图的像平面点云;
配;
从预先存储在地图中的各个交通标识的属性信息中,获得各个所述目标交通标识的属性信
息,并根据所述当前图像得到各个所述目标交通标识的颜色信息。
通标识在像平面的对应区域;基于车辆的当前位姿信息从车辆使用的地图的感兴趣区域中
获取第二静态物组中各个第二交通标识的世界坐标;基于各个第一交通标识在像平面的对
应区域,确定第一静态物组对应的图像的像平面点云;基于部分或全部第二交通标识的世
界坐标确定,第二静态物组对应的至少一个地图的像平面点云;基于图像的像平面点云和
各个所述地图的像平面点云,将第一静态物组中的各个第一交通标识和第二静态物组中的
各个第二交通标识进行要素匹配;若第一静态物组中的各个第一交通标识分别与第二静态
物组中的各个第二交通标识匹配成功,则将各个第一交通标识作为目标交通标识,并从预
先存储在地图中的各个交通标识的属性信息中,获得各个目标交通标识的属性信息,并根
据当前图像得到各个目标交通标识的颜色信息。即通过将第一静态物组中的各个第一交通
标识和第二静态物组中的各个第二交通标识进行匹配,得到匹配成功的目标交通标识;并
从预先存储在地图中的各个交通标识的属性信息中,获得各个目标交通标识的属性信息,
解决了由于摄像头拍摄的图像不够清楚所导致的获取的交通标识的属性信息不够准确的
问题,使得车辆自动驾驶时可以获得更为准确的交通标识的属性信息。
一交通标识的属性信息和颜色信息。
识的轮廓处对应的各像素点的平均坐标,将平均坐标处的像素点作为该第一交通标识对应
的点;将各个第一交通标识对应的点共同作为图像的像平面点云。
标识被投影至二维像平面后,在二维像平面的对应坐标点:
为车辆的当前位姿信息; 为预设参数,表示:当前车辆定位坐标系原点到摄像头的
标定参数;
通标识的数量分别为:{P1,P2,……,Pk};第二静态物组中包括k种类型的第二交通标识,且k
种类型的第二交通标识的数量分别为:{Q1,Q2,……,Qk};且数量为Pi的第一交通标识与数
量为Qi第二交通标识为相同类型的交通标识, ;
止迭代,并将最后迭代得到的距离平均值作为该地图的像平面点云对应的距离平均值;并
记录最后迭代得到的平移参数和旋转参数,作为该地图的像平面点云对应的平移参数和旋
转参数;
配成功的至少一个目标交通标识;其中,每个第一交通标识匹配到一个第二交通标识;将相
匹配的第一交通标识或第二交通标识作为目标交通标识。
储在地图中的各个目标交通标识的属性信息中,获得各个目标交通标识的属性信息,以及
从当前图像得到各个目标交通标识的颜色信息,解决了由于摄像头拍摄的图像不够清楚所
导致的获取的交通标识的信息不够准确的问题,使得车辆自动驾驶时可以获得更为准确的
交通标识的信息。并且,在进行第一交通标识与第二交通标识匹配时,由于不仅仅考虑单个
交通标识,而是考虑了交通标识整体的分布情况,因此匹配效果更好,获得的各个目标交通
标识的信息更为准确。
成相互间的通信,
交通标识的属性信息中,获得各个所述目标交通标识的属性信息,并根据所述当前图像得
到各个所述目标交通标识的颜色信息。
Architecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便
于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
以是至少一个位于远离前述处理器的存储装置。
Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现
场可编程门阵列(Field‑Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立
门或者晶体管逻辑器件、分立硬件组件。
的检测方法的步骤。
产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或
部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计
算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质
中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机
指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字
用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或
数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者
是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以
是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘
Solid State Disk (SSD))等。
在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖
非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要
素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备
所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在
包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
电子设备及存储介质而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处
参见方法实施例的部分说明即可。