一种利用激光雷达和双目相机构建栅格地图的方法

摘要

本发明公开了一种利用激光雷达和双目相机构建栅格地图的方法，属于图像处理和计算机视觉领域。利用严谨的配准策略完成传感器配准，从硬件的层次提升系统效率。利用GPU构建高性能运算平台，并构建高性能求解算法构建栅格地图。系统容易构建，程序简单，易于实现；利用激光雷达和双目相机使得算法鲁棒性强精度高。

权利要求

1.一种利用激光雷达和双目相机构建栅格地图的方法，其特征在于，包括以下步骤：

1)传感器配准

采用标定物对传感器进行标定，设激光雷达传感器视差图换算的点云为Pl，双目相机传感器的点云为Ps；当位姿为T时要使点对 满足 且点对的数量达到最大得出标定结果为T；

分别计算激光雷达点云序列和双目相机点云序列的位姿，将位姿数据分成n段，分别进行位姿对齐得到时间偏移t1…tn，取均值t为传感器的时间偏移；

2)视差融合

位姿T配准后得到激光雷达和双目相机产生的两个视差图Dl和Ds，如果在时间偏移t内，利用Dl使Ds更精准，利用Ds使Dl更稠密，融合结果为Df，精度为df；

3)筛选视线

由视差图Df变换得到点云Pf，对点云进行筛选；连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位置，如果q的高度比o大h则剔去视线，保留的视线会投影到栅格地图之中为l′；从O沿着投影线遍历更新栅格的状态直到到达端点Q，O和Q为o点和q点在栅格地图中的投影；

4)更新栅格状态

首先计算当前的栅格状态，Df转换为深度为Depthf，Df+df转换为深度为depthf，由精度df计算Depthf的准确性w＝|Depthf‑depthf|/Depthf；然后进行状态更新，设栅格已有的状态xt，如果栅格在O与Q之间说明此时栅格中没有障碍物，则更新栅格的状态为xt+1＝‑w+xt；如果栅格在Q的位置说明此时栅格中应该存在障碍物，则更新栅格的状态为xt+1＝w+xt；

步骤1)～4)中ε、n和h为设定阈值；

所述步骤2)利用双目相机的场景图和视差图提取场景边缘，场景边缘将用于指导视差图融合；

取 和 之间的所有 利用 和其对应的场景 检查边缘情况；如果不存在边缘则 应该更加平滑，并且在两侧应该趋向于 和 如果存在边缘则边缘区域应该更明显，并且在两侧应该趋向于 和 视差图融合结果为Df；

设Dl的精度为dl，Ds的精度为ds；如果不存在边缘则df为 如果存在边缘则df在边缘处为 若接近 则df为 若接近 则df为

说明书

一种利用激光雷达和双目相机构建栅格地图的方法

技术领域

[0001] 本发明属于图像处理和计算机视觉领域。利用激光雷达和双目相机的特性，相互弥补缺陷，使得构建栅格地图更精细更准确。是一种利用多传感器构建栅格地图的方法。

背景技术

[0002] 近年伴随着人工智能的发展移动机器人和汽车自动驾驶越来越受到人们的关注，而其中一个需要解决主要的问题就是地图构建。栅格地图是在无人导航中最为常见的一种
地图，因而如何构建快速精确的栅格地图成为移动机器人和和无人车中一个十分重要的问
题。现阶段主流的方法大致利用三种传感器，双目相机，深度相机和雷达。三种传感器由于
自身的特性存在着不可避免的缺点，双目相机受光照和纹理影响大，深度相机测距范围有
限。抗干扰能力差，激光雷达或毫米波雷达价格昂贵且数据稀疏。由此可见单一传感器构建
栅格地图不能完整准确的反映出场景的结构。本发明提出使用双目相机和雷达数据融合方
案构建精度的栅格地图。使用双目相机的稠密数据填充雷达的稀疏数据，使用雷达的精确
数据修正双目相机的粗略数据，最终构建可较好反映场景视差图，然后可利用生成的视差
图构建栅格地图。这种方案中存在两个难点，一是如何标定传感器位姿和时间延迟，为了提
升鲁棒性发明中使用最大点云配准和分段位姿对齐的方式，二是不同精度传感器融合后如
何确定数据精度，发明中使用场景边缘指导数据精度计算。

发明内容

[0003] 针对现有技术中存在的问题，本发明提供了一种利用激光雷达和双目相机构建栅格地图的方法。具体技术方案的步骤如下：

[0004] 1)传感器配准

[0005] 传感器配准旨在标定传感器位姿，在硬件层次减少软件的计算量提升系统执行效率。采用标定物对传感器进行标定，设激光雷达视差图换算的点云为Pl，双目相机的点云为
Ps；当位姿为T时要使点对 满足 且点对的数量达到最大得出标
定结果为T；

[0006] 分别计算激光雷达点云序列和双目相机点云序列的位姿，将位姿数据分成n段，分别进行位姿对齐得到时间偏移t1…tn，取均值t为传感器的时间偏移。配准后的激光雷达和
双目相机是时域和空间域上得到了配准。

[0007] 2)视差融合

[0008] 经过位姿T配准后得到激光雷达和双目相机产生的两个视差图Dl和Ds，如果在时间偏移t内。因为传感器性质Dl比Ds更加稀疏。所以可以相互补偿，利用Dl使Ds更精准，利用Ds使
Dl更稠密。具体做法为取 和 之间的所有 利用 和其对应的场景
检查边缘情况。如果不存在边缘则 应该更加平滑，并且在两侧应该趋向于
和 如果存在边缘则边缘区域应该更明显，并且在两侧应该趋向于 和 视
差图融合结果为Df。然后计算视差图Df的精度，设Dl的精度为dl，Ds的精度为ds。融合后视差
图Df的精度为df。

[0009] 3)筛选视线

[0010] 由视差图Df变换得到点云Pf，对点云进行筛选；连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位置，如果q的高度比o大h则剔去视线，保留的视线会投
影到栅格地图之中为l′；从O沿着投影线遍历更新栅格的状态直到到达端点Q，O和Q为o点和
q点在栅格地图中的投影；

[0011] 4)更新栅格状态

[0012] 由视差值的精度df当前的栅格状态计算，并使用贝叶斯推断的方式更新栅格状态。具体指的是在已知栅格已有的状态和本次测量的栅格状态，用贝叶斯推断的方式可得
出本次测量后的栅格状态。首先计算当前的栅格状态，Df转换为深度为Depthf，Df+df转换为
深度为depthf，由精度df计算Depthf的准确性w＝|Depthf‑depthf|/Depthf；然后进行状态更
新，设栅格已有的状态xt，如果栅格在O与Q之间说明此时栅格中没有障碍物，则更新栅格的
状态为xt+1＝‑w+xt；如果栅格在Q的位置说明此时栅格中应该存在障碍物，则更新栅格的状
态为xt+1＝w+xt；

[0013] 步骤1)～4)中ε、n和h为设定阈值。

[0014] 进一步地，上述步骤2)利用双目相机的场景图和视差图提取场景边缘，场景边缘将用于指导视差图融合；

[0015] 取 和 之间的所有 利用 和其对应的场景 检查边缘情况；如果不存在边缘则 应该更加平滑，并且在两侧应该趋向于 和 如果存
在边缘则边缘区域应该更明显，并且在两侧应该趋向于 和 视差图融合结果为Df；

[0016] 设Dl的精度为dl，Ds的精度为ds；如果不存在边缘则df为 如果存在边缘则df在边缘处为 若接近 则df为 若接近 则
df为

[0017] 本发明的有益效果是：

[0018] 本发明设计了一种利用激光雷达和双目相机构建栅格地图的方法。利用激光雷达和双目相机的特性，相互弥补缺陷，使得构建栅格地图更精细更准确。具有以下特点：

[0019] 1、程序简单，易于实现；

[0020] 2、算法效率高，实时性强；

[0021] 3、构建栅格地图更精细更准确。

附图说明

[0022] 图1是系统架构。

[0023] 图2是传感器配准的算法流程。

[0024] 图3是传感器融合构建栅格地图的算法流程。

[0025] 图4是Kitti数据集双目相机的场景图。

[0026] 图5是Kitti数据集场景图生成的视差图。

[0027] 图6是Kitti数据集激光雷达数据。

[0028] 图7是构建的栅格地图。

具体实施方式

[0029] 本发明提出了一种利用激光雷达和双目相机构建栅格地图方法，结合附图及实施例详细说明如下：

[0030] 总体流程如图1，首先由传感器获得视差图Dl和Ds，如图5，然后利用标定结果完成视差融合，并构建栅格地图，最后显示。本发明所述的方法包括下列步骤：

[0031] 1)传感器配准

[0032] 如图2下部首先采用标定物对传感器进行标定。设激光雷达视差图换算的点云为Pl，双目相机的点云为Ps。当位姿为T时要使点对 满足 且点对的
数量达到最大，此时的位姿T即为标定结果。

[0033] 如图2上部标定时间偏移。分别计算激光雷达点云序列P1…Pi和双目相机点云序列P1…Pj的位姿为T1…Ti和T1…Tj。将位姿数据分成n段，分别进行位姿对齐得到时间偏移t1…
tn，统计时间偏移序列的均值t。配准后的激光雷达和双目相机是时域和空间域上得到了配
准。

[0034] 图3为传感器融合构建栅格地图的算法流程，涉及到2)3)4)步骤

[0035] 2)视差融合

[0036] 如图3上部利用双目相机的场景图如图4和视差图如图5提取场景边缘，场景边缘将用于指导视差图融合。

[0037] 如图3下部如果激光雷达和双目相机产生的两个用位姿T配准的视差图Dl和Ds在时间偏移t内，则进行融合。因为传感器性质Dl比Ds更加稀疏，取 和 之间的所有
利用 和其对应的场景 检查边缘情况。如果不存在边缘则
应该更加平滑，并且在两侧应该趋向于 和 如果存在边缘则边缘区域应该更明显，
并且在两侧应该趋向于 和 视差图融合结果为Df。

[0038] 如图3融合后计算视差图Df的精度。设Dl的精度为dl，Ds的精度为ds。如果不存在边缘则df为 如果存在边缘则df在边缘处为 若接近
则df为 若接近 则df为

[0039] 3)筛选视线

[0040] 如图3不是所有的三维点都会参与栅格状态的更新。由视差图Df变换得到点云Pf，对点云进行筛选。连接三维点q与视线起点o为当前视线l，o是相机光心在世界坐标系的位
′
置，如果q的高度比o大h则剔去视线，保留的视线会投影到栅格地图之中为l。从O沿着投影
线遍历更新栅格的状态直到到达端点Q，O和Q为o点和q点在栅格地图中的投影。

[0041] 4)测量值融合

[0042] 如图3最后进入更新阶段。首先计算当前的栅格状态，Df转换为深度为Depthf，Df+df转换为深度为depthf，由精度df计算Depthf的准确性w＝|Depthf‑depthf|/Depthf。然后进
行状态更新，设栅格已有的状态xt，如果栅格在O与Q之间说明此时栅格中没有障碍物，则更
新栅格的状态为xt+1＝‑w+xt。如果栅格在Q的位置说明此时栅格中应该存在障碍物，则更新
栅格的状态为xt+1＝w+xt。栅格地图的预期可视化效果如图7示意。