一种基于RGB-D的环境感知方法及装置

摘要

本发明公开了一种基于RGB‑D的环境感知方法及装置，所述方法包括通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光；所述图像数据采集模块经一次曝光采集环境图片的一张彩色图；同时所述激光雷达数据采集模块经若干次曝光采集环境图片的若干组强度信息，并将其生成N张灰度图，其中，N≥6；将所述彩色图与所述N张灰度图进行原始数据层面的融合处理，得到亮度改善的环境图片。本发明采用激光雷达数据采集模块和图像数据采集模块同步曝光，在不同的采集频率下采集灰色图和彩色图后，将两种图片进行原始数据层面的融合处理，从而得到亮度改善的环境图片；实现了在各种天气和自然环境下均获得极佳的环境信息。

权利要求

1.一种基于RGB-D的环境感知方法，其特征在于，包括如下步骤：通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光；

所述图像数据采集模块经一次曝光采集环境图片的一张彩色图；同时所述激光雷达数据采集模块经若干次曝光采集环境图片的若干组强度信息，并将其生成N张灰度图，其中，N≥6；所述激光雷达数据采集模块单次曝光时间小于1ms；

所述图像数据采集模块经一次曝光采集环境图片的彩色图，同时所述激光雷达数据采集模块经若干次曝光采集环境图片的若干组强度信息包括：采集同步曝光的激光点云数据和图像数据；通过所述激光点云数据得到所述强度信息，通过所述图像数据得到所述环境图片的彩色图；对所述激光点云数据进行处理后，将其融合到所述图像数据中，得到环境的距离信息；

将所述彩色图与所述N张灰度图进行原始数据层面的融合处理，得到亮度改善的环境图片。

2.根据权利要求1所述的基于RGB-D的环境感知方法，其特征在于，所述激光雷达数据采集模块经若干次曝光采集环境图片的若干组强度信息，并将其生成N张灰度图，具体包括：将所述强度信息转化成灰阶信息后生成所述灰度图。

3.根据权利要求2所述的基于RGB-D的环境感知方法，其特征在于，采用最大值和均值梯度法，将所述强度信息转化成灰阶信息。

4.根据权利要求1所述的基于RGB-D的环境感知方法，其特征在于，所述将所述彩色图与所述N张灰度图进行原始数据层面的融合处理，得到亮度改善的环境图片，具体包括：将所述彩色图的色彩域转换为YcCbcCrc；

获取转换后彩色图中的低亮度区域，所述低亮度区域是指亮度低于预设阈值的区域；

将所述灰度图中与所述低亮度区域对应部分的亮度信息补充到所述低亮度区域中得到融合后图片；

获取所述融合后图片的属性信息，所述属性信息包括梯度幅值、梯度方向、梯度损失、阴影和噪声；

对所述属性信息对应的数据进行自适应平滑处理并基于所述灰度图消除所述融合后图片中的运动模糊；

对所述属性信息对应的数据进行收敛处理。

5.根据权利要求1所述的基于RGB-D的环境感知方法，其特征在于，所述通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光，包括：所述激光雷达数据采集模块发出曝光信号并将所述曝光信号曝光，同时将所述曝光信号发送给所述图像数据采集模块，所述图像数据采集模块接收所述曝光信号并将所述曝光信号曝光；

或，

所述图像数据采集模块发出曝光信号并将所述曝光信号曝光，同时将所述曝光信号发送给所述激光雷达数据采集模块，所述激光雷达数据采集模块接收所述曝光信号并将所述曝光信号曝光。

6.根据权利要求1所述的基于RGB-D的环境感知方法，其特征在于，所述激光雷达数据采集模块为Flash Lidar，同步曝光过程中，所述激光雷达数据采集模块的采集频率与所述图像数据采集模块的采集频率之比为M：1，其中M≥100；所述图像数据采集模块为相机模块，所述相机模块采用的色卡模式为RGGB、RCCB、RCCC。

7.根据权利要求1所述的基于RGB-D的环境感知方法，其特征在于，所述激光雷达数据采集模块单次曝光时间为50ns-1ms。

8.根据权利要求1所述的基于RGB-D的环境感知方法，其特征在于，所述激光雷达数据采集模块单次曝光时间为1-50ns。

9.根据权利要求1所述的基于RGB-D的环境感知方法，其特征在于，所述激光雷达数据采集模块单次曝光时间小于1ns。

10.一种基于RGB-D的环境感知装置，其特征在于，包括：图像数据采集模块、激光雷达数据采集模块、同步曝光模块、距离信息获取模块和环境图片融合模块；

所述同步曝光模块，用于通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光；

所述图像数据采集模块，用于一次曝光采集环境图片的一张彩色图；

所述激光雷达数据采集模块，用于若干次曝光采集环境图片的若干组强度信息，并将其生成N张灰度图，其中，N≥6；所述激光雷达数据采集模块单次曝光时间小于1ms；

所述激光雷达数据采集模块包括第一数据采集单元和强度信息获取单元，所述图像数据采集模块包括第二数据采集单元和彩色图获取单元；所述第一数据采集单元，用于采集与第二数据采集单元同步曝光的激光点云数据；所述强度信息获取单元，用于通过所述激光点云数据获取所述强度信息；所述第二数据采集单元，用于采集与所述第一数据采集单元同步曝光的图像数据；所述彩色图获取单元，用于通过所述图像数据获取所述环境图片的彩色图；

所述距离信息获取模块，用于对所述激光点云数据进行处理后，将其融合到所述图像数据中，得到所述环境的距离信息；

所述环境图片融合模块，用于将所述彩色图与所述N张灰度图进行原始数据层面的融合处理，得到亮度改善的环境图片。

11.根据权利要求10所述的基于RGB-D的环境感知装置，其特征在于，所述激光雷达数据采集模块还包括信息转换单元，所述信息转换单元用于将所述强度信息转化成灰阶信息。

12.根据权利要求11所述的基于RGB-D的环境感知装置，其特征在于，所述信息转换单元包括第一信息转换单元，所述第一信息转换单元，用于采用最大值和均值梯度法，将所述强度信息转化成灰阶信息。

13.根据权利要求10所述的基于RGB-D的环境感知装置，其特征在于，所述环境图片融合模块包括：色彩域转换单元、图片融合单元、属性信息获取单元、运动模糊消除单元和收敛单元，所述色彩域转换单元，用于将所述彩色图的色彩域转换为YcCbcCrc；

所述图片融合单元，用于获取转换后彩色图中的低亮度区域，所述低亮度区域是指亮度低于预设阈值的区域；并将所述灰度图中与所述低亮度区域对应部分的亮度信息补充到所述低亮度区域中得到融合后图片；

所述属性信息获取单元，用于获取所述融合后图片的属性信息，所述属性信息包括梯度幅值、梯度方向、梯度损失、阴影和噪声；

所述运动模糊消除单元，用于对所述属性信息对应的数据进行自适应平滑处理并基于所述灰度图消除所述融合后图片中的运动模糊；

所述收敛单元，用于对所述属性信息对应的数据进行收敛处理。

14.根据权利要求10所述的基于RGB-D的环境感知装置，其特征在于，所述同步曝光模块包括第一同步曝光模块和第二同步曝光模块，所述第一同步曝光模块和所述第二同步曝光模块分别设置在所述激光雷达数据采集模块或所述图像数据采集模块中，所述第一同步曝光模块包括触发产生单元、第一曝光控制单元和信号发送单元，所述第二同步曝光模块包括信号接收单元和第二曝光控制单元；

所述触发产生单元，用于发出曝光信号；

所述第一曝光控制单元，用于接收所述触发产生单元发送的曝光信号并将曝光信号曝光；

所述信号发送单元，用于接收所述触发产生单元发送的曝光信号并将曝光信号发送给所述信号接收单元；

所述信号接收单元，用于接收所述信号发送单元发送的曝光信号；

所述第二曝光控制单元，用于接收所述信号接收单元发送的曝光信号并将曝光信号曝光。

15.根据权利要求10所述的基于RGB-D的环境感知装置，其特征在于，所述激光雷达数据采集模块为Flash Lidar，同步曝光过程中，所述激光雷达数据采集模块的采集频率与所述图像数据采集模块的采集频率之比为M：1，其中M≥100；所述图像数据采集模块为相机模块，所述相机模块采用的色卡模式为RGGB、RCCB、RCCC。

16.根据权利要求10所述的基于RGB-D的环境感知装置，其特征在于，所述激光雷达数据采集模块单次曝光时间为50ns-1ms。

17.根据权利要求10所述的基于RGB-D的环境感知装置，其特征在于，所述激光雷达数据采集模块单次曝光时间为1-50ns。

18.根据权利要求10所述的基于RGB-D的环境感知装置，其特征在于，所述激光雷达数据采集模块单次曝光时间小于1ns。

说明书

一种基于RGB-D的环境感知方法及装置

技术领域

[0001] 本发明涉及智能驾驶技术领域，尤其涉及一种基于RGB-D的环境感知方法及装置。

背景技术

[0002] 在计算机、人工智能和机器视觉等技术不断地发展和革新的背景下，相机获取的图像的价值显得越来越大，基于图像的应用也越来越多。典型的应用即是将相机安装在机器人上，不断地获取环境图像，再利用计算机视觉的算法对其进行处理，使得机器人可以像人一样拥有眼睛去观察周围环境。在此基础上，同样可以将相机应用于汽车上来感知汽车周围的环境。

[0003] 普通的彩色相机均是被动地接收物体发出的光，然后在其图像平面上成像。这种原理下获得的图像容易受光照、阴影、拍摄角度等外在因素的影响，当前的计算机视觉算法对于这种图像的处理并不鲁棒，因此其应用也相应地受到了限制。深度相机借助其自身发出的光，可以主动地感知物体的距离信息，其成像受光照、阴影和拍摄角度的影响较小。

[0004] 随着ADAS、AD行业不断发展，对于环境感知需求日益强烈，但是受限于诸多因素成本、产业技术现状等。现行产业单目相机存在二项主要局限：1)没有距离信息；2)在光线不足或者复杂气候的应用场景下无法使用。

[0005] 因此，有必要提供一种基于RGB-D的环境感知方法及装置，旨在于解决当前单目相机在光线复杂的应用场景下的瓶颈问题。

发明内容

[0006] 为了解决现有技术中相机在光线不足的应用场景下无法获取高亮度图片的技术问题，本发明提供了一种基于RGB-D的环境感知方法及装置。本发明旨在于打破目前现行产业瓶颈，为智能汽车提供更好的环境感知方法和设备。

[0007] 为了解决上述技术问题，第一方面，本发明提供了一种基于RGB-D的环境感知方法，包括如下步骤：

[0008] 通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光；

[0009] 所述图像数据采集模块经一次曝光采集环境图片的一张彩色图；同时所述激光雷达数据采集模块经若干次曝光采集环境图片的若干组强度信息，并将其生成N张灰度图，其中，N≥6；所述激光雷达数据采集模块单次曝光时间小于1ms；

[0010] 将所述彩色图与所述N张灰度图进行原始数据层面的融合处理，得到亮度改善的环境图片。

[0011] 进一步地，所述激光雷达数据采集模块经若干次曝光采集环境图片的若干组强度信息，并将其生成N张灰度图，具体包括：

[0012] 将所述强度信息转化成灰阶信息后生成所述灰度图。

[0013] 进一步地，采用最大值和均值梯度法，将所述强度信息转化成灰阶信息。

[0014] 进一步地，所述将所述彩色图与所述N张灰度图进行原始数据层面的融合处理，得到亮度改善的环境图片，具体包括：

[0015] 将所述彩色图的色彩域转换为YcCbcCrc；

[0016] 获取转换后彩色图中的低亮度区域，所述低亮度区域是指亮度低于预设阈值的区域；

[0017] 将所述灰度图中与所述低亮度区域对应部分的亮度信息补充到所述低亮度区域中得到融合后图片；

[0018] 获取所述融合后图片的属性信息，所述属性信息包括梯度幅值、梯度方向、梯度损失、阴影和噪声；

[0019] 对所述属性信息对应的数据进行自适应平滑处理并基于所述灰度图消除所述融合后图片中的运动模糊；

[0020] 对所述属性信息对应的数据进行收敛处理。

[0021] 进一步地，所述通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光，包括：

[0022] 所述激光雷达数据采集模块发出曝光信号并将所述曝光信号曝光，同时将所述曝光信号发送给所述图像数据采集模块，所述图像数据采集模块接收所述曝光信号并将所述曝光信号曝光；

[0023] 或，

[0024] 所述图像数据采集模块发出曝光信号并将所述曝光信号曝光，同时将所述曝光信号发送给所述激光雷达数据采集模块，所述激光雷达数据采集模块接收所述曝光信号并将所述曝光信号曝光。

[0025] 进一步地，所述图像数据采集模块经一次曝光采集环境图片的彩色图，同时所述激光雷达数据采集模块经若干次曝光采集环境图片的若干组强度信息，具体包括：

[0026] 采集同步曝光的激光点云数据和图像数据；通过所述激光点云数据得到所述强度信息，通过所述图像数据得到所述环境图片的彩色图；

[0027] 对所述激光点云数据进行处理后，将其融合到所述图像数据中，得到环境的距离信息。

[0028] 进一步地，所述激光雷达数据采集模块为Flash Lidar，同步曝光过程中，所述激光雷达数据采集模块的采集频率与所述图像数据采集模块的采集频率之比为M：1，其中M≥100；所述图像数据采集模块为相机模块，所述相机模块采用的色卡模式为RGGB、RCCB、RCCC。

[0029] 优选地，所述激光雷达数据采集模块单次曝光时间为50ns-1ms。

[0030] 优选地，所述激光雷达数据采集模块单次曝光时间为1-50ns。

[0031] 优选地，所述激光雷达数据采集模块单次曝光时间小于1ns。

[0032] 第二方面，本发明提供了一种基于RGB-D的环境感知装置，包括：图像数据采集模块、激光雷达数据采集模块、同步曝光模块和环境图片融合模块；

[0033] 所述同步曝光模块，用于通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光；

[0034] 所述图像数据采集模块，用于一次曝光采集环境图片的一张彩色图；

[0035] 所述激光雷达数据采集模块，用于若干次曝光采集环境图片的若干组强度信息，并将其生成N张灰度图，其中，N≥6；所述激光雷达数据采集模块单次曝光时间小于1ms；所述环境图片融合模块，用于将所述彩色图与所述N张灰度图进行原始数据层面的融合处理，得到亮度改善的环境图片。

[0036] 进一步地，所述激光雷达数据采集模块还包括信息转换单元，所述信息转换单元用于将所述强度信息转化成灰阶信息。

[0037] 进一步地，所述信息转换单元包括第一信息转换单元，所述第一信息转换单元，用于采用最大值和均值梯度法，将所述强度信息转化成灰阶信息。

[0038] 进一步地，所述信息转换单元还包括第二信息转换单元，所述第二信息转换单元，用于采用ROI法，将所述强度信息转化成灰阶信息。

[0039] 进一步地，所述环境图片融合模块包括：色彩域转换单元、图片融合单元、属性信息获取单元、运动模糊消除单元和收敛单元，

[0040] 所述色彩域转换单元，用于将所述彩色图的色彩域转换为YcCbcCrc；

[0041] 所述图片融合单元，用于获取转换后彩色图中的低亮度区域，所述低亮度区域是指亮度低于预设阈值的区域；并将所述灰度图中与所述低亮度区域对应部分的亮度信息补充到所述低亮度区域中得到融合后图片；

[0042] 所述属性信息获取单元，用于获取所述融合后图片的属性信息，所述属性信息包括梯度幅值、梯度方向、梯度损失、阴影和噪声；

[0043] 所述运动模糊消除单元，用于对所述属性信息对应的数据进行自适应平滑处理并基于所述灰度图消除所述融合后图片中的运动模糊；

[0044] 所述收敛单元，用于对所述属性信息对应的数据进行收敛处理。

[0045] 进一步地，所述同步曝光模块包括第一同步曝光模块和第二同步曝光模块，所述第一同步曝光模块和所述第二同步曝光模块分别设置在所述激光雷达数据采集模块或所述图像数据采集模块中，所述第一同步曝光模块包括触发产生单元、第一曝光控制单元和信号发送单元，所述第二同步曝光模块包括信号接收单元和第二曝光控制单元；

[0046] 所述触发产生单元，用于发出曝光信号；

[0047] 所述第一曝光控制单元，用于接收所述触发产生单元发送的曝光信号并将曝光信号曝光；

[0048] 所述信号发送单元，用于接收所述触发产生单元发送的曝光信号并将曝光信号发送给所述信号接收单元；

[0049] 所述信号接收单元，用于接收所述信号发送单元发送的曝光信号；

[0050] 所述第二曝光控制单元，用于接收所述信号接收单元发送的曝光信号并将曝光信号曝光。

[0051] 进一步地，所述激光雷达数据采集模块包括第一数据采集单元和强度信息获取单元，

[0052] 所述第一数据采集单元，用于采集与第二数据采集单元同步曝光的激光点云数据；

[0053] 所述强度信息获取单元，用于通过所述激光点云数据获取所述强度信息；

[0054] 所述图像数据采集模块包括第二数据采集单元和彩色图获取单元；

[0055] 所述第二数据采集单元，用于采集与所述第一数据采集单元同步曝光的图像数据；

[0056] 所述彩色图获取单元，用于通过所述图像数据获取所述环境图片的彩色图；

[0057] 进一步地，还包括距离信息获取模块，用于对所述激光点云数据进行处理后，将其融合到所述图像数据中，得到所述环境的距离信息。

[0058] 进一步地，所述激光雷达数据采集模块为Flash Lidar，同步曝光过程中，所述激光雷达数据采集模块的采集频率与所述图像数据采集模块的采集频率之比为M：1，其中M≥100；所述图像数据采集模块为相机模块，所述相机模块采用的色卡模式为RGGB、RCCB、RCCC。

[0059] 优选地，所述激光雷达数据采集模块单次曝光时间为50ns-1ms。

[0060] 优选地，所述激光雷达数据采集模块单次曝光时间为1-50ns。

[0061] 优选地，所述激光雷达数据采集模块单次曝光时间小于1ns。

[0062] 本发明提供的一种基于RGB-D的环境感知方法及装置，具有如下有益效果：

[0063] (1)本发明的基于RGB-D的环境感知方法，采用激光雷达数据采集模块和图像数据采集模块同步曝光，在不同的采集频率下采集灰色图和彩色图后，将两种图片进行原始数据层面的融合处理，从而得到亮度改善的环境图片；实现了在各种天气和自然环境下均获得极佳的环境信息，鲁棒性较好；

[0064] (2)本发明中激光雷达数据采集模块可通过硬件同步机制实现与图像数据采集模块同步曝光，激光点云数据受到运动畸变影响程度小，从而能够得到融合精度较高的环境图片；

[0065] (3)本发明中激光雷达数据采集模块相比于相机，采集频率快，在车辆高速行驶的情况下，可获得实时性更好的数据，提高了数据的准确性。

附图说明

[0066] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0067] 图1是本发明实施例提供的基于RGB-D的环境感知方法的一种流程示意图；

[0068] 图2是本发明实施例提供的通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光的一种流程示意图；

[0069] 图3是本发明实施例提供的通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光的另一种流程示意图；

[0070] 图4是本发明实施例提供的将彩色图与灰度图进行原始数据层面的融合处理的一种流程示意图；

[0071] 图5是本发明实施例提供的基于RGB-D的环境感知方法的另一种流程示意图[0072] 图6是本发明实施例提供的Flash Lidar与RGB相机同步曝光信号示意图；

[0073] 图7是本发明实施例提供的基于RGB-D的环境感知装置的一种组成框图；

[0074] 图8是本发明实施例提供的同步曝光模块的组成框图；

[0075] 图9是本发明实施例提供的第一同步曝光模块的组成框图；

[0076] 图10是本发明实施例提供的第二同步曝光模块的组成框图；

[0077] 图11是本发明实施例提供的通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光的一种组成框图；

[0078] 图12是本发明实施例提供的通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光的另一种组成框图；

[0079] 图13是本发明实施例提供的激光雷达数据采集模块的组成框图；

[0080] 图14是本发明实施例提供的图像数据采集模块的组成框图；

[0081] 图15是本发明实施例提供的环境图片融合模块的组成框图；

[0082] 图16是本发明实施例提供的基于RGB-D的环境感知装置的另一种组成框图；

[0083] 图17是本发明实施例提供的激光雷达数据采集模块和图像数据采集模块安装的结构示意图。

具体实施方式

[0084] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0085] 在本申请所提供的几个实施例中，所描述的装置实施例仅仅是示意性的，例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块或单元的间接耦合或通信连接，可以是电性或其它的形式。

[0086] 所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0087] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

[0088] 本发明应用在智能驾驶领域场景中，主要目的是在ADAS、AD过程中感知车辆周围环境。

[0089] 实施例1

[0090] 如图1所示，本发明实施例提供了一种基于RGB-D的环境感知方法，所述方法包括：

[0091] S110.通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光；

[0092] 在硬件层次，通过硬件通信的形式实现激光雷达数据采集模块和图像数据采集模块的同步曝光，相比于现有技术中的各个设备独立曝光(比如雷达有雷达的曝光频率，相机有相机的曝光频率，各自曝光数据输出后，再通过后面加一个处理系统，将雷达输出的数据和相机数据的视频数据进行融合)，通过硬件机制同步曝光，使激光点云数据和图像数据采集数据时间同步，可以使激光点云数据不会产生运动畸变。

[0093] 图2所示为本发明实施例中通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光的一种流程示意图：

[0094] S210.所述激光雷达数据采集模块中的触发产生单元发出曝光信号并将所述曝光信号曝光，同时将所述曝光信号通过MIPI/LVDS/并口等通道发送给所述图像数据采集模块，所述图像数据采集模块中的信号单元接收所述曝光信号并将所述曝光信号曝光。

[0095] 图3所示为本发明实施例通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光的另一种流程示意图：

[0096] S310.所述图像数据采集模块中的触发产生单元发出曝光信号并将所述曝光信号曝光，同时将所述曝光信号通过MIPI/LVDS/并口等通道发送给所述激光雷达数据采集模块，所述激光雷达数据采集模块接收所述曝光信号并将所述曝光信号曝光。

[0097] 本发明实施例中，可以设置一个主控芯片，通过主控芯片输出信号时，触发产生单元被触发从而使激光雷达数据采集模块和图像数据采集模块同步曝光，也可以设置一个特定的接口，当进入该接口时，触发产生单元被触发从而使激光雷达数据采集模块和图像数据采集模块同步曝光，或者设置一种硬件同步曝光模式，当进入该硬件同步曝光模式时，触发产生单元被触发从而使激光雷达数据采集模块和图像数据采集模块同步曝光，或者可以设置一个时间周期，当到达该时间周期时，触发产生单元被触发从而使激光雷达数据采集模块和图像数据采集模块同步曝光。

[0098] S120.在相同时间内，所述图像数据采集模块经一次曝光采集环境图片的一张彩色图；同时所述激光雷达数据采集模块经若干次曝光采集环境图片的若干组强度信息，并将其生成N张灰度图，其中，N≥6；所述激光雷达数据采集模块单次曝光时间为50ns-1ms；

[0099] 本发明实施例中，通过激光雷达数据采集模块采集与所述图像数据采集模块同步曝光的激光点云数据，并通过所述图像数据采集模块采集与所述激光雷达数据采集模块同步曝光的图像数据。

[0100] 通过所述激光点云数据得到所述强度信息，采用最大值和均值梯度法，将所述强度信息转化成灰阶信息，具体计算公式为：

[0101] y＝kx+b；

[0102] 其中b＝0，k＝Max(A)/Max(B)；其中A为灰度最大值255，B为环境反射率强度的最大值。

[0103] 其他参数说明：x为实际环境中某点对应强度信息，y为灰度信息，即灰阶信息；

[0104] 例如通过调节数据的密度，将雷达采集的数据(1-1万)映射到灰度图(0-255)中；

[0105] 通过所述图像数据得到所述环境图片的彩色图；

[0106] 对所述激光点云数据进行处理后，将其融合到所述图像数据中，得到环境的距离信息。

[0107] S130.将所述彩色图与所述N张灰度图进行原始数据层面的融合处理，得到亮度改善的环境图片；如图4所示，具体包括如下步骤：

[0108] S410.将所述彩色图的色彩域转换为YcCbcCrc；

[0109] S420.获取转换后彩色图中的低亮度区域，所述低亮度区域是指亮度低于预设阈值的区域；所述低亮度区域是相对于正常亮度定义的，其中的预设阈值低于正常亮度值，该值可以根据实际的应用场景进行设置；

[0110] S430.将所述灰度图中与所述低亮度区域对应部分的亮度信息补充到所述低亮度区域中得到融合后图片；

[0111] S440.获取所述融合后图片的属性信息，所述属性信息包括梯度幅值、梯度方向、梯度损失、阴影和噪声；

[0112] S450.对所述属性信息对应的数据进行自适应平滑处理并基于所述灰度图消除所述融合后图片中的运动模糊；

[0113] 其中可以通过卷积过程实现自适应平滑处理，采用大小为m×n的滤波器W(x,y)与一幅图像f(x,y)进行卷积，其计算公式为：

[0114]

[0115] 其中，a＝(m-1)/2，b＝(n-1)/2；等式右侧的减号表示翻转f，即旋转180°。

[0116] S460.对所述属性信息对应的数据进行收敛处理得到亮度改善的环境图片，具体可以采用IRLS和CG法对数据进行收敛处理。其中，亮度改善是指相比于步骤S120中的彩色图，得到的环境图片亮度有所提升。

[0117] 其中IRLS法是指：迭代加权最小二乘法；

[0118] CG法是指：共轭梯度法。

[0119] 本发明实施例中的图像数据采集模块包括但不限于车载相机或摄像头等，激光雷达数据采集模块为Flash Lidar，Flash Lidar属于非扫描式激光雷达，其通过发射并接收面阵激光，输出以二维图像形式排列的点云数据，包含距离、反射强度和速度等信息。非扫描时激光雷达摆脱了扫描设备的依赖，探测精度和可靠性较高，成本较低。其中Flash Lidar发射的红外线波长可根据实际情况进行设置，例如，对于环境更加恶劣的应用场景，Flash Lidar支持SWIR。

[0120] 由以上本说明书实施例发布的技术方案可见，本说明书实施例中提供了一种基于RGB-D的环境感知方法，其通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光，所述图像数据采集模块经一次曝光采集环境图片的一张彩色图；同时所述激光雷达数据采集模块经若干次曝光采集环境图片的若干组强度信息，并将其生成N张灰度图，其中，N≥6；所述激光雷达数据采集模块单次曝光时间小于1ms；将所述彩色图与所述N张灰度图进行原始数据层面的融合处理，得到亮度改善的环境图片。该方法具有诸多优点：(一)采用激光雷达数据采集模块和图像数据采集模块同步曝光，在不同的采集频率下采集灰色图和彩色图后，将两种图片进行原始数据层面的融合处理，在不增加图像数据采集模块的前提下，得到了亮度改善的环境图片；(二)本发明中激光雷达数据采集模块可通过硬件同步机制实现与图像数据采集模块同步曝光，激光点云数据不会产生运动畸变，从而能够得到融合精度较高的环境图片；(三)本发明中激光雷达数据采集模块相比于相机，采集频率快，在车辆高速行驶的情况下，可获得实时性更好的数据，提高了数据的准确性。

[0121] 实施例2

[0122] 图5所示为本发明实施例提供的基于RGB-D的环境感知方法的另一种流程示意图，该方法具体包括：

[0123] S510.对激光雷达数据采集模块和图像数据采集模块进行联合标定，使激光点云数据和图像数据的空间位置对齐；

[0124] 具体地，本发明实施例中对所述激光雷达数据采集模块和所述图像数据采集模块进行联合标定的方式可以采用现有技术中的方式进行标定，在此不再赘述。

[0125] 本发明实施例中，在对所述激光雷达数据采集模块和所述图像数据采集模块进行联合标定之前还包括将激光雷达数据采集模块和图像数据采集模块安置在相同的位置的步骤，该步骤可以确保后续的采集激光点云数据和图像数据的空间位置对齐，为了保证采集数据的精度、准确性及有效数据范围的覆盖，可将所述激光雷达数据采集模块的融合视场设置为大于所述图像数据采集模块的融合视场，如图17所示，A为图像数据采集模块，对应的融合视场为α，B为激光雷达数据采集模块对应的融合视场β，其中，β大于α。

[0126] 需要说明的是，本发明实施例中，图像数据采集模块和激光雷达数据采集模块互补，本方案需要得到两个采集模块的重合视场(即交叉区域)，所以本方案中并不限定α、β的具体关系，两者的关系也可以设置成β≤α。

[0127] 本实施例中，激光雷达数据采集模块和图像数据采集模块可以安装在车辆的顶部、侧部或前方，本发明实施例对光雷达数据采集模块和图像数据采集模块的安装位置不做限定。

[0128] S520.通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光，使激光点云数据和图像数据时间同步；

[0129] S530.所述图像数据采集模块经一次曝光采集环境图片的一张彩色图；同时所述激光雷达数据采集模块经若干次曝光采集环境图片的若干组强度信息，并将其生成N张灰度图，其中，N≥6，所述激光雷达数据采集模块单次曝光时间为1-50ns，该时间根据实际需要进行设定，也可以设置成小于1ns；具体如下：

[0130] 采集空间位置对齐且同步曝光的激光点云数据和图像数据，其中该激光点云数据包括点云的距离、反射强度信息，采用ROI法，将所述强度信息转化成灰阶信息，该方法将强度信息与灰阶信息的映射关系分成n段，然后单独计算每一段对应的灰阶信息；

[0131] 具体计算公式为：

[0132]

[0133] 其中b为常数，k＝Max(A)/Max(B)，其中A为灰度值，B为环境反射率强度值。其他参数说明：x为实际环境中某点对应强度信息，y为灰度信息，即灰阶信息。

[0134] 现阶段结合实地测试调整分段参数和效果，用于差异化特点物体的强度信息和对应映射后的灰度信息；

[0135] 例如通过调节数据的密度，将雷达采集的数据(1-1万)映射到灰度图(0-255)中；

[0136] 通过所述图像数据得到所述环境图片的彩色图；

[0137] 对所述激光点云数据进行处理后，将其融合到所述图像数据中，得到环境的距离信息。

[0138] S540.将所述彩色图与所述N张灰度图进行原始数据层面的融合处理，得到亮度改善的环境图片；具体操作参照上述步骤S410-S460，在此不再赘述。

[0139] 本实施例中所述激光雷达数据采集模块为Flash Lidar，同步曝光过程中，所述激光雷达数据采集模块的采集频率与所述图像数据采集模块的采集频率之比为M：1，其中M≥100，同步曝光示意图如图6所示，其中所述相机模块为RGB相机，单次曝光时间≥5μs，所述相机模块采用的色卡模式为RGGB，需要说明的是，其色卡模式并不局限于RGGB，还可以为RCCB、RCCC等；所述图像数据采集模块为相机模块，相机模块可以为单目相机、双目相机，但并不局限于此。

[0140] 实施例3

[0141] 本发明实施例提供了一种基于RGB-D的环境感知装置，如图7所述，所述装置包括：同步曝光模块710、图像数据采集模块720、激光雷达数据采集模块730、环境图片融合模块
740和距离信息获取模块750。所述同步曝光模块710，用于通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光；具体的，如图8所示，所述同步曝光模块710包括第一同步曝光模块7101和第二同步曝光模块7102；

[0142] 具体地，如图9和10所示，所述第一同步曝光模块7101包括：触发产生单元71011、第一曝光控制单元71012和信号发送单元71013，所述第二同步曝光模块7102包括：信号接收单元71021和第二曝光控制单元71022；

[0143] 所述触发产生单元71011，用于发出曝光信号；

[0144] 所述第一曝光控制单元71012，用于接收所述触发产生单元发送的曝光信号并将曝光信号曝光；

[0145] 所述信号发送单元71013，用于接收所述触发产生单元发送的曝光信号并将曝光信号通过MIPI/LVDS/并口等通道发送给所述信号接收单元；

[0146] 所述信号接收单元71021，用于接收所述信号发送单元发送的曝光信号；

[0147] 所述第二曝光控制单元71022，用于接收所述信号接收单元发送的曝光信号并将曝光信号曝光。

[0148] 图11所示为本发明实施例提供的通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光的一种组成框图，其中所述第一同步曝光模块7101设置于所述激光雷达数据采集模块730中，所述第二同步曝光模块7102设置于所述图像数据采集模块720中。

[0149] 图12为本发明实施例提供的通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光的另一种组成框图，其中所述第一同步曝光模块7101设置于所述图像数据采集模块720中，所述第二同步曝光模块7102设置于所述激光雷达数据采集模块730中。

[0150] 所述图像数据采集模块720，用于一次曝光采集环境图片的一张彩色图；

[0151] 所述激光雷达数据采集模块730，用于若干次曝光采集环境图片的若干组强度信息，并将其生成N张灰度图，其中，N≥6；所述激光雷达数据采集模块单次曝光时间为50ns-1ms；所述激光雷达数据采集模块的采集频率与所述图像数据采集模块的采集频率之比为M：1，其中M≥100；所述图像数据采集模块为相机模块，所述相机模块采用的色卡模式为RGGB、RCCB、RCCC。

[0152] 如图13所示，所述激光雷达数据采集模块730包括第一数据采集单元7301、强度信息获取单元7302和信息转换单元7303，所述第一数据采集单元7301，用于采集与第二数据采集单元同步曝光的激光点云数据；所述强度信息获取单元7302，用于通过所述激光点云数据获取所述强度信息；所述信息转换单元包7303包括第一信息转换单元，所述第一信息转换单元，用于采用最大值和均值梯度法，将所述强度信息转化成灰阶信息，具体计算方法可参照实施例1的记载。

[0153] 如图14所示，所述图像数据采集模块720包括第二数据采集单元7201和彩色图获取单元7202；所述第二数据采集单元7201，用于采集与所述第一数据采集单元同步曝光的图像数据；

[0154] 所述彩色图获取单元7202，用于通过所述图像数据获取所述环境图片的彩色图；

[0155] 所述距离信息获取模块750，用于对所述激光点云数据进行处理后，将其融合到所述图像数据中，得到所述环境的距离信息。

[0156] 如图15所示，所述环境图片融合模块740包括色彩域转换单元7401、图片融合单元7402、属性信息获取单元7403、运动模糊消除单元7404和收敛单元7405；

[0157] 所述色彩域转换单元7401，用于将所述彩色图的色彩域转换为YcCbcCrc；

[0158] 所述图片融合单元7402，用于获取转换后彩色图中的低亮度区域，所述低亮度区域是指亮度低于预设阈值的区域；并将所述灰度图中与所述低亮度区域对应部分的亮度信息补充到所述低亮度区域中得到融合后图片；

[0159] 所述属性信息获取单元7403，用于获取所述融合后图片的属性信息，所述属性信息包括梯度幅值、梯度方向、梯度损失、阴影和噪声；

[0160] 所述运动模糊消除单元7404，用于对所述属性信息对应的数据进行自适应平滑处理并基于所述灰度图消除所述融合后图片中的运动模糊；

[0161] 所述收敛单元7405，用于对所述属性信息对应的数据进行收敛处理，具体可采用IRLS和CG法。

[0162] 实施例4

[0163] 图16所示为本发明实施例提供的另一种正样本制作装置的组成框图，所述装置包括：标定模块700、同步曝光模块710、图像数据采集模块720、激光雷达数据采集模块730、环境图片融合模块740和距离信息获取模块750。所述标定模块700，用于对激光雷达数据采集模块和图像数据采集模块进行联合标定，使激光点云数据和图像数据的空间位置对齐；

[0164] 所述同步曝光模块710，用于通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光；

[0165] 所述图像数据采集模块720，用于一次曝光采集环境图片的一张彩色图；

[0166] 所述激光雷达数据采集模块730，用于若干次曝光采集环境图片的若干组强度信息，并将其生成N张灰度图，其中，N≥6；所述激光雷达数据采集模块单次曝光时间为1-50ns，该时间根据实际需要进行设定，也可以设置成小于1ns；所述激光雷达数据采集模块的采集频率与所述图像数据采集模块的采集频率之比为M：1，其中M≥100；所述图像数据采集模块为相机模块，所述相机模块采用的色卡模式为RGGB、RCCB、RCCC。

[0167] 所述距离信息获取模块750，用于对所述激光点云数据进行处理后，将其融合到所述图像数据中，得到所述环境的距离信息。

[0168] 所述同步曝光模块710、图像数据采集模块720、激光雷达数据采集模块730、环境图片融合模块740可参照实施例3中的描述，在此不再赘述。与实施例3不同的是，激光雷达数据采集模块730中的信息转换单元包7303包括所述第二信息转换单元，用于采用ROI法，将所述强度信息转化成灰阶信息，具体计算方法可参照实施例2的记载。

[0169] 需要说明的，所述装置实施例中的装置与方法实施例基于同样的发明构思。

[0170] 由上述本发明提供的一种基于RGB-D的环境感知方法及装置，采用激光雷达数据采集模块和图像数据采集模块同步曝光，在不同的采集频率下采集灰色图和彩色图后，将两种图片进行原始数据层面的融合处理，从而得到亮度改善的环境图片；实现了在各种天气和自然环境下均获得极佳的环境信息，鲁棒性较好；本发明中激光雷达数据采集模块可通过硬件同步机制实现与图像数据采集模块同步曝光，激光点云数据受到运动畸变影响程度小，从而能够得到融合精度较高的环境图片；本发明中激光雷达数据采集模块相比于相机，采集频率快，在车辆高速行驶的情况下，可获得实时性更好的数据，提高了数据的准确性。

[0171] 需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

[0172] 本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

[0173] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。