解决遮挡与错误映射的影像序列与点云数据融合的方法

摘要

本发明公开了一种解决遮挡与错误映射的影像序列与点云数据融合的方法，其特征在于，包括步骤：获取影像序列中影像和所述影像对应的激光点云；根据所述影像和所述激光点云，确定激光点云点与影像像素点的投影关系；根据所述激光点云点与影像像素点的投影关系以及所述激光点云，确定所述影像对应的索引图；根据所述索引图、所述影像以及所述激光点云，确定所述影像对应的融合影像；对所述影像序列中所有影像各自分别对应的融合影像拼接，得到拼接图像。由于将影像序列中各影像各自分别对应的融合影像进行拼接，不会出现因单张影像导致的遮挡和错误映射的问题。

权利要求

1.一种解决遮挡与错误映射的影像序列与点云数据融合的方法，其特征在于，包括步骤：

获取影像序列中影像和所述影像对应的激光点云；

根据所述影像和所述激光点云，确定激光点云点与影像像素点的投影关系；

根据所述激光点云点与影像像素点的投影关系以及所述激光点云，确定所述影像对应的索引图；

根据所述索引图、所述影像以及所述激光点云，确定所述影像对应的融合影像；

对所述影像序列中所有影像各自分别对应的融合影像拼接，得到拼接图像；

所述根据所述激光点云点与影像像素点的投影关系以及所述激光点云，确定所述影像对应的索引图，包括:

针对所述影像的每一个像素点，根据所述激光点云点与影像像素点的投影关系，确定该像素点对应的激光点云点；

根据该像素点对应的激光点云点，确定该像素点对应的深度值；

根据所有像素点各自分别对应的深度值，确定所述影像对应的索引图；

所述根据所述索引图、所述影像以及所述激光点云，确定所述影像对应的融合影像，包括：

根据所述索引图、所述影像以及所述激光点云，确定所述影像对应的权重信息；

根据所述权重信息，融合所述激光点云和所述影像，得到所述影像对应的融合影像；

所述影像序列包括至少两个影像，影像序列中各影像的拍摄位置不相同，不同的影像对应的激光点云不相同。

2.根据权利要求1所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其特征在于，所述影像中单个像素点对应的激光点云点有若干个；

所述根据该像素点对应的激光点云点，确定该像素点对应的深度值，包括：根据该像素点对应的激光点云点，确定该像素点对应的目标点云点；所述目标点云点为该像素点对应的激光点云点中的一个；

将所述目标点云点的深度值作为该像素点对应的深度值。

3.根据权利要求1所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其特征在于，所述根据所述索引图、所述影像以及所述激光点云，确定所述影像对应的权重信息，包括：

针对所述影像的每一个像素点，确定该像素点对应的中心距离；其中，所述中心距离为该像素点到所述影像的中心的距离；

根据激光点云，确定该像素点对应的前排点个数；其中，所述前排点个数为该像素点对应的未遮挡的激光点云点的个数；

根据所述索引图，确定该像素点对应的深度值；

根据该像素点到所述影像中心的距离、该像素点对应的前排点个数以及该像素点对应的深度值，确定该像素点对应的权重值；

根据所有像素点各自分别对应的权重值，确定所述影像对应的权重信息。

4.根据权利要求3所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其特征在于，所述影像中像素点对应的权重值为：其中，w表示权重值，r表示中心距离，d表示深度值，q表示前排点个数，α、β、γ表示系数，δ表示与相机最近清晰距离有关的参数，ε表示与影像对角线长度有关的参数。

5.根据权利要求1所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其特征在于，所述根据所述权重信息，融合所述激光点云和所述影像，得到所述影像对应的融合影像，包括：

针对所述激光点云中每一个激光点云点，根据该激光点云点位置信息，所述影像中该激光点云点对应的像素点的像素值以及所述权重信息中该像素点对应的权重值，确定该激光点云点对应的融合信息；

根据所有激光点云点各自分别对应的融合信息，确定所述影像对应的融合图像。

6.根据权利要求4所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其特征在于，所述对所述影像序列中所有影像各自分别对应的融合影像拼接，得到拼接图像，包括：

针对所述激光点云中每一个激光点云点，根据该激光点云点对应的所有融合信息，确定该激光点云点对应的拼接信息；

根据所有激光点云点各自分别对应的拼接信息，确定拼接图像。

7.根据权利要求6所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其特征在于，所述针对所述激光点云中每一个激光点云点，根据该激光点云点对应的所有融合信息，确定该激光点云点对应的拼接信息，包括：当所述激光点云点没有像素值时，删除该激光点云点；

当所述激光点云点有一个像素值时，则将该像素值记入激光点云以确定该激光点云点对应的拼接信息；

当所述激光点云点有多个像素值时，根据该激光点云点对应的所有像素值和所有权重值，确定所述该激光点云点对应的拼接像素值；根据该激光点云点对应的拼接像素值和该像素点云点对应的位置信息，确定该激光点云点对应的拼接信息。

8.根据权利要求6所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其特征在于，所述针对所述激光点云中每一个激光点云点，根据该激光点云点对应的所有融合信息，确定该激光点云点对应的拼接信息，包括：针对所述激光点云中每一个激光点云点，根据该激光点云点对应的所有像素值和所有权重值，确定所述该激光点云点对应的拼接像素值；

根据该激光点云点对应的拼接像素值和该像素点云点对应的位置信息，确定该激光点云点对应的拼接信息。

9.根据权利要求1‑8任意一项所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其特征在于，所述获取影像序列中的影像和所述影像对应的激光点云，包括：获取影像序列中的影像，对所述影像进行预处理，得到预处理的影像；

将所述预处理的影像作为影像；

获取所述影像对应的激光点云，对所述激光点云进行预处理，得到预处理的激光点云；

其中，所述预处理的激光点云中激光点云点的数量小于所述激光点云中激光点云点的数量；

将所述预处理的激光点云作为激光点云。

说明书

解决遮挡与错误映射的影像序列与点云数据融合的方法

技术领域

[0001] 本发明涉及计算机视觉与点云数据处理技术领域，尤其涉及的是一种解决遮挡与错误映射的影像序列与点云数据融合的方法。

背景技术

[0002] 激光雷达和相机作为两种主要的对环境进行感知的传感器具有其各自的优缺点，激光点云中的激光点具有准确的三维位置信息，而影像数据中有丰富的颜色信息。对激光
雷达数据与影像数据进行融合的目的主要是融合激光点云数据提供的三维空间几何信息
与影像数据提供的颜色信息，相比于原始激光点云，可以提供更加丰富的信息。

[0003] 现有的激光点云与影像融合方案基于已有的激光雷达与相机的转换矩阵将单帧激光点云与影像像素点对应起来，选择对应影像将像素点的颜色信息赋给激光点云点，然
后再将多帧彩色激光点云进行拼接生成最终的彩色激光点云。

[0004] 现有技术中，影像与激光雷达点云数据融合,一般通过确定相机与激光雷达的变换矩阵，然后对每一帧的激光点云和对应的影像进行激光点对应像素点的融合，容易出现
遮挡及错误映射的问题。

[0005] 因此，现有技术还有待于改进和发展。

发明内容

[0006] 本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种解决遮挡与错误映射的影像序列与点云数据融合的方法，旨在解决现有技术中融合时出现的遮挡及错
误映射的的问题。

[0007] 本发明解决技术问题所采用的技术方案如下：

[0008] 一种解决遮挡与错误映射的影像序列与点云数据融合的方法，其中，包括步骤：

[0009] 获取影像序列中影像和所述影像对应的激光点云；

[0010] 根据所述影像和所述激光点云，确定激光点云点与影像像素点的投影关系；

[0011] 根据所述激光点云点与影像像素点的投影关系以及所述激光点云，确定所述影像对应的索引图；

[0012] 根据所述索引图、所述影像以及所述激光点云，确定所述影像对应的融合影像；

[0013] 对所述影像序列中各影像各自分别对应的融合影像拼接，得到拼接图像。

[0014] 所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其中，所述根据所述激光点云点与影像像素点的投影关系以及所述激光点云，确定所述影像对应的索引
图，包括:

[0015] 针对所述影像的每一个像素点，根据所述激光点云点与影像像素点的投影关系，确定该像素点对应的激光点云点；

[0016] 根据该像素点对应的激光点云点，确定该像素点对应的深度值；

[0017] 根据所有像素点各自分别对应的深度值，确定所述影像对应的索引图。

[0018] 所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其中，所述影像中单个像素点对应的激光点云点有若干个；

[0019] 所述根据该像素点对应的激光点云点，确定该像素点对应的深度值，包括：

[0020] 根据该像素点对应的激光点云点，确定该像素点对应的目标点云点；所述目标点云点为该像素点对应的激光点云点中的一个；

[0021] 将所述目标点云点的深度值作为该像素点对应的深度值。

[0022] 所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其中，所述根据所述索引图、所述影像以及所述激光点云，确定所述影像对应的融合影像，包括：

[0023] 根据所述索引图、所述影像以及所述激光点云，确定所述影像对应的权重信息；

[0024] 根据所述权重信息，融合所述激光点云和所述影像，得到所述影像对应的融合影像。

[0025] 所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其中，所述根据所述索引图、所述影像以及所述激光点云，确定所述影像对应的权重信息，包括：

[0026] 针对所述影像的每一个像素点，确定该像素点对应的中心距离；其中，所述中心距离为该像素点到所述影像的中心的距离；

[0027] 根据激光点云，确定该像素点对应的前排点个数；其中，所述前排点个数为该像素点对应的未遮挡的激光点云点的个数；

[0028] 根据所述索引图，确定该像素点对应的深度值；

[0029] 根据该像素点到所述影像中心的距离、该像素点对应的前排点个数以及该像素点对应的深度值，确定该像素点对应的权重值；

[0030] 根据所有像素点各自分别对应的权重值，确定所述影像对应的权重信息。

[0031] 所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其中，所述影像中像素点对应的权重值为：

[0032]

[0033] 其中，w表示权重值，r表示中心距离，d表示深度值，q表示前排点个数，α、β、γ表示系数，δ表示与相机最近清晰距离有关的参数，ε表示与影像对角线长度有关的参数。

[0034] 所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其中，所述根据所述权重信息，融合所述激光点云和所述影像，得到所述影像对应的融合影像，包括：

[0035] 针对所述激光点云中每一个激光点云点，根据该激光点云点位置信息，所述影像中该激光点云点对应的像素点的像素值以及所述权重信息中该像素点对应的权重值，确定
该激光点云点对应的融合信息；

[0036] 根据所有激光点云点各自分别对应的融合信息，确定所述影像对应的融合图像。

[0037] 所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其中，所述对所述影像序列中各影像各自分别对应的融合影像拼接，得到拼接图像，包括：

[0038] 针对所述激光点云中每一个激光点云点，根据该激光点云点对应的所有融合信息，确定该激光点云点对应的拼接信息；

[0039] 根据所有激光点云点各自分别对应的拼接信息，确定拼接图像。

[0040] 所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其中，所述针对所述激光点云中每一个激光点云点，根据该激光点云点对应的所有融合信息，确定该激光
点云点对应的拼接信息，包括：

[0041] 针对所述激光点云中每一个激光点云点，根据该激光点云点对应的所有像素值和所有权重值，确定所述该激光点云点对应的拼接像素值；

[0042] 根据该激光点云点对应的拼接像素值和该像素点云点对应的位置信息，确定该激光点云点对应的拼接信息。

[0043] 所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其中，所述获取影像和所述影像对应的激光点云，包括：

[0044] 获取影像序列中的影像，对所述影像进行预处理，得到预处理的影像；

[0045] 将所述预处理的影像作为影像；

[0046] 获取所述影像对应的激光点云，对所述激光点云进行预处理，得到预处理的激光点云；其中，所述预处理的激光点云中激光点云点的数量小于所述激光点云中激光点云点
的数量；

[0047] 将所述预处理的激光点云作为激光点云。

[0048] 有益效果：先根据影像和激光点云，确定激光点云点与影像像素点的投影关系；再根据激光点云点与影像像素点的投影关系以及激光点云，确定影像对应的索引图；并根据
索引图、影像以及激光点云，确定影像对应的融合影像；对影像序列中各影像各自分别对应
的融合影像拼接，得到拼接图像。由于将影像序列中各影像各自分别对应的融合影像进行
拼接，不会出现因单张影像导致的遮挡和错误映射的问题。

附图说明

[0049] 图1是本发明实施例中解决遮挡与错误映射的影像序列与点云数据融合的方法的流程图。

[0050] 图2是本发明实施例中激光点云点投影到像素点的原理图。

[0051] 图3是本发明实施例中激光点云点投影到像素点的示意图。

[0052] 图4是本发明实施例中激光点云点遮挡的示意图。

[0053] 图5是本发明实施例中激光点云的示意图。

[0054] 图6是本发明实施例中影像的示意图。

[0055] 图7是本发明实施例中拼接图像的示意图。

[0056] 图8是本发明实施例中椅子的第一示意图。

[0057] 图9是本发明实施例中椅子的第二示意图。

[0058] 图10是本发明实施例中椅子的第三示意图。

[0059] 图11是本发明实施例中椅子的第四示意图。

具体实施方式

[0060] 为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用
于限定本发明。

[0061] 请同时参阅图1‑图11，本发明提供了一种解决遮挡与错误映射的影像序列与点云数据融合的方法的一些实施例。

[0062] 激光雷达和相机作为两种主要的对环境进行感知的传感器具有其各自的优缺点，激光点云中的激光点具有准确的三维位置信息，而影像数据中有丰富的颜色信息。对激光
雷达数据与影像数据进行融合的目的主要是融合激光点云数据提供的三维空间几何信息
与影像数据提供的颜色信息，相比于原始激光点云，可以提供更加丰富的信息，并能得到可
视化的彩色三维图。

[0063] 发明人经过研究发现，用于室内环境时会有一系列问题：1.室内环境下空间较小，影像观测值因曝光参数在不同位置受环境光影响会不相同，如果采用单帧点云到单帧影像
对应，会造成整体点云部分纹理不一致，影响视觉效果。2.室内环境下物体较多且会分布在
不同位置，在使用相机与激光雷达进行观测时会因视差原因，将部分相机能观测到的但是
激光雷达观测不到的物体颜色值赋给错误的激光点，且因为单帧激光点云都为稀疏点，对
物体表面进行检测难度较大。

[0064] 如图1所示，本发明的一种解决遮挡与错误映射的影像序列与点云数据融合的方法，包括以下步骤：

[0065] 步骤S100、获取影像序列中影像和所述影像对应的激光点云。

[0066] 具体地，所述影像序列包括至少两个影像，影像序列中各影像的拍摄位置可以是相同或不相同的，较佳的是，影像序列中各影像的拍摄位置不相同。每个影像都有对应的激
光点云，不同的影像对应的激光点云可以是不相同的，如果一些激光点云点遮挡或错误映
射了，在其他影像对应的激光点云中并未遮挡或并未映射错误，因此，最终得到的拼接图像
并不会有遮挡的问题，当然，也不会有错误映射的问题。

[0067] 具体地，步骤S100、获取影像序列中影像和所述影像对应的激光点云，包括：

[0068] 步骤S110、获取影像序列中的影像，对所述影像进行预处理，得到预处理的影像，将所述预处理的影像作为影像。

[0069] 具体地，对每张影像根据检校参数修正影像畸变。去除影像中畸变严重的区域。影像的分辨率为H*W的影像可以表示为Ii＝{Qm(um，vm，Rm，Gm，Bm)|0≤um[0‑255]}。其中Ii为序列影像中第i张影像，Qm为影像中第m个像素。

[0070] 步骤S120、获取所述影像对应的激光点云，对所述激光点云进行预处理，得到预处理的激光点云；其中，所述预处理的激光点云中激光点云点的数量小于所述激光点云中激
光点云点的数量，将所述预处理的激光点云作为激光点云。

[0071] 具体地，获取激光点云后对激光点云进行预处理，整体激光点云根据设备轨迹对单帧激光点云进行拼接生成，定义为P＝{Ml(Xl，Yl，Zl)|Xl，Yl，Zl∈R，l云中激光点云点的数量，Sp为整体激光点云中激光点云点的数量，R为实数。一般而言，整体
激光点云中的激光点数目太多，因此需要首先从中选取一部分候选点进行处理。在预处理
步骤，对整体激光点云，以第i张相机中心Mi(Xi，Yi，Zi)为中心，根据关注重点(如离相机3‑
10m处的点；如去掉高于相机1m的室内高处点等)选择一定范围内的激光点进行分割，从而
减少计算量并使得赋予的颜色从设计关注重点的影像中选取得到更高的颜色准确度。进行
分割之后的点云定义为Pi＝{Mn(Xn，Yn，Zn)|(Xn，Yn，Zn)∈P}，P为整体激光点云。

[0072] 步骤S200、根据所述影像和所述激光点云，确定激光点云点与影像像素点的投影关系。

[0073] 具体地，对每张影像Ii和其对应的点云Pi，利用激光雷达和相机检校参数可以将激光雷达坐标系下的激光点云点转换到相机坐标系下，然后投影至到像平面坐标系，此时可
以建立分割后的激光点云点与影像像素点的对应关系。

[0074]

[0075] 其中RL和TL为激光雷达和相机检校参数，RL为3*3的旋转矩阵，TL为3*1的平移向量。经过转换之后可以将激光雷达坐标系下的激光点(Xn，Yn，Zn)转换至相机坐标系下(X′n，
Y′n，Z′n)，然后通过相机内参将所以激光点投影至像平面坐标系下：

[0076]

[0077] 其中K为相机的内参，为3*3的矩阵。(xn，yn)为激光点云点投影至像平面坐标系下的坐标。

[0078] 步骤S300、根据所述激光点云点与影像像素点的投影关系以及所述激光点云，确定所述影像对应的索引图。

[0079] 具体地，步骤S300、根据所述激光点云点与影像像素点的投影关系以及所述激光点云，确定所述影像对应的索引图，包括：

[0080] 步骤S310、针对所述影像的每一个像素点，根据所述激光点云点与影像像素点的投影关系，确定该像素点对应的激光点云点。

[0081] 步骤S320、根据该像素点对应的激光点云点，确定该像素点对应的深度值。

[0082] 具体地，步骤S320、根据该像素点对应的激光点云点，确定该像素点对应的深度值，包括：

[0083] S321、根据该像素点对应的激光点云点，确定该像素点对应的目标点云点；所述目标点云点为该像素点对应的激光点云点中的一个。

[0084] S322、将所述目标点云点的深度值作为该像素点对应的深度值。

[0085] 步骤S330、根据所有像素点各自分别对应的深度值，确定所述影像对应的索引图。

[0086] 具体地，由于激光点云点数目远大于像素点个数，所述影像中单个像素点对应的激光点云点有若干个，也就是说，投影之后每个像素点Qm(um，vm)会对应多个激光点云点，在
每个 像素点 对应的 所有 激光点 云点中 选择 一个目 标点 云点 ，其深 度
几何上为相机中心和该激光点云点连线
的长度，该连线穿过像平面中的该像素点。该点的选取要考虑相对距离相机较近以保证不
被遮挡，可以同时加入邻域较密集为条件从而排除激光点的误差造成的少量距离相机近的
孤立点。建立与原始影像大小相同的深度的索引图{Dm(um，vm，dm)|0≤um个点像素为dm的灰度图。

[0087] 如图3所示，每个方格为一个影像的像素点，方格中的点为激光点云点投影到影像中像素点的点，如图2所示，每个激光点云点都会对应一个激光点云点到相机中心的深度。

[0088] 步骤S400、根据所述索引图、所述影像以及所述激光点云，确定所述影像对应的融合影像。

[0089] 具体地，在确定索引图后，通过索引图，影像以及激光点云，得到融合影像，也就是说，根据索引图，对影像和激光点云进行融合得到融合影像。

[0090] 具体地，步骤S400、根据所述索引图、所述影像以及所述激光点云，确定所述影像对应的融合影像，包括：

[0091] 步骤S410、根据所述索引图、所述影像以及所述激光点云，确定所述影像对应的权重信息。

[0092] 具体地，先通过索引图、影像以及激光点云，得到权重信息，在通过权重信息，对影像和激光点云进行融合得到融合信息。

[0093] 具体地，步骤S410、根据所述索引图、所述影像以及所述激光点云，确定所述影像对应的权重信息，包括：

[0094] 步骤S411、针对所述影像的每一个像素点，确定该像素点对应的中心距离；其中，所述中心距离为该像素点到所述影像的中心的距离。

[0095] 具体地，影像中各像素点到影像的中心的距离不相同，中心距离反映了像素点与影像的中心的距离。通常，影像的中心的像素点更清晰且形变更小，因此，需要确定像素点
对应的中心距离。

[0096] 步骤S412、根据激光点云，确定该像素点对应的前排点个数；其中，所述前排点个数为该像素点对应的未遮挡的激光点云点的个数。

[0097] 具体地，如图4所示，在激光点云中，有一些激光点云点与相机的距离较近，另一些激光点云点与相机的距离较远，与相机距离较远的激光点云点会被距离较近的激光点云点
遮挡，因此，需要确定像素点对应的前排点个数。

[0098] 步骤S413、根据所述索引图，确定该像素点对应的深度值。

[0099] 步骤S414、根据该像素点到所述影像中心的距离、该像素点对应的前排点个数以及该像素点对应的深度值，确定该像素点对应的权重值。

[0100] 具体地，根据该像素点到所述影像中心的距离、该像素点对应的前排点个数以及该像素点对应的深度值，确定该像素点对应的权重值。在其他实施例中，可以根据该像素点
到所述影像中心的距离、该像素点对应的前排点个数以及该像素点对应的深度值中的一种
或多种，确定该像素点到所述影像中心的距离、该像素点对应的前排点个数以及该像素点
对应的深度值。

[0101] 所述影像中像素点对应的权重值为：

[0102]

[0103] 其中，w表示权重值，r表示中心距离，d表示深度值，q表示前排点个数，α、β、γ表示系数，δ表示与相机最近清晰距离有关的参数，ε表示与影像对角线长度有关的参数。

[0104] 具体地，对于第i个影像，且第n个激光点云点投影到该影像中的像素点，则权重值为：

[0105]

[0106] 其中，wi,n表示第n个激光点云在第i个影像中的权重值，ri，n表示第n个激光点云在第i个影像中对应的像素点的中心距离，di，n表示第n个激光点云在第i个影像中对应的像素
点的深度值，qi，n表示第n个激光点云在第i个影像中对应的像素点的前排点个数，α、β、γ表
示系数，δ表示与相机最近清晰距离有关的参数，ε表示与影像对角线长度有关的参数。

[0107] 步骤S415、根据所有像素点各自分别对应的权重值，确定所述影像对应的权重信息。

[0108] 具体地，所述权重信息包括若干个权重值，每个像素点可以对应有多个激光点云点，这些激光点云点的权重值相同。

[0109] 步骤S420、根据所述权重信息，融合所述激光点云和所述影像，得到所述影像对应的融合影像。

[0110] 具体地，因为激光点集Pi在测量时都有一定的误差，对每一个像素点，根据实际情况确定阈值δ及截取方法，截取深度的索引图中对应的点周围的若干点进行纹理映射，即赋
予颜色的操作。其中截取方法可根据实际决定。对影像Ii中的每一个像素点，选取其对应的
所有激光点，移除被前排激光点对应的物体遮挡的后排点，然后将该像素点的像素值赋予
前排点。该像素点对应的未遮挡的激光点云点具有相同的像素值和权重值。

[0111] 具体地，步骤S420、根据所述权重信息，融合所述激光点云和所述影像，得到所述影像对应的融合影像，包括：

[0112] 步骤S421、针对所述激光点云中每一个激光点云点，根据该激光点云点位置信息，所述影像中该激光点云点对应的像素点的像素值以及所述权重信息中该像素点对应的权
重值，确定该激光点云点对应的融合信息。

[0113] 具体地，在融合影像和激光点云时，是融合影像中像素点和激光点云中激光点云点，得到融合信息，融合信息的位置信息采用激光点云点的位置信息，这是由于激光点云测
量得到的位置更为准确，融合信息的像素值采用影像中像素点对应的像素值，这是由于影
像中颜色信息更为准确，因此采用影像中的像素点对应的像素值，为了避免出现遮挡和错
误映射，每个激光点云点对应的融合信息中有权重值。

[0114] 步骤S422、根据所有激光点云点各自分别对应的融合信息，确定所述影像对应的融合图像。

[0115] 具体地，融合图像包括若干个融合信息，具体地，根据所有激光点云点各自分别对应的融合信息，确定所述影像对应的融合图像。对序列影像中单张影像Ii和其对应的点云Pi
的处理，得到了融合图像，即有RGB信息的点云
其中Mi
(Xi，Yi，Zi)为该张影像Ii对应的相机中心。Mn表示第n个激光点云点对应的融合信息，(Xn，
Yn，Zn)表示第n个激光点云点对应的位置信息，(Rn，Gn，Bn)表示第n个激光点云点对应的像素
值，Wn表示第n个激光点云点对应的权重值。

[0116] 步骤S500、对所述影像序列中所有影像各自分别对应的融合影像拼接，得到拼接图像。

[0117] 具体地，对于不同影像，同一激光点云点在不同影像中的位置信息是固定的，同一激光点云点在不同影像中的像素值和权重值不一样，因此，需要对影像序列中所有影像各
自分别对应的融合影像进行拼接，得到拼接图像，也就是说，要根据同一激光点云点在不同
影像中的像素值和权重值，确定一个像素值和一个权重值。

[0118] 具体地，步骤S500、对所述影像序列中所有影像各自分别对应的融合影像拼接，得到拼接图像，包括：

[0119] 步骤S510、针对所述激光点云中每一个激光点云点，根据该激光点云点对应的所有融合信息，确定该激光点云点对应的拼接信息。

[0120] 具体地，最后P中会有三种激光点云点：没有RGB信息的激光点云点；有一个Pi中的RGB信息的激光点云点；有多个Pi中的RGB信息的激光点云点。

[0121] 具体地，对于没有RGB信息的激光点，说明影像序列中由于遮挡等原因没有覆盖该点，因此删去该点；对于有一个Pi中的RGB信息的激光点，将该RGB信息记入P；对于有多个Pi
中的RGB信息的激光点，该激光点被多张影像覆盖到，但由于遮挡、光照条件等不同，颜色会
有少许差异，也可能因为阈值选取的原因导致少量颜色与真实场景颜色不符，因此对这些
颜色根据权重进行加权平均处理，得到一个加权平均的颜色。

[0122] 具体地，步骤S510、针对所述激光点云中每一个激光点云点，根据该激光点云点对应的所有融合信息，确定该激光点云点对应的拼接信息，包括：

[0123] 步骤S511、针对所述激光点云中每一个激光点云点，根据该激光点云点对应的所有像素值和所有权重值，确定所述该激光点云点对应的拼接像素值。

[0124] 步骤S512、根据该激光点云点对应的拼接像素值和该像素点云点对应的位置信息，确定该激光点云点对应的拼接信息。

[0125] 例如第n个激光点云点的红色拼接像素值可取Rn＝∑wi，nRi，n，也可只是用权重值最大的一个或最大的前几个进行加权平均，可有效排除错误点。

[0126] 具体地，采用权重值最大的一个时，对每一张影像循环赋颜色的过程中，进行到了第i张影像的第n个激光点云点，若该点Mn(Xn，Yn，Zn，R，G，B，W)已经有RGB信息，若当前权重
值Wi大于之前记录的权重值Wi‑1，则将该点的R，G，B，W信息替换为当前的信息，即始终只存
储一个最合适的RGB信息。

[0127] 步骤S520、根据所有激光点云点各自分别对应的拼接信息，确定拼接图像。

[0128] 具体地，根据所有激光点云点各自分别对应的拼接信息，确定拼接图像，由于得到所有激光点云点对应的拼接信息，因此，得到的拼接图像中可避免了激光点云点被遮挡的
问题，也不会出现错误映射的问题。

[0129] 使用该实施例的方法对阶梯教室的数据进行测试，其中，激光点云使用LiDARSLAM或者固定站LiDAR获取，具体如图5所示。序列影像使用移动背包搭载拍摄，具体如图6所示。
具体地拼接图像，如图7所示，可以准确的反映位置信息和颜色信息。椅子的正面和背面的
颜色来自于不同的影像且有正确的映射融合结果，避免了前后椅子的遮挡和穿透性纹理映
射的问题，具体如图8‑图11所示。

[0130] 本发明使用序列影像和与之对应的一个整体点云数据，在室内环境下，对激光雷达采集的激光点云数据与相机采集的影像数据进行融合，重建三维场景。解决方案是基于
激光雷达与相机的转换关系，首先将多帧激光雷达采集的密集点云投影在单张影像平面
上，确定每一个激光点的颜色信息并剔除被遮挡的点，同时根据激光点至相机中心的距离
为颜色信息确定权值，然后重复上述步骤根据多张影像的计算结果为每一个激光点确定一
个合适的颜色值，完成影像序列与激光雷达点云数据的融合。

[0131] 应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保
护范围。