基于语义分割的单目测距方法、装置、设备及存储介质

摘要

本申请涉及一种基于语义分割的单目测距方法、装置、设备及存储介质。该方法：根据自车坐标系，生成地面网格点矩阵，对单目摄像头采集的前车图像进行语义分割，其中前车图像中像素的语义分割的类型包括：道路路面、道路中感兴趣物体，将地面网格点矩阵按照预设投影矩阵转换到前车图像上，并根据道路路面、道路中感兴趣物体，确定道路中感兴趣物体的目标网格接地点集，其中目标网格接地点集包括若干目标网格接地点，根据目标网格接地点集到自车距离，得到单目摄像头的测距结果。通过预设投影矩阵与前车图像进行语义信息关联，得到感兴趣物体离道路路面最近的若干目标网格接地点，以此提高测距精度。

权利要求

1.一种基于语义分割的单目测距方法，其特征在于，包括：根据自车坐标系，生成地面网格点矩阵；

对单目摄像头采集的前车图像进行语义分割，其中所述前车图像中像素的语义分割的类型包括：道路路面、道路中感兴趣物体；

将所述地面网格点矩阵按照预设投影矩阵转换到所述前车图像上，并根据所述道路路面、所述道路中感兴趣物体，确定所述道路中感兴趣物体的目标网格接地点集，其中所述目标网格接地点集包括若干目标网格接地点；

所述根据所述道路路面、所述道路中感兴趣物体，确定所述道路中感兴趣物体的目标网格接地点集，包括：

通过对所述前车图像进行语义分割，得到所述道路中感兴趣物体最靠近道路路面的轮廓点集{k1、k2、k3、k4、……、kn}；

通过语义值矩阵与地面网格点矩阵的映射关系，在所述地面网格点矩阵内确定所述目标网格接地点集{g1、g 2、g 3、g 4、……、g n}；

根据所述目标网格接地点集到自车距离，得到单目摄像头的测距结果。

2.根据权利要求1所述的基于语义分割的单目测距方法，其特征在于，所述根据自车坐标系，生成地面网格点矩阵，包括：根据自车坐标系，生成地面网格点矩阵和语义值矩阵，所述地面网格点矩阵的维度与所述语义值矩阵的维度相同；

所述将所述地面网格点按照预设投影矩阵转换到所述前车图像上，并根据所述道路路面、所述道路中感兴趣物体，确定所述道路中感兴趣物体的目标网格接地点集，包括：将所述地面网格点矩阵按照预设投影矩阵转换成与所述前车图像位于同一坐标系下的地面网格点投影矩阵；

根据所述地面网格点投影矩阵获取所述道路路面、所述道路中感兴趣物体的像素值，并将所述像素值存储至所述语义值矩阵中，对所述语义值矩阵进行边缘检测，得到所述道路中感兴趣物体的最靠近所述道路路面的连续轮廓点集；

以最靠近所述道路路面的轮廓点集作为映射索引在所述地面网格点矩阵内找到所述道路中感兴趣物体的目标网格接地点集。

3.根据权利要求2所述的基于语义分割的单目测距方法，其特征在于，所述地面网格点矩阵的长度、宽度及分辨率均可调。

4.根据权利要求2所述的基于语义分割的单目测距方法，其特征在于，所述对单目摄像头采集的前车图像进行语义分割，其中所述前车图像中像素的语义分割的类型包括：道路路面、道路中感兴趣物体，包括：输入所述前车图像至训练好的深度学习模型中；

执行前向预测，通过卷积神经网络对所述前车图像进行像素级分类；

按照语义分割结果内存排列将所述前车图像语义分割成道路路面、道路中感兴趣物体。

5.根据权利要求2所述的基于语义分割的单目测距方法，其特征在于，所述将所述地面网格点矩阵按照预设投影矩阵转换成与所述前车图像位于同一坐标系下的地面网格点投影矩阵，包括：

设定相机坐标系及像素坐标系，其中所述前车图像位于所述像素坐标系下；

获取相机内参矩阵和相机外参矩阵；

根据所述相机外参矩阵将所述地面网格点矩阵转换至相机坐标系下，得到相机网格点矩阵；

根据所述相机内参矩阵将所述相机网格点矩阵转换至像素坐标系下，得到所述地面网格点投影矩阵。

6.根据权利要求2所述的基于语义分割的单目测距方法，其特征在于，所述对所述语义值矩阵进行边缘检测，包括：

设定阈值对所述语义值矩阵二值化处理；

使用Sobel算子检测所述语义值矩阵的轮廓。

7.根据权利要求2所述的基于语义分割的单目测距方法，其特征在于，所述根据所述目标网格接地点集到自车距离，得到单目摄像头的测距结果，包括：根据X轴分量、Y轴分量及Z轴分量，计算单个所述目标网格接地点与所述自车坐标系原点的距离，重复此过程直至把每一目标网格接地点与所述自车坐标系原点的距离计算出，得到待优化距离集，所述待优化距离集包括若干待优化距离；

对所述待优化距离集进行方差计算，若方差大于或者等于额定值时，则对所述待优化距离集进行均值运算得到所述物体距离；若方差小于所述额定值时，则所述物体距离等于最小值的所述待优化距离。

8.一种基于语义分割的单目测距装置，其特征在于，包括：矩阵生成模块，用于根据自车坐标系，生成地面网格点矩阵；

语义分割模块，用于对单目摄像头采集的前车图像进行语义分割，其中所述前车图像中像素的语义分割的类型包括：道路路面、道路中感兴趣物体；

转换模块，用于将所述地面网格点矩阵按照预设投影矩阵转换到所述前车图像上，并根据所述道路路面、所述道路中感兴趣物体，确定所述道路中感兴趣物体的目标网格接地点集，其中所述目标网格接地点集包括若干目标网格接地点；其中所述根据所述道路路面、所述道路中感兴趣物体，确定所述道路中感兴趣物体的目标网格接地点集，包括：通过对所述前车图像进行语义分割，得到所述道路中感兴趣物体最靠近道路路面的轮廓点集{k1、k2、k3、k4、……、kn}；通过语义值矩阵与地面网格点矩阵的映射关系，在所述地面网格点矩阵内确定所述目标网格接地点集{g1、g 2、g 3、g 4、……、g n}；

测距模块，用于根据所述目标网格接地点集到自车距离，得到单目摄像头的测距结果。

9.一种电子设备，其特征在于，包括：处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至7中任一项所述的方法。

说明书

基于语义分割的单目测距方法、装置、设备及存储介质

技术领域

[0001] 本申请涉及自动驾驶技术领域，尤其涉及一种基于语义分割的单目测距方法、装置、设备及存储介质。

背景技术

[0002] 单目测距方法因硬件成本低被广泛应用于自动驾驶领域中，其在物体的测距方面具有重要的价值。

[0003] 目前在相关技术中，大多数单目测距方法的实现过程为：利用深度学习技术检测出图像内感兴趣的物体检测框，然后对检测框内的物体进一步细化至轮廓点或者特征点，
最后基于先验假设以及相机成像原理完成对物体的测距。但上述方法存在缺陷，若检测框
无法与物体的轮廓贴合，就需要进一步对检测框内的物体进行更为复杂的细化处理，否则
会影响测距精度，但复杂的细化处理涉及的流程繁琐、耗时耗力，且提取到得到的轮廓点或
者特征点也并不一定满足物体位于地面上的先验假设，这些都会对单目测距的精度产生很
大的影响。

发明内容

[0004] 为解决或部分解决相关技术中存在的问题，本申请提供一种基于语义分割的单目测距方法、装置及存储介质，能够提高测距精度。

[0005] 本申请的第一方面提供了一种基于语义分割的单目测距方法，包括：

[0006] 根据自车坐标系，生成地面网格点矩阵；

[0007] 对单目摄像头采集的前车图像进行语义分割，其中所述前车图像中像素的语义分割的类型包括：道路路面、道路中感兴趣物体；

[0008] 将所述地面网格点矩阵按照预设投影矩阵转换到所述前车图像上，并根据所述道路路面、所述道路中感兴趣物体，确定所述道路中感兴趣物体的目标网格接地点集，其中所
述目标网格接地点集包括若干目标网格接地点；

[0009] 根据所述目标网格接地点集到自车距离，得到单目摄像头的测距结果。

[0010] 优选的，所述根据自车坐标系，生成地面网格点矩阵，包括：

[0011] 根据自车坐标系，生成地面网格点矩阵和语义值矩阵，所述地面网格点矩阵的维度与所述语义值矩阵的维度相同；

[0012] 所述将所述地面网格点按照预设投影矩阵转换到所述前车图像上，并根据所述道路路面、所述道路中感兴趣物体，确定所述道路中感兴趣物体的目标网格接地点集，包括：

[0013] 将所述地面网格点矩阵按照预设投影矩阵转换成与所述前车图像位于同一坐标系下的地面网格点投影矩阵；

[0014] 根据所述地面网格点投影矩阵获取所述道路路面、所述道路中感兴趣物体的像素值，并将所述像素值存储至所述语义值矩阵中，对所述语义值矩阵进行边缘检测，得到所述
道路中感兴趣物体的最靠近所述道路路面的连续轮廓点集；

[0015] 以所述最靠近所述道路路面的轮廓点集作为映射索引在所述地面网格点矩阵内找到所述道路中感兴趣物体的目标网格接地点集。

[0016] 优选的，所述地面网格点矩阵的长度、宽度及分辨率均可调。

[0017] 优选的，所述对单目摄像头采集的前车图像进行语义分割，其中所述前车图像中像素的语义分割的类型包括：道路路面、道路中感兴趣物体，包括：

[0018] 输入所述前车图像至训练好的深度学习模型中；

[0019] 执行前向预测，通过卷积神经网络对所述前车图像进行像素级分类；

[0020] 按照语义分割结果内存排列将所述前车图像语义分割成道路路面、道路中感兴趣物体。

[0021] 优选的，所述将所述地面网格点矩阵按照预设投影矩阵转换成与所述前车图像位于同一坐标系下的地面网格点投影矩阵，包括：

[0022] 设定相机坐标系及像素坐标系，其中所述前车图像位于所述像素坐标系下；

[0023] 获取相机内参矩阵和相机外参矩阵；

[0024] 根据所述相机外参矩阵将所述地面网格点矩阵转换至相机坐标系下，得到相机网格点矩阵；

[0025] 根据所述相机内参矩阵将所述相机网格点矩阵转换至像素坐标系下，得到所述地面网格点投影矩阵。

[0026] 优选的，所述对所述语义值矩阵进行边缘检测，包括：

[0027] 设定阈值对所述语义值矩阵二值化处理；

[0028] 使用Sobel算子检测所述语义值矩阵的轮廓。

[0029] 优选的，所述根据所述目标网格接地点集到自车距离，得到单目摄像头的测距结果，包括：

[0030] 根据X轴分量、Y轴分量及Z轴分量，计算单个所述目标网格接地点与所述自车坐标系原点的距离，重复此过程直至把每一目标网格接地点与所述自车坐标系原点的距离计算
出，得到待优化距离集，所述待优化距离集包括若干待优化距离；

[0031] 对所述待优化距离集进行方差计算，若方差大于或者等于额定值时，则对所述待优化距离集进行均值运算得到所述物体距离；若方差小于所述额定值时，则所述物体距离
等于最小值的所述待优化距离。

[0032] 本申请的第二方面提供了一种基于语义分割的单目测距装置，包括：

[0033] 矩阵生成模块，用于根据自车坐标系，生成地面网格点矩阵；

[0034] 语义分割模块，用于对单目摄像头采集的前车图像进行语义分割，其中所述前车图像中像素的语义分割的类型包括：道路路面、道路中感兴趣物体；

[0035] 转换模块，用于将所述地面网格点矩阵按照预设投影矩阵转换到所述前车图像上，并根据所述道路路面、所述道路中感兴趣物体，确定所述道路中感兴趣物体的目标网格
接地点集，其中所述目标网格接地点集包括若干目标网格接地点；

[0036] 测距模块，用于根据所述目标网格接地点集到自车距离，得到单目摄像头的测距结果。

[0037] 本申请的第三方面提供了一种电子设备，包括：

[0038] 处理器；以及

[0039] 存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

[0040] 本申请的第四方面提供了一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

[0041] 本申请提供的技术方案可以包括以下有益效果：

[0042] 本申请的技术方案，根据自车坐标系，生成地面网格点矩阵，对单目摄像头采集的前车图像进行语义分割，其中前车图像中像素的语义分割的类型包括：道路路面、道路中感
兴趣物体，将地面网格点矩阵按照预设投影矩阵转换到前车图像上，并根据道路路面、道路
中感兴趣物体，确定道路中感兴趣物体的目标网格接地点集，其中目标网格接地点集包括
若干目标网格接地点，根据目标网格接地点集到自车距离，得到单目摄像头的测距结果。通
过预设投影矩阵与前车图像进行语义信息关联，得到感兴趣物体离道路路面最近的若干目
标网格接地点，以此提高测距精度。

[0043] 应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

[0044] 通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号
通常代表相同部件。

[0045] 图1是本申请实施例示出的基于语义分割的单目测距方法的流程示意图；

[0046] 图2是本申请另一实施例示出的基于语义分割的单目测距方法的流程示意图；

[0047] 图3是本申请实施例示出的地面网格点矩阵的示意图；

[0048] 图4是本申请实施例示出的感兴趣的物体语义图像的示意图；

[0049] 图5是本申请实施例示出的赋值前后的语义值矩阵的示意图；

[0050] 图6是本申请实施例示出的基于语义分割的单目测距装置的结构示意图；

[0051] 图7是本申请另一实施例示出的基于语义分割的单目测距装置的结构示意图；

[0052] 图8是本申请实施例示出的电子设备的结构示意图。

具体实施方式

[0053] 下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。
相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整
地传达给本领域的技术人员。

[0054] 在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数
形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包
含一个或多个相关联的列出项目的任何或所有可能组合。

[0055] 应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，
在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以
被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更
多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限
定。

[0056] 目前在相关技术中，由于大多数单目测距方法都是通过对检测框内的物体细化至轮廓点或者特征，最后基于先验假设以及相机成像原理完成对物体的测距的。上述方法的
测距精度会因检测框无法与物体贴合而无法得到有效地保证。

[0057] 针对上述问题，本申请实施例提供了一种基于语义分割的单目测距方法，能够提高测距精度。为了便于理解本申请实施例方案，以下结合附图详细描述本申请实施例的技
术方案。

[0058] 图1示出了本申请实施例的一种基于语义分割的单目测距方法的流程示意图。

[0059] 请参阅图1，一种基于语义分割的单目测距方法，包括如下步骤：

[0060] 步骤S11、根据自车坐标系，生成地面网格点矩阵。

[0061] 地面网格点矩阵为一个坐标点矩阵，地面网格点矩阵包括若干地面网格点，地面网格点矩阵的生成过程可以是在面上均匀划分出多个网格，网格与网格相交的地方就是地
面网格点。地面网格点的坐标为（x，y，0）。

[0062] 步骤S12、对单目摄像头采集的前车图像进行语义分割，其中前车图像中像素的语义分割的类型包括：道路路面、道路中感兴趣物体。

[0063] 对前车图像进行语义分割，语义分割的目的在于识别出前车图像中多个物体元素，例如在前车图像中包含有道路路面、汽车、行人及小猫这四个物体元素，其中汽车、行人
及小猫为道路中感兴趣物体。经过语义分割处理后，就可以识别出当前前车图像具有四个
物体元素。

[0064] 步骤S13、将地面网格点矩阵按照预设投影矩阵转换到前车图像上，并根据道路路面、道路中感兴趣物体，确定道路中感兴趣物体的目标网格接地点集，其中目标网格接地点
集包括若干目标网格接地点。

[0065] 生成地面网格点矩阵后，为了要建立地面网格点矩阵与前车图像的语义联系，需要把地面网格点矩阵按照预设投影矩阵转换成与前车图像上，以此建立地面网格点矩阵与
前车图像之间的语义联系。而后根据道路路面、道路中感兴趣物体，确定道路中感兴趣物体
的目标网格接地点集，其中目标网格接地点集包括若干目标网格接地点。目标网格接地点
即道路中感兴趣物体的轮廓边缘离道路路面最近的坐标点。

[0066] 步骤S14、根据目标网格接地点集到自车距离，得到单目摄像头的测距结果。

[0067] 需要说明的是，得到包含若干目标网格接地点的目标网格接地点，根据目标网格接地点，计算出道路中感兴趣物体与自车的距离，得到单目摄像头的测距结果。

[0068] 本实施例的方法，根据自车坐标系，生成地面网格点矩阵，对单目摄像头采集的前车图像进行语义分割，其中前车图像中像素的语义分割的类型包括：道路路面、道路中感兴
趣物体，将地面网格点矩阵按照预设投影矩阵转换到前车图像上，并根据道路路面、道路中
感兴趣物体，确定道路中感兴趣物体的目标网格接地点集，其中目标网格接地点集包括若
干目标网格接地点，根据目标网格接地点集到自车距离，得到单目摄像头的测距结果。通过
预设投影矩阵与前车图像进行语义信息关联，得到感兴趣物体离道路路面最近的若干目标
网格接地点，以此提高测距精度。

[0069] 图2示出了本申请实施例的一种基于语义分割的单目测距方法的流程示意图。

[0070] 请参阅图2，一种基于语义分割的单目测距方法，包括如下步骤：

[0071] 步骤S21、根据自车坐标系，生成地面网格点矩阵和语义值矩阵，地面网格点矩阵的维度与语义值矩阵的维度相同。

[0072] 要说明的是，地面网格点矩阵为一个坐标点矩阵，地面网格点矩阵包括若干地面网格点，地面网格点矩阵的生成过程可以是在面上均匀划分出多个网格，网格与网格相交
的地方就是地面网格点。地面网格点的坐标为（x，y，0）。而语义值矩阵则是一个虚拟矩阵，
地面网格点矩阵的维度和语义值矩阵的维度相同，即地面网格点矩阵与语义值矩阵具有对
应关系，但不同在于，地面网格点矩阵为坐标点集合，而语义值矩阵则是用于存储每个地面
网格点对应的像素值。

[0073] 还要说明的是，地面网格点矩阵是一个长度、宽度及分辨率均即可调的矩阵，例如可以把地面网格点矩阵设置成长度为50m，宽度为10m，分辨率为0.1*0.1m的矩阵（分辨率
0.1*0.1m的意思是地面网格点矩阵中小网格的长度及宽度均为0.1m），也可以把地面网格
点矩阵设置成长度为100m，宽度为20m，分辨率为0.2*0.2m的矩阵。用户可以根据实际情况，
灵活设定长度、宽度及分辨率。

[0074] 步骤S22、对单目摄像头采集的前车图像进行语义分割，其中前车图像中像素的语义分割的类型包括：道路路面、道路中感兴趣物体。

[0075] 对前车图像进行语义分割，语义分割的目的在于识别出前车图像中多个物体元素，例如在前车图像中包含有道路路面、汽车、行人及小猫这四个物体元素，其中汽车、行人
及小猫为道路中感兴趣物体。经过语义分割处理后，就可以识别出当前前车图像具有四个
物体元素。

[0076] 输入前车图像至训练好的深度学习模型中；执行前向预测，通过卷积神经网络对前车图像进行像素级分类；按照语义分割结果内存排列将前车图像语义分割成道路路面、
道路中感兴趣物体。

[0077] 要说明的是，首先把前车图像输入至训练好的深度学习模型中，深度学习模型执行前向预测，深度学习模型利用卷积神经网络对前车图像进行像素级分类，卷积神经网络
包括卷积层、池化层、上采样层、全连接层及激活函数，最后按照语义分割结果内存排列将
前车图像语义分割成道路路面、道路中感兴趣物体。

[0078] 步骤S23、将地面网格点矩阵按照预设投影矩阵转换成与前车图像位于同一坐标系下的地面网格点投影矩阵。

[0079] 要说明的是，生成地面网格点矩阵后，为了要建立地面网格点矩阵与前车图像的语义联系，需要把地面网格点矩阵按照预设投影矩阵转换成与前车图像位于同一坐标系
下，以此通过地面网格点投影矩阵来建立地面网格点矩阵与前车图像之间的语义联系。

[0080] 设定相机坐标系及像素坐标系，其中前车图像位于像素坐标系下；获取相机内参矩阵和相机外参矩阵；根据相机外参矩阵将地面网格点矩阵转换至相机坐标系下，得到相
机网格点矩阵；根据相机内参矩阵将相机网格点矩阵转换至像素坐标系下，得到地面网格
点投影矩阵。

[0081] 要说明的是，首先设定相机坐标系及像素坐标系，其中地面网格点矩阵位于自车坐标系下，前车图像位于像素坐标系下。为了更加容易理解本申请技术方案的坐标转换过
程，以地面网格点P（i xi，yi，0）为例说明（地面网格点矩阵由多个地面网格点组成），通过投
影的方式把地面网格点（xi，yi，0）投影至相机坐标系下，地面网格点（xi，yi，0）对应的地面
网格投影点p（i u，v），具体转换公式如下：

[0082] （1）

[0083] 其中，Pi是在车坐标系下的地面网格点，pi则是在像素坐标系下的地面网格投影点，R是相机外参矩阵，t为相机外参的平移变量，K为相机内参矩阵，Zc为Pi到相机坐标系下
的Z坐标。相机内参矩阵和相机外参矩阵都是相机的标定量，是固定不变，用户通过获取相
机参数即可得知。得到地面网格点投影矩阵后，由于地面网格点投影矩阵是由地面网格点
矩阵转换得到的，而地面网格点矩阵的维度又是与语义值矩阵的维度相同的，此时地面网
格点投影矩阵、地面网格点矩阵及语义值矩阵这三者就具有一一对应的关系，即建立了映
射关系。

[0084] 还需要说明的是，上述的处理操作可以利用多线程、CPU指令集或者GPU进行加速，以此来加快运算效率，尽快得到地面网格点投影矩阵。

[0085] 步骤S24、根据地面网格点投影矩阵获取道路路面、道路中感兴趣物体的像素值，并将像素值存储至语义值矩阵中，对语义值矩阵进行边缘检测，得到道路中感兴趣物体的
最靠近道路路面的连续轮廓点集。

[0086] 要说明的是，由于地面网格点投影矩阵与语义值矩阵具有一一对应的关系，通过对前车图像的语义分割也得到了道路路面、道路中感兴趣物体的语义图像（物体语义图像
内存储有像素值），此时就可以通过地面网格点投影矩阵把语义图像的像素值存储至语义
值矩阵中，随后对存储有像素值得语义值矩阵进行边缘检测，就可以得到连续的轮廓点集，
把轮廓点集的每一轮廓点连接起来，就可以得到道路中感兴趣物体的轮廓线，识别出道路
中感兴趣物体的最靠近道路路面的连续轮廓点集。。

[0087] 下面以一个具体案例进行详细说明上述的转换过程：

[0088] 图3示出了地面网点矩阵（5行x7列）的示意图。图3所示的地面网格点矩阵中的每个元素是自车坐标系下的三维点坐标( x, y, z = 0 )，( 0, 0, 0 )代表坐标系原点，x轴
与y轴正方向如图3所示。

[0089] 通过语义分割得到道路中感兴趣物体的语义图像，如图4所示的为道路中感兴趣物体的语义图像。已知车载相机的内参K和外参（R，t），将地面网格点矩阵中的每个三维点
投影至前车图像中。（1）式中，pi是像素点，Pi是地面网格点，R是相机外参矩阵，t为相机外
参的平移变量，K为相机内参矩阵，Zc为Pi到相机坐标系下的Z坐标。假如九个点p1（3, 1, 
0），点p2（3, 0, 0），点p3（3, ‑1, 0），点p4（2, 1, 0），点p5（2, 0, 0），点p6（2, ‑1, 0），点
p7（1, 1, 0），点p8（1, 0, 0），点p9（1, ‑1, 0）。

[0090] 如图5所示，通过相机内参和外参投影到道路中感兴趣物体的语义图像中，对应的语义值为九个1的像素点（如图5均为1的区域），设定初始语义值矩阵元素均设为0，那么语
义值矩阵被填充的效果如图5中的“赋值后的语义值矩阵”。

[0091] 进一步地，在其中一个实施例中，对语义值矩阵进行边缘检测包括：设定阈值对语义值矩阵二值化处理；使用Sobel算子检测语义值矩阵的轮廓。要说明的是，阈值的取值用
户可以根据实际情况自行设定，最后利用Sobel算子检测语义值矩阵的轮廓。本申请的边缘
检测处理，相比于相关技术中的边缘计算方法，无须在二值化处理前对语义值矩阵进行灰
度处理，同时也不需要利用OpenCV将轮廓绘制，大大降低了边缘检测的运算负担，能够简化
繁琐的运算流程。

[0092] 步骤S25、以最靠近道路路面的轮廓点集作为映射索引在地面网格点矩阵内找到道路中感兴趣物体的目标网格接地点集。

[0093] 要说明的是，得到汽车最靠近道路路面的轮廓点集后（轮廓点集内包含若干轮廓点），由于语义值矩阵与地面网格点矩阵具有一一对应的关系，此时就可以以轮廓点集作为
映射索引，在地面网格点矩阵内找到目标网格接地点集。

[0094] 步骤S26、根据目标网格接地点集到自车距离，得到单目摄像头的测距结果。

[0095] 根据X轴分量、Y轴分量及Z轴分量，计算单个目标网格点与自车坐标系原点的距离，重复此过程直至把每一目标网格点与自车坐标系原点的距离计算出，得到待优化距离
集，待优化距离集包括若干待优化距离。对待优化距离集进行方差计算，若方差大于或者等
于额定值时，则对待优化距离进行均值运算得到物体距离；若方差小于额定值时，则物体距
离等于最小值的待优化距离。

[0096] 要说明的是，例如通过对汽车的语义图像进行边缘得到汽车最靠近道路路面的轮廓点集{k1、k2、k3、k4、……、kn}，通过语义值矩阵与地面网格点矩阵的映射关系，在地面网格
点矩阵内找到目标网格接地点集{g1、g 2、g 3、g 4、……、g n}，此时就可以通过目标网格接地
点集{g1、g 2、g 3、g 4、……、g n}，计算单个目标网格点g（i xi、yi，zi）与自车坐标系原点的距
离，具体公式为：

[0097] （2）

[0098] 其中，由于目标网格点gi位于车坐标系下，因此目标网格点gi的Z轴分量为0，（2）式为Z轴分量为0下的简化公式，此时就可以计算得到单个目标网格点gi到车坐标系原点的距
离，重复此过程直至把每一目标网格点gi与车坐标系原点的距离计算出，得到待优化距离
集{d1、d 2、d 3、d 4、……、d n}，最后我们对待优化距离集{d1、d 2、d 3、d 4、……、d n}求方差，
若方差大于或者等于额定值时，则对待优化距离集进行均值运算得到物体距离；若方差小
于额定值时，则物体距离等于最小值的待优化距离di。

[0099] 本实施例的方法，利用深度学习方法语义分割出图像数据中感兴趣的语义信息，然后利用预先生成的地面网格点矩阵及语义值矩阵，把地面网格点矩阵投影转换至与前车
图像同一坐标系下的地面网格投影点矩阵，以此来建立地面网格点矩阵、语义值矩阵及地
面网格投影点矩阵这三者的映射关系，即建立三者的语义联系，将对存储有像素值得语义
值矩阵进行边缘检测得到道路中感兴趣物体的最靠近道路路面的连续轮廓点集，以轮廓点
集作为映射索引来匹配出在地面网格点矩阵中的目标网格接地点集，最后以目标网格接地
点集来计算得到物体距离。

[0100] 由于本申请无需像相关技术中得到物体轮廓线后还进一步提取特征点，能够省去了复杂的图像处理流程，简化运算流程。同时又因为地面网格点矩阵、语义值矩阵及地面网
格投影点矩阵这三者的映射关系，使得得到的轮廓线能够贴合语义分割结果出来的物体语
义图像的轮廓，使得后续映射得到的目标网格接地点集也能够贴合物体语义图像的轮廓，
以此提高测距精度。

[0101] 与前述应用功能方法实施例相对应，本申请还提供了一种基于语义分割的单目测距装置相应的实施例。

[0102] 图6示出了本申请实施例中的一种基于语义分割的单目测距装置80的结构示意图。

[0103] 请参阅图6，一种基于语义分割的单目测距装置80，包括：矩阵生成模块810、语义分割模块820、转换模块830及测距模块840。

[0104] 矩阵生成模块810用于根据自车坐标系，生成地面网格点矩阵；

[0105] 语义分割模块820用于对单目摄像头采集的前车图像进行语义分割，其中前车图像中像素的语义分割的类型包括：道路路面、道路中感兴趣物体；

[0106] 转换模块830用于将地面网格点矩阵按照预设投影矩阵转换到前车图像上，并根据道路路面、道路中感兴趣物体，确定道路中感兴趣物体的目标网格接地点集，其中所述目
标网格接地点集包括若干目标网格接地点；

[0107] 测距模块840用于根据目标网格接地点集到自车距离，得到单目摄像头的测距结果。

[0108] 本实施例的装置，矩阵生成模块810根据自车坐标系，生成地面网格点矩阵，语义分割模块820对单目摄像头采集的前车图像进行语义分割，其中前车图像中像素的语义分
割的类型包括：道路路面、道路中感兴趣物体，转换模块830将地面网格点矩阵按照预设投
影矩阵转换到前车图像上，并根据道路路面、道路中感兴趣物体，确定道路中感兴趣物体的
目标网格接地点集，其中目标网格接地点集包括若干目标网格接地点，测距模块840根据目
标网格接地点集到自车距离，得到单目摄像头的测距结果。通过预设投影矩阵与前车图像
进行语义信息关联，得到感兴趣物体离道路路面最近的若干目标网格接地点，以此提高测
距精度。

[0109] 图7示出了本申请另一实施例中的一种基于语义分割的单目测距装置80的结构示意图。

[0110] 请参阅图7，一种基于语义分割的单目测距装置80，包括：矩阵生成模块810、语义分割模块820、转换模块830及测距模块840。其中转换模块830包括投影单元831、边缘检测
单元832和映射单元833。

[0111] 语义分割模块820和测距模块840的功能请参阅图6中的描述，此处不再赘述。

[0112] 矩阵生成模块810用于根据自车坐标系，生成地面网格点矩阵和语义值矩阵，地面网格点矩阵的维度与语义值矩阵的维度相同。

[0113] 投影单元831用于将地面网格点矩阵按照预设投影矩阵转换成与前车图像位于同一坐标系下的地面网格点投影矩阵。

[0114] 边缘检测单元832用于根据地面网格点投影矩阵获取道路路面、道路中感兴趣物体的像素值，并将像素值存储至语义值矩阵中，对语义值矩阵进行边缘检测，得到道路中感
兴趣物体的最靠近道路路面的连续轮廓点集。

[0115] 映射单元833用于以最靠近道路路面的轮廓点集作为映射索引在地面网格点矩阵内找到道路中感兴趣物体的目标网格接地点集。

[0116] 请参阅图8，电子设备1000包括处理器1100和存储器1200。

[0117] 处理器1100可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路
（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field‑
Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、
分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器
等。

[0118] 存储器1200可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM）和永久存储装置。其中，ROM可以存储处理器1100或者计算机的其他模块需要的静态数据或者指
令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不
会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用
大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存
储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者
易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器
在运行时需要的指令和数据。此外，存储器1200可以包括任意计算机可读存储媒介的组合，
包括各种类型的半导体存储芯片（例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘
和/或光盘也可以采用。在一些实施方式中，存储器1200可以包括可读和/或写的可移除的
存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD‑ROM，双层DVD‑ROM）、只读蓝
光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro‑SD卡等）、磁性软盘等。计算机可
读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

[0119] 存储器1200上存储有可执行代码，当可执行代码被处理器910处理时，可以使处理器1200执行上文述及的方法中的部分或全部。

[0120] 此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机
程序代码指令。

[0121] 或者，本申请还可以实施为一种计算机可读存储介质（或非暂时性机器可读存储介质或机器可读存储介质），其上存储有可执行代码（或计算机程序或计算机指令代码），当
可执行代码（或计算机程序或计算机指令代码）被电子设备（或服务器等）的处理器执行时，
使处理器执行根据本申请的上述方法的各个步骤的部分或全部。

[0122] 以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技
术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨
在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的
其他普通技术人员能理解本文披露的各实施例。