基于单目相机的农业无人车障碍物感知方法及装置

摘要

本发明实施例提供基于单目相机的农业无人车障碍物感知方法及装置，该方法包括：将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图；在所述环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息；所述目标像素点是指环境图像深度图中，深度值小于或等于预设深度阈值的像素点；其中，所述预设深度预测网络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的。仅单目相机获取图像既可以完成深度图预测，实现无人车与障碍物的距离判断，并且使用深度双阈值方法来筛选，减少目标检测网络的使用频率。

权利要求

1.一种基于单目相机的农业无人车障碍物感知方法，其特征在于，包括：将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图；

在所述环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息；

其中，所述目标像素点是指环境图像深度图中，深度值小于或等于预设深度阈值的像素点；

其中，所述预设深度预测网络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的；

其中，所述预设深度预测网络包括：预设上层粗提取网络和预设下层精提取细化网络；

其中，在所述将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图的步骤之前，所述方法还包括：构建上层粗提取网络；

将每个单目相机田间环境样本图像输入所述上层粗提取网络进行训练，输出每个单目相机田间环境样本图像对应的预测深度值；

利用预设损失函数，根据所述预测深度值和所述单目相机田间环境样本图像对应的真实深度值，计算损失值；

在所述损失值小于预设损失阈值时，停止训练，得到训练好的预设上层粗提取网络；

其中，在所述得到训练好的预设上层粗提取网络的步骤之后，所述方法还包括:将每个单目相机田间环境样本图像输入所述训练好的预设上层粗提取网络，得到每个单目相机田间环境样本图像对应的粗略深度图；

构建下层精提取细化网络；

将单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的粗略深度图输入所述下层精提取细化网络进行训练，得到每个单目相机田间环境样本图像对应的预测深度值；

利用预设损失函数，根据所述预测深度值和所述单目相机田间环境样本图像对应的真实深度值，计算损失值；

在所述损失值小于预设损失阈值时，停止训练，得到训练好的预设下层精提取细化网络；

其中，所述预设损失函数，具体为：*

其中，y表示预测深度值，y 表示所述单目相机田间环境样本图像对应的真实深度值，y*

和y在索引为i时都有n个像素， 为像素i处的预测值yi和真实值 之间的差值。

2.根据权利要求1所述基于单目相机的农业无人车障碍物感知方法，其特征在于，在所述将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息的步骤之前，所述方法还包括:

将携带障碍物标签的单目相机田间环境样本图像输入目标检测网络进行训练，当满足预设训练条件时，停止训练，得到训练好的预设目标检测网络。

3.根据权利要求1所述基于单目相机的农业无人车障碍物感知方法，其特征在于，在所述将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图的步骤之前，所述方法还包括：

获取单目相机田间环境图像初始图像；

将所述单目相机田间环境图像初始图像进行图像预处理，得到预处理后的单目相机田间环境图；

其中，所述图像预处理包括：滤波处理、降噪处理和/或锐化处理。

4.一种基于单目相机的农业无人车障碍物感知装置，其特征在于，包括：处理模块，用于将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图；

检测模块，用于在所述环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息；

其中，所述目标像素点是指环境图像深度图中，深度值小于或等于预设深度阈值的像素点；

其中，所述预设深度预测网络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的；

其中，所述预设深度预测网络包括：预设上层粗提取网络和预设下层精提取细化网络；

所述装置具体用于：

构建上层粗提取网络；

将每个单目相机田间环境样本图像输入所述上层粗提取网络进行训练，输出每个单目相机田间环境样本图像对应的预测深度值；

利用预设损失函数，根据所述预测深度值和所述单目相机田间环境样本图像对应的真实深度值，计算损失值；

在所述损失值小于预设损失阈值时，停止训练，得到训练好的预设上层粗提取网络；

所述装置具体用于：

将每个单目相机田间环境样本图像输入所述训练好的预设上层粗提取网络，得到每个单目相机田间环境样本图像对应的粗略深度图；

构建下层精提取细化网络；

将单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的粗略深度图输入所述下层精提取细化网络进行训练，得到每个单目相机田间环境样本图像对应的预测深度值；

利用预设损失函数，根据所述预测深度值和所述单目相机田间环境样本图像对应的真实深度值，计算损失值；

在所述损失值小于预设损失阈值时，停止训练，得到训练好的预设下层精提取细化网络；

其中，所述预设损失函数，具体为：*

其中，y表示预测深度值，y 表示所述单目相机田间环境样本图像对应的真实深度值，y*

和y在索引为i时都有n个像素， 为像素i处的预测值yi和真实值 之间的差值。

5.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述基于单目相机的农业无人车障碍物感知方法的步骤。

6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至3任一项所述基于单目相机的农业无人车障碍物感知方法的步骤。

说明书

基于单目相机的农业无人车障碍物感知方法及装置

技术领域

[0001] 本发明涉及信息处理技术领域，尤其涉及基于单目相机的农业无人车障碍物感知方法及装置。

背景技术

[0002] 农业产业中对智能无人车的需求与日俱增，而田间场景又有其特殊性。田间障碍物多为柔性障碍，可承受一定程度的变形。由于田间通道狭窄，使用现有传统避障方法的农
业无人车很容易陷入进退两难的困境，即避障转弯半径不足，且物体属性未知无法跨过。

[0003] 而现有技术中一般在无人车的四角使用多台激光雷达或者双目相机来辅助探测盲区，但是由于激光雷达和双目相机虽然能实现高精度检测，但是其采购成本高昂，并且激
光雷达内部结构非常精密，田间颠簸路段容易对其造成损害，而农户的购买力相对较低，因
此在农业无人车的成本较高的情况下，则很难得到大规模的普及应用。

[0004] 因此，如何更好的实现农业无人机避障已经成为业界亟待解决的问题。

发明内容

[0005] 本发明实施例提供基于单目相机的农业无人车障碍物感知方法及装置，用以解决上述背景技术中提出的技术问题，或至少部分解决上述背景技术中提出的技术问题。

[0006] 第一方面，本发明实施例提供一种基于单目相机的农业无人车障碍物感知方法，包括：

[0007] 将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图；

[0008] 在所述环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息；

[0009] 其中，所述目标像素点是指环境图像深度图中，深度值小于或等于预设深度阈值的像素点；

[0010] 其中，所述预设深度预测网络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的。

[0011] 更具体的，所述预设深度预测网络包括：预设上层粗提取网络和预设下层精提取细化网络。

[0012] 更具体的，在所述将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图的步骤之前，所述方法还包括：

[0013] 构建上层粗提取网络；

[0014] 将每个单目相机田间环境样本图像输入所述上层粗提取网络进行训练，输出每个单目相机田间环境样本图像对应的预测深度值；

[0015] 利用预设损失函数，根据所述预测深度值和所述单目相机田间环境样本图像对应的真实深度值，计算损失值；

[0016] 在所述损失值小于预设损失阈值时，停止训练，得到训练好的预设上层粗提取网络。

[0017] 更具体的，在所述得到训练好的预设上层粗提取网络的步骤之后，所述方法还包括:

[0018] 将每个单目相机田间环境样本图像输入所述训练好的预设上层粗提取网络，得到每个单目相机田间环境样本图像对应的粗略深度图；

[0019] 构建下层精提取细化网络；将单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的粗略深度图输入所述下层精提取细化网络进行训练，得到每个单目相机
田间环境样本图像对应的预测深度值；

[0020] 利用预设损失函数，根据所述预测深度值和所述单目相机田间环境样本图像对应的真实深度值，计算损失值；

[0021] 在所述损失值小于预设损失阈值时，停止训练，得到训练好的预设下层精提取细化网络。

[0022] 更具体的，所述预设损失函数，具体为：

[0023]

[0024]

[0025] 其中，y表示预测深度值，y*表示所述单目相机田间环境样本图像对应的真实深度*
值，y和y 在索引为i时都有n个像素， 为像素i处的预测值yi和真实值
之间的差值。

[0026] 更具体的，在所述将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息的步骤之前，所述方法还包括:

[0027] 将携带障碍物标签的单目相机田间环境样本图像输入目标检测网络进行训练，当满足预设训练条件时，停止训练，得到训练好的预设目标检测网络。

[0028] 更具体的，在所述将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图的步骤之前，所述方法还包括：

[0029] 获取单目相机田间环境图像初始图像；

[0030] 将所述单目相机田间环境图像初始图像进行图像预处理，得到预处理后的单目相机田间环境图；

[0031] 其中，所述图像预处理包括：滤波处理、降噪处理和/或锐化处理。

[0032] 第二方面，本发明实施例提供一种基于单目相机的农业无人车障碍物感知装置，包括：

[0033] 处理模块，用于将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图；

[0034] 检测模块，用于在所述环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间环境图像输入预设目标检测网络，得到障碍
物信息；

[0035] 其中，所述目标像素点是指环境图像深度图中，深度值小于或等于预设深度阈值的像素点；

[0036] 其中，所述预设深度预测网络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的。

[0037] 第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述基
于单目相机的农业无人车障碍物感知方法的步骤。

[0038] 第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述基于单目相机的农业无人车障
碍物感知方法的步骤。

[0039] 本发明实施例提供的基于单目相机的农业无人车障碍物感知方法及装置，通过直接对单目相机田间环境图像进行分析，若检测到环境图像深度图中目标像素点所构成连通
区域的面积超过预设面积阈值的情况下，测判断该田间环境图像中可能存在障碍物，再将
其单目相机田间环境图像输入预设目标检测网络，得到障碍物信息，实现障碍物感知本发
明实施例中仅仅需要单目相机获取的图像既可以完成深度图预测，实现无人车与障碍物的
距离判断，并且使用深度双阈值方法来筛选障碍物，减少目标检测网络的使用频率，减少计
算资源消耗，减缓无人车电池电量损耗速度。

附图说明

[0040] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发
明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根
据这些附图获得其他的附图。

[0041] 图1为本发明一实施例中所描述的基于单目相机的农业无人车障碍物感知方法流程示意图；

[0042] 图2为本发明一实施例所描述的深度估计网络结构训练图；

[0043] 图3为本发明一实施例所描述的单目图像避障方法流程图；

[0044] 图4为本发明一实施例所描述基于单目相机的农业无人车障碍物感知装置示意图；

[0045] 图5为本发明一实施例所描述的电子设备结构示意图。

具体实施方式

[0046] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员
在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0047] 图1为本发明一实施例中所描述的基于单目相机的农业无人车障碍物感知方法流程示意图，如图1所示，包括：

[0048] 步骤S1，将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图；

[0049] 具体的，本发明实施例中所描述的单目相机田间环境图像可以是指搭载在农业无人车上的单目相机所拍摄的田间环境图像。

[0050] 上述农业无人车上的单目相机具体可以安装在农业无车人的四个角落上，该单目相机仅有一个镜头，且内部无电机，其结构相比之于双目相机、激光雷达简单得多，因此成
本较低，单目相机重量较双目相机以及激光雷达更轻，有利于减轻农业无人车负载，方便其
携带更多的工作设备或喷洒剂。

[0051] 本发明实施例中所描述的预设深度预测网络使用了两个尺度不同的神经网络来进行单目相机田间环境图深度预测：一个是基于单目相机输入的整个图像的较为粗略的全
局网络检测，另一个是从局部出发的细化网络检测，两个网络的输入为同一副图像，粗提取
层的提取结果亦是细化网络的输入之一，两个网络使用一个损失函数来训练，最终将单目
相机输入图像转化成深度图。

[0052] 本发明实施例在得到深度图后，可以有效确定无人车与障碍物的距离信息。

[0053] 并且所述预设深度预测网络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的。

[0054] 步骤S2，在所述环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息；

[0055] 其中，所述目标像素点是指环境图像深度图中，深度值小于或等于预设深度阈值的像素点；

[0056] 具体的，本发明实施例中所描述的预设面积阈值和预设深度阈值均是可以根据历史经验数据预先确定的。

[0057] 本发明实施例中通过两个预设的预设面积阈值和预设深度阈值对环境图像深度图进行筛选，减少目标检测网络的使用频率，减少计算资源消耗，减缓无人车电池电量损耗
速度。

[0058] 当在所述环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，则说明该单目相机田间环境图像中可能存在障碍物。

[0059] 此时将单目相机田间环境图像输入预设目标检测网络，得到障碍物信息，该障碍物信息可以是指障碍物所处区域，具体可以在单目相机田间环境图像上绘制边界框,确定
障碍物。

[0060] 本发明实施例中所描述的预设目标检测网络从农业无人车单目相机获取的RGB图像数据标注并训练任意目标检测网络所训练得到的，该目标检测网络可以是指YOLO网络
等。

[0061] 其中，所述预设深度预测网络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的。

[0062] 具体的，本发明实施例中所描述的所述单目相机田间环境样本图像对应的真实深度值可以在采集单目相机田间环境样本图像的过程中，通过双目摄像头或者激光雷达同步
获取的对应真实深度值。

[0063] 本发明实施例通过直接对单目相机田间环境图像进行分析，若检测到环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，测判断该田间环境
图像中可能存在障碍物，再将其单目相机田间环境图像输入预设目标检测网络，得到障碍
物信息，实现障碍物感知，本发明实施例中仅仅需要单目相机获取的图像既可以完成深度
图预测，实现无人车与障碍物的距离判断，并且使用深度双阈值方法来筛选障碍物，减少目
标检测网络的使用频率，减少计算资源消耗，减缓无人车电池电量损耗速度。

[0064] 在上述实施例的基础上，所述预设深度预测网络包括：预设上层粗提取网络和预设下层精提取细化网络。

[0065] 具体的，预设深度预测网络Netd的第一部分为预设上层粗提取网络lcx其中x∈[1,7]，表示粗提取网络层数。第二部分为预设下层精提取细化网络lry，其中y∈[1,3]，表示精
提取网络层数。预设上层粗提取网络由7个处理层构成。lc1卷积核的尺度为11*11，步幅
stride为4，通道数channel为96，后接一个2*2的最大池化层。lc2卷积核为5*5，channel为
256，后接2*2的最大池化层。lc3到lc5卷积核均为3*3，channel依次为384、384、256，lc6、lc7为
全连接层输出个数为4096和1，所有的最终输出层的隐藏层均使用ReLU激活，最终输出分辨
率是输入的1/4，实现对图像全局特征的粗提取。预设下层精提取细化网络由4个处理层组
成，lr1卷积核尺寸为9*9，stride为2，后接一个2*2的最大池化层，channel为63。之后则是将
这63个通道和粗特征提取网络的1通道输出结果连结起来作为卷积层lr2的输入channel，其
值为64，卷积层lr3使用5*5卷积核和0填充来维持形状大小不发生改变，最后再经过5*5的卷
积层lr4即可以得到最后的深度图结果。所有的除最后一层外的隐单元使用ReLU激活函数非
线性激活。

[0066] 确定对数空间内的尺度不变均方误差。使用尺度不变误差来测量场景中点之间的关系，而不考虑绝对全局尺度。

[0067]

[0068] 是使给定的(y,y*)误差最小化的a值。

[0069] 其中，y表示预测深度值，y*表示由双目相机深度摄像头获得的单目相机田间环境* a
样本图像对应的真实深度值，y和y 在索引为i时都有n个像素。对于任意的预测值y，e是最
*
能使它与真实值y 相匹配的尺度，y的所有尺度倍数都有相同的误差，因此存在尺度不变
性。可以令 为像素i处的预测值yi和真实值 之间的差异，则

[0070]

[0071] 该等式通过比较输出中成对像素i、j之间的关系来表示误差：为了具有低误差，预测中的每对像素的深度差必须与真值中对应对像素的深度差相似。

[0072] 由尺度不变误差得到预设损失函数。

[0073]

[0074]

[0075] 最终输出为logy，既最后的线性层预测了深度的对数值。通常取λ＝0.5，来获得良好的预测精度和输出质量。

[0076] 在上述实施例的基础上，在所述将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图的步骤之前，所述方法还包括：

[0077] 将每个单目相机田间环境样本图像输入上层粗提取网络进行训练，输出每个单目相机田间环境样本图像对应的预测深度值；

[0078] 利用预设损失函数，根据所述预测深度值和所述单目相机田间环境样本图像对应的真实深度值，计算损失值；

[0079] 在所述损失值小于预设损失阈值时，停止训练，得到训练好的预设上层粗提取网络。

[0080] 具体的，将每个单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值输入到lc1，直至lc5完成对应的卷积运算和池化运算,完成对图像深度特征
的粗提取，将lc5得到的结果输入到全连接层lc6，从lc7得到粗提取网络的深度预测值y，之后
* *
以前述预设损失函数L(y,y)为依据进行多次“前向传播——反向传播”，当L(y,y)输出值
小于预设损失阈值时，停止训练，得到训练好的预设上层粗提取网络。

[0081] 在上述实施例的基础上，在所述得到训练好的预设上层粗提取网络的步骤之后，所述方法还包括:

[0082] 将每个单目相机田间环境样本图像输入预设上层粗提取网络，得到每个单目相机田间环境样本图像对应的粗略深度图；

[0083] 将单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的粗略深度图输入下层精提取细化网络进行训练，得到每个单目相机田间环境样本图像对应的预测
深度值；

[0084] 利用预设损失函数，根据所述预测深度值和所述单目相机田间环境样本图像对应的真实深度值，计算损失值；

[0085] 在所述损失值小于预设损失阈值时，停止训练，得到训练好的预设下层精提取细化网络。

[0086] 将单目相机田间环境样本图像输入到下层精提取细化网中的lr1进行对应的卷积运算和池化运算，提取特征；将lr1得到的特征和粗略深度图连结输入到lr2，直至lr4，得到精
*
提取层输出的预测结果。以L(y,y)为依据进行若干次“前向传播——反向传播”计算，直至
*
L(y,y)输出满足要求，在所述损失值小于预设损失阈值时，停止训练，得到训练好的预设
下层精提取细化网络。

[0087] 其中，上述的粗略深度图可以是指单目相机田间环境样本图像输入训练的预设上层粗提取网络得到的每个单目相机田间环境样本图像对应的粗略深度图。

[0088] 在训练过程中，大多数深度图都会有一些缺失值，特别是在靠近物体边界的地方。可以简单地将其屏蔽，只在有效点上评估损失，既用具有目标深度的像素个数替换n，并排
除没有深度值的像素i来进行求和。

[0089] 图2为本发明一实施例所描述的深度估计网络结构训练图，如图2所示，图中虚线表示在训练精提取网络时，不通过粗提取网络反向传播。一方面是基于单目相机输入的整
个图像的较为粗略的全局网络检测，另一房间是从局部出发的细化网络检测，两个网络的
输入为同一副图像，粗提取层的提取结果亦是细化网络的输入之一，两个网络使用一个损
失函数来训练，最终将单目相机输入图像转化成深度图

[0090] 本发明实施例通过对深度预测网络进行训练，从而实现对实现使用单目相机估计深度的目标，得到单目相机田间环境图的环境图像深度图，从而可以有效实现障碍物的检
测。。

[0091] 在上述实施例的基础上，在所述将所述单目相机田间环境图像输入预设目标检测网络，得到障碍物信息的步骤之前，所述方法还包括:

[0092] 将携带障碍物标签的单目相机田间环境样本图像输入目标检测网络进行训练，当满足预设训练条件时，停止训练，得到训练好的预设目标检测网络。

[0093] 具体的，本发明实施例中所描述的目标检测网络可以是指YOLO网络，本发明实施例中所描述的预设训练条件可以是指满足预设训练次数或者预设训练时间，例如训练满
5000次或者训练满30分钟。

[0094] 本发明实施例中所描述的目标检测网络可以有效识别出图片中障碍物在边界框上标出障碍物。

[0095] 在上述实施例的基础上，在所述将单目相机田间环境图像输入预设深度预测网络，得到环境图像深度图的步骤之前，所述方法还包括：

[0096] 获取单目相机田间环境图像初始图像；

[0097] 将所述单目相机田间环境图像初始图像进行图像预处理，得到预处理后的单目相机田间环境图；

[0098] 其中，所述图像预处理包括：滤波处理、降噪处理和/或锐化处理。

[0099] 图3为本发明一实施例所描述的单目图像避障方法流程图，如图3所示，首先使用单目相机获取图像，然后对单目相机获取图像进行预处理，将预处理后的图像送入深度预
测网络，输出深度值，然后使用Δ1阈值处理模块判断深度图中深度小于或等于Δ1的像素
点，使用Δ2阈值处理模块判断满足Δ1阈值处理模块要求的像素点形成的连通面基是否大
于Δ2，在预处理后的图像中使用目标检测网络判断满足Δ2阈值处理模块要求区域对应的
名称属性，将深度值、物体名称属性送入避障模块，避障模块调用相关避障方式进行避障。

[0100] 本发明实施例通过直接对单目相机田间环境图像进行分析，若检测到环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，测判断该田间环境
图像中可能存在障碍物，再将其单目相机田间环境图像输入预设目标检测网络，得到障碍
物信息，实现障碍物感知，本发明实施例中仅仅需要单目相机获取的图像既可以完成深度
图预测，实现无人车与障碍物的距离判断，并且使用深度双阈值方法来筛选障碍物，减少目
标检测网络的使用频率，减少计算资源消耗，减缓无人车电池电量损耗速度。

[0101] 图4为本发明一实施例所描述基于单目相机的农业无人车障碍物感知装置示意图，如图4所示，包括：处理模块410、检测模块420；其中，处理模块410用于将单目相机田间
环境图像输入预设深度预测网络，得到环境图像深度图；其中，检测模块420用于在所述环
境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单
目相机田间环境图像输入预设目标检测网络，得到障碍物信息；其中，所述目标像素点是指
环境图像深度图中，深度值小于或等于预设深度阈值的像素点；其中，所述预设深度预测网
络是根据单目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度
值训练得到的。

[0102] 本发明实施例提供的装置是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。

[0103] 本发明实施例通过直接对单目相机田间环境图像进行分析，若检测到环境图像深度图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，测判断该田间环境
图像中可能存在障碍物，再将其单目相机田间环境图像输入预设目标检测网络，得到障碍
物信息，实现障碍物感知，本发明实施例中仅仅需要单目相机获取的图像既可以完成深度
图预测，实现无人车与障碍物的距离判断，并且使用深度双阈值方法来筛选障碍物，减少目
标检测网络的使用频率，减少计算资源消耗，减缓无人车电池电量损耗速度。

[0104] 图5为本发明一实施例所描述的电子设备结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器
(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540
完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行如下方法：将单目
相机田间环境图像输入预设深度预测网络，得到环境图像深度图；在所述环境图像深度图
中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间环
境图像输入预设目标检测网络，得到障碍物信息；其中，所述目标像素点是指环境图像深度
图中，深度值小于或等于预设深度阈值的像素点；其中，所述预设深度预测网络是根据单目
相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的。

[0105] 此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本
发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以
软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以
使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施
例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，
Read‑Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种
可以存储程序代码的介质。

[0106] 本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被
计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：将单目相机田
间环境图像输入预设深度预测网络，得到环境图像深度图；在所述环境图像深度图中目标
像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间环境图像
输入预设目标检测网络，得到障碍物信息；其中，所述目标像素点是指环境图像深度图中，
深度值小于或等于预设深度阈值的像素点；其中，所述预设深度预测网络是根据单目相机
田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到的。

[0107] 本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法，例如包括：将单
目相机田间环境图像输入预设深度预测网络，得到环境图像深度图；在所述环境图像深度
图中目标像素点所构成连通区域的面积超过预设面积阈值的情况下，将所述单目相机田间
环境图像输入预设目标检测网络，得到障碍物信息；其中，所述目标像素点是指环境图像深
度图中，深度值小于或等于预设深度阈值的像素点；其中，所述预设深度预测网络是根据单
目相机田间环境样本图像和所述单目相机田间环境样本图像对应的真实深度值训练得到
的。

[0108] 以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单
元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其
中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性
的劳动的情况下，即可以理解并实施。

[0109] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上
述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该
计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指
令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施
例或者实施例的某些部分所述的方法。

[0110] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可
以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；
而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和
范围。