无人船沿边清扫路径规划方法、装置、设备及存储介质

摘要

本发明实施例公开了一种无人船沿边清扫路径规划方法、装置、设备及存储介质，涉及人工智能技术领域。该方法实时获取无人船周围区域的待处理图像；对待处理图像进行分割以得到水岸分割图像，将水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像并基于该图像建立无人船的局部地图；根据障碍目标点在局部地图上的分布以及沿边清扫距离实时规划无人船在局部地图内的局部沿边清扫路径。本发明的无人船基于无人船环境感知图像中感知的障碍目标点以及无人船沿边清扫距离，实时规划无人船在局部地图内的局部沿边清扫路径，能够适应复杂环境带来的影响，避免了出现无人船碰撞事故。

权利要求

1.一种无人船沿边清扫路径规划方法，其特征在于，包括：

接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离；

在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像；

对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像；

基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图，其中所述局部地图中包含所述无人船环境感知图像中感知的障碍目标点；

获取所述局部地图上预设范围内的多个障碍目标点；

对多个所述障碍目标点进行分割以及平滑处理以得到多个邻近障碍目标点；

计算多个所述邻近障碍目标点的法向角，并将多个所述邻近障碍目标点朝着其所对应的法向角方向平行移动所述沿边清扫距离以得到多个沿边清扫路径点，将多个所述沿边清扫路径点依次连接以得到无人船在所述局部地图内的局部沿边清扫路径；

计算所述局部沿边清扫路径上的多个沿边清扫路径点与所述初始沿边清扫路径的欧式距离；

筛选出所述初始沿边清扫路径上与多个所述沿边清扫路径点对应欧式距离最小的点作为待更新路径点，将多个所述沿边清扫路径点更新至所述待更新路径点直至到达所述初始沿边清扫路径的终点。

2.根据权利要求1所述的无人船沿边清扫路径规划方法，其特征在于，所述对所述待处理图像进行预处理的步骤包括：对所述待处理图像进行图像增强处理以得到增强的待处理图像；

将所述增强的待处理图像进行拼接合成处理以得到融合图像；

对所述融合图像进行特征提取以得到图像特征。

3.根据权利要求1所述的无人船沿边清扫路径规划方法，其特征在于，所述将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像的步骤包括：对所述水岸分割图像进行滤波以及边界限定以得到水岸分割后处理图像；

基于相机标定矩阵将所述水岸分割后处理图像映射至无人船坐标系内以得到无人船环境感知图像。

4.根据权利要求1所述的无人船沿边清扫路径规划方法，其特征在于，所述基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图的步骤包括：初始化局部地图并获取无人船在世界坐标系中的偏移角度以及平移向量；

基于所述偏移角度以及平移向量将所述无人船环境感知图像转换至世界坐标系下以得到世界环境感知图像；

对所述世界环境感知图像进行栅格化后更新至所述初始化的局部地图中作为无人船的局部地图。

5.根据权利要求1所述的无人船沿边清扫路径规划方法，其特征在于，在对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像之前，所述无人船沿边清扫路径规划方法还包括：获取预先标记的训练集；

将所述训练集输入至待训练水岸分割神经网络模型中，通过损失函数计算损失值；

根据所述损失值调整所述待训练水岸分割神经网络模型的参数以得到所述预训练的水岸分割神经网络模型。

6.一种无人船沿边清扫路径规划装置，其特征在于，包括：

接收单元，用于接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离；

第一获取单元，用于在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像；

分割映射单元，用于对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像；

第一建立单元，用于基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图，其中所述局部地图中包含所述无人船环境感知图像中感知的障碍目标点；

规划更新单元，用于根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点；

第二获取单元，用于获取所述局部地图上预设范围内的多个障碍目标点；

分割平滑处理单元；用于对多个所述障碍目标点进行分割以及平滑处理以得到多个邻近障碍目标点；

计算平移单元，用于计算多个所述邻近障碍目标点的法向角，并将多个所述邻近障碍目标点朝着其所对应的法向角方向平行移动所述沿边清扫距离以得到多个沿边清扫路径点，将多个所述沿边清扫路径点依次连接以得到无人船在所述局部地图内的局部沿边清扫路径；

计算单元，用于计算所述局部沿边清扫路径上的多个沿边清扫路径点与所述初始沿边清扫路径的欧式距离；以及筛选更新单元，用于筛选出所述初始沿边清扫路径上与多个所述沿边清扫路径点对应欧式距离最小的点作为待更新路径点，将多个所述沿边清扫路径点更新至所述待更新路径点直至到达所述初始沿边清扫路径的终点。

7.一种无人船沿边清扫路径规划设备，其特征在于，所述无人船沿边清扫路径规划设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1‑5中任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时实现如权利要求1‑5中任一项所述的方法。

说明书

无人船沿边清扫路径规划方法、装置、设备及存储介质

技术领域

[0001] 本发明涉及人工智能技术领域，尤其涉及一种无人船沿边清扫路径规划方法、装置、设备及存储介质。

背景技术

[0002] 近年来，随着无人驾驶技术的迅猛发展，无人驾驶市场不断增长，以无人船为例，各类无人船逐渐被推广至水质检测、水面维护、桥梁检测、水体测绘、海事搜救等多种作业场景下，辅助人们工作。感知是无人驾驶技术的基础，在复杂的水面环境下，无人船需要具备灵敏的环境感知能力。由于现有的无人船环境感知能力有限，通常需要人工操作辅助其作业任务，无法实现全天候完全无人自主作业，难以大范围推广与应用。

[0003] 传统方法中无人船基于GPS传感器进行路径导航，但由于GPS传感器本身存在误差，使得无人船无法准确地沿岸边进行清洁作业工作，导致清洁不彻底；并且单独基于GPS的导航方法将无法适应场景变化、水位变化以及新增障碍的复杂情况，且可能出现无人船碰撞事故。

发明内容

[0004] 本发明实施例提供了一种无人船沿边清扫路径规划方法、装置、设备及存储介质，旨在解决现有无人船沿边清扫路径规划方法清洁不彻底以及无法适应复杂情况，可能出现无人船碰撞事故的问题。

[0005] 第一方面，本发明实施例提供了一种无人船沿边清扫路径规划方法，该方法包括：接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离；在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像；对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像；基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图，其中所述局部地图中包含所述无人船环境感知图像中感知的障碍目标点；根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点。

[0006] 第二方面，本发明实施例还提供了一种无人船沿边清扫路径规划装置，该装置包括：接收单元，用于接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离；第一获取单元，用于在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像；分割映射单元，用于对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像；第一建立单元，用于基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图，其中所述局部地图中包含所述无人船环境感知图像中感知的障碍目标点；规划更新单元，用于根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点。

[0007] 第三方面，本发明实施例还提供了一种设备，所述设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行上述计算机程序时实现上述方法。

[0008] 第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时实现上述方法。

[0009] 本发明实施例提供了一种无人船沿边清扫路径规划方法、装置、设备及存储介质。其中所述方法通过接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离；在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像；对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像；基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图，其中所述局部地图中包含所述无人船环境感知图像中感知的障碍目标点；根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点。本发明的无人船基于无人船环境感知图像中感知的障碍目标点以及无人船沿边清扫距离，实时规划无人船在局部地图内的局部沿边清扫路径，能够适应GPS误差，沿岸场景的变化、水位变化以及新增的障碍对无人船导航带来的影响，避免了出现无人船碰撞事故，从而实现了无人船自主导航和智能化沿边清扫。

附图说明

[0010] 为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0011] 图1为本发明实施例提供的一种无人船沿边清扫路径规划方法流程示意图；

[0012] 图2为图1所示步骤S3之前的步骤的流程示意图；

[0013] 图3为图1所示步骤S3的子步骤的流程示意图；

[0014] 图4为图1所示步骤S4的子步骤的流程示意图；

[0015] 图5为图1所示步骤S5的子步骤的流程示意图；

[0016] 图6为本发明实施例提供的一种无人船沿边清扫路径规划装置的示意性框图；

[0017] 图7为本发明实施例提供的一种无人船沿边清扫路径规划设备的示意性框图。

具体实施方式

[0018] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0019] 应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

[0020] 还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

[0021] 还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

[0022] 如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

[0023] 本发明实施例提出的技术方案可应用于智慧科技中以推动智慧城市的建设。

[0024] 请参阅图1，图1是本发明实施例提供的无人船沿边清扫路径规划方法的流程示意图。如图1所示，该方法包括以下步骤S1‑S5。

[0025] S1，接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离。

[0026] 具体实施中，接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离。具体地，在一实施例中，可通过平板、手机、电脑、遥控器等终端设备设定沿边清扫路径，并设定无人船航的沿边清扫距离。

[0027] 具体地，无人船接收到沿边清扫路径设定请求后，在沿边清扫路径的起点，用户通过操作终端设备，进入岸线巡检任务遥控标点模式，遥控无人船沿着沿边清扫路径航行形成一条曲线，在航行中，无人船通过搭载的全球定位系统实时获取当前位置信息并存储得到一系列的位置坐标点(如X[x1，x2...xn])并进行记录。当完成沿巡检路线航行后，通过将已存储位置坐标信息进行滤波，依次连接形成沿边清扫路径L，并在保存路线时通过传感器感知设定水岸相对于路线航向的方位位置。

[0028] 所述将已存储位置坐标信息进行滤波的步骤包括：删去两两相邻点之间距离小于预设值的点，同时对相邻的距离大于预设值的两点之间利用插值的方法进行路径点补充，最终得到期望的符合要求的点队列。

[0029] 需要说明的是，预先设定无人船上电时刻位置 为原点，正北方向为 轴正方向，正东方向为 轴正方向，建立世界坐标系；以无人船前朝向为 轴正方向，无人船右朝向为轴正方向建立无人船坐标系。

[0030] S2，在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像。

[0031] 具体实施中，在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像。具体地，在一实施例中，无人船依据步骤S1中设定的初始沿边清扫路径通过多台摄像机对无人船周围环境激进行摄像以获取无人船周围区域的图像，摄像机以一定的帧率对无人船周围区域的图像进行采集，得到固定分辨率的图像。无人船周围区域的图像反映当前无人船周围的障碍物以及岸线分布情况，以便后续无人船对待处理图像进行视觉感知处理以根据视觉感知结果规划沿边清扫路径。

[0032] S3，对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像。

[0033] 具体实施中，对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像。具体地，在一实施例中，水岸分割神经网络模型是基于深度学习技术的神经网络模型，通过对图像中每个像素进行分类以得到图像中各个像素所对应的语义信息，该语义信息包含但不仅限于水域，岸边，船只，障碍，垃圾等。在对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像之前，需要先对水岸分割神经网络模型进行训练以得到预训练的水岸分割神经网络模型。请参见图2，所述对水岸分割神经网络模型进行训练包括以下步骤S3A‑S3C。

[0034] S3A，获取预先标记的训练集。

[0035] 具体实施中，获取预先标记的训练集。具体地，在一实施例中，预先标记的训练集为无人船预先采集并已经标明水岸分割结果的水面视觉图像集合，通过人工标记方式将图像中的水岸区域以及障碍物进行分割。

[0036] S3B，将所述训练集输入至待训练水岸分割神经网络模型中，通过损失函数计算损失值。

[0037] 具体实施中，将所述训练集输入至待训练水岸分割神经网络模型中，通过损失函数计算损失值。具体地，在一实施例中，将大小为416x416的图像输入至待训练水岸分割神经网络模型中，将标记的水岸分割结果和模型输出结果统一划分为52x52格，分别进行对比，通过Seg_Loss损失函数计算模型损失值。Seg_Loss的计算公式如下：

[0038]

[0039] 其中，N为划分格子的总数，C为模型的最大分类数量， 为第i个格子关于第j种分类目标的标记结果，符合第j种分类目标的标记结果为1，不符合时为0。 为第i个格子关于第j种分类目标的模型预测概率，预测概率的范围在[0，1]。

[0040] S3C，根据所述损失值调整所述待训练水岸分割神经网络模型的参数以得到所述预训练的水岸分割神经网络模型。

[0041] 具体实施中，将所述训练集输入至待训练水岸分割神经网络模型中，通过损失函数计算损失值。具体地，在一实施例中，根据模型损失值的大小调整模型的优化速率，当模型损失值较低时，降低模型优化速率。当模型训练过程中损失值满足模型的预设收敛条件时，便可终止训练得到正确进行水岸分割图像的神经网络模型。最终得到能够正确分割出待处理图像中的水和障碍（包括水中的障碍、岸边的障碍以及岸线障碍）的模型。

[0042] 具体地，在一实施例中，请参见图3，所述对所述待处理图像进行预处理的步骤具体包括：步骤S311‑S313。

[0043] S311，对所述待处理图像进行图像增强处理以得到增强的待处理图像。

[0044] 具体实施中，对所述待处理图像进行图像增强处理以得到增强的待处理图像。具体地，在一实施例中，图像图像增强处理操作包括对图像进行降噪处理，摄像头失真校正处理，背景光线自适应调节处理，图像尺寸变换处理以及雨雾检测及去除处理。通过图像图像增强处理能够提高待处理图像的数据质量，确保输入至模型的待处理图像能被有效提取和识别，提高对障碍识别的准确性。

[0045] S312，将所述增强的待处理图像进行拼接合成处理以得到融合图像。

[0046] 具体实施中，将所述增强的待处理图像进行拼接合成处理以得到融合图像。具体地，在一实施例中，将多台摄像机从不同角度拍摄得到的待处理图像 利用相邻摄像头的重叠区域通过公式（1）拼接合成一张完整的融合图像 ，通过一张融合图像 便可反应出此刻无人船周围障碍的情况。

[0047]

[0048] S313，对所述融合图像进行特征提取以得到图像特征。

[0049] 具体实施中，对所述融合图像进行特征提取以得到图像特征。具体地，在一实施例中，将融合图像输入 至传统的SIFT（Scale‑invariant feature transform，尺度不变特征变换）特征提取和基于神经网络的图像特征提取模型以提取得到图像特征 ，其中特征提取的计算公式为公式（2）。

[0050]

[0051] 在一实施例中，预训练的水岸分割神经网络模型 包含特征提取模块，首先对图像特进行4倍上采样得到深层特征 ，再通过1x1卷积以减少通道数得到浅
层特征 ；下一步将深层特征 和浅层特征 结合后进行3x3卷
积得到融合特征 ，将融合特征 进行注意力计算后进行8倍上采样
以获得水岸分割图像 ，其中，特征提取的计算公式为公式（3）。

[0052]    （3）

[0053] 具体地，在一实施例中，所述将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像的步骤具体包括：步骤S321‑S322。

[0054] S321，对所述水岸分割图像进行滤波以及边界限定以得到水岸分割后处理图像。

[0055] 具体实施中，对所述水岸分割图像进行滤波以及边界限定以得到水岸分割后处理图像。具体地，在一实施例中，通过对水岸分割图像 进行SAVGOL滤波以平滑水岸分割图像的边界，通过边界限定以确定水岸分割图像边界的范围，对在边界范围外的图像进行滤除以得到水岸分割后处理图像 。为后续无人船沿边清扫路径规划提供准确的数据基础。滤波及边界限定的计算公式为公式（4）。

[0056]

[0057] 在一实施例中，平滑滤波器可选择使用GAUSS滤波器或MEDIAN滤波器，在此对滤波器的选择不作具体地限定。

[0058] S322，基于相机标定矩阵将所述水岸分割后处理图像映射至无人船坐标系内以得到无人船环境感知图像。

[0059] 具体实施中，基于相机标定矩阵将所述水岸分割后处理图像映射至无人船坐标系内以得到无人船环境感知图像。具体地，在一实施例中，水岸分割后处理图像 为基于相机坐标系而得到的结果，故需要将其转换至无人船坐标系内以得到无人船环境感知图像，用于后续根据无人船环境感知图像建立无人船的局部地图。无人船环境感知图像的计算公式为公式（5）。

[0060]

[0061] 其中，相机标定矩阵 为3X3的矩阵，如公式（6）所示，由八个变量和一个常数1组成。

[0062]

[0063] S4，基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图。

[0064] 具体实施中，基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图，其中所述局部地图中包含所述无人船环境感知图像中感知的障碍目标点。具体地，在一实施例中，在初始时刻，以无人船当前位置为原点，正北方向为x轴正方向，正东方向为y轴正方方向，建立世界坐标系，得到初始时刻的局部地图为x轴正负50米，y轴正负50米的矩形地图。

[0065] 在一实施例中，请参见图4，以上步骤S4具体包括：步骤S411‑S413。

[0066] S411，初始化局部地图并获取无人船在世界坐标系中的偏移角度以及平移向量。

[0067] 具体实施中，初始化局部地图并获取无人船在世界坐标系中的偏移角度以及平移向量。具体地，在一实施例中，初始化局部地图的步骤包括，访问地图数据库以获取历史地图数据，将历史地图数据复制给局部地图M，如未查询到历史地图数据，则初始化局部地图M为0。无人船获取通过惯性测量单元和GPS测量出的无人船在世界坐标系中的偏移角度以及平移向量 用于后续将无人船环境感知图像转换至世界坐标系下以得到世界环境感知图像。

[0068] S412，基于所述偏移角度以及平移向量将所述无人船环境感知图像转换至世界坐标系下以得到世界环境感知图像。

[0069] 具体实施中，基于所述偏移角度以及平移向量将所述无人船环境感知图像转换至世界坐标系下以得到世界环境感知图像。具体地，在一实施例中，通过无人船在世界坐标系中的偏移角度 以及平移向量 计算得到旋转矩阵 和平移矩阵 ，再将无人船环境感知图像 通过旋转矩阵 和平移矩阵 转变到世界坐标系中以得
到世界环境感知图像 。其中旋转矩阵 和平移矩阵 的表达式为公式（7）。

[0070]

[0071] 将无人船环境感知图像 转化到世界坐标系得到世界环境感知图像的表达式为公式（8）。

[0072]

[0073] S413，对所述世界环境感知图像进行栅格化后更新至所述初始化的局部地图中作为无人船的局部地图。

[0074] 具体实施中，对所述世界环境感知图像进行栅格化后更新至所述初始化的局部地图中作为无人船的局部地图。具体地，在一实施例中，在第i时刻，将 进行栅格化，放入到局部地图M中，进行i时刻的局部地图 更新。当无人船运动到下一时刻i+1时，以新的位置 为原点，建立新的局部地图 ，下一时刻的局部地图 中保留上一时刻局部地图 的数据，局部地图更新的公式为公式（9）。

[0075]

[0076] S5，根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点。

[0077] 具体实施中，根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点。具体地，在一实施例中，请参见图5，所述根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径的步骤具体包括：步骤S511‑S513。

[0078] S511，获取所述局部地图上预设范围内的多个障碍目标点。

[0079] 具体实施中，获取所述局部地图上预设范围内的多个障碍目标点。具体地，在一实施例中，从局部地图中，在无人船坐标系x轴正负六米，y轴正负六米的矩形区域内获取无人船周围的多个障碍目标点 。在本实施例中预设范围为无人船坐标系x轴正负六米，y轴正负六米的矩形区域，用户也可根据实际需要来设定其他预设范围。

[0080] S512，对多个所述障碍目标点进行分割以及平滑处理以得到多个邻近障碍目标点。

[0081] 具体实施中，对多个所述障碍目标点进行分割以及平滑处理以得到多个邻近障碍目标点。具体地，在一实施例中，将无人船周围的预设范围通过扇形进行划分，以无人船坐标系y轴正方向为0度，顺时针旋转360度，共划分为20份，每部分区域包含18度，在每部分区域搜索最近障碍目标点，得到m个邻近障碍目标点 (0<=m<=20)。

[0082] 将m个邻近障碍目标点 通过梯度下降法进行平滑处理，循环处理路线10次后得到平滑后邻近目标障碍点 ，i次平滑处理邻近障碍目标点的计算
公式为公式（10）。

[0083]

[0084] 其中，，为平滑超参数。

[0085] S513，计算多个所述邻近障碍目标点的法向角，并将多个所述邻近障碍目标点朝着其所对应的法向角方向平行移动所述沿边清扫距离以得到多个沿边清扫路径点，将多个所述沿边清扫路径点依次连接以得到无人船在所述局部地图内的局部沿边清扫路径。

[0086] 具体实施中，计算多个所述邻近障碍目标点的法向角，并将多个所述邻近障碍目标点朝着其所对应的法向角方向平行移动所述沿边清扫距离以得到多个沿边清扫路径点，将多个所述沿边清扫路径点依次连接以得到无人船在所述局部地图内的局部沿边清扫路径。具体地，在一实施例中，计算平滑后邻近障碍目标点 的法向角，通过计算当前邻近障碍目标点 与下一个邻近障碍目标点 的向量差，再旋转90度得到当前邻近障碍目标点 的法向角 ，路径点 法向角的计算公式为公式（11）。

[0087]

[0088] 其中，arctan为反正切函数，号由无人船在无人船坐标系中的方向确定。 ，为的东方向坐标值和北方向坐标值，+1，+1为 的东方向坐标值和北方向坐标值。

[0089] 将邻近障碍目标点 朝着法向角方向平行移动沿边清扫距离d，得到无人船沿边清扫实时路径点 ，平移操作的计算公式为公式（12）。

[0090]

[0091] 依次连接无人船沿边清扫实时路径 得到无人船局部沿边清扫路径D。

[0092] 在一实施例中，所述基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点的步骤包括：计算所述局部沿边清扫路径上的多个沿边清扫路径点与所述初始沿边清扫路径的欧式距离；筛选出所述初始沿边清扫路径上与多个所述沿边清扫路径点对应欧式距离最小的点作为待更新路径点，将多个所述沿边清扫路径点更新至所述待更新路径点直至到达所述初始沿边清扫路径的终点。

[0093] 本发明实施例的一种无人船沿边清扫路径规划方法通过接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离；在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像；对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像；基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图，其中所述局部地图中包含所述无人船环境感知图像中感知的障碍目标点；根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点。本发明的无人船基于无人船环境感知图像中感知的障碍目标点以及无人船沿边清扫距离，实时规划无人船在局部地图内的局部沿边清扫路径，能够适应GPS误差，沿岸场景的变化、水位变化以及新增的障碍对无人船导航带来的影响，避免了出现无人船碰撞事故，从而实现了无人船自主导航和智能化沿边清扫。

[0094] 图6是本发明实施例提供的一种无人船沿边清扫路径规划装置的示意性框图。如图6所示，对应于以上无人船沿边清扫路径规划方法，本发明还提供一种无人船沿边清扫路径规划装置100。该无人船沿边清扫路径规划装置100包括用于执行上述无人船沿边清扫路径规划方法的单元，该装置可以被配置于台式电脑、平板电脑、手提电脑等终端中。具体地，请参阅图6，该无人船沿边清扫路径规划装置100包括接收单元101、第一获取单元102、分割映射单元103、第一建立单元104以及规划更新单元105。

[0095] 所述接收单元101用于接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离；所述第一获取单元102用于在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像；所述分割映射单元103用于对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像；所述第一建立单元104用于基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图，其中所述局部地图中包含所述无人船环境感知图像中感知的障碍目标点；所述规划更新单元105用于根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点。

[0096] 在一实施例中，无人船沿边清扫路径规划装置100还包括：增强处理单元、拼接合成单元以及特征提取单元。

[0097] 所述增强处理单元用于对所述待处理图像进行图像增强处理以得到增强的待处理图像；所述拼接合成单元用于将所述增强的待处理图像进行拼接合成处理以得到融合图像；所述特征提取单元用于对所述融合图像进行特征提取以得到图像特征。

[0098] 在一实施例中，所述分割映射单元103包括：滤波边界限定单元以及映射单元。

[0099] 所述滤波边界限定单元用于对所述水岸分割图像进行滤波以及边界限定以得到水岸分割后处理图像；所述映射单元用于基于相机标定矩阵将所述水岸分割后处理图像映射至无人船坐标系内以得到无人船环境感知图像。

[0100] 在一实施例中，所述第一建立单元104包括：初始化单元、转换单元以及更新单元。

[0101] 所述初始化单元用于初始化局部地图并获取无人船在世界坐标系中的偏移角度以及平移向量；所述转换单元用于基于所述偏移角度以及平移向量将所述无人船环境感知图像转换至世界坐标系下以得到世界环境感知图像；所述更新单元用于对所述世界环境感知图像进行栅格化后更新至所述初始化的局部地图中作为无人船的局部地图。

[0102] 在一实施例中，所述规划更新单元105包括：第二获取单元、分割平滑处理单元以及计算平移单元。

[0103] 所述第二获取单元用于获取所述局部地图上预设范围内的多个障碍目标点；所述分割平滑处理单元用于对多个所述障碍目标点进行分割以及平滑处理以得到多个邻近障碍目标点；所述计算平移单元用于计算多个所述邻近障碍目标点的法向角，并将多个所述邻近障碍目标点朝着其所对应的法向角方向平行移动所述沿边清扫距离以得到多个沿边清扫路径点，将多个所述沿边清扫路径点依次连接以得到无人船在所述局部地图内的局部沿边清扫路径。

[0104] 在一实施例中，所述规划更新单元105还包括：第一计算单元、筛选更新单元。

[0105] 所述计算单元用于计算所述局部沿边清扫路径上的多个沿边清扫路径点与所述初始沿边清扫路径的欧式距离；所述筛选更新单元用于筛选出所述初始沿边清扫路径上与多个所述沿边清扫路径点对应欧式距离最小的点作为待更新路径点，将多个所述沿边清扫路径点更新至所述待更新路径点直至到达所述初始沿边清扫路径的终点。

[0106] 在一实施例中，所述无人船沿边清扫路径规划装置100还包括：第三获取单元、第二计算单元以及调整单元。

[0107] 所述第三获取单元用于获取预先标记的训练集；所述第二计算单元用于将所述训练集输入至待训练水岸分割神经网络模型中，通过损失函数计算损失值；所述调整单元用于根据所述损失值调整所述待训练水岸分割神经网络模型的参数以得到所述预训练的水岸分割神经网络模型。

[0108] 需要说明的是，所属领域的技术人员可以清楚地了解到，上述无人船沿边清扫路径规划装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

[0109] 上述无人船沿边清扫路径规划装置可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的设备上运行。

[0110] 请参阅图7，图7是本申请实施例提供的一种无人船沿边清扫路径规划设备的示意性框图。该设备300是上位机。其中，上位机可以是平板电脑、笔记本电脑、台式电脑等电子设备。

[0111] 参阅图7，该无人船沿边清扫路径规划设备300包括通过系统总线301连接的处理器302、存储器和网络接口305，其中，存储器可以包括非易失性存储介质303和内存储器304。

[0112] 该非易失性存储介质303可存储操作系统3031和计算机程序3032。该计算机程序3032被执行时，可使得处理器302执行一种无人船沿边清扫路径规划方法。该处理器302用于提供计算和控制能力，以支撑整个设备300的运行。

[0113] 该内存储器304为非易失性存储介质303中的计算机程序3032的运行提供环境，该计算机程序3032被处理器302执行时，可使得处理器302执行一种无人船沿边清扫路径规划方法。

[0114] 该网络接口305用于与其它设备进行网络通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的设备300的限定，具体的设备300可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0115] 其中，所述处理器302用于运行存储在存储器中的计算机程序3032，以实现如下步骤：

[0116] 接收初始沿边清扫路径设定请求，根据所述初始沿边清扫路径设定请求设定无人船的初始沿边清扫路径以及沿边清扫距离；在无人船依据所述初始沿边清扫路径行驶的过程中，实时获取无人船周围区域的图像作为待处理图像；对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像，将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像；基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图，其中所述局部地图中包含所述无人船环境感知图像中感知的障碍目标点；根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径，基于所述局部沿边清扫路径对所述初始沿边清扫路径进行更新直至到达所述初始沿边清扫路径的终点。

[0117] 在一实施例中，所述对所述待处理图像进行预处理的步骤包括：对所述待处理图像进行图像增强处理以得到增强的待处理图像；将所述增强的待处理图像进行拼接合成处理以得到融合图像；对所述融合图像进行特征提取以得到图像特征。

[0118] 在一实施例中，所述将所述水岸分割图像映射至无人船坐标系内以得到包含障碍目标点的无人船环境感知图像的步骤包括：对所述水岸分割图像进行滤波以及边界限定以得到水岸分割后处理图像；基于相机标定矩阵将所述水岸分割后处理图像映射至无人船坐标系内以得到无人船环境感知图像。

[0119] 在一实施例中，所述基于世界坐标系以及所述无人船环境感知图像建立无人船的局部地图的步骤包括：初始化局部地图并获取无人船在世界坐标系中的偏移角度以及平移向量；基于所述偏移角度以及平移向量将所述无人船环境感知图像转换至世界坐标系下以得到世界环境感知图像；对所述世界环境感知图像进行栅格化后更新至所述初始化的局部地图中作为无人船的局部地图。

[0120] 在一实施例中，所述根据所述障碍目标点在所述局部地图上的分布以及所述沿边清扫距离实时规划无人船在所述局部地图内的局部沿边清扫路径的步骤包括：获取所述局部地图上预设范围内的多个障碍目标点；对多个所述障碍目标点进行分割以及平滑处理以得到多个邻近障碍目标点；计算多个所述邻近障碍目标点的法向角，并将多个所述邻近障碍目标点朝着其所对应的法向角方向平行移动所述沿边清扫距离以得到多个沿边清扫路径点，将多个所述沿边清扫路径点依次连接以得到无人船在所述局部地图内的局部沿边清扫路径。

[0121] 在一实施例中，所述将所述局部沿边清扫路径更新至所述初始沿边清扫路径以得到更新沿边清扫路径的步骤包括：计算多个所述沿边清扫路径点与所述初始沿边清扫路径的欧式距离；筛选出所述初始沿边清扫路径上与多个所述沿边清扫路径点对应欧式距离最小的点作为待更新路径点，将多个所述沿边清扫路径点更新至所述待更新路径点以得到更新沿边清扫路径。

[0122] 在一实施例中，在对所述待处理图像进行预处理后输入至预训练的水岸分割神经网络模型进行分割以得到水岸分割图像之前，所述无人船沿边清扫路径规划方法还包括：获取预先标记的训练集；将所述训练集输入至待训练水岸分割神经网络模型中，通过损失函数计算损失值；根据所述损失值调整所述待训练水岸分割神经网络模型的参数以得到所述预训练的水岸分割神经网络模型。

[0123] 应当理解，在本申请实施例中，处理器302可以是中央处理单元  (Central Processing Unit，CPU)，该处理器302还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field‑Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

[0124] 本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。所述计算机可读存储介质可以是非易失性，也可以是易失性。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序被处理器执行时使处理器执行本发明无人船清洁路线规划方的上述任意实施例。

[0125] 所述存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器（Read‑Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的实体存储介质。

[0126] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

[0127] 在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

[0128] 本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

[0129] 该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。

[0130] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。

[0131] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

[0132] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。