基于多任务网络的无人船感知方法及相关设备

摘要

本发明提供了一种基于多任务网络的无人船感知方法及相关设备，方法包括，使用无人船的传感器采集不同条件下的水域场景原始数据；将水域场景原始数据转化为多任务感知网络训练数据；根据多任务感知网络训练数据对多任务感知网络进行训练，得到训练好的多任务感知网络模型；无人船实时运行训练好的多任务感知模型，得到初步感知结果，包含目标检测、水域岸边分界线分割、摄像头脏污识别、船只运动预测、水面垃圾识别、深度估计；对多任务感知模型的感知结果进行融合，得到融合感知结果。本发明的有益效果在于：相对于多个单任务网络相比，多任务网络节约了计算资源又提高了感知的鲁棒性，大大提高了无人船感知环境的准确率和效率。

权利要求

1.一种基于多任务网络的无人船感知方法，其特征在于：包括步骤，S10、使用无人船的传感器采集不同条件下的水域场景原始数据；

S20、将水域场景原始数据转化为多任务感知网络训练数据；

S30、根据多任务感知网络训练数据对多任务感知网络进行训练，得到训练好的多任务感知网络模型；

S40、无人船实时运行训练好的多任务感知模型，得到初步感知结果，包含目标检测、水域岸边分界线分割、摄像头脏污识别、船只运动预测、水面垃圾识别、深度估计；

S50、对多任务感知模型的感知结果进行融合，得到融合感知结果；

步骤S20具体包括，

S21、从水域场景原始数据中获取无人船采集的图像数据，进行数据标注，数据标注包括但不限于目标检测标注、水域岸边分界线分割标注、摄像头脏污标注、船只标注、水面垃圾标注；标注完的数据得到目标检测标签数据集、水域岸边分界线分割标签数据集、摄像头脏污标签数据集、水面垃圾标签数据集；

S22、对水域场景原始数据中的图像数据、激光雷达点云位置数据、毫米波雷达点云位置数据、GPS位置数据、IMU数据进行数据时间同步；

S23、将同步后的激光雷达点云位置数据、毫米波雷达点云位置数据投影到图像上，对投影位置进行高斯核卷积后得到深度估计标签结果；

S24、匹配激光雷达点云位置数据、毫米波雷达点云位置数据和船只标注结果，匹配成功得到船只点云数据，融入船只的GPS位置数据，作为船只运动预测标签结果；

S25、将水域场景原始数据中的所有时刻图像得到的深度估计标签结果及船只运动预测标签结果分别集合，得到深度估计标签数据集及船只运动预测标签数据集。

2.如权利要求1所述的基于多任务网络的无人船感知方法，其特征在于：步骤S10具体包括，S11、对无人船搭载的摄像头进行标定得到摄像头内参，将摄像头与激光雷达进行联合标定得到摄像头外参；

S12、以无人船的上电时刻位置为原点，以无人船前朝向为y 轴正方向，无人船右朝向为x 轴正方向建立无人船坐标系；

S13、在不同水域场景下，无人船采集传感器原始数据；传感器原始数据包括，图像数据、激光雷达点云位置数据、毫米波雷达点云位置数据、GPS位置数据、IMU数据；

S14、在相同水域场景下，无人船在不同天气，不同光线条件，不同季节下采集传感器原始数据；

S15、将多艘无人船的传感器原始数据汇聚后得到用于网络训练的水域场景原始数据。

3.如权利要求2所述的基于多任务网络的无人船感知方法，其特征在于：所述步骤S30具体包括，S31、获取同一时刻的若干张图像数据和对应的标签数据输入到多任务感知网络模型；

S32、通过多任务感知网络模型的主干特征提取网络进行图像特征提取得到全局图像特征；

S33、将全局图像特征放入多任务感知网络模型的子任务分支网络，得到子任务感知结果；

S34、对子任务感知结果进行模型损失计算得到子任务的模型损失值；

S35、将每个子任务的模型损失值相加，得到模型损失值，将模型损失值进行模型反向传播，更新子任务网络权重和主干特征提取网络权重，保存该次多任务感知模型权重；

S36、将新的多任务感知模型权重迭代进行下一次模型的训练，在多任务感知网络训练数据依次获取新一时刻的训练数据；

S37、在多任务感知网络训练数据依次对每一组数据进行训练，当模型损失值小于预定阈值时，终止训练，得到训练好的多任务感知模型权重。

4.如权利要求3所述的基于多任务网络的无人船感知方法，其特征在于：步骤S40具体包括，S41、将无人船采集的同一时刻的若干张图像数据、GPS位置数据作为训练好的多任务感知模型的数据输入；

S42、通过训练好的多任务感知网络模型的主干特征提取网络进行图像特征提取得到全局图像特征；

S43、将全局图像特征放入训练好的多任务感知网络模型的子任务分支网络，得到子任务感知结果。

5.如权利要求1所述的基于多任务网络的无人船感知方法，其特征在于：步骤S50具体包括，S51、判断摄像头脏污的置信度是否大于预设的置信度阈值, 如果摄像头脏污的置信度大于置信度阈值，则脏污感知结果为摄像头脏污，屏蔽该时刻其他感知结果；

S52、若摄像头处于非脏污状态，则将图像水域岸边分界线分割结果、目标检测结果、垃圾估计结果、深度估计结果、船只预测结果输入至数据融合模块进行数据融合，得到融合感知结果。

6.如权利要求3所述的基于多任务网络的无人船感知方法，其特征在于：步骤S32中，主干特征提取网络采用共享模型权重，主干特征提取网络包含四组到八组的特征提取子网络。

7.一种基于多任务网络的无人船感知装置，其特征在于：包括，数据采集模块，用于使用无人船的传感器采集不同条件下的水域场景原始数据；

数据转换模块，用于将水域场景原始数据转化为多任务感知网络训练数据；

网络训练模块，用于根据多任务感知网络训练数据对多任务感知网络进行训练，得到训练好的多任务感知网络模型；

无人船感知模块，用于无人船实时运行训练好的多任务感知模型，得到初步感知结果，包含目标检测、水域岸边分界线分割、摄像头脏污识别、船只运动预测、水面垃圾识别、深度估计；

感知结果融合模块，用于对多任务感知模型的感知结果进行融合，得到融合感知结果；

数据转换模块具体包括，

数据标注单元，用于从水域场景原始数据中获取无人船采集的图像数据，进行数据标注，数据标注包括但不限于目标检测标注、水域岸边分界线分割标注、摄像头脏污标注、船只标注、水面垃圾标注；标注完的数据得到目标检测标签数据集、水域岸边分界线分割标签数据集、摄像头脏污标签数据集、水面垃圾标签数据集；

数据时间同步单元，用于对水域场景原始数据中的图像数据、激光雷达点云位置数据、毫米波雷达点云位置数据、GPS位置数据、IMU数据进行数据时间同步；

数据投影单元，用于将同步后的激光雷达点云位置数据、毫米波雷达点云位置数据投影到图像上，对投影位置进行高斯核卷积后得到深度估计标签结果；

运动预测单元，用于匹配激光雷达点云位置数据、毫米波雷达点云位置数据和船只标注结果，匹配成功得到船只点云数据，融入船只的GPS位置数据，作为船只运动预测标签结果；

数据集形成单元，用于将水域场景原始数据中的所有时刻图像得到的深度估计标签结果及船只运动预测标签结果分别集合，得到深度估计标签数据集及船只运动预测标签数据集。

8.一种计算机设备，其特征在于：所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的基于多任务网络的无人船感知方法。

9.一种存储介质，其特征在于：所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至6中任一项所述的基于多任务网络的无人船感知方法。

说明书

基于多任务网络的无人船感知方法及相关设备

技术领域

[0001] 本发明涉及无人船感知技术领域，尤其是指一种基于多任务网络的无人船感知方法及相关设备。

背景技术

[0002] 无人船在执行水面自动驾驶任务时往往需要面对复杂水域场景，对于无人船的规划决策系统而言，需要获取多种感知结果，从而更好地在复杂水域场景进行无人船路径规划。无人船为了实现实时的多种感知结果的获取，需要在无人船嵌入式系统中并行检测多种感知网络得到感知结果。尽管目前无人船移动端的嵌入式系统的计算水平在不断提升，但始终需要高效的感知网络设计来适应无人船感知摄像头的增加和感知预测网络性能的提升。

发明内容

[0003] 本发明所要解决的技术问题是：提供一种提高检测效率和准确度的无人船感知方法。

[0004] 为了解决上述技术问题，本发明采用的技术方案为：一种基于多任务网络的无人船感知方法，包括步骤，

[0005] S10、使用无人船的传感器采集不同条件下的水域场景原始数据；

[0006] S20、将水域场景原始数据转化为多任务感知网络训练数据；

[0007] S30、根据多任务感知网络训练数据对多任务感知网络进行训练，得到训练好的多任务感知网络模型；

[0008] S40、无人船实时运行训练好的多任务感知模型，得到初步感知结果，包含目标检测、水域岸边分界线分割、摄像头脏污识别、船只运动预测、水面垃圾识别、深度估计；

[0009] S50、对多任务感知模型的感知结果进行融合，得到融合感知结果。

[0010] 进一步的，步骤S10具体包括，

[0011] S11、对无人船搭载的摄像头进行标定得到摄像头内参，将摄像头与激光雷达进行联合标定得到摄像头外参；

[0012] S12、以无人船的上电时刻位置为原点，以无人船前朝向为y 轴正方向，无人船右朝向为x 轴正方向建立无人船坐标系；

[0013] S13、在不同水域场景下，无人船采集传感器原始数据；传感器原始数据包括，图像数据、激光雷达点云位置数据、毫米波雷达点云位置数据、GPS位置数据、IMU数据；

[0014] S14、在相同水域场景下，无人船在不同天气，不同光线条件，不同季节下采集传感器原始数据；

[0015] S15、将多艘无人船的传感器原始数据汇聚后得到用于网络训练的水域场景原始数据。

[0016] 进一步的，步骤S20具体包括，

[0017] S21、从水域场景原始数据中获取无人船采集的图像数据，进行数据标注，数据标注包括但不限于目标检测标注、水域岸边分界线分割标注、摄像头脏污标注、船只标注、水面垃圾标注；标注完的数据得到目标检测标签数据集、水域岸边分界线分割标签数据集、摄像头脏污标签数据集、水面垃圾标签数据集；

[0018] S22、对水域场景原始数据中的图像数据、激光雷达点云位置数据、毫米波雷达点云位置数据、GPS位置数据、IMU数据进行数据时间同步；

[0019] S23、将同步后的激光雷达点云位置数据、毫米波雷达点云位置数据投影到图像上，对投影位置进行高斯核卷积后得到深度估计标签结果；

[0020] S24、匹配激光雷达点云位置数据、毫米波雷达点云位置数据和船只标注结果，匹配成功得到船只点云数据，融入船只的GPS位置数据，作为船只运动预测标签结果；

[0021] S25、将水域场景原始数据中的所有时刻图像得到的深度估计标签结果及船只运动预测标签结果分别集合，得到深度估计标签数据集及船只运动预测标签数据集。

[0022] 进一步的，所述步骤S30具体包括，

[0023] S31、获取同一时刻的若干张图像数据和对应的标签数据输入到多任务感知网络模型；

[0024] S32、通过多任务感知网络模型的主干特征提取网络进行图像特征提取得到全局图像特征；

[0025] S33、将全局图像特征放入多任务感知网络模型的子任务分支网络，得到子任务感知结果；

[0026] S34、对子任务感知结果进行模型损失计算得到子任务的模型损失值；

[0027] S35、将每个子任务的模型损失值相加，得到模型损失值，将模型损失值进行模型反向传播，更新子任务网络权重和主干特征提取网络权重，保存该次多任务感知模型权重；

[0028] S36、将新的多任务感知模型权重迭代进行下一次模型的训练，在多任务感知网络训练数据依次获取新一时刻的训练数据；

[0029] S37、在多任务感知网络训练数据依次对每一组数据进行训练，当模型损失值小于预定阈值时，终止训练，得到训练好的多任务感知模型权重。

[0030] 进一步的，步骤S40具体包括，

[0031] S41、将无人船采集的同一时刻的若干张图像数据、GPS位置数据作为训练好的多任务感知模型的数据输入；

[0032] S42、通过训练好的多任务感知网络模型的主干特征提取网络进行图像特征提取得到全局图像特征；

[0033] S43、将全局图像特征放入训练好的多任务感知网络模型的子任务分支网络，得到子任务感知结果。

[0034] 进一步的，步骤S50具体包括，

[0035] S51、判断摄像头脏污的置信度是否大于预设的置信度阈值判断摄像头是否脏污, 如果摄像头脏污的置信度大于置信度阈值，则脏污感知结果为摄像头脏污，屏蔽该时刻其他感知结果；

[0036] S52、若摄像头处于非脏污状态，则将图像水域岸边分界线分割结果、目标检测结果、垃圾估计结果、深度估计结果、船只预测结果输入至数据融合模块进行数据融合，得到融合感知结果。

[0037] 进一步的，步骤S32中，主干特征提取网络采用共享模型权重，主干特征提取网络包含四组到八组的特征提取子网络。

[0038] 本发明还提供一种基于多任务网络的无人船感知装置，包括，

[0039] 数据采集模块，用于使用无人船的传感器采集不同条件下的水域场景原始数据；

[0040] 数据转换模块，用于将水域场景原始数据转化为多任务感知网络训练数据；

[0041] 网络训练模块，用于根据多任务感知网络训练数据对多任务感知网络进行训练，得到训练好的多任务感知网络模型；

[0042] 无人船感知模块，用于无人船实时运行训练好的多任务感知模型，得到初步感知结果，包含目标检测、水域岸边分界线分割、摄像头脏污识别、船只运动预测、水面垃圾识别、深度估计；

[0043] 感知结果融合模块，用于对多任务感知模型的感知结果进行融合，得到融合感知结果。

[0044] 本发明还提供一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于多任务网络的无人船感知方法。

[0045] 本发明还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如上所述的基于多任务网络的无人船感知方法。

[0046] 本发明的有益效果在于：无人船在面对复杂水域场景时，在一个神经网络模型中实时运行多种感知任务，包含目标检测、水域分割、摄像头脏污检测、垃圾识别、距离估计、船只估计。将多种感知任务的结果进行决策级融合，输出融合后的实时感知结果，实现鲁棒性的无人船智能感知。相对于多个单任务网络相比，多任务网络节约了计算资源又提高了感知的鲁棒性，大大提高了无人船感知环境的准确率和效率。

附图说明

[0047] 下面结合附图详述本发明的具体结构。

[0048] 图1为本发明实施例的基于多任务网络的无人船感知方法流程图；

[0049] 图2为本发明实施例的多任务感知模型训练过程图；

[0050] 图3为本发明实施例的主干特征提取网络图；

[0051] 图4为本发明实施例的特征提取子网络图；

[0052] 图5为本发明实施例的多任务感知模型实时推理过程图；

[0053] 图6为本发明实施例的计算机设备的示意性框图。

具体实施方式

[0054] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0055] 应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

[0056] 还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

[0057] 还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

[0058] 如图1所示，本发明第一实施例为：一种基于多任务网络的无人船感知方法，包括步骤，

[0059] S10、使用无人船的传感器采集不同条件下的水域场景原始数据D1；

[0060] 其中，无人船搭载多种传感器，包含一个或多个摄像头、多线激光雷达、若干个毫米波雷达，GPS定位模块、惯性测量单元IMU。

[0061] S20、将水域场景原始数据D1转化为多任务感知网络训练数据D2；

[0062] S30、根据多任务感知网络训练数据对多任务感知网络进行训练，得到训练好的多任务感知网络模型；

[0063] S40、无人船实时运行训练好的多任务感知模型，得到初步感知结果，包含目标检测、水域岸边分界线分割、摄像头脏污识别、船只运动预测、水面垃圾识别、深度估计；

[0064] S50、对多任务感知模型的感知结果进行融合，得到融合感知结果。

[0065] 其中，步骤S10具体包括，

[0066] S11、对无人船搭载的摄像头进行标定得到摄像头内参K1，将摄像头与激光雷达进行联合标定得到摄像头外参K2；

[0067] S12、以无人船的上电时刻位置为原点X1，以无人船前朝向为y 轴正方向，无人船右朝向为x 轴正方向建立无人船坐标系；

[0068] S13、在不同水域场景下，无人船采集传感器原始数据；传感器原始数据包括，图像数据、激光雷达点云位置数据、毫米波雷达点云位置数据、GPS位置数据、IMU数据；

[0069] 其中，对摄像头进行图像ISP处理算法后得到图像数据，根据雷达数据协议解析得到激光雷达点云位置数据和毫米波雷达点云位置数据，根据实时差分定位技术获得高精度GPS位置数据，通过卡尔曼滤波算法对IMU噪声进行过滤得到高精度IMU数据。

[0070] S14、在相同水域场景下，无人船在不同天气，不同光线条件，不同季节下采集传感器原始数据；

[0071] S15、将多艘无人船的传感器原始数据汇聚后得到用于网络训练的水域场景原始数据。

[0072] 进一步的，步骤S20具体包括，

[0073] S21、从水域场景原始数据D1中获取无人船采集的图像数据，进行数据标注，数据标注包括但不限于目标检测标注、水域岸边分界线分割标注、摄像头脏污标注、船只标注、水面垃圾标注；标注完的数据得到目标检测标签数据集、水域岸边分界线分割标签数据集、摄像头脏污标签数据集、水面垃圾标签数据集；

[0074] S22、对水域场景原始数据D1中的图像数据、激光雷达点云位置数据、毫米波雷达点云位置数据、GPS位置数据、IMU数据进行数据时间同步；

[0075] S23、将同步后的水域场景原始数据D1中获取同一时刻t的图像数据 ，将同步后的激光雷达点云位置数据 、毫米波雷达点云位置数据 ，利用摄像头内参 和摄像头外参将雷达点云结果投影到图像上，对投影位置进行高斯核卷积 后得到深度估计标签结果；

[0076]

[0077] 其中，其中 为高斯核均值为1，为高斯核方差为30。为激光雷达点云加上毫米波雷达点云的点云总数，为第i个点云( )的三维欧式距离。

[0078]

[0079] S24、匹配激光雷达点云位置数据、毫米波雷达点云位置数据和船只标注结果，匹配成功得到船只点云数据 ，融入t时刻船只GPS位置 后得到t时刻观测运动船只的GPS位置 ，作为船只运动预测标签：

[0080]

[0081] S25、对水域场景原始数据D1中的所有时刻图像重复执行步骤S23、S24，将水域场景原始数据中的所有时刻图像得到的深度估计标签结果及船只运动预测标签结果分别集合，得到深度估计标签数据集及船只运动预测标签数据集。

[0082] 如图2为多任务感知模型训练过程图，所述步骤S30具体包括，

[0083] S31、从多任务感知网络训练数据D2中依次获取相同时刻的若干张图像数据和对应的标签数据输入到多任务感知网络模型；

[0084] 其中，包含同一t时刻的若干张摄像头采集图像 ，GPS位置数据和与之对应的标签数据 ,  作为多任务感知网络模型的输入；

[0085] S32、通过多任务感知网络模型的主干特征提取网络进行图像特征提取得到全局图像特征；如图3所示为主干特征提取网络结构图，图4所示为特征提取子网络图。

[0086] 其中，主干特征提取网络采用共享模型权重，分别对于 分别进行特征提取，得到图像特征 。主干特征提取网络依据模型大小需求包含四到八组特征提取子网络，特征提取子网络使用残差结构设计，将特征输入依次经过卷积层1，池化层1，激活层1，卷积层2，池化层2，激活层2，卷积3层，池化层3，激活层3，与特征输入进行拼接后得到特征输出。

[0087] 将提取的图像特征 进行拼接得到全局图像特征F，全局图像特征F包含了无人船搭载所有摄像头的图像特征信息，能够获取跨摄像头的融合特征信息，采用直连拼接获取F:

[0088]

[0089] S33、将全局图像特征放入多任务感知网络模型的子任务分支网络，得到子任务感知结果；

[0090] 其中，将全局图像特征F放入子任务分支网络，得到子任务感知结果 。子任务分支网络包含脏污检测分支网络、图像分割分支网络、目标检测分支网络、垃圾估计分支网络、船只预测分支网络。对于船只预测分支网络融入GPS位置数据，其他子任务分支网络依据不同的任务类型采用不同大小的回归网络结构。

[0091] S34、对子任务感知结果进行模型损失计算得到子任务的模型损失值；

[0092] 其中，对子任务感知结果 进行模型损失计算得到模型损失值 。其中，对脏污检测分支网络的感知结果 和脏污检测标签值 采用交叉熵损失函数CrossEntropy计算模型损失值 ：

[0093]

[0094] 对图像分割分支网络的感知结果 和水域岸边分界线标签值 采用交叉熵损失函数CrossEntropy计算模型损失值 ：

[0095]

[0096] 对目标检测分支网络的感知结果 和目标检测标签值 根据位置误差Loc, 置信度误差Cof和目标分类误差Obj计算模型损失值 ：

[0097]

[0098] 对垃圾估计分支网络的感知结果 和垃圾估计标签值 根据均方误差损失函数MSE计算模型损失值 ：

[0099]

[0100] 对深度估计分支网络的感知结果 和深度估计标签值 根据均方误差损失函数MSE计算模型损失值 ：

[0101]

[0102] 对船只预测分支网络的感知结果 和船只预测标签值 根据均方误差损失函数MSE计算模型损失值 ：

[0103]

[0104] S35、将每个子任务的模型损失值 相加，得到模型损失值L，将模型损失值L进行模型反向传播，更新子任务网络权重和主干特征提取网络权重，保存该次多任务感知模型权重，L的计算公式为：

[0105]

[0106] 其中，为子任务训练超参数。

[0107] S36、将新的多任务感知模型权重迭代进行下一次模型的训练，在多任务感知网络训练数据D2依次获取新一时刻的训练数据；

[0108] S37、在多任务感知网络训练数据D2依次对每一组数据进行训练，当模型损失值小于预定阈值时，终止训练，得到训练好的多任务感知模型权重。

[0109] 其中，图5所示为多任务感知模型实时推理过程图，步骤S40具体包括，[0110] S41、将无人船采集的同一t时刻的若干张图像数据 、GPS位置数据作为训练好的多任务感知模型的数据输入；

[0111] S42、通过训练好的多任务感知网络模型的主干特征提取网络进行图像特征提取得到全局图像特征；

[0112] S43、将全局图像特征F放入训练好的多任务感知网络模型的子任务分支网络，得到子任务感知结果 。

[0113] 其中，步骤S50具体包括，

[0114] S51、根据脏污检测感知结果 ，根据置信度阈值判断摄像头是否脏污, 如果摄像头脏污的置信度大于预设的置信度阈值，则脏污感知结果为摄像头脏污，屏蔽该时刻其他感知结果；

[0115] S52、若摄像头处于非脏污状态，则将图像水域岸边分界线分割结果 、目标检测结果 、垃圾估计结果 、深度估计结果 、船只预测结果 输入至数据融合模块进行数据融合，得到融合感知结果Q:

[0116]

[0117] 其中，为了避免误检干扰船只感知结果，在融合模块中根据图像水域岸边分界线分割结果，过滤掉岸上的检测目标，仅保留水域内的船只检测结果和垃圾估计结果；将深度估计结果 与图像水域岸边分界线分割结果 融合得到水域岸边分界线的距离位置；将深度估计结果 与目标检测结果 融合得到检测目标的距离位置；将船只预测结果 与目标检测结果 融合得到新船只目标的预测轨迹。

[0118] 本发明的实施例中，无人船在面对复杂水域场景时，在一个神经网络模型中实时运行多种感知任务，包含目标检测、水域分割、摄像头脏污检测、垃圾识别、距离估计、船只估计。将多种感知任务的结果进行决策级融合，输出融合后的实时感知结果，实现鲁棒性的无人船智能感知。相对于多个单任务网络相比，多任务网络节约了计算资源又提高了感知的鲁棒性，大大提高了无人船感知环境的准确率和效率。

[0119] 本发明的另一实施例为：一种基于多任务网络的无人船感知装置，包括，[0120] 数据采集模块，用于使用无人船的传感器采集不同条件下的水域场景原始数据；

[0121] 数据转换模块，用于将水域场景原始数据转化为多任务感知网络训练数据；

[0122] 网络训练模块，用于根据多任务感知网络训练数据对多任务感知网络进行训练，得到训练好的多任务感知网络模型；

[0123] 无人船感知模块，用于无人船实时运行训练好的多任务感知模型，得到初步感知结果，包含目标检测、水域岸边分界线分割、摄像头脏污识别、船只运动预测、水面垃圾识别、深度估计；

[0124] 感知结果融合模块，用于对多任务感知模型的感知结果进行融合，得到融合感知结果。

[0125] 其中，数据采集模块具体包括，

[0126] 标定单元，用于对无人船搭载的摄像头进行标定得到摄像头内参，将摄像头与激光雷达进行联合标定得到摄像头外参；

[0127] 坐标系建立单元，用于以无人船的上电时刻位置为原点，以无人船前朝向为y 轴正方向，无人船右朝向为x 轴正方向建立无人船坐标系；

[0128] 第一采集单元，用于在不同水域场景下，无人船采集传感器原始数据；传感器原始数据包括，图像数据、激光雷达点云位置数据、毫米波雷达点云位置数据、GPS位置数据、IMU数据；

[0129] 第二采集单元，用于在相同水域场景下，无人船在不同天气，不同光线条件，不同季节下采集传感器原始数据；

[0130] 原始数据汇聚单元，用于将多艘无人船的传感器原始数据汇聚后得到用于网络训练的水域场景原始数据。

[0131] 其中，数据转换模块具体包括，

[0132] 数据标注单元，用于从水域场景原始数据中获取无人船采集的图像数据，进行数据标注，数据标注包括但不限于目标检测标注、水域岸边分界线分割标注、摄像头脏污标注、船只标注、水面垃圾标注；标注完的数据得到目标检测标签数据集、水域岸边分界线分割标签数据集、摄像头脏污标签数据集、水面垃圾标签数据集；

[0133] 数据时间同步单元，用于对水域场景原始数据中的图像数据、激光雷达点云位置数据、毫米波雷达点云位置数据、GPS位置数据、IMU数据进行数据时间同步；

[0134] 数据投影单元，用于将同步后的激光雷达点云位置数据、毫米波雷达点云位置数据投影到图像上，对投影位置进行高斯核卷积后得到深度估计标签结果；

[0135] 运动预测单元，用于匹配激光雷达点云位置数据、毫米波雷达点云位置数据和船只标注结果，匹配成功得到船只点云数据，融入船只的GPS位置数据，作为船只运动预测标签结果；

[0136] 数据集形成单元，用于将水域场景原始数据中的所有时刻图像得到的深度估计标签结果及船只运动预测标签结果分别集合，得到深度估计标签数据集及船只运动预测标签数据集。

[0137] 其中，网络训练模块具体包括，

[0138] 数据获取单元，用于获取同一时刻的若干张图像数据和对应的标签数据输入到多任务感知网络模型；

[0139] 特征提取单元，用于通过多任务感知网络模型的主干特征提取网络进行图像特征提取得到全局图像特征；

[0140] 子任务感知单元，用于将全局图像特征放入多任务感知网络模型的子任务分支网络，得到子任务感知结果；

[0141] 模型损失值计算单元，用于对子任务感知结果进行模型损失计算得到子任务的模型损失值；

[0142] 模型权重计算单元，用于将每个子任务的模型损失值相加，得到模型损失值，将模型损失值进行模型反向传播，更新子任务网络权重和主干特征提取网络权重，保存该次多任务感知模型权重；

[0143] 模型迭代单元，用于将新的多任务感知模型权重迭代进行下一次模型的训练，在多任务感知网络训练数据依次获取新一时刻的训练数据；

[0144] 训练模型形成单元，用于在多任务感知网络训练数据依次对每一组数据进行训练，当模型损失值小于预定阈值时，终止训练，得到训练好的多任务感知模型权重。

[0145] 其中，无人船感知模块具体包括，

[0146] 数据采集单元，用于将无人船采集的同一时刻的若干张图像数据、GPS位置数据作为训练好的多任务感知模型的数据输入；

[0147] 特征提取单元，用于通过训练好的多任务感知网络模型的主干特征提取网络进行图像特征提取得到全局图像特征；

[0148] 子任务感知单元，用于将全局图像特征放入训练好的多任务感知网络模型的子任务分支网络，得到子任务感知结果。

[0149] 其中，感知结果融合模块具体包括，

[0150] 脏污处理单元，用于根据脏污检测感知结果，根据置信度阈值判断摄像头是否脏污, 如果摄像头，则脏污感知结果为摄像头脏污，屏蔽该时刻其他感知结果；

[0151] 感知结果融合单元，用于若摄像头处于非脏污状态，则将图像水域岸边分界线分割结果、目标检测结果、垃圾估计结果、深度估计结果、船只预测结果输入至数据融合模块进行数据融合，得到融合感知结果。

[0152] 其中，特征提取单元中，主干特征提取网络采用共享模型权重，主干特征提取网络包含四组到八组的特征提取子网络。

[0153] 需要说明的是，所属领域的技术人员可以清楚地了解到，上述基于多任务网络的无人船感知装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

[0154] 上述基于多任务网络的无人船感知装置可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。

[0155] 请参阅图6，图6是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

[0156] 参阅图6，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504 。

[0157] 该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种基于多任务网络的无人船感知方法。

[0158] 该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。

[0159] 该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种基于多任务网络的无人船感知方法。

[0160] 该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0161] 其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如上所述的基于多任务网络的无人船感知方法。

[0162] 应当理解，在本申请实施例中，处理器502可以是中央处理单元  (Central Processing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field‑Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

[0163] 本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

[0164] 因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如上所述的基于多任务网络的无人船感知方法。

[0165] 所述存储介质可以是U盘、移动硬盘、只读存储器（Read‑Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

[0166] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

[0167] 在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

[0168] 本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

[0169] 该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。

[0170] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。