一种烟叶布料车和传送带的位置确定方法及装置

摘要

本申请提供了一种烟叶布料车和传送带的位置确定方法及装置，其中，该方法包括：获取包含烟叶布料车和传送带的图像；确定图像中的烟叶布料车和传送带分别对应的包围框信息和修正包围框信息；将修正包围框信息与对应的包围框信息的差值，确定为包围框信息的补偿；将图像作为训练样本、将图像对应的包围框信息和补偿作为标签，输入到神经网络模型中进行训练；将包含待确定烟叶布料车和待确定传送带的待确定图像输入至训练好的神经网络模型中，预测出待确定图像的预测包围框信息和预测补偿；根据预测包围框信息和预测补偿，确定待确定烟叶布料车和待确定传送带的位置。

权利要求

1.一种烟叶布料车和传送带的位置确定方法，其特征在于，所述烟叶布料车和传送带的位置确定方法包括：获取包含烟叶布料车和传送带的图像；

确定所述图像中的所述烟叶布料车和所述传送带分别对应的包围框信息和修正包围框信息；所述包围框信息是通过标注软件确定的所述烟叶布料车和所述传送带分别对应的包围框的大小和位置；所述修正包围框信息为人为标注的所述烟叶布料车和所述传送带分别对应的包围框的大小和位置；

将所述修正包围框信息与对应的所述包围框信息的差值，确定为所述包围框信息的补偿；

将所述图像作为训练样本、将所述图像对应的所述包围框信息和所述补偿作为标签，输入到神经网络模型中进行训练；

将包含待确定烟叶布料车和待确定传送带的待确定图像输入至训练好的神经网络模型中，预测出所述待确定图像的预测包围框信息和预测补偿；

根据所述预测包围框信息和所述预测补偿，确定所述待确定烟叶布料车和所述待确定传送带的位置；

所述神经网络模型的损失函数通过以下公式计算：

Ldet＝Lc+Lk+λsizeLsize+Loff+Lclass

公式中，Ldet表示神经网络模型的损失函数；Lc表示神经网络模型的补偿损失函数；Lk表示神经网络模型的中心点图热力值损失函数；Lsize表示神经网络模型的宽高损失函数；λsize表示宽高损失函数的权重；Loff表示神经网络模型的中心点偏移损失函数；Lclas表示神经网络模型的分类损失函数；

所述补偿损失函数通过以下公式计算：

公式中，Lc表示神经网络模型的补偿损失函数；N指的是神经网络模型的总训练图像的数量；lp表示神经网络模型的预测补偿；vl表示包围框信息的补偿；

所述根据所述预测包围框信息和所述预测补偿，确定所述待确定烟叶布料车和所述待确定传送带的位置包括：根据预测包围框类别，确定预测包围框对应的是待确定烟叶布料车或者待确定传送带；将待确定烟叶布料车和待确定传送带分别对应的预测中心点坐标、预测中心点偏移、预测宽度、预测高度与预测中心点坐标补偿、预测中心点偏移补偿、预测宽度补偿、预测高度补偿对应相加，确定为待确定烟叶布料车和待确定传送带分别对应的位置。

2.根据权利要求1所述的烟叶布料车和传送带的位置确定方法，其特征在于，所述预测包围框信息包括：预测包围框的预测中心点坐标、预测中心点偏移、预测宽度、预测高度、预测包围框类别；所述预测补偿包括：预测中心点坐标补偿、预测中心点偏移补偿、预测宽度补偿、预测高度补偿；所述包围框信息还包括：包围框类别；

所述根据所述预测包围框信息和所述预测补偿，确定所述待确定烟叶布料车和所述待确定传送带的位置包括：将所述待确定烟叶布料车和所述待确定传送带分别对应的预测中心点坐标、预测中心点偏移、预测宽度、预测高度与预测中心点坐标补偿、预测中心点偏移补偿、预测宽度补偿、预测高度补偿对应相加，确定为所述待确定烟叶布料车和所述待确定传送带分别对应的位置。

3.根据权利要求1或2所述的烟叶布料车和传送带的位置确定方法，其特征在于，所述根据所述预测包围框信息和所述预测补偿，确定所述待确定烟叶布料车和所述待确定传送带的位置之后，所述方法还包括：计算所述待确定烟叶布料车和所述待确定传送带的重合的高度值；

判断重合的高度值与所述待确定烟叶布料车对应的预测高度的比值是否大于预设值；

若重合的高度值与所述待确定烟叶布料车对应的预测高度的比值大于预设值，则确定所述待确定烟叶布料车和所述待确定传送带的位置正常。

4.根据权利要求1所述的烟叶布料车和传送带的位置确定方法，其特征在于，所述神经网络模型包括前端网络和后端网络；所述将包含待确定烟叶布料车和待确定传送带的待确定图像输入至训练好的神经网络模型中，预测出所述待确定图像的预测包围框信息和预测误差包括：将包含待确定烟叶布料车和待确定传送带的待确定图像输入至所述前端网络，所述前端网络确定出所述待确定图像的特征值；

所述后端网络根据所述特征值预测出所述待确定图像的预测包围框信息和预测误差。

5.一种烟叶布料车和传送带的位置确定装置，其特征在于，所述烟叶布料车和传送带的位置确定装置包括：获取模块，用于获取包含烟叶布料车和传送带的图像；

第一确定模块，用于确定所述图像中的所述烟叶布料车和所述传送带分别对应的包围框信息和修正包围框信息；所述包围框信息是通过标注软件确定的所述烟叶布料车和所述传送带分别对应的包围框的大小和位置；所述修正包围框信息为人为标注的所述烟叶布料车和所述传送带分别对应的包围框的大小和位置；

第二确定模块，用于将所述修正包围框信息与对应的所述包围框信息的差值，确定为所述包围框信息的补偿；

训练模块，用于将所述图像作为训练样本、将所述图像对应的所述包围框信息和所述补偿作为标签，输入到神经网络模型中进行训练；

预测模块，用于将包含待确定烟叶布料车和待确定传送带的待确定图像输入至训练好的神经网络模型中，预测出所述待确定图像的预测包围框信息和预测补偿；所述预测包围框信息包括：预测包围框的预测中心点坐标、预测中心点偏移、预测宽度、预测高度；所述预测补偿包括：预测中心点坐标补偿、预测中心点偏移补偿、预测宽度补偿、预测高度补偿；

第三确定模块，用于根据所述预测包围框信息和所述预测补偿，确定所述待确定烟叶布料车和所述待确定传送带的位置；

所述神经网络模型的损失函数通过以下公式计算：

Ldet＝Lc+Lk+λsizeLsize+Loff+Lclass

公式中，Ldet表示神经网络模型的损失函数；Lc表示神经网络模型的补偿损失函数；Lk表示神经网络模型的中心点图热力值损失函数；Lsize表示神经网络模型的宽高损失函数；λsize表示宽高损失函数的权重；Loff表示神经网络模型的中心点偏移损失函数；Lclas表示神经网络模型的分类损失函数；

所述补偿损失函数通过以下公式计算：

公式中，Lc表示神经网络模型的补偿损失函数；N指的是神经网络模型的总训练图像的数量；lp表示神经网络模型的预测补偿；vl表示包围框信息的补偿；

所述第三确定模块，还用于根据预测包围框类别，确定预测包围框对应的是待确定烟叶布料车或者待确定传送带；将待确定烟叶布料车和待确定传送带分别对应的预测中心点坐标、预测中心点偏移、预测宽度、预测高度与预测中心点坐标补偿、预测中心点偏移补偿、预测宽度补偿、预测高度补偿对应相加，确定为待确定烟叶布料车和待确定传送带分别对应的位置。

6.根据权利要求5所述的装置，其特征在于，所述预测包围框信息包括：预测包围框的预测中心点坐标、预测中心点偏移、预测宽度、预测高度、预测包围框类别；所述预测补偿包括：预测中心点坐标补偿、预测中心点偏移补偿、预测宽度补偿、预测高度补偿；所述包围框信息还包括：包围框类别；

所述第三确定模块，还用于将所述待确定烟叶布料车和所述待确定传送带分别对应的预测中心点坐标、预测中心点偏移、预测宽度、预测高度与预测中心点坐标补偿、预测中心点偏移补偿、预测宽度补偿、预测高度补偿对应相加，确定为所述待确定烟叶布料车和所述待确定传送带分别对应的位置。

7.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求1至4任一所述的烟叶布料车和传送带的位置确定方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至4任一所述的烟叶布料车和传送带的位置确定方法的步骤。

说明书

一种烟叶布料车和传送带的位置确定方法及装置

技术领域

[0001] 本申请涉及计算机技术领域，尤其涉及一种烟叶布料车和传送带的位置确定方法及装置。

背景技术

[0002] 在烟草生成工厂中有很多烟叶布料车和传送带，为了保证传输过程的安全性，需要使烟叶布料车和传送带的位置满足一定关系。现有技术中，工作人员通过摄像头观察烟叶布料车和传送带的位置关系，进而可能产生判断烟叶布料车和传送带的位置关系错误的情况，影响传输安全和效率。

发明内容

[0003] 有鉴于此，本申请的目的在于至少提供一种烟叶布料车和传送带的位置确定方法及装置，通过烟叶布料车和传送带的标记位置及修正位置得到的补偿来训练神经网络模型，使得神经网络模型可以更加准确地识别出烟叶布料车和传送带的位置，解决了现有技术中烟叶布料车和传送带的位置识别准确率低的技术问题，达到了提高烟叶布料车和传送带的位置识别准确率的技术效果。

[0004] 本申请主要包括以下几个方面：

[0005] 第一方面，本申请实施例提供一种烟叶布料车和传送带的位置确定方法，该方法包括：获取包含烟叶布料车和传送带的图像；确定图像中的烟叶布料车和传送带分别对应的包围框信息和修正包围框信息；包围框信息是通过标注软件确定的烟叶布料车和传送带分别对应的包围框的大小和位置；修正包围框信息为人为标注的烟叶布料车和传送带分别对应的包围框的大小和位置；将修正包围框信息与对应的包围框信息的差值，确定为包围框信息的补偿；将图像作为训练样本、将图像对应的包围框信息和补偿作为标签，输入到神经网络模型中进行训练；将包含待确定烟叶布料车和待确定传送带的待确定图像输入至训练好的神经网络模型中，预测出待确定图像的预测包围框信息和预测补偿；根据预测包围框信息和预测补偿，确定待确定烟叶布料车和待确定传送带的位置。

[0006] 可选地，预测包围框信息包括：预测包围框的预测中心点坐标、预测中心点偏移、预测宽度、预测高度；预测补偿包括：预测中心点坐标补偿、预测中心点偏移补偿、预测宽度补偿、预测高度补偿；根据预测包围框信息和预测补偿，确定待确定烟叶布料车和待确定传送带的位置包括：将待确定烟叶布料车和待确定传送带分别对应的预测中心点坐标、预测中心点偏移、预测宽度、预测高度与预测中心点坐标补偿、预测中心点偏移补偿、预测宽度补偿、预测高度补偿对应相加，确定为待确定烟叶布料车和待确定传送带分别对应的位置。

[0007] 可选地，根据预测包围框信息和预测补偿，确定待确定烟叶布料车和待确定传送带的位置之后，方法还包括：计算待确定烟叶布料车和待确定传送带的重合的高度值；判断重合的高度值与待确定烟叶布料车对应的预测高度的比值是否大于预设值；若重合的高度值与待确定烟叶布料车对应的预测高度的比值大于预设值，则确定待确定烟叶布料车和待确定传送带的位置正常。

[0008] 可选地，神经网络模型的损失函数通过以下公式计算：

[0009] Ldet＝Lc+Lk+λsizeLsize+Loff+Lclass

[0010] 公式中，Ldet表示神经网络模型的损失函数；Lc表示神经网络模型的补偿损失函数；Lk表示神经网络模型的中心点图热力值损失函数；Lsize表示神经网络模型的宽高损失函数；λsize表示宽高损失函数的权重；Loff表示神经网络模型的中心点偏移损失函数；Lclass表示神经网络模型的分类损失函数。

[0011] 可选地，补偿损失函数通过以下公式计算：

[0012]

[0013] 公式中，Lc表示神经网络模型的补偿损失函数；N指的是神经网络模型的总训练图像的数量；lp表示神经网络模型的预测补偿；vl表示包围框信息的补偿。

[0014] 可选地，神经网络模型包括前端网络和后端网络；将包含待确定烟叶布料车和待确定传送带的待确定图像输入至训练好的神经网络模型中，预测出待确定图像的预测包围框信息和预测误差包括：将包含待确定烟叶布料车和待确定传送带的待确定图像输入至前端网络，前端网络确定出待确定图像的特征值；后端网络根据特征值预测出待确定图像的预测包围框信息和预测误差。

[0015] 第二方面，本申请实施例还提供一种烟叶布料车和传送带的位置确定装置，该装置包括：获取模块，用于获取包含烟叶布料车和传送带的图像；第一确定模块，用于确定图像中的烟叶布料车和传送带分别对应的包围框信息和修正包围框信息；包围框信息是通过标注软件确定的烟叶布料车和传送带分别对应的包围框的大小和位置；修正包围框信息为人为标注的烟叶布料车和传送带分别对应的包围框的大小和位置；第二确定模块，用于将修正包围框信息与对应的包围框信息的差值，确定为包围框信息的补偿；训练模块，用于将图像作为训练样本、将图像对应的包围框信息和补偿作为标签，输入到神经网络模型中进行训练；预测模块，用于将包含待确定烟叶布料车和待确定传送带的待确定图像输入至训练好的神经网络模型中，预测出待确定图像的预测包围框信息和预测补偿；第三确定模块，用于根据预测包围框信息和预测补偿，确定待确定烟叶布料车和待确定传送带的位置。

[0016] 可选地，预测包围框信息包括：预测包围框的预测中心点坐标、预测中心点偏移、预测宽度、预测高度；预测补偿包括：预测中心点坐标补偿、预测中心点偏移补偿、预测宽度补偿、预测高度补偿；第三确定模块，还用于将待确定烟叶布料车和待确定传送带分别对应的预测中心点坐标、预测中心点偏移、预测宽度、预测高度与预测中心点坐标补偿、预测中心点偏移补偿、预测宽度补偿、预测高度补偿对应相加，确定为待确定烟叶布料车和待确定传送带分别对应的位置。

[0017] 第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，存储器存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储器之间通过总线进行通信，机器可读指令被处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中的烟叶布料车和传送带的位置确定方法的步骤。

[0018] 第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中的烟叶布料车和传送带的位置确定的步骤。

[0019] 本申请实施例提供的一种烟叶布料车和传送带的位置确定方法及装置，该方法包括：获取包含烟叶布料车和传送带的图像；确定图像中的烟叶布料车和传送带分别对应的包围框信息和修正包围框信息；包围框信息是通过标注软件确定的烟叶布料车和传送带分别对应的包围框的大小和位置；修正包围框信息为人为标注的烟叶布料车和传送带分别对应的包围框的大小和位置；将修正包围框信息与对应的包围框信息的差值，确定为包围框信息的补偿；将图像作为训练样本、将图像对应的包围框信息和补偿作为标签，输入到神经网络模型中进行训练；将包含待确定烟叶布料车和待确定传送带的待确定图像输入至训练好的神经网络模型中，预测出待确定图像的预测包围框信息和预测补偿；根据预测包围框信息和预测补偿，确定待确定烟叶布料车和待确定传送带的位置。通过烟叶布料车和传送带的标记位置及修正位置得到的补偿来训练神经网络模型，使得神经网络模型可以更加准确地识别出烟叶布料车和传送带的位置，解决了现有技术中烟叶布料车和传送带的位置识别准确率低的技术问题，达到了提高烟叶布料车和传送带的位置识别准确率的技术效果。

[0020] 为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

[0021] 为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

[0022] 图1示出了本申请实施例所提供的一种烟叶布料车和传送带的位置确定方法的流程图。

[0023] 图2示出了本申请实施例所提供的另一种烟叶布料车和传送带的位置确定方法的流程图。

[0024] 图3示出了本申请实施例所提供的一种烟叶布料车和传送带的位置确定装置的功能模块图。

[0025] 图4示出了本申请实施例所提供的一种电子设备的结构示意图。

具体实施方式

[0026] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中的附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

[0027] 另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。

[0028] 现有技术的缺点是工作人员通过摄像头查看烟叶布料车和传送带的位置是否正常时，由于监控摄像头的角度问题可能导致工作人员错误判断。

[0029] 基于此，本申请实施例提供了一种烟叶布料车和传送带的位置确定方法及装置，通过烟叶布料车和传送带的标记位置及修正位置得到的补偿来训练神经网络模型，使得神经网络模型可以更加准确地识别出烟叶布料车和传送带的位置，解决了现有技术中烟叶布料车和传送带的位置识别准确率低的技术问题，达到了提高烟叶布料车和传送带的位置识别准确率的技术效果。具体如下：

[0030] 请参阅图1，图1为本申请实施例所提供的一种烟叶布料车和传送带的位置确定方法的流程图。如图1所示，本申请实施例提供的烟叶布料车和传送带的位置确定方法，包括以下步骤：

[0031] S101、获取包含烟叶布料车和传送带的图像。

[0032] 通过监控摄像头采集包含烟叶布料车和传送带的图像，图像像素一般为1560×1440。

[0033] S102、确定图像中的烟叶布料车和传送带分别对应的包围框信息和修正包围框信息。

[0034] 包围框信息是通过标注软件确定的烟叶布料车和传送带分别对应的包围框的大小和位置；修正包围框信息为人为标注的烟叶布料车和传送带分别对应的包围框的大小和位置。

[0035] 使用labellmg软件对图像中的烟叶布料车和传送带进行标注，标注出烟叶布料车和传送带分别对应的包围框，进而确定标注后的烟叶布料车和传送带分别对应的包围框信息。

[0036] 工作人员对图像中的烟叶布料车和传送带分别进行人工标注，将人工标注后的包围框确定为修正包围框，进而确定标注后的烟叶布料车和传送带分别对应的修正包围框信息。

[0037] 包围框信息包括中心点坐标、中心点偏移、宽度、高度；修正包围框信息包括修正中心点坐标、修正中心点偏移、修正宽度、修正高度。

[0038] S103、将修正包围框信息与对应的包围框信息的差值，确定为包围框信息的补偿。

[0039] 也就是说，将修正包围框信息中的修正中心点坐标、修正中心点偏移、修正宽度、修正高度与包围框信息中的中心点坐标、中心点偏移、宽度、高度对应作差，将差值确定为包围框信息的补偿。

[0040] 包围框信息的补偿包括：中心点坐标补偿、中心点偏移补偿、宽度补偿、高度补偿。

[0041] 也就是说，针对修正包围框信息及对应的包围框信息，将修正中心点坐标与中心点坐标的差值确定为中心点坐标补偿，将修正中心点偏移与中心点偏移的差值确定为中心点偏移补偿，将修正宽度与宽度的差值确定为宽度补偿，将修正高度与高度的差值确定为高度补偿。

[0042] S104、将图像作为训练样本、将图像对应的包围框信息和补偿作为标签，输入到神经网络模型中进行训练。

[0043] 也就是说，将图像作为训练样本、将图像对应的包围框信息和补偿作为标签训练神经网络模型，直至神经网络模型的损失函数收敛或者达到预设迭代次数。

[0044] 神经网络模型的损失函数通过以下公式计算：

[0045] Ldet＝Lc+Lk+λsizeLsize+Loff+Lclass          (1)

[0046] 公式(1)中，Ldet表示神经网络模型的损失函数；Lc表示神经网络模型的补偿损失函数；Lk表示神经网络模型的中心点图热力值损失函数；Lsize表示神经网络模型的宽高损失函数；λsize表示宽高损失函数的权重；Loff表示神经网络模型的中心点偏移损失函数；Lclass表示神经网络模型的分类损失函数。

[0047] 一般认为神经网络模型的损失函数趋于零时，此神经网络模型的损失函数收敛，即，此神经网络模型训练完成。若神经网络模型的损失函数趋于零，则可以认为神经网络模型对应的补偿损失函数、中心点图热力值损失函数、宽高损失函数的权重与宽高损失函数的乘积、神经网络模型的中心点偏移损失函数、神经网络模型的分类损失函数均趋于零。

[0048] λsize一般设置为0.1。

[0049] 神经网络模型的补偿损失函数通过以下公式计算：

[0050]

[0051] 公式(2)中，Lc表示神经网络模型的补偿损失函数；N指的是神经网络模型的总训练图像的数量；lp表示神经网络模型的预测补偿；vl表示包围框信息的补偿。

[0052] 预测补偿包括：预测中心点坐标补偿、预测中心点偏移补偿、预测宽度补偿、预测高度补偿。

[0053] 也就是说，lp是预测中心点坐标补偿、预测中心点偏移补偿、预测宽度补偿、预测高度补偿组成的一维矩阵；vl是由中心点坐标补偿、中心点偏移补偿、宽度补偿、高度补偿组成的一维矩阵。进而，Lc是由中心点坐标补偿损失、中心点偏移补偿损失、宽度补偿损失、高度补偿损失组成的一维矩阵。

[0054] 中心点图热力图指的是heatmap，中心点图热力图对应的中心点图热力值的计算公式如下：

[0055]

[0056] 公式(3)中，Y(x，y)指的是图像中目标物体(本申请实施例指的是烟叶布料车和传送带)的中心点为(x，y)的中心点热力值，σ指的是根据图像中目标物体大小计算高斯圆的半径。

[0057] 神经网络模型的中心点图热力值损失函数通过以下公式计算：

[0058]

[0059] 公式(4)中，Lk指的是神经网络模型的中心点图热力值损失，Y′(x,y)指的是神经网络模型预测的中心点图热力值，Y(x，y)指的是图像中目标物体的中心点为(x，y)的中心点热力值，α、β为预先设置的参数，一般将α设置为2，β设置为4。

[0060] 神经网络模型的宽高损失函数通过以下公式计算；

[0061]

[0062] 公式(5)中，Lsize指的是神经网络模型的宽高损失函数；k指的是神经网络模型的当前图像；S′k指的是神经网络模型预测的包围框宽度、高度；Sk指的是包围框信息中的宽度、高度。

[0063] 神经网络模型的中心点偏移损失函数通过以下公式计算；

[0064]

[0065] 公式(6)中，Loff表示神经网络模型的中心点偏移损失函数；Ok指的是神经网络模型对于第k个图像进行预测的中心点偏移值，p指的是包围框信息中的中心点坐标，p′指的是缩放后中心点坐标的近似整数坐标，R指的是缩放尺度。

[0066] 神经网络模型的分类损失函数通过以下公式计算；

[0067] Lclass＝‑[y′×logy+(1‑y′)×log(1‑y)]          (7)

[0068] 公式(7)中，Lclass表示神经网络模型的分类损失函数；y指的是图像实际对应的包围框类别；y’指的是神经网络模型预测的包围框类别。

[0069] 包围框类别指的是包围框对应的目标物体的类别。本申请实施例中，包围框类别指的是烟叶布料车或者传送带。

[0070] 也就是说，包围框信息还包括：包围框类别；预测包围框信息还包括：预测包围框类别。

[0071] 神经网络模型包括前端网络和后端网络；将包含待确定烟叶布料车和待确定传送带的待确定图像输入至训练好的神经网络模型中，预测出待确定图像的预测包围框信息和预测误差包括：将包含待确定烟叶布料车和待确定传送带的待确定图像输入至前端网络，前端网络确定出待确定图像的特征值；后端网络根据特征值预测出待确定图像的预测包围框信息和预测误差。

[0072] S105、将包含待确定烟叶布料车和待确定传送带的待确定图像输入至训练好的神经网络模型中，预测出待确定图像的预测包围框信息和预测补偿。

[0073] 也就是说，预测出待确定图像的预测包围框信息和预测补偿指的是，预测出预测包围框的预测中心点坐标、预测中心点偏移、预测宽度、预测高度和预测包围框类别，以及预测中心点坐标补偿、预测中心点偏移补偿、预测宽度补偿、预测高度补偿。

[0074] S106、根据预测包围框信息和预测补偿，确定待确定烟叶布料车和待确定传送带的位置。

[0075] 根据预测包围框信息和预测补偿，确定待确定烟叶布料车和待确定传送带的位置包括：将待确定烟叶布料车和待确定传送带分别对应的预测中心点坐标、预测中心点偏移、预测宽度、预测高度与预测中心点坐标补偿、预测中心点偏移补偿、预测宽度补偿、预测高度补偿对应相加，确定为待确定烟叶布料车和待确定传送带分别对应的位置。

[0076] 也就是说，首先根据预测包围框类别，确定预测包围框对应的是待确定烟叶布料车或者待确定传送带。针对待确定烟叶布料车：将待确定烟叶布料车对应的预测中心点坐标与预测中心点坐标补偿相加，确定为待确定烟叶布料车对应的包围框的中心点坐标；将待确定烟叶布料车对应的预测中心点偏移与预测中心点偏移补偿相加，确定为待确定烟叶布料车对应的包围框的中心点偏移；将待确定烟叶布料车对应的预测宽度与预测宽度补偿相加，确定为待确定烟叶布料车对应的包围框的预测宽度；将待确定烟叶布料车对应的预测高度与预测高度补偿相加，确定为待确定烟叶布料车对应的包围框的预测高度。

[0077] 也就是说，针对待确定传送带：将待确定传送带对应的预测中心点坐标与预测中心点坐标补偿相加，确定为待确定传送带对应的包围框的中心点坐标；将待确定传送带对应的预测中心点偏移与预测中心点偏移补偿相加，确定为待确定传送带对应的包围框的中心点偏移；将待确定传送带对应的预测宽度与预测宽度补偿相加，确定为待确定传送带对应的包围框的预测宽度；将待确定传送带对应的预测高度与预测高度补偿相加，确定为待确定传送带对应的包围框的预测高度。

[0078] 具体的，根据待确定烟叶布料车对应的包围框的中心点偏移，对待确定烟叶布料车对应的包围框的中心点坐标进行位移，确定出待确定烟叶布料车对应的包围框的目标中心点坐标；将目标中心点坐标结合待确定烟叶布料车对应的包围框的预测宽度、预测高度，确定出待确定烟叶布料车的目标位置；根据待确定传送带对应的包围框的中心点偏移，对待确定传送带对应的包围框的中心点坐标进行位移，确定出待确定传送带对应的包围框的目标中心点坐标；将目标中心点坐标结合待确定传送带对应的包围框的预测宽度、预测高度，确定出待确定传送带的目标位置。

[0079] 在训练神经网络模型过程中，并不会将预测补偿与预测包围框信息相加，只是训练神经网络模型可以计算出预测补偿。而实际应用训练好的神经网络模型确定待确定烟叶布料车和待确定传送带分别对应的位置时，需要将预测补偿与预测包围框信息相加。

[0080] 请参阅图2，图2示出了本申请实施例所提供的另一种烟叶布料车和传送带的位置确定方法的流程图。如图2所示，根据预测包围框信息和预测补偿，确定待确定烟叶布料车和待确定传送带的位置之后，烟叶布料车和传送带的位置确定方法还包括：

[0081] S201、计算待确定烟叶布料车和待确定传送带的重合的高度值。

[0082] 计算待确定烟叶布料车和待确定传送带的重合的高度值包括，将待确定烟叶布料车的预测包围框信息中的预测高度与待确定传送带的预测包围框信息中的预测高度两者中选择最短的预测高度，确定为待确定烟叶布料车和待确定传送带的重合的高度值。

[0083] S202、判断重合的高度值与待确定烟叶布料车对应的预测高度的比值是否大于预设值。

[0084] 预设值一般设置为0.9。也就是说，重合的高度值需要大于待确定烟叶布料车对应的预测高度的90％。

[0085] S203、确定待确定烟叶布料车和待确定传送带的位置正常。

[0086] 若重合的高度值与待确定烟叶布料车对应的预测高度的比值大于预设值，则确定待确定烟叶布料车和待确定传送带的位置正常。

[0087] 也就是说，将最短的预测高度与待确定烟叶布料车对应的预测高度做比，判断比值是否大于预设值；若比值大于预设值，则确定待确定烟叶布料车和待确定传送带的位置正常；若比值不大于预设值，则确定待确定烟叶布料车和待确定传送带的位置不正常，需要工作人员进行实地查看进行调整。

[0088] 一优选实施例，前端网络和后端网络可以不同时训练。将前端网络的迭代次数设置为400，将神经网络模型的整体迭代次数设置为20，即，首先对前端网络迭代400次进行训练，将训练好的前端网络与后端网络一起训练20次，则认为此神经网络模型训练完成。

[0089] 一优选实施例，以VGG16网络的前13层并去除最后一层的池化层作为前端网络进行特征提取，以4层空洞率为2的膨胀卷积层作为后端网络以增强特征提取的感受野，后端网络输出的特征图的下采样倍数为8倍。为了减少过度下采样造成分辨率低的问题，在后端网络后使用最近邻插值操作进行2倍上采样，以使特征提取的下采样倍数设置为4倍。之后利用无锚框检测方法中的CenterNet网络检测方式预测中心点坐标、预测宽高、预测中心点偏移、预测补偿。

[0090] 一优选实施例，前端网络包括：输入层、前端卷积层和池化层；前端卷积层包括：第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层；池化层包括：第一池化层、第二池化层、第三池化层。

[0091] 将包含待确定烟叶布料车和待确定传送带的待确定图像输入至前端网络，前端网络通过下采样确定出待确定图像的特征值包括：将包含待确定烟叶布料车和待确定传送带的待确定图像输入至输入层，输入层输出的数据输入至第一卷积层；第一卷积层输出的数据输入至第二卷积层，第二卷积层输出的数据输入至第一池化层，第一池化层输出的数据输入至第三卷积层；第三卷积层输出的数据输入至第四卷积层，第四卷积层输出的数据输入至第二池化层，第二池化层输出的数据输入至第五卷积层；第五卷积层输出的数据输入至第六卷积层，第六卷积层输出的数据输入至第三池化层，第三池化层输出的数据输入至第七卷积层；第七卷积层输出的数据输入至第八卷积层，第八卷积层输出的数据输入第九卷积层，第九卷积层输出待确定图像的特征值。

[0092] 后端网络包括：后端卷积层、最近邻插值处理层和目标检测网络层；后端卷积层包括：第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层；后端网络根据特征值预测出待确定图像的预测包围框信息和预测补偿包括：将第九卷积层输出待确定图像的特征值输入至第十卷积层，第十卷积层输出的数据输入至第十一卷积层；第十一卷积层输出的数据输入至第十二卷积层；第十二卷积层输出的数据输入至第十三卷积层；第十三卷积层输出的数据输入至第十四卷积层；第十四卷积层输出的数据输入至第十五卷积层；第十五卷积层输出的数据输入至最近邻插值处理层；最近邻插值处理层将第十五卷积层输出的数据进行预设倍数的上采样操作，将操作的结果输入至目标检测网络层；目标检测网络层输出的数据为待确定图像的预测包围框信息和预测补偿。

[0093] 目标检测网络层包括：第十六卷积层、第十七卷积层、第十八卷积层、第十九卷积层、第二十卷积层、第二十一卷积层；预测包围框信息包括：包围框的预测中心点坐标、预测宽度、预测高度；预测补偿包括：预测中心点偏移量、预测宽度补偿、预测高度补偿；目标检测网络层输出的数据为待确定图像的预测包围框信息和预测补偿包括：第十六卷积层和第十七卷积层输出待确定烟叶布料车和待确定传送带的分别对应的预测中心点坐标；第十八卷积层和第十九卷积层输出待确定烟叶布料车和待确定传送带分别对应的预测宽度和预测高度；第二十卷积层输出待确定烟叶布料车和待确定传送带分别对应的预测中心点偏移量；第二十一卷积层输出待确定烟叶布料车和待确定传送带的分别对应预测宽度补偿和预测高度补偿。

[0094] 基于同一申请构思，本申请实施例中还提供了与上述实施例提供的烟叶布料车和传送带的位置确定方法对应的烟叶布料车和传送带的位置确定装置，由于本申请实施例中的装置解决问题的原理与本申请上述实施例的烟叶布料车和传送带的位置确定方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

[0095] 如图3所示，图3为本申请实施例提供的一种烟叶布料车和传送带的位置确定装置的功能模块图，烟叶布料车和传送带的位置确定装置10包括：获取模块101、第一确定模块102、第二确定模块103、训练模块104、预测模块105和第三确定模块106。获取模块101，用于获取包含烟叶布料车和传送带的图像；第一确定模块102，用于确定图像中的烟叶布料车和传送带分别对应的包围框信息和修正包围框信息；包围框信息是通过标注软件确定的烟叶布料车和传送带分别对应的包围框的大小和位置；修正包围框信息为人为标注的烟叶布料车和传送带分别对应的包围框的大小和位置；第二确定模块103，用于将修正包围框信息与对应的包围框信息的差值，确定为包围框信息的补偿；训练模块104，用于将图像作为训练样本、将图像对应的包围框信息和补偿作为标签，输入到神经网络模型中进行训练；预测模块105，用于将包含待确定烟叶布料车和待确定传送带的待确定图像输入至训练好的神经网络模型中，预测出待确定图像的预测包围框信息和预测补偿；第三确定模块106，用于根据预测包围框信息和预测补偿，确定待确定烟叶布料车和待确定传送带的位置。

[0096] 其中，预测包围框信息包括：预测包围框的预测中心点坐标、预测中心点偏移、预测宽度、预测高度；预测补偿包括：预测中心点坐标补偿、预测中心点偏移补偿、预测宽度补偿、预测高度补偿；第三确定模块106，还用于将待确定烟叶布料车和待确定传送带分别对应的预测中心点坐标、预测中心点偏移、预测宽度、预测高度与预测中心点坐标补偿、预测中心点偏移补偿、预测宽度补偿、预测高度补偿对应相加，确定为待确定烟叶布料车和待确定传送带分别对应的位置。

[0097] 基于同一申请构思，参见图4所示，为本申请实施例提供的一种电子设备的结构示意图，电子设备20包括：处理器201、存储器202和总线203，存储器202存储有处理器201可执行的机器可读指令，当电子设备20运行时，处理器201与存储器202之间通过总线203进行通信，机器可读指令被处理器201运行时执行如上述实施例中任一的烟叶布料车和传送带的位置确定方法的步骤。

[0098] 具体地，机器可读指令被处理器201执行时可以执行如下处理：获取包含烟叶布料车和传送带的图像；确定图像中的烟叶布料车和传送带分别对应的包围框信息和修正包围框信息；包围框信息是通过标注软件确定的烟叶布料车和传送带分别对应的包围框的大小和位置；修正包围框信息为人为标注的烟叶布料车和传送带分别对应的包围框的大小和位置；将修正包围框信息与对应的包围框信息的差值，确定为包围框信息的补偿；将图像作为训练样本、将图像对应的包围框信息和补偿作为标签，输入到神经网络模型中进行训练；将包含待确定烟叶布料车和待确定传送带的待确定图像输入至训练好的神经网络模型中，预测出待确定图像的预测包围框信息和预测补偿；根据预测包围框信息和预测补偿，确定待确定烟叶布料车和待确定传送带的位置。

[0099] 基于同一申请构思，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例提供的烟叶布料车和传送带的位置确定方法的步骤。

[0100] 具体地，存储介质能够为通用的存储介质，如移动磁盘、硬盘等，存储介质上的计算机程序被运行时，能够执行上述烟叶布料车和传送带的位置确定方法，通过烟叶布料车和传送带的标记位置及修正位置得到的补偿来训练神经网络模型，使得神经网络模型可以更加准确地识别出烟叶布料车和传送带的位置，解决了现有技术中烟叶布料车和传送带的位置识别准确率低的技术问题，达到了提高烟叶布料车和传送带的位置识别准确率的技术效果。

[0101] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

[0102] 作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0103] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

[0104] 功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者技术方案的部分可以以软件产品的形式体现出来，计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read‑Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

[0105] 以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。