一种菠萝花蕊的识别定位方法、电子设备及存储介质

摘要

本申请涉及图像识别技术领域，具体提供了一种菠萝花蕊的识别定位方法、电子设备及存储介质，该方法包括步骤：S1、将采集到的第一图像信息输入菠萝花蕊识别定位模型，菠萝花蕊识别定位模型在第一图像信息中生成预测框信息的过程包括：A1、根据第一图像信息获取浅层特征图、中层特征图和深层特征图；A2、基于膨胀网络分别对浅层特征图、中层特征图和深层特征图进行卷积堆叠，以获取三个第一特征图；A3、根据三个第一特征图生成包裹菠萝花蕊的预测框信息；S2、基于预测框信息获取菠萝花蕊的中心位置信息，并基于中心位置信息和预设的变换矩阵生成菠萝花蕊的三维坐标信息；该方法能够有效地提高菠萝花蕊的识别定位方法的识别定位速度。

权利要求

1.一种菠萝花蕊的识别定位方法，其特征在于，所述菠萝花蕊的识别定位方法包括以下步骤：S1、将采集到的第一图像信息输入菠萝花蕊识别定位模型，以使所述菠萝花蕊识别定位模型在所述第一图像信息中生成预测框信息，所述菠萝花蕊识别定位模型在所述第一图像信息中生成预测框信息的过程包括：A1、根据所述第一图像信息获取浅层特征图、中层特征图和深层特征图，所述浅层特征图、所述中层特征图和所述深层特征图均包括细节信息和全局信息，各特征图包括的细节信息的大小关系为：浅层特征图＞中层特征图＞深层特征图，各特征图包括的全局信息的大小关系为：深层特征图＞中层特征图＞浅层特征图；

A2、基于膨胀网络分别对所述浅层特征图、所述中层特征图和所述深层特征图进行卷积堆叠，以获取三个第一特征图，所述膨胀网络包括膨胀特征融合模块和普通卷积层，所述膨胀特征融合模块包括4个具有不同膨胀率的膨胀模块，每个所述膨胀模块均包括顺序连接的1×1卷积层、3×3膨胀卷积层和1×1卷积层；

A3、根据所述三个第一特征图生成包裹菠萝花蕊的预测框信息；

S2、基于所述预测框信息获取菠萝花蕊的中心位置信息，并基于所述中心位置信息和预设的变换矩阵生成菠萝花蕊的三维坐标信息；

所述菠萝花蕊识别定位模型的训练过程为：

分别基于不同的随机梯度下降算法根据预先采集的第二图像信息集进行训练，以生成多个精确率信息、多个召回率信息和与所述精确率信息和所述召回率信息对应的权重文件，所述精确率信息和所述召回率信息的计算公式如下式所示：；

其中，precision表示精确率信息，Recall表示召回率信息，TP表示真正例，FP表示假正例，FN表示假反例；

根据所述精确率信息、所述召回率信息和预设综合比例计算综合得分，所述预设综合比例为在计算综合得分过程中所述精确率信息的占比和所述召回率信息的占比的比例；

将综合得分的最大值对应的权重文件设置为所述菠萝花蕊识别定位模型的最终权重文件。

2.根据权利要求1所述的菠萝花蕊的识别定位方法，其特征在于，步骤A3包括：A31、所述菠萝花蕊识别定位模型分别全局平均池化压缩所述三个第一特征图的空间特征，并对全局平均池化压缩后的三个第一特征进行通道特征学习，以得到三个第二特征图；

A32、所述菠萝花蕊识别定位模型分别将三个第二特征图与对应的第一特征图逐通道相乘，以得到三个第三特征图；

A33、所述菠萝花蕊识别定位模型根据所述三个第三特征图生成包裹菠萝花蕊的预测框信息。

3.根据权利要求1所述的菠萝花蕊的识别定位方法，其特征在于，所述随机梯度下降算法包括SGD算法、AdaGrad算法和Adam算法。

4.根据权利要求1所述的菠萝花蕊的识别定位方法，其特征在于，所述第二图像信息集包括多个第二图像信息，所述第二图像信息为利用深度相机在夜晚环境下采集的包裹菠萝的图像。

5.根据权利要求1所述的菠萝花蕊的识别定位方法，其特征在于，在所述分别基于不同的随机梯度下降算法根据预先采集的第二图像信息集进行训练，以生成多个精确率信息、多个召回率信息和与所述精确率信息和所述召回率信息对应的权重文件的步骤之前还包括：将第二图像信息集中的所有第二图像信息的尺寸调整至预设尺寸；

分别对所有所述第二图像信息中的菠萝花蕊进行锚框标注。

6.根据权利要求4所述的菠萝花蕊的识别定位方法，其特征在于，所述第二图像信息按照预设比例划分为训练集、验证集和测试集，所述训练集和所述验证集用于所述菠萝花蕊识别定位模型的训练，所述测试集用于所述菠萝花蕊识别定位模型的测试。

7.根据权利要求1所述的菠萝花蕊的识别定位方法，其特征在于，所述菠萝花蕊识别定位模型的损失函数如下式所示：；

其中，CIOU_loss表示菠萝花蕊识别定位模型的损失函数，A表示预测框，B表示真实框，IOU（A，B）表示预测框和真实框的交并比，Actr表示预测框的中心点坐标，Bctr表示真实框的中心点坐标，ρ（Actr‑Bctr）表示预测框的中心点坐标与真实框的中心点坐标的欧式距离，c表示预测框和真实框的最小包围框的对角线长度，α为正数，v表示衡量长宽比一致性的参数，α×v表示长宽比的惩罚项。

8.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1‑7任一项所述方法中的步骤。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1‑7任一项所述方法中的步骤。

说明书

一种菠萝花蕊的识别定位方法、电子设备及存储介质

技术领域

[0001] 本申请涉及图像识别技术领域，具体而言，涉及一种菠萝花蕊的识别定位方法、电子设备及存储介质。

背景技术

[0002] 现有技术通常使用移动机器人进行点花，其工作流程为：移动机器人以固定的速度按照预先规划的路线移动，并在移动过程中持续采集图像和分析图像中是否存在待点花植株，在分析到图像中存在待点花植株时，移动机器人停止移动并通过采集到的图像对待点花植株的花蕊进行识别定位，以对待点花植株进行点花。现有的花蕊识别定位方法利用花蕊识别定位模型对花蕊进行识别定位，现有的花蕊识别定位模型利用特征金字塔（FPN）对图像中的特征进行提取和融合，由于特征金字塔综合了多尺度特征融合和分而治之的优势，因此特征金字塔的结构较为复杂，从而导致内存负担增大，特征提取速度和特征融合速度降低，进而导致花蕊识别定位方法的识别定位速度降低。

[0003] 针对上述问题，目前尚未有有效的技术解决方案。

发明内容

[0004] 本申请的目的在于提供一种菠萝花蕊的识别定位方法、电子设备及存储介质，能够有效地降低内存负担和提高特征提取速度，从而有效地提高菠萝花蕊的识别定位方法的识别定位速度。

[0005] 第一方面，本申请提供了一种菠萝花蕊的识别定位方法，其包括步骤：

[0006] S1、将采集到的第一图像信息输入菠萝花蕊识别定位模型，以使菠萝花蕊识别定位模型在第一图像信息中生成预测框信息，菠萝花蕊识别定位模型在第一图像信息中生成预测框信息的过程包括：

[0007] A1、根据第一图像信息获取浅层特征图、中层特征图和深层特征图；

[0008] A2、基于膨胀网络分别对浅层特征图、中层特征图和深层特征图进行卷积堆叠，以获取三个第一特征图；

[0009] A3、根据三个第一特征图生成包裹菠萝花蕊的预测框信息；

[0010] S2、基于预测框信息获取菠萝花蕊的中心位置信息，并基于中心位置信息和预设的变换矩阵生成菠萝花蕊的三维坐标信息。

[0011] 本申请提供的一种菠萝花蕊的识别定位方法，通过生成一个具有更大尺度范围的特征来弥补不使用多级特征所带来的缺陷，也即该方法通过设置膨胀网络代替现有的特征金字塔中的多尺度特征融合，从而有效地降低内存负担和提高特征提取速度，进而有效地提高菠萝花蕊的识别定位方法的识别定位速度。

[0012] 可选地，步骤A3包括：

[0013] A31、菠萝花蕊识别定位模型分别全局平均池化压缩三个第一特征图的空间特征，并对全局平均池化压缩后的三个第一特征进行通道特征学习，以得到三个第二特征图[0014] A32、菠萝花蕊识别定位模型分别将三个第二特征图与对应的第一特征图逐通道相乘，以得到三个第三特征图；

[0015] A33、菠萝花蕊识别定位模型根据三个第三特征图生成包裹菠萝花蕊的预测框信息。

[0016] 由于该技术方案根据增强后的第一特征图生成预测框信息，因此该技术方案能够有效地提高预测框信息的准确度。

[0017] 可选地，菠萝花蕊识别定位模型的训练过程为：

[0018] 分别基于不同的随机梯度下降算法根据预先采集的第二图像信息集进行训练，以生成多个精确率信息、多个召回率信息和与精确率信息和召回率信息对应的权重文件；

[0019] 根据精确率信息和召回率信息选择菠萝花蕊识别定位模型的权重文件。

[0020] 该技术方案相当于通过使用不同的随机梯度下降算法对菠萝花蕊识别定位模型进行训练的方式获得一个较好的权重文件，从而有效地提高菠萝花蕊识别定位模型的识别精确度。

[0021] 可选地，随机梯度下降算法包括SGD算法、AdaGrad算法和Adam算法。

[0022] 可选地，第二图像信息集包括多个第二图像信息，第二图像信息为利用深度相机在夜晚环境下采集的包裹菠萝的图像。

[0023] 可选地，在分别基于不同的随机梯度下降算法根据预先采集的第二图像信息集进行训练，以生成多个精确率信息、多个召回率信息和与精确率信息和召回率信息对应的权重文件的步骤之前还包括：

[0024] 将第二图像信息集中的所有第二图像信息的尺寸调整至预设尺寸；

[0025] 分别对所有第二图像信息中的菠萝花蕊进行锚框标注。

[0026] 可选地，第二图像信息按照预设比例划分为训练集、验证集和测试集，训练集和验证集用于菠萝花蕊识别定位模型的训练，测试集用于菠萝花蕊识别定位模型的测试。

[0027] 可选地，菠萝花蕊识别定位模型的损失函数如下式所示：

[0028]

[0029] 其中，CIOU_loss表示菠萝花蕊识别定位模型的损失函数，A表示预测框，B表示真实框，IOU（A，B）表示预测框和真实框的交并比，Actr表示预测框的中心点坐标，Bctr表示真实框的中心点坐标，ρ（Actr‑Bctr）表示预测框的中心点坐标与真实框的中心点坐标的欧式距离，c表示预测框和真实框的最小包围框的对角线长度，α为正数，v表示衡量长宽比一致性的参数，α×v表示长宽比的惩罚项。

[0030] 第二方面，本申请还提供了一种电子设备，包括处理器以及存储器，上述存储器存储有计算机可读取指令，当上述计算机可读取指令由上述处理器执行时，运行如上述第一方面提供的方法中的步骤。

[0031] 第三方面，本申请还提供了一种存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时运行如上述第一方面提供的方法中的步骤。

[0032] 由上可知，本申请提供的一种菠萝花蕊的识别定位方法、电子设备及存储介质，通过生成一个具有更大尺度范围的特征来弥补不使用多级特征所带来的缺陷，也即该方法通过设置膨胀网络代替现有的特征金字塔中的多尺度特征融合，从而有效地降低内存负担和提高特征提取速度，进而有效地提高菠萝花蕊的识别定位方法的识别定位速度。

附图说明

[0033] 图1为本申请实施例提供的一种菠萝花蕊的识别定位方法的流程图。

[0034] 图2为本申请实施例提供的一种菠萝花蕊识别定位模型的结构示意图。

[0035] 图3为本申请实施例提供的一种膨胀网络的结构示意图。

[0036] 图4为本申请实施例提供的一种CBS结构的结构示意图。

[0037] 图5为本申请实施例提供的一种CSP1_X结构的结构示意图。

[0038] 图6为本申请实施例提供的一种CSP2_X结构的结构示意图。

[0039] 图7为本申请实施例提供的一种SPP结构的结构示意图。

[0040] 图8为本申请实施例提供的一种FOCUS结构的结构示意图。

[0041] 图9为本申请实施例提供的一种Resunit结构的结构示意图。

[0042] 图10为本申请实施例提供的一种电子设备的结构示意图。

[0043] 附图标记：1、特征提取网络；2、膨胀网络；21、膨胀模块；301、处理器；302、存储器；303、通信总线。

具体实施方式

[0044] 下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0045] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

[0046] 如图1‑图9所示，第一方面，本申请提供了一种菠萝花蕊的识别定位方法，其包括步骤：

[0047] S1、将采集到的第一图像信息输入菠萝花蕊识别定位模型，以使菠萝花蕊识别定位模型在第一图像信息中生成预测框信息，菠萝花蕊识别定位模型在第一图像信息中生成预测框信息的过程包括：

[0048] A1、根据第一图像信息获取浅层特征图、中层特征图和深层特征图；

[0049] A2、基于膨胀网络2分别对浅层特征图、中层特征图和深层特征图进行卷积堆叠，以获取三个第一特征图；

[0050] A3、根据三个第一特征图生成包裹菠萝花蕊的预测框信息；

[0051] S2、基于预测框信息获取菠萝花蕊的中心位置信息，并基于中心位置信息和预设的变换矩阵生成菠萝花蕊的三维坐标信息。

[0052] 其中，第一图像信息（图2中的Images）为在移动机器人的移动过程通过相机或视觉传感器采集到的图像，该实施例优选采用深度相机采集第一图像信息。步骤S1将第一图像信息输入菠萝花蕊识别定位模型，若第一图像信息中存在菠萝花蕊（图2中的target），菠萝花蕊识别定位模型在第一图像信息中生成预测框信息，该预测框信息为包裹菠萝花蕊的预测框；若第一图像信息中不存在菠萝花蕊，菠萝花蕊识别定位模型不会在第一图像信息中生成预测框信息。

[0053] 步骤A1中，浅层特征图为由浅层网络对第一图像信息进行特征提取后得到的特征图，中层特征图为由中层网络对第一图像信息进行特征提取后得到的特征图，深层特征图为由深层网络对第一图像信息进行特征提取后得到的特征图，具体地，浅层网络、中层网络和深层网络为具有不同膨胀率的特征提取网络1，深层网络的膨胀率大于中层网络的膨胀率，中层网络的膨胀率大于浅层网络的膨胀率。以第一图像信息的尺寸为640×640×3为例，浅层特征图的尺寸为80×80×256，中层特征图的尺寸为40×40×512，高层特征图的尺寸为20×20×1024。浅层网络具有感受野小、捕获的细节信息多和分辨率高的特点，深层网络具有感受野大、捕获的全局信息多和分辨率低的特点，中层网络的感受野和分辨率均位于浅层网络和深层网络之间。步骤A1相当于利用现有的特征提取网络1基于不同的膨胀率对第一图像信息进行特征提取，由于浅层特征图包括最多的细节信息，深层特征图包括最多的全局信息，中层特征图包括的细节信息和全局信息均位于浅层特征图和深层特征图之间，因此浅层特征图、中层特征图和深层特征图为互补关系。步骤A2的膨胀网络2包括膨胀特征融合模块（图2中的EFM）和普通卷积层，EFM模块包括多个具有不同膨胀率的膨胀模块21（为了方便展示，图3仅示出一个膨胀模块21），多个膨胀模块21之间3×3膨胀卷积堆叠，每一个膨胀模块21均包括顺序连接的1×1卷积层（图3中的膨胀模块21中左侧的Conv）、3×
3膨胀卷积层（图3中的膨胀模块21中的DConv）和1×1卷积层（图3中的膨胀模块21中右侧的Conv），以对浅层特征图进行卷积堆叠为例，步骤A2先利用1×1卷积层降低浅层特征图的通道维度，再将降低通道维度后的浅层特征图通过不同膨胀率的3×3膨胀卷积堆叠的4个膨胀模块21，以得到尺寸为H×W×C（H表示第一特征图的高，W表示第一特征图的宽，C表示通道数）的第一特征图，即基于膨胀网络2对浅层特征图进行卷积堆叠相当于使用不同膨胀率的膨胀卷积处理降低通道维度后的浅层特征图。应当理解的是，对中层特征图和深层特征图进行卷积堆叠执行的操作与对浅层特征图进行卷积堆叠执行的操作相同，此处不再进行详细论述。步骤A3中，菠萝花蕊识别定位模型利用图2中的Detect模块（输出模块）对三个第一特征图进行预测和筛选，以生成包裹菠萝花蕊的预测框信息。

[0054] 步骤S2的变换矩阵为预设值，该变换矩阵用于结合深度信息将二维坐标转换成三维坐标，该深度信息可以为深度相机采集、激光传感器采集或测距传感器采集而成的。步骤S2的工作原理为：由于预测框信息为第一图像信息中包裹菠萝花蕊的预测框，而预测框在第一图像信息中的位置能反映菠萝花蕊在第一图像信息中的位置，因此可以通过预测框信息获取菠萝花蕊的中心位置信息（即二维坐标），而由于变换矩阵用于结合深度信息将二维坐标转换成三维坐标，因此步骤S2可以根据菠萝花蕊的中心位置信息和预设的变换矩阵获取菠萝花蕊的三维坐标信息。

[0055] 该实施例的工作原理为：菠萝花蕊识别定位模型基于不同膨胀率的膨胀模块21分别根据浅层特征图、中层特征图和深层特征图获取第一特征图，膨胀模块21能在不增加卷积核参数量的情况下增大卷积核的感受野，以在无需对特征图（该特征图包括浅层特征图、中层特征图和深层特征图）进行下采样处理的情况下学习较高层的语义特征，从而有效地避免出现由于需要对特征图进行下采样处理而导致特征图的分辨率下降的情况，由于不同膨胀率的膨胀残能够形成不同尺寸的卷积核感受野，且浅层特征图、中层特征图和深层特征图为互补关系，因此该实施例通过生成一个具有更大尺度范围的特征来弥补不使用多级特征所带来的缺陷，也即该实施例通过设置膨胀网络2代替现有的特征金字塔中的多尺度特征融合，从而有效地降低内存负担和提高特征提取速度，进而有效地提高菠萝花蕊的识别定位方法的识别定位速度。

[0056] 本申请提供的一种菠萝花蕊的识别定位方法，通过生成一个具有更大尺度范围的特征来弥补不使用多级特征所带来的缺陷，也即该方法通过设置膨胀网络2代替现有的特征金字塔中的多尺度特征融合，从而有效地降低内存负担和提高特征提取速度，进而有效地提高菠萝花蕊的识别定位方法的识别定位速度。

[0057] 如图3所示，图3中的Sigmoid为Sigmoid函数，在一些实施例中，步骤A3包括：

[0058] A31、菠萝花蕊识别定位模型分别全局平均池化压缩三个第一特征图的空间特征，并对全局平均池化压缩后的三个第一特征进行通道特征学习，以得到三个第二特征图；

[0059] A32、菠萝花蕊识别定位模型分别将三个第二特征图与对应的第一特征图逐通道相乘，以得到三个第三特征图；

[0060] A33、菠萝花蕊识别定位模型根据三个第三特征图生成包裹菠萝花蕊的预测框信息。

[0061] 以对一个尺寸为H×W×C的第一特征图进行全局平均池化压缩和通道特征学习为例，菠萝花蕊识别定位模型先利用全局平均池化（图3的GAP全局平均池化）压缩第一特征图的空间特征，以得到尺寸为1×1×C的第一特征图，再利用1×1卷积对尺寸为1×1×C的第一特征图进行通道特征学习，以得到第二特征图。步骤A31通过对第一特征图进行全局平均池化和通道特征学习的方式有效地防止第一特征图过拟合和提高第一特征图的鲁棒性。

[0062] 步骤A32将第二特征图与对应的第一特征图逐通道相乘得到第三特征图相当于将归一化权重和原输入特征图逐通道相乘生成加权后的特征图，即步骤A31‑步骤A32相当于对第一特征图进行增强。步骤A33中，菠萝花蕊识别定位模型利用图2中的Dectet模块（输出模块）对三个第三特征图进行预测和筛选，以生成包括菠萝花蕊的预测框信息。由于该实施例根据增强后的第一特征图生成预测框信息，因此该实施例能够有效地提高预测框信息的准确度。

[0063] 在一些实施例中，菠萝花蕊识别定位模型的训练过程为：

[0064] B1、分别基于不同的随机梯度下降算法根据预先采集的第二图像信息集进行训练，以生成多个精确率信息、多个召回率信息和与精确率信息和召回率信息对应的权重文件；

[0065] B2、根据精确率信息和召回率信息选择菠萝花蕊识别定位模型的权重文件。

[0066] 其中，第二图像信息集为预先采集的，第二图像信息集包括多个第二图像信息，由于点花操作一般在夜晚进行，因此第二图像信息优选为利用深度相机在夜晚环境下采集的包裹菠萝的图像。由于菠萝花蕊识别定位模型分别基于不同的随机梯度下降算法进行训练，而每种随机梯度下降算法均有对应的精确率、召回率和权重文件，因此步骤B1会生成多个精确率信息、多个召回率信息以及对应的权重文件。步骤B1的精确率信息为真正例在所有预测为正例（真正例+假正例）中的比例，精确率信息能反映正例的预测准确程度，召回率信息为真正例在所有真实为正例（真正例+假反例）中的比例，召回率信息能反映菠萝花蕊识别定位模型预测正样本全度的能力，真正例为被菠萝花蕊识别定位模型预测到存在菠萝花蕊且实际上第二图像信息中存在菠萝花蕊的样本，假正例为被菠萝花蕊识别定位模型预测到存在菠萝花蕊但实际上第二图像信息中不存在菠萝花蕊的样本，假反例为被菠萝花蕊识别定位模型预测到不存在菠萝花蕊但实际上第二图像信息中存在菠萝花蕊的样本。应当理解的是，由于拍摄角度、植株生长姿态等因素影响，因此可能会出现部分第二图像信息中不存在菠萝花蕊的情况，即精确率信息和召回率信息均小于等于1。精确率信息和召回率信息如式（1）所示：

[0067]             （1）

[0068] 其中，precision表示精确率信息，Recall表示召回率信息，TP表示真正例，FP表示假正例，FN表示假反例。

[0069] 由于精确率信息和召回率信息越大，菠萝花蕊识别定位模型的识别精确度越高，因此步骤B2可以将精确率信息最大或召回率信息最大对应的权重文件设置为菠萝花蕊识别定位模型的最终权重文件。步骤B2也可以先根据精确率信息、召回率信息和预设综合比例计算综合得分，预设综合比例为在计算综合得分过程中精确率信息的占比与召回率信息的占比的比例，例如预设综合比例为0.6:0.4，精确率信息为0.9，召回率信息为0.95，则综合得分=0.6×0.9+0.4×0.95=0.92，再将综合得分的最大值对应的权重文件设置为菠萝花蕊识别定位模型的最终权重文件。该实施例相当于通过使用不同的随机梯度下降算法对菠萝花蕊识别定位模型进行训练的方式获得一个较好的权重文件，从而有效地提高菠萝花蕊识别定位模型的识别精确度。应该理解的是，该实施例还可以根据F1‑score或mAP等指标来选择菠萝花蕊识别定位模型的权重文件，F1‑score为精确率信息和召回率信息的加权调和平均数，F1‑score能平衡精确率信息少预测为正例和召回率信息基本都预测为正例的单维度指标缺陷，mAP为全类平均精度信息，mAP为各类别的平均精确度的平均值。

[0070] 在一些实施例中，在训练菠萝花蕊识别定位模型之前，使用YOLOV5m权重文件初始化菠萝花蕊识别定位模型的权重文件。

[0071] 在一些实施例中，随机梯度下降算法包括SGD算法、AdaGrad算法和Adam算法。SGD算法具有下降梯度简单的优点，AdaGrad算法在SGD算法的基础上增加了二阶动量，AdaGrad算法适用于数据稀疏的应用场景，Adam算法在SGD算法的基础上增加了一阶动量和二阶动量。

[0072] 在一些实施例中，第二图像信息集包括多个第二图像信息，第二图像信息为利用深度相机在夜晚环境下采集的包括菠萝的图像。在采集第二图像信息时，该实施例优选使用功率为12W的中性光灯带进行补光。

[0073] 在一些实施例中，在菠萝花蕊识别定位模型根据第二图像信息集进行训练前，对第二图像信息集中的第二图像信息进行数据增强处理。数据增强为现有技术，此处不再进行详细论述。该实施例通过数据增强的方式对第二图像信息集的数据量进行扩增，从而有效地提高菠萝花蕊识别定位模型的鲁棒性和泛化能力。

[0074] 在一些实施例中，在步骤B1之前还包括：

[0075] B00、将第二图像信息集中的所有第二图像信息的尺寸调整至预设尺寸；

[0076] B01、分别对所有第二图像信息中的菠萝花蕊进行锚框标注。

[0077] 其中，步骤B00的预设尺寸为预设值，本领域技术人员能够根据实际需要改变预设尺寸的大小，步骤B00相当于将所有第二图像信息的尺寸调整至同一尺寸。步骤B01可以利用LabelImg、Labelme或RectLabel等现有的标注工具对所有第二图像信息中的菠萝花蕊进行锚框标注，锚框标注后得到的框即为真实框。

[0078] 在一些实施例中，第二图像信息按照预设比例划分为训练集、验证集和测试集，训练集和验证集用于菠萝花蕊识别定位模型的训练，测试集用于菠萝花蕊识别定位模型的测试。预设比例为预设值，预设比例优选为8:2:1。

[0079] 在一些实施例中，菠萝花蕊识别定位模型的损失函数如式（2）所示：

[0080]         （2）

[0081] 其中，CIOU_loss表示菠萝花蕊识别定位模型的损失函数，A表示预测框，B表示真实框，IOU（A，B）表示预测框和真实框的交并比，Actr表示预测框的中心点坐标，Bctr表示真实框的中心点坐标，ρ（Actr‑Bctr）表示预测框的中心点坐标与真实框的中心点坐标的欧式距离，c表示预测框和真实框的最小包围框的对角线长度，α为正数，v表示衡量长宽比一致性的参数，α×v表示长宽比的惩罚项。具体地，衡量长宽比一致性的参数如式（3）所示：

[0082]              （3）

[0083] 其中，Wgt表示真实框的宽，hgt表示真实框的长，Wp表示预测框的宽，hp表示预测框的长。应当理解的是，由于该实施例的损失函数使用预测框和真实框的交并比、预测框的中心点坐标与真实框的中心点坐标的欧式距离以及长宽比一致性作为参数，因此基于该损失函数训练后的菠萝花蕊识别定位模型具有预测框与真实框的整体重合度高、预测框的中心点与真实框的中心点的距离小以及预测框的长宽比与真实框的长宽比的一致性好的优点。

[0084] 在一些实施例中，特征提取网络1的基础骨架为CSPDarknet，特征提取网络1包括FOCUS结构（参考图8，图8中的slice为slice函数，图8中的Concat为Concat函数）、CBS结构（参考图4）、CSP1_X结构（参考图5）、SPP结构（参考图7，图7中的MaxPool为最大池化，图7中的Concat为Concat函数）和CSP2_X结构（参考图6，其包括2X个CBS结构，图6中的Concat为Concat函数）。CBS结构由普通卷积层（图4中的Conv）、Batch Normalization（图4中的BN）和激活函数SiLu层（图4中的SiLU）组成。CSP1_X结构由两个CBS结构、两个普通卷积层、两个Batch Normalization层和激活函数SiLu层和X个Resunit（残差模块，其结构参考图9，图9中的add为相加模块）组成。

[0085] 由上可知，本申请提供的一种菠萝花蕊的识别定位方法，通过生成一个具有更大尺度范围的特征来弥补不使用多级特征所带来的缺陷，也即该方法通过设置膨胀网络2代替现有的特征金字塔中的多尺度特征融合，从而有效地降低内存负担和提高特征提取速度，进而有效地提高菠萝花蕊的识别定位方法的识别定位速度。

[0086] 第二方面，请参照图10，图10为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机可读取指令，当电子设备运行时，处理器301执行该计算机可读取指令，以执行时执行实施例的任一可选的实现方式中的方法，以实现以下功能：S1、将采集到的第一图像信息输入菠萝花蕊识别定位模型，以使菠萝花蕊识别定位模型在第一图像信息中生成预测框信息，菠萝花蕊识别定位模型在第一图像信息中生成预测框信息的过程包括：A1、根据第一图像信息获取浅层特征图、中层特征图和深层特征图；A2、基于膨胀网络2分别对浅层特征图、中层特征图和深层特征图进行卷积堆叠，以获取三个第一特征图；A3、根据三个第一特征图生成包裹菠萝花蕊的预测框信息；S2、基于预测框信息获取菠萝花蕊的中心位置信息，并基于中心位置信息和预设的变换矩阵生成菠萝花蕊的三维坐标信息。

[0087] 第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行实施例的任一可选的实现方式中的方法，以实现以下功能：S1、将采集到的第一图像信息输入菠萝花蕊识别定位模型，以使菠萝花蕊识别定位模型在第一图像信息中生成预测框信息，菠萝花蕊识别定位模型在第一图像信息中生成预测框信息的过程包括：A1、根据第一图像信息获取浅层特征图、中层特征图和深层特征图；A2、基于膨胀网络2分别对浅层特征图、中层特征图和深层特征图进行卷积堆叠，以获取三个第一特征图；A3、根据三个第一特征图生成包裹菠萝花蕊的预测框信息；S2、基于预测框信息获取菠萝花蕊的中心位置信息，并基于中心位置信息和预设的变换矩阵生成菠萝花蕊的三维坐标信息。
其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read‑Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red‑Only Memory, 简称PROM），只读存储器（Read‑Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。

[0088] 由上可知，本申请提供的一种菠萝花蕊的识别定位方法、电子设备及存储介质，通过生成一个具有更大尺度范围的特征来弥补不使用多级特征所带来的缺陷，也即该方法通过设置膨胀网络2代替现有的特征金字塔中的多尺度特征融合，从而有效地降低内存负担和提高特征提取速度，进而有效地提高菠萝花蕊的识别定位方法的识别定位速度。

[0089] 在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个机器人，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

[0090] 另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以上升至一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0091] 再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

[0092] 在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

[0093] 以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。