铝材加工的液压式撞角机及其使用方法

摘要

本申请涉及智能制造的领域，其具体地公开了一种铝材加工的液压式撞角机及其使用方法，其通过卷积神经网络模型来提取撞角机在对装的过程中两侧铝材所呈现的夹角和形状发生的微弱变化隐含特征以进行铝材组装件的规范预警，并且在特征提取中使用感兴趣区域来更加聚焦于所述两侧铝材与定位块的结合处，同时对于感兴趣区域的特征图进行相对于特征图整体的归一化修正，使得局部特征对于全局特征具有信息最小化的鲁棒性，相对于对于特征局部进行向着特征整体的聚类操作，从而增大局部特征分布对于全局特征分布的依赖性，进而提升了模型预测的准确度。

权利要求

1.一种铝材加工的液压式撞角机，其特征在于，包括：

训练模块，包括：

训练数据单元，用于获取由部署于液压式撞角机的相机采集的铝材组装件的组装图像以及参考图像，所述参考图像为组装规范的铝材组装件的图像；

第一图像控制结果生成单元，用于将所述组装图像通过第一卷积神经网络以得到第一特征图；

第二图像控制结果生成单元，用于将所述参考图像通过第二卷积神经网络以得到第二特征图；

距离损失计算单元，用于计算所述第一特征图和所述第二特征图之间的距离损失函数值；

感兴趣区域提取单元，用于将所述第一特征图通过候选框提取网络以从所述第一特征图提取第一感兴趣区域和第二感兴趣区域，其中，所述第一感兴趣区域和所述第二感兴趣区域对应于所述铝材组装件的定位块与两侧铝材的两个结合处；

参考值获取单元，用于获取所述组装规范的铝材组装件在其定位块与两侧铝材的两个结合处的两个压力值；

感兴趣区域加强单元，用于基于所述第一特征图，分别对所述第一感兴趣区域和所述第二感兴趣区域进行校正以得到校正后第一感兴趣区域和校正后第二感兴趣区域；

交叉熵损失函数值计算单元，用于分别计算所述校正后第一感兴趣区域和校正后第二感兴趣区域与所述两个压力值的第一交叉熵数值和第二交叉熵数值，并计算所述第一交叉熵数值和所述第二交叉熵数值的加权和作为交叉熵损失函数值；

分类损失计算单元，用于将所述第一特征图通过分类器以得到分类损失函数值；以及训练单元，用于以所述交叉熵损失函数值、距离损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述分类器进行训练；以及推断模块，包括：组装过程图像获取单元，用于获取由部署于液压式撞角机的相机采集的铝材组装件的组装图像；

组装图像识别单元，用于将所述组装图像通过经训练模块训练完成的所述第一卷积神经网络以得到第一特征图；以及控制结果生成单元，用于将所述第一特征图通过经训练模块训练完成的所述分类器以得到分类结果，所述分类结果用于表示铝材组装件是否组装规范。

2.根据权利要求1所述的铝材加工的液压式撞角机，其中，所述距离损失计算单元，进一步用于：以如下公式计算所述第一特征图和所述第二特征图之间的所述距离损失函数值；

其中，所述公式为：

其中，Dloss为所述距离损失函数值， 为所述第一特征图中的每个位置的特征值，为所述第二特征图中的每个位置的特征值，k指所述特征图的宽度维度，l指所述特征图的高度维度，m指所述特征图的通道维度。

3.根据权利要求2所述的铝材加工的液压式撞角机，其中，所述距离损失计算单元，进一步用于：以如下公式计算所述第一特征图和所述第二特征图之间的所述距离损失函数值；

其中，所述公式为：

其中，Dloss为所述距离损失函数值， 为所述第一特征图中的每个位置的特征值，为所述第二特征图中的每个位置的特征值，k指所述特征图的宽度维度，l指所述特征图的高度维度，m指所述特征图的通道维度。

4.根据权利要求3所述的铝材加工的液压式撞角机，其中，所述感兴趣区域加强单元，进一步用于：全局特征表示子单元，用于以如下公式计算所述第一特征图中所有位置的特征值的求和值与一的加和值的对数函数值作为所述第一特征图的全局特征值，其中，所述公式为：其中，F1为所述第一特征图，fwhole为所述第一特征图中的每个位置的特征值；以及

基于全局的特征加强子单元，用于以所述第一感兴趣区域和所述第二感兴趣区域中各个位置的特征值与一的加和值的对数函数值分别除以所述第一特征图的全局特征值以得到所述校正后第一感兴趣区域和所述校正后第二感兴趣区域。

5.根据权利要求4所述的铝材加工的液压式撞角机，其中，所述分类损失计算单元，进一步用于：所述分类器以如下公式对所述第一特征图进行处理以生成分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|Project(F)}，其中Project(F)表示将所述第一特征图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵；

以及，计算所述分类结果与真实值之间的交叉熵值作为所述分类损失函数值。

6.根据权利要求5所述的铝材加工的液压式撞角机，其中，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构。

7.一种铝材加工的液压式撞角机的使用方法，其特征在于，包括：训练阶段，包括：

获取由部署于液压式撞角机的相机采集的铝材组装件的组装图像以及参考图像，所述参考图像为组装规范的铝材组装件的图像；

将所述组装图像通过第一卷积神经网络以得到第一特征图；

将所述参考图像通过第二卷积神经网络以得到第二特征图；

计算所述第一特征图和所述第二特征图之间的距离损失函数值；

将所述第一特征图通过候选框提取网络以从所述第一特征图提取第一感兴趣区域和第二感兴趣区域，其中，所述第一感兴趣区域和所述第二感兴趣区域对应于所述铝材组装件的定位块与两侧铝材的两个结合处；

获取所述组装规范的铝材组装件在其定位块与两侧铝材的两个结合处的两个压力值；

基于所述第一特征图，分别对所述第一感兴趣区域和所述第二感兴趣区域进行校正以得到校正后第一感兴趣区域和校正后第二感兴趣区域；

分别计算所述校正后第一感兴趣区域和校正后第二感兴趣区域与所述两个压力值的第一交叉熵数值和第二交叉熵数值，并计算所述第一交叉熵数值和所述第二交叉熵数值的加权和作为交叉熵损失函数值；

将所述第一特征图通过分类器以得到分类损失函数值；以及

以所述交叉熵损失函数值、距离损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述分类器进行训练；以及推断阶段，包括：

获取由部署于液压式撞角机的相机采集的铝材组装件的组装图像；

将所述组装图像通过经训练模块训练完成的所述第一卷积神经网络以得到第一特征图；以及将所述第一特征图通过经训练模块训练完成的所述分类器以得到分类结果，所述分类结果用于表示铝材组装件是否组装规范。

8.根据权利要求7所述的铝材加工的液压式撞角机的使用方法，其中，计算所述第一特征图和所述第二特征图之间的距离损失函数值，包括：以如下公式计算所述第一特征图和所述第二特征图之间的所述距离损失函数值；

其中，所述公式为：

其中，Dloss为所述距离损失函数值， 为所述第一特征图中的每个位置的特征值，为所述第二特征图中的每个位置的特征值，k指所述特征图的宽度维度，l指所述特征图的高度维度，m指所述特征图的通道维度。

9.根据权利要求8所述的铝材加工的液压式撞角机的使用方法，其中，计算所述第一特征图和所述第二特征图之间的距离损失函数值，包括：以如下公式计算所述第一特征图和所述第二特征图之间的所述距离损失函数值；

其中，所述公式为：

其中，Dloss为所述距离损失函数值， 为所述第一特征图中的每个位置的特征值，为所述第二特征图中的每个位置的特征值，k指所述特征图的宽度维度，l指所述特征图的高度维度，m指所述特征图的通道维度。

10.根据权利要求9所述的铝材加工的液压式撞角机的使用方法，其中，基于所述第一特征图，分别对所述第一感兴趣区域和所述第二感兴趣区域进行校正以得到校正后第一感兴趣区域和校正后第二感兴趣区域，包括：以如下公式计算所述第一特征图中所有位置的特征值的求和值与一的加和值的对数函数值作为所述第一特征图的全局特征值，其中，所述公式为：其中，F1为所述第一特征图，fwhole为所述第一特征图中的每个位置的特征值；以及以所述第一感兴趣区域和所述第二感兴趣区域中各个位置的特征值与一的加和值的对数函数值分别除以所述第一特征图的全局特征值以得到所述校正后第一感兴趣区域和所述校正后第二感兴趣区域。

说明书

铝材加工的液压式撞角机及其使用方法

技术领域

[0001] 本申请涉及智能制造的领域，且更为具体地，涉及一种铝材加工的液压式撞角机及其使用方法。

背景技术

[0002] 撞角机又称组角机，是高档断桥铝合金门窗生产专用设备，适用于角码结构型铝门窗90度角连接，根据可组角的不同，分为单头组角机，双头组角机，四头组角机，由组角油缸推动组角滑板，组角滑板向前运动，同时推动左右冲铆轴，由冲铆轴上的组角刀实现对铝门窗90度角连接。

[0003] 撞角机在对装的过程中采用在两侧设置顶紧液压缸，通过顶紧液压缸推动铝材，实现两侧铝材在定位块夹角处对装，但对于不同长度的铝材，这种方式很难掌握顶紧液压缸的行程和动作时间，这样就控制不好铝材的运动距离，经常造成对装过头或者对装不完全，对装过头的两个铝材在接触处由于液压缸过度挤压，被挤压抬起甚至变形，严重影响定位精度的组装效果，从而影响组角质量，同时对于长度较长的铝材(如超出工作台面的铝材)，顶紧液压缸则完全失去作用。因此,期待一种具有对装精度自检功能的液压式撞角机。

发明内容

[0004] 为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种铝材加工的液压式撞角机及其使用方法，其通过卷积神经网络模型来提取撞角机在对装的过程中两侧铝材所呈现的夹角和形状发生的微弱变化隐含特征以进行铝材组装件的规范预警，并且在特征提取中使用感兴趣区域来更加聚焦于所述两侧铝材与定位块的结合处，同时对于感兴趣区域的特征图进行相对于特征图整体的归一化修正，使得局部特征对于全局特征具有信息最小化的鲁棒性，相对于对于特征局部进行向着特征整体的聚类操作，从而增大局部特征分布对于全局特征分布的依赖性，进而提升了模型预测的准确度。

[0005] 根据本申请的一个方面，提供了一种铝材加工的液压式撞角机，其包括：

[0006] 训练模块，包括：

[0007] 训练数据单元，用于获取由部署于液压式撞角机的相机采集的铝材组装件的组装图像以及参考图像，所述参考图像为组装规范的铝材组装件的图像；

[0008] 第一图像控制结果生成单元，用于将所述组装图像通过第一卷积神经网络以得到第一特征图；

[0009] 第二图像控制结果生成单元，用于将所述参考图像通过第二卷积神经网络以得到第二特征图；

[0010] 距离损失计算单元，用于计算所述第一特征图和所述第二特征图之间的距离损失函数值；

[0011] 感兴趣区域提取单元，用于将所述第一特征图通过候选框提取网络以从所述第一特征图提取第一感兴趣区域和第二感兴趣区域，其中，所述第一感兴趣区域和所述第二感兴趣区域对应于所述铝材组装件的定位块与两侧铝材的两个结合处；

[0012] 参考值获取单元，用于获取所述组装规范的铝材组装件在其定位块与两侧铝材的两个结合处的两个压力值；

[0013] 感兴趣区域加强单元，用于基于所述第一特征图，分别对所述第一感兴趣区域和所述第二感兴趣区域进行校正以得到校正后第一感兴趣区域和校正后第二感兴趣区域；

[0014] 交叉熵损失函数值计算单元，用于分别计算所述校正后第一感兴趣区域和校正后第二感兴趣区域与所述两个压力值的第一交叉熵数值和第二交叉熵数值，并计算所述第一交叉熵数值和所述第二交叉熵数值的加权和作为交叉熵损失函数值；

[0015] 分类损失计算单元，用于将所述第一特征图通过分类器以得到分类损失函数值；以及

[0016] 训练单元，用于以所述交叉熵损失函数值、距离损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述分类器进行训练；以及[0017] 推断模块，包括：

[0018] 组装过程图像获取单元，用于获取由部署于液压式撞角机的相机采集的铝材组装件的组装图像；

[0019] 组装图像识别单元，用于将所述组装图像通过经训练模块训练完成的所述第一卷积神经网络以得到第一特征图；以及

[0020] 控制结果生成单元，用于将所述第一特征图通过经训练模块训练完成的所述分类器以得到分类结果，所述分类结果用于表示铝材组装件是否组装规范。

[0021] 根据本申请的另一个方面，提供了一种铝材加工的液压式撞角机的使用方法，其包括：

[0022] 训练阶段，包括：

[0023] 获取由部署于液压式撞角机的相机采集的铝材组装件的组装图像以及参考图像，所述参考图像为组装规范的铝材组装件的图像；

[0024] 将所述组装图像通过第一卷积神经网络以得到第一特征图；

[0025] 将所述参考图像通过第二卷积神经网络以得到第二特征图；

[0026] 计算所述第一特征图和所述第二特征图之间的距离损失函数值；

[0027] 将所述第一特征图通过候选框提取网络以从所述第一特征图提取第一感兴趣区域和第二感兴趣区域，其中，所述第一感兴趣区域和所述第二感兴趣区域对应于所述铝材组装件的定位块与两侧铝材的两个结合处；

[0028] 获取所述组装规范的铝材组装件在其定位块与两侧铝材的两个结合处的两个压力值；

[0029] 基于所述第一特征图，分别对所述第一感兴趣区域和所述第二感兴趣区域进行校正以得到校正后第一感兴趣区域和校正后第二感兴趣区域；

[0030] 分别计算所述校正后第一感兴趣区域和校正后第二感兴趣区域与所述两个压力值的第一交叉熵数值和第二交叉熵数值，并计算所述第一交叉熵数值和所述第二交叉熵数值的加权和作为交叉熵损失函数值；

[0031] 将所述第一特征图通过分类器以得到分类损失函数值；以及

[0032] 以所述交叉熵损失函数值、距离损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述分类器进行训练；以及

[0033] 推断阶段，包括：

[0034] 获取由部署于液压式撞角机的相机采集的铝材组装件的组装图像；

[0035] 将所述组装图像通过经训练模块训练完成的所述第一卷积神经网络以得到第一特征图；以及

[0036] 将所述第一特征图通过经训练模块训练完成的所述分类器以得到分类结果，所述分类结果用于表示铝材组装件是否组装规范。

[0037] 与现有技术相比，本申请提供的铝材加工的液压式撞角机及其使用方法，其通过卷积神经网络模型来提取撞角机在对装的过程中两侧铝材所呈现的夹角和形状发生的微弱变化隐含特征以进行铝材组装件的规范预警，并且在特征提取中使用感兴趣区域来更加聚焦于所述两侧铝材与定位块的结合处，同时对于感兴趣区域的特征图进行相对于特征图整体的归一化修正，使得局部特征对于全局特征具有信息最小化的鲁棒性，相对于对于特征局部进行向着特征整体的聚类操作，从而增大局部特征分布对于全局特征分布的依赖性，进而提升了模型预测的准确度。

附图说明

[0038] 通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

[0039] 图1为根据本申请实施例的铝材加工的液压式撞角机的场景示意图。

[0040] 图2为根据本申请实施例的铝材加工的液压式撞角机的框图。

[0041] 图3A为根据本申请实施例的铝材加工的液压式撞角机的使用方法中训练阶段的流程图。

[0042] 图3B为根据本申请实施例的铝材加工的液压式撞角机的使用方法中推断阶段的流程图。

[0043] 图4为根据本申请实施例的铝材加工的液压式撞角机的使用方法中训练阶段的架构示意图。

[0044] 图5为根据本申请实施例的铝材加工的液压式撞角机的使用方法中推断阶段的架构示意图。

具体实施方式

[0045] 下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

[0046] 场景概述

[0047] 如前所述，撞角机又称组角机，是高档断桥铝合金门窗生产专用设备，适用于角码结构型铝门窗90度角连接，根据可组角的不同，分为单头组角机，双头组角机，四头组角机，由组角油缸推动组角滑板，组角滑板向前运动，同时推动左右冲铆轴，由冲铆轴上的组角刀实现对铝门窗90度角连接。

[0048] 撞角机在对装的过程中采用在两侧设置顶紧液压缸，通过顶紧液压缸推动铝材，实现两侧铝材在定位块夹角处对装，但对于不同长度的铝材，这种方式很难掌握顶紧液压缸的行程和动作时间，这样就控制不好铝材的运动距离，经常造成对装过头或者对装不完全，对装过头的两个铝材在接触处由于液压缸过度挤压，被挤压抬起甚至变形，严重影响定位精度的组装效果，从而影响组角质量，同时对于长度较长的铝材(如超出工作台面的铝材)，顶紧液压缸则完全失去作用。因此,期待一种具有对装精度自检功能的液压式撞角机。

[0049] 相应地，本申请发明人发现在将两侧铝材在定位块夹角处安装时，由于两侧的铝材长度不一，很难掌握液压缸的行程和动作时间，导致对装过头或者对装不完全。并且当对装过头与对装不完全时，两侧铝材所呈现的夹角和形状会发生微弱变化，这通过肉眼很难观察出差别。因此，本申请实施例中，选择通过在局部隐含特征提取方面具有优异表现的卷积神经网络来提取这种微弱的差别以进行预警。

[0050] 具体地，在本申请的技术方案中，首先通过部署于液压式撞角机的相机采集的铝材组装件的组装图像以及参考图像，这里。所述参考图像为组装规范的铝材组装件的图像。然后，将得到的所述组装图像以及参考图像分别通过在局部隐含的关联特征挖掘方面具有优异表现的第一卷积神经网络和第二卷积神经网络中进行处理，以分别提取出所述组装图像以及参考图像的局部高维隐含特征分布。这里，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构，其尺度为W×H×C。

[0051] 然后，进一步计算所述第一特征图和所述第二特征图之间的距离以作为这两个所述特征图之间的距离损失函数值，在本申请实施例中，可以计算这两个所述特征图之间的余弦距离或者L2距离来反映所述第一特征图所在的图像空间内的样本点分布与所述第二特征图所在的图像空间内的样本点分布之间的差异。

[0052] 应可以理解，由于在图像的特征挖掘中，为了更精准地对铝材组装件的对装精度进行自检，以准确地检测所述铝材组装件是否符合规范，则需要在特征提取中更加聚焦于两侧铝材与定位块的结合处。因此，进一步基于候选框提取网络从所述第一特征图中提取两个感兴趣区域以得到第一感兴趣区域和第二感兴趣区域，特别地，这里，所述第一感兴趣区域和所述第二感兴趣区域对应于所述铝材组装件的定位块与两侧铝材的两个结合处。

[0053] 考虑到在基于候选框提取网络从所述第二特征图中提取两个感兴趣区域以得到第一感兴趣区域和第二感兴趣区域时，由于第一感兴趣区域和第二感兴趣区域对应于第二特征图中的部分区域，其可能会缺失第二特征图的整体信息，使得在计算交叉熵数值并训练模型，会缺失对特征整体分布信息的拟合。

[0054] 因此，对于第一感兴趣区域和第二感兴趣区域对应的第一子特征图和第二子特征图，进行相对于特征图整体的归一化修正，即：

[0055]

[0056]

[0057] 其中fsub1和fsub2为第一子特征图和第二子特征图中的每个位置的特征值，且fwhole为第一特征图中的每个位置的特征值。

[0058] 也就是，在通过候选框提取网络获得局部区域的特征时，可以通过归一化来使得局部特征对于全局特征具有信息最小化的鲁棒性，相对于对于特征局部进行向着特征整体的聚类操作，从而增大局部特征分布对于全局特征分布的依赖性。这样，在计算交叉熵损失函数时，其就可以既包括相对于局部特征分布的一致性信息，也包括相对于整体特征分布的一致性信息，提升了模型预测的准确度。

[0059] 由于撞角机在对装的过程中采用在两侧设置顶紧液压缸，通过顶紧液压缸推动铝材，实现两侧铝材在定位块夹角处对装，但是对装过头的两个铝材在接触处由于液压缸过度挤压，被挤压抬起甚至变形，严重影响定位精度的组装效果，从而影响组角质量。因此，为了对对装精度进行自检，以准确地判断铝材组装件是否组装规范，还需要考虑所述组装规范的铝材组装件在其定位块与两侧铝材的两个结合处的两个压力值。然后，计算所述校正后的感兴趣区域分别与这两个所述压力值的第一交叉熵数值和第二交叉熵数值，并计算这两个交叉熵数值的加权和以得到交叉熵损失函数值。

[0060] 进一步地，基于所述交叉熵损失函数值、距离损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述分类器进行训练，以提升模型预测的准确度。这样，在对于铝材组装件的组装规范性进行检测判断时，就可以直接将所述相机采集的铝材组装件的组装图像输入至训练完成的所述第一卷积神经网络和所述分类器中，以获得更准确地分类结果。

[0061] 基于此，本申请提出了一种铝材加工的液压式撞角机，其包括训练模块和推断模块。其中，训练模块，包括：训练数据单元，用于获取由部署于液压式撞角机的相机采集的铝材组装件的组装图像以及参考图像，所述参考图像为组装规范的铝材组装件的图像；第一图像控制结果生成单元，用于将所述组装图像通过第一卷积神经网络以得到第一特征图；第二图像控制结果生成单元，用于将所述参考图像通过第二卷积神经网络以得到第二特征图；距离损失计算单元，用于计算所述第一特征图和所述第二特征图之间的距离损失函数值；感兴趣区域提取单元，用于将所述第一特征图通过候选框提取网络以从所述第一特征图提取第一感兴趣区域和第二感兴趣区域，其中，所述第一感兴趣区域和所述第二感兴趣区域对应于所述铝材组装件的定位块与两侧铝材的两个结合处；参考值获取单元，用于获取所述组装规范的铝材组装件在其定位块与两侧铝材的两个结合处的两个压力值；感兴趣区域加强单元，用于基于所述第一特征图，分别对所述第一感兴趣区域和所述第二感兴趣区域进行校正以得到校正后第一感兴趣区域和校正后第二感兴趣区域；交叉熵损失函数值计算单元，用于分别计算所述校正后第一感兴趣区域和校正后第二感兴趣区域与所述两个压力值的第一交叉熵数值和第二交叉熵数值，并计算所述第一交叉熵数值和所述第二交叉熵数值的加权和作为交叉熵损失函数值；分类损失计算单元，用于将所述第一特征图通过分类器以得到分类损失函数值；以及，训练单元，用于以所述交叉熵损失函数值、距离损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述分类器进行训练。其中，推断模块，包括：组装过程图像获取单元，用于获取由部署于液压式撞角机的相机采集的铝材组装件的组装图像；组装图像识别单元，用于将所述组装图像通过经训练模块训练完成的所述第一卷积神经网络以得到第一特征图；以及，控制结果生成单元，用于将所述第一特征图通过经训练模块训练完成的所述分类器以得到分类结果，所述分类结果用于表示铝材组装件是否组装规范。

[0062] 图1图示了根据本申请实施例的铝材加工的液压式撞角机的场景示意图。如图1所示，在该应用场景的训练阶段中，首先，通过部署于液压式撞角机(例如，如图1中所示意的T)的相机(例如，如图1中所示意的C)采集的铝材组装件(例如，如图1中所示意的H)的组装图像以及参考图像，这里，所述参考图像为组装规范的铝材组装件的图像，并且通过部署于所述组装规范的铝材组装件在其定位块与两侧铝材的两个结合处的传感器(例如，如图1中所示意的压力传感器R)采集两个压力值。然后，将获得的所述组装图像、所述参考图像以及所述两个压力值输入至部署有铝材加工的液压式撞角机算法的服务器(例如，如图1中所示意的S)中，其中，所述服务器能够基于铝材加工的液压式撞角机算法以所述组装图像、所述参考图像以及所述两个压力值对铝材加工的液压式撞角机的所述第一卷积神经网络和所述分类器进行训练。

[0063] 在训练完成后，在推断阶段中，首先，通过部署于液压式撞角机(例如，如图1中所示意的T)的相机(例如，如图1中所示意的C)采集的铝材组装件(例如，如图1中所示意的H)的组装图像。然后，将获得的所述铝材组装件的组装图像输入至部署有铝材加工的液压式撞角机算法的服务器(例如，如图1中所示意的S)中，其中，所述服务器能够以铝材加工的液压式撞角机算法对所述铝材组装件的组装图像进行处理，以生成用于表示铝材组装件是否组装规范的分类结果。

[0064] 在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

[0065] 示例性系统

[0066] 图2图示了根据本申请实施例的铝材加工的液压式撞角机的框图。如图2所示，根据本申请实施例的铝材加工的液压式撞角机200，包括：训练模块210和推断模块220。其中，训练模块210，包括：训练数据单元2101，用于获取由部署于液压式撞角机的相机采集的铝材组装件的组装图像以及参考图像，所述参考图像为组装规范的铝材组装件的图像；第一图像控制结果生成单元2102，用于将所述组装图像通过第一卷积神经网络以得到第一特征图；第二图像控制结果生成单元2103，用于将所述参考图像通过第二卷积神经网络以得到第二特征图；距离损失计算单元2104，用于计算所述第一特征图和所述第二特征图之间的距离损失函数值；感兴趣区域提取单元2105，用于将所述第一特征图通过候选框提取网络以从所述第一特征图提取第一感兴趣区域和第二感兴趣区域，其中，所述第一感兴趣区域和所述第二感兴趣区域对应于所述铝材组装件的定位块与两侧铝材的两个结合处；参考值获取单元2106，用于获取所述组装规范的铝材组装件在其定位块与两侧铝材的两个结合处的两个压力值；感兴趣区域加强单元2107，用于基于所述第一特征图，分别对所述第一感兴趣区域和所述第二感兴趣区域进行校正以得到校正后第一感兴趣区域和校正后第二感兴趣区域；交叉熵损失函数值计算单元2108，用于分别计算所述校正后第一感兴趣区域和校正后第二感兴趣区域与所述两个压力值的第一交叉熵数值和第二交叉熵数值，并计算所述第一交叉熵数值和所述第二交叉熵数值的加权和作为交叉熵损失函数值；分类损失计算单元2109，用于将所述第一特征图通过分类器以得到分类损失函数值；以及，训练单元2110，用于以所述交叉熵损失函数值、距离损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述分类器进行训练。其中，推断模块220，包括：组装过程图像获取单元221，用于获取由部署于液压式撞角机的相机采集的铝材组装件的组装图像；组装图像识别单元222，用于将所述组装图像通过经训练模块训练完成的所述第一卷积神经网络以得到第一特征图；以及，控制结果生成单元223，用于将所述第一特征图通过经训练模块训练完成的所述分类器以得到分类结果，所述分类结果用于表示铝材组装件是否组装规范。

[0067] 具体地，在本申请实施例中，在训练模块210中，所述训练数据单元2101、第一图像控制结果生成单元2102和所述第二图像控制结果生成单元2103，用于获取由部署于液压式撞角机的相机采集的铝材组装件的组装图像以及参考图像，所述参考图像为组装规范的铝材组装件的图像，并将所述组装图像通过第一卷积神经网络以得到第一特征图，再将所述参考图像通过第二卷积神经网络以得到第二特征图。如前所述，在将两侧铝材在定位块夹角处安装时，由于所述两侧的铝材长度不一，很难掌握液压缸的行程和动作时间，导致对装过头或者对装不完全。并且当对装过头与对装不完全时，所述两侧铝材所呈现的夹角和形状会发生微弱变化，这通过肉眼很难观察出差别。因此，本申请的技术方案中，选择通过在局部隐含特征提取方面具有优异表现的卷积神经网络来提取这种微弱的差别以进行预警。

[0068] 具体地，在本申请的技术方案中，首先通过部署于液压式撞角机的相机采集的铝材组装件的组装图像以及参考图像，这里。所述参考图像为组装规范的铝材组装件的图像。然后，将得到的所述组装图像以及参考图像分别通过在局部隐含的关联特征挖掘方面具有优异表现的第一卷积神经网络和第二卷积神经网络中进行处理，以分别提取出所述组装图像以及参考图像的局部高维隐含特征分布。特别地，这里，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构，其尺度为W×H×C。

[0069] 具体地，在本申请实施例中，在训练模块210中，所述距离损失计算单元2104，用于计算所述第一特征图和所述第二特征图之间的距离损失函数值。也就是，在本申请的技术方案中，接着，进一步计算所述第一特征图和所述第二特征图之间的距离以作为这两个所述特征图之间的距离损失函数值。相应地，在一个具体示例中，可以计算这两个所述特征图之间的余弦距离或者L2距离来反映所述第一特征图所在的图像空间内的样本点分布与所述第二特征图所在的图像空间内的样本点分布之间的差异。

[0070] 更具体地，在本申请实施例中，所述距离损失计算单元，进一步用于：以如下公式计算所述第一特征图和所述第二特征图之间的所述距离损失函数值；

[0071] 其中，所述公式为：

[0072]

[0073] 其中，Dloss为所述距离损失函数值， 为所述第一特征图中的每个位置的特征值， 为所述第二特征图中的每个位置的特征值，k指所述特征图的宽度维度，l指所述特征图的高度维度，m指所述特征图的通道维度。

[0074] 更具体地，在本申请实施例中，所述距离损失计算单元，进一步用于：以如下公式计算所述第一特征图和所述第二特征图之间的所述距离损失函数值；

[0075] 其中，所述公式为：

[0076]

[0077] 其中，Dloss为所述距离损失函数值， 为所述第一特征图中的每个位置的特征值， 为所述第二特征图中的每个位置的特征值，k指所述特征图的宽度维度，l指所述特征图的高度维度，m指所述特征图的通道维度。

[0078] 具体地，在本申请实施例中，在训练模块210中，所述感兴趣区域提取单元2105，用于将所述第一特征图通过候选框提取网络以从所述第一特征图提取第一感兴趣区域和第二感兴趣区域，其中，所述第一感兴趣区域和所述第二感兴趣区域对应于所述铝材组装件的定位块与两侧铝材的两个结合处。应可以理解，由于在图像的特征挖掘中，为了更精准地对所述铝材组装件的对装精度进行自检，以准确地检测所述铝材组装件是否符合规范，则需要在特征提取中更加聚焦于所述两侧铝材与定位块的结合处。因此，在本申请的技术方案中，进一步基于候选框提取网络从所述第一特征图中提取两个感兴趣区域以得到第一感兴趣区域和第二感兴趣区域，特别地，这里，所述第一感兴趣区域和所述第二感兴趣区域对应于所述铝材组装件的定位块与两侧铝材的两个结合处。

[0079] 具体地，在本申请实施例中，在训练模块210中，所述参考值获取单元2106和所述感兴趣区域加强单元2107，用于获取所述组装规范的铝材组装件在其定位块与两侧铝材的两个结合处的两个压力值，并基于所述第一特征图，分别对所述第一感兴趣区域和所述第二感兴趣区域进行校正以得到校正后第一感兴趣区域和校正后第二感兴趣区域。应可以理解，考虑到在基于所述候选框提取网络从所述第二特征图中提取两个感兴趣区域以得到第一感兴趣区域和第二感兴趣区域时，由于所述第一感兴趣区域和所述第二感兴趣区域对应于所述第二特征图中的部分区域，其可能会缺失所述第二特征图的整体信息，使得在计算交叉熵数值并训练模型，会缺失对特征整体分布信息的拟合。

[0080] 因此，在本申请的技术方案中，对于所述第一感兴趣区域和所述第二感兴趣区域对应的所述第一子特征图和所述第二子特征图，进行相对于特征图整体的归一化修正。也就是，在通过候选框提取网络获得局部区域的特征时，可以通过归一化来使得局部特征对于全局特征具有信息最小化的鲁棒性，相对于对于特征局部进行向着特征整体的聚类操作，从而增大局部特征分布对于全局特征分布的依赖性。这样，在利用所述压力值计算交叉熵损失函数时，其就可以既包括相对于局部特征分布的一致性信息，也包括相对于整体特征分布的一致性信息，提升了模型预测的准确度。

[0081] 更具体地，在本申请实施例中，所述感兴趣区域加强单元，进一步用于：全局特征表示子单元，用于计算所述第一特征图中所有位置的特征值的求和值与一的加和值的对数函数值作为所述第一特征图的全局特征值；以及，基于全局的特征加强子单元，用于以所述第一感兴趣区域和所述第二感兴趣区域中各个位置的特征值与一的加和值的对数函数值分别除以所述所述第一特征图的全局特征值以得到所述校正后第一感兴趣区域和所述校正后第二感兴趣区域。在一个具体示例中，相对于所述特征图整体的归一化修正的公式为：

[0082]

[0083]

[0084] 其中fsub1和fsub2为所述第一子特征图和所述第二子特征图中的每个位置的特征值，且fwhole为所述第一特征图中的每个位置的特征值。

[0085] 具体地，在本申请实施例中，在训练模块210中，所述交叉熵损失函数值计算单元2108，用于分别计算所述校正后第一感兴趣区域和校正后第二感兴趣区域与所述两个压力值的第一交叉熵数值和第二交叉熵数值，并计算所述第一交叉熵数值和所述第二交叉熵数值的加权和作为交叉熵损失函数值。应可以理解，由于所述撞角机在对装的过程中采用在两侧设置顶紧液压缸，通过顶紧液压缸推动铝材，实现两侧铝材在定位块夹角处对装，但是对装过头的两个铝材在接触处由于液压缸过度挤压，被挤压抬起甚至变形，严重影响定位精度的组装效果，从而影响组角质量。因此，在本申请的技术方案中，为了对对装精度进行自检，以准确地判断铝材组装件是否组装规范，还需要考虑所述组装规范的铝材组装件在其定位块与两侧铝材的两个结合处的两个压力值。然后，计算所述校正后的感兴趣区域分别与这两个所述压力值的第一交叉熵数值和第二交叉熵数值，并计算这两个所述交叉熵数值的加权和以得到交叉熵损失函数值。

[0086] 具体地，在本申请实施例中，在训练模块210中，所述分类损失计算单元2109和所述训练单元2110，用于将所述第一特征图通过分类器以得到分类损失函数值，并以所述交叉熵损失函数值、距离损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述分类器进行训练。也就是，在本申请的技术方案中，进一步地，在将所述第一特征图通过分类器以获得分类损失函数值后，基于所述交叉熵损失函数值、所述距离损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述分类器进行训练，以提升模型预测的准确度。这样，在对于所述铝材组装件的组装规范性进行检测判断时，就可以直接将所述相机采集的铝材组装件的组装图像输入至训练完成的所述第一卷积神经网络和所述分类器中，以获得更准确地分类结果。

[0087] 更具体地，在本申请实施例中，所述分类损失计算单元，进一步用于：所述分类器以如下公式对所述第一特征图进行处理以生成分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|Project(F)}，其中Project(F)表示将所述第一特征图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵；以及，计算所述分类结果与真实值之间的交叉熵值作为所述分类损失函数值。

[0088] 在完成训练之后，进入推断模块，也就是，将训练完成的所述第一卷积神经网络和所述分类器用于实际的推断检测过程中。

[0089] 具体地，在本申请实施例中，首先，获取由部署于液压式撞角机的相机采集的铝材组装件的组装图像。然后，将所述组装图像通过经训练模块训练完成的所述第一卷积神经网络以得到第一特征图。最后，将所述第一特征图通过经训练模块训练完成的所述分类器以得到分类结果，所述分类结果用于表示铝材组装件是否组装规范。

[0090] 综上，基于本申请实施例的所述铝材加工的液压式撞角机200被阐明，其通过卷积神经网络模型来提取撞角机在对装的过程中两侧铝材所呈现的夹角和形状发生的微弱变化隐含特征以进行铝材组装件的规范预警，并且在特征提取中使用感兴趣区域来更加聚焦于所述两侧铝材与定位块的结合处，同时对于感兴趣区域的特征图进行相对于特征图整体的归一化修正，使得局部特征对于全局特征具有信息最小化的鲁棒性，相对于对于特征局部进行向着特征整体的聚类操作，从而增大局部特征分布对于全局特征分布的依赖性，进而提升了模型预测的准确度。

[0091] 如上所述，根据本申请实施例的铝材加工的液压式撞角机200可以实现在各种终端设备中，例如铝材加工的液压式撞角机算法的服务器等。在一个示例中，根据本申请实施例的铝材加工的液压式撞角机200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该铝材加工的液压式撞角机200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该铝材加工的液压式撞角机200同样可以是该终端设备的众多硬件模块之一。

[0092] 替换地，在另一示例中，该铝材加工的液压式撞角机200与该终端设备也可以是分立的设备，并且该铝材加工的液压式撞角机200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

[0093] 示例性方法

[0094] 图3A图示了根据本申请实施例的铝材加工的液压式撞角机的使用方法中训练阶段的流程图。如图3A所示，根据本申请实施例的铝材加工的液压式撞角机的使用方法，包括：训练阶段，包括步骤：S110，获取由部署于液压式撞角机的相机采集的铝材组装件的组装图像以及参考图像，所述参考图像为组装规范的铝材组装件的图像；S120，将所述组装图像通过第一卷积神经网络以得到第一特征图；S130，将所述参考图像通过第二卷积神经网络以得到第二特征图；S140，计算所述第一特征图和所述第二特征图之间的距离损失函数值；S150，将所述第一特征图通过候选框提取网络以从所述第一特征图提取第一感兴趣区域和第二感兴趣区域，其中，所述第一感兴趣区域和所述第二感兴趣区域对应于所述铝材组装件的定位块与两侧铝材的两个结合处；S160，获取所述组装规范的铝材组装件在其定位块与两侧铝材的两个结合处的两个压力值；S170，基于所述第一特征图，分别对所述第一感兴趣区域和所述第二感兴趣区域进行校正以得到校正后第一感兴趣区域和校正后第二感兴趣区域；S180，分别计算所述校正后第一感兴趣区域和校正后第二感兴趣区域与所述两个压力值的第一交叉熵数值和第二交叉熵数值，并计算所述第一交叉熵数值和所述第二交叉熵数值的加权和作为交叉熵损失函数值；S190，将所述第一特征图通过分类器以得到分类损失函数值；以及，S200，以所述交叉熵损失函数值、距离损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述分类器进行训练。

[0095] 图3B图示了根据本申请实施例的铝材加工的液压式撞角机的使用方法中推断阶段的流程图。图3B所示，根据本申请实施例的铝材加工的液压式撞角机的使用方法，包括：推断阶段，包括步骤：S210，获取由部署于液压式撞角机的相机采集的铝材组装件的组装图像；S220，将所述组装图像通过经训练模块训练完成的所述第一卷积神经网络以得到第一特征图；以及，S230，将所述第一特征图通过经训练模块训练完成的所述分类器以得到分类结果，所述分类结果用于表示铝材组装件是否组装规范。

[0096] 图4图示了根据本申请实施例的铝材加工的液压式撞角机的使用方法中训练阶段的架构示意图。如图4所示，在训练阶段中，在该网络架构中，首先，将获得的所述组装图像(例如，如图4中所示意的P1)通过第一卷积神经网络(例如，如图4中所示意的CNN1)以得到第一特征图(例如，如图4中所示意的F1)；接着，将所述参考图像(例如，如图4中所示意的P2)通过第二卷积神经网络(例如，如图4中所示意的CNN2)以得到第二特征图(例如，如图4中所示意的F2)；然后，计算所述第一特征图和所述第二特征图之间的距离损失函数值(例如，如图4中所示意的DLV)；接着，将所述第一特征图通过候选框提取网络以从所述第一特征图提取第一感兴趣区域(例如，如图4中所示意的R1)和第二感兴趣区域(例如，如图4中所示意的R2)；然后，基于所述第一特征图，分别对所述第一感兴趣区域和所述第二感兴趣区域进行校正以得到校正后第一感兴趣区域(例如，如图4中所示意的RC1)和校正后第二感兴趣区域(例如，如图4中所示意的RC2)；接着，分别计算所述校正后第一感兴趣区域和校正后第二感兴趣区域与获得的所述两个压力值(例如，如图4中所示意的Q1和Q2)的第一交叉熵数值(例如，如图4中所示意的CE1)和第二交叉熵数值(例如，如图4中所示意的CE2)，并计算所述第一交叉熵数值和所述第二交叉熵数值的加权和作为交叉熵损失函数值(例如，如图4中所示意的CE)；然后，将所述第一特征图通过分类器(例如，如图4中所示意的分类器)以得到分类损失函数值(例如，如图4中所示意的CLV)；以及，最后，以所述交叉熵损失函数值、距离损失函数值和所述分类损失函数值的加权和作为损失函数值对所述第一卷积神经网络和所述分类器进行训练。

[0097] 图5图示了根据本申请实施例的铝材加工的液压式撞角机的使用方法中推断阶段的架构示意图。如图5所示，在推断阶段中，在该网络架构中，首先，将获得的所述组装图像(例如，如图5中所示意的P)通过经训练模块训练完成的所述第一卷积神经网络(例如，如图5中所示意的CNN)以得到第一特征图(例如，如图5中所示意的F)；以及，然后，将所述第一特征图通过经训练模块训练完成的所述分类器(例如，如图5中所示意的分类器)以得到分类结果，所述分类结果用于表示铝材组装件是否组装规范。

[0098] 综上，基于本申请实施例的所述铝材加工的液压式撞角机的使用方法被阐明，其通过卷积神经网络模型来提取撞角机在对装的过程中两侧铝材所呈现的夹角和形状发生的微弱变化隐含特征以进行铝材组装件的规范预警，并且在特征提取中使用感兴趣区域来更加聚焦于所述两侧铝材与定位块的结合处，同时对于感兴趣区域的特征图进行相对于特征图整体的归一化修正，使得局部特征对于全局特征具有信息最小化的鲁棒性，相对于对于特征局部进行向着特征整体的聚类操作，从而增大局部特征分布对于全局特征分布的依赖性，进而提升了模型预测的准确度。

[0099] 以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

[0100] 本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

[0101] 还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

[0102] 提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。