一种基于视觉的卸货方法及系统

摘要

本发明公开了一种基于视觉的卸货方法及系统，涉及物流机器人技术领域，其技术方案要点在于视觉传感器、雷达传感器及机械臂的配合使用，以雷达传感器的检测信号作为基准对视觉传感器采集的图像进行分析处理，识别出包含箱型货物的候选框，并借助目标箱型货物的长宽高信息对候选框进行筛选，筛选出符合目标箱型货物的候选框，过滤掉虚拟货物，提高自动化卸货时箱型货物检测算法的定位精度。本发明中还借助了基于定位精度加权的候选框回归损失和分类损失对目标检测算法进行了训练优化，进一步提高了箱型货物检测算法的定位精度。

权利要求

1.一种基于视觉的卸货方法，其特征在于：包括如下步骤：

S1、收集密集堆叠的箱型货物图片，单张图片中的箱型货物尺寸全部相同；对于同尺寸的箱型货物，在不同光线强度下分别收集包含箱型货物的多个角度图片；

S2、对S1图片中的箱型货物进行标注，根据标注结果采用NMS算法与OHEM算法中的至少一种构建深度学习的目标检测算法；

S3、在机械臂上设置相对位置固定的视觉传感器及雷达传感器，通过雷达传感器检测车辆货仓内堆积货物的轮廓和距离信息，基于堆积货物的轮廓和距离信息及视觉传感器与雷达传感器的相对位置，计算视觉传感器相对于车辆货仓内货物的距离及角度信息；

S4、使用视觉传感器采集车辆货仓内图像，基于S2的目标检测算法识别包含箱型货物的区域，生成候选框；所述目标检测算法的识别步骤包括：A1、将图像转换为灰度图像；

A2、按照像素值或边缘将灰度图像分隔成不同区域，对每个区域分别通过直方图均衡化进行亮度均衡，然后通过直方图均衡化对所有区域进行区域间的亮度均衡；对每个区域分别通过直方图均衡化进行亮度均衡时，采用PM扩散方程进行直方图均衡化；

A3、采用SE‑FPN算法生成候选框；

S5、利用S3的距离及角度信息，通过几何计算将候选框的位置和尺寸转换到真实世界的三维坐标系中；

S6、根据预先采集的不同规格目标箱型货物的长宽高信息及给定的阈值范围，对真实世界三维坐标系中的候选框尺寸进行筛选，筛选出符合目标箱型货物的候选框；

S7、根据雷达传感器检测结果，分析S6筛选出的候选框是否存在物体；如候选框处不存在物体，则该候选框无效；如候选框处存在物体，则机械臂依据候选框在真实世界三维坐标系中的位置，拾取目标箱型货物移动至车辆货仓外指定地点。

2.根据权利要求1所述的一种基于视觉的卸货方法，其特征在于：给定目标距离，S3中先通过雷达传感器确定车辆货仓内堆积货物距离雷达传感器的最小距离；通过机械臂驱动雷达传感器移动，使车辆货仓内堆积货物距离雷达传感器的最小距离小于目标距离，随后通过雷达传感器检测车辆货仓内堆积货物的轮廓和距离信息，并基于堆积货物的轮廓和距离信息及视觉传感器与雷达传感器的相对位置，计算视觉传感器相对于车辆货仓内货物的距离及角度信息。

3.根据权利要求2所述的一种基于视觉的卸货方法，其特征在于：还包括S8，通过雷达传感器，判断目标距离范围内是否存在箱型货物；如果存在，则机械臂改变视觉传感器及雷达传感器的位置，重新进行S3‑S7，直至雷达传感器检测到目标距离范围内无箱型货物；如果不存在，则机械臂向靠近车头的方向移动指定步长，重新进行S3‑S7，直至雷达传感器检测到车辆货仓内无箱型货物。

4.根据权利要求3所述的一种基于视觉的卸货方法，其特征在于：S8中的指定步长等于垂直于车辆货仓舱口方向上所有目标箱型货物的最短边长。

5.根据权利要求3所述的一种基于视觉的卸货方法，其特征在于：记录每次视觉传感器采集图像的位置作为历史位置，S8中视觉传感器的变化后的位置与所有历史位置均不重叠。

6.根据权利要求1‑5任一所述的一种基于视觉的卸货方法，其特征在于：所述目标检测算法采用损失函数训练优化，损失函数为定位精度权重和候选框回归损失的乘积与分类损失之和；所述分类损失用于衡量检测算法输出结果与真实箱型货物存在情况之间的差异，候选框回归损失用于衡量预测的候选框与真实箱型货物边界之间的差异；定位精度权重为给定值。

7.根据权利要求6所述的一种基于视觉的卸货方法，其特征在于：所述定位精度权重与候选框和真实箱型货物边界的重叠度呈反比。

8.一种基于视觉的卸货系统，其特征在于：包括机械臂、视觉传感器和雷达传感器，所述视觉传感器和雷达传感器均固定在机械臂上，视觉传感器和雷达传感器的相对位置固定；该系统采用如权利要求1‑7任一所述的基于视觉的卸货方法进行卸货作业。

9.根据权利要求8所述的一种基于视觉的卸货系统，其特征在于：所述机械臂通过真空负压吸附装置拾取目标箱型货物。

10.根据权利要求8所述的一种基于视觉的卸货系统，其特征在于：还包括用于检测机械臂是否拾取到目标箱型货物的传感器，所述传感器固定在机械臂上，如传感器发出未拾取到目标箱型货物的信号，则机械臂改变视觉传感器及雷达传感器的位置，机械臂根据此时视觉传感器及雷达传感器的检测结果重新进行卸货作业。

说明书

一种基于视觉的卸货方法及系统

技术领域

[0001] 本发明涉及物流机器人技术领域，更具体的说，它涉及一种基于视觉的卸货方法及系统。

背景技术

[0002] 传统的货运或物流行业中，通常是采用人工装卸货，工人从仓库中将货物搬运到车辆货仓内，并将货物摆放整齐，或者将车辆货仓内的货物搬运到仓库中。但是，随着社会的进步，用工成本也在不断提升，而且工人的工作强度大，工作效率会随着工人体力消耗而降低，导致装卸货人工成本高、效率低的问题。

[0003] 中国专利CN109071114B公开了一种自动装卸货的方法，该方法中，机器人依据视觉传感器采集的图像，从第一位置取得至少一个待放置货物，并将待放置货物放置到第二位置；当机器人在车辆货仓中卸货时，第一位置是车辆货仓中放置待放置货物的初始位置，第二位置是在机器人的储货机构中，或者在与储货机构对接的传送机构中，用于放置待放置货物的目标位置；储货机构相对固定于机器人的机械臂，带动机械臂在车辆货仓中运动；传送机构根据机器人的位置延伸到车辆货仓内。通过上述方式，本发明的实施例中采用机器人替代人工自动卸货，并利用延伸的传送机构输送货物，降低卸货过程中的人工参与成分，从而降低卸货的人工成本，而且机器人不存在体力消耗的问题，可以长时间工作，进而可以提高卸货的效率。

[0004] 但箱型货物自动化卸货的视觉识别一般都是基于同规格整齐堆放的箱型货物，对于非整齐堆放在一起的不同规格箱体，往往会识别出较多的虚拟货物，因此箱型货物检测算法的定位精度还有待于进一步提高。

发明内容

[0005] 针对现有技术存在的不足，本发明的目的在于提供一种基于视觉的卸货方法及系统，其通过视觉传感器及雷达传感器，以雷达传感器的检测信号作为基准对视觉传感器采集的图像进行分析处理，识别出包含箱型货物的候选框，并借助目标箱型货物的长宽高信息对候选框进行筛选，筛选出符合目标箱型货物的候选框，过滤掉虚拟货物，提高自动化卸货时箱型货物检测算法的定位精度。

[0006] 为实现上述目的，本发明提供了如下技术方案：一种基于视觉的卸货方法，包括如下步骤：

[0007] S1、收集密集堆叠的箱型货物图片，单张图片中的箱型货物尺寸全部相同。对于同尺寸的箱型货物，在不同光线强度下分别收集包含箱型货物的多个角度图片。

[0008] S2、对S1图片中的箱型货物进行标注，根据标注结果用NMS算法与OHEM算法中的至少一种构建深度学习的目标检测算法。

[0009] S3、在机械臂上设置相对位置固定的视觉传感器及雷达传感器，通过雷达传感器检测车辆货仓内堆积货物的轮廓和距离信息，基于堆积货物的轮廓和距离信息及视觉传感器与雷达传感器的相对位置，计算视觉传感器相对于车辆货仓内货物的距离及角度信息。

[0010] S4、使用视觉传感器采集车辆货仓内图像，基于S2的目标检测算法识别包含箱型货物的区域，生成候选框。所述目标检测算法的识别步骤包括：

[0011] A1、将图像转换为灰度图像；

[0012] A2、按照像素值或边缘将灰度图像分隔成不同区域，对每个区域分别通过直方图均衡化进行亮度均衡，然后通过直方图均衡化对所有区域进行区域间的亮度均衡；对每个区域分别通过直方图均衡化进行亮度均衡时，采用PM扩散方程进行直方图均衡化；

[0013] A3、采用SE‑FPN算法生成候选框。

[0014] S5、利用S3的距离及角度信息，通过几何计算将候选框的位置和尺寸转换到真实世界的三维坐标系中。

[0015] S6、根据预先采集的不同规格目标箱型货物的长宽高信息及给定的阈值范围，对真实世界三维坐标系中的候选框尺寸进行筛选，筛选出符合目标箱型货物的候选框。

[0016] S7、根据雷达传感器检测结果，分析S6筛选出的候选框是否存在物体；如候选框处不存在物体，则该候选框无效；如候选框处存在物体，则机械臂依据候选框在真实世界三维坐标系中的位置，拾取目标箱型货物移动至车辆货仓外指定地点。

[0017] 本发明进一步设置为：给定目标距离，S3中先通过雷达传感器确定车辆货仓内堆积货物距离雷达传感器的最小距离；通过机械臂驱动雷达传感器移动，使车辆货仓内堆积货物距离雷达传感器的最小距离小于目标距离，随后通过雷达传感器检测车辆货仓内堆积货物的轮廓和距离信息，并基于堆积货物的轮廓和距离信息及视觉传感器与雷达传感器的相对位置，计算视觉传感器相对于车辆货仓内货物的距离及角度信息。

[0018] 本发明进一步设置为：还包括S8，通过雷达传感器，判断目标距离范围内是否存在箱型货物；如果存在，则机械臂改变视觉传感器及雷达传感器的位置，重新进行S3‑S7，直至雷达传感器检测到目标距离范围内无箱型货物；如果不存在，则机械臂向靠近车头的方向移动指定步长，重新进行S3‑S7，直至雷达传感器检测到车辆货仓内无箱型货物。

[0019] 本发明进一步设置为：S8中的指定步长等于垂直于车辆货仓舱口方向上所有目标箱型货物的最短边长。

[0020] 本发明进一步设置为：记录每次视觉传感器采集图像的位置作为历史位置，S8中视觉传感器的变化后的位置与所有历史位置均不重叠。

[0021] 本发明进一步设置为：所述目标检测算法采用损失函数训练优化，损失函数为定位精度权重和候选框回归损失的乘积与分类损失之和。所述分类损失用于衡量检测算法输出结果与真实箱型货物存在情况之间的差异，候选框回归损失用于衡量预测的候选框与真实箱型货物边界之间的差异。定位精度权重为给定值。

[0022] 本发明进一步设置为：所述定位精度权重与候选框和真实箱型货物边界的重叠度呈反比。

[0023] 本发明进一步设置为：S8中的指定步长等于垂直于车辆货仓舱口方向上单个目标箱型货物的尺寸。

[0024] 本发明还提供了一种基于视觉的卸货系统，其包括机械臂、视觉传感器和雷达传感器，所述视觉传感器和雷达传感器均固定在机械臂上，视觉传感器和雷达传感器的相对位置固定。该系统采用上述的基于视觉的卸货方法进行卸货作业。

[0025] 本发明进一步设置为：所述机械臂通过真空负压吸附装置拾取目标箱型货物。

[0026] 本发明进一步设置为：还包括用于检测机械臂是否拾取到目标箱型货物的传感器，所述传感器固定在机械臂上，如传感器发出未拾取到目标箱型货物的信号，则机械臂改变视觉传感器及雷达传感器的位置，机械臂根据此时视觉传感器及雷达传感器的检测结果重新进行卸货作业。

[0027] 综上所述，本发明相比于现有技术具有以下有益效果：本发明将视觉传感器及雷达传感器，以雷达传感器的检测信号作为基准对视觉传感器采集的图像进行分析处理，识别出包含箱型货物的候选框，并借助目标箱型货物的长宽高信息对候选框进行筛选，筛选出符合目标箱型货物的候选框，过滤掉虚拟货物，提高自动化卸货时箱型货物检测算法的定位精度。本发明中还借助了基于定位精度加权的候选框回归损失和分类损失对目标检测算法进行了训练优化，进一步提高了箱型货物检测算法的定位精度。

附图说明

[0028] 图1为一种基于视觉的卸货方法的流程示意图；

[0029] 图2为一种基于视觉的卸货系统的结构示意图。

[0030] 图中：1、机械臂；2、视觉传感器；3、雷达传感器；4、传感器；5、真空负压吸附装置。

具体实施方式

[0031] 下面将对本发明的技术方案进行清楚的描述，显然，所描述的实施例并不是本发明的全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于发明的保护范围。

[0032] 实施例

[0033] 本实施例提供了一种基于视觉的卸货方法，如图1所示，包括如下步骤：

[0034] S1、收集密集堆叠的箱型货物图片，单张图片中的箱型货物尺寸全部相同。对于同尺寸的箱型货物，在不同光线强度下分别收集包含箱型货物的多个角度图片。具体的，当难以采集到足量图片作为训练数据集时，可通过采集同一光线强度下，不同拍摄角度的密集堆叠箱型货物的图片，图片中箱型货物尺寸全部相同。然后通过亮度调整、对比度增强等光照强度调整操作来模拟出不同光照强度下拍摄的图片，扩充训练数据集，使深度学习的目标检测算法能够学习到不同光照强度条件下的箱体特征。也可对密集堆叠的箱型货物图片进行缩放处理，模拟出不同尺寸的箱型货物密集堆叠图片，扩充训练数据集。

[0035] S2、对S1图片中的箱型货物进行标注，根据标注结果，采用NMS算法与OHEM算法中的至少一种构建深度学习的目标检测算法。NMS算法是根据预测框的置信度和重叠面积，对候选框进行排序。然后从得分最高的候选框开始，移除与该候选框高度重叠的其它候选框，直到所有候选框都被处理。通过设置一个阈值来控制重叠度的判定，可以根据具体情况调整阈值来平衡召回率和准确率。OHEM算法通过挑选那些预测错误并且易混淆的负样本进行训练，以便提高模型对难例的处理能力。 OHEM算法可根据预测结果与真实标签之间的差异或置信度等指标来选择误差较大的负样本进行反向传播和参数更新，帮助模型更好地学习到困难情况下的特征，提高识别性能。NMS算法与OHEM算法结合使用时，首先利用OHEM算法进行模型训练，提高模型鲁棒性及泛化能力，然后使用NMS算法进行筛选和去重，这样做可以在保持高召回率的同时，过滤掉冗余的检测框，提高检测的精度和效果。

[0036] S3、在机械臂1上设置相对位置固定的视觉传感器2及雷达传感器3，如图2所示，通过雷达传感器3检测车辆货仓内堆积货物的轮廓和距离信息，基于堆积货物的轮廓和距离信息及视觉传感器2与雷达传感器3的相对位置，计算视觉传感器2相对于车辆货仓内货物的距离及角度信息。

[0037] S4、使用视觉传感器2采集车辆货仓内图像，基于S2的目标检测算法识别包含箱型货物的区域，生成候选框。所述目标检测算法的识别步骤包括：

[0038] A1、将图像转换为灰度图像；

[0039] A2、按照像素值或边缘将灰度图像分隔成不同区域，对每个区域分别通过直方图均衡化进行亮度均衡，然后通过直方图均衡化对所有区域进行区域间的亮度均衡；

[0040] A3、采用SE‑FPN算法生成候选框。SE‑FPN能够更好地适应堆积箱体中箱体的尺寸变化，并提高了目标检测的准确性。同时SE‑FPN结合了自注意力机制，能够根据通道的全局信息，动态地对不同通道进行加权，使得网络能够更加关注重要的特征，抑制不重要的特征，提高了箱体的识别性能。

[0041] 其中，对每个区域分别通过直方图均衡化进行亮度均衡时，采用PM扩散方程进行直方图均衡化，首先将灰度直方图进行归一化处理，将像素值映射到0到1之间的范围。然后设定迭代次数和迭代步长，迭代次数表示进行均衡化的总迭代轮数，迭代步长表示每一轮迭代中像素值更新的幅度。初始化图像的像素值设定为归一化后的灰度值。PM扩散方程一般具有以下形式：∂I/∂t=∇·(c(∥∇I∥)∇I)其中，I表示图像的灰度值，t表示时间，∇I表示图像的梯度，c(∥∇I∥)表示扩散系数函数，∇·表示梯度的散度运算符。在每次迭代中，根据PM扩散方程更新像素值，并确保更新后的像素值仍在0到1的范围内。完成指定次数的迭代后，将最终的像素值映射回原始图像的像素范围，得到均衡化后的图像。

[0042] 在PM扩散方程中，像素值的变化是通过梯度的扩散来实现的，即较大梯度的像素值会向周围的像素扩散，从而减小梯度差异，使得图像的对比度更加均衡。通过多次迭代，PM扩散方程会不断调整像素值，使得图像中的灰度分布逐渐变得更加均匀。每次迭代都会进一步减小像素值的不均衡性，直到达到满意的均衡化程度。

[0043] S5、利用S3的距离及角度信息，通过几何计算将候选框的位置和尺寸转换到真实世界的三维坐标系中。

[0044] S6、根据预先采集的不同规格目标箱型货物的长宽高信息及给定的阈值范围，对真实世界三维坐标系中的候选框尺寸进行筛选，筛选出符合目标箱型货物的候选框。

[0045] S7、根据雷达传感器3检测结果，分析S6筛选出的候选框是否存在物体；如候选框处不存在物体，则该候选框无效；如候选框处存在物体，则机械臂1依据候选框在真实世界三维坐标系中的位置，拾取目标箱型货物移动至车辆货仓外指定地点。

[0046] S8、机械臂1沿水平方向，将视觉传感器2及雷达传感器3向靠近车头的方向移动指定步长，重复S3‑S7，直至机械臂1拾取的目标箱型货物数量达到预先给定的目标箱型货物数量。

[0047] 需要说明的是，本实施例中还包括对视觉传感器采集图片的降噪处理，降噪处理在直方图均衡化前和直方图均衡化后，这两个阶段中的至少一个阶段进行。直方图均衡化之前，可通过应用各种滤波器如均值滤波、中值滤波、高斯滤波等来减少图像中的噪声。直方图均衡化完成后，可应用图像增强算法，例如双边滤波、小波去噪等，以增强图像的质量并减少残余噪声。

[0048] 本实施例将视觉传感器2及雷达传感器3，以雷达传感器3的检测信号作为基准对视觉传感器2采集的图像进行分析处理，识别出包含箱型货物的候选框，并借助目标箱型货物的长宽高信息对候选框进行筛选，筛选出符合目标箱型货物的候选框，过滤掉虚拟货物，提高自动化卸货时箱型货物检测算法的定位精度。

[0049] 具体的，给定目标距离，S3中先通过雷达传感器3确定车辆货仓内堆积货物距离雷达传感器3的最小距离；通过机械臂1驱动雷达传感器3移动，使车辆货仓内堆积货物距离雷达传感器3的最小距离小于目标距离，以提高雷达传感器3的检测精度。随后通过雷达传感器3检测车辆货仓内堆积货物的轮廓和距离信息，并基于堆积货物的轮廓和距离信息及视觉传感器2与雷达传感器3的相对位置，计算视觉传感器2相对于车辆货仓内货物的距离及角度信息。

[0050] 本实施例还包括S8，通过雷达传感器3，判断目标距离范围内是否存在箱型货物；如果存在，则机械臂1改变视觉传感器2及雷达传感器3的位置，重新进行S3‑S7，直至雷达传感器3检测到目标距离范围内无箱型货物；如果不存在，则机械臂1向靠近车头的方向移动指定步长，重新进行S3‑S7，直至雷达传感器3检测到车辆货仓内无箱型货物。本实施例依据雷达传感器3检测结果自动触发视觉传感器2改变图像采集位置角度，减少了图像内因光照、距离过远等原因产生的虚拟货物。

[0051] 具体的，S8中的指定步长等于垂直于车辆货仓舱口方向上所有目标箱型货物的最短边长，以免机械臂1与目标箱型货物出现干涉。本实施例中目标距离大于指定步长。

[0052] 具体的，记录每次视觉传感器2采集图像的位置作为历史位置，S8中视觉传感器2的变化后的位置与所有历史位置均不重叠，避免视觉传感器2在同一光照角度下采集图像，减少重复识别，提高识别效率。

[0053] 具体的，所述目标检测算法采用损失函数训练优化，以提高目标检测算法的候选框识别精度。损失函数为定位精度权重和候选框回归损失的乘积与分类损失之和。所述分类损失用于衡量检测算法输出结果与真实箱型货物存在情况之间的差异，即检测算法输出结果与真实箱型货物存在情况不一致的次数。候选框回归损失用于衡量预测的候选框与真实箱型货物边界之间的差异，即候选框与真实箱型货物边界不相交区域的大小。定位精度权重为给定值。

[0054] 本实施例中所述定位精度权重与候选框和真实箱型货物边界的重叠度呈反比。

[0055] 本实施例还提供了一种基于视觉的卸货系统，其包括机械臂1、视觉传感器2和雷达传感器3，所述视觉传感器2和雷达传感器3均固定在机械臂1上，视觉传感器2和雷达传感器3的相对位置固定。该系统采用上述的基于视觉的卸货方法进行卸货作业。

[0056] 本实施例中所述机械臂1通过真空负压吸附装置5拾取目标箱型货物，真空负压吸附装置5所需空间较少，车辆货仓顶部无需为容纳真空负压吸附装置5而预留过多的空间，提高车辆货仓内的空间利用率。

[0057] 基于视觉的卸货系统还包括用于检测机械臂1是否拾取到目标箱型货物的传感器4，所述传感器4固定在机械臂1上，如传感器4发出未拾取到目标箱型货物的信号，则机械臂
1改变视觉传感器2及雷达传感器3的位置，机械臂1根据此时视觉传感器2及雷达传感器3的检测结果重新进行卸货作业。

[0058] 本实施例中所述传感器为红外传感器。

[0059] 综上所述，本实施例将视觉传感器2及雷达传感器3，以雷达传感器3的检测信号作为基准对视觉传感器2采集的图像进行分析处理，识别出包含箱型货物的候选框，并借助目标箱型货物的长宽高信息对候选框进行筛选，筛选出符合目标箱型货物的候选框，过滤掉虚拟货物，提高自动化卸货时箱型货物检测算法的定位精度。本实施例中还借助了基于定位精度加权的候选框回归损失和分类损失对目标检测算法进行了训练优化，进一步提高了箱型货物检测算法的定位精度。

[0060] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。