输送设备上颗粒物料的检测方法和系统

摘要

本发明提供了一种传送带上颗粒物料的检测方法和系统。其中，该方法包括：采集传送带上物料表面的灰度图像，对灰度图像进行滤波处理和图像增强处理；采集传送带上物料表面的3D点云数据；将灰度图像和3D点云数据进行像素级别的匹配融合处理，得到融合数据；将融合数据输入预先训练完成的检测模型，输出检测结果；检测结果表征传送带上颗粒物料的粒度和体积。可以通过3D点云数据实现对深度数据检测，从而提高颗粒物料的检测精度。

权利要求

1.一种输送设备上颗粒物料的检测方法，其特征在于，所述方法包括：

采集输送设备上物料表面的灰度图像，对所述灰度图像进行滤波处理和图像增强处理；

采集所述输送设备上物料表面的3D点云数据；

将所述灰度图像和所述3D点云数据进行像素级别的匹配融合处理，得到融合数据；

将所述融合数据输入预先训练完成的检测模型，输出检测结果；所述检测结果表征所述输送设备上颗粒物料的粒度和体积；

将所述灰度图像和所述3D点云数据进行像素级别的匹配融合处理，得到融合数据的步骤，包括：对所述3D点云数据进行平移处理、旋转处理、仿射变换处理和双线性差值处理，使所述3D点云数据中的坐标轴数据与所述灰度图像逐像素对齐，得到3D点云对齐变换数据；

基于所述灰度图像对所述3D点云对齐变换数据进行补偿处理，得到3D点云补偿数据；将所述3D点云对齐变换数据和所述3D点云补偿数据进行像素级别的匹配融合处理，得到融合数据；

基于所述灰度图像对所述3D点云对齐变换数据进行补偿处理，得到3D点云补偿数据的步骤，包括：基于所述灰度图像提取垂直于输送设备运动方向的边缘的增强图像，基于归一化后的所述增强图像对所述3D点云对齐变换数据进行逐像素补偿处理，得到3D点云补偿数据；将所述3D点云对齐变换数据和所述3D点云补偿数据进行像素级别的匹配融合处理，得到融合数据的步骤，包括：将所述增强图像、所述3D点云对齐变换数据和所述3D点云补偿数据进行像素级别的匹配融合处理，得到融合数据。

2.根据权利要求1所述的方法，其特征在于，应用于输送设备上颗粒物料的检测系统，所述输送设备上颗粒物料的检测系统包括：灰度图像采集单元、3D数据采集单元以及特征提取与决策融合单元；

所述灰度图像采集单元包括线阵相机和补光灯，所述线阵相机的扫描图像方向垂直于输送设备的运动方向，所述线阵相机用于采集输送设备上物料表面的灰度图像；

所述3D数据采集单元包括面阵相机和一字激光器，所述面阵相机的扫描图像方向垂直于输送设备的运动方向，所述面阵相机用于采集所述输送设备上物料表面的3D点云数据；

所述特征提取与决策融合单元用于对所述灰度图像进行滤波处理和图像增强处理；将所述融合数据输入预先训练完成的检测模型，输出所述输送设备上颗粒物料的粒度和体积。

3.根据权利要求2所述的方法，其特征在于，所述补光灯采用红波段的光源，所述一字激光器采用绿波段的光源，所述线阵相机采用红波段的滤光片，所述面阵相机采用绿波段的滤光片；

或者，所述补光灯采用绿波段的光源，所述一字激光器采用红波段的光源，所述线阵相机采用绿波段的滤光片，所述面阵相机采用红波段的滤光片。

4.根据权利要求1所述的方法，其特征在于，对所述灰度图像进行滤波处理的步骤，包括：通过预设尺寸的采样窗口采集所述灰度图像的多个灰度值，将多个所述灰度值中的最大值替换为多个所述灰度值的中值。

5.根据权利要求1所述的方法，其特征在于，对所述灰度图像进行图像增强处理的步骤，包括：确定所述灰度图像的直方图和加权函数；

基于所述加权函数对所述直方图进行加权处理，得到加权后的所述直方图，确定加权后的所述直方图的每一灰度级的累计概率分布作为灰度变化系数；

基于所述灰度变化系数确定所述灰度图像的各个像素点增强后的灰度值，基于增强后的所述灰度值确定图像增强处理后的所述灰度图像。

6.根据权利要求1所述的方法，其特征在于，所述检测模型包括：超分辨率测试序列网络，所述超分辨率测试序列网络的特征提取部分为残差神经网络。

7.根据权利要求1所述的方法，其特征在于，所述检测模型的损失函数包括：定位损失和分类损失。

8.一种输送设备上颗粒物料的检测系统，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的输送设备上颗粒物料的检测方法。

说明书

输送设备上颗粒物料的检测方法和系统

技术领域

[0001] 本发明涉及图像处理技术领域，尤其是涉及一种输送设备上颗粒物料的检测方法和系统。

背景技术

[0002] 对于煤炭行业，质量、粒度不均匀的毛煤，在给煤过程中经常造成给煤机卡堵，导致给煤不畅，煤机不能基于稳定流量给煤。由于给煤环节的流量波动，导致入选、洗选环节处理量瞬时波动严重，系统处理能力不能达到设计值。除此之外，毛煤的粒度不均，可能发生胶带短时间同时存在大量大颗粒物料的情况，致使运输胶带集中受力，发生转载溜槽卡堵现象，以及设备内部保护刮卡、刮煤棒受力不均造成变形，浅槽分选机刮板变形等情况。这些情况会严重威胁系统安全稳定运行，而且降低了生产效率。受制于技术瓶颈和恶劣的工作环境，煤炭洗选加工过程中，仍然只能依靠岗位工人巡检结合调度室调节的方式控制毛煤下料时的粒度组成，从而尽可能保证洗选质量稳定、处理量最大。这种方式不仅存在工人主观评判标准不一的情况，还会因为工作内容单一造成员工疲惫、分心。

[0003] 在铁矿石等分选工厂中，基于图像识别的粒度识别技术逐渐成为主流，可以利用形态学差异对铁矿石进行轮廓检测，也可以利用Canny算子（边缘检测算子）提取铁矿石边缘特征，进而对矿石图像进行分割。

[0004] 然而，现有的图像检测的方法都是基于单一的二维图像的，相对于铁矿石等物料，煤炭颜色单一、吸光性强。因此在图像中物块与物块之间的间隔不明显，加上物料中的粉末状煤炭填充在块状物料缝隙的情况，更会加剧块状物料间隔模糊不清的状况。除此之外，块状煤炭的类晶体特性，在成像过程中其局部会存在由镜面反射引起的高亮光斑效应，也对二维图像的分割准确性产生很大的影响。

发明内容

[0005] 有鉴于此，本发明的目的在于提供一种输送设备上颗粒物料的检测方法和系统，以提高颗粒物料的检测精度。

[0006] 第一方面，本发明实施例提供了一种输送设备上颗粒物料的检测方法，方法包括：采集输送设备上物料表面的灰度图像，对灰度图像进行滤波处理和图像增强处理；采集输送设备上物料表面的3D点云数据；将灰度图像和3D点云数据进行像素级别的匹配融合处理，得到融合数据；将融合数据输入预先训练完成的检测模型，输出检测结果；检测结果表征输送设备上颗粒物料的粒度和体积。

[0007] 在本申请可选的实施例中，上述方法应用于输送设备上颗粒物料的检测系统，输送设备上颗粒物料的检测系统包括：灰度图像采集单元、3D数据采集单元以及特征提取与决策融合单元；灰度图像采集单元包括线阵相机和补光灯，线阵相机的扫描图像方向垂直于输送设备的运动方向，线阵相机用于采集输送设备上物料表面的灰度图像；3D数据采集单元包括面阵相机和一字激光器，面阵相机的扫描图像方向垂直于输送设备的运动方向，面阵相机用于采集输送设备上物料表面的3D点云数据；特征提取与决策融合单元用于对灰度图像进行滤波处理和图像增强处理；将融合数据输入预先训练完成的检测模型，输出输送设备上颗粒物料的粒度和体积。

[0008] 在本申请可选的实施例中，补光灯采用红波段的光源，一字激光器采用绿波段的光源，线阵相机采用红波段的滤光片，面阵相机采用绿波段的滤光片；或者，补光灯采用绿波段的光源，一字激光器采用红波段的光源，线阵相机采用绿波段的滤光片，面阵相机采用红波段的滤光片。

[0009] 在本申请可选的实施例中，上述对灰度图像进行滤波处理的步骤，包括：通过预设尺寸的采样窗口采集灰度图像的多个灰度值，将多个灰度值中的最大值替换为多个灰度值的中值。

[0010] 在本申请可选的实施例中，上述对灰度图像进行图像增强处理的步骤，包括：确定灰度图像的直方图和加权函数；基于加权函数对直方图进行加权处理，得到加权后的直方图，确定加权后的直方图的每一灰度级的累计概率分布作为灰度变化系数；基于灰度变化系数确定灰度图像的各个像素点增强后的灰度值，基于增强后的灰度值确定图像增强处理后的灰度图像。

[0011] 在本申请可选的实施例中，上述将灰度图像和3D点云数据进行像素级别的匹配融合处理，得到融合数据的步骤，包括：对3D点云数据进行平移处理、旋转处理、仿射变换处理和双线性差值处理，使3D点云数据中的坐标轴数据与灰度图像逐像素对齐，得到3D点云对齐变换数据；基于灰度图像对3D点云对齐变换数据进行补偿处理，得到3D点云补偿数据；将3D点云对齐变换数据和3D点云补偿数据进行像素级别的匹配融合处理，得到融合数据。

[0012] 在本申请可选的实施例中，上述基于灰度图像对3D点云对齐变换数据进行补偿处理，得到3D点云补偿数据的步骤，包括：基于灰度图像提取垂直于输送设备运动方向的边缘的增强图像，基于归一化后的增强图像对3D点云对齐变换数据进行逐像素补偿处理，得到3D点云补偿数据；上述将3D点云对齐变换数据和3D点云补偿数据进行像素级别的匹配融合处理，得到融合数据的步骤，包括：将增强图像、3D点云对齐变换数据和3D点云补偿数据进行像素级别的匹配融合处理，得到融合数据。

[0013] 在本申请可选的实施例中，上述检测模型包括：超分辨率测试序列网络，超分辨率测试序列网络的特征提取部分为残差神经网络。

[0014] 在本申请可选的实施例中，上述检测模型的损失函数包括：定位损失和分类损失。

[0015] 第二方面，本发明实施例还提供一种输送设备上颗粒物料的检测系统，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述的输送设备上颗粒物料的检测方法。

[0016] 本发明实施例带来了以下有益效果：

[0017] 本发明实施例提供了一种输送设备上颗粒物料的检测方法和系统，可以采集输送设备上物料表面的灰度图像和3D点云数据；将像进行滤波处理和图像增强处理后的灰度图像和3D点云数据进行像素级别的匹配融合处理得到融合数据；将融合数据输入检测模型，输出表征输送设备上颗粒物料的粒度和体积的检测结果。该方式中，可以通过3D点云数据实现对深度数据检测，从而提高颗粒物料的检测精度。

[0018] 本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

[0019] 为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

[0020] 为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0021] 图1为本发明实施例提供的一种输送设备上颗粒物料的检测方法的流程图；

[0022] 图2为本发明实施例提供的一种输送设备上颗粒物料的检测系统的示意图；

[0023] 图3为本发明实施例提供的另一种输送设备上颗粒物料的检测方法的流程图；

[0024] 图4为本发明实施例提供的一种滤波处理效果的示意图；

[0025] 图5为本发明实施例提供的一种图像增强处理效果的示意图；

[0026] 图6为本发明实施例提供的一种SSD的网络结构的示意图；

[0027] 图7为本发明实施例提供的一种SSD‑ResNet50的网络结构的示意图；

[0028] 图8为本发明实施例提供的一种块状物料的检测结果的示意图；

[0029] 图9为本发明实施例提供的一种输送设备上颗粒物料的检测装置的结构示意图；

[0030] 图10为本发明实施例提供的一种输送设备上颗粒物料的检测系统的结构示意图。

具体实施方式

[0031] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0032] 目前，对于煤炭行业，质量、粒度不均匀的毛煤，在给煤过程中经常造成给煤机卡堵，导致给煤不畅，煤机不能基于稳定流量给煤。由于给煤环节的流量波动，导致入选、洗选环节处理量瞬时波动严重，系统处理能力不能达到设计值。除此之外，毛煤的粒度不均，可能发生胶带短时间同时存在大量大颗粒物料的情况，致使运输胶带集中受力，发生转载溜槽卡堵现象，以及设备内部保护刮卡、刮煤棒受力不均造成变形，浅槽分选机刮板变形等情况。这些情况会严重威胁系统安全稳定运行，而且降低了生产效率。受制于技术瓶颈和恶劣的工作环境，煤炭洗选加工过程中，仍然只能依靠岗位工人巡检结合调度室调节的方式控制毛煤下料时的粒度组成，从而尽可能保证洗选质量稳定、处理量最大。这种方式不仅存在工人主观评判标准不一的情况，还会因为工作内容单一造成员工疲惫、分心。

[0033] 在铁矿石等分选工厂中，基于图像识别的粒度识别技术逐渐成为主流，可以利用形态学差异对铁矿石进行轮廓检测，也可以利用Canny算子提取铁矿石边缘特征，进而对矿石图像进行分割。

[0034] 然而，现有的图像检测的方法都是基于单一的二维图像的，相对于铁矿石等物料，煤炭颜色单一、吸光性强。因此在图像中物块与物块之间的间隔不明显，加上物料中的粉末状煤炭填充在块状物料缝隙的情况，更会加剧块状物料间隔模糊不清的状况。除此之外，块状煤炭的类晶体特性，在成像过程中其局部会存在由镜面反射引起的高亮光斑效应，也对二维图像的分割准确性产生很大的影响。

[0035] 基于此，本发明实施例提供的一种输送设备上颗粒物料的检测方法和系统，具体提供了一种基于多模态三维点云的煤块粒度检测方法，可以通过3D点云数据实现对深度数据检测，从而提高颗粒物料的检测精度。

[0036] 为便于对本实施例进行理解，首先对本发明实施例所公开的一种输送设备上颗粒物料的检测方法进行详细介绍。

[0037] 实施例一：

[0038] 本发明实施例提供一种输送设备上颗粒物料的检测方法，参见图1所示的一种输送设备上颗粒物料的检测方法的流程图，该输送设备上颗粒物料的检测方法包括如下步骤：

[0039] 步骤S102，采集输送设备上物料表面的灰度图像，对灰度图像进行滤波处理和图像增强处理。

[0040] 本实施例可以采集输送设备上物料表面的灰度图像，其中，输送设备可以为传送带等可以传输煤块等物料的设备。在获取灰度图像之后，可以对灰度图像进行滤波处理和图像增强处理。

[0041] 滤波处理可以在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，是图像预处理中不可缺少的操作，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。滤波处理可以包括：非线性滤波、中值滤波、形态学滤波、双边滤波等处理方式。

[0042] 图像增强可以增强图像中的有用信息，其目的是要改善图像的视觉效果，可以有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。

[0043] 图像增强可以分为基于空域的算法和基于频域的算法两大类。基于空域的算法处理是直接对图像灰度级做运算，基于频域的算法是在图像的某种变换域内对图像的变换系数值进行某种修正，是一种间接增强的算法。

[0044] 步骤S104，采集输送设备上物料表面的3D点云数据。

[0045] 本实施例可以采集输送设备上物料表面的3D点云数据，3D点云数据是指在一个三维坐标系统中的一组向量的集合。3D点云数据除了具有几何位置以外，有的还具有颜色信息。颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息赋予点云中对应的点。强度信息的获取是激光扫描仪接收装置采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向、仪器的发射能量、激光波长有关。

[0046] 本实施例可以通过3D点云数据实现对深度数据检测，可以精确检测到煤块间的缝隙，从而提高颗粒物料的检测精度。

[0047] 步骤S106，将灰度图像和3D点云数据进行像素级别的匹配融合处理，得到融合数据。

[0048] 本实施例中可以将灰度图像和3D点云数据进行像素级别的匹配融合处理，从而得到灰度图像与3D点云的3通道融合数据作为样本。

[0049] 步骤S108，将融合数据输入预先训练完成的检测模型，输出检测结果；检测结果表征输送设备上颗粒物料的粒度和体积。

[0050] 本实施例可以将融合数据输入预先训练完成的检测模型，检测模型可以输出表征输送设备上颗粒物料的粒度和体积的检测结果，从而完成输送设备上颗粒物料的检测。

[0051] 本发明实施例提供了一种输送设备上颗粒物料的检测方法，可以采集输送设备上物料表面的灰度图像和3D点云数据；将像进行滤波处理和图像增强处理后的灰度图像和3D点云数据进行像素级别的匹配融合处理得到融合数据；将融合数据输入检测模型，输出表征输送设备上颗粒物料的粒度和体积的检测结果。该方式中，可以通过3D点云数据实现对深度数据检测，从而提高颗粒物料的检测精度。

[0052] 实施例二：

[0053] 本实施例提供了另一种输送设备上颗粒物料的检测方法，该方法在上述实施例的基础上实现，具体地，上述输送设备上颗粒物料的检测方法可以应用于输送设备上颗粒物料的检测系统，输送设备上颗粒物料的检测系统包括：灰度图像采集单元、3D数据采集单元以及特征提取与决策融合单元；灰度图像采集单元包括线阵相机和补光灯，线阵相机的扫描图像方向垂直于输送设备的运动方向，线阵相机用于采集输送设备上物料表面的灰度图像；3D数据采集单元包括面阵相机和一字激光器，面阵相机的扫描图像方向垂直于输送设备的运动方向，面阵相机用于采集输送设备上物料表面的3D点云数据；特征提取与决策融合单元用于对灰度图像进行滤波处理和图像增强处理；将融合数据输入预先训练完成的检测模型，输出输送设备上颗粒物料的粒度和体积。

[0054] 参见图2所示的一种输送设备上颗粒物料的检测系统的示意图，图2中的输送设备为传送带，图像采集单元采用线阵相机获取输送设备上的物料表面灰度数据；3D数据采集单元采用结构激光方式的面阵相机获取对应输送设备上的物料上表面3D点云数据；数据处理单元实现灰度图像与3D点云数据的像素级匹配融合，然后进行3维实例分割，得到输送设备上的颗粒物料粒度。

[0055] 如图2所示，输送设备上颗粒物料的检测系统布设于输送设备的上方，线阵相机和面阵相机的扫描图像方向垂直于输送设备运动方向，线阵相机和面阵相机由安装于输送设备上的编码器控制触发曝光。

[0056] 具体地，本实施例的补光灯采用红波段的光源，一字激光器采用绿波段的光源，线阵相机采用红波段的滤光片，面阵相机采用绿波段的滤光片；或者，补光灯采用绿波段的光源，一字激光器采用红波段的光源，线阵相机采用绿波段的滤光片，面阵相机采用红波段的滤光片。

[0057] 为了避免灰度图像采集单元的补光灯光线影响3D数据采集，补光灯与一字激光器分别采用红、绿两个波段的光源，并且对应的线阵相机和面阵相机分别安装红、绿两个波段对应的滤光片，保证二者的光源互不干扰。

[0058] 参见图3所示的另一种输送设备上颗粒物料的检测方法的流程图，本实施例中的输送设备上颗粒物料的检测方法包括如下步骤：

[0059] 步骤S302，采集输送设备上物料表面的灰度图像，对灰度图像进行滤波处理和图像增强处理。

[0060] 具体地，本实施例可以通过预设尺寸的采样窗口采集灰度图像的多个灰度值，将多个灰度值中的最大值替换为多个灰度值的中值。

[0061] 由于煤炭的物理特性，胶带上的物料往往存在两种性状，即粉末状和块状。粉末状的物料会穿插在块状物料之间，使得块状物料之间的边缘变化过于平缓。针对这个问题，本实施例提出一种改进的中值滤波函数，将滤波窗内的最大灰度值用灰度值的中值代替，采样窗口尺寸为5×5，能够有效抑制光斑干扰，可以如公式(1)‑(2)所示：

[0062] (1)

[0063] (2)

[0064] 其中， 是原图像， 为处理后图像。 表示以 为中心的窗口区域所有的像素点。

[0065] 可以看出，与传统中值滤波不同，本实施例提供的方法在一次滤波过程中，并非仅改变滤波中心位置的单个像素值，而是改变滤波窗口中所有满足公式(1)的像素。从而可以在一次滤波时处理不同尺寸的光斑。

[0066] 参见图4所示一种滤波处理效果的示意图，图4左侧为原始的灰度图像，图4右侧为滤波后的灰度图像，本实施例提供的方法在保持了保边效果的同时，可以有效减少镜面反射引起的光斑效应。

[0067] 具体地，本实施例可以确定灰度图像的直方图和加权函数；基于加权函数对直方图进行加权处理，得到加权后的直方图，确定加权后的直方图的每一灰度级的累计概率分布作为灰度变化系数；基于灰度变化系数确定灰度图像的各个像素点增强后的灰度值，基于增强后的灰度值确定图像增强处理后的灰度图像。

[0068] 煤流上煤块不均匀的分布，导致不同区域的亮度不一致，尤其是粉末状物料聚集的部分，强吸光特性造成该区域对比度不足，这种区域称为“暗区”。暗区内的目标难以检测。基于此，本实施例设计了一种非线性自适应直方图均衡化的方法平衡光照分布。

[0069] 直方图均衡化是使用概率密度函数对图像灰度进行调整，设 为原始图像的直方图分布， 为加权函数，为一个参数集。按照公式(3)统计原始图像的直方图得
到 ，其中 为灰度级为 的像素总数。

[0070] (3)

[0071] 根据 的性质，计算出加权函数 的参数集 ，从而确定加权函数，然后用该函数对原始煤块图像的直方图分布 进行如下公式(4)的加权处
理。

[0072] (4)

[0073] 用加权后的直方图 ，按公式(5)计算出每一灰度级的累计概率分布作为灰度变化系数。

[0074] (5)

[0075] 最后，根据灰度变换系数，按公式(6)计算出各像素点图像增强后的灰度值。其中，[]符号表示取整操作。

[0076] (6)

[0077] 参见图5所示的一种图像增强处理效果的示意图，图5左侧为原始的灰度图像，图5右侧为图像增强后的灰度图像，可以看出右侧图像中的煤块边缘更加清晰，尤其是暗区部分，这为特征提取奠定了基础。

[0078] 步骤S304，采集输送设备上物料表面的3D点云数据。

[0079] 本实施例可以将已知尺寸，不同高度的矩形煤块放于输送设备上，开启输送设备，分别采集灰度图像和3D点云数据。

[0080] 步骤S306，对3D点云数据进行平移处理、旋转处理、仿射变换处理和双线性差值处理，使3D点云数据中的坐标轴数据与灰度图像逐像素对齐，得到3D点云对齐变换数据；基于灰度图像对3D点云对齐变换数据进行补偿处理，得到3D点云补偿数据；将3D点云对齐变换数据和3D点云补偿数据进行像素级别的匹配融合处理，得到融合数据。

[0081] 煤炭传送皮带通常带速为3m/s左右，受3D相机采样速率限制，3D点云数据在输送设备运动方向会出现较大的空隙。3D点云数据与灰度图像进行匹配时所做的双线性差值处理，会漏掉处于3D采样间隙的物块缝隙。针对这一问题，通过灰度图像像素对这部分双线性差值得到的3D点云数据进行补偿。

[0082] 具体地，本实施例可以基于灰度图像提取垂直于输送设备运动方向的边缘的增强图像，基于归一化后的增强图像对3D点云对齐变换数据进行逐像素补偿处理，得到3D点云补偿数据；将增强图像、3D点云对齐变换数据和3D点云补偿数据进行像素级别的匹配融合处理，得到融合数据。

[0083] 本实施例可以采用sobel（索贝尔）算子提取增强图像垂直于皮带运动方向的边缘，得到的增强图像归一化后与3D点云对齐变换数据逐像素按照公式(7)进行计算，得到3D点云补偿数据。

[0084] (7)

[0085] 其中， 是3D点云对齐变换数据， 是灰度图像归一化边缘图像，是3D点云补偿数据。将增强图像、3D点云对齐变换数据和3D点云补偿数据合成，可
以得到灰度图像与3D点云的3通道融合数据样本。

[0086] 步骤S308，将融合数据输入预先训练完成的检测模型，输出检测结果；检测结果表征输送设备上颗粒物料的粒度和体积。

[0087] 具体地，本实施例的检测模型包括：超分辨率测试序列网络，超分辨率测试序列网络的特征提取部分为残差神经网络。

[0088] 本实施例还提供了一种基于深度网络的块状煤炭粒度识别方法，基于深度学习的目标检测方法可以分为Two‑stage（二阶段）和One‑stage（一阶段）网络。SSD（Single Shot MultiBox Detector，单步多框目标检测）是One‑stage网络，在检测速度有很大优势，而且SSD网络具备良好的移植性，对于工业应用友好性强。基于检测速度与检测精度平衡的角度，提出一种快速检测模型SSD‑ResNet50，它有效结合了SSD模型与ResNet（残差网络）模型的优点。

[0089] 参见图6所示的一种SSD的网络结构的示意图，SSD目标检测可以利用VGG（Visual Geometry Group，超分辨率测试序列）网络对输入图像进行浅层特征提取，并通过增加的4组卷积层对浅层特征进一步提取，经过一系列特征提取过程后，选取不同层输出的特征进行位置偏移和类别的预测。最后，通过Loss（损失函数）和非极大抑制得到最终检测结果。

[0090] SSD网络会对检测到的目标精准定位并给出类别置信度。其中，本实施例的检测模型的损失函数包括：定位损失和分类损失。本实施例可以将定位损失和分类损失加权后作为整体目标损失函数，定义如公式(8)‑(11)所示：

[0091] (8)

[0092] (9)

[0093] (10)

[0094] (11)

[0095] 其中，是与真实目标框相匹配的区域候选框个数，表示区域候选框与真实目标框是否匹配。若 表示不匹配。 表示匹配成功。是目标框坐标，为分类置信度，是区域候选框的坐标。使用 函数作为位置预测误差， 为softmax（归一化指数）损失函数， 和 分别表示真实框和候选区域框， 代表候选区域框 与真实框 关于 是否匹
配， 和 分别表示正负样本。 表示第 个候选区域框中目标是 个类别的概率，
表示候选区域框中没有目标。

[0096] 对于目标分类问题，ResNet的准确率在多数公开数据库的测试中高于VGG网络。因此，本实施例设计了一种新的网络结构，参见图7所示的一种SSD‑ResNet50的网络结构的示意图，将VGG网络特征提取部分用ResNet‑50代替。根据实验结果，当深度达到50层时，检测精度与速度的平衡最佳，即SSD‑RestNet50。将原有网络中VGG的前5个卷积进行替换，同时将ResNet‑50的第4个卷积阶段步长都改成1，实现对输入图像特征的提取。

[0097] SSD‑ResNet50的训练过程可以表述为：首先将 的图像输入到网络中，进行特征提取，并将Conv2_3和Conv_4_6层的输出作为小目标检测的特征图。之后经过卷积和下采样将图像尺寸下降到 ，其中Conv5、Conv6_2、Conv7_2和最后一层Conv9_2作为大目标检测的特征图，输出45390个检测框。最终，通过非极大值抑制确定预测框，计算损失后进行反向传播更新权重，完成一次训练。

[0098] 在置信度设置成0.5，检测面积阈值设置为≥50进行测试，可以参见图8所示的一种块状物料的检测结果的示意图，代表块状物料的矩形框具有位置和大小信息，因此可以得到矩形的面积，进而根据实际生产需求，标定物料实际尺寸与图中成像之间的比例关系。具体标定方式为：在视野内垂直摆放尺寸已知的矩形块，在采集的图像上计算立方体边长所占的像素数量，获得对应关系。根据实际生产需求，并不需要连续的粒度分布情况。因此，本实施例可以将目标的检测结果根据实际情况划分为若干个粒度等级，作为结果输出。

[0099] 本实施例提供的上述方法具有以下优势：

[0100] 1、相较于其他基于图像的煤流粒度识别方案，本实施例提供的方案增加了深度数据检测，精度更高。

[0101] 由于煤炭的物理特性，输送设备上的物料往往存在两种性状，即粉末状和块状。粉末状的物料会穿插在块状物料之间，使得块状物料之间的边缘变化过于平缓。这主要由两个因素造成。首先，粉末状物料将梯度变化剧烈的物块边缘掩盖。其次，粉末状煤炭具有很强的吸光特性，造成物块边缘部分亮度不足，对比度下降。不仅如此，相对于铁矿石等其他矿物，煤炭本身由于颜色单一且极为相近，边缘信息也不明显，造成胶带机上的煤炭区分度不高。这也是现存矿物粒度估计方法不适用于单纯图像检测的主要原因。

[0102] 本实施例的面阵相机利用结构光检测得到的煤炭表面的深度信息则完全不受以上因素影响，可以精确检测到煤块间的缝隙。

[0103] 2、本实施例采用的SSD‑ResNet50框架在识别精度和识别速度方面的优势。

[0104] 将本实施例提供的方法与目前流行的目标检测方法进行了对比。所有对比测试均在同样的测试平台中进行，参数选取为相应文献的默认值。参与对比的方法包括Fast RCNN、Faster RCNN、YOLOv5、SSD‑VGG16和本实施例提供的方法SSD‑ResNet50。以推理速度和mAP（mean Average Precision，全类平均精度）为关键指标，对比结果如表1所示。

[0105] 表1

[0106]

[0107] 如表1所示，通过在本数据集上的不同网络对比实验可以看出，本实施例提供的SSD‑ResNet50无论是在训练时间、推理速度和准确度上都优于其他网络。主要原因在于本实施例通过图像预处理的方式提高被检测物体的边缘特征，同时将SSD网络的特征提取部分进行优化，使网络能够快速学习到特征，提高了整体效率。

[0108] 实施例三：

[0109] 对应于上述方法实施例，本发明实施例提供了一种输送设备上颗粒物料的检测装置，参见图9所示的一种输送设备上颗粒物料的检测装置的结构示意图，该输送设备上颗粒物料的检测装置包括：

[0110] 灰度图像采集模块91，用于采集输送设备上物料表面的灰度图像，对灰度图像进行滤波处理和图像增强处理；

[0111] 3D点云数据采集模块92，用于采集输送设备上物料表面的3D点云数据；

[0112] 匹配融合处理模块93，用于将灰度图像和3D点云数据进行像素级别的匹配融合处理，得到融合数据；

[0113] 检测模型处理模块94，用于将融合数据输入预先训练完成的检测模型，输出检测结果；检测结果表征输送设备上颗粒物料的粒度和体积。

[0114] 本发明实施例提供了一种输送设备上颗粒物料的检测装置，可以采集输送设备上物料表面的灰度图像和3D点云数据；将像进行滤波处理和图像增强处理后的灰度图像和3D点云数据进行像素级别的匹配融合处理得到融合数据；将融合数据输入检测模型，输出表征输送设备上颗粒物料的粒度和体积的检测结果。该方式中，可以通过3D点云数据实现对深度数据检测，从而提高颗粒物料的检测精度。

[0115] 上述装置应用于输送设备上颗粒物料的检测系统，输送设备上颗粒物料的检测系统包括：灰度图像采集单元、3D数据采集单元以及特征提取与决策融合单元；灰度图像采集单元包括线阵相机和补光灯，线阵相机的扫描图像方向垂直于输送设备的运动方向，线阵相机用于采集输送设备上物料表面的灰度图像；3D数据采集单元包括面阵相机和一字激光器，面阵相机的扫描图像方向垂直于输送设备的运动方向，面阵相机用于采集输送设备上物料表面的3D点云数据；特征提取与决策融合单元用于对灰度图像进行滤波处理和图像增强处理；将融合数据输入预先训练完成的检测模型，输出输送设备上颗粒物料的粒度和体积。

[0116] 上述补光灯采用红波段的光源，一字激光器采用绿波段的光源，线阵相机采用红波段的滤光片，面阵相机采用绿波段的滤光片；或者，补光灯采用绿波段的光源，一字激光器采用红波段的光源，线阵相机采用绿波段的滤光片，面阵相机采用红波段的滤光片。

[0117] 上述灰度图像采集模块，用于通过预设尺寸的采样窗口采集灰度图像的多个灰度值，将多个灰度值中的最大值替换为多个灰度值的中值。

[0118] 上述灰度图像采集模块，用于确定灰度图像的直方图和加权函数；基于加权函数对直方图进行加权处理，得到加权后的直方图，确定加权后的直方图的每一灰度级的累计概率分布作为灰度变化系数；基于灰度变化系数确定灰度图像的各个像素点增强后的灰度值，基于增强后的灰度值确定图像增强处理后的灰度图像。

[0119] 上述匹配融合处理模块，用于对3D点云数据进行平移处理、旋转处理、仿射变换处理和双线性差值处理，使3D点云数据中的坐标轴数据与灰度图像逐像素对齐，得到3D点云对齐变换数据；基于灰度图像对3D点云对齐变换数据进行补偿处理，得到3D点云补偿数据；将3D点云对齐变换数据和3D点云补偿数据进行像素级别的匹配融合处理，得到融合数据。

[0120] 上述匹配融合处理模块，用于基于灰度图像提取垂直于输送设备运动方向的边缘的增强图像，基于归一化后的增强图像对3D点云对齐变换数据进行逐像素补偿处理，得到3D点云补偿数据；将3D点云对齐变换数据和3D点云补偿数据进行像素级别的匹配融合处理，得到融合数据的步骤，包括：将增强图像、3D点云对齐变换数据和3D点云补偿数据进行像素级别的匹配融合处理，得到融合数据。

[0121] 上述检测模型包括：超分辨率测试序列网络，超分辨率测试序列网络的特征提取部分为残差神经网络。

[0122] 上述检测模型的损失函数包括：定位损失和分类损失。

[0123] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的输送设备上颗粒物料的检测装置的具体工作过程，可以参考前述的输送设备上颗粒物料的检测方法的实施例中的对应过程，在此不再赘述。

[0124] 实施例四：

[0125] 本发明实施例还提供了一种输送设备上颗粒物料的检测系统，用于运行上述输送设备上颗粒物料的检测方法；参见图10所示的一种输送设备上颗粒物料的检测系统的结构示意图，该输送设备上颗粒物料的检测系统包括存储器100和处理器101，其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器101执行，以实现上述输送设备上颗粒物料的检测方法。

[0126] 进一步地，图10所示的输送设备上颗粒物料的检测系统还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。

[0127] 其中，存储器100可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non‑volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口103（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

[0128] 处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field‑Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器
100中的信息，结合其硬件完成前述实施例的方法的步骤。

[0129] 本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述输送设备上颗粒物料的检测方法，具体实现可参见方法实施例，在此不再赘述。

[0130] 本发明实施例所提供的输送设备上颗粒物料的检测方法和系统，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

[0131] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0132] 另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

[0133] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read‑Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

[0134] 在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

[0135] 最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。