一种基于视觉图像的运粮车谷物装载状态检测方法及装置

摘要

本发明提供一种基于视觉图像的运粮车谷物装载状态检测方法及装置，方法包括：通过彩色数字相机对运粮车进行图像采集，获得粮箱口及谷物的平面彩色图像；使用平滑、边缘、直线检测等滤波器处理平面彩色图像，获得粮箱口的完整边缘轮廓；使用颜色空间转换及阈值分割等图像处理方法，获得粮箱上谷物在图像中的区域；利用二维凸包算法获得代表谷物区域边缘的凸点，并分别计算这些凸点到粮箱口四个边缘直线的距离；根据实时测量的这些距离，通过预先设定的阈值判断谷物在粮箱口各个分布位置的装载状态，实现收割机向运粮车卸粮时谷物装载状态的检测。最后将谷物状态及相应操作指示实时显示在检测终端。本发明具有方便安装、维护，易于实施，检测速度快，稳定性强，精度较高的优点。

权利要求

1.一种基于视觉图像的运粮车谷物装载状态检测方法，其特征在于，包括：通过彩色数字相机对运粮车进行实时图像采集，获得粮箱口及谷物的平面彩色图像；

对平面彩色图像进行处理，获得粮箱口的完整边缘轮廓；

通过颜色空间转换及阈值分割，获得粮箱上谷物在图像中的区域；

利用二维凸包算法获得代表谷物区域边缘的凸点，并分别计算这些凸点到粮箱口四个边缘直线的距离；

根据实时测量的这些距离，通过预先设定的阈值判断谷物在粮箱口各个分布位置的装载状态，实现收割机向运粮车卸粮时谷物装载状态的检测。

2.按权利要求1所述的检测方法，其特征在于：所述对平面彩色图像的处理在数字信号处理器中进行。

3.按权利要求1所述的检测方法，其特征在于：所述对平面彩色图像进行处理，获得粮箱口的完整边缘轮廓，包括以下步骤：利用高斯滤波器平滑采集到的平面彩色图像；

将平面彩色图像转换为灰度图像；

利用边缘检测方法，计算图像各个像素在行、列两个方向的梯度的绝对值之和；

利用阈值分割法去除干扰区域，获取粮箱口边缘区域；

利用膨胀、腐蚀算法去除边缘区域毛刺；

利用高斯直线检测算法，获取在粮箱口边缘的直线段，并将共线的直线拟合为一条直线；

获得粮箱口四条完整边缘轮廓线。

4.按权利要求1所述的检测方法，其特征在于：所述通过颜色空间转换及阈值分割，获得粮箱上谷物在图像中的区域，包括以下步骤：将获得的粮箱口边缘围成区域作为感兴趣区域，并分别提取三通道彩色图像，获得三个分别代表红色、绿色、蓝色的单通道灰度图像；

利用阈值分割法在代表红色的灰度图像中获得谷物的颜色区域；

将彩色图像从红绿蓝颜色空间转换为色调、饱和度、亮度的颜色空间；

利用阈值分割法相继在饱和度和色调图像中进行处理，获得谷物的颜色区域；

将上述获得的两处谷物区域进行求交计算，获得最终的谷物区域。

5.一种基于视觉图像的运粮车谷物装载状态检测装置，其特征在于，包括：图像采集模块，用于通过彩色数字相机对运粮车进行图像采集，获得粮箱口及谷物的平面彩色图像；

边缘识别模块，用于通过平滑、边缘、直线检测方法处理平面彩色图像，获得粮箱口的完整边缘轮廓；

区域识别模块，用于通过颜色空间转换及阈值分割方法，获得粮箱上谷物在图像中的区域；

谷物状态测量模块，用于实现收割机向运粮车卸粮时谷物装载状态的检测；所述谷物装载状态测量模块包括：距离测量子模块，利用二维凸包算法获得代表谷物区域边缘的凸点，并分别计算这些凸点到粮箱口四个边缘直线的距离，通过预先设定的阈值判断谷物在粮箱口各个分布位置的装载状态。

6.按权利要求5所述的检测装置，其特征在于，所述彩色数字相机为带有低畸变的广角镜头的相机，从俯视角度获取完整粮箱口及谷物的平面彩色图像。

7.按权利要求5所述的检测装置，其特征在于，还包括：检测终端显示模块，用于将谷物状态及相应操作指令实时显示在运粮车驾驶室内检测终端的显示设备上。

8.按权利要求5所述的检测装置，其特征在于，所述彩色数字相机为一个或多个，如果彩色数字相机为多个，则各个彩色数字相机在同一个多输入接口的DSP视频处理板卡上进行处理和检测。

说明书

一种基于视觉图像的运粮车谷物装载状态检测方法及装置

技术领域

[0001] 本发明涉及检测技术领域，具体地说是一种基于视觉图像的运粮车谷物装载状态检测方法及装置。

背景技术

[0002] 为了提高我国联合收割机-运粮车主从协同作业的效率和监控能力，需要重点解决运粮车粮箱谷物装载情况的动态检测问题。在把收割机粮仓中的谷物卸载到运粮车上的过程中，既要避免粮食谷物散落到运粮车粮箱之外，又要保证谷物在粮箱中均匀装载，这就需要实时检测粮箱谷物的装载状态以实现收割机和运粮车的相对位置动态调整。

[0003] 在现有技术中，对于粮箱谷物装载情况检测主要包括以下四种方法：①采用机械传感器，这种传感器包括标尺本体，通过标尺测量获得粮箱谷物的体积，然后根据谷物的密度和测得的体积值计算存储量，但该方法存在计量过程复杂、测量精度差的不足；②采用超声波传感器，在粮箱谷物某一高度上水平选择两点,一点用于发射超声波,另一点用于接收,以判断随时间改变的粮食谷物是否达到已知高度，但超声波传感器一般价格昂贵，维护成本较高，安装繁琐；③采用三维激光扫描传感器，利用三维激光雷达扫描并配以高速旋转的棱镜进行粮食谷物表面三维数据测量，但三维激光扫描传感器对工作环境要求苛刻，对操作、维护人员要求较高；④采用压力传感器，利用压力传感器输出值计算粮仓底面和侧面的压力值，并根据建立的模型进行粮食谷物装载情况的计算，但采用压力传感器需要针对不同的被测谷物建立特定的数学模型，不具备灵活性和通用性。

[0004] 综上所述，现有的机械、声学、光学、电子式的传感器普遍存在故障率高、稳定性差和抗恶劣环境能力差等缺陷。

发明内容

[0005] 针对上述问题，本发明的目的在于提供一种基于视觉图像的运粮车谷物装载状态检测方法及装置，速度快，稳定性强，精度较高。

[0006] 本发明为实现上述目的所采用的技术方案是：一种基于视觉图像的运粮车谷物装载状态检测方法，包括：

[0007] 通过彩色数字相机对运粮车进行实时图像采集，获得粮箱口及谷物的平面彩色图像；

[0008] 对平面彩色图像进行处理，获得粮箱口的完整边缘轮廓；

[0009] 通过颜色空间转换及阈值分割，获得粮箱上谷物在图像中的区域；

[0010] 利用二维凸包算法获得代表谷物区域边缘的凸点，并分别计算这些凸点到粮箱口四个边缘直线的距离；

[0011] 根据实时测量的这些距离，通过预先设定的阈值判断谷物在粮箱口各个分布位置的装载状态，实现收割机向运粮车卸粮时谷物装载状态的检测。

[0012] 所述对平面彩色图像的处理在数字信号处理器中进行。

[0013] 所述对平面彩色图像进行处理，获得粮箱口的完整边缘轮廓，包括以下步骤：

[0014] 利用高斯滤波器平滑采集到的平面彩色图像；

[0015] 将平面彩色图像转换为灰度图像；

[0016] 利用边缘检测方法，计算图像各个像素在行、列两个方向的梯度的绝对值之和；

[0017] 利用阈值分割法去除干扰区域，获取粮箱口边缘区域；

[0018] 利用膨胀、腐蚀算法去除边缘区域毛刺；

[0019] 利用高斯直线检测算法，获取在粮箱口边缘的直线段，并将共线的直线拟合为一条直线；

[0020] 获得粮箱口四条完整边缘轮廓线。

[0021] 所述通过颜色空间转换及阈值分割，获得粮箱上谷物在图像中的区域，包括以下步骤：

[0022] 将获得的粮箱口边缘围成区域作为感兴趣区域，并分别提取三通道彩色图像，获得三个分别代表红色、绿色、蓝色的单通道灰度图像；

[0023] 利用阈值分割法在代表红色的灰度图像中获得谷物的颜色区域；

[0024] 将彩色图像从红绿蓝颜色空间转换为色调、饱和度、亮度的颜色空间；

[0025] 利用阈值分割法相继在饱和度和色调图像中进行处理，获得谷物的颜色区域；

[0026] 将上述获得的两处谷物区域进行求交计算，获得最终的谷物区域。

[0027] 一种基于视觉图像的运粮车谷物装载状态检测装置，包括：

[0028] 图像采集模块，用于通过彩色数字相机对运粮车进行图像采集，获得粮箱口及谷物的平面彩色图像；

[0029] 边缘识别模块，用于通过平滑、边缘、直线检测方法处理平面彩色图像，获得粮箱口的完整边缘轮廓；

[0030] 区域识别模块，用于通过颜色空间转换及阈值分割方法，获得粮箱上谷物在图像中的区域；

[0031] 谷物状态测量模块，用于实现收割机向运粮车卸粮时谷物装载状态的检测。

[0032] 所述彩色数字相机为带有低畸变的广角镜头的相机，从俯视角度获取完整粮箱口及谷物的平面彩色图像。

[0033] 所述谷物装载状态测量模块包括：

[0034] 距离测量子模块，利用二维凸包算法获得代表谷物区域边缘的凸点，并分别计算这些凸点到粮箱口四个边缘直线的距离，通过预先设定的阈值判断谷物在粮箱口各个分布位置的装载状态。

[0035] 还包括：

[0036] 检测终端显示模块，用于将谷物状态及相应操作指令实时显示在运粮车驾驶室内检测终端的显示设备上。

[0037] 所述彩色数字相机为一个或多个，如果彩色数字相机为多个，则各个彩色数字相机在同一个多输入接口的DSP视频处理板卡上进行处理和检测。

[0038] 本发明的优点及有益效果是：

[0039] 1.本发明采用视觉图像处理和识别技术对运粮车谷物装载状态进行检测，相对于其他检测方法，在实现速度上有较大的提高，保证实时检测的同时，也能够保证较高的精度。

[0040] 2.本发明采用最直观的视觉检测方法，干扰因素较少，相对于采用超声波或激光等传感器方法，能够保证粮箱谷物检测的识别鲁棒性和稳定性，并且数字相机的传感器的价格成本更低。

[0041] 3.本发明装置采用结构简单的相机固定支架，并且可以实现相机俯仰角度和垂直位置的调节，这样就能够使相机能够观察完整的粮箱谷物装载状态，保证装置的通用性，可以在不同装载量的粮箱上安装使用。支架在粮箱上的安装可以根据具体的粮箱外部结构设计不同的固定位置和方式，方便装卸和维护。

[0042] 4.本发明具有方便安装、维护，易于实施，检测速度快，稳定性强，精度较高的优点。

附图说明

[0043] 图1为本发明的方法流程图；

[0044] 图2为本发明的检测装置的一个实施例结构原理示意图；

[0045] 图3为采用单个相机的运粮车谷物装载状态检测装置的组成示意图；

[0046] 图4为本发明中相机支架的结构示意图；

[0047] 图5为本发明采集图像中粮箱边缘和谷物区域的示意图；

[0048] 图6为本发明的基于视觉图像的运粮车谷物装载状态检测装置框图。

具体实施方式

[0049] 为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

[0050] 本发明针对现有基于机械、超声波、三维激光扫描、压力等传感器的测量方法效率较低、稳定性差、成本较高等不足，提供一种基于视觉图像的运粮车谷物装载状态检测方法及装置，利用视觉技术实现对粮箱内谷物装载状态的实时检测。谷物分布状态一般包括：“未装满”、“即将装满”和“已经装满”三个状态。

[0051] 如图1所示，本发明的基于视觉图像的运粮车谷物装载状态检测方法，包括如下步骤：

[0052] 步骤11，通过彩色数字相机对运粮车进行图像采集，获得粮箱口及谷物的平面彩色图像；

[0053] 步骤12，使用平滑、边缘、直线检测等滤波器处理平面彩色图像，获得粮箱口的完整边缘轮廓；

[0054] 步骤13，使用颜色空间转换及阈值分割等图像处理方法，获得粮箱上谷物在图像中的区域；

[0055] 步骤14，利用二维凸包算法获得代表谷物区域边缘的凸点，并分别计算这些凸点到粮箱口四个边缘直线的距离；

[0056] 步骤15，根据实时测量的这些距离，通过预先设定的阈值判断谷物在粮箱口各个分布位置的“未装满”、“即将装满”以及“已经装满”三个装载状态，实现收割机向运粮车卸粮时谷物装载状态的检测。

[0057] 本发明的上述方法通过带有低畸变广角镜头的彩色数字相机对运粮车进行图像采集，获得粮箱口及谷物的平面彩色图像；从该彩色图像中提取粮箱口边缘直线和谷物区域，并确定该谷物区域的凸点，从而测量这些凸点到边缘直线的距离来判断谷物在粮箱口各个分布位置的状态，不需测量粮箱内部谷物的整个外表面形貌。这样就使计算工作极大地简化，从而能够灵活快速地对粮箱谷物装载状态进行检测。

[0058] 上述图1所示方法在具体实现时，还可以首先在运粮车对谷物装载状态检测装置进行布置和安装，包括彩色数字相机、广角镜头、检测终端(包括安装软件的DSP板卡以及显示屏)等；

[0059] 下面具体说明本发明的基于视觉图像的运粮车谷物装载状态检测方法的实施例。

[0060] 如图2、图3所示：彩色数字相机31和广角镜头32通过固定支架33安装在运粮车粮箱34的窄边一侧，并对粮箱34内的被检测谷物35进行图像采集，采集得到的图像通过视频数据线36传输到检测终端37(包括DSP视频采集和处理板卡以及显示屏38)，其中，DSP视频采集和处理板卡用于采集彩色数字相机31观察得到的粮箱34及谷物35的彩色图像，可以在DSP板卡的存储介质中临时存储所述彩色图像，并利用采集到的图像数据进行分析处理，并进行检测判断运算，最后将检测结果显示在显示屏38上；

[0061] 具体地，在运粮车的驾驶室和粮箱对检测装置进行布置和安装，彩色数字相机31(见图3)可以看到被检测粮箱34的边缘轮廓和其内谷物35的颜色(黄色)区域，继而用来进行谷物装载状态的检测。低畸变的广角镜头32(见图3)能够保证彩色数字相机31能够获取大视场范围的图像，即一幅图像包括完整的畸变较小的粮箱边缘轮廓。固定支架33(见图3)可以实现相机俯仰角度和垂直位置的调节，这样就能够使相机能够观察完整的粮箱谷物装载状态，保证装置的通用性，可以在不同装载量的粮箱上安装使用。检测终端37(见图3)安装在运粮车的驾驶室内，便于造作人员通过显示屏38(见图3)实时监控粮箱内谷物的装载状态情况，并根据状态提示进行收割机和运粮车的相对位置动态调整。固定支架33的机械结构如图4所示，相机41首先通过其下方的螺纹孔固定在带有U型槽口的零件42上，通过螺栓43与带有螺纹孔的凸型底座44固定在一起，这样螺纹孔实现了相机俯仰角度的运动调节，U型槽口实现了相机垂直位置的运动调节，最后通过支撑架45将相机及上述零件整体安装在粮箱一侧，支撑架45采用垂直支撑面后移的结构，目的是避免相机俯视观察粮箱产生遮挡。固定支架33在粮箱上的安装可以根据具体的粮箱外部结构设计不同的固定位置和方式，方便装卸和维护。

[0062] 在提取粮箱的边缘轮廓线和谷物的颜色区域时，通过机器视觉方法，利用平滑、边缘、直线检测等滤波器处理彩色图像，获得粮箱口的完整边缘轮廓，再将共线边缘拟合为一条直线，提取得到如图5中所示的粮箱口的边缘轮廓线51，对所获取的彩色图像进行颜色空间变换和阈值分割处理，将如图5所示的谷物区域52从彩色图像背景中提取出来。

[0063] 利用二维凸包算法获得代表谷物区域边缘的凸点，并分别计算这些凸点到粮箱口四个边缘直线的距离。根据实时测量的距离，通过预先设定的阈值判断谷物在粮箱口各个分布位置的状态：(1)当距离大于预先设定的阈值时(如图5中53情况所示)，则为在该点所在分布区域的谷物装载状态为“未装满”；(2)当距离小于预先设定的阈值且大于零时(如图5中54情况所示)，则为在该点所在分布区域的谷物装载状态为“即将装满”；当距离等于零时(如图5中55情况所示)，则为在该点所在分布区域的谷物装载状态为“已经装满”。

[0064] 综上，本发明的检测方法主要有三个关键内容。首先，由于是采用低畸变的广角镜头，选取合适的彩色数字相机直接决定了获取的被检测粮箱谷物的图像信息的正确性和全面性。其次，获取充分的图像数据后根据需要分析处理，选取最优算法进而提高检测的精度、速度和稳定性。最后，采用可调节相机俯仰角度和垂直位置的固定支架，以便在不同装载量的粮箱上使用，保证方法和装置的通用性。

[0065] 根据本发明的另一方面，如图6所示，本发明的实施例还提供一种基于视觉图像的运粮车谷物装载状态检测装置6，包括：

[0066] 图像采集模块61，用于通过数字相机对运粮车进行图像采集，获得粮箱口及谷物的平面彩色图像；

[0067] 边缘识别模块62，用于通过平滑、边缘、直线检测等滤波器处理平面彩色图像，获得粮箱口的完整边缘轮廓；

[0068] 区域识别模块63，用于通过颜色空间转换及阈值分割等图像处理方法，获得粮箱上谷物在图像中的区域；

[0069] 谷物状态测量模块64，用于实现收割机向运粮车卸粮时谷物装载状态的检测。

[0070] 检测终端显示模块65，用于将谷物状态及相应操作指令实时显示在运粮车驾驶室内检测终端的显示设备上。

[0071] 优选的，上述系统还包括：

[0072] 可微调相机俯仰角度和垂直位置的固定支架。

[0073] 所述谷物装载状态测量模块包括：

[0074] 距离测量子模块，利用二维凸包算法获得代表谷物区域边缘的凸点，并分别计算这些凸点到粮箱口四个边缘直线的距离，通过预先设定的阈值判断谷物在粮箱口各个分布位置的装载状态。

[0075] 本发明提供的基于视觉图像的运粮车谷物装载状态检测装置，主要通过带有低畸变广角镜头的彩色数字相机对运粮车进行图像采集，利用检测终端中的数字信号处理器(DSP)进行图像的实时处理，获得粮箱口边缘直线和谷物区域，并确定该谷物区域的凸点，从而测量这些凸点到边缘直线的距离来判断谷物在粮箱口各个分布位置的状态，不需测量粮箱内部谷物的整个外表面形貌。这样就使计算工作极大地简化，从而能够灵活快速地对粮箱谷物装载状态进行检测。

[0076] 该装置具有快速、高精度、稳定、全自动测量等几大优势。利用该装置能够实时检测运粮车的谷物装载状态，以实现收割机和运粮车的相对位置的动态调整，避免粮食谷物散落到运粮车粮箱之外，保证谷物在粮箱中均匀装载。采用视觉图像技术的检测方法可以替代传统的机械式和压力式检测方法，并且在速度、稳定性、成本上都要优于采用超声波和三维激光的检测方法。

[0077] 最后，需要说明的是：上述方法中的所有实现方式均适用于该装置实施例中，也能达到相同的技术效果，在此不再赘述。

[0078] 以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。