一种基于视觉的油菜收获机含杂率监测装置及方法专利检索-输送包装贮存搬运薄的或细丝状材料专利检索查询-专利查询网

IPRDB

API 数据接口

专利申请

使用指引 chat嘟嘟

会员体验

联系我们

交流群

现在联系顾问~

一种基于视觉的油菜收获机含杂率监测装置及方法
申请号	CN202311749264.2	申请日	2023-12-18	公开(公告)号	CN117740783A	公开(公告)日	2024-03-22
申请人	农业农村部南京农业机械化研究所;			发明人	陈旭; 张敏; 关卓怀; 李海同; 江涛; 金梅;
摘要	本发明公开了一种基于视觉的油菜收获机含杂率监测装置及方法，装置包括倾斜式壳体，倾斜式壳体内设计斗状的入料口、下料通道以及输送带模块，可以使得油菜籽可以连续有序地进入下料通道供图像采集模块进行图像采集；且由于输送带模块的运转速度与所述图像采集模块的帧率相匹配，图像采集模块采集的每一帧图像均为清晰图像，为油菜籽图像的连续采集与计算实时含杂率提供了条件。通过标定像素与油菜籽质量以及杂质质量的关系，可以根据图像计算准确的含杂率数据，计算精度高，且图像采集模块能够利用成本低工业相机采集的图像进行杂质图像的提取，图像处理模块可以采用嵌入式图像处理器，降低了硬件要求，能够大幅降低成本。
权利要求	1.一种基于视觉的油菜收获机含杂率监测装置，其包括倾斜式壳体(6)，所述倾斜式壳体(6)内具有下料坡道；还包括垂直于所述下料坡道设置的图像采集模块(7)，所述图像采集模块(7)连接图像处理模块(5)；其特征在于：所述倾斜式壳体(6)的上端形成有逐渐收窄的入料口(3)；且所述倾斜式壳体(6)内安装有透明板(9)，所述透明板(9)将所述倾斜式壳体(6)的内部空间分隔为两个独立的腔室，所述透明板(9)与所述下料坡道之间形成下料通道；所述下料坡道处安装有主动运转的输送带模块(4)，所述输送带模块(4)的上侧带与所述下料坡道的坡面齐平，且所述输送带模块(4)的运转速度与所述图像采集模块(7)的帧率相匹配。 2.根据权利要求1所述的基于视觉的油菜收获机含杂率监测装置，其特征在于，所述输送带模块(4)的上侧带的下端位置具有刮板(12)，所述刮板(12)能够使油菜籽(2)脱离所述输送带模块(4)。 3.根据权利要求1所述的基于视觉的油菜收获机含杂率监测装置，其特征在于，所述倾斜式壳体(6)的上方腔室内安装有光源模块(8)。 4.根据权利要求1所述的基于视觉的油菜收获机含杂率监测装置，其特征在于，还包括连接所述图像处理模块(5)的结果显示模块。 5.一种基于视觉的油菜收获机含杂率监测方法，其基于权利要求1所述的基于视觉的油菜收获机含杂率监测装置，其特征在于，所述方法包括：控制所述输送带模块(4)运转以使所述入料口(3)的油菜籽(2)有序通过所述下料通道；同时通过所述图像采集模块(7)进行图像采集得到油菜籽图像；对实时采集的所述油菜籽图像进行处理，以实现油菜籽图像中杂质部分与籽粒部分的提取；根据杂质部分与籽粒部分的图像计算实时含杂率；判断所述实时含杂率是否高于预设阈值，若实时含杂率检测结果高于设定阈值，则发出警报。 6.根据权利要求5所述的基于视觉的油菜收获机含杂率监测方法，其特征在于，所述方法还包括前置标定流程，所述前置标定流程包括：通过所述图像采集模块(7)获取每组标定对象的标定图像与质量数据；获取所述标定图像中对应于标定目标的像素数据，所述标定目标为籽粒或杂质；对多组标定对象对应的所述像素数据以及所述质量数据进行线性拟合，得到图像中油菜籽与其实际质量的第一对应关系，以及图像中杂质与其实际质量的第二对应关系。 7.根据权利要求6所述的基于视觉的油菜收获机含杂率监测方法，其特征在于，所述根据杂质部分与籽粒部分的图像计算实时含杂率包括：根据籽粒部分的图像的像素数据以及所述第一对应关系计算油菜籽的质量；根据杂质部分的图像的像素数据以及所述第二对应关系计算杂质的质量；根据油菜籽的质量与杂质的质量计算所述实时含杂率。 8.根据权利要求5所述的基于视觉的油菜收获机含杂率监测方法，其特征在于，所述对实时采集的所述油菜籽图像进行预处理，以实现油菜籽图像中杂质部分与籽粒部分的提取中，对杂质部分的提取过程包括：对所述油菜籽图像进行预处理，以减少图像中的差异和噪声干扰；根据所述图像中杂质成分的颜色特征设定检测模板，实现检测目标的粗提取；对粗提取结果进行形态学处理，使用3×3像素大小的圆形结构进行形态学开运算和闭运算，断开目标之间的粘连，平滑目标的边界；通过设定目标的圆形度参数范围实现杂质成分的精准提取，若连通域的圆形度大于设定阈值，则判定为油菜籽粒；若连通域的圆形度小于设定阈值，则判定为杂质成分。
说明书全文	一种基于视觉的油菜收获机含杂率监测装置及方法技术领域 [0001] 本发明涉及油菜籽含杂率检测技术领域，特别是涉及一种基于视觉的油菜收获机含杂率监测装置及方法。背景技术 [0002] 油菜是我国第一大油料作物，提供了50％以上的国产食用油，位居国产食用植物油首位。含杂率是评价联合收获机作业质量的核心指标之一，也是科学调控联合收获机工作部件参数的关键依据。含杂过高会影响菜籽品质，增加后续加工环节难度，导致油菜籽商品价值损失和经济效益下降。现阶段油菜联合收获机含杂率主要通过人工取样、称重、计算等方式来进行，这种方法不仅费时、费力，而且容易受到人为因素的影响，准确度难以保证。因此，开发一种能够快速、准确地检测油菜籽含杂率的检测装置与方法，具有非常重要的现实意义和市场需求。 [0003] 目前已有针对谷物含杂率检测装置的相关专利公开，但是市场上缺乏一种检测效率高且成本低含杂率检测装置。现有技术中，专利CN115165772A公开了一种基于高光谱下籽粒含杂率检测装置及其检测方法，其包括输送带，并在输送带上安装有多个采样器，通过高光谱相机采集籽粒反射光线，根据反射光强度和入射光强度计算反射率，依据籽粒与含杂物对光线吸收率不同且反射率不同的原理，确定检测周期内的籽粒含杂率。其中，光源产生的入射光强度为a，检测系统采集的籽粒的反射光强度为b，则反射率R为b/a，并确定纯籽粒的反射率区间为(Rmin，Rmax)，设定采样次数为N。通过高光谱相机分别采集反射光强度和入射光强度，若反射率≥0.9时，表明该反射光未被籽粒或含杂物吸收，记为无效采样次数D；若反射率＜0.9且反射率不在区间(Rmin，Rmax)之内，则含杂物次数M加一，采样次数加一；若反射率＜0.9且在区间(Rmin，Rmax)之内，则采样次数加一。采样周期结束后，检测系统计算含杂率P＝M/(N‑D)×100％。该专利一方面每次只能对一个取样器内的样品进行停顿分析，检测效率很低，另一方面，需要借助高光谱相机，使用过程中处理数据量比较大，需要配备相应的数据存储和分析软件，其操作需要一定的计算机知识和技能，对用户的技能水平要求较高，而且高光谱相机价格比较昂贵，难以在油菜联合收获机上推广实现。 [0004] 专利112673801A公开了一种谷物联合收割机破碎含杂在线检测方法及系统，通过摄像装置实时获取谷物样本图像，由数据处理模块对谷物样本图像进行实时计算分析，得到谷物联合收割机的实时破碎含杂率，实现谷物联合收割机作业质量破碎含杂的在线检测。其中，谷物采样仓安装于收割机出粮口下方，在采样仓的底部设置一个伸缩板，通过驱动器控制其承托或释放采样仓中的谷物，工业相机透过拍摄窗口对谷物样本进行拍照，调用Mask R‑CNN模型对谷物样本图像中的成分进行识别，计算得到样本的含杂率数据。这种方法需要在壳体底部设置导轨，用直流舵机作为驱动器，通过拨杆控制伸缩板滑动，结构比较复杂，而且收到检测指令后完成一个检测周期所需花费的时间较长，从而导致含杂率检测系统的实时性降低。 [0005] 专利CN213749641U公开了一种籽粒取样监测装置，其包括物料滑板以及置于物料滑板上方的相机，相机对滑过物料滑板的籽粒进行取样，这种获取图像的方式得到的照片的质量较低，糊片率高，因此，难以保证含杂率的稳定计算，整体运行稳定性低。发明内容 [0006] 发明目的：为了克服现有技术中存在的不足，本发明提供一种检测效率高且成本低的基于视觉的油菜收获机含杂率监测装置及方法。 [0007] 技术方案：为实现上述目的，本发明的基于视觉的油菜收获机含杂率监测装置，其包括倾斜式壳体，所述倾斜式壳体内具有下料坡道；还包括垂直于所述下料坡道设置的图像采集模块，所述图像采集模块连接图像处理模块； [0008] 所述倾斜式壳体的上端形成有逐渐收窄的入料口；且所述倾斜式壳体内安装有透明板，所述透明板将所述倾斜式壳体的内部空间分隔为两个独立的腔室，所述透明板与所述下料坡道之间形成下料通道； [0009] 所述下料坡道处安装有主动运转的输送带模块，所述输送带模块的上侧带与所述下料坡道的坡面齐平，且所述输送带模块的运转速度与所述图像采集模块的帧率相匹配。 [0010] 进一步地，所述输送带模块的上侧带的下端位置具有刮板，所述刮板能够使油菜籽脱离所述输送带模块。 [0011] 进一步地，所述倾斜式壳体的上方腔室内安装有光源模块。 [0012] 进一步地，还包括连接所述图像处理模块的结果显示模块。 [0013] 一种基于视觉的油菜收获机含杂率监测方法，其基于上述的基于视觉的油菜收获机含杂率监测装置，所述方法包括： [0014] 控制所述输送带模块运转以使所述入料口的油菜籽有序通过所述下料通道；同时通过所述图像采集模块进行图像采集得到油菜籽图像； [0015] 对实时采集的所述油菜籽图像进行处理，以实现油菜籽图像中杂质部分与籽粒部分的提取； [0016] 根据杂质部分与籽粒部分的图像计算实时含杂率； [0017] 判断所述实时含杂率是否高于预设阈值，若实时含杂率检测结果高于设定阈值，则发出警报。 [0018] 进一步地，所述方法还包括前置标定流程，所述前置标定流程包括： [0019] 通过所述图像采集模块获取每组标定对象的标定图像与质量数据； [0020] 获取所述标定图像中对应于标定目标的像素数据，所述标定目标为籽粒或杂质； [0021] 对多组标定对象对应的所述像素数据以及所述质量数据进行线性拟合，得到图像中油菜籽与其实际质量的第一对应关系，以及图像中杂质与其实际质量的第二对应关系。 [0022] 进一步地，所述根据杂质部分与籽粒部分的图像计算实时含杂率包括： [0023] 根据籽粒部分的图像的像素数据以及所述第一对应关系计算油菜籽的质量； [0024] 根据杂质部分的图像的像素数据以及所述第二对应关系计算杂质的质量； [0025] 根据油菜籽的质量与杂质的质量计算所述实时含杂率。 [0026] 进一步地，所述对实时采集的所述油菜籽图像进行预处理，以实现油菜籽图像中杂质部分与籽粒部分的提取中，对杂质部分的提取过程包括： [0027] 对所述油菜籽图像进行预处理，以减少图像中的差异和噪声干扰； [0028] 根据所述图像中杂质成分的颜色特征设定检测模板，实现检测目标的粗提取； [0029] 对粗提取结果进行形态学处理，使用3×3像素大小的圆形结构进行形态学开运算和闭运算，断开目标之间的粘连，平滑目标的边界； [0030] 通过设定目标的圆形度参数范围实现杂质成分的精准提取，若连通域的圆形度大于设定阈值，则判定为油菜籽粒；若连通域的圆形度小于设定阈值，则判定为杂质成分。 [0031] 有益效果：本发明的基于视觉的油菜收获机含杂率监测装置及方法，具有如下有益效果： [0032] (1)通过设置倾斜式壳体，并在倾斜式壳体内设计斗状的入料口、下料通道以及输送带模块，可以使得油菜籽可以连续地有序进入下料通道供图像采集模块进行图像采集；此外，由于输送带模块的运转速度与所述图像采集模块的帧率相匹配，图像采集模块采集的每一帧图像均为清晰图像，为油菜籽图像的连续采集与计算实时含杂率提供了条件。 [0033] (2)通过标定像素与油菜籽质量以及杂质质量的关系，可以根据图像计算准确的含杂率数据，计算精度高； [0034] (3)采用的提取方法能够利用成本低工业相机采集的图像进行杂质图像的提取，且图像处理模块可以采用嵌入式图像处理器，降低了硬件要求，能够大幅降低成本。附图说明 [0035] 图1为基于视觉的油菜收获机含杂率监测装置的结构示意图； [0036] 图2为基于视觉的油菜收获机含杂率监测装置的控制系统的连接示意图； [0037] 图3为基于视觉的油菜收获机含杂率监测方法的流程示意图； [0038] 图4为对油菜籽图像中杂质部分提取的状态变化图。 [0039] 图中：1‑输粮搅龙；2‑油菜籽；3‑入料口；4‑输送带模块；5‑图像处理模块；6‑倾斜式壳体；7‑图像采集模块；8‑光源模块；9‑透明板；10‑固定支架；11‑出料口；12‑刮板；13‑往复推动模块。具体实施方式 [0040] 下面结合附图对本发明作更进一步的说明。 [0041] 如图1所示的基于视觉的油菜收获机含杂率监测装置，其包括倾斜式壳体6，倾斜式壳体6通过固定支架10固定在收获机的机架上；所述倾斜式壳体6内具有下料坡道；还包括垂直于所述下料坡道设置的图像采集模块7，所述图像采集模块7通过数据线连接图像处理模块5，以将实时采集的油菜籽图像数据发送给图像处理模块5；图像采集模块7包括工业相机以及镜头，镜头为最小工作距离小于100mm、视野范围开阔且畸变较小的镜头，以获取清晰的油菜籽拍摄图像，方便后续图像处理工作。图像处理模块为嵌入式图像处理器，具有体积小、易安装的优点，可大幅降低硬件成本，提高监测系统的安装便捷性，易于推广使用。嵌入式图像处理器连接上位机系统，此外，还包括控制系统启停的按键控制模块。 [0042] 所述倾斜式壳体6的上端形成有逐渐收窄的入料口3，下料坡道的上端构成入料口3的底部；且所述倾斜式壳体6内安装有透明板9，所述透明板9将所述倾斜式壳体6的内部空间分隔为两个独立的腔室，所述透明板9与所述下料坡道之间形成下料通道，下料通道也即下方的腔室，所述图像采集模块7位于上方腔室的上方；所述下料坡道处安装有主动运转的输送带模块4，所述输送带模块4的上侧带与所述下料坡道的坡面齐平，输送带模块4的上侧带向斜下方运动，且所述输送带模块4的运转速度与所述图像采集模块7的帧率相匹配。 [0043] 此外，如图2所示，含杂率监测装置还包括数据存储模块和电源模块，电源模块为图像处理模块5、输送带模块4和图像采集模块7提供所需要的稳定电源，数据存储模块用于存储图像处理模块5产生的数据。 [0044] 上述监测装置运转时，油菜收获机的输粮搅龙1的末端将油菜籽2排入入料口3，随着输送带模块4的运转，入料口3的油菜籽2在下料坡道的导引作用与输送带模块3的主动输送作用的共同作用下逐渐充入下料通道内，输送带模块4上的油菜籽2随着输送带模块4的运转向斜下方运动，也即油菜籽2的运动速度与输送带模块4的运动速度一致，由于输送带模块4的运转速度与所述图像采集模块7的帧率相匹配，因此，图像采集模块7任一时刻均可以获得清晰的油菜籽图像，可以连续获取到有效的图像，以对油菜籽2的图像进行连续采集，并通过图像处理模块5进行连续的含杂率分析，效率高，且可以对油菜籽2进行持续地监测。图像处理模块5接收到油菜籽图像后，通过调用相机函数库和图像处理算法库对实时采集的油菜籽图像进行检测，通过分析油菜籽和杂质成分的颜色和形状特征，完成对实时采集图像中杂质成分的检测，并实时计算出机收油菜的含杂率。 [0045] 为了实现输送带模块4的运转速度与所述图像采集模块7的帧率相匹配，当输送带模块4的电机是步进运动的，可以使电机的步进运转频率与图像采集模块7的帧率进行适配，使得每次图像采集模块7采集图像时输送带模块4处于静止状态。当输送带模块4的电机是脉冲控制运转的，可以使脉冲的频率与图像采集模块7的帧率之间是整数倍关系，如此能够使图像采集模块7采集到清晰的图像，且不需要使输送带模块4刻意停止运行等待图像采集。此外，当输送带模块4匀速运转，可以设置往复推动模块13(如直线运动模组)驱动图像采集模块7在两个点位之间往复运动，往复推动模块13驱动图像采集模块7在两个点位之间往复运动的每一段行程中，均经历加速、匀速、减速的时间段，其中匀速时的图像采集模块7的速度与输送带模块4的输送速度一致，图像采集模块7在两个点位之间运动的频率与图像采集模块7的帧率之间是整数倍关系，且图像采集模块7在其自身处于匀速运动时只是采集一次图像，如此，可以保证图像采集模块7采集到清晰的图像。上述往复推动模块13的驱动行程可以设置得很短。 [0046] 优选地，油菜籽在输送带模块4上是单层布局，输送带模块4的带体表面形成有凹槽，凹槽的延伸方向垂直于带体的输送方向，此外，下料通道的高度略大于油菜籽的直径，如可以是1.5倍油菜籽直径，通过上述方式，可以使油菜籽的排列较为规整且密集，且防止油菜籽相对于带体滚动，影响对油菜籽进行成像。上述方式可以更加突出油菜籽与杂质的图像，得到更为准确的含杂率数据。 [0047] 可见，通过对上述倾斜式壳体6内部部件的结构进行合理设计，可以使得入料口3的油菜籽2能够随着输送带模块4进入下料通道并跟随输送带模块4运动进行图像采集，采集完成后油菜籽2脱离输送带模块4并在自身重力作用下顺着下料坡道继续滑落并从出料口11离开倾斜式壳体6掉进收获机的粮箱。 [0048] 所述输送带模块4的上侧带的下端位置具有刮板12，所述刮板12能够使油菜籽2脱离所述输送带模块4，防止油菜籽2粘附在输送带模块4的带体上。 [0049] 所述倾斜式壳体6的上方腔室内安装有光源模块8，光源能够提供足够的光线以获取清晰的油菜籽图像。 [0050] 监测装置还包括连接所述图像处理模块5的结果显示模块，结果显示模块可以显示分析得到的监测结果，监测结果可以包括含杂率数据，还可以包括含杂率数据对应的图像，以方便进行追溯。 [0051] 一种基于视觉的油菜收获机含杂率监测方法，其基于上述的基于视觉的油菜收获机含杂率监测装置，如图3所示，所述方法包括如下步骤S101‑S104： [0052] 步骤S101，控制所述输送带模块4运转以使所述入料口3的油菜籽2有序通过所述下料通道；同时通过所述图像采集模块7进行图像采集得到油菜籽图像；本步骤之前需要设定输送带模块4的电机转速与图像采集模块7的帧率，使得两者相匹配。 [0053] 步骤S102，对实时采集的所述油菜籽图像进行处理，以实现油菜籽图像中杂质部分与籽粒部分的提取； [0054] 步骤S103，根据杂质部分与籽粒部分的图像计算实时含杂率； [0055] 步骤S104，判断所述实时含杂率是否高于预设阈值，若实时含杂率检测结果高于设定阈值，则发出警报。实际使用中，若实时含杂率检测结果高于设定阈值，通过在结果显示模块亮红灯的方式报警；若实时含杂率检测结果不高于设定阈值，则通过在结果显示模块亮绿灯的方式表示检查结果正常。 [0056] 此外，优选地，步骤S104之后还包括将数据保存至数据存储模块的步骤。 [0057] 上述步骤中，由于输送带模块4的运转速度与图像采集模块7的帧率适配，因此，图像采集模块7以特定帧率连续采集图像时，任一时刻采集图像均为清晰的油菜籽图像，可以使得采集图像具有连续性，且采集效率高，实现含杂率的实时计算与显示。 [0058] 所述方法还包括前置标定流程，前置标定流程的标定对象为准备好的标定籽粒(不含有杂质)与标定杂质(不含有油菜籽)，所述前置标定流程包括如下步骤S201‑S203： [0059] 步骤S201，通过所述图像采集模块7获取每组标定对象的标定图像与质量数据；本步骤中，图像采集模块7获取图像时，标定籽粒与标定杂质均为单层铺放，且将图像采集模块7的视野范围铺满。质量数据是称量好的，由人工录入。 [0060] 步骤S202，获取所述标定图像中对应于标定目标的像素数据，所述标定目标为籽粒或杂质； [0061] 步骤S203，对多组(如10组)标定对象对应的所述像素数据以及所述质量数据进行线性拟合，得到图像中油菜籽与其实际质量的第一对应关系，以及图像中杂质与其实际质量的第二对应关系。第一对应关系反应了每个像素对应的油菜籽质量；第二对应关系反应了每个像素对应的杂质质量。 [0062] 上述步骤S103中所述根据杂质部分与籽粒部分的图像计算实时含杂率包括如下步骤S301‑S303： [0063] 步骤S301，根据籽粒部分的图像的像素数据以及所述第一对应关系计算油菜籽的质量； [0064] 步骤S302，根据杂质部分的图像的像素数据以及所述第二对应关系计算杂质的质量； [0065] 步骤S303，根据油菜籽的质量与杂质的质量计算所述实时含杂率，具体地，含杂率为杂质的质量除以油菜籽的质量与杂质的质量之和。 [0066] 上述步骤S102中所述对实时采集的所述油菜籽图像进行预处理，以实现油菜籽图像中杂质部分与籽粒部分的提取中，对杂质部分的提取过程包括如下步骤S401‑S404： [0067] 步骤S401，对所述油菜籽图像进行预处理，以减少图像中的差异和噪声干扰；预处理包括将相机图像数据格式转换成图像处理数据类型，然后调用OpenCV图像处理函数库对油菜籽图像进行实时监测；对工业相机实时采集的图像进行裁剪，减少系统需要处理的数据量，然后对图像进行滤波等处理操作； [0068] 步骤S402，根据所述图像中杂质成分的颜色特征设定检测模板，实现检测目标的粗提取；其效果如图4(b)所示； [0069] 步骤S403，对粗提取结果进行形态学处理，使用3×3像素大小的圆形结构进行形态学开运算和闭运算，断开目标之间的粘连，平滑目标的边界；如图4(c)所示； [0070] 步骤S404，通过设定目标的圆形度参数范围实现杂质成分的精准提取，若连通域的圆形度大于设定阈值，则判定为油菜籽粒；若连通域的圆形度小于设定阈值，则判定为杂质成分。最终得到的杂质成分的图像如图4(d)所示。 [0071] 以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。