一种橡胶树的起割点检测系统及检测方法转让专利
申请号 : CN202110278349.1
文献号 : CN113063349B
文献日 : 2021-12-14
发明人 : 张春龙 , 周航 , 张顺路 , 翟毅豪 , 张俊雄 , 李伟
申请人 : 中国农业大学
摘要 :
权利要求 :
1.一种利用橡胶树的起割点检测系统进行橡胶树的起割点检测的检测方法,其中,橡胶树的起割点检测系统,用于对橡胶树(1)的起割点进行检测;在橡胶树(1)的起割点Ps和中割点Pm处沿着割线竖直布置起割点标记(2)和中割点标记(3);所述起割点检测系统包括末端执行器(4)、机械臂本体(5)、底座(6)、激光定位灯(7)和下摄像头(8);
所述机械臂本体(5)通过底座(6)安装在移动车体上;移动车体上安装有工控机;底座(6)为移动式,能够在多棵橡胶树(1)之间移动,承载机械臂本体(5)并为其提供动力;
末端执行器(4)通过法兰(402)与机械臂本体(5)的末端连接;
末端执行器(4)包括上激光测距传感器(401)、法兰(402)、下激光测距传感器(403)、刀片(404)和眼摄像头(405);上激光测距传感器(401)和下激光测距传感器(403)分别安装在刀片(404)的上方和下方,上激光测距传感器(401)和下激光测距传感器(403)的激光的发射方向垂直于法兰(402)的法兰面向外;上激光测距传感器(401)和下激光测距传感器(403)的激光点和刀片(404)的刀尖点在竖直方向上三点共线;上激光测距传感器(401)和下激光测距传感器(403)检测深度信息,即末端执行器(4)的进刀量f;眼摄像头(405)安装在刀片(404)的运动方向的前方,眼摄像头(405)的光轴与刀片(404)的刀尖点位于同一水平线上;
激光定位灯(7)安装在机械臂本体(5)的第二关节中心线上,指向机械臂本体(5)前方,即橡胶树(1)的方向;下摄像头(8)布置在机械臂本体(5)的位于第二关节上方的第三关节上,向下俯视30°,其高度能够捕捉到橡胶树割线,即橡胶树割线位置在下摄像头(8)的有效视野范围内;
其特征在于:所述方法包括以下步骤:
1)底座(6)在工控机的控制下移动至橡胶树(1)的正前方,机械臂本体(5)对准橡胶树(1),激光定位灯(7)对准橡胶树(1)的中心轴线;在开始割胶作业前,人工测量橡胶树(1)的树干周长C;根据公式1计算树干半径R和割线导程P;
其中,R为树干半径,单位为mm;C为树干周长,单位为mm;γ为割线斜度,单位为°;P为割线导程,单位为mm;
为了减少树干表面的不良影响,提高检测效率,分别在橡胶树(1)的起割点Ps和中割点Pm处沿着割线与橡胶树(1)的轴线平行布置起割点标记(2)和中割点标记(3);
2)开始割胶作业时,底座(6)上的机械臂本体(5)处于竖直零位姿态;在所述竖直零位姿态,上激光测距传感器(401)和下激光测距传感器(403)处于水平状态,激光点对准橡胶树(1);激光定位灯(7)处于水平状态,对准橡胶树(1);下摄像头(8)向下俯视30°,捕捉割线位置;激光定位灯(7)发出竖线激光,与橡胶树(1)的轴线重合,与割线的交点即为中割点Pm;中割点Pm表示割线的中间点;下摄像头(8)采集中割点Pm图像,并在工控机中与预设的图像处理模板比较,进行特征点匹配;以中割点Pm坐标来表征橡胶树(1)的空间位置;对中割点Pm进行眼到手变换,将中割点Pm由相机坐标系转换到机械臂基坐标系下;
根据在橡胶树几何模型中建立的中割点Pm与起割点Ps的几何位置关系,计算出起割点Ps的估计位置(Xs,Ys,Zs);
式中,R为树干半径,单位为mm;d为刀片( 404) 与橡胶树( 1) 表面的安全距离,单位为mm;P为割线导程,单位为mm;Xm,Ym,Zm分别为中割点Pm的X坐标、Y坐标和Z坐标,单位为mm;
3)由工控机规划机械臂本体(5)轨迹,末端执行器(4)在机械臂本体(5)的带动下移动至靠近起割点Ps的估计位置(Xs,Ys,Zs)处;眼摄像头(405)记录起割点Ps处图像;对起割点Ps坐标进行眼在手变换,将起割点Ps的空间位置坐标由相机坐标系转换到机械臂末端坐标系下;为了准确测量刀片(404)与起割点Ps的相对偏差,同时避免末端执行器(4)在寻找起割点时剐蹭树皮甚至与树干发生碰撞,先检测图像中的实际刀尖点,再通过设立虚拟刀尖点替代实际刀尖点来进行起割点Ps的检测;同时由上激光测距传感器(401)和下激光测距传感器(403)的检测值来控制末端执行器(4)和橡胶树(1)的径向距离;
实际刀尖点的检测通过检测刀片(404)的下边缘直线和右边缘直线得到;刀片(404)的下边缘直线和右边缘直线的直线方程为:
其中:x1、y1、x2、y2为常数;ud,vd为刀片(404)的下边缘直线上点的亚像素坐标,ur,vr为刀片(404)的右边缘直线上点的亚像素坐标,单位均为pixel;
刀片(404)的下边缘直线和右边缘直线的直线方程的交点即为实际刀尖点的亚像素坐标(uk,vk);虚拟刀尖点的设置为实际刀尖点正前方10mm;
在图像中,虚拟刀尖点与实际刀尖点的相对位置固定;先手动控制实际刀尖点与起割点重合,再控制机械臂本体(5)带动末端执行器(4)沿机械臂基座坐标系的X轴正方向移动
10mm,将图像中此时的起割点作为虚拟刀尖点,坐标为(uk’,vk’);
计算虚拟刀尖点和起割点Ps的相对偏差Δ,不断调整机械臂本体(5)的位姿,减小相对偏差Δ;起割点Ps的坐标是(us,vs);则其中,uk’,vk’分别为虚拟刀尖点的横坐标和纵坐标,单位为mm;us,vs分别为起割点Ps的横坐标和纵坐标,单位为mm;Δ为虚拟刀尖点和起割点Ps的相对偏差,单位为mm;
同时控制上测距传感器(401)和下激光测距传感器(403)检测到的深度信息即进刀量f在精度范围内,确保刀片(404)贴近橡胶树(1);
4)当虚拟刀尖点和起割点Ps重合并且深度信息即进刀量f在精度范围内时,起割点检测完成;获得起割点Ps的精确位置;以当前位姿作为机械臂本体(5)进行割胶螺旋运动的起始位姿,更新螺旋轨迹参数。
2.如权利要求1所述的橡胶树的起割点检测的方法,其特征在于:步骤1中,适用于机械臂作业的割线斜度γ范围为25°~30°。
3.如权利要求1所述的橡胶树的起割点检测的方法,其特征在于:步骤1中,所述割线斜度γ为30°
4.如权利要求1所述的橡胶树的起割点检测的方法,其特征在于:步骤1中,起割点标记(2)和中割点标记(3)具有颜色。
5.如权利要求1所述的橡胶树的起割点检测的方法,其特征在于:步骤1中,起割点标记(2)和中割点标记(3)的颜色为红色。
6.如权利要求1所述的橡胶树的起割点检测的方法,其特征在于:步骤2中,刀片(404)与橡胶树(1)表面的安全距离d为5~10mm。
说明书 :
一种橡胶树的起割点检测系统及检测方法
技术领域
背景技术
西三叶橡胶树的产量占据世界天然橡胶总产量的99%以上。割胶是少数几个未能实现机械
化的农业领域之一,长期依赖人工。
害。近年来,产胶区劳动力大量外移,胶工老龄化现象日益加剧,严重影响了橡胶产业的健
康发展。目前尚未存在适用于天然橡胶割胶作业的自动化机械设备,研发此类设备以及方
法很有现实意义。
发明内容
干表面情况影响;集成度高,系统稳定可控;结构模块性强,利于后期扩展。
统包括末端执行器4、机械臂本体5、底座6、激光定位灯7和下摄像头8;
上方和下方,上激光测距传感器401和下激光测距传感器403的激光的发射方向垂直于法兰
402的法兰面向外;上激光测距传感器401和下激光测距传感器403的激光点和刀片404的刀
尖点在竖直方向上三点共线;上激光测距传感器401和下激光测距传感器403检测深度信
息,即末端执行器4的进刀量f;眼摄像头405安装在刀片404的运动方向的前方,眼摄像头
405的光轴与刀片404的刀尖点位于同一水平线上;
视30°,其高度能够捕捉到橡胶树割线,即橡胶树割线位置在下摄像头8的有效视野范围内。
根据公式1计算树干半径R和割线导程P;
激光定位灯7处于水平状态,对准橡胶树1;下摄像头8向下俯视30°,捕捉割线位置;激光定
位灯7发出竖线激光,与橡胶树1的轴线重合,与割线的交点即为中割点Pm;中割点Pm表示割
线的中间点;下摄像头8采集中割点Pm图像,并在工控机中与预设的图像处理模板比较,进
行特征点匹配;以中割点Pm坐标来表征橡胶树1的空间位置;对中割点Pm进行眼到手
(EyeToHand)变换,将中割点Pm由相机坐标系转换到机械臂基坐标系下;
进行眼在手(EyeInHand)变换,将起割点Ps的空间位置坐标由相机坐标系转换到机械臂末
端坐标系下;为了准确测量刀片404与起割点Ps的相对偏差,同时避免末端执行器4在寻找
起割点时剐蹭树皮甚至与树干发生碰撞,先检测图像中的实际刀尖点,再通过设立虚拟刀
尖点替代实际刀尖点来进行起割点Ps的检测;同时由上激光测距传感器401和下激光测距
传感器403的检测值来控制末端执行器4和橡胶树1的径向距离;
10mm,将图像中此时的起割点作为虚拟刀尖点,坐标为(uk’,vk’);
起始位姿,更新螺旋轨迹参数。
了起割点的检测效率,降低了时间成本。
附图说明
具体实施方式
述起割点检测系统包括末端执行器4、机械臂本体5、底座6、激光定位灯7和下摄像头8。
供动力。
上方和下方,上激光测距传感器401和下激光测距传感器403的激光的发射方向垂直于法兰
402的法兰面向外。上激光测距传感器401和下激光测距传感器403的激光点和刀片404的刀
尖点在竖直方向上三点共线。上激光测距传感器401和下激光测距传感器403检测深度信
息,即末端执行器4的进刀量f。眼摄像头405安装在刀片404的运动方向的前方,眼摄像头
405的光轴与刀片404的刀尖点位于同一水平线上。
视30°,其高度能够捕捉到橡胶树割线,即橡胶树割线位置在下摄像头8的有效视野范围内。
根据公式1计算树干半径R和割线导程P。
割点标记3的颜色以利于图像识别为宜,与割线产生明显交点。优选地,起割点标记2和中割
点标记3的颜色为红色。红色在林间为警戒色,也能够避免受到动物的侵扰。
在竖直零位姿态,上激光测距传感器401和下激光测距传感器403处于图4中所示的水平状
态,激光点对准橡胶树1。激光定位灯7处于水平状态,对准橡胶树1。下摄像头8向下俯视
30°,捕捉割线位置。激光定位灯7发出竖线激光,与橡胶树1的轴线重合,与割线的交点即为
中割点Pm。中割点Pm表示割线的中间点。下摄像头8采集中割点Pm图像,并在工控机中与预设
的图像处理模板比较,进行特征点匹配。以中割点Pm坐标来表征橡胶树1的空间位置。对中
割点Pm进行眼到手(EyeToHand)变换,将中割点Pm由相机坐标系转换到机械臂基坐标系下。
坐标,单位为mm。
割点Ps坐标进行眼在手(EyeInHand)变换,将起割点Ps的空间位置坐标由相机坐标系转换到
机械臂末端坐标系下。为了准确测量刀片404与起割点Ps的相对偏差,同时避免末端执行器
4在寻找起割点时剐蹭树皮甚至与树干发生碰撞,先检测图像中的实际刀尖点,再通过设立
虚拟刀尖点替代实际刀尖点来进行起割点Ps的检测。同时由上激光测距传感器401和下激
光测距传感器403的检测值来控制末端执行器4和橡胶树1的径向距离。
座坐标系的X轴正方向移动了10mm,即使上测距传感器401和下激光测距传感器403检测到
的深度信息小于起割点的位置,刀片404也不会与橡胶树1发生剐蹭。
了10mm,将图像中此时的起割点作为虚拟刀尖点,坐标为(uk’,vk’)。
起始位姿,更新螺旋轨迹参数。