智能装配控制系统转让专利
申请号 : CN202010297134.X
文献号 : CN111331367B
文献日 : 2021-08-20
发明人 : 杨皓 , 张伯强 , 方宇 , 陶翰中 , 周志峰 , 吴明晖
申请人 : 上海工程技术大学
摘要 :
权利要求 :
1.一种智能装配控制系统,其特征在于,所述智能装配控制系统包括移动机器人、精密双频阻尼隔振光学平台、五自由度电动滑台、线激光扫描仪、第一深度学习相机、第二深度学习相机、滚珠丝杠、第一机械臂、第二机械臂及上位机,其中:搭建所述精密双频阻尼隔振光学平台,所述五自由度电动滑台、所述线激光扫描仪、所述滚珠丝杠、所述第一深度学习相机及第一机械臂安装于所述精密双频阻尼隔振光学平台上;
所述第二机械臂安装于所述移动机器人上,所述第二深度学习相机安装于所述第二机械臂的末端;所述移动机器人在工作区域内进行全方位扫描,构建地图信息,设定待测工件的目标区域、工作区域、目标位置及工作位置;
所述移动机器人到达所述目标区域后,通过示教使所述第二机械臂移动至所述目标位置,由所述第二深度学习相机对待测工件进行拍照,提取所述待测工件的特征点信息以识别所述待测工件,将识别数据传输给所述上位机进行处理,得出所述第二深度学习相机与所述待测工件之间的相对位置关系;
通过机器人动作处理矩阵计算出所述第二机械臂与所述待测工件之间的位置关系,将转换后的待测工件坐标发送给所述第二机械臂,由所述第二机械臂进行位姿调整并对所述待测工件进行抓取;
所述移动机器人移动至所述工作区域,由所述五自由度电动滑台上方的所述第一深度学习相机对所述精密双频阻尼隔振光学平台进行拍照,将平台信息发送至所述移动机器人,所述第二机械臂根据所述平台信息将待测工件置于精密双频阻尼隔振光学平台上并进行固定;
所述第一机械臂与第一深度学习相机进行手眼标定,所述第二深度学习相机对固定好的待测工件拍照,并将固定数据转化为装配点位的位置信息,对所述位置信息进行手眼标定,并将所述位置信息发送至所述第一机械臂,第一机械臂末端的真空吸盘在第一深度学习相机的视觉引导下对零件进行安装;
所述五自由度电动滑台将安装好的待测工件运送至所述线激光扫描仪下,进行全方位多角度检测,生成待测工件各个部分零件的点云数据,所述线激光扫描仪传输所述点云数据至所述上位机进行处理,处理后形成的点云数据模型与工件CAD模型对比,以分析待测工件特定尺寸误差与缺陷,判断待测工件合格与否;
检测完成后上位机将检测完成信号发送给所述移动机器人,并由移动机器人移动至新的目标区域,对工件进行抓取,放置于指定位置。
2.如权利要求1所述的智能装配控制系统,其特征在于,所述五自由度电动滑台安装于所述精密双频阻尼隔振光学平台的中心区域,与所述精密双频阻尼隔振光学平台成垂直状态放置,与所述精密双频阻尼隔振光学平台通过螺纹连接;
所述智能装配控制系统还包括运动控制卡,所述运动控制卡位于精密双频阻尼隔振光学平台的下方,所述运动控制卡连接所述五自由度电动滑台的接头线缆,且连接上位机,上位机向运动控制卡发出指令控制所述五自由度电动滑台的运动;所述运动控制卡采用脉冲结合方向的脉冲输出类型实现多轴独立运动,具有加减速、点位、轨迹运动规划功能;
所述线激光扫描仪位于五自由度电动滑台的中心轴线上方,且与所述精密双频阻尼隔振光学平台平行,所述线激光扫描仪上方有固定架;
所述滚珠丝杠安装在与所述精密双频阻尼隔振光学平台垂直放置的型材上,位于线激光扫描仪的右侧;
所述上位机位于所述精密双频阻尼隔振光学平台上,连接所述运动控制卡、线激光扫描仪的线缆、第一机械臂以及第一深度学习相机;
所述第一机械臂安装在所述精密双频阻尼隔振光学平台上,位于五自由度电动滑台导轨的正后方;
所述第一深度学习相机位于五自由度电动滑台的正上方,与所述精密双频阻尼隔振光学平台平行,所述第一深度学习相机固定于相机架上。
3.如权利要求1所述的智能装配控制系统,其特征在于,所述移动机器人包括AGV车及运动控制柜,其中:
所述AGV车的额度负载为60~80千克,所述AGV车具有地图构建以及自主导航功能,所述AGV车具有安全激光传感器,通过基于环境映射的安全激光传感器进行定位,自主选择路径;
所述运动控制柜位于所述AGV车上方,所述第二机械臂位于所述运动控制柜上方;
所述运动控制柜与所述上位机通过无线网络进行连接,所述运动控制柜接收上位机发送的移动机器人状态信息以及移动指令;所述运动控制柜与所述安全激光传感器连接,用于实时获取安全激光传感器的定位数据。
4.如权利要求1所述的智能装配控制系统,其特征在于,所述第一机械臂及所述第二机械臂的各个关节具有力传感器,所述力传感器具有碰撞检测功能;所述第一机械臂及所述第二机械臂能够实现拖动示教操作;两个机械臂均与上位机之间通过TCP/IP协议进行连接,接收上位机发送的脚本指令字符串,并运行接收到的脚本指令以完成指定动作;
所述第一深度学习相机与所述第二深度学习相机均具有智慧随机分拣模块,集成3D结构光、影像分析及机器人手臂运动控制为一体,能够透过3D结构光快速辨识不同物件在三维空间摆放的位置与姿态,以精准导引第一机器臂及第二机械臂进行取放。
5.如权利要求1所述的智能装配控制系统,其特征在于,所述精密双频阻尼隔振光学平台包括台面、支架、双频阻尼隔振机构、高度调整机构、刹车静音脚轮;
所述台面位于所述支架上方,用于承载所述第一机械臂、五自由度电动滑台、线激光扫描仪及第一深度学习相机;
所述支架为支撑结构,四个支架之间两两由两段桁架相连;
所述双频阻尼隔振机构位于所述台面与所述支架之间,用于隔振;
所述支架下方具有高度调整机构和刹车静音脚轮。
6.如权利要求1所述的智能装配控制系统,其特征在于,所述五自由度电动滑台包括X轴电动直线滑台,X轴电动摆动滑台,Y轴电动直线滑台,Y轴电动摆动滑台及电动旋转滑台;
所述X轴电动直线滑台及Y轴电动直线滑台均由防尘罩、滑台滚珠丝杠、线性滑块导轨、联轴器、U型底板、伺服电机组成;所述滑台滚珠丝杠安装在U型底板中间;U型底板上方安装有防尘罩,为不锈钢材质;线性滑块导轨在伺服电机驱动控制下在滑台滚珠丝杠上运动;
所述X轴电动摆动滑台及Y轴电动摆动滑台均由第一底座、第一蜗轮蜗杆、弧形V型导轨、步进电机组成;所述弧形V型导轨位于第一底座上方,在所述步进电机驱动下绕着第一蜗轮蜗杆摆动;
所述电动旋转滑台由第二底座、第二蜗轮蜗杆、调隙结构、交叉滚珠轴环组成;所述交叉滚珠轴环能够水平、竖直、倒置使用;调隙结构用于减小背隙。
7.如权利要求1所述的智能装配控制系统,其特征在于,所述线激光扫描仪由蓝色激光传感器、柱面物镜、CMOS传感器、连接器组成;所述蓝色激光传感器发射蓝色激光,经过柱面物镜处理,实现光量的均匀分布;CMOS传感器位于线激光扫描仪内部;连接器位于线激光扫描仪尾部,用于连接线激光扫描仪与电缆;
所述滚珠丝杠由螺旋刻度盘、丝杠、螺母、滑块、滑块滑轨组成;螺旋刻度盘上有标定的尺寸范围,能够直观显示所转动的距离;丝杠采用外循环式传动,丝杠作为主动体,螺母随丝杠的转动角度将旋转运动转化为直线运动,滑块在滑块滑轨上反复运动,实现线激光扫描仪的上下垂直移动;滚珠丝杠与线激光扫描仪通过固定架固定。
8.如权利要求1所述的智能装配控制系统,其特征在于,所述上位机为计算机,用于显示移动机器人的实时状态,包括移动机器人在导航过程中的位置信息显示、目标的远程设定;
所述上位机还用于控制五自由度电动滑台的轨迹规划;
所述上位机还用于接收线激光扫描仪传输的三维点云数据并处理,得到零件合格或不合格的检测结果,将检测结果传输到第一机械臂;
所述上位机还用于接收红外线传感器的反馈信息,反馈五自由度电动滑台的运行状况以及所在位置;
所述上位机还用于处理所述第一深度学习相机拍摄的照片,提取点位信息,将处理后的信息发送至所述第一机械臂。
9.如权利要求1所述的智能装配控制系统,其特征在于,所述手眼标定方法为通过Tsai‑Lenz算法来对所述第一机械臂和所述第一深度学习相机进行手眼标定,让所述第一机械臂的末端执行器固定着标定板,并将标定板保持在第一深度学习相机的画面之中,第一深度学习相机拍摄标定板采集一系列图片,并与此同时记录第一机械臂的位姿信息,将其一一对应,通过视觉信息与第一机械臂位姿间的对应关系对第一深度学习相机与第一机械臂空间关系进行求解。
10.如权利要求1所述的智能装配控制系统,其特征在于,由移动机器人的控制系统提供里程计信息,当第二机械臂的控制系统接收到之后,先对里程计的数据进行坐标变换,转化为第二机械臂的底座坐标系的位移量,再根据待测工件所能提供的确定的末端位姿和第二机械臂底座的位移量,得到第二机械臂对应更新后的等效规划目标,得到一个更新的末端位姿;
通过第二机械臂的逆运动学求解,得到细化到各个关节的角度控制目标,最后根据PID算法对关节角度进行控制。
说明书 :
智能装配控制系统
技术领域
背景技术
面屏幕的精密测量与装配等,自动化程度仍然不够高,很多环节都需要人工干预,这样就存
在着装配及检测精度不够、工作环境安全性无法得到确实保证的问题。
规划层面,如何实现具备力位伺服感知的“机‑环境”自主规划与组装,以适应精密器件组装
中的狭小质脆环境,是亟待解决的问题。因此,研究高反光器件组装机器人精密感知与柔顺
控制等关键技术,对解决行业应用的技术难题具有重要意义。
发明内容
深度学习相机、第二深度学习相机、滚珠丝杠、第一机械臂、第二机械臂及上位机,其中:
学平台上;
工件的目标区域、工作区域、目标位置及工作位置;
以识别所述待测工件,将识别数据传输给所述上位机进行处理,得出所述第二深度学习相
机与所述待测工件之间的相对位置关系;
对所述待测工件进行抓取;
器人,所述第二机械臂根据所述平台信息将待测工件置于精密双频阻尼隔振光学平台上并
进行固定;
眼标定,并将所述位置信息发送至所述第一机械臂,第一机械臂末端的真空吸盘在第一深
度学习相机的视觉引导下对零件进行安装;
云数据至所述上位机进行处理,处理后形成的点云数据模型与工件CAD模型对比,以分析待
测工件特定尺寸误差与缺陷,判断待测工件合格与否;
与所述精密双频阻尼隔振光学平台通过螺纹连接;
机,上位机向运动控制卡发出指令控制所述五自由度电动滑台的运动;所述运动控制卡采
用脉冲结合方向的脉冲输出类型实现多轴独立运动,具有加减速、点位、轨迹运动规划功
能;
选择路径;
接,用于实时获取安全激光传感器的定位数据。
臂能够实现拖动示教操作;机械臂与上位机之间通过TCP/IP协议进行连接,接收上位机发
送的脚本指令字符串,并运行接收到的脚本指令以完成指定动作;
在三维空间摆放的位置与姿态,以精准导引第一机器臂及第二机械臂进行取放。
方安装有防尘罩,为不锈钢材质;线性滑块导轨在伺服电机驱动控制下在滑台滚珠丝杠上
运动;
一蜗轮蜗杆摆动;
实现光量的均匀分布;CMOS传感器位于线激光扫描仪内部;连接器位于线激光扫描仪尾部,
用于连接线激光扫描仪与电缆。
母随丝杠的转动角度将旋转运动转化为直线运动,滑块在滑块滑轨上反复运动,实现线激
光扫描仪的上下垂直移动;滚珠丝杠与线激光扫描仪通过所述固定架固定。
行器固定着标定板,并将标定板保持在第一深度学习相机的画面之中,第一深度学习相机
拍摄标定板采集一系列图片,并与此同时记录第一机械臂的位姿信息,将其一一对应,通过
视觉信息与第一机械臂位姿间的对应关系对第一深度学习相机与第一机械臂空间关系进
行求解。
械臂的底座坐标系的位移量,再根据待测工件所能提供的确定的末端位姿和第二机械臂底
座的位移量,得到第二机械臂对应更新后得等效规划目标,得到一个更新的末端位姿;
提高生产效率以及验证多种技术手段的目的。本发明提出的一种全自动检测与智能装配一
体化系统可以实现真正意义上的全自动,在进行初始示教操作后,整个工作流程中将不再
需要人工进行干预,同时当有人进入工作区域后,机械臂和移动机器人上配备的传感器将
会对接近的人体做出反应并停止运动,使得安全性也可以得到保障。一种全自动检测与智
能装配一体化系统将工件的自动化装配与检测集成与一体,在保证生产质量同时也提高了
生产效率。所述七自由度机械臂的每个关节处都配有力传感器,可以实现精确力控。同时能
够实现安全的人机交互,对碰撞能够精确检测,保证安全性;能够实现拖动示教操作,辅助
编程软件从而提高编程效率。
附图说明
主体结构;1‑2第一(二)机械臂前端结构;2‑1型材;2‑2滑块导轨;2‑3固定底座;2‑4可调刻
度盘;2‑5滑块;2‑6固定架;2‑7丝杠;4‑1精密双频阻尼隔振光学平台台面;4‑2双频阻尼隔
振机构;4‑3支架;4‑4刹车静音脚轮;4‑5高度调整机构;5‑1X轴摆动方向滑台结构;5‑2X轴
直线方向滑台结构;5‑3旋转滑台结构;5‑4Y轴直线方向与摆动方向滑台结构;8‑1第二机械
臂;8‑2型材架;8‑3控制柜;8‑4AGV车。
具体实施方式
非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目
的。
者是本领域技术人员惯常理解的方位或位置关系,仅是为了便于描述本发明和简化描述,
而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作,因
此不能理解为对本发明的限制。本发明的“第一”、“第二”等,仅仅用于在描述上加以区分,
并没有特殊的含义。在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术
语“设置”、“安装”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连
接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可
以具体情况理解上述术语在本发明中的具体含义。
度学习相机、第二深度学习相机、滚珠丝杠、第一机械臂、第二机械臂及上位机,其中:搭建
所述精密双频阻尼隔振光学平台,所述五自由度电动滑台、所述线激光扫描仪、所述滚珠丝
杠、所述第一深度学习相机及第一机械臂安装于所述精密双频阻尼隔振光学平台上;所述
第二机械臂安装于所述移动机器人上,所述第二深度学习相机安装于所述第二机械臂的末
端;所述移动机器人在工作区域内进行全方位扫描,构建地图信息,设定待测工件的目标区
域、工作区域、目标位置及工作位置;所述移动机器人到达所述目标区域后,通过示教使所
述第二机械臂移动至所述目标位置,由所述第二深度学习相机对待测工件进行拍照,提取
所述待测工件的特征点信息以识别所述待测工件,将识别数据传输给所述上位机进行处
理,得出所述第二深度学习相机与所述待测工件之间的相对位置关系;通过机器人动作处
理矩阵计算出所述第二机械臂与所述待测工件之间的位置关系,将转换后的待测工件坐标
发送给所述第二机械臂,由所述第二机械臂进行位姿调整并对所述待测工件进行抓取;所
述移动机器人移动至所述工作区域,由所述五自由度电动滑台上方的所述第一深度学习相
机对所述精密双频阻尼隔振光学平台进行拍照,将平台信息发送至所述移动机器人,所述
第二机械臂根据所述平台信息将待测工件置于精密双频阻尼隔振光学平台上并进行固定;
所述第一机械臂与第一深度学习相机进行手眼标定,所述第二深度学习相机对固定好的待
测工件拍照,并将固定数据转化为装配点位的位置信息,对所述位置信息进行手眼标定,并
将所述位置信息发送至所述第一机械臂,第一机械臂末端的真空吸盘在第一深度学习相机
的视觉引导下对零件进行安装;所述五自由度电动滑台将安装好的待测工件运送至所述线
激光扫描仪下,进行全方位多角度检测,生成待测工件各个部分零件的点云数据,所述线激
光扫描仪传输所述点云数据至所述上位机进行处理,处理后形成的点云数据模型与工件
CAD模型对比,以分析待测工件特定尺寸误差与缺陷,判断待测工件合格与否;检测完成后
上位机将检测完成信号发送给所述移动机器人,并由移动机器人移动至新的目标区域,对
工件进行抓取,放置于指定位置。
一深度学习相机7、移动机器人8、运动控制卡、上位机。平台搭建完成后,移动机器人8在工
作区域内进行全方位扫描同时构建地图信息,设定待测工件目标位置及工作位置。在到达
待测工件所在位置后,先通过示教让第二机械臂8‑1移动至工件所在目标区域,由移动机器
人上机械臂末端搭载的第二深度学习相机对待测工件进行拍照,提取特征点信息,识别待
测工件,将数据传输给上位机进行处理,得出第二深度学习相机与工件之间的相对位置关
系之后再通过移动机器人动作处理矩阵计算出第二机械臂与工件之间的位置关系,将转换
后的工件坐标发送给第二机械臂8‑1,由第二机械臂8‑1进行位姿调整并对工件进行抓取。
移动机器人8继续运动至工作位置,由五自由度电动滑台5上方的第一深度学习相机7对置
物台进行拍照,将位置信息发送至移动机器人8,第二机械臂8‑1将待测工件置于置物台并
进行固定。第一机械臂1与第一深度学习相机7进行手眼标定,完成后,第一深度学习相机7
对固定好的工件拍照,并将数据转化为装配点位的位置信息,再通过手眼关系标定该位置,
令第一机械臂1能够准确制定动作,并将位置信息发送给第一机械臂1,第一机械臂1在第一
深度学习相机7的视觉引导下通过末端的真空吸盘对排线进行安装。五自由度电动滑台5将
安装好的工件运送至线激光扫描仪3下,进行全方位多角度的检测,生成零件各个部分的点
云数据,线激光扫描仪3传输点云数据至上位机进行处理,处理后的点云数据模型与工件
CAD模型对比,分析工件特定尺寸误差与缺陷,判断工件合格与否。检测完成后上位机将信
号发送给移动机器人8,并由移动机器人8移动至新的工作位置,对工件进行抓取,放置于指
定位置。
学平台4通过螺纹连接。
于环境映射的安全扫描激光传感器进行定位,自主选择路径。所述运动控制柜8‑3位于AGV
车8‑4上方,所述七自由度机械臂8‑1位于运动控制柜8‑3上方,三者由型材连接架8‑2进行
连接。其中控制器与上位机之间如图9所示,通过无线网络进行连接,接收上位机发送的移
动机器人状态信息以及移动指令;与激光传感器模块进行Ethernet连接,用于实时获取激
光传感器的数据。
作,辅助编程软件从而提高编程效率。机械臂1与上位机之间通过TCP/IP协议进行连接,通
过特定的编程接口接收上位机发送的脚本指令字符串,并运行接收到的脚本指令,从而完
成指定动作。
位于所述平台的最上方,内部为三层夹心式蜂窝结构,采用铁磁不锈钢,具有很好的耐腐蚀
性能。所述双频阻尼隔振机构4‑2处于台面4‑1下面,处于台面4‑1与支架4‑3中间位置,起到
隔振的效果,所述支架4‑3采用整体焊接工艺,呈长发体形状,为四支撑结构,四支架之间两
两由两段桁架相连,具有良好的刚性和稳定性,支架下方具有带高度调整机构4‑5和带刹车
的静音脚轮4‑4,高度调整机构4‑5在每个支撑腿下方,底部呈现扁圆体,加大与地面的接触
面积,通过调节高度调整机构4‑5的上下距离可解决地面不平引起的支架扭曲、变形的问
题,静音脚轮4‑4位于下端桁架的下方,与桁架为四个螺栓相连,方便了移动和搬运动作,所
述精密双频阻尼隔振光学平台为零件的检测与分拣提供了良好的刚性和隔振性能。
台5‑4,以及电动旋转滑台5‑5。所述X轴电动直线滑台5‑2由防尘罩、滑台滚珠丝杠、配合线
性滑块导轨、联轴器、U型底板、伺服电机组成U型底板采用铝合金材质,表面经过氧化处理,
耐磨性好;滑台滚珠丝杠安装在U型底板中间,定位精度高;U型底板上方安装有防尘罩,为
不锈钢材质;线性滑块导轨在伺服电机控制下驱动导轨在滑台滚珠丝杠上运动。所述X轴电
动摆动滑台5‑1、Y轴电动摆动滑台5‑4由底座、蜗轮蜗杆、弧形V型导轨、步进电机组成。底座
采用铝合金材料,表面经过氧化处理;弧形V型导轨位于底座上方,负载能力强,在步进电机
驱动下绕着蜗轮蜗杆摆动,定位精度高。所述电动旋转滑台5‑5由底座、蜗轮蜗杆、调隙结
构、交叉滚珠轴环组成。底座采用硬质铝合金,具有良好的耐磨性。蜗轮采用锡青铜材料,蜗
杆采用钢制材料,硬度高、刚性好;导向机构采用交叉滚珠轴环,可水平、竖直、倒置使用;调
隙结构有效减小了了背隙,保证运行顺畅。
激光扫描仪内部,具有高速性与高动态范围;连接器位于线激光扫描仪尾部,用于连接线激
光扫描仪与电缆。
7采用外循环式传动,保证了整体的传动工艺性,丝杠作为主动体,螺母随丝杠的转动角度
将旋转运动转化为直线运动,滑块2‑5在滑块滑轨2‑2上反复运动,实现线激光扫描仪3的上
下垂直移动。滚珠丝杠2与线激光扫描仪3通过固定架2‑6固定。
姿态,得以精准导引机器手臂进行取放。
线激光扫描仪3传输的三维点云数据并处理,得到零件合格或不合格的检测结果,将检测结
果传输到机械臂8‑1;用于接收红外线传感器的反馈信息,反馈电动滑台5的运行状况以及
所在位置;用于处理第一深度学习相机7拍摄的照片,提取点位信息,将处理后的信息发送
至机械臂1。
一深度学习相机7拍摄标定板采集一系列图片,并与此同时记录机械臂的位姿信息,将其一
一对应,通过视觉信息与机械臂1位姿间的对应关系对相机7与机械臂1空间关系进行求解。
如图10所示为深度学习相机与机械臂之间进行的信息传递过程。
臂的底座坐标系的位移量,再根据待测工件所能提供的确定的末端位姿和机械臂底座的位
移量,得到机械臂对应更新后得等效规划目标,得到一个更新的末端位姿。通过机械臂的逆
运动学求解,得到细化到各个关节的角度控制目标,最后根据PID算法对关节角度进行控
制。系统以一定的频率刷新,从而保证移动操作的柔顺性和准确性。
搭载的深度学习相机可以根据需求更换不同的型号,并不仅限于一种。
的内容,均属于本发明所保护的范围。本领域技术人员可以根据上述实施例的内容举一反
三。
范围。