带电作业环境的评估方法、作业环境评估系统及电子设备转让专利
申请号 : CN202210029383.X
文献号 : CN114049563B
文献日 : 2022-05-03
发明人 : 郑遵超 , 李帅 , 李惠宇 , 吕鹏 , 李威 , 何小勇
申请人 : 国网瑞嘉(天津)智能机器人有限公司
摘要 :
权利要求 :
1.一种带电作业环境的评估方法,其特征在于,所述方法应用于作业环境评估系统,所述作业环境评估系统包括环境勘测设备、带电作业设备和斗臂车,所述带电作业设备设置于所述斗臂车上,所述方法包括:通过所述环境勘测设备采集待评估的作业环境的第一视觉数据,并根据所述第一视觉数据评估所述作业环境,确定车辆停放区域和初始设备停放区域;
在所述车辆停放区域处,通过所述斗臂车将所述带电作业设备移动至初始设备停放区域;
通过所述带电作业设备采集所述初始设备停放区域的第二视觉数据,并根据所述第二视觉数据评估所述作业环境,确定目标作业区域;
所述第一视觉数据包括第一图像数据和第一点云数据;
所述根据所述第一视觉数据评估所述作业环境,确定车辆停放区域和初始设备停放区域的步骤,包括:
获取所述作业环境的环境数据;
如果所述环境数据符合预设环境条件,匹配所述第一图像数据和所述第一点云数据,得到所述作业环境的三维环境图;
根据所述三维环境图确定所述作业环境的作业对象信息和地面信息;其中,所述地面信息用于表征所述作业环境中的障碍物区域和空旷区域;
根据所述作业对象信息和所述地面信息确定车辆停放区域;以及,根据所述作业对象信息确定初始设备停放区域;
所述作业对象信息包括作业对象位置信息和作业对象走向信息;
所述根据所述作业对象信息和所述地面信息确定车辆停放区域的步骤,包括:根据所述地面信息计算空旷区域尺寸,并判断所述空旷区域尺寸是否大于预设的停放区域尺寸;
如果是,根据预设的车辆停放距离、所述作业对象位置信息和所述作业对象走向信息,从所述空旷区域中确定车辆停放区域。
2.根据权利要求1所述的方法,其特征在于,所述作业对象信息还包括第一线杆距离信息;
所述根据所述作业对象信息确定初始设备停放区域的步骤,包括:根据所述第一线杆距离信息和所述带电作业设备的作业范围确定初始设备停放区域。
3.根据权利要求1所述的方法,其特征在于,所述第二视觉数据包括第二点云数据;
在所述根据所述第二视觉数据评估所述作业环境,确定目标作业区域的步骤之前,所述方法还包括:
根据所述第二点云数据计算作业对象的第二线杆距离信息;
基于所述第二线杆距离信息调整所述初始设备停放区域,得到目标设备停放区域;
通过所述斗臂车将所述带电作业设备从所述初始设备停放区域移动至所述目标设备停放区域。
4.根据权利要求1所述的方法,其特征在于,所述第二视觉数据还包括第二图像数据;
所述根据所述第二视觉数据评估所述作业环境,确定目标作业区域的步骤,包括:对所述第二图像数据进行图像识别处理,从作业对象中确定目标操作部件;
根据预设相机坐标系与所述带电作业设备的预设设备坐标系之间的对应关系,将所述目标操作部件在所述预设相机坐标系下的第一坐标值,转换为在所述预设设备坐标系下的第二坐标值;
根据所述第二坐标值确定目标作业区域。
5.根据权利要求4所述的方法,其特征在于,在所述根据所述第二视觉数据评估所述作业环境,确定目标作业区域的步骤之后,所述方法还包括:通过所述带电作业设备,针对所述目标作业区域内的所述目标操作部件执行带电作业。
6.一种作业环境评估系统,其特征在于,包括环境勘测设备、带电作业设备和斗臂车,所述带电作业设备设置于所述斗臂车上:所述环境勘测设备,用于采集待评估的作业环境的第一视觉数据,并根据所述第一视觉数据评估所述作业环境,确定车辆停放区域和初始设备停放区域;
所述斗臂车,用于在所述车辆停放区域处,将所述带电作业设备移动至初始设备停放区域;
所述带电作业设备,用于采集所述初始设备停放区域的第二视觉数据,并根据所述第二视觉数据评估所述作业环境,确定目标作业区域;
所述第一视觉数据包括第一图像数据和第一点云数据;
所述环境勘测设备还用于:
获取所述作业环境的环境数据;
如果所述环境数据符合预设环境条件,匹配所述第一图像数据和所述第一点云数据,得到所述作业环境的三维环境图;
根据所述三维环境图确定所述作业环境的作业对象信息和地面信息;其中,所述地面信息用于表征所述作业环境中的障碍物区域和空旷区域;
根据所述作业对象信息和所述地面信息确定车辆停放区域;以及,根据所述作业对象信息确定初始设备停放区域;
所述作业对象信息包括作业对象位置信息和作业对象走向信息;
所述环境勘测设备还用于:
根据所述地面信息计算空旷区域尺寸,并判断所述空旷区域尺寸是否大于预设的停放区域尺寸;
如果是,根据预设的车辆停放距离、所述作业对象位置信息和所述作业对象走向信息,从所述空旷区域中确定车辆停放区域。
7.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现权利要求1至5任一项所述的方法。
说明书 :
带电作业环境的评估方法、作业环境评估系统及电子设备
技术领域
背景技术
带电作业任务,便于提前对带电作业进行任务规划,从而提高带电作业的效率,保证机器人
带电作业任务的顺利完成。然而,带电作业机器人作业环境主要靠有经验的工作人员目测
操作,人工评估作业环境存在评估误差较大、不同操作人员的结论差异较大等问题,无法为
带电作业提供可靠的环境评估结果,从而不利于后续带电作业规划。
发明内容
评估的可靠性,有助于后续带电作业的规划。
述带电作业设备设置于所述斗臂车上,所述方法包括:通过所述环境勘测设备采集待评估
的作业环境的第一视觉数据,并根据所述第一视觉数据评估所述作业环境,确定车辆停放
区域和初始设备停放区域;在所述车辆停放区域处,通过所述斗臂车将所述带电作业设备
移动至初始设备停放区域;通过所述带电作业设备采集所述初始设备停放区域的第二视觉
数据,并根据所述第二视觉数据评估所述作业环境,确定目标作业区域。
骤,包括:获取所述作业环境的环境数据;如果所述环境数据符合预设环境条件,匹配所述
第一图像数据和所述第一点云数据,得到所述作业环境的三维环境图;根据所述三维环境
图确定所述作业环境的作业对象信息和地面信息;其中,所述地面信息用于表征所述作业
环境中的障碍物区域和空旷区域;根据所述作业对象信息和所述地面信息确定车辆停放区
域;以及,根据所述作业对象信息确定初始设备停放区域。
地面信息计算空旷区域尺寸,并判断所述空旷区域尺寸是否大于预设的停放区域尺寸;如
果是,根据预设的车辆停放距离、所述作业对象位置信息和所述作业对象走向信息,从所述
空旷区域中确定车辆停放区域。
电作业设备的作业范围确定初始设备停放区域。
二点云数据计算作业对象的第二线杆距离信息;基于所述第二线杆距离信息调整所述初始
设备停放区域,得到目标设备停放区域;通过所述斗臂车将所述带电作业设备从所述初始
设备停放区域移动至所述目标设备停放区域。
像识别处理,从作业对象中确定目标操作部件;根据预设相机坐标系与所述带电作业设备
的预设设备坐标系之间的对应关系,将所述目标操作部件在所述预设相机坐标系下的第一
坐标值,转换为在所述预设设备坐标系下的第二坐标值;根据所述第二坐标值确定目标作
业区域。
的所述目标操作部件执行带电作业。
待评估的作业环境的第一视觉数据,并根据所述第一视觉数据评估所述作业环境,确定车
辆停放区域和初始设备停放区域;所述斗臂车,用于在所述车辆停放区域处,将所述带电作
业设备移动至初始设备停放区域;所述带电作业设备,用于采集所述初始设备停放区域的
第二视觉数据,并根据所述第二视觉数据评估所述作业环境,确定目标作业区域。
令以实现第一方面提供的任一项所述的方法。
可执行指令促使处理器实现第一方面提供的任一项所述的方法。
评估作业环境,确定车辆停放区域和初始设备停放区域,在车辆停放区域处将通过斗臂车
将带电作业设备移动至初始设备停放区域,最后通过带电作业设备采集初始设备停放区域
的第二视觉数据,并根据第二视觉数据评估作业环境确定目标作业区域。上述方法利用环
境勘测设备评估作业环境得到车辆停放区域和初始设备停放区域,当带电作业设备移动至
初始设备停放区域后,利用带电作业设备评估作业环境得到目标作业区域,相较于现有技
术中的人工评估,本发明实施例可以显著降低作业环境评估的误差,还可以显著提高作业
环境评估的可靠性,有助于后续带电作业的规划。
以及附图中所特别指出的结构来实现和获得。
附图说明
附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前
提下,还可以根据这些附图获得其他的附图。
具体实施方式
是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前
提下所获得的所有其他实施例,都属于本发明保护的范围。
发明实施提供了一种带电作业环境的评估方法、作业环境评估系统及电子设备,可以显著
降低带电作业环境评估的误差,还可以显著提高带电作业环境评估的可靠性,有助于后续
带电作业的规划。
设备、带电作业设备和斗臂车,带电作业设备设置于斗臂车上,参见图1所示的一种带电作
业环境的评估方法的流程示意图,该方法主要包括以下步骤S102至步骤S106:
以包括环境勘测仪和服务器,环境勘测仪与服务器通信连接,环境勘测仪用于采集第一视
觉数据,服务器用于评估作业环境,第一视觉数据可以包括第一图像数据和第一点云数据,
车辆停放区域也即斗臂车在作业环境中停放的区域,初始设备停放区域也即带电作业设备
在作业环境中停放的区域。
第一图像数据以及通过激光雷达采集第一点云数据,环境勘测仪将第一图像数据和第一点
云数据发送至服务器,服务器根据第一图像数据和第一点云数据识别作业环境中的作业对
象、障碍物、地面等,并在此基础上从作业环境中确定车辆停放区域和初始设备停放区域。
斗臂车停放在车辆停放区域处之后,可以通过斗臂车的控制器或处理器根据上述初始设备
停放区域规划臂架的运动轨迹,从而按照该运动轨迹驱动臂架运动,进而将带电作业设备
移动至初始设备停放区域。
斗设置在臂架上,作业机器人设置在斗上,作业机器人至少设置有相机、激光雷达和处理
器。另外,第二视觉数据包括第二图像数据和第二点云数据,目标作业区域也即作业机器人
的操作区域。在一种实施方式中,当带电作业机器人处于初始设备停放区域之后,可以通过
相机采集第二图像数据以及通过激光雷达采集第二点云数据,处理器将根据第二点云数据
和第二图像数据识别作业环境中的作业对象,从而更加精确地确定出目标作业区域。
后,利用带电作业设备评估作业环境得到目标作业区域,相较于现有技术中的人工评估,本
发明实施例可以显著降低作业环境评估的误差,还可以显著提高作业环境评估的可靠性,
有助于后续带电作业的规划。
域)。以作业对象为电线杆为例:(1)斗臂车安全作业区域主要是针对停车位置,考虑到现场
环境多样以及电线杆周边情况复杂,诸如作业环境中存在围墙、建筑、沟渠、树木等障碍物,
或存在地面崎岖、泥土松软等不适合停放斗臂车的情况,或不适合斗臂车的支撑腿支撑的
情况,因此需要预先对斗臂车安全作业区域进行评估,尤其是距离偏远、地面状况复杂的地
区,更要提前做好计划,避免斗臂车远距离到达后发现无法作业造成资源浪费;(2)停斗区
域主要针对斗的停放位置,斗臂车停放之后,需要确定杆高和作业目标(也即,作业对象)位
置,作业目标周围是否有障碍物,斗面对的方向是否为线杆方向,合适的停斗位置能够减少
或消除作业过程中的人工参与和故障发生;(3)结合斗臂车和斗的停放位置,保证作业目标
在臂架的作业区域内,每个臂架都有一个工作区间,但由于臂架以外的障碍物导致工作区
间的某些位置不可达、末端工具受力的不同导致臂架受保护无法驱动等情况,将导致带电
作业无法正常进行。因此本发明实施例提出利用上述带电作业环境的评估方法对作业环境
进行评估。
录并上传地面信息。
土质较为松软或泥泞时将确定不符合土质条件,当地面较为崎岖时将确定不符合平整度条
件。当环境数据不符合预设环境条件时,将确定作业环境不适合进行带电作业,因此将无需
进一步对作业环境进行评估。而当环境数据符合预设环境条件时,可以匹配第一图像数据
和第一点云数据,得到作业环境的三维环境图。
理包括配准处理和拼接处理,从而得到连续点云数据,将相机坐标系和雷达坐标系进行标
定,即可匹配连续点云数据与第一图像数据得到三维环境图。在实际应用中,由于环境勘测
仪可通过人工控制,因此可以仅采集面向作业对象的第一图像数据和第一点云数据,从而
减少数据处理量。另外,勘测仪配置有测距仪或卷尺,可以在采集数据前通过测距仪或卷尺
预先确定大致的摆放位置,以使勘测仪采集的数据尽可能全面。
征作业环境中的障碍物区域和空旷区域。示例性的,作业对象位置信息可以为电线杆位置,
作业对象走向信息可以为电线走向,第一线杆距离可以包括电线杆高度H1、主线三线间距、
支线间距、主线支线基部高度差等,还可以包括主线与支线水平方向偏移距离、支线倾斜角
A1、横杆高度差H2、主线中相和边相高度差H3、主线中相和边相水平线距位置区域D1、D2、支
线中相和边相水平线距D3、D4等,诸如图2所示的一种线杆示意图,具体可基于实际作业需
求测量所需的距离数据和/或角度数据。
碍物、地面等,然后从各个点云聚类簇中选择距离两个点云用于测量各个物体的距离,具体
可通过手动选择点云并基于选择的点云间的距离得到物体的距离,也可以利用相关算法自
动选择点云并计算物体的距离。
定初始设备停放区域的实施方式:
放区域尺寸,当判断结果为是时,则根据预设的车辆停放距离、作业对象位置信息和作业对
象走向信息,从空旷区域中确定车辆停放区域。在实际应用中,当空旷区域尺寸小于停放区
域尺寸时,表明斗臂车无法停放在作业环境中,因此只有在空旷区域尺寸大于停放区域尺
寸时,才会从空旷区域中初步判定能够停放斗臂车的区域。其中,停放区域尺寸可以参考斗
臂车支撑腿撑开范围。
车辆停放区域的俯视图,图3示意出了斗臂车支撑腿3.1、斗臂车3.2、电线横杆3.3和电线
3.4之间的空间位置关系。
根据线杆距离可以判断作业对象是否超出作业机器人的作业范围,以此为依据即可确定出
初始设备停放区域。在一种实施方式中,可以针对性测距,计算杆高、主线三线间距、支线间
距、主线支线高度差等距离数据,以确初始设备停放区域,以便在此区域机器人能够获得更
清晰详细的第二视觉数据。
停车停斗方案。
后,可以对该初始设备停放区域进行微调得到目标设备停放区域,并在此基础上确定出目
标作业区域。
可以包括主线三线间距、支线间距、主线支线基部高度差、主线与支线水平方向偏移距离、
支线倾斜角、横杆高度差、主线中相和边相高度差、主线中相和边相水平线距位置区域、支
线中相和边相水平线距,第二线杆距离信息的精度高于第一线杆距离信息,具体计算方式
可参见前述第一线杆距离信息,本发明实施例不在赘述;(2)基于第二线杆距离信息调整初
始设备停放区域,得到目标设备停放区域,示例性的,根据第二线杆距离信息中的主线支线
基部高度差,调节初始设备停放区域,以使主线在作业机器人上方的位置范围内,支线在作
业机器人前方的位置范围内,且主线与支线位于作业机器人的作业空间内,由于第二线杆
距离信息的精度更高,因此可以对初始停放区域进行微调,以使作业机器人更好的完成带
电作业;(3)通过斗臂车将带电作业设备从初始设备停放区域移动至目标设备停放区域。
4.1、主线位置区域4.2和支线位置区域4.3。图4还示意出了作业机器人搭接引流线作业时
停斗需要满足的条件,即臂架作业区域和电线相对作业机器人的位置范围,首先是臂架的
作业区域,保证作业目标在臂架的作业空间内。其次,保证主线在作业机器人上方的位置范
围内,支线在作业机器人前方的位置范围内,此区域以长方体标记。在此范围内,作业机器
人作业成功的可能性较大。
支线(也可称之为引流线),利用图像识别算法或深度学习算法等识别处第二图像数据中包
含的主线或支线。
二坐标值。在一种实施方式中,可以对目标操作部件进行坐标转换处理,将其在预设相机坐
标系下的第一坐标值转换为在预设设备坐标系下的第二坐标值。
近,根据机器人上的传感器近距离获得主线和支线点云数据,调整停斗位置,使得机器人在
主线下一定距离范围,在支线前一定距离范围内,在此范围内,机器人可对作业目标执行作
业任务。
评估方法的流程示意图,该方法主要包括以下步骤S502至步骤S522:
第二点云数据确定作业机器人与线杆之间的距离。
S514至步骤S518,直至作业目标处于作业空间内。在微调过程结束后,在微调后的停斗区域
处,可以执行步骤S514、步骤S516、步骤S520和步骤S522,以使作业机器人在该停斗区域处
采集第二视觉数据,并在该视觉数据的基础上执行带电作业。
设备1、带电作业设备2和斗臂车3,带电作业设备2设置于斗臂车3上:
作业设备评估作业环境得到目标作业区域,相较于现有技术中的人工评估,本发明实施例
可以显著降低作业环境评估的误差,还可以显著提高作业环境评估的可靠性,有助于后续
带电作业的规划。
带电作业设备2包括作业机器人2.1和斗2.2,作业机器人2.1设置于斗2.2上。
数据和第一点云数据,得到作业环境的三维环境图;根据三维环境图确定作业环境的作业
对象信息和地面信息;其中,地面信息用于表征作业环境中的障碍物区域和空旷区域;根据
作业对象信息和地面信息确定车辆停放区域;以及,根据作业对象信息确定初始设备停放
区域。
设的停放区域尺寸;如果是,根据预设的车辆停放距离、作业对象位置信息和作业对象走向
信息,从空旷区域中确定车辆停放区域。
停放区域,得到目标设备停放区域;通过斗臂车将带电作业设备从初始设备停放区域移动
至目标设备停放区域。
系与带电作业设备的预设设备坐标系之间的对应关系,将目标操作部件在预设相机坐标系
下的第一坐标值,转换为在预设设备坐标系下的第二坐标值;根据第二坐标值确定目标作
业区域。
内容。
一项所述的方法 。
82连接;处理器80用于执行存储器81中存储的可执行模块,例如计算机程序。
少一个通信接口83(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通
信连接,可以使用互联网,广域网,本地网,城域网等。
一种类型的总线。
器80中,或者由处理器80实现。
处理器80可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络
处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal
Processing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称
ASIC)、现成可编程门阵列(Field‑Programmable Gate Array,简称FPGA)或者其他可编程
逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中
的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任
何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理
器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随
机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本
领域成熟的存储介质中。该存储介质位于存储器81,处理器80读取存储器81中的信息,结合
其硬件完成上述方法的步骤。
法,具体实现可参见前述方法实施例,在此不再赘述。
对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计
算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个
人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read‑Only Memory)、随机存取存
储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员
在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻
易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使
相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护
范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。