机器人在液体下建筑内高精度导航的方法和装置转让专利
申请号 : CN202110770136.0
文献号 : CN113218386B
文献日 : 2021-10-08
发明人 : 魏建仓 , 张红良 , 郭轶 , 张永强
申请人 : 深之蓝海洋科技股份有限公司
摘要 :
权利要求 :
1.一种机器人在液体下建筑内高精度导航方法,其特征是,所述方法包括:通过第一导航设备获取所述机器人的第一导航相关信息,其中,所述第一导航设备包括惯性导航设备,所述第一导航相关信息包括姿态、速度、位置、加速度和角速度;
通过第二导航设备获取所述机器人的第二导航相关信息,其中,所述第二导航设备包括多普勒测速仪,所述第二导航相关信息包括速度;
基于所述第一导航相关信息和所述第二导航相关信息获取所述机器人的初步位置信息;
响应于建筑内特征部位的先验位置信息与所述机器人的初步位置信息之差在预定阈值内,通过图像声纳获取所述机器人的位置信息;以及融合所述第一导航相关信息、所述第二导航相关信息以及所述机器人的位置信息获取所述机器人的导航信息,其中,所述导航信息包括所述机器人的导航姿态、速度和位置信息;
其中,所述通过图像声纳获取所述机器人的位置信息包括:根据建筑内特征部位的成像特点识别所述特征部位;以及获取所述机器人相对所述特征部位的相对位置信息;其中,所述相对位置信息包括所述机器人相对所述特征部位中心点的距离和方位信息。
2.如权利要求1所述的方法,其特征是,所述通过图像声纳获取所述机器人的位置信息还包括:
根据所述特征部位的先验位置信息以及所述相对位置信息获取所述机器人的绝对位置信息。
3.如权利要求1所述的方法,其特征是,所述融合所述第一导航相关信息、所述第二导航相关信息以及所述机器人的位置信息获取所述机器人的导航信息包括:融合所述第一导航相关信息、所述第二导航相关信息以及所述相对位置信息获取所述机器人的导航信息。
4.如权利要求2所述的方法,其特征是,所述融合所述第一导航相关信息、所述第二导航相关信息以及所述机器人的位置信息获取所述机器人的导航信息包括:融合所述第一导航相关信息、所述第二导航相关信息以及所述机器人的绝对位置信息获取所述机器人的导航信息。
5.如权利要求1所述的方法,其特征是,所述根据特征部位的成像特点识别所述特征部位的方式包括计算机视觉中特征提取和匹配的方式以及深度学习方式。
6.如权利要求1所述的方法,其特征是,所述融合所述第一导航相关信息、所述第二导航相关信息以及所述机器人的位置信息获取所述机器人的导航信息的方式包括Kalman滤波法、粒子滤波法和最优估计法。
7.一种机器人在液体下建筑内高精度导航装置,其特征是,所述装置包括:第一获取单元,用于通过第一导航设备获取所述机器人的第一导航相关信息,其中,所述第一导航设备包括惯性导航设备,所述第一导航相关信息包括姿态、速度、位置、加速度和角速度;
第二获取单元,用于通过第二导航设备获取所述机器人的第二导航相关信息,其中,所述第二导航设备包括多普勒测速仪,所述第二导航相关信息包括速度;
第三获取单元,基于所述第一导航相关信息和所述第二导航相关信息获取所述机器人的初步位置信息;
第四获取单元,响应于建筑内特征部位的先验位置信息与所述机器人的初步位置信息之差在预定阈值内,用于通过图像声纳获取所述机器人的位置信息;以及融合单元,用于融合所述第一导航相关信息、所述第二导航相关信息以及所述机器人的位置信息获取所述机器人的导航信息,其中,所述导航信息包括所述机器人的导航姿态、速度和位置信息;
其中,所述第四获取单元包括:
识别子单元,用于根据建筑内特征部位的成像特点识别所述特征部位;以及第一获取子单元,用于获取所述机器人相对所述特征部位的相对位置信息;其中,所述相对位置信息包括所述机器人相对所述特征部位中心点的距离和方位信息。
8.如权利要求7所述的装置,其特征是,所述第四获取单元还包括:第二获取子单元,用于根据所述特征部位的先验位置信息以及所述相对位置信息获取所述机器人的绝对位置信息。
9.如权利要求7所述的装置,其特征是,所述融合单元用于融合所述第一导航相关信息、所述第二导航相关信息以及所述相对位置信息获取所述机器人的导航信息。
10.如权利要求8所述的装置,其特征是,所述融合单元用于融合所述第一导航相关信息、所述第二导航相关信息以及所述机器人的绝对位置信息获取所述机器人的导航信息。
11.如权利要求7所述的装置,其特征是,所述根据特征部位的成像特点识别所述特征部位的方式包括计算机视觉中特征提取和匹配的方式以及深度学习方式。
12.如权利要求7所述的装置,其特征是,所述融合所述第一导航相关信息、所述第二导航相关信息以及所述机器人的位置信息获取所述机器人的导航信息的方式包括Kalman滤波法、粒子滤波法和最优估计法。
13.一种电子设备,其特征是,所述电子设备包括:处理器;以及
存储器,存储有计算机指令,当所述计算机指令被所述处理器执行时,使得所述处理器执行权利要求1‑6任一者所述的方法。
14.一种非瞬时性计算机存储介质,存储有计算机程序,其特征是,当所述计算机程序被多个处理器执行时,使得所述处理器执行权利要求1‑6任一者所述的方法。
说明书 :
机器人在液体下建筑内高精度导航的方法和装置
技术领域
背景技术
检查设施状态,寻找缺陷和隐患并对缺陷部位进行修复。水利水电领域常见的水下建筑包
含隧洞、倒虹吸、涵箱、水电站内部等。水下机器人的检测和修复作业需要水下机器人具备
在水下建筑内高精度导航的能力。
直是导航领域内的难题。
是电磁波,无法在水下长距离传播和有效应用。光线在水利水电工程中浑浊的水中传播距
离有限,基于视觉或激光的导航方法难以使用。
Baseline / Short Baseline / Ultra Short Baseline,长/短/超短基线)等。惯性导航存
在误差随时间累积的问题。多普勒测速仪仅能够测速,定位误差也会随着时间累积,从而导
致定位不准。LBL/SBL/USBL等水声导航需要外部水声基阵支持,且范围有限。
下建筑内应用效果不佳或根本无法使用;惯性导航、多普勒测速仪都存在定位误差,无法实
现对水下机器人的高精度定位,在空间狭小的水下建筑内更加难以实现高精度导航,而且,
惯性导航和多普勒测速仪的定位误差会随着时间累计,对于水利水电工程建筑内检测和作
业的水下机器人,工作时间一般在2小时以上,“惯性导航+多普勒测速仪”组合导航的定位
精度无法满足应用需求。
相关的方案很少。
障、目标探测、结构测量。也有研究利用SLAM(Simultaneous Localization and Mapping,
同步定位与建图)等方法开展了图像声纳导航的探索。由于声纳图像与光学图像存在较大
差别,信噪比低,无色彩信息,干扰多,基于图像声纳的导航应用并不成熟。
发明内容
提供的信息融合,形成组合导航,实现机器人在水下建筑内高精度导航。
内的初步位置;利用图像声纳拍摄机器人周围水下建筑的声纳图像,本方案中要求已知水
下建筑的布局、结构等信息,已知的水下建筑中易识别的特征部位(如比较明显的建筑内设
备、明显的突起、明显的拐角、管道的接缝、铆钉槽、线槽等)的具体位置信息,在声纳图像中
识别这些已知位置的建筑部位,并根据声纳图像得到这些部位相对机器人的方位、距离等
信息,可根据这些信息计算机器人的位置信息,也可将这些信息直接融合到组合导航中,优
化计算水下机器人的位置信息,然后通过融合的方法修正第一导航设备(例如,惯性导航设
备)和第二导航设备(例如,多普勒测速仪)的导航误差,实现水下建筑内高精度导航。
置信息以及声纳图像获取的机器人与特征部位的相对位置信息,可以获知机器人的当前位
置信息,将机器人的当前位置信息与第一导航设备(例如,惯性导航设备)和第二导航设备
(例如,多普勒测速仪)提供的相关信息进行融合计算,可以得到机器人的导航信息,从而实
现机器人在水下建筑内高精度导航。本发明的方案考虑了水下建筑内导航的特点,依靠水
下建筑的特征部位提供的位置信息获取机器人当前精确位置信息,从而实现机器人的高精
度导航。本发明的方案可用于水利水电、水下搜救、海油等所有需进入水下工程、沉船、大型
水下设备等已知构造内部导航的场景。
附图说明
本领域普通技术人员来讲,还可以根据这些附图获取其他的附图,而并不超出本申请要求
保护的范围。
具体实施方式
请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,
都属于本申请保护的范围。
第一导航相关信息包括机器人的姿态、速度、位置、加速度;多普勒测速仪提供了第二导航
相关信息,该第二导航相关信息包括机器人的速度;图像声纳提供了机器人的位置信息;然
后,根据第一导航相关信息、第二导航相关信息和机器人的位置信息进行融合计算,得到机
器人的导航信息,该导航信息包括机器人的位置、速度和姿态等。
(DVL),二者提供连续的导航信息,包括提供机器人的初步位置信息。
判断机器人目前是否已经接近某一个特征部位,在接近特征部位时,机器人通过自动的方
式或者在人工操纵下,用图像声纳对周围成像,在图像声纳中识别已知水下建筑内的特征
部位,在识别到特征部位后,声纳图像测量特征部位相对机器人的相对位置信息,包括距离
和方位信息,然后根据声纳图像获得机器人的位置信息,最后,将通过声纳图像获得的机器
人的位置信息参与组合导航,进行数据融合,修正惯性导航和DVL的导航误差。
如下步骤。
和角速度信息等。
上述方案的启发下,能够想到的其他导航设备的组合都属于本申请覆盖的范围。
槽、线槽等)的具体位置信息。在通过第一导航设备和第二导航设备获得机器人的初步位置
信息后,判断该初步位置与建筑内特征部位的先验位置是否接近,通常可以通过一个预定
阈值来确定,如果建筑内特征部位的先验位置信息与机器人的初步位置信息之差在预定阈
值内,该预定阈值可以根据所在建筑的尺寸、建筑布局和图像声纳性能等具体情形进行设
定,则通过图像声纳获取机器人的位置信息。具体来说,在声纳图像中识别这些已知位置的
水下建筑的特征部位,并根据声纳图像得到这些特征部位相对水下机器人的方位、距离等
信息,可根据这些信息获取机器人的位置信息。从而,步骤S304具体包括:
据先验信息已知这些特征部位在图像声纳上的成像特点,以便于进行识别。当水下机器人
的图像声纳对特征部位成像后,可以识别出这些特征部位。在声纳图像中识别已知水下建
筑的特征部位,可以采用计算机视觉中特征提取和匹配的方式,也可以采用深度学习方式
进行训练和识别。
多波束声纳图像中,根据声纳图像上识别到的水下建筑的特征部位,得到特征部位在图像
上的坐标,可以得到水下机器人相对特征部位的相对位置信息,该相对位置信息包括机器
人相对特征部位中心点的距离和方位信息。
以是一3*3的矩阵,可以将声纳坐标系(记作s系)表示的矢量转换到导航坐标系(记作n系),
即某矢量在s系的表示 为,则其在n系的表示 为
(s系)的表示为
可以采用其他方式计算机器人的绝对位置信息,这都属于本申请涵盖的范围。
机器人的导航信息。这样,步骤S305包括:融合所述第一导航相关信息、所述第二导航相关
信息以及所述相对位置信息获取所述机器人的导航信息。
一导航相关信息、所述第二导航相关信息以及所述机器人的绝对位置信息获取所述机器人
的导航信息。
差等):
器人本体系(记为b系)到导航系(n系)的转换矩阵,该矩阵为3*3矩阵,可将b系表示的矢量
转换到n系表示,则导航系统计算的姿态矩阵结果 (有误差)与真值 (无误差)、姿态误
差角 间的关系满足 ,其中I3表示3*3单位阵, 表示姿态误差角矢量的叉
乘矩阵;记水下机器人速度为 ,则导航系统速度计算结果 (有误差)与真值 (无误差)
间满足 ;记水下机器人的位置为P,则导航系统位置计算结果含误差的位置导航
结果 (有误差)与真值P(无误差)间满足 ;上标T表示矢量的转置。
表示 的计算误差, 为陀螺测量的角速度误差,f 是加速度计测量的比力, 表示
加速度计测量的比力误差, 表示地球自转角速度, 表示水下机器人运动导致的系相对
地球系(记为e系)的旋转角速度, 、 表示 和 的计算误差, 表示重力加速度计
算误差。
息,而图像声纳是间歇性参与导航组合方案,在识别到建筑内特征部位时,才参与到第一导
航设备和第二导航设备中,对第一导航设备和第二导航设备的导航误差进行修正。
的相对位置信息,可以获知机器人的当前位置信息,将机器人的当前位置信息与第一导航
设备(例如,惯性导航设备)和第二导航设备(例如,多普勒测速仪)提供的相关信息进行融
合计算,可以得到机器人的导航信息,从而实现机器人在水下建筑内高精度导航。本发明的
方案考虑了水下建筑内导航的特点,依靠水下建筑的特征部位提供的位置信息获取机器人
当前精确位置信息,从而实现机器人的高精度导航。
括如下单元。
和角速度信息等。
领域技术人员在上述方案的启发下,能够想到的其他导航设备的组合都属于本申请覆盖的
范围。
槽、线槽等)的具体位置信息。在通过第一导航设备和第二导航设备获得机器人的初步位置
信息后,判断该初步位置与建筑内特征部位的先验位置是否接近,通常可以通过一个预定
阈值来确定,如果建筑内特征部位的先验位置信息与机器人的初步位置信息之差在预定阈
值内,该预定阈值可以根据所在建筑的尺寸、建筑布局和图像声纳性能等具体情形进行设
定,则通过图像声纳获取机器人的位置信息。具体来说,在声纳图像中识别这些已知位置的
水下建筑的特征部位,并根据声纳图像得到这些特征部位相对水下机器人的方位、距离等
信息,可根据这些信息获取机器人的位置信息。从而,第四获取单元504具体包括:
据先验信息已知这些特征部位在图像声纳上的成像特点,以便于进行识别。当水下机器人
的图像声纳对特征部位成像后,可以识别出这些特征部位。在声纳图像中识别已知水下建
筑的特征部位,可以采用计算机视觉中特征提取和匹配的方式,也可以采用深度学习方式
进行训练和识别。
多波束声纳图像中,根据声纳图像上识别到的水下建筑的特征部位,得到特征部位在图像
上的坐标,可以得到水下机器人相对特征部位的相对位置信息,该相对位置信息包括机器
人相对特征部位中心点的距离和方位信息。
机器人的导航信息。这样, 融合单元505用于:融合所述第一导航相关信息、所述第二导航
相关信息以及所述相对位置信息获取所述机器人的导航信息。
第一导航相关信息、所述第二导航相关信息以及所述机器人的绝对位置信息获取所述机器
人的导航信息。
息,而图像声纳是间歇性参与导航组合方案,在识别到建筑内特征部位时,才参与到第一导
航设备和第二导航设备中,对第一导航设备和第二导航设备的导航误差进行修正。
的相对位置信息,可以获知机器人的当前位置信息,将机器人的当前位置信息与第一导航
设备(例如,惯性导航设备)和第二导航设备(例如,多普勒测速仪)提供的相关信息进行融
合计算,可以得到机器人的导航信息,从而实现机器人在水下建筑内高精度导航。本发明的
方案考虑了水下建筑内导航的特点,依靠水下建筑的特征部位提供的位置信息获取机器人
当前精确位置信息,从而实现机器人的高精度导航。
时实现如图3所示的方法以及细化方案。
时可以有另外的划分方式。例如,多个单元、模块或组件可以结合,或者可以集成到另一个
系统,或一些特征可以忽略或不执行。
起。上述集成的单元/模块既可以采用硬件的形式实现,也可以采用软件程序模块的形式实
现。
理器或芯片可以是任何适当的硬件处理器,比如CPU、GPU、FPGA、DSP和ASIC等等。若无特别
说明,所述片上缓存、片外内存、存储器可以是任何适当的磁存储介质或者磁光存储介质,
比如,阻变式存储器RRAM(Resistive Random Access Memory)、动态随机存取存储器DRAM
(Dynamic Random Access Memory)、静态随机存取存储器SRAM(Static Random‑Access
Memory)、增强动态随机存取存储器EDRAM(Enhanced Dynamic Random Access Memory)、
高带宽内存HBM(High‑Bandwidth Memory)、混合存储立方 HMC(Hybrid Memory Cube)等
等。
上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形
式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机
设备(可为个人计算机、服务器或者网络设备等)执行本披露各个实施例所述方法的全部或
部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read‑Only Memory)、随机存取存储
器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介
质。
时,本领域技术人员依据本申请的思想,基于本申请的具体实施方式及应用范围上做出的
改变或变形之处,都属于本申请保护的范围。综上所述,本说明书内容不应理解为对本申请
的限制。