二维码以及用于机器人的视觉-惯性组合导航系统及方法转让专利
申请号 : CN201810229929.X
文献号 : CN108489486B
文献日 : 2021-07-02
发明人 : 李洪波 , 刘凯 , 陈曦 , 郑勇
申请人 : 北京极智嘉科技股份有限公司
摘要 :
权利要求 :
1.一种用于机器人的视觉‑惯性组合导航方法,其特征在于,包括:控制设置在机器人上的成像设备拍摄机器人在行进路线上经过铺设在地面上的外围带有辅助边框的二维码,以获得二维码的图像;
针对拍摄的二维码的图像进行边缘提取,以获得边缘图像;
针对边缘图像进行筛选,以获得封闭的轮廓曲线;
针对封闭的轮廓曲线进行多边形拟合,并将辅助边框的轮廓在尺寸和形状均相同的封闭的轮廓曲线确定为辅助边框;
基于辅助边框确定辅助边框内的区域为二维码区域;
基于确定的辅助边框和确定的二维码区域,计算成像设备相对于二维码区域的相对位置和相对方向角;
利用二维码扫描程序对二维码的图像在二维码区域内进行扫描,以扫描二维码,并基于二维码编码规则对扫描后的二维码进行解码和校验,以获得二维码的绝对坐标;
基于计算出的成像设备的相对位置和相对方向角以及获得的二维码的绝对坐标,经坐标系转换,获得成像设备的绝对位置和绝对方向角,作为惯性导航中修正机器人位置的视觉导航数据;
获得机器人相对机器人的当前起始点的相对位置以及机器人相对机器人的当前起始方向角的相对方向角;机器人的相对位置和相对方向角是由设置在机器人上的编码器和惯性导航系统确定的;
对成像设备的绝对位置和机器人的相对位置进行计算,以得到机器人的绝对位置,并利用得到的机器人的绝对位置作为惯性导航中确定机器人的下一起始位置,以及,对成像设备的绝对方向角和机器人的相对方向角进行估计,以得到机器人的绝对方向角,并利用得到的机器人的绝对方向角作为惯性导航中确定机器人的下一起始方向角。
2.根据权利要求1所述的方法,其特征在于,所述基于确定的辅助边框和确定的二维码区域,计算成像设备相对于二维码区域的相对位置和相对方向角,包括:根据确定的辅助边框的内周或外周的顶点的图像坐标,计算出成像设备的光心相对于二维码区域的中心的相对位置和相对方向角,作为成像设备相对于二维码区域的相对位置和相对方向角。
3.根据权利要求2所述的方法,其特征在于,所述根据确定的辅助边框的内周或外周的顶点的图像坐标,计算出成像设备的光心相对于二维码区域的中心的相对位置和相对方向角,包括:
根据辅助边框的内周或外周的顶点的图像坐标,计算得到辅助边框中心的图像像素坐标,将图像像素坐标乘以比例因子即为成像设备的光心相对于二维码区域的中心的相对位置;其中,比例因子k=行长度/行像素个数;
由辅助边框中心点与二维码的图像中心点组成一条直线,计算直线与竖直方向的夹角,为成像设备的光心相对于二维码区域的中心的相对方位角。
4.根据权利要求1所述的方法,其特征在于,所述基于计算出的成像设备的相对位置和相对方向角以及获得的二维码的绝对坐标,经坐标系转换,获得成像设备的绝对位置和绝对方向角,包括:
设二维码的绝对坐标为(x1,y1),绝对方向角为θ,设成像设备的相对位置为(x1’,y1’),绝对方向角为θ’,则成像设备的绝对位置为(x1+x1’,y1+y1’),绝对方向角为θ+θ’。
5.根据权利要求1所述的方法,其特征在于,所述二维码为QR码,QR码包含有三个小正方形,所述三个小正方形为QR本身的位置探测图形。
6.根据权利要求5所述的方法,其特征在于,在基于辅助边框确定辅助边框内的区域为二维码区域后,还包括:
针对封闭的轮廓曲线,如果存在有三个封闭的轮廓曲线与三个小正方形的轮廓在尺寸和形状上均相同,二维码区域确定正确。
7.根据权利要求1所述的方法,其特征在于,在基于确定的辅助边框和确定的二维码区域,计算成像设备相对于二维码区域的相对位置和相对方向角,且在利用二维码扫描程序对二维码的图像在二维码区域内进行扫描之前,还包括:将包含二维码区域的辅助边框的顶点对应到一个正多边形区域得到单应性矩阵;
根据单应性矩阵进行透视变换得到正的二维码区域。
8.一种用于视觉‑惯性组合导航的二维码区域筛选方法,所述视觉‑惯性组合导航运用在机器人上,其特征在于,包括:控制设置在机器人上的成像设备拍摄机器人在行进路线上经过铺设在地面上的外围带有辅助边框的二维码,以获得二维码的图像;
针对拍摄的二维码的图像进行边缘提取,以获得边缘图像;
针对边缘图像进行筛选,以获得封闭的轮廓曲线;
针对封闭的轮廓曲线进行多边形拟合,并将辅助边框的轮廓在尺寸和形状均相同的封闭的轮廓曲线确定为辅助边框;
基于辅助边框确定辅助边框内的区域为二维码区域。
9.根据权利要求8所述的方法,其特征在于,所述二维码为QR码,QR码包含有三个小正方形,所述三个小正方形为QR本身的位置探测图形。
10.根据权利要求9所述的方法,其特征在于,还包括:针对封闭的轮廓曲线,如果存在有三个封闭的轮廓曲线与三个小正方形的轮廓在尺寸和形状上均相同,二维码区域确定正确。
11.根据权利要求8所述的方法,其特征在于,还包括:基于确定的辅助边框和确定的二维码区域,计算成像设备相对于二维码区域的相对位置和相对方向角;
利用二维码扫描程序对二维码的图像在二维码区域内进行扫描,以扫描二维码,并基于二维码编码规则对扫描后的二维码进行解码和校验,以获得二维码的绝对坐标;
基于计算出的成像设备的相对位置和相对方向角以及获得的二维码的绝对坐标,经坐标系转换,获得成像设备的绝对位置和绝对方向角,作为惯性导航中修正机器人位置的视觉导航数据。
12.一种机器人,其特征在于,包括存储器和处理器;其中,所述存储器用于存储一条或多条计算机指令,所述一条或多条计算机被所述处理器执行如权利要求1‑7中任一项所述的方法。
13.一种机器人,其特征在于,包括存储器和处理器;其中,所述存储器用于存储一条或多条计算机指令,所述一条或多条计算机被所述处理器执行如权利要求8‑11中任一项所述的方法。
14.一种用于机器人的视觉‑惯性组合导航系统,其特征在于,包括二维码以及如权利要求12所述的机器人,或者包括二维码以及如权利要求13所述的机器人;多个所述二维码铺设在地面上,所述二维码的外围带有封闭的辅助边框,该辅助边框和所述二维码均用于视觉导航。
说明书 :
二维码以及用于机器人的视觉‑惯性组合导航系统及方法
技术领域
背景技术
有实时性好、抗干扰性强等优点,但其精度误差会造成累积漂移误差,在较长时间内难以达
到定位的要求。因此,在视觉/惯性组合导航中,视觉导航用以辅助定位修正惯性导航的漂
移,从而提供一种高精度的组合定位方式。从工程应用角度看,视觉导航的精确性、鲁棒性
和实时性是影响视觉/惯性组合导航性能的重要因素。
发明内容
位置和绝对方向角的计算效率,实时地修正惯性导航的漂移,以更可靠地以视觉/惯性组合
的方式实现机器人的高精度实时导航。
的视觉导航数据;
和惯性导航系统确定的;
成像设备的绝对方向角和机器人的相对方向角进行估计,以得到机器人的绝对方向角,并
利用得到的机器人的绝对方向角作为惯性导航中确定机器人的下一起始方向角。
明实施例的第一方面所述的二维码以及机器人;多个所述二维码铺设在地面上。
置和绝对方向角的计算效率;由于在地面上铺设多个外围带有封闭的辅助边框的二维码,
在机器人行进过程中,通过设置在机器人上的成像设备拍摄机器人在其行进路线上经过的
铺设在地面上的外围带有辅助边框的二维码的图像,之后经过计算得到机器人的绝对位置
和绝对方向角,并利用得到机器人的该绝对位置和绝对方向角作为惯性导航系统确定机器
人的下一起始点和下一起始方向角,从而可以在机器人行进过程中每拍摄到经过的外围带
有辅助边框的二维码的图像,就进行如此处理,实时地修正惯性导航的漂移,以更可靠地以
视觉/惯性组合的方式实现机器人的高精度实时导航。
附图说明
具体实施方式
边框,辅助边框的色彩无限制,只要与二维码的背景色足以区分即可。此外,该辅助边框和
所述二维码均用于视觉导航,本发明的辅助边框不起修饰作用。
容易且最快。但是如果采用其他形状,例如三角形,包络线非常大,也不容易判断。当然不限
于此,如果二维码的轮廓变化,也可采用与二维码的轮廓几何相似的辅助边框。
2示出在地面上铺设多个外围带有封闭的辅助边框的二维码的示意图,其只是一个示意,多
个外围带有封闭的辅助边框的二维码在地面上的铺设可以视实际情况来布置。
设置在机器人上的成像设备拍摄机器人在其行进路线上经过的铺设在地面上的外围带有
辅助边框的二维码的图像;步骤S3,当拍摄到一个铺设在地面上的外围带有辅助边框的二
维码的图像时,基于拍摄的该一个图像获取成像设备的绝对位置和绝对方向角;步骤S4,利
用设置在机器人上的编码器和惯性导航系统确定机器人相对机器人的当前起始点的相对
位置和机器人相对机器人的当前起始方向角的相对方向角;步骤S5,对成像设备的绝对位
置和机器人的相对位置进行计算,以得到机器人的绝对位置,并利用得到机器人的该绝对
位置作为惯性导航系统确定机器人的下一起始点;以及步骤S6,对成像设备的绝对方向角
和机器人的相对方向角进行估计,以得到机器人的绝对方向角,并利用得到机器人的该绝
对方向角作为惯性导航系统确定机器人的下一起始方向角。其中,步骤S3包括子步骤:子步
骤S31,针对拍摄的图像进行边缘提取,以获得边缘图像;子步骤S32,针对边缘图像进行筛
选,以获得封闭的轮廓曲线;子步骤S33,对封闭的轮廓曲线进行多边形拟合,并将与辅助边
框的轮廓在尺寸和形状均相同的封闭的轮廓曲线确定为辅助边框;子步骤S34,基于辅助边
框确定辅助边框内的区域为二维码区域;子步骤S35,基于确定的辅助边框以及确定的二维
码区域,计算成像设备相对于二维码区域的相对位置和相对方向角;子步骤S36,利用二维
码扫描程序对拍摄的图像在二维码区域内进行扫描,以扫描二维码,并基于二维码编码规
则对扫描后的二维码进行解码和校验,以获得二维码的绝对坐标;以及子步骤S37,基于子
步骤S35计算出的成像设备的相对位置和相对方向角和子步骤S36获得的二维码的绝对坐
标,经坐标系转换,获得成像设备的绝对位置和绝对方向角,作为修正机器人位置的视觉导
航数据。
的外围带有辅助边框的二维码进行拍摄,从而获得垂直拍摄的图像。
baike.baidu.com/link?url=UEQx23cOWV2HEMdSxRF8Ndzns98piUlmawtPCVECgpm2VfcdNX
ipCdfg_3_UyMCtZGlm8g7cxcJES3e41erbRq),再根据规定的阈值对边缘灰度图进行二值化,
从而得到二值化的边缘图像;在子步骤S32中,针对二值化的边缘图像,进行轮廓提取,得到
封闭的轮廓,并将得到的封闭轮廓存储;在子步骤S33中,使用Ramer–Douglas–Peucker算法
对轮廓曲线进行多边形拟合,以确定辅助边框;在子步骤S35中,辅助边框的内周或外周的
顶点的图像坐标,计算出成像设备的光心相对于二维码区域的中心的相对位置和相对方位
角,以作为成像设备的相对位置和相对方位角,计算过程为:根据辅助边框的内周或外周的
顶点的图像坐标计算得到辅助边框中心的图像像素坐标,该图像像素坐标乘以比例因子即
为成像设备的光心相对于二维码区域的中心的相对位置,其中比例因子为k=行长度/行像
素个数;由辅助边框中心点与图像中心点组成一条直线,计算该直线与竖直方向的夹角,即
为成像设备的光心相对于二维码区域的中心的相对方位角。
structural analysis of digitized binary images by border following."Computer
Vision,Graphics,and Image Processing 30,no.1(1985):32‑46);Ramer–Douglas–
Peucker算法,参见:http://en.wikipedia.org/wiki/Ramer%E2%80%93Douglas%E2%
80%93Peucker_algorithm。
像设备的相对位置数据(x1’,y1’),绝对方向角为θ’,则成像设备的绝对位置为(x1+x1’,y1
+y1’),绝对方向角为θ+θ’。
所述三个小正方形为QR本身的位置探测图形;在子步骤S34中,还利用二维码本身的位置探
测图形进行二维码区域的校验:在子步骤S34中,基于辅助边框确定辅助边框内的区域为二
维码区域后,再利用子步骤S33中获得封闭的轮廓曲线,当存在有三个封闭的轮廓曲线与三
个小正方形的轮廓在尺寸和形状上均相同时,校验该二维码区域的确定正确。
换获得正的二维码图像。在一实施例中,透视变换为:将包含二维码区域的辅助边框的顶点
对应到一个正多边形区域得到单应性矩阵,之后再根据这个单应性矩阵进行透视变换得到
正的二维码图像,从而采用透视变换将二维码的图像转换成正的形状。
航系统的陀螺仪提供的陀螺仪信息,确定机器人相对机器人的当前起始点的相对位置和相
对机器人的当前起始方向角的相对方向角,机器人的相对方向角用θd表示:
下式计算:
器人方向角, 表示陀螺仪的角速度,T为积分周期,则从θg(k‑1)到θg(k)的一步更新公
式为:
(k)的协方差分别为σe和σg,则:
器人的初始位置开始推算出机器人相对机器人的当前起始点的相对位置,对机器人定位系
统做如下约定:
断累加;
从θ(k‑1)增加到θ(k)的状态变化,Δx,Δy,Δθ分别表示在惯性导航的一个程序循环时间
周期T内机器人的横、纵坐标和方向角的增加量;Δl为点A到A′的直线距离;Δs为机器人从
点A到A′行走的实际距离,可以从驱动轮编码器的脉冲增量转换而来,由图3所知,Δx,Δy
可由如下公式计算得到:
更新(x(k),y(k)),(x(k),y(k))即为机器人相对机器人的当前起始点的相对位置,而(x(k‑
1),y(k‑1))的计算需要从机器人的初始位置的坐标(x(0),y(0))开始,其中机器人的初始
坐标(x(0),y(0))是指在机器人加电后开始工作的初始时刻的绝对坐标位置,程序循环时
间周期T是指惯性导航每隔一个固定的时间T进行一次惯性导航计算,惯性导航计算的过程
是一个等时间间隔的无限循环过程。
位置的坐标,Xd(k)为k时刻步骤S4确定的机器人相对机器人的当前起始点的相对位置的坐
标,经过绝对位置和相对位置融合后得到的机器人坐标为X(k),采用卡尔曼滤波方法(参见
http://baike.haosou.com/doc/3054305‑3219642.html)进行数据融合,计算步骤如下:
的绝对方向角的计算步骤如下:
S37中成像设备的绝对方向角为θa(k),θr(k)和θa(k)的误差模型分别为零均值高斯白噪声
过程ne(k)和ng(k),ne(k)和ng(k)的协方差分别为σe和σg,则:
置和绝对方向角的计算效率;由于在地面上铺设多个外围带有封闭的辅助边框的二维码,
在机器人行进过程中,通过设置在机器人上的成像设备拍摄机器人在其行进路线上经过的
铺设在地面上的外围带有辅助边框的二维码的图像,之后经过计算得到机器人的绝对位置
和绝对方向角,并利用得到机器人的该绝对位置和绝对方向角作为惯性导航系统确定机器
人的下一起始点和下一起始方向角,从而可以在机器人行进过程中每拍摄到经过的外围带
有辅助边框的二维码的图像,就进行如此处理,实时地修正惯性导航的漂移,以更可靠地以
视觉/惯性组合的方式实现机器人的高精度实时导航。