复杂光照条件下视觉导引系统的路径提取与识别方法转让专利

申请号 : CN201710627847.6

文献号 : CN107622502B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 武星楼佩煌张颖王龙军钱晓明李林慧陈华

申请人 : 南京航空航天大学

摘要 :

本发明公开了一种复杂光照条件下视觉导引系统的路径提取与识别方法,首先通过分析光照照度与图像亮度分量的关系,建立表征图像色彩分布规律的光照色彩模型。其次设计一种区分复杂光照路径图像中高亮光区域、正常照度区域和暗阴影区域的图像照度分类器,在RGB色彩空间对低照度区域进行图像增强以还原路径色彩信息,在高亮光区域对色度分量Cb与Cr进行差分运算以抑制共模照度干扰,再进行自适应阈值分割。最后采用粒子群优化方法识别导引路径的最优参数模型。本发明的方法可显著提高视觉导引系统在复杂光照下提取、识别导引路径的精确性、可靠性和智能性。

权利要求 :

1.一种复杂光照条件下视觉导引系统的路径提取与识别方法,其特征在于,包括步骤如下:

1)采集给视觉导引系统识别导引路径提供光照条件的照明光源以及造成光线遮挡的环境物体所共同形成的N幅复杂光照路径图像,包括N1幅具有高亮光区域的路径图像、N2幅具有暗阴影区域的路径图像和N3幅同时具有高亮光和暗阴影区域的路径图像;

2)针对N幅复杂光照路径图像,通过摄像机成像原理统计复杂光照路径图像中同一像素点的光照照度与图像亮度分量的对应关系,以图像亮度分量代替光照照度,建立表征复杂光照下路径图像色彩分布规律的光照色彩模型,描述复杂光照路径图像的色度分量相对于亮度分量的变化情况;

3)以采集的N幅复杂光照路径图像为样本图像,采用机器学习方法,设计一种区分复杂光照路径图像中高亮光区域、正常照度区域和暗阴影区域的图像照度分类器,并利用所述图像照度分类器区分复杂光照路径图像中的不同照度区域;

4)针对复杂光照路径图像的暗阴影区域,将图像从YCbCr色彩空间转换到RGB色彩空间,根据光照色彩模型选取标准照度所对应的图像亮度值并进行图像增强,再将增强后的图像转换回YCbCr色彩空间;再采用最大类间方差的阈值分割方法,以蓝色色度分量Cb为分割条件,从图像背景区域中提取目标路径像素集P1;

5)针对复杂光照路径图像的高亮光区域,根据光照色彩模型对蓝色色度分量Cb与红色色度分量Cr进行差分运算,从而获得表征图像Cb-Cr色度差分值相对于图像照度变化规律的光照差分色度模型;再采用最大类间方差的阈值分割方法,以Cb-Cr色度差分值为分割条件,从图像背景区域中提取目标路径像素集P2;

6)针对复杂光照路径图像的正常照度区域,采用固定单阈值分割方法,以蓝色色度分量Cb为分割条件,从图像背景区域中提取目标路径像素集P3;

7)针对分别从复杂光照路径图像的暗阴影区域、高亮光区域和正常照度区域所提取的所有目标路径像素集P,采用粒子群优化方法,识别像素集P所表示的导引路径的最优参数模型,并根据最优参数模型计算路径偏差。

2.根据权利要求1所述的复杂光照条件下视觉导引系统的路径提取与识别方法,其特征在于,所述的步骤1)中复杂光照路径图像的采集方法如下:以地面铺设的导引路径为视觉导引系统的识别目标,在移动机器人的运行过程中,针对其车载照明光源、室内环境灯光、室外射入的自然光以及遮挡光源光线的环境物体,采集由于光源亮度变化、多个光源和环境物体相对于移动机器人的位置角度变化和空间分布变化而形成的具有高亮光或/和暗阴影区域、明暗对比强烈、照度分布很不均匀的N幅复杂光照路径图像。

3.根据权利要求1或2所述的复杂光照条件下视觉导引系统的路径提取与识别方法,其特征在于,所述的步骤的2)中光照色彩模型的建立方法如下:根据摄像机成像原理,分析出光照照度与图像亮度分量值成线性相关,并通过实验验证:通过移动机器人的车载摄像机,拍摄不同光照照度条件下的导引路径图像;利用光照照度计测量车载摄像机光心位置处的光照照度E,在复杂光照路径图像中计算对应光心位置处的图像亮度分量Y;针对N幅复杂光照路径图像,统计光心位置处的图像亮度分量Y相对于光照照度E的变化规律;再以图像亮度分量Y代替光照照度E,针对每一幅复杂光照路径图像中的地面背景和目标路径部分,选取光照不均匀区域的像素点,分别统计其蓝色色度分量Cb、红色色度分量Cr与亮度分量Y的相关分布,建立表征复杂光照下路径图像色彩分布规律的光照色彩模型;根据蓝色色度分量Cb与图像亮度分量Y的相关分布,选择暗阴影区域和正常照度区域的初始分区阈值Yb1、正常照度区域和高亮光区域的初始分区阈值Yb2。

4.根据权利要求1所述的复杂光照条件下视觉导引系统的路径提取与识别方法,其特征在于,所述的步骤的3)中图像照度分类器的设计方法如下:设暗阴影区域中低照度像素的集合为C1,正常照度区域中正常照度像素的集合为C2,高亮光区域中高照度像素的集合为C3,集合C12为集合C1和C2的并集,集合C23为集合C2和C3的并集;所述图像照度分类器包含第一子分类器和第二子分类器,所述第一子分类器根据其输出值R1将待判断的像素照度分为两类,输出值R1=1的像素属于C12类,输出值R1=-1的像素属于C3类;所述第二子分类器根据其输出值R2将待判断的像素照度分为两类,输出值R2=1的像素属于C23类,输出值R2=-1的像素属于C1类;当R1=1且R2=-1时,待判断的像素属于C1类的低照度像素;当R1=-1且R2=1时,待判断的像素属于C3类的高照度像素;当R1=1且R2=1时,待判断的像素属于C2类的正常照度像素;当R1=-1且R2=-1时,待判断的像素属于不可分像素,若其亮度分量Y小于初始分区阈值Yb1,则该像素属于低照度像素,若其亮度分量Y大于初始分区阈值Yb2,则该像素属于高照度像素,否则该像素属于正常照度像素。

5.根据权利要求4所述的复杂光照条件下视觉导引系统的路径提取与识别方法,其特征在于,所述的图像照度分类器的子分类器的设计方法如下:针对路径图像中任一像素p(i,j),选取其亮度分量Y(i,j)、邻域平均亮度 亮度分量与蓝色色度分量Cb(i,j)之比K(i,j)组成该像素p(i,j)的特征向量xi,j,即其中,i、j为像素在图像平面中的坐标,a为像素p(i,j)的邻域半径,m、n为像素p(i,j)邻域中像素的坐标;

以采集的N幅复杂光照路径图像为样本图像,在特征向量xk所在的多维特征空间中,构建通过机器学习方法训练子分类器的样本集(xk,yk),其中,k为特征向量xi,j在多维特征空间中的编号,样本集(xk,yk)的总数为l,即k=1,2,…,l,yk∈{-1,1},表示样本集中特征向量xk的两类不同分类结果;

在多维特征空间中,若C12类像素与C3类像素线性可分,则第一子分类器采用第一类设计方法,若C12类像素与C3类像素线性不可分,则第一子分类器采用第二类设计方法;若C1类像素与C23类像素线性可分,则第二子分类器采用第一类设计方法,若C1类像素与C23类像素线性不可分,则第二子分类器采用第二类设计方法。

6.根据权利要求5所述的复杂光照条件下视觉导引系统的路径提取与识别方法,其特征在于,所述的图像照度分类器的子分类器的第一类设计方法如下:

1)寻找一对最优权值向量w*和最优偏置量b*,构建一个最优分类超平面:

wTxk+b=0  (4)

使得所有样本点的特征向量xk到最优分类超平面的分类距离dk最大:

2)针对分类距离最大化问题,采用Lagrange乘子α=[α1,α2,...,αl]T,(αk>0)进行对偶规划,在给定约束条件下:求解以下目标函数的最大值:

3)采用二次规划方法求解Lagrange乘子的最优解 则最优权值向

* *

量w和最优偏置量b为:

其中,xr和xs分别为两类像素样本集的特征向量中的任一支持向量;由此可得第一类设计方法的子分类器为:其中,x为待判断像素的特征向量,T为转置符号,f(x)为子分类器的输出值;对于第一子分类器,R1=f(x),对于第二子分类器,R2=f(x);

其中,所述的图像照度分类器的子分类器的第二类设计方法如下:利用核函数对样本进行非线性映射:H(xm,xn)=g(xm)g(xn)  (11)

则最优权值向量w*为:

由此可得第二类设计方法的子分类器为:

7.根据权利要求1所述的复杂光照条件下视觉导引系统的路径提取与识别方法,其特征在于,所述的步骤的4)中暗阴影区域的图像增强方法如下:

1)对暗阴影区域中的低照度像素p(i,j),将其按下式从YCbCr色彩空间转换到RGB色彩空间:

2)根据实际照度分布与标准照度值的比例关系,利用图像的亮度分量分布Y(i,j)代替图像所对应的实际照度分布,选取对应标准照度值的图像亮度值为Ymid,设I(i,j)为原始图像中像素点p(i,j)的红色分量R、绿色分量G和蓝色分量B中的某一个色彩分量,Iz(i,j)为经过图像增强后像素点p(i,j)的某一相应色彩分量,η为图像增强系数,则根据下式对低照度像素点p(i,j)的色彩分量进行放大增强:

3)对经过图像增强后的像素点p(i,j),将其按下式从RGB色彩空间转换回YCbCr色彩空间:

8.根据权利要求1所述的复杂光照条件下视觉导引系统的路径提取与识别方法,其特征在于,所述的步骤的5)中高亮光区域的光照差分色度模型的建模方法如下:对高亮光区域中的高照度像素点p(i,j),根据下式计算蓝色色度分量Cb与红色色度分量Cr的Cb-Cr色度差分值:ΔS(i,j)=Cb(i,j)-Cr(i,j)  (17)

在高亮光区域,统计高照度像素点p(i,j)的Cb-Cr色度差分值ΔS(i,j)与亮度分量Y(i,j)的对应关系,表征Cb-Cr色度差分值相对于照度变化规律的光照差分色度模型。

9.根据权利要求1或8所述的复杂光照条件下视觉导引系统的路径提取与识别方法,其特征在于,所述的步骤的5)中所述最大类间方差的阈值分割方法如下:对待分割图像,设其包含的像素灰度值范围为{0,1,2,...,l-1},灰度值为i的像素个数为ni,像素总数为nt,灰度值为i的像素出现的概率为:利用阈值k将图像分为两类G1={0,1,2,...,k}和G2={k+1,...,l-1},利用该阈值,像素被分到G1的概率为:像素被分到G2的概率为:

至k级的累加均值为:

图像的全局均值为:

类间方差为:

*

则使得取最大 取最大值的k 即为最佳阈值,对输入的待分割图像f(i,j),采用最佳阈值k*进行图像分割的二值化处理:

10.根据权利要求1所述的复杂光照条件下视觉导引系统的路径提取与识别方法,其特征在于,所述的步骤的7)中导引路径参数模型识别的粒子群优化方法如下:

1)按行扫描目标路径像素集P,记录路径左右边界点的像素位置Li1和Li2,根据下式计算第i行路径中点的列坐标: 记录该行路径的行坐标:yi=i,形成目标路径中心点集P0={(xi,yi)/i=1,2,…,n};

2)设导引路径的参数模型为:

y=β1x+β0  (26)

目标路径中心点集P0到参数模型的均方差为:

根据最小均方差准则对导引路径进行模型识别,采用粒子群优化方法进行非线性模型参数优化,定义式(27)为粒子群的适应度函数;

3)粒子群生成:在h维参数搜索空间,r个粒子组成种群Q={q1,q2,…,qr},即粒子群的规模为r;粒子群中第t个粒子为一个h维向量,即qt=[Qt1 Qt2…Qth]T,表示该粒子在搜索空间中的位置矢量,即参数优化的一个潜在解;第t个粒子的速度矢量为vt=[Vt1 Vt2…Vth]T;

4)粒子群初始化:选取目标路径中心点集P0的首尾两点,即(x1,y1)和(xn,yn),根据这两点坐标计算路径模型的初始化参数 和 利用所述参数对粒子群个体进行初始化,并对代间最优个体 和种群最优个体 进行初始化;根据式(27)计算初始粒子的适应度fint,并利用fint初始化粒子群的个体最优适应度fts和种群最优适应度fg,即fts=fint和fg=fint;设粒子群的最大进化次数为Nev,初始化粒子群进化代数u=1;设粒子群进化的速度范围为[Vmin,Vmax],位置范围为[Qmin,Qmax];

5)粒子群进化:针对第u(u=1,2,…,Nev)代粒子群中的r个粒子,根据下式计算最优个体均值:针对第t个粒子,根据下式计算其第d(d=1,2,…,h)个分量的惯性权重:

再根据下式计算其第d个分量的加速度因子:

针对第u代的第t个粒子,根据下式计算其第u+1代速度矢量的第d个分量:

其中,λ1和λ2为区间[0,1]中的随机数;若Vtd(u+1)超出速度范围[Vmin,Vmax],则将其调整到最近的速度边界值;

再根据下式计算其第u+1代位置矢量的第d个分量:

Qtd(u+1)=Qtd(u)+Vtd(u+1)  (32)

若Qtd(u+1)超出位置范围[Qmin,Qmax],则将其调整到最近的位置边界值;粒子群的进化代数加1,即u=u+1;

6)粒子群更新:针对第u代粒子群中第t个粒子qt(u),根据式(27)计算其适应度ft(u);

若第t个粒子第u代适应度优于其个体最优适应度,即ft(u)<fts,则更新第t个粒子的代间最优个体为 更新其个体最优适应度为fts=ft(u);否则不更新第t个粒子的代间最优个体和个体最优适应度;若第t个粒子第u代适应度优于种群最优适应度,即ft(u)<fg,则更新种群最优个体为qg=qt(u),更新种群最优适应度为fg=ft(u);否则不更新第u代的种群最优个体和种群最优适应度;

7)粒子群迭代:若粒子群的进化代数u>Nev,停止粒子群进化,输出种群最优个体qg,即为目标路径的模型参数;否则转至步骤5)继续粒子群的进化过程;

8)路径偏差计算:在世界坐标系下,利用下式计算移动机器人控制中心C(xc,yc)到路径中心轮廓线的距离偏差为:其中,Apix为摄像机成像放大倍数;

利用下式计算路径中心轮廓线与移动机器人前进方向的角度偏差为:

其中,β为摄像机安装误差角。

说明书 :

复杂光照条件下视觉导引系统的路径提取与识别方法

技术领域

[0001] 本发明属于计算机视觉检测及移动机器人视觉导航技术领域,具体指代一种复杂光照条件下视觉导引系统的路径提取与识别方法。

背景技术

[0002] 自动导引车(Automated guided vehicle,AGV)是一种可沿指定路径自动行驶并在不同工位点之间进行物料搬运的移动机器人,已广泛应用于汽车、电子、仓储和食品等行业的生产物流输送。相比于其它导引方式,视觉导引技术具有路径布局柔性大、测量精度高、设置成本低等优点。然而机器视觉系统的识别性能易受复杂环境光照变化的影响,在作业现场复杂多变的光照条件下实现机器视觉系统的稳定可靠运行,是提升视觉导引AGV复杂环境适应性的关键技术。
[0003] 基于视觉的自动导引车,其导引路径识别过程包括两个环节:路径特征提取和导引参数测量,而路径特征提取的精确性直接影响导引参数测量的精度。
[0004] 在视觉导引AGV的运行过程中,车载摄像机采集导引路径图像时需依靠视觉照明系统提供光照条件。而运行环境中不同地点的光照条件可能不断发生变化,并可能存在地面反光、强光照、暗阴影以及光照突变等各种复杂光照干扰现象,严重影响了车载摄像机所采集的导引路径图像质量。例如,在不同地点、时间和照明光源(包括车载LED光源、室内白炽灯和自然光)的环境中,车载摄像机采集的导引路径图像呈现不同的效果。而图像按照光照不均匀可以分为两类:一类是因光照不足出现的图像局部亮度值低,细节模糊无法辨认。一类是物体表面发生反光,出现高光现象,导致图像原始信息丢失且难以提取。复杂光照条件就是指由高亮光与暗阴影的随机出现而导致的图像照度及其区域分布的不规则动态变化。随着不同地点、不同时刻的复杂光照动态变化,地面背景与导引路径的颜色特征发生显著变化,路径识别算法的精确性和可靠性受到很大影响。为了保证视觉导引系统的性能稳定性,有必要对复杂光照条件下路径特征提取问题进行深入研究。
[0005] 在路径导引参数测量方面,目前常用的方法包括Hough变换法、最小均方差法、最小二乘法以及基于曲率角估计的拟合法,这些方法在理想光照环境下的导引精度较高,然而路径识别精度对图像分割错误点较敏感,无法保证复杂光照条件下视觉导引的精确性与可靠性。

发明内容

[0006] 针对于上述现有技术的不足,本发明的目的在于提供一种复杂光照条件下视觉导引系统的路径提取与识别方法,以解决现有技术中导引路径参数测量的方法,在理想光照环境下的导引精度较高,但无法保证复杂光照条件下视觉导引的精确性与可靠性的问题。
[0007] 为达到上述目的,本发明采用的技术方案如下:
[0008] 本发明的一种复杂光照条件下视觉导引系统的路径提取与识别方法,包括步骤如下:
[0009] 1)采集给视觉导引系统识别导引路径提供光照条件的照明光源以及造成光线遮挡的环境物体所共同形成的N幅复杂光照路径图像,包括N1幅具有高亮光区域的路径图像、N2幅具有暗阴影区域的路径图像和N3幅同时具有高亮光和暗阴影区域的路径图像;
[0010] 2)针对N幅复杂光照路径图像,通过摄像机成像原理统计复杂光照路径图像中同一像素点的光照照度与图像亮度分量的对应关系,以图像亮度分量代替光照照度,建立表征复杂光照下路径图像色彩分布规律的光照色彩模型,描述复杂光照路径图像的色度分量相对于亮度分量的变化情况;
[0011] 3)以采集的N幅复杂光照路径图像为样本图像,采用机器学习方法,设计一种区分复杂光照路径图像中高亮光区域、正常照度区域和暗阴影区域的图像照度分类器,并利用所述图像照度分类器区分复杂光照路径图像中的不同照度区域;
[0012] 4)针对复杂光照路径图像的暗阴影区域,将图像从YCbCr色彩空间转换到RGB色彩空间,根据光照色彩模型选取标准照度所对应的图像亮度值并进行图像增强,再将增强后的图像转换回YCbCr色彩空间;再采用最大类间方差的阈值分割方法,以蓝色色度分量Cb为分割条件,从图像背景区域中提取目标路径像素集P1;
[0013] 5)针对复杂光照路径图像的高亮光区域,根据光照色彩模型对蓝色色度分量Cb与红色色度分量Cr进行差分运算,从而获得表征图像Cb-Cr色度差分值相对于图像照度变化规律的光照差分色度模型;再采用最大类间方差的阈值分割方法,以Cb-Cr色度差分值为分割条件,从图像背景区域中提取目标路径像素集P2;
[0014] 6)针对复杂光照路径图像的正常照度区域,采用固定单阈值分割方法,以蓝色色度分量Cb为分割条件,从图像背景区域中提取目标路径像素集P3;
[0015] 7)针对分别从复杂光照路径图像的暗阴影区域、高亮光区域和正常照度区域所提取的所有目标路径像素集P,采用粒子群优化方法,识别像素集P所表示的导引路径的最优参数模型,并根据最优参数模型计算路径偏差。
[0016] 优选地,所述的步骤1)中复杂光照路径图像的采集方法如下:以地面铺设的导引路径为视觉导引系统的识别目标,在移动机器人的运行过程中,针对其车载照明光源、室内环境灯光、室外射入的自然光以及遮挡光源光线的环境物体,采集由于光源亮度变化、多个光源和环境物体相对于移动机器人的位置角度变化和空间分布变化而形成的具有高亮光或和暗阴影区域、明暗对比强烈、照度分布很不均匀的N幅复杂光照路径图像。
[0017] 优选地,所述的步骤的2)中光照色彩模型的建立方法如下:根据摄像机成像原理,分析出光照照度与图像亮度分量成线性相关,并通过实验验证:通过移动机器人的车载摄像机,拍摄不同光照照度条件下的导引路径图像;利用光照照度计测量车载摄像机光心位置处的光照照度E,在复杂光照路径图像中计算对应光心位置处的图像亮度分量Y;针对N幅复杂光照路径图像,统计光心位置处的图像亮度分量Y相对于光照照度E的变化规律;再以图像亮度分量Y代替光照照度E,针对每一幅复杂光照路径图像中的地面背景和目标路径部分,选取光照不均匀区域的像素点,分别统计其蓝色色度分量Cb、红色色度分量Cr与亮度分量Y的相关分布,建立表征复杂光照下路径图像色彩分布规律的光照色彩模型;根据蓝色色度分量Cb与图像亮度分量Y的相关分布,选择暗阴影区域和正常照度区域的初始分区阈值Yb1、正常照度区域和高亮光区域的初始分区阈值Yb2。
[0018] 优选地,所述的步骤的3)中图像照度分类器的设计方法如下:设暗阴影区域中低照度像素的集合为C1,正常照度区域中正常照度像素的集合为C2,高亮光区域中高照度像素的集合为C3,集合C12为集合C1和C2的并集,集合C23为集合C2和C3的并集;所述图像照度分类器包含第一子分类器和第二子分类器,所述第一子分类器根据其输出值R1将待判断的像素照度分为两类,输出值R1=1的像素属于C12类,输出值R1=-1的像素属于C3类;所述第二子分类器根据其输出值R2将待判断的像素照度分为两类,输出值R2=1的像素属于C23类,输出值R2=-1的像素属于C1类;当R1=1且R2=-1时,待判断的像素属于C1类的低照度像素;当R1=-1且R2=1时,待判断的像素属于C3类的高照度像素;当R1=1且R2=1时,待判断的像素属于C2类的正常照度像素;当R1=-1且R2=-1时,待判断的像素属于不可分像素,若其亮度分量Y小于初始分区阈值Yb1,则该像素属于低照度像素,若其亮度分量Y大于初始分区阈值Yb2,则该像素属于高照度像素,否则该像素属于正常照度像素。
[0019] 优选地,所述的图像照度分类器的子分类器的设计方法如下:针对路径图像中任一像素p(i,j),选取其亮度分量Y(i,j)、邻域平均亮度 亮度分量与蓝色色度分量Cb(i,j)之比K(i,j)组成该像素p(i,j)的特征向量xi,j,即
[0020]
[0021]
[0022]
[0023] 其中,i、j为像素在图像平面中的坐标,a为像素p(i,j)的邻域半径,m、n为像素p(i,j)邻域中像素的坐标;
[0024] 以采集的N幅复杂光照路径图像为样本图像,在特征向量xk所在的多维特征空间中,构建通过机器学习方法训练子分类器的样本集(xk,yk),其中,k为特征向量xi,j在多维特征空间中的编号,样本集(xk,yk)的总数为l,即k=1,2,…,l,yk∈{-1,1},表示样本集中特征向量xk的两类不同分类结果;
[0025] 在多维特征空间中,若C12类像素与C3类像素线性可分,则第一子分类器采用第一类设计方法,若C12类像素与C3类像素线性不可分,则第一子分类器采用第二类设计方法;若C1类像素与C23类像素线性可分,则第二子分类器采用第一类设计方法,若C1类像素与C23类像素线性不可分,则第二子分类器采用第二类设计方法。
[0026] 优选地,所述的图像照度分类器的子分类器的第一类设计方法如下:
[0027] 1)寻找一对最优权值向量w*和最优偏置量b*,构建一个最优分类超平面:
[0028] wTxk+b=0  (4)
[0029] 使得所有样本点的特征向量xk到最优分类超平面的分类距离dk最大:
[0030]
[0031] 2)针对分类距离最大化问题,采用Lagrange乘子α=[α1,α2,...,αl]T,(αk>0)进行对偶规划,在给定约束条件下:
[0032]
[0033] 求解以下目标函数的最大值:
[0034]
[0035] 3)采用二次规划方法求解Lagrange乘子的最优解 则最优权值向量w*和最优偏置量b*为:
[0036]
[0037]
[0038] 其中,xr和xs分别为两类像素样本集的特征向量中的任一支持向量;由此可得第一类设计方法的子分类器为:
[0039]
[0040] 其中,x为待判断像素的特征向量,T为转置符号,f(x)为子分类器的输出值;对于第一子分类器,R1=f(x),对于第二子分类器,R2=f(x)。
[0041] 优选地,所述的图像照度分类器的子分类器的第二类设计方法如下:利用核函数对样本进行非线性映射:
[0042] H(xm,xn)=g(xm)g(xn)  (11)
[0043] 则最优权值向量w*为:
[0044]
[0045] 由此可得第二类设计方法的子分类器为:
[0046]
[0047] 优选地,所述的步骤的4)中暗阴影区域的图像增强方法如下:
[0048] 1)对暗阴影区域中的低照度像素p(i,j),将其按下式从YCbCr色彩空间转换到RGB色彩空间:
[0049]
[0050] 2)根据实际照度分布与标准照度值的比例关系,利用图像的亮度分量分布Y(i,j)代替图像所对应的实际照度分布,选取对应标准照度值的图像亮度值为Ymid,设I(i,j)为原始图像中像素点p(i,j)的红色分量R、绿色分量G和蓝色分量B中的某一个色彩分量,Iz(i,j)为经过图像增强后像素点p(i,j)的某一相应色彩分量,η为图像增强系数,则根据下式对低照度像素点p(i,j)的色彩分量进行放大增强:
[0051]
[0052] 3)对经过图像增强后的像素点p(i,j),将其按下式从RGB色彩空间转换回YCbCr色彩空间:
[0053]
[0054] 优选地,所述的步骤的5)中高亮光区域的光照差分色度模型的建模方法如下:对高亮光区域中的高照度像素点p(i,j),根据下式计算蓝色色度分量Cb与红色色度分量Cr的Cb-Cr色度差分值:
[0055] ΔS(i,j)=Cb(i,j)-Cr(i,j)  (17)
[0056] 在高亮光区域,统计高照度像素点p(i,j)的Cb-Cr色度差分值ΔS(i,j)与亮度分量Y(i,j)的对应关系,表征Cb-Cr色度差分值相对于照度变化规律的光照差分色度模型。
[0057] 优选地,所述的步骤的5)中所述最大类间方差的阈值分割方法如下:
[0058] 对待分割图像,设其包含的像素灰度值范围为{0,1,2,...,l-1},灰度值为i的像素个数为ni,像素总数为nt,灰度值为i的像素出现的概率为:
[0059]
[0060]
[0061] 利用阈值k将图像分为两类G1={0,1,2,..,k}和G2={k+1,...,l-1},利用该阈值,像素被分到G1的概率为:
[0062]
[0063] 像素被分到G2的概率为:
[0064]
[0065] 至k级的累加均值为:
[0066]
[0067] 图像的全局均值为:
[0068]
[0069] 类间方差为:
[0070]
[0071] 则使得取最大 取最大值的k*即为最佳阈值,对输入的待分割图像f(i,j),采用最佳阈值k*进行图像分割的二值化处理:
[0072]
[0073] 优选地,所述的步骤的7)中导引路径参数模型识别的粒子群优化方法如下:
[0074] 1)按行扫描目标路径像素集P,记录路径左右边界点的像素位置Li1和Li2,根据下式计算第i行路径中点的列坐标: 记录该行路径的行坐标:yi=i,形成目标路径中心点集P0={(xi,yi)/i=1,2,…,n};
[0075] 2)设导引路径的参数模型为:
[0076] y=β1x+β0  (26)
[0077] 目标路径中心点集P0到参数模型的均方差为
[0078]
[0079] 根据最小均方差准则对导引路径进行模型识别,采用粒子群优化方法进行非线性模型参数优化,定义式(27)为粒子群的适应度函数;
[0080] 3)粒子群生成:在h维参数搜索空间,r个粒子组成种群Q={q1,q2,…,qr},即粒子群的规模为r;粒子群中第t个粒子为一个h维向量,即qt=[Qt1Qt2…Qth]T,表示该粒子在搜索空间中的位置矢量,即参数优化的一个潜在解;第t个粒子的速度矢量为vt=[Vt1Vt2…Vth]T;
[0081] 4)粒子群初始化:选取目标路径中心点集P0的首尾两点,即(x1,y1)和(xn,yn),根据这两点坐标计算路径模型的初始化参数 和 利用所述参数对粒子群个体进行初始化,并对代间最优个体 和种群最优个体 进行初始s
化;根据式(27)计算初始粒子的适应度fint,并利用fint初始化粒子群的个体最优适应度ft和种群最优适应度fg,即fts=fint和fg=fint;设粒子群的最大进化次数为Nev,初始化粒子群进化代数u=1;设粒子群进化的速度范围为[Vmin,Vmax],位置范围为[Qmin,Qmax];
[0082] 5)粒子群进化:针对第u(u=1,2,…,Nev)代粒子群中的r个粒子,根据下式计算最优个体均值:
[0083]
[0084] 针对第t个粒子,根据下式计算其第d(d=1,2,…,h)个分量的惯性权重:
[0085]
[0086] 再根据下式计算其第d个分量的加速度因子:
[0087]
[0088] 针对第u代的第t个粒子,根据下式计算其第u+1代速度矢量的第d个分量:
[0089]
[0090] 其中,λ1和λ2为区间[0,1]中的随机数;若Vtd(u+1)超出速度范围[Vmin,Vmax],则将其调整到最近的速度边界值;
[0091] 再根据下式计算其第u+1代位置矢量的第d个分量:
[0092] Qtd(u+1)=Qtd(u)+Vtd(u+1)  (32)
[0093] 若Qtd(u+1)超出位置范围[Qmin,Qmax],则将其调整到最近的位置边界值;粒子群的进化代数加1,即u=u+1;
[0094] 6)粒子群更新:针对第u代粒子群中第t个粒子qt(u),根据式(27)计算其适应度ft(u);若第t个粒子第u代适应度优于其个体最优适应度,即 则更新第t个粒子的代间最优个体为 更新其个体最优适应度为 否则不更新第t个粒子的代间最优个体和个体最优适应度;若第t个粒子第u代适应度优于种群最优适应度,即ft(u)
[0095] 7)粒子群迭代:若粒子群的进化代数u>Nev,停止粒子群进化,输出种群最优个体qg,即为目标路径的模型参数;否则转至步骤5)继续粒子群的进化过程;
[0096] 8)路径偏差计算:在世界坐标系下,利用下式计算移动机器人控制中心C(xc,yc)到路径中心轮廓线的距离偏差为:
[0097]
[0098] 其中,Apix为摄像机成像放大倍数;
[0099] 利用下式计算路径中心轮廓线与移动机器人前进方向的角度偏差为:
[0100]
[0101] 其中,β为摄像机安装误差角。
[0102] 本发明的有益效果:
[0103] 本发明对复杂光照路径图像采用机器学习方法进行图像照度区域分类,并分别对不同照度区域采取相应预处理,能够精确提取路径特征;采用粒子群优化算法对导引路径模型进行参数优化,识别路径最优模型,精确提取导引参数;在光照环境中同时存在高反光和暗阴影的运行路面,该方法具有较强的复杂光照适应性,提高视觉导引系统在复杂光照环境下的稳定性和准确性。

附图说明

[0104] 图1为本发明中复杂光照下视觉导引系统的路径提取与识别方法的系统流程图;
[0105] 图2a为具有高亮光区域的路径图像示意图;
[0106] 图2b为同时具有高亮光和暗阴影区域的路径图像示意图;
[0107] 图3为本发明中基于机器学习的路径图像照度区域分类方法流程图;
[0108] 图4a为具有高亮光区域的路径图像的二值化结果示意图;
[0109] 图4b为同时具有高亮光和暗阴影区域的路径图像的二值化结果示意图;
[0110] 图5为本发明中基于粒子群优化算法的路径模型参数寻优流程图;
[0111] 图6为本发明中路径偏差测量示意图;
[0112] 图中,线段MN为直线路径中心轮廓线,β为摄像机安装误差、O(0,0)为图像原点坐标、C(xc,yc)为摄像机光心坐标,ed为光心标C(xc,yc)到路径中心轮廓线的距离偏差。

具体实施方式

[0113] 为了便于本领域技术人员的理解,下面结合实施例与附图对本发明作进一步的说明,实施方式提及的内容并非对本发明的限定。
[0114] 参照图1所示,本发明中路径提取与识别方法主要包括两个阶段,路径特征提取和导引参数测量。其中路径特征提取包括路径图像照度区域分类、图像分区域预处理、图像分割等步骤;导引参数的测量包括路径中点轮廓信息提取、路径最优参数模型识别及偏差计算。而路径图像照度区域分类又包括离线机器学习和在线实时分类识别。
[0115] 本发明的复杂光照下视觉导引系统的路径提取与识别方法,具体包括:
[0116] 1)采集给视觉导引系统识别导引路径提供光照条件的照明光源以及造成光线遮挡的环境物体所共同形成的N幅复杂光照路径图像,包括N1幅具有高亮光区域的路径图像、N2幅具有暗阴影区域的路径图像和N3幅同时具有高亮光和暗阴影区域的路径图像;
[0117] 2)针对N幅复杂光照路径图像,通过摄像机成像原理统计复杂光照路径图像中同一像素点的光照照度与图像亮度分量的对应关系,以图像亮度分量代替光照照度,建立表征复杂光照下路径图像色彩分布规律的光照色彩模型,描述复杂光照路径图像的色度分量相对于亮度分量的变化情况;
[0118] 3)以采集的N幅复杂光照路径图像为样本图像,采用机器学习方法,设计一种区分复杂光照路径图像中高亮光区域、正常照度区域和暗阴影区域的图像照度分类器,并利用所述图像照度分类器区分复杂光照路径图像中的不同照度区域;
[0119] 4)针对复杂光照路径图像的暗阴影区域,将图像从YCbCr色彩空间转换到RGB色彩空间,根据光照色彩模型选取标准照度所对应的图像亮度值并进行图像增强,再将增强后的图像转换回YCbCr色彩空间;再采用最大类间方差的阈值分割方法,以蓝色色度分量Cb为分割条件,从图像背景区域中提取目标路径像素集P1;
[0120] 5)针对复杂光照路径图像的高亮光区域,根据光照色彩模型对蓝色色度分量Cb与红色色度分量Cr进行差分运算,从而获得表征图像Cb-Cr色度差分值相对于图像照度变化规律的光照差分色度模型;再采用最大类间方差的阈值分割方法,以Cb-Cr色度差分值为分割条件,从图像背景区域中提取目标路径像素集P2;
[0121] 6)针对复杂光照路径图像的正常照度区域,采用固定单阈值分割方法,以蓝色色度分量Cb为分割条件,从图像背景区域中提取目标路径像素集P3;
[0122] 7)针对分别从复杂光照路径图像的暗阴影区域、高亮光区域和正常照度区域所提取的所有目标路径像素集P,采用粒子群优化方法,识别像素集P所表示的导引路径的最优参数模型,并根据最优参数模型计算路径偏差。
[0123] 首先,以地面铺设的导引路径为视觉导引系统的识别目标,在移动机器人的运行过程中,针对其车载照明光源、室内环境灯光、室外射入的自然光等多种光源以及遮挡光源光线的环境物体,采集由于光源亮度变化、多个光源和环境物体相对于移动机器人的位置角度变化和空间分布变化而形成的具有高亮光或和暗阴影区域、明暗对比强烈、照度分布很不均匀的N幅复杂光照路径图像,如图2a,图2b所示。
[0124] 根据摄像机成像原理,得出光照照度与图像亮度分量成线性相关,并通过实验验证:通过移动机器人的车载摄像机,拍摄不同光照照度条件下的导引路径图像;利用光照照度计测量车载摄像机光心位置处的光照照度E,在复杂光照路径图像中计算对应光心位置处的图像亮度分量Y;针对N幅复杂光照路径图像,统计光心位置处的图像亮度分量Y相对于光照照度E的变化规律。再以图像亮度分量Y代替光照照度E,针对每一幅复杂光照路径图像中的地面背景和目标路径部分,选取光照不均匀区域的像素点,分别统计其蓝色色度分量Cb、红色色度分量Cr与图像亮度分量Y的相关分布,建立表征复杂光照下路径图像色彩分布规律的光照色彩模型;根据光照色彩模型,将路径图像分为暗阴影区域、正常照度区域和高亮光区域;根据蓝色色度分量Cb与亮度分量Y的相关分布,选择暗阴影区域和正常照度区域的初始分区阈值Yb1、正常照度区域和高亮光区域的初始分区阈值Yb2。
[0125] 然后采用机器学习方法获得图像照度分类的决策模型,具体步骤如下:
[0126] 1)设置类型及标签。设暗阴影区域中低照度像素的集合为C1,正常照度区域中正常照度像素的集合为C2,高亮光区域中高照度像素的集合为C3,集合C12为集合C1和C2的并集,集合C23为集合C2和C3的并集,分别将C12和C3、C23和C1看作两个2分类问题,构造两个子分类器。
[0127] 2)构建特征向量。针对路径图像中任一像素p(i,j),选取其亮度分量Y(i,j)、邻域平均亮度 亮度分量与蓝色色度分量之比K(i,j)组成该像素p(i,j)的特征向量xi,j,即
[0128]
[0129]
[0130]
[0131] 其中,i、j为像素在图像平面中的坐标,a为像素p(i,j)的邻域半径,m、n为像素p(i,j)邻域中像素的坐标。
[0132] 3)样本离线训练。以采集的N幅复杂光照路径图像为样本图像,在特征向量xk所在的多维特征空间中,构建通过机器学习方法训练子分类器的样本集(xk,yk),其中,k为特征向量xi,j在多维特征空间中的编号,样本集(xk,yk)的总数为l,即k=1,2,…,l,yk∈{-1,1},表示样本集中特征向量xk的两类不同分类结果。经过对两个子分类器的离线训练,得到两个分类决策模型R1、R2。
[0133] 在多维特征空间中,若C12类像素与C3类像素线性可分,则第一子分类器采用第一类设计方法,若C12类像素与C3类像素线性不可分,则第一子分类器采用第二类设计方法;若C1类像素与C23类像素线性可分,则第二子分类器采用第一类设计方法,若C1类像素与C23类像素线性不可分,则第二子分类器采用第二类设计方法;
[0134] 所述的图像照度分类器的子分类器的第一类设计方法如下:
[0135] 1)寻找一对最优权值向量w*和最优偏置量b*,构建一个最优分类超平面:
[0136] wTxk+b=0  (4)
[0137] 使得所有样本点的特征向量xk到最优分类超平面的分类距离dk最大:
[0138]
[0139] 2)针对分类距离最大化问题,采用Lagrange乘子α=[α1,α2,...,αl]T,(αk>0)进行对偶规划,在给定约束条件下:
[0140]
[0141] 求解以下目标函数的最大值:
[0142]
[0143] 3)采用二次规划方法求解Lagrange乘子的最优解 则最优权值向量w*和最优偏置量b*为:
[0144]
[0145]
[0146] 其中,xr和xs分别为两类像素样本集的特征向量中的任一支持向量;由此可得第一类设计方法的子分类器为:
[0147]
[0148] 其中,x为待判断像素的特征向量,T为转置符号,f(x)为子分类器的输出值;对于第一子分类器,R1=f(x),对于第二子分类器,R2=f(x);
[0149] 所述图像照度分类器的子分类器的第二类设计方法如下:利用核函数对样本进行非线性映射:
[0150] H(xm,xn)=g(xm)g(xn)  (11)
[0151] 则最优权值向量w*为:
[0152]
[0153] 由此可得第二类设计方法的子分类器为:
[0154]
[0155] 如图3所示,本发明所述第一子分类器根据其输出值R1将待判断的像素照度分为两类,输出值R1=1的像素属于C12类,输出值R1=-1的像素属于C3类;所述第二子分类器根据其输出值R2将待判断的像素照度分为两类,输出值R2=1的像素属于C23类,输出值R2=-1的像素属于C1类;当R1=1且R2=-1时,待判断的像素属于C1类的低照度像素;当R1=-1且R2=1时,待判断的像素属于C3类的高照度像素;当R1=1且R2=1时,待判断的像素属于C2类的正常照度像素;当R1=-1且R2=-1时,待判断的像素属于不可分像素,若其亮度分量Y小于初始分区阈值Yb1,则该像素属于低照度像素,若其亮度分量Y大于初始分区阈值Yb2,则该像素属于高照度像素,否则该像素属于正常照度像素。
[0156] 在通过机器学习离线获得路径图像照度区域分类器后,移动机器人在运行过程中,通过车载摄像机实时采集路径图像,并利用上述机器学习离线训练所得的分类器,对所采集的路径图像实现照度区域分类,然后对不同照度区域分布作相应预处理,具体方法如下:
[0157] 1)所述暗阴影区域的图像增强步骤如下:
[0158] 11)对暗阴影区域中的低照度像素p(i,j),将其按下式从YCbCr色彩空间转换到RGB色彩空间:
[0159]
[0160] 12)根据实际照度分布与标准照度值的比例关系,利用图像的亮度分量分布Y(i,j)代替图像所对应的实际照度分布,选取对应标准照度值的图像亮度值为Ymid,设I(i,j)为原始图像中像素点p(i,j)的红色分量R、绿色分量G和蓝色分量B中的某一个色彩分量,Iz(i,j)为经过图像增强后像素点p(i,j)的某一相应色彩分量,η为图像增强系数,则根据下式对低照度像素点p(i,j)的色彩分量进行放大增强:
[0161]
[0162] 13)对经过图像增强后的像素点p(i,j),将其按下式从RGB色彩空间转换回YCbCr色彩空间:
[0163]
[0164] 对高亮光区域中的高照度像素点p(i,j),根据下式计算蓝色色度分量Cb与红色色度分量Cr的Cb-Cr色度差分值:
[0165] ΔS(i,j)=Cb(i,j)-Cr(i,j)  (17)
[0166] 2)在高亮光区域,统计高照度像素点p(i,j)的Cb-Cr色度差分值ΔS(i,j)与亮度分量Y(i,j)的对应关系,表征Cb-Cr色度差分值相对于照度变化规律的光照差分色度模型;
[0167] 所述最大类间方差的阈值分割方法如下:对待分割图像,设其包含的像素灰度值范围为{0,1,2,...,l-1},灰度值为i的像素个数为ni,像素总数为,灰度值为i的像素出现的概率为:
[0168]
[0169]
[0170] 利用阈值k将图像分为两类G1={0,1,2,...,k}和G2={k+1,...,l-1},利用该阈值,像素被分到G1的概率为:
[0171]
[0172] 像素被分到G2的概率为:
[0173]
[0174] 至k级的累加均值为:
[0175]
[0176] 图像的全局均值为:
[0177]
[0178] 类间方差为:
[0179]
[0180] 则使得 取最大值的k*即为最佳阈值,对输入的待分割图像f(i,j),采用最佳阈值k*进行图像分割的二值化处理:
[0181]
[0182] 图4a为具有高亮光区域的路径图像的二值化结果示意图;图4b为同时具有高亮光和暗阴影区域的路径图像的二值化结果示意图。
[0183] 导引路径识别的第二阶段为基于粒子群优化算法的导引路径最优参数模型识别设导引路径的参数模型为:
[0184] y=β1x+β0  (26)
[0185] 目标路径中心点集到参数模型的均方差为:
[0186]
[0187] 如图5所示,为求得路径模型的最优参数,利用粒子群优化算法,将式(27)作为目标函数,进行参数寻优,具体步骤如下:
[0188] 1)按行扫描目标路径像素集P,记录路径左右边界点的像素位置Li1和Li2,根据下式计算第i行路径中点的列坐标: 记录该行路径的行坐标:yi=i,形成目标路径中心点集P0={(xi,yi)/i=1,2,…,n};
[0189] 2)根据最小均方差准则对导引路径进行模型识别,采用粒子群优化方法进行非线性模型参数优化,定义式(27)为粒子群的适应度函数;
[0190] 3)粒子群生成:在h维参数搜索空间,r个粒子组成种群Q={q1,q2,…,qr},即粒子群的规模为r;粒子群中第t个粒子为一个h维向量,即qt=[Qt1Qt2…Qth]T,表示该粒子在搜索T空间中的位置矢量,即参数优化的一个潜在解;第t个粒子的速度矢量为vt=[Vt1Vt2…Vth];
[0191] 4)粒子群初始化:选取目标路径中心点集P0的首尾两点,即(x1,y1)和(xn,yn),根据这两点坐标计算路径模型的初始化参数 和 利用所述参数对粒子群个体进行初始化,并对代间最优个体 和种群最优个体 进行初始化;根据式(27)计算初始粒子的适应度fint,并利用fint初始化粒子群的个体最优适应度fts和种群最优适应度fg,即fts=fint和fg=fint;设粒子群的最大进化次数为Nev,初始化粒子群进化代数u=1;设粒子群进化的速度范围为[Vmin,Vmax],位置范围为[Qmin,Qmax];
[0192] 5)粒子群进化:针对第u(u=1,2,…,Nev)代粒子群中的r个粒子,根据下式计算最优个体均值:
[0193]
[0194] 针对第t个粒子,根据下式计算其第d(d=1,2,…,h)个分量的惯性权重:
[0195]
[0196] 再根据下式计算其第d个分量的加速度因子:
[0197]
[0198] 针对第u代的第t个粒子,根据下式计算其第u+1代速度矢量的第d个分量:
[0199]
[0200] 其中,λ1和λ2为区间[0,1]中的随机数;若Vtd(u+1)超出速度范围[Vmin,Vmax],则将其调整到最近的速度边界值;
[0201] 再根据下式计算其第u+1代位置矢量的第d个分量:
[0202] Qtd(u+1)=Qtd(u)+Vtd(u+1)  (32)
[0203] 若Qtd(u+1)超出位置范围[Qmin,Qmax],则将其调整到最近的位置边界值;粒子群的进化代数加1,即u=u+1;
[0204] 6)粒子群更新:针对第u代粒子群中第t个粒子qt(u),根据式(27)计算其适应度ft(u);若第t个粒子第u代适应度优于其个体最优适应度,即 则更新第t个粒子的代间最优个体为 更新其个体最优适应度为 否则不更新第t个粒子的代间最优个体和个体最优适应度;若第t个粒子第u代适应度优于种群最优适应度,即ft(u)
[0205] 7)粒子群迭代:若粒子群的进化代数u>Nev,停止粒子群进化,输出种群最优个体qg,即为目标路径的模型参数;否则转至步骤5)继续粒子群的进化过程。
[0206] 如图6所示,线段MN表示路径图像中心轮廓线,β为摄像机安装误差、O(0,0)为图像原点坐标、C(xc,yc)为摄像机光心坐标,ed为光心标C(xc,yc)到路径中心轮廓线的距离偏差。
[0207] 在世界坐标系下,利用式(33)计算移动机器人控制中心C到路径中心轮廓线的距离偏差为:
[0208]
[0209] 其中,Apix为摄像机成像放大倍数。
[0210] 利用式(34)计算路径中心轮廓线与移动机器人前进方向的角度偏差为:
[0211]
[0212] 其中,β为摄像机安装误差角。
[0213] 本发明具体应用途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进,这些改进也应视为本发明的保护范围。