一种具有社交意识的移动式服务机器人路径规划系统和方法转让专利

申请号 : CN202210689092.3

文献号 : CN115129049B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 刘勇华刘康维袁旺李文智张戈猛黄纪杰邹锦荣苏春翌

申请人 : 广东工业大学

摘要 :

本发明公开了一种具有社交意识的移动式服务机器人路径规划系统和方法,该系统包括人体检测模块和运动规划模块;人体检测模块用于读取包含深度的图片信息,检测人体且区分目标对象与非目标对象,并计算获取所有人体的位置和朝向信息;运动规划模块用于为移动式服务机器人规划一条具有社交意识的运动路径,运动路径规划同时符合三条社交行为准则:a)驱往目标对象时迎面靠近目标;b)避让过程中预测和考虑他人的运动意图;c)运动过程中遵循“右侧避让”规范。本发明解决了现有移动式服务机器人在社交场合的运动行为不具备社交意识的问题,可实现移动式服务机器人在社会环境中拟人化的自主导航。

权利要求 :

1.一种具有社交意识的移动式服务机器人路径规划系统,其特征在于:包括人体检测模块和运动规划模块;

所述人体检测模块用于读取包含深度的图片信息,检测人体且区分目标对象与非目标对象,并计算获取所有人体的位置和朝向信息;

所述运动规划模块用于为移动式服务机器人规划一条具有社交意识的运动路径,运动路径规划同时符合三条社交行为准则:a)驱往目标对象时迎面靠近目标;b)避让过程中预测和考虑他人的运动意图;c)运动过程中遵循“右侧避让”规范;

所述运动规划模块包括第一运动规划子模块和第二运动规划子模块,所述第一运动规划子模块用于通过引力势场使所述移动式服务机器人驱往目标对象,所述第二运动规划子模块用于通过斥力势场使所述移动式服务机器人避开非目标对象;

所述引力势场基于引力势能函数Ut产生,Ut表示为:

2 T T

其中,r=||l|| ,l=PR‑PT,PR=[xR,yR]表示机器人的中心点位置,PT=[xT,yT] 表示目标点的位置,r表示机器人的中心点与目标点之间的距离,n、μ均为可调参数,αo=ε+δ表示人工障碍物,其中,ε为常数,δ起到调节人工障碍的作用,引导机器人趋近目标对象时修正姿态,确保机器人到达目标对象时,机器人的姿态同时收敛到与目标对象朝向对齐的角度,T 2 T即使得机器人迎面接近目标对象;δ=||lB|| ,B为目标点方向向量,B=[cosθL,sinθL] ,其中θL为目标对象在全局坐标系下的朝向角,而 ρw为操作空间半径;

引力势场产生的引力Fg在X轴和Y轴方向上的分力可通过求偏导运算获得,具体公式如下:其中, 表示Fg在X轴方向上的分力, 表示Fg在Y轴上的分力;

所述斥力势场的计算具体包括以下步骤:

步骤S81:通过上一时刻行人的位置 和这一时刻行人的位置推测下一时刻行人的位置

步骤S82:将相邻两时刻行人的位移记录为 其中对障碍物进行概率学分析,得到障碍物的期望值μx,i、μy,i,方差σx,i、σy,i、协方差σxy,i和相关系数ρxy,i;

步骤S83:将坐标系分为若干个栅格,得到每个栅格的概率密度函数Uop(m,n):步骤S84:在坐标系的X轴、Y轴方向求偏导运算,得到梯度场即概率势场:步骤S85:根据势场梯度,计算得到概率势场产生的斥力为一个列向量其中,在X轴、Y轴方向上的分力为:

其中, 表示Fp在X轴方向上的分力, 表示Fp在Y轴上的分力;

将概率势场产生的斥力右旋一定的角度得到旋转斥力,将旋转斥力定义为一个列向量可表示为:Fr=RvFp    (16)

其中,Rv为旋转矩阵,其定义如下:

其中,β为偏转系数,β取值范围为[0,π/2];

旋转斥力Fr在X轴、Y轴方向上的分力为:

根据力的合成原理,将引力势场的引力和斥力势场的两种斥力相加,得到计算合力F的公式:F=Fg+Fp+Fr    (20)

其中,F在X轴、Y轴方向上的分力为:

根据合力的大小和方向计算出势场法规划的移动式服务机器人速度v和下一时刻期望的航向角θ:其中,v0、d0均定义为一个常数,按实际情况取值。

2.一种具有社交意识的移动式服务机器人路径规划方法,其特征在于:应用于权利要求1中所述具有社交意识的移动式服务机器人路径规划系统,所述系统包括移动式服务机器人,所述方法包括以下步骤:步骤S1:采集图片信息,所述图片信息包括人体信息和物体信息;

步骤S2:接收和分析所述图片信息,通过骨骼识别检测人体,并获取人体的位置和朝向信息;

步骤S3:通过人脸识别区分目标对象和非目标对象;

步骤S4:根据人体的位置和朝向信息,采用人工势场算法规划移动式服务机器人的运动路径,机器人按照社交准则驱近目标对象并合理避让非目标对象,人工势场算法包括引力势场和斥力势场,所述引力势场基于引力势能函数Ut产生,Ut表示为:

2 T T

其中,r=||l|| ,l=PR‑PT,PR=[xR,yR]表示机器人的中心点位置,PT=[xT,yT] 表示目标点的位置,r表示机器人的中心点与目标点之间的距离,n、μ均为可调参数,αo=ε+δ表示人工障碍物,其中,ε为常数,δ起到调节人工障碍的作用,引导机器人趋近目标对象时修正姿态,确保机器人到达目标对象时,机器人的姿态同时收敛到与目标对象朝向对齐的角度,T 2 T即使得机器人迎面接近目标对象;δ=||lB|| ,B为目标点方向向量,B=[cosθL,sinθL] ,其中θL为目标对象在全局坐标系下的朝向角,而 ρw为操作空间半径;

引力势场产生的引力Fg在X轴和Y轴方向上的分力可通过求偏导运算获得,具体公式如下:其中, 表示Fg在X轴方向上的分力, 表示Fg在Y轴上的分力;

所述斥力势场的计算具体包括以下步骤:

步骤S81:通过上一时刻行人的位置 和这一时刻行人的位置推测下一时刻行人的位置

步骤S82:将相邻两时刻行人的位移记录为 其中对障碍物进行概率学分析,得到障碍物的期望值μx,i、μy,i,方差σx,i、σy,i、协方差σxy,i和相关系数ρxy,i;

步骤S83:将坐标系分为若干个栅格,得到每个栅格的概率密度函数Uop(m,n):步骤S84:在坐标系的X轴、Y轴方向求偏导运算,得到梯度场即概率势场:步骤S85:根据势场梯度,计算得到概率势场产生的斥力为一个列向量其中,在X轴、Y轴方向上的分力为:

其中, 表示Fp在X轴方向上的分力, 表示Fp在Y轴上的分力;

将概率势场产生的斥力右旋一定的角度得到旋转斥力,将旋转斥力定义为一个列向量可表示为:Fr=RvFp    (16)

其中,Rv为旋转矩阵,其定义如下:

其中,β为偏转系数,β取值范围为[0,π/2];

旋转斥力Fr在X轴、Y轴方向上的分力为:

根据力的合成原理,将引力势场的引力和斥力势场的两种斥力相加,得到计算合力F的公式:F=Fg+Fp+Fr    (20)

其中,F在X轴、Y轴方向上的分力为:

根据合力的大小和方向计算出势场法规划的移动式服务机器人速度v和下一时刻期望的航向角θ:其中,v0、d0均定义为一个常数,按实际情况取值。

3.根据权利要求2所述的一种具有社交意识的移动式服务机器人路径规划方法,其特征在于:步骤S2中,骨骼识别具体包括以下步骤:步骤S21:发送红外线并接收反射回的红外线,计算往返红外线的时间差,采集3D深度图像;

步骤S22:分割3D深度图像,剔除除人体之外的背景图像,将剩余图像转换成深度值作为训练样本;

步骤S23:以身体部位作为标签对应分离训练样本并以此训练分类器直至分类器能够识别指定的3D深度图像对应身体部位的类别;

步骤S24:确定身体部位的关节,追踪对应的关节点并生成骨骼。

4.根据权利要求3所述的一种具有社交意识的移动式服务机器人路径规划方法,其特征在于:步骤S24中,在生成骨骼的过程中,人体在全局坐标系下的位姿信息可通过机器人T当前位姿信息计算获得,移动式服务机器人的位姿表示为:PF=[xF,yF,θF] ,其中xF,yF,θF分别表示机器人在全局坐标系下的X轴坐标、Y轴坐标以及航向角,机器人运动状态表示为:qT=[vF,ωF] ,vF,ωF分别表示移动式服务机器人的线速度以及角速度;目标人体的位姿表示T为PL=[xL,yL,θL] ,其中xL,yL,θL分别表示目标人体在全局坐标系下的X轴坐标、Y轴坐标以及朝向角;

根据公式(1)、(2)计算出目标人体的位置:xL=xF+lLF cos(θF+θK)+d cosθF    (1)yL=yF+lLF sin(θF+θK)+d sinθF    (2)其中,lLF为目标人体与摄像头的水平位置距离, xc和yc可由目标检测模块的深度摄像头的深度信息获得,θK为目标人体在摄像头坐标系下的方位角,d为轮椅中心到摄像头的距离;目标人体的当前朝向角θL可通过骨骼识别算法检测人体关节点获得。

5.根据权利要求2所述的一种具有社交意识的移动式服务机器人路径规划方法,其特征在于:步骤S2中,人脸识别具体包括以下步骤:步骤S31:采集图像流,把其中有用的特征挑选出来,并在图像中准确定位出人脸的位置;

步骤S32:对人脸图像进行预处理,主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化;

步骤S33:根据人脸的形状描述以及人脸间的距离特性,获得人脸图像分类的特征数据,所述特征数据包括特征点间的欧氏距离、角度和曲率;

步骤S34:将提取出来人脸图像的特征数据与人脸数据库中储存的特征模板进行搜索匹配,计算出相似度值,若相似度值大于或者等于系统设置的阈值,则输出匹配结果。

说明书 :

一种具有社交意识的移动式服务机器人路径规划系统和方法

技术领域

[0001] 本发明涉及移动式服务机器人路径规划技术领域,特别是一种具有社交意识的移动式服务机器人路径规划系统和方法。

背景技术

[0002] 移动式服务机器人被广泛应用于动态的社会场景中,如商场、餐厅、车站等。在这些场景中,移动式服务机器人不仅仅需要具备安全性、自主性,同时机器人的社交意识也尤为重要。服务机器人在社会场景中的行为会影响人类的感受,因此人们期望服务机器人在社会环境中表现出良好的行为举止,遵循社交礼仪和社交准则。
[0003] 现有技术中,大多数移动式服务机器人在规划路径时仅仅力求高效驱往目标对象并安全避开障碍物,没有考虑运动过程中应该遵循的礼仪规范。实际的社交场合中,迎面趋近交流对象更能提高人机交互的舒适感,再者,避让他人过程中预测对方运动意图并基于对方的运动趋势合理避障更能体现机器人的服务意识,同时,运动过程中遵循“右避让”原则可体现机器人具有拟人化的行为意识。

发明内容

[0004] 针对上述缺陷,本发明提出了一种具有社交意识的移动式服务机器人路径规划系统和方法,其目的在于解决现有服务移动式服务机器人在社交场合的运动行为不具备社交意识的问题。
[0005] 为达此目的,本发明采用以下技术方案:
[0006] 一种具有社交意识的移动式服务机器人路径规划系统,包括人体检测模块和运动规划模块;
[0007] 所述人体检测模块用于读取包含深度的图片信息,检测人体且区分目标对象与非目标对象,并计算获取所有人体的位置和朝向信息;
[0008] 所述运动规划模块用于为移动式服务机器人规划一条具有社交意识的运动路径,所述运动路径规划同时符合三条社交行为准则:a)驱往目标对象时迎面靠近目标;b)避让过程中预测和考虑他人的运动意图;c)运动过程中遵循“右侧避让”规范。
[0009] 优选地,所述运动规划模块包括第一运动规划子模块和第二运动规划子模块;所述第一运动规划子模块用于通过引力势场使所述移动式服务机器人驱往目标对象;所述第二运动规划子模块用于通过斥力势场使所述移动式服务机器人避开非目标对象。
[0010] 本申请的另一方面提供了一种具有社交意识的移动式服务机器人路径规划方法,所述系统包括移动式服务机器人,所述方法包括以下步骤:
[0011] 步骤S1:采集图片信息,所述图片信息包括人体信息和物体信息;
[0012] 步骤S2:接收和分析所述图片信息,通过骨骼识别检测人体,并获取人体的位置和朝向信息;
[0013] 步骤S3:通过人脸识别区分目标与非目标对象;
[0014] 步骤S4:根据人体的位置和朝向信息,采用人工势场算法规划移动式服务机器人的运动路径,机器人按照社交准则驱近目标对象并合理避让非目标对象。
[0015] 优选地,步骤S2中,骨骼识别具体包括以下步骤:
[0016] 步骤S21:发送红外光线并接收反射回来的红外光线,计算往返红外光线的时间差,采集3D深度图像;
[0017] 步骤S22:分割3D深度图像,剔除除人体之外的背景图像,将剩余图像转换成深度值作为训练样本;
[0018] 步骤S23:以身体部位作为标签对应分离训练样本并以此训练分类器直至分类器能够识别指定的3D深度图像对应身体部位的类别;
[0019] 步骤S24:确定身体部位的关节,追踪对应的关节点并生成骨骼。
[0020] 优选地,步骤S24中,在生成骨骼的过程中,人体在全局坐标系下的位姿信息可通过机器人当前位姿信息计算获得,如图3所示,移动式服务机器人的位姿表示为:PF=[xF,TyF,θF] ,其中xF,yF,θF分别表示机器人在全局坐标系下的X轴坐标、Y轴坐标以及航向角,机T
器人运动状态表示为:q=[vF,ωF] ,vF,ωF分别表示移动式服务机器人的线速度以及角速T
度;目标人体的位姿表示为PL=[xL,yL,θL] ,其中xL,yL,θL分别表示目标人体在全局坐标系下的X轴坐标、Y轴坐标以及朝向角;
[0021] 根据公式(1)、(2)计算出目标人体的位置:
[0022] xL=xF+lLFcos(θF+θK)+d cosθF  (1)
[0023] yL=yF+lLFsin(θF+θK)+d sinθF  (2)
[0024] 其中,lLF为目标人体与摄像头的水平位置距离, xc和yc可由目标检测模块的深度摄像头的深度信息获得,θK为目标人体在摄像头坐标系下的方位角,d为轮椅中心到摄像头的距离;目标人体的当前朝向角θL可通过骨骼识别算法检测人体关节点获得。
[0025] 优选地,步骤S3中,人脸识别具体包括以下步骤:
[0026] 步骤S31:采集图像流,把其中有用的特征挑选出来,并在图像中准确定位出人脸的位置;
[0027] 步骤S32:对人脸图像进行预处理,主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化;
[0028] 步骤S33:根据人脸的形状描述以及人脸间的距离特性,获得人脸图像分类的特征数据,所述特征数据包括特征点间的欧氏距离、角度和曲率;
[0029] 步骤S34:将提取出来人脸图像的特征数据与数据库中储存的特征模板进行搜索匹配,计算出相似度值,若相似度值大于或者等于系统设置的阈值,则输出匹配结果。
[0030] 优选地,步骤S4中,人工势场算法包括引力势场和斥力势场,其中,所述引力势场基于引力势能函数Ut产生,Ut表示为:
[0031]
[0032] 其中,r=||l||2,l=PR‑PT,PR=[xR,yR]T表示机器人的中心点位置,PT=[xT,yT]T表示目标点的位置,r表示机器人的中心点与目标点之间的距离,n、μ均为可调参数,αo=ε+δ表示人工障碍物,其中,ε为常数,δ起到调节人工障碍的作用,引导机器人趋近目标对象时修正姿态,确保机器人到达目标对象时,机器人的姿态同时收敛到与目标对象朝向对齐的T角度,即使得机器人迎面接近目标对象;B=[cosθL,sinθL] ,其中θ为目标对象在全局坐标系下的朝向角而 ρw为操作空间半径;
[0033] 引力势能的梯度场为引力势场,引力势场产生的引力Fg在X轴和Y轴方向上的分力可通过求偏导运算获得,具体公式如下:
[0034]
[0035]
[0036] 其中, 表示Fg在X轴方向上的分力, 表示Fg在Y轴方向上的分力。
[0037] 优选地,所述斥力的计算具体包括以下步骤:
[0038] 步骤S81:通过上一时刻行人的位置 和这一时刻行人的位置 推测下一时刻行人的位置
[0039]
[0040] 步骤S82:将相邻两时刻行人的位移记录为 其中对障碍物进行概率学分析,得到障碍物的期望值μx,i、μy,i,方差σx,i、
σy,i、协方差σxy,i和相关系数ρxy,i;
[0041]
[0042]
[0043]
[0044]
[0045] 步骤S83:将坐标系分为若干个栅格,得到每个栅格的概率密度函数Uop(m,n):
[0046]
[0047] 步骤S84:在坐标系的X轴、Y轴方向求偏导运算,得到势场梯度:
[0048]
[0049]
[0050] 步骤S85:根据势场梯度计算得到概率势场,势场的斥力为一个列向量其中,在X轴、Y轴方向上的分力为:
[0051]
[0052]
[0053] 其中, 表示Fp在X轴上的分力, 表示Fp在Y轴上的分力;
[0054] 将概率势场产生的斥力右旋一定的角度得到旋转斥力,将旋转斥力定义为一个列向量 可表示为:
[0055] Fr=RvFp  (16)
[0056] 其中,Rv为旋转矩阵,其定义如下:
[0057]
[0058] 其中,β为偏转系数,β取值范围为[0,π/2];
[0059] 旋转斥力Fr在X轴、Y轴方向上的分力为:
[0060]
[0061]
[0062] 根据力的合成原理,将引力势场的引力和斥力势场的两种斥力相加,得到计算合力F的公式:
[0063] F=Fg+Fp+Fr  (20)
[0064] 其中,F在X轴、Y轴方向上的分力为:
[0065]
[0066]
[0067] 根据合力的大小和方向计算出势场法规划的移动式服务机器人速度v和下一时刻期望的航向角θ:
[0068]
[0069]
[0070] 其中,v0、d0均定义为一个常数,按实际情况取值。
[0071] 本申请实施例提供的技术方案可以包括以下有益效果:
[0072] 本方案的一种具有社交意识的移动式服务机器人路径规划系统通过所述深度摄像头实施检测拍摄视野中的人体,区分目标对象和避让对象并识别获取周围这些人体的运动信息,利用符合社交准则的人工势场算法结合人体的位置和朝向信息规划轨迹,实现机器人迎面驱往目标对象时按照社交准则合理避让其他非目标对象。

附图说明

[0073] 图1为移动式服务机器人的后视图;
[0074] 图2为移动式服务机器人的侧视图;
[0075] 图3为一实施例的示意图;
[0076] 图4为导航算法流程图。
[0077] 其中,1、移动式服务机器人;11、安装架;12、电源组件;13、主控组件;14、运动组件;15、感知组件;16、显示器;111、第一安装板;112、第二安装板;113、连接杆;130、工控机;141、驱动器;142、直流电机;143、光电编码器;144、减速器;145、驱动轮;150、深度摄像头。

具体实施方式

[0078] 下面详细描述本发明的实施方式,实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
[0079] 一种具有社交意识的移动式服务机器人路径规划系统,包括移动式服务机器人和运动规划模块,所述移动式服务机器人包括人体检测模块;
[0080] 所述人体检测模块用于读取包含深度的图片信息,检测人体且区分目标对象与非目标对象,并计算获取所有人体的位置和朝向信息;
[0081] 所述运动规划模块用于为移动式服务机器人规划一条具有社交意识的运动路径,所述运动路径规划同时符合三条社交行为准则:a)驱往目标对象时迎面靠近目标;b)避让过程中预测和考虑他人的运动意图;c)运动过程中遵循“右侧避让”规范。
[0082] 本实施例中,如图1‑2,移动式服务机器人1具体包括安装架11、电源组件12、主控组件13、运动组件14以及感知组件15;
[0083] 所述安装架11包括第一安装板111和第二安装板112,所述第二安装板112通过连接杆113安装于所述第一安装板111的下方;
[0084] 所述电源组件12安装于所述第二安装板112,所述电源组件12用于给所述主控组件13供电,所述主控组件13包括工控机130,所述运动组件14包括驱动器141、直流电机142、光电编码器143、减速器144和驱动轮145,所述感知组件15包括深度摄像头150;所述驱动器141和所述光电编码器143均安装于所述第一安装板111的底面;所述减速器144安装于所述第二安装板112,所述减速器144的驱动端连接有所述驱动轮145;所述直流电机142安装于所述减速器144的顶部;所述深度摄像头150安装于所述第一安装板111;所述工控机130安装于所述电源组件12。
[0085] 进一步说明,所述电源组件12包括24V直流电源,24V直流电源通过与24V‑12V变压器连接,给所述移动式服务机器人1中的显示器16提供12V直流电压;所述深度摄像头150、所述驱动器141和所述工控机130则直接由24V直流电源提供24V直流电压。所述主控组件13由所述工控机130组成,用于集中分析处理来自所述运动组件14和所述感知组件15的信息,并调整和发送控制指令,控制移动式服务机器人运动。其中,所述感知组件15中,所述深度摄像头150通过USB接口与所述工控机130相连接,所述深度摄像头150采集人体和周围环境的信息,再将所测的信息数据发送到所述工控机130,提供环境特征,用于路径规划,保证行驶过程安全;所述运动组件14中,所述驱动器141、直流电机142以及所述光电编码器143组成一个闭环的整体结构,通过CAN总线与所述工控机130进行数据传输,并通过接收所述工控机130的运动指令,控制所述驱动轮145的速度和方向。
[0086] 人体检测模块主要是通过移动式服务机器人中的深度摄像头150检测的,运动规划模块主要是根据规划路径并按照运动指令控制移动式服务机器人运动。
[0087] 本方案的一种具有社交意识的移动式服务机器人路径规划系统通过所述深度摄像头150实施检测拍摄视野中的人体,区分目标对象和避让对象并识别获取周围这些人体的运动信息,利用符合社交准则的人工势场算法结合人体的位置和朝向信息规划轨迹,实现机器人迎面驱往目标对象时按照社交准则合理避让其他非目标对象。
[0088] 优选的,所述运动规划模块包括第一运动规划子模块和第二运动规划子模块;所述第一运动规划子模块用于通过引力势场使所述移动式服务机器人驱往目标对象;所述第二运动规划子模块用于通过斥力势场使所述移动式服务机器人避开非目标对象。
[0089] 本实施例中,所述第一运动规划子模块通过引力势场使得所述移动式服务机器人1驱往目标对象时以面对面的方式靠近;所述第二运动规划子模块通过所述斥力势场为所述移动式服务机器人1提供避障过程中预测和考虑他人的运动意图的能力,以及避障过程中遵循“右侧避让”规范的能力。
[0090] 本申请的另一方面提供了一种具有社交意识的移动式服务机器人路径规划方法,所述方法包括以下步骤:
[0091] 步骤S1:采集图片信息,所述图片信息包括人体信息和物体信息;
[0092] 步骤S2:接收和分析所述图片信息,通过骨骼识别和人脸识别检测人体且区分目标对象和非目标对象,并获取人体的位置和朝向信息;
[0093] 步骤S3:根据人体的位置和朝向信息,采用人工势场算法计算移动式服务机器人的规划路径,基于规划路径生成移动式服务机器人的运动指令;
[0094] 步骤S4:根据人体的位置和朝向信息,采用人工势场算法规划移动式服务机器人的运动路径,机器人按照社交准则驱近目标对象并合理避让非目标对象。
[0095] 本方案中,如图1、2、4,深度摄像头150采集拍摄视野中的图片信息,将采集到的图片信息发送到主控组件13进行分析和处理,此时,人体检测模块读取包含深度的图片信息,结合骨骼识别技术和人脸识别技术检测人体且区分目标对象与非目标对象,并计算获取所有人体的位置和朝向信息;运动规划模块根据人体的位置和朝向信息,采用符合社交准则的人工势场算法计算移动式服务机器人的规划路径。主控组件13根据计算得到的规划路径,对移动式服务机器人1的运动组件14发送运动指令,运动指令指的是使运动组件14运行的指令,从而使得移动式服务机器人1按照规划路径运动,实现移动式服务机器人迎面驱往目标对象时按照社交准则合理避让其他非目标对象。
[0096] 优选的,步骤S2中,骨骼识别具体包括以下步骤:
[0097] 步骤S21:发送红外光线并接收反射回来的红外光线,计算往返红外光线的时间差,采集3D深度图像;
[0098] 步骤S22:分割3D深度图像,剔除除人体之外的背景图像,将剩余图像转换成深度值作为训练样本;
[0099] 步骤S23:以身体部位作为标签对应分离训练样本并以此训练分类器直至分类器能够识别指定的3D深度图像对应身体部位的类别;
[0100] 步骤S24:确定身体部位的关节,追踪对应的关节点并生成骨骼。
[0101] 本实施例中,采用的是深度摄像头150,所述深度摄像头130采用了飞行时间法(Time of Flight,TOF)。红外发射器主动发射经过调制的近红外光线,红外光线照到视野中的对象上就会发生反射,红外相机接收反射回来的红外光线,计算来回光线的时间差(通常是通过相位差来计算的),可得对象的深度信息(即对象到深度相机的距离)。
[0102] 骨骼识别具体是调用开放式的自然交互(Open Natural Interaction,OpenNI)库里面的应用接口函数控制Kinect摄像头获取图像流,并对每一帧图像进行处理。首先对采集到的3D深度图像进行图像分割,剔除除人体之外的背景图像,减轻计算量。将处理过后的3D深度图像转换成深度值作为训练样本,训练出一种含有许多深度特征的分类器,用来识别物体,来确定身体的部位。将身体的部位作为标签分离出训练样本对应的深度图像,然后训练一个决策树分类器,直到决策树能给特定身体部位上的测试集图像作出准确的分类。
这些训练过的分类器指定每个像素在各个身体部位的可能性。接下来设计一个算法为每个身体部位选择几率最大的区域,则这个区域被分配为对应的身体部位类别。深度摄像头会追踪接近人体比例的大字形的物体。最后使用之前判断的所有结果,确定对应身体部位的关节,追踪对应的关节点来生成一副骨骼,并实现骨骼跟踪。
[0103] 优选地,步骤S24中,在生成骨骼的过程中,人体在全局坐标系下的位姿信息可通T过机器人当前位姿信息计算获得,移动式服务机器人的位姿表示为:PF=[xF,yF,θF] ,其中xF,yF,θF分别表示机器人在全局坐标系下的X轴坐标、Y轴坐标以及航向角,机器人运动状态T
表示为:q=[vF,ωF] ,vF,ωF分别表示移动式服务机器人的线速度以及角速度;目标人体的T
位姿表示为PL=[xL,yL,θL] ,其中xL,yL,θL分别表示目标人体在全局坐标系下的X轴坐标、Y轴坐标以及朝向角;
[0104] 根据公式(1)、(2)计算出目标人体的位置:
[0105] xL=xF+lLFcos(θF+θK)+d cosθF  (1)
[0106] yL=yF+lLFsin(θF+θK)+d sinθF  (2)
[0107] 其中,lLF为目标人体与摄像头的水平位置距离, xc和yc可由目标检测模块的深度摄像头的深度信息获得,θK为目标人体在摄像头坐标系下的方位角,d为轮椅中心到摄像头的距离;目标人体的当前朝向角θL可通过骨骼识别算法检测人体关节点获得。
[0108] 具体地,如图3所示,人体的速度和姿态信息可以根据相邻两帧的位置信息得到。摄像头每隔一个时间常数T获取一帧图像,假设某一帧中识别到n个人体,按其在图像中的分布,从左到右依次排列,定义当前第k帧第i个人体的位姿信息 第k‑1帧
第i个人体的位姿信息为
[0109] 优选的,步骤S2中,人脸识别具体包括以下步骤:
[0110] 步骤S31:采集图像流,把其中有用的特征挑选出来,并在图像中准确定位出人脸的位置;
[0111] 步骤S32:对人脸图像进行预处理,主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化;
[0112] 步骤S33:根据人脸的形状描述以及人脸间的距离特性,获得人脸图像分类的特征数据,所述特征数据包括特征点间的欧氏距离、角度和曲率;
[0113] 步骤S34:将提取出来人脸图像的特征数据与数据库中储存的特征模板进行搜索匹配,计算出相似度值,若相似度值大于或者等于系统设置的阈值,则输出匹配结果。
[0114] 本实施例中,人脸识别具体是调用开源计算机视觉(Open Source Computer Vision,OpenCV)库里面的应用接口函数控制Kinect摄像头获取图像流,并对每一帧图像进行处理。将待识别的人脸图像的特征数据与数据库中已得到的人脸图像的特征模板进行比较,根据相似程度对人脸的身份信息进行判断。
[0115] 优选的,步骤S3中,人工势场算法包括引力势场和斥力势场,其中,所述引力势场基于引力势能函数Ut产生,Ut表示为:
[0116]
[0117] 其中,r=||l||2,l=PR‑PT,PR=[xR,yR]T表示机器人的中心点位置,PT=[xT,yT]T表示目标点的位置,r表示机器人的中心点与目标点之间的距离,n、μ均为可调参数,αo=ε+δ表示人工障碍物,其中,ε为常数,δ起到调节人工障碍的作用,引导机器人趋近目标对象时修正姿态,确保机器人到达目标对象时,机器人的姿态同时收敛到与目标对象朝向对齐的T 2角度,即使得机器人迎面接近目标对象;δ=||lB|| ,B为目标点方向向量,B=[cosθL,sinT
θL],其中θL为目标对象在全局坐标系下的朝向角,而 ρw为操作空间半径;
[0118] 引力势能的梯度场为引力势场,引力势场产生的引力Fg在X轴和Y轴方向上的分力可通过求偏导运算获得,具体公式如下:
[0119]
[0120]
[0121] 其中, 表示Fg在X轴方向上的分力, 表示Fg在Y轴方向上的分力。
[0122] 本实施例中,引力势场实际上是极性势场,极性势场旨在提供机器人以确定的朝向驱往目标点,将其作为社交人工势场的引力势场部分,有利于实现移动式服务机器人1驱往目标对象时以面对面的方式靠近的社交准则。
[0123] 优选的,所述斥力的计算具体包括以下步骤:
[0124] 步骤S81:通过上一时刻行人的位置 和这一时刻行人的位置 推测下一时刻行人的位置
[0125]
[0126] 步骤S82:将相邻两时刻行人的位移记录为 其中对障碍物进行概率学分析,得到障碍物的期望值μx,i、μy,i,方差σx,i、
σy,i、协方差σxy,i和相关系数ρxy,i;
[0127]
[0128]
[0129]
[0130]
[0131] 步骤S83:将坐标系分为若干个栅格,得到每个栅格的概率密度函数Uop(m,n):
[0132]
[0133] 步骤S84:在坐标系的X轴、Y轴方向求偏导运算,得到势场梯度:
[0134]
[0135]
[0136] 步骤S85:根据势场梯度,计算得到概率势场产生的斥力为一个列向量其中,在X轴、Y轴方向上的分力为:
[0137]
[0138]
[0139] 其中, 表示概率势场在X轴方向上的分力, 表示概率势场在Y轴方向上的分力;
[0140] 将概率势场产生的斥力右旋一定的角度得到旋转斥力,将旋转斥力定义为一个列向量 可表示为:
[0141] Fr=RvFp  (16)
[0142] 其中,Rv为旋转矩阵,其定义如下:
[0143]
[0144] 其中,β为偏转系数,β取值范围为[0,π/2];
[0145] 旋转斥力Fr在X轴、Y轴方向上的分力为:
[0146]
[0147]
[0148] 根据力的合成原理,将引力势场的引力和斥力势场的两种斥力相加,得到计算合力F的公式:
[0149] F=Fg+Fp+Fr  (20)
[0150] 其中,F在X轴、Y轴方向上的分力为:
[0151]
[0152]
[0153] 根据合力的大小和方向计算出势场法规划的移动式服务机器人速度v和下一时刻期望的航向角θ:
[0154]
[0155]
[0156] 其中,v0、d0均定义为一个常数,按实际情况取值。
[0157] 具体地,本专利引力势场为一种极性势场,势场的极轴方向即目标对象的朝向θL,极性势场可引导机器人在避障的同时,以贴近极轴的方式趋近目标点,即以迎面的方式趋近目标对象。此外,本专利通过对历史时刻的障碍物位置进行统计分析得到概率势能函数,根据概率势能函数的梯度生成斥力势场,使得机器人的避障行为具有预测能力,从而避障过程中考虑了避让对象的运动意图。进一步说明,概率势场的旋涡化处理为机器人提供了右行避障的驱动力,使得避障行为遵循“右侧避让”规范。该右行驱动力由概率势场产生的斥力右旋一定的角度得到,且β取值越大,向右偏移的程度越大。
[0158] 此外,在本发明的各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
[0159] 尽管上面已经示出和描述了本发明的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施实施进行变化、修改、替换和变型。