基于三维机器视觉的智能家庭服务机器人

摘要

本发明公开了一种基于三维视觉的家庭服务机器人，尤其涉及一种监护目标和按命令拿取物品的方法。利用RGB‑D传感器，识别目标骨架与姿态并实时记录，在目标出现意外跌倒的时候做出报警动作，本发明记录的数据比特数远远小于记录视频图像，可还原意外跌倒时的场景。同样利于RGB‑D传感器可以识别用户手势指示方向，得到待取物品的大致角坐标，配合语音命令，既可快速准确拿取物品。平台使用麦克纳姆轮全向移动平台，可以在室内复杂环境下实现各种轨迹的跟随移动。

权利要求

1.基于三维机器视觉的智能家庭服务机器人，其特征在于是一种可移动监护目标，亦可以根据命令拿取物品：基于三维机器视觉的智能家庭服务机器人；包括带有采集深度信息的三维视频摄像头、内置计算机和机械臂，内置计算机配置有三维机器视觉软件和语音识别软件；三维视频摄像头用于取得视野范围内的所有像素点的空间三维坐标及带颜色的图像信息，通过内置计算机分析监护目标的运动行为；根据内置计算机命令机械臂拿取物品，该命令包含两个必须部分和不定数量的可选部分，必须部分为：目标方向、目标名称，可选部分为目标颜色、目标距离；所述的命令由语音和手势两者构成，且两者的互相依赖；其中目标方向通过使用者手势指向来取得，目标名称、目标颜色、目标距离均为语音命令。

2.如权利要求1所述的基于三维机器视觉的智能家庭服务机器人，其特征在于，所述的监护基于三维视觉的骨架及目标识别，内置计算机分析监护目标的运动行为：内置计算机实现三维空间数据的动态建立与识别，具有对人体的运动姿态识别功能，识别三维图中的骨架信息并返回关键关节坐标，再通过各关节的三维坐标与时间结合判断目标姿态与运动趋势；内置计算机处理数据采集模块返回的数据,分析目标人与机器人的相对位置进而控制机器人行动，在机器人处于跟随监护状态时，不断循环调用数据采集模块使机器人总能够与人保持一定距离，即成功跟随；内置计算机判断目标姿态是否正常，若判断目标姿态不正常，则判断目标运动趋势，若判断目标运动趋势为在休息，则进入低功耗模式，若判断目标运动趋势为跌倒，则通过互联网或短信发送求救信息。

3.如权利要求1所述的基于三维机器视觉的智能家庭服务机器人，其特征在于，所述的移动基于麦克纳姆轮四轮全向移动系统，移动迅速，行动灵活，环境适应性强。

说明书

基于三维机器视觉的智能家庭服务机器人

技术领域

[0001] 本发明涉及一种提供家庭服务的机器人装置，尤其是能提供智能取物和老年人跌倒监护家用的机器人。

背景技术

[0002] 目前，公知的家用机器人只能进行简单的家庭卫生打扫，并没有视觉听觉等多感官系统的加入，所能提供的功能有限，并不能称之为智能型机器人。在监护方面，目前没有非侵入式产品可以提供跟随监护的功能；在取物方面，目前的取物机器人准确度与灵活性较差。

[0003] RGB-D传感器的出现为人的姿态识别和物体的分割定位带来了新的发展契机，在姿态识别方面，它可以获取人体骨架信息，包括部分手势，从而可以实现姿态的识别以及手势理解，比如手语识别，而家用机器人的发展也受其影响，有一些机器人研究开始采用RGB-D传感器作为机器人的视觉。但在智能家用服务机器人领域，包括自跟随的监护和准确的物品抓取方面仍有许多问题需要研究。

发明内容

[0004] 为了弥补当前为大众所知的家庭机器人、老人监护设备及机器人取物的不足，本发明提供一种新型的智能机器人，该智能机器人不仅能对老人进行跟随监护，而且能方便的帮助拿取物品。

[0005] 本发明通过为机器人增加三维机器视觉及相应的软件、语音识别及相应软件和机械臂实现了使机器人可以对目标人进行跟随监护，亦可根据语音及用户手势确定目标物体所在并将其取回。

[0006] 为实现对人的监护本发明采用的技术方案是：使用带有采集深度信息的三维视频摄像头，取得“视野”范围内的所有像素点的空间三维坐标及带颜色的图像信息，通进先进的软件和高性能内置计算机分析被监护人的运动行为。在被监护人移动时及时跟随，对意外跌倒做出及时报警（*）。

[0007] 为实现快速准确的取物本发明采用的技术方案是：通过特殊的命令格式来对机器人下命令，该命令包含两个必须部分（A项和B项）和不定数量的可选部分（CD为可选项）：A目标方向+B目标名称+C目标颜色+D目标距离。其中A项通过使用者手势指向来取得，BCD项均为语音命令。命令举例：手指向2点钟方向，口述“苹果，红色”。

[0008] *注：报警方式包括但不限于声音、灯光、短信、电话、网络。

[0009] 本发明的有益效果是，可以在不过分增加系统复杂性的条件下，提高家用机器人的实用性，通过新技术的应用，增强家用机器人的功能。

附图说明

[0010] 图1是本发明跟随监护的基本流程图。

[0011] 图2是本发明取物的基本流程。

[0012] 图3是本发明全向移动平台的示意。

具体实施方式

[0013] （1）姿态采集和处理模块

[0014] 三维立体视觉动态采集及分析。采用三维立体视觉采集设备，实现三维空间数据的动态建立与识别，尤其是对人体的运动姿态识别功能。识别三维图中的骨架信息并返回关键关节坐标，再通过各关节的三维坐标与时间结合判断目标姿态与运动趋势。该模块流程图为图2。

[0015] （2）通讯模块

[0016] 上位机通过互联网和蜂窝移动网络与人通讯，上位机装有WIFI模块与GSM无线模块，在老人发生猝倒时通过可及时通过互联网或短信向老人子女等发送求救信息。

[0017] （3）跟随追踪及跌倒监护模块

[0018] 处理数据采集模块返回的数据,分析目标人与机器人的相对位置进而控制机器人行动。在机器人处于跟随监护状态时，不断循环调用该模块使机器人总能够与人保持一定距离，即成功跟随。同时若在跟随过程中观察到被监护人发生跌倒,机器人将通过声音、网络、短信等方式报警通知家人。该模块流程图为图1。

[0019] （4）机器人移动与机械臂模块

[0020] 该模块有单独MCU控制电气机械设备，接收机器人中央处理器的指令控制机器人移动和机械臂的运动。