交互式VR沙盘展示机器人

摘要

本发明公开了一种交互式VR沙盘展示机器人，包括语音读取定位模块、语音唤醒模块、权限识别模块、障碍识别模块、情绪特征反映模块，通过切换LED全彩胶滴灯带的颜色和图案去进行展示不同的情绪特征、移动执行模块、语音交流模块、跟随模块，通过摄像头追踪人运动轨迹驱动移动执行模块跟随动作、电源充电位置定位模块、VR展示模块；本发明与高端主机VR设备相结合的全新智能机器人，可以实现自助语音讲解楼盘，并且通过语音识别功能，对沙盘上相应的楼盘或者户型进行展示，实时互动对应，使购房者更加直观的了解楼盘设计情况，提升楼盘观看的体验。

权利要求

1.一种交互式VR沙盘展示机器人，其特征在于包括

语音读取定位模块，获取通过声源定位确定目标说话人的方向，麦克风阵列的空域滤波，对唤醒人的角度定位，形成定向拾音波束，并对波束以外的噪声进行抑制，提升远场拾音质量、保证识别效果，并进行回声消除；

语音唤醒模块，通过关键字将机器人从休眠状态唤醒；

权限识别模块，通过摄像头模组采集人脸进行权限识别；

障碍识别模块，通过红外传感器检测移动方向是否有障碍，并通过系统做出判断，停止移动或绕行；

情绪特征反映模块，通过切换LED全彩胶滴灯带的颜色和图案去进行展示不同的情绪特征；

移动执行模块，预先设定的路径指令控制移动执行模块动作，或者外部语音通过科大讯飞五麦环阵，在android系统中采集指令后，通过socket通讯控制底盘行动；

语音交流模块，建立语音应答的映射，通过调用云端服务器或本地数据库中的语音数据对外部获取的语音进行识别回答；

跟随模块，通过摄像头追踪人运动轨迹驱动移动执行模块跟随动作；

电源充电位置定位模块，获取电量信息，根据激光传感器获取包含充电站位置信息的脉冲信号，主控制板根据脉冲信号寻找充电电源；

VR展示模块，通过语音交流模块获取的指令信息或者输入的指令进行VR展示。

2.根据权利要求1所述的交互式VR沙盘展示机器人，其特征在于：沙盘互动模块，建立语音与沙盘中楼盘位置映射关系存入本地数据库中，所述的语音交流模块获取语音讲解所对应的楼盘介绍信息，在本地数据库中寻找沙盘中的讲解楼盘的相应位置信息，通过有线或无线的方式传输讲解楼盘的相应位置信息至沙盘中的指示模块，驱动沙盘中的指示模块进行动作。

3.根据权利要求2所述的交互式VR沙盘展示机器人，其特征在于对存储在本地数据库或者云端服务器的沙盘讲解语音识别信息分类，分为楼盘及户型类别信息，分别建立对应的语法包：接收输入的沙盘讲解语音信号，在本地数据库或者云端服务器中分别对接收到的语音信号进行语音识别查找，当能够从接收到沙盘的语音信号中识别出类别信息后，从预先存储的类别信息中调取相应的沙盘显示执行指令；

将沙盘显示执行指令发送到沙盘指示模块进行动作；

如本次沙盘讲解语音识别失败，并根据本次语音识别处理失败原因，从预先指定的各语音识别处理失败原因对应的标识中，选择出本次沙盘讲解语音识别处理失败原因对应的标识作为该语法包对所述语音信号的语音识别结果。

4.根据权利要求3所述的交互式VR沙盘展示机器人，其特征在于所述的沙盘显示执行指令发送到沙盘指示模块进行动作为通过VR展示模块展示相应的楼盘或户型。

5.根据权利要求1所述的交互式VR沙盘展示机器人，其特征在于所述的摄像头模组采用120帧USB摄像头模组。

6.根据权利要求1所述的交互式VR沙盘展示机器人，其特征在于所述语音唤醒模块、语音交流模块采用科大讯飞XFM10521。

说明书

交互式VR沙盘展示机器人

技术领域

[0001] 本发明涉及智能机器人领域，涉及家庭机器人领域和VR虚拟现实领域。

背景技术

[0002] 人们主要把机器人分为3代，第一代的机器人是遥控操作机器，不能离开人的控制独自运动。第二代的机器人是按事先编好的程序对机器人进行控制，使其自动重复完成某种方式的操作。第三代机器人起从此具备可感知、识别、判断、学习和情绪表达的功能，它可以把行动智能化结合起来，因此称之为智能机器人。

[0003] VR虚拟现实是近年来新兴的具有广泛应用前景的技术。目前，虚拟现实技术已经广泛应用于娱乐游戏，建筑设计，医疗等领域。虚拟现实是采用以计算机技术为核心的现代先进技术生成的逼真的视觉，听觉等一体化的虚拟环境，用户可以通过必要的输入输出设备与虚拟环境中的物体进行交互，相互影响，进而获得身临其境的感受与体验。这种由计算机生成的虚拟环境可以是某一特定客观世界的再现。高端PC机VR由于有着高性能显卡主机的支持，沉浸式的体验效果可以说是十分的出色，但是现有技术中没有能够实时为客户提供讲解和展示沙盘的机器人。

发明内容

[0004] 1、本发明的目的。

[0005] 本发明为了能够实现实时为客户讲解沙盘，与客户进行互动交流，而提供了一个交互式VR沙盘展示机器人。

[0006] 2、本发明所采用的技术方案。

[0007] 本发明提出的一种交互式VR沙盘展示机器人，包括：

[0008] 语音读取定位模块，获取通过声源定位确定目标说话人的方向，麦克风阵列的空域滤波，对唤醒人的角度定位，形成定向拾音波束，并对波束以外的噪声进行抑制，提升远场拾音质量、保证识别效果，并进行回声消除；

[0009] 语音唤醒模块，通过关键字将机器人从休眠状态唤醒；

[0010] 权限识别模块，通过摄像头模组采集人脸进行权限识别；

[0011] 障碍识别模块，通过红外传感器检测移动方向是否有障碍，并通过系统做出判断，停止移动或绕行；

[0012] 情绪特征反映模块，通过切换LED全彩胶滴灯带的颜色和图案去进行展示不同的情绪特征；

[0013] 移动执行模块，预先设定的路径指令控制移动执行模块动作，或者外部语音通过科大讯飞五麦环阵，在android系统中采集指令后，通过socket通讯控制底盘行动；

[0014] 语音交流模块，建立语音应答的映射，通过调用云端服务器或本地数据库中的语音数据对外部获取的语音进行识别回答；

[0015] 跟随模块，通过摄像头追踪人运动轨迹驱动移动执行模块跟随动作；

[0016] 电源充电位置定位模块，获取电量信息，根据激光传感器获取包含充电站位置信息的脉冲信号，主控制板根据脉冲信号寻找充电电源；

[0017] VR展示模块，通过语音交流模块获取的指令信息或者输入的指令进行VR展示。

[0018] 更进一步具体实施方式中，沙盘互动模块，建立语音与沙盘中楼盘位置映射关系存入本地数据库中，所述的语音交流模块获取语音讲解所对应的楼盘介绍信息，在本地数据库中寻找沙盘中的讲解楼盘的相应位置信息，通过有线或无线的方式传输讲解楼盘的相应位置信息至沙盘中的指示模块，驱动沙盘中的指示模块进行动作。

[0019] 更进一步具体实施方式中，对存储在本地数据库或者云端服务器的沙盘讲解语音识别信息分类，分为楼盘及户型类别信息，分别建立对应的语法包：

[0020] 接收输入的沙盘讲解语音信号，在本地数据库或者云端服务器中分别对接收到的语音信号进行语音识别查找，

[0021] 当能够从接收到沙盘的语音信号中识别出类别信息后，从预先存储的类别信息中调取相应的沙盘显示执行指令；

[0022] 将沙盘显示执行指令发送到沙盘指示模块进行动作；

[0023] 如本次沙盘讲解语音识别失败，并根据本次语音识别处理失败原因，从预先指定的各语音识别处理失败原因对应的标识中，选择出本次沙盘讲解语音识别处理失败原因对应的标识作为该语法包对所述语音信号的语音识别结果。

[0024] 更进一步具体实施方式中，所述的沙盘显示执行指令发送到沙盘指示模块进行动作为通过VR展示模块展示相应的楼盘或户型。

[0025] 更进一步具体实施方式中，所述的摄像头模组采用120帧USB摄像头模组。

[0026] 更进一步具体实施方式中，所述语音唤醒模块、语音交流模块通过科大讯飞XFM10521实现。

[0027] 3、本发明的有益效果。

[0028] 本发明设备是与高端主机VR设备相结合的全新智能机器人，可以实现自助语音讲解楼盘，并且通过语音识别功能，对沙盘上相应的楼盘或者户型进行展示，实时互动对应，使购房者更加直观的了解楼盘设计情况，提升楼盘观看的体验。

附图说明

[0029] 图1是本发明机器人的逻辑结构图。

[0030] 图2是本发明机器人的整体结构图。

[0031] 图3是本发明的详细配件介绍图。

[0032] 说明书附图2是本发明机器人的整体结构图，图中各标明的部分为可拆解的：头部A、身体部分B、底盘部分C。

[0033] 说明书附图3是机器人的整体详细配件图，图中各标明的部件分别为：①显示器PC转接模块②显示器以及触摸屏③摄像头模组④语音识别交互模块⑤主板⑥LED全彩胶滴灯带⑦喇叭⑧高配显卡⑨外接接口板⑩高配电脑主板等 设备储物柜 底盘底轮 底盘控制模块 机器人外接电源及开关 红外感应传感器。

具体实施方式

[0034] 实施例

[0035] 如图1所示，本发明提出的一种交互式VR沙盘展示机器人，包括：

[0036] 语音读取定位模块，获取通过声源定位确定目标说话人的方向，麦克风阵列的空域滤波，对唤醒人的角度定位，形成定向拾音波束，并对波束以外的噪声进行抑制，提升远场拾音质量、保证识别效果，并进行回声消除；

[0037] 语音唤醒模块，通过关键字将机器人从休眠状态唤醒；

[0038] 权限识别模块，通过摄像头模组采集人脸进行权限识别；

[0039] 障碍识别模块，通过红外传感器检测移动方向是否有障碍，并通过系统做出判断，停止移动或绕行；

[0040] 情绪特征反映模块，通过切换LED全彩胶滴灯带的颜色和图案去进行展示不同的情绪特征；

[0041] 移动执行模块，预先设定的路径指令控制移动执行模块动作，或者外部语音通过科大讯飞五麦环阵，在android系统中采集指令后，通过socket通讯控制底盘行动；

[0042] 语音交流模块，建立语音应答的映射，通过调用云端服务器或本地数据库中的语音数据对外部获取的语音进行识别回答；

[0043] 跟随模块，通过摄像头追踪人运动轨迹驱动移动执行模块跟随动作；

[0044] 电源充电位置定位模块，获取电量信息，根据激光传感器获取包含充电站位置信息的脉冲信号，主控制板根据脉冲信号寻找充电电源；

[0045] VR展示模块，通过语音交流模块获取的指令信息或者输入的指令进行VR展示。

[0046] 更进一步具体实施方式中，沙盘互动模块，建立语音与沙盘中楼盘位置映射关系存入本地数据库中，所述的语音交流模块获取语音讲解所对应的楼盘介绍信息，在本地数据库中寻找沙盘中的讲解楼盘的相应位置信息，通过有线或无线的方式传输讲解楼盘的相应位置信息至沙盘中的指示模块，驱动沙盘中的指示模块进行动作。

[0047] 更进一步具体实施方式中，对存储在本地数据库或者云端服务器的沙盘讲解语音识别信息分类，分为楼盘及户型类别信息，分别建立对应的语法包：

[0048] 接收输入的沙盘讲解语音信号，在本地数据库或者云端服务器中分别对接收到的语音信号进行语音识别查找，

[0049] 当能够从接收到沙盘的语音信号中识别出类别信息后，从预先存储的类别信息中调取相应的沙盘显示执行指令；

[0050] 将沙盘显示执行指令发送到沙盘指示模块进行动作；

[0051] 如本次沙盘讲解语音识别失败，并根据本次语音识别处理失败原因，从预先指定的各语音识别处理失败原因对应的标识中，选择出本次沙盘讲解语音识别处理失败原因对应的标识作为该语法包对所述语音信号的语音识别结果。

[0052] 更进一步具体实施方式中，所述的沙盘显示执行指令发送到沙盘指示模块进行动作为通过VR展示模块展示相应的楼盘或户型。

[0053] 更进一步具体实施方式中，所述的摄像头模组采用120帧USB摄像头模组。

[0054] 更进一步具体实施方式中，所述语音唤醒模块、语音交流模块通过科大讯飞XFM10521实现。

[0055] 如图2和图3所示，交互式VR的智能机器人包括头部A、身体部分B、底盘部分C；头部A包括显示器PC转接模块1、显示器及触摸屏2、摄像头模组3、语音识别交互模块4、主板5；身体部分B包括喇叭7、高配显卡8、外接接口9、高配电脑主板10、VR设备储物柜11，底盘部分C包括底盘底轮12、底盘控制模块13；显示器及触摸屏2安装在头部的顶端，摄像头模组3在头部的顶端侧向安装，显示器及触摸屏2的下端安装显示器PC转接模块1、主板5安装在摄像头模组3的下端；高配显卡8位于身体部分B的中部，喇叭7位于身体的顶端，高配电脑主板10与高配显卡8相连；底盘控制模块13与底盘底轮12相连驱动底盘底轮旋转移动。语音识别交互模块4采用科大讯飞XFM10521模块。主板5采用安卓全志A83T八核主板。头部A还包括LED全彩胶滴灯带6显示不同颜色和图案。还包括红外感应传感器15安装在底盘部分C的前端探测外部周围环境，与底盘控制模块13相连。所述的喇叭7为3寸全频喇叭。还包括机器人外接电源及开关14，安装在身体部分B或底盘部分C。

[0056] 语音读取模块使用科大讯飞XFM10521模块，搭载4+1多麦克风，实现360°语音信号采集，并能通过声源定位来确定目标说话人的方向，模块利用麦克风阵列的空域滤波特性，通过对唤醒人的角度定位，形成定向拾音波束，并对波束以外的噪声进行抑制，提升远场拾音质量、保证识别效果，并进行回声消除。通过使用五环阵麦可获取的语音信息，其远场拾音技术运用远场识别和降噪技术，使拾音距离达到5米；语音唤醒技术，可通过关键字将模块从休眠状态唤醒；采集到云端服务器数据支持和可定制化的智能语音聊天功能；形象识别和情绪识别方面采用120帧USB摄像头模组，进行实时摄像采集，也可通过此设备通过系统锁定跟随主人；壁障功能采用红外传感器检测移动方向是否有障碍，并通过系统做出判断，停止移动。情绪特征本发明使用了LED全彩胶滴灯带，可进行颜色和图案去进行展示不同的效果。指令控制通过科大讯飞五麦环阵，在android系统中采集指令后，通过socket通讯控制底盘等行动。

[0057] 图3中具体运行流程是：机器人开机后通过机器人外接电源及开关打开，然后通过120帧USB摄像头模组的摄像头进行头像采集，通过识别后进行权限分配进入相应的用户中，通过说出关键字会在科大讯飞XFM10521模块中启动语音唤醒智能语音功能，同时该模块开启后可以判断主人，所在位置转变朝向并配合 底盘舵机电机等控制模块有自动跟随主人功能，同事底部具备红外感应传感器可以进行障碍躲避，停止前行。同时③120帧USB摄像头模组通过采集用户面部表情，结合科大讯飞XFM10521模块的语音采集，可以在安卓全志A83T八核主板的系统中做出判断，实时判断出主人的表情，与语义理解，通过3寸全频喇叭做出回馈语言表达，并可以通过LED全彩胶滴灯带做出自己的表情回馈，展示情绪特征，同时也可通过系统判断，对于采集过来的语音指令也可作出相应的行动等动作。通过红外感应传感器。电量低或指令时可自动判断充电座位子找到电源充电。VR设备储物柜内放VR设备在开机后通过操作②显示器以及触摸屏，调出VR程序即可实用，同时也可以通过⑨外接接口板去外接其他显示器或者投影仪外显，也可外接鼠标、键盘、游戏手柄等输入设备以便更好的体验VR。

[0058] 本款可体验VR的智能机器人可结合目前主流VR设备，结合目前顶级的泰坦显卡主机，以保证VR虚拟现实的体验流畅性于体验，在内部做好相关接口进行便携的一次性接线，拒绝繁琐的对接线。和过多的分件携带。可以使用户可以更加方便的布置VR设备，和携带VR设备，使用VR，同时作为一个机器人，语言是人类交流的最自然、最方便的手段，因此也必然成为人与计算机之间交流最自然、最方便的手段之一，机器人可以和我们人类进行自由交谈，还具有思考、学习能力相比过去主机也更加具趣味性和娱乐性，为我们的生活带来更多方便和乐趣，更加丰富多彩。