一种基于混合现实技术的虚拟人机示教系统专利检索-可持续性环境工程专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

一种基于混合现实技术的虚拟人机示教系统

阅读：504发布：2021-02-08

IPRDB可以提供一种基于混合现实技术的虚拟人机示教系统专利检索，专利查询，专利分析的服务。并且本实用新型公开了一种基于混合现实技术的虚拟人机示教系统。所述系统由计算机主机、全息投影系统、视觉传感器、惯性传感器集成在一起,全息投影系统、视觉传感器、惯性传感器通过有线方式连接计算机主机，完成数据通讯。因此本实用新型使得示教过程变得更加生动形象，具有高效性、可持续性、交互体验友好性。，下面是一种基于混合现实技术的虚拟人机示教系统专利的具体信息内容。

权利要求

1.一种基于混合现实技术的虚拟人机示教系统，其特征在于：所述系统由计算机主机、全息投影系统、视觉传感器、惯性传感器集成在一起,全息投影系统、视觉传感器、惯性传感器通过有线方式连接计算机主机，完成数据通讯。

说明书全文

一种基于混合现实技术的虚拟人机示教系统

技术领域

[0001] 本实用新型涉及混合现实与虚拟人机交互技术领域。具体地涉及一种基于混合现实技术的虚拟人机示教系统。

背景技术

[0002] 目前大多数生产线并不能做到完全自动化生产，加工装配生产过程往往需要操作人员和机器相互配合来完成。因此对于不同的加工装配任务需要事先对操作人员进行培训，使其熟悉生产加工的过程并具备相应的操作技能。传统的培训方式主要是由经验丰富的操作人员带领，或者以教学视频、指导手册等资料来进行培训。然而这些传统的示教方式需要占用更多的人力物力资源，费时费力，而且示教过程效率较低，用户体验友好性不高，效果也很难得到保障。当加工装配等任务更新时，有经验的操作人员也需要重新学习。旧的示教资料也无法再继续使用。因此传统的示教方式可持续性不强，同样会造成一定程度的资源浪费。综合来看，提供高效、可持续、交互体验友好的示教系统是具有重要意义的。

[0003] 随着科技的发展和进步，数字化开始进入到我们的生活中。现代技术的运用也影响到了我们传统的示教理念与示教方式，改变了教与学的传统模式，并成为新的发展趋势。混合现实技术和虚拟交互技术作为全新的电子技术因其在人机交互体验中的生动性与友好性成功运用到了现代的教学中，为传统示教模式带来新的变革。

发明内容

[0004] 本实用新型提供了一种基于混合现实技术的虚拟人机示教系统，该系统主要由计算机主机中央处理系统、全息投影系统、视觉传感器、惯性传感器集成在一起组成，全息投影系统、视觉传感器、惯性传感器通过有线方式连接计算机主机，完成数据通讯。该系统也可称为混合现实头戴式显示设备，其结构示意图如附图1所示。

[0005] 所述计算机主机可以是任意的计算机主机，主机中央处理系统可以是任意的中央处理器（CPU）、图形处理器（GPU）。所述全息投影系统负责接收计算机主机发送过来的图像信息并投影出虚拟图像形成一个投影区。

[0006] 所述视觉传感器为具有三维识别功能的摄像头与深度传感器，用于采集物体的空间位置信息和运动信息。

[0007] 所述惯性测量单元为加速度计与陀螺仪，用于采集设备自身的位置与姿态信息。

[0008] 所述投影区提供一个人与混合现实头戴式显示设备交互的区域，交互形式包含但不限于：人通过不同的手势与虚拟投影图像进行交互，投影内容主要是但不限于：3D虚拟示教动画、控制菜单。示教动画可以是任意的，形式多样的，内容包含但不限于：加工装配等工业任务。

[0009] 本发明的另一种技术方案为提供了一种基于混合现实技术的虚拟人机示教系统的实施方法，其特征在于：包括如下内容：

[0010] ①该设备需要佩戴在操作人员头上。视觉传感器采集空间的三维图像信息，这些摄像头能够获取不同角度的深度图，再对不同的深度图进行累积，从而借助立体视觉等技术由计算机主机中央处理系统计算出周围环境的精确的三维模型。

[0011] ②获取了周围的三维场景模型后，计算机中央处理系统生成图像信息，并控制全息投影系统透过全息透视镜在被操作对象的上方投影出一个投影区，内容包括3D虚拟示教动画和控制菜单。惯性测量单元可以追踪操作人员的头部移动获取位置与姿势信息，当操作人员视线移动的时候投影的虚拟区域可能出了操作人员的视野范围，操作人员可以移动头部位置转换视角使得投影区重新进入视野范围。

[0012] ③视觉传感器可以实时捕捉人手的位置并识别人手的手势。当人手进入投影的“控制菜单”区域时，交互方式可以是但不限于：手势动作为连续的“点击动作”与“释放动作”，这样即为一次“有效点击”。经过一次“有效点击”则选中控制菜单对应区域的控制命令，视觉传感器将此信息传递给计算机主机中央处理系统，根据事先编程好的所对应的控制指令计算机主机中央处理系统控制投影系统投影出新的内容。

[0013] 操作人员还可以与示教动画交互，当视觉传感器检测到人手进入3D虚拟示教动画区域时，若人手完成一次“点击动作”则计算机主机中央处理系统控制全息投影系统使3D虚拟动画暂停，若视觉传感器检测到人手“点击”状态没有结束则操作人员可以拖动3D虚拟动画的位置与角度，使得示教动画实现360度展现。当视觉传感器检测到人手的“释放动作”时代表“点击动作”结束，拖动作用结束。3D虚拟动画继续进行。

[0014] ④计算机中央处理系统实时地接收视觉传感器采集的图像信息进行处理和实时地构造投影图像并发送给全息投影系统进行投影；另一方面在识别出人手进入投影区域且在投影控制区有人为控制指令产生时，给全息投影系统发送相应的控制信号。

[0015] 该设备利用视觉传感器捕捉到周围环境的各种信息和数据，借助立体视觉等技术由计算机主机中央处理系统计算出周围环境的精确的三维模型。计算机主机控制全息投影系统投影出3D虚拟影像。用户通过该设备可以在现实场景中看到虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。混合现实头戴式显示设备戴在操作人员的头上，通过内置的惯性测量单元追踪操作人员的位置和视线移动。而且该设备的视觉传感系统可以用来识别和捕捉操作人员的手势移动，根据捕获到的手势信息，计算机主机控制全息投影系统投影出新的内容，因此操作人员可以通过手势与3D虚拟对象交互。

[0016] 本实用新型用以完成三个方面的内容。

[0017] 1. 通过混合现实头戴式显示设备操作人员既可以观察真实的物理世界并完成实际操作，同时也可以看到虚拟的示教教程，并根据其指导来进行下一步的操作。

[0018] 2. 操作人员可以同时保持与真实世界和虚拟世界的联系，并根据自身的需要及所处情境以不同的形式与虚拟世界进行交互。

[0019] 3.针对不同的示教内容，可以在同一套硬件设备上开发不同的示教动画。

[0020] 本实用新型公开了一种基于混合现实技术的虚拟人机示教系统及使用方法。该系统由混合现实头戴式显示设备组成。该设备提供的一种新的可视化环境。在新的可视化环境里物理和数字对象共存，并实时互动。操作人员可以实时根据3D虚拟示教过程完成流水线生产操作任务。操作人员可以根据不同的操作任务与虚拟世界进行交互，来完成选择与切换不同的示教内容等功能。由于本系统提供了一种可以使示教过程与实际操作过程相结合的混合现实示教交互模式，开发出一套这样的设备可以给不同的操作人员反复使用。因此本实用新型使得示教过程变得更加生动形象，具有高效性、可持续性、交互体验友好性。

附图说明

[0021] 图1混合现实技术的虚拟人机示教系统结构示意图

[0022] 图2为操作人员佩戴混合现实头戴式显示设备示意图

[0023] 图3为虚拟交互的控制手势示意图

具体实施方式

[0024] 为了使本实用新型的目的、技术方案和优点更加清楚，下面将结合附图对本实用新型作进一步地较为详细描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本实用新型保护的范围。

[0025] 混合现实技术的虚拟人机示教系统组成如附图1所示。该系统设备主要由计算机主机主机中央处理系统、全息投影系统、视觉传感器、惯性传感器集成在一起组成。该设备需要佩戴在操作人员头上，如图2所示。通过佩戴该设备操作人员既可以看到现实的物理世界又可以看到全息投影仪形成的虚拟世界。该设备能够在现实世界、虚拟世界和操作人员之间搭起一个交互反馈的信息回路。

[0026] 该系统的视觉传感器为具有三维识别功能的摄像头与深度传感器，用于采集物体的空间位置信息和运动信息。该设备的全息投影系统负责接收计算机主机发送过来的图像信息并投影3D虚拟对象。混合现实头戴式显示设备可同时投影出3D虚拟示教动画和控制菜单。在控制菜单中可以选择不同的控制指令，例如切换不同的示教动画（不同的示教动画分别对应不同的加工装配等工业任务），控制示教过程的开始、暂停与结束等等。

[0027] 如附图3所示，操作人员可以通过不同的手势与投影出的虚拟图像进行交互，从而实现相应的控制作用。控制手势设置了点击（图3 a）与释放（图3 b）两种。其中点击动作代表选择作用，释放动作代表点击动作结束。对于投影区的交互方式不限于附图2所示的2种手势，还可以多指触碰，变换特定手势等等。

[0028] 该系统的视觉传感器识别并捕捉操作人员的手势移动，并将数据信息由计算机主机处理，从而控制全息投影系统投影出相应指令对应的内容。当人手进入投影的“控制菜单”区域时，交互方式可以是但不限于：手势动作为连续的“点击动作”与“释放动作”（图3），这样即为一次“有效点击”。经过一次“有效点击”则选中控制菜单对应区域的控制命令。视觉传感器将此信息传递给计算机主机中央处理系统，根据事先编程好的所对应的控制指令计算机主机控制投影系统投影出新的内容。为了能满足更细节的学习任务，操作人员还可以与示教动画交互，当视觉传感器检测到人手进入3D虚拟示教动画区域时，若人手完成一次“点击动作”则计算机中央处理系统控制全息投影系统使3D虚拟动画暂停。若视觉传感器检测到人手“点击”状态没有结束则操作人员可以拖动3D虚拟动画的位置与角度，使得示教动画实现到360度展现。视觉传感器检测到人手的“释放动作”时代表“点击动作”结束，拖动作用结束。3D虚拟示教动画继续。

[0029] 上述实施例为本实用新型较佳的实施方式，但本实用新型的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本实用新型的保护范围之内。

标题	发布/更新时间	阅读量
一种可持续性和智能化养猪方法-专利编号CN111011247A	2020-05-13	718
一种水足迹可持续性评价方法-专利编号CN110298575A	2020-05-14	226
动态可持续性搜索引擎-专利编号CN101872354A	2020-05-12	552
动态可持续性因素管理-专利编号CN101872384B	2020-05-11	540
可持续性探测的电极装置-专利编号CN110856655A	2020-05-13	1065
一种可持续性供水花盆-专利编号CN105075703A	2020-05-12	1095
环境可持续性二次包装-专利编号CN103702906A	2020-05-11	283
动态可持续性因素管理-专利编号CN101872384A	2020-05-11	808
可持续性浓差电池-专利编号CN1707847A	2020-05-13	730
产品可持续性评分卡-专利编号CN108701169A	2020-05-12	959

一种基于混合现实技术的虚拟人机示教系统

一种基于混合现实技术的虚拟人机示教系统

技术领域

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式