触觉反馈的方法、装置和虚拟现实交互系统

摘要

本申请提供了一种触觉反馈的方法，包括：在一用户的皮肤上，确定所述用户与一虚拟现实VR呈现的内容发生接触的区域；根据所述VR呈现的内容的相关信息，在所述发生接触的区域至少产生第一接触反馈。本申请还提供了一种触觉反馈的装置和一种虚拟现实交互系统。采用本申请实施例提供的技术方案，无需使用VR交互控制器，也无需大范围的进行触觉反馈，大大节省了产生触觉反馈所需的成本和能耗。

权利要求

1.一种触觉反馈的方法，其特征在于，包括：

在一用户的皮肤上，确定所述用户与一虚拟现实VR呈现的内容发生接触的区域；

在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域；

根据所述VR呈现的内容的相关信息，在所述发生接触的区域中除了所述发生相对运动的区域之外的部分产生第一触觉反馈；

根据所述VR呈现的内容的相关信息以及所述相对运动的相关参数，在所述发生相对运动的区域上产生第二触觉反馈；其中，所述第二触觉反馈包括所述第一触觉反馈以及弹性力反馈。

2.如权利要求1所述的方法，其特征在于，所述在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域，包括：根据至少一摄像头获取的所述用户的动作发生的变化，在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域。

3.一种触觉反馈的装置，其特征在于，包括：

接触确定模块，用于在一用户的皮肤上，确定所述用户与一虚拟现实VR呈现的内容发生接触的区域；

相对运动确定模块，用于在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域；

第一触觉反馈子模块，用于根据所述VR呈现的内容的相关信息，在所述发生接触的区域中除了所述发生相对运动的区域之外的部分产生第一触觉反馈；

第二触觉反馈子模块，用于根据所述VR呈现的内容的相关信息以及所述相对运动的相关参数，在所述发生相对运动的区域上产生第二触觉反馈；其中，所述第二触觉反馈包括所述第一触觉反馈以及弹性力反馈。

4.如权利要求3所述的装置，其特征在于，所述相对运动确定模块包括：相对运动确定子模块，用于根据至少一摄像头获取的所述用户的动作发生的变化，在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域。

5.如权利要求3所述的装置，其特征在于，所述接触确定模块包括：位置信息确定子模块，用于获取所述用户在虚拟环境中的位置信息和姿态信息；

接触确定子模块，用于根据所述位置信息、姿态信息以及所述VR呈现的内容，确定所述发生接触的区域。

6.一种虚拟现实VR交互系统，其特征在于，所述系统包括一存储器以及一处理器，其中，所述存储器用于存储指令；所述处理器用于执行所述指令，以执行下列步骤：在一用户的皮肤上，确定所述用户与一虚拟现实VR呈现的内容发生接触的区域；

在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域；

根据所述VR呈现的内容的相关信息，在所述发生接触的区域中除了所述发生相对运动的区域之外的部分产生第一触觉反馈；

根据所述VR呈现的内容的相关信息以及所述相对运动的相关参数，在所述发生相对运动的区域上产生第二触觉反馈；其中，所述第二触觉反馈包括所述第一触觉反馈以及弹性力反馈。

说明书

触觉反馈的方法、装置和虚拟现实交互系统

技术领域

[0001] 本申请涉及人机交互领域，尤其涉及一种触觉反馈的方法、装置和虚拟现实交互系统。

背景技术

[0002] 虚拟现实(英文全称：Virtual Reality，英文简称：VR)技术是仿真技术的一个重要方向，其通过多维度的感观激励，例如，视觉、听觉、触觉、嗅觉等等让用户进入一个与身处物理环境不同的虚拟世界。理想的VR应该具有一切人所具有的感知功能。

[0003] 在一个VR系统中，如果一个人看到一个杯子，想要去拿起它，可是因为这个杯子是虚拟的，所以人的手并没有真正触摸到杯子的感觉，反而会“穿过”这个虚拟的杯子。

[0004] 传统的解决方案中，为了能让人们能更贴切的感受到类似上述触摸到杯子的感觉，通常是在VR交互控制器(例如，手套，或者操作棒，或者手柄等)上安装一些可以振动的触点来实现触觉反馈。

[0005] 然而，这种传统的解决方案通常需要有一个VR交互控制器作为媒介，且在整个VR交互控制器上提供触觉上的反馈，成本和能耗都比较高。

发明内容

[0006] 本申请的目的是：提供一种触觉反馈的方法、装置和VR交互系统。

[0007] 根据本申请至少一个实施例的第一个方面，提供了一种触觉反馈的方法，所述方法包括：

[0008] 在一用户的皮肤上，确定所述用户与一虚拟现实VR呈现的内容发生接触的区域；

[0009] 根据所述VR呈现的内容的相关信息，在所述发生接触的区域至少产生第一接触反馈。

[0010] 基于上述第一个方面，在第一个方面的第一个实施方式中，在确定所述发生接触的区域之后，所述方法还包括：在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域。

[0011] 基于上述第一个方面的第一个实施方式，在第一个方面的第一个实施方式的第一个具体实现中，所述根据所述VR呈现的内容的相关信息，在所述发生接触的区域至少产生第一接触反馈，包括：根据所述VR呈现的内容的相关信息，在所述发生接触的区域中除了所述发生相对运动的区域之外的部分产生第一触觉反馈；根据所述VR呈现的内容的相关信息以及所述相对运动的相关参数，在所述发生相对运动的区域上产生第二触觉反馈；其中，所述第二触觉反馈包括所述第一触觉反馈以及弹性力反馈。

[0012] 基于上述第一个方面的第一个实施方式，或者基于上述第一个方面的第一个实施方式的第一个具体实现，在第一个方面的第二个实施方式中，所述在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域，包括：根据至少一摄像头获取的所述用户的动作发生的变化，在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域。

[0013] 基于上述第一个方面的第二个实施方式，在第一个方面的第二个实施方式的第一个具体实现中，所述根据至少一摄像头获取的所述用户的动作发生的变化，在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域，包括：分析所述至少一摄像头采集到的所述用户的静态画面或者动态影像；确定所述用户的动作发生的变化；根据所述用户的动作发生的变化，在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域。

[0014] 基于上述第一个方面，在第一个方面的第三个实施方式中，所述在所述用户的皮肤上，确定所述用户与所述VR呈现的内容发生接触的区域，包括：获取所述用户在虚拟环境中的位置信息和姿态信息；根据所述位置信息、姿态信息以及所述VR呈现的内容，确定所述发生接触的区域。

[0015] 基于上述第一个方面，或者基于上述第一个方面的任一个实施方式，或者基于上述第一个方面的任一个实施方式的任一个具体实现，在第一个方面的第四个实施方式中，所述第一触觉反馈包括：所述VR呈现的内容的物理材质反馈，和/或所述VR呈现的内容的纹理反馈。

[0016] 基于上述第一个方面的第四个实施方式，在第一个方面的第四个实施方式的第一个具体实现中，所述纹理反馈包括以下反馈中的至少一种：凹凸感反馈，以及粘滞感反馈。

[0017] 根据本申请至少一个实施例的第二个方面，提供一种触觉反馈的装置，所述装置包括：

[0018] 接触确定模块，用于在一用户的皮肤上，确定所述用户与一虚拟现实VR呈现的内容发生接触的区域；

[0019] 触觉反馈模块，用于根据所述VR呈现的内容的相关信息，在所述发生接触的区域至少产生第一接触反馈。

[0020] 基于上述第二个方面，在第二个方面的第一个实施方式中，所述装置还包括：相对运动确定模块，用于在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域。

[0021] 基于上述第二个方面的第一个实施方式，在第二个方面的第一个实施方式的第一个具体实现中，所述触觉反馈模块包括：第一触觉反馈子模块，用于根据所述VR呈现的内容的相关信息，在所述发生接触的区域中除了所述发生相对运动的区域之外的部分产生第一触觉反馈；第二触觉反馈子模块，用于根据所述VR呈现的内容的相关信息以及所述相对运动的相关参数，在所述发生相对运动的区域上产生第二触觉反馈；其中，所述第二触觉反馈包括所述第一触觉反馈以及弹性力反馈。

[0022] 基于上述第二个方面的第一个实施方式，或者基于上述第二个方面的第一个实施方式的第一个具体实现，在第二个方面的第二个实施方式中，所述相对运动确定模块包括：相对运动确定子模块，用于根据至少一摄像头获取的所述用户的动作发生的变化，在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域。

[0023] 基于上述第二个方面的第二个实施方式，在第二个方面的第二个实施方式的第一个具体实现中，所述相对运动确定子模块包括：分析单元，用于分析所述至少一摄像头采集到的所述用户的静态画面或者动态影像；第一确定单元，用于确定所述用户的动作发生的变化；第二确定单元，用于根据所述用户的动作发生的变化，在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域。

[0024] 基于上述第二个方面，在第二个方面的第三个实施方式中，所述接触确定模块包括：位置信息确定子模块，用于获取所述用户在虚拟环境中的位置信息和姿态信息；接触确定子模块，用于根据所述位置信息、姿态信息以及所述VR呈现的内容，确定所述发生接触的区域。

[0025] 根据本申请至少一个实施例的第三个方面，提供了一种VR交互系统，所述系统包括一存储器以及一处理器，其中，所述存储器用于存储指令；所述处理器用于执行所述指令，以执行下列步骤：

[0026] 在一用户的皮肤上，确定所述用户与一虚拟现实VR呈现的内容发生接触的区域；

[0027] 根据所述VR呈现的内容的相关信息，在所述发生接触的区域至少产生第一接触反馈。

[0028] 本申请实施例所述的触觉反馈的方法、装置和VR交互系统，根据所述VR呈现的内容的相关信息，在所述用户与所述VR呈现的内容发生接触的区域至少产生第一接触反馈。从而无需使用VR交互控制器，也无需大范围的进行触觉反馈，大大节省了产生触觉反馈所需的成本和能耗。

附图说明

[0029] 图1为本申请一个实施例所述触觉反馈的方法的流程示意图；

[0030] 图2为本申请另一个实施例所述触觉反馈的方法的流程示意图；

[0031] 图3为本申请另一个实施例所述触觉反馈的方法的流程示意图；

[0032] 图4为本申请一个实施例提供的一种触觉反馈的具体实现示意图；

[0033] 图5a为本申请另一个实施例所述触觉反馈的方法的流程示意图；

[0034] 图5b为本申请一个实施例中确定相对运动区域的具体实现示意图；

[0035] 图6为本申请另一个实施例所述触觉反馈的方法的流程示意图；

[0036] 图7为本申请一个实施例所述触觉反馈的装置的模块结构示意图；

[0037] 图8为本申请另一个实施例所述触觉反馈的装置的模块结构示意图；

[0038] 图9为本申请另一个实施例所述触觉反馈的装置的模块结构示意图；

[0039] 图10为本申请另一个实施例所述触觉反馈的装置的模块结构示意图；

[0040] 图11为本申请一个实施例所述相对运动确定子模块721结构示意图；

[0041] 图12为本申请另一个实施例所述触觉反馈的装置的模块结构示意图；

[0042] 图13为本申请的一实施例提供的一种VR交互系统示意图。

具体实施方式

[0043] 下面结合附图和实施例，对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请，但不用来限制本申请的范围。

[0044] 本领域技术人员理解，在本申请的实施例中，下述各步骤的序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

[0045] 另外，本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

[0046] 图1是本申请一个实施例所述触觉反馈的方法的流程图，如图1所示，所述方法可以包括：

[0047] S100：在一用户的皮肤上，确定所述用户与一虚拟现实VR呈现的内容发生接触的区域；

[0048] S120：根据所述VR呈现的内容的相关信息，在所述发生接触的区域至少产生第一接触反馈。

[0049] 采用本申请实施例所述的触觉反馈的方法，根据所述VR呈现的内容的相关信息，在所述用户与所述VR呈现的内容发生接触的区域至少产生第一接触反馈。从而无需使用VR交互控制器，也无需大范围的进行触觉反馈，大大节省了产生触觉反馈所需的成本和能耗。

[0050] 可选的，如图2所示，上述S100之后，所述方法还可以包括：

[0051] S110：在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域。

[0052] 在一个可选的实施方式中，可以是用户的手部，或者是用户的脚部，或者是用户身上其他部位与所述VR呈现的内容发生相对运动，本申请的实施例对此不作具体限定。在所述发生相对运动的区域内，所述用户的至少一部分肢体与所述VR呈现的内容之间的相对距离在一定时间内不为常量，即：发生了变化，示例性的，用户的手部在所述VR呈现的内容的表面上发生了横向的移动，例如，用户用手拨开在头顶虚拟呈现的树枝；或者用户的脚部在所述VR呈现的内容的表面上施加了竖直方向的力，使得所述VR呈现的内容的表面发生了形变，例如，用户用脚踩在地上虚拟呈现的一个足球，使得足球的表面下凹了一定的距离。

[0053] 可选的，如图3所示，在本申请的另一个可选实施方式中，所述S120中根据所述VR呈现的内容的相关信息，在所述发生接触的区域至少产生第一接触反馈，可以包括：

[0054] S121：根据所述VR呈现的内容的相关信息，在所述发生接触的区域中除了所述发生相对运动的区域之外的部分产生第一触觉反馈；

[0055] 可选的，在本申请的一个可选实施方式中，上述VR呈现的内容的相关信息可以包括：上述VR呈现的内容的属性信息，例如，所呈现的内容是什么设备，形状和厚度是什么样的，由什么样的材料制成，新旧程度如何，表面什么花纹等等，本申请的实施例对此不作具体限定。

[0056] S122：根据所述VR呈现的内容的相关信息以及所述相对运动的相关参数，在所述发生相对运动的区域上产生第二触觉反馈；其中，所述第二触觉反馈包括所述第一触觉反馈以及弹性力反馈。

[0057] 可选的，在本申请的一个可选实施方式中，上述相对运动的参数可以包括：所述用户的至少一部分肢体与所述VR呈现的内容之间的相对距离的变化量，或者，所述用户持的至少一部分肢体与所述VR呈现的内容之间的相对距离的发生变化的时间等等，本申请的实施例对此不作具体限定

[0058] 由于在发生相对运动的区域中，在用户与VR呈现的内容之间产生了作用力与反作用力，因此，除了第一触觉反馈，还至少会提供弹性力反馈。

[0059] 可选的，在本申请的一个可选实施方式中，上述所述第一触觉反馈可以包括：所述VR呈现的内容的物理材质反馈，和/或所述VR呈现的内容的纹理反馈。示例性的，上述纹理反馈可以包括以下反馈中的一种或多种的组合：凹凸感反馈，以及粘滞感反馈。

[0060] 在一种具体的实现中，可以接收外部的信号，例如，可以是空间中分布的至少一个触觉反馈传感器产生的超声或者压缩空气信号，通过外部信号产生的场效应，在用户的皮肤上产生上述第一触觉反馈，和/或产生上述第二触觉反馈。如图4所示。

[0061] 可选的，如图5a所示，在本申请的另一个可选实施方式中，所述S110中在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域，可以包括：

[0062] S111：根据至少一摄像头获取的所述用户的动作发生的变化，在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域。

[0063] 示例性的，如图5b所示，可以通过空间中分布的至少一摄像头对所述用户进行拍摄，分析所述至少一摄像头采集到的所述用户的静态画面或者动态影像；确定所述用户的动作发生的变化(例如，可以确定用户的轮廓的3D深度图)；根据所述用户的动作发生的变化，在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域。

[0064] 可选的，如图6所示，在本申请的另一个可选实施方式中，所述S100中在所述用户的皮肤上，确定所述用户与所述VR呈现的内容发生接触的区域，可以包括：

[0065] S101：获取所述用户在虚拟环境中的位置信息和姿态信息；

[0066] S102：根据所述位置信息、姿态信息以及所述VR呈现的内容，确定所述发生接触的区域。

[0067] 示例性的，由于根据位置信息可以确定用户在哪里，根据姿态信息可以确定用户身体的不同部位在空间的坐标，因此，得到了用户在虚拟环境中的位置和姿态信息，就可以结合所述VR呈现的内容，知道用户有没有跟虚拟环境中的内容发生接触，以及什么部位发生了接触，从而确定上述发生接触的区域。

[0068] 类似的，上述位置信息和/或姿态信息也可以通过空间中分布的至少一摄像头得到，此处不再赘述。

[0069] 图7是本申请一个实施例所述触觉反馈的装置的模块结构示意图，所述触觉反馈的装置可以是一个独立的实体设备，也可以是一个或多个芯片，一部分电路，或者一个或多个功能模块。如图7所示，所述触觉反馈的装置可以包括：

[0070] 接触确定模块710，用于在一用户的皮肤上，确定所述用户与一虚拟现实VR呈现的内容发生接触的区域；

[0071] 触觉反馈模块730，用于根据所述VR呈现的内容的相关信息，在所述发生接触的区域至少产生第一接触反馈。

[0072] 采用本申请实施例所述的触觉反馈的装置，根据所述VR呈现的内容的相关信息，在所述用户与所述VR呈现的内容发生接触的区域至少产生第一接触反馈。从而无需使用VR交互控制器，也无需大范围的进行触觉反馈，大大节省了产生触觉反馈所需的成本和能耗。

[0073] 可选的，如图8所示，在一种可选的实施方式中，所述触觉反馈的装置700还可以包括：

[0074] 相对运动确定模块720，用于在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域。

[0075] 可选的，如图9所示，在一种可选的实施方式中，所述触觉反馈模块730可以包括：

[0076] 第一触觉反馈子模块731，用于根据所述VR呈现的内容的相关信息，在所述发生接触的区域中除了所述发生相对运动的区域之外的部分产生第一触觉反馈；

[0077] 第二触觉反馈子模块732，用于根据所述VR呈现的内容的相关信息以及所述相对运动的相关参数，在所述发生相对运动的区域上产生第二触觉反馈；其中，所述第二触觉反馈包括所述第一触觉反馈以及弹性力反馈。

[0078] 可选的，如图10所示，在一种可选的实施方式中，所述相对运动确定模块720可以包括：

[0079] 相对运动确定子模块721，用于根据至少一摄像头获取的所述用户的动作发生的变化，在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域。

[0080] 在一种具体的实现中，如图11所示，所述相对运动确定子模块721可以包括：

[0081] 分析单元721-A，用于分析所述至少一摄像头采集到的所述用户的静态画面或者动态影像；

[0082] 第一确定单元721-B，用于确定所述用户的动作发生的变化；

[0083] 第二确定单元721-C，用于根据所述用户的动作发生的变化，在所述发生接触的区域中确定所述用户与所述VR呈现的内容发生相对运动的区域。

[0084] 可选的，如图12所示，在一种可选的实施方式中，所述接触确定模块710可以包括：

[0085] 位置信息确定子模块711，用于获取所述用户在虚拟环境中的位置信息和姿态信息；

[0086] 接触确定子模块712，用于根据所述位置信息、姿态信息以及所述VR呈现的内容，确定所述发生接触的区域。

[0087] 图13是本申请的另一实施例提供的一种VR交互系统示意图。参见图13，所述VR交互系统可以包括：

[0088] 一存储器1310、以及一处理器1330，其中，所述存储器1310用于存储指令；所述处理器1330用于执行所述指令，以执行下列步骤：

[0089] 在一用户的皮肤上，确定所述用户与一虚拟现实VR呈现的内容发生接触的区域；

[0090] 根据所述VR呈现的内容的相关信息，在所述发生接触的区域至少产生第一接触反馈。

[0091] 优选的，所述存储器1310和/或所述处理器1330可以集成在所述触觉反馈的装置上。

[0092] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的触觉反馈的装置以及VR交互系统的具体工作过程，可以参考前述方法实施例中的触觉反馈的方法的对应过程描述，在此不再赘述。

[0093] 综上，采用本申请实施例所述的VR交互系统，根据所述VR呈现的内容的相关信息，在所述用户与所述VR呈现的内容发生接触的区域至少产生第一接触反馈。从而无需使用VR交互控制器，也无需大范围的进行触觉反馈，大大节省了产生触觉反馈所需的成本和能耗。

[0094] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

[0095] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，控制器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

[0096] 以上实施方式仅用于说明本申请，而并非对本申请的限制，有关技术领域的普通技术人员，在不脱离本申请的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请的范畴，本申请的专利保护范围应由权利要求限定。