本发明揭示了一种虚拟现实社交实现系统，包括社交环境搭建装置与社交细节实现装置，社交环境搭建装置用以实现脸部表情及嘴型实时追踪与重现以及人脸3D模型构建，并通过实时追踪用户的头、手和身体躯干的动作和位置并呈现在虚拟现实的社交场景中，同时构建使用者的身体模型，并对场景进行真实环境的还原和重建；社交细节实现装置通过感测眼睛的注视焦点的位置，并根据使用者说话的语气、语句内容、语调和音量等来真实地呈现使用者说话时的嘴型动画，同时通过展现头部的动作和手部的动作及对方的动作姿势以增强用户虚拟现实社交时的真实感。
1.一种虚拟现实社交实现系统，包括社交环境搭建装置与社交细节实现装置，其中社交环境搭建装置包括脸部模型构建单元、动作捕捉与互动单元、身体模型重建单元及真实环境还原单元，社交细节实现装置包括眼神交流再现单元、嘴型重现单元、肢体动作展现单元以及用户姿势判断单元，其中脸部模型构建单元用以实现脸部表情实时追踪与重现、嘴型实时追踪与重现以及人脸3D模型的构建，动作捕捉与互动单元通过实时追踪用户的头、手和身体躯干的动作和位置，并相应地呈现在虚拟现实的社交场景中，身体模型重建单元用以构建使用者的身体模型，真实环境还原单元用以对场景进行真实环境的还原和重建，以令使用户更真实地沉浸在虚拟现实的社交场景中；眼神交流再现单元用以感测眼睛的注视焦点的位置，嘴型重现单元用以根据使用者说话的语气、语句内容、语调和音量来真实地呈现使用者说话时的嘴型动画，肢体动作展现单元用以通过展现头部的动作和手部的动作来增强用户虚拟现实社交时的真实感，动作姿势判断单元用以判断对方的动作姿势，身体模型重建单元用以构建使用者的身体模型，当用户进入虚拟现实世界开始社交之前，需要提交自己的身体模型数据，这个身体模型是由多台相机包围一个人物做三维扫描来实现，其中身体模型数据由三个部分构成：身体参数、基本属性以及附属，身体参数包括身高、体重、提醒、肤色以及毛发元素，基本属性包括人种、性别和年龄元素，附属包括服饰、发型和纹身元素。
2.如权利要求1所述的虚拟现实社交实现系统，其特征在于：脸部表情实时追踪与重现需要两组传感器来分别实时识别使用者上脸部和下脸部的表情，嘴型实时追踪是通过下脸部感知传感器组来捕捉嘴型的动作和幅度，然后在虚拟现实环境中真实呈现嘴型，人脸3D模型构建是利用三维激光扫描仪获取人脸的点云数据，然后对这些点云数据进行处理，然后利用人脸图像进行纹理映射获得3D人脸模型。
3.如权利要求1所述的虚拟现实社交实现系统，其特征在于：动作捕捉与互动单元通过VR头盔内部的惯性传感器和外部的光学传感器来感知用户的3自由度转动动作以及6自由度的肢体转动和移动动作。
4.如权利要求1所述的虚拟现实社交实现系统，其特征在于：其中真实环境还原单元包括360度全景动态环境背景创建模块、公共和私人空间的创建模块、社交活动类型创建模块、好友列表创建模块、交流模式创建模块和好友信息创建模块。
5.如权利要求1所述的虚拟现实社交实现系统，其特征在于：其中360度全景动态环境背景创建模块用以实现场景的重建，包括材质、灯光、周围声音、细节动画的还原的场景的创建；公共和私人空间的创建模块用以创建公共和私人的空间，其中公共空间是指虚拟现实中的人物均可只有出入，而私人空间是指使用者虚拟现实中的家，他人只有在被使用者邀请后方可进入，社交活动类型创建模块用以创建虚拟现实世界中的社交流动类型，为约会聚餐、当面交流、看电影、玩游戏；好友列表创建模块用以创建使用者的在线好友、离线好友以及新增好友列表；交流模式创建模块用以创建虚拟现实世界中的交流模式，如和周围人会去解释说明、陈述和人际交往互动；好友信息创建模块为使用者创建好的的信息，以便使用者可以看到好友的个人简介、状态更新以及分享和互动内容，使用者也可以看到他正在体验什么、玩过什么游戏、看过什么电影，使用者也可以邀请他来加入使用者将要参加的一项新活动。
虚拟现实社交实现系统
【技术领域】
[0001] 本发明涉及信息处理技术，特别是虚拟现实社交实现系统。【背景技术】
[0002] 近年来，虚拟现实(VR)产品，如VR眼镜、VR一体机等，成为业界日益关注的重点。然而在现有的虚拟现实(VR)世界中，目前用户只能体验一些VR游戏和多媒体内容，而且这些内容交互较为简单，并且无法联机运行。而未来的趋势，会要求用户能在虚拟现实世界中能实现类似真实世界中的社交和即时通讯等场景。目前的虚拟现实社交中，只完成了人物的位置方向基本姿态、头部位置的跟踪，用户只能看见自己虚拟的手以及社交对象虚拟的头像和手，无法令用户沉浸地进行虚拟现实社交。【发明内容】
[0003] 本发明的目的在于提供一种虚拟现实社交实现系统，能够对虚拟现实的场景进行全方面的识别与跟踪，从而解决现有的虚拟现实社交中无法令用户沉浸地进行虚拟现实社交的问题。
[0004] 为实现上述目的，实施本发明的虚拟现实社交实现系统包括社交环境搭建装置与社交细节实现装置，其中社交环境搭建装置包括脸部模型构建单元、动作捕捉与互动单元、身体模型重建单元及真实环境还原单元，社交细节实现装置包括眼神交流再现单元、嘴型重现单元、肢体动作展现单元以及用户姿势判断单元，其中脸部模型构建单元用以实现脸部表情实时追踪与重现、嘴型实时追踪与重现以及人脸3D模型的构建，动作捕捉与互动单元通过实时追踪用户的头、手和身体躯干的动作和位置，并相应地呈现在虚拟现实的社交场景中，身体模型重建单元用以构建使用者的身体模型，真实环境还原单元用以对场景进行真实环境的还原和重建，以令使用户更真实地沉浸在虚拟现实的社交场景中；眼神交流再现单元用以感测眼睛的注视焦点的位置，嘴型重现单元用以根据使用者说话的语气、语句内容、语调和音量等来真实地呈现使用者说话时的嘴型动画，肢体动作展现单元用以通过展现头部的动作和手部的动作来增强用户虚拟现实社交时的真实感，动作姿势判断单元用以判断对方的动作姿势。
[0005] 依据上述主要特征，脸部表情实时追踪与重现需要两组传感器来分别实时识别使用者上脸部和下脸部的表情，嘴型实时追踪是通过下脸部感知传感器组来捕捉嘴型的动作和幅度，然后在虚拟现实环境中真实呈现嘴型，人脸3D模型构建是利用三维激光扫描仪获取人脸的点云数据，然后对这些点云数据进行处理，然后利用人脸图像进行纹理映射获得3D人脸模型。
[0006] 依据上述主要特征，动作捕捉与互动单元通过VR头盔内部的惯性传感器和外部的光学传感器来感知用户的3自由度转动动作以及6自由度的肢体转动和移动动作。
[0007] 依据上述主要特征，身体模型重建单元用以构建使用者的身体模型，当用户进入虚拟现实世界开始社交之前，需要提交自己的身体模型数据，这个身体模型是由多台相机包围一个人物做三维扫描来实现的，其中身体模型数据主要由三个部分构成：身体参数、基本属性以及附属，身体参数主要包括身高、体重、提醒、肤色以及毛发等元素，基本属性主要包括人种、性别和年龄等元素，附属主要包括服饰、发型和纹身等元素。
[0008] 依据上述主要特征，其中真实环境还原单元包括360度全景动态环境背景创建模块、公共和私人空间的创建模块、社交活动类型创建模块、好友列表创建模块、交流模式创建模块和好友信息创建模块。
[0009] 依据上述主要特征，其中360度全景动态环境背景创建模块用以实现场景的重建，包括材质、灯光、周围声音、细节动画的还原等场景的创建；公共和私人空间的创建模块用以创建公共和私人的穿间，其中公共空间是指虚拟现实中的人物均可只有出入，而私人空间是指使用者虚拟现实中的家，他人只有在被使用者邀请后方可进入，社交活动类型创建模块用以创建虚拟现实世界中的社交流动类型，如约会聚餐、当面交流、看电影、玩游戏等；好友列表创建模块用以创建使用者的在线好友、离线好友以及新增好友等列表；交流模式创建模块用以创建虚拟现实世界中的交流模式，如和周围人会去解释说明、陈述和人际交往互动；好友信息创建模块为使用者创建好的的信息，以便使用者可以看到好友的个人简介、状态更新以及分享和互动内容，使用者也可以看到他正在体验什么、玩过什么游戏、看过什么电影。使用者也可以邀请他来加入使用者将要参加的一项新活动。
[0010] 与现有技术相比较，本发明具有如下优点：(1)本发明方法可以大大提供虚拟现实社交的真实感和沉浸感；(2)本发明方法适合一对一，一对多以及多对多等多种社交互动场景；(3)本发明方法可大大提高虚拟现实产品的留存率和活跃率；(4)本发明方法具有通用性和普适性，可应用与增强现实和混合现实等产品应用领域，具有良好的市场推广前景。【附图说明】
[0011] 图1为实施本发明的虚拟现实社交实现系统的功能方框组成示意图。【具体实施方式】
[0012] 请参阅图1所示，为实施本发明的虚拟现实社交实现系统的功能方框组成示意图。实施本发明的虚拟现实社交实现系统包括社交环境搭建装置与社交细节实现装置。
[0013] 社交环境搭建装置包括脸部模型构建单元、动作捕捉与互动单元、身体模型重建单元及真实环境还原单元，以下对上述各单元的功能进行详细说明。
[0014] 脸部模型构建单元用以实现脸部表情实时追踪与重现、嘴型实时追踪与重现以及人脸3D模型的构建。
[0015] 其中由于人脸非常复杂，特别是表情就集中在鼻头到眼睛的那一块三角区，且VR头盔须佩戴在用户头上，会遮住用户上脸部，脸部表情实时追踪与重现需要两组传感器来分别实时识别使用者上脸部和下脸部的表情。上脸部感知传感器组安装在VR头盔内部，用来追踪眼睛和眉毛等脸部上半部分的表情；下脸部感知传感器组安装在VR头盔外部，用来追踪用户的脸蛋、下巴和嘴的表情，然后在虚拟现实环境中真实呈现脸部的实时表情。对于上述的上脸部感知传感器及下脸部感知传感器可以为现为的图像传感器，对于其功能及工作原理现有技术中多有描述，此处不再详细说明。
[0016] 嘴型实时追踪是通过下脸部感知传感器组来捕捉嘴型的动作和幅度，然后在虚拟现实环境中真实呈现嘴型。
[0017] 人脸3D模型构建是利用三维激光扫描仪获取人脸的点云数据，然后对这些点云数据进行处理，然后利用人脸图像进行纹理映射获得3D人脸模型。
[0018] 动作捕捉与互动单元通过实时追踪用户的头、手和身体躯干的动作和位置，并相应地呈现在虚拟现实的社交场景中，是通过内部的惯性传感器和外部的光学传感器来感知用户的3自由度转动动作以及6自由度的肢体转动和移动动作。
[0019] 身体模型重建单元用以构建使用者的身体模型，当用户进入虚拟现实世界开始社交之前，需要提交自己的身体模型数据。这个身体模型是由多台相机包围一个人物做三维扫描来实现的。其中身体模型数据主要由三个部分构成：身体参数、基本属性以及附属。其中身体参数主要包括身高、体重、提醒、肤色以及毛发等元素。基本属性主要包括人种、性别和年龄等元素。附属主要包括服饰、发型和纹身等元素，这部分数据可以用户高度个性定制化。
[0020] 真实环境还原单元用以对场景进行真实环境的还原和重建，以令使用户更真实地沉浸在虚拟现实的社交场景中，包括360度全景动态环境背景创建模块、公共和私人空间的创建模块、社交活动类型创建模块、好友列表创建模块、交流模式创建模块和好友信息创建模块，其中：
[0021] 360度全景动态环境背景创建模块用以实现场景的重建，包括材质、灯光、周围声音、细节动画的还原等场景的创建。
[0022] 公共和私人空间的创建模块用以创建公共和私人的穿间，其中公共空间是指虚拟现实中的人物均可只有出入，而私人空间是指使用者虚拟现实中的家，他人只有在被使用者邀请后方可进入。
[0023] 社交活动类型创建模块用以创建虚拟现实世界中的社交流动类型，如约会聚餐、当面交流、看电影、玩游戏等。
[0024] 好友列表创建模块用以创建使用者的在线好友、离线好友以及新增好友等列表。
[0025] 交流模式创建模块用以创建虚拟现实世界中的交流模式，如和周围人会去解释说明、陈述和人际交往互动。
[0026] 好友信息创建模块为使用者创建好的的信息，以便使用者可以看到好友的个人简介、状态更新以及分享和互动内容，使用者也可以看到他正在体验什么、玩过什么游戏、看过什么电影。使用者也可以邀请他来加入使用者将要参加的一项新活动。
[0027] 社交细节实现装置包括眼神交流再现单元、嘴型重现单元、肢体动作展现单元以及用户姿势判断单元，以下对上述各单元的功能进行详细说明。
[0028] 眼神交流再现单元用以通过感测眼睛的注视焦点的位置，来识别对象是否在注视使用者、使用者知道对方在看什么、对方也知道使用者在看什么，此对于虚拟社交中的沟通真实感提升起到极大的帮助。
[0029] 嘴型重现单元用以根据使用者说话的语气、语句内容、语调和音量等来真实地呈现使用者说话时的嘴型动画，从而更方便使用者知道对方什么时候在说话，什么时候停止说话，还有使用者说话的时候使用者可以看见对方在听。同时，声音能够极大地提高临场感，因为使用者能根据一个人的声音定位对方在空间中的位置，能通过声音判断对方说话的地方离使用者的远近。
[0030] 肢体动作展现单元用以通过展现头部的动作(如点头认可、摇头不同意等)和手部的动作(如挥手打招呼或再见、握手问候、手势等)来增强用户虚拟现实社交时的真实感，因为语音是社交中最基础的部分，而头和手的肢体语言负责配合，此与现实生活中和别人交流一样。
[0031] 动作姿势判断单元用以判断对方的动作姿势，比如使用者和好友一起在虚拟现实世界看电影时，使用者侧身和好友交流，使用者会看到使用者的朋友的侧脸，如果使用者的朋友转过来和使用者说话时，使用者可以看到他大半部分正脸。同时这个距离也是用户习惯的安全距离，增加用户的临场感。比如使用者和使用者的好友一起在虚拟现实世界玩搭积木的游戏时，使用者可以看到他的一个真实的3D身体模型在使用者面前，使用者可以看到他的所有手部动作以及完成的积木搭建，使用者们可以协作完成积木的搭建。当然在此过程中，使用者们可以完成眼神、语音和手势的沟通和交流。从而产生一种真实临场感：对方就在这里，他是实实在在的一个人。与此同时，两人一起玩虚拟现实中游戏(比如一起堆积木或打乒乓球)的时候，更少的会去想他是不是真实的在那里，而是会把注意力更多地放在两一起做游戏所带来的快乐上，这种注意力转移更会提升虚拟现实的沉浸感。
[0032] 与现有技术相比较，本发明具有如下优点：(1)本发明方法可以大大提供虚拟现实社交的真实感和沉浸感；(2)本发明方法适合一对一，一对多以及多对多等多种社交互动场景；(3)本发明方法可大大提高虚拟现实产品的留存率和活跃率；(4)本发明方法具有通用性和普适性，可应用与增强现实和混合现实等产品应用领域，具有良好的市场推广前景。
[0033] 本领域的普通技术人员可以意识到，结合本文中所公开的实施例所描述的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件与软件的可互换性，在上述的说明中已经按照功能一般性地描述了各示例的组成和步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0034] 结合本文中所公开的实施例描述的方法步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实现。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、CD-ROM或本技术领域内所公知的任意其他形式的存储介质中。
[0035] 可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。
