一种虚拟现实多视角融合模型的设计方法转让专利
申请号 : CN202110609017.7
文献号 : CN113221381B
文献日 : 2022-03-08
发明人 : 姚寿文 , 栗丽辉 , 王瑀 , 胡子然 , 兰泽令
申请人 : 北京理工大学
摘要 :
权利要求 :
1.一种虚拟现实多视角融合模型的设计方法,其特征在于:包括以下步骤:根据交互任务,采集视角类型,获得主视角、辅助视角以及所述主视角、所述辅助视角之间的配置模式和融合方法,其中,所述交互任务包括对用户的操作精度需求和对用户的空间感知需求,所述融合方法在不同所述辅助视角下在信息丰富程度、直观性和用户介入程度三个维度上分布,所述信息丰富程度指所述辅助视角所能提供给用户的各类信息的完备程度,包括空间信息、碰撞信息、虚拟人的状态信息;
根据所述配置模式和所述融合方法,构建多视角融合模型,所述多视角融合模型用于获得主视角图像和辅助视角图像,并将所述辅助视角图像融合到所述主视角图像中,获得多视角融合图像,
在采集所述视角类型的过程中,所述视角类型至少包括主视角类型、辅助视角类型,所述主视角类型和所述辅助视角类型分别包括第一人称视角或第三人称视角,在获得所述配置模式的过程中,将所述主视角类型设置为第一人称视角,将所述辅助视角类型设置为第三人称视角,根据所述配置模式,获得所述融合方法,用于表示将所述第三人称视角通过不同的图像融合方式融合到所述第一人称视角中,其中所述图像融合方式至少包括手持式画中画方式、抬头显示画中画方式、手持式微缩世界方式;
在获得所述配置模式的过程中,将所述主视角类型设置为第三人称视角,将所述辅助视角类型设置为第一人称视角,根据所述配置模式,获得所述融合方法,用于表示将所述第一人称视角通过不同的图像融合方式融合到所述第三人称视角中,其中所述图像融合方式至少包括手持式画中画方式、抬头显示画中画方式;
根据所述交互任务对用户空间感知与操作精度的不同需求,所述配置模式包括:当所述交互任务对近场空间感知能力要求较高,同时对操作精度要求较高时,采用所述第一人称视角1PP作为观察视角;
当所述交互任务对全局空间感知能力有一定的要求,同时对所述操作精度要求较高时,采用 作为观察视角,其中 为1PP为主视角,3PP为辅助视角;
当所述交互任务对所述全局空间感知能力要求较高,同时对所述操作精度要求较高时,采用 作为观察视角,其中, 为1PP为主视角,以三维WIM方法融合3PP辅助视角;
当所述交互任务对所述全局空间感知能力要求较高,但对所述操作精度要求较低时,采用所述第三人称视角3PP作为观察视角;
当所述交互任务对所述全局空间感知能力要求较高,且对所述操作精度有一定要求时,采用 作为观察视角,其中,所述 为以3PP为主视角,1PP为辅助视角;
当所述交互任务对所述全局空间感知能力和所述操作精度都没有较高要求时,采用所述第一人称视角1PP或所述第三人称视角3PP作为观察视角。
2.根据权利要求1所述的虚拟现实多视角融合模型的设计方法,其特征在于:在获得所述融合方法的过程中,所述主视角采用与虚拟人头部对齐的第一虚拟相机;所述辅助视角相机固定在虚拟场景中心后方,并面向虚拟人。
3.根据权利要求2所述的虚拟现实多视角融合模型的设计方法,其特征在于:在获得所述融合方法的过程中,所述主视角相机被固定虚拟场景中心后方,并面向虚拟人,并且随着HMD的旋转而旋转;所述辅助视角相机采用固定在虚拟人头部的虚拟相机。
4.根据权利要求2所述的虚拟现实多视角融合模型的设计方法,其特征在于:所述第一虚拟相机的视场角为110°,所述辅助视角相机的视场角为60°。
5.根据权利要求3所述的虚拟现实多视角融合模型的设计方法,其特征在于:所述主视角相机的视场角为110°,所述辅助视角相机的视场角为60°。
说明书 :
一种虚拟现实多视角融合模型的设计方法
技术领域
背景技术
入感和真实性的人机工效评价。然而,目前的虚拟现实系统,用户由于无法感知视场之外的
空间信息,难以保证虚拟装配中装配姿态仿真的实时正确性,因此只能实现固定动作的静
态评价。
拟触觉,设备昂贵,且具有局限性。比如,可穿戴设备会限制或干扰工人的自然运动。基于机
械臂的触觉反馈设备只能在单一点施加力,不能提供全身的触觉反馈。振动触觉反馈套装
会对使用者的运动造成限制,降低姿态仿真精度。
能看到全身运动姿态,难以保证装配仿真时全身姿态的正确性。第三人称视角3PP拓展了用
户的空间信息感知范围,用户可以感知自身与周围环境的空间位置关系,观察虚拟人体在
环境中的活动。缺点是不符合人类的自然交互习惯,对手和手臂装配区域观察有限,降低了
交互的准确性和效率。将第一人称视角1PP和第三人称视角3PP结合有助于提升用户在虚拟
环境中的交互性能。但是,没有验证第一人称视角1PP和第三人称视角3PP的融合对提升虚
拟环境中全身碰撞感知和虚拟人运动控制的影响。
发明内容
围环境的空间位置关系相结合,提高虚拟装配中装配姿态仿真的实时性和正确性。
获得多视角融合图像。
式画中画方式、抬头显示画中画方式、手持式微缩世界方式。
式画中画方式、抬头显示画中画方式。
相机。
周围环境的空间位置关系和全身运动状态,从而保证装配操作的准确性和直观性,为用户
提供周围环境的空间信息,保证肢体运动姿态的正确性与交互的自然性。多视角融合模型
提升了虚拟环境中用户的全身碰撞感知、虚拟人运动控制和直观性,为用户提供更多视野
外感兴趣区域的空间信息、碰撞细节,用户更加容易理解自己的肢体与障碍物的空间位置
关系,也能更直观清晰地观察手部交互操作。在虚拟现实环境中进行紧凑装配空间的装配
任务时,用户通过多视角融合模型,不仅可以直观地观察到手部交互区域,保证装配任务完
成的准确性和效率,还有助于观察到全身运动姿态,感知自己的肢体与周围零件之间的空
间位置关系,减少肢体与零件的互穿,保证装配姿态仿真的正确性。
附图说明
例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图
获得其他的附图。
具体实施方式
本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例,都属于本发明保护的范围。
精度需求较低,向右代表对操作精度需求较高。纵轴代表交互任务对用户的空间感知需求,
向上代表该任务更需要用户对全局空间信息的感知,向下代表该任务更需要用户对临近空
间内信息的感知。
维度上的分布。信息丰富程度指的是辅助视角所能提供给用户的各类信息的完备程度,包
括空间信息、碰撞信息、虚拟人的状态信息等。
3PP可以提供给用户更好的全局空间感知能力,但无法保证操作精度。因此,根据交互任务
对用户空间感知与交互精度的不同需求,有如下主、辅视角配置模式:
运动姿态数据,修改虚拟环境中观察相机的位置,使虚拟环境中的相机视角与操作者的头
部朝向一致。HMD上的双目显示屏将虚拟环境的影像投射到用户视网膜上,并基于双目视差
原理产生虚拟环境的立体效果。通过这种技术,操作者便能以符合人类观察习惯的1PP观察
虚拟环境。
各个角度接收Vive基站发来的定位信号。Vive基站是两个架设在现实环境中的红外线发射
器,可以向用户活动空间内按一定频率发出红外信号,不同红外传感器的接收信号时刻存
在微小差异。根据红外传感器接受信号时刻表及其在HMD上的位置,推算HMD的位移和旋转
数据,用来更新虚拟环境中的主观察相机的位姿数据。在搭建虚拟环境时,将主观察相机与
虚拟环境中的虚拟人头部节点重合,就可实现主观察相机的运动与虚拟人头部运动保持一
致,保证主观察相机以虚拟人1PP渲染虚拟环境。最后,利用HMD的双目立体显示将主观察相
机渲染好的虚拟环境展示给用户,用户就可以通过具有自我虚拟人感觉(Self‑Avatar)的
1PP视角观察虚拟环境。
配置,因此,选择(1)以1PP为主视角,3PP为辅助视角(简称为 ),或(2)以3PP为主视角,
1PP为辅助视角(简称为 )。
示的交互界面中,主视角占据了用户的大部分视野,辅助视角是通过适当的融合方法集成
在显示界面中的。通过排列组合的方式,将附图5(a)所示的1PP虚拟相机和3PP虚拟相机所
观察到的场景分别在附图5(b)所示的主视角和辅助视角中呈现,产生了两种主辅视角配置
模式,即
其朝向面向虚拟人,视场角为60°。
相机, 的主视角和辅助视角的视场角分别与 配置模式中的相同。
图像界面的融合方法。
是一种三维的辅助画面呈现方式,相当于虚拟现实环境的微缩副本,可通过手旋转WIM模型
自由调整观察角度。
(Head‑up display,HUD)操控方式是将呈现方式固定在视野中的某一位置,HUD相对于用户
头部是静止的,会一直呈现在用户视野中。
视角在视野中左右的显示位置,无法根据需要调节其距离眼睛的远近。HH PIP所能展示的
信息适中,因为HH PIP与手部锚定,用户可以将HH PIP在左右手切换,可用手调整其位置,
如调节其距离眼睛的远近,也可根据需要,选择是否将其放置在视野中。WIM所能展示的信
息最多,因为WIM是三维的辅助画面呈现方式,用户可通过旋转手腕的方式调节观察角度,
获取三维空间下的环境信息。
用户,初始尺寸设置为200mm×150mm,初始位置在用户手的上方200mm处。
主视角相机向左偏移150mm、向前偏移500mm。
上,用户的手旋转WIM模型可自由调整观察角度。
实环境中建立以下五种多视角融合模型:
放置在视野中,因此其优点是灵活、便捷,且可调节程度高。因为HUD PIP固定在用户视野中
的某一位置,一直呈现在用户的视野范围内,相对于用户头部是静止的,因此,用户的注意
力消耗较小、认知负荷低、便于随时观察。因为WIM是三维的辅助画面呈现方式,用户可通过
旋转手腕的方式改变观察视角,因此,其优势是直观性强、具有灵活操纵性、观察角度调整
自由。
户估计虚拟现实环境中物体间的距离、帮助用户定位目标的位置,以及帮助用户在虚拟现
实环境中定位自己的位置; 中的1PP辅助视角可以帮助呈现主视角外的空间信息,提高
用户对临近空间内信息的感知。
取物体。因为辅助视角为用户提供更多视野外感兴趣区域的空间信息、碰撞细节,也能更直
观地展现手部交互操作。
由地改变观察角度,提供了更多的空间信息细节,用户更加容易理解自己的肢体与障碍物
的空间位置关系,也可以更清晰地观察手部交互区域。
成连续干扰。WIM方法提供了最多的环境信息细节,且辅助视角有最灵活的控制策略(辅助
视角的位置和观察角度),但是这些优势会给用户带来更高的认知负荷。HH PIP方法的可控
程度介于HUD PIP和WIM之间。
因此可以更好地控制肢体运动和抓取物体。
为“原系统”)中分别进行齿轮装配。
戴显示器)中观察到的虚拟现实场景。如图(a)所示,在原系统中,用户仅以第一人称视角进
行观察,无法观察到自己的头顶、四肢等是否与前传动箱体发生穿透,无法观察到装配姿势
是否正确,用户会倾向于以更舒适但可能不正确的姿势进行装配,因此,用户进行齿轮装配
操作时的躯干弯曲程度不足,头部与前传动箱发生穿透,该姿势明显不合理。而如图(b)所
示,用户在改进系统中可以通过多视角融合模型的WIM辅助视角观察到全身装配姿态,感知
到自己的肢体与前传动箱的相对位置关系,保证以正确的姿势完成任务,因此,用户躯干的
弯曲程度比图(a)中的弯曲程度大,其头部并未与箱体穿透,该装配姿势合理的。
的虚拟现实场景。在图(a)所示的原系统中,用户起身后,其视角朝向工作台,前传动箱不在
视野范围内,用户的腿部与前传动箱明显穿透,该姿势明显不合理。而在图(b)所示的改进
系统中,用户可以从多视角融合模型的WIM辅助视角中观察到自己的全身运动姿态,避免了
当前传动箱不在其视野范围内时,用户肢体与箱体穿透情况的发生。
示的方位或位置关系,仅是为了便于描述本发明,而不是指示或暗示所指的装置或元件必
须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。