基于场景摄像头重定位的虚拟现实方法、系统

摘要

本发明提供一种基于场景摄像头重定位的虚拟现实方法，首先依次遍历第一图像数据以查找第一图像数据中的每一个的单位像素在第二图像数据中的极线区域，在极线区域中获取与单位像素相对应的初始匹配位置和匹配块，并根据初始匹配位置和匹配块生成两个场景相机的深度数据，而后根据该深度数据与变化矩阵获取人眼位置与深度数据的对应关系，从而根据对应关系获取基于人眼位置的显示数据以完成虚拟现实显示，如此通过位置关系变换使场景相机捕获的图像对眼睛位置、HMD显示器和场景相机的不同位置进行补偿，从而使虚拟现实显示头戴所显示的图像与人眼直接观测的现实世界相一致，进而提高用户的距离感和方向感。

权利要求

1.一种基于场景摄像头重定位的虚拟现实方法，其特征在于，包括：通过两个场景相机同时实时捕捉外部环境以形成第一图像数据和第二图像数据；

依次遍历所述第一图像数据以查找所述第一图像数据中的每一个的单位像素在所述第二图像数据中的极线区域；

在所述极线区域中获取与所述单位像素相对应的初始匹配位置和匹配块，并根据所述初始匹配位置和所述匹配块生成所述两个场景相机的深度数据；其中，根据所述初始匹配位置和所述匹配块生成所述两个场景相机的深度数据的过程，包括：根据所述初始匹配位置和所述匹配块进行迭代计算以获取与所述每一个像素相对应的最优位置；

将所有的最优位置聚集为第二重复图像数据；

通过立体匹配技术将所述第二重复图像数据、所述第一图像数据转换为所述两个场景相机的深度数据；

根据所述深度数据与变化矩阵获取人眼位置与所述深度数据的对应关系；其中，所述变化矩阵为通过标定所述场景相机所获取的关于所述第一图像数据与所述第二图像数据相对人眼位置的矩阵；

根据所述对应关系获取基于所述人眼位置的显示数据以完成虚拟现实显示。

2.如权利要求1所述的基于场景摄像头重定位的虚拟现实方法，其特征在于，在所述极线区域中获取与所述单位像素相对应的初始匹配位置和匹配块的过程中，包括：通过归一化查找匹配策略在所述极线区域中按照预设的滑动查找窗口获取与所述单位像素相对应的初始匹配位置和匹配块。

3.如权利要求2所述的基于场景摄像头重定位的虚拟现实方法，其特征在于，所述预设的滑动查找窗口的大小为5*5个像素。

4.如权利要求1所述的基于场景摄像头重定位的虚拟现实方法，其特征在于，采用匹配算法根据所述初始匹配位置和所述匹配块进行迭代计算以获取与所述每一个像素相对应的最优位置。

5.如权利要求4所述的基于场景摄像头重定位的虚拟现实方法，其特征在于，所述匹配算法为：以所述初始匹配位置为中心，在水平方向上分别向左、向右选中预设数量的像素，在垂直方向上分别向上、向下选中预设数量的像素形成第一区域；

在所述第一区域进行重复迭代计算产生候选区域，直至所述候选区域的搜索比率大于预设阈值停止迭代，并以最后一个候选区域作为所述最优位置。

6.如权利要求5所述的基于场景摄像头重定位的虚拟现实方法，其特征在于，所述预设数量的像素为两个像素。

7.如权利要求4所述的基于场景摄像头重定位的虚拟现实方法，其特征在于，获取所述变化矩阵的过程，包括：通过标定所述场景相机以获取所述两个场景相机之间的位置关系矩阵和所述两个场景相机分别与所述第一图像数据、所述第二图像数据之间的内参矩阵；

通过光学显示的光轴校准工装获取所述场景相机与所述人眼位置的转换矩阵，并根据所述转换矩阵与所述内参矩阵获取所述第一图像数据与所述第二图像数据相对人眼位置的变化矩阵。

8.一种基于场景摄像头重定位的虚拟现实系统，实现如权利要求1‑7任一所述的基于场景摄像头重定位的虚拟现实方法，其特征在于，包括HMD头戴、设置在所述HMD头戴上的两个场景相机，和设置在所述HMD头戴内部的处理器，其中，所述处理器包括：图像获取模块，用于通过所述两个场景相机同时实时捕捉外部环境以形成第一图像数据和第二图像数据；所述两个场景相机同时同频拍摄；

区域锁定模块，用于依次遍历所述第一图像数据以查找所述第一图像数据中的每一个的单位像素在所述第二图像数据中的极线区域；

深度计算模块，用于在所述极线区域中获取与所述单位像素相对应的初始匹配位置和匹配块，并根据所述初始匹配位置和所述匹配块生成所述两个场景相机的深度数据；根据所述初始匹配位置和所述匹配块生成所述两个场景相机的深度数据的过程，包括：根据所述初始匹配位置和所述匹配块进行迭代计算以获取与所述每一个像素相对应的最优位置；

将所有的最优位置聚集为第二重复图像数据；

通过立体匹配技术将所述第二重复图像数据、所述第一图像数据转换为所述两个场景相机的深度数据；

定位校准模块，用于根据所述深度数据与变化矩阵获取所述人眼位置与所述深度数据的对应关系；其中，所述变化矩阵为通过标定所述场景相机所获取的关于所述第一图像数据与所述第二图像数据相对人眼位置的矩阵；

显示生成模块，用于根据所述对应关系获取基于所述人眼位置的显示数据以完成虚拟现实显示。

说明书

基于场景摄像头重定位的虚拟现实方法、系统

技术领域

[0001] 本发明涉及虚拟现实技术领域，更为具体地，涉及一种基于场景摄像头重定位的虚拟现实方法、系统。

背景技术

[0002] 由于科技的进步，市场需求的多元化发展，虚拟现实系统正变得越来越普遍，应用在许多领域，如电脑游戏，健康和安全，工业和教育培训。举几个例子，混合虚拟现实系统正在被整合到移动通讯设备、游戏机、个人电脑、电影院，主题公园，大学实验室，学生教室，医院锻炼健身室等生活各个角落。

[0003] 虚拟现实或者混合现实头盔显示器(HMD)通常用于体验虚拟环境，各种HMD包括捕捉用户环境图像(例如，场景)的场景相机和向用户显示图像的显示器。在一些应用场景下，该图像或其部分可与一个或多个虚拟对象组合以向用户呈现增强现实或者混合现实体验。在其它应用场景下，HMD可以在传递模式下操作，其中图像或其部分在不添加虚拟对象的情况下呈现给用户。理想情况下，呈现给用户的真实世界的图像基本上类似于假设没有HMD，用户人眼将看到的图像，但是，现实情况下在一个HMD中通过场景相机呈现给用户的现实世界的形象可能并不总是等同于用户直接通过人眼看到的世界，由于眼睛位置的不同、场景相机位置的不同、显示器和相机空间的差异等会导致用户的距离感知能力差，方向感差，手眼协调能力差，例如在与现实世界互动时，交互的协调力差。

[0004] 因此，亟需一种能够通过位置关系变换使场景相机捕获的图像对眼睛、HMD显示器和相机的不同位置进行补偿，以使显示图像与人眼直接观测的现实世界相一致的基于场景摄像头重定位的虚拟现实方法、系统。

发明内容

[0005] 鉴于上述问题，本发明的目的是提供一种基于场景摄像头重定位的虚拟现实方法、系统，以解决现实情况下在一个HMD中通过场景相机呈现给用户的现实世界的形象可能并不总是等同于用户直接通过人眼看到的世界，由于眼睛位置的不同、场景相机位置的不同、显示器和相机空间的差异等会导致用户的距离感知能力差，方向感差，手眼协调能力差的问题。

[0006] 本发明提供的一种基于场景摄像头重定位的虚拟现实方法，包括：

[0007] 通过两个场景相机同时实时捕捉外部环境以形成第一图像数据和第二图像数据；

[0008] 依次遍历所述第一图像数据以查找所述第一图像数据中的每一个的单位像素在所述第二图像数据中的极线区域；

[0009] 在所述极线区域中获取与所述单位像素相对应的初始匹配位置和匹配块，并根据所述初始匹配位置和所述匹配块生成所述两个场景相机的深度数据；

[0010] 根据所述深度数据与变化矩阵获取所述人眼位置与所述深度数据的对应关系；其中，所述变化矩阵为通过标定所述场景相机所获取的关于所述第一图像数据与所述第二图像数据相对人眼位置的矩阵；

[0011] 根据所述对应关系获取基于所述人眼位置的显示数据以完成虚拟现实显示。

[0012] 优选地，在所述极线区域中获取与所述单位像素相对应的初始匹配位置和匹配块的过程中，包括：

[0013] 通过归一化查找匹配策略在所述极线区域中按照预设的滑动查找窗口获取与所述单位像素相对应的初始匹配位置和匹配块。

[0014] 优选地，所述预设的滑动查找窗口的大小为5*5个像素。

[0015] 优选地，根据所述初始匹配位置和所述匹配块生成所述两个场景相机的深度数据的过程，包括：

[0016] 根据所述初始匹配位置和所述匹配块进行迭代计算以获取与所述每一个像素相对应的最优位置；

[0017] 将所有的最优位置聚集为第二重复图像数据；

[0018] 通过立体匹配技术将所述第二重复图像数据、所述第一图像数据转换为所述两个场景相机的深度数据。

[0019] 优选地，采用匹配算法根据所述初始匹配位置和所述匹配块进行迭代计算以获取与所述每一个像素相对应的最优位置。

[0020] 优选地，所述匹配算法为：

[0021] 以所述初始匹配位置为中心，在水平方向上分别向左、向右选中预设数量的像素，在垂直方向上分别向上、向下选中预设数量的像素形成第一区域；

[0022] 在所述第一区域进行重复迭代计算产生候选区域，直至所述候选区域的搜索比率大于预设阈值停止迭代，并以最后一个候选区域作为所述最优位置。

[0023] 优选地，所述预设数量的像素为两个像素。

[0024] 优选地，获取所述变化矩阵的过程，包括：

[0025] 通过标定所述场景相机以获取所述两个场景相机之间的位置关系矩阵和所述两个场景相机分别与所述第一图像数据、所述第二图像数据之间的内参矩阵；

[0026] 通过光学显示的光轴校准工装获取所述场景相机与所述人眼位置的转换矩阵，并根据所述转换矩阵与所述内参矩阵获取所述第一图像数据与所述第二图像数据相对人眼位置的变化矩阵。

[0027] 本发明还提供一种基于场景摄像头重定位的虚拟现实系统，用于实现前述的基于场景摄像头重定位的虚拟现实方法，包括HMD头戴、设置在所述HMD头戴上的两个场景相机，和设置在所述HMD头戴内部的处理器，其中，所述处理器包括：

[0028] 图像获取模块，用于通过所述两个场景相机同时实时捕捉外部环境以形成第一图像数据和第二图像数据；

[0029] 区域锁定模块，用于依次遍历所述第一图像数据以查找所述第一图像数据中的每一个的单位像素在所述第二图像数据中的极线区域；

[0030] 深度计算模块，用于在所述极线区域中获取与所述单位像素相对应的初始匹配位置和匹配块，并根据所述初始匹配位置和所述匹配块生成所述两个场景相机的深度数据；

[0031] 定位校准模块，根据所述深度数据与变化矩阵获取所述人眼位置与所述深度数据的对应关系；其中，所述变化矩阵为通过标定所述场景相机所获取的关于所述第一图像数据与所述第二图像数据相对人眼位置的矩阵；

[0032] 显示生成模块，用于根据所述对应关系获取基于所述人眼位置的显示数据以完成虚拟现实显示。

[0033] 优选地，所述两个场景相机同时同频拍摄。

[0034] 从上面的技术方案可知，本发明提供的基于场景摄像头重定位的虚拟现实方法、系统，首先通过两个场景相机同时实时捕捉外部环境以形成第一图像数据和第二图像数据，再依次遍历该第一图像数据以查找第一图像数据中的每一个的单位像素在第二图像数据中的极线区域，在极线区域中获取与单位像素相对应的初始匹配位置和匹配块，并根据初始匹配位置和匹配块生成两个场景相机的深度数据，而后根据该深度数据与变化矩阵获取人眼位置与深度数据的对应关系，从而根据对应关系获取基于人眼位置的显示数据以完成虚拟现实显示，如此通过位置关系变换使场景相机捕获的图像对眼睛位置、HMD显示器和场景相机的不同位置进行补偿，从而使虚拟现实显示头戴所显示的图像与人眼直接观测的现实世界相一致，进而提高用户的距离感和方向感，提高手眼协调能力，增强用户的交互性和沉浸感。

附图说明

[0035] 通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

[0036] 图1为根据本发明实施例的基于场景摄像头重定位的虚拟现实方法的流程图；

[0037] 图2为根据本发明实施例的基于场景摄像头重定位的虚拟现实系统的示意图。

具体实施方式

[0038] 理想情况下，呈现给用户的真实世界的图像基本上类似于假设没有HMD用户人眼将看到的图像，但是，现实情况下在一个HMD中通过场景相机呈现给用户的现实世界的形象可能并不总是等同于用户直接通过人眼看到的世界，由于眼睛位置的不同、场景相机位置的不同、显示器和相机空间的差异等会导致用户的距离感知能力差，方向感差，手眼协调能力差。

[0039] 针对上述问题，本发明提供一种基于场景摄像头重定位的虚拟现实方法、系统，以下将结合附图对本发明的具体实施例进行详细描述。

[0040] 为了说明本发明提供的基于场景摄像头重定位的虚拟现实方法、系统，图1对本发明实施例的基于场景摄像头重定位的虚拟现实方法进行了示例性标示；图2对本发明实施例的基于场景摄像头重定位的虚拟现实系统进行了示例性标示。

[0041] 以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。

[0042] 如图1所示，本发明提供的本发明实施例的基于场景摄像头重定位的虚拟现实方法，包括：

[0043] S110：通过两个场景相机同时实时捕捉外部环境以形成第一图像数据和第二图像数据；

[0044] S120：依次遍历第一图像数据以查找第一图像数据中的每一个的单位像素在第二图像数据中的极线区域；

[0045] S130：在极线区域中获取与单位像素相对应的初始匹配位置和匹配块，并根据初始匹配位置和匹配块生成两个场景相机的深度数据；

[0046] S140：根据深度数据与变化矩阵获取人眼位置与深度数据的对应关系；其中，变化矩阵为通过标定场景相机所获取的关于第一图像数据与第二图像数据相对人眼位置的矩阵；

[0047] S150：根据对应关系获取基于人眼位置的显示数据以完成虚拟现实显示。

[0048] 如图1所示，在步骤S110中，通过两个场景相机同时实时捕捉外部环境以形成第一图像数据和第二图像数据时，两个场景相机在物理上完全同步，并且在实际应用中，两个场景相机的FOV视野可以尽可能重叠区域大一些，以模拟用户人眼的FOV，该场景相机可以为任意具有拍摄功能的相机，可以为RGB彩色相机，也可以为Monochrome相机，在本实施例中，两个场景相机的FOV为100°‑120°，以使场景相机拍摄的图像更能与人眼实际捕捉的图像相一致，提高用户的沉浸感。

[0049] 在图1所示的实施例中，步骤S130为在极线区域中获取与单位像素相对应的初始匹配位置和匹配块，并根据初始匹配位置和匹配块生成两个场景相机的深度数据，其中，通过归一化查找匹配策略在极线区域中按照预设的滑动查找窗口获取与单位像素相对应的初始匹配位置和匹配块，在本实施例中该预设的滑动查找窗口的大小为5*5个像素以提高查找效率；此外，根据初始匹配位置和匹配块生成两个场景相机的深度数据的过程，包括：

[0050] S131：根据初始匹配位置和匹配块进行迭代计算以获取与每一个像素相对应的最优位置；

[0051] S132：将所有的最优位置聚集为第二重复图像数据；

[0052] S133：通过立体匹配技术将第二重复图像数据、第一图像数据转换为两个场景相机的深度数据；并且，在步骤S131中，采用匹配算法根据该初始匹配位置和匹配块进行迭代计算以获取与每一个像素相对应的最优位置；

[0053] 其中，该匹配算法为：

[0054] S131‑1：以初始匹配位置为中心，在水平方向上分别向左、向右选中预设数量的像素，在垂直方向上分别向上、向下选中预设数量的像素形成第一区域；并且在本实施例中该预设数量为两个，即以初始匹配位置为中心，在水平方向上分别向左、向右选中两个像素，在垂直方向上分别向上、向下选中两个像素，如此形成第一区域；

[0055] S131‑2：在第一区域进行重复迭代计算产生候选区域，直至候选区域的搜索比率大于预设阈值停止迭代，并以最后一个候选区域作为最优位置。

[0056] 在图1所示的实施例中，步骤S140中，获取变化矩阵的过程，包括：

[0057] S141：通过标定场景相机以获取两个场景相机之间的位置关系矩阵和两个场景相机分别与第一图像数据、第二图像数据之间的内参矩阵；

[0058] S142：通过光学显示的光轴校准工装获取场景相机与人眼位置的转换矩阵，并根据转换矩阵与内参矩阵获取第一图像数据与第二图像数据相对人眼位置的变化矩阵；

[0059] 需要说明的是，步骤S140中，变化矩阵为通过标定场景相机所获取的关于第一图像数据与第二图像数据相对人眼位置的矩阵，获取变化矩阵的过程，即通过标定场景相机获取第一图像数据与第二图像数据相对人眼位置的变化矩阵的过程并非一定在步骤S110、S120、S130之后执行，其只是为了获取第一图像数据与第二图像数据相对人眼位置的变化矩阵这一单纯的数据，该过程可在步骤S110之前执行，即该变化矩阵也可在步骤S110之前获取，以备根据该深度数据与该变化矩阵获取人眼位置与深度数据的对应关系；由于步骤S141中两个场景相机之间的位置关系矩阵及两个场景相机的内参矩阵极易获取，故在本实施例中在步骤S120查找极线区域之前已获取完两个场景相机之间的位置关系矩阵及两个场景相机的内参矩阵以备协助步骤S120更加迅速地锁定极线区域。

[0060] 在本发明的一个具体实施例中，首先通过场景相机的标定获取到关于两个场景相机在HMD上的相互之间的位置关系(旋转和位置平移)的变化矩阵MatR和MatT，以及内参矩阵TK1、K2，而后获取第一图像数据的像素点(m，n)在第二图像数据上对应的极线区域，即P2*F*T
P1＝0其中，P2表示齐次坐标系第二图像数据的每一个像素位置的转置信息(u v 1)，P1表示齐次坐标系的第一图像数据的每一个像素位置 F为两个相机3*3的基础矩阵，且获取的极线区域后极线区域上任何一个像素都有可能
是第一图相数据中的像素(m,n)在第二图像数据中对应的匹配位置(u,v)，故在本具体实施例中通过归一化查找匹配策略(NCC(Normalized Cross Correlation)算法)获取像素(m,n)在第二图像数据上对应的最相似的匹配块Patch_2和初始的匹配位置LocalPointu，v；为了效率和匹配精度的平衡考虑，本文选择滑动查找的窗口大小为：5*5；在获取到第一图像数据的像素(m,n)在第二图像数据上的初始匹配位置LocalPointu，v和对应的最相似的匹配块Patch_2后，再进一步进行亚像素匹配算法和迭代计算，获取最优位置EstLocal，提高匹配精度；

[0061] 具体的，迭代计算对应的图像窗口区域范围以LocalPointu，v为中心，水平方向往左2个像素，往右2个像素，垂直方往上2个像素，往下2个像素，在该图像区域进行迭代窗口迭代计算，需要说明的是，EstLocal的初始位置为LocalPointu，v的位置，并且每一次水平方向上的位置迭代步长为0.2，垂直方向上的位置迭代步长为0.2，因此，水平方向和垂直方向上的的迭代范围为[LocalPointu,v‑0.5,LocalPointu,v+0.5]，具体的计算方式如下：

[0062] 首先获取EstLocal位置的水平方向和垂直方向上的小数点数值Subpix_x,Subpix_y，计算迭代权重wTL，wTR,，wBL，wBR；

[0063] wTL＝(1–subpix_x)*(1–subpix_y)；

[0064] wTR＝subpix_x*(1–subpix_y)；

[0065] wBL＝(1–subpix_x)*subpix_y；

[0066] wBR＝subpix_x*subpix_y；

[0067] 然后对匹配块Patch_2依次进行块的查找和匹配计算，每一次的匹配[0068] search_pixel＝wTL*GrayPoint1+wTR*GrayPoint2+wBL*

[0069] GrayPoint3+wBR*GrayPoint4；

[0070] GrayPoint1，GrayPoint2，GrayPoint3，GrayPoint4是按照顺序迭代中心点Point的左上位置，右上位置，左下位置和右下位置对应的像素值；如下表所示：

[0071] Point1   Point2  Point  
Point3   Point4

[0072] 可以当search_ratio＝search_pixel/Meanref>0.95，即像素(m,n)在第二图像数据找到了最优位置EstLocal对应的位置(u,v)，迭代结束，也可以当迭代次数满足4，停止迭代；故，

[0073] u＝wTL*Point1(x)+wTR*Point2(x)+wBL*Point3(x)+wBR*Point4(x)；

[0074] v＝wTL*Point1(x)+wTR*Point2(x)+wBL*Point3(x)+wBR*Point4(x)；

[0075] u,v表示最优位置(最佳匹配位置)在水平方向和垂直方向上的坐标。Point1(x)，Point1(y)，Point2(x)，Point2(y)，Point3(x)，Point3(y)，Point4(x)，Point4(y)表示点Point1，Point2，Point3，Point4在水平方向上和垂直方向上的位置坐标信息，如此再通过立体匹配技术将根据该最优位置(u,v)形成两个场景相机的深度数据，从而再根据深度数据与变化矩阵获取人眼位置与深度数据的对应关系，再根据对应关系获取基于人眼位置的显示数据以完成虚拟现实显示。

[0076] 如上所述，本发明提供的基于场景摄像头重定位的虚拟现实方法，首先通过两个场景相机同时实时捕捉外部环境以形成第一图像数据和第二图像数据，再获取极线区域，而后在极线区域中获取与单位像素相对应的初始匹配位置和匹配块，并根据初始匹配位置和匹配块生成两个场景相机的深度数据，而后根据该深度数据与变化矩阵获取人眼位置与深度数据的对应关系，从而根据对应关系获取基于人眼位置的显示数据以完成虚拟现实显示，如此通过位置关系变换使场景相机捕获的图像对眼睛位置、HMD显示器和场景相机的不同位置进行补偿，从而使虚拟现实显示头戴所显示的图像与人眼直接观测的现实世界相一致，进而提高用户的距离感和方向感，提高手眼协调能力，增强用户的交互性和沉浸感。

[0077] 如图2所示，本发明还提供一种基于场景摄像头重定位的虚拟现实系统100，用于实现前述的基于场景摄像头重定位的虚拟现实方法，其包括HMD头戴110、设置在HMD头戴110上的两个场景相机120，和设置在HMD头戴110内部的处理器130，其中，该处理器130包括：

[0078] 图像获取模块131，用于通过两个场景相机同时实时捕捉外部环境以形成第一图像数据和第二图像数据；

[0079] 区域锁定模块132，用于依次遍历该第一图像数据以查找该第一图像数据中的每一个的单位像素在该第二图像数据中的极线区域；

[0080] 深度计算模块133，用于在极线区域中获取与单位像素相对应的初始匹配位置和匹配块，并根据初始匹配位置和匹配块生成两个场景相机的深度数据；

[0081] 定位校准模块134，用于根据深度数据与变化矩阵获取人眼位置与深度数据的对应关系；其中，变化矩阵为通过标定场景相机所获取的关于第一图像数据与第二图像数据相对人眼位置的矩阵；

[0082] 显示生成模块135，用于根据对应关系获取基于人眼位置的显示数据以完成虚拟现实显示。

[0083] 在图2所示的实施例中，该两个场景相机120同时同频拍摄，即该两个场景相机在物理上是严格同步，同时捕捉同一时刻的外部环境图像，也就是说同时捕捉第一图像数据和第二图像数据，并且在本实施例中两个场景相机120在捕捉外面环境的FOV视野尽可能重叠区域大一些，以模拟用户人眼的FOV，用户人眼的FOV正常清晰范围在110°左右，该场景相机的具体型号不作具体限制，在本实施例中可以是RGB彩色相机，也可以是Monochrome相机，以更清晰、更符合人眼地捕捉外部环境图像。

[0084] 通过上述实施方式可以看出，本发明提供基于场景摄像头重定位的虚拟现实系统首先通过区域锁定模块132遍历第一图像数据以查找第一图像数据中的每一个的单位像素在第二图像数据中的极线区域，再通过深度计算模块133在极线区域中获取与单位像素相对应的初始匹配位置和匹配块，并根据初始匹配位置和匹配块生成两个场景相机的深度数据，而后通过定位校准模块134根据深度数据与变化矩阵获取人眼位置与深度数据的对应关系，从而通过该对应关系使场景相机捕获的图像对眼睛、HMD显示器和相机的不同位置进行补偿，以使显示图像与人眼直接观测的现实世界相一致。

[0085] 如上参照附图以示例的方式描述了根据本发明提出的基于场景摄像头重定位的虚拟现实方法、系统。但是，本领域技术人员应当理解，对于上述本发明所提出的基于场景摄像头重定位的虚拟现实方法、系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。