本发明提出了一种介导现实中的基于多重空间定位的前景抽取方法及系统，包括：制作等比例模型，并使用反差大的单一颜色，注上标记点；使用固定摄像头和测量工具标定物理空间中VR头盔相对VR定位摄像头位置，并设置虚拟空间中摄像机位置，即VR头盔位置；采用3D深度摄像头连接到视频图像处理计算机进行采集，采集后的彩色视频和深度视频进行深度抽取的预处理，将上一步处理后的视频以多个特征点或标记点作为轮廓进行前景抽取；结合虚实空间的不同深度，计算对齐偏差，再进行校正，采用着色器将虚拟场景中的模型作为遮罩，抽取遮罩下的视频图像。本发明对每帧拍摄视频和虚拟场景图像中的所有特征点进行逐一匹配，误差低且处理速度快。
1.一种介导现实中的基于多重空间定位的前景抽取方法，其特征在于，包括如下步骤：
步骤S1，制作等比例模型，并使用反差大的单一颜色，注上标记点；
步骤S2，使用固定摄像头和测量工具标定物理空间中VR头盔相对VR定位摄像头位置，并设置虚拟空间中摄像机位置，即VR头盔位置；
步骤S3，采用3D深度摄像头连接到视频处理计算机进行采集，采集后的彩色视频和深度视频进行深度抽取的预处理，将上一步处理后的视频以多个特征点或标记点作为轮廓进行前景抽取，采用着色器在视景处理计算机对虚拟场景进行实时截图，进行虚实注册坐标系变换，并对齐视频图像和虚拟场景截图的特征点或标记点，采用着色器计算虚拟场景中的模型特征点或标记点上的深度；
步骤S4，结合虚实空间的不同深度，计算对齐偏差，再进行校正，采用着色器将虚拟场景中的模型作为遮罩，抽取遮罩下的视频图像。
2.如权利要求1所述的介导现实中的基于多重空间定位的前景抽取方法，其特征在于，在所述步骤S4中，采用着色器将虚拟场景中的模型作为遮罩，包括：模型贴图预先采用与场景颜色反差大的颜色。
3.一种介导现实中的基于多重空间定位的前景抽取系统，其特征在于，包括：虚拟现实头戴式设备、追踪定位器、视景处理计算机、视频处理计算机、3D深度摄像头、模拟器操作仪表和显示屏，其中，虚拟现实头戴式设备与视景处理计算机连接，视景处理计算机和视频处理计算机连接，3D深度摄像头与视频处理计算机连接；模拟器操作仪表和显示屏与视景处理计算机连接，所述追踪定位器与所述视景处理计算机连接，其中，所述3D深度摄像头用于采集视频图像，
所述追踪定位器根据所述3D深度摄像头拍摄的视频图像，标定物理空间中VR头盔相对VR定位摄像头位置，并设置虚拟空间中摄像机位置，即VR头盔位置；
所述视频处理计算机用于采用3D深度摄像头连接到视频处理计算机进行采集，采集后的彩色视频和深度视频进行深度抽取的预处理，将上一步处理后的视频以多个特征点或标记点作为轮廓进行前景抽取；
所述视景处理计算机用于采用着色器在视景处理计算机对虚拟场景进行实时截图，进行虚实注册坐标系变换，并对齐视频图像和虚拟场景截图的特征点或标记点，采用着色器计算虚拟场景中的模型特征点或标记点上的深度；结合虚实空间的不同深度，计算对齐偏差，再进行校正，采用着色器将虚拟场景中的模型作为遮罩，抽取遮罩下的视频图像，其和视景图像融合后通过虚拟现实头戴式设备向用户进行呈现；
所述模拟器操作仪表和显示屏用于提供仪表面板按钮以供用户输入操作指令，操作信号会在视景处理计算机进行处理，处理结果会在虚拟现实头戴式设备向所述用户进行呈现。
4.如权利要求3所述的介导现实中的基于多重空间定位的前景抽取系统，其特征在于，所述视景处理计算机采用着色器将虚拟场景中的模型作为遮罩，包括：模型贴图预先采用与场景颜色反差大的颜色。
5.如权利要求3所述的介导现实中的基于多重空间定位的前景抽取系统，其特征在于，所述3D深度摄像头安装于虚拟现实头戴式设备上。
6.如权利要求3或5所述的介导现实中的基于多重空间定位的前景抽取系统，其特征在于，所述3D深度摄像头采集的视频图像，包括：彩色视频、深度视频和红外视频。
7.如权利要求3所述的介导现实中的基于多重空间定位的前景抽取系统，其特征在于，所述追踪定位器安装于所述模拟器操作仪表上，用于监测用户的头位姿态位置数据，并发送至所述视景处理计算机。
8.如权利要求3所述的介导现实中的基于多重空间定位的前景抽取系统，其特征在于，所述虚拟现实头戴式设备通过USB3.0和HDMI接口与视景处理计算机连接，3D深度摄像头通过USB3.0与视频处理计算机连接，视景处理计算机和视频处理计算机之间通过LAN连接，3D深度摄像头与虚拟现实头戴式设备连接；模拟器操作仪表和显示屏通过USB3.0与视景处理计算机连接，所述追踪定位器通过USB3.0接口与所述视景处理计算机连接。
介导现实中的基于多重空间定位的前景抽取方法及系统
技术领域
[0001] 本发明涉及图像处理技术领域，特别涉及一种介导现实中的基于多重空间定位的前景抽取方法及系统。
背景技术
[0002] 图像前景抽取方法是智能视频处理的关键一步，其优劣直接影响到之后的判断、分析和识别。前景提取的通常方法受目标运动速度影响大，且精度不够高，只能获取目标大致位置和方向信息。而三维虚拟场景和视频实景的高度融合(以下简称虚实融合)的首要步骤就是需要知道图像前景的确切位置和方向，单一的前景抽取方法不足以满足虚实融合的要求。除精度外，虚实融合实时性要求极高，时间复杂度高的通常算法无法在单位帧生成时间内完成融合过程。并且，现有技术的处理速度慢，时间复杂度高。
[0003] 现有的图像处理方法无法通过一帧彩色图像和一帧深度图像对物理空间尤其是深度定位到毫米mm级，忽略了虚拟空间中的定位。
发明内容
[0004] 本发明的目的旨在至少解决所述技术缺陷之一。
[0005] 为此，本发明的目的在于提出一种介导现实中的基于多重空间定位的前景抽取方法及系统。
[0006] 为了实现上述目的，本发明的实施例提供一种介导现实中的基于多重空间定位的前景抽取方法，包括如下步骤：
[0007] 步骤S1，制作等比例模型，并使用反差大的单一颜色，注上标记点；
[0008] 步骤S2，使用固定摄像头和测量工具标定物理空间中VR头盔相对VR定位摄像头位置，并设置虚拟空间中摄像机位置，即VR头盔位置；
[0009] 步骤S3，采用3D深度摄像头连接到视频处理计算机进行采集，采集后的彩色视频和深度视频进行深度抽取的预处理，将上一步处理后的视频以多个特征点或标记点作为轮廓进行前景抽取，
[0010] 采用着色器在视景处理计算机对虚拟场景进行实时截图，进行虚实注册坐标系变换，并对齐视频图像和虚拟场景截图的特征点或标记点，采用着色器计算虚拟场景中的模型特征点或标记点上的深度；
[0011] 步骤S4，结合虚实空间的不同深度，计算对齐偏差，再进行校正，采用着色器将虚拟场景中的模型作为遮罩，抽取遮罩下的视频图像。
[0012] 进一步，在所述步骤S4中，采用着色器将虚拟场景中的模型作为遮罩，包括：模型贴图预先采用与场景颜色反差大的颜色。
[0013] 本发明实施例的还提供一种介导现实中的基于多重空间定位的前景抽取系统，包括：虚拟现实头戴式设备、追踪定位器、视景处理计算机、视频处理计算机、3D深度摄像头、模拟器操作仪表和显示屏，其中，虚拟现实头戴式设备与视景处理计算机连接，虚拟现实头戴式设备与视频处理计算机连接，视景处理计算机和视频处理计算机连接，3D深度摄像头与虚拟现实头戴式设备连接；模拟器操作仪表和显示屏与视景处理计算机连接，所述追踪定位器与所述视景处理计算机连接，其中，所述3D深度摄像头用于采集视频图像，所述追踪定位器根据所述3D深度摄像头拍摄的视频图像，标定物理空间中VR头盔相对VR定位摄像头位置，并设置虚拟空间中摄像机位置，即VR头盔位置；所述视频处理计算机用于采用3D深度摄像头连接到视频处理计算机进行采集，采集后的彩色视频和深度视频进行深度抽取的预处理，将上一步处理后的视频以多个特征点或标记点作为轮廓进行前景抽取；所述视景处理计算机用于采用着色器在视景处理计算机对虚拟场景进行实时截图，进行虚实注册坐标系变换，并对齐视频图像和虚拟场景截图的特征点或标记点，采用着色器计算虚拟场景中的模型特征点或标记点上的深度；结合虚实空间的不同深度，计算对齐偏差，再进行校正，采用着色器将虚拟场景中的模型作为遮罩，抽取遮罩下的视频图像；所述模拟器操作仪表和显示屏用于提供仪表面板按钮以供用户输入操作指令，操作信号会在视景处理计算机进行处理，处理结果会在虚拟现实头戴式设备向所述用户进行呈现。
[0014] 进一步，所述视景处理计算机采用着色器将虚拟场景中的模型作为遮罩，包括：模型贴图预先采用与场景颜色反差大的颜色。
[0015] 进一步，所述3D深度摄像头安装于虚拟现实头戴式设备上。
[0016] 进一步，所述3D深度摄像头采集的视频图像，包括：彩色视频、深度视频和红外视频。
[0017] 进一步，所述追踪定位器安装于所述模拟器上，用于监测用户的头位姿态位置数据，并发送至所述视景处理计算机。
[0018] 进一步，所述虚拟现实头戴式设备通过USB3.0和HDMI接口与视景处理计算机连接3D深度摄像头通过USB3.0与视频处理计算机连接，视景处理计算机和视频处理计算机之间通过LAN连接，3D深度摄像头与虚拟现实头戴式设备连接；模拟器操作仪表和显示屏通过USB3.0与视景处理计算机连接，所述追踪定位器通过USB3.0接口与所述视景处理计算机连接。
[0019] 根据本发明实施例的介导现实中的基于多重空间定位的前景抽取方法及系统，采用以下技术：3D深度图像的预处理、标记点抽取物理空间前景图像、对齐物理空间和虚拟空间的标记点、计算标记点在虚拟空间深度、结合虚拟和物理空间深度计算对齐误差和着色器程序抽取模型遮罩下的视频图像等技术，对每帧拍摄视频和虚拟场景图像中的所有特征点进行逐一匹配，误差分析得到误差在图像总像素的千分之一左右，并且处理速度可以达到每秒平均30帧，比其他算法快2-3倍，通过对方案中的结果进行人眼和软件分析，人眼看不出误差。本发明结合了物理空间和虚拟空间的定位方法，区别于现有的仅对物理空间进行定位的方式。
[0020] 本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0021] 本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0022] 图1为根据本发明一个实施例的介导现实中的基于多重空间定位的前景抽取方法的流程图；
[0023] 图2为根据本发明一个实施例的介导现实中的基于多重空间定位的前景抽取方法的流程图；
[0024] 图3为根据本发明实施例的前景抽取的效果图；
[0025] 图4为根据本发明一个实施例的介导现实中的基于多重空间定位的前景抽取系统的结构图；
[0026] 图5为根据本发明另一个实施例的介导现实中的基于多重空间定位的前景抽取系统的结构图。
具体实施方式
[0027] 下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0028] 如图1和图2所示，本发明实施例的介导现实中的基于多重空间定位的前景抽取方法，包括如下步骤：
[0029] 步骤S1，制作等比例模型，并使用反差大的单一颜色，注上标记点。
[0030] 步骤S2，使用固定摄像头和测量工具标定物理空间中VR头盔相对VR定位摄像头位置，并根据上述标定结果设置虚拟空间中摄像机位置，即VR头盔位置。
[0031] 步骤S3，采用3D深度摄像头连接到视频处理计算机进行采集，采集后的彩色视频和深度视频进行深度抽取的预处理，从而可以将深度过大的背景进行剔除。然后，将上一步处理后的视频以多个特征点或标记点作为轮廓进行前景抽取。
[0032] 采用着色器在视景处理计算机对虚拟场景进行实时截图，进行虚实注册坐标系变换，并对齐视频图像和虚拟场景截图的特征点或标记点，采用着色器计算虚拟场景中的模型特征点或标记点上的深度。
[0033] 具体地，使用着色器程序中的算法在视景处理计算机对虚拟场景进行实时截图，由于虚拟摄像机和物理摄像头的空间位置和相机参数不一样，需要进行虚实注册坐标系变换，并对齐视频图像和虚拟场景截图的特征点或标记点。并且，使用着色器程序中的算法计算虚拟场景中的模型特征点或标记点上的深度。图3为前景抽取的效果图。
[0034] 步骤S4，结合虚实空间的不同深度，计算对齐偏差，再进行校正，采用着色器将虚拟场景中的模型作为遮罩，抽取遮罩下的视频图像。
[0035] 在本步骤中，采用着色器将虚拟场景中的模型作为遮罩，包括：模型贴图预先采用与场景颜色反差大的颜色，然后抽取遮罩下的视频图像。
[0036] 如图4和图5所示，本发明实施例还提出一种介导现实中的基于多重空间定位的前景抽取系统，包括：虚拟现实头戴式设备100(VR头盔)、追踪定位器500、视景处理计算机300、视频处理计算机200、3D深度摄像头600、模拟器操作仪表和显示屏400。
[0037] 在本发明的一个实施例中，虚拟现实头戴式设备100可以采用Oculus Rift虚拟现实设备。3D深度摄像头600采用ZED stereo Camera或者Intel RealSense SR300(此摄像头安装在Oculus Rift头戴式设备100(头盔)上。
[0038] 此外，本发明的介导现实中的基于多重空间定位的前景抽取系统采用下述三维引擎软件：
[0039] Unigine或Unity。
[0040] 具体地，虚拟现实头戴式设备100与视景处理计算机300连接，虚拟现实头戴式设备100与视频处理计算机200连接，视景处理计算机300和视频处理计算机200连接，3D深度摄像头600与虚拟现实头戴式设备100连接；模拟器操作仪表和显示屏400与视景处理计算机300连接，追踪定位器500与视景处理计算机300连接。
[0041] 在本发明的一个实施例中，虚拟现实头戴式设备100通过USB3.0和HDMI接口与视景处理计算机300连接，3D深度摄像头600通过USB3.0与视频处理计算机200连接，视景处理计算机300和视频处理计算机200之间通过LAN连接，3D深度摄像头600与虚拟现实头戴式设备100连接；模拟器操作仪表和显示屏400通过USB3.0与视景处理计算机300连接，追踪定位器500通过USB3.0接口与视景处理计算机300连接。
[0042] 具体地，VR头戴式设备100需要连接至图形处理计算机(USB 3.0接口进行定位数据传输和HDMI接口高速传输影像数据)和220V电源。头戴式设备100上的3D摄像头和VR定位器500需要USB 3.0供电和数据传输。
[0043] 具体地，3D深度摄像头600用于采集视频图像。其中，3D深度摄像头600采集的视频图像，包括：彩色视频、深度视频和红外视频。
[0044] 追踪定位器500根据3D深度摄像头拍摄的视频图像，标定物理空间中VR头盔相对VR定位摄像头位置，并设置虚拟空间中摄像机位置，即VR头盔位置。
[0045] 此外，追踪定位器500用于监测用户的头位平台位置数据，并发送至视景处理计算机300。
[0046] 在本发明的一个实施例中，3D深度摄像头600安装于虚拟现实头戴设备上，追踪定位器500安装于模拟器上。
[0047] 视频处理计算机用于采用3D深度摄像头连接到视频处理计算机进行采集，采集后的彩色视频和深度视频进行深度抽取的预处理，将上一步处理后的视频以多个特征点或标记点作为轮廓进行前景抽取。
[0048] 视景处理计算机用于采用着色器在视景处理计算机对虚拟场景进行实时截图，进行虚实注册坐标系变换，并对齐视频图像和虚拟场景截图的特征点或标记点，采用着色器计算虚拟场景中的模型特征点或标记点上的深度；结合虚实空间的不同深度，计算对齐偏差，再进行校正，采用着色器将虚拟场景中的模型作为遮罩，抽取遮罩下的视频图像。
[0049] 在本发明的一个实施例中，视景处理计算机采用着色器将虚拟场景中的模型作为遮罩，包括：模型贴图预先采用与场景颜色反差大的颜色。
[0050] 模拟器操作仪表和显示屏400用于提供仪表键盘以供用户输入操作指令，操作信号会在视景处理计算机300进行处理，处理结果会在虚拟现实头戴式设备100向所述用户进行呈现。
[0051] 根据本发明实施例的介导现实中的基于多重空间定位的前景抽取方法及系统，采用以下技术：3D深度图像的预处理、标记点抽取物理空间前景图像、对齐物理空间和虚拟空间的标记点、计算标记点在虚拟空间深度、结合虚拟和物理空间深度计算对齐误差和着色器程序抽取模型遮罩下的视频图像等技术，对每帧拍摄视频和虚拟场景图像中的所有特征点进行逐一匹配，误差分析得到误差在图像总像素的千分之一左右，并且处理速度可以达到每秒平均30帧，比其他算法快2-3倍，通过对方案中的结果进行人眼和软件分析，人眼看不出误差。本发明结合了物理空间和虚拟空间的定位方法，区别于现有的仅对物理空间进行定位的方式。
[0052] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0053] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。
