混合现实多组协同的方法、系统、电子设备和存储介质

摘要

本发明提供了一种混合现实多组协同的方法、系统、电子设备和存储介质，属于混合现实的技术领域，方法中，可以创建多个房间，即队伍更加多样化，MR场景可以即时配置，实时驱动，加之MR计算终端和PC终端可以采用多计算节点并行处理的方式将当前MR场景与MR眼镜采集的现实空间信息进行融合渲染，即MR计算终端可以依靠PC终端的强大算力承载大量的数据内容，缓解了现有技术在混合现实多组协同的过程中，无法实现多队伍、MR场景实时驱动和承载大量数据内容的技术问题。

权利要求

1.一种混合现实多组协同的方法，其特征在于，应用于由PC终端、MR计算终端和MR眼镜组成的混合现实多组协同的系统，所述方法包括：所述MR计算终端向所述PC终端发起创建房间请求/加入目标房间请求后，所述MR计算终端进入当前房间；

所述PC终端根据用户的配置实时生成当前MR场景，并根据用户的触发将所述当前MR场景推送至所述当前房间对应的MR计算终端，以使所述MR计算终端和所述PC终端采用多计算节点并行处理的方式将所述当前MR场景与所述MR眼镜采集的现实空间信息进行融合渲染，得到MR融合场景；

所述MR眼镜显示所述MR融合场景，以使对应的佩戴者与所述MR融合场景进行交互；

其中，所述MR计算终端和所述PC终端采用多计算节点并行处理的方式将所述当前MR场景与所述MR眼镜采集的现实空间信息进行融合渲染，包括：将所述佩戴者的最佳视觉区域对应的所述当前MR场景与所述MR眼镜采集的现实空间信息作为优先级最高的计算节点进行优先融合渲染；

将所述佩戴者的边角区域对应的所述当前MR场景与所述MR眼镜采集的现实空间信息作为优先级次高的计算节点进行排队融合渲染；

将所述佩戴者的视觉盲区对应的所述当前MR场景与所述MR眼镜采集的现实空间信息作为优先级最低的计算节点进行最后融合渲染；

所述PC终端中安装有MR空间场景管理系统；

所述MR空间场景管理系统包括：首页模块、场景配置模块、数据管理模块和权限管理模块。

2.根据权利要求1所述的方法，其特征在于，所述PC终端根据用户的配置实时生成当前MR场景，包括：所述PC终端获取用户配置的场景数据；

根据所述场景数据进行场景态势展示、仿真推演与效能评估，进而得到所述当前MR场景，其中，所述仿真推演采用PIE‑MAP、PIE‑PUSHER和PIE‑STK。

3.根据权利要求1所述的方法，其特征在于，在所述MR计算终端将所述当前MR场景与所述MR眼镜采集的现实空间信息进行融合渲染的过程中，所述MR计算终端对每个计算节点采用CPU+GPU并行的两级并行计算架构，其中，所述计算节点为所述当前MR场景与所述MR眼镜采集的现实空间信息进行融合渲染的计算节点。

4.根据权利要求1所述的方法，其特征在于，在所述融合渲染的过程中，将所述MR眼镜采集的现实空间信息转换至创建房间的房主坐标系。

5.根据权利要求1所述的方法，其特征在于，根据用户的触发将所述当前MR场景推送至所述当前房间对应的MR计算终端，包括：根据用户选择的所述当前MR场景和所述当前房间的房间号将所述当前MR场景推送至所述当前房间对应的MR计算终端。

6.一种混合现实多组协同的系统，其特征在于，所述混合现实多组协同的系统包括：PC终端、MR计算终端和MR眼镜；

所述MR计算终端向所述PC终端发起创建房间请求/加入目标房间请求后，所述MR计算终端进入当前房间；

所述PC终端根据用户的配置实时生成当前MR场景，并根据用户的触发将所述当前MR场景推送至所述当前房间对应的MR计算终端，以使所述MR计算终端和所述PC终端采用多计算节点并行处理的方式将所述当前MR场景与所述MR眼镜采集的现实空间信息进行融合渲染，得到MR融合场景；

所述MR眼镜显示所述MR融合场景，以使对应的佩戴者与所述MR融合场景进行交互；

其中，所述MR计算终端和所述PC终端采用多计算节点并行处理的方式将所述当前MR场景与所述MR眼镜采集的现实空间信息进行融合渲染，包括：将所述佩戴者的最佳视觉区域对应的所述当前MR场景与所述MR眼镜采集的现实空间信息作为优先级最高的计算节点进行优先融合渲染；

将所述佩戴者的边角区域对应的所述当前MR场景与所述MR眼镜采集的现实空间信息作为优先级次高的计算节点进行排队融合渲染；

将所述佩戴者的视觉盲区对应的所述当前MR场景与所述MR眼镜采集的现实空间信息作为优先级最低的计算节点进行最后融合渲染；

所述PC终端中安装有MR空间场景管理系统；

所述MR空间场景管理系统包括：首页模块、场景配置模块、数据管理模块和权限管理模块。

7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至5中任一项所述的方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述权利要求1至5中任一项所述的方法。

说明书

混合现实多组协同的方法、系统、电子设备和存储介质

技术领域

[0001] 本发明涉及混合现实的技术领域，尤其是涉及一种混合现实多组协同的方法、系统、电子设备和存储介质。

背景技术

[0002] 在非数据驱动方面，混合现实技术作为新型可视化技术和人机交互技术，在仿真教学、展览展示、工业巡检、企培教培等领域推陈出新，大幅提高工作效率和创新能力的同时，因其运行状态不可编辑性被体验者们称之为“沉浸式视频”。

[0003] 在算法上，Rokhsaritalemi等人将混合现实的相关算法分为校准、空间建模与仿真、物体识别、物体跟踪、注册与映射、可视化与渲染、便携式设备的信息传输七个部分，分属于光学、计算机视觉、计算机图形学等多个领域。在技术上，混合现实与增强现实有共通点，Azuma等人总结的增强现实技术的三个特征为虚实结合、实时交互和三维注册。虚实结合指的是虚拟场景和真实场景能够叠加之后显示在一个界面中，实时交互指的是用户可以和虚实结合的场景中的对象进行自然实时的交互，三维注册指的是虚拟物体可以精准的在真实三维中锚定。混合现实也具备这三个特征，但在虚实结合的特点上，混合现实相比于增强现实更进一步，虚拟物体和真实物体在混合现实场景中不区分主体，主体可以是虚拟的场景，也可以是真实的环境。对于普通用户而言，他们接触的最多、感知最明显的是混合现实交互技术。

[0004] 混合现实最底层的交互依赖于硬件设备，设备的性能和传感器的种类直接决定了设备拥有的基本交互方式，对于HoloLens，微软的混合现实开发工具包MRTK（Mixed Reality Toolkit）提供了基本的交互操作，使用Unity引擎通过MRTK即可将手势、语音、眼动交互应用于自身项目，可以加速项目的研发。除了基本的交互方式之外，为了更好的实现用户与混合现实场景的交互，很多学者在探索混合现实下更多的交互方式和交互应用，但在细分方向上又有所不同，主要从虚拟代理辅助交互、多用户协作交互、徒手交互、虚实交互四个方面进行国内外现状分析。

[0005] 虚拟代理是一个虚拟的角色，用于辅助用户与交互系统交互，虚拟代理可以更好的提升用户的交互体验。在虚拟代理辅助交互方面，2019年Lang等人提出了一种基于场景语义的虚拟代理的定位方法，其利用混合现实设备上的RGB‑D摄像头，重建场景的三维模型，对场景使用Mask R‑CNN进行实例分割，之后使用马尔可夫链蒙特卡罗优化技术在三维空间中搜索放置虚拟代理的最佳位置，然后在混合现实场景中的对应位置渲染出对应的虚拟代理，后续可以使用虚拟代理指导用户完成一系列交互任务。

[0006] 多用户协作交互是指多个用户可以通过相同（例如多台混合现实设备之间）或不同的平台（例如混合现实设备与PC端、手机、平板之间），同时对同一个场景进行交互，各个用户之间的交互操作都将同步给其它所有用户。在多用户协作交互方面，Piumsomboon等人设计了一个混合现实的远程协作系统CoVAR，该系统使混合现实设备HoloLens与虚拟现实设备HTC Vive进行远程协助，混合现实端捕获物理空间信息并重建其三维信息传输至虚拟现实端，虚拟现实设备通过Leap Motion设备采集手势信息进行交互，另外，所有的用户还配备了Pupil Labs设备以采集用户的眼动信息，该系统实现了VR与MR之间的眼动手势协作交互。

[0007] 徒手交互指的是仅通过识别各个手指，使裸手可以直接与虚拟物体进行交互。HoloLens中原生的手势交互也属于徒手交互，但出于性能上的考量，HoloLens一代仅识别“Air Tap”和“Bloom”两种手势，HoloLens二代可以识别出整个手部关节点的位置，在一代的基础上增加了触摸、抓取等手势。在徒手交互的研究方面，Song等人利用立体相机，使用计算机视觉方法在3D空间中准确跟踪用户的手和所有手指的位置信息，并将该交互方法用于虚拟的三维交互游戏。Taejin等人设计并实现了一个可穿戴增强现实系统We ARHand，允许用户在带有深度摄像头的增强现实头戴中用裸手操纵虚拟3D对象，并显示出半透明的虚拟手作为反馈。Al‑Kalbani等人在增强现实中渲染出手势抓取过程的阴影，得出使用阴影可以增加AR抓取的可用性的结论，并且使用阴影可以有效减少相应任务的完成时间。

[0008] 数字孪生是一种数字化理念和技术手段，它以数据与模型的集成融合为基础与核心，通过在数字空间实时构建物理对象的精准数字化映射，基于数据整合与分析预测来模拟、验证、预测、控制物理实体全生命周期过程，最终形成智能决策的优化闭环。

[0009] 从行业应用层面来看，数字孪生成为垂直行业数字化转型的重要使能技术，数字孪生加速与DICT领域最新技术融合，逐渐成为一种基础性、普适性、综合性的理论和技术体系，在经济社会各领域的渗透率不断提升，行业应用持续走深向实。工业领域中，在石化、冶金等流程制造业中，数字孪生聚焦工艺流程管控和重大设备管理等场景，赋能生产过程优化；在装备制造、汽车制造等离散制造业中，聚焦产品数字化设计和智能运维等场景，赋能产品全生命周期管理。智慧城市领域中，数字孪生赋能城市规划、建设、治理、优化等全生命周期环节，实现城市全要素数字化、全状态可视化、管理决策智能化。另外，数字孪生在自动驾驶、站场规划、陈队管理、智慧地铁等交通领域中，在基于BIM的建筑智能设计与性能评估、智慧工地管理、智能运营维护、安全应急协同等建筑领域中，在农作物监测、智慧农机、智慧农场等农业领域中，在虚拟人、身体机能监测、智慧医院、手术模拟等健康医疗领域中也有不同程度的应用。2021年开始，在全球范围内引起了数字孪生与VR/AR/MR、元宇宙结合的热潮。

[0010] 目前，市面上的混合现实产品存在以下3大问题：

[0011] 1、MR（即混合现实）任务场景多人协同队伍单一的问题；

[0012] 2、MR场景缺乏数据驱动，不可即时配置，即时体验；

[0013] 3、MR设备性能低，数据驱动时无法承载大量数据和内容。

[0014] 综上，如何在混合现实多组协同的过程中，实现多队伍、MR场景实时驱动和承载大量数据内容成为目前亟需解决的技术问题。

发明内容

[0015] 有鉴于此，本发明的目的在于提供一种混合现实多组协同的方法、系统、电子设备和存储介质，以缓解现有技术在混合现实多组协同的过程中，无法实现多队伍、MR场景实时驱动和承载大量数据内容的技术问题。

[0016] 第一方面，本发明实施例提供了一种混合现实多组协同的方法，应用于由PC终端、MR计算终端和MR眼镜组成的混合现实多组协同的系统，所述方法包括：

[0017] 所述MR计算终端向所述PC终端发起创建房间请求/加入目标房间请求后，所述MR计算终端进入当前房间；

[0018] 所述PC终端根据用户的配置实时生成当前MR场景，并根据用户的触发将所述当前MR场景推送至所述当前房间对应的MR计算终端，以使所述MR计算终端和所述PC终端采用多计算节点并行处理的方式将所述当前MR场景与所述MR眼镜采集的现实空间信息进行融合渲染，得到MR融合场景；

[0019] 所述MR眼镜显示所述MR融合场景，以使对应的佩戴者与所述MR融合场景进行交互。

[0020] 进一步的，所述PC终端根据用户的配置实时生成当前MR场景，包括：

[0021] 所述PC终端获取用户配置的场景数据；

[0022] 根据所述场景数据进行场景态势展示、仿真推演与效能评估，进而得到所述当前MR场景，其中，所述仿真推演采用PIE‑MAP、PIE‑PUSHER和PIE‑STK。

[0023] 进一步的，所述MR计算终端和所述PC终端采用多计算节点并行处理的方式将所述当前MR场景与所述MR眼镜采集的现实空间信息进行融合渲染，包括：

[0024] 将所述佩戴者的最佳视觉区域对应的所述当前MR场景与所述MR眼镜采集的现实空间信息作为优先级最高的计算节点进行优先融合渲染；

[0025] 将所述佩戴者的边角区域对应的所述当前MR场景与所述MR眼镜采集的现实空间信息作为优先级次高的计算节点进行排队融合渲染；

[0026] 将所述佩戴者的视觉盲区对应的所述当前MR场景与所述MR眼镜采集的现实空间信息作为优先级最低的计算节点进行最后融合渲染。

[0027] 进一步的，在所述MR计算终端将所述当前MR场景与所述MR眼镜采集的现实空间信息进行融合渲染的过程中，所述MR计算终端对每个计算节点采用CPU+GPU并行的两级并行计算架构，其中，所述计算节点为所述当前MR场景与所述MR眼镜采集的现实空间信息进行融合渲染的计算节点。

[0028] 进一步的，在所述融合渲染的过程中，将所述MR眼镜采集的现实空间信息转换至创建房间的房主坐标系。

[0029] 进一步的，所述PC终端中安装有MR空间场景管理系统；

[0030] 所述MR空间场景管理系统包括：首页模块、场景配置模块、数据管理模块和权限管理模块。

[0031] 进一步的，根据用户的触发将所述当前MR场景推送至所述当前房间对应的MR计算终端，包括：

[0032] 根据用户选择的所述当前MR场景和所述当前房间的房间号将所述当前MR场景推送至所述当前房间对应的MR计算终端。

[0033] 第二方面，本发明实施例还提供了一种混合现实多组协同的系统，所述混合现实多组协同的系统包括：PC终端、MR计算终端和MR眼镜；

[0034] 所述MR计算终端向所述PC终端发起创建房间请求/加入目标房间请求后，所述MR计算终端进入当前房间；

[0035] 所述PC终端根据用户的配置实时生成当前MR场景，并根据用户的触发将所述当前MR场景推送至所述当前房间对应的MR计算终端，以使所述MR计算终端和所述PC终端采用多计算节点并行处理的方式将所述当前MR场景与所述MR眼镜采集的现实空间信息进行融合渲染，得到MR融合场景；

[0036] 所述MR眼镜显示所述MR融合场景，以使对应的佩戴者与所述MR融合场景进行交互。

[0037] 第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。

[0038] 第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述第一方面任一项所述的方法。

[0039] 在本发明实施例中，提供了一种混合现实多组协同的方法，应用于由PC终端、MR计算终端和MR眼镜组成的混合现实多组协同的系统，该方法包括：MR计算终端向PC终端发起创建房间请求/加入目标房间请求后，MR计算终端进入当前房间；PC终端根据用户的配置实时生成当前MR场景，并根据用户的触发将当前MR场景推送至当前房间对应的MR计算终端，以使MR计算终端和PC终端采用多计算节点并行处理的方式将当前MR场景与MR眼镜采集的现实空间信息进行融合渲染，得到MR融合场景；MR眼镜显示MR融合场景，以使对应的佩戴者与MR融合场景进行交互。通过上述描述可知，本发明的混合现实多组协同的方法中，可以创建多个房间，即队伍更加多样化，MR场景可以即时配置，实时驱动，加之MR计算终端和PC终端可以采用多计算节点并行处理的方式将当前MR场景与MR眼镜采集的现实空间信息进行融合渲染，即MR计算终端可以依靠PC终端的强大算力承载大量的数据内容，缓解了现有技术在混合现实多组协同的过程中，无法实现多队伍、MR场景实时驱动和承载大量数据内容的技术问题。

附图说明

[0040] 为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0041] 图1为本发明实施例提供的一种混合现实多组协同的方法的流程图；

[0042] 图2为本发明实施例提供的PC终端的分组管理的示意图；

[0043] 图3为本发明实施例提供的PC终端的权限管理的示意图；

[0044] 图4为本发明实施例提供的实时当前MR场景生成与推送的示意图；

[0045] 图5为本发明实施例提供的实时MR融合场景的示意图；

[0046] 图6为本发明实施例提供的一种混合现实多组协同的系统的示意图；

[0047] 图7为本发明实施例提供的一种电子设备的示意图。

具体实施方式

[0048] 下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0049] 现有技术在混合现实多组协同的过程中，无法实现多队伍、MR场景实时驱动和承载大量数据内容的问题。

[0050] 基于此，本发明的混合现实多组协同的方法中，可以创建多个房间，即队伍更加多样化，MR场景可以即时配置，实时驱动，加之MR计算终端和PC终端可以采用多计算节点并行处理的方式将当前MR场景与MR眼镜采集的现实空间信息进行融合渲染，即MR计算终端可以依靠PC终端的强大算力承载大量的数据内容。

[0051] 为便于对本实施例进行理解，首先对本发明实施例所公开的一种混合现实多组协同的方法进行详细介绍。

[0052] 实施例一：

[0053] 根据本发明实施例，提供了一种混合现实多组协同的方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

[0054] 图1是根据本发明实施例的一种混合现实多组协同的方法的流程图，如图1所示，该方法包括如下步骤：

[0055] 步骤S102，MR计算终端向PC终端发起创建房间请求/加入目标房间请求后，MR计算终端进入当前房间；

[0056] 在本发明实施例中，混合现实多组协同的方法应用于由PC终端、MR计算终端和MR眼镜组成的混合现实多组协同的系统。

[0057] 在实际工作时，MR计算终端向PC终端发起创建房间请求/加入目标房间请求后，MR计算终端进入当前房间，上述当前房间具体为创建房间请求对应的房间或目标房间。

[0058] PC终端支持与MR计算终端单播、组播的通信方式，单播是MR计算终端与PC端之间的点到点连接。“点到点”指每个MR计算终端都从PC端接收远程流。仅当MR计算终端发出请求时，才发送单播流。单播（Unicast）是在一个单个的MR计算终端和一个PC端之间通过网络进行的通信。可以应用于通信、计算机等领域，还可以利用多播单播混合算法解决实际问题。

[0059] 组播技术指的是单个MR计算终端对应多个PC端的一种网络通信。组播技术中，通过向多个PC端传送单信息流方式，可以减少具有多个PC端同时收听或查看相同资源情况下的网络通信流量。组播技术基于“组”这样一个概念，属于PC端专有组，主要接收相同数据流。该PC端组可以分配在英特网的任意地方。

[0060] 步骤S104，PC终端根据用户的配置实时生成当前MR场景，并根据用户的触发将当前MR场景推送至当前房间对应的MR计算终端，以使MR计算终端和PC终端采用多计算节点并行处理的方式将当前MR场景与MR眼镜采集的现实空间信息进行融合渲染，得到MR融合场景；

[0061] 步骤S106，MR眼镜显示MR融合场景，以使对应的佩戴者与MR融合场景进行交互。

[0062] 在本发明实施例中，提供了一种混合现实多组协同的方法，应用于由PC终端、MR计算终端和MR眼镜组成的混合现实多组协同的系统，该方法包括：MR计算终端向PC终端发起创建房间请求/加入目标房间请求后，MR计算终端进入当前房间；PC终端根据用户的配置实时生成当前MR场景，并根据用户的触发将当前MR场景推送至当前房间对应的MR计算终端，以使MR计算终端和PC终端采用多计算节点并行处理的方式将当前MR场景与MR眼镜采集的现实空间信息进行融合渲染，得到MR融合场景；MR眼镜显示MR融合场景，以使对应的佩戴者与MR融合场景进行交互。通过上述描述可知，本发明的混合现实多组协同的方法中，可以创建多个房间，即队伍更加多样化，MR场景可以即时配置，实时驱动，加之MR计算终端和PC终端可以采用多计算节点并行处理的方式将当前MR场景与MR眼镜采集的现实空间信息进行融合渲染，即MR计算终端可以依靠PC终端的强大算力承载大量的数据内容，缓解了现有技术在混合现实多组协同的过程中，无法实现多队伍、MR场景实时驱动和承载大量数据内容的技术问题。

[0063] 上述内容对本发明的混合现实多组协同的方法进行了简要介绍，下面对其中涉及到的具体内容进行详细描述。

[0064] 在本发明的一个可选实施例中，PC终端根据用户的配置实时生成当前MR场景，具体包括如下步骤：

[0065] （1）PC终端获取用户配置的场景数据；

[0066] （2）根据场景数据进行场景态势展示、仿真推演与效能评估，进而得到当前MR场景，其中，仿真推演采用PIE‑MAP、PIE‑PUSHER和PIE‑STK。

[0067] 具体的，PC终端采用基于B/S架构的实时数据驱动MR视化技术，基于B/S架构，综合利用KJMB轨道、姿态、载荷、设备、事件等数据，用二维、三维、图表、曲线等形式，显示态势JZ、漂移巡视、重点XC、轨道交会、DJ目标、主动ZZ、撤离目标、目标陨落、碰撞预警等场景的态势展示、仿真推演与效能评估；支持综合三维环境可视化展示（PC终端和MR眼镜）；支持各类作战场景数据的动态、静态接入与显示、多维多场景的态势显示技术、具备可视化系统运维管理能力；系统（即PC终端）使用了PIE‑MAP、PIE‑PUSHER和PIE‑STK仿真推演技术对系统进行仿真引擎、仿真控制、推演过程显示及效能评估应用。

[0068] 在本发明的一个可选实施例中，根据用户的触发将当前MR场景推送至当前房间对应的MR计算终端，具体包括如下步骤：

[0069] 根据用户选择的当前MR场景和当前房间的房间号将当前MR场景推送至当前房间对应的MR计算终端。

[0070] 在本发明的一个可选实施例中，MR计算终端和PC终端采用多计算节点并行处理的方式将当前MR场景与MR眼镜采集的现实空间信息进行融合渲染，具体包括如下步骤：

[0071] （1）将佩戴者的最佳视觉区域对应的当前MR场景与MR眼镜采集的现实空间信息作为优先级最高的计算节点进行优先融合渲染；

[0072] （2）将佩戴者的边角区域对应的当前MR场景与MR眼镜采集的现实空间信息作为优先级次高的计算节点进行排队融合渲染；

[0073] （3）将佩戴者的视觉盲区对应的当前MR场景与MR眼镜采集的现实空间信息作为优先级最低的计算节点进行最后融合渲染。

[0074] 具体的，PC终端围绕以空间目标轨道数据为例，结合集群计算技术、并行计算技术的工程应用情况，采用集群多计算节点并行、单节点CPU+GPU并行的两级并行计算架构，在B/S端通过优化设计多层次、多判决条件的筛选流程，筛选出数据量和显示效果的最优区间，将优化处理后的数据推送到MR计算终端进行显示和交互。

[0075] MR计算终端和PC终端采用多计算节点并行处理：

[0076] 采用多计算节点并行处理，最上层的并行是将计算任务拆分成互不关联的多个子任务，利用多个计算节点并行进行处理，提升碰撞预警计算效率，既可以提高处理性能，又易于扩展系统能力，并增强系统可靠性，适用于解决密集型计算问题。

[0077] 筛选流程优化：

[0078] 最佳视觉区域作为优先级最高的计算节点进行优先融合渲染，边角区域作为优先级次高的计算节点进行排队融合渲染，视觉盲区作为优先级最低的计算节点进行最后融合渲染。

[0079] 在本发明的一个可选实施例中，在MR计算终端将当前MR场景与MR眼镜采集的现实空间信息进行融合渲染的过程中，MR计算终端对每个计算节点采用CPU+GPU并行的两级并行计算架构，其中，计算节点为当前MR场景与MR眼镜采集的现实空间信息进行融合渲染的计算节点。

[0080] 将CPU在逻辑运算、数据I/O等方面的优势，以及GPU在简单运算、或者相互逻辑没有关联的运算方面的优势相结合，利用GPU核数多（上百个乃至上千个）的特点，对碰撞预警计算算法进行改造，由GPU负责算法中的并行计算，CPU负责逻辑控制和数据读写等。主要并行化内容包括：

[0081] 1)数据准备并行化

[0082] 对多组轨道根数进行并行轨道预报；对主目标、背景目标参数进行并行初始化处理。

[0083] 2)任务单元计算并行化

[0084] 将碰撞预警计算任务，拆分成“1个×1个”最小规模的任务单元，对拆分后的任务单元进行并行碰撞预警计算。

[0085] 3)预警时间区间并行化

[0086] 将7天的预警区间拆分成多个子区间（如：7个1天子区间）；对通过近地点高度‑远地点高度筛选、轨道间最近距离筛选的任务单元，按预警时间子区间并行进行时间筛选。

[0087] 4)交会关系计算并行化

[0088] 对通过时间筛选获得的可能交会事件（给出接近时间范围），进行并行处理，计算各可能交会事件的最近接近时间、距离、以及其它交会参数。

[0089] 在本发明的一个可选实施例中，在融合渲染的过程中，将MR眼镜采集的现实空间信息转换至创建房间的房主坐标系。

[0090] 具体的，一个空间坐标系应包含三个要素：坐标原点、参考平面（ 坐标面）和该平面的主方向（ 轴方向）。

[0091] a.地心天球坐标系

[0092] 此坐标系实为历元（ ）地心天球坐标系即J2000.0平赤道参考系，简称地心天球坐标系。其坐标原点 是地心， 坐标面是历元（ ）时刻的平赤道面， 轴方向是该历元的平春分点 ，它是历元 的平赤道与该历元时刻的瞬时黄道的交点。注意，在该坐标中，地球非球形引力位是变化的。

[0093] b.地固坐标系

[0094] 该坐标系即地球参考系( Terrestrial Reference System‑TRS )，是一个跟随地球自转一起旋转的空间参考系，俗称地固坐标系。在这个坐标系中，与地球固体表面连接的测站的位置坐标几乎不随时间改变，仅仅由于构造或潮汐变形等地球物理效应而有很小的变化。

[0095] 地固坐标系的原点 是地心， 坐标面接近平赤道面， 轴指向接近参考平面与格林尼治子午面交线方向，即本初子午线方向，亦可称其为格林尼治子午线方向。各种地球引力场模型及其参考椭球体也都是在这种坐标系中确定的，它们是一个自洽系统。

[0096] c.星固坐标系

[0097] 星固坐标系是根据卫星姿态建立的坐标系，具体定义为：原点为卫星质心；Z 轴指向地球质心；Y 轴垂直于太阳、地球、卫星构成的平面，即卫星太阳帆板的旋转轴；X轴与 Y 轴和 Z 轴构成右手系。

[0098] d.站心坐标系

[0099] 站心坐标系通常是以测站为中心建立的坐标系，它可以更直观的描述测站平面和高程的位置精度。具体定义为：原点为测站中心；U 轴与过测站中心的参考椭球面的法线重合，指向天顶方向；N 轴垂直于 U 轴，指向参考椭球短半轴；E 轴垂直于 U 轴和 N轴。

[0100] e.空间系统转换

[0101] 地固坐标系与地心天球坐标系之间的转换

[0102] 分别用 和 表示探测器在地心天球坐标系 和地固坐标系 中的位置矢量。探测器的位置矢量在这两个坐标系之间的转换关系为：

[0103]

[0104] 其中坐标转换矩阵 包含了四个旋转矩阵，有：

[0105]

[0106] 这里 是岁差矩阵， 是章动矩阵， 是地球自转矩阵， 是地球极移矩阵。

[0107] 地球固定坐标系至站心坐标系

[0108] 由地球固定坐标系转换到测站坐标系需做两种变换。一是把O‑XbYbZb坐标系的原点由地心O平移至站心S。然后再旋转，使Xb、Yb、Zb三个轴分别与XS、YS、ZS三个轴平行。这需要先绕Zb轴旋转 角，再绕Xb轴旋转 角。这里 和 分别为站心S的经度和大地纬度。地球固定坐标系至站心坐标系的转换关系式为：

[0109]

[0110] M为转换矩阵， 为站心地固系下笛卡尔坐标， 为地固系下矢量。

[0111] 星固坐标系到惯性坐标系的转换

[0112] 在 GNSS 动力学定轨中，卫星天线相位中心改正、卫星光压摄动力改正等多方面都会用到星固坐标系。设星固坐标系中的一个自由向量为 ，则该向量在惯性坐标系中可以表示为 , 分别表示星固坐标系三个轴方向在惯性坐标系中的单位矢量，

[0113]

[0114] 式中：X 表示卫星在惯性坐标系中的矢量； 表示太阳在惯性坐标系中的矢量。

[0115] 在本发明的一个可选实施例中，参考图2至图5，PC终端中安装有MR空间场景管理系统；

[0116] MR空间场景管理系统包括：首页模块、场景配置模块、数据管理模块和权限管理模块。

[0117] 图2中示出了PC终端的分组管理，图3中示出了PC终端的权限管理，图4中示出了实时当前MR场景生成与推送，图5中示出了实时MR融合场景（下PC终端，上MR眼镜）。

[0118] 实际使用时，先创建房间：

[0119] MR计算终端与PC终端建立连接，PC终端为MR计算终端分配唯一标识符，创建房间，分配房间号，给到MR计算终端房间号，PC终端开辟键值对，键：房间号，值：房间里的MR计算终端标识符列表，同一房间号的MR计算终端进入同一列表。

[0120] MR计算终端与PC终端建立连接：websocket（保持长链接的协议）；

[0121] 分配唯一标识符：Hibernate框架自动分配（Hibernate框架图自带算法）；

[0122] 分配房间号：Hibernate框架自动分配（Hibernate框架图自带算法）；

[0123] 开辟键值对，使用Dictionary数据结构存储键值对。

[0124] 加入房间：

[0125] MR计算终端与PC终端建立连接，PC终端为MR计算终端分配唯一标识符，PC终端给MR计算终端发送房间号的列表，MR计算终端选择一个房间加入，把选择好的房间号发给PC终端，PC终端将MR计算终端的标识符存入到键值对中。

[0126] MR计算终端与PC终端建立连接：websocket（保持长链接的协议）；

[0127] 分配唯一标识符：Hibernate框架自动分配（Hibernate框架图自带算法）。

[0128] 协同：

[0129] MR计算终端的操作会传到PC终端，PC终端根据房间号分发给同一房间里的MR计算终端，这样就完成了分组协同。

[0130] 大数据处理：

[0131] MR计算终端在连接PC终端的同时，将剩余内存发送给PC终端，PC终端根据MR计算终端的标识符为其指定最大数据容量，即每次发送的总数据量不超过这个最大数据容量，这样就实现了针对不同MR计算终端的大数据处理技术。

[0132] 实施例二：

[0133] 本发明实施例还提供了一种混合现实多组协同的系统，该混合现实多组协同的系统主要用于执行本发明实施例一中所提供的混合现实多组协同的方法，以下对本发明实施例提供的混合现实多组协同的系统做具体介绍。

[0134] 图6是根据本发明实施例的一种混合现实多组协同的系统的示意图，如图6所示，该混合现实多组协同的系统包括：PC终端10、MR计算终端20和MR眼镜30，其中：

[0135] MR计算终端向PC终端发起创建房间请求/加入目标房间请求后，MR计算终端进入当前房间；

[0136] PC终端根据用户的配置实时生成当前MR场景，并根据用户的触发将当前MR场景推送至当前房间对应的MR计算终端，以使MR计算终端和PC终端采用多计算节点并行处理的方式将当前MR场景与MR眼镜采集的现实空间信息进行融合渲染，得到MR融合场景；

[0137] MR眼镜显示MR融合场景，以使对应的佩戴者与MR融合场景进行交互。

[0138] 在本发明实施例中，提供了一种混合现实多组协同的系统，该系统包括：MR计算终端向PC终端发起创建房间请求/加入目标房间请求后，MR计算终端进入当前房间；PC终端根据用户的配置实时生成当前MR场景，并根据用户的触发将当前MR场景推送至当前房间对应的MR计算终端，以使MR计算终端和PC终端采用多计算节点并行处理的方式将当前MR场景与MR眼镜采集的现实空间信息进行融合渲染，得到MR融合场景；MR眼镜显示MR融合场景，以使对应的佩戴者与MR融合场景进行交互。通过上述描述可知，本发明的混合现实多组协同的系统中，可以创建多个房间，即队伍更加多样化，MR场景可以即时配置，实时驱动，加之MR计算终端和PC终端可以采用多计算节点并行处理的方式将当前MR场景与MR眼镜采集的现实空间信息进行融合渲染，即MR计算终端可以依靠PC终端的强大算力承载大量的数据内容，缓解了现有技术在混合现实多组协同的过程中，无法实现多队伍、MR场景实时驱动和承载大量数据内容的技术问题。

[0139] 可选地，PC终端获取用户配置的场景数据；根据场景数据进行场景态势展示、仿真推演与效能评估，进而得到当前MR场景，其中，仿真推演采用PIE‑MAP、PIE‑PUSHER和PIE‑STK。

[0140] 可选地，MR计算终端和PC终端采用多计算节点并行处理的方式将佩戴者的最佳视觉区域对应的当前MR场景与MR眼镜采集的现实空间信息作为优先级最高的计算节点进行优先融合渲染；将佩戴者的边角区域对应的当前MR场景与MR眼镜采集的现实空间信息作为优先级次高的计算节点进行排队融合渲染；将佩戴者的视觉盲区对应的当前MR场景与MR眼镜采集的现实空间信息作为优先级最低的计算节点进行最后融合渲染。

[0141] 可选地，在MR计算终端将当前MR场景与MR眼镜采集的现实空间信息进行融合渲染的过程中，MR计算终端对每个计算节点采用CPU+GPU并行的两级并行计算架构，其中，计算节点为当前MR场景与MR眼镜采集的现实空间信息进行融合渲染的计算节点。

[0142] 可选地，在融合渲染的过程中，将MR眼镜采集的现实空间信息转换至创建房间的房主坐标系。

[0143] 可选地，PC终端中安装有MR空间场景管理系统；MR空间场景管理系统包括：首页模块、场景配置模块、数据管理模块和权限管理模块。

[0144] 可选地，PC终端根据用户选择的当前MR场景和当前房间的房间号将当前MR场景推送至当前房间对应的MR计算终端。

[0145] 本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

[0146] 如图7所示，本申请实施例提供的一种电子设备600，包括：处理器601、存储器602和总线，所述存储器602存储有所述处理器601可执行的机器可读指令，当电子设备运行时，所述处理器601与所述存储器602之间通过总线通信，所述处理器601执行所述机器可读指令，以执行如上述混合现实多组协同的方法的步骤。

[0147] 具体地，上述存储器602和处理器601能够为通用的存储器和处理器，这里不做具体限定，当处理器601运行存储器602存储的计算机程序时，能够执行上述混合现实多组协同的方法。

[0148] 处理器601可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field‑Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成上述方法的步骤。

[0149] 对应于上述混合现实多组协同的方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述混合现实多组协同的方法的步骤。

[0150] 本申请实施例所提供的混合现实多组协同的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

[0151] 在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

[0152] 再例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

[0153] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0154] 另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

[0155] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述混合现实多组协同的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read‑Only Memory，简称ROM）、随机存取存储器（Random Access Memory，简称RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

[0156] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

[0157] 最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。