图像处理方法、装置、可读存储介质与增强现实系统

摘要

本发明提供一种图像处理方法、装置、可读存储介质与增强现实系统。该方法包括：获取设备的位姿信息，以及，获取视频流数据；其中，所述位姿信息包括位置信息和设备姿态信息，然后，根据所述位置信息，获取预设范围内的地图数据，从而，根据所述地图数据和所述视频流数据，对所述位姿信息进行优化，进而，根据优化后的位姿信息、所述视频流数据和待显示三维模型，渲染得到显示图像。本发明的方法能够提高增强现实系统的鲁棒性，并解决现有的解决三维注册问题时存在的人工标志物遮挡问题。

权利要求

1.一种图像处理方法，其特征在于，包括：获取设备的位姿信息，以及，获取视频流数据；其中，所述位姿信息包括位置信息和设备姿态信息；

根据所述位置信息，获取预设范围内的地图数据；

根据所述地图数据和所述视频流数据，对所述位姿信息进行优化；

根据优化后的位姿信息、所述视频流数据和待显示三维模型，渲染得到显示图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述地图数据和所述视频流数据，对所述位姿信息进行优化，包括：提取所述地图数据中的地图要素；以及，提取所述视频流数据中的图像要素；

结合图像采集传感器的标定参数，对所述地图要素与所述图像要素进行特征匹配，得到所述地图数据与所述视频流数据之间的映射关系；

基于所述映射关系，对所述位姿信息进行优化，得到所述优化后的位姿信息。

3.根据权利要求2所述的方法，其特征在于，所述结合所述图像采集传感器的标定参数，对所述地图要素与所述图像要素进行特征匹配，得到所述地图数据与所述视频流数据之间的映射关系，包括：利用所述标定参数，将所述地图要素转换为二维地图要素；

利用特征匹配算法处理所述二维地图要素与所述图像要素，得到所述地图数据与所述视频流数据之间的映射关系。

4.根据权利要求2所述的方法，其特征在于，所述结合所述图像采集传感器的标定参数，对所述地图要素与所述图像要素进行特征匹配，得到所述地图数据与所述视频流数据之间的映射关系，包括：利用所述标定参数，将所述图像要素转换为三维图像要素；

利用特征匹配算法处理所述地图要素与所述三维图像要素，得到所述地图数据与所述视频流数据之间的映射关系。

5.根据权利要求1所述的方法，其特征在于，根据优化后的位姿信息、所述视频流数据和待显示三维模型，渲染得到显示图像，包括：根据所述优化后的位姿信息，将所述待显示三维模型转换至三维虚拟空间坐标系，得到当前视野中的目标三维模型；

对所述目标三维模型，得到所述虚拟图层；

叠加所述虚拟图层与视频流数据，得到所述显示图像。

6.根据权利要求5所述的方法，其特征在于，所述根据所述优化后的位姿信息，将所述待显示三维模型转换至三维虚拟空间坐标系，得到当前视野中的目标三维模型，包括：将所述待显示三维模型转换至所述三维虚拟空间坐标系中，得到候选三维模型；

根据所述优化后的位姿信息与图像采集传感器的标定参数，计算当前视野中的视锥体；

利用所述视锥体对所述候选三维模型进行处理，得到所述目标三维模型。

7.根据权利要求5所述的方法，其特征在于，对所述目标三维模型与所述显示对象进行渲染，得到所述虚拟图层，包括：将所述优化后的所述位姿信息作为三维相机的位姿，将图像采集传感器的标定参数作为投影参数，对所述目标三维模型进行渲染，得到所述虚拟图层。

8.一种图像处理装置，其特征在于，包括：接收模块，用于接收定位传感器获取设备获取到的位置信息，以及，用于接收姿态获取传感器获取到的设备姿态信息，得到位姿信息；以及，用于接收图像采集传感器采集到的视频流数据；

定位模块，用于根据所述位置信息，获取预设范围内的地图数据；

优化模块，用于根据所述地图数据和所述视频流数据，对所述位姿信息进行优化；

渲染模块，用于根据优化后的位姿信息、所述视频流数据和待显示三维模型，渲染得到显示图像。

9.根据权利要求8所述的装置，其特征在于，所述优化模块，具体用于：提取所述地图数据中的地图要素；以及，提取所述视频流数据中的图像要素；

结合所述图像采集传感器的标定参数，对所述地图要素与所述图像要素进行特征匹配，得到所述地图数据与所述视频流数据之间的映射关系；

基于所述映射关系，对所述位姿信息进行优化，得到所述优化后的位姿信息。

10.根据权利要求9所述的装置，其特征在于，所述优化模块，还具体用于：利用所述标定参数，将所述地图要素转换为二维地图要素；

利用特征匹配算法处理所述二维地图要素与所述图像要素，得到所述地图数据与所述视频流数据之间的映射关系。

11.根据权利要求9所述的装置，其特征在于，所述优化模块，还具体用于：利用所述标定参数，将所述图像要素转换为三维图像要素；

利用特征匹配算法处理所述地图要素与所述三维图像要素，得到所述地图数据与所述视频流数据之间的映射关系。

12.根据权利要求8所述的装置，其特征在于，所述渲染模块，具体用于：根据所述优化后的位姿信息，将所述待显示三维模型转换至三维虚拟空间坐标系，得到当前视野中的目标三维模型；

对所述目标三维模型进行渲染，得到所述虚拟图层；

叠加所述虚拟图层与视频流数据，得到所述显示图像。

13.根据权利要求12所述的装置，其特征在于，所述渲染模块，还具体用于：将所述待显示三维模型转换至所述三维虚拟空间坐标系中，得到候选三维模型；

根据所述优化后的位姿信息与图像采集传感器的标定参数，计算当前视野中的视锥体；

利用所述视锥体对所述候选三维模型进行处理，得到所述目标三维模型。

14.根据权利要求12所述的装置，其特征在于，所述渲染模块，还具体用于：将所述优化后的所述位姿信息作为三维相机的位姿，将图像采集传感器的标定参数作为投影参数，对所述目标三维模型进行渲染，得到所述虚拟图层。

15.一种增强现实装置，其特征在于，包括：存储器；

处理器；以及，

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1至7任一项所述的方法。

16.一种可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至7任一项所述的方法。

17.一种增强现实系统，其特征在于，包括：定位控制器，用于获取设备当前所处的粗略坐标；

姿态获取传感器，用于获取所述设备当前的粗略姿态；

图像采集传感器，用于采集当前的视频流数据；

如权利要求8至14任一项所述的图像处理装置。

说明书

图像处理方法、装置、可读存储介质与增强现实系统

技术领域

[0001] 本发明涉及图像处理技术，尤其涉及一种图像处理方法、装置、可读存储介质与增强现实系统。

背景技术

[0002] 增强现实(Augmented Reality，AR)技术是近年来的一个研究热点，有着广泛的应用前景。它是一种将计算机产生的信息(包括图像、文字、三维模型和光照等)叠加在真实场景上，将虚实信息进行无缝融合的技术，呈现出一个信息更加丰富、感官效果真实的新环境，达到对现实世界的增强效果。其中，移动增强现实，受到广泛关注。而移动增强现实技术是将增强现实技术应用在移动平台，实现三维注册，也就是实现对场景的实时识别和跟踪注册，然后，叠加虚拟物体，以辅助移动用户对场景的理解的一种技术。由此，三维注册问题是移动增强现实领域必须解决的关键问题。

[0003] 现有技术中一般通过实时跟踪注册技术来解决三维注册问题。实时跟踪技术需要在真实环境中放置人工标志物，然后，通过对标志物特征的提取获得注册所需的消息而达到注册目的。

[0004] 但是，在真实环境中放置人工标志物，会导致移动增强显示系统的鲁棒性较差，并且，人工标志物对真实场景的遮挡问题无法解决。

发明内容

[0005] 本发明提供一种图像处理方法、装置、可读存储介质与增强现实系统，能够提高增强现实系统的鲁棒性，并解决现有的解决三维注册问题时存在的人工标志物遮挡问题。

[0006] 第一方面，本发明提供一种图像处理方法，包括：

[0007] 获取设备的位姿信息，以及，获取视频流数据；其中，所述位姿信息包括位置信息和设备姿态信息；

[0008] 根据所述位置信息，获取预设范围内的地图数据；

[0009] 根据所述地图数据和所述视频流数据，对所述位姿信息进行优化；

[0010] 根据优化后的位姿信息、所述视频流数据和待显示三维模型，渲染得到显示图像。

[0011] 第二方面，本发明提供一种图像处理装置，包括：

[0012] 接收模块，用于接收定位传感器获取设备获取到的位置信息，以及，用于接收姿态获取传感器获取到的设备姿态信息，得到位姿信息；以及，用于接收图像采集传感器采集到的视频流数据；

[0013] 定位模块，用于根据所述位置信息，获取预设范围内的地图数据；

[0014] 优化模块，用于根据所述地图数据和所述视频流数据，对所述位姿信息进行优化；

[0015] 渲染模块，用于根据优化后的位姿信息、所述视频流数据和待显示三维模型，渲染得到显示图像。

[0016] 第三方面，本发明提供一种图像处理装置，包括：

[0017] 存储器；

[0018] 处理器；以及，

[0019] 计算机程序；

[0020] 其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面任一项所述的方法。

[0021] 第四方面，本发明提供一种可读存储介质，其上存储有计算机程序，[0022] 所述计算机程序被处理器执行以实现如第一方面任一项所述的方法。

[0023] 第五方面，本发明提供一种增强现实系统，包括：

[0024] 定位控制器，用于获取设备当前所处的粗略坐标；

[0025] 姿态获取传感器，用于获取所述设备当前的粗略姿态；

[0026] 图像采集传感器，用于采集当前的视频流数据；

[0027] 如第二方面任一项所述的图像处理装置。

[0028] 本发明提供的图像处理方法、装置、可读存储介质与增强现实系统，通过定位传感器、姿态获取传感器与图像采集传感器分别获取到设备的位置信息、设备姿态信息与视频流数据，从而，基于获取到的这些信息共同对地图数据进行优化，得到优化后的位姿信息，进而，渲染得到显示图像，如此，实现了对场景的实时识别和跟踪注册，也就是，解决了移动增强现实场景中亟待解决的三维注册问题，并且，在此过程中并未在真实场景中放置人工标志物，既提高了增强现实系统的鲁棒性，又能够避免由于放置人工标志物导致的遮挡真实场景的问题，具有较高的灵活性。

附图说明

[0029] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

[0030] 图1为本发明实施例所提供的一种增强现实系统的架构示意图；

[0031] 图2为本发明实施例所提供的一种图像处理方法的流程示意图；

[0032] 图3为本发明实施例所提供的另一种图像处理方法的流程示意图；

[0033] 图4为本发明实施例所提供的一种图像处理装置的功能方块图；

[0034] 图5为本发明实施例所提供的一种图像处理装置的实体结构示意图。

[0035] 通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

[0036] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

[0037] 首先对本发明所涉及的名词进行解释：

[0038] 增强现实(Augmented Reality，AR)，是指将计算机产生的信息(包括图像、文字、三维模型和光照等)叠加在真实场景上，将虚实信息进行无缝融合的技术；并且，增强现实中的虚拟场景只是对现实环境的补充，而不会完全替代现实环境。

[0039] 虚拟现实(Virtual Reality，VR)：是指一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中；并且，虚拟场景会完全替代现实环境。

[0040] 三维注册，是指能够实时精确的计算摄像机相对于真实世界的位置和姿态，以便将虚拟场景正确的安置到它应所处的位置上。

[0041] 鲁棒性(robustness)，又称抗变换性，用以表征控制系统对特性或参数扰动的不敏感性。

[0042] 位姿，是指位置(可以表现为地理坐标)和姿态；其中，姿态的描述方式可以包括但不限于：横滚(roll)、俯仰(pitch)、偏转(yaw)。

[0043] 高精度地图，包含在三维空间描述的全面且精准的特征物体信息；其中，特征物体信息可以包但不限于：道路的标志、标牌、杆状物、车道线隔离带、房屋的三维轮廓、墙面特征与地面特征中的至少一种。

[0044] 视觉定位，是指通过识别与提取图像特征，并与高精度地图进行匹配，计算当前位姿的一种方法。

[0045] 视锥体(frustum)，是指场景中摄像机的可见的一个锥体范围。

[0046] 三维场景，是指与现实空间对应的虚拟三维空间，包含所有需要叠加至现实空间的模型动画等数据。

[0047] 移动增强现实，是指将增强现实技术应用在移动平台，实现对场景实时识别和跟踪注册，并叠加虚拟物体，以辅助移动用户对场景的理解。

[0048] 其中，移动平台可以表现为终端设备。本发明所涉及的终端设备可以是无线终端也可以是有线终端。无线终端可以是指向用户提供语音和/或其他业务数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。无线终端可以经无线接入网(Radio Access Network，简称RAN)与一个或多个核心网设备进行通信，无线终端可以是移动终端，如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据。再例如，无线终端还可以是个人通信业务(Personal Communication Service，简称PCS)电话、无绳电话、会话发起协议(Session Initiation Protocol，简称SIP)话机、无线本地环路(Wireless Local Loop，简称WLL)站、个人数字助理(Personal Digital Assistant，简称PDA)等设备。无线终端也可以称为系统、订户单元(Subscriber Unit)、订户站(Subscriber Station)，移动站(Mobile Station)、移动台(Mobile)、远程站(Remote Station)、远程终端(Remote Terminal)、接入终端(Access Terminal)、用户终端(User Terminal)、用户代理(User Agent)、用户设备(User Device or User Equipment)，在此不作限定。可选的，上述终端设备还可以是智能手表、平板电脑等设备。

[0049] 本发明具体的应用场景为：在增强现实领域，尤其是移动增强现实领域，如何实现三维注册的问题。现有的三维注册方法依赖于在现实场景中放置人工标志物，并通过针对人工标志物的特征提取来实现三维注册，这会导致人工标志物遮挡部分现实场景以及AR系统的鲁棒性较差的问题。

[0050] 本发明提供的技术方案，旨在解决现有技术的如上技术问题，并提出如下解决思路：利用多个传感器分别采集设备当前的位姿和视频流数据，并基于高精度地图与当前位姿、视频流数据实现对设备当前位姿的精确定位，从而，实现三维注册。

[0051] 下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

[0052] 实施例一

[0053] 本发明实施例提供了一种图像处理方法。

[0054] 由于该图像处理方法主要是针对现有技术中增强现实场景中三维注册问题而提出的，因此，为了便于理解，现给出如图1所示的增强现实系统的架构示意图。

[0055] 如图1所示，在该增强现实场景中，除用于执行该图像处理方法的图像处理装置110之外，还包括：定位传感器120、姿态获取传感器130与图像采集传感器140。

[0056] 其中，定位传感器120用于定位得到设备当前所处的粗略坐标。在具体的实现场景中，定位传感器可以包括但不限于：全球定位系统(Global Positioning System，GPS)。

[0057] 姿态获取传感器130用于获取设备当前的粗略姿态。在具体的实现场景中，姿态获取传感器可以包括但不限于：惯性测量单元(Inertial measurement unit，IMU)，其中，IMU可以包括三轴加速度计、三轴陀螺仪和三轴磁力计，负责粗定位与运动追踪。

[0058] 需要说明的是，由于本发明实施例中仅需要通过上述两种传感器获取到设备当前的粗略位姿(粗略坐标与粗略姿态)，对定位传感器、姿态获取传感器的获取精度无特别限定，因此，在具体实现时，可以优先选择低成本的传感器。

[0059] 图像采集传感器140用于采集视频流数据，也就是，实景图像流数据。在具体的实现场景中，图像采集传感器可以表现为相机。

[0060] 在一个可行的实现场景中，图像采集传感器可以具体表现为广角彩色相机，广角彩色相机的镜头是一种焦距短于标准镜头、视角大于标准镜头的摄影镜头，从而，由于广角镜头的焦距短，视角大，在较短的拍摄距离范围内，能拍摄到较大面积的景物。因此，三维注册的场景中，通过广角彩色相机采集视频流数据能够在一定程度上提高后续精确定位的准确率。

[0061] 在如图2所示的AR场景中，图像处理装置110用于执行如图1所示的该图像处理方法，该方法包括如下步骤：

[0062] S202，获取设备的位姿信息，以及，获取视频流数据；其中，位姿信息包括位置信息和设备姿态信息。

[0063] 该步骤具体实现时，可以通过接收定位传感器获取到的设备的位置信息，接收姿态获取传感器获取到的设备的设备姿态信息，并接收图像采集传感器采集到的视频流数据即可。

[0064] 本发明实施例所涉及的“设备”是指该图像处理装置所属的实体设备。例如，在移动增强现实领域，该设备可以为用于承载AR技术的移动终端；或者，又例如，该设备可以为车辆中用于承载AR技术的控制设备。

[0065] S204，根据位置信息，获取预设范围内的地图数据。

[0066] S206，根据地图数据和视频流数据，对位姿信息进行优化。

[0067] S208，根据优化后的位姿信息、视频流数据和待显示三维模型，渲染得到显示图像。

[0068] 其中，显示图像由实景图层与虚拟图层叠加而成。可以理解，实景图层为现实场景所在图层，也就是，由视频流数据构成的图层；虚拟图层为虚拟对象所在图层。

[0069] 在具体进行虚拟图层与实景图层的叠加时，在靠近人眼的方向上，虚拟图层在前，实景图层在后。也就是，相较于实景图层，虚拟图层更靠近人眼。

[0070] 以下，结合图1对图2中各步骤的实现方式进行具体说明。

[0071] 需要说明的是，本发明实施例对于上述定位传感器120、姿态获取传感器130与图像采集传感器140之间的控制逻辑无特别限定。

[0072] 例如，在一个实现场景中，定位传感器120、姿态获取传感器130与图像采集传感器140的启动工作或停止工作受到图像处理装置110的控制。在这种实现场景中，在执行S202之前，还需要由图像处理装置110向定位传感器120、姿态获取传感器130与图像采集传感器
140分别发送工作指令，以便于定位传感器120、姿态获取传感器130与图像采集传感器140分别在接收到工作指令后开始工作。

[0073] 或者，在另一个实现场景中，定位传感器120、姿态获取传感器130与图像采集传感器140无需根据图像处理装置110的指示即可开始工作，例如，可以将这三种传感器设置为启动后自动工作。此时，图像处理装置110仅需接收传感器输出的数据即可，也就是，执行S202步骤即可。

[0074] 考虑到三维注册过程要求实时精确的计算摄像机相对于真实世界的位置和姿态，本发明实施例是通过位置信息、设备姿态信息以及视频流数据，来实现优化后的位姿信息的定位的。

[0075] 由此，在执行S204中地图数据的获取时，则可以结合位置信息与高精度地图来实现。

[0076] 将S202中获取到的位置信息与高精度地图结合，得到地图数据即可。此时得到的地图数据是三维数据，用于对位姿信息进行优先前实现定位。也就是，根据位置信息在高精度地图中进行粗略定位，得到高精度地图中的粗略范围。

[0077] 举例说明，根据S202接收到的粗略位姿，确定当前位姿为高精度地图中的XX公园门口附近。

[0078] 由于该步骤仅为实现粗略定位，还需要进一步结合视频流数据，才能够实现对位姿信息的优化。

[0079] 具体的，根据地图数据与视频流数据对位姿信息进行优化的方式可以参考图3，S206具体可以包括如下步骤：

[0080] S2062A，提取地图数据中的地图要素。

[0081] 本发明实施例中，地图要素包括特征物体信息，也就是，可以包括但不限于：道路的标志、标牌、杆状物、车道线隔离带、房屋的三维轮廓、墙面特征与地面特征中的至少一种。

[0082] 在一个具体的实现该特征提取步骤时，可以通过按距离远近的方式提取地图要素。具体的，可以以粗略位置为圆心，确定一个半径为R的圆，将圆内所有的高精度地图要素作为下一步的输入。其中半径R一半根据粗定位误差加上安全距离来确定。

[0083] S2062B，提取视频流数据中的图像要素。

[0084] 图像要素的类型与地图要素的类型相同，可以包括但不限于：道路的标志、标牌、杆状物、车道线隔离带、房屋的三维轮廓、墙面特征与地面特征中的至少一种。

[0085] 在一个具体的实现场景中，该步骤可以通过深度学习的方式实现。具体的，首先获取基于样本数据训练好的特征提取模型，其中，该特征提取模型的输入为视频流数据，输出为图像要素；如此，只需要将图像采集传感器采集到的视频流数据输入该特征提取模型，即可得到图像要素。其中，该特征提取模型为针对二维图像进行特征提取的深度学习模型。

[0086] 此外，基于样本数据训练特征提取模型的方式本发明不再赘述。在具体实现时，该特征提取模型可以为：卷积神经网络模型，或者，决策树模型，或者，递归神经网络模型等，本发明实施例对此无特别限定。

[0087] 需要说明的是，本发明实施例中S2062A与S2062B主要是针对高精度地图与视频流数据分别进行要素提取，在具体实现时，这两个提取要素的步骤可以同时执行，或者，也可以按照一定的先后次序顺序执行，本发明实施例对此无特别限定。

[0088] S2064，结合图像采集传感器的标定参数，对地图要素与图像要素进行特征匹配，得到视频流数据与地图数据之间的映射关系。

[0089] 需要说明的是，该步骤最终得到的映射关系为视频流数据(二维)与地图数据(三维)之间的映射关系，因此，除考虑单一对象的位姿映射之外，还需要考虑多个对象的位姿之间的相互关系(包括空间关系)，而该相互位置关系与图像采集传感器的标定参数相关。

[0090] 其中，图像采集传感器的标定参数包括：内参数和外参数。其中，内参数用于表征与图像采集传感器自身特性相关的参数，可以包括但不限于：焦距、主点位置与畸变参数中的至少一个。而图像采集传感器的外参数主要用于表征图像采集传感器与全局坐标之间的关系，也可以说是该图像采集传感器在世界坐标系中的参数，可以包括但不限于：位置、旋转方向等。

[0091] 例如，若在视频流数据中提取得到图像要素A与图像要素B，在地图数据中的粗略范围内提取出地图要素A’、地图要素B’与地图要素B”，那么，在对图像要素与地图要素进行匹配时，除需注意图像要素A与地图要素A’之间的映射之外，还需要根据图像要素A的位姿与图像要素B的位姿之间的关系、地图要素A’的位姿与地图要素B’的位姿之间的关系、地图要素A’的位姿与地图要素B”的位姿之间的关系，确定与图像要素B对应的地图要素为地图要素B”，如此，得到图像要素A与地图要素A’的映射关系，以及，图像要素B与地图要素B”之间的映射关系。

[0092] 基于此，本发明实施例给出以下两种执行S2064得到映射关系的方式：

[0093] 方式一：利用所述标定参数，将所述地图要素转换为二维地图要素，然后，利用特征匹配算法处理所述二维地图要素与所述图像要素，得到所述地图数据与所述视频流数据之间的映射关系。

[0094] 这种实现方式是利用标定参数，将三维的地图要素转换为二维地图要素，然后在同一维度(二维)进行特征匹配即可，大大降低了特征匹配过程的处理难度，处理效率较高。

[0095] 方式二：利用所述标定参数，将所述图像要素转换为三维图像要素，然后，利用特征匹配算法处理所述地图要素与所述三维图像要素，得到所述地图数据与所述视频流数据之间的映射关系。

[0096] 这种实现方式是利用标定参数，将二维的图像要素转换为三维图像要素，然后在同一维度(三维)进行特征匹配，此时考虑了三维空间的对应性，得到的映射关系更准确。

[0097] 该步骤能够实现视频流数据(二维)中每个对象的位姿与地图数据(三维)中每个对象的位姿的一一对应，如此，通过对每个图像要素在高精度地图中进行地图要素的匹配，就能够得到视频流数据与高精度地图之间的映射关系。如此，在该映射关系得到后，可以根据该映射关系找到与视频流数据位置对应的高精度地图的位置，以及，也能够根据该映射关系找到与高精度地图中某一位置对应的视频流数据位置。

[0098] S2066，基于映射关系，对位姿信息进行优化，得到优化后的位姿信息。

[0099] 此时，得到的映射关系作为一个输入，利用优化算法处理该映射关系和粗略位姿，即可得到优化后的位姿信息。

[0100] 该步骤是考虑到采集到的视频流数据中对象可能存在一个对象对另一个对象的遮挡，以及，视频流数据中的对象及范围有限，因此，得到的映射关系，可以从三维角度实现对位姿信息的优化。

[0101] 通过如图3所示的步骤，可以实现对设备当前位姿的精确定位，也就是，能够在不依靠人工标志物的前提下实现三维注册。相较于现有的三维注册流程中依赖人工标志物的方式，这能够降低人工标志物遮挡其他对象的情况，也能够降低人工标志物对AR系统鲁棒性的影响，从而，在一定程度上提高AR系统的鲁棒性。

[0102] 基于确定的优化后的位姿信息，实现AR显示，还需要进一步渲染得到显示图像。此时，仍可以参考图3，S208具体可以包括如下步骤：

[0103] S2082，根据优化后的位姿信息，将待显示三维模型转换至三维虚拟空间坐标系，得到当前视野中的目标三维模型与当前视野中的显示对象。

[0104] 其中，三维坐标系可以在执行前根据需要预设。

[0105] 其具体实现时，将待显示三维模型转换至三维虚拟空间坐标系中，得到候选三维模型，然后，根据优化后的位姿信息与图像采集传感器的标定参数，计算当前视野中的视锥体，从而，利用视锥体对候选三维模型进行处理，得到目标三维模型。

[0106] 其中，待显示三维模型中包括显示对象，其中，显示对象可以包括：真实显示对象与虚拟显示对象。

[0107] 针对真实显示对象，将对三维场景中显示的所有真实对象中不需要显示的真实对象进行挑选剔除，最终得到的真实显示对象为需要在现实图像中显示的对象。具体的，该挑选剔除过程可以是按照预设的逻辑自动执行，或者，也可以输出操作界面，由用户在操作界面上操作来实现针对真实对象的挑选剔除。

[0108] 此外，针对虚拟显示对象，将需要显示的虚拟对象添加进来即可。需要添加的虚拟对象可以是提前设定好的，此时，执行该步骤时自虚拟对象的存储路径直接调取该虚拟对象，并将其添加在指定位置即可。或者，另一实现过程中，可以由人工编辑对象或调取对象，不再赘述。

[0109] S2084，对目标三维模型进行渲染，得到虚拟图层。

[0110] 具体的，将优化后的位姿信息作为三维相机的位姿，将图像采集传感器的标定参数作为投影参数，对目标三维模型进行渲染，即可得到虚拟图层。

[0111] S2086，叠加虚拟图层与视频流数据，得到显示图像。

[0112] 如前，显示图像由虚拟图层与视频流数据叠加而成，其叠加顺序为虚拟图层更靠近人眼，不再赘述。

[0113] 在针对虚拟图层与视频流数据进行叠加时，还需要考虑虚拟图层的透明程度。

[0114] 此时，可以包括以下两种处理方式：

[0115] 第一种方式，设置整个虚拟图层的透明程度，其范围为[0，1]。本发明实施例对其具体数值无特别限定。其中，当虚拟图层的透明程度为1时，虚拟图层完全不透明处理，此时，显示图像中仅能显示虚拟图层，视频流数据完全被遮挡；当虚拟图层的透明程度为0时，虚拟图层完全透明显示，显示图像中仅能显示真实场景。

[0116] 第二种方式，还可以对虚拟图层的每个虚拟现实对象设置透明程度，此时，各虚拟显示对象的透明程度的范围为[0，1]。当某一虚拟显示对象的透明程度被设置为1时，则在显示图像中该虚拟显示对象完全替代与其映射的真实对象；反之，当某一虚拟显示对象的透明程度被设置为0时，则在显示图像中仅能显示与该虚拟显示对象映射的真实对象。

[0117] 以上两种处理方式可以单独使用，或者，也可以结合使用。

[0118] 在具体的实现场景中，如图3所示，该方法还包括如下步骤：

[0119] S210，输出显示图像。

[0120] 具体的，将获取到的显示图像输出给显示设备即可。其中，该显示设备可以表现为屏幕、AR眼镜等。

[0121] 本发明实施例所提供的图像处理方法可以应用于增强现实场景中，而不局限于移动增强现实技术。

[0122] 此外，当该图像处理方法具体应用于移动增强现实场景中时，定位控制器、姿态获取传感器与图像采集传感器可以实时工作，并针对每一帧采集到的视频流数据执行上述图像处理方法。

[0123] 具体的，若采集到当前帧视频流数据(还包括粗略位姿，此处以每帧视频流数据为例进行说明)，则开始按照上述图像处理方法进行显示图像的获取、输出过程；当开始下一帧视频流数据的处理时，则重复执行上述流程。

[0124] 此外，还可以进一步根据上一帧视频流数据的优化后的位姿信息，以及三个传感器获取到的数据，来预估当前优化后的位姿信息。考虑到移动增强现实场景的连续性，上一帧视频流数据的优化后的位姿信息可作为S204步骤中获取优化后的位姿信息的一个参考因素。

[0125] 并且，在增强现实场景中，若接收到退出指令，则退出上述流程；反之，若一直未接收到退出指令，则继续执行上述流程。

[0126] 本发明实施例所提供的技术方案至少具备如下技术效果：

[0127] 本发明提供的图像处理方法、装置、可读存储介质与增强现实系统，通过定位传感器、姿态获取传感器与图像采集传感器分别获取到设备的位置信息、设备姿态信息与视频流数据，从而，基于获取到的这些信息共同对地图数据进行优化，得到优化后的位姿信息，进而，渲染得到显示图像，如此，实现了对场景的实时识别和跟踪注册，也就是，解决了移动增强现实场景中亟待解决的三维注册问题，并且，在此过程中并未在真实场景中放置人工标志物，既提高了增强现实系统的鲁棒性，又能够避免由于放置人工标志物导致的遮挡真实场景的问题，具有较高的灵活性。另外，本发明提供了一种全新的基于高精度地图的AR解决方案，相较于传统AR设备，具有大尺度、高精度定位特性，能在高速移动过程中进行精确定位，使车载AR设备成为了可能。

[0128] 实施例二

[0129] 基于上述实施例一所提供的图像处理方法，本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。

[0130] 本发明实施例提供了一种图像处理装置，请参考图4，该图像处理装置110，包括：

[0131] 接收模块111，用于接收定位传感器获取设备获取到的位置信息，以及，用于接收姿态获取传感器获取到的设备姿态信息，得到位姿信息；以及，用于接收图像采集传感器采集到的视频流数据；

[0132] 定位模块112，用于根据位置信息，获取预设范围内的地图数据；

[0133] 优化模块113，用于根据地图数据和视频流数据，对位姿信息进行优化；

[0134] 渲染模块114，用于根据优化后的位姿信息、视频流数据和待显示三维模型，渲染得到显示图像。

[0135] 其中，优化模块113，具体用于：

[0136] 提取地图数据中的地图要素；以及，提取视频流数据中的图像要素；

[0137] 结合图像采集传感器的标定参数，对地图要素与图像要素进行特征匹配，得到地图数据与视频流数据之间的映射关系；

[0138] 基于映射关系，对位姿信息进行优化，得到优化后的位姿信息。

[0139] 在一个实现场景中，优化模块113，还具体用于：

[0140] 利用标定参数，将地图要素转换为二维地图要素；

[0141] 利用特征匹配算法处理二维地图要素与图像要素，得到地图数据与视频流数据之间的映射关系。

[0142] 在另一个实现场景中，优化模块113，还具体用于：

[0143] 利用标定参数，将图像要素转换为三维图像要素；

[0144] 利用特征匹配算法处理地图要素与三维图像要素，得到地图数据与视频流数据之间的映射关系。

[0145] 本发明实施例中，渲染模块114，具体用于：

[0146] 根据优化后的位姿信息，将待显示三维模型转换至三维虚拟空间坐标系，得到当前视野中的目标三维模型；

[0147] 对目标三维模型进行渲染，得到虚拟图层；

[0148] 叠加虚拟图层与视频流数据，得到显示图像。

[0149] 在一个实现场景中，渲染模块114，还具体用于：

[0150] 将待显示三维模型转换至三维虚拟空间坐标系中，得到候选三维模型；

[0151] 根据优化后的位姿信息与图像采集传感器的标定参数，计算当前视野中的视锥体；

[0152] 利用视锥体对候选三维模型进行处理，得到目标三维模型。

[0153] 在另一个实现场景中，渲染模块114，还具体用于：

[0154] 将优化后的位姿信息作为三维相机的位姿，将图像采集传感器的标定参数作为投影参数，对目标三维模型进行渲染，得到虚拟图层。

[0155] 并且，本发明实施例提供了一种增强现实装置，请参考图5，该增强现实装置500，包括：

[0156] 存储器510；

[0157] 处理器520；以及，

[0158] 计算机程序；

[0159] 其中，计算机程序存储在存储器510中，并被配置为由处理器520执行以实现如上述实施例所述的方法。

[0160] 此外，如图5所示，在该增强现实装置500中还设置有发送器530与接收器540，用于与其他设备进行数据传输或通信，以及，用于与定位控制器、姿态获取传感器以及图像采集传感器分别进行数据传输与通信，在此不再赘述。

[0161] 此外，本发明实施例提供了一种可读存储介质，其上存储有计算机程序，[0162] 该计算机程序被处理器执行以实现如实施例一所述的方法。

[0163] 以及，本发明实施例提供了一种增强现实系统，请参考图1，该增强现实系统100包括：

[0164] 定位控制器120，用于获取设备当前所处的粗略坐标；

[0165] 姿态获取传感器130，用于获取所述设备当前的粗略姿态；

[0166] 图像采集传感器140，用于采集当前的视频流数据；

[0167] 如上任一实现方式所述的图像处理装置110。

[0168] 由于本实施例中的各模块能够执行实施例一所示的方法，本实施例未详细描述的部分，可参考对实施例一的相关说明。

[0169] 本发明实施例所提供的技术方案至少具备如下技术效果：

[0170] 本发明提供的图像处理方法、装置、可读存储介质与增强现实系统，通过定位传感器、姿态获取传感器与图像采集传感器分别获取到设备的位置信息、设备姿态信息与视频流数据，从而，基于获取到的这些信息共同对地图数据进行优化，得到优化后的位姿信息，进而，渲染得到显示图像，如此，实现了对场景的实时识别和跟踪注册，也就是，解决了移动增强现实场景中亟待解决的三维注册问题，并且，在此过程中并未在真实场景中放置人工标志物，既提高了增强现实系统的鲁棒性，又能够避免由于放置人工标志物导致的遮挡真实场景的问题，具有较高的灵活性。另外，本发明提供了一种全新的基于高精度地图的AR解决方案，相较于传统AR设备，具有大尺度、高精度定位特性，能在高速移动过程中进行精确定位，使车载AR设备成为了可能。

[0171] 本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。

[0172] 应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。