图像处理方法、装置、系统、终端设备及存储介质

摘要

本申请实施例公开了一种图像处理方法、装置、系统、终端设备及存储介质，涉及显示技术领域。该图像处理方法应用于终端设备，终端设备与头戴显示设备通信连接，该图像处理方法包括：获取终端设备与头戴显示设备之间的相对空间位置关系；根据相对空间位置关系，获取头戴显示设备显示的虚拟内容在终端设备的屏幕上的投影区域，投影区域为人眼通过头戴显示设备观察到的虚拟内容在屏幕上的投射区域；根据屏幕待显示的屏幕内容，获取屏幕内容中与投影区域对应的图像内容；对图像内容进行指定处理，并显示包含指定处理后的图像内容的屏幕内容，指定处理后的图像内容的第一色调与虚拟内容的第二色调之间的色调差值大于第一阈值。本方法可以提升虚拟内容显示时的真实感。

权利要求

1.一种图像处理方法，其特征在于，应用于终端设备，所述终端设备与头戴显示设备通信连接，所述方法包括：

获取所述终端设备与所述头戴显示设备之间的相对空间位置关系；

根据所述相对空间位置关系，获取所述头戴显示设备显示的虚拟内容在所述终端设备的屏幕上的投影区域，所述投影区域为通过所述头戴显示设备观察到的所述虚拟内容在所述屏幕上的投射区域，所述投射区域为以观察所述虚拟内容的人眼为基准点，将所述虚拟内容的形状投射到所述屏幕所在的平面上去时，在所述平面上得到的投射区域与所述终端设备的屏幕区域之间的重合区域；

根据所述屏幕待显示的屏幕内容，获取所述屏幕内容中与所述投影区域对应的图像内容；

对所述图像内容进行指定处理，并显示包含指定处理后的图像内容的屏幕内容，所述指定处理后的图像内容的第一色调与所述虚拟内容的第二色调之间的色调差值大于第一阈值。

2.根据权利要求1所述的方法，其特征在于，所述对所述图像内容进行指定处理，包括以下任意一种：

将指定颜色的覆盖内容覆盖于所述图像内容上；

将所述图像内容的颜色调整为指定颜色；

将所述图像内容的透明度值调整为指定透明度值；

所述指定颜色与所述虚拟内容的颜色之间的色差大于第二阈值，所述指定透明度值与所述虚拟内容的透明度值之间的差值大于第三阈值。

3.根据权利要求1所述的方法，其特征在于，所述根据所述相对空间位置关系，获取所述头戴显示设备显示的虚拟内容在所述终端设备的屏幕上的投影区域，包括：获取所述头戴显示设备中用于显示虚拟内容的左眼显示图像以及右眼显示图像；

根据所述左眼显示图像以及所述相对空间位置关系，获取所述左眼显示图像在所述终端设备的屏幕上的第一投影区域；

根据所述右眼显示图像以及所述相对空间位置关系，获取所述右眼显示图像在所述屏幕上的第二投影区域；

获取所述第一投影区域以及所述第二投影区域的合成区域，并将所述合成区域作为所述虚拟内容在所述屏幕上的投影区域。

4.根据权利要求3所述的方法，其特征在于，所述根据所述左眼显示图像以及所述相对空间位置关系，获取所述左眼显示图像在所述终端设备的屏幕上的第一投影区域，包括：获取所述左眼显示图像中虚拟内容在虚拟空间的第一轮廓坐标集合；

根据所述相对空间位置关系获取所述屏幕在所述虚拟空间的屏幕坐标集合；

分别建立所述虚拟空间中的左虚拟摄像头与所述第一轮廓坐标集合中各个点的第一连线，并获取所述屏幕坐标集合中处于建立的各条第一连线上的点的坐标，得到第一坐标集合；

根据所述第一坐标集合，获取所述左眼显示图像在所述屏幕上的第一投影区域；

所述根据所述右眼显示图像以及所述相对空间位置关系，获取所述右眼显示图像在所述屏幕上的第二投影区域，包括：获取所述右眼显示图像中虚拟内容在虚拟空间的第二轮廓坐标集合；

根据所述相对空间位置关系获取所述屏幕在所述虚拟空间的屏幕坐标集合；

分别建立所述虚拟空间中的右虚拟摄像头与所述第二轮廓坐标集合中各个点的第二连线，并获取所述屏幕坐标集合中处于建立的各条第二连线上的点的坐标，得到第二坐标集合；

根据所述第二坐标集合，获取所述右眼显示图像在所述屏幕上的第二投影区域。

5.根据权利要求1所述的方法，其特征在于，所述终端设备上设有标记物，所述获取所述终端设备与所述头戴显示设备之间的相对空间位置关系，包括：接收所述头戴显示设备发送的包含所述标记物的标记物图像，所述标记物图像为所述头戴显示设备采集所述标记物时所得；

识别所述标记物图像中的标记物，并基于识别结果获取所述终端设备与所述头戴显示设备之间的相对空间位置关系。

6.根据权利要求1‑5任一项所述的方法，其特征在于，所述终端设备包括操控区域，所述操控区域包括按键、触控区以及压力区中的至少一个，在所述对所述图像内容进行指定处理，并显示包含指定处理后的图像内容的屏幕内容之后，所述方法还包括：当所述操控 区域检测到操控操作时，根据所述操控操作生成控制指令；

根据所述控制指令调整所述头戴显示设备中显示的虚拟内容，并将调整后的虚拟内容对应的显示数据发送给所述头戴显示设备；

基于调整后的虚拟内容重新获取投影区域，并对所述屏幕内容中与重新获取的投影区域对应的图像内容进行所述指定处理；

或

当所述操控区域检测到操控操作时，发送所述操控操作的操控参数至所述头戴显示设备，所述操控参数用于指示所述头戴显示设备调整显示的虚拟内容；

基于调整后的虚拟内容重新获取投影区域，并对所述屏幕内容中与重新获取的投影区域对应的图像内容进行所述指定处理。

7.一种图像处理方法，其特征在于，应用于头戴显示设备，所述头戴显示设备与终端设备通信连接，所述方法包括：

将虚拟内容进行显示；

获取所述终端设备与所述头戴显示设备之间的相对空间位置关系；

根据所述相对空间位置关系，获取所述虚拟内容在所述终端设备的屏幕上的投影区域，所述投影区域为人眼通过所述头戴显示设备观察到的所述虚拟内容在所述屏幕上的投射区域，所述投射区域为以观察所述虚拟内容的人眼为基准点，将所述虚拟内容的形状投射到所述屏幕所在的平面上去时，在所述平面上得到的投射区域与所述终端设备的屏幕区域之间的重合区域；

将所述投影区域的数据发送至所述终端设备，所述投影区域的数据用于指示所述终端设备对待显示的屏幕内容中，与所述投影区域对应的图像内容进行指定处理，并显示包含指定处理后的图像内容的屏幕内容，所述指定处理后的图像内容的第一色调与所述虚拟内容的第二色调之间的色调差值大于第一阈值。

8.一种图像处理装置，其特征在于，应用于终端设备，所述终端设备与头戴显示设备通信连接，所述装置包括：

位置获取模块，用于获取所述终端设备与所述头戴显示设备之间的相对空间位置关系；

区域获取模块，用于根据所述相对空间位置关系，获取所述头戴显示设备显示的虚拟内容在所述终端设备的屏幕上的投影区域，所述投影区域为人眼通过所述头戴显示设备观察到的所述虚拟内容在所述屏幕上的投射区域，所述投射区域为以观察所述虚拟内容的人眼为基准点，将所述虚拟内容的形状投射到所述屏幕所在的平面上去时，在所述平面上得到的投射区域与所述终端设备的屏幕区域之间的重合区域；

内容获取模块，用于根据所述屏幕待显示的屏幕内容，获取所述屏幕内容中与所述投影区域对应的图像内容；

图像处理模块，用于对所述图像内容进行指定处理，并显示包含指定处理后的图像内容的屏幕内容，所述指定处理后的图像内容的第一色调与所述虚拟内容的第二色调之间的色调差值大于第一阈值。

9.一种显示系统，其特征在于，所述显示系统包括终端设备以及头戴显示设备，所述终端设备与所述头戴显示设备通信连接，其中：所述头戴显示设备，用于将虚拟内容进行显示；

所述终端设备，用于获取所述终端设备与所述头戴显示设备之间的相对空间位置关系，根据所述相对空间位置关系，获取所述虚拟内容在所述终端设备的屏幕上的投影区域，所述投影区域为人眼通过所述头戴显示设备观察到的所述虚拟内容在所述屏幕上的投射区域，所述投射区域为以观察所述虚拟内容的人眼为基准点，将所述虚拟内容的形状投射到所述屏幕所在的平面上去时，在所述平面上得到的投射区域与所述终端设备的屏幕区域之间的重合区域，根据所述屏幕待显示的屏幕内容，获取所述屏幕内容中与所述投影区域对应的图像内容，对所述图像内容进行指定处理，并显示包含指定处理后的图像内容的屏幕内容，所述指定处理后的图像内容的第一色调与所述虚拟内容的第二色调之间的色调差值大于第一阈值。

10.一种终端设备，其特征在于，包括：一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1‑6任一项所述的方法。

11.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1‑6任一项所述的方法。

说明书

图像处理方法、装置、系统、终端设备及存储介质

技术领域

[0001] 本申请涉及显示技术领域，更具体地，涉及一种图像处理方法、装置、系统、终端设备及存储介质。

背景技术

[0002] 随着科技的发展，机器智能化及信息智能化日益普及，通过机器视觉或者虚拟视觉等图像采集装置来识别用户影像以实现人机交互的技术越来越重要。增强现实技术
(Augmented Reality，AR)借助计算机图形技术和可视化技术构建现实环境中不存在的虚
拟内容，并通过图像识别定位技术将虚拟内容准确地融合到真实环境中，借助显示设备将
虚拟内容与真实环境融为一体，并显示给使用者真实的感观体验。因此，如何提升虚拟内容
的显示效果是增强现实或混合现实的重要研究方向。

发明内容

[0003] 本申请实施例提出了一种图像处理方法、装置、系统、终端设备及存储介质，能够在头戴显示设备显示虚拟内容时，减少终端设备的屏幕上显示的内容对虚拟内容的干扰，
提高虚拟内容显示时的真实感及显示效果。

[0004] 第一方面，本申请实施例提供了一种图像处理方法，应用于终端设备，终端设备与头戴显示设备通信连接，方法包括：获取终端设备与头戴显示设备之间的相对空间位置关
系；根据相对空间位置关系，获取头戴显示设备显示的虚拟内容在终端设备的屏幕上的投
影区域，投影区域为人眼通过头戴显示设备观察到的虚拟内容在屏幕上的投射区域；根据
屏幕待显示的屏幕内容，获取屏幕内容中与投影区域对应的图像内容；对图像内容进行指
定处理，并显示包含指定处理后的图像内容的屏幕内容，指定处理后的图像内容的第一色
调与虚拟内容的第二色调之间的色调差值大于第一阈值。

[0005] 第二方面，本申请实施例提供了一种图像处理方法，应用于头戴显示设备，头戴显示设备与终端设备通信连接，方法包括：将虚拟内容进行显示；获取终端设备与头戴显示设
备之间的相对空间位置关系；根据相对空间位置关系，获取虚拟内容在终端设备的屏幕上
的投影区域，投影区域为人眼通过头戴显示设备观察到的虚拟内容在屏幕上的投射区域；
将投影区域的数据发送至终端设备，投影区域的数据用于指示终端设备对待显示的屏幕内
容中，与投影区域对应的图像内容进行指定处理，并显示包含指定处理后的图像内容的屏
幕内容，指定处理后的图像内容的第一色调与虚拟内容的第二色调之间的色调差值大于第
一阈值。

[0006] 第三方面，本申请实施例提供了一种图像处理装置，应用于终端设备，终端设备与头戴显示设备通信连接，装置包括：位置获取模块、区域获取模块、内容获取模块以及图像
处理模块，其中，位置获取模块用于获取终端设备与头戴显示设备之间的相对空间位置关
系；区域获取模块用于根据相对空间位置关系，获取头戴显示设备显示的虚拟内容在终端
设备的屏幕上的投影区域，投影区域为人眼通过头戴显示设备观察到的虚拟内容在屏幕上
的投射区域；内容获取模块用于根据屏幕待显示的屏幕内容，获取屏幕内容中与投影区域
对应的图像内容；图像处理模块用于对图像内容进行指定处理，并显示包含指定处理后的
图像内容的屏幕内容，指定处理后的图像内容的第一色调与虚拟内容的第二色调之间的色
调差值大于第一阈值。

[0007] 第四方面，本申请实施例提供了一种显示系统，显示系统包括终端设备以及头戴显示设备，终端设备与头戴显示设备通信连接，其中：头戴显示设备，用于将虚拟内容进行
显示；终端设备，用于获取终端设备与头戴显示设备之间的相对空间位置关系，根据相对空
间位置关系，获取虚拟内容在终端设备的屏幕上的投影区域，投影区域为人眼通过头戴显
示设备观察到的虚拟内容在屏幕上的投射区域，根据屏幕待显示的屏幕内容，获取屏幕内
容中与投影区域对应的图像内容，对图像内容进行指定处理，并显示包含指定处理后的图
像内容的屏幕内容，指定处理后的图像内容的第一色调与虚拟内容的第二色调之间的色调
差值大于第一阈值。

[0008] 第五方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多
个处理器执行，一个或多个程序配置用于执行上述第一方面提供的图像处理方法。

[0009] 第六方面，本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行上述第一方面提供的图像处理方
法。

[0010] 本申请实施例提供的方案，通过获取头戴显示设备显示的虚拟内容在终端设备的屏幕上的投影区域，以及根据屏幕待显示的屏幕内容，获取屏幕内容中与投影区域对应的
图像内容，然后对图像内容进行指定处理，并显示包含指定处理后的图像内容的屏幕内容，
从而在头戴显示设备显示虚拟内容时，减少终端设备显示的屏幕内容对虚拟内容的干扰，
提高增强现实中虚拟内容的真实感及显示效果。

附图说明

[0011] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于
本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附
图。

[0012] 图1示出了一种适用于本申请实施例的应用环境示意图。

[0013] 图2示出了一种适用于本申请实施例的另一种应用场景的示意图。

[0014] 图3示出了根据本申请一个实施例的图像处理方法流程图。

[0015] 图4示出了根据本申请实施例的一种投影区域示意图。

[0016] 图5示出了根据本申请实施例的一种显示效果示意图。

[0017] 图6示出了根据本申请另一个实施例的一种图像处理方法流程图。

[0018] 图7示出了根据本申请实施例的图像处理方法中步骤S210的流程图。

[0019] 图8示出了根据本申请实施例的图像处理方法中步骤S220的流程图。

[0020] 图9示出了根据本申请实施例的一种投影区域示意图。

[0021] 图10示出了根据本申请实施例的图像处理方法中步骤S222的流程图。

[0022] 图11示出了根据本申请实施例的图像处理方法中步骤S223的流程图。

[0023] 图12示出了根据本申请实施例的一种显示效果示意图。

[0024] 图13示出了根据本申请实施例的另一种图像处理方法流程图。

[0025] 图14示出了根据本申请又一个实施例的图像处理方法流程图。

[0026] 图15示出了根据本申请一个实施例的图像处理装置的框图。

[0027] 图16示出了根据本申请一个实施例的显示系统的框图。

[0028] 图17是本申请实施例的用于执行根据本申请实施例的图像处理方法的终端设备的框图。

[0029] 图18是本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。

具体实施方式

[0030] 为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

[0031] 头戴显示设备显示虚拟内容，可以实现增强现实的显示效果，将虚拟内容与现实世界叠加进行显示。在头戴显示设备显示虚拟内容时，可通过与头戴显示设备连接的移动
终端对虚拟内容进行控制。移动终端可包含有显示屏，显示屏上也可显示相应的屏幕内容。
例如，头戴显示设备显示的虚拟内容为动物时，移动终端的屏幕上可以显示草地。使移动终
端显示的屏幕内容与虚拟内容进行配合，提高虚拟内容的显示效果，让用户享受科幻式的
观感体验。

[0032] 发明人经过长期研究发现，在移动终端的显示屏及头戴显示设备同时显示内容时，由于头戴显示设备显示的虚拟内容通常是带有透明质感的内容，用户透过虚拟内容会
看到移动终端显示的屏幕内容，移动终端显示的屏幕内容可能会对头戴显示设备显示的虚
拟内容造成干扰，使得用户看到的虚拟内容的真实感不强。发明人提出了本申请实施例中
的图像处理方法、装置、系统、终端设备及存储介质，以提高增强现实中虚拟内容的真实感。

[0033] 下面对本申请实施例提供的图像处理方法的应用场景进行介绍。

[0034] 请参见图1，示出了本申请实施例提供的图像处理方法的应用场景的示意图，该应用场景包括显示系统10。该显示系统10包括：终端设备100以及与终端设备100连接的头戴
显示装置200。

[0035] 在本申请实施例中，终端设备100具备显示功能，可以被用户进行操控，可以是手机、智能手表、平板电脑、电子阅读器等能够运行应用程序的电子设备，终端设备也可以是
其他包含有显示屏的电子设备，例如桌面式显示装置等，在此不作限定。

[0036] 在本申请实施例中，头戴显示装置200可以为一体式头戴显示装置，也可以为外接式/接入式头戴显示装置，即头戴显示装置200可以仅包含用于显示的显示模组、通信模块
和摄像头等，依靠与头戴显示装置200连接的终端设备100的处理器、存储器等对显示的虚
拟内容进行控制。其中，显示模组可以包括显示屏(或投影装置)和显示镜片，以对虚拟内容
进行显示。

[0037] 其中，与终端设备100连接的头戴显示装置200，可以与终端设备100之间进行信息以及指令的交互。其中，交互的信息可包括头戴显示装置200显示的虚拟内容。终端设备100
与头戴显示装置200可以通过蓝牙、WiFi(Wireless‑Fidelity，无线保真)、ZigBee(紫峰技
术)等无线通信方式连接，也可通过USB(Universal Serial Bus，通用串行总线)接口进行
有线通信连接，例如，请参见图2，终端设备100为手机终端或平板电脑时，头戴显示装置200
通过USB接口与平板电脑与手机终端进行有线通信连接。当然，终端设备100与头戴显示装
置200的连接方式在本申请实施例中可以不作为限定。

[0038] 在一些实施例中，终端设备100上设置有标记物101。其中，该标记物101可以包括至少一个具有一个或者多个特征点的子标记物。在一些实施方式中，标记物101可以集成于
终端设备100中，也可以粘贴附着于终端设备100上，还可以是显示于终端设备100的显示屏
上。当标记物101处于头戴显示装置200的视野范围内时，头戴显示装置200可将上述处于视
野范围内的标记物101作为目标标记物，并采集包含该目标标记物的图像。在采集到包含该
目标标记物的图像时，可以识别采集到的目标标记物的图像，并基于识别结果获取到该目
标标记物与头戴显示装置200之间的相对位置、朝向等空间位置信息，从而得到终端设备
100与头戴显示装置200之间的相对空间位置信息。头戴显示装置200可基于终端设备100与
头戴显示装置200之间的相对空间位置信息显示相应的虚拟对象。头戴显示装置200可以实
时采集目标标记物的图像，从而实现对终端设备100的定位及跟踪。可以理解地，具体的标
记物101在本申请实施例中并不作为限定，仅需可以被头戴显示装置200采集追踪即可。

[0039] 在一些实施方式中，头戴显示装置200还可以追踪终端设备100的形状，确定终端设备100与头戴显示装置200之间的相对空间位置关系。

[0040] 在一些实施方式中，头戴显示装置200还可以根据设置在终端设备100上的光点，确定终端设备100与头戴显示装置200之间的相对空间位置关系。

[0041] 例如，请再次参阅图1，在一个实施例中，终端设备100与头戴显示装置200无线通信连接，头戴显示装置200扫描终端设备100上的标记物101并显示虚拟动物301，用户可以
通过佩戴的头戴显示装置200看到虚拟动物301叠加显示于现实空间的终端设备100上，终
端设备100的屏幕上可同时显示与虚拟对物301配合的草地图像，其中，虚拟动物301与平板
电脑端显示的草地图像对应，体现了虚拟内容的增强现实的显示效果，体现了终端设备100
显示的屏幕内容与虚拟内容之间的配合，提高了虚拟内容的显示效果。

[0042] 基于上述显示系统，本申请实施例提供了一种图像处理方法，应用于上述显示系统的终端设备以及头戴显示设备。下面对具体的图像处理方法进行介绍。

[0043] 请参阅图3，本申请实施例提供了一种图像处理方法，可应用于上述终端设备，终端设备与头戴显示设备通信连接，该头戴显示设备可以是上述头戴显示装置，该图像处理
方法可以包括：

[0044] 步骤S110：获取终端设备与头戴显示设备之间的相对空间位置关系。

[0045] 在本申请实施例中，终端设备在需要获取虚拟内容在终端设备的屏幕上的投影区域时，可以获取终端设备与头戴显示设备之间的相对空间位置关系，以得到终端设备的空
间位置信息。其中，该相对空间位置关系包括终端设备与头戴显示设备之间的相对位置信
息以及姿态信息等，姿态信息可以是终端设备相对头戴显示设备的朝向及旋转角度。

[0046] 在一些实施方式中，终端设备上可设置有光点，头戴显示设备通过图像采集装置采集终端设备上的光点图像，并将光点图像发送给终端设备，终端设备可对光点图像中的
光点进行识别，并根据该光点图像确定终端设备与头戴显示设备之间的相对空间位置关
系。其中，终端设备上设置的光点可以是可见光点，也可以是红外光点等，当光点为红外光
点时，头戴显示设备上可设置有红外摄像头，用于采集该红外光点的光点图像。终端设备上
设置的光点可以是一个，也可以是由多个光点组成的光点序列。

[0047] 在一个实施例中，光点可设置在终端设备的外壳上，例如可设置在终端设备的屏幕的周围。光点也可以设置在终端设备的保护套上，终端设备进行使用时，可套上包含光点
的保护套，从而可实现对终端设备的定位及追踪。光点的设置方式可以是多种的，在此并不
作限定。例如，为了可以实时获取终端设备的姿态信息，可以是终端设备的屏幕四周分别设
置不同的光点，比如可以在四周设置不同数量的光点，或是不同颜色的光点等，从而使得头
戴显示设备可以根据光点图像中各个光点的分布，确定与终端设备的相对空间位置。

[0048] 在一些实施例中，上述对光点图像的识别，可以是在头戴显示设备中进行处理的，头戴显示设备可根据光点图像的识别结果获取到上述相对空间位置关系，然后再将该相对
空间位置关系的数据传输至终端设备，以使终端设备可以获取到上述相对空间位置关系。

[0049] 在另一些实施方式中，终端设备包括惯性测量单元(Inertial measurement unit，IMU)，因此，获取终端设备与头戴显示设备之间的相对空间位置关系，也可以是先获
取终端设备的惯性测量单元的测量数据，然后根据该测量数据，来确定终端设备与头戴显
示设备之间的相对空间位置关系。

[0050] 当然，以上相对空间位置关系的获取方式仅为举例，具体的终端设备与头戴显示设备之间的相对空间位置关系的获取方式在本申请实施例中可以不作为限定。例如，也可
以是通过识别终端设备上的标记物来获取上述相对空间位置关系。

[0051] 步骤S120：根据相对空间位置关系，获取头戴显示设备显示的虚拟内容在终端设备的屏幕上的投影区域，投影区域为人眼通过头戴显示设备观察到的虚拟内容在屏幕上的
投射区域。

[0052] 在本申请实施例中，终端设备可以根据上述相对空间位置关系，获取头戴显示设备显示的虚拟内容在终端设备的屏幕上的投影区域，以根据该投影区域，对屏幕上的显示
内容进行处理。其中，虚拟内容在终端设备的屏幕上的投影区域可以理解为，以观察虚拟内
容的人眼为基准点，将虚拟内容的形状投射到终端设备的屏幕所在的平面上去时，在该平
面上得到的投射区域与终端设备的屏幕区域之间的重合区域。在一些实施方式中，投影区
域可以用终端设备的屏幕坐标系的坐标进行表示，该屏幕坐标系可以该屏幕的一个角(例
如左下角)为原点。

[0053] 在一些实施方式中，可以根据虚拟内容和终端设备在虚拟空间中的空间位置，获取虚拟内容在终端设备的屏幕上的投影区域。其中，虚拟空间中可包括虚拟摄像头，该虚拟
摄像头用于模拟用户的人眼，虚拟摄像头在虚拟空间中的位置可看作头戴显示设备在虚拟
空间中的位置。在一个实施例中，虚拟内容和终端设备在虚拟空间中的空间位置，可以是虚
拟内容和终端设备在虚拟空间的世界坐标系中的位置。因此，在虚拟空间的世界坐标系中，
可以根据虚拟摄像头、虚拟内容和终端设备在世界坐标系中的空间位置，获取虚拟摄像头
与虚拟内容中各个顶点的连线的延长线，并分别计算各条延长线与虚拟空间中终端设备的
屏幕的交点，得到虚拟内容的各个顶点在终端设备的屏幕上的投影点。由于该投影点的坐
标为投影点在虚拟空间的世界坐标系中的三维空间坐标，因此可根据虚拟空间的世界坐标
系与真实环境中终端设备的屏幕坐标系的转化参数，将虚拟内容在虚拟空间的屏幕上的投
影点的坐标转化为终端设备的屏幕坐标系的二维坐标，得到虚拟内容在终端设备的屏幕上
的投影区域。

[0054] 在另一个实施例中，虚拟内容和终端设备在虚拟空间中的空间位置，也可以是虚拟内容和终端设备在虚拟空间的第一空间坐标系中的位置，第一空间坐标系为虚拟空间中
以虚拟摄像头的原点的空间坐标系。因此，在虚拟空间的第一空间坐标系中，可以根据虚拟
内容和终端设备在第一空间坐标系中的空间位置，获取原点与虚拟内容中各个顶点的连线
的延长线，与终端设备的屏幕的交点，得到顶点在终端设备的屏幕上的投影点。由于该投影
点的坐标为投影点在第一空间坐标系中的三维空间坐标，因此可根据虚拟空间的第一空间
坐标系与终端设备的屏幕坐标系的转化参数，将虚拟内容在虚拟空间的屏幕上的投影点的
坐标转化为终端设备的屏幕坐标系的二维坐标，得到虚拟内容在终端设备的屏幕上的投影
区域。例如，请参见图4，终端设备100为平板电脑，以人眼400为原点(也可看作是以头戴显
示设备为原点)，人眼400与虚拟内容300的连线的延长线与平板电脑的屏幕的交点在屏幕
上形成的区域为投影区域102。

[0055] 当然，上述对投影区域的获取仅为举例，具体的投影区域的获取方式在本申请实施例中可以不作为限定。例如，也可以仅根据虚拟内容的轮廓顶点和终端设备在虚拟空间
中的空间位置，获取虚拟内容在终端设备的屏幕上的投影区域的轮廓，从而得到投影区域。

[0056] 在一些实施例中，终端设备可以从头戴显示设备处获取上述投影区域。具体地，头戴显示设备显示虚拟内容时，可以根据虚拟内容在虚拟空间中的空间位置以及终端设备与
头戴显示设备之间的相对空间位置信息，通过上述方式获取到上述投影区域。然后头戴显
示设备将该投影区域的数据传输至终端设备，从而终端设备可以获取到上述投影区域。

[0057] 在一些实施例中，终端设备可以是通过终端设备自身处理器求取上述投影区域。具体地，头戴显示设备显示虚拟内容时，头戴显示设备将该虚拟内容的显示数据传输至终
端设备，该显示数据可包括虚拟内容在虚拟空间中的空间位置坐标，终端设备根据虚拟内
容的显示数据以及终端设备与头戴显示设备之间的相对空间位置信息，通过上述方式获取
到投影区域。

[0058] 当然，上述获取投影区域的方式仅为举例，具体的投影区域的获取方式在本申请实施例中可以不作为限定。

[0059] 步骤S130：根据屏幕待显示的屏幕内容，获取屏幕内容中与投影区域对应的图像内容。

[0060] 在本申请实施例中，终端设备在得到虚拟内容在终端设备的屏幕上的投影区域时，终端设备需要根据屏幕待显示的屏幕内容，获取屏幕内容中与投影区域对应的图像内
容，以对该图像内容进行处理。例如，请参见图4，图像103为屏幕内容中与投影区域对应的
图像内容。

[0061] 在一些实施例中，终端设备获取到投影区域后，可以得到投影区域在终端设备屏幕上的位置信息，终端设备可根据屏幕待显示的屏幕内容以及该位置信息，获取待显示在
该投影区域内的图像内容。其中，待显示的屏幕内容可以存储于终端设备中，也可以从服务
器下载，还可以从其他终端设备中获取，如头戴显示设备，在此不作限定。

[0062] 在一些实施方式中，由于投影区域在终端设备屏幕上的位置信息，可以由投影区域在终端设备的屏幕坐标系中的坐标进行表示，该屏幕坐标系可以该屏幕的一个角(例如
左下角)为原点。因此，终端设备可根据屏幕坐标系与屏幕内容的图像坐标系的转换参数，
将投影区域在终端设备的屏幕坐标系中的坐标转换为屏幕内容的图像坐标系的坐标，得到
投影区域对应的图像区域，从而终端设备可以获取到屏幕内容中处于该图像区域的图像内
容。

[0063] 步骤S140：对图像内容进行指定处理，并显示包含指定处理后的图像内容的屏幕内容，指定处理后的图像内容的第一色调与虚拟内容的第二色调之间的色调差值大于第一
阈值。

[0064] 终端设备在得到与投影区域对应的图像内容后，可以对该图像内容进行指定处理，并将包含指定处理后的图像内容的屏幕内容进行显示，以使指定处理后的图像内容在
显示时，减少对虚拟内容的干扰。从而用户通过头戴显示设备的显示镜片，看到虚拟内容叠
加显示在真实世界中的终端设备上时，减少终端设备显示的屏幕内容对虚拟内容的干扰，
提高增强现实中虚拟内容的真实感及显示效果。

[0065] 在一些实施例中，上述指定处理是一种能够减少图像内容对虚拟内容的干扰的图像处理操作，使指定显示处理后的图像内容的第一色调与虚拟内容的第二色调之间的色调
差值大于第一阈值，从而使指定显示处理后的图像内容具有突出显示虚拟内容的效果。其
中，第一阈值为虚拟内容叠加显示于指定处理后的图像内容上并具有可读性和识别性时，
指定显示处理后的图像内容与虚拟内容之间需要满足的最小色调差值。该第一阈值可根据
用户的观察舒适度进行合理设定，在此不作限定。

[0066] 色调可指的是图像的明暗程度，在一些实施例中，色调可以包括颜色和透明度，因此上述指定处理可以是对图像内容的颜色的处理，也可以是对图像内容的透明度的处理。
例如，指定处理可以是调整图像的颜色为纯色(如黑色、灰色等)、调整图像的透明度为50％
透明、在图像上覆盖纯色图片等，使得头戴显示设备中的虚拟内容和终端设备上的图像内
容同时显示时，指定显示处理后的图像内容的第一色调与虚拟内容的第二色调之间具有反
差，从而指定显示处理后的图像内容能够突出显示虚拟内容，减少终端设备显示的图像内
容对虚拟内容的干扰。当前，上述指定处理的方式仅为举例，具体的指定处理的方式在本申
请实施例中可以不作为限定。

[0067] 可以理解的是，终端设备对上述与投影区域对应的图像内容进行指定处理后，在头戴显示设备显示虚拟内容时，终端设备可将包含指定处理后的图像内容的屏幕内容进行
显示。其中，当指定处理为覆盖或增加其他内容至图像内容上时，指定处理后的图像内容包
括原有的图像内容以及覆盖或增加的其他内容。从而实现用户通过头戴显示设备的显示镜
片，看到虚拟内容叠加显示在真实世界中的终端设备上时，减少终端设备显示的屏幕内容
对虚拟内容的干扰，增强了虚拟内容的视觉显著性，提高增强现实中虚拟内容的真实感。

[0068] 例如，请参见图5，并对比图1，终端设备100与头戴显示装置200无线通信连接，头戴显示装置200扫描终端设备100上的标记物101并显示虚拟动物301，用户可以通过佩戴的
头戴显示装置200看到虚拟动物301叠加显示于现实空间的终端设备100上，且终端设备100
显示的屏幕内容中与虚拟内容的投影区域对应的图像103(石头、草地等)的颜色被调整为
灰色，突出显示了虚拟动物，减少图像103对虚拟动物的干扰，体现了终端设备100显示的屏
幕内容与虚拟内容之间的配合，提高了虚拟内容的显示效果。

[0069] 本申请实施例提供的图像处理方法，通过获取头戴显示设备显示的虚拟内容在终端设备的屏幕上的投影区域，以及根据屏幕待显示的屏幕内容，获取屏幕内容中与投影区
域对应的图像内容，然后对图像内容进行指定处理，并显示包含指定处理后的图像内容的
屏幕内容，从而在头戴显示设备显示虚拟内容时，减少终端设备显示的屏幕内容对虚拟内
容的干扰，从而突出显示虚拟内容，提高增强现实中虚拟内容的真实感及显示效果。而且，
仅对虚拟内容在屏幕上的投影区域对应的屏幕内容进行处理，在突出显示虚拟内容的同
时，保证其他屏幕内容的正常显示，方便用户与移动终端进行交互。

[0070] 请参阅图6，本申请另一实施例提供了一种图像处理方法，可应用于终端设备，终端设备与头戴显示设备通信连接，该头戴显示设备可以是上述头戴显示装置，该图像处理
方法可以包括：

[0071] 步骤S210：获取终端设备与头戴显示设备之间的相对空间位置关系。

[0072] 在本申请实施例中，终端设备在需要获取虚拟内容在终端设备的屏幕上的投影区域时，可以获取终端设备与头戴显示设备之间的相对空间位置关系，以得到终端设备的空
间位置信息。

[0073] 在一些实施例中，终端设备上设有标记物，因此，可以通过头戴显示设备实时采集终端设备上的标记物图像，以根据标记物的图像变化来获取终端设备与头戴显示设备之间
的相对位置关系。其中，标记物可以设置在终端设备的外壳上，也可以采用图像的形式显示
在终端设备的屏幕上，标记物还可以是外接式标记物，在使用时可以通过USB或耳机孔等插
入终端设备，从而实现对终端设备的定位及追踪。当然，上述标记物的设置方式仅为举例，
在此并不作限定。

[0074] 具体地，请参见图7，上述获取终端设备与头戴显示设备之间的相对空间位置关系，可以包括：

[0075] 步骤S211：接收头戴显示设备发送的包含标记物的标记物图像，标记物图像为头戴显示设备采集标记物时所得。

[0076] 在一些实施例中，终端设备在需要获取终端设备与头戴显示设备之间的相对位置关系时，可以接收头戴显示设备发送的标记物图像，以通过识别该标记物图像，来得到终端
设备与头戴显示设备之间的相对位置关系。其中，在一些实施方式中，头戴显示设备可以通
过摄像头实时扫描终端设备，以采集到包含终端设备上的标记物的标记物图像，然后头戴
显示设备将该标记物图像传输至终端设备，以使终端设备接收到该标记物图像。

[0077] 其中，头戴显示设备采集包含终端设备上的标记物的标记物图像，可以是通过调整终端设备在现实空间中的空间位置，也可以通过头戴显示设备在现实空间中的空间位
置，以使该终端设备上的标记物处于头戴显示设备的图像采集装置的视野范围内，从而使
头戴显示设备可以对该标记物进行图像采集。其中，图像采集装置的视野范围可以由视场
角的大小决定。

[0078] 在一些实施方式中，上述终端设备上的标记物可以包括至少一个子标记物，子标记物可以是具有一定形状的图案。在一个实施例中，每个子标记物可具有一个或多个特征
点，其中，特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。另外，不
同标记物内的子标记物的分布规则不同，因此，每个标记物可具备不同的身份信息。终端设
备通过识别标记物中包含的子标记物，可以获取与标记物对应的身份信息，该身份信息可
以是编码等可用于唯一标识标记物的信息，但不限于此。

[0079] 作为一种实施方式，标记物的轮廓可以为矩形，当然，标记物的形状也可以是其他形状，在此不对标记物的形状及大小进行限定，矩形的区域以及该区域内的多个子标记物
构成一个标记物。当然，上述标记物也可以为由光点构成的自身可以发光的物体等，光点标
记物可以发射不同波段或不同颜色的光，终端设备通过识别光点标记物发出的光的波段或
颜色等信息获取与标记物对应的身份信息。当然，具体的标记物的形状、样式、尺寸、颜色、
特征点数量以及分布在本申请实施例中并不作为限定，标记物仅需要能被终端设备识别即
可。

[0080] 步骤S212：识别标记物图像中的标记物，并基于识别结果获取终端设备与头戴显示设备之间的相对空间位置关系。

[0081] 在一些实施例中，终端设备在得到上述标记物图像后，可以对该标记物图像中的标记物进行识别，以基于识别结果获取到终端设备与头戴显示设备之间的相对位置关系。

[0082] 可以理解的是，终端设备识别标记物图像中的标记物后，得到的识别结果包括标记物与头戴显示设备之间的空间位置信息，该空间位置信息可包括位置信息和姿态信息
等，该姿态信息可包括标记物相对头戴显示设备的旋转方向、旋转角度等。因此，可以根据
标记物在终端设备上的位置信息，即标记物与终端设备之间的位置信息，以头戴显示设备
作为参照，得到终端设备与头戴显示设备之间的相对位置关系。

[0083] 步骤S220：根据相对空间位置关系，获取头戴显示设备显示的虚拟内容在终端设备的屏幕上的投影区域，投影区域为人眼通过头戴显示设备观察到的虚拟内容在屏幕上的
投射区域。

[0084] 在本申请实施例中，上述头戴显示设备在使用时，可以通过光学元件将图像源显示的左眼图像投射进用户的左眼，并将图像源显示的右眼图像投射进用户的右眼，从而实
现立体显示。其中，该图像源可以是头戴显示装置的显示屏或投射装置等，可用于显示图
像。因此，当终端设备需要获取头戴显示设备显示的虚拟内容在终端设备的屏幕上的投影
区域时，可以获取左眼对应的投影区域以及右眼的投影区域。具体地，请参见图8，上述根据
相对空间位置关系，获取头戴显示设备显示的虚拟内容在终端设备的屏幕上的投影区域，
可以包括：

[0085] 步骤S221：获取头戴显示设备中用于显示虚拟内容的左眼显示图像以及右眼显示图像。

[0086] 在本申请实施例中，头戴显示设备显示的虚拟内容包括左眼显示图像以及右眼显示图像，以用于通过光学元件的反射在人眼形成三维的虚拟内容，因此，终端设备在需要获
取虚拟内容在终端设备的屏幕上的投影区域时，可以获取头戴显示设备中用于显示虚拟内
容的左眼显示图像以及右眼显示图像。其中，当虚拟内容为立体内容时，左眼显示图像与右
眼显示图像具有视差，左眼显示图像用于显示时经过光学镜片投射到用户的左眼，右眼显
示图像用于显示时经过光学镜片投射到用户的右眼，具有视差左眼显示图像以及右眼显示
图像经过用户大脑的融合后则可以形成立体图像，从而使用户看到立体图像的显示效果。

[0087] 在本申请实施例中，头戴显示设备在对虚拟内容进行显示时，需要根据虚拟内容的渲染坐标渲染虚拟内容。该虚拟内容的渲染坐标可以是虚拟内容的各个点在虚拟空间中
以虚拟摄像头为原点的空间坐标。其中，该虚拟摄像头为3D软件系统中用于模拟人眼视角
的摄像头，可根据虚拟摄像头运动(即头部运动)的变化，跟踪虚拟空间中虚拟内容的运动
变化，通过渲染后可以生成相应的左眼显示图像和右眼显示图像，投射到光学镜片上实现
立体显示。

[0088] 具体地，上述虚拟摄像头包括左虚拟摄像头以及右虚拟摄像头。其中，左虚拟摄像头以用于模拟人眼左眼，右虚拟摄像头用于模拟人眼右眼。因此，上述虚拟内容的渲染坐标
包括以左虚拟摄像头为原点的第二空间坐标系中的虚拟内容的左渲染坐标以及以右虚拟
摄像头为原点的第三空间坐标系中的虚拟内容的右渲染坐标。头戴显示设备根据左渲染坐
标渲染虚拟内容后，可得到虚拟内容的左眼显示图像。同理，头戴显示设备根据右渲染坐标
渲染虚拟内容后，可得到虚拟内容的右眼显示图像。

[0089] 因此，头戴显示设备在对虚拟内容进行显示时，可将用于显示虚拟内容的左眼显示图像以及右眼显示图像传输至终端设备，从而终端设备可以获取到虚拟内容的左眼显示
图像以及右眼显示图像。

[0090] 步骤S222：根据左眼显示图像以及相对空间位置关系，获取左眼显示图像在终端设备的屏幕上的第一投影区域。

[0091] 终端设备在获取到虚拟内容的左眼显示图像以及终端设备与头戴显示设备之间的相对空间位置关系时，可以根据该左眼显示图像以及该相对空间位置关系，获取左眼显
示图像在终端设备的屏幕上的第一投影区域，以对该第一投影区域对应的屏幕内容进行处
理。其中，第一投影区域可以理解为，将左眼显示图像中的虚拟内容的形状投射到终端设备
的屏幕所在的平面上去时，在该平面上得到的投射区域与终端设备的屏幕区域之间的重合
区域。也就是说，将左眼显示图像中的虚拟内容的形状投射到终端设备的屏幕所在的平面
上得到投射区域可以是存在部分投射区域与终端设备的屏幕区域重合，也可以是全部的投
射区域包含于屏幕区域中。例如，请参见图9，终端设备100为平板电脑，虚拟内容300的左眼
显示图像在经过头戴显示设备的光学镜片反射之后，可以入射至用户左眼401，左眼显示图
像在平板电脑的屏幕上对应的第一投影区域104。

[0092] 在一些实施方式中，由于终端设备得到的上述相对位置关系包括终端设备相对头戴显示设备的位置、朝向以及旋转角度等信息，因此可以获取到现实空间中的终端设备的
屏幕的空间位置坐标，然后可以将该空间位置坐标转换为虚拟空间中的空间坐标，该虚拟
空间中的空间坐标可以是虚拟空间的世界坐标系中的坐标，也可以是虚拟空间的第二空间
坐标系中的坐标。因此，终端设备需要获取左眼显示图像在终端设备的屏幕上的第一投影
区域时，可根据左虚拟摄像头、左眼显示图像以及终端设备在虚拟空间的同一个空间坐标
系(如世界坐标系)中的空间位置，获取左虚拟摄像头与左眼显示图像中虚拟内容的各个顶
点的连线的延长线与终端设备的屏幕的交点，该交点即为顶点在终端设备的屏幕上的投影
点，由于该投影点的坐标为投影点在该空间坐标系中的三维空间坐标，因此可根据虚拟空
间的该空间坐标系与终端设备的屏幕坐标系的转化参数，将左眼显示图像在虚拟空间的屏
幕上的投影点的坐标转化为终端设备的屏幕坐标系的二维坐标，从而可得到左眼显示图像
在终端设备的屏幕上的第一投影区域。

[0093] 进一步的，可以仅根据左眼显示图像中虚拟内容的轮廓区域在虚拟空间中的坐标，获取左眼显示图像在终端设备的屏幕上的第一投影区域，以简化计算步骤，优化终端设
备的处理过程。因此，在一些实施例中，请参见图10，上述根据左眼显示图像以及相对空间
位置关系，获取左眼显示图像在终端设备的屏幕上的第一投影区域，可以包括：

[0094] 步骤S2221：获取左眼显示图像中虚拟内容在虚拟空间的第一轮廓坐标集合。

[0095] 在一些实施例中，终端设备需要获取左眼显示图像在终端设备的屏幕上的第一投影区域时，可以根据上述左眼显示图像，获取左眼显示图像中虚拟内容在虚拟空间的第一
轮廓坐标集合，以根据第一轮廓坐标集合获取第一投影区域。其中，上述第一轮廓坐标集合
可以为左眼显示图像中虚拟内容的轮廓区域的各个顶点在世界坐标系中的坐标，也可以为
轮廓区域的各个顶点在第二空间坐标系中的坐标。

[0096] 由于终端设备得到的上述左眼显示图像可包括虚拟内容的轮廓区域在第二空间坐标系中的空间坐标，因此终端设备可以直接将其作为第一轮廓坐标集合，也可以根据第
二空间坐标系与世界坐标系的转换参数，得到左眼显示图像中虚拟内容的轮廓区域在世界
坐标系中的空间坐标，再将其作为第一轮廓坐标集合。

[0097] 步骤S2222：根据相对空间位置关系获取屏幕在虚拟空间的屏幕坐标集合。

[0098] 由于终端设备得到的上述相对位置关系包括终端设备相对头戴显示设备的位置、朝向以及旋转角度等信息，因此可以获取到现实空间中的终端设备的屏幕的空间位置坐
标，然后可以将该空间位置坐标转换为虚拟空间中的空间坐标，得到屏幕在虚拟空间的屏
幕坐标集合。该虚拟空间中的空间坐标可以是虚拟空间的世界坐标系中的坐标，也可以是
虚拟空间的第二空间坐标系中的坐标。

[0099] 步骤S2223：分别建立虚拟空间中的左虚拟摄像头与第一轮廓坐标集合中各个点的第一连线，并获取屏幕坐标集合中处于建立的各条第一连线上的点的坐标，得到第一坐
标集合。

[0100] 在一些实施例中，终端设备可分别建立虚拟空间中的左虚拟摄像头与第一轮廓坐标集合中各个点的第一连线，并获取屏幕坐标集合中处于建立的各条第一连线上的点的坐
标，得到第一坐标集合。其中，左虚拟摄像头的坐标、第一轮廓坐标集合以及屏幕坐标集合
为同一空间坐标系下的坐标，第一坐标集合为该空间坐标系下的三维坐标集合。

[0101] 由于上述虚拟空间中的左虚拟摄像头与第一轮廓坐标集合中各个点的第一连线中，可能存在与终端设备的屏幕不进行交叉的第一连线，因此，终端设备需要判断上述屏幕
坐标集合中是否存在处于建立的各条第一连线上的点的坐标。其中，如果存在处于第一连
线上的点，则可认为该第一连线与屏幕交叉，反之，则该第一连线不与屏幕交叉。从而终端
设备根据存在处于各条第一连线上的点的坐标，得到第一坐标集合，即得到左眼显示图像
中虚拟内容的轮廓区域中各个顶点在终端设备的屏幕上的投影点的坐标集合。

[0102] 步骤S2224：根据第一坐标集合，获取左眼显示图像在屏幕上的第一投影区域。

[0103] 终端设备在得到上述第一坐标集合后，可以根据虚拟空间中的空间坐标系与终端设备的屏幕坐标系的转化参数，将第一坐标集合转化为终端设备的屏幕坐标系的二维坐
标，得到左眼显示图像中虚拟内容的轮廓区域中各个顶点在终端设备的屏幕上的投影点在
屏幕上的位置信息，从而终端设备可获取到左眼显示图像在屏幕上的第一投影区域。从而
实现仅根据左眼显示图像中虚拟内容的轮廓区域在虚拟空间中的坐标，获取左眼显示图像
在终端设备的屏幕上的第一投影区域，简化了计算步骤，优化了终端设备的处理过程。

[0104] 同理，终端设备可参照上述根据左眼显示图像以及相对空间位置关系，获取左眼显示图像在终端设备的屏幕上的第一投影区域的对应步骤，获取右眼显示图像在屏幕上的
第二投影区域。具体地，请继续参见图8，上述获取头戴显示设备显示的虚拟内容在终端设
备的屏幕上的投影区域，可以包括：

[0105] 步骤S223：根据右眼显示图像以及相对空间位置关系，获取右眼显示图像在屏幕上的第二投影区域。

[0106] 终端设备在获取到虚拟内容的右眼显示图像以及终端设备与头戴显示设备之间的相对空间位置关系时，可以根据该右眼显示图像以及该相对空间位置关系，获取右眼显
示图像在终端设备的屏幕上的第二投影区域，以对该第二投影区域对应的屏幕内容进行处
理。其中，第二投影区域可以理解为，将右眼显示图像中虚拟内容的形状投射到终端设备的
屏幕所在的平面上去时，在该平面上得到的投射区域与终端设备的屏幕区域之间的重合区
域。也就是说，将右眼显示图像中虚拟内容的形状投射到终端设备的屏幕所在的平面上得
到图像区域可以是存在部分投射区域与终端设备的屏幕区域重合，也可以是全部的投射区
域包含于屏幕区域中。例如，请参见图9，终端设备100为平板电脑，虚拟内容300的右眼显示
图像在经过头戴显示设备的光学镜片反射之后，可以入射至用户右眼402，右眼显示图像在
平板电脑的屏幕上对应的第二投影区域105。

[0107] 终端设备需要获取右眼显示图像在终端设备的屏幕上的第二投影区域时，可根据右虚拟摄像头、右眼显示图像以及终端设备在虚拟空间的同一个空间坐标系(如第三空间
坐标系)中的空间位置，获取右虚拟摄像头与右眼显示图像中虚拟内容的各个顶点的连线
的延长线与终端设备的屏幕的交点，该交点即为顶点在终端设备的屏幕上的投影点，由于
该投影点的坐标为投影点在该空间坐标系中的三维空间坐标，因此可根据虚拟空间的该空
间坐标系与终端设备的屏幕坐标系的转化参数，将右眼显示图像在虚拟空间的屏幕上的投
影点的坐标转化为终端设备的屏幕坐标系的二维坐标，从而可得到右眼显示图像在终端设
备的屏幕上的第二投影区域。

[0108] 进一步的，终端设备也可以仅根据右眼显示图像中虚拟内容的轮廓区域在虚拟空间中的坐标，获取右眼显示图像在终端设备的屏幕上的第二投影区域，以简化计算步骤，优
化终端设备的处理过程。因此，在一些实施例中，请参见图11，上述根据右眼显示图像以及
相对空间位置关系，获取右眼显示图像在屏幕上的第二投影区域，可以包括：

[0109] 步骤S2231：获取右眼显示图像中虚拟内容在虚拟空间的第二轮廓坐标集合。

[0110] 在一些实施例中，终端设备需要获取右眼显示图像在终端设备的屏幕上的第二投影区域时，可以根据上述右眼显示图像，获取右眼显示图像中虚拟内容的第二轮廓坐标集
合，以根据第二轮廓坐标集合获取第二投影区域。其中，上述第二轮廓坐标集合可以为右眼
显示图像中虚拟内容的轮廓区域的各个顶点在世界坐标系中的坐标，也可以为轮廓区域的
各个顶点在第三空间坐标系中的坐标。

[0111] 由于终端设备得到的上述右眼显示图像可包括虚拟内容的的轮廓区域在第三空间坐标系中的空间坐标，因此终端设备可直接将其作为第二轮廓坐标集合，也可以根据第
三空间坐标系与世界坐标系的转换参数，得到右眼显示图像中虚拟内容在世界坐标系中的
空间坐标，再将其作为第二轮廓坐标集合。

[0112] 步骤S2232：根据相对空间位置关系获取屏幕在虚拟空间的屏幕坐标集合。

[0113] 终端设备根据相对位置关系，可以获取到现实空间中的终端设备的屏幕的空间位置坐标，然后可以将该空间位置坐标转换为虚拟空间中的空间坐标，得到屏幕在虚拟空间
的屏幕坐标集合。该虚拟空间中的空间坐标可以是虚拟空间的世界坐标系中的坐标，也可
以是虚拟空间的第三空间坐标系中的坐标。

[0114] 步骤S2233：分别建立虚拟空间中的右虚拟摄像头与第二轮廓坐标集合中各个点的第二连线，并获取屏幕坐标集合中处于建立的各条第二连线上的点的坐标，得到第二坐
标集合。

[0115] 在一些实施例中，终端设备可分别建立虚拟空间中的右虚拟摄像头与第二轮廓坐标集合中各个点的第二连线，并获取屏幕坐标集合中处于建立的各条第二连线上的点的坐
标，得到第二坐标集合。其中，右虚拟摄像头的坐标、第二轮廓坐标集合以及屏幕坐标集合
为同一空间坐标系下的坐标，第二坐标集合为该空间坐标系下的三维坐标集合。

[0116] 由于上述虚拟空间中的右虚拟摄像头与第二轮廓坐标集合中各个点的第二连线中，可能存在与终端设备的屏幕不进行交叉的第二连线，因此，终端设备需要判断上述屏幕
坐标集合中是否存在处于建立的各条第二连线上的点的坐标。其中，如果存在处于第二连
线上的点，则可认为该第二连线与屏幕交叉，反之，则该第二连线不与屏幕交叉。从而终端
设备根据存在处于各条第二连线上的点的坐标，得到第二坐标集合，即得到右眼显示图像
中虚拟内容的轮廓区域中各个顶点在终端设备的屏幕上的投影点的坐标集合。

[0117] 步骤S2234：根据第二坐标集合，获取右眼显示图像在屏幕上的第二投影区域。

[0118] 终端设备在得到上述第二坐标集合后，可以根据虚拟空间中的空间坐标系与终端设备的屏幕坐标系的转化参数，将第二坐标集合转化为终端设备的屏幕坐标系的二维坐
标，得到右眼显示图像中虚拟内容的轮廓区域中各个顶点在终端设备的屏幕上的投影点在
屏幕上的位置信息，从而终端设备可获取到右眼显示图像在屏幕上的第二投影区域。从而
实现仅根据右眼显示图像中虚拟内容的轮廓区域在虚拟空间中的坐标，获取右眼显示图像
在终端设备的屏幕上的第二投影区域，简化了计算步骤，优化了终端设备的处理过程。

[0119] 步骤S224：获取第一投影区域以及第二投影区域的合成区域，并将合成区域作为虚拟内容在屏幕上的投影区域。

[0120] 终端设备在获取到上述左眼显示图像在屏幕上的第一投影区域以及上述右眼显示图像在屏幕上的第二投影区域后，可以获取该第一投影区域以及该第二投影区域的合成
区域，并将合成区域作为虚拟内容在屏幕上的投影区域，从而终端设备可以确定出屏幕中
被显示的虚拟内容遮挡的区域。

[0121] 其中，上述第一投影区域以及第二投影区域的合成区域指的是将第一投影区域中所有的第一坐标集合与第二投影区域中所有第二坐标集合合并在一起得到的总的坐标集
合所形成的区域，即第一投影区域以及第二投影区域的并集区域。

[0122] 另外，在一些实施例中，上述获取虚拟内容在屏幕上的投影区域的处理过程也可以是在头戴显示设备中进行的，即头戴显示设备通过上述方式获取到虚拟内容在屏幕上的
投影区域后，可以将该投影区域的数据传输至终端设备，从而终端设备可以获取到虚拟内
容在屏幕上的投影区域，减少终端设备的计算量，优化终端设备的处理过程。

[0123] 步骤S230：根据屏幕待显示的屏幕内容，获取屏幕内容中与投影区域对应的图像内容。

[0124] 步骤S240：对图像内容进行指定处理，并显示包含指定处理后的图像内容的屏幕内容，指定处理后的图像内容的第一色调与虚拟内容的第二色调之间的色调差值大于第一
阈值。

[0125] 在一些实施例中，步骤S220以及步骤S230的内容可以参阅上述实施例的内容，在此不再赘述。

[0126] 在一些实施例中，上述对图像内容进行指定处理，包括以下任意一种：将指定颜色的覆盖内容覆盖于图像内容上；将图像内容的颜色调整为指定颜色；将图像内容的透明度
值调整为指定透明度值；其中，指定颜色与虚拟内容的颜色之间的色差大于第二阈值，指定
透明度值与虚拟内容的透明度值之间的差值大于第三阈值。

[0127] 其中，上述指定颜色可以是一种不混有其他色调的色彩或色相的单一颜色(即纯色)，如黑色、灰色等。在本申请实施例中，该指定颜色与虚拟内容的颜色之间的色差大于第
二阈值，第二阈值为用户通过头戴显示装置看到虚拟内容叠加显示于指定颜色的图像内容
上，图像内容能够突出显示虚拟内容时，指定颜色与虚拟内容的颜色之间需要满足的最小
色差。该第二阈值可根据用户的观察舒适度进行合理设定，在此不作限定。例如，当虚拟内
容的颜色为蓝色时，指定颜色可以为灰色，从而用户通过头戴显示装置观察叠加显示于图
像内容上的虚拟内容时，减少图像内容的干扰，增强了虚拟内容的视觉显著性。

[0128] 上述指定透明度值是一种减弱图像内容的显示效果的透明度值，透明度值越小，透明程度越高。如指定透明度值可以设定为5，即50％透明，也可以设定为0，即100％透明。
在一些实施例中，该指定透明度值与虚拟内容的透明度值之间的差值大于第三阈值，第三
阈值为用户通过头戴显示装置看到虚拟内容叠加显示于指定透明度的图像内容上，图像内
容能够突出显示虚拟内容时，指定透明度值与虚拟内容的透明度值之间的差值需要满足的
最小值。该第三阈值可根据用户的观察舒适度进行合理设定，在此不作限定。例如，第三阈
值设定为5，当虚拟内容的透明度值为10，即0％透明时，指定透明度值可以为1，即90％透
明，从而用户通过头戴显示装置观察叠加显示于图像内容上的虚拟内容时，减少图像内容
的干扰，增强了虚拟内容的视觉显著性。

[0129] 作为一种实施方式，终端设备也可以直接设定图像内容的透明度值小于预设阈值，以减弱图像内容的显示效果。其中，预设阈值可以为1或2，在此不作限定。

[0130] 在一些实施方式中，上述对图像内容进行指定处理，可以是将图像内容的颜色调整为上述指定颜色，例如设定为黑色或者灰色，也可以是将图像内容的透明度值调整为指
定透明度值，例如设定为0或5，使得头戴显示设备中的虚拟内容和终端设备上的图像内容
同时显示时，指定处理后的图像内容能够突出显示虚拟内容，减少终端设备显示的图像内
容对虚拟内容的干扰。

[0131] 在另一些实施方式中，上述对图像内容进行指定处理，还可以是将上述指定颜色的覆盖内容覆盖于图像内容上，其中，覆盖内容可以是上述指定颜色的图片，也可以是新建
的上述指定颜色的图层，在此不作限定，仅需将图像内容进行覆盖，且呈现颜色为上述指定
颜色即可。

[0132] 通过上述方式，对图像内容进行处理后，终端设备可以将包含指定处理后的图像内容的屏幕内容进行显示。从而用户通过头戴显示装置看到虚拟内容叠加显示于现实空间
中的终端设备的屏幕上时，屏幕上的图像内容具有突出显示虚拟内容的视觉效果，增强了
虚拟内容的真实感及显示效果。

[0133] 当然，以上对图像内容的处理方式仅为举例，在本申请实施例中并不作限定，仅需处理后的图像内容能够减少对虚拟内容的干扰。

[0134] 进一步的，在一些实施例中，当虚拟内容发生改变时，终端设备可以根据改变后的虚拟内容进行投影区域的更新。作为一种实施方式，当头戴显示设备仅包含用于显示的显
示模组、通信模块和摄像头时，对显示的虚拟内容的控制可以是依靠终端设备的处理器、存
储器等进行。具体地，请继续参见图6，在上述对图像内容进行指定处理，并显示包含指定处
理后的图像内容的屏幕内容之后，该图像处理方法还可以包括：

[0135] 步骤S250：当操作区域检测到操控操作时，根据操控操作生成控制指令。

[0136] 在一些实施例中，终端设备包括操控区域，头戴显示设备显示的虚拟内容的改变可以通过终端设备的操控区域进行操控。其中，操控区域包括按键、触控区以及压力区中的
至少一个。具体地，当操作区域检测到操控操作时，根据操控操作生成控制指令，控制指令
用于控制头戴显示设备显示的虚拟内容呈现设定的显示效果。

[0137] 在一些实施方式中，上述操控操作可以包括但不限于作用于终端设备的操控区域的单指滑动、点击、按压、多指配合滑动等，上述控制指令可以包括但不限于移动指令、放大
指令、缩小指令、旋转指令、选取指令、内容切换指令等，以实现控制虚拟内容的移动、缩放、
旋转、选中、内容切换的显示效果。当然，以上控制指令仅为举例，并不代表对本申请实施例
中的控制指令的限定。

[0138] 在一些实施例中，上述操控操作与上述控制指令具有对应关系，即终端设备的操控区域检测到操控操作时，可根据该操控操作以及该对应关系，生成与该操控操作对应的
控制指令。其中，该对应关系可以预先存储在终端设备中，可以根据用户具体使用情况进行
合理设定。也就是说，当检测到用户在终端设备的操控区域执行的操控操作处于上述任意
一种情况下时，都可以生成对应的控制指令，以控制头戴显示设备显示的虚拟内容呈现设
定的显示效果。

[0139] 步骤S260：根据控制指令调整头戴显示设备中显示的虚拟内容，并将调整后的虚拟内容对应的显示数据发送给头戴显示设备。

[0140] 在一些实施例中，由于头戴显示设备仅包含用于显示的显示模组、通信模块和摄像头等，需要依靠终端设备的处理器、存储器等对显示的虚拟内容进行控制。因此，终端设
备可根据控制指令调整所头戴显示设备中显示的虚拟内容，并将调整后的虚拟内容对应的
显示数据发送给头戴显示设备，以使头戴显示设备根据该显示数据显示出调整后的虚拟内
容。

[0141] 例如，控制指令为移动指令时，终端设备可以调整虚拟内容的显示位置的坐标数据，将该坐标数据更新为设定的坐标数据，从而得到调整后的虚拟内容对应的显示数据，然
后终端设备可将该显示数据发送给头戴显示设备，头戴显示设备可根据该显示数据实现将
显示的虚拟内容移动至设定位置。

[0142] 步骤S270：基于调整后的虚拟内容重新获取投影区域，并对屏幕内容中与重新获取的投影区域对应的图像内容进行指定处理。

[0143] 由于虚拟内容发生改变后，虚拟内容在终端设备的屏幕上的投影区域也会发生改变，其中，该虚拟内容的变化可以位置上的变化，也可以是内容上的变化。因此，终端设备可
以基于上述调整后的虚拟内容，通过上述投影区域的获取方式，重新获取投影区域，并对终
端设备的屏幕内容中与重新获取的投影区域对应的图像内容进行指定处理。从而，终端设
备可以根据虚拟内容的变化，实时对投影区域进行更新，以及实时对屏幕内容中与投影区
域对应的图像内容进行指定处理，使用户通过佩戴的头戴显示装置，观看叠加显示于终端
设备的屏幕上的虚拟内容时，屏幕上的图像内容能够突出显示虚拟内容，提高虚拟内容的
真实感及显示效果。

[0144] 例如，请参见图5和图12，用户通过佩戴的头戴显示装置，观看叠加显示于终端设备的屏幕上的虚拟动物301时，向右移动虚拟动物301时，屏幕内容中与虚拟动物301的投影
区域对应的图像103(石头、草地等)的颜色实时被调整为灰色，突出显示了虚拟动物，使用
户一直能够清楚地观察到虚拟动物301，减少了屏幕上的图像103对虚拟动物301的干扰。

[0145] 作为另一种实施方式，当头戴显示设备包含有处理器和存储器时，对显示的虚拟内容的控制可以由头戴显示设备进行。具体地，请参见图13，在上述对图像内容进行指定处
理，并显示包含指定处理后的图像内容的屏幕内容之后，该图像处理方法还可以包括：

[0146] 步骤S280：当操控区域检测到操控操作时，发送操控操作的操控参数至头戴显示设备，操控参数用于指示头戴显示设备调整显示的虚拟内容。

[0147] 在一些实施例中，当终端设备的操控区域检测到操控操作时，可以发送操控操作的操控参数至头戴显示设备，以使终端设备可根据该操控参数控制虚拟内容呈现设定的显
示效果。其中，操控参数用于指示头戴显示设备调整显示的虚拟内容。

[0148] 在一些实施方式中，上述操控参数可以包括但不限于调整虚拟内容的移动参数、放大参数、缩小参数、旋转参数、切换参数等，以实现控制虚拟内容的移动、缩放、旋转、内容
切换的显示效果。

[0149] 在一些实施例中，上述操控操作与上述操控参数具有对应关系，即终端设备的操控区域检测到操控操作时，可根据该操控操作以及该对应关系，生成与该操控操作对应的
操控参数，并将该操控参数发送至头戴显示设备，以使头戴显示设备可根据该操控参数调
整显示的虚拟内容的显示数据，并重新生成虚拟内容，实现虚拟内容的设定的显示效果。其
中，该对应关系可以预先存储在终端设备中，可以根据用户具体使用情况进行合理设定。也
就是说，当检测到用户在终端设备的操控区域执行的操控操作处于上述任意一种情况下
时，都可以生成操控参数，从而头戴显示设备可根据该操控参数调整显示的虚拟内容。

[0150] 步骤S290：基于调整后的虚拟内容重新获取投影区域，并对屏幕内容中与重新获取的投影区域对应的图像内容进行指定处理。

[0151] 同理，终端设备可以基于上述调整后的虚拟内容，通过上述投影区域的获取方式，重新获取投影区域，并对终端设备的屏幕内容中与重新获取的投影区域对应的图像内容进
行指定处理，提高虚拟内容的真实感。

[0152] 本申请实施例提供的图像处理方法，通过获取虚拟内容的左眼显示图像以及右眼显示图像在终端设备的屏幕上的投影区域，并根据屏幕待显示的屏幕内容，获取屏幕内容
中与投影区域对应的图像内容，然后对图像内容进行指定处理，并显示包含指定处理后的
图像内容的屏幕内容，从而在头戴显示设备显示虚拟内容时，减少终端设备显示的屏幕内
容对虚拟内容的干扰，从而突出显示虚拟内容，提高增强现实中虚拟内容的真实感及显示
效果。而且，仅对虚拟内容在屏幕上的投影区域对应的屏幕内容进行处理，在突出显示虚拟
内容的同时，保证其他屏幕内容的正常显示，方便用户与移动终端进行交互。

[0153] 请参阅图14，本申请实施例提供了一种图像处理方法，应用于头戴显示设备，头戴显示设备与终端设备通信连接，该图像处理方法可以包括：

[0154] 步骤S310：将虚拟内容进行显示。

[0155] 在本申请实施例中，头戴显示设备对虚拟内容进行显示，可以是先获取到终端设备与头戴显示设备之间的相对位置关系，然后根据该相对位置关系，对虚拟内容进行显示。
其中，该相对位置关系可以包括终端设备与头戴显示设备之间的相对位置信息以及姿态信
息等，姿态信息可以是终端设备相对头戴显示设备的朝向及旋转角度。

[0156] 在一些实施例中，终端设备上可设置有标记物，头戴显示设备可以通过识别终端设备上的标记物，来得到终端设备与头戴显示设备之间的相对位置关系。作为一种实施方
式，头戴显示设备可以通过摄像头实时扫描终端设备，以采集到终端设备上的标记物，从而
得到上述标记物图像，头戴显示设备可对标记物图像中标记物进行识别，从而获取到终端
设备与头戴显示设备之间的相对位置关系。

[0157] 头戴显示设备可以根据虚拟内容的数据和上述相对位置关系，生成虚拟内容。其中，头戴显示设备根据虚拟内容的数据和上述相对位置关系，生成虚拟内容，可以是根据上
述虚拟内容的数据构建出虚拟内容，根据终端设备与头戴显示设备之间的相对位置关系，
获取到虚拟内容的渲染位置，从而根据该渲染位置渲染出虚拟内容。其中，渲染虚拟内容可
以得到虚拟内容中各个像素点的RGB值及对应的像素点坐标等。

[0158] 在一些实施例中，头戴显示设备生成虚拟内容后，可以对虚拟内容进行显示。具体地，头戴显示设备构建并渲染出虚拟内容后，可以获取渲染后的虚拟内容的显示数据，该显
示数据可以包括显示画面中各个像素点的RGB值及对应的像素点坐标等，头戴显示设备可
根据该显示数据生成显示画面，并将显示画面通过显示屏或投射模组投射到显示镜片上，
从而显示出虚拟内容。用户通过头戴显示装置的显示镜片，可以看到虚拟内容叠加显示在
真实世界中的终端设备的屏幕上，实现增强现实的效果。

[0159] 步骤S320：获取终端设备与头戴显示设备之间的相对空间位置关系。

[0160] 在本申请实施例中，头戴显示设备需要获取虚拟内容在终端设备的屏幕上的投影区域时，可以先获取终端设备与头戴显示设备之间的相对空间位置关系，以得到终端设备
的空间位置信息。其中，该相对空间位置关系可以是上述头戴显示设备对虚拟内容进行显
示时，需要获取的相对位置关系。

[0161] 步骤S330：根据相对空间位置关系，获取虚拟内容在终端设备的屏幕上的投影区域，投影区域为人眼通过头戴显示设备观察到的虚拟内容在屏幕上的投射区域。

[0162] 头戴显示设备可以根据上述相对空间位置关系，获取显示的虚拟内容在终端设备的屏幕上的投影区域，以确定终端设备的屏幕中被虚拟内容遮挡的区域。其中，获取虚拟内
容在终端设备的屏幕上的投影区域的具体步骤可以参照上述实施例中终端设备获取投影
区域的步骤，在此不再赘述。

[0163] 步骤S340：将投影区域的数据发送至终端设备，投影区域的数据用于指示终端设备对待显示的屏幕内容中，与投影区域对应的图像内容进行指定处理，并显示包含指定处
理后的图像内容的屏幕内容，指定处理后的图像内容的第一色调与虚拟内容的第二色调之
间的色调差值大于第一阈值。

[0164] 在本申请实施例中，头戴显示设备获取到虚拟内容在终端设备的屏幕上的投影区域时，可以将该投影区域的数据发送至终端设备，投影区域的数据用于指示终端设备对待
显示的屏幕内容中，与投影区域对应的图像内容进行指定处理，使得指定处理后的图像内
容在显示时，减少对虚拟内容的干扰。从而，用户通过佩戴的头戴显示装置，观看叠加显示
于终端设备的屏幕上的虚拟内容时，指定处理后的图像内容能够突出显示虚拟内容，减少
终端设备显示的图像内容对虚拟内容的干扰，提高了虚拟内容的真实感。

[0165] 本申请实施例提供的图像处理方法，应用于头戴显示设备，通过将虚拟内容进行显示，并获取终端设备与头戴显示设备之间的相对空间位置关系，以根据相对空间位置关
系获取该虚拟内容在终端设备的屏幕上的投影区域，然后将投影区域的数据发送至终端设
备，该投影区域的数据用于指示终端设备对待显示的屏幕内容中，与投影区域对应的图像
内容进行指定处理，从而在头戴显示设备显示虚拟内容时，减少终端设备显示的屏幕内容
对虚拟内容的干扰，从而突出显示虚拟内容，提高增强现实中虚拟内容的真实感及显示效
果。而且，仅对虚拟内容在屏幕上的投影区域对应的屏幕内容进行处理，在突出显示虚拟内
容的同时，保证其他屏幕内容的正常显示，方便用户与移动终端进行交互。

[0166] 请参阅图15，其示出了本申请实施例提供的一种图像处理装置500的结构框图，应用于终端设备，该装置可以包括：位置获取模块510、区域获取模块520、内容获取模块530以
及图像处理模块540。其中，位置获取模块510用于获取终端设备与头戴显示设备之间的相
对空间位置关系；区域获取模块520用于根据相对空间位置关系，获取头戴显示设备显示的
虚拟内容在终端设备的屏幕上的投影区域，投影区域为人眼通过头戴显示设备观察到的虚
拟内容在屏幕上的投射区域；内容获取模块530用于根据屏幕待显示的屏幕内容，获取屏幕
内容中与投影区域对应的图像内容；图像处理模块540用于对图像内容进行指定处理，并显
示包含指定处理后的图像内容的屏幕内容，指定处理后的图像内容的第一色调与虚拟内容
的第二色调之间的色调差值大于第一阈值。

[0167] 在一些实施例中，图像处理模块540可以具体用于：将指定颜色的覆盖内容覆盖于图像内容上；将图像内容的颜色调整为指定颜色；将图像内容的透明度值调整为指定透明
度值；指定颜色与虚拟内容的颜色之间的色差大于第二阈值，指定透明度值与虚拟内容的
透明度值之间的差值大于第三阈值。

[0168] 在一些实施例中，区域获取模块520可以包括：图像获取单元第一投影获取单元、第二投影获取单元以及合成区域获取单元。其中，图像获取单元用于获取头戴显示设备中
用于显示虚拟内容的左眼显示图像以及右眼显示图像；第一投影获取单元用于根据左眼显
示图像以及相对空间位置关系，获取左眼显示图像在终端设备的屏幕上的第一投影区域；
第二投影获取单元用于根据右眼显示图像以及相对空间位置关系，获取右眼显示图像在屏
幕上的第二投影区域；合成区域获取单元用于获取第一投影区域以及第二投影区域的合成
区域，并将合成区域作为虚拟内容在屏幕上的投影区域。

[0169] 在一些实施例中，上述第一投影获取单元可以具体用于：获取左眼显示图像中虚拟内容在虚拟空间的第一轮廓坐标集合；根据相对空间位置关系获取屏幕在虚拟空间的屏
幕坐标集合；分别建立虚拟空间中的左虚拟摄像头与第一轮廓坐标集合中各个点的第一连
线，并获取屏幕坐标集合中处于建立的各条第一连线上的点的坐标，得到第一坐标集合；根
据第一坐标集合，获取左眼显示图像在屏幕上的第一投影区域。上述第二投影获取单元可
以具体用于：获取右眼显示图像中虚拟内容在虚拟空间的第二轮廓坐标集合；根据相对空
间位置关系获取屏幕在虚拟空间的屏幕坐标集合；分别建立虚拟空间中的右虚拟摄像头与
第二轮廓坐标集合中各个点的第二连线，并获取屏幕坐标集合中处于建立的各条第二连线
上的点的坐标，得到第二坐标集合；根据第二坐标集合，获取右眼显示图像在屏幕上的第二
投影区域。

[0170] 在一些实施例中，上述位置获取单元可以具体用于：接收头戴显示设备发送的包含标记物的标记物图像，标记物图像为头戴显示设备采集标记物时所得；识别标记物图像
中的标记物，并基于识别结果获取终端设备与头戴显示设备之间的相对空间位置关系。

[0171] 在一些实施例中，终端设备包括操控区域，操控区域包括按键、触控区以及压力区中的至少一个，该图像处理装置500还可以包括：区域更新模块。其中，区域更新模块用于当
操作区域检测到操控操作时，根据操控操作生成控制指令；根据控制指令调整头戴显示设
备中显示的虚拟内容，并将调整后的虚拟内容对应的显示数据发送给头戴显示设备；基于
调整后的虚拟内容重新获取投影区域，并对屏幕内容中与重新获取的投影区域对应的图像
内容进行指定处理；或

[0172] 当操控区域检测到操控操作时，发送操控操作的操控参数至头戴显示设备，操控参数用于指示头戴显示设备调整显示的虚拟内容；区域更新模块用于基于调整后的虚拟内
容重新获取投影区域，并对屏幕内容中与重新获取的投影区域对应的图像内容进行指定处
理。

[0173] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0174] 在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械
或其它的形式。

[0175] 另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模
块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

[0176] 综上，本申请实施例提供的一种图像处理装置，应用于终端设备，通过获取头戴显示设备显示的虚拟内容在终端设备的屏幕上的投影区域，以及根据屏幕待显示的屏幕内
容，获取屏幕内容中与投影区域对应的图像内容，然后对图像内容进行指定处理，并显示包
含指定处理后的图像内容的屏幕内容，从而在头戴显示设备显示虚拟内容时，减少终端设
备显示的屏幕内容对虚拟内容的干扰，从而突出显示虚拟内容，提高增强现实中虚拟内容
的真实感及显示效果。而且，仅对虚拟内容在屏幕上的投影区域对应的屏幕内容进行处理，
在突出显示虚拟内容的同时，保证其他屏幕内容的正常显示，方便用户与移动终端进行交
互。

[0177] 请参见图16，其示出了本申请实施例提供的一种显示系统的结构示意图，该显示系统10可以包括：终端设备11以及与终端设备11通信连接的头戴显示设备12，其中：

[0178] 头戴显示设备12用于将虚拟内容进行显示。

[0179] 终端设备11用于获取终端设备与头戴显示设备之间的相对空间位置关系，根据相对空间位置关系，获取虚拟内容在终端设备11的屏幕上的投影区域，投影区域为人眼通过
头戴显示设备观察到的虚拟内容在屏幕上的投射区域，根据屏幕待显示的屏幕内容，获取
屏幕内容中与投影区域对应的图像内容，对图像内容进行指定处理，并显示包含指定处理
后的图像内容的屏幕内容，指定处理后的图像内容的第一色调与虚拟内容的第二色调之间
的色调差值大于第一阈值。

[0180] 请参考图17，其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的终端设备。本申请中的终
端设备100可以包括一个或多个如下部件：处理器110、存储器120以及一个或多个应用程
序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器
110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

[0181] 处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或
指令集，以及调用存储在存储器120内的数据，执行终端设备100的各种功能和处理数据。可
选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程
门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic 
Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(Central 
Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中
的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责
显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也
可以不集成到处理器110中，单独通过一块通信芯片进行实现。

[0182] 存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read‑Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存
储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指
令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于
实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备100在使用中所创建
的数据等。

[0183] 本申请中的头戴显示设备可以包括一个或多个如下部件：处理器、存储器、图像采集装置、显示装置、光学模组、通信模块以及电源。其中，图像采集装置可以电连接于显示装
置，光学模组邻近显示装置设置，通信模块与处理器连接。

[0184] 处理器可包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器还可处理数据和/或信号以确定系统中的一个或多个操作条件。例如，处理器根
据预先存储的图像数据渲染生成虚拟世界的图像数据，将其发送至显示装置进行显示。

[0185] 存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可包括高速随机存储器，还可包
括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。

[0186] 图像采集装置可用于采集标记物的图像，也可以用于获取在其视场范围内的环境信息。图像采集装置可以为红外摄像头，也可以是彩色摄像头，具体的摄像头类型在本申请
实施例中并不作为限定。

[0187] 显示装置可包括显示控制单元。显示控制单元用于接收处理器渲染后的虚拟内容的显示图像，然后将该显示图像显示并投射至光学模组上，使用户能够通过光学模组观看
到虚拟内容。其中，显示装置可以是显示屏或投射装置等，可用于显示图像。

[0188] 光学模组可以为透反式镜片，使显示装置显示的显示图像能够直接被光学模组反射，并进入用户的眼睛。用户在通过光学模组看到显示装置投射的显示图像的同时，还能够
透过光学模组观察到现实环境，因此，用户眼睛所获得的图像为虚拟内容的显示图像与现
实环境叠加后的增强现实场景。

[0189] 通信模块可以是蓝牙、WiFi(Wireless‑Fidelity，无线保真)、ZigBee(紫峰技术)等模块，头戴显示装置可通过通信模块与终端设备建立通信连接。与终端设备通信连接的
头戴显示装置，可以与终端设备进行信息以及指令的交互。例如，头戴显示装置可以通过通
信模块接收终端设备的发送的图像数据，根据所接收的图像数据生成虚拟世界的虚拟内容
进行显示。

[0190] 电源可为整个头戴显示装置进行供电，保证头戴显示装置各个部件的正常运行。

[0191] 请参考图18，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码，程序代码可被处理器调用执行上述方法
实施例中所描述的方法。

[0192] 该计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失
性计算机可读介质(non‑transitory computer‑readable storage medium)。计算机可读
存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代
码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产
品中。程序代码810可以例如以适当形式进行压缩。

[0193] 最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以
对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而
这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和
范围。