图像融合偏差的检测方法、装置、电子设备及存储介质

摘要

本申请实施例公开了一种图像融合偏差的检测方法、装置、电子设备及存储介质，涉及人工智能技术领域。其中，该方法包括：生成目标测试场景对应的实景视频；基于实景视频为目标测试场景生成对应的虚像视频；计算目标测试场景下虚像视频和实景视频之间的偏差角度；根据偏差角度确定目标测试场景的图像融合偏差的指标信息，并根据指标信息确定图像融合偏差的检测结果。本申请实施例提供的技术方案，可以对AR‑HUD产品开发迭代和产品性能评估做出量化性地评价，为检测AR‑HUD的虚实融合效果提供了一个新思路。

权利要求

1.一种图像融合偏差的检测方法，其特征在于，所述方法包括：生成目标测试场景对应的实景视频；

基于所述实景视频为所述目标测试场景生成对应的虚像视频；

计算所述目标测试场景下所述虚像视频和所述实景视频之间的偏差角度，所述偏差角度是根据同一目标的所述虚像视频的坐标信息、所述实景视频的坐标信息以及所述目标与车辆之间的距离进行计算而得到的；

根据所述偏差角度确定所述目标测试场景的图像融合偏差的指标信息，并根据所述指标信息确定所述图像融合偏差的检测结果。

2.根据权利要求1所述的图像融合偏差的检测方法，其特征在于，所述计算所述目标测试场景下所述虚像视频和所述实景视频之间的偏差角度，包括：基于所述虚像视频和所述实景视频为所述目标测试场景生成虚实融合视频；

根据目标帧标识从所述虚实融合视频中选择出目标融合画面；

根据所述目标融合画面确定目标实景画面和目标虚像画面；

计算所述目标实景画面和所述目标虚像画面之间的偏差角度。

3.根据权利要求1所述的图像融合偏差的检测方法，其特征在于，所述计算所述目标测试场景下所述虚像视频和所述实景视频之间的偏差角度，包括：获取所述实景视频的第一帧标识和所述虚像视频的第二帧标识；

根据所述第一帧标识和所述第二帧标识将所述实景视频和所述虚像视频进行数据对齐得到数据对齐之后的实景视频和数据对齐之后的虚像视频；

根据目标帧标识从所述对齐之后的实景视频中确定目标实景画面，根据所述目标帧标识从所述对齐之后的虚像视频中确定目标虚像画面；

计算所述目标实景画面和所述目标虚像画面之间的偏差角度。

4.根据权利要求2或3所述的图像融合偏差的检测方法，其特征在于，所述计算所述目标实景画面和所述目标虚像画面之间的偏差角度，包括：计算所述目标实景画面和所述目标虚像画面之间的像素偏差；

获取所述目标实景画面中车辆前方目标与所述车辆之间的距离；

根据所述距离和所述像素偏差确定所述目标实景画面和所述目标虚像画面之间的偏差角度。

5.根据权利要求4所述的图像融合偏差的检测方法，其特征在于，所述计算所述目标实景画面和所述目标虚像画面之间的像素偏差，包括：确定坐标转换矩阵；

根据所述坐标转换矩阵分别将所述目标实景画面和所述目标虚像画面从世界坐标系转换为指定坐标系；

在所述指定坐标系下，根据所述目标实景画面的坐标信息和所述目标虚像画面的坐标信息确定所述像素偏差。

6.根据权利要求1所述的图像融合偏差的检测方法，其特征在于，所述基于所述实景视频为所述目标测试场景生成对应的虚像视频，包括：基于所述实景视频生成对应的第一虚像视频；

获取车辆的行驶数据和所述车辆前方目标的坐标数据；

根据所述行驶数据和所述坐标数据对所述第一虚像视频进行调整得到所述虚像视频。

7.根据权利要求1所述的图像融合偏差的检测方法，其特征在于，所述生成目标测试场景对应的实景视频，包括：获取车辆在所述目标测试场景中的路况数据；

根据所述路况数据生成所述目标测试场景对应的实景视频。

8.根据权利要求1所述的图像融合偏差的检测方法，其特征在于，所述目标测试场景为场景测试列表中的一个测试场景，为每个测试场景配置偏差权重，所述根据所述偏差角度确定所述目标测试场景的图像融合偏差的指标信息，并根据所述指标信息确定所述图像融合偏差的检测结果，包括：根据所述目标测试场景的偏差权重和所述偏差角度确定所述目标测试场景的图像融合偏差的指标信息，从而得到所述场景测试列表中各个测试场景的图像融合偏差的指标信息；

根据所述各个测试场景的图像融合偏差的指标信息确定所述图像融合偏差的检测结果。

9.根据权利要求8所述的图像融合偏差的检测方法，其特征在于，所述每个测试场景的偏差权重通过如下方式得到：从所述每个测试场景中的路况数据中提取出环境信息、道路信息以及驾驶信息；

根据所述环境信息、所述道路信息以及所述驾驶信息确定所述每个测试场景的偏差权重。

10.一种图像融合偏差的检测装置，其特征在于，所述装置包括：实景视频生成模块，用于生成目标测试场景对应的实景视频；

虚像视频生成模块，用于基于所述实景视频为所述目标测试场景生成对应的虚像视频；

偏差角度确定模块，用于计算所述目标测试场景下所述虚像视频和所述实景视频之间的偏差角度，所述偏差角度是根据同一目标的所述虚像视频的坐标信息、所述实景视频的坐标信息以及所述目标与车辆之间的距离进行计算而得到的；

检测结果确定模块，用于根据所述偏差角度确定所述目标测试场景的图像融合偏差果的指标信息，并根据所述指标信息确定所述图像融合偏差的检测结果。

11.一种电子设备，其特征在于，所述电子设备包括：一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至9中任一所述的图像融合偏差的检测方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至9中任一所述的图像融合偏差的检测方法。

说明书

图像融合偏差的检测方法、装置、电子设备及存储介质

技术领域

[0001] 本申请实施例涉及人工智能技术领域，尤其涉及一种图像融合偏差的检测方法、装置、电子设备及存储介质。

背景技术

[0002] 增强现实抬头显示器(Augmented Reality‑Head Up Display，AR‑HUD)是一种增强现实技术、抬头显示技术以及多信息融合技术集成在一起的车载交互系统。将AR‑HUD与高级驾驶辅助系统(Advanced Driving Assistance System，ADAS)和导航功能相结合，能够及时有效的显示车辆信息以及车辆周边环境信息，也为实现全面自动驾驶提供了有利条件和重要支撑。

[0003] AR‑HUD给驾驶者带来更沉浸的交互体验。但是与此同时，糟糕的虚实结合也会极大影响驾驶者的注意力，可能带来安全风险。目前关于虚实融合效果的评价方式主要以驾驶者使用感受为主，但是测试场景的不确定以及测试的主观性等原因，对于产品开发的迭代和产品性能的评估无法做出科学准确的评价。基于此，需要寻求一种能够有效检测AR‑HUD虚实融合效果的方法。

发明内容

[0004] 本申请实施例提供了一种图像融合偏差的检测方法、装置、电子设备及存储介质，可以对AR‑HUD产品开发迭代和产品性能评估做出量化性地评价，为检测AR‑HUD的虚实融合效果提供了一个新思路。

[0005] 第一方面，本申请实施例提供了一种图像融合偏差的检测方法，该方法包括：

[0006] 生成目标测试场景对应的实景视频；

[0007] 基于所述实景视频为所述目标测试场景生成对应的虚像视频；

[0008] 计算所述目标测试场景下所述虚像视频和所述实景视频之间的偏差角度；

[0009] 根据所述偏差角度确定所述目标测试场景的图像融合偏差的指标信息，并根据所述指标信息确定所述图像融合偏差的检测结果。

[0010] 第二方面，本申请实施例提供了一种图像融合偏差的检测装置，该装置包括：

[0011] 实景视频生成模块，用于生成目标测试场景对应的实景视频；

[0012] 虚像视频生成模块，用于基于所述实景视频为所述目标测试场景生成对应的虚像视频；

[0013] 偏差角度确定模块，用于计算所述目标测试场景下所述虚像视频和所述实景视频之间的偏差角度；

[0014] 检测结果确定模块，用于根据所述偏差角度确定所述目标测试场景的图像融合偏差的指标信息，并根据所述指标信息确定所述图像融合偏差的检测结果。

[0015] 第三方面，本申请实施例提供了一种电子设备，该电子设备包括：

[0016] 一个或多个处理器；

[0017] 存储装置，用于存储一个或多个程序；

[0018] 当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请任意实施例所述的图像融合偏差的检测方法。

[0019] 第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请任意实施例所述的图像融合偏差的检测方法。

[0020] 本申请实施例提供了一种图像融合偏差的检测方法、装置、电子设备及存储介质，该方法包括：生成目标测试场景对应的实景视频；基于实景视频为目标测试场景生成对应的虚像视频；计算目标测试场景下虚像视频和实景视频之间的偏差角度；根据偏差角度确定目标测试场景的图像融合偏差的指标信息，并根据指标信息确定图像融合偏差的检测结果。本申请分别生成目标测试场景对应的实景视频和虚像视频，并根据虚像视频和实景视频之间的偏差角度可以量化性地评价AR‑HUD图像的虚实融合效果，解决了现有技术中仅依靠驾驶者使用感受来检测AR‑HUD的虚实融合效果。采用本申请的图像融合偏差的检测方法可以对AR‑HUD产品开发迭代和产品性能评估做出量化性地评价，为检测AR‑HUD的虚实融合效果提供了一个新思路。

[0021] 应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其他特征将通过以下的说明书而变得容易理解。

附图说明

[0022] 附图用于更好地理解本方案，不构成对本申请的限定。其中：

[0023] 图1为本申请实施例提供的图像融合偏差的检测方法的第一流程示意图；

[0024] 图2为本申请实施例提供的图像融合偏差的检测方法的第二流程示意图；

[0025] 图3为本申请实施例提供的图像融合偏差的检测装置的结构示意图；

[0026] 图4是用来实现本申请实施例的图像融合偏差的检测方法的电子设备的框图。

具体实施方式

[0027] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0028] 在介绍本申请实施例之前，先对AR‑HUD进行简单介绍。AR‑HUD主要包括图像生成器、控制器和显示组件。其中，图像生成器用于生成实景视频对应的虚像视频。图像生成器可以是采用数字光处理技术(Digital Light Processing，DLP)或硅基液晶技术(Liquid Crystal On Silicon，LCOS)制作的光机，包括照明组件和投影组件，投影组件可以为微投影镜头。控制器用于实现诸如反射镜反转调整像面的位置等功能。显示组件用于对虚像视频的反射投影，依据AR‑HUD应用场景的不同显示组件也会不同。当AR‑HUD的应用场景是影院投放电影时，那么显示组件为投影幕布或显示屏；当AR‑HUD的应用场景是在车辆的挡风玻璃上展示驾驶信息，那么显示组件为车辆的挡风玻璃。在本申请实施例中以AR‑HUD应用在车辆的挡风玻璃上展示驾驶信息为例介绍图像融合偏差的检测方法。

[0029] 图1为本申请实施例提供的图像融合偏差的检测方法的第一流程示意图，本实施例可适用于对AR‑HUD的图像融合偏差进行评价的情况。本实施例提供的一种图像融合偏差的检测方法可以由本申请实施例提供的图像融合偏差的检测装置来执行，该装置可以通过软件和/或硬件的方式实现，并集成在执行本方法的电子设备中。参见图1，本实施例的方法包括但不限于如下步骤：

[0030] S110、生成目标测试场景对应的实景视频。

[0031] 其中，目标测试场景为用于检测AR‑HUD的图像融合偏差的待测试的测试场景，测试场景由不同道路类型、不同天气、不同的形式状态的行人和车辆等维度组成。实景视频是指三维空间中车辆行驶的真实场景，该实景视频可以是通过数据采集设备所采集到的车辆的真实行驶视频，也可以是根据场景构建模型模拟出的车辆的行驶视频。

[0032] 可选的，可以获取预先制定的场景测试列表，场景测试列表包括多个待测试的测试场景，目标测试场景为场景测试列表中的一个测试场景。场景测试列表可以是根据实际应用情况制定的待测试的测试场景列表。

[0033] 具体的，生成目标测试场景对应的实景视频，包括：获取车辆在目标测试场景中的路况数据；根据路况数据生成目标测试场景对应的实景视频。

[0034] 在本申请实施例中，首先，获取车辆在目标测试场景中的路况数据可以包括：获取为目标测试场景配置的场景配置参数，诸如天气信息(晴天、雨天或雪天等)、道路类型(直道、弯道或高架桥等)、时间信息(白天、晚上或黄昏等)、工况(触发各种类型的行人碰撞事件、前车碰撞事件或模拟各种前车插入等)；然后，通过三维引擎组件生成目标测试场景中各类模型，诸如车辆、行人、交通标志、建筑物等，还包括重力系统和碰撞体等系统，用于真实模拟现实场景。最后，基于这些场景配置参数和三维引擎组件所生成的各类模型，通过场景构建模型模拟出目标测试场景对应的实景视频。其中，场景构建模型用于构建各类车辆行驶下的测试场景。

[0035] S120、基于实景视频为目标测试场景生成对应的虚像视频。

[0036] 在本申请实施例中，经上述S110步骤生成目标测试场景对应的实景视频之后，通过AR‑HUD中的图像生成器生成对应的虚像视频。可选的，在检测其他AR设备的图像融合偏差时，还可以通过其他AR设备为目标测试场景生成对应的虚像视频。

[0037] 具体的，基于实景视频为目标测试场景生成对应的虚像视频，包括：基于实景视频生成对应的用户界面(User Interface，UI)虚像面，即第一虚像视频；通过配置在车辆上的传感器系统获取车辆的行驶数据和车辆前方目标的坐标数据；根据行驶数据和坐标数据对第一虚像视频进行调整得到虚像视频。

[0038] 其中，配置在车辆上的传感器系统包括视觉传感器、惯性测量单元(Inertial Measurement Unit，IMU)、智能驾驶辅助系统和控制器域网等。可以通过传感器系统获取车辆的行驶数据，诸如：通过视觉传感器(如相机)可捕捉驾驶者视角的图像或视频流；通过惯性测量单元测量车身的姿态等数据；通过智能驾驶辅助系统提供环境内感知目标的坐标位置和类型等，即车辆前方目标的坐标数据；通过车辆的控制器域网提供车身速度或制动信号等。

[0039] S130、计算目标测试场景下虚像视频和实景视频之间的偏差角度。

[0040] 在本申请实施例中，经上述S120步骤基于实景视频为目标测试场景生成对应的虚像视频之后，再计算目标测试场景下虚像视频和实景视频之间的偏差角度。

[0041] 具体的，计算目标测试场景下虚像视频和实景视频之间的偏差角度，包括：获取实景视频的第一帧标识和虚像视频的第二帧标识；根据第一帧标识和第二帧标识将实景视频和虚像视频进行数据对齐得到数据对齐之后的实景视频和数据对齐之后的虚像视频；根据目标帧标识从对齐之后的实景视频中确定目标实景画面，根据目标帧标识从对齐之后的虚像视频中确定目标虚像画面；计算目标实景画面和目标虚像画面之间的偏差角度。其中，第一帧标识是实景视频的视频帧标识，第二帧标识是虚像视频的视频帧标识，目标帧标识是实景视频中某一帧的帧标识，也就是，目标帧标识属于第一帧标识；目标帧标识也是虚像视频中某一帧的帧标识，也就是，目标帧标识也属于第二帧标识。

[0042] 在本申请实施例中，先分别获取实景视频和虚像视频的视频帧标识，即第一帧标识和第二帧标识，再进行实景视频和虚像视频的对齐操作，确保偏差分析的数据是一一对应的。可以将包含某一目标(如行人或车辆等)的画面的帧标识作为目标帧标识。在数据对齐操作之后，再根据目标帧标识从对齐之后的实景视频中确定目标实景画面，从对齐之后的虚像视频中确定目标虚像画面。最后，可以依据画面中的某一目标(如行人或车辆)的坐标信息计算目标实景画面和目标虚像画面之间的偏差角度。

[0043] S140、根据偏差角度确定目标测试场景的图像融合偏差的指标信息，并根据指标信息确定图像融合偏差的检测结果。

[0044] 其中，指标信息可以是执行本申请图像融合偏差的检测方法的电子设备对图像融合偏差进行评价的评分，还可以是图像融合的评价效果的其他形式的指标。

[0045] 可选的，可以获取预先制定的场景测试列表，场景测试列表包括多个待测试的测试场景，目标测试场景为场景测试列表中的一个测试场景。在本申请实施例中，当测试场景不同时，测试场景对应的偏差容错便会不同，那么需要为每个测试场景设置对应的偏差权重。示例的，与测试场景的天气信息为晴天相比较，测试场景的天气信息为雨天，会造成行驶视线的清晰度变弱，因而其所对应的偏差容错应该偏大，进而其对应的偏差权重应该偏大。

[0046] 具体的，根据偏差角度确定目标测试场景的图像融合偏差的指标信息，并根据指标信息确定图像融合偏差的检测结果，包括：根据目标测试场景的偏差权重和偏差角度确定目标测试场景的图像融合偏差的指标信息，从而得到场景测试列表中各个测试场景的图像融合偏差的指标信息；根据各个测试场景的图像融合偏差的指标信息确定图像融合偏差的检测结果。

[0047] 可选的，每个测试场景的偏差权重通过如下方式得到：从每个测试场景中的路况数据中提取出环境信息(如天气信息、时间信息)、道路信息(如道路类型)以及驾驶信息(如工况、车速)；根据环境信息、道路信息以及驾驶信息确定每个测试场景的偏差权重。例如，所有测试场景的偏差权重均大于零且小于一，并且满足正态分布。示例的，假如测试场景的道路类型为弯道状态，其测试场景的偏差权重大，假如测试场景的道路类型为直道，其测试场景的偏差权重小。

[0048] 本实施例中提供的技术方案，通过生成目标测试场景对应的实景视频；基于实景视频为目标测试场景生成对应的虚像视频；计算目标测试场景下虚像视频和实景视频之间的偏差角度；根据偏差角度确定目标测试场景的图像融合偏差的指标信息，并根据指标信息确定图像融合偏差的检测结果。本申请分别生成目标测试场景对应的实景视频和虚像视频，并根据虚像视频和实景视频之间的偏差角度可以量化性地评价AR‑HUD图像的虚实融合效果，解决了现有技术中仅依靠驾驶者使用感受来检测AR‑HUD的虚实融合效果。采用本申请的图像融合偏差的检测方法可以对AR‑HUD产品开发迭代和产品性能评估做出科学准确的评价，为检测AR‑HUD的虚实融合效果提供了一个新思路。

[0049] 下面进一步描述本发明实施例中提供的图像融合偏差的检测方法，图2为本申请实施例提供的图像融合偏差的检测方法的第二流程示意图。本申请实施例是在上述实施例的基础上进行优化，具体优化为：本实施例对虚像视频和实景视频之间的偏差角度的计算过程进行详细的解释说明。

[0050] 参见图2，本实施例的方法包括但不限于如下步骤：

[0051] S210、获取车辆在目标测试场景中的路况数据；根据路况数据生成目标测试场景对应的实景视频。

[0052] 其中，目标测试场景为待测试的测试场景，测试场景由不同道路类型、不同天气、不同的形式状态的行人和车辆等维度组成。实景视频是指三维空间中车辆行驶的真实场景，该实景视频可以是通过数据采集设备所采集到的车辆的真实行驶视频，也可以是根据场景构建模型模拟出的车辆的行驶视频。

[0053] 可选的，可以获取预先制定的场景测试列表，场景测试列表包括多个待测试的测试场景，目标测试场景为场景测试列表中的一个测试场景。场景测试列表可以是根据实际应用情况制定的待测试的测试场景列表。

[0054] 在本申请实施例中，路况数据可以包括车速、车身数据、车身姿态数据、位于车辆四周(包括前方、后方、左方和/或右方等方位)的目标的位置和速度等信息。获取车辆在目标测试场景中的路况数据可以包括：通过配置在车辆中的数据采集设备获取本车的车速等车身数据、车身姿态数据、行人/车辆等的位置和速度数据等信息，进而根据这些信息得到车辆的真实行驶视频，其中，数据采集设备可以是激光雷达传感器、毫米波雷达传感器、超声波雷达传感器或者视觉传感器等。获取到车辆在目标测试场景中的路况数据之后，控制器再依据路况数据生成目标测试场景对应的实景视频。

[0055] S220、基于实景视频为目标测试场景生成对应的虚像视频。

[0056] 具体的，基于实景视频为目标测试场景生成对应的虚像视频，包括：基于实景视频生成对应的UI虚像面，即第一虚像视频；通过配置在车辆上的传感器系统获取车辆的行驶数据和车辆前方目标(还可以是左方目标或右方目标)的坐标数据；根据行驶数据和坐标数据对第一虚像视频进行调整得到虚像视频。

[0057] 其中，配置在车辆上的传感器系统包括视觉传感器、IMU、智能驾驶辅助系统和控制器域网等。可以通过传感器系获取车辆的行驶数据，诸如：通过视觉传感器(如相机)可捕捉驾驶者视角的图像或视频流；通过惯性测量单元测量车身的姿态等数据；通过智能驾驶辅助系统提供环境内感知目标的坐标位置和类型等，即车辆前方目标的坐标数据；通过车辆的控制器域网提供车身速度或制动信号等。

[0058] 可选的，在对第一虚像视频进行调整得到虚像视频时，还可以通过控制系统为车辆或行人等提供控制逻辑，诸如转向、油门和制动系统等等。

[0059] S230、基于虚像视频和实景视频为目标测试场景生成虚实融合视频。

[0060] 在本申请实施例中，基于显示组件展示实景视频，基于显示组件和虚像视频的观看位置展示虚像视频；将实景视频和虚像视频进行融合展示得到虚实融合视频。其中，显示组件可以用于对实景视频的展示，还可以用于对虚像视频的反射投影。当AR‑HUD的应用场景是在车辆的挡风玻璃上展示驾驶信息，那么显示组件为车辆的挡风玻璃。虚像视频的观看位置是指仅在固定位置处才可以显示该虚像视频。

[0061] 可选的，可以设置相机单元用于实现实景视频和虚像视频的融合显示，其中，相机单元可以包括高清镜头、支架、外围接线。高清镜头用于在对虚实融合视频的捕捉，支架用于对虚实融合视频从上下左右前后六个角度上进行位置调节。

[0062] S240、根据目标帧标识从虚实融合视频中选择出目标融合画面。

[0063] 在本申请实施例中，虚实融合视频需要确定数据的目标帧标识，以便在下述S250中确定需要进行偏差计算的对应目标实景画面和目标虚像画面。通过图像算法对虚实融合视频的视频帧标识进行解析得到目标帧标识。

[0064] 可选的，相机单元可以被设置在车辆风挡玻璃后，基于目标帧标识通过相机单元从虚实融合视频中选择出目标融合画面。其中，目标桢标识的确定方法可以是任意设定一个包含某个目标(行人或车辆等)的画面的帧标识，也可以是获取人为输入的帧标识，在此不对其进行限定。

[0065] S250、根据目标融合画面确定目标实景画面和目标虚像画面。

[0066] 在本申请实施例中，经上述S240步骤确定出目标融合画面之后，从目标融合画面再得到目标实景画面和目标虚像画面。

[0067] 可选的，在根据目标融合画面确定目标实景画面和目标虚像画面之前，还包括：对目标融合画面进行数据预处理，如：图像帧的抓取，感兴趣区域的裁剪等。

[0068] S260、计算目标实景画面和目标虚像画面之间的像素偏差。

[0069] 具体的，计算目标实景画面和目标虚像画面之间的像素偏差，包括：确定坐标转换矩阵；根据坐标转换矩阵分别将目标实景画面和目标虚像画面从世界坐标系转换为指定坐标系；在指定坐标系下，根据目标实景画面的坐标信息和目标虚像画面的坐标信息确定像素偏差。

[0070] 其中，指定坐标系可以是配置在车辆风挡玻璃后的相机单元的像素坐标系。在本申请实施例中，实景视频和虚像视频的坐标均为世界坐标系下的三维坐标，需要将其转化为上述S240步骤所使用的相机单元的像素坐标系。因而，需要求坐标转换矩阵，可选的，可以采用张正友标定方法得到坐标转换矩阵。

[0071] 在本申请实施例中，目标实景画面中某个指定目标在像素坐标系下坐标信息的确定过程可以是：先确定该指定目标在世界坐标系下的三维坐标，再将该三维坐标与坐标转换矩阵相乘，便可得到像素坐标系下的坐标信息，即目标实景画面的坐标信息。基于相同的方法，可以得到目标虚像画面中同一个指定目标在像素坐标系下的坐标信息。

[0072] 在本申请实施例中，得到在像素坐标系下同一个指定目标的目标实景画面的坐标信息和目标虚像画面的坐标信息之后，通过相减的方式得到目标的像素偏差。可选的，为了便于对像素偏差的分析，可以采用平行四边形法将该像素偏差拆分为水平方向和垂直方向。

[0073] S270、获取目标实景画面中车辆前方目标与车辆之间的距离。

[0074] 在本申请实施例中，仅凭同一个指定目标在目标实景画面与目标虚像画面中的像素偏差不能直接判断评价AR‑HUD的虚实融合效果，还需要结合目标实景画面中该指定目标与观测车辆(即安装有待测AR‑HUD的车辆)之间的距离。这样设置的原因在于，假若两个AR‑HUD的像素偏差相同(假设为1米)，但是第一个AR‑HUD中指定目标与观测车辆之间的距离100米，第二个AR‑HUD中指定目标与观测车辆之间的距离10米，则相比第二个AR‑HUD而言，第一个AR‑HUD的虚实融合效果更好。

[0075] S280、根据距离和像素偏差确定目标实景画面和目标虚像画面之间的偏差角度。

[0076] 在本申请实施例中，得到目标实景画面和目标虚像画面之间的像素偏差之后，还需要结合车辆前方目标与车辆之间的距离，通过正切三角函数可以得到水平方向和垂直方向的偏差角度。其中，在计算所述偏差角度之前，需要将像素偏差换算成与所述距离相同的长度单位。

[0077] S290、根据目标测试场景的偏差权重和偏差角度确定目标测试场景的图像融合偏差的指标信息，从而得到场景测试列表中各个测试场景的图像融合偏差的指标信息；根据各个测试场景的图像融合偏差的指标信息确定图像融合偏差的检测结果。

[0078] 在本申请实施例中，指标信息可以是执行本申请图像融合偏差的检测方法的电子设备对图像融合偏差进行评价的评分。将目标测试场景的偏差权重和偏差角度相乘，得到目标测试场景的图像融合偏差的评分，从而得到场景测试列表中各个测试场景的图像融合偏差的评分；判断场景测试列表中的每个测试场景的测试任务是否都执行完毕，如果是，那么将各个测试场景的图像融合偏差的评分相加，得到AR‑HUD图像融合偏差的检测结果。

[0079] 可选的，在基于虚像视频和实景视频为目标测试场景生成虚实融合视频之后，还可以获取用户对虚实融合视频的观看评分，再基于观看评分和各个测试场景的图像融合偏差的评分确定AR‑HUD图像融合偏差的检测结果。

[0080] 本实施例中提供的技术方案，通过获取车辆在目标测试场景中的路况数据；根据路况数据生成目标测试场景对应的实景视频；基于实景视频为目标测试场景生成对应的虚像视频；基于虚像视频和实景视频为目标测试场景生成虚实融合视频；根据目标帧标识从虚实融合视频中选择出目标融合画面；根据目标融合画面确定目标实景画面和目标虚像画面；计算目标实景画面和目标虚像画面之间的像素偏差；获取目标实景画面中车辆前方目标与车辆之间的距离；根据距离和像素偏差确定目标实景画面和目标虚像画面之间的偏差角度；根据目标测试场景的偏差权重和偏差角度确定目标测试场景的图像融合偏差的指标信息，从而得到场景测试列表中各个测试场景的图像融合偏差的指标信息；根据各个测试场景的图像融合偏差的指标信息确定图像融合偏差的检测结果。本申请分别生成目标测试场景对应的实景视频和虚像视频，并根据虚像视频和实景视频之间的偏差角度可以量化性地评价AR‑HUD图像的虚实融合效果，解决了现有技术中仅依靠驾驶者使用感受来评价AR‑HUD的虚实融合效果。采用本申请的图像融合偏差的检测方法，可以准确评价AR‑HUD产品的性能，可以针对性的指导AR‑HUD产品的开发方向以及加速产品的迭代速度，为检测AR‑HUD的虚实融合效果提供了一个新思路，本申请方案还可以复现AR‑HUD图像展示的问题，测试具备可重复性。

[0081] 图3为本申请实施例中提供的图像融合偏差的检测装置的结构示意图，如图3所示，该装置300可以包括：

[0082] 实景视频生成模块310，用于生成目标测试场景对应的实景视频；

[0083] 虚像视频生成模块320，用于基于所述实景视频为所述目标测试场景生成对应的虚像视频；

[0084] 偏差角度确定模块330，用于计算所述目标测试场景下所述虚像视频和所述实景视频之间的偏差角度；

[0085] 检测结果确定模块340，用于根据所述偏差角度确定所述目标测试场景的图像融合偏差的指标信息，并根据所述指标信息确定所述图像融合偏差的检测结果。

[0086] 进一步的，上述偏差角度确定模块330，可以具体用于：基于所述虚像视频和所述实景视频为所述目标测试场景生成虚实融合视频；根据目标帧标识从所述虚实融合视频中选择出目标融合画面；根据所述目标融合画面确定目标实景画面和目标虚像画面；计算所述目标实景画面和所述目标虚像画面之间的偏差角度。

[0087] 进一步的，上述偏差角度确定模块330，可以具体用于：获取所述实景视频的第一帧标识和所述虚像视频的第二帧标识；根据所述第一帧标识和所述第二帧标识将所述实景视频和所述虚像视频进行数据对齐得到数据对齐之后的实景视频和数据对齐之后的虚像视频；根据目标帧标识从所述对齐之后的实景视频中确定目标实景画面，根据所述目标帧标识从所述对齐之后的虚像视频中确定目标虚像画面；计算所述目标实景画面和所述目标虚像画面之间的偏差角度。

[0088] 进一步的，上述偏差角度确定模块330，还可以具体用于：计算所述目标实景画面和所述目标虚像画面之间的像素偏差；获取所述目标实景画面中车辆前方目标与所述车辆之间的距离；根据所述距离和所述像素偏差确定所述目标实景画面和所述目标虚像画面之间的偏差角度。

[0089] 进一步的，上述偏差角度确定模块330包括像素偏差计算单元；

[0090] 所述像素偏差计算单元，可以具体用于：确定坐标转换矩阵；根据所述坐标转换矩阵分别将所述目标实景画面和所述目标虚像画面从世界坐标系转换为指定坐标系；在所述指定坐标系下，根据所述目标实景画面的坐标信息和所述目标虚像画面的坐标信息确定所述像素偏差。

[0091] 进一步的，上述虚像视频生成模块320，可以具体用于：基于所述实景视频生成对应的第一虚像视频；获取车辆的行驶数据和所述车辆前方目标的坐标数据；根据所述行驶数据和所述坐标数据对所述第一虚像视频进行调整得到所述虚像视频。

[0092] 进一步的，上述实景视频生成模块310，可以具体用于：获取车辆在所述目标测试场景中的路况数据；根据所述路况数据生成所述目标测试场景对应的实景视频。

[0093] 可选的，所述目标测试场景为场景测试列表中的一个测试场景，为每个测试场景配置偏差权重。

[0094] 进一步的，上述检测结果确定模块340，可以具体用于：根据所述目标测试场景的偏差权重和所述偏差角度确定所述目标测试场景的图像融合偏差的指标信息，从而得到所述场景测试列表中各个测试场景的图像融合偏差的指标信息；根据所述各个测试场景的图像融合偏差的指标信息确定所述图像融合偏差的检测结果。

[0095] 可选的，所述每个测试场景的偏差权重通过如下方式得到：从所述每个测试场景中的路况数据中提取出环境信息、道路信息以及驾驶信息；根据所述环境信息、所述道路信息以及所述驾驶信息确定所述每个测试场景的偏差权重。

[0096] 本实施例中提供的图像融合偏差的检测装置可适用于上述任意实施例中提供的图像融合偏差的检测方法，具备相应的功能和有益效果。

[0097] 图4是用来实现本申请实施例的图像融合偏差的检测方法的电子设备的框图，图4示出了适于用来实现本申请实施例的示例性电子设备的框图。图4显示的电子设备仅仅是一个示例，不应对本申请实施例的功能和适用范围带来任何限制。该电子设备典型可以是智能手机、平板电脑、笔记本电脑、车载终端以及可穿戴设备等。

[0098] 如图4所示，电子设备400以通用计算设备的形式表现。电子设备400的组件可以包括但不限于：一个或者多个处理器或者处理单元416，存储器428，连接不同系统组件(包括存储器428和处理单元416)的总线418。

[0099] 总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

[0100] 电子设备400典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备400访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

[0101] 存储器428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)430和/或高速缓存存储器432。电子设备400可以进一步包括其他可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD‑ROM,DVD‑ROM或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储器428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

[0102] 具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储器428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其他程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本申请实施例中所描述的功能和/或方法。

[0103] 电子设备400也可以与一个或多个外部设备414(例如键盘、指向设备、显示器424等)通信，还可与一个或者多个使得用户能与该电子设备400交互的设备通信，和/或与使得该电子设备400能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，电子设备400还可以通过网络适配器420与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图4所示，网络适配器420通过总线418与电子设备400的其他模块通信。应当明白，尽管图4中未示出，可以结合电子设备400使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

[0104] 处理单元416通过运行存储在存储器428中的程序，从而执行各种功能应用以及数据处理，例如实现本申请任意实施例中所提供的图像融合偏差的检测方法。

[0105] 本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序(或称为计算机可执行指令)，该程序被处理器执行时可以用于执行本申请上述任意实施例中所提供的图像融合偏差的检测方法。

[0106] 本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦拭可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD‑ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

[0107] 计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

[0108] 计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

[0109] 可以以一种或多种程序设计语言或其组合来编写用于执行本申请实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

[0110] 注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。