目标感知方法、装置、计算机设备、存储介质

摘要

本申请涉及一种目标感知方法、装置、计算机设备、存储介质。所述方法包括：获取图像采集设备采集得到的车身周围环境的环视多张图像；根据所述环视多张图像确定对应的鸟瞰图像；对各所述环视多张图像中的各图像进行特征提取得到各所述图像对应的环视图像特征图；根据所述鸟瞰图像确定对应的鸟瞰图像特征图和鸟瞰空间三维栅格；根据所述鸟瞰空间三维栅格和所述环视多张图像中的各所述图像对应的环视图像特征图确定对应的鸟瞰空间特征图；将各所述鸟瞰空间特征图和所述鸟瞰图像特征图融合得到鸟瞰融合特征图，并根据所述鸟瞰融合特征图进行目标感知。采用本方法能够提高目标感知的准确性。

权利要求

1.一种目标感知方法，其特征在于，所述方法包括：

获取图像采集设备采集得到的车身周围环境的环视多张图像；

根据所述环视多张图像确定对应的鸟瞰图像；

对各所述环视多张图像中的各图像进行特征提取得到各所述图像对应的环视图像特征图；

根据所述鸟瞰图像确定对应的鸟瞰图像特征图和鸟瞰空间三维栅格；

根据所述鸟瞰空间三维栅格和所述环视多张图像中的各所述图像对应的环视图像特征图确定对应的鸟瞰空间特征图；

将各所述鸟瞰空间特征图和所述鸟瞰图像特征图融合得到鸟瞰融合特征图，并根据所述鸟瞰融合特征图进行目标感知；

其中，所述根据所述鸟瞰图像确定对应的鸟瞰图像特征图和鸟瞰空间三维栅格，包括：确定所述鸟瞰图像的感知范围；基于所述感知范围确定空间立方体，并对所述空间立方体进行切割，得到所述鸟瞰空间三维栅格；对所述鸟瞰图像进行预处理，得到鸟瞰预处理图像；将所述鸟瞰预处理图像进行特征提取，得到所述鸟瞰图像特征图；

所述根据所述鸟瞰空间三维栅格和所述环视多张图像中的各所述图像对应的环视图像特征图确定对应的鸟瞰空间特征图，包括：确定所述鸟瞰空间三维栅格中各单元格中心点的三维坐标；基于所述图像采集设备预先标定的标定参数和映射参数，将各所述单元格中心点的三维坐标分别投影至各所述环视图像特征图上，得到对应的投影像素坐标；根据各所述投影像素坐标和所述环视图像特征图进行特征采样，得到对应的鸟瞰空间特征图。

2.根据权利要求1所述的方法，其特征在于，所述将各所述鸟瞰空间特征图和所述鸟瞰图像特征图融合得到鸟瞰融合特征图，包括：将所述鸟瞰空间特征图进行均值处理，得到处理后的鸟瞰空间特征图；

将所述处理后的鸟瞰空间特征图进行拉直和卷积压缩处理，得到压缩后的鸟瞰空间特征图；

将所述压缩后的鸟瞰空间特征图和所述鸟瞰图像特征图融合得到所述鸟瞰融合特征图。

3.根据权利要求2所述的方法，其特征在于，所述将所述压缩后的鸟瞰空间特征图和所述鸟瞰图像特征图融合得到所述鸟瞰融合特征图，包括：将所述压缩后的鸟瞰空间特征图和所述鸟瞰图像特征图进行通道拼接，得到所述鸟瞰融合特征图。

4.根据权利要求1所述的方法，其特征在于，所述根据所述环视多张图像确定对应的鸟瞰图像，包括：对所述环视多张图像分别进行逆透视变换，并拼接得到所述鸟瞰图像。

5.一种目标感知装置，其特征在于，所述装置包括：

图像获取模块，用于获取图像采集设备采集得到的车身周围环境的环视多张图像；

鸟瞰图像确定模块，用于根据所述环视多张图像确定对应的鸟瞰图像；

提取模块，用于对各所述环视多张图像中的各图像进行特征提取得到各所述图像对应的环视图像特征图；

处理模块，用于根据所述鸟瞰图像确定对应的鸟瞰图像特征图和鸟瞰空间三维栅格；

特征确定模块，用于根据所述鸟瞰空间三维栅格和所述环视多张图像中的各所述图像对应的环视图像特征图确定对应的鸟瞰空间特征图；

融合模块，用于将各所述鸟瞰空间特征图和所述鸟瞰图像特征图融合得到鸟瞰融合特征图，并根据所述鸟瞰融合特征图进行目标感知；

其中，所述根据所述鸟瞰图像确定对应的鸟瞰图像特征图和鸟瞰空间三维栅格，包括：确定所述鸟瞰图像的感知范围；基于所述感知范围确定空间立方体，并对所述空间立方体进行切割，得到所述鸟瞰空间三维栅格；对所述鸟瞰图像进行预处理，得到鸟瞰预处理图像；将所述鸟瞰预处理图像进行特征提取，得到所述鸟瞰图像特征图；

所述根据所述鸟瞰空间三维栅格和所述环视多张图像中的各所述图像对应的环视图像特征图确定对应的鸟瞰空间特征图，包括：确定所述鸟瞰空间三维栅格中各单元格中心点的三维坐标；基于所述图像采集设备预先标定的标定参数和映射参数，将各所述单元格中心点的三维坐标分别投影至各所述环视图像特征图上，得到对应的投影像素坐标；根据各所述投影像素坐标和所述环视图像特征图进行特征采样，得到对应的鸟瞰空间特征图。

6.根据权利要求5所述的装置，其特征在于，所述融合模块还用于：将所述鸟瞰空间特征图进行均值处理，得到处理后的鸟瞰空间特征图；

将所述处理后的鸟瞰空间特征图进行拉直和卷积压缩处理，得到压缩后的鸟瞰空间特征图；

将所述压缩后的鸟瞰空间特征图和所述鸟瞰图像特征图融合得到所述鸟瞰融合特征图。

7.根据权利要求6所述的装置，其特征在于，所述融合模块还用于将所述压缩后的鸟瞰空间特征图和所述鸟瞰图像特征图进行通道拼接，得到所述鸟瞰融合特征图。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。

说明书

目标感知方法、装置、计算机设备、存储介质

技术领域

[0001] 本申请涉及自动驾驶技术领域，特别是涉及一种目标感知方法、装置、计算机设备、存储介质。

背景技术

[0002] 在自动驾驶领域，为确保行车安全，车身感知周围的环境尤为重要。

[0003] 相关技术中，通过相机拍摄得到图像，如果直接在图像空间进行目标感知，由于相机成像具有透视效应且会丢失深度信息，在图像空间进行目标感知并不能准确的计算得到目标的位置，导致目标感知的准确性不高。因此，如何在能更好感知目标方位、距离等信息的鸟瞰空间直接做目标感知及提升其感知的准确性，成为本领域技术人员亟需解决的技术问题。

发明内容

[0004] 基于此，有必要针对上述技术问题，提供一种能够直接在鸟瞰空间做目标感知并提升其感知准确性的目标感知方法、装置、计算机设备、存储介质。

[0005] 第一方面，本申请提供了一种目标感知方法。所述方法包括：

[0006] 获取图像采集设备采集得到的车身周围环境的环视多张图像；

[0007] 根据所述环视多张图像确定对应的鸟瞰图像；

[0008] 对所述环视多张图像中的各图像进行特征提取得到各所述图像对应的环视图像特征图；

[0009] 根据所述鸟瞰图像确定对应的鸟瞰图像特征图和鸟瞰空间三维栅格；

[0010] 根据所述鸟瞰空间三维栅格和所述环视多张图像中的各所述图像对应的环视图像特征图确定对应的鸟瞰空间特征图；

[0011] 将各所述鸟瞰空间特征图和所述鸟瞰图像特征图融合得到鸟瞰融合特征图，并根据所述鸟瞰融合特征图进行目标感知。

[0012] 在其中一个实施例中，所述根据所述鸟瞰图像确定对应的鸟瞰图像特征图和鸟瞰空间三维栅格，包括：

[0013] 确定所述鸟瞰图像的感知范围；

[0014] 基于所述感知范围确定空间立方体，并对所述空间立方体进行切割，得到所述鸟瞰空间三维栅格；

[0015] 对所述鸟瞰图像进行预处理，得到鸟瞰预处理图像；

[0016] 将所述鸟瞰预处理图像进行特征提取，得到所述鸟瞰图像特征图。

[0017] 在其中一个实施例中，所述根据所述鸟瞰空间三维栅格和所述环视多张图像中的各图像对应的环视图像特征图确定对应的鸟瞰空间特征图，包括：

[0018] 确定所述鸟瞰空间三维栅格中各单元格中心点的三维坐标；

[0019] 基于所述图像采集设备预先标定的标定参数和映射参数，将各所述单元格中心点的三维坐标分别投影至各所述环视图像特征图上，得到对应的投影像素坐标；

[0020] 根据各所述投影像素坐标和环视图像特征图进行特征采样，得到对应的鸟瞰空间特征图。

[0021] 在其中一个实施例中，所述将各所述鸟瞰空间特征图和所述鸟瞰图像特征图融合得到鸟瞰融合特征图，包括：

[0022] 将所述鸟瞰空间特征图进行均值处理，得到处理后的鸟瞰空间特征图；

[0023] 将所述处理后的鸟瞰空间特征图进行拉直和卷积压缩处理，得到压缩后的鸟瞰空间特征图；

[0024] 将所述压缩后的鸟瞰空间特征图和所述鸟瞰图像特征图融合得到所述鸟瞰融合特征图。

[0025] 在其中一个实施例中，所述将所述压缩后的鸟瞰空间特征图和所述鸟瞰图像特征图融合得到所述鸟瞰融合特征图，包括：

[0026] 将所述压缩后的鸟瞰空间特征图和所述鸟瞰图像特征图进行通道拼接，得到所述鸟瞰融合特征图。

[0027] 在其中一个实施例中，所述根据所述环视多张图像确定对应的鸟瞰图像，包括：

[0028] 对所述环视多张图像分别进行逆透视变换，并拼接得到所述鸟瞰图像。

[0029] 第二方面，本申请还提供了一种目标感知装置。所述装置包括：

[0030] 图像获取模块，用于获取图像采集设备采集得到的车身周围环境的环视多张图像；

[0031] 鸟瞰图像确定模块，用于根据所述环视多张图像确定对应的鸟瞰图像；

[0032] 提取模块，用于对各所述环视多张图像中的各图像进行特征提取得到各所述图像对应的环视图像特征图；

[0033] 处理模块，用于根据所述鸟瞰图像确定对应的鸟瞰图像特征图和鸟瞰空间三维栅格；

[0034] 特征确定模块，用于根据所述鸟瞰空间三维栅格和所述环视多张图像中的各所述图像对应的环视图像特征图确定对应的鸟瞰空间特征图；

[0035] 融合模块，用于将各所述鸟瞰空间特征图和所述鸟瞰图像特征图融合得到鸟瞰融合特征图，并根据所述鸟瞰融合特征图进行目标感知。

[0036] 第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述目标感知方法的步骤。

[0037] 第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述目标感知方法的步骤。

[0038] 第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述目标感知方法的步骤。

[0039] 上述目标感知方法、装置、计算机设备、存储介质，通过根据鸟瞰空间三维栅格、环视多张图像中的各图像对应的环视图像特征图确定对应的鸟瞰空间特征图，然后再将各鸟瞰空间特征图和鸟瞰图像特征图融合得到鸟瞰融合特征图，使得鸟瞰融合特征图不仅包含了图像自身丰富的语义信息，也包含了鸟瞰图像携带的鸟瞰空间的目标线索（如目标在鸟瞰空间的粗糙位置、类别等），从而便于准确地实现目标的定位，进而提高了目标感知的准确性。

附图说明

[0040] 图1为一个实施例中目标感知方法的应用环境图；

[0041] 图2为一个实施例中目标感知方法的流程示意图；

[0042] 图3为一个实施例中环视多张图像的示意图；

[0043] 图4为一个实施例中拼接好的鸟瞰图像的示意图；

[0044] 图5为一个实施例中确定鸟瞰图像特征图和鸟瞰空间三维栅格步骤的流程示意图；

[0045] 图6为一个实施例中鸟瞰三维空间栅格的示意图；

[0046] 图7为一个实施例中确定鸟瞰空间特征图步骤的流程示意图；

[0047] 图8为一个实施例中确定鸟瞰融合特征图步骤的流程示意图；

[0048] 图9为另一个实施例中目标感知方法的流程示意图；

[0049] 图10为一个实施例中目标感知装置的结构框图；

[0050] 图11为一个实施例中计算机设备的内部结构图。

具体实施方式

[0051] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

[0052] 本申请实施例提供的目标感知方法，可以应用于如图1所示的应用环境中。其中，智能汽车102为能够进行自动驾驶的汽车，该智能汽车102包括多个车载设备，如车载终端、图像采集设备、车载雷达等。智能汽车102通过网络与服务器104进行通信。目标感知方法可以由智能汽车的车载终端执行，也可以将采集到的数据（如图像等）通过网络上传到服务器104，然后由服务器104执行该目标感知方法，后续以该目标感知方法由车载终端为例进行说明。数据存储系统可以存储服务器104需要处理的数据，如存储环视多张图像等。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。车载终端获取图像采集设备采集得到的车身周围环境的环视多张图像，根据环视多张图像确定对应的鸟瞰图像；对环视多张图像中的各图像进行特征提取，得到各图像对应的环视图像特征图，根据鸟瞰图像确定对应的鸟瞰图像特征图和鸟瞰空间三维栅格，再根据鸟瞰空间三维栅格和环视多张图像中的各图像对应的环视图像特征图确定对应的鸟瞰空间特征图；将各鸟瞰空间特征图和鸟瞰图像特征图融合得到鸟瞰融合特征图，并根据鸟瞰融合特征图进行目标感知。
其中，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

[0053] 在一个实施例中，如图2所示，提供了一种目标感知方法，以该方法应用于图1中的车载终端为例进行说明，包括以下步骤：

[0054] 步骤202，获取图像采集设备采集得到的车身周围环境的环视多张图像。

[0055] 其中，图像采集设备可以指安装在车辆上的、用于进行图像采集的设备。该图像采集设备可以是鱼眼摄像头、广角相机、针孔摄像头等。车辆上的图像采集设备可以安装多个，如可以在车辆的前方、后方、左方和右方均安装图像采集设备，以采集得到车辆的前方、后方、左方和右方的相关图像。

[0056] 车身周围环境可以指车辆所处的环境，如具有自动驾驶功能的智能汽车102当前的周围环境。

[0057] 环视多张图像可以指用于表征车辆周围环境的图像，环视多张图像包括多张图像，每张图像负责感知相对自车固定方位的区域目标。

[0058] 示例性地，如当在车辆的前方、后方、左方、右方四个方向均安装了图像采集设备，则图像采集设备可以采集得到四个方向的四张图像。图像采集设备拍摄得到每张图像后，可以存储在本地的存储器中，也可以将每张图像通过网络发送至服务器104中，以将每张图像存储在服务器104的数据存储系统中，从而实现每张图像的存档备份，便于实时调取，也可以直接同步发送至车载终端中。车载终端可以通过网络或数据传输线直接获取图像采集设备实时采集得到的车身周围环境的环视多张图像（如分别表征前后左右4个方向的4张图像），车载终端还可以通过网络获取存储在服务器104的数据存储系统中的每张图像。

[0059] 如采集得到的4张图像可以如图3所示，图3中的front表示位于车辆前方部位拍摄得到的图像，rear表示位于车辆后方部位拍摄得到的图像，left表示位于车辆左方部位拍摄得到的图像，right表示位于车辆右方部位拍摄得到的图像。

[0060] 步骤204，根据环视多张图像确定对应的鸟瞰图像。

[0061] 其中，鸟瞰图像可以指车辆在鸟瞰空间，以鸟瞰图视角观察得到的图像。该鸟瞰图像与车辆所处的真实空间（如停车场等）成比例关系。

[0062] 示例性地，可以将环视多张图像先分别进行逆透视变换，然后拼接得到对应的鸟瞰图像。

[0063] 例如，图像采集设备采集了4张分辨率为800×1280的图像，其中800为高，1280为宽，可以对这4张图像以地面为假设平面进行逆透视变换，然后拼接得到分辨率为3360×2464的鸟瞰图像。鸟瞰图像中每个像素表示真实空间中的0.974厘米，用一个scale表示，即scale=0.974厘米，则3360×2464可以表示以车辆为中心，前后的长度各约16.3636米，左右的长度各约12米。

[0064] 例如，采集得到的4张图像可以如图3所示，则对应的拼接得到的鸟瞰图像可以如图4所示，图4中的黑色框体表示自车。

[0065] 在一些实施例中，步骤204包括但不限于：对环视多张图像进行逆透视变换，并拼接得到鸟瞰图像。

[0066] 其中，逆透视变换可以指逆透视映射（Inverse Perspective Mapping，IPM），指的是基于假设的相机成像逆过程。

[0067] 通过对环视多张图像分别进行逆透视变换，以拼接得到鸟瞰图像。

[0068] 例如，以地面为假设平面，然后采对环视4张图像先分别进行IPM算法，然后进行拼接，以得到对应的鸟瞰图像。

[0069] 步骤206，对环视多张图像中的各图像进行特征提取得到各图像对应的环视图像特征图。

[0070] 其中，环视图像特征图可以指用于表征环视多张图像中对应的图像所具有的特征。该环视图像特征图可以通过神经网络模型经过特征提取得到。每张图像对应的环视图像特征图在计算机中是一个高维矩阵，如C×48×80大小矩阵的特征图，其特征图大小为48×80，共48×80个特征位置，每个特征位置对应的C维数据表征了该特征位置的C维特征向量。其中，特征位置也可以理解为特征图的像素位置。

[0071] 示例性地，可以将环视多张图像输入神经网络中进行特征提取，得到用于表征环视多张图像中对应的图像所具有的特征的环视图像特征图。

[0072] 在一些实施例中，步骤“对环视多张图像中的各图像进行特征提取得到各图像对应的环视图像特征图”包括但不限于以下步骤：对环视多张图像中的各图像进行预处理，得到预处理后的环视多张图像，将预处理后的环视多张图像输入至神经网络中进行前向运算，并获取神经网络的输出，得到各图像对应的环视图像特征图。

[0073] 其中，预处理可以指在对环视多张图像进行特征提取之前，预先将环视多张图像处理为理想图像的过程。该理想图像能够兼顾算法计算量的合理性和有效的检测效果。预处理包括对图像的缩小处理等尺度变换，旋转处理、透视处理、颜色空间处理等数据增强，减均值除方差等归一化处理。当图像的分辨率过大时，可以通过对图像进行缩小处理，以降低图像分辨率，从而降低算法对图像处理时的计算量。在本申请实施例中，环视多张图像的分辨率均为800×1280，当每张图像的分辨率为800×1280时，可以对每张图像进行缩小处理，以降低算法每张图像处理时的计算量。

[0074] 示例性地，对每张图像进行缩小处理，得到预处理后的每张图像，然后将该预处理后的每张图像输入至神经网络中进行前向运算，得到每张图像对应的环视图像特征图。

[0075] 例如，可以使用卷积神经网络（CNN）提取得到每张图像的环视图像特征图。在每张图像进行特征提取时，卷积神经网络的结构和参数均相同。如每张图像的原始分辨率为800×1280，首先将每张图像缩小2倍，得到分辨率为400×640的图像，然后在按照缩小后的图像高度裁掉图像最下方的16个像素，得到分辨率为384×640的预处理后的每张图像，从而实现了对环视多张图像的预处理。预处理后的每张图像对应一个3×384×640的输入特征图，将每张图像对应的输入特征图输入至卷积神经网络中，经过卷积神经网络的前向运算，得到每张图像对应的C×48×80大小的环视图像特征图，其中，3对应图像本身在计算机中存储的RGB彩色图的 3个通道，C为通道数，也是经过特征提取后的特征位置的特征长度。

[0076] 通过首先将环视多张图像进行缩小2倍处理，从而适配后续卷积神经网络的计算量，同时又保证了图像的目标不至于模糊，从而保证了检测效果；通过将缩小后的图像最下方的像素进行裁剪，从而保证神经网络能够进行多次下采样（如一次下采样是从[384,640]到[192,320]，则为了得到48×80的环视特征图，需要下采样5次，384刚好能够整除32（2的5次方））。图像的坐标系是从左上角为原点，向右向下延伸的坐标系。其中，裁剪下方的像素并不改变图像每个像素的坐标，方便后续投影的计算，同时也能够去除图像下方对应的车辆顶盖的无效信息，避免了图像上方信息的丢失。

[0077] 步骤208，根据鸟瞰图像确定对应的鸟瞰图像特征图和鸟瞰空间三维栅格。

[0078] 其中，鸟瞰图像特征图可以指用于表征鸟瞰图像所具有的特征的高维矩阵。

[0079] 鸟瞰空间三维栅格定义了鸟瞰空间的感知范围，该鸟瞰空间三维栅格中包括了多个小立体单元格。

[0080] 示例性地，可以将鸟瞰图像对应的鸟瞰空间进行栅格初始化，得到鸟瞰图像对应的鸟瞰空间三维栅格，将鸟瞰图像输入至卷积神经网络中进行特征提取，得到对应的鸟瞰图像特征图。

[0081] 步骤210，根据鸟瞰空间三维栅格和环视多张图像中的各图像对应的环视图像特征图确定对应的鸟瞰空间特征图。

[0082] 其中，鸟瞰空间特征图可以指用于表征环视多张图像中各图像对应的环视图像特征图在鸟瞰空间中对应相机视场角的特征。在鸟瞰空间中，自车处在中心，在车身四周安装多个图像采集设备，如相机，每个相机有自己对应的视场角，即感知区域。因此，每张图像对应的环视图像特征图对应相机的视场角，每张图像对应的鸟瞰空间特征图对应鸟瞰空间的固定方位的特征。如，前视图像只能针对前视区域真实世界成像，前视图像对应的环视图像特征图对应前视区域的图像空间的特征，前视图像对应的鸟瞰空间特征图对应前视区域的鸟瞰空间的特征。

[0083] 示例性地，可以在鸟瞰空间三维栅格中确定各单元格的坐标，然后将单元格的中心坐标投影到每张图像中，再根据投影到每张图像中的坐标在每张图像对应的环视图像特征图中进行采样，得到每张图像对应的鸟瞰空间特征图。

[0084] 步骤212，将各鸟瞰空间特征图和鸟瞰图像特征图融合得到鸟瞰融合特征图，并根据鸟瞰融合特征图进行目标感知。

[0085] 其中，融合可以指特征融合，用于将不同特征向量或特征图所携带的特征融合到同一个目标特征向量或特征图中，以使融合得到的目标特征向量或特征图具有融合前所有特征向量或特征图所携带的特征。

[0086] 鸟瞰融合特征图可以指融合了环视多张图像中各图像对应的鸟瞰空间特征图所具有的特征信息和鸟瞰图像特征图所具有的特征信息后的特征。该鸟瞰融合特征图不仅包含了每张图像自身所拥有丰富的语义信息，还包括了鸟瞰图像特征图中所携带的鸟瞰空间的目标线索（如目标在鸟瞰空间的粗糙位置、类别等）。

[0087] 示例性地，可以将每张图像对应的鸟瞰空间特征图先进行均值处理，得到一个处理后的鸟瞰空间特征图；将所述处理后的鸟瞰空间特征图进行拉直和卷积压缩处理，得到压缩后的鸟瞰空间特征图；然后将所述压缩后的鸟瞰空间特征图和所述鸟瞰图像特征图融合得到对应的鸟瞰融合特征图，并根据鸟瞰融合特征图进行目标感知，如可以进行目标检测、地图分割、运动规划等感知任务。

[0088] 如在进行目标检测时，可以包括训练阶段和推理阶段，其中：

[0089] 训练阶段包括：将鸟瞰融合特征图输入至第二阶段卷积神经网络（对环视多张图像进行处理的神经网络和对鸟瞰图像进行处理的神经网络统称为第一阶段神经网络）中进行前向运算，并获取第二阶段卷积神经网络的输出结果，然后将输出结果和目标检测任务对应输入的标注进行监督学习，计算对应的监督损失；其中，标注信息包含了目标的位置信息和类别信息。根据监督损失利用反向传播算法对第一阶段和第二阶段卷积神经网络的参数进行更新，得到训练好的卷积神经网络。

[0090] 推理阶段包括：将环视多张图像和环视多张图像拼接出的鸟瞰图像输入至训练好的卷积神经网络中，得到对应的输出结果。对输出结果进行解码处理，得到车辆、行人等目标的位置信息和类别信息，其中，位置信息对应了真实世界度量的BEV空间位置，从而实现了目标检测。

[0091] 本申请实施例的目标感知算法，通过根据鸟瞰空间三维栅格、环视多张图像中的各图像对应的环视图像特征图确定对应的鸟瞰空间特征图，然后再将各鸟瞰空间特征图和鸟瞰图像特征图融合得到鸟瞰融合特征图，使得鸟瞰融合特征图不仅包含了图像自身丰富的语义信息，也包含了鸟瞰图像携带的鸟瞰空间的目标线索（如目标在鸟瞰空间的粗糙位置、类别等），从而便于准确地实现目标的定位，进而提高了目标感知的准确性。

[0092] 请参见图5，在一些实施例中，步骤“根据鸟瞰图像确定对应的鸟瞰图像特征图和鸟瞰空间三维栅格”包括但不限于以下步骤：

[0093] 步骤502，确定鸟瞰图像的感知范围。

[0094] 其中，感知范围可以指鸟瞰图像的分辨率对应真实空间中的范围。

[0095] 例如，鸟瞰图像的分辨率为3360×2464，鸟瞰图像中每个像素对应于真实空间中0.974厘米，则以车辆为中心，对应的感知范围为前后各16.3636米，左右各12米，即以车辆为中心，对应的感知范围为[‑16.3636，16.3636]，[‑12，12]。

[0096] 步骤504，基于感知范围确定空间立方体，并对空间立方体进行切割，得到鸟瞰空间三维栅格。

[0097] 示例性地，以车辆为原点建立车身的三维坐标系，y轴正方向朝向车辆的正前方，x轴正方向朝向车辆的左方，z轴正方向朝向车辆的上方，xy平面与车辆所在地面平行。然后根据感知范围，构建空间立方体，并基于预设的体素单位对空间立方体进行切割，得到对应的鸟瞰空间三维栅格。

[0098] 例如，请参见图6，图6为一个实施例中提供的鸟瞰三维空间栅格的示意图。图6中一个小立方体代表一个单元格。当感知范围为感知范围为[‑16.3636,16.3636]，[‑12,12]时，可以以车辆为原点，按照x∈[‑12,12]，y∈[‑16.3636,16.3636]，z∈[‑1.5,2.5]的范围形成空间立方体，然后以体素单位对空间立方体进行切割，得到一个近似的120×88×4的鸟瞰空间三维栅格，其中体素单位为（28×scale，28×scale，1），scale=0.974厘米。鸟瞰空间三维栅格中包括多个单元格，各单元格的x方向和y方向长度均为28×scale，z方向长度为1，一共120×88×4个单元格。

[0099] 步骤506，对鸟瞰图像进行预处理，得到鸟瞰预处理图像。

[0100] 其中，预处理可以指对鸟瞰图像进行的预先处理，该预处理能够将鸟瞰图像处理为兼顾算法计算量的合理性和有效的检测效果的鸟瞰预处理图像。预处理包括对图像缩小处理等尺度变换，还包括旋转处理、透视处理、颜色空间处理等数据增强，减均值除方差等归一化处理。当图像的分辨率过大时，可以通过对图像进行缩小处理，以降低图像分辨率，从而降低算法对图像处理时的计算量。

[0101] 鸟瞰预处理图像可以指进行预处理后的鸟瞰图像。

[0102] 示例性地，在本申请实施例中，鸟瞰图像的分辨率较大，需要将鸟瞰图像进行缩小处理，从而实现对鸟瞰图像的预处理，得到对应的鸟瞰预处理图像。

[0103] 例如，鸟瞰图像的原始分辨率为3360×2464，缩小7倍后得到的鸟瞰预处理图像的分辨率为408×352。

[0104] 步骤508，将鸟瞰预处理图像进行特征提取，得到鸟瞰图像特征图。

[0105] 其中，特征提取可以提取鸟瞰图像中的特征，提取的特征包含图像的纹理、语义等特征。由于鸟瞰预处理图像是鸟瞰图像预处理后得到的，因此，鸟瞰图像特征包含了鸟瞰图像中的纹理、语义等抽象特征。

[0106] 示例性地，可以将鸟瞰预处理图像输入到卷积神经网络中，通过卷积神经网络进行前向运算，从而实现对鸟瞰预处理图像的特征提取，得到对应的鸟瞰图像特征图。

[0107] 例如，鸟瞰预处理图像的分辨率为480×352的分辨率，其输入为3×480×352的输入特征图，3对应彩色图像本身的3通道。将输入特征图通过卷积神经网络进行卷积处理后，得到一个C×120×88的鸟瞰图像特征图。其中，C指的是通道数。

[0108] 需要说明的是，对鸟瞰预处理图像进行处理的卷积神经网络和对环视多张图像进行处理的卷积神经网络的模型参数不同。

[0109] 本申请实施例的技术方案，通过确定鸟瞰图像的感知范围，从而确定空间立方体，进而切割得到鸟瞰空间三维栅格，该三维栅格定义了将环视多张图像提取到的图像特征从图像空间转换到了与真实世界成比例的鸟瞰空间的位置，从而实现可以直接在鸟瞰空间做目标感知，从而让汽车更好的感知周围环境。通过对鸟瞰图像进行预处理和特征提取，得到鸟瞰图像特征图，便于实现鸟瞰图像特征图和每张图像对应的鸟瞰空间特征图的特征融合，得到对应的鸟瞰融合特征图，提高了目标感知的准确性。

[0110] 请参见图7，在一些实施例中，步骤“根据鸟瞰空间三维栅格和环视多张图像中各图像对应的环视图像特征图确定对应的鸟瞰空间特征图”包括但不限于以下步骤：

[0111] 步骤702，确定鸟瞰空间三维栅格中各单元格中心点的三维坐标。

[0112] 其中，单元格中心点可以指单元格的几何中心。如当单元格为小立方体或长方体时，该单元格中心点可以是单元格的体心。

[0113] 示例性地，首先找到各个单元格的中心点，然后根据前述步骤建立的三维坐标系，得到各个单元格中心点对应的三维坐标。

[0114] 步骤704，基于所述图像采集设备预先标定的标定参数和映射参数，将各单元格中心点的三维坐标分别投影至各环视图像特征图上，得到对应的投影像素坐标。

[0115] 其中，映射参数可以指用于表征环视多张图像中的各图像和对应的特征图之间的缩放关系，该缩放关系包含了图像预处理时的缩小倍数和神经网络在特征提取时下采样倍数。映射参数可以是预先设置在终端或者服务器中的，也可以是根据实际情况计算得到的。

[0116] 例如，环视多张图像中的每张图像的分辨率为800×1280，对每张图像进行预处理时，对图像缩小了2倍，得到400×640的图像，经过不影响像素坐标的裁剪步骤得到384×640的图像，该图像输入到神经网络模型得到48×80大小的特征图，神经网络模型下采样了
8倍，因此对应的映射参数为1÷(2×8)=1/16。

[0117] 标定参数包含了图像采集设备内参和外参，图像采集设备内参和外参均是预先标定好的参数。例如，当图像采集设备为相机时，标定参数包括相机的内参和外参，相机内参可以用于相机坐标系下的三维坐标投影到图像上的像素坐标系的计算。相机外参可以用于车身坐标系下的三维坐标投影到相机坐标系的三维坐标的计算。

[0118] 示例性地，首先根据标定的相机外参将所有的单元格中心点的三维坐标分别投影到每个相机的相机坐标系下得到相机坐标系下的三维坐标，然后根据相机内参将相机坐标系下的三维坐标投影到图像坐标系得到图像坐标系下的像素坐标，最后根据映射参数将图像坐标系下的像素坐标系计算出对应的环视图像特征图上的像素坐标，确定每张图像对应的环视图像特征图上的像素坐标为每张图像对应的投影像素坐标。

[0119] 步骤706，根据各投影像素坐标和环视图像特征图进行特征采样，得到对应的鸟瞰空间特征图。

[0120] 其中，投影像素坐标的个数与鸟瞰空间三维栅格的单元格个数是一样的，且每个投影像素坐标一般为浮点数。特征采样可以指特征图中所携带的特征进行进一步筛选和提取的处理方式。如双线性插值、近邻插值等。

[0121] 示例性地，拿一张图像对应的单个投影像素坐标来说，首先根据其投影像素坐标系从和图像对应的环视图像特征图上使用双线性插值算法进行计算得到该投影像素坐标对应的C维特征向量，该特征向量作为对应投影像素坐标的原始鸟瞰空间三维栅格的单元格的特征向量。这样，对于一张图的所有投影像素坐标来说，每个单元格得到一个C维特征向量，共120×88×4个单元格，这样可以形成一个C×120×88×4的鸟瞰空间特征图。4张图像则得到4个对应的C×120×88×4的鸟瞰空间特征图，其数据形态为4×C×120×80×4。其中，第一个4代表4张图像，第二个4表示该鸟瞰空间特征图按高度分为4层，C表示通道数。

[0122] 可以理解的是，鸟瞰空间三维栅格的所有单元格的中心点分别投影到每张图像对应的环视图像特征图上获取对应的特征向量，从而得到每张图像对应的鸟瞰空间特征图。对于一张图像来说，并不是所有单元格中心点投影到该图像对应的环视图像特征图上都是有效的。拿前视图像来说，前视相机只能针对前视区域一定视野内的真实世界成像，因此只有鸟瞰空间三维栅格的前视一定区域内的单元格中心点才能投影到前视图像对应的环视图像特征图上获取到特征向量，此时其他无效的单元格中心点则被初始化为全0的C为特征向量。

[0123] 可以理解的是，4个对应的C×120×88×4的鸟瞰空间特征图，前视图像对应的鸟瞰空间特征图只有特征图上方区域才获取到有效的特征向量，左视图像对应的鸟瞰空间特征图只有特征图左方区域才获取到有效的特征向量，右视图像对应的鸟瞰空间特征图只有特征图右方区域才获取到有效的特征向量，后视图像对应的鸟瞰空间特征图只有特征图后方区域才获取到有效的特征向量。

[0124] 本申请实施例的技术方案，通过标定参数、映射参数，确定鸟瞰空间中的三维坐标到环视图像特征图上的投影坐标，通过投影采样从而能够实现将环视图像特征图中的特征从图像空间转移到鸟瞰空间，得到鸟瞰空间特征图，利用该特征图可以直接在鸟瞰空间做目标感知，提升了汽车感知周围环境的直接性和便利性。

[0125] 请参见图8，在一些实施例中，步骤“将每张图像对应的鸟瞰空间特征图和鸟瞰图像特征图融合得到鸟瞰融合特征图，并根据鸟瞰融合特征图进行目标感知”包括但不限于以下步骤：

[0126] 步骤802，将鸟瞰空间特征图进行均值处理，得到处理后的鸟瞰空间特征图。

[0127] 示例性地，首先获取表征相机个数的数据维度，然后基于该数据维度做均值处理，最后变维得到处理后的鸟瞰空间特征图。

[0128] 例如，每张图像对应的鸟瞰空间特征图数据形态为4×C×120×88×4的特征图，首先按照第一个维度（表征相机个数的数据维度）计算均值，得到C×120×88×4的特征图，然后再进行变维处理，得到C×4×120×88的处理后的鸟瞰空间特征图。

[0129] 步骤804，将处理后的鸟瞰空间特征图进行拉直和卷积压缩处理，得到压缩后的空间特征图。

[0130] 示例性地，首先将处理后的鸟瞰空间特征图进行拉直处理，得到一个高维特征图，再进行卷积压缩处理，得到压缩后的空间特征图。

[0131] 例如，在得到C×4×120×88的处理后的鸟瞰空间特征图后，首先将该空间特征图拉直得到（C×4）×120×88的特征图，其中，C×4属于高维特征，然后通过1×1的卷积压缩成C维特征，得到一个C×120×88的压缩后的鸟瞰空间特征图。

[0132] 步骤806，将压缩后的鸟瞰空间特征图和鸟瞰图像特征图融合得到鸟瞰融合特征图。

[0133] 示例性地，可以将压缩后的鸟瞰空间特征图和鸟瞰图像特征图进行通道拼接，以融合得到鸟瞰融合特征图。

[0134] 例如，压缩后的鸟瞰空间特征图的大小为C×120×88，其每个特征点对应真实空间的尺度为：（28×scale，28×scale），即表征的范围为前后16.3636米，左右12米。而鸟瞰图像的原始分辨率为3360×2464，一个像素点代表真实空间的scale=0.974厘米，计算后二者范围一致，并且鸟瞰图像特征图的大小为C×120×88，二者对应在真实空间的尺度一致，因此鸟瞰图像特征图和压缩后的空间特征图是对齐的，可以直接进行通道拼接，以融合得到鸟瞰融合特征图，该鸟瞰融合特征图的大小为2C×120×88。

[0135] 本申请实施例的技术方案，通过将投影到图像空间进行特征采样得到的鸟瞰空间特征图和鸟瞰图像特征图进行通道拼接处理，以融合得到鸟瞰融合特征图，使得鸟瞰融合特征图既包含了环视多张图像中丰富的语义信息，又包含了鸟瞰图像中的目标线索（如目标在鸟瞰空间的粗糙位置、类别等），从而提高了目标感知的准确性。

[0136] 在一些实施例中，步骤“将压缩后的鸟瞰空间特征图和鸟瞰图像特征图融合得到鸟瞰融合特征图”包括但不限于以下步骤：将压缩后的鸟瞰空间特征图和鸟瞰图像特征图进行通道拼接，得到鸟瞰融合特征图。

[0137] 示例性地，在压缩后的鸟瞰空间特征图和鸟瞰图像特征图进行融合时，采取的操作是通道拼接，因此，将压缩后的鸟瞰空间特征图和鸟瞰图像特征图进行通道拼接，得到鸟瞰融合特征图。

[0138] 请参见图9，在一些实施例中，提供了一种目标感知方法，包括但不限于以下步骤：

[0139] 步骤902，获取图像采集设备采集得到的车身周围环境的环视多张图像。

[0140] 步骤904，对环视多张图像分别进行逆透视变换，并拼接得到鸟瞰图像。

[0141] 步骤906，确定鸟瞰图像的感知范围。

[0142] 步骤908，基于感知范围确定空间立方体，并对空间立方体进行切割，得到鸟瞰空间三维栅格。

[0143] 步骤910，对鸟瞰图像进行预处理，得到鸟瞰预处理图像。

[0144] 步骤912，将鸟瞰预处理图像进行特征提取，得到鸟瞰图像特征图。

[0145] 步骤914，对环视多张图像中的各图像进行特征提取得到各图像对应的环视图像特征图。

[0146] 步骤916，确定鸟瞰空间三维栅格中各单元格中心点的三维坐标。

[0147] 步骤918，基于所述图像采集设备预先标定的标定参数、映射参数，将各单元格中心点的三维坐标分别投影至各环视图像特征图上，得到对应的投影像素坐标。

[0148] 步骤920，根据各投影像素坐标和环视图像特征图进行特征采样，得到对应的鸟瞰空间特征图。

[0149] 步骤922，将鸟瞰空间特征图进行均值处理，得到处理后的鸟瞰空间特征图。

[0150] 步骤924，将处理后的鸟瞰空间特征图进行拉直和卷积压缩处理，得到压缩后的空间特征图。

[0151] 步骤926，将压缩后的鸟瞰空间特征图和鸟瞰图像特征图进行通道拼接，得到鸟瞰融合特征图。

[0152] 具体地，步骤902 步骤926的具体步骤请参见图1至图8的实施例，在此不再赘述。~

[0153] 本申请实施例的技术方案，通过将鸟瞰图像和环视多张图像均进行预处理，使得对应的预处理后的图像能够兼顾算法对图像处理时具有一定的检测效果和算法合理的计算量；通过所述图像采集设备预先标定的标定参数、映射参数，将各单元格中心点的三维坐标分别投影至每张图像对应的环视图像特征图上，得到对应的投影像素坐标，从而便于根据投影像素坐标将每张图像提取到的环视图像特征从图像空间转换到了与真实世界成比例的鸟瞰空间，便于直接在鸟瞰空间做目标感知，提升了汽车感知周围环境的直接性和便利性；通过将各鸟瞰空间特征图和鸟瞰图像特征图进行融合，得到鸟瞰融合特征图，使得鸟瞰融合特征图包含了每张图像自身所拥有丰富的语义信息，还包括了鸟瞰图像特征图中所携带的鸟瞰空间的目标线索（如目标在鸟瞰空间的粗糙位置、类别等），从而便于准确地实现目标的定位，进而提高了目标感知的准确性。

[0154] 应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

[0155] 基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的目标感知方法的目标感知装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似。

[0156] 在一个实施例中，如图10所示，提供了一种目标感知装置，包括：图像获取模块1002、鸟瞰图像确定模块1004、提取模块1006、处理模块1008、特征确定模块1010和融合模块1012，其中：

[0157] 图像获取模块1002，用于获取图像采集设备采集得到的车身周围环境的环视多张图像。

[0158] 鸟瞰图像确定模块1004，用于根据环视多张图像确定对应的鸟瞰图像。

[0159] 提取模块1006，用于对环视多张图像中的各图像进行特征提取得到各图像对应的环视图像特征图。

[0160] 处理模块1008，用于根据鸟瞰图像确定对应的鸟瞰图像特征图和鸟瞰空间三维栅格。

[0161] 特征确定模块1010，用于根据鸟瞰空间三维栅格和环视多张图像中的各图像对应的环视图像特征图确定对应的鸟瞰空间特征图。

[0162] 融合模块1012，用于将各鸟瞰空间特征图和鸟瞰图像特征图融合得到鸟瞰融合特征图，并根据鸟瞰融合特征图进行目标感知。

[0163] 在一些实施例中，处理模块1008还用于确定鸟瞰图像的感知范围；基于感知范围确定空间立方体，并对空间立方体进行切割，得到鸟瞰空间三维栅格；对鸟瞰图像进行预处理，得到鸟瞰预处理图像；将鸟瞰预处理图像进行特征提取，得到鸟瞰图像特征图。

[0164] 在一些实施例中，特征确定模块1010还用于确定鸟瞰空间三维栅格中各单元格中心点的三维坐标；基于所述图像采集设备预先标定的标定参数和映射参数，将各单元格中心点的三维坐标分别投影至各环视图像特征图上，得到对应的投影像素坐标；根据投影像素坐标和环视图像特征图进行特征采样，得到对应的鸟瞰空间特征图。

[0165] 在一些实施例中，融合模块1012还用于将鸟瞰空间特征图进行均值处理，得到处理后的鸟瞰空间特征图；将处理后的鸟瞰空间特征图进行拉直和卷积压缩处理，得到压缩后的鸟瞰空间特征图；将压缩后的鸟瞰空间特征图和鸟瞰图像特征图融合得到鸟瞰融合特征图。

[0166] 在一些实施例中，融合模块1012还用于将压缩后的鸟瞰空间特征图和鸟瞰图像特征图进行通道拼接，得到鸟瞰融合特征图。

[0167] 在一些实施例中，鸟瞰图像确定模块1004还用于对环视多张图像分别进行逆透视变换，并拼接得到鸟瞰图像。

[0168] 上述目标感知装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

[0169] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种目标感知方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

[0170] 本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0171] 在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取图像采集设备采集得到的车身周围环境的环视多张图像；根据环视多张图像确定对应的鸟瞰图像；对环视多张图像中的各图像进行特征提取得到各图像对应的环视图像特征图；根据鸟瞰图像确定对应的鸟瞰图像特征图和鸟瞰空间三维栅格；根据鸟瞰空间三维栅格和环视多张图像中的各图像对应的环视图像特征图确定对应的鸟瞰空间特征图；将各鸟瞰空间特征图和鸟瞰图像特征图融合得到鸟瞰融合特征图，并根据鸟瞰融合特征图进行目标感知。

[0172] 在一个实施例中，处理器执行计算机程序时还实现以下步骤：确定鸟瞰图像的感知范围；基于感知范围确定空间立方体，并对空间立方体进行切割，得到鸟瞰空间三维栅格；对鸟瞰图像进行预处理，得到鸟瞰预处理图像；将鸟瞰预处理图像进行特征提取，得到鸟瞰图像特征图。

[0173] 在一个实施例中，处理器执行计算机程序时还实现以下步骤：确定鸟瞰空间三维栅格中各单元格中心点的三维坐标；基于图像采集设备预先标定的标定参数和映射参数，将各单元格中心点的三维坐标分别投影至环视图像特征图上，得到对应的投影像素坐标；根据各投影像素坐标和环视图像特征图进行特征采样，得到对应的鸟瞰空间特征图。

[0174] 在一个实施例中，处理器执行计算机程序时还实现以下步骤：将鸟瞰空间特征图进行均值处理，得到处理后的鸟瞰空间特征图；将处理后的鸟瞰空间特征图进行拉直和卷积压缩处理，得到压缩后的鸟瞰空间特征图；将压缩后的鸟瞰空间特征图和鸟瞰图像特征图融合得到鸟瞰融合特征图。

[0175] 在一个实施例中，处理器执行计算机程序时还实现以下步骤：将压缩后的鸟瞰空间特征图和鸟瞰图像特征图进行通道拼接，得到鸟瞰融合特征图。

[0176] 在一个实施例中，处理器执行计算机程序时还实现以下步骤：对环视多张图像分别进行逆透视变换，并拼接得到鸟瞰图像。

[0177] 在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取图像采集设备采集得到的车身周围环境的环视多张图像；根据环视多张图像确定对应的鸟瞰图像；对环视多张图像中的各图像进行特征提取得到各图像对应的环视图像特征图；根据鸟瞰图像确定对应的鸟瞰图像特征图和鸟瞰空间三维栅格；根据鸟瞰空间三维栅格和环视图像中各图像对应的环视图像特征图确定每张图像对应的鸟瞰空间特征图；将各鸟瞰空间特征图和鸟瞰图像特征图融合得到鸟瞰融合特征图，并根据鸟瞰融合特征图进行目标感知。

[0178] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：确定鸟瞰图像的感知范围；基于感知范围确定空间立方体，并对空间立方体进行切割，得到鸟瞰空间三维栅格；对鸟瞰图像进行预处理，得到鸟瞰预处理图像；将鸟瞰预处理图像进行特征提取，得到鸟瞰图像特征图。

[0179] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：确定鸟瞰空间三维栅格中各单元格中心点的三维坐标；基于图像采集设备预先标定的标定参数和映射参数，将各单元格中心点的三维坐标分别投影至环视图像特征图上，得到对应的投影像素坐标；根据各投影像素坐标和环视图像特征图进行特征采样，得到对应的鸟瞰空间特征图。

[0180] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将鸟瞰空间特征图进行均值处理，得到处理后的鸟瞰空间特征图；将处理后的鸟瞰空间特征图进行拉直和卷积压缩处理，得到压缩后的鸟瞰空间特征图；将压缩后的鸟瞰空间特征图和鸟瞰图像特征图融合得到鸟瞰融合特征图。

[0181] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将压缩后的鸟瞰空间特征图和鸟瞰图像特征图进行通道拼接，得到鸟瞰融合特征图。

[0182] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对环视多张图像分别进行逆透视变换，并拼接得到鸟瞰图像。

[0183] 在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：获取图像采集设备采集得到的车身周围环境的环视多张图像；根据环视多张图像确定对应的鸟瞰图像；对环视多张图像中的各图像进行特征提取得到各图像对应的环视图像特征图；根据鸟瞰图像确定对应的鸟瞰图像特征图和鸟瞰空间三维栅格；根据鸟瞰空间三维栅格和环视多张图像中的各图像对应的环视图像特征图确定对应的鸟瞰空间特征图；将各鸟瞰空间特征图和鸟瞰图像特征图融合得到鸟瞰融合特征图，并根据鸟瞰融合特征图进行目标感知。

[0184] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：确定鸟瞰图像的感知范围；基于感知范围确定空间立方体，并对空间立方体进行切割，得到鸟瞰空间三维栅格；对鸟瞰图像进行预处理，得到鸟瞰预处理图像；将鸟瞰预处理图像进行特征提取，得到鸟瞰图像特征图。

[0185] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：确定鸟瞰空间三维栅格中各单元格中心点的三维坐标；基于图像采集设备预先标定的标定参数和映射参数，将各单元格中心点的三维坐标分别投影至环视图像特征图上，得到对应的投影像素坐标；根据各投影像素坐标和环视图像特征图进行特征采样，得到对应的鸟瞰空间特征图。

[0186] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将鸟瞰空间特征图进行均值处理，得到处理后的鸟瞰空间特征图；将处理后的鸟瞰空间特征图进行拉直和卷积压缩处理，得到压缩后的空间特征图；将压缩后的鸟瞰空间特征图和鸟瞰图像特征图融合得到鸟瞰融合特征图。

[0187] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将压缩后的鸟瞰空间特征图和鸟瞰图像特征图进行通道拼接，得到鸟瞰融合特征图。

[0188] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对环视多张图像分别进行逆透视变换，并拼接得到鸟瞰图像。

[0189] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read‑Only Memory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

[0190] 以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

[0191] 以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。