车辆检测的方法、装置及计算机可读存储介质

摘要

本发明公开了一种车辆检测的方法、装置及计算机可读存储介质，属于无人驾驶车辆的技术领域。该方法包括：通过获取的至少一个第一全景图像样本以及每个第一全景图像样本中至少一个第一车辆图像的标签、第一网络以及第二网络可以训练得到第二车辆检测模型。该第二车辆检测模型用于对目标全景图像样本进行检测，得到目标全景图像样本中至少一个待检测车辆图像的标签，该至少一个待检测车辆图像中包含至少一个发生尺度变化的待检测车辆图像。本发明通过第一网络和第二网络的联合训练出了第二车辆检测模型，并通过第二车辆检测模型可以准确地检测出该目标全景图像样本中至少一个发生尺度变化的待检测车辆图像的标签，提高车辆检测的精度。

权利要求

1.一种车辆检测的方法，其特征在于，应用于终端，所述方法包括：

获取至少一个第一全景图像样本，得到第一全景图像数据集，所述第一全景图像样本为通过所述终端上的全景摄像机拍摄得到的图像，所述第一全景图像样本中包括至少一个第一车辆图像；

确定每个第一全景图像样本中至少一个第一车辆图像的标签，所述标签包括所述至少一个第一车辆图像的类别信息和位置信息，所述至少一个第一车辆图像的位置信息为用于标注所述至少一个第一车辆图像的至少一个矩形框的位置信息；

通过所述每个第一全景图像样本，以及所述每个第一全景图像样本中至少一个第一车辆图像的标签，对第一网络进行训练，得到第一车辆检测模型；

通过所述每个第一全景图像样本、所述每个第一全景图像样本中至少一个第一车辆图像的标签以及所述第一车辆检测模型，对第二网络进行训练，得到第二车辆检测模型，所述第二网络用于对所述每个第一全景图像样本中至少一个第一车辆图像进行尺度变化，所述尺度变化包括缩放变化、倾斜变化和/或裁剪变化，所述第二网络的第一个卷积层与所述第一网络的全连接层连接；

其中，所述第二车辆检测模型用于对目标全景图像样本进行检测，得到所述目标全景图像样本中至少一个待检测车辆图像的标签，所述至少一个待检测车辆图像中包含至少一个发生尺度变化的待检测车辆图像，所述目标全景图像样本为对无人驾驶车辆的周围环境进行拍摄得到的图像样本。

2.如权利要求1所述的方法，其特征在于，所述第二网络包括第一子网络和第二子网络，所述第一子网络的最后一个池化层与所述第二子网络的第一个卷积层连接；

所述通过所述每个第一全景图像样本、所述每个第一全景图像样本中至少一个第一车辆图像的标签以及所述第一车辆检测模型，对第二网络进行训练，得到第二车辆检测模型，包括：对于所述每个第一全景图像样本，将所述第一全景图像样本、所述第一全景图像样本中至少一个第一车辆图像的标签以及所述第一车辆检测模型输入至所述第一子网络中，并接收所述第一子网络的最后一个池化层输出的与所述第一全景图像样本对应的车辆特征图、所述车辆特征图中至少一个第二车辆图像的标签以及第三车辆检测模型，所述车辆特征图用于表示所述至少一个第二车辆图像的特征；

将通过所述第一子网络得到的至少一个车辆特征图通过所述第二子网络的第一个卷积层输入至所述第二子网络中，通过所述第二子网络对所述至少一个车辆特征图进行尺度变化，得到至少一个形变车辆特征图，每个形变车辆特征图中包括的至少一个第三车辆图像为发生尺度变化的车辆图像，所述第三车辆图像的标签与所述第二车辆图像的标签相同；

通过所述至少一个形变车辆特征图、每个形变车辆特征图中至少一个第三车辆图像的标签以及所述第三车辆检测模型，对所述第二子网络进行训练，得到所述第二车辆检测模型，所述第二车辆检测模型用于检测发生尺度变化的待检测车辆图像的标签。

3.如权利要求1所述的方法，其特征在于，所述第二车辆检测模型用于对目标全景图像样本进行检测，得到所述目标全景图像样本中至少一个待检测车辆图像的标签，包括：将所述目标全景图像样本输入至所述第二车辆检测模型，并接收所述第二车辆检测模型输出的所述目标全景图像样本中至少一个待检测车辆图像的类别信息和位置信息，所述至少一个待检测车辆图像的位置信息为用于标注所述至少一个待检测车辆图像的至少一个立方体框的位置信息；

将所述至少一个待检测车辆图像的类别信息和位置信息确定为所述至少一个待检测车辆图像的标签。

4.如权利要求3所述的方法，其特征在于，接收所述第二车辆检测模型输出的所述目标全景图像样本中至少一个待检测车辆图像的位置信息，包括：确定当所述目标全景图像样本呈现圆柱形时，包括的至少一个待检测车辆图像的圆柱坐标；

根据所述圆柱坐标确定所述至少一个待检测车辆图像的经度和纬度，所述经度和纬度用于表示将圆柱形的目标全景图像样本展开成矩形的全景图像样本时，所述矩形的全景图像样本中至少一个待检测车辆图像的位置信息；

将所述经度和所述纬度转换成空间转换坐标；

根据所述空间转换坐标确定所述至少一个待检测车辆图像的实际三维坐标，并将所述实际三维坐标确定为所述至少一个待检测车辆图像的位置信息。

5.如权利要求4所述的方法，其特征在于，所述无人驾驶车辆上安装有全景摄像机，所述将所述经度和所述纬度转换成空间转换坐标，包括：根据所述矩形的全景图像样本的水平宽度确定所述矩形的全景图像样本的角度分辨率；

根据所述角度分辨率、所述全景摄像机的第一内置参数和第二内置参数确定所述矩形的全景图像样本对应的转置矩阵；

根据所述转置矩阵、所述经度和所述纬度确定所述空间转换坐标。

6.如权利要求5所述的方法，其特征在于，所述根据所述矩形的全景图像样本的水平宽度确定所述矩形的全景图像样本的角度分辨率，包括：根据所述矩形的全景图像样本的水平宽度，通过如下第一公式确定所述矩形的全景图像样本的角度分辨率：第一公式：

其中，γ为所述角度分辨率，w为所述矩形的全景图像样本的水平宽度。

7.如权利要求5所述的方法，其特征在于，所述根据所述空间转换坐标确定所述至少一个待检测车辆图像的实际三维坐标，包括：获取所述第二网络中的第一子网络中的候选区域网络RPN矩形框高度，所述RPN矩形框高度为所述第一子网络中的RPN层输出的用于标注第二车辆图像的矩形框的高度；

根据所述RPN矩形框高度和所述矩形的全景图像样本的角度分辨率，确定第一参数；

根据所述空间转换坐标、所述矩形的全景图像样本对应的转置矩阵和所述第一参数，确定所述至少一个待检测车辆图像的实际三维坐标。

8.如权利要求7所述的方法，其特征在于，所述根据所述RPN矩形框高度和所述矩形的全景图像样本的角度分辨率，确定第一参数，包括：根据所述RPN矩形框高度和所述矩形的全景图像样本的角度分辨率，通过如下第二公式确定所述第一参数：第二公式：r＝γh

其中，r为所述第一参数，γ为所述角度分辨率，h为所述RPN矩形框高度。

9.一种车辆检测的装置，其特征在于，应用于终端，所述装置包括：

获取模块，用于获取至少一个第一全景图像样本，得到第一全景图像数据集，所述第一全景图像样本为通过所述终端上的全景摄像头拍摄得到的图像，所述第一全景图像样本中包括至少一个第一车辆图像；

第一确定模块，用于确定每个第一全景图像样本中至少一个第一车辆图像的标签，所述标签包括所述至少一个第一车辆图像的类别信息和位置信息，所述至少一个第一车辆图像的位置信息为用于标注所述至少一个第一车辆图像的至少一个矩形框的位置信息；

第一训练模块，用于通过所述每个第一全景图像样本，以及所述每个第一全景图像样本中至少一个第一车辆图像的标签，对第一网络进行训练，得到第一车辆检测模型；

第二训练模块，用于通过所述每个第一全景图像样本、所述每个第一全景图像样本中至少一个第一车辆图像的标签以及所述第一车辆检测模型，对第二网络进行训练，得到第二车辆检测模型，所述第二网络用于对所述每个第一全景图像样本中至少一个第一车辆图像进行尺度变化，所述尺度变化包括缩放变化、倾斜变化和/或裁剪变化，所述第二网络的第一个卷积层与所述第一网络的全连接层连接；

其中，所述第二车辆检测模型用于对目标全景图像样本进行检测，得到所述目标全景图像样本中至少一个待检测车辆图像的标签，所述至少一个待检测车辆图像中包含至少一个发生尺度变化的待检测车辆图像，所述目标全景图像样本为对无人驾驶车辆的周围环境进行拍摄得到的图像样本。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现权利要求1-8任一项所述的方法的步骤。

说明书

车辆检测的方法、装置及计算机可读存储介质

技术领域

[0001] 本发明涉及无人驾驶车辆的技术领域，特别涉及一种车辆检测的方法、装置及计算机可读存储介质。

背景技术

[0002] 无人驾驶车辆是一种新型的智能车辆，通常通过安装的摄像机采集无人驾驶车辆的周围环境中的图像，并由CPU通过车辆检测模型(Central Processing Unit，中央处理单元)对采集的图像进行处理，进而控制无人驾驶车辆进行全自动驾驶，达到车辆无人驾驶的目的。

[0003] 目前的车辆检测模型是基于Faster  R-CNN(Faster  Regions  with Convolutional Neural Network，快速深度卷积神经网络)训练得到。然而，当无人驾驶车辆的周围环境中的车辆的运行速度较快时，摄像机采集的图像中的车辆图像的尺度容易发生变化，而基于Faster R-CNN训练得到的车辆检测模型无法从发生尺度变化的车辆图像中准确地检测出车辆图像的标签，造成车辆检测的精度较低。

发明内容

[0004] 为了解决现有技术的问题，本发明实施例提供了一种车辆检测的方法、装置及计算机可读存储介质。所述技术方案如下：

[0005] 第一方面，提供了一种车辆检测的方法，所述方法包括：

[0006] 获取至少一个第一全景图像样本，得到第一全景图像数据集，所述第一全景图像样本为通过所述终端上的全景摄像机拍摄得到的图像，所述第一全景图像样本中包括至少一个第一车辆图像；

[0007] 确定每个第一全景图像样本中至少一个第一车辆图像的标签，所述标签包括所述至少一个第一车辆图像的类别信息和位置信息，所述至少一个第一车辆图像的位置信息为用于标注所述至少一个第一车辆图像的至少一个矩形框的位置信息；

[0008] 通过所述每个第一全景图像样本，以及所述每个第一全景图像样本中至少一个第一车辆图像的标签，对第一网络进行训练，得到第一车辆检测模型；

[0009] 通过所述每个第一全景图像样本、所述每个第一全景图像样本中至少一个第一车辆图像的标签以及所述第一车辆检测模型，对第二网络进行训练，得到第二车辆检测模型，所述第二网络用于对所述每个第一全景图像样本中至少一个第一车辆图像进行尺度变化，所述尺度变化包括缩放变化、倾斜变化和/或裁剪变化，所述第二网络的第一个卷积层与所述第一网络的全连接层连接；

[0010] 其中，所述第二车辆检测模型用于对目标全景图像样本进行检测，得到所述目标全景图像样本中至少一个待检测车辆图像的标签，所述至少一个待检测车辆图像中包含至少一个发生尺度变化的待检测车辆图像，所述目标全景图像样本为对无人驾驶车辆的周围环境进行拍摄得到的图像样本。

[0011] 可选地，所述第二网络包括第一子网络和第二子网络，所述第一子网络的最后一个池化层与所述第二子网络的第一个卷积层连接；

[0012] 所述通过所述每个第一全景图像样本、所述每个第一全景图像样本中至少一个第一车辆图像的标签以及所述第一车辆检测模型，对第二网络进行训练，得到第二车辆检测模型，包括：

[0013] 对于所述每个第一全景图像样本，将所述第一全景图像样本、所述第一全景图像样本中至少一个第一车辆图像的标签以及所述第一车辆检测模型输入至所述第一子网络中，并接收所述第一子网络的最后一个池化层输出的与所述第一全景图像样本对应的车辆特征图、所述车辆特征图中至少一个第二车辆图像的标签以及第三车辆检测模型，所述车辆特征图用于表示所述至少一个第二车辆图像的特征；

[0014] 将通过所述第一子网络得到的至少一个车辆特征图通过所述第二子网络的第一个卷积层输入至所述第二子网络中，通过所述第二子网络对所述至少一个车辆特征图进行尺度变化，得到至少一个形变车辆特征图，每个形变车辆特征图中包括的至少一个第三车辆图像为发生尺度变化的车辆图像，所述第三车辆图像的标签与所述第二车辆图像的标签相同；

[0015] 通过所述至少一个形变车辆特征图、每个形变车辆特征图中至少一个第三车辆图像的标签以及所述第三车辆检测模型，对所述第二子网络进行训练，得到所述第二车辆检测模型，所述第二车辆检测模型用于检测发生尺度变化的待检测车辆图像的标签。

[0016] 可选地，所述第二车辆检测模型用于对目标全景图像样本进行检测，得到所述目标全景图像样本中至少一个待检测车辆图像的标签，包括：

[0017] 将所述目标全景图像样本输入至所述第二车辆检测模型，并接收所述第二车辆检测模型输出的所述目标全景图像样本中至少一个待检测车辆图像的类别信息和位置信息，所述至少一个待检测车辆图像的位置信息为用于标注所述至少一个待检测车辆图像的至少一个立方体框的位置信息；

[0018] 将所述至少一个待检测车辆图像的类别信息和位置信息确定为所述至少一个待检测车辆图像的标签。

[0019] 可选地，所述接收所述第二车辆检测模型输出的所述目标全景图像样本中至少一个待检测车辆图像的位置信息，包括：

[0020] 确定当所述目标全景图像样本呈现圆柱形时，包括的至少一个待检测车辆图像的圆柱坐标；

[0021] 根据所述圆柱坐标确定所述至少一个待检测车辆图像的经度和纬度，所述经度和纬度用于表示将圆柱形的目标全景图像样本展开成矩形的全景图像样本时，所述矩形的全景图像样本中至少一个待检测车辆图像的位置信息；

[0022] 将所述经度和所述纬度转换成空间转换坐标；

[0023] 根据所述空间转换坐标确定所述至少一个待检测车辆图像的实际三维坐标，并将所述实际三维坐标确定为所述至少一个待检测车辆图像的位置信息。

[0024] 可选地，所述无人驾驶车辆上安装有全景摄像机，所述将所述经度和所述纬度转换成空间转换坐标，包括：

[0025] 根据所述矩形的全景图像样本的水平宽度确定所述矩形的全景图像样本的角度分辨率；

[0026] 根据所述角度分辨率、所述全景摄像机的第一内置参数和第二内置参数确定所述矩形的全景图像样本对应的转置矩阵；

[0027] 根据所述转置矩阵、所述经度和所述纬度确定所述空间转换坐标。

[0028] 可选地，所述根据所述矩形的全景图像样本的水平宽度确定所述矩形的全景图像样本的角度分辨率，包括：

[0029] 根据所述矩形的全景图像样本的水平宽度，通过如下第一公式确定所述矩形的全景图像样本的角度分辨率：

[0030] 第一公式：

[0031] 其中，γ为所述角度分辨率，w为所述矩形的全景图像样本的水平宽度。

[0032] 可选地，所述根据所述空间转换坐标确定所述至少一个待检测车辆图像的实际三维坐标，包括：

[0033] 获取所述第二网络中的第一子网络中的候选区域网络RPN矩形框高度，所述RPN矩形框高度为所述第一子网络中的RPN层输出的用于标注第二车辆图像的矩形框的高度；

[0034] 根据所述RPN矩形框高度和所述矩形的全景图像样本的角度分辨率，确定第一参数；

[0035] 根据所述空间转换坐标、所述矩形的全景图像样本对应的转置矩阵和所述第一参数，确定所述至少一个待检测车辆图像的实际三维坐标。

[0036] 可选地，所述根据所述RPN矩形框高度和所述矩形的全景图像样本的角度分辨率，确定第一参数，包括：

[0037] 根据所述RPN矩形框高度和所述矩形的全景图像样本的角度分辨率，通过如下第二公式确定所述第一参数：

[0038] 第二公式：r＝γh

[0039] 其中，r为所述第一参数，γ为所述角度分辨率，h为所述RPN矩形框高度。

[0040] 第二方面，提供了一种车辆检测的装置，所述装置包括：

[0041] 获取模块，用于获取至少一个第一全景图像样本，得到第一全景图像数据集，所述第一全景图像样本为通过所述终端上的全景摄像头拍摄得到的图像，所述第一全景图像样本中包括至少一个第一车辆图像；

[0042] 第一确定模块，用于确定每个第一全景图像样本中至少一个第一车辆图像的标签，所述标签包括所述至少一个第一车辆图像的类别信息和位置信息，所述至少一个第一车辆图像的位置信息为用于标注所述至少一个第一车辆图像的至少一个矩形框的位置信息；

[0043] 第一训练模块，用于通过所述每个第一全景图像样本，以及所述每个第一全景图像样本中至少一个第一车辆图像的标签，对第一网络进行训练，得到第一车辆检测模型；

[0044] 第二训练模块，用于通过所述每个第一全景图像样本、所述每个第一全景图像样本中至少一个第一车辆图像的标签以及所述第一车辆检测模型，对第二网络进行训练，得到第二车辆检测模型，所述第二网络用于对所述每个第一全景图像样本中至少一个第一车辆图像进行尺度变化，所述尺度变化包括缩放变化、倾斜变化和/或裁剪变化，所述第二网络的第一个卷积层与所述第一网络的全连接层连接；

[0045] 其中，所述第二车辆检测模型用于对目标全景图像样本进行检测，得到所述目标全景图像样本中至少一个待检测车辆图像的标签，所述至少一个待检测车辆图像中包含至少一个发生尺度变化的待检测车辆图像，所述目标全景图像样本为对无人驾驶车辆的周围环境进行拍摄得到的图像样本。

[0046] 可选地，所述第二网络包括第一子网络和第二子网络，所述第一子网络的最后一个池化层与所述第二子网络的第一个卷积层连接；

[0047] 所述第二训练模块，包括：

[0048] 接收子模块，用于对于所述每个第一全景图像样本，将所述第一全景图像样本、所述第一全景图像样本中至少一个第一车辆图像的标签以及所述第一车辆检测模型输入至所述第一子网络中，并接收所述第一子网络的最后一个池化层输出的与所述第一全景图像样本对应的车辆特征图、所述车辆特征图中至少一个第二车辆图像的标签以及第三车辆检测模型，所述车辆特征图用于表示所述至少一个第二车辆图像的特征；

[0049] 变化子模块，用于将通过所述第一子网络得到的至少一个车辆特征图通过所述第二子网络的第一个卷积层输入至所述第二子网络中，通过所述第二子网络对所述至少一个车辆特征图进行尺度变化，得到至少一个形变车辆特征图，每个形变车辆特征图中包括的至少一个第三车辆图像为发生尺度变化的车辆图像，所述第三车辆图像的标签与所述第二车辆图像的标签相同；

[0050] 训练子模块，用于通过所述至少一个形变车辆特征图、每个形变车辆特征图中至少一个第三车辆图像的标签以及所述第三车辆检测模型，对所述第二子网络进行训练，得到所述第二车辆检测模型，所述第二车辆检测模型用于检测发生尺度变化的待检测车辆图像的标签。

[0051] 可选地，所述装置还包括：

[0052] 接收模块，用于将所述目标全景图像样本输入至所述第二车辆检测模型，并接收所述第二车辆检测模型输出的所述目标全景图像样本中至少一个待检测车辆图像的类别信息和位置信息，所述至少一个待检测车辆图像的位置信息为用于标注所述至少一个待检测车辆图像的至少一个立方体框的位置信息；

[0053] 第二确定模块，用于将所述至少一个待检测车辆图像的类别信息和位置信息确定为所述至少一个待检测车辆图像的标签。

[0054] 可选地，所述接收模块包括：

[0055] 第一确定子模块，用于确定当所述目标全景图像样本呈现圆柱形时，包括的至少一个待检测车辆图像的圆柱坐标；

[0056] 第二确定子模块，用于根据所述圆柱坐标确定所述至少一个待检测车辆图像的经度和纬度，所述经度和纬度用于表示将圆柱形的目标全景图像样本展开成矩形的全景图像样本时，所述矩形的全景图像样本中至少一个待检测车辆图像的位置信息；

[0057] 转换子模块，用于将所述经度和所述纬度转换成空间转换坐标；

[0058] 第三确定子模块，用于根据所述空间转换坐标确定所述至少一个待检测车辆图像的实际三维坐标，并将所述实际三维坐标确定为所述至少一个待检测车辆图像的位置信息。

[0059] 可选地，所述无人驾驶车辆上安装有全景摄像机，所述转换子模块包括：

[0060] 第一确定单元，用于根据所述矩形的全景图像样本的水平宽度确定所述矩形的全景图像样本的角度分辨率；

[0061] 第二确定单元，用于根据所述角度分辨率、所述全景摄像机的第一内置参数和第二内置参数确定所述矩形的全景图像样本对应的转置矩阵；

[0062] 第三确定单元，用于根据所述转置矩阵、所述经度和所述纬度确定所述空间转换坐标。

[0063] 可选地，所述第一确定单元还用于：

[0064] 根据所述矩形的全景图像样本的水平宽度，通过如下第一公式确定所述矩形的全景图像样本的角度分辨率：

[0065] 第一公式：

[0066] 其中，γ为所述角度分辨率，w为所述矩形的全景图像样本的水平宽度。

[0067] 可选地，所述第三确定子模块包括：

[0068] 获取单元，用于获取所述第二网络中的第一子网络中的候选区域网络RPN矩形框高度，所述RPN矩形框高度为所述第一子网络中的RPN层输出的用于标注第二车辆图像的矩形框的高度；

[0069] 第四确定单元，用于根据所述RPN矩形框高度和所述矩形的全景图像样本的角度分辨率，确定第一参数；

[0070] 第五确定单元，用于根据所述空间转换坐标、所述矩形的全景图像样本对应的转置矩阵和所述第一参数，确定所述至少一个待检测车辆图像的实际三维坐标。

[0071] 可选地，所述第四确定单元还用于：

[0072] 根据所述RPN矩形框高度和所述矩形的全景图像样本的角度分辨率，通过如下第二公式确定所述第一参数：

[0073] 第二公式：r＝γh

[0074] 其中，r为所述第一参数，γ为所述角度分辨率，h为所述RPN矩形框高度。

[0075] 第三方面，提供一种车辆检测的装置，所述装置包括：

[0076] 处理器；

[0077] 用于存储处理器可执行指令的存储器；

[0078] 其中，所述处理器被配置为执行上述第一方面所述的任一项方法的步骤。

[0079] 第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述第一方面所述的任一项方法的步骤。

[0080] 第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一项所述方法的步骤。

[0081] 本发明实施例提供的技术方案带来的有益效果是：

[0082] 在本公开实施例中，通过获取的至少一个第一全景图像样本以及每个第一全景图像样本中至少一个第一车辆图像的标签，对第一网络进行训练，得到第一车辆检测模型。再通过至少一个第一全景图像样本以及每个第一全景图像样本中至少一个第一车辆图像的标签和第一车辆检测模型对第二网络进行训练，得到第二车辆检测模型。其中，将第二网络的第一个卷积层与第一网络的全连接层连接，得到了一个新网络，该新网络即包括第一网络和第二网络。也即是，通过第一网络和第二网络的联合，训练出了第二车辆检测模型。由于第二网络用于对每个第一全景图像样本中至少一个第一车辆图像进行尺度变化，且第二车辆检测模型是对第二网络训练得到，因此，当给定一张对无人驾驶车辆的周围环境进行拍摄得到的目标全景图像样本时，通过第二车辆检测模型可以准确地检测出该目标全景图像样本中至少一个发生尺度变化的待检测车辆图像的标签，提高车辆检测的精度。

[0083] 应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

[0084] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0085] 图1是本发明实施例提供的一种用于实现车辆检测的系统架构的示意图；

[0086] 图2是本发明实施例提供的一种车辆检测的方法的流程图；

[0087] 图3是本发明实施例提供的一种车辆检测的方法的流程图；

[0088] 图4是本发明实施例提供的一种车辆检测的装置的结构示意图。

具体实施方式

[0089] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与本发明的一些方面相一致的装置和方法的例子。

[0090] 在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

[0091] 在本公开实施例中，车辆检测的方法可以由车辆检测的装置实现，该车辆检测的装置可以是终端。图1是本发明实施例提供的一种用于实现车辆检测的系统架构的示意图，参见图1，该终端可以包括第一网络101和第二网络102，第一网络101和第二网络102之间连接，第二网络102包括第一子网络1021和第二子网络1022，第一子网络1021和第二子网络1022之间连接。

[0092] 第一网络101包括53个卷积层、多个残差层、一个池化层和一个全连接层，该53个卷积层、多个残差层、一个池化层和一个全连接层按照先后顺序连接，第一层是第一个卷积层，最后一层是全连接层，图1中只示出第一个卷积层1011和全连接层1012。第一网络101通过第一层获取第一全景图像样本和至少一个第一车辆图像的标签，通过最后一层向第一网络102输出第一车辆检测模型。

[0093] 第二网络102包括多个卷积层、多个池化层和一个全连接层，该多个卷积层、多个池化层和一个全连接层按照先后顺序连接，第一层是第一个卷积层，最后一层是全连接层，图1中只示出该第一个卷积层10211和全连接层10222。第二网络102通过第一层获取第一全景图像样本、至少一个第一车辆图像的标签和第一车辆检测模型，通过最后一层输出第二车辆检测模型。

[0094] 其中，第一子网络1021的输入层即为第二网络102的输入层，第一子网络1021的输出层为第一子网络1021中的最后一个池化层10212。第二子网络1022的输入层为第二子网络1022的第一个卷积层10221，第二子网络1022的输出层为第二网络102的输出层。第一子网络1021的最后一个池化层10212与第二子网络1022的第一个卷积层连接10221。其中，第一子网络1021包括RPN(Region Proposal Network，候选区域网络)层。

[0095] 第一网络101用于训练得到第一车辆检测模型，第二网络102用于训练得到第二车辆检测模型。第一网络101可以为基于YOLOv3(You Onloy Look Once version3，第三版本的只需看一次)的Darknet-53，Darknet-53是一种神经网络框架。第一子网络1021可以为MSCNN(Multi-scale Convolutional Neural Network，多尺度卷积神经网络)中除去最后一个全连接层的网络，也即第一子网络1011的最后一层是池化层。第二子网络1022可以为ASTN(Adversarial Spatial Transformer Network，对抗空间变换网络)。

[0096] 另外，终端可以为手机终端设备、PAD(Portable Android Device，平板电脑)终端设备或者电脑终端设备等任一设备。

[0097] 本发明实施例提供了一种车辆检测的方法的流程图，参见图2，该方法应用于终端中，该方法包括：

[0098] 步骤201：获取至少一个第一全景图像样本，得到第一全景图像数据集，该第一全景图像样本为通过该终端上的全景摄像机拍摄得到的图像，该第一全景图像样本中包括至少一个第一车辆图像。

[0099] 步骤202：确定每个第一全景图像样本中至少一个第一车辆图像的标签，该标签包括该至少一个第一车辆图像的类别信息和位置信息，该至少一个第一车辆图像的位置信息为用于标注该至少一个第一车辆图像的至少一个矩形框的位置信息。

[0100] 步骤203：通过该每个第一全景图像样本，以及该每个第一全景图像样本中至少一个第一车辆图像的标签，对第一网络进行训练，得到第一车辆检测模型。

[0101] 步骤204：通过该每个第一全景图像样本、该每个第一全景图像样本中至少一个第一车辆图像的标签以及该第一车辆检测模型，对第二网络进行训练，得到第二车辆检测模型，该第二网络用于对该每个第一全景图像样本中至少一个第一车辆图像进行尺度变化，该尺度变化包括缩放变化、倾斜变化和/或裁剪变化，该第二网络的第一个卷积层与该第一网络的全连接层连接。

[0102] 其中，该第二车辆检测模型用于对目标全景图像样本进行检测，得到该目标全景图像样本中至少一个待检测车辆图像的标签，该至少一个待检测车辆图像中包含至少一个发生尺度变化的待检测车辆图像，该目标全景图像样本为对无人驾驶车辆的周围环境进行拍摄得到的图像样本。

[0103] 可选地，该第二网络包括第一子网络和第二子网络，该第一子网络的最后一个池化层与该第二子网络的第一个卷积层连接；

[0104] 通过该每个第一全景图像样本、该每个第一全景图像样本中至少一个第一车辆图像的标签以及该第一车辆检测模型，对第二网络进行训练，得到第二车辆检测模型，包括：

[0105] 对于该每个第一全景图像样本，将该第一全景图像样本、该第一全景图像样本中至少一个第一车辆图像的标签以及该第一车辆检测模型输入至该第一子网络中，并接收该第一子网络的最后一个池化层输出的与所述第一全景图像样本对应的车辆特征图、该车辆特征图中至少一个第二车辆图像的标签以及第三车辆检测模型，该车辆特征图用于表示该至少一个第二车辆图像的特征；

[0106] 将通过该第一子网络得到的至少一个车辆特征图通过该第二子网络的第一个卷积层输入至该第二子网络中，通过该第二子网络对该至少一个车辆特征图进行尺度变化，得到至少一个形变车辆特征图，每个形变车辆特征图中包括的至少一个第三车辆图像为发生尺度变化的车辆图像，该第三车辆图像的标签与该第二车辆图像的标签相同；

[0107] 通过该至少一个形变车辆特征图、每个形变车辆特征图中至少一个第三车辆图像的标签以及该第三车辆检测模型，对该第二子网络进行训练，得到该第二车辆检测模型，该第二车辆检测模型用于检测发生尺度变化的待检测车辆图像的标签。

[0108] 可选地，第二车辆检测模型用于对目标全景图像样本进行检测，得到该目标全景图像样本中至少一个待检测车辆图像的标签，包括：

[0109] 将该目标全景图像样本输入至该第二车辆检测模型，并接收该第二车辆检测模型输出的该目标全景图像样本中至少一个待检测车辆图像的类别信息和位置信息，该至少一个待检测车辆图像的位置信息为用于标注该至少一个待检测车辆图像的至少一个立方体框的位置信息；

[0110] 将该至少一个待检测车辆图像的类别信息和位置信息确定为该至少一个待检测车辆图像的标签。

[0111] 可选地，该接收该第二车辆检测模型输出的该目标全景图像样本中至少一个待检测车辆图像的位置信息，包括：

[0112] 确定当所述目标全景图像样本呈现圆柱形时，包括的至少一个待检测车辆图像的圆柱坐标；

[0113] 根据该圆柱坐标确定该至少一个待检测车辆图像的经度和纬度，该经度和纬度用于表示将圆柱形的目标全景图像样本展开成矩形的全景图像样本时，该矩形的全景图像样本中至少一个待检测车辆图像的位置信息；

[0114] 将该经度和该纬度转换成空间转换坐标；

[0115] 根据该空间转换坐标确定该至少一个待检测车辆图像的实际三维坐标，并将该实际三维坐标确定为该至少一个待检测车辆图像的位置信息。

[0116] 可选地，该无人驾驶车辆上安装有全景摄像机，该将该经度和该纬度转换成空间转换坐标，包括：

[0117] 根据该矩形的全景图像样本的水平宽度确定该矩形的全景图像样本的角度分辨率；

[0118] 根据该角度分辨率、该全景摄像机的第一内置参数和第二内置参数确定该矩形的全景图像样本对应的转置矩阵；

[0119] 根据该转置矩阵、该经度和该纬度确定该空间转换坐标。

[0120] 可选地，该根据该矩形的全景图像样本的水平宽度确定该矩形的全景图像样本的角度分辨率，包括：

[0121] 根据该矩形的全景图像样本的水平宽度，通过如下第一公式确定该矩形的全景图像样本的角度分辨率：

[0122] 第一公式：

[0123] 其中，γ为该角度分辨率，w为该矩形的全景图像样本的水平宽度。

[0124] 可选地，该根据该空间转换坐标确定该至少一个待检测车辆图像的实际三维坐标，包括：

[0125] 获取所述第二网络中的第一子网络中的候选区域网络RPN矩形框高度，所述RPN矩形框高度为所述第一子网络中的RPN层输出的用于标注第二车辆图像的矩形框的高度；

[0126] 根据该RPN矩形框高度和该矩形的全景图像样本的角度分辨率，确定第一参数；

[0127] 根据该空间转换坐标、该矩形的全景图像样本对应的转置矩阵和该第一参数，确定该至少一个待检测车辆图像的实际三维坐标。

[0128] 可选地，该根据该RPN矩形框高度和该矩形的全景图像样本的角度分辨率，确定第一参数，包括：

[0129] 根据该RPN矩形框高度和该矩形的全景图像样本的角度分辨率，通过如下第二公式确定该第一参数：

[0130] 第二公式：r＝γh

[0131] 其中，r为该第一参数，γ为该角度分辨率，h为该RPN矩形框高度。

[0132] 在本公开实施例中，通过获取的至少一个第一全景图像样本以及每个第一全景图像样本中至少一个第一车辆图像的标签，对第一网络进行训练，得到第一车辆检测模型。再通过至少一个第一全景图像样本以及每个第一全景图像样本中至少一个第一车辆图像的标签和第一车辆检测模型对第二网络进行训练，得到第二车辆检测模型。其中，将第二网络的第一个卷积层与第一网络的全连接层连接，得到了一个新网络，该新网络即包括第一网络和第二网络。也即是，通过第一网络和第二网络的联合，训练出了第二车辆检测模型。由于第二网络用于对每个第一全景图像样本中至少一个第一车辆图像进行尺度变化，且第二车辆检测模型是对第二网络训练得到，因此，当给定一张对无人驾驶车辆的周围环境进行拍摄得到的目标全景图像样本时，通过第二车辆检测模型可以准确地检测出该目标全景图像样本中至少一个发生尺度变化的待检测车辆图像的标签，提高车辆检测的精度。

[0133] 上述所有可选技术方案，均可按照任意结合形成本公开的可选实施例，本公开实施例对此不再一一赘述。

[0134] 本发明实施例提供了一种车辆检测的方法的流程图。本实施例将对图2所示的实施例进行展开说明，参见图3，该方法应用于终端中，该方法包括：

[0135] 步骤301：终端获取至少一个第一全景图像样本，得到第一全景图像数据集，该第一全景图像样本为通过该终端上的全景摄像机拍摄得到的图像，该第一全景图像样本中包括至少一个第一车辆图像。

[0136] 终端可以通过终端上的全景摄像机进行拍摄，得到至少一个第一全景图像样本，由于本发明实施例是对车辆进行检测，所以该至少一个第一全景图像样本中需要包括至少一个第一车辆图像。该全景摄像机为7目全景摄像机，也即包含7个摄像头的摄像机。另外，本发明实施例中的至少一个第一全景图像样本的数量可以为5000，当然，还可以为其他的数量，本发明实施例对此不做限定。其中，至少一个第一全景图像样本均为展开成矩形的全景图像样本。

[0137] 其中，终端可以拍摄得到全景视频，然后从全景视频中提取至少一个第一全景图像样本，或者可以直接拍摄得到第一全景图像样本，或者可以既拍摄全景视频，并从全景视频中提取一部分第一全景图像样本，同时又拍摄另一部分第一全景图像样本，然后，将这两部分的第一全景图像样本作为本发明实施例中的至少一个第一全景图像样本。其中，全景视频的帧速率可以为30FPS，第一全景图像样本的分辨率是8192*4096。

[0138] 需要说明的是，终端可以将通过全景摄像机得到的全景图像直接作为至少一个第一全景图像样本，也可以在通过全景摄像机得到全景图像后对该全景图像进行降维处理，进而将降维处理后的全景图像作为至少一个第一全景图像样本。其中，降维后的全景图像的分辨率可以是2000*1000。

[0139] 可选地，第一全景图像数据集中除了可以包括通过终端上的全景摄像机得到的至少一个第一全景图像样本之外，还可以包括KITTI数据集中的部分图像样本，以及通过CARLA全景模拟数据集中的部分图像样本，该CARLA全景模拟数据集为通过CARLA模拟器模拟3D(3Dimension，三维)街道中的车辆所得到的数据集。其中，第一全景图像数据集中可以包含从KITTI数据集中提取的7481个图像样本，以及从CARLA全景模拟数据集中提取的8000个图像样本。当然，第一全景图像数据集中还可以包含从KITTI数据集中或者CARLA全景模拟数据集中提取的任意数量的图像样本，本发明实施例对此不做限定。

[0140] 需要说明的是，该终端可以是独立的一个终端，在通过该终端训练得到第二车辆检测模型后，然后将第二车辆检测模型移植到无人驾驶车辆上的终端中，使得无人驾驶车辆在行驶的过程中，可以直接使用该第二车辆检测模型，即通过该第二车辆检测模型对驾驶车辆周围的第一车辆进行检测。该终端还可以是安装在无人驾驶车辆上的终端，如此，无人驾驶车辆可以在行驶的过程中，一边训练第二车辆检测模型，一边使用该第二车辆检测模型对驾驶车辆周围的第一车辆进行检测。优选地，该终端为独立的一个终端，即不安装在无人驾驶车辆上的终端。

[0141] 还需要说明的是，本发明实施例是以通过包含车辆图像的第一全景图像样本训练得到第二车辆检测模型，并通过第二车辆检测模型检测车辆为例进行说明。但在实际实现中，还可以通过本发明实施例中的方法训练得到用于检测人物、动物等各种事物的检测模型，并通过该检测模型检测各种事物。

[0142] 现有技术中，往往是通过多个普通的2D(2Dimension，二维)摄像机拍摄得到2D图像，然后将多个2D图像进行拼接，以得到全景图像。然而，对多个2D图像进行拼接时，很容易造成丢失图像信息或者制造出奇怪的重影等现象。因此，本发明实施例采用全景摄像机直接拍摄得到全景图像样本，避免了上述对2D图像进行拼接的问题，提高了检测全景图像样本中车辆的精度。

[0143] 步骤302：终端确定每个第一全景图像样本中至少一个第一车辆图像的标签，该标签包括至少一个第一车辆图像的类别信息和位置信息，该至少一个第一车辆图像的位置信息为用于标注至少一个第一车辆图像的至少一个矩形框的位置信息。

[0144] 终端在得到至少一个第一全景图像样本之后，为了训练得到最终的第二车辆检测模型，需要对该至少一个第一全景图像样本中的至少一个第一车辆图像进行标注，以确定至少一个第一车辆图像的标签，该标签包括至少一个第一车辆图像的类别信息和位置信息。

[0145] 可选地，终端可以通过至少一个矩形框将至少一个第一车辆图像进行框选，并确定至少一个矩形框对应的类别信息和位置信息。该至少一个矩形框对应的类别信息和位置信息即为该至少一个第一车辆图像的类别信息和位置信息。其中，至少一个第一车辆图像的位置信息包括至少一个第一车辆图像对应的至少一个矩形框的长度、宽度以及该至少一个矩形框任一顶点的二维坐标。优选的，本发明实施例采用至少一个第一车辆图像对应的至少一个矩形框左上顶点的二维坐标。

[0146] 步骤303：终端通过每个第一全景图像样本，以及每个第一全景图像样本中至少一个第一车辆图像的标签，对第一网络进行训练，得到第一车辆检测模型。

[0147] 终端可以将每个第一全景图像样本，以及每个第一全景图像样本中至少一个第一车辆图像的标签输入至第一网络中，进而对第一网络进行训练，得到第一车辆检测模型。

[0148] 步骤304：终端通过每个第一全景图像样本、每个第一全景图像样本中至少一个第一车辆图像的标签以及第一车辆检测模型，对第二网络进行训练，得到第二车辆检测模型。

[0149] 其中，第二网络用于对每个第一全景图像样本中至少一个第一车辆图像进行尺度变化，该尺度变化包括缩放变化、倾斜变化和/或裁剪变化，第二网络的第一个卷积层与第一网络的全连接层连接。其中，缩放变化是指至少一个第一车辆图像的尺寸发生缩小或放大的变化，倾斜变化是指至少一个第一车辆图像的角度发生了变化，裁剪变化是指将至少一个第一车辆图像进行裁剪的变化，发生裁剪变化的至少一个第一车辆图像的内容减少了，裁剪变化包括水平裁剪和竖直裁剪。

[0150] 由于第二网络包括第一子网络和第二子网络，因此终端对第二网络进行训练相当于是对第一子网络和第二子网络进行联合训练。可选地，对于每个第一全景图像样本，终端可以将第一全景图像样本、第一全景图像样本中至少一个第一车辆图像的标签以及第一车辆检测模型输入至第一子网络中，并接收第一子网络的最后一个池化层输出的与所述第一全景图像样本对应的车辆特征图、车辆特征图中至少一个第二车辆图像的标签以及第三车辆检测模型，该车辆特征图用于表示至少一个第二车辆图像的特征。并且，将通过第一子网络得到的至少一个车辆特征图通过第二子网络的第一个卷积层输入至第二子网络中，通过第二子网络对至少一个车辆特征图进行尺度变化，得到至少一个形变车辆特征图，每个形变车辆特征图中包括的至少一个第三车辆图像为发生尺度变化的车辆图像，第三车辆图像的标签与第二车辆图像的标签相同。并且，通过至少一个形变车辆特征图、每个形变车辆特征图中至少一个第三车辆图像的标签以及第三车辆检测模型，对第二子网络进行训练，得到第二车辆检测模型，该第二车辆检测模型用于检测发生尺度变化的待检测车辆图像的标签。

[0151] 需要说明的是，为了提高训练得到的第二车辆检测模型的进行车辆检测的准确度，终端可以通过多张测试图像样本对第二车辆检测模型进行测试。该测试图像样本可以包括通过终端上的全景摄像机得到的测试图像样本、KITTI数据集中的部分测试图像样本、以及CARLA全景模拟数据集中的部分测试图像样本中的至少一种。其中，可以通过终端上的全景摄像机获取1000个测试图像样本，从KITTI数据集中提取7518个测试图像样本，以及从CARLA全景模拟数据集中提取的200个测试图像样本。当然，测试图像样本还可以包含从KITTI数据集中或者CARLA全景模拟数据集中提取的任意数量的图像样本，本发明实施例对此不做限定。

[0152] 需要说明的是，步骤301至步骤304是终端训练得到第二车辆检测模型的过程，如下步骤305至步骤306是终端通过第二车辆检测模型进行检测的过程。需要说明一点的是，执行步骤301至步骤304的终端可以是独立的一个终端，即不安装于无人驾驶车辆上的终端，也可以是安装于无人驾驶车辆上的终端。执行步骤305至步骤306的终端可以是独立的一个终端，也可以是安装于无人驾驶车辆上的终端。优选地，执行步骤301至步骤304的终端是独立的一个终端，即不安装于无人驾驶车辆上的终端，执行步骤305至步骤306的终端是安装于无人驾驶车辆上的终端。其中，无人驾驶车辆上安装有全景摄像机是指安装于无人驾驶车辆上的终端上安装有全景摄像机。

[0153] 步骤305：终端将目标全景图像样本输入至第二车辆检测模型，并接收第二车辆检测模型输出的目标全景图像样本中至少一个待检测车辆图像的类别信息和位置信息。

[0154] 其中，至少一个待检测车辆图像的位置信息为用于标注至少一个待检测车辆图像的至少一个立方体框的位置信息。并且，至少一个待检测车辆图像中包含至少一个发生尺度变化的待检测车辆图像，该目标全景图像样本为对无人驾驶车辆的周围环境进行拍摄得到的图像样本。

[0155] 可选地，终端将全景图像样本输入至第二车辆检测模型，并接收第二车辆检测模型输出的目标全景图像样本中至少一个待检测车辆图像的位置信息可以通过如下几个步骤实现：

[0156] 1、终端确定当目标全景图像样本呈现圆柱形时，包括的至少一个待检测车辆图像的圆柱坐标。

[0157] 由于当目标全景图像样本呈现圆柱形时，目标全景图像中至少一个待检测车辆图像也呈圆柱形，因此可以确定该至少一个待检测车辆图像的圆柱坐标。例如，该圆柱坐标可以表示为(x1,y1,z1)，x1为圆柱坐标中的第一坐标，y1为圆柱坐标中的第二坐标，z1为圆柱坐标中的第三坐标。

[0158] 2、终端根据圆柱坐标确定该至少一个待检测车辆图像的经度和纬度。

[0159] 其中，该经度和纬度用于表示将圆柱形的目标全景图像样本展开成矩形的全景图像样本时，所述矩形的全景图像样本中至少一个待检测车辆图像的位置信息。

[0160] 终端在根据圆柱坐标确定该至少一个待检测车辆图像的经度时，可以先根据圆柱坐标确定第二参数，然后根据第二参数确定该至少一个待检测车辆图像的经度。

[0161] 其中，终端可以通过如下第三公式，根据圆柱坐标确定第二参数：

[0162] 第三公式：

[0163] 其中，α为第二参数。

[0164] 终端可以通过如下第四公式，根据第二参数确定该至少一个待检测车辆图像的经度：

[0165] 第四公式：λ＝arctanα

[0166] 其中，λ为该至少一个待检测车辆图像的经度。

[0167] 终端在根据圆柱坐标确定该至少一个待检测车辆图像的纬度时，可以先根据圆柱坐标确定第三参数，然后根据第二参数和第三参数确定第四参数，并根据第三参数和第四参数确定该至少一个待检测车辆图像的纬度。

[0168] 其中，终端可以通过如下第五公式，根据圆柱坐标确定第三参数：

[0169] 第五公式：

[0170] 其中，β为第三参数。

[0171] 终端可以通过如下第六公式，根据第二参数和第三参数确定第四参数：

[0172] 第六公式：

[0173] 其中，r为第四参数。

[0174] 终端可以通过如下第七公式，根据第三参数和第四参数确定该至少一个待检测车辆图像的纬度：

[0175] 第七公式：

[0176] 其中，φ为该至少一个待检测车辆图像的纬度。

[0177] 3、终端将经度和纬度转换成空间转换坐标。

[0178] 终端可以通过如下步骤将经度和纬度转换成空间转换坐标：

[0179] (1)终端根据矩形的全景图像样本的水平宽度确定矩形的全景图像样本的角度分辨率。

[0180] 终端可以通过如下第一公式，根据矩形的全景图像样本的水平宽度确定矩形的全景图像样本的角度分辨率。

[0181] 第一公式：

[0182] 其中，w为矩形的全景图像样本的水平宽度，γ为矩形的全景图像样本的角度分辨率。

[0183] (2)终端根据角度分辨率、全景摄像机的第一内置参数和第二内置参数确定矩形的全景图像样本对应的转置矩阵。

[0184] 终端可以通过如下第八公式，根据角度分辨率、全景摄像机的第一内置参数和第二内置参数确定矩形的全景图像样本对应的转置矩阵：

[0185] 第八公式：

[0186] 其中，Tp为矩形的全景图像样本对应的转置矩阵，cλ为全景摄像机的第一内置参数，cφ为全景摄像机的第二内置参数。

[0187] (3)终端根据转置矩阵、经度和纬度确定空间转换坐标。

[0188] 终端可以通过如下第九公式，根据转置矩阵、经度和纬度确定空间转换坐标。

[0189] 第九公式：

[0190] 其中，up为空间转换坐标中的第一坐标，vp为空间转换坐标中的第二坐标，1为空间转换坐标中的第三坐标。

[0191] 需要说明的是，终端除了可以根据转置矩阵、经度和纬度确定空间转换坐标之外，还可以根据转置矩阵、第二参数和第三参数确定空间转换坐标。

[0192] 具体地，终端可以通过如下第十公式，根据转置矩阵、第二参数和第三参数确定空间转换坐标：

[0193] 第十公式：

[0194] 其中，Γ是一种函数。

[0195] 4、终端根据空间转换坐标确定至少一个待检测车辆图像的实际三维坐标，并将实际三维坐标确定为至少一个待检测车辆图像的位置信息。

[0196] 终端可以通过如下几个步骤确定至少一个待检测车辆图像的实际三维坐标：

[0197] (1)获取第二网络中的第一子网络中的RPN矩形框高度，该RPN矩形框高度为第一子网络中的RPN层输出的用于标注第二车辆图像的矩形框的高度。

[0198] (2)根据RPN矩形框高度和矩形的全景图像样本的角度分辨率，确定第一参数。

[0199] 终端可以通过如下第二公式，根据RPN矩形框高度和矩形的全景图像样本的角度分辨率，确定第一参数：

[0200] 第二公式：r＝γh

[0201] 其中，r为第一参数，γ为角度分辨率，h为RPN矩形框高度。

[0202] (3)根据空间转换坐标、矩形的全景图像样本对应的转置矩阵和第一参数，确定至少一个待检测车辆图像的实际三维坐标。

[0203] 终端可以通过如下第十一公式，根据空间转换坐标、矩形的全景图像样本对应的转置矩阵和第一参数，确定至少一个待检测车辆图像的实际三维坐标：

[0204] 第十一公式：

[0205] 其中，x为实际三维坐标中的第一坐标，y为实际三维坐标中的第二坐标，z为实际三维坐标中的第三坐标，u是一种运算， 是自变量。

[0206] 需要说明的是，该至少一个待检测车辆图像的实际三维坐标就为用于标注至少一个待检测车辆图像的至少一个立方体框的位置信息，每个立方体框的位置信息包括该立方体框的长度、宽度、高度以及该立方体框中任一顶点的坐标。

[0207] 在本发明实施例，对于任一目标全景图像样本，都可以将该目标全景图像样本中至少一个待检测车辆图像的圆柱坐标通过经度、维度以及空间转换坐标的过渡，最终转换为该至少一个待检测车辆图像的实际三维坐标。也即是，对于任一发生尺度变化的待检测车辆图像而言，通过本发明实施例的方法，都可以准确地确定出该待检测车辆图像的实际三维坐标。

[0208] 步骤306：终端将至少一个待检测车辆图像的类别信息和位置信息确定为至少一个待检测车辆图像的标签。

[0209] 在本公开实施例中，通过获取的至少一个第一全景图像样本以及每个第一全景图像样本中至少一个第一车辆图像的标签，对第一网络进行训练，得到第一车辆检测模型。再通过至少一个第一全景图像样本以及每个第一全景图像样本中至少一个第一车辆图像的标签和第一车辆检测模型对第二网络进行训练，得到第二车辆检测模型。其中，将第二网络的第一个卷积层与第一网络的全连接层连接，得到了一个新网络，该新网络即包括第一网络和第二网络。也即是，通过第一网络和第二网络的联合，训练出了第二车辆检测模型。由于第二网络用于对每个第一全景图像样本中至少一个第一车辆图像进行尺度变化，且第二车辆检测模型是对第二网络训练得到，因此，当给定一张对无人驾驶车辆的周围环境进行拍摄得到的目标全景图像样本时，通过第二车辆检测模型可以准确地检测出该目标全景图像样本中至少一个发生尺度变化的待检测车辆图像的标签，提高车辆检测的精度。

[0210] 本发明实施例提供了一种车辆检测的装置，参见图4，该装置包括获取模块401、第一确定模块402、第一训练模块403和第二训练模块404。

[0211] 获取模块401，用于获取至少一个第一全景图像样本，得到第一全景图像数据集，该第一全景图像样本为通过该终端上的全景摄像头拍摄得到的图像，该第一全景图像样本中包括至少一个第一车辆图像；

[0212] 第一确定模块402，用于确定每个第一全景图像样本中至少一个第一车辆图像的标签，该标签包括该至少一个第一车辆图像的类别信息和位置信息，该至少一个第一车辆图像的位置信息为用于标注该至少一个第一车辆图像的至少一个矩形框的位置信息；

[0213] 第一训练模块403，用于通过该每个第一全景图像样本，以及该每个第一全景图像样本中至少一个第一车辆图像的标签，对第一网络进行训练，得到第一车辆检测模型；

[0214] 第二训练模块404，用于通过该每个第一全景图像样本、该每个第一全景图像样本中至少一个第一车辆图像的标签以及该第一车辆检测模型，对第二网络进行训练，得到第二车辆检测模型，该第二网络用于对该每个第一全景图像样本中至少一个第一车辆图像进行尺度变化，该尺度变化包括缩放变化、倾斜变化和/或裁剪变化，该第二网络的第一个卷积层与该第一网络的全连接层连接；

[0215] 其中，该第二车辆检测模型用于对目标全景图像样本进行检测，得到该目标全景图像样本中至少一个待检测车辆图像的标签，该至少一个待检测车辆图像中包含至少一个发生尺度变化的待检测车辆图像，该目标全景图像样本为对无人驾驶车辆的周围环境进行拍摄得到的图像样本。

[0216] 可选地，该第二网络包括第一子网络和第二子网络，该第一子网络的最后一个池化层与该第二子网络的第一个卷积层连接；

[0217] 该第二训练模块404，包括：

[0218] 接收子模块，用于对于该每个第一全景图像样本，将该第一全景图像样本、该第一全景图像样本中至少一个第一车辆图像的标签以及该第一车辆检测模型输入至该第一子网络中，并接收该第一子网络的最后一个池化层输出的与该第一全景图像样本对应的车辆特征图、该车辆特征图中至少一个第二车辆图像的标签以及第三车辆检测模型，该车辆特征图用于表示该至少一个第二车辆图像的特征；

[0219] 变化子模块，用于将通过该第一子网络得到的至少一个车辆特征图通过该第二子网络的第一个卷积层输入至该第二子网络中，通过该第二子网络对该至少一个车辆特征图进行尺度变化，得到至少一个形变车辆特征图，每个形变车辆特征图中包括的至少一个第三车辆图像为发生尺度变化的车辆图像，该第三车辆图像的标签与该第二车辆图像的标签相同；

[0220] 训练子模块，用于通过该至少一个形变车辆特征图、每个形变车辆特征图中至少一个第三车辆图像的标签以及该第三车辆检测模型，对该第二子网络进行训练，得到该第二车辆检测模型，该第二车辆检测模型用于检测发生尺度变化的待检测车辆图像的标签。

[0221] 可选地，该装置还包括：

[0222] 接收模块，用于将该目标全景图像样本输入至该第二车辆检测模型，并接收该第二车辆检测模型输出的该目标全景图像样本中至少一个待检测车辆图像的类别信息和位置信息，该至少一个待检测车辆图像的位置信息为用于标注该至少一个待检测车辆图像的至少一个立方体框的位置信息；

[0223] 第二确定模块，用于将该至少一个待检测车辆图像的类别信息和位置信息确定为该至少一个待检测车辆图像的标签。

[0224] 可选地，该接收模块包括：

[0225] 第一确定子模块，用于确定当所述目标全景图像样本呈现圆柱形时，包括的至少一个待检测车辆图像的圆柱坐标；

[0226] 第二确定子模块，用于根据该圆柱坐标确定该至少一个待检测车辆图像的经度和纬度，该经度和纬度用于表示将圆柱形的目标全景图像样本展开成矩形的全景图像样本时，该矩形的全景图像样本中至少一个待检测车辆图像的位置信息；

[0227] 转换子模块，用于将该经度和该纬度转换成空间转换坐标；

[0228] 第三确定子模块，用于根据该空间转换坐标确定该至少一个待检测车辆图像的实际三维坐标，并将该实际三维坐标确定为该至少一个待检测车辆图像的位置信息。

[0229] 可选地，该无人驾驶车辆上安装有全景摄像机，该转换子模块包括：

[0230] 第一确定单元，用于根据该矩形的全景图像样本的水平宽度确定该矩形的全景图像样本的角度分辨率；

[0231] 第二确定单元，用于根据该角度分辨率、该全景摄像机的第一内置参数和第二内置参数确定该矩形的全景图像样本对应的转置矩阵；

[0232] 第三确定单元，用于根据该转置矩阵、该经度和该纬度确定该空间转换坐标。

[0233] 可选地，该第一确定单元还用于：

[0234] 根据该矩形的全景图像样本的水平宽度，通过如下第一公式确定该矩形的全景图像样本的角度分辨率：

[0235] 第一公式：

[0236] 其中，γ为该角度分辨率，w为该矩形的全景图像样本的水平宽度。

[0237] 可选地，该第三确定子模块包括：

[0238] 获取单元，用于获取所述第二网络中的第一子网络中的候选区域网络RPN矩形框高度，所述RPN矩形框高度为所述第一子网络中的RPN层输出的用于标注第二车辆图像的矩形框的高度；

[0239] 第四确定单元，用于根据该RPN矩形框高度和该矩形的全景图像样本的角度分辨率，确定第一参数；

[0240] 第五确定单元，用于根据该空间转换坐标、该矩形的全景图像样本对应的转置矩阵和该第一参数，确定该至少一个待检测车辆图像的实际三维坐标。

[0241] 可选地，该第四确定单元还用于：

[0242] 根据该RPN矩形框高度和该矩形的全景图像样本的角度分辨率，通过如下第二公式确定该第一参数：

[0243] 第二公式：r＝γh

[0244] 其中，r为该第一参数，γ为该角度分辨率，h为该RPN矩形框高度。

[0245] 在本公开实施例中，通过获取的至少一个第一全景图像样本以及每个第一全景图像样本中至少一个第一车辆图像的标签，对第一网络进行训练，得到第一车辆检测模型。再通过至少一个第一全景图像样本以及每个第一全景图像样本中至少一个第一车辆图像的标签和第一车辆检测模型对第二网络进行训练，得到第二车辆检测模型。其中，将第二网络的第一个卷积层与第一网络的全连接层连接，得到了一个新网络，该新网络即包括第一网络和第二网络。也即是，通过第一网络和第二网络的联合，训练出了第二车辆检测模型。由于第二网络用于对每个第一全景图像样本中至少一个第一车辆图像进行尺度变化，且第二车辆检测模型是对第二网络训练得到，因此，当给定一张对无人驾驶车辆的周围环境进行拍摄得到的目标全景图像样本时，通过第二车辆检测模型可以准确地检测出该目标全景图像样本中至少一个发生尺度变化的待检测车辆图像的标签，提高车辆检测的精度。

[0246] 关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

[0247] 需要说明的是：上述实施例提供的车辆检测的装置在检测车辆时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的车辆检测的装置车辆检测的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

[0248] 本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

[0249] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。