一种图像处理方法、设备及计算机可读存储介质，所述方法包括：通过拍摄装置获取包含目标物体的平视图像；确定与所述目标物体对应的空间平面；确定所述空间平面和所述拍摄装置的相对姿态；根据所述相对姿态将所述平视图像转换为俯视图像。应用本发明实施例，可以提高车道线的检测的准确性，并准确的定位车道线与车实际的位置关系。
1.一种驾驶辅助设备，其特征在于，所述驾驶辅助设备包括至少一个拍摄装置、处理器和存储器；所述驾驶辅助设备设置在车辆上，并与所述车辆通信；所述存储器，用于存储所述处理器可执行的计算机指令；
所述拍摄装置，用于采集包含目标物体的平视图像，并将包含目标物体的所述平视图像发送给所述处理器；
所述处理器，用于从所述存储器读取计算机指令以实现：从所述拍摄装置获取包含目标物体的平视图像；
2.根据权利要求1所述的设备，其特征在于，所述拍摄装置，用于获取所述驾驶辅助设备的前方、后方、左方或者右方中的至少一个方向的所述平视图像。
3.根据权利要求1所述的设备，其特征在于，所述处理器确定与所述目标物体对应的空间平面时具体用于：获取所述驾驶辅助设备的第二姿态信息；
4.根据权利要求1所述的设备，其特征在于，所述处理器根据所述相对姿态将所述平视图像转换为俯视图像时具体用于：根据所述相对姿态获取所述平视图像对应的投影矩阵；
5.根据权利要求4所述的设备，其特征在于，所述处理器根据所述相对姿态获取所述平视图像对应的投影矩阵时具体用于：根据所述相对姿态确定目标旋转矩阵；
根据所述相对姿态和所述目标旋转参数获取所述投影矩阵。
6.根据权利要求5所述的设备，其特征在于，所述相对姿态包括所述拍摄装置在俯仰轴的旋转角度、在横滚轴的旋转角度、在偏航轴的旋转角度；所述处理器根据所述相对姿态确定目标旋转矩阵时具体用于：根据所述拍摄装置在俯仰轴的旋转角度确定第一旋转矩阵；
根据所述拍摄装置在横滚轴的旋转角度确定第二旋转矩阵；
根据所述拍摄装置在偏航轴的旋转角度确定第三旋转矩阵；
根据第一旋转矩阵、第二旋转矩阵和第三旋转矩阵确定目标旋转矩阵。
7.根据权利要求5所述的设备，其特征在于，所述处理器根据所述目标旋转矩阵获取目标旋转参数时具体用于：将所述目标旋转矩阵中的第一个列向量确定为第一旋转参数；
将所述目标旋转矩阵中的第二个列向量确定为第二旋转参数；
将所述第一旋转参数和所述第二旋转参数确定为目标旋转参数。
8.根据权利要求5所述的设备，其特征在于，所述相对姿态还包括所述空间平面和所述拍摄装置的平移参数；所述处理器根据所述相对姿态和所述目标旋转参数获取所述投影矩阵时具体用于：根据所述目标旋转参数、归一化系数、所述拍摄装置的内参矩阵、所述空间平面和所述拍摄装置的平移参数，获取所述投影矩阵。
9.根据权利要求4所述的设备，其特征在于，所述处理器根据所述投影矩阵将所述平视图像转换为俯视图像时具体用于：针对所述平视图像中的每个第一像素点，根据所述投影矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息；
10.根据权利要求9所述的设备，其特征在于，所述处理器根据所述投影矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息时具体用于：获取所述投影矩阵对应的逆矩阵，并根据所述逆矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息。
11.一种搭载驾驶辅助系统的车辆，其特征在于，所述车辆包括至少一个拍摄装置、处理器和存储器，所述存储器，用于存储所述处理器可执行的计算机指令；所述拍摄装置，用于采集包含目标物体的平视图像，并将包含目标物体的所述平视图像发送给所述处理器；
所述处理器，用于从所述存储器读取计算机指令以实现：从所述拍摄装置获取包含目标物体的平视图像；
12.根据权利要求11所述的车辆，其特征在于，所述拍摄装置，用于获取所述车辆的前方、后方、左方或者右方中的至少一个方向的所述平视图像。
13.根据权利要求11所述的车辆，其特征在于，所述处理器确定与所述目标物体对应的空间平面时具体用于：获取所述车辆的第一姿态信息；
14.根据权利要求11所述的车辆，其特征在于，所述处理器根据所述相对姿态将所述平视图像转换为俯视图像时具体用于：根据所述相对姿态获取所述平视图像对应的投影矩阵；
15.根据权利要求14所述的车辆，其特征在于，所述处理器根据所述相对姿态获取所述平视图像对应的投影矩阵时具体用于：根据所述相对姿态确定目标旋转矩阵；
根据所述相对姿态和所述目标旋转参数获取所述投影矩阵。
16.根据权利要求15所述的车辆，其特征在于，所述相对姿态包括所述拍摄装置在俯仰轴的旋转角度、在横滚轴的旋转角度、在偏航轴的旋转角度；所述处理器根据所述相对姿态确定目标旋转矩阵时具体用于：根据所述拍摄装置在俯仰轴的旋转角度确定第一旋转矩阵；
根据所述拍摄装置在横滚轴的旋转角度确定第二旋转矩阵；
根据所述拍摄装置在偏航轴的旋转角度确定第三旋转矩阵；
根据第一旋转矩阵、第二旋转矩阵和第三旋转矩阵确定目标旋转矩阵。
17.根据权利要求15所述的车辆，其特征在于，所述处理器根据所述目标旋转矩阵获取目标旋转参数时具体用于：将所述目标旋转矩阵中的第一个列向量确定为第一旋转参数；
将所述目标旋转矩阵中的第二个列向量确定为第二旋转参数；
将所述第一旋转参数和所述第二旋转参数确定为目标旋转参数。
18.根据权利要求15所述的车辆，其特征在于，所述相对姿态还包括所述空间平面和所述拍摄装置的平移参数；所述处理器根据所述相对姿态和所述目标旋转参数获取所述投影矩阵时具体用于：根据所述目标旋转参数、归一化系数、所述拍摄装置的内参矩阵、所述空间平面和所述拍摄装置的平移参数，获取所述投影矩阵。
19.根据权利要求14所述的车辆，其特征在于，所述处理器根据所述投影矩阵将所述平视图像转换为俯视图像时具体用于：针对所述平视图像中的每个第一像素点，根据所述投影矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息；
20.根据权利要求19所述的车辆，其特征在于，所述处理器根据所述投影矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息时具体用于：获取所述投影矩阵对应的逆矩阵，并根据所述逆矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息。
21.一种图像处理方法，其特征在于，应用于驾驶辅助系统，所述驾驶辅助系统包括至少一个拍摄装置，所述方法包括：通过所述拍摄装置获取包含目标物体的平视图像；
22.根据权利要求21所述的方法，其特征在于，所述驾驶辅助系统搭载于移动平台；
所述至少一个拍摄装置设置于所述移动平台上，用于获取所述移动平台的前方、后方、左方或右方中的至少一个方向的所述平视图像。
23.根据权利要求22所述的方法，其特征在于，所述确定与所述目标物体对应的空间平面，包括：获取所述移动平台的第一姿态信息；
24.根据权利要求21所述的方法，其特征在于，所述驾驶辅助系统搭载于驾驶辅助设备；
所述至少一个拍摄装置设置于所述驾驶辅助设备，用于获取所述驾驶辅助设备的前方、后方、左方或右方中的至少一个方向的所述平视图像。
25.根据权利要求24所述的方法，其特征在于，所述确定与所述目标物体对应的空间平面，还包括：获取所述驾驶辅助设备的第二姿态信息；
26.根据权利要求21所述的方法，其特征在于，所述根据所述相对姿态将所述平视图像转换为俯视图像，包括：根据所述相对姿态获取所述平视图像对应的投影矩阵；
27.根据权利要求26所述的方法，其特征在于，所述根据所述相对姿态获取所述平视图像对应的投影矩阵，包括：根据所述相对姿态确定目标旋转矩阵；
根据所述相对姿态和所述目标旋转参数获取所述投影矩阵。
28.根据权利要求27所述的方法，其特征在于，所述相对姿态包括所述拍摄装置在俯仰轴的旋转角度、在横滚轴的旋转角度、在偏航轴的旋转角度；
所述根据所述相对姿态确定目标旋转矩阵，包括：根据所述拍摄装置在俯仰轴的旋转角度确定第一旋转矩阵；
根据所述拍摄装置在横滚轴的旋转角度确定第二旋转矩阵；
根据所述拍摄装置在偏航轴的旋转角度确定第三旋转矩阵；
根据第一旋转矩阵、第二旋转矩阵和第三旋转矩阵确定目标旋转矩阵。
29.根据权利要求27所述的方法，其特征在于，所述根据所述目标旋转矩阵获取目标旋转参数，包括：将所述目标旋转矩阵中的第一个列向量确定为第一旋转参数；
将所述目标旋转矩阵中的第二个列向量确定为第二旋转参数；
将所述第一旋转参数和所述第二旋转参数确定为目标旋转参数。
30.根据权利要求27所述的方法，其特征在于，所述相对姿态还包括所述空间平面和所述拍摄装置的平移参数；
根据所述相对姿态和所述目标旋转参数获取所述投影矩阵，包括：根据所述目标旋转参数、归一化系数、所述拍摄装置的内参矩阵、所述空间平面和所述拍摄装置的平移参数，获取所述投影矩阵。
31.根据权利要求26所述的方法，其特征在于，所述根据所述投影矩阵将所述平视图像转换为俯视图像，包括：针对所述平视图像中的每个第一像素点，根据所述投影矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息；
32.根据权利要求31所述的方法，其特征在于，根据所述投影矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息，包括：获取所述投影矩阵对应的逆矩阵，并根据所述逆矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息。
33.根据权利要求21所述的方法，其特征在于，所述根据所述相对姿态将所述平视图像转换为俯视图像之后，还包括：若所述目标物体为车道线，则根据所述俯视图像进行车道线的检测。
34.根据权利要求21所述的方法，其特征在于，所述根据所述相对姿态将所述平视图像转换为俯视图像之后，还包括：若所述目标物体为车道线，则根据所述俯视图像进行车道线的定位。
35.一种计算机可读存储介质，其特征在于，计算机可读存储介质上存储有计算机指令，所述计算机指令被执行时，实现权利要求21-34所述的方法。
图像处理方法、设备及计算机可读存储介质
技术领域
[0001] 本发明实施例涉及图像处理技术领域，尤其是涉及一种图像处理方法、设备及计算机可读存储介质。
背景技术
[0002] 在自动驾驶以及ADAS(Advanced Driver Assistance Systems，高级驾驶辅助系统)等领域，车道线算法充当着重要的角色，车道线算法的准确性将直接影响系统的性能和可靠性，车道线算法是自动驾驶控车的重要前提。
[0003] 车道线算法分为两个层面，一是车道线的检测，二是车道线的定位，即计算车道线与车实际的位置关系。传统的车道线检测算法，可以通过拍摄装置采集平视图像，并利用平视图像进行车道线的检测。传统的车道线定位算法，可以通过拍摄装置采集平视图像，并利用平视图像进行车道线的定位。
[0004] 在利用平视图像进行车道线的检测时，存在检测结果不准确的问题，例如，平视图像中车道线的大小和性质都是经过透视投影，有“近大远小”的效应，导致远处的有些路面标志物形状扭曲，无法正确检测。在利用平视图像进行车道线的定位时，存在定位结果不准确的问题，例如，路面标志物在平视图像中的形状和大小，与拍摄装置内参、拍摄装置和路面的位置关系，耦合在一起，无法直接通过平视图像中的位置，获知车道线的实际位置。
发明内容
[0005] 本发明提供一种图像处理方法、设备及计算机可读存储介质，可以提高车道线的检测的准确性，并准确的定位车道线与车实际的位置关系。
[0006] 本发明第一方面，提供一种驾驶辅助设备，所述驾驶辅助设备包括至少一个拍摄装置、处理器和存储器；所述驾驶辅助设备设置在车辆上，并与所述车辆通信；所述存储器，用于存储所述处理器可执行的计算机指令；
[0007] 所述拍摄装置，用于采集包含目标物体的平视图像，并将包含目标物体的所述平视图像发送给所述处理器；
[0008] 所述处理器，用于从所述存储器读取计算机指令以实现：
[0009] 从所述拍摄装置获取包含目标物体的平视图像；
[0010] 确定与所述目标物体对应的空间平面；
[0011] 确定所述空间平面和所述拍摄装置的相对姿态；
[0012] 根据所述相对姿态将所述平视图像转换为俯视图像。
[0013] 本发明实施例第二方面，提供一种搭载驾驶辅助系统的车辆，所述车辆包括至少一个拍摄装置、处理器和存储器，所述存储器，用于存储所述处理器可执行的计算机指令；所述拍摄装置，用于采集包含目标物体的平视图像，并将包含目标物体的所述平视图像发送给所述处理器；
[0014] 所述处理器，用于从所述存储器读取计算机指令以实现：
[0015] 从所述拍摄装置获取包含目标物体的平视图像；
[0016] 确定与所述目标物体对应的空间平面；
[0017] 确定所述空间平面和所述拍摄装置的相对姿态；
[0018] 根据所述相对姿态将所述平视图像转换为俯视图像。
[0019] 本发明实施例第三方面，提供一种图像处理方法，应用于驾驶辅助系统，所述驾驶辅助系统包括至少一个拍摄装置，所述方法包括：
[0020] 通过所述拍摄装置获取包含目标物体的平视图像；
[0021] 确定与所述目标物体对应的空间平面；
[0022] 确定所述空间平面和所述拍摄装置的相对姿态；
[0023] 根据所述相对姿态将所述平视图像转换为俯视图像。
[0024] 本发明实施例第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令被执行时，实现上述方法。
[0025] 基于上述技术方案，本发明实施例中，可以提高车道线的检测的准确性，并准确的定位车道线与车实际的位置关系。具体的，可以将平视图像转换为俯视图像，并利用俯视图像进行车道线的检测，从而提高车道线检测结果的准确性。可以将平视图像转换为俯视图像，并利用俯视图像进行车道线的定位，从而提高车道线定位结果的准确性，准确获知车道线的实际位置。
附图说明
[0026] 为了更加清楚地说明本发明实施例或者现有技术中的技术方案，下面将对本发明实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本发明实施例的这些附图获得其它的附图。
[0027] 图1是一种实施方式中的图像处理方法的实施例示意图；
[0028] 图2是另一种实施方式中的图像处理方法的实施例示意图；
[0029] 图3是另一种实施方式中的图像处理方法的实施例示意图；
[0030] 图4A是一种实施方式中图像处理方法的平视图像和俯视图像的示意图；
[0031] 图4B是一种实施方式中目标物体、空间平面和相机的关系示意图；
[0032] 图5是一种实施方式中的驾驶辅助设备的实施例框图。
具体实施方式
[0033] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
[0034] 本发明使用的术语仅仅是出于描述特定实施例的目的，而非限制本发明。本发明和权利要求书所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。应当理解，本文中使用的术语“和/或”是指包含一个或者多个相关联的列出项目的任何或所有可能的组合。
[0035] 尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”，或者“当……时”，或者“响应于确定”。
[0036] 实施例1：
[0037] 本发明实施例中提出一种图像处理方法，该方法可以应用于驾驶辅助系统，所述驾驶辅助系统可以包括至少一个拍摄装置。其中，所述驾驶辅助系统可以搭载于移动平台(如无人车辆、普通车辆等)，或者，所述驾驶辅助系统还可以搭载于驾驶辅助设备(如ADAS设备等)，且所述驾驶辅助设备设置于移动平台(如无人车辆、普通车辆等)上，当然，上述只是两个应用场景的示例，驾驶辅助系统还可以搭载于其它载具上，对此不做限制。
[0038] 参见图1所示，为图像处理方法的流程示意图，该方法可以包括：
[0039] 步骤101，通过拍摄装置获取包含目标物体的平视图像。
[0040] 具体的，若驾驶辅助系统搭载于移动平台，则所述至少一个拍摄装置设置于移动平台上，可以通过所述拍摄装置获取所述移动平台的前方、后方、左方或右方中的至少一个方向的平视图像，平视图像包含目标物体。
[0041] 若驾驶辅助系统搭载于驾驶辅助设备，则所述至少一个拍摄装置设置于驾驶辅助设备，可以通过所述拍摄装置获取所述驾驶辅助设备的前方、后方、左方或右方中的至少一个方向的平视图像，平视图像包含目标物体。
[0042] 步骤102，确定与所述目标物体对应的空间平面。
[0043] 具体的，若驾驶辅助系统搭载于移动平台，则可以获取所述移动平台的第一姿态信息(即移动平台当前的姿态信息)，并根据所述第一姿态信息确定所述空间平面。其中，所述空间平面是指，目标物体(如路面或者地面)在世界坐标系下的位置平面，也就是空间平面在世界坐标系下的位置。
[0044] 若驾驶辅助系统搭载于驾驶辅助设备，则可以获取所述驾驶辅助设备的第二姿态信息(即驾驶辅助设备当前的姿态信息)，并根据所述第二姿态信息确定所述空间平面。其中，所述空间平面是指，目标物体(如路面或者地面)在世界坐标系下的位置平面，也就是空间平面在世界坐标系下的位置。
[0045] 步骤103，确定所述空间平面和所述拍摄装置的相对姿态。
[0046] 在一个例子中，所述相对姿态是指，所述拍摄装置相对于空间平面(如路面或者地面)的相对姿态，也可以理解为所述拍摄装置相对于空间平面的外参(即位置关系)。例如，所述相对姿态可以包括但不限于：所述拍摄装置相对于空间平面的俯仰角(pitch)，所述拍摄装置相对于空间平面的横滚角(roll)，所述拍摄装置相对于空间平面的偏航角(yaw)，所述拍摄装置相对于空间平面的高度，所述拍摄装置相对于空间平面的平移参数。
[0047] 步骤104，根据所述相对姿态将平视图像转换为俯视图像。
[0048] 具体的，可以根据所述相对姿态获取平视图像对应的投影矩阵；例如，可以根据所述相对姿态确定目标旋转矩阵，根据目标旋转矩阵获取目标旋转参数，并根据所述相对姿态和目标旋转参数获取平视图像对应的投影矩阵。然后，可以根据所述投影矩阵将平视图像转换为俯视图像。
[0049] 其中，所述相对姿态包括拍摄装置在俯仰轴的旋转角度(即拍摄装置相对于空间平面的俯仰角)、在横滚轴的旋转角度(即拍摄装置相对于空间平面的横滚角)、在偏航轴的旋转角度(即拍摄装置相对于空间平面的偏航角)；基于此，根据所述相对姿态确定目标旋转矩阵，可以包括但不限于：根据拍摄装置在俯仰轴的旋转角度确定第一旋转矩阵；根据拍摄装置在横滚轴的旋转角度确定第二旋转矩阵；根据拍摄装置在偏航轴的旋转角度确定第三旋转矩阵；根据第一旋转矩阵、第二旋转矩阵和第三旋转矩阵确定目标旋转矩阵。
[0050] 其中，目标旋转矩阵可以包括三个列向量，根据目标旋转矩阵获取目标旋转参数，可以包括但不限于：将所述目标旋转矩阵中的第一个列向量确定为第一旋转参数，并将所述目标旋转矩阵中的第二个列向量确定为第二旋转参数；将所述第一旋转参数和所述第二旋转参数确定为所述目标旋转参数。
[0051] 其中，所述相对姿态还包括空间平面和拍摄装置的平移参数(即拍摄装置相对于空间平面的平移参数)，根据所述相对姿态和目标旋转参数获取投影矩阵，可以包括但不限于：根据所述目标旋转参数、归一化系数、拍摄装置的内参矩阵、空间平面和拍摄装置的平移参数，获取所述投影矩阵。
[0052] 在上述实施例中，根据所述投影矩阵将平视图像转换为俯视图像，可以包括但不限于：针对平视图像中的每个第一像素点，根据所述投影矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息；基于此，可以根据每个第二像素点的位置信息获取所述俯视图像。
[0053] 其中，根据所述投影矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息，可以包括但不限于：获取所述投影矩阵对应的逆矩阵，并根据所述逆矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息，即每个第一像素点对应一个第二像素点。
[0054] 在一个例子中，根据所述相对姿态将平视图像转换为俯视图像之后，若所述目标物体为车道线，则可以根据所述俯视图像进行车道线的检测。
[0055] 在一个例子中，根据所述相对姿态将平视图像转换为俯视图像之后，若所述目标物体为车道线，则可以根据所述俯视图像进行车道线的定位。
[0056] 综上所述，可以根据俯视图像进行车道线检测(不是根据平视图像进行车道线检测)，提高车道线检测的准确性。和/或，根据俯视图像进行车道线定位(不是根据平视图像进行车道线定位)，提高车道线的定位的准确性。
[0057] 基于上述技术方案，本发明实施例中，可以提高车道线的检测的准确性，并准确的定位车道线与车实际的位置关系。具体的，可以将平视图像转换为俯视图像，并利用俯视图像进行车道线的检测，从而提高车道线检测结果的准确性。可以将平视图像转换为俯视图像，并利用俯视图像进行车道线的定位，从而提高车道线定位结果的准确性，准确获知车道线的实际位置。
[0058] 实施例2：
[0059] 本发明实施例中提出一种图像处理方法，该方法可以应用于驾驶辅助系统，所述驾驶辅助系统可以包括至少一个拍摄装置。其中，所述驾驶辅助系统可以搭载于移动平台(如无人车辆、普通车辆等)，当然，上述只是本发明应用场景的示例，驾驶辅助系统还可以搭载于其它载具上，对此不做限制。
[0060] 参见图2所示，为图像处理方法的流程示意图，该方法可以包括：
[0061] 步骤201，通过拍摄装置获取包含目标物体的平视图像。
[0062] 具体的，可以通过所述拍摄装置获取所述移动平台的前方、后方、左方或右方中的至少一个方向的平视图像，且该平视图像包含目标物体。
[0063] 步骤202，根据移动平台的第一姿态信息确定目标物体对应的空间平面。
[0064] 具体的，可以获取所述移动平台的第一姿态信息，并根据所述第一姿态信息确定所述空间平面。其中，所述空间平面是指，目标物体(如路面或者地面)在世界坐标系下的位置平面，也就是空间平面在世界坐标系下的位置。
[0065] 在一个例子中，获取移动平台的第一姿态信息的过程，移动平台可以包括姿态传感器，姿态传感器采集移动平台的第一姿态信息，并将第一姿态信息提供给驾驶辅助系统，以使驾驶辅助系统获取移动平台的第一姿态信息。当然，也可以采用其它方式获取移动平台的第一姿态信息，对此不做限制。
[0066] 其中，姿态传感器是一种高性能三维运动姿态的测量系统，可以包含三轴陀螺仪、三轴加速度计(即IMU)，三轴电子罗盘等辅助运动传感器，并通过内嵌的处理器输出校准过的角速度，加速度，磁数据等传感器数据，然后，可以基于传感器数据测量出姿态信息，对此姿态信息获取方式不做限制。
[0067] 在一个例子中，根据第一姿态信息确定目标物体对应的空间平面的过程，在得到移动平台的第一姿态信息后，就可以根据该第一姿态信息确定空间平面，这个过程可以参见传统方式，在此不再赘述。
[0068] 步骤203，确定所述空间平面和拍摄装置的相对姿态。
[0069] 在一个例子中，所述相对姿态是指，拍摄装置相对于空间平面的相对姿态，也可以理解为拍摄装置相对于空间平面的外参(即位置关系)。例如，相对姿态可以包括但不限于：拍摄装置相对于空间平面的俯仰角，拍摄装置相对于空间平面的横滚角，拍摄装置相对于空间平面的偏航角，拍摄装置相对于空间平面的高度，拍摄装置相对于空间平面的平移。
[0070] 步骤204，根据所述相对姿态获取平视图像对应的投影矩阵。
[0071] 具体的，可以根据所述相对姿态确定目标旋转矩阵，根据目标旋转矩阵获取目标旋转参数，并根据所述相对姿态和目标旋转参数获取平视图像对应的投影矩阵。针对获取投影矩阵的过程，在后续实施例4中详细介绍。
[0072] 步骤205，根据所述投影矩阵将平视图像转换为俯视图像。
[0073] 具体的，针对所述平视图像中的每个第一像素点，根据所述投影矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息；基于此，可以根据每个第二像素点的位置信息获取所述俯视图像。
[0074] 其中，根据所述投影矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息，可以包括但不限于：获取所述投影矩阵对应的逆矩阵，并根据所述逆矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息，即每个第一像素点对应一个第二像素点。
[0075] 实施例3：
[0076] 本发明实施例中提出一种图像处理方法，该方法可以应用于驾驶辅助系统，所述驾驶辅助系统可以包括至少一个拍摄装置。其中，所述驾驶辅助系统还可以搭载于驾驶辅助设备(如ADAS设备等)，且所述驾驶辅助设备设置于移动平台(如无人车辆、普通车辆等)上，当然，上述只是本发明应用场景的示例，驾驶辅助系统还可以搭载于其它载具上，对此不做限制。
[0077] 参见图3所示，为图像处理方法的流程示意图，该方法可以包括：
[0078] 步骤301，通过拍摄装置获取包含目标物体的平视图像。
[0079] 具体的，可以通过所述拍摄装置获取所述驾驶辅助设备的前方、后方、左方或右方中的至少一个方向的平视图像，该平视图像包含目标物体。
[0080] 步骤302，根据驾驶辅助设备的第二姿态信息确定与目标物体对应的空间平面。空间平面是指目标物体，即路面或者地面在世界坐标系下的位置平面。
[0081] 具体的，可以获取驾驶辅助设备的第二姿态信息，并根据第二姿态信息确定所述空间平面。其中，驾驶辅助设备可以包括姿态传感器，这个姿态传感器用于采集驾驶辅助设备的第二姿态信息，并将第二姿态信息提供给驾驶辅助系统，以使驾驶辅助系统获取驾驶辅助设备的第二姿态信息。或者，移动平台可以包括姿态传感器，姿态传感器采集移动平台的第一姿态信息，并将第一姿态信息提供给驾驶辅助系统，驾驶辅助系统可以将移动平台的第一姿态信息作为驾驶辅助设备的第二姿态信息，即得到驾驶辅助设备的第二姿态信息。当然，也可以采用其它方式获取第二姿态信息，对此不做限制。
[0082] 步骤303，确定所述空间平面和拍摄装置的相对姿态。
[0083] 在一个例子中，所述相对姿态是指，拍摄装置相对于空间平面的相对姿态，也可以理解为拍摄装置相对于空间平面的外参(即位置关系)。例如，相对姿态可以包括但不限于：拍摄装置相对于空间平面的俯仰角，拍摄装置相对于空间平面的横滚角，拍摄装置相对于空间平面的偏航角，拍摄装置相对于空间平面的高度，拍摄装置相对于空间平面的平移。
[0084] 步骤304，根据所述相对姿态获取平视图像对应的投影矩阵。
[0085] 具体的，可以根据所述相对姿态确定目标旋转矩阵，根据目标旋转矩阵获取目标旋转参数，并根据所述相对姿态和目标旋转参数获取平视图像对应的投影矩阵。针对获取投影矩阵的过程，在后续实施例4中详细介绍。
[0086] 步骤305，根据所述投影矩阵将平视图像转换为俯视图像。
[0087] 具体的，针对所述平视图像中的每个第一像素点，根据所述投影矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息；基于此，可以根据每个第二像素点的位置信息获取所述俯视图像。
[0088] 其中，根据所述投影矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息，可以包括但不限于：获取所述投影矩阵对应的逆矩阵，并根据所述逆矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息，即每个第一像素点对应一个第二像素点。
[0089] 实施例4：以移动平台是车辆，拍摄装置是相机为例进行后续说明。
[0090] 传统的车道线算法，可以通过相机采集平视图像，并利用平视图像进行车道线的检测与定位。参见图4A所示，左侧图像为平视图像的示意图，路面标志物箭头和车道线都是经过扭曲的，形状和车辆的位置有关，显然，基于图4A左侧平视图像无法正确进行车道线的检测与定位。与上述方式不同的是，本实施例中，将平视图像转换为俯视图像，并利用俯视图像进行车道线的检测与定位。参见图4A所示，右侧图像为俯视图像的示意图，路面标志物箭头和车道线都被还原成真实尺度，路面上的点的位置直接对应真实位置，可以直接得到某一点和车辆的位置关系，可以满足ADAS功能和自动驾驶功能的需求，显然，基于图4A右侧俯视图像能够正确进行车道线的检测与定位。
[0091] 而且，通过将平视图像转换为俯视图像，能够提高路面标志物识别的准确率，并提供一种路面标志物(包括车道线)的定位方法，从而辅助定位。
[0092] 在一个例子中，为了将平视图像转换为俯视图像，可以基于计算机视觉的几何知识来实现，即基于单应性(Homography)将平视图像转换为俯视图像。具体的，假设平视图像是空间平面的图像，俯视图像是图像平面，则俯视图像的形状，取决于空间平面的平视图像的真实形状、相机的内参、相机的外参(即相机相对于空间平面的位置关系)，因此，可以根据相机的内参和相机的外参，将平视图像中的像素直接映射到俯视图像，从而与空间平面的真实尺度对应起来，提高车道线识别的准确性，并提供车道线的准确定位手段。
[0093] 参见图4B所示，为目标物体、空间平面和相机的关系示意图，空间平面是包括目标物体的平面，相机所在的平面可以与空间平面不同。例如，目标物体可以是图中所示的包含车道线的道路(路面或地面)，而空间平面可以是目标物体即路面所在的平面。相机实际拍摄画面如图4B右下角所示，即与图4A左侧平视图像对应。
[0094] 在一个例子中，单应性可以通过如下公式表示，(u,v)是平视图像中的像素点，即空间平面中的像素点，s为归一化系数，M为相机内参，[r1 r2 r3 t]是相机对空间平面的外参，即位置关系，r1为3*1的列向量，r2为3*1的列向量，r3为3*1的列向量，且r1、r2和r3构成旋转矩阵，t为3*1的列向量，表示相机到物体平面的平移，即，r1、r2和r3构成旋转矩阵与平移t就构成了相机对空间平面的外参，(X,Y)是俯视图像中的像素点，即图像坐标系中的像素点。
[0095]
[0096] 在上述公式中，俯视图像中的像素点可以为(X,Y,Z)，但是，考虑到目标物体在一个平面，即Z为0，因此，r3与Z的乘积为0，也就是说，在对单应性的公式进行转换后，可以从公式中消除r3与Z，最终可以得到如下公式。
[0097]
[0098] 在上述公式中，假设H＝sM[r1 r2 t]，则上述公式可以转换为如下转换矩阵：
[0099]
[0100] 进一步的，公式两边同时乘以H的逆矩阵，可以得到如下转换矩阵：
[0101]
[0102] 从上述公式可以看出，在已知H和(u,v)的情况下，就可以得到(X,Y)。
[0103] 在上述应用场景下，本发明实施例中的图像处理方法可以包括：
[0104] 步骤a1、通过相机获取包含目标物体的平视图像，该平视图像中的每个像素点称为第一像素点，且每个第一像素点可以为上述(u,v)。
[0105] 步骤a2，确定与所述目标物体对应的空间平面。所述空间平面是指，目标物体，即其所在的路面或者地面在世界坐标系下的位置平面。
[0106] 步骤a3，确定空间平面和相机的相对姿态。
[0107] 其中，相对姿态可以为相机相对于空间平面的外参(即位置关系)，如相机相对于空间平面的俯仰角(pitch)，相机相对于空间平面的横滚角(roll)，相机相对于空间平面的偏航角(yaw)，相机相对于空间平面的高度，相机相对于空间平面的平移参数，即上述公式中的t。
[0108] 步骤a4，根据相对姿态确定目标旋转矩阵。
[0109] 例如，基于上述相对姿态，可以确定相机相对于空间平面的俯仰角(pitch)，相机相对于空间平面的横滚角(roll)，相机相对于空间平面的偏航角(yaw)。进一步的，可以基于相机在俯仰轴的旋转角度(pitch)，可以根据如下公式确定第一旋转矩阵Rx；可以基于相机在横滚轴的旋转角度(roll)，可以根据如下公式确定第二旋转矩阵Ry；可以基于相机在偏航轴的旋转角度(yaw)，可以根据如下公式确定第三旋转矩阵Rz。
[0110]
[0111]
[0112]
[0113] 在得到第一旋转矩阵、第二旋转矩阵和第三旋转矩阵后，基于第一旋转矩阵、第二旋转矩阵和第三旋转矩阵，可以根据如下公式确定目标旋转矩阵R。
[0114]
[0115] 步骤a5，根据目标旋转矩阵获取目标旋转参数。
[0116] 例如，可以将目标旋转矩阵R中的第一个列向量确定为第一旋转参数，并将目标旋转矩阵R中的第二个列向量确定为第二旋转参数，并将第一旋转参数和第二旋转参数确定为目标旋转参数。第一旋转参数为上述公式中的r1，r1为3*1的列向量，第二旋转参数为上述公式中的r2，r2为3*1的列向量。
[0117] 步骤a6，根据目标旋转参数r1和r2、归一化系数、相机的内参矩阵、平移参数t，获取投影矩阵，该投影矩阵可以为上述公式中的H。
[0118] 其中，归一化系数可以为上述公式中的s，相机的内参矩阵可以为上述公式中的M，参见上述公式H＝sM[r1 r2 t]，在目标旋转参数r1和r2、归一化系数s、相机的内参矩阵M、平移参数t均已知的情况下，可以确定投影矩阵H。
[0119] 在上述公式中，相机的内参矩阵M可以为 在上述的内参矩阵M中，fx，fy表征的可以是相机的焦距，cx，cy表征的可以是相机镜头光轴穿过成像传感器的位置fx，fy，cx，cy均为已知值，对此不做限制。
[0120] 步骤a7，可以根据所述投影矩阵将平视图像转换为俯视图像。
[0121] 具体的，针对平视图像中的每个第一像素点(u，v)，可以根据投影矩阵H将第一像素点的位置信息转换为俯视图像中的第二像素点(X，Y)的位置信息，并根据每个第二像素点(X，Y)的位置信息获取俯视图像，即第二像素点组成俯视图像。例如，基于投影矩阵H的逆矩阵，可以参见上述公式将第一像素点(u，v)的位置信息转换为第二像素点(X，Y)的位置信息，在此不再赘述。
[0122] 实施例5：
[0123] 基于与上述方法同样的构思，参见图5所示，本发明实施例中还提供一种驾驶辅助设备50，所述驾驶辅助设备包括至少一个拍摄装置51、处理器52和存储器53；所述驾驶辅助设备50设置在车辆上，并与所述车辆通信；所述存储器53，用于存储所述处理器可执行的计算机指令；
[0124] 所述拍摄装置51，用于采集包含目标物体的平视图像，并将包含目标物体的所述平视图像发送给所述处理器52；
[0125] 所述处理器52，用于从所述存储器53读取计算机指令以实现：
[0126] 从所述拍摄装置51获取包含目标物体的平视图像；
[0127] 确定与所述目标物体对应的空间平面；
[0128] 确定所述空间平面和所述拍摄装置的相对姿态；
[0129] 根据所述相对姿态将所述平视图像转换为俯视图像。
[0130] 所述拍摄装置51，用于获取所述驾驶辅助设备的前方、后方、左方或者右方中的至少一个方向的所述平视图像。
[0131] 所述处理器52确定与所述目标物体对应的空间平面时具体用于：
[0132] 获取所述驾驶辅助设备的第二姿态信息；
[0133] 根据所述第二姿态信息确定所述空间平面。
[0134] 所述处理器52根据所述相对姿态将所述平视图像转换为俯视图像时具体用于：根据所述相对姿态获取所述平视图像对应的投影矩阵；
[0135] 根据所述投影矩阵将所述平视图像转换为俯视图像。
[0136] 所述处理器52根据所述相对姿态获取所述平视图像对应的投影矩阵时具体用于：根据所述相对姿态确定目标旋转矩阵；
[0137] 根据所述目标旋转矩阵获取目标旋转参数；
[0138] 根据所述相对姿态和所述目标旋转参数获取所述投影矩阵。
[0139] 所述相对姿态包括所述拍摄装置在俯仰轴的旋转角度、在横滚轴的旋转角度、在偏航轴的旋转角度；所述处理器52根据所述相对姿态确定目标旋转矩阵时具体用于：根据所述拍摄装置在俯仰轴的旋转角度确定第一旋转矩阵；
[0140] 根据所述拍摄装置在横滚轴的旋转角度确定第二旋转矩阵；
[0141] 根据所述拍摄装置在偏航轴的旋转角度确定第三旋转矩阵；
[0142] 根据第一旋转矩阵、第二旋转矩阵和第三旋转矩阵确定目标旋转矩阵。
[0143] 所述处理器52根据所述目标旋转矩阵获取目标旋转参数时具体用于：
[0144] 将所述目标旋转矩阵中的第一个列向量确定为第一旋转参数；
[0145] 将所述目标旋转矩阵中的第二个列向量确定为第二旋转参数；
[0146] 将所述第一旋转参数和所述第二旋转参数确定为目标旋转参数。
[0147] 所述相对姿态还包括所述空间平面和所述拍摄装置的平移参数；所述处理器52根据所述相对姿态和所述目标旋转参数获取所述投影矩阵时具体用于：根据所述目标旋转参数、归一化系数、所述拍摄装置的内参矩阵、所述空间平面和所述拍摄装置的平移参数，获取所述投影矩阵。
[0148] 所述处理器52根据所述投影矩阵将所述平视图像转换为俯视图像时具体用于：针对所述平视图像中的每个第一像素点，根据所述投影矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息；
[0149] 根据每个第二像素点的位置信息获取所述俯视图像。
[0150] 所述处理器52根据所述投影矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息时具体用于：
[0151] 获取所述投影矩阵对应的逆矩阵，并根据所述逆矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息。
[0152] 实施例6：
[0153] 基于与上述方法同样的构思，本发明实施例中还提供一种搭载驾驶辅助系统的车辆，所述车辆包括至少一个拍摄装置、处理器和存储器，所述存储器，用于存储所述处理器可执行的计算机指令；所述拍摄装置，用于采集包含目标物体的平视图像，将包含目标物体的所述平视图像发送给所述处理器；
[0154] 所述处理器，用于从所述存储器读取计算机指令以实现：
[0155] 从所述拍摄装置获取包含目标物体的平视图像；
[0156] 确定与所述目标物体对应的空间平面；
[0157] 确定所述空间平面和所述拍摄装置的相对姿态；
[0158] 根据所述相对姿态将所述平视图像转换为俯视图像。
[0159] 所述拍摄装置，用于获取所述车辆的前方、后方、左方或者右方中的至少一个方向的所述平视图像。
[0160] 所述处理器确定与所述目标物体对应的空间平面时具体用于：获取所述车辆的第一姿态信息；根据所述第一姿态信息确定所述空间平面。
[0161] 所述处理器根据所述相对姿态将所述平视图像转换为俯视图像时具体用于：根据所述相对姿态获取所述平视图像对应的投影矩阵；
[0162] 根据所述投影矩阵将所述平视图像转换为俯视图像。
[0163] 所述处理器根据所述相对姿态获取所述平视图像对应的投影矩阵时具体用于：根据所述相对姿态确定目标旋转矩阵；
[0164] 根据所述目标旋转矩阵获取目标旋转参数；
[0165] 根据所述相对姿态和所述目标旋转参数获取所述投影矩阵。
[0166] 所述相对姿态包括所述拍摄装置在俯仰轴的旋转角度、在横滚轴的旋转角度、在偏航轴的旋转角度；所述处理器根据所述相对姿态确定目标旋转矩阵时具体用于：根据所述拍摄装置在俯仰轴的旋转角度确定第一旋转矩阵；
[0167] 根据所述拍摄装置在横滚轴的旋转角度确定第二旋转矩阵；
[0168] 根据所述拍摄装置在偏航轴的旋转角度确定第三旋转矩阵；
[0169] 根据第一旋转矩阵、第二旋转矩阵和第三旋转矩阵确定目标旋转矩阵。
[0170] 所述处理器根据所述目标旋转矩阵获取目标旋转参数时具体用于：
[0171] 将所述目标旋转矩阵中的第一个列向量确定为第一旋转参数；
[0172] 将所述目标旋转矩阵中的第二个列向量确定为第二旋转参数；
[0173] 将所述第一旋转参数和所述第二旋转参数确定为目标旋转参数。
[0174] 所述相对姿态还包括所述空间平面和所述拍摄装置的平移参数；所述处理器根据所述相对姿态和所述目标旋转参数获取所述投影矩阵时具体用于：
[0175] 根据所述目标旋转参数、归一化系数、所述拍摄装置的内参矩阵、所述空间平面和所述拍摄装置的平移参数，获取所述投影矩阵。
[0176] 所述处理器根据所述投影矩阵将所述平视图像转换为俯视图像时具体用于：针对所述平视图像中的每个第一像素点，根据所述投影矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息；
[0177] 根据每个第二像素点的位置信息获取所述俯视图像。
[0178] 所述处理器根据所述投影矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息时具体用于：
[0179] 获取所述投影矩阵对应的逆矩阵，并根据所述逆矩阵将所述第一像素点的位置信息转换为俯视图像中的第二像素点的位置信息。
[0180] 实施例7：
[0181] 本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令被执行时，实现上述图像处理方法。
[0182] 上述实施例阐明的系统、装置、模块或单元，可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
[0183] 为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0184] 本领域内的技术人员应明白，本发明实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0185] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0186] 而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
[0187] 这些计算机程序指令也可装载到计算机或其它可编程数据处理设备，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0188] 以上所述仅为本发明实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进，均应包含在本发明的权利要求范围之内。
