一种车辆定位方法、装置、整车控制器及可读存储介质转让专利

申请号 : CN202211130282.8

文献号 : CN115205828B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 顾维灏艾锐梁东艺曹东璞王聪张凯王开李韶淼王殿政

申请人 : 毫末智行科技有限公司

摘要 :

本发明实施例提供了一种车辆定位方法、装置、整车控制器及可读存储介质,涉及车辆定位技术领域,包括:按照预设时间间隔获取车辆周围的环境图像序列,对环境图像序列进行特征提取,得到感知特征图像序列;按照预设时间间隔获取车辆的第一位置序列;根据车辆的第一位置序列从地图中提取地图特征图像序列;通过感知特征图像序列与地图特征图像序列对第一位置序列进行修正,得到第二位置序列。本发明实施例中,可以融合多次历史上的定位结果和车辆周围的环境图像,对车辆的位置信息进行修正,从而提高车辆的位置信息的准确程度,使得车辆的定位结果更加精确,为车辆实现更加高级的自动驾驶提供了可靠的定位基础。

权利要求 :

1.一种车辆定位方法,其特征在于,所述方法包括:

按照预设时间间隔获取车辆周围的环境图像序列,对所述环境图像序列进行特征提取,得到感知特征图像序列;

按照所述预设时间间隔获取所述车辆的第一位置序列;其中,所述第一位置序列中的第一位置与所述环境图像序列中的环境图像在时间上存在对应关系;

根据所述车辆的第一位置序列从地图中提取地图特征图像序列;

通过所述感知特征图像序列与所述地图特征图像序列对所述第一位置序列进行修正,得到第二位置序列;

所述通过所述感知特征图像序列与所述地图特征图像序列对所述第一位置序列进行修正,得到第二位置序列,包括:获取所述第一位置序列中相邻第一位置之间的位置变化信息;

根据所述位置变化信息、第一位置序列和所述感知特征图像序列,建立所述第一位置序列对应的因子图;

基于所述感知特征图像序列、所述地图特征图像序列和所述因子图,对所述第一位置序列中的各个第一位置进行修正,得到第二位置序列;

所述根据所述位置变化信息、第一位置序列和所述感知特征图像序列,建立所述第一位置序列对应的因子图,包括:将所述第一位置序列中的各个第一位置的值作为变量节点的初值,并按照所述第一位置序列中的各个第一位置的排列顺序连接所述变量节点;

将所述位置变化信息作为第一因子节点并连接至所述位置变化信息对应的变量节点;

将所述感知特征图像序列中的感知特征图像作为第二因子节点,并连接至所述感知特征图像对应的变量节点,得到由所述变量节点、所述第一因子节点和所述第二因子节点构成的因子图。

2.根据权利要求1所述的车辆定位方法,其特征在于,所述基于所述感知特征图像序列、所述地图特征图像序列和所述因子图,对所述第一位置序列中的各个第一位置进行修正,得到第二位置序列,包括:确定所述因子图中与各个变量节点连接的第一因子节点对应的第一概率;其中,所述第一概率用于表征所述位置变化信息能够准确表示所述位置变化信息相连的两个第一位置之间差异的程度;

基于所述感知特征图像序列和所述地图特征图像序列,确定所述因子图中与各个变量节点连接的第二因子节点对应的第二概率;其中,所述第二概率用于表征所述变量节点与对应的第二因子节点的匹配程度;

根据所述第一概率和所述第二概率对所述因子图中的各个变量节点进行修正,得到第二位置序列。

3.根据权利要求2所述的车辆定位方法,其特征在于,所述确定所述因子图中与各个变量节点连接的第一因子节点对应的第一概率,包括:确定所述因子图中相邻变量节点之间的位置差值;

根据所述位置差值与连接所述相邻变量节点的第一因子节点之间的差异,确定所述第一因子节点对应的第一概率。

4.根据权利要求2所述的车辆定位方法,其特征在于,所述基于所述感知特征图像序列和所述地图特征图像序列,确定所述因子图中与各个变量节点连接的第二因子节点对应的第二概率,包括:将所述感知特征图像序列中的感知特征图像,与对应的地图特征图像序列中的地图特征图像投影至同一目标坐标系中;

根据所述目标坐标系中感知特征图像与地图特征图像中相同目标特征在所述目标坐标系中的距离,确定所述感知特征图像对应的第二因子节点的第二概率。

5.根据权利要求2所述的车辆定位方法,其特征在于,所述根据所述第一概率和所述第二概率对所述因子图中的各个变量节点进行修正,得到第二位置序列,包括:根据所述第一概率和所述第二概率的乘积确定目标概率,对所述因子图中各个变量节点的值进行调整,使得所述目标概率趋于最大值;

在所述目标概率达到最大值时,根据所述因子图中各个变量节点调整后的值确定第二位置,得到第二位置序列。

6.根据权利要求5所述的车辆定位方法,其特征在于,所述根据所述第一概率和所述第二概率的乘积确定目标概率,对所述因子图中各个变量节点的值进行调整,使得所述目标概率趋于最大值,还包括:对于已被修正的第一位置,获取所述已被修正的第一位置对应的历史概率,并将所述历史概率作为第三因子节点插入所述因子图中,所述第三因子节点与所述因子图中的变量节点存在对应关系;

根据所述第三因子节点、所述第一概率和所述第二概率三者的乘积确定目标概率,对所述因子图中各个变量节点的值进行调整,使得所述目标概率趋于最大值。

7.根据权利要求1所述的车辆定位方法,其特征在于,所述根据所述车辆的第一位置序列从地图中提取地图特征图像序列,包括:获取所述第一位置序列中各个第一位置在地图中预设范围内的地图特征图像;

根据所述地图特征图像构建所述地图特征图像序列。

8.一种车辆定位装置,其特征在于,所述装置包括:

环境图像模块,用于按照预设时间间隔获取车辆周围的环境图像序列,对所述环境图像序列进行特征提取,得到感知特征图像序列;

位置模块,用于按照所述预设时间间隔获取所述车辆的第一位置序列;其中,所述第一位置序列中的第一位置与所述环境图像序列中的环境图像在时间上存在对应关系;

地图图像模块,用于根据所述车辆的第一位置序列从地图中提取地图特征图像序列;

修正模块,用于通过所述感知特征图像序列与所述地图特征图像序列对所述第一位置序列进行修正,得到第二位置序列;

所述修正模块包括:

位置变化信息子模块,用于获取所述第一位置序列中相邻第一位置之间的位置变化信息;

因子图子模块,用于根据所述位置变化信息、第一位置序列和所述感知特征图像序列,建立所述第一位置序列对应的因子图;

修正子模块,用于基于所述感知特征图像序列、所述地图特征图像序列和所述因子图,对所述第一位置序列中的各个第一位置进行修正,得到第二位置序列;

所述因子图子模块包括:

变量节点子模块,用于将所述第一位置序列中的各个第一位置的值作为变量节点的初值,并按照所述第一位置序列中的各个第一位置的排列顺序连接所述变量节点;

第一因子节点子模块,用于将所述位置变化信息作为第一因子节点并连接至所述位置变化信息对应的变量节点;

第二因子节点子模块,用于将所述感知特征图像序列中的感知特征图像作为第二因子节点,并连接至所述感知特征图像对应的变量节点,得到由所述变量节点、所述第一因子节点和所述第二因子节点构成的因子图。

9.一种整车控制器,其特征在于,所述整车控制器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的车辆定位方法。

10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至7中任一项所述的车辆定位方法。

说明书 :

一种车辆定位方法、装置、整车控制器及可读存储介质

技术领域

[0001] 本发明涉及车辆定位技术领域,特别涉及一种车辆定位方法、装置、整车控制器及可读存储介质。

背景技术

[0002] 随着科技的进步,越来越多的车辆开始配备自动驾驶和辅助驾驶功能,在车辆的自动驾驶和辅助驾驶过程中。
[0003] 相关技术中,为了使车辆在道路上正确行使,需要实时确定车辆的准确位置。一般可以通过全球定位系统(Global Positioning System,GPS)和/或实时差分定位(Real ‑ time kinematic,RTK)获取车辆的实时位置信息以确定车辆的位置。
[0004] 但随着自动驾驶功能的逐渐发展,为了实现更高级的自动驾驶功能,对车辆定位的精度要求也越来越高。然而全球定位系统和/或实时差分定位的定位精度均较低。

发明内容

[0005] 有鉴于此,本发明旨在提出一种车辆定位方法、装置、整车控制器及可读存储介质,以解决现有技术中车辆定位精度较差的问题。
[0006] 为达到上述目的,本发明的技术方案是这样实现的:
[0007] 一种车辆定位方法,所述方法包括:
[0008] 按照预设时间间隔获取车辆周围的环境图像序列,对所述环境图像序列进行特征提取,得到感知特征图像序列;
[0009] 按照所述预设时间间隔获取所述车辆的第一位置序列;其中,所述第一位置序列中的第一位置与所述环境图像序列中的环境图像在时间上存在对应关系;
[0010] 根据所述车辆的第一位置序列从地图中提取地图特征图像序列;
[0011] 通过所述感知特征图像序列与所述地图特征图像序列对所述第一位置序列进行修正,得到第二位置序列。
[0012] 一种车辆定位装置,所述装置包括:
[0013] 环境图像模块,用于按照预设时间间隔获取车辆周围的环境图像序列,对所述环境图像序列进行特征提取,得到感知特征图像序列;
[0014] 位置模块,用于按照所述预设时间间隔获取所述车辆的第一位置序列;其中,所述第一位置序列中的第一位置与所述环境图像序列中的环境图像在时间上存在对应关系;
[0015] 地图图像模块,用于根据所述车辆的第一位置序列从地图中提取地图特征图像序列;
[0016] 修正模块,用于通过所述感知特征图像序列与所述地图特征图像序列对所述第一位置序列进行修正,得到第二位置序列。
[0017] 一种整车控制器,所述整车控制器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述车辆定位方法。
[0018] 一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现上述车辆定位方法。
[0019] 一种车辆,包括上述整车控制器。
[0020] 相对于现有技术,本发明所述的一种车辆定位方法、装置、整车控制器及可读存储介质具有以下优势:
[0021] 综上,本发明实施例提供了一种车辆定位方法,包括:按照预设时间间隔获取车辆周围的环境图像序列,对环境图像序列进行特征提取,得到感知特征图像序列;按照预设时间间隔获取车辆的第一位置序列;其中,第一位置序列中的第一位置与环境图像序列中的环境图像在时间上存在对应关系;根据车辆的第一位置序列从地图中提取地图特征图像序列;通过感知特征图像序列与地图特征图像序列对第一位置序列进行修正,得到第二位置序列。本发明实施例中,可以融合多次历史上的定位结果和车辆周围的环境图像,对车辆的位置信息进行修正,从而提高车辆的位置信息的准确程度,使得车辆的定位结果更加精确,为车辆实现更加高级的自动驾驶提供了可靠的定位基础。

附图说明

[0022] 构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
[0023] 图1为本发明实施例提供的一种车辆定位方法步骤流程图;
[0024] 图2为本发明实施例提供的一种环境图像序列示意图;
[0025] 图3为本发明实施例提供的另一种车辆定位方法步骤流程图;
[0026] 图4为本发明实施例提供的一种因子图示意图;
[0027] 图5为本发明实施例提供的一种投影结果;
[0028] 图6为本发明实施例提供的一种车辆定位装置的结构框图。

具体实施方式

[0029] 需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
[0030] 下面将参考附图并结合实施例来详细说明本发明。
[0031] 参照图1,图1为本发明实施例提供的一种车辆定位方法步骤流程图。
[0032] 步骤101,按照预设时间间隔获取车辆周围的环境图像序列,对所述环境图像序列进行特征提取,得到感知特征图像序列。
[0033] 越来越多的车辆开始配备自动驾驶和辅助驾驶功能,在车辆的自动驾驶和辅助驾驶过程中,为了使车辆在道路上正确行使,需要实时确定车辆的准确位置。一般可以通过全球定位系统(Global Positioning System,GPS)和/或实时差分定位(Real ‑ time kinematic,RTK)获取车辆的实时位置信息以确定车辆的位置。
[0034] 随着自动驾驶功能的逐步完善,为了实现更高级的自动驾驶功能,对车辆定位的频率和精度要求也越来越高。然而全球定位系统和/或实时差分定位的定位频率、定位精度均较低,越来越难以满足定位要求。
[0035] 在本发明实施例中,可以通过获取车辆周围的环境图像,将环境图像与其他位置信息进行融合,以得到更为精确的融合定位结果。其中,环境图像可以是由常规相机拍摄的可见光图像,也可以是由红外相机拍摄的红外图像,或通过激光雷达相机拍摄的点云图像等,本发明实施例对环境图像的具体形式和获取方式不进行具体限定。
[0036] 环境图像可以是车辆周围的全景图像,也可以是预设取景角度内的图像,例如车头90度范围内的图像。车辆在行驶过程中,可以按照预设时间间隔获取环境图像,例如,以0.1秒为间隔不断获取环境图像,也可以按照预设行驶距离获取环境图像,例如,每行驶5米获取一次环境图像。可以将每次获取的环境图像序列按照顺序加入环境图像集合中,随着车辆行驶时间或行驶里程的增加,环境图像集合中的环境图像会不断增加。
[0037] 在每次获取到新的环境图像后,可以从环境图像集合中获取包含最新的环境图像的连贯的预设数量个环境图像构成环境图像序列。环境图像序列中的环境图像按照其获取时间的先后顺序排列。
[0038] 参照图2,图2为本发明实施例提供的一种环境图像序列示意图。如图2所示,在T时刻,环境图像集合中包含P0、P1、P2、P3、P4这5个环境图像,在预设数量为3的情况下,则此时获取的环境图像序列为虚线框中的[P2、P3、P4],经过预设时间t后,在T+t时刻,环境图像集合中包含P0、P1、P2、P3、P4、P5这6个环境图像,则此时获取的环境图像序列可以为虚线框中的[P3、P4、P5]。
[0039] 在获取到环境图像序列后,可以通过图像识别算法、模型、网络等对环境图像序列中的各个环境图像进行特征提取,以从环境图像中提取与交通标识相关的特征,并得到环境图像序列中每个环境图像对应的感知特征图像,其中,交通标识相关的特征可以包括车道线、交通灯、指示牌等等,本发明实施例在此对交通标识相关的特征并不进行特别限定。
[0040] 步骤102、按照所述预设时间间隔获取所述车辆的第一位置序列;其中,所述第一位置序列中的第一位置与所述环境图像序列中的环境图像在时间上存在对应关系。
[0041] 在本发明实施例中,第一位置是指与环境图像进行融合前的位置信息,第一位置可以是直接通过全球定位系统或实时差分定位确定的位置信息,也可以是由全球定位系统或实时差分定位与其他信息融合后得到的位置信息。例如,由于全球定位系统或实时差分定位的定位频率较低,可能0.2秒才能完成一次定位,而车辆所需的定位频率为0.1秒一次,则可以在每次获取到全球定位系统或实时差分定位的定位信息后,将其与惯性测量单元(Inertial measurement unit,IMU)的惯性信息进行融合,通过捷联惯导系统(Strap‑down Inertial Navigation System,SINS)增加定位信息的获取频率,以满足定位频率要求。此时,车辆的第一位置不仅包含由全球定位系统或实时差分定位确定的定位信息,还包含全球定位系统或实时差分定位,与惯性信息融合后的定位信息。
[0042] 车辆可以以预设时间间隔或预设距离间隔获取第一位置,并按照第一位置的获取顺序将第一位置放入第一位置集合中。并在每次在第一位置集合中加入新的第一位置后,从第一位置集合中获取连续的第一位置构成第一位置序列,第一位置序列中包含的元素数量与环境图像序列中的元素数量相同,且同样包含第一位置集合中最新的第一位置。其中,环境图像序列中的环境图像和第一位置序列中的第一位置存在对应关系,该对应关系具体体现为:环境图像序列中的元素和第一位置序列中的元素在获取时间或获取里程上存在对应关系。
[0043] 举例来说,在T时刻,环境图像集合中包含P0至P4这5个环境图像,其中,环境图像P0的获取时间为t0,环境图像P1的获取时间为t1,环境图像P2的获取时间为t2,环境图像P3的获取时间为t3,环境图像P4的获取时间为t4,则对应的,在T时刻,第一位置集合中包含L0至L4这5个第一位置,其中,第一位置L0的获取时间为t0,第一位置L1的获取时间为t1,第一位置L2的获取时间为t2,第一位置L3的获取时间为t3,第一位置L4的获取时间为t4。若从该环境图像集合中获取了环境图像序列[P2、P3、P4],则对应获取的第一位置序列为[L2、L3、L4]。
[0044] 步骤103、根据所述车辆的第一位置序列从地图中提取地图特征图像序列。
[0045] 在获取到第一位置序列后,可以将第一位置序列中的每个第一位置投射到高精度地图中,并获取高精度地图中每个第一位置附近的地图特征图像,各个第一位置对应的地图特征图像可以构成地图特征图像序列。
[0046] 举例来说,第一位置序列中的一个第一位置所指示的位置在高精度地图中对应的坐标为(X,Y),则以高精度地图中的点(X,Y)为中心,获取该点周围的地图特征图像。其中,地图特征可以是车道线、指示牌、交通灯等特征。
[0047] 需要说明的是,为了简化计算,可以根据环境图像的取景范围和取景角度,从高精度地图中获取相同取景范围和取景角度内的地图特征,得到地图特征图像。例如,环境图像获取的图像是车辆前方90度范围内的景物,则在获取地图特征图像时,可以根据车辆的姿态信息,从高精度地图中提取车辆前方90度范围内的地图特征得到地图特征图像。
[0048] 步骤104、通过所述感知特征图像序列与所述地图特征图像序列对所述第一位置序列进行修正,得到第二位置序列。
[0049] 在车辆行驶过程中,可能由于全球定位系统或实时差分定位的频率较低、精度较差,或定位信号被遮挡等原因,导致第一位置与车辆的实际位置之间存在偏差。进而,通过确定出车辆在实际位置处获取的感知特征图像序列,与第一位置序列确定出的地图特征图像序列之间的差异,可以对第一位置序列进行修正,从而得到可以更加准确反应出车辆实际位置的第二位置序列。
[0050] 具体的,可以首先将感知特征图像序列中的各个感知特征图像与地图特征图像序列中对应的地图特征图像进行比对,从中确定出两者之间共同包含的共有特征,并确定出共有特征之间的位置差异,再根据共有特征之间的位置差异确定出该感知特征图像与地图特征图像的匹配程度,如果该感知特征图像与地图特征图像中共有特征之间的位置差异越大,则该感知特征图像与地图特征图像的匹配程度越小。该感知特征图像与地图特征图像的匹配程度即对应于,确定该地图特征图像所采用的第一位置。
[0051] 在确定出第一位置序列中各个第一位置对应的匹配程度后,可以将各个第一位置对应的匹配程度相乘得到第一位置序列对应的目标概率。由于第一位置对应的匹配程度可以反映出由第一位置确定的地图特征图像与感知特征图像之间的匹配程度,因此,第一位置对应的匹配程度可以反映出第一位置与感知特征图像之间的匹配程度,进而,第一位置序列对应的目标概率可以反映出第一位置序列与感知特征图像序列之间是否匹配。
[0052] 在确定出第一位置序列对应的目标概率后,可以调整第一位置序列中的一个或多个第一位置,并根据调整后的第一位置序列重新确定对应的地图特征图像序列,进而根据重新确定的地图图像特征序列与感知特征图像序列计算调整后的第一位置序列对应的目标概率。重复上述过程,直至目标概率达到最大值,此时,将该最大值的目标概率对应的调整后的第一位置序列确定为第二位置序列。上述过程也可以通过列文伯格‑马夸尔特(Levenberg‑Marquardt,LM)算法实现,LM算法是一种利用梯度求最大(小)值的算法,形象的说,属于“爬山”法的一种。它同时具有梯度法和牛顿法的优点。
[0053] 在得到第二位置序列后,第二位置序列中最后一个第二位置即为车辆最新的经过环境图像与第一位置融合后的位置信息。
[0054] 需要说明的是,在得到第二位置序列后,还可以将第二位置序列中的第二位置重新存储回第一位置集合中,对其中第二位置对应的第一位置进行更新。进而,当下一次从第一位置集合中获取新的第一位置序列计算最新的位置时,便可以结合本次得到的第二位置序列中的部分结果,进一步提升了车辆位置计算的准确性。
[0055] 综上,本发明实施例提供了一种车辆定位方法,包括:按照预设时间间隔获取车辆周围的环境图像序列,对环境图像序列进行特征提取,得到感知特征图像序列;按照预设时间间隔获取车辆的第一位置序列;其中,第一位置序列中的第一位置与环境图像序列中的环境图像在时间上存在对应关系;根据车辆的第一位置序列从地图中提取地图特征图像序列;通过感知特征图像序列与地图特征图像序列对第一位置序列进行修正,得到第二位置序列。本发明实施例中,可以融合多次历史上的定位结果和车辆周围的环境图像,对车辆的位置信息进行修正,从而提高车辆的位置信息的准确程度,使得车辆的定位结果更加精确,为车辆实现更加高级的自动驾驶提供了可靠的定位基础。
[0056] 参照图3,图3为本发明实施例提供的另一种车辆定位方法步骤流程图。
[0057] 步骤201,按照预设时间间隔获取车辆周围的环境图像序列,对所述环境图像序列进行特征提取,得到感知特征图像序列。
[0058] 此步骤可参见上述步骤101,本发明实施例不再赘述。
[0059] 步骤202、按照所述预设时间间隔获取所述车辆的第一位置序列;其中,所述第一位置序列中的第一位置与所述环境图像序列中的环境图像在时间上存在对应关系。
[0060] 此步骤可参见上述步骤102,本发明实施例不再赘述。
[0061] 步骤203、获取所述第一位置序列中各个第一位置在地图中预设范围内的地图特征图像。
[0062] 在获取到第一位置序列后,可以将第一位置序列中的每个第一位置投射到高精度地图中,并获取高精度地图中每个第一位置附近的地图特征图像,每个第一位置对应的地图特征图像可以构成地图特征图像序列。
[0063] 举例来说,第一位置序列中的一个第一位置所指示的位置在高精度地图中对应的坐标为(X,Y),则以高精度地图中的点(X,Y)为中心,获取该点周围的地图特征图像。其中,地图特征可以是车道线、指示牌、交通灯等特征。
[0064] 需要说明的是,由于环境图像解析力的原因,并不能从环境图像中提取出视野范围内的所有特征,当物体距离车辆较远时,该物体在环境图像中较小,可能由于像素数量不足而无法提取该物体的特征,因此,在环境图像中提取特征一般只能提取环境图像中距离车辆预设范围内的特征。技术人员可以通过实验确定该预设范围。由于在后续步骤中需要将感知特征图像中的特征与地图特征图像中的特征进行比对,如果地图特征图像中的特征在感知特征图像中不存在,则会造成计算资源的浪费。因此,为了节省运算资源,可以仅将高精度地图中第一位置附近预设范围内的特征进行提取,得到第一位置对应的地图特征图像。
[0065] 步骤204、根据所述地图特征图像构建所述地图特征图像序列。
[0066] 步骤205、获取所述第一位置序列中相邻第一位置之间的位置变化信息。
[0067] 为了进一步提升最终确定出的第二位置序列的准确性,还可以获取第一位置序列中相邻第一位置之间的位置变化信息。位置变化信息是指能够指示两个相邻第一位置对应的时间之间,车辆位置变化量的信息。
[0068] 具体的,位置变化量可以通过车速传感器确定的车辆速度和惯性测量单元(Inertial measurement unit,IMU)获得的车辆加速度经过积分计算得到,也可以通过视觉惯性里程计(Visual Inertial Odometry,VIO)或激光惯性里程计(Lidar Inertial Odometry,LIO)确定,还可以通过上述多种传感器获得的数据经过融合计算得到,本发明实施例在此并不具体限定位置变化信息的获取方式。
[0069] 需要说明的是,该位置变化信息并不是指两个第一位置之间的差值,而是指两个第一位置对应的时间构成的时间区间内,根据传感器数据计算得到的车辆位置变化量。
[0070] 步骤206、根据所述位置变化信息、第一位置序列和所述感知特征图像序列,建立所述第一位置序列对应的因子图。
[0071] 因子图(Factor Graph)是概率图的一种,是一种对函数因子分解的表示图,在因子图中,一般内含两种节点,变量节点和函数节点,边线表示他们之间的函数关系。在优化过程中采用因子图,可以提高整个优化效率。
[0072] 可选的,步骤206还可以包括:
[0073] 子步骤2061、将所述第一位置序列中的各个第一位置的值作为变量节点的初值,并按照所述第一位置序列中的各个第一位置的排列顺序连接所述变量节点。
[0074] 在本发明实施例中,在获取到第一位置序列后,可以将第一位置序列中的各个元素作为变量节点的初值,构建因子图。
[0075] 参照图4,图4为本发明实施例提供的一种因子图示意图,如图4所示,X1、X2和X3是因子图的三个变量节点,如果第一位置序列为[L2、L3、L4],则可以将L2赋值给X1,将L3赋值给X2,将L4赋值给X3。
[0076] 子步骤2062、将所述位置变化信息作为第一因子节点并连接至所述位置变化信息对应的变量节点。
[0077] 由于位置变化信息用于表示两个第一位置之间的车辆位置变化量,因此,将位置变化信息插入因子图时,可以将位置变化信息插入对应的两个第一位置之间,作为因子图的第一因子节点。如图4所示,如果第一位置L2和L3之间的位置变化信息为A1,第一位置L3和L4之间的位置变化信息为A2,则可以将A1作为一个第一因子节点插入因子图的变量节点X1和变量节点X2之间,将A2作为一个第一因子节点插入因子图的变量节点X2和变量节点X3之间。
[0078] 子步骤2063、将所述感知特征图像序列中的感知特征图像作为第二因子节点,并连接至所述感知特征图像对应的变量节点,得到由所述变量节点、所述第一因子节点和所述第二因子节点构成的因子图。
[0079] 在本发明实施例中,一个第一位置序列与一个感知特征图像序列对应,两者序列中的元素存在一一对应关系,且因子图中的每个变量节点对应于第一位置序列中的一个第一位置。因此,可以将感知特征图像序列中的感知特征图像作为第二因子节点,插入因子图中,并建立与对应变量节点的关系。
[0080] 如图4所示,如果第一位置序列[L2、L3、L4]与环境图像序列[P3、P4、P5]对应,而根据环境图像序列[P3、P4、P5]得到的感知特征图像序列为[B3、B4、B5],由于第一位置L2对应于因子图中的变量节点X1,第一位置L3对应于因子图中的变量节点X2,第一位置L4对应于因子图中的变量节点X3,因此可以将B3作为与变量节点X1连接的第二因子节点插入因子图中,可以将B4作为与变量节点X2连接的第二因子节点插入因子图中,可以将B5作为与变量节点X3连接的第二因子节点插入因子图中。
[0081] 步骤207、基于所述感知特征图像序列、所述地图特征图像序列和所述因子图,对所述第一位置序列中的各个第一位置进行修正,得到第二位置序列。
[0082] 可选的,步骤207还可以包括:
[0083] 子步骤2071、确定所述因子图中与各个变量节点连接的第一因子节点对应的第一概率;其中,所述第一概率用于表征所述位置变化信息能够准确表示所述位置变化信息相连的两个第一位置之间差异的程度。
[0084] 可选的,子步骤2071还可以包括:
[0085] 子步骤A1、确定所述因子图中相邻变量节点之间的位置差值。
[0086] 针对因子图中的每一个第一因子节点,可以确定该第一因子节点相邻的两个变量节点之间的位置差值。
[0087] 子步骤A2、根据所述位置差值与连接所述相邻变量节点的第一因子节点之间的差异,确定所述第一因子节点对应的第一概率。
[0088] 由于位置变化信息是一个距离量,而第一因子节点即为位置变化信息,因此两个变量节点之间的第一因子节点表示一个距离量,进而第一概率可以表示一个第一因子节点与该第一因子节点相连的两个变量节点之间的位置差值的匹配度。第一概率越大,说明第一因子节点与对应的位置差值之间的差异越小,第一概率越小,说明第一因子节点与对应的位置差值之间的差异越大,在确定第一概率后,为方便后续计算,可以对第一概率进行归一化处理,使得第一概率为1时,第一因子节点与对应的位置差值相同。
[0089] 需要说明的是,在本发明实施例中,每一个第一因子节点均对应于一个第一概率。
[0090] 子步骤2072、基于所述感知特征图像序列和所述地图特征图像序列,确定所述因子图中与各个变量节点连接的第二因子节点对应的第二概率;其中,所述第二概率用于表征所述变量节点与对应的第二因子节点的匹配程度。
[0091] 可选的,子步骤2072还可以包括:
[0092] 子步骤B1、将所述感知特征图像序列中的感知特征图像,与对应的地图特征图像序列中的地图特征图像投影至同一目标坐标系中。
[0093] 在本发明实施例中,还需要确定因子图中各个变量节点相连的第二因子节点对应的第二概率。
[0094] 可以通过变量节点获取对应的地图特征图像。例如,在变量节点的值为第一位置的情况下,将该第一位置对应的地图特征图像作为该变量节点对应的地图特征图像。由于第二因子节点本质上是感知特征图像,因此可以同时提取变量节点对应的第二因子节点,与该变量节点对应的地图特征图像的共有特征,并将该共有特征加入因子图中。如图4所示,图中的G1即为变量节点X1对应的共有特征,G1也可以为变量节点X2对应的共有特征,G2即为变量节点X3对应的共有特征。需要说明的是,由于变量节点X1和X2所指示的位置是连续获得的,相距较小,因此可以对应于同样的共有特征。
[0095] 为了确定各个变量节点对应的第二概率,可以将变量节点对应的地图特征图像与该变量节点在因子图中连接的第二因子节点(即感知特征图像)进行比对,确定该变量节点对应的共有特征在上述地图特征图像与第二因子节点中的位置差异,再根据共有特征之间的位置差异确定出第二概率。
[0096] 具体的,由于变量节点对应的地图特征图像与变量节点连接的第二因子节点指示的感知特征图像具有相同的取景范围与取景角度,可以将变量节点对应的地图特征图像与变量节点连接的第二因子节点指示的感知特征图像进行叠放以投影至同一目标坐标系。参照图5,图5为本发明实施例提供的一种投影结果,如图5所示,在共有特征是车道线的情况下,投影结果中的两个相同车道线之间会存在位置差异,通过该位置差异即可计算出第二概率,其中实线51可以是感知特征图像中的车道线,虚线52可以是地图特征图像中的车道线。
[0097] 子步骤B2、根据所述目标坐标系中感知特征图像与地图特征图像中相同目标特征在所述目标坐标系中的距离,确定所述感知特征图像对应的第二因子节点的第二概率。
[0098] 在目标坐标系中投影结果的两个相同目标特征中确定至少一对特征点,每一对特征点中的两个特征点分别位于感知特征图像的相同特征与地图特征图像的相同特征中,通过计算至少一对特征点中两个特征点在目标坐标系中的距离,并将各对特征点对应的距离求平均得到目标特征的投影距离,如图5所示,特征点A对应于特征点a,特征点B对应于特征点b,特征点C对应于特征点c。再通过以下公式1即可确定出第二因子节点对应的第二概率:
[0099] 公式1
[0100] 其中,ρ表示第二概率,d表示投影距离。
[0101] 子步骤2073、根据所述第一概率和所述第二概率对所述因子图中的各个变量节点进行修正,得到第二位置序列。
[0102] 可选的,子步骤2073还可以包括:
[0103] 子步骤C1、根据所述第一概率和所述第二概率的乘积确定目标概率,对所述因子图中各个变量节点的值进行调整,使得所述目标概率趋于最大值。
[0104] 在本发明实施例中,第一概率代表因子图中两个变量节点的位置差异与车辆在这两个变量节点之间的位移量的匹配程度,如果位置差异与位移量越接近,则说明这两个变量节点的数值越能准确反应车辆的准确位置。第二概率同理,如果一个变量节点对应的第二概率越高,则说明该变量节点的数值越能准确反应车辆所处的准确位置。因此,如果因子图中的变量节点越准确,则各个变量节点对应的第一概率和第二概率共同相乘得到的目标概率越大。
[0105] 可选的,子步骤C1还可以包括:
[0106] 子步骤d1、对于已被修正的第一位置,获取所述已被修正的第一位置对应的历史概率,并将所述历史概率作为第三因子节点插入所述因子图中,所述第三因子节点与所述因子图中的变量节点存在对应关系。
[0107] 在本发明实施例中,可以按照预设时间间隔或预设距离间隔获取第一位置并添加至第一位置集合中,当第一位置集合中添加新的第一位置后,可以从第一位置集合中获取第一位置序列,按照上述步骤对第一位置序列中的第一位置进行修正得到第二位置序列后,可以根据第二位置序列对原本的第一位置集合中对应的第一位置进行更新,并记录各个第一位置对应的最大目标概率作为第一位置的历史概率。
[0108] 进而,在每次获取第一位置序列并根据第一位置序列构建因子图时,还可以获取已被修正的第一位置,获取已被修正的第一位置对应的历史概率,并将历史概率作为第三因子节点插入因子图中。如图4所示,Y1为一个第三因子节点,其与对应的变量节点X1相连。需要说明的是,根据需要,变量节点X2也可以连接有对应的第三因子节点,本发明实施例并未在图中体现。此外,第三因子节点Y1不仅可以是生成变量节点X1的第一位置的历史概率,还可以是上一个第一位子序列对应的最大概率。
[0109] 子步骤d2、根据所述第三因子节点、所述第一概率和所述第二概率三者的乘积确定目标概率,对所述因子图中各个变量节点的值进行调整,使得所述目标概率趋于最大值。
[0110] 具体的,可以采用以下公式2表示第一位置序列对应的目标概率:
[0111] 公式2
[0112] 其中,ϕ(X)表示目标概率,ϕ(X1,L1)、ϕ(X2,L2)和ϕ(X3,L3)分别表示因子图中的变量节点X1、X2和X3分别对应的第二因子节点的第二概率,即第一位置序列中各个第一位置对应的第二概率,ϕ(X1,X2)表示因子图中变量节点X1与X2之间的第一因子节点对应的第一概率,ϕ(X2,X3)表示因子图中变量节点X2与X3之间的第一因子节点对应的第一概率,ϕ(Y1)表示因子图中变量节点X1对应的第三因子节点Y1,即变量节点X1对应的第一位置的历史概率。
[0113] 在确定出目标概率后,可以通过非线性最小二乘算法对第一位置序列进行修正,也可以采用其他方法,本申请实施例对此不做具体限定。
[0114] 子步骤C2、在所述目标概率达到最大值时,根据所述因子图中各个变量节点调整后的值确定第二位置,得到第二位置序列。
[0115] 在得到第二位置序列后,第二位置序列中最后一个第二位置即为车辆最新的经过环境图像与第一位置融合后的位置信息。
[0116] 需要说明的是,在得到第二位置序列后,还可以将第二位置序列中的第二位置重新存储回第一位置集合中,对其中第二位置对应的第一位置进行更新。进而,当下一次从第一位置集合中获取新的第一位置序列计算最新的位置时,便可以结合本次得到的第二位置序列中的部分结果,进一步提升了车辆位置计算的准确性。
[0117] 综上,本发明实施例提供了另一种车辆定位方法,包括:按照预设时间间隔获取车辆周围的环境图像序列,对环境图像序列进行特征提取,得到感知特征图像序列;按照预设时间间隔获取车辆的第一位置序列;其中,第一位置序列中的第一位置与环境图像序列中的环境图像在时间上存在对应关系;根据车辆的第一位置序列从地图中提取地图特征图像序列;通过感知特征图像序列与地图特征图像序列对第一位置序列进行修正,得到第二位置序列。本发明实施例中,可以融合多次历史上的定位结果和车辆周围的环境图像,对车辆的位置信息进行修正,从而提高车辆的位置信息的准确程度,使得车辆的定位结果更加精确,为车辆实现更加高级的自动驾驶提供了可靠的定位基础。
[0118] 在上述实施例的基础上,本发明实施例还提供了一种车辆定位装置。
[0119] 参考图6,图6为本发明实施例提供的一种车辆定位装置的结构框图:
[0120] 环境图像模块401,用于按照预设时间间隔获取车辆周围的环境图像序列,对所述环境图像序列进行特征提取,得到感知特征图像序列。
[0121] 位置模块402,用于按照所述预设时间间隔获取所述车辆的第一位置序列;其中,所述第一位置序列中的第一位置与所述环境图像序列中的环境图像在时间上存在对应关系。
[0122] 地图图像模块403,用于根据所述车辆的第一位置序列从地图中提取地图特征图像序列。
[0123] 修正模块404,用于通过所述感知特征图像序列与所述地图特征图像序列对所述第一位置序列进行修正,得到第二位置序列。
[0124] 可选的,所述修正模块包括:
[0125] 位置变化信息子模块,用于获取所述第一位置序列中相邻第一位置之间的位置变化信息。
[0126] 因子图子模块,用于根据所述位置变化信息、第一位置序列和所述感知特征图像序列,建立所述第一位置序列对应的因子图。
[0127] 修正子模块,用于基于所述感知特征图像序列、所述地图特征图像序列和所述因子图,对所述第一位置序列中的各个第一位置进行修正,得到第二位置序列。
[0128] 可选的,所述因子图子模块包括:
[0129] 变量节点子模块,用于将所述第一位置序列中的各个第一位置的值作为变量节点的初值,并按照所述第一位置序列中的各个第一位置的排列顺序连接所述变量节点。
[0130] 第一因子节点子模块,用于将所述位置变化信息作为第一因子节点并连接至所述位置变化信息对应的变量节点。
[0131] 第二因子节点子模块,用于将所述感知特征图像序列中的感知特征图像作为第二因子节点,并连接至所述感知特征图像对应的变量节点,得到由所述变量节点、所述第一因子节点和所述第二因子节点构成的因子图。
[0132] 可选的,所述修正子模块包括:
[0133] 第一概率子模块,用于确定所述因子图中与各个变量节点连接的第一因子节点对应的第一概率;其中,所述第一概率用于表征所述位置变化信息能够准确表示所述位置变化信息相连的两个第一位置之间差异的程度。
[0134] 第二概率子模块,用于基于所述感知特征图像序列和所述地图特征图像序列,确定所述因子图中与各个变量节点连接的第二因子节点对应的第二概率;其中,所述第二概率用于表征所述变量节点与对应的第二因子节点的匹配程度。
[0135] 目标修正子模块,用于根据所述第一概率和所述第二概率对所述因子图中的各个变量节点进行修正,得到第二位置序列。
[0136] 可选的,所述第一概率子模块包括:
[0137] 位置差子模块,用于确定所述因子图中相邻变量节点之间的位置差值;
[0138] 第一概率确定子模块,用于根据所述位置差值与连接所述相邻变量节点的第一因子节点之间的差异,确定所述第一因子节点对应的第一概率。
[0139] 可选的,所述第二概率子模块包括:
[0140] 投影子模块,用于将所述感知特征图像序列中的感知特征图像,与对应的地图特征图像序列中的地图特征图像投影至同一目标坐标系中。
[0141] 第二概率确定子模块,用于根据所述目标坐标系中感知特征图像与地图特征图像中相同目标特征在所述目标坐标系中的距离,确定所述感知特征图像对应的第二因子节点的第二概率。
[0142] 可选的,所述目标修正子模块包括:
[0143] 目标概率子模块,用于根据所述第一概率和所述第二概率的乘积确定目标概率,对所述因子图中各个变量节点的值进行调整,使得所述目标概率趋于最大值。
[0144] 最大值修正子模块,用于在所述目标概率达到最大值时,根据所述因子图中各个变量节点调整后的值确定第二位置,得到第二位置序列。
[0145] 可选的,所述目标概率子模块还包括:
[0146] 第三因子节点子模块,用于对于已被修正的第一位置,获取所述已被修正的第一位置对应的历史概率,并将所述历史概率作为第三因子节点插入所述因子图中,所述第三因子节点与所述因子图中的变量节点存在对应关系。
[0147] 调整子模块,用于根据所述第三因子节点、所述第一概率和所述第二概率三者的乘积确定目标概率,对所述因子图中各个变量节点的值进行调整,使得所述目标概率趋于最大值。
[0148] 可选的,所述地图图像模块包括:
[0149] 地图图像子模块,用于获取所述第一位置序列中各个第一位置在地图中预设范围内的地图特征图像。
[0150] 图像序列子模块,用于根据所述地图特征图像构建所述地图特征图像序列。
[0151] 综上所述,本发明实施例提供了一种车辆定位装置,包括:环境图像模块,用于按照预设时间间隔获取车辆周围的环境图像序列,对环境图像序列进行特征提取,得到感知特征图像序列;位置模块,用于按照预设时间间隔获取车辆的第一位置序列;其中,第一位置序列中的第一位置与环境图像序列中的环境图像在时间上存在对应关系;地图图像模块,用于根据车辆的第一位置序列从地图中提取地图特征图像序列;修正模块,用于通过感知特征图像序列与地图特征图像序列对第一位置序列进行修正,得到第二位置序列。本发明实施例中,可以融合多次历史上的定位结果和车辆周围的环境图像,对车辆的位置信息进行修正,从而提高车辆的位置信息的准确程度,使得车辆的定位结果更加精确,为车辆实现更加高级的自动驾驶提供了可靠的定位基础。
[0152] 本发明实施例还提供一种整车控制器,整车控制器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行上述车辆定位方法。
[0153] 本发明实施例还提供一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现上述车辆定位方法。
[0154] 本发明实施例还提供一种车辆,包括上述整车控制器。
[0155] 所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述装置实施例中的对应过程,在此不再赘述。
[0156] 以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
[0157] 以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。