列车内定位方法和装置转让专利

申请号 : CN201811082493.2

文献号 : CN109195106B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 聂琼

申请人 : 北京三快在线科技有限公司

摘要 :

本发明是关于一种列车内定位方法,包括:获取列车内的环境图像;基于所述环境图像确定特征物,其中,所述特征物在所述列车内按照预设规则设置;基于移动设备经过的所述特征物的数量,确定所述移动设备在所述列车中位置。根据本发明的实施例,可以根据经过的特征物的数量确定机器人在列车中的位置,并且特征物是从环境图像中提取的,相对于现有技术而言,一方面无需通过SLAM构建地图,从而无需在机器人上设置激光雷达,因此可以节约成本;另一方面只需确定经过的特征物的数量,相对确定机器人在地图中的坐标,计算过程简单,耗时较短,从而可以保证定位的实时性。

权利要求 :

1.一种列车内定位方法,其特征在于,包括:

移动设备上的图像采集设备获取列车内的环境图像;

基于所述环境图像确定特征物,其中,所述特征物在所述列车内按照预设规则设置;

基于移动设备经过的所述特征物的数量,确定所述移动设备在所述列车中位置;

其中,所述特征物在所述列车内按照预设规则设置,可以包括以下一种规则或多种规则的组合:所述特征物的数量与所述列车的车厢的数量正相关,所述特征物在所述列车内沿车厢长度方向设置,所述特征物在所述列车内等间距设置;

所述特征物包括第一特征物和第二特征物,所述基于移动设备经过的所述特征物的数量,确定移动设备在所述列车中位置,包括:根据移动设备经过的第一特征物的数量,确定移动设备在所述列车中所在的车厢;

根据移动设备在其所在的车厢经过的第二特征物的数量,确定移动设备在其所在的车厢中的位置。

2.根据权利要求1所述的方法,其特征在于,所述移动设备经过的特征物的数量通过以下方式确定:根据预设方式对特征物进行跟踪;

确定对特征物的跟踪是否结束,若结束,确定经过该特征物;

更新经过的特征物的数量。

3.根据权利要求2所述的方法,其特征在于,所述根据预设方式对特征物进行跟踪包括:确定第n帧环境图像中的特征物与第n+1帧环境图像中的特征物是否为同一特征物,n为正整数;

若为同一特征物,基于第n+1帧环境图像,更新特征物在环境图像中的位置;

若为不同特征物,根据所述预设方式对第n+1帧环境图像中的新的特征物进行跟踪。

4.根据权利要求3所述的方法,其特征在于,基于第n+1帧环境图像,更新特征物在环境图像中的位置包括:通过分析第n+1帧环境图像,确定第n+1帧环境图像中的特征物的实际特征信息;

根据预测模型预测第n帧环境图像中的特征物,在第n+1帧环境图像中的预测特征信息;

确定预测特征信息与标准特征信息的第一相似度,以及实际特征信息与标准特征信息的第二相似度;

若第一相似度大于第二相似度,根据预测的第n+1帧环境图像中的特征物的位置,更新特征物在环境图像中的位置,若第二相似度大于第一相似度,根据第n+1帧环境图像中的特征物的位置,更新特征物在环境图像中的位置。

5.根据权利要求2所述的方法,其特征在于,所述确定对特征物的跟踪是否结束包括:确定第二特征物是否位于环境图像的预设区域,其中,若第二特征物位于环境图像的预设区域,结束对该第二特征物的跟踪。

6.根据权利要求2所述的方法,其特征在于,所述确定对特征物的跟踪是否结束包括:在采集到第n+1帧环境图像时,若在第n帧环境图像中的特征物,不存在于第n+1帧环境图像中,结束对该特征物的跟踪。

7.一种列车内定位装置,其特征在于,所述装置应用于移动设备,所述装置包括:图像获取单元,用于获取列车内的环境图像;

特征物确定单元,用于基于所述环境图像确定特征物,其中,所述特征物在所述列车内按照预设规则设置;

位置确定单元,基于所述移动设备经过的所述特征物的数量,确定所述移动设备在所述列车中位置;

其中,所述特征物在所述列车内按照预设规则设置,可以包括以下一种规则或多种规则的组合:所述特征物的数量与所述列车的车厢的数量正相关,所述特征物在所述列车内沿车厢长度方向设置,所述特征物在所述列车内等间距设置;

所述特征物包括第一特征物和第二特征物,所述位置确定单元具体用于,根据移动设备经过的第一特征物的数量,确定移动设备在所述列车中所在的车厢,根据移动设备在其所在的车厢经过的第二特征物的数量,确定移动设备在其所在的车厢中的位置。

8.一种移动设备,其特征在于,包括:

处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为执行权利要求1至6中任一项所述的方法。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时执行所述权利要求1至6中任一项所述方法中的步骤。

说明书 :

列车内定位方法和装置

技术领域

[0001] 本发明涉及定位技术领域,具体而言,涉及列车内定位方法、列车内定位装置、电子设备和计算机可读存储介质。

背景技术

[0002] 为了在列车内进行定位,由于车厢属于室内,应用GPS定位效果很差,因此在相关技术中,主要是通过SLAM(simultaneous localization and mapping,即时定位与地图构建)技术进行定位。
[0003] 然而基于SLAM技术,一方面需要配置激光雷达扫描环境,成本较高;另一方面需要根据扫描结果构建环境地图,而对于构建的地图,需要进行滤波等图像优化过程,其中处理过程较为复杂,耗时较多,因此实时定位效果较差。

发明内容

[0004] 根据本发明实施例的第一方面,提出一种列车内定位方法,包括:
[0005] 获取列车内的环境图像;
[0006] 基于所述环境图像确定特征物,其中,所述特征物在所述列车内按照预设规则设置;
[0007] 基于移动设备经过的所述特征物的数量,确定所述移动设备在所述列车中位置。
[0008] 可选地,所述特征物包括第一特征物和第二特征物,所述基于移动设备经过的所述特征物的数量,确定移动设备在所述列车中位置,包括:
[0009] 根据移动设备经过的第一特征物的数量,确定移动设备在所述列车中所在的车厢;
[0010] 根据移动设备在其所在的车厢经过的第二特征物的数量,确定移动设备在其所在的车厢中的位置。
[0011] 可选地,所述方法还包括:
[0012] 根据所述移动设备与所述第二特征物的距离,确定所述移动设备与所述第二特征物的相对位置。
[0013] 可选地,所述经过的特征物的数量通过以下方式确定:
[0014] 根据预设方式对特征物进行跟踪;
[0015] 确定对特征物的跟踪是否结束,若结束,确定经过该特征物;
[0016] 更新经过的特征物的数量。
[0017] 可选地,所述根据预设方式对特征物进行跟踪包括:
[0018] 确定第n帧环境图像中的特征物,与第n+1帧环境图像中的特征物是否为同一特征物,n为正整数;
[0019] 若为同一特征物,基于第n+1帧环境图像,更新特征物在环境图像中的位置;
[0020] 若为不同特征物,根据所述预设方式对第n+1帧环境图像中的新的特征物进行跟踪。
[0021] 可选地,所述根据第n+1帧环境图像中的特征物的位置,更新特征物在环境图像中的位置包括:
[0022] 通过分析第n+1帧环境图像,确定第n+1帧环境图像中的特征物的实际特征信息;
[0023] 根据预测模型预测第n帧环境图像中的特征物,在第n+1帧环境图像中的预测特征信息;
[0024] 确定预测特征信息与标准特征信息的第一相似度,以及实际特征信息与标准特征信息的第二相似度;
[0025] 若第一相似度大于第二相似度,根据预测的第n+1帧环境图像中的特征物的位置,更新特征物在环境图像中的位置,若第二相似度大于第一相似度,根据第n+1帧环境图像中的特征物的位置,更新特征物在环境图像中的位置。
[0026] 可选地,所述确定对特征物的跟踪是否结束包括:
[0027] 确定第二特征物是否位于环境图像的预设区域,其中,若第二特征物位于环境图像的预设区域,结束对该第二特征物的跟踪。
[0028] 可选地,所述确定对特征物的跟踪是否结束包括:
[0029] 在采集到第n+1帧环境图像时,若在第n帧环境图像中的特征物,不存在于第n+1帧环境图像中,结束对该特征物的跟踪。
[0030] 根据本发明实施例的第二方面,提出一种列车内定位装置,包括:
[0031] 图像获取单元,用于获取列车内的环境图像;
[0032] 特征物确定单元,用于基于所述环境图像确定特征物,其中,所述特征物在所述列车内按照预设规则设置;
[0033] 位置确定单元,用于基于移动设备经过的所述特征物的数量,确定所述移动设备在所述列车中位置。
[0034] 可选地,所述特征物包括第一特征物和第二特征物,所述位置确定单元包括:
[0035] 车厢确定子单元,用于根据移动设备经过的第一特征物的数量,确定移动设备在所述列车中所在的车厢;
[0036] 位置确定子单元,用于根据移动设备在其所在的车厢经过的第二特征物的数量,确定移动设备在其所在的车厢中的位置。
[0037] 可选地,所述装置还包括:
[0038] 相对位置确定单元,用于根据所述移动设备与所述第二特征物的距离,确定所述移动设备与所述第二特征物的相对位置。
[0039] 可选地,所述特征物包括第一特征物和第二特征物,所述位置确定单元包括:
[0040] 跟踪子单元,用于根据预设方式对特征物进行跟踪;
[0041] 结束确定子单元,用于确定对特征物的跟踪是否结束,若结束,确定经过该特征物;
[0042] 经过更新子单元,用于更新经过的特征物的数量。
[0043] 可选地,所述跟踪子单元包括:
[0044] 物体确定模块,在采集到第n+1帧环境图像时,确定第n帧环境图像中的特征物,与第n+1帧环境图像中的特征物是否为同一特征物,n为正整数;
[0045] 位置更新模块,若为同一特征物,基于第n+1帧环境图像,更新特征物在环境图像中的位置;
[0046] 其中,若为不同特征物,所述跟踪子单元根据所述预设方式对第n+1帧环境图像中的新的特征物进行跟踪。
[0047] 可选地,所述位置更新模块包括:
[0048] 分析子模块,用于通过分析第n+1帧环境图像,确定第n+1帧环境图像中的特征物的实际特征信息;
[0049] 预测子模块,用于根据预测模型预测第n帧环境图像中的特征物,在第n+1帧环境图像中的预测特征信息;
[0050] 相似度子模块,用于确定预测特征信息与标准特征信息的第一相似度,以及实际特征信息与标准特征信息的第二相似度;
[0051] 更新子模块,若第一相似度大于第二相似度,根据预测的第n+1帧环境图像中的特征物的位置,更新特征物在环境图像中的位置,若第二相似度大于第一相似度,根据第n+1帧环境图像中的特征物的位置,更新特征物在环境图像中的位置。
[0052] 可选地,所述结束确定子单元用于确定第二特征物是否位于环境图像的预设区域,其中,若第二特征物位于环境图像的预设区域,结束对该第二特征物的跟踪。
[0053] 可选地,所述结束确定子单元用于在采集到第n+1帧环境图像时,若在第n帧环境图像中的特征物,不存在于第n+1帧环境图像中,结束对该特征物的跟踪。
[0054] 根据本发明实施例的第三方面,提出一种电子设备,包括:
[0055] 处理器;
[0056] 用于存储处理器可执行指令的存储器;
[0057] 其中,所述处理器被配置为执行上述任一实施例所述的方法。
[0058] 根据本发明实施例的第四方面,提出一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时执行上述任一实施例所述方法中的步骤。
[0059] 根据本发明的实施例,可以根据经过的特征物的数量确定机器人在列车中的位置,并且特征物是从环境图像中提取的,相对于现有技术而言,一方面无需通过SLAM构建地图,从而无需在机器人上设置激光雷达,因此可以节约成本;另一方面只需确定经过的特征物的数量,相对确定机器人在地图中的坐标,计算过程简单,耗时较短,从而可以保证定位的实时性。
[0060] 应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。

附图说明

[0061] 此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
[0062] 图1是根据本发明的实施例示出的一种列车内定位方法的示意流程图。
[0063] 图2是根据本发明的实施例示出的一种基于移动设备经过的所述特征物的数量,确定移动设备在所述列车中位置的示意流程图。
[0064] 图3是根据本发明的实施例示出的另一种列车内定位方法的示意流程图。
[0065] 图4是根据本发明的实施例示出的一种确定经过的特征物的数量的示意流程图。
[0066] 图5是根据本发明的实施例示出的一种根据预设方式对特征物进行跟踪的示意流程图。
[0067] 图6是根据本发明的实施例示出的一种更新特征物在环境图像中的位置的示意流程图。
[0068] 图7是根据本发明的实施例示出的一种确定对特征物的跟踪是否结束的示意流程图。
[0069] 图8是根据本发明的实施例示出的另一种确定对特征物的跟踪是否结束的示意流程图。
[0070] 图9是根据本发明的实施例示出的列车内定位装置所在机器人的一种硬件结构图。
[0071] 图10是根据本发明的实施例示出的一种列车内定位装置的示意框图。
[0072] 图11是根据本发明的实施例示出的一种位置确定单元的示意框图。
[0073] 图12是根据本发明的实施例示出的另一种列车内定位装置的示意框图。
[0074] 图13是根据本发明的实施例示出的另一种位置确定单元的示意框图。
[0075] 图14是根据本发明的实施例示出的跟踪子单元的示意框图。
[0076] 图15是根据本发明的实施例示出的位置更新模块的示意框图。

具体实施方式

[0077] 这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0078] 在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0079] 应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
[0080] 图1是根据本发明的实施例示出的一种列车内定位方法的示意流程图。本实施例所示的方法可以适用于移动设备,例如机器人,所述机器人可以在列车内运动,所述机器人可以进行配送(例如在机器人上配备载货装置)、验票(例如在机器人上配置扫描装置)、打扫(例如在机器人上配置清洁装置)等工作。
[0081] 如图1所示,所述列车内定位方法可以包括以下步骤:
[0082] 步骤S1,获取列车内的环境图像。
[0083] 在一个实施例中,在机器人上可以设置有图像采集设备,例如深度摄像机,采集的环境图像可以是深度图像,也可以根据需要选用其他图像采集设备获取环境图像。
[0084] 在一个实施例中,所述列车是指具有多个车厢的车辆,例如火车、地铁、高铁、动车等。
[0085] 步骤S2,基于所述环境图像确定特征物,其中,所述特征物在所述列车内按照预设规则设置。
[0086] 在一个实施例中,所述特征物在所述列车内按照预设规则设置,可以包括以下一种规则或多种规则的组合:
[0087] 所述特征物的数量与所述列车的车厢的数量正相关,所述特征物在所述列车内按照预设顺序设置,所述特征物在所述列车内等间距设置。
[0088] 在一个实施例中,对于采集到的环境图像,可以获取图像物体的bounding box,bounding box可以理解为包围图像中物体的矩形框,针对bounding box,可以根据MASK-RCNN(一种通过卷积神经网络进行物体检测算法)或者SSD(一种直接预测bounding box的坐标和类别的物体检测算法)对所获得bounding box进行处理,以确定其是否为特征物。除了上述两种方式,还可以通过机器学习训练出识别模型,并根据识别模型在环境图像中识别出特征物。具体确定特征物的过程并非本实施例的主要改进点,因此在此不再赘述。
[0089] 步骤S3,基于移动设备经过的所述特征物的数量,确定所述移动设备在所述列车中位置。
[0090] 在一个实施例中,特征物可以是车厢门、车窗、座椅(可以是整体的座椅,也可以是座椅的部分结构,例如座椅的把手、靠背等)、车窗、卧铺等。例如对车厢门而言,每个车厢在两端各设置有一个车厢门,按照预设规则设置可以是指,车厢门与车厢的比例是2,并且在列车内沿着车厢长度方向设置;例如对于车座而言,在每个车厢中个设置有K(K为正整数)排车座,按照预设规则设置可以是指,车座与车厢的比例是K和每排车座之积,并且在列车内沿着车厢长度方向设置。
[0091] 由于特征物在列车内按照预设规则设置,当机器人在列车内按照与预设规则相关的方式运动,那么机器人经过的特征物越多,则走过的路程越多,进而根据走过的路程和预设规则,可以确定机器人在列车内位置。
[0092] 例如按照预设规则设置是指特征物的数量与车厢的数量正相关,并且在列车内沿着车厢长度方向设置,那么在机器人沿着车厢长度方向运动时,其走过的路程就与其经过的特征物的数量正相关,因此根据机器人经过的特征物的数量,可以确定在列车中的位置。
[0093] 首先可以确定机器人的起始位置和运动方向,例如以座椅作为特征物,机器人的起始位置在车头,向车尾运动,车厢从车头向车尾为1号至8号车厢,每个车厢包含20排座椅,从车厢头到车厢尾为第1排至第20排座椅,若经过的特征物的数量为65,那么可以确定经过了3节车厢,当前正位于4号车厢,并且在4号车厢经过了5排座椅,当前正位于第6排座椅,从而可以确定机器人在列车中的位置是4号车厢第6排座椅。
[0094] 根据本发明的实施例,可以根据经过的特征物的数量确定机器人在列车中的位置,并且特征物是从环境图像中提取的,相对于现有技术而言,一方面无需通过SLAM构建地图,从而无需在机器人上设置激光雷达,因此可以节约成本;另一方面只需确定经过的特征物的数量,相对确定机器人在地图中的坐标,计算过程简单,耗时较短,从而可以保证定位的实时性。
[0095] 需要说明的是,本实施例的构思也可以应用在其他空间场景,例如电影院,车间,仓库等,例如应用在电影院时,特征物可以是座椅,移动设备可以根据经过座椅的数量确定在电影院中的位置,例如应用在车间时,移动设备可以根据经过机床的数量确定在车间中的位置,例如应用在仓库时,移动设备可以根据经过储藏物(例如箱子、桶)的数量确定在仓库中的位置。
[0096] 图2是根据本发明的实施例示出的一种基于移动设备经过的所述特征物的数量,确定移动设备在所述列车中位置的示意流程图。如图2所示,在图1所示实施例的基础上,所述特征物包括第一特征物和第二特征物,所述基于移动设备经过的所述特征物的数量,确定移动设备在所述列车中位置,包括:
[0097] 步骤S31,根据移动设备经过的第一特征物的数量,确定移动设备在所述列车中所在的车厢;
[0098] 步骤S32,根据移动设备在其所在的车厢经过的第二特征物的数量,确定移动设备在其所在的车厢中的位置。
[0099] 在一个实施例中,第一特征物可以是用于表征车厢的特征物,例如所述第一特征物的数量,与所述车厢的数量的比例小于或等于2,也即第一特征物在车厢中几乎不会重复出现,例如第一特征物为车厢门、卫生间等。第二特征物的数量与车厢的数量的比例大于2,也即第二特征物在车厢中会重复出现,例如第二特征物为座椅、车窗等。
[0100] 虽然根据经过第二特征物的数量可以确定机器人所在的车厢,但是,一方面根据第二特征物的数据量确定机器人所在的车厢,运算量较大,例如基于图1所示的实施例,机器人需要达到的位置是4号车厢第6排座椅,为了到达该位置,所记录的经过的座椅的数量为65。
[0101] 而根据本实施例,可以先根据经过的第一特征物的数量,确定机器人所在的车厢,进而根据机器人在其所在的车厢经过的第二特征物的数量,确定机器人在其所在的车厢中对应的第二特征物。例如机器人需要达到的位置是4号车厢第6排座椅,那么可以先记录经过车厢门的数量,也即只需记录经过6个车厢门(每个车辆2个车厢门),就可以确定位于4号车厢了,进而再记录机器人在4号车厢所经过的座椅数量,则只需记录经过5个座椅,就可以确定机器人达到4号车厢中对应第6排座椅的位置。
[0102] 相对于记录65个座椅,记录6个车厢门和5个座椅所记录的数据量更小,有利于降低机器人的运算负担。
[0103] 图3是根据本发明的实施例示出的另一种列车内定位方法的示意流程图。如图3所示,在图2所示实施例的基础上,所述方法还包括:
[0104] 步骤S4,根据所述移动设备与所述第二特征物的距离,确定所述移动设备与所述第二特征物的相对位置。
[0105] 在一个实施例中,由于根据经过特征物的数量,只能确定机器人在列车中的位置,但是这个位置存在较大误差,例如仍以特征物为座椅为例,两排座椅的间距为1米,那么当机器人经过第n排座椅,尚未经过第n+1排座椅时,在这这两排座椅之间的1米范围内时,都只能确定出位置是在第n排座椅和第n+1排座椅之间的区域,而这个区域具有1米的范围,所以机器人确定位置的误差约为1米。
[0106] 通过进一步确定机器人与第二特征物的距离,可以确定出移动设备与第二特征物的相对位置,例如获取到的环境图像为深度图像,根据座椅在环境图像中的深度,可以确定出座椅到机器人的距离,也即机器人与座椅的相对距离,而机器人与座椅的相对距离的误差远小于两排座椅之间的距离,例如在机器人经过第n排座椅,尚未经过第n+1排座椅时,可以确定自身与第n+1排座椅的相对距离,例如相对距离为0.4米,那么可以确定机器人当前位于第n排和第n+1排座椅之间,且到第n+1排座椅0.4米的位置,这比只确定出位置是在第n排座椅和第n+1排座椅之间的区域精度要高,便于更准确地对机器人进行定位。
[0107] 图4是根据本发明的实施例示出的一种确定经过的特征物的数量的示意流程图。如图4所示,在图2所示实施例的基础上,所述经过的特征物的数量通过以下方式确定包括:
[0108] 步骤S33,根据预设方式对特征物进行跟踪;
[0109] 步骤S34,确定对特征物的跟踪是否结束,若结束,确定经过该特征物;
[0110] 步骤S35,更新经过的特征物的数量。
[0111] 在一个实施例中,在环境图像中确定特征物之后,可以采用预设方式对特征物进行跟踪,其中,预设方式可以根据需要进行选择,后续实施例中主要针对两种预设方式进行示例性说明。
[0112] 例如一种预设方式是在特征物在环境图像中满足特定的条件时结束对特征物的跟踪,另一种预设方式是当特征物不存在于环境图像中时结束对特征物的跟踪。
[0113] 每结束对一个特征物的跟踪,可以确定经过一个特征物,并更新特征物的数量,例如每经过一个特征物,在当前纪录的特征物的数量上加1,以此类推,可以确定出经过特征物的数量,根据该数量即可确定机器人的位置。
[0114] 图5是根据本发明的实施例示出的一种根据预设方式对特征物进行跟踪的示意流程图。如图5所示,在图4所示实施例的基础上,所述根据预设方式对特征物进行跟踪包括:
[0115] 步骤S331,确定第n帧环境图像中的特征物,与第n+1帧环境图像中的特征物是否为同一特征物,n为正整数;
[0116] 步骤S332,若为同一特征物,根据第n+1帧环境图像,更新特征物在环境图像中的位置;
[0117] 步骤S333,若为不同特征物,根据所述预设方式对第n+1帧环境图像中的新的特征物进行跟踪。
[0118] 在一个实施例中,可以连续采集多帧环境图像,在采集到第n+1帧环境图像时,可以确定第n+1帧环境图像中的特征物,并将第n+1帧环境图像中的特征物与第n帧环境图像中的特征物进行比较,例如比较特征物的bounding  box,其中,可以基于NCC(Normalization cross correlation,归一化交叉相关)进行比较,并且在比较过程中还可以考虑特征物的位置(例如bounding box中心的位置)以及机器人的运动速度。例如第n帧和第n+1帧相隔0.1秒,机器人的运动速度为0.5米/秒,而第n帧环境图像中特征物与第n+1帧环境图像中特征物的位置相差1米,远大于0.05米,那么可以确定两者为不同特征物。
[0119] 除了上述方式,也可以根据需要选择其他方式进行比较,具体比较过程并非本实施例的主要改进点,因此在此不再赘述。
[0120] 若比较结果确定第n+1帧环境图像中的特征物与第n帧环境图像中的特征物为同一特征物,也即该特征物在第n帧环境图像曾出现,在第n+1帧环境图像中也出现了,因此可以根据第n+1帧环境图像中的特征物的位置,更新特征物在环境图像中的位置,保证所存储的特征物的位置,与最近采集的环境图像相对应,以便后续针对每一帧环境图像准确地确定特征物在环境图像中所处的区域,进而确定出在哪一帧环境图像经过该特征物。
[0121] 若根据比较结果确定第n+1帧环境图像中的特征物与第n帧环境图像中的特征物为不同特征物,也即该特征物在第n帧环境图像未出现,但是在第n+1帧环境图像中出现了,说明该特征物是新出现的特征物,因此可以对该新的特征物进行跟踪,跟踪方式与对前述特征物的跟踪方式相同,在此不再赘述。
[0122] 图6是根据本发明的实施例示出的一种更新特征物在环境图像中的位置的示意流程图。如图6所示,在图5所示实施例的基础上,所述基于第n+1帧环境图像,更新特征物在环境图像中的位置包括:
[0123] 步骤S3321,通过分析第n+1帧环境图像,确定第n+1帧环境图像中的特征物的实际特征信息;
[0124] 步骤S3322,根据预测模型预测第n帧环境图像中的特征物,在第n+1帧环境图像中的预测特征信息;
[0125] 步骤S3323,确定预测特征信息与标准特征信息的第一相似度,以及实际特征信息与标准特征信息的第二相似度;
[0126] 步骤S3324,若第一相似度大于第二相似度,根据预测的第n+1帧环境图像中的特征物的位置,更新特征物在环境图像中的位置,若第二相似度大于第一相似度,根据第n+1帧环境图像中的特征物的位置,更新特征物在环境图像中的位置。
[0127] 在一个实施例中,在采集到第n+1帧环境图像时,可以对第n+1帧环境图像进行分析,从而确定第n+1帧环境图像中的特征物的实际特征信息。
[0128] 另外,可以预先通过机器学习训练得到第一预测模型,第一预测模型可以预测某一帧环境图像中的特征物,在下一帧环境图像中出现时的特征信息,从而在采集到第n+1帧环境图像时,可以根据第一预测模型预测(例如根据前n帧环境图像中的特征物的特征信息作为输入量进行预测)第n帧环境图像中的特征物,在第n+1帧环境图像中的预测特征信息。
[0129] 上述预测特征信息和实际特征信息所包含的特征信息的种类可以是相同的,例如包括但不限于:形状、颜色、与其他特征物的相对位置等。
[0130] 由于列车内的环境并不是一成不变的,在某些情况下可能出现变化,例如在采集第n帧环境图像时,图像中的特征物未被遮挡,而在采集第n+1帧图像时,有乘客起身对特征物造成了遮挡,这就可能导致通过对第n+1帧环境图像进行分析确定的特征物的实际特征信息,与特征物的标准特征信息并不相同,也即与第n帧环境图像中特征物的特征信息存在较大差异,在这种情况下若基于实际特征信息比较确定第n+1帧环境图像中的特征物与第n帧环境图像中的特征物是否为同一特征物,可能得到错误的判断结果。
[0131] 其中,标准特征信息是预先存储的有关特征物的特征信息,例如特征物为座椅,那么在机器人获取列车内的环境图像之前,可以采集座椅的形状、颜色等作为标准特征信息,存储在机器人的存储器中。由于标准特征信息是预先存储的,因此可以反映特征物真实的特征信息,以供后续与实际特征信息进行对比。
[0132] 而根据第一预测模型预测第n帧环境图像中的特征物,在第n+1帧环境图像中的预测特征信息,并无需对第n+1帧环境图像进行分析,从而可以避免上述误判问题。
[0133] 进一步地,由于预测的结果也可能出现错误,为了保证准确地更新特征物在环境图像中的位置,可以确定预测特征信息与标准特征信息的第一相似度,以及实际特征信息与标准特征信息的第二相似度,并对两者进行比较。其中,标准特征信息可以通过对特征物进行测量并存储在机器人中。
[0134] 若第一相似度大于第二相似度,说明预测的第n+1帧环境图像中的特征物的位置与特征物在第n+1帧环境图像中的实际位置更为相符,从而可以根据预测的第n+1帧环境图像中的特征物的位置,更新特征物在环境图像中的位置。
[0135] 其中,可以预先通过机器学习训练得到第二预测模型,第二预测模型可以预测某一帧环境图像中的特征物,在下一帧环境图像中出现时的位置,也即预测位置信息,从而在采集到第n+1帧环境图像时,可以根据第二预测模型预测(例如根据前n帧环境图像中的特征物的位置信息作为输入量进行预测)第n帧环境图像中的特征物,在第n+1帧环境图像中的预测位置信息。
[0136] 若第二相似度大于第一相似度,说明分析第n+1帧环境图像所确定的特征物的实际特征信息与特征物在第n+1帧环境图像中的实际位置更为相符,从而可以根据预测的第n+1帧环境图像中的特征物的位置,更新特征物在环境图像中的位置。
[0137] 对于第一相似度等于第二相似度的情况,可以根据需要将其归入第一相似度大于第二相似度的情况,或者归入第二相似度大于第一相似度的情况。
[0138] 图7是根据本发明的实施例示出的一种确定对特征物的跟踪是否结束的示意流程图。如图7所示,在图4所示实施例的基础上,所述确定对特征物的跟踪是否结束包括:
[0139] 步骤S341,确定第二特征物是否位于环境图像的预设区域,其中,若第二特征物位于环境图像的预设区域,结束对该第二特征物的跟踪。
[0140] 在一个实施例中,随着机器人的移动,会使得机器人采集环境图像的位置发生变化,从而导致特征物在所采集的环境图像所处的区域发生变化,例如图像采集设备位于机器人的正面,那么当机器人向前运动时,特征物相对于机器人向后运动,这种运动关系体现在多帧环境图像中,特征物一般是从环境图像的中部向环境图像中的左下或右下运动,当机器人经过某个特征物时,图像采集设备也就采集不到该特征物,也即该特征物从环境图像中消失,因此当特征物在环境图像中位于预设区域时,例如特征物位于环境图像中的左下角或右下角时,可以确定特征物即将从环境图像中消失,也即机器人即将经过该特征物,从而可以结束对该特征物的跟踪,并确定经过该特征物。
[0141] 其中,预设区域可以根据需要进行设置,例如可以设置为环境图像的左下角、右下角等,确定特征物是否位于环境图像的预设区域方式,可以根据需要进行选择,以下主要介绍两种实施方式。
[0142] 其一,可以先确定特征物在环境图像中的位置,然后确定该位置和环境图像中心的距离,以及该位置和环境图像中心的连线与水平线和竖直线的夹角,进而以环境图像中心为原点建立坐标系,根据该距离和夹角确定特征物在坐标系中的坐标,进而根据该坐标可以,确定特征物是否位于环境图像的预设区域。
[0143] 其二,可以通过深度学习进行确定,例如针对某一帧环境图像,在确定其中的特征物后,可以进一步确定特征物在该环境图像的特征信息,例如面积、颜色、形状等,然后基于深度学习算法对这些特征信息进行处理,从而得到特征物在环境图像中的位置,进而根据该位置是否位于预设区域内,确定特征物是否位于环境图像的预设区域。
[0144] 可选地,所述特征物为第二特征物,所述第二特征物的数量,与所述车厢的数量的比例大于2。
[0145] 在一个实施例中,对于图5所述的实施例,可以将其应用于数量与所述车厢的数量的比例大于2的第二特征物,这类第二特征物在车厢中会重复出现,例如座椅、车窗等,以车窗为例,机器人在运动过程中会频繁地经过车窗,并且会有新的车窗,这就导致在同一张环境图像中可能同时出现多个车窗,而对多个特征物同时进行跟踪,会加重机器人处理数据的负担,因此对于这类第二特征物,可以确定当第二特征物位于环境图中的预设区域时,就结束对其的跟踪,例如同一张环境图像中存在5个车窗,那么需要对这5个车窗进行跟踪,当其中一个车窗位于环境图像的预设区域时,虽然该车窗仍在环境图像中,但是可以结束对该车窗的跟踪,从而在接下来有新的车窗进入环境图像之前,仅需对4个车窗进行跟踪,有利于降低机器人处理数据的负担。
[0146] 图8是根据本发明的实施例示出的另一种确定对特征物的跟踪是否结束的示意流程图。如图8所示,在图4所示实施例的基础上,所述确定对特征物的跟踪是否结束包括:
[0147] 步骤S342,在采集到第n+1帧环境图像时,若在第n帧环境图像中的特征物,不存在于第n+1帧环境图像中,结束对该特征物的跟踪。
[0148] 在一个实施例中,可以确定在第n帧环境图像中的特征物,在第n+1帧环境图像中是否存在,例如在第n+1帧环境图像中所获取到所有特征物的bounding box,与第n帧环境图像中特征物的bounding box都有较大差距,那么可以确定在第n帧环境图像中的特征物,不存在于第n+1帧环境图像中,从而结束对该特征物的跟踪。
[0149] 可选地,所述特征物为第一特征物,所述第一特征物的数量,与所述车厢的数量的比例小于或等于2。
[0150] 在一个实施例中,对于图6所述的实施例,可以将其应用于数量与所述车厢的数量的比例小于或等于2的第一特征物,这类第一特征物在车厢至多出现2次,例如车厢门,卫生间等,以车厢门为例,机器人在运动过程中,每经过一个车厢只会经过2个车厢门,相对于座椅、车窗等第一特征物,在同一张环境图像中一般不会同时出现2个或以上车厢门,因此对于这类第一特征物,可以确定当其在第n帧图像中存在,而在第n+1帧图像中不存在时,就在采集到第n+1帧图像时结束对其的跟踪,相对于图5所示的实施例的方式较为简单,从而有利于降低机器人处理数据的负担。
[0151] 与前述列车内定位方法的实施例相对应,本申请还提供了列车内定位装置的实施例。
[0152] 本申请列车内定位装置的实施例可以应用在机器人上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在机器人的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图9所示,为根据本发明的实施例示出的列车内定位装置所在机器人的一种硬件结构图,除了图9所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的机器人通常根据该机器人的实际功能,还可以包括其他硬件,对此不再赘述。
[0153] 图10是根据本发明的实施例示出的一种列车内定位装置的示意框图。本实施例所示的装置可以适用于移动设备,例如机器人,所述机器人可以在列车内运动,所述机器人可以进行配送(例如在机器人上配备载货装置)、验票(例如在机器人上配置扫描装置)、打扫(例如在机器人上配置清洁装置)等工作。
[0154] 如图10所示,所述列车内定位装置可以包括:
[0155] 图像获取单元1,用于获取列车内的环境图像;
[0156] 特征物确定单元2,用于基于所述环境图像确定特征物,其中,所述特征物在所述列车内按照预设规则设置;
[0157] 位置确定单元3,用于基于移动设备经过的所述特征物的数量,确定所述移动设备在所述列车中位置。
[0158] 图11是根据本发明的实施例示出的一种位置确定单元的示意框图。如图11所示,在图10所示实施例的基础上,所述特征物包括第一特征物和第二特征物,所述位置确定单元3包括:
[0159] 车厢确定子单元31,用于根据移动设备经过的第一特征物的数量,确定移动设备在所述列车中所在的车厢;
[0160] 位置确定子单元32,用于根据移动设备在其所在的车厢经过的第二特征物的数量,确定移动设备在其所在的车厢中的位置。
[0161] 图12是根据本发明的实施例示出的另一种列车内定位装置的示意框图。如图12所示,在图11所示实施例的基础上,所述装置还包括:
[0162] 相对位置确定单元4,用于根据所述移动设备与所述第二特征物的距离,确定所述移动设备与所述第二特征物的相对位置。
[0163] 图13是根据本发明的实施例示出的另一种位置确定单元的示意框图。如图13所示,在图11所示实施例的基础上,所述位置确定单元3包括:
[0164] 跟踪子单元33,用于根据预设方式对特征物进行跟踪;
[0165] 结束确定子单元34,用于确定对特征物的跟踪是否结束,若结束,确定经过该特征物;
[0166] 经过更新子单元35,用于更新经过的特征物的数量。
[0167] 图14是根据本发明的实施例示出的跟踪子单元的示意框图。如图14所示,在图13所示实施例的基础上,所述跟踪子单元33包括:
[0168] 物体确定模块331,用于确定第n帧环境图像中的特征物,与第n+1帧环境图像中的特征物是否为同一特征物,n为正整数;
[0169] 位置更新模块332,若为同一特征物,基于第n+1帧环境图像,更新特征物在环境图像中的位置;
[0170] 其中,若为不同特征物,所述跟踪子单元33根据所述预设方式对第n+1帧环境图像中的新的特征物进行跟踪。
[0171] 图15是根据本发明的实施例示出的位置更新模块的示意框图。如图15所示,在图14所示实施例的基础上,所述位置更新模块332包括:
[0172] 分析子模块3321,用于通过分析第n+1帧环境图像,确定第n+1帧环境图像中的特征物的实际特征信息;
[0173] 预测子模块3322,用于根据预测模型预测第n帧环境图像中的特征物,在第n+1帧环境图像中的预测特征信息;
[0174] 相似度子模块3323,用于确定预测特征信息与标准特征信息的第一相似度,以及实际特征信息与标准特征信息的第二相似度;
[0175] 更新子模块3324,若第一相似度大于第二相似度,根据预测的第n+1帧环境图像中的特征物的位置,更新特征物在环境图像中的位置,若第二相似度大于第一相似度,根据第n+1帧环境图像中的特征物的位置,更新特征物在环境图像中的位置。
[0176] 可选地,所述结束确定子单元用于确定第二特征物是否位于环境图像的预设区域,其中,若第二特征物位于环境图像的预设区域,结束对该第二特征物的跟踪。
[0177] 可选地,所述结束确定子单元用于在采集到第n+1帧环境图像时,若在第n帧环境图像中的特征物,不存在于第n+1帧环境图像中,结束对该特征物的跟踪。
[0178] 上述装置中各个单元、模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
[0179] 对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
[0180] 本发明的实施例还提出一种电子设备,包括:
[0181] 处理器;
[0182] 用于存储处理器可执行指令的存储器;
[0183] 其中,所述处理器被配置为执行上述任一实施例所述的方法,所述电子设备可以是机器人,也可以是驾驶设备控制者的终端,还可以是服务器。
[0184] 本发明的实施例还提出一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时上述任一实施例所述方法中的步骤。
[0185] 以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。