预防跌落方法、装置及电子设备

摘要

本申请提供了一种预防跌落方法、装置及电子设备，该方法包括：获取待测图像，所述待测图像是第一图像的局部区域；所述第一图像是采集所述机器人将要经过的应用环境得到的，所述局部区域是所述应用环境包含的第一道路在所述第一图像的位置区域；即待测图像为第一道路对应的图像，将待测图像输入至预构建的预测通行性模型中，预测通行性模型仅仅基于第一道路的特征得到预测通行性结果。而且将仅包含机器人将要经过的道路特征的待测图像输入至预测通行性模型中得到的预测通行性结果，与待测图像既包含机器人将要经过的道路的图像又包含机器人不经过的道路的图像或包含非道路的图像相比，结果更加准确，从而避免了机器人发生跌落的情况。

权利要求

1.一种预防跌落方法，其特征在于，应用于机器人，所述方法包括：获取待测图像，所述待测图像是第一图像的局部区域；所述第一图像是采集所述机器人将要经过的应用环境得到的，所述局部区域是所述应用环境包含的第一道路在所述第一图像的位置区域；

将要经过的道路特征的所述待测图像输入至预构建的预测通行性模型，通过所述预测通行性模型得到预测通行性结果，所述预测通行性结果为表征所述机器人若经过所述第一道路会发生跌落的不可通行结果，或，表征所述机器人若经过所述第一道路不会发生跌落的可通行结果；其中，所述预测通行性模型仅基于第一道路的特征得到预测通行性结果；

基于所述预测通行性结果，确定是否经过所述第一道路。

2.根据权利要求1所述预防跌落方法，其特征在于，所述获取待测图像包括：将采集的所述应用环境映射到物理成像平面，以得到所述第一图像；

确定所述第一道路映射到所述物理成像平面的位置区域，以得到所述第一图像中的所述局部区域。

3.根据权利要求2所述预防跌落方法，其特征在于，所述确定所述第一道路映射到所述物理成像平面的位置区域包括：基于所述机器人的导航路径、所述机器人当前所在地址位置以及采集应用场景的采集视角，确定所述第一道路在三维空间中的三维坐标集合，所述三维坐标集合包括至少一个三维坐标；

获取所述三维坐标集合映射到所述物理成像平面的二维坐标集合，所述二维坐标集合包括至少一个二维坐标；所述位置区域为所述二维坐标集合对应的区域。

4.根据权利要求1至3任一所述预防跌落方法，其特征在于，还包括：获取多个样本图像，不同的样本图像对应机器人的导航路径中的不同位置，一个所述样本图像为第二图像的局部区域；所述第二图像是采集所述导航路径中相应位置对应的应用环境得到的，所述第二图像的局部区域是所述导航路径中相应位置对应的应用环境包含的第二道路在所述第二图像的位置区域；

将多个样本图像作为神经网络的输入，将所述神经网络输出的所述多个样本图像分别对应的预测通行性结果与相应的样本图像对应的标注实际结果的比较结果作为损失函数，训练所述神经网络，以得到所述预测通行性模型；

其中，一个样本图像对应的标注实际结果包括表征所述机器人若经过所述第二道路会发生跌落的不可通行结果，或，表征所述机器人若经过所述第二道路不会发生跌落的可通行结果。

5.根据权利要求4所述预防跌落方法，其特征在于，多个所述样本图像包括正样本图像，还包括：设置当前模式为自动标注实际结果为可通行结果的第一模式；

将处于所述第一模式下采集的样本图像确定为正样本图像；

将所述正样本图像对应的标注实际结果设置为可通行结果。

6.根据权利要求4或5所述预防跌落方法，其特征在于，多个所述样本图像包括负样本图像，还包括：设置当前模式为自动标注实际结果为不可通行结果的第二模式；

将处于所述第二模式下采集的样本图像确定为负样本图像；

将所述负样本图像对应的标注实际结果设置为不可通行结果。

7.根据权利要求1所述预防跌落方法，其特征在于，所述基于所述预测通行性结果，确定是否经过所述第一道路包括：获取数据集合，所述数据集合包括第一数据和/或第二数据，所述第一数据为所述机器人包含的激光雷达针对所述第一道路的读数；所述第二数据为所述机器人包含的深度相机针对所述第一道路的读数；

基于所述数据集合以及所述预测通行性结果，确定目标通行性结果；

基于所述目标通行性结果，确定是否经过所述第一道路。

8.根据权利要求7所述预防跌落方法，其特征在于，还包括：若所述目标通行性结果与所述预测通行性结果不同，将所述待测图像对应的标注实际结果设置为目标通行性结果；

将所述预测通行性结果与所述目标通行性结果的比较结果作为损失函数，训练所述预测通行性模型。

9.一种预防跌落装置，其特征在于，包括：

第一获取模块，用于获取待测图像，所述待测图像是第一图像的局部区域；所述第一图像是采集机器人将要经过的应用环境得到的，所述局部区域是所述应用环境包含的第一道路在所述第一图像的位置区域；

输入模块，用于将要经过的道路特征的所述待测图像输入至预构建的预测通行性模型，通过所述预测通行性模型得到预测通行性结果，所述预测通行性结果为表征所述机器人若经过所述第一道路会发生跌落的不可通行结果，或，表征所述机器人若经过所述第一道路不会发生跌落的可通行结果；其中，所述预测通行性模型仅基于第一道路的特征得到预测通行性结果；

确定模块，用于基于所述预测通行性结果，确定是否经过所述第一道路。

10.一种电子设备，其特征在于，包括：

存储器，用于存储程序；

处理器，用于执行所述程序，所述程序具体用于：

获取待测图像，所述待测图像是第一图像的局部区域；所述第一图像是采集机器人将要经过的应用环境得到的，所述局部区域是所述应用环境包含的第一道路在所述第一图像的位置区域；

将要经过的道路特征的所述待测图像输入至预构建的预测通行性模型，通过所述预测通行性模型得到预测通行性结果，所述预测通行性结果为表征所述机器人若经过所述第一道路会发生跌落的不可通行结果，或，表征所述机器人若经过所述第一道路不会发生跌落的可通行结果；其中，所述预测通行性模型仅基于第一道路的特征得到预测通行性结果；

基于所述预测通行性结果，确定是否经过所述第一道路。

说明书

预防跌落方法、装置及电子设备

技术领域

[0001] 本申请涉及深度学习技术领域，更具体的说，是涉及一种预防跌落方法、装置及电子设备。

背景技术

[0002] 机器人在运行过程中可能会发生跌落，例如，机器人前方路径有楼梯，机器人可能会从楼梯上跌落下去。由于机器人运行速度快、自重大，一旦发生跌落，机器人可能会损坏。

[0003] 因此，如何避免机器人发生跌落是本领域技术人员急需解决的问题。

发明内容

[0004] 有鉴于此，本申请提供了一种预防跌落方法、装置及电子设备，以克服现有技术中机器人发生跌落的问题。

[0005] 为实现上述目的，本申请提供如下技术方案：

[0006] 一种预防跌落方法，应用于机器人，所述方法包括：

[0007] 获取待测图像，所述待测图像是第一图像的局部区域；所述第一图像是采集所述机器人将要经过的应用环境得到的，所述局部区域是所述应用环境包含的第一道路在所述第一图像的位置区域；

[0008] 将所述待测图像输入至预构建的预测通行性模型，通过所述预测通行性模型得到预测通行性结果，所述预测通行性结果为表征所述机器人若经过所述第一道路会发生跌落的不可通行结果，或，表征所述机器人若经过所述第一道路不会发生跌落的可通行结果；

[0009] 基于所述预测通行性结果，确定是否经过所述第一道路。

[0010] 一种预防跌落装置，包括：

[0011] 第一获取模块，用于获取待测图像，所述待测图像是第一图像的局部区域；所述第一图像是采集所述机器人将要经过的应用环境得到的，所述局部区域是所述应用环境包含的第一道路在所述第一图像的位置区域；

[0012] 输入模块，用于将所述待测图像输入至预构建的预测通行性模型，通过所述预测通行性模型得到预测通行性结果，所述预测通行性结果为表征所述机器人若经过所述第一道路会发生跌落的不可通行结果，或，表征所述机器人若经过所述第一道路不会发生跌落的可通行结果；

[0013] 确定模块，用于基于所述预测通行性结果，确定是否经过所述第一道路。

[0014] 一种电子设备，包括：

[0015] 存储器，用于存储程序；

[0016] 处理器，用于执行所述程序，所述程序具体用于：

[0017] 获取待测图像，所述待测图像是第一图像的局部区域；所述第一图像是采集所述机器人将要经过的应用环境得到的，所述局部区域是所述应用环境包含的第一道路在所述第一图像的位置区域；

[0018] 将所述待测图像输入至预构建的预测通行性模型，通过所述预测通行性模型得到预测通行性结果，所述预测通行性结果为表征所述机器人若经过所述第一道路会发生跌落的不可通行结果，或，表征所述机器人若经过所述第一道路不会发生跌落的可通行结果；

[0019] 基于所述预测通行性结果，确定是否经过所述第一道路。

[0020] 一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述任一项所述的预防跌落方法中的各个步骤。

[0021] 经由上述的技术方案可知，本申请提供了一种预防跌落方法，获取待测图像，所述待测图像是第一图像的局部区域；所述第一图像是采集所述机器人将要经过的应用环境得到的，所述局部区域是所述应用环境包含的第一道路在所述第一图像的位置区域；即待测图像为第一道路对应的图像，将待测图像输入至预构建的预测通行性模型中，预测通行性模型仅仅基于第一道路的特征得到预测通行性结果。而且将仅包含机器人将要经过的道路特征的待测图像输入至预测通行性模型中得到的预测通行性结果，与待测图像既包含机器人将要经过的道路的图像又包含机器人不经过的道路的图像或包含非道路的图像相比，结果更加准确，从而避免了机器人发生跌落的情况，提升了机器人运行的安全性。

附图说明

[0022] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

[0023] 图1为本申请实施例提供的一种实施环境的示意图；

[0024] 图2为本申请实施例提供的预防跌落方法的一种实现方式的流程图；

[0025] 图3为本申请实施例提供的应用环境中任一点映射至第一图像中相应点的过程示意图；

[0026] 图4为本申请实施例提供的机器人在导航路径中行进的一种实现方式的示意图；

[0027] 图5a为本申请实施例提供的采集视角为第一采集视角时采集应用场景得到第一图像的示意图；

[0028] 图5b为本申请实施例提供的采集视角为第二采集视角时采集应用场景得到第一图像的示意图；

[0029] 图6为本申请实施例提供的神经网络训练过程的一种实现方式的流程图；

[0030] 图7为本申请实施例提供的预防跌落装置的一种实现方式的结构图；

[0031] 图8为本申请实施例提供的电子设备的一种实现方式的结构图。

具体实施方式

[0032] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0033] 本申请提供了预防跌落方法、装置、设备及存储介质。

[0034] 在对本申请实施例提供的预防跌落方法进行详细介绍之前，这里先对本申请实施例涉及的实施环境进行简单介绍。

[0035] 如图1所示，为本申请实施例提供的一种实施环境的示意图。本申请实施例提供的预防跌落方法可以应用于图1的机器人中。该实施环境包括：机器人11以及电子设备12。

[0036] 其中，机器人11可以为任何一个具有拍摄和导航功能的机器人，例如，扫地机器人、送餐机器人等服务型机器人。

[0037] 图1中以机器人11为送餐机器人为例进行说明。

[0038] 可选的，电子设备12可以是服务器，该服务器可以是一台服务器，也可以是由若干台服务器组成的服务器集群，或者是一个云计算服务中心。

[0039] 应注意的是，图1中以电子设备12为服务器为例进行说明，但并不限定电子设备12为服务器。

[0040] 可选的，机器人11与电子设备12可以通过无线网络建立连接并进行通信。

[0041] 机器人11，用于获取前方路径的图像，将获取到的图像发送至电子设备12。

[0042] 例如，机器人11在行进时，通过摄像头实时采集前方路径的图像。

[0043] 电子设备12，用于基于本申请实施例提供的预防跌落方法得到前方路径的预测通行性结果，将预测通行性结果反馈至机器人11中。

[0044] 机器人11，用于基于预测通行性结果执行相应行为。

[0045] 在一可选实施例中，机器人11，还用于获取传感器数据，如激光雷达和/或深度相机的读数，将传感器数据发送至电子设备12中。电子设备12，还用于基于本申请实施例提供的预防跌落方法，结合传感器数据得到目标通行性结果，将目标通行性结果反馈至机器人11中，实现导航防止机器人11跌落。

[0046] 本申请实施例还提供了另一种实施环境，该实施环境涉及机器人；机器人11，用于获取前方路径的图像；基于本申请实施例提供的预防跌落方法得到前方路径的预测通行性结果；并基于预测通行性结果执行相应行为。

[0047] 在一可选实施例中，机器人，还用于获取传感器数据；机器人基于本申请实施例提供的预防跌落方法，结合传感器数据得到目标通行性结果，并基于目标通行性结果执行相应行为。

[0048] 下面结合上述实施环境对本申请提供的跌落预防方法、装置及电子设备进行说明。

[0049] 如图2所示，为本申请实施例提供的预防跌落方法的一种实现方式的流程图，该方法包括：

[0050] 步骤S201：获取待测图像。

[0051] 其中，所述待测图像是第一图像的局部区域；所述第一图像是采集所述机器人将要经过的应用环境得到的，所述局部区域是所述应用环境包含的第一道路在所述第一图像的位置区域。

[0052] 对于待测图像而言，本申请实施例中称第一图像为采集机器人将要经过的应用环境得到的图像，第一道路为机器人将要经过的应用环境中包含的道路。

[0053] 在一可选实施例中，获取待测图像的方式包括但不限于使用手机、相机、平板、电脑等装有摄像头的设备拍摄。

[0054] 在一可选实施例中，应用环境是指机器人将要经过的道路所处的环境，例如，应用环境除了包括机器人将要经过的第一道路之外，还可以包括景物（非道路），例如，树木；还可以包括障碍物（非道路），例如墙壁；还可以包括机器人不经过的道路A，例如楼梯等。应用环境包含的内容与实际情况有关，本申请实施例对此不作限定。

[0055] 在一可选实施例中，世界坐标系下的应用环境与二维坐标系下的第一图像之间存在一种映射关系，通过这种映射关系能够将三维空间的应用环境映射为二维空间的第一图像；由于应用环境包含第一道路，那么第一道路也映射为第一图像上的局部区域。

[0056] 可以理解的是，应用环境包含的其他内容，例如，景物，和/或，障碍物，和/或，机器人不经过的道路，也会映射至第一图像相应位置区域。但是本申请实施例中，待测图像仅仅包括第一道路在所述第一图像的位置区域。与整个第一图像相比，减低了数据量。

[0057] 步骤S202：将所述待测图像输入至预构建的预测通行性模型，通过所述预测通行性模型得到预测通行性结果。

[0058] 其中，所述预测通行性结果为表征所述机器人若经过所述第一道路会发生跌落的不可通行结果，或，表征所述机器人若经过所述第一道路不会发生跌落的可通行结果。

[0059] 在一可选实施例中，预构建的预测通行性模型是通过多个样本图像作为神经网络的输入，训练神经网络得到的。样本图像包括正样本图像和负样本图像。

[0060] 在一可选实施例中，样本图像和待测图像的获取过程是一样的，包括：将世界坐标系下三维空间的应用环境映射成二维空间的第二图像，获取应用环境包含的第二道路映射至第二图像的位置区域，该位置区域对应的图像即为样本图像。对于样本图像而言，本申请实施例中称第二图像为采集机器人将要经过的应用环境得到的图像，第二道路为机器人将要经过的应用环境中包含的道路。

[0061] 由于事先知道第二道路是可以通行或不可通行的，所以可以对样本图像进行标记，若样本图像包含的第二道路是可通行的，即机器人经过第二道路不会发生跌落，那么标记的标注实际结果为机器人若经过第二道路不会发生跌落的可通行结果，本申请实施例称这样的样本图像为正样本图像；若样本图像包含的第二道路是不可通行的，即机器人经过第二道路会发生跌落，那么标记的标注实际结果为机器人若经过第二道路会发生跌落的不可通行结果，本申请实施例称这样的样本图像为负样本图像。

[0062] 步骤S203：基于所述预测通行性结果，确定是否经过所述第一道路。

[0063] 可以理解的是，待测图像仅仅包括第一道路在所述第一图像的位置区域对应的图像，提高了预测通行性模型预测的准确性，理由如下：

[0064] 一、若应用环境包括机器人不经过的道路，若待测图像包含机器人不经过的道路A对应的图像以及第一道路对应的图像，那么，由于预测通行性模型并不知道机器人要经过道路A还是第一道路，所以在进行预测时，得到的预测通行性结果可能不是第一道路对应的预测通行性结果。

[0065] 例如，若第一道路和道路A对应的预测通行性结果相同，那么可以输出一个预测通行性结果；若第一道路和道路A对应的预测通行性结果不相同，那么预测通行性模型可能无法输出预测通行性结果，甚至输出道路A对应的预测通行性结果，机器人再基于预测通行性结果执行相应行为时，可能出现错误的行为。例如，第一道路为楼梯，道路A为平坦道路，若预测通行性模型输出道路A对应的可通行结果，那么，机器人再基于可通行结果执行通过第一道路的行为时会发生跌落。

[0066] 二、若应用环境包括景物或障碍物，若待测图像除包含第一道路对应的图像外，还包括景物或障碍物对应的图像，那么，预测通行性模型在从待测图像中提取特征时，提取的不仅仅是第一道路的特征，还包括景物或障碍物的特征，景物或障碍物的特征会干扰预测通行性模型的判断结果，导致预测通行性模型输出的预测通行性结果不准确。

[0067] 本申请实施例提供的预防跌落方法中，获取待测图像，所述待测图像是第一图像的局部区域；所述第一图像是采集所述机器人将要经过的应用环境得到的，所述局部区域是所述应用环境包含的第一道路在所述第一图像的位置区域；即待测图像为第一道路对应的图像，将待测图像输入至预构建的预测通行性模型中，预测通行性模型仅仅基于第一道路的特征得到预测通行性结果。而且将仅包含机器人将要经过的道路特征的待测图像输入至预测通行性模型中得到的预测通行性结果，与待测图像既包含机器人将要经过的道路的图像又包含机器人不经过的道路的图像或包含非道路的图像相比，结果更加准确，从而提升了机器人运行的安全性。

[0068] 为了让本领域技术人员更加理解步骤201中应用环境包含的第一道路和第一图像中的局部区域之间的映射关系，下面以应用环境中任一位置点P和位于二维空间中第一图像中相应点P’之间的对应关系为例，对二者之间的映射过程进行介绍。

[0069] 如图3所示，为本申请实施例提供的应用环境中任一点映射至第一图像中相应点的过程示意图。

[0070] 机器人通过摄像头拍摄应用环境以得到第一图像的过程可以简化为一种简单的形式，即一个小孔30和一个物理成像平面31，小孔表征摄像头的镜头，物理成像平面是承载第一图像的平面，小孔位于物理成像平面和应用环境之间，任何来自真实世界的光只有通过小孔才能到达物理成像平面31。

[0071] 摄像头对应的三维坐标系为以光心O为原点，坐标轴为X，Y，Z的坐标系，该三维坐标系用于从镜头的角度描述位置点P的空间位置；物理成像平面31对应的二维坐标系是指以物理成像平面的中心o’为原点，坐标轴为x，y的坐标系。

[0072] 假设P点为应用环境中任一位置点，在三维坐标系中的坐标为 ，经过镜头的光心后到达物理成像平面中的一点（像点） ，由于光轴垂直于物理成像平面，故像点P在三维坐标系中的坐标为 ，其中z=f，（f是焦点到物理
成像平面之间的距离，被称为焦距），那么，根据三角形相似性原理，如图3右侧图所示，得到，整理得到 。

[0073] 虽然成像过程一般是以二维坐标系的坐标原点为物理成像平面的中心，但在进行图像处理时习惯将物理成像平面的左上角作为二维坐标系原点，因此需要对二维坐标系作适当的平移和缩放，将二维坐标系变换到像素坐标系。假设像素坐标的水平方向的轴为μ，竖直方向的轴为ν，那么将一个物理成像平面的坐标(x,y)在水平方向上缩放α倍，在竖直方向上缩放β倍，同时平移(Cx，Cy)，就可以得到像素坐标系的坐标(μ,ν)，其公式如下：，代入（x，y）后写成齐次坐标的形式为：
，定义K为内参数矩阵，则 。

[0074] 由于用以光心为原点的三维坐标系描述位置点P，位置点P的位置坐标会随着镜头位置的变化而变化，不太稳定，因此为了更好描述位置点P在三维空间中的位置，引入世界坐标系，在该坐标系下P点的位置是固定不变的，记位置点P在世界坐标系中的坐标为 ，则世界坐标系和以光心为原点的三维坐标系之间的坐标转换可以通过一个旋转矩阵R和一个平移向量t来表示， ，其中，R是一个3x3的旋转矩阵，t是3x1的平移向量，写成齐次坐标的形式为 。记外参数矩阵为T，则 。

[0075] 综合内参数矩阵和外参数矩阵，就可以将应用环境上的任一P点映射到物理成像平面的P’点，P’点在第一图像的像素坐标(μ,ν)与P点的世界坐标 对应的矩阵转换关系表达式为

[0076] 所以，步骤S201中获取待测图像的具体实现过程为：

[0077] 基于世界坐标系和物理成像平面的映射关系，将采集的所述应用环境映射至物理成像平面，以得到所述第一图像；确定所述应用环境包含的所述第一道路映射到所述物理成像平面的位置区域，以得到所述第一图像中的所述局部区域。

[0078] 可以理解的是，通过上述矩阵转换关系，可以将世界坐标系下应用环境中包含的第一道路的三维坐标集合一一映射到物理成像平面上，以得到三维坐标集合在物理成像平面的像素坐标集合，像素坐标集合所成区域即为上述局部区域。

[0079] 在一可选实施例中，确定所述第一道路映射到所述物理成像平面的位置区域的实现方式为：

[0080] 步骤一：基于所述机器人的导航路径、所述机器人当前所在地址位置以及采集所述应用场景的采集视角，确定所述第一道路在三维空间中的三维坐标集合，所述三维坐标集合包括至少一个三维坐标。

[0081] 在一可选实施例中，步骤一提及的三维空间可以为世界坐标系下的三维空间。

[0082] 在一可选实施例中，机器人可以对自己所在地理位置进行定位，以得到上述“当前所在地址位置”。

[0083] 在一可选实施例中，机器人可以通过自身携带的摄像头采集应用场景，上述“采集所述应用场景的采集视角”即为摄像头的采集视角。

[0084] 如图4所示，为本申请实施例提供的机器人在导航路径中行进的一种实现方式的示意图。

[0085] 可以理解的是，机器人摄像头的拍摄角度不同，即采集视角不同，得到的第一图像中包含的第一道路的位置区域不同。

[0086] 机器人的摄像头的视场角FOV范围如图4所示的虚线，基于该摄像头可以拍摄得到图4所示的应用场景41对应的第一图像。

[0087] 如图5a和图5b所示，图5a为采集视角为第一采集视角时采集应用场景41得到的第一图像，第一图像包含的第一道路所在位置区域为位置区域51（如图5a虚线方框框出）；图5b为采集视角为第二采集视角时采集应用场景41得到的第一图像，第一图像包含的第一道路所在位置区域为位置区域52（如图5b虚线方框框出）。

[0088] 第一位置区域51和第二位置区域52在第一图像中的位置区域不同。

[0089] 本申请实施例提供的“确定所述第一道路在三维空间中的三维坐标集合”的实现方式有多种，本申请实施例提供但不限于以下几种。

[0090] 第一种：以第一道路在应用环境41中任一点为圆心，以第一预设距离为半径，得到该圆形区域包含的各位置点的三维坐标以得到三维坐标集合。

[0091] 第二种：获取以第一道路在应用环境41中任一点为中心的预设范围内包含的各点的三维坐标，以得到三维坐标集合，所述预设范围的形状可以是方形、菱形、多边形等形状，本申请实施例不对此进行限定。

[0092] 步骤二：获取所述三维坐标集合映射到所述物理成像平面的二维坐标集合，所述二维坐标集合包括至少一个二维坐标；所述位置区域为所述二维坐标集合对应的区域。

[0093] 通过物理成像平面中像素坐标与世界坐标系对应的矩阵转换关系，将三维坐标集合包含的所有点一一映射到物理成像平面上，得到的二维坐标集合即为像素坐标集合，这样就可得到待测图像。

[0094] 下面介绍本申请实施例中预测通行性模型包含的神经网络训练过程，如图6所示，为本申请实施例提供的神经网络训练过程的一种实现方式的流程图。

[0095] 步骤S601：获取多个样本图像，不同的样本图像对应机器人的导航路径中的不同位置，一个所述样本图像为第二图像的局部区域；所述第二图像是采集所述导航路径中相应位置对应的应用环境得到的，所述第二图像的局部区域是所述导航路径中相应位置对应的应用环境包含的第二道路在所述第二图像的位置区域。

[0096] 对于样本图像而言，本申请实施例中称第二图像为采集机器人将要经过的应用环境得到的图像，第二道路为机器人将要经过的应用环境中包含的道路。

[0097] 基于应用环境得到第二图像的方式，与基于应用环境得到第一图像的方式相同，这里不再赘述。

[0098] 从第二图像中获得样本图像的过程，与从第一图像中获得待测图像的过程相同，这里不再赘述。

[0099] 可选的，不同样本图像可以是不同机器人处于不同位置拍摄到的样本图像，也可以是位于同一位置下的机器人通过不同的采集视角拍摄到的样本图像。

[0100] 样本图像包括正样本图像和负样本图像。

[0101] 在一可选实施例中，正样本图像的获取过程如下：

[0102] 步骤一：设置当前模式为自动标注实际结果为可通行结果的第一模式。

[0103] 步骤二：将处于所述第一模式下采集的样本图像确定为正样本图像。

[0104] 步骤三：将所述正样本图像对应的标注实际结果设置为可通行结果。

[0105] 在一可选实施例中，可以设置机器人的导航路径，使得导航路径不包括能够使得机器人发生跌落的道路；或，所述导航路径包含的能够使得机器人发生跌落的道路，但是在这些能够使得机器人发生跌落的道路处设置有虚拟墙；该虚拟墙的作用是阻止机器人通过能够使得机器人发生跌落的道路。

[0106] 例如，若机器人的导航路径包括通往地下阶梯，为了防止机器人通过该阶梯导致机器人跌落，可以在阶梯口处设置虚拟墙，阻止机器人通过。或者，变更机器人的导航路径，使得导航路径不包括通往地下阶梯。

[0107] 通过设置第一模式的方式，不用人为针对正样本图像标记标注实际结果。

[0108] 在一可选实施例中，负样本图像的获取过程如下：

[0109] 步骤一：设置当前模式为自动标注实际结果为不可通行结果的第二模式。

[0110] 步骤二：将处于所述第二模式下采集的样本图像确定为负样本图像。

[0111] 步骤三：将所述负样本图像对应的标注实际结果设置为不可通行结果。

[0112] 其中，负样本图像对应的所述导航路径包括能够使得机器人发生跌落的道路。

[0113] 在一可选实施例中，可以是人为将机器人推到能够使得机器人发生跌落的道路前面，以使得机器人能够拍摄得到负样本图像。

[0114] 通过设置第二模式的方式，不用人为针对负样本图像标记标注实际结果。

[0115] 步骤S602：将多个样本图像作为神经网络的输入，将所述神经网络输出的所述多个样本图像分别对应的预测通行性结果与相应的样本图像对应的标注实际结果的比较结果作为损失函数，训练所述神经网络，以得到所述预测通行性模型。

[0116] 其中，一个样本图像对应的标注实际结果包括表征所述机器人若经过所述第二道路会发生跌落的不可通行结果，或，表征所述机器人若经过所述第二道路不会发生跌落的可通行结果。

[0117] 在一可选实施例中，通过迁移学习的方式，利用损失函数训练神经网络，可以快速地达到训练结束条件。

[0118] 在一可选实施例中，选用预先构建好的残差网络Resnet18作为神经网络来进行训练，以得到预测通行性模型。

[0119] 残差网络是通过学习多个有参网络层输入、输出之间的残差得到的。假设输入为x，将某一有参网络层设为H，那么以x为输入的此层的输出将为H(x)，记输入、输出之间的差别H(x)-x为残差。

[0120] 残差网络Resnet18中包含有卷积层和全连接层。

[0121] 卷积层（convolution layers），用于提取样本图像中对应的图像数据的特征向量。通过卷积运算，可提取到样本图像的不同特征，降低特征向量的维度。除了第一层卷积层采用7*7的卷积核提取输入图像的通用特征外，其余层均采用3*3的卷积核进一步地提取输入样本图像深层次的图像特征。需要说明的是，3*3的卷积核可以减少参数量，简化计算的同时更好地保留了样本图像的性质。

[0122] 全连接层（fully connected layers，fc），用于将卷积层提取到的图像特征通过加权和的形式整合成全局特征，以一维的特征向量形式输出。

[0123] 由于预测通行性模型需要对输入的样本图像进行预测，以得到预测通行性结果，起到二分类的作用，因此将全连接层的输出类型设置为2，即预测通行性模型可以输出可通行结果或不可通行结果。

[0124] 将多个样本图像输入Resnet18网络后，通过该神经网络包含的卷积层提取计算样本图像的图像特征，全连接层对结果进行分类后输出得到预测通行性结果，并将得到的预测通行性结果与样本图像对应的标注实际结果进行比较，比较结果作为损失函数重新训练Resnet18网络，以得到所述预测通行性模型。记模型输出的预测通行性结果为 ，标注实际结果为 。

[0125] 预测通行性结果与样本图像对应的标注实际结果的比较结果的表现形式有很多，例如，两个对应数值的差。

[0126] 在二元分类中，常见的损失函数为0-1损失函数，即对于分类正确的估计值取0，分类不正确的取1， 。但是，0-1损失函数是一个不连续的分段函数，不利于求解其最小化的问题，因此在应用时可构造其代理损失（surrogate loss）。代理损失是与原损失函数具有相合性（consistency）的损失函数，最小化代理损失所得的模型参数也是最小化原损失函数的解。常见的代理损失有：铰链损失函数（hinge  loss function）， ；交叉熵损失函数（cross-entropy loss 
function）， ；指数损失函数（exponential 
loss function）， 。

[0127] 以最简单的0-1损失函数为例来说明如何利用损失函数训练神经网络。假设，通过神经网络得到的预测通行性结果为可通行结果时， 为0，预测通行性结果为不可通行结果时， 为1 ，再结 合样本图像所对应的标 注实际 结果y ，计算 损失函 数的值，将数值结果作为上述提及的比较结果，训练神经网络，即
更新神经网络中的参数，直至达到训练结束条件，以得到预测更加准确的预测通行性模型。

[0128] 在一可选实施例中，也可以选用已构建好的ImageNet经典特征提取网络，如VGG16网络，作为神经网络来进行训练，以得到预测通行性模型。

[0129] 在一可选实施例中，为了使机器人更加安全地经过第一道路，还需要结合测距传感器，如激光雷达和深度相机，进一步地判断第一道路是否存在跌落区域，具体的实现过程如下：

[0130] 步骤一：获取数据集合，所述数据集合包括第一数据和/或第二数据，所述第一数据为所述机器人包含的激光雷达针对所述第一道路的读数；所述第二数据为所述机器人包含的深度相机针对所述第一道路的读数。

[0131] 其中，第一数据和/或第二数据表示第一数据、第二数据、第一数据和第二数据中的任一种情况。

[0132] 激光雷达是一种用于获取精确位置信息的传感器，可以确定目标探测物的位置、大小等，由发射系统、接收系统及信息处理三部分组成。其工作原理是向目标探测物发送探测信号（激光束），然后将目标发射回来的信号（目标回波）与发射信号进行比较，进行适当处理后，便可获取目标探测物的相关信息，例如，目标距离、方位、高度、速度、姿态、甚至形状等参数，从而对目标探测物进行探测、跟踪和识别。在机器人的应用过程中，常使用激光雷达发射红外光线来探测前方路径中是否存在障碍物，当激光雷达的发射信号与接收到的信号之间有差值时，即激光雷达中有读数时，说明前方存在障碍物，避免通行。

[0133] 可以理解的是，获取第一数据，就是获取激光雷达针对第一道路的读数，那么，激光雷达中有读数表征第一道路中存在障碍物不可通行；无读数表征第一道路中无障碍物，可安全通行。

[0134] 深度相机，又称为3D相机，通过该相机能够检测出拍摄空间的景深距离，即，可以用来进行深度测量，从而更方便准确的感知周围的环境及变化。目前常用的深度相机有三种：双目深度相机、结构光深度相机和Tof（TIme of Flight）深度相机。双目深度相机测量类似人类双眼布置，通过两个位置已标定好的2D相机观察同一环境，根据图像内容进行特征点匹配，进而计算深度；结构光深度相机通过主动投射具有特殊纹理特征的结构光，从反馈中的特征形变进行深度测量；Tof深度相机通过主动投射激光，计算从发出到接收的光飞行时间进行深度计算。

[0135] 本申请实施例中采用深度相机来对第一道路进行深度测量，探测第一道路是否存在具有一定深度的区域，例如地下阶梯、坑洞等。当深度相机有读数时，表征第一道路存在具有一定深度的区域，不可通行；无读数时，表征第一道路不存在具有一定深度的区域，可以通行。

[0136] 步骤二：基于所述数据集合以及所述预测通行性结果，确定目标通行性结果。

[0137] 需要注意的是，这里的所述预测通行性结果为待测图像输入预测通行性模型得到的预测通行性结果。

[0138] 当所述预测通行性结果为可通行结果，且激光雷达和/或深度相机无读数时，确定目标通行性结果为可通行结果；当所述预测通行性结果为不可通行结果，且激光雷达和/或深度相机有读数时，确定目标通行性结果为不可通行结果。

[0139] 当所述预测通行性结果为可通行结果，激光雷达和/或深度相机有读数时，确定目标通行性结果为不可通行结果。

[0140] 当所述预测通行性结果为不可通行结果，激光雷达和/或深度相机无读数，确定目标通行性结果为可通行结果。

[0141] 预测通行性结果与测距传感器读数发生矛盾时，可以认为预测通行性模型预测出的结果有误。此时说明预测通行性模型预测待测图像得到的预测通行性结果有误。

[0142] 在一可选实施例中，可以通过目标通行性结果对待测图像进行标注，并将所述预测通行性结果与所述目标通行性结果的比较结果作为损失函数，训练所述预测通行性模型。从而使得预测通行性模型的输出更加准确。

[0143] 可选的，根据待测图像的目标通行性结果，将待测图像作为样本图像加入预测通行性模型训练集中，再次训练预测通行性模型，使得预测通行性模式的输出越来越准确。

[0144] 步骤三：基于所述目标通行性结果，确定是否经过所述第一道路。

[0145] 可以理解的是，当目标通行性结果为可通行结果时，表征第一道路是不存在障碍物且无跌落区域的，可以安全通行；当目标通行性结果为不可通行结果时，表征第一道路要么存在障碍物要么存在跌落区域，不可安全通行。

[0146] 上述本申请公开的实施例中详细描述了方法，对于本申请的方法可采用多种形式的装置实现，因此本申请还公开了一种装置，下面给出具体的实施例进行详细说明。

[0147] 如图7所示，为本申请实施例提供的预防跌落装置的一种实现方式的结构图，该装置包括：

[0148] 第一获取模块71，用于获取待测图像，所述待测图像是第一图像的局部区域；所述第一图像是采集所述机器人将要经过的应用环境得到的，所述局部区域是所述应用环境包含的第一道路在所述第一图像的位置区域。

[0149] 输入模块72，用于将所述待测图像输入至预构建的预测通行性模型，通过所述预测通行性模型得到预测通行性结果，所述预测通行性结果为表征所述机器人若经过所述第一道路会发生跌落的不可通行结果，或，表征所述机器人若经过所述第一道路不会发生跌落的可通行结果。

[0150] 确定模块73，用于基于所述预测通行性结果，确定是否经过所述第一道路。

[0151] 可选的，第一获取模块包括：

[0152] 映射单元，用于将采集的所述应用环境映射到物理成像平面，以得到所述第一图像；

[0153] 第一确定单元，用于确定所述第一道路映射到所述物理成像平面的位置区域，以得到所述第一图像中的所述局部区域。

[0154] 可选的，第一获取模块还包括：

[0155] 第二确定单元，用于基于所述机器人的导航路径、所述机器人当前所在地址位置以及采集所述应用场景的采集视角，确定所述第一道路在三维空间中的三维坐标集合，所述三维坐标集合包括至少一个三维坐标；

[0156] 第一获取单元，用于获取所述三维坐标集合映射到所述物理成像平面的二维坐标集合，所述二维坐标集合包括至少一个二维坐标；所述位置区域为所述二维坐标集合对应的区域。

[0157] 可选的，还包括：

[0158] 第二获取模块，用于获取多个样本图像，不同的样本图像对应机器人的导航路径中的不同位置，一个所述样本图像为第二图像的局部区域；所述第二图像是采集所述导航路径中相应位置对应的应用环境得到的，所述第二图像的局部区域是所述导航路径中相应位置对应的应用环境包含的第二道路在所述第二图像的位置区域；

[0159] 训练模块，用于将多个样本图像作为神经网络的输入，将所述神经网络输出的所述多个样本图像分别对应的预测通行性结果与相应的样本图像对应的标注实际结果的比较结果作为损失函数，训练所述神经网络，以得到所述预测通行性模型；

[0160] 其中，一个样本图像对应的标注实际结果包括表征所述机器人若经过所述第二道路会发生跌落的不可通行结果，或，表征所述机器人若经过所述第二道路不会发生跌落的可通行结果。

[0161] 可选的，确定模块包括：

[0162] 第二获取单元，用于获取数据集合，所述数据集合包括第一数据和/或第二数据，所述第一数据为所述机器人包含的激光雷达针对所述第一道路的读数；所述第二数据为所述机器人包含的深度相机针对所述第一道路的读数；

[0163] 第三确定单元，用于基于所述数据集合以及所述预测通行性结果，确定目标通行性结果；

[0164] 第四确定单元，用于基于所述目标通行性结果，确定是否经过所述第一道路。

[0165] 可选的，确定模块还包括：

[0166] 设置单元，用于若所述目标通行性结果与所述预测通行性结果不同，将所述待测图像对应的标注实际结果设置为目标通行性结果；

[0167] 训练单元，用于将所述预测通行性结果与所述目标通行性结果的比较结果作为损失函数，训练所述预测通行性模型。

[0168] 如图8所示，为本申请实施例提供的电子设备的一种实现方式的结构图，该电子设备包括：

[0169] 存储器81，用于存储程序；

[0170] 处理器82，用于执行所述程序，所述程序具体用于：

[0171] 获取待测图像，所述待测图像是第一图像的局部区域；所述第一图像是采集所述机器人将要经过的应用环境得到的，所述局部区域是所述应用环境包含的第一道路在所述第一图像的位置区域；

[0172] 将所述待测图像输入至预构建的预测通行性模型，通过所述预测通行性模型得到预测通行性结果，所述预测通行性结果为表征所述机器人若经过所述第一道路会发生跌落的不可通行结果，或，表征所述机器人若经过所述第一道路不会发生跌落的可通行结果；

[0173] 基于所述预测通行性结果，确定是否经过所述第一道路。

[0174] 处理器82可能是一个中央处理器CPU，或者是特定集成电路ASIC（Application Specific Integrated Circuit）。

[0175] 第一服务器还可以包括通信接口83以及通信总线84，其中，存储器81、处理器82以及通信接口83通过通信总线84完成相互间的通信。

[0176] 需要说明的是，本说明书中的各个实施例中记载的特征可以相互替换或者组合。对于装置或系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

[0177] 还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

[0178] 结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

[0179] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。