一种新型SLAM导航计算视频识别方法及装置

摘要

本发明涉及扫地机器人技术领域，公开了一种新型SLAM导航计算视频识别方法及装置，通过配置有图像采集装置的扫地机器人调用所述图像采集装置采集当前所处清扫环境的实时视频图像数据；从所述实时视频图像数据中提取连续的关键视频图像帧以基于新型SLAM构建所述清扫环境的实时电子地图；根据所述实时视频图像数据识别所述清扫环境的障碍物布局并结合所述实时电子地图进行清扫路径规划。通过采用本发明技术方案能够即时准确的构建该清扫环境的实时电子地图，并基于识别当前清扫环境的障碍物布局以结合该实时电子地图进行快速的清扫路径规划。

权利要求

1.一种新型SLAM导航计算视频识别方法，其特征在于，所述新型SLAM导航计算视频识别方法应用于配置有图像采集装置的扫地机器人，所述新型SLAM导航计算视频识别方法包括：调用所述图像采集装置采集当前所处清扫环境的实时视频图像数据；

从所述实时视频图像数据中提取连续的关键视频图像帧以基于新型SLAM构建所述清扫环境的实时电子地图；

根据所述实时视频图像数据识别所述清扫环境的障碍物布局并结合所述实时电子地图进行清扫路径规划；

其中，所述从所述实时视频图像数据中提取连续的关键视频图像帧以基于新型SLAM构建所述清扫环境的实时电子地图的步骤，包括：提取各关键视频图像帧各自的图像特征，并将当前关键视频图像帧的第一图像特征与所述当前关键视频图像帧的前一关键视频图像帧的第二图像特征进行特征匹配；

在所述第一图像特征与所述第二图像特征匹配成功时，确定所述扫地机器人的运动轨迹；

将所述实时视频图像数据中，处于所述运动轨迹上各个位置处的场景进行组合添加以构建得到所述清扫环境的实时电子地图；

所述根据所述实时视频图像数据识别所述清扫环境的障碍物布局的步骤，包括：将所述实时视频图像数据中各所述关键视频图像帧各自的图像特征输入预设的神经网络分类模型；

获取所述神经网络分类模型基于所述图像特征进行计算输出的障碍物分类结果；

根据所述障碍物分类结果确定所述清扫环境中障碍物的标准结构参数，并根据所述标准结构参数和所述障碍物在所述运动轨迹中所处的位置，确定所述清扫环境的障碍物布局。

2.如权利要求1所述的新型SLAM导航计算视频识别方法，其特征在于，在所述提取各关键视频图像帧各自的图像特征的步骤之前，所述方法还包括：根据所述图像采集装置的畸变参数，并按照所述畸变参数针对各所述关键视频图像帧进行畸变修改；

所述提取各关键视频图像帧各自的图像特征的步骤，包括：

依次提取进行畸变修改后的各关键视频图像帧各自的图像特征。

3.如权利要求1所述的新型SLAM导航计算视频识别方法，其特征在于，所述结合所述实时电子地图进行清扫路径规划的步骤，包括：基于所述障碍物布局在所述实时电子地图当中进行全局路径规划以得到针对所述清扫环境进行清扫操作的清扫路径。

4.如权利要求1所述的新型SLAM导航计算视频识别方法，其特征在于，所述方法还包括：基于所述实时视频图像数据在本地进行卷积神经网络分类模型的模型训练；

将进行模型训练得到的模型参数更新上传至预设的联邦学习系统，以供所述联邦学习系统基于所述模型参数和其它各扫地机器人传递的模型参数更新进行联合学习得到所述神经网络分类模型；

接收所述联邦学习系统传递的所述神经网络分类模型，并将所述神经网络分类模型存储在本地。

5.一种新型SLAM导航计算视频识别装置，其特征在于，所述新型SLAM导航计算视频识别装置应用于配置有图像采集装置的扫地机器人，所述新型SLAM导航计算视频识别装置包括：图像采集模块，用于调用所述图像采集装置采集当前所处清扫环境的实时视频图像数据；

实时地图构建模块，用于从所述实时视频图像数据中提取连续的关键视频图像帧以基于新型SLAM构建所述清扫环境的实时电子地图；

视频识别计算模块，用于根据所述实时视频图像数据识别所述清扫环境的障碍物布局并结合所述实时电子地图进行清扫路径规划；

其中，所述实时地图构建模块，包括：

图像处理单元，用于提取各关键视频图像帧各自的图像特征，并将当前关键视频图像帧的第一图像特征与所述当前关键视频图像帧的前一关键视频图像帧的第二图像特征进行特征匹配；

轨迹估算单元，用于在所述第一图像特征与所述第二图像特征匹配成功时，确定所述扫地机器人的运动轨迹；

实时地图构建单元，用于将所述实时视频图像数据中，处于所述运动轨迹上各个位置处的场景进行组合添加以构建得到所述清扫环境的实时电子地图；

所述视频识别计算模块，包括：

输入单元，用于将所述实时视频图像数据中各所述关键视频图像帧各自的图像特征输入预设的神经网络分类模型；

识别确认单元，用于获取所述神经网络分类模型基于所述图像特征进行计算输出的障碍物分类结果；以及，根据所述障碍物分类结果确定所述清扫环境中障碍物的标准结构参数，并根据所述标准结构参数和所述障碍物在所述运动轨迹中所处的位置，确定所述清扫环境的障碍物布局。

6.如权利要求5所述的新型SLAM导航计算视频识别装置，其特征在于，所述图像处理单元，还用于根据所述图像采集装置的畸变参数，并按照所述畸变参数针对各所述关键视频图像帧进行畸变修改；以及，依次提取进行畸变修改后的各关键视频图像帧各自的图像特征。

7.如权利要求5所述的新型SLAM导航计算视频识别装置，其特征在于，所述新型SLAM导航计算视频识别装置，还包括：模型训练模块，用于基于所述实时视频图像数据在本地进行卷积神经网络分类模型的模型训练；将进行模型训练得到的模型参数更新上传至预设的联邦学习系统，以供所述联邦学习系统基于所述模型参数和其它各扫地机器人传递的模型参数更新进行联合学习得到所述神经网络分类模型；以及，接收所述联邦学习系统传递的所述神经网络分类模型，并将所述神经网络分类模型存储在本地。

说明书

一种新型SLAM导航计算视频识别方法及装置

技术领域

[0001] 本发明涉及扫地机器人技术领域，尤其涉及一种新型SLAM导航计算视频识别方法及装置。

背景技术

[0002] SLAM（Simultaneous Localization and Mapping，即时定位与地图构建或并发建图与定位,也称为Concurrent Mapping and Localization，简称CML）技术多用于室内或者室外小范围地区。

[0003] 目前，尽管现有扫地机器人具备一定的图像识别和分析处理以自主规划清扫路径的能力，但是，目前扫地机器人基于自身所配置硬件设备对于其数据计算能力的限制，通常都是在进入家庭环境时，首先耗费一定长的时间来构建该家庭环境的电子地图，之后才会基于该电子地图进行清扫路劲的规划，如此，一旦用户针对家庭中相关设备的位置布局进行了调整，则扫地机器人按照原本规划的清扫路径执行清扫操作就会非常容易出错，或者，扫地机器人又会再次花费较长时间来重新构建电子地图以重新规划清扫路径。

发明内容

[0004] 本发明的主要目的在于提供一种新型SLAM导航计算视频识别方法及装置，旨在实现扫地机器人于所处家庭环境中即时准确的进行环境识别和地图构建，从而快速规划出针对该家庭环境的清扫路径进行清扫操作。

[0005] 为实现上述目的，本发明提供一种新型SLAM导航计算视频识别方法，本发明新型SLAM导航计算视频识别方法应用于配置有图像采集装置的扫地机器人，本发明新型SLAM导航计算视频识别方法包括：

[0006] 调用所述图像采集装置采集当前所处清扫环境的实时视频图像数据；

[0007] 从所述实时视频图像数据中提取连续的关键视频图像帧以基于新型SLAM构建所述清扫环境的实时电子地图；

[0008] 根据所述实时视频图像数据识别所述清扫环境的障碍物布局并结合所述实时电子地图进行清扫路径规划。

[0009] 作为一种可行的实施方式，所述从所述实时视频图像数据中提取连续的关键视频图像帧以基于新型SLAM构建所述清扫环境的实时电子地图的步骤，包括：

[0010] 提取各关键视频图像帧各自的图像特征，并将当前关键视频图像帧的第一图像特征与所述当前关键视频图像帧的前一关键视频图像帧的第二图像特征进行特征匹配；

[0011] 在所述第一图像特征与所述第二图像特征匹配成功时，确定所述扫地机器人的运动轨迹；

[0012] 根据所述运动轨迹构建得到所述清扫环境的实时电子地图。

[0013] 作为一种可行的实施方式，在所述提取各关键视频图像帧各自的图像特征的步骤之前，本发明新型SLAM导航计算视频识别方法还包括：

[0014] 根据所述图像采集装置的畸变参数，并按照所述畸变参数针对各所述关键视频图像帧进行畸变修改；

[0015] 所述提取各关键视频图像帧各自的图像特征的步骤，包括：

[0016] 依次提取进行畸变修改后的各关键视频图像帧各自的图像特征。

[0017] 作为一种可行的实施方式，所述根据所述实时视频图像数据识别所述清扫环境的障碍物布局的步骤，包括：

[0018] 将所述实时视频图像数据中各所述关键视频图像帧各自的图像特征输入预设的神经网络分类模型；

[0019] 获取所述神经网络分类模型基于所述图像特征进行计算输出的障碍物分类结果；

[0020] 根据所述障碍物分类结果确定所述清扫环境的障碍物布局。

[0021] 作为一种可行的实施方式，所述结合所述实时电子地图进行清扫路径规划的步骤，包括：

[0022] 基于所述障碍物布局在所述实时电子地图当中进行全局路径规划以得到针对所述清扫环境进行清扫操作的清扫路径。

[0023] 作为一种可行的实施方式，本发明新型SLAM导航计算视频识别方法还包括：

[0024] 基于所述实时视频图像数据在本地进行卷积神经网络分类模型的模型训练；

[0025] 将进行模型训练得到的模型参数更新上传至预设的联邦学习系统，以供所述联邦学习系统基于所述模型参数和其它各扫地机器人传递的模型参数更新进行联合学习得到所述神经网络分类模型；

[0026] 接收所述联邦学习系统传递的所述神经网络分类模型，并将所述神经网络分类模型存储在本地。

[0027] 此外，为实现上述目的，本发明还提供一种新型SLAM导航计算视频识别装置，本发明新型SLAM导航计算视频识别装置应用于配置有图像采集装置的扫地机器人，本发明新型SLAM导航计算视频识别装置包括：

[0028] 图像采集模块，用于调用所述图像采集装置采集当前所处清扫环境的实时视频图像数据；

[0029] 实时地图构建模块，用于从所述实时视频图像数据中提取连续的关键视频图像帧以基于新型SLAM构建所述清扫环境的实时电子地图；

[0030] 视频识别计算模块，用于根据所述实时视频图像数据识别所述清扫环境的障碍物布局并结合所述实时电子地图进行清扫路径规划。

[0031] 作为一种可行的实施方式，所述实时地图构建模块，包括：

[0032] 图像处理单元，用于提取各关键视频图像帧各自的图像特征，并将当前关键视频图像帧的第一图像特征与所述当前关键视频图像帧的前一关键视频图像帧的第二图像特征进行特征匹配；

[0033] 轨迹估算单元，用于在所述第一图像特征与所述第二图像特征匹配成功时，确定所述扫地机器人的运动轨迹；

[0034] 实时地图构建单元，用于根据所述运动轨迹构建得到所述清扫环境的实时电子地图。

[0035] 作为一种可行的实施方式，所述图像处理单元，还用于根据所述图像采集装置的畸变参数，并按照所述畸变参数针对各所述关键视频图像帧进行畸变修改；以及，依次提取进行畸变修改后的各关键视频图像帧各自的图像特征。

[0036] 作为一种可行的实施方式，本发明新型SLAM导航计算视频识别装置，还包括：

[0037] 模型训练模块，用于基于所述实时视频图像数据在本地进行卷积神经网络分类模型的模型训练；将进行模型训练得到的模型参数更新上传至预设的联邦学习系统，以供所述联邦学习系统基于所述模型参数和其它各扫地机器人传递的模型参数更新进行联合学习得到所述神经网络分类模型；以及，接收所述联邦学习系统传递的所述神经网络分类模型，并将所述神经网络分类模型存储在本地。

[0038] 其中，本发明新型SLAM导航计算视频识别装置的各功能模块在运行时实现如上所述的新型SLAM导航计算视频识别方法的步骤。

[0039] 此外，为实现上述目的，本发明还提供一种扫地机器人，所述扫地机器人包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的新型SLAM导航计算视频识别程序，所述新型SLAM导航计算视频识别程序被所述处理器执行时实现如上所述的新型SLAM导航计算视频识别方法的步骤。

[0040] 此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有新型SLAM导航计算视频识别程序，所述新型SLAM导航计算视频识别程序被处理器执行时实现如上所述的新型SLAM导航计算视频识别方法的步骤。

[0041] 此外，为实现上述目的，本发明还提供计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上所述的新型SLAM导航计算视频识别方法的步骤。

[0042] 本发明通过扫地机器人调用预先配置的图像采集装置采集当前所处清扫环境的实时视频图像数据；然后从该实时视频图像数据中提取连续的关键视频图像帧以基于新型SLAM构建该清扫环境的实时电子地图；最后根据该实时视频图像数据识别清扫环境的障碍物布局并结合该实时电子地图进行清扫路径规划。

[0043] 如此，本发明实现了扫地机器人在诸如家庭的清扫环境中，基于采集实时视频图像数据后，基于新型SLAM即时准确的构建该清扫环境的实时电子地图，并基于识别当前清扫环境的障碍物布局以结合该实时电子地图进行快速的清扫路径规划。

附图说明

[0044] 图1为本发明实施例方案涉及的移动设备硬件运行环境的设备结构示意图；

[0045] 图2为本发明新型SLAM导航计算视频识别方法第一实施例的流程示意图；

[0046] 图3为本发明新型SLAM导航计算视频识别装置的功能模块示意图。

[0047] 本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

[0048] 应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

[0049] 参照图1，图1为本发明实施例方案涉及的扫地机器人的设备结构示意图。本发明实施例扫地机器人可用于对地面进行自动清洁，应用场景可以为家庭室内清洁、大型场所清洁等。

[0050] 如图1所示，本发明实施例扫地机器人可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005和感知单元1006。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如Wi‑Fi接口）。

[0051] 存储器1005设置在机器人主体上，存储器1005上存储有程序，该程序被处理器1001执行时实现相应的操作。存储器1005还用于存储供扫地机器人使用的参数。存储器
1005可以是高速RAM存储器，也可以是稳定的存储器（non‑volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

[0052] 扫地机器人可通过网络接口1004与用户终端进行通信。扫地机器人还可通过短距离通信技术与基站进行通信。其中，基站为配合扫地机器人使用的清洁设备。

[0053] 感知单元1006包括各种类型的传感器，例如图像采集装置、激光雷达、碰撞传感器、距离传感器、跌落传感器、计数器、和陀螺仪等。

[0054] 本领域技术人员可以理解，图1中示出的扫地机器人结构并不构成对扫地机器人的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

[0055] 如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及新型SLAM导航计算视频识别程序。

[0056] 在图1所示的扫地机器人中，网络接口1004主要用于连接与扫地机器人配套使用的基站设备、充电座等，与基站进行数据通信，其中，基站设备可用于对扫地机器人进行充电、针对该扫地机器人上的清洁部件进行清洁和向扫地机器人传递扫地控制指令等一种或者多种扫地数据，以及接收扫地机器人在运行过程中传递的实时扫地区域位置和扫地机器人自身状态数据等扫地数据；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的新型SLAM导航计算视频识别程序，并执行以下操作：

[0057] 调用所述图像采集装置采集当前所处清扫环境的实时视频图像数据；

[0058] 从所述实时视频图像数据中提取连续的关键视频图像帧以基于新型SLAM构建所述清扫环境的实时电子地图；

[0059] 根据所述实时视频图像数据识别所述清扫环境的障碍物布局并结合所述实时电子地图进行清扫路径规划。

[0060] 作为一种可行的实施方式，处理器1001可以调用存储器1005中存储的新型SLAM导航计算视频识别程序，还执行以下操作：

[0061] 提取各关键视频图像帧各自的图像特征，并将当前关键视频图像帧的第一图像特征与所述当前关键视频图像帧的前一关键视频图像帧的第二图像特征进行特征匹配；

[0062] 在所述第一图像特征与所述第二图像特征匹配成功时，确定所述扫地机器人的运动轨迹；

[0063] 根据所述运动轨迹构建得到所述清扫环境的实时电子地图。

[0064] 作为一种可行的实施方式，处理器1001可以调用存储器1005中存储的新型SLAM导航计算视频识别程序，在执行提取各关键视频图像帧各自的图像特征的步骤之前，还执行以下操作：

[0065] 根据所述图像采集装置的畸变参数，并按照所述畸变参数针对各所述关键视频图像帧进行畸变修改；

[0066] 处理器1001可以调用存储器1005中存储的新型SLAM导航计算视频识别程序，还执行以下操作：

[0067] 依次提取进行畸变修改后的各关键视频图像帧各自的图像特征。

[0068] 作为一种可行的实施方式，处理器1001可以调用存储器1005中存储的新型SLAM导航计算视频识别程序，还执行以下操作：

[0069] 将所述实时视频图像数据中各所述关键视频图像帧各自的图像特征输入预设的神经网络分类模型；

[0070] 获取所述神经网络分类模型基于所述图像特征进行计算输出的障碍物分类结果；

[0071] 根据所述障碍物分类结果确定所述清扫环境的障碍物布局。

[0072] 作为一种可行的实施方式，处理器1001可以调用存储器1005中存储的新型SLAM导航计算视频识别程序，还执行以下操作：

[0073] 基于所述障碍物布局在所述实时电子地图当中进行全局路径规划以得到针对所述清扫环境进行清扫操作的清扫路径。

[0074] 作为一种可行的实施方式，处理器1001可以调用存储器1005中存储的新型SLAM导航计算视频识别程序，还执行以下操作：

[0075] 基于所述实时视频图像数据在本地进行卷积神经网络分类模型的模型训练；

[0076] 将进行模型训练得到的模型参数更新上传至预设的联邦学习系统，以供所述联邦学习系统基于所述模型参数和其它各扫地机器人传递的模型参数更新进行联合学习得到所述神经网络分类模型；

[0077] 接收所述联邦学习系统传递的所述神经网络分类模型，并将所述神经网络分类模型存储在本地。

[0078] 基于上述扫地机器人的结构，提出本发明新型SLAM导航计算视频识别方法应用于配置有图像采集装置的扫地机器人的各个实施例。

[0079] 请参照图2，图2为本发明新型SLAM导航计算视频识别方法第一实施例的流程示意图。需要说明的是，本发明新型SLAM导航计算视频识别方法虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

[0080] 在本实施例中，本发明新型SLAM导航计算视频识别方法，可以包括：

[0081] 步骤S10，调用所述图像采集装置采集当前所处清扫环境的实时视频图像数据；

[0082] 需要说明的是，在本实施例中，图像采集装置具体可以是摄像头、摄像机、视觉传感器等任意能够进行视频图像数据采集的装置。应当理解的是，基于实际应用的不同设计需要，在任意不同可行的实施例中，扫地机器人当然可以采用任意种类的图像采集装置来采集所处清扫环境的实时视频图像数据。

[0083] 在本实施例中，扫地机器人启动运行以针对所处清扫环境进行清扫操作的过程当中，持续不断的调用所配置的图像采集装置来采集该清扫环境的实时视频图像数据。

[0084] 步骤S20，从所述实时视频图像数据中提取连续的关键视频图像帧以基于新型SLAM构建所述清扫环境的实时电子地图；

[0085] 在本实施例中，扫地机器人在调用上述的图像采集装置采集得到当前所处清扫环境中的实时视频图像数据之后，立即针对该实时视频图像数据进行解析识别等处理以从该实时视频图像数据当中提取得到多个连续的关键视频图像帧，从而基于新型SLAM使用该多个连续的关键视频图像帧即时准确的构建得到当前所处该清扫环境的实时电子地图。

[0086] 需要说明的是，在本实施例中，新型SLAM即为时下市场上所应用的成熟的SLAM技术。

[0087] 作为一种可行的实施方式，在一些可行的实施例中，上述的步骤S20，具体可以包括：

[0088] 步骤S201，提取各关键视频图像帧各自的图像特征，并将当前关键视频图像帧的第一图像特征与所述当前关键视频图像帧的前一关键视频图像帧的第二图像特征进行特征匹配；

[0089] 在本实施例中，扫地机器人在调用上述的图像采集装置采集得到当前所处清扫环境中的实时视频图像数据之后，首先针对该实时视频图像数据进行图像特征提取的处理，以依次提取得到该实时视频图像数据的各连续关键视频图像帧各自的图像特征。然后，扫地机器人即自该连续各关键视频图像帧的第二帧开始，依次将当前关键视频图像帧的第一图像特征，与该当前关键视频图像帧的前一个关键视频图像帧的第二图像特征一起进行特征匹配。

[0090] 示例性地，在本实施例中，扫地机器人具体可以基于各连续关键视频图像帧中，相邻两个关键视频图像帧之间的差异度来依次提取出各关键视频图像帧各自的图像特征。

[0091] 此外，作为一种可行的实施方式，在上述的“提取各关键视频图像帧各自的图像特征”的步骤之前，本发明新型SLAM导航计算视频识别方法，还可以包括：

[0092] 根据所述图像采集装置的畸变参数，并按照所述畸变参数针对各所述关键视频图像帧进行畸变修改；

[0093] 在本实施例中，考虑到扫地机器人在运行过程中调用图像采集装置采集到的实时视频图像数据可能会因为图像采集装置的抖动而产生图像畸变，因此，扫地机器人在上述提取关键视频图像帧的图像特征之前，还进一步通过获取该图像采集装置自身的畸变参数，从而利用该畸变参数分别针对各个关键视频图像帧进行畸变修正的操作。

[0094] 基于此，上述的“提取各关键视频图像帧各自的图像特征”的步骤，具体可以包括：

[0095] 依次提取进行畸变修改后的各关键视频图像帧各自的图像特征。

[0096] 在本实施例中，扫地机器人在针对各关键视频图像帧进行畸变修正之后，或者在针对该各个关键视频图像帧进行畸变修正的同时，即开始依次针对该经过畸变修正之后的各个关键视频图像帧执行上述提取图像特征的操作。

[0097] 示例性地，在本实施例中，为了进一步提升扫地机器人在清扫环境中构建电子地图进行清扫路径规划的响应速度，扫地机器人可在依次对各连续的关键视频图像帧的第二个关键视频图像帧进行过畸变修正之后，即开始利用该经过畸变修正后的两个关键视频图像帧开始依次提取图像特征的操作，从而，扫地机器人在对最后一个关键视频图像帧进行畸变修正之后即可立即提取得到该最后一个关键视频图像帧的图像特征，而无需等待全部关键视频图像帧都进行畸变修正之后，再依次进行图像特征的提取。

[0098] 步骤S202，在所述第一图像特征与所述第二图像特征匹配成功时，确定所述扫地机器人的运动轨迹；

[0099] 在本实施例中，扫地机器人在依次提取出各连续的关键视频图像帧各自的图像特征，并将当前关键视频图像帧的第一图像特征，与该当前关键视频图像帧的前一个关键视频图像帧的第二图像特征一起进行特征匹配之后，若该第一图像特征与该第二图像特征匹配成功，则扫地机器人即可先通过该前后两个相邻的关键视频图像帧计算确定扫地机器人自身的图像相对位置，然后通过获取该扫地机器人所配置惯性检测单元采集的运动数据，以预积分方式计算得到扫地机器人自身在该前后两个相邻的关键视频图像帧之间的惯性相对位姿，最后，扫地机器人通过融合图像相对位置和惯性相对位姿以得到扫地机器人准确的相对位姿，如此，扫地机器人通过将安装相同过程确定的多个相对位姿进行拼接即可得到当前在清扫环境当中执行清扫操作时，实时的运动轨迹。

[0100] 示例性地，在本实施例中，扫地机器人具体可以采用时下市场上任意成熟的计算方法（例如八点法）来计算确定扫地机器人自身的图像相对位置。

[0101] 步骤S203，根据所述运动轨迹构建得到所述清扫环境的实时电子地图。

[0102] 在本实施例中，扫地机器人具体可以通过将当前清扫环境的实时视频图像数据中，处于扫地机器人运动轨迹上的各个位置处的场景进行组合添加从而构建得到该清扫环境的实时电子地图。

[0103] 步骤S30，根据所述实时视频图像数据识别所述清扫环境的障碍物布局并结合所述实时电子地图进行清扫路径规划。

[0104] 在本实施例中，扫地机器人在构建得到当前所处清扫环境的电子地图之后，即可进一步结合该电子地图，和根据上述清扫环境的实时视频图像数据识别得到的该清扫环境的障碍物布局，一起规划得到针对当前清扫环境进行清扫操作的清扫路径。

[0105] 作为一种可行的实施方式，在一些可行的实施例中，扫地机器人具体可以通过预先训练好的神经网络分类模型来识别清扫环境的障碍物布局。上述步骤S30中，“根据所述实时视频图像数据识别所述清扫环境的障碍物布局”的步骤，具体可以包括：

[0106] 将所述实时视频图像数据中各所述关键视频图像帧各自的图像特征输入预设的神经网络分类模型；

[0107] 获取所述神经网络分类模型基于所述图像特征进行计算输出的障碍物分类结果；

[0108] 根据所述障碍物分类结果确定所述清扫环境的障碍物布局。

[0109] 在本实施例中，扫地机器人基于从上述清扫环境的实时视频图像数据中提取的各关键视频图像帧来进行清扫环境的障碍物布局的识别。即，扫地机器人将各关键视频图像帧各自的图像特征输入到预先已经训练好的神经网络分类模型当中，从而由该神经网络模型基于该图像特征进行模型计算并输出障碍物分类结果，之后，扫地机器人即可获取得到该障碍物分类结果以确定出当前清扫环境的障碍物种类，如此，扫地机器人即可基于该障碍物种类分别确定各个障碍物的标准结构参数（至少包括占地面积），以根据该各个障碍物各自在上述扫地机器人运行轨迹中所处的位置，确定得到当前清扫环境的障碍物布局。

[0110] 此外，作为一种可行实施方式，在本实施例中，扫地机器人具体可以与其它多个扫地机器人一起构建成一个联邦学习系统，从而基于该联邦学习系统来进行联邦学习训练以得到上述的神经网络模型。

[0111] 基于此，本发明新型SLAM导航计算视频识别方法，还可以包括：

[0112] 基于所述实时视频图像数据在本地进行卷积神经网络分类模型的模型训练；

[0113] 将进行模型训练得到的模型参数更新上传至预设的联邦学习系统，以供所述联邦学习系统基于所述模型参数和其它各扫地机器人传递的模型参数更新进行联合学习得到所述神经网络分类模型；

[0114] 接收所述联邦学习系统传递的所述神经网络分类模型，并将所述神经网络分类模型存储在本地。

[0115] 在本实施例中，扫地机器人预先以其它多个扫地机器人一起构建联邦学习系统，并且在该联邦学习系统当中由一个单独的受信任终端设备作为中间服务器。如此，扫地机器人即可在本地使用上述当前清扫环境的实时视频图像数据来进行卷积神经网络分类模型的模型训练，同理，其它多个扫地机器人各自也是在本地利用通过调用自己所配置图像采集装置采集的实时视频图像数据来进行卷积神经网络分类模型的模型训练。之后，扫地机器人即将进行模型训练得到模型参数更新抽取出来并上传至所属联邦学习系统的中间服务器，从而由该联邦学习系统的中间服务器针对多个扫地机器人传递的模型参数更新进行联合学习（例如基于加权平均的方式对多个模型参数更新进行融合处理等）得到一个能够准确基于视频图像数据对环境障碍物进行分类的神经网络分类模型；并且，该联邦学习系统的中间服务器还进一步将该神经网络分类模型分发至各个扫地机器人。如此，扫地机器人在接收到该神经网络分类模型，即可将该神经网络分类模型存储在本地以供后续进行调用。

[0116] 作为一种可行的实施方式，在一些可行的实施例中，上述步骤S30中，“结合所述实时电子地图进行清扫路径规划”的步骤，具体可以包括：

[0117] 基于所述障碍物布局在所述实时电子地图当中进行全局路径规划以得到针对所述清扫环境进行清扫操作的清扫路径。

[0118] 在本实施例中，扫地机器人在识别出当前清扫环境的障碍物布局之后，即可进一步在已经构建好的该清扫环境的电子地图当中进行同步以确定出该障碍物布局在电子地图中的区域，如此，扫地机器人即可进一步在该电子地图当中进行全局路径规划从而得到针对当前清扫环境当中各个障碍物执行绕开处理后进行清扫操作的清扫路径。

[0119] 在本实施例中，本发明新型SLAM导航计算视频识别方法通过扫地机器人启动运行以针对所处清扫环境进行清扫操作的过程当中，持续不断的调用所配置的图像采集装置来采集该清扫环境的实时视频图像数据。然后，扫地机器人在调用上述的图像采集装置采集得到当前所处清扫环境中的实时视频图像数据之后，立即针对该实时视频图像数据进行解析识别等处理以从该实时视频图像数据当中提取得到多个连续的关键视频图像帧，从而基于新型SLAM使用该多个连续的关键视频图像帧即时准确的构建得到当前所处该清扫环境的实时电子地图。最后，扫地机器人在构建得到当前所处清扫环境的电子地图之后，即可进一步结合该电子地图，和根据上述清扫环境的实时视频图像数据识别得到的该清扫环境的障碍物布局，一起规划得到针对当前清扫环境进行清扫操作的清扫路径。

[0120] 如此，本发明实现了扫地机器人在诸如家庭的清扫环境中，基于采集实时视频图像数据后，基于新型SLAM即时准确的构建该清扫环境的实时电子地图，并基于识别当前清扫环境的障碍物布局以结合该实时电子地图进行快速的清扫路径规划。

[0121] 作为一种可行的实施方式，本发明还提供一种新型SLAM导航计算视频识别装置，本发明新型SLAM导航计算视频识别装置应用于配置有图像采集装置的扫地机器人。

[0122] 请参照图3，图3为本发明新型SLAM导航计算视频识别装置一实施例的功能模块示意图。如图3所示，本发明新型SLAM导航计算视频识别装置包括：

[0123] 图像采集模块，用于调用所述图像采集装置采集当前所处清扫环境的实时视频图像数据；

[0124] 实时地图构建模块，用于从所述实时视频图像数据中提取连续的关键视频图像帧以基于新型SLAM构建所述清扫环境的实时电子地图；

[0125] 视频识别计算模块，用于根据所述实时视频图像数据识别所述清扫环境的障碍物布局并结合所述实时电子地图进行清扫路径规划。

[0126] 作为一种可行的实施方式，实时地图构建模块，包括：

[0127] 图像处理单元，用于提取各关键视频图像帧各自的图像特征，并将当前关键视频图像帧的第一图像特征与所述当前关键视频图像帧的前一关键视频图像帧的第二图像特征进行特征匹配；

[0128] 轨迹估算单元，用于在所述第一图像特征与所述第二图像特征匹配成功时，确定所述扫地机器人的运动轨迹；

[0129] 实时地图构建单元，用于根据所述运动轨迹构建得到所述清扫环境的实时电子地图。

[0130] 作为一种可行的实施方式，图像处理单元，还用于根据所述图像采集装置的畸变参数，并按照所述畸变参数针对各所述关键视频图像帧进行畸变修改；以及，依次提取进行畸变修改后的各关键视频图像帧各自的图像特征。

[0131] 作为一种可行的实施方式，本发明新型SLAM导航计算视频识别装置，还包括：

[0132] 模型训练模块，用于基于所述实时视频图像数据在本地进行卷积神经网络分类模型的模型训练；将进行模型训练得到的模型参数更新上传至预设的联邦学习系统，以供所述联邦学习系统基于所述模型参数和其它各扫地机器人传递的模型参数更新进行联合学习得到所述神经网络分类模型；以及，接收所述联邦学习系统传递的所述神经网络分类模型，并将所述神经网络分类模型存储在本地。

[0133] 作为一种可行的实施方式，视频识别计算模块，包括：

[0134] 输入单元，用于将所述实时视频图像数据中各所述关键视频图像帧各自的图像特征输入预设的神经网络分类模型；

[0135] 识别确认单元，用于获取所述神经网络分类模型基于所述图像特征进行计算输出的障碍物分类结果；以及，根据所述障碍物分类结果确定所述清扫环境的障碍物布局。

[0136] 作为一种可行的实施方式，视频识别计算模块，还包括：

[0137] 路径规划单元，用于基于所述障碍物布局在所述实时电子地图当中进行全局路径规划以得到针对所述清扫环境进行清扫操作的清扫路径。

[0138] 其中，上述本发明新型SLAM导航计算视频识别装置中各个功能模块的功能实现与上述新型SLAM导航计算视频识别方法实施例中各步骤相对应，因此，各模块功能和实现过程在此处不再一一赘述。

[0139] 本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有新型SLAM导航计算视频识别程序，所述新型SLAM导航计算视频识别程序被处理器执行时实现如以上任一项实施例所述的新型SLAM导航计算视频识别方法的步骤。

[0140] 本发明计算机可读存储介质的具体实施例与上述新型SLAM导航计算视频识别方法各实施例基本相同，在此不作赘述。

[0141] 本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如以上任一项实施例所述的新型SLAM导航计算视频识别方法的步骤。

[0142] 本发明计算机程序产品的具体实施例与上述新型SLAM导航计算视频识别方法各实施例基本相同，在此不作赘述。

[0143] 需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

[0144] 上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

[0145] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台扫地机器人执行本发明各个实施例所述的方法。

[0146] 以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。