一种无人机自主降落方法

IPRDB

API 数据接口

专利申请

使用指引 chat嘟嘟

会员体验

联系我们

交流群

现在联系顾问~

一种无人机自主降落方法
申请号	CN201710604323.5	申请日	2017-07-24	公开(公告)号	CN107444665B	公开(公告)日	2020-06-09
申请人	长春草莓科技有限公司;			发明人	侯亮; 王大亮; 刘芷宁; 杨概; 张凤阁;
摘要	本发明公开了一种无人机自主降落方法，所述降落方法通过无人机搭载摄像头拍摄地面图像，采用深度学习模型训练获得的图像语义分割算法模型识别地面图像的各个区域类型和边界，利用地面类型和地面区域大小判断最佳的降落点。当无人机在空中出现紧急情况时，本降落方法能够自动识别复杂的地面环境，并进行选择后，高效、精准地降落到安全的地点，大幅提升无人机的飞行安全。
权利要求	1.一种无人机自主降落方法，其特征在于：所述降落方法通过无人机搭载摄像头拍摄地面图像，采用深度学习模型训练获得的图像语义分割算法模型识别地面图像的各个区域类型和边界，利用地面类型和地面区域大小判断最佳的降落点；所述降落方法具体步骤如下：步骤一：通过无人机搭载摄像头拍摄地面图像；步骤二：通过图像语义分割算法模型识别出所拍摄的地面图像的各个区域类型和边界；所述图像语义分割算法模型是通过用大量带标注的地面数据训练深度神经网络所得到的，并对所获得的图像语义分割算法模型进行测试，确保准确率和速度在可以接受的范围内；步骤三：对识别的地面图像定义类型分、划分网格并计算降落点的加权降落分，进而筛选出合适的降落区域；所述定义类型分的过程为：根据地面类型给适合降落的区域人为定义出类型分，其中，越适合无人机降落的区域，其类型分越高；摄像头识别地面的倾斜度越大，类型分越低；所述划分网格的过程为：将摄像头识别的地面图像区域划分成M×N的网格，其中，M和N的值需根据无人机的体积大小和离地高度参数得出，其中，无人机的体积越大，M和N的值越小，无人机离地越高，M和N的值越大；摄像头识别的地面图像区域所划分的每个网格根据对应地面类型获得一个类型分，如果该网格含有多个地面类型的，则计算该网格内多个地面类型对应类型分的平均值作为该网格的类型分；所述降落点网格的加权降落分等于与降落点相邻数个网格类型分的平均值乘以降落点所在网格的类型分；步骤四：根据评分确定最佳降落地点，在摄像头所识别的地面图像区域划分的所有网格中，降落分最高的，即为当前位置最佳降落地点。 2.如权利要求1所述一种无人机自主降落方法，其特征在于：所述步骤二中，图像语义分割算法模型为Mask R-CNN、FCIS、Dilated Co nvolutions或CRF模型。
说明书全文	一种无人机自主降落方法技术领域 [0001] 本发明属于无人机飞行安全控制技术领域。具体涉及一种无人机自主降落方法。背景技术 [0002] 多旋翼无人机在近些年得到了越来越广泛的应用，如影像拍摄、灾害检测、电力巡检、农业植保等领域，在未来，无人机物流也将真正进入普通大众的生活。由于无人机及搭载的设备往往造价昂贵，若在飞行中出现意外，不仅会严重损坏无人机和搭载设备，还会对地面的设施造成不可预知的伤害，若伤及行人后果更是不堪设想。目前针对无人机飞行安全的技术方案已陆续出现，如：用各种传感器进行主动避障、用通讯系统互相告知当前位置等等。无人机的自主安全降落作为安全飞行的重要一环，目前仍有很大提升空间。 [0003] 市面上的绝大多数无人机在遇到如电池电量低、丢失遥控信号、失去GPS信号、天气突变等需要迅速降落的紧急情况时，往往是原地下降，这就存在较大风险，如无人机降落时桨叶碰到树枝或高压线，无人机误降落到水面、道路中间或人群密集区，事实上，这种情况在实际操作过程中经常发生，现有的这种盲目的降落方式往往既损坏无人机和设备，又会对地面物品和人身安全造成严重损害。为了解决这种盲目的降落方式，已有技术人员提出相应的解决办法，专利申请号为：2016105999459，名称为：一种多旋翼无人机自适应降落方法及系统，该专利公开了一种多旋翼无人机自适应降落方法及系统，该申请所述的方法为：无人机起飞后，通过地面控制站(如平板电脑、手机等控制设备)选择要降落的区域大致范围；收到降落指令后，开启降落模式，并等待降落动作；检测降落区域的着陆面是否适合无人机的降落，若是则进行降落并结束所述降落模式，否则改变所述无人机位姿并继续降落。该技术方案能够安全、可靠的实现无人机的自主降落，并且对地形复杂的情况能够自适应的安全降落。如上述专利在申请文件中所述：“发送图像信息及无人机飞行信息给地面控制站，地面控制站分析图像并选取该图像中适合无人机降落的若干降落区域”，“对当前无人机拍摄的图像与事先存储的若干目标降落区域的图像进行匹配”，也就是说，在该技术方案中，无人机需要把图像信息发给地面控制站，通过和事先存储的降落区域匹配来选择降落地点。但是在实际操作过程中，当无人机出现意外时，往往并没有足够的时间把图像回传给地面站分析计算，也并不一定有合适的降落区域匹配，这就大大限制了该技术方案的实用性，以及在实际操作过程中的灵活性。 [0004] 针对上述专利所存在的缺陷，专利申请号为2015800028086，名称为无人机、其控制系统及方法，以及无人机降落控制方法，在该专利中通过在无人机上安装的控制装置，直接在无人机上实时计算，不需要将图像回传到地面控制站，在该专利的具体实施例中，“所述图像采集器741包括摄像头(图未示出)及图像分析元件(图未示出)。所述摄像头用于获取所述无人机100降落目的地的物体表面图像，并将该图像传送至所述图像分析元件中。所述图像分析元件通过分析所述降落目的地的物体表面纹理特征来识别所述图像中的物体类型。具体地，所述图像分析元件内预设有液体表面的波纹特征。所述图像分析元件获取所述降落目的地的物体表面图像后，对所述表面图像进行扫描分析，抽取所述表面图像的表面纹理特征，并将述表面纹理特征与所述液体表面的波纹特征相比对，并判断所述降落目的地的是否为水面等液体表面。”也就是说，该专利仅通过图像纹理特征与液体表面的波纹特征对比来判断是否为水面。而在无人机实际飞行过程中，其下方对应的地面情况要复杂得多，如行人、车辆、道路、屋顶、农田、树木、水面等，而上述现有技术中所采用的传统的特征对比，已无法满足无人机飞行过程中安全地自主降落的效率、类型及精度的要求。发明内容 [0005] 针对上述现有技术中存在的缺陷，本发明提供了一种无人机自主降落方法，当无人机在空中出现紧急情况时，能够自动识别复杂的地面环境，并进行选择后，高效、精准地降落到安全的地点，大幅提升无人机的飞行安全。结合说明书附图，本发明的技术方案如下： [0006] 一种无人机自主降落方法，所述降落方法通过无人机搭载摄像头拍摄地面图像，采用深度学习模型训练获得的图像语义分割算法模型识别地面图像的各个区域类型和边界，利用地面类型和地面区域大小判断最佳的降落点。 [0007] 所述降落方法具体步骤如下： [0008] 步骤一：通过无人机搭载摄像头拍摄地面图像； [0009] 步骤二：通过图像语义分割算法模型识别出所拍摄的地面图像的各个区域类型和边界； [0010] 所述图像语义分割算法模型是通过用大量带标注的地面数据训练深度神经网络所得到的，并对所获得的图像语义分割算法模型进行测试，确保准确率和速度在可以接受的范围内； [0011] 步骤三：对识别的地面图像定义类型分、划分网格并计算降落点的加权降落分，进而筛选出合适的降落区域； [0012] 步骤四：根据评分确定最佳降落地点，在摄像头所识别的地面图像区域划分的所有网格中，降落分最高的，即为当前位置最佳降落地点。 [0013] 所述步骤二中，图像语义分割算法模型为Mask R-CNN、FCIS、Dilated Convolutions或CRF模型。 [0014] 所述步骤三中，定义类型分的过程为：根据地面类型给适合降落的区域人为定义出类型分，其中，越适合无人机降落的区域，其类型分越高；摄像头识别地面的倾斜度越大，类型分越低。 [0015] 划分网格的过程为：将摄像头识别的地面图像区域划分成M×N的网格，其中，M和N的值需根据无人机的体积大小和离地高度参数得出，其中，无人机的体积越大，M和N的值越小，无人机离地越高，M和N的值越大；摄像头识别的地面图像区域所划分的每个网格根据对应地面类型获得一个类型分，如果该网格含有多个地面类型的，则计算该网格内多个地面类型对应类型分的平均值作为该网格的类型分； [0016] 所述降落点网格的加权降落分等于与降落点相邻数个网格类型分的平均值乘以降落点所在网格的类型分。 [0017] 与现有技术相比，本发明的有益效果在于： [0018] 1、本发明所述一种无人机自主降落方法基于深度学习的方式，识别判断可安全降落的区域，再引导无人机降落到当前最合适的降落地点； [0019] 2、本发明所述一种无人机自主降落方法直接在无人机上实时计算，智能识别出当前地面的区域类型和面积，结合当前无人机的飞行位置自动选择降落地点，不需要把图像回传到地面控制站，也不需要与事先存储的降落区域匹配，故本发明具有更强的实用价值和灵活性； [0020] 3、本发明所述一种无人机自主降落方法基于深度学习的图像语义分割进行地面的识别，通过大量带标注的数据训练深度神经网络，识别效率、类型、精度远远高于传统的特征比对，可识别行人、车辆、道路、屋顶、农田、树木、水面等，还可以精确划分出每种类型在地面的位置，故本发明有更广泛的实用性； [0021] 4、本发明所述一种无人机自主降落方法会根据无人机本身的尺寸大小、高度情况，选择出最合适的降落地点，使安全降落更精准；附图说明 [0022] 图1为本发明所述一种无人机自主降落方法的整体流程框图； [0023] 图2为本发明所述一种无人机自主降落方法中，带标注的地面图片示意图； [0024] 图3为本发明所述一种无人机自主降落方法中，根据网格计算加权降落分示意图。具体实施方式 [0025] 为进一步阐述本发明所述的技术方案，结合说明书附图，本发明的具体实施方式如下： [0026] 如图1所示，本发明提供了一种无人机自主降落方法，所述降落方法通过无人机搭载摄像头拍摄地面图像，采用深度学习模型训练获得的图像语义分割算法模型识别地面图像的各个区域类型和边界，利用地面类型和地面区域大小判断最佳的降落点，所述方法的具体过程如下： [0027] 步骤一：通过无人机搭载摄像头拍摄地面图像； [0028] 步骤二：通过图像语义分割算法模型识别出所拍摄的地面图像的各个区域类型和边界； [0029] 所述图像语义分割算法模型通过用大量带标注的地面数据训练深度神经网络所得到的，具体过程如下： [0030] S1、通过无人机搭载摄像头，在不同高度、不同地点拍摄一定数量的地面图片； [0031] S2、人工标注出每张地面图片的物体类型和边界，如图2所示； [0032] S3、获得图像语义分割算法模型； [0033] 此处需要说明的是：传统的图像语义分割方法模型，如微软剑桥研究院于2004年提出的著名的Grab cut(Carsten Rother,Vladimir Kolmogorov and Andrew Blake."GrabCut"--I nteractive Foreground Extraction using Iterated Graph Cuts,ACM Transactions on Graphics,2004.)交互式图像语义分割方法，需要人为交互，且该方法只能处理二类语义分割，难以满足无人机降落所需的效果。 [0034] 故在本发明中，将标注完的数据采用深度学习模型进行训练，训练可以端对端学习的深度神经网络； [0035] 所述图像分割的深度学习模型可采用Mask R-CNN、FCIS、Dilated Convolutions或CR F等模型； [0036] 对所获得的图像语义分割算法模型进行测试，确保准确率和速度在可以接受的范围内； [0037] 步骤三：对识别的地面图像定义类型分、划分网格并计算降落点的加权降落分，进而筛选出合适的降落区域，具体过程如下： [0038] 1、定义类型分： [0039] 根据地面类型给适合降落的区域人为定义出类型分，如： [0040] 行人0分，车辆10，水面15分，树木30分，道路80分，草坪100分等，其中，越适合无人机降落的区域，其类型分越高；需要说明的是，如果无人机搭载的摄像头可以获得深度数据，还应该加上倾斜度数据进行加权计算，摄像头识别地面的倾斜度越大，类型分越低； [0041] 2、划分网格： [0042] 将摄像头识别的地面图像区域划分成M×N的网格，其中，M和N的值需根据无人机的体积大小和离地高度参数得出，其中，无人机的体积越大，M和N的值越小，相反，无人机的体积越小，M和N的值越大；无人机离地越高，M和N的值越大，相反，无人机离地越低，M和N的值越小。 [0043] 摄像头识别的地面图像区域所划分的每个网格根据对应地面类型获得一个类型分，如果该网格含有多个地面类型的，则计算该网格内多个地面类型对应类型分的平均值作为该网格的类型分。 [0044] 3、结合相邻网格，计算出降落点网格的加权降落分： [0045] 在计算降落分时，除了考虑降落地点对应的地面类型外，还需要考虑降落地点周边的情况，故，降落点网格的加权降落分等于与降落点相邻八个网格类型分的平均值乘以降落点所在网格的类型分。 [0046] 如图3所示，取与降落点5相邻的八个网格，降落点5的加权降落分等于降落点1、降落点2、降落点3、降落点4、降落点6、降落点7、降落点8和降落点9所在网格的类型分的平均值乘以降落点5所在网格的类型分。 [0047] 步骤四：根据评分确定最佳降落地点。 [0048] 在摄像头所识别的地面图像区域划分的所有网格中，降落分最高的，即为当前位置最佳降落地点。