用于免控制器式用户无人机交互的系统和方法

摘要

一种用于在与分开的远程设备(12)无物理交互的情况下基于感测到的用户(18)表达控制航空系统(12)的系统(10)和方法(M60、M70、M80、M90、M100、M110、M210)。用户(18)表达可包括意念、声音、面部表情和/或姿势。用户(18)表达可被与航空系统(12)或与远程设备(14)关联的传感器(36、44)感测到。

权利要求

1.一种航空系统，包括：

本体；

升力机构，所述升力机构联接到本体；

方位传感器，所述方位传感器联接到本体，用于感测本体方位；

光学系统，所述光学系统通过致动系统可控地安装到本体；以及处理系统，所述处理系统联接到升力机构、光学系统和致动系统，所述处理系统配置成：检测释放事件，在所述释放事件中所述航空系统从被用户物理保持的情况释放；

进入悬停空闲状态，在所述悬停空闲状态中所述航空系统搜索目标人物；

识别所述目标人物；

追踪所述目标人物并扫描用户表达；

辨识所述目标人物的手；

检测第一预定义的用户表达，并响应性地追踪张开手掌姿势中的手移动并执行第一对应事件，其中，所述第一预定义的用户表达包括所述目标人物的手的张开手掌姿势，所述第一对应事件包括操作所述升力机构使所述航空系统沿着追踪到的张开手掌姿势中手移动的方向飞行，同时保持所述目标人物在所述光学系统的视野之内；

检测第二预定义的用户表达，并响应性地执行第二对应事件，其中，所述第二预定义的用户表达包括所述目标人物的手的“V”手势，所述第二对应事件包括操作所述光学系统，拍摄所述目标人物的照片；

在完成所述第二对应事件时进入所述悬停空闲状态；

检测待命事件，所述待命事件包括在感测到从所述方位传感器接收的方位传感器信号的变化时所述本体的方位矢量的变化；以及在待命模式中响应性地操作所述升力机构。

2.如权利要求1所述的航空系统，还包括与所述航空系统关联的附加传感器，所述附加传感器配置成感测用户特征并将与感测到的用户特征相关的数据发送到处理系统，所述处理系统配置成根据所述与感测到的用户特征相关的数据扫描用户表达。

3.如权利要求2所述的航空系统，其中，所述附加传感器联接到本体。

4.如权利要求2所述的航空系统，其中，所述附加传感器定位在远程设备处，所述远程设备配置成将所述与感测到的用户特征相关的数据发送到所述航空系统以供所述处理系统处理。

5.如权利要求2所述的航空系统，其中，所述处理系统根据所述数据利用面部识别和/或姿势识别辨识用户表达。

6.如权利要求5所述的航空系统，其中，所述处理系统配置成管理释放和悬停过程，所述处理系统配置成控制航空系统进行(1)旋转并扫描所述目标人物和(2)等待目标人物进入光学系统的视场中的一项。

7.如权利要求6所述的航空系统，其中，所述处理系统在目标人物已被辨识后扫描用户表达。

8.如权利要求7所述的航空系统，其中，所述目标人物通过将从所述附加传感器接收的数据与预先登记的数据的对比被辨识。

9.如权利要求8所述的航空系统，其中，所述处理系统还配置成辨识特定的用户表达并实施关联的任务。

10.如权利要求9所述的航空系统，其中，所述用户表达为姿势，所述处理系统配置成辨识下列姿势中的一种或多种：拇指向上、拇指向下、张开手掌、握拳和胜利姿势。

11.如权利要求1所述的航空系统，其中，所述处理系统配置成辨识并追踪张开手掌姿势相对于目标人物面部的移动。

12.如权利要求11所述的航空系统，其中，所述处理系统配置成使航空系统根据张开手掌姿势相对于目标人物面部的相对移动进行移动。

13.如权利要求8所述的航空系统，其中，所述关联的任务包括下列之一：拍摄图片或快照、开启拍摄视频、开启自动跟随、开始自动捕获例程、终止例程、降落和自动捕获。

14.如权利要求2所述的航空系统，其中，用于感测用户特征的所述附加传感器包括所述光学系统中的一个或多个摄像机，和/或用于感测用户特征的所述附加传感器包括麦克风，其中，所述用户表达为面部表情和/或姿势和/或语音命令。

15.一种用于控制航空系统的方法，所述航空系统包括本体、联接到本体的升力机构、联接到本体的用于感测本体方位的方位传感器、光学系统和处理系统，所述方法包括所述处理系统执行下列步骤：检测所述航空系统从被用户物理保持的情况释放的释放事件；

操作所述升力机构，以进入悬停空闲状态，在所述悬停空闲状态中所述航空系统搜索目标人物；

识别所述目标人物；

追踪所述目标人物并扫描用户表达；

辨识所述目标人物的手；

检测第一预定义的用户表达并响应性地追踪张开手掌姿势中的手移动并执行第一执行对应事件，其中，所述第一预定义的用户表达包括所述目标人物的手的张开手掌姿势，所述第一对应事件包括操作所述升力机构使所述航空系统沿着追踪到的张开手掌姿势中手移动的方向飞行，同时保持所述目标人物在所述光学系统的视野之内；

检测第二预定义的用户表达并响应性地执行第二对应事件，其中，所述第二预定义的用户表达包括所述目标人物的手的“V”手势，所述第二对应事件包括操作所述光学系统，拍摄所述目标人物的照片；

在完成所述第二对应事件时进入所述悬停空闲状态；

检测待命事件，所述待命事件包括在感测到从所述方位传感器接收的方位传感器信号的变化时所述本体的方位矢量的变化；以及在待命模式中响应性地操作所述升力机构。

16.如权利要求15所述的方法，包括以下步骤：

利用一个或多个附加传感器感测用户特征，并将与感测到的用户特征相关的数据发送到处理系统，以及根据所述与感测到的用户特征相关的数据扫描用户表达。

17.如权利要求16所述的方法，其中，所述附加传感器联接到本体。

18.如权利要求16所述的方法，其中，所述附加传感器定位在远程设备处，所述远程设备配置成将所述与感测到的用户特征相关的数据发送到所述航空系统以供所述处理系统处理。

19.如权利要求16所述的方法，包括由所述处理系统根据所述数据利用面部识别和/或姿势识别辨识用户表达的步骤。

20.如权利要求19所述的方法，包括以下步骤：由处理系统管理释放和悬停过程并控制航空系统进行(1)旋转并扫描所述目标人物和(2)等待目标人物进入光学系统的视场中的一项。

21.如权利要求20所述的方法，包括由处理系统在目标人物已被辨别后扫描用户表达的步骤。

22.如权利要求21所述的方法，其中，所述目标人物通过将从所述附加传感器接收的数据与预先登记的数据的对比被辨识。

23.如权利要求22所述的方法，包括以下步骤：由处理系统辨识特定的用户表达并实施关联的任务。

24.如权利要求23所述的方法，其中，所述用户表达为姿势，所述处理系统配置成辨识下列姿势中的一种或多种：拇指向上、拇指向下、张开手掌、握拳和胜利姿势。

25.如权利要求15所述的方法，包括以下步骤：辨识并追踪张开手掌姿势相对于目标人物面部的移动。

26.如权利要求25所述的方法，包括以下步骤：使航空系统根据张开手掌姿势相对于目标人物面部的相对移动进行移动。

27.如权利要求23所述的方法，其中，所述关联的任务包括下列之一：拍摄图片或快照、开启拍摄视频、开启自动跟随、开始自动捕获例程、终止例程、降落和自动捕捉。

28.如权利要求16所述的方法，其中，用于感测用户特征的所述附加传感器包括所述光学系统中的一个或多个摄像机，和/或用于感测用户特征的所述附加传感器包括麦克风，其中，所述用户表达为面部表情和/或姿势和/或语音命令。

说明书

用于免控制器式用户无人机交互的系统和方法

[0001] 本申请是发明名称为“用于免控制器式用户无人机交互的系统和方法”、申请日为2017年11月20日、国际申请号为PCT/IB2017/057266、国家申请号为201780086798.8的中国专利申请的分案申请。

[0002] 相关申请的交叉引用

[0003] 本申请要求于2017年7月20日提交的、要求了于2016年12月21日提交的美国临时专利申请序列号62/437,386的优先权的美国非临时专利申请序列号15/655,024的优先权，所述申请公开的全部内容由此通过引用的方式并入。

技术领域

[0004] 本发明总的涉及航空系统领域，且更具体地，涉及航空系统领域中用于免控制器式航空系统操作的系统和方法。

背景技术

[0005] 目前，存在两种允许用户控制无人机拍摄照片和视频的普遍方式。第一种，可利用远程控制器(RC)或其它移动设备(比如，移动电话或平板电脑)控制无人机。在这些类型的系统中，用户必须通过与RC或移动设备物理交互手动地控制无人机。这种方式表现出若干不足。首先，用户需要数小时或数天甚至数月的练习才能变得熟练控制无人机。另外，用户不仅必须控制无人机的操作(即，飞行)，而且用户还必须控制摄像机捕获图片和/或视频。因此，图像或视频的质量不仅受控制无人机的技能限制，而且还受控制器的摄影或摄像经历限制。

[0006] 第二种方式是自动跟随特征。无人机或航空系统利用自动跟随特征选取并锁定人并自动捕获图片和/或视频。通常，这个人是操作RC或移动设备的人(即“所有权人”)，但这个人也可以是别人(比如，穿戴或关联有追踪设备的人)。这种方式也有所不足。总体而言，移动或无人机指令相对简单，即在捕获照片和/或视频时跟随用户。利用这种方式，所得图片和/或视频是限定的，即总是相同或单一景色。

[0007] 因此，更加直观的控制方式是期望的。本发明旨在解决以上发现的一个或多个问题。

发明内容

[0008] 在本发明的一个方面中，航空系统包括本体、升力机构、方位传感器、光学系统和处理系统，所述升力机构联接到本体。方位传感器联接到本体，用于感测本体方位。光学系统通过致动系统可控地安装到本体。处理系统联接到升力机构、光学系统和致动系统，并且处理系统配置成：

[0009] 检测释放事件，在所述释放事件中所述航空系统从被用户物理保持的情况释放；

[0010] 进入悬停空闲状态，在所述悬停空闲状态中所述航空系统检索目标人物；

[0011] 识别目标人物；

[0012] 追踪目标人物并扫描用户表达；

[0013] 辨识目标人物的手；

[0014] 检测第一预定义的用户表达，并响应性地追踪张开手掌姿势中的手移动并执行第一对应事件，其中，所述第一预定义的用户表达包括所述目标人物的手的张开手掌姿势，所述第一对应事件包括操作所述升力机构使所述航空系统沿着追踪到的张开手掌姿势中手移动的方向飞行，同时保持所述目标人物在所述光学系统的视野之内；

[0015] 检测第二预定义的用户表达，并响应性地执行第二对应事件，其中，所述第二预定义的用户表达包括所述目标人物的手的“V”手势，所述第二对应事件包括操作所述光学系统，拍摄所述目标人物的照片；

[0016] 在完成所述第二对应事件时进入所述悬停空闲状态；

[0017] 检测待命事件，所述待命事件包括在感测到从所述方位传感器接收的方位传感器信号的变化时所述本体的方位矢量的变化；以及

[0018] 在待命模式中响应性地操作所述升力机构。

[0019] 在本发明的另一方面中，提供了用于控制航空系统的方法，所述航空系统包括本体、联接到本体的升力机构、联接到本体的用于感测本体方位的方位传感器、光学系统和处理系统。方法包括处理系统执行下列步骤：

[0020] 检测所述航空系统从被用户物理保持的情况释放的释放事件；

[0021] 操作所述升力机构，以进入悬停空闲状态，在所述悬停空闲状态中所述航空系统搜索目标人物；

[0022] 识别目标人物；

[0023] 追踪目标人物并扫描用户表达；

[0024] 辨识目标人物的手；

[0025] 检测第一预定义的用户表达并响应性地追踪张开手掌姿势中的手移动并执行第一对应事件，其中，所述第一预定义的用户表达包括所述目标人物的手的张开手掌姿势，所述第一对应事件包括操作所述升力机构使所述航空系统沿着追踪到的张开手掌姿势中手移动的方向飞行，同时保持所述目标人物在所述光学系统的视野之内；

[0026] 检测第二预定义的用户表达并响应性地执行第二对应事件，其中，所述第二预定义的用户表达包括所述目标人物的手的“V”手势，所述第二对应事件包括操作所述光学系统，拍摄所述目标人物的照片；

[0027] 在完成所述第二对应事件时进入所述悬停空闲状态；

[0028] 检测待命事件，所述待命事件包括在感测到从所述方位传感器接收的方位传感器信号的变化时所述本体的方位矢量的变化；以及

[0029] 在待命模式中响应性地操作所述升力机构。

附图说明

[0030] 图1是根据本发明实施例的航空系统与用于控制航空系统的系统的示意图。

[0031] 图2是根据本发明的实施例的示例航空系统的图片。

[0032] 图3是根据本发明的实施例的示例光学系统的图片。

[0033] 图4是根据本发明的实施例的航空系统的第二示意图。

[0034] 图5是根据本发明的实施例的用于控制航空系统的系统与航空系统的第三示意图。

[0035] 图6是根据本发明的实施例的用于航空系统的采用用户表达的远程免用户控制的方法的第一流程图。

[0036] 图7是根据本发明的实施例的用于航空系统的采用用户表达的远程免用户控制的方法的第二流程图。

[0037] 图8是根据本发明的实施例的用于航空系统的采用用户表达的远程免用户控制的方法的第三流程图。

[0038] 图9是根据本发明的实施例的用于航空系统的采用用户表达的远程免用户控制的方法的第四流程图。

[0039] 图10是用于自动航空系统操作的方法的流程图。

[0040] 图11是用于自动航空系统操作的方法的变型的流程图。

[0041] 图12和图13分别是如下的第一和第二具体示例：检测指示迫近操作事件的方位传感器信号变化，并基于检测到的变化自动操作升力机构。

[0042] 图14是自动航空系统操作的第一变型的示意图，图14包括检测到的指示自由下坠的传感器信号变化的具体示例和响应于检测到的传感器信号变化的升力机构控制的具体示例。

[0043] 图15是自动航空系统操作的包括检测沿着第二轴线施加的力的第二变型的示意图，图15还包括检测到的指示自由下坠的传感器信号变化的具体示例和响应于检测到的传感器信号变化的升力机构控制的具体示例。

[0044] 图16是自动航空系统操作的航空系统自动从支撑表面升起的第三变型的示意图。

[0045] 图17是自动航空系统操作的航空系统在支撑表面被移除时自动悬停的第四变型的示意图。

[0046] 图18是检测待命事件并以待命模式操作航空系统的第一变型的示意图，图18包括检测到的非预期传感器信号变化的具体示例和响应于检测到的待命事件的升力机构控制的具体示例。

[0047] 图19是检测待命事件并以待命模式操作航空系统的包括检测在航空系统下方张开的用户手作为待命事件的第二变型的示意图。

[0048] 图20是检测待命事件并以待命模式操作航空系统的包括检测靠向航空系统侧边的呈“预备抓取”构象的用户手作为待命事件的第三变型的示意图。

[0049] 图21是根据本发明的实施例的用于基于向用户呈现的图像控制航空系统的飞行的系统的流程图。

[0050] 图22是控制客户端显示由航空系统记录的视频的具体示例。

[0051] 图23-41是不同的用户输入与相应的映射航空系统动作的具体示例。

[0052] 图42是补偿航空系统移动的具体示例。

具体实施方式

[0053] 本发明的实施例的下列描述并不意图将本发明限于这些实施例，而是意图使本领域任何技术人员能够制造和使用本发明。参考附图，并且在操作中，提供了用于控制航空系统12(例如无人机)的系统10。系统10包括带有控制客户端16的远程设备14。控制客户端16提供允许用户18向航空系统12发送指令以控制航空系统的操作的用户接口(参见下文)。如以下更加深入论述的，航空系统12包括用于获取图片和/或视频的一个或多个摄像机(参见下文)，所述图片/视频可发送到远程设备14和/或存储在航空系统12上的存储器中。

[0054] 替代地或另外地，航空系统12可包括一个或多个传感器(参见下文)，用于检测或感测由用户18实施的操作或动作(即表达)，以在与远程设备14无直接交互或物理交互的情况下控制航空系统12的操作(参见下文)。在免控制器实施例中，从开始(释放和悬停)到结束(抓取和离开)的整个控制循环连同控制航空系统12的运动和事件触发(例如，拍摄图片和视频)仅只在航空系统12上实施而不涉及远程设备14。在一些这样的实施例或系统10中，可以不提供或不包括远程设备14。

[0055] 在一些实施例中，远程设备14包括检测或感测由用户18实施的操作或动作的一个或多个传感器，以控制在某些条件下(例如，航空系统12离用户18太远时)与远程设备14无物理交互的航空系统12的操作。

[0056] 系统10与航空系统12之概述

[0057] 示例航空系统12与控制系统10被示出在图1-5中。航空系统12的控制客户端16用于接收来自航空系统12的包括视频图像和/或视频在内的数据，并用于控制远程设备14上的视觉显示。控制客户端16还可接收操作指令并基于操作指令促成航空系统12的远程控制。控制客户端16优选配置成在远程设备14上执行，但替代地，控制客户端亦可配置成在航空系统12上或在任何其它适合的系统上执行。如上所述且如以下更加全面论述的，航空系统12可在与远程设备14无直接或物理交互的情况下单独被控制。

[0058] 控制客户端16可以是本地应用(例如，移动应用)、浏览器应用、操作系统应用或任何其它适合的构建。

[0059] 执行控制客户端16的远程设备14用于显示数据(例如，通过控制客户端16指令)、接收用户输入、基于用户输入计算操作指令(例如，通过控制客户端16指令)、向航空系统12发送操作指令、存储控制客户端信息(例如，关联的航空系统标识符、安全密钥、用户帐户信息、用户帐户喜好等)或执行任何其它适合的功能。远程设备14可以是用户设备(例如，智能电话、平板电脑、膝上型电脑等)、联网服务器系统或任何其它适合的远程计算系统。远程设备14可包括一个或多个：输出装置、输入装置、通信系统、传感器、电源、处理系统(例如，CPU、存储器等)或任何其它适合的部件。输出装置可包括：显示器(例如，LED显示器、OLED显示器、LCD等)、音频扬声器、灯(例如，LED)、触觉输出装置(例如，触觉像素系统、振动电机等)或任何其它适合的输出装置。输入装置可包括：触摸屏(例如，电容式、电阻式等)、鼠标、键盘、运动传感器、麦克风、生物特征输入装置、摄像机或任何其它适合的输入装置。通信系统可包括无线连接部，比如支持远程系统(例如，Wi-Fi、蜂窝、WLAN、WiMAX、微波、IR、射频等)、短程系统(例如，BLE、BLE远程、NFC、ZigBee、RF、音频、光学等)的无线电收发机，或任何其它适合的通信系统。传感器可包括：方位传感器(例如，加速度计、陀螺仪等)、环境光传感器、温度传感器、压力传感器、光学传感器、声学传感器或任何其它适合的传感器。在一个变型中，远程设备14可以包括显示器(例如，包含叠覆显示器的触摸屏的触敏显示器)、无线电收发机集合(例如，Wi-Fi、蜂窝、BLE等)和方位传感器集合。

[0060] 航空系统12用于：在物理空间内飞行，捕获视频，近乎实时地将视频流传输到远程设备14，以及基于从远程设备14接收的操作指令进行操作。

[0061] 航空系统12还可：处理流传输到远程设备14之前的视频(例如，视频帧)和/或从机载音频传感器接收的音频；生成航空系统自身的操作指令，并基于航空系统自身的操作指令自动操作(例如，以自动跟随对象)；或实施任何其它适合的功能。航空系统12还可用于使光学传感器的视场在物理空间内移动。例如，航空系统12可控制宏移动(例如，大的、米量级调节的FOV变化)、微移动(例如，小的、毫米或厘米量级调节的FOV变化)或任何其它适合的移动。

[0062] 如以下更加详细论述的，航空系统12可基于对来自机载传感器的传感器数据的机载处理实施某些功能。所述功能可包括但不限于：

[0063] 起飞和降落；

[0064] 所有权人识别；

[0065] 面部识别；

[0066] 语音识别；

[0067] 面部表情与姿势识别；以及，

[0068] 基于所有权人、面部、表达和姿势识别及语音识别，控制例如航空系统的运动。

[0069] 如图2-5中所示，航空系统12(例如无人机)可包括本体20、处理系统22、通信系统24、光学系统26和将光学系统26安装到本体20的致动机构28。另外或替代地，航空系统12可包括升力机构、传感器、动力系统或任何其它适合的部件(参见下文)。

[0070] 航空系统12的本体20用于机械保护和/或保持航空系统部件。本体20可限定内腔，本体可以是平台，或者本体可具有任何适合的配置。本体20可以是封闭式的、敞露式的(例如，桁架)，或者本体可具有任何适合的构造。本体20可由金属、塑料(例如聚合物)、碳复合材料或任何其它适合的材料制成。本体20可限定纵向轴线、侧向轴线、横向轴线、前端、后端(例如，沿着纵向轴线与前端相反)、顶部、底部(例如，沿着横向轴线与顶部相反)或任何其它适合的参考基准。在一个变型中，当在飞行中时，本体20的横向轴线可大体平行于重力矢量(例如，垂直于地平面)，并且本体的纵向轴线和侧向轴线可大体垂直于重力矢量(例如，平行于地平面)。然而，本体20可以以其它方式配置。

[0071] 航空系统12的处理系统22用于控制航空系统操作。处理系统22可以：接收来自通信系统24的操作指令，将操作指令解译成机器指令，并基于机器指令(单独地或成组地)控制航空系统部件。另外或替代地，处理系统22还可以：处理由摄像机记录的图像，将图像流传输到远程设备14(例如，实时或近乎实时地)，或实施任何其它适合的功能。处理系统22可包括一个或多个：处理器30(例如，CPU、GPU等)、存储器(例如，闪存，RAM等)或任何其它适合的处理部件。在一个变型中，处理系统22可还包括自动处理被发送给远程设备14之前的图像(例如，图像去扭曲、过滤图像、裁剪图像等)的专用硬件。处理系统22优选连接到航空系统12的有源部件且被安装到本体20，但替代地，处理系统也可以以其它方式与航空系统部件相联系。

[0072] 航空系统的通信系统24用于发送信息和/或接收来自远程设备14的信息。通信系统24优选连接到处理系统22，以便通信系统24发送和/或接收来自处理系统22的数据，但替代地，通讯系统也可连接到任何其它适合的部件。航空系统12可包括一种或多种类型的一个或多个通信系统24。通信系统24可以包括无线连接部，比如支持远程系统(例如，Wi-Fi、蜂窝、WLAN、WiMAX、微波、IR、射频等)、短程系统(例如，BLE、BLE远程、NFC、ZigBee、RF、音频、光学等)的无线电收发机，或任何其它适合的通信系统24。通信系统24优选与远程设备14共享至少一个系统协议(例如，BLE、RF等)，但替代地，通讯系统可经由中间通信系统(例如，协议转换系统)与远程设备14通信。然而，可以以其它方式配置通信系统24。

[0073] 航空系统12的光学系统26用于记录航空系统12邻近的物理空间的图像。光学系统26优选经由致动机构28安装到本体20，但替代地，光学系统也可静态安装到本体20、可移除地安装到本体20或以其它方式安装到本体20。光学系统26优选安装到本体20的前端，但可选地，光学系统也可安装到本体20的底部(例如，邻近前部)、顶部、后端或任何其它适合的部分。光学系统26优选连接到处理系统30，但替代地，光学系统也可连接到通信系统24或任何其它适合的系统。光学系统26可还包括自动处理由摄像机记录的在被发送给处理器或其它端点之前的图像的专用图像处理硬件。航空系统12可包括一个或多个光学系统26，所述一个或多个光学系统属于相同或不同类型、被安装到相同或不同位置。在一个变型中，航空系统12包括安装到本体20的前端的第一光学系统26和安装到本体20的底部的第二光学系统26。第一光学系统26可关于枢转支撑件致动，并且第二光学系统26可相对于本体20大体静态保持，具有大体平行于本体底部的相应的工作表面。第一光学传感器36可以是高清晰度的，而第二光学传感器36可以是低清晰度的。然而，可以以其它方式配置光学系统26。

[0074] 光学系统26可包括一个或多个光学传感器36(参见图5)。一个或多个光学传感器36可包括：单镜头摄像机(例如，CCD摄像机、CMOS摄像机等)、立体摄像机、高光谱摄像机、多光谱摄像机或任何其它适合的图像传感器。然而，光学系统26可以是任何其它适合的光学系统26。光学系统26可限定接收光的一个或多个工作表面，但替代地，光学系统可包括任何其它适合的部件。例如，摄像机的工作表面可以是摄像机传感器(例如，CCD传感器、CMOS传感器等)的优选包括常规传感器像素阵列的工作表面。摄像机传感器或其它工作表面优选是大体平坦和矩形的(例如，具有第一传感器边缘、第二传感器边缘及第三和第四传感器边缘，第二传感器边缘与第一传感器边缘相反，第三和第四传感器边缘各自与第一传感器边缘和第二传感器边缘垂直并从第一传感器边缘延伸到第二传感器边缘)，但替代地，摄像机传感器或其它工作表面也可具有任何适合的形状和/或形貌。光学传感器36可产生图像帧。
图像帧优选与工作表面的形状相对应(例如，矩形、具有彼此相对的第一帧边缘和第二帧边缘等)，更加优选地，图像帧限定像素位置的规则阵列，每个像素位置与工作表面的传感器像素和/或与由光学传感器36采样的图像的像素相对应，但替代地，图像帧可具有任何适合的形状。图像帧优选限定由光学传感器36采样的图像的多个方面(例如，图像尺寸、分辨率、像素尺寸和/或形状等)。光学传感器36可以可选地包括变焦镜头、数字变焦、鱼眼镜头、滤光器或任何其它适合的主动或被动光学调节装置。光学调节的施加可由控制器主动控制、由用户18手动控制(例如，其中用户手动设定调节)、由远程设备14控制或以其它方式控制。
在一个变型中，光学系统26可包括封闭光学系统部件的其余部分的壳体，其中，壳体被安装到本体20。然而，可以以其它方式配置光学系统26。

[0075] 航空系统12的致动机构28用于使光学系统26可操作地安装到本体20。致动机构28还可用于抑制光学传感器振动(例如，机械稳定所得图像)、适应航空系统滚转或实施任何其它适合的功能。致动机构28可以是主动式的(例如，由处理系统控制)、被动式的(例如，由重物、弹簧元件、磁性元件等的集合控制)或以其它方式被控制。致动机构28可以：使光学系统26相对于本体关于一个或多个轴线旋转，使光学系统26沿着一个或多个轴线相对于本体平移，或以其它方式致动光学系统26。光学传感器36可沿着第一端安装到支撑件，沿着光学传感器背部(例如，与工作表面相反)安装到支撑件，穿过光学传感器本体安装到支撑件，或沿着光学传感器36的任何其它适合的部分安装到支撑件。

[0076] 在一个变型中，致动机构28可包括连接到单个枢转支撑件(例如，万向节)的电机(未示出)，其中，电机基于从控制器接收的指令使支撑件关于旋转轴线(或万向节轴线)34枢转。支撑件优选布置成使得旋转轴线大体平行于本体20的侧向轴线，但是替代地，支撑件可布置成使得旋转轴线相对于本体20成任何其它适合的取向。支撑件优选布置在由本体20限定的凹进的腔穴内，其中，腔穴还包围光学传感器36，但替代地，支撑件也可沿着本体外部布置或布置在本体20的任何其它适合的部分处。光学传感器36优选以工作表面大体平行于旋转轴线的方式(例如，以侧向轴线或与本体20的侧向轴线平行的轴线大体平行于旋转轴线的方式)安装到支撑件，但替代地，光学传感器可布置成使得工作表面与旋转轴线成任何适合的角度布置。

[0077] 电机优选是电动机，但替代地，电机也可以是任何其它适合的电机。可利用的电机的示例包括：DC电机(例如，有刷电机)、EC电机(例如，无刷电机)、感应电机、同步电机、磁电机或任何其它适合的电动机。电机优选安装到本体20(例如，本体内部)、电连接到处理系统22、并由处理系统控制、并且电连接到电源或系统38且由电源或系统38供电。然而，电机可以以其它方式连接。致动机构28优选包括单个电机支撑组，但替代地，致动机构也可包括多个电机支撑组，其中，辅助电机支撑组可以与第一电机支撑组正交(或成任何其它适合的角度)布置。

[0078] 在第二变型中，致动机构28可包括以偏离光学传感器重心的方式连接到光学传感器36的枢转支撑件与重物的集合，其中，致动机构28被动稳定光学传感器36。

[0079] 航空系统12的升力机构40用于实现航空系统飞行。升力机构40优选包括由电机(未示出)驱动的一组螺旋桨叶片42，但是替代地，升力机构也可包括任何其它适合的推进机构。升力机构40优选安装到本体20并被处理系统22控制，但替代地，升力机构也可以以其它方式安装到航空系统12和/或以其它方式被控制。航空系统12可包括多个升力机构40。在一个示例中，航空系统12包括四个升力机构40(例如，两对升力机构40)，其中，升力机构40大体均匀地分布在航空系统12的周界各处(例如，其中每对升力机构40横跨本体20彼此相对)。然而，可以以其它方式配置升力机构40。

[0080] 航空系统的另外的传感器44用于记录指示航空系统操作、航空系统12附近周围环境(例如，航空系统12邻近的物理空间)的信号或任何其它适合的参数。传感器44优选安装到本体20并被处理系统22控制，但替代地，传感器也可安装到任何其它适合的部件和/或以其它方式控制。航空系统12可包括一个或多个传感器36、44。可利用的传感器的示例包括：方位传感器(例如，加速度计、陀螺仪等)、环境光传感器、温度传感器、压力传感器、光学传感器、声学传感器(例如，麦克风)、电压传感器、电流传感器或任何其它适合的传感器。

[0081] 航空系统12的电源38用于为航空系统12的有源部件供电。电源38优选安装到本体20并电连接到航空系统12的所有有源部件(例如，直接地或间接地)，但也可以以其它方式布置。电源38可以是一次电池，二次电池(例如，可再充电电池)、燃料电池、俘能装置(例如，太阳能、风能等)或任何其它适合的供电装置。可利用的二次电池的示例包括：锂化学成分(例如，锂离子、锂离子聚合物等)、镍化学成分(例如，NiCad、NiMH等)或具有任何其它适合的化学成分的电池。

[0082] 本文中所描述的方法可以与一个或多个航空系统12一起使用，并且可以可选地与远程计算系统一起使用，或者与任何其它适合的系统一起使用。航空系统12用于飞行，并且航空系统可还用于拍摄照片、运载负载和/或中继无线通信。航空系统12优选是旋翼机(例如，四轴飞行器、直升机、旋翼飞行器等)，但替代地，航空系统也可以是固定翼飞行器、浮空器或任何其它适合的航空系统12。航空系统12可包括升力机构40、电源38、传感器36、44、处理系统22、通信系统24、本体20，和/或包括任何其它适合的部件。

[0083] 航空系统的升力机构40用于提供升力，并且升力机构优选包括由一个或多个电机(单独或共同)驱动的一组转子。每个转子优选配置成：关于相应的转子轴线旋转，限定垂直于其转子轴线的对应转子平面，并在其转子平面上扫出扫掠区域。电机优选配置成向转子提供充足的动力以允许航空系统飞行，并且更加优选地，电机可以以两种或更多种模式操作，其中至少一种包括为飞行提供充足的动力，并且其中至少一种包括为飞行提供比所需更小的动力(例如，提供零动力、提供最小飞行动力的10％等)。由电机提供的动力优选影响转子关于其转子轴线旋转的角速度。在航空系统飞行期间，转子组优选配置成协作生成或单独生成(例如，通过关于它们的转子轴线旋转)航空系统1所生成的总空气动力的大体全部(例如，大于99％、大于95％、大于90％、大于75)(可能不包括由本体20例如在高空速飞行期间生成的阻力)。替代地或另外地，航空系统12可包括用于生成供航空系统飞行的力的任何其它适合的飞行部件，例如喷气发动机、火箭发动机、机翼、太阳帆和/或任何其它适合的力生成部件。

[0084] 在一个变型中，航空系统12包括四个转子，每个转子布置在航空系统本体的角部处。四个转子优选大体均匀地分散在航空系统本体各处，并且每个转子平面优选大体平行于(例如，在10度内)航空系统本体的侧向平面(例如，包含纵向轴线和侧向轴线)。转子优选占据整个航空系统12相对大的部分(例如，航空系统空间量的90％、80％、75％或大部分，或者航空系统12的任何其它适合的比例)。例如，每个转子直径平方的总和可大于航空系统2投射到系统主平面(例如，侧向平面)上的凸形封包的阈值量(例如，10％、50％、75％、90％、110％等)。然而，可以以其它方式布置转子。

[0085] 航空系统的电源38用于为航空系统12的有源部件(例如，升力机构的电机、电源38等)供电。电源38可安装到本体20并连接到有源部件，或者以其它方式布置。电源38可以是可再充电电池、二次电池、一次电池、燃料电池或者任何其它适合的电源。

[0086] 航空系统的传感器36、44用于获取指示航空系统周围环境和/或航空系统操作的信号。传感器36、44优选安装到本体20，但替代地，传感器也可安装到任何其它适合的部件。传感器36、44优选由电源38供电并被处理器控制，但传感器也可连接到任何其它适合的部件并与之交互。传感器36、44可包括一个或多个：摄像机(例如，CCD、CMOS、多光谱、视觉范围、高光谱、立体等)、方位传感器(例如，惯性测量传感器、加速度计、陀螺仪、高度计、磁力计等)、音频传感器(例如，换能器、麦克风等)、气压计、光传感器、温度传感器、电流传感器(例如，霍尔效应传感器)、空气流量计、电压表、触摸传感器(例如，电阻式，电容式等)、接近传感器、力传感器(例如，应变计量仪表、负荷传感器)、振动传感器、化学传感器、声纳传感器、位置传感器(例如，GPS、GNSS、三角测量等)或任何其它适合的传感器。在一个变型中，航空系统12包括：沿着航空系统本体的第一端安装(例如，静态地或可旋转地)的第一摄像机，第一摄像机具有与本体的侧向平面相交的视场；沿着航空系统本体的底部安装的第二摄像机，第二摄像机具有大体平行于侧向平面的视场；以及方位传感器的集合，例如高度计和加速度计。然而，系统可包括任何适合数目的任何传感器类型。

[0087] 航空系统的处理系统22用于控制航空系统操作。处理系统22可以：实施方法；在飞行期间稳定航空系统12(例如，选择性地操作转子以最小化航空系统在飞行中的摇晃)；基于远程控制指令接收、解译和操作航空系统12；或以其它方式控制航空系统操作。处理系统22优选配置成接收并解译由传感器36、44采样的测量结果，更加优选地，经由组合由不同传感器采样的测量结果(例如，组合摄像机数据与加速度计数据)。航空系统12可包括一个或多个处理系统，其中，不同处理器可实施相同功能(例如，用作多核系统)，或者不同处理器可以是有专门用途的。处理系统22可包括一个或多个：处理器(例如，CPU、GPU、微处理器等)、存储器(例如，闪存、RAM等)或任何其它适合的部件。处理系统22优选安装到本体20，但替代地，处理系统也可安装到任何其它适合的部件。处理系统22优选由电源38供电，但处理系统也可以以其它方式被供电。处理系统22优选连接到并控制传感器36、44、通信系统24和升力机构40，但另外地或替代地，处理系统也可连接到任何其它适合的部件并与之交互。

[0088] 航空系统的通信系统24用于与一个或多个远程计算系统通信。通信系统24可以是远程通信模块、短程通信模块或任何其它适合的通讯模块。通信系统24可促成有线和/或无线通信。通信系统24的示例包括802.11x、Wi-Fi、Wi-Max、NFC、RFID、蓝牙、低功耗蓝牙、ZigBee、蜂窝电信装置(例如，2G、3G、4G、LTE等)、无线电收发机(RF)、有线连接部(例如，USB)或任何其它适合的通信系统24或者它们的组合。通信系统24优选由电源38供电，但通信系统也可以以其它方式被供电。通信系统24优选连接到处理系统22，但另外地或替代地，通讯系统也可连接到任何其它适合的部件并与之交互。

[0089] 航空系统的本体20用于支撑航空系统部件。本体可还用于保护航空系统部件。本体20优选大体封装通信系统24、电源38和处理系统22，但可以以其它方式配置本体。本体20可包括平台、壳体，或具有任何其它适合的配置。在一个变型中，本体20包括容纳通信系统24、电源38和处理系统22的主体，并且包括平行于转子旋转平面并沿主体20的第一和第二侧布置的第一和第二框架(例如，笼)。框架可用作旋转转子与保持机构(例如，诸如用户的手之类的保持机构)之间的中介部件。框架可沿着本体20的单侧(例如，沿着转子的底部、沿着转子的顶部)延伸，沿着本体20的第一和第二侧(例如，沿着转子的顶部和底部)延伸，封装转子(例如，沿着转子的各侧延伸)或以其它方式配置。框架可以静态地安装或可致动地安装到主体20。

[0090] 框架可包括使转子中的一个或多个流体连接到周围环境的一个或多个孔口(例如，气流孔口)，所述一个或多个孔口可用于使空气和/或其它适合的流体能够在周围环境与转子之间流动(例如，使转子能够生成促使航空系统1移动遍及周围环境的空气动力)。孔口可以是细长的，或者孔口可具有可比较的长度与宽度。各孔口可以是大体相同的，或者可以是彼此不同的。孔口优选足够小，以防止保持机构的部件(例如，手的手指)穿过孔口。框架在转子附近的几何透明度(例如，开口面积与总面积之比)优选足够大，以允许航空系统飞行、更加优选地允许高性能飞行操纵。例如，每个孔口可小于阈值尺寸(例如，所有尺寸都小于阈值尺寸，窄于但显著长于阈值尺寸的细长狭槽等)。在一个具体示例中，框架具有80-90％的几何透明度，并且孔口(例如，圆形、诸如正六边形的多边形等)各自限定直径为12-
16mm的外接圆。但是，可以以其它方式配置本体。

[0091] 本体20(和/或任何其它适合的航空系统部件)可限定保持区域，保持区域可由保持机构(例如，人手、航空系统停靠台、爪等)保持。保持区域优选包围转子中的一个或多个的一部分，更加优选地完全包围所有转子，从而防止转子与保持机构或与靠近航空系统12的其它物体之间的任何无意的相互作用。例如，保持区域向航空系统平面上(例如，侧向平面、转子平面等)的投影可以与转子中的一个或多个的扫掠区(例如，转子的扫掠区、转子组的总扫掠区等)向同一航空系统平面上的投影重叠(例如，部分地、完全地、大部分地、至少90％等)。

[0092] 航空系统12可还包括输入装置(例如，麦克风、摄像机等)、输出装置(例如，显示器、扬声器、发光元件等)或任何其它适合的部件。

[0093] 远程计算系统用于接收辅助用户输入，并可还用于自动生成对于航空系统2的控制指令并将控制指令发送给航空系统。每个航空系统12可由一个或多个远程计算系统控制。远程计算系统优选通过客户端(例如，本机应用、浏览器应用等)控制航空系统12，但也可以以其它方式控制航空系统12。远程计算系统可以是用户设备、远程服务器系统、连接设备或任何其它适合的系统。用户设备的示例包括平板电脑、智能手机、移动电话、膝上型电脑、手表、可穿戴设备(例如，眼镜)或任何其它适合的用户设备。用户设备可包括储能装置(例如，电池)、处理系统(例如，CPU、GPU、存储器等)、用户输出装置(例如，显示器、扬声器、振动机构等)、用户输入装置(例如，键盘、触摸屏、麦克风等)、定位系统(例如，GPS系统)、传感器(例如，诸如光传感器和摄像机的光学传感器、诸如加速度计、陀螺仪和高度计的方位传感器、诸如麦克风之类的音频传感器等)、数据通信系统(例如，Wi-Fi模块、BLE、蜂窝模块等)或任何其它适合的部件。

[0094] 免控制器式用户/无人机交互

[0095] 参考图1-9且具体参考图6-9，在一个方面中，本发明提供用于免控制器式用户无人机交互的系统10和方法。正常情况下，航空系统或无人机12需要诸如远程设备14之类的分开的设备。远程设备14可体现为不同类型的设备，包括但不限于地面站、远程控制装置或移动电话等等。在一些实施例中，航空系统2的控制可由用户通过用户表达实现，无需使用远程设备14。用户表达可包括但不限于由用户实施的不包括与远程设备14的物理交互的任何动作，包括意念(通过脑波测量)、面部表情(包括眼球移动)、姿势和/或语音。在这样的实施例中，用户指令经由光学传感器36和其它传感器44中的至少一些被直接接收并由机载处理系统22处理，用于控制航空系统12。

[0096] 在一些实施例中，替代地，可经由远程设备14控制航空系统12。

[0097] 在至少一个实施例中，航空系统12可在与远程设备14无物理交互的情况下被控制，然而，可使用远程设备14的显示器显示从航空系统12中继的图像和/或视频，这可有助于用户18控制航空系统12。此外，例如当航空系统12离用户18太远时，与远程设备14关联的传感器36、44(例如，摄像机和/或麦克风(未示出))可将数据中继到航空系统12。从远程设备14中继到航空系统12的传感器数据的使用方式与利用用户表达控制航空系统12的来自机载传感器36、44的传感器数据的使用方式相同。

[0098] 通过这样的方式，航空系统12可(1)在不使用远程设备14的情况下或(2)在与远程设备14无物理交互的情况下从开始到结束完全受控。在以下描述的实施例中，航空系统12基于在不同机载传感器36、44处接收的用户指令被控制。应注意到，在以下论述中，机载传感器36、44的使用可还包括远程设备14上对应或相似传感器的使用。

[0099] 通常，用户18可利用某些姿势和/或语音控制来控制起飞、降落、航空系统12在飞行期间的运动及诸如触发照片和/或视频捕获的其它特征。如上所述，航空系统12可在不利用远程设备14或不经远程设备14处理的情况下提供以下特征：

[0100] 起飞和降落；

[0101] 所有权人识别；

[0102] 面部识别；

[0103] 语音识别；

[0104] 面部表情与姿势识别；以及，

[0105] 基于所有权人、面部、表情和姿势识别及语音识别，控制例如航空系统的运动。

[0106] 在一个实施例中，航空系统12可应用手和/或手臂的一种或多种姿势或移动。通常，当航空系统距离目标为短距离(“近”)时，可识别和/或使用手势，并且当航空系统距离目标一定距离(“远”)时，可识别和/或使用手臂姿势。此外，一些姿势可发起将继续到继发事件发生例如识别出第二姿势为止的动作(类型＝“立即”)。其它姿势将发起这样的动作：只要姿势还在做出，动作就将继续。下表中的姿势并非穷尽的，且仅仅是示例性的：

[0107] 距离 姿势 指令 类型近 “V”手势 开始拍摄图片 立即
近 “Ok”手势 停止追踪 立即
近 握拳手势 开始追踪 立即
近 挥舞手掌 向后飞行 持续
近 移动手掌 沿移动方向飞行 持续
远 “Y”姿势(手臂) 开始拍摄图片 立即
远 圆造型 开始盘旋 立即
远 手臂水平 停止盘旋 立即
远 手臂交叉 停止追踪/返回 立即
远 挥舞手臂 向前移动 持续
远 手臂移动 沿移动方向飞行 持续

[0108] 如上所述，航空系统12包括光学系统26，光学系统包括诸如摄像机之类的一个或多个光学传感器36。至少一个机载摄像机被配置用于实时视频流传输和计算机视觉分析。可选地，航空系统12可具有用于多像素深度感测的至少一个深度传感器(或立体视觉对)。
可选地，航空系统12可具有用于语音识别和控制的至少一个机载麦克风。

[0109] 通常，为了提供航空系统12的完全控制，提供了从航空会话开始到结束的多种用户/无人机交互或活动。用户/无人机交互包括但不限于起飞与降落、所有权人识别、姿势识别、面部表情识别和语音控制。

[0110] 在本发明的一个方面中，使用释放和悬停过程来管理航空系统12的起飞(参见下文)。

[0111] 在航空系统12释放并悬停后，必须识别所有权人或特定用户。在本发明的一个方面中，仅遵照来自所有权人或特定用户的命令或指令。在本发明的另一方面中，可遵照来自所述至少一个摄像机视场内的任何用户的命令。

[0112] 为了辨识所有权人，航空系统12在升天之后可自动缓慢自转360度以搜索其所有权人18。替代地，航空系统12可静静等待所有权人18出现在视场中。这可设定在默认设置中。在找到所有权人18之后，对于无人机系统12的示例默认动作是自动调节其自身位置和方位，以便以优选的距离在摄像机视场的中心处瞄准所有权人(通过偏航和/或沿着向前/向后的方向移动)。在一个优选实施例中，在所有权人18或任何人被识别为目标后，航空系统12然后可开始追踪目标并扫描姿势命令。

[0113] 在本发明的一个方面中，可根据视觉信息例如从光学传感器36接收的数据识别所有权人18。对于基于面部表情识别和姿势识别技术的所有命令，面部识别是必要条件。通过将用户的面部预先登记到航空系统12(经由app或机载例程)，航空系统12可将所有权人与视频中的任何其他人区分开。典型的面部识别技术包括使用特征面部的主成分分析(PCA)、使用Fisherface算法的弹性束图匹配等。

[0114] 在识别出所有权人或用户的面部后，可追踪所有权人(或其他用户)的面部并使捕获图像中为所述面部及其邻近区域。可接受来自所有权人或其他用户的面部表情和/或姿势的命令或指令，用于控制航空系统12。然而，如上所述，在其它方面中，摄像机视野中的任何用户都可控制航空系统12。

[0115] 替代地或另外，可使用语音识别以辨别语音是否来自所有权人。用于处理和存储声纹的技术包括频率估算、隐Markov模型、Gaussian混合模型、模式匹配算法、神经网络、矩阵表示、矢量量化和决策树。

[0116] 姿势识别也会在航空系统12中扮演重要角色。当无人机在空中被释放后，姿势输入命令成为主要的用户接口工具。姿势识别可通过使用单个RGB摄像机和/或多像素深度传感器(基于飞行时间的深度摄像机、立体视觉对、具有结构光图案的红外摄像机等)被实现。领域目前的姿势识别算法可实现在最新高端处理器上计算运行时间在100ms级别的实时识别。

[0117] 识别姿势可被指定或重新指定不同的功能或事件，识别姿势可包括但不限于拇指向上、拇指向下、张开手掌、握拳、胜利姿势等等。在识别出特定姿势后，指定事件被触发。

[0118] 面部表情识别实施方式包括以下步骤：原始数据预处理/检测，特征提取，分类，后处理，输出结果。检测方法可分类为基于知识的、基于特征的、基于纹理的、基于肤色的、多特征式、模板匹配式(局部二元模式LBP)、活动形状模型式、基于外观的以及分布特征式。典型的特征提取方法包括离散余弦变换(DCT)、Gabor滤波器、主成分分析(PCA)、独立分量分析(ICA)、线性判别分析(LDA)。并且已有的分类方法包括隐Markov模型(HMM)、神经网络、支持矢量机(SVM)、AdaBoost等。

[0119] 语音或语音识别可用作用于命令输入的工具。语音或语音识别技术可包括但不限于隐Markov模型(HMM)、长短期记忆(LSTM)、回归神经网络(RNN)、时延神经网络(TDNN)等。

[0120] 具体参考图6，示出了根据本发明的一个实施例的用于提供航空系统12的运动的用户表达控制的方法M60。在第一步骤60S10中，在航空系统12起飞后，航空系统12进入悬停状态(参见下文)。在第二步骤60S12中，处理系统22搜索并识别目标人物，例如面部识别。应注意的是，目标人物识别可通过其它方法完成，包括但不限于使用RFID标签等。目标人物可以是所有权人或视场内的任何用户。

[0121] 在第三步骤60S14中，追踪目标(人物)并且检测和观察由目标实施的姿势或表达。例如，可处理视觉信息和/或音频信息(例如，目标面部与邻近目标面部的区域的照片或视频)以检测预定义的用户表达。如上所述，用户表达可包括意念、面部表情、姿势和/或语音。

[0122] 在图示的实施例中，采用由目标的手实施的用户姿势。在第四步骤60S16中，如果检测到张开的手掌，则方法60进入第五步骤60S 18。否则，方法M60回到第三步骤60S14。

[0123] 在第五步骤60S18中，追踪目标手掌相对于目标面部的位置。在第六步骤60S20中，如果手掌姿势(或目标的张开的手掌)丢失，则方法M60回到第三步骤60S14。在第七步骤60S22中，如果检测到移动(即，手掌相对目标相对平移)，则方法M60进入第八步骤60S24。否则，方法M60回到第五步骤60S28。

[0124] 在第八步骤60S24中，指令航空系统12根据在第七步骤60S22中检测到的张开手掌的相对平移或移动进行移动。在第九步骤60S26中，如果手掌姿势丢失，则方法M60进入第十步骤60S28。否则，方法M60回到第八步骤60S24。在第十步骤60S28中，指令航空系统12停止移动，并且方法M60回到第三步骤60S14。

[0125] 参考图7，图示了根据本发明的实施例的用于发起航空系统12的事件的方法M70。在图示的实施例中，可响应于检测到预定或预定义的用户表达触发航空系统事件。如上所述，用户表达可包括意念、面部表情、姿势和/或语音。在第一步骤70S12中，在航空系统12已经起飞并且识别目标用户后，航空系统12进入追踪状态。在第二步骤70S14中，追踪目标，并且处理系统22扫描预定/预定义的用户表达(例如，姿势)。在第三步骤70S16中，如果检测到预定/预定义的表达(例如，姿势)，则方法M70进行到第四步骤70S18。否则，方法70回到第二步骤70S14。在第四步骤70S18中，触发与检测到的预定义或预定表达(例如，姿势)对应的事件。示例事件包括但不限于拍摄图片或快照、开始拍摄视频、开始(用户)自动跟随和开始自动捕获例程。

[0126] 参考图8，图示了根据本发明的实施例的用于终止航空系统12的运行事件的方法M80。在图示的实施例中，可响应于检测到预定或预定义的用户表达终止航空系统12事件。如上所述，用户表达可包括意念、面部表情、姿势和/或语音。在第一步骤80S12中，在触发或发起运行事件(参见以上及图7)后。航空系统12进入事件或例程运行状态。在第二步骤
80S14中，追踪目标，并且处理系统22扫描预定/预定义的用户表达(例如，姿势)。在第三步骤80S16中，如果检测到预定/预定义的终止或巡回结束表达(例如，姿势)，则方法M80进入第四步骤80S18。否则，方法M80回到第二步骤80S14。在第四步骤80S18中，终止与检测到的预定义或预定表达(例如，姿势)对应的事件。

[0127] 参考图9，提供了根据本发明的实施例的用于实施自动捕获事件的方法M90。方法M90允许用户或目标向航空系统12发信号并触发这样的事件：航空系统12在事件期间相对于目标移动并将自身定位到允许航空系统12降落和/或安全降落的位置。例如，航空系统12可将自身定位到允许用户18将他们的手定位在航空系统12下方并在用户18做出终止表达后航空系统12可以降落和/或允许自身被用户18捕获的位置。

[0128] 在第一步骤90S10中，用户可释放航空系统12，并且航空系统12起飞并开始悬停。在第二步骤90S12中，航空系统12进入悬停空闲状态，在此期间，航空系统12可开始搜索目标或任何用户(基于默认设置)。

[0129] 在第三步骤90S14中，目标(或所有权人)或任何用户进入光学系统26之一的视场并被识别。在第四步骤90S16中，追踪识别的目标(或所有权人或任何用户)，并且扫描并分析识别的目标的表达或姿势。在第五步骤90S18中，如果检测到与自动捕获触发对应的用户表达，则方法M90进入第六步骤90S20。否则，方法M90回到第四步骤90S16。

[0130] 在第六步骤90S20中，发起自动捕获例程。在第七步骤90S22中，处理系统22自动控制航空系统12缓慢旋转以寻找面部。如果在第八步骤90S24中找到面部，则方法M90进入第九步骤90S26。否则，方法M90回到第七步骤90S22。

[0131] 在第九步骤90S26中，处理系统22指令航空系统12调节其相对于目标的位置。在第十步骤90S28中，如果丢失目标面部，则方法M90回到第七步骤90S22。否则，方法M90进入第十一步骤90S30。

[0132] 在第十一步骤90S30中，如果抵达预期位置(相对于目标)，则方法M90进入第十二步骤90S32。否则，方法M90回到第九步骤90S26。

[0133] 在第十二步骤90S32中，可拍摄图片。在第十三步骤90S34中，如果检测到自动捕获结束或终止表达(例如，姿势)，则方法M90进入第十四步骤90S36。否则，方法M90回到第七步骤90S22。

[0134] 在第十四步骤90S36中，终止自动捕获例程。在第十五步骤90S38中，如果航空系统12被用户18抓取，则方法M90进入第十六步骤90S40。否则，方法M90回到第四步骤90S16。在第十六步骤90S40中，航空系统12被用户18抓取并可被关停。

[0135] 在本发明的一个实施例中，在抓取无人机前，用户18可使用姿势控制/语音控制命令无人机靠得更近、使用户能够触及无人机。

[0136] 如图10中所示，用于自动航空系统操作的方法M100可包括：100S12以飞行模式操作航空系统12，100S18检测待命事件，以及100S20以待命模式操作航空系统12。方法M100可还包括：100S10检测飞行事件，100S14接收控制指令，和/或100S16根据控制指令操作航空系统12。

[0137] 所述方法用于独立于控制指令被接收自动中断航空系统飞行。在第一变型中，航空系统自动检测航空系统12在飞行期间被约束，并响应于确定航空系统被约束自动以待命模式操作。在一个具体示例中，在航空系统12检测到用户抓取飞行途中或半空中的航空系统(例如，如图11所示)后，航空系统减慢或停止升力机构40。在第二变型中，航空系统自动识别降落地点并自动操作以降落在降落地点上。在第一具体示例中，航空系统自动检测在航空系统12下方的用户的手(例如，利用具有向下指向的视场的摄像机和视觉分析方法)，并逐渐减慢螺旋桨速度以使航空系统12降落在用户的手上。在第二具体示例中，航空系统自动检测航空系统12前方的降落地点，自动飞向降落地点，并自动控制升力机构40降落在降落地点上。然而，方法可以以其它方式中断航空系统飞行。

[0138] 方法可还用于独立于控制指令被接收自动飞行航空系统12。在第一变型中，当航空系统12(例如，从用户的手中)被释放时，航空系统自动悬停(例如，就位)。在第二变型中，响应于航空系统12被沿着力施加矢量扔出或推动，航空系统自动沿着力施加矢量飞行、停止和悬停。在第三变型中，航空系统12可自动从用户的手中起飞。然而，方法可以以其它方式飞行航空系统12。

[0139] 方法可赋予优于传统系统的若干益处。首先，通过自动进入航空系统待命模式、响应于航空系统被释放自动飞行和/或自动降落在用户手上或用户指定的降落地点上，方法使用户能够与航空系统12更加直观地交互。其次，通过独立于外部控制指令被接收自动操作，方法使用户免于控制航空系统飞行的这些方面。这可使用户能够控制辅助系统(例如，摄像机系统)、最小化多任务处理或以其它方式减少航空系统飞行所需的用户交互。然而，方法可赋予任何其它适合的益处。

[0140] 检测飞行事件100S10用于检测需要航空系统飞行或另外与航空系统飞行关联的迫近的操作事件110S10。迫近的操作事件110S10可以是自由下坠(例如，沿着与重力矢量平行的第一轴线的航空系统运动)、迫近的自由下坠、成预定取向的航空系统布置(例如，主航空系统平面在距垂直于重力矢量的预定范围内达预定时间量比如0.5s的布置)，航空系统12在半空中的手动支撑(例如，基于加速度模式、旋转模式、振动模式、温度模式等)或任何其它适合的迫近操作事件。100S10优选包括检测与迫近操作关联的传感器信号变化。优选地，由处理系统22基于从机载传感器36、44(例如，方位传感器)接收的信号检测所述变化，但替代地，也可由远程计算系统检测所述变化(例如，其中传感器信号被发送到远程计算系统)，或由任何其它适合的系统检测所述变化。预定的变化可以是由制造商设定、从在远程计算系统上运行的客户端接收、从用户18接收或以其它方式确定。可以以预定的频率确定所述变化，可以在每次接收到新的方位传感器信号时确定所述变化，或者可以在任何其它适合的时间确定所述变化。预定的变化可以是信号变化、参数变化(例如，加速度变化量、速度变化等)、变化率(例如，加速度变化率)或任何其它适合的变化。

[0141] 指示迫近操作的所述变化可从用户18接收、从客户端接收、自动学习(例如，基于训练的标记加速度计模式的学习集合)或以其它方式确定。如果实际变化大体匹配指示迫近操作的预定变化、实际变化被分类为指示迫近操作的变化、实际变化大体匹配指示迫近操作的模式参数值，则实际变化可以被认为是指示迫近操作的变化，或者可以以其它方式检测实际变化。

[0142] 可以针对预定变化定期监测方位传感器信号，其中，监测信号可包括：临时缓存一组先前的方位传感器信号，确定缓存方位传感器信号与新方位传感器信号之间的变化。然而，可以以其它方式监测方位传感器信号。在一个实施例中(如图12中所示)，预定变化可以是加速度(例如，固有加速度)或加速度分量(例如沿着与重力矢量关联的轴线的)变得大体等于零(例如，小于0.1g、小于0.3g、小于在航空系统12中所观察到的常规加速度的阈值分数比如10％或30％等)、朝着零下降、朝着零以超过阈值速率下降或表现出任何其它适合的指示自由下坠的绝对变化、变化模式或其它变化。与重力矢量关联的轴线可以是与重力矢量平行的轴线、预定航空系统轴线和/或方位传感器轴线(例如，与航空系统的侧向平面垂直的中心轴线)或任何其它适合的轴线。在具体示例中，检测飞行事件100S10包括在安装到航空系统本体的加速度计处检测大体等于零的固有加速度。

[0143] 在该实施例的第一变型中，所述轴线可以是与航空系统12的底部(例如，航空系统壳体的底部)垂直的轴线。在第二变型中，航空系统12可自动识别平行于重力矢量的轴线。这可包括识别这样的轴线：对于该轴线测量的测量加速度大体等于或高于重力加速度量值(例如达预定时间段)。在该变型中，在确定已发生预定变化后，方法可还包括分析来自其它轴线的传感器测量结果以确定航空系统12是否真的处于自由下坠状态(例如，其中来自其它轴线的测量结果小于重力加速度量值)或者仅是进行了旋转(例如，其中来自一个或多个其它轴线的测量结果大于或等于重力加速度量值)。另外或替代地，在该变型中，所述方法可包括将加速度测量结果与不同方位信息(例如，来自诸如陀螺仪或摄像机的一个或多个传感器的测量结果)进行相关。方法可以可选地选择性忽略或不考虑对于某些轴线(例如，航空系统12的纵向轴线)的测量结果。然而，可以以其它方式确定所述轴线，或者可以不使用单个轴线(例如，取而代之地依赖于总的大小)。

[0144] 在第二实施例中(如图13中所示)，可针对预定的变化定期监测高度计信号。所述预定的变化可以是预定的高度减小、预定的高度变化率或任何其它适合的变化。

[0145] 在第三实施例中，可针对航空系统12正沿着大体水平的取向支撑(例如，与航空系统12的底部垂直的轴线在距离重力矢量的阈值角度内，例如1°、5°、10°或15°)的指示定期检测加速度计和/或陀螺仪信号。在一个示例中，在航空系统12处于待命状态且声纳和光学传感器正在采样用于飞行控制的有效数据时，当空间传感器信号指示航空系统12已经大体水平地支撑超过阈值时间(例如，100ms、350ms、1s、2s、5s等)时，检测到飞行事件100S10。然而，可以以其它方式确定指示迫近操作的变化。

[0146] 以飞行模式操作航空系统12(100S12)用于飞行航空系统12。100S12优选包括以飞行模式操作升力机构40，但另外地或替代地，100S12也可包括以飞行模式操作任何其它适合的航空系统部件。航空系统12优选由处理系统22自动操作，但替代地，航空系统也可由远程计算系统或任何其它适合的系统自动操作。优选地，航空系统12响应于检测到飞行事件100S10自动以飞行模式100S12操作，但另外或替代地，也可在检测到飞行事件100S10后再经过预定的持续时间后才操作航空系统，在航空系统高度变化超过预定的高度变化(例如，根据高度计确定)后操作航空系统，或在任何其它适合的时间操作航空系统。优选地，根据操作参数集合来操作航空系统12，其中，操作参数可以是预定的、选定的(例如，基于检测到变化时或检测到变化之前的传感器测量结果组合；基于传感器测量结果模式或组合的分类等)或以其它方式确定。操作参数可包括：提供给升力机构40的功率(例如，电压、电流等)、升力机构40的速度或输出、定时、目标传感器测量结果或任何其它适合的操作参数。

[0147] 航空系统12可利用来自如下的信号以飞行模式操作：面向前的摄像头、面向下的摄像头、方位传感器、激光系统(例如，测距仪、LIDAR)、雷达、立体摄像系统、飞行时间或任何其它适合的光学系统、声学系统、测距系统或者其它系统。航空系统12可利用RRT、SLAM、运动学、光流、机器学习、基于规则的算法或任何其它适合的方法处理信号。在具体示例中，路径移动模式包括：利用面向前的摄像头采样一系列图像，并利用所述一系列图像和航空系统12机载运行的定位方法(例如，SLAM)自动确定航空系统在3D空间内的物理位置。在第二具体示例中，路径移动模式包括：利用面向下的摄像机采样一系列图像(例如，以60fps采样或以任何其它适合的频率采样)；基于采样图像自动检测航空系统12与地面之间的明显移动(例如，利用光流)，这可有助于确定航空系统位置或运动学(例如，速度、加速度)；以及基于检测到的明显移动，自动校正航空系统平衡或位置。在第三具体示例中，利用第一具体示例确定的航空系统位置和利用第二具体示例确定的航空系统运动学可被馈送到飞行控制算法中，用于悬停、飞行或以其它方式控制航空系统12。

[0148] 飞行模式优选包括悬停模式，在悬停模式下，航空系统在空中的位置(例如，竖直位置，侧向位置等)大体被维持，但替代地，飞行模式可以是任何其它适合的飞行模式。飞行模式优选包括：维持航空系统方位，使得与航空系统12的侧向平面垂直的中心轴线大体平行于重力矢量(例如，在20°内、10°内、3°内、1°内等)。然而，中心轴线可以以其它方式被维持。飞行模式优选包括在升力机构40处生成与由重力(例如，对于悬停)施加在航空系统12上的力(大小)相等且(方向)相反的力，但替代地，飞行模式也可包括生成大于或小于重力的竖直力(例如，以增加或减小高度，和/或以阻止竖直移动并使航空系统12进入悬停状态)。另外或替代地，飞行模式可还包括生成非竖直力和/或扭矩(例如，以改变航空系统的俯仰或滚转，以引起或阻止侧向移动等)。例如，飞行模式可包括：检测方位、位置和/或速度变化，确定所述变化源于风和/或诸如碰撞之类的另外的外部扰动(例如，将所述变化分类为风和/或碰撞事件，确定风扰动的概率，确定扰动乃是抓取事件的概率等)；以及操作升力机构40以校正变化并回到原始或期望的位置、方位和/或速度。

[0149] 另外或替代地，飞行模式可还包括路径移动模式(例如，沿直线飞行、沿预定路径飞行等)、程序模式(例如，沿着基于飞行程序动态确定的路径飞行，基于面部和/或身体追踪飞行，比如跟随或环绕着人或使人脸维持在摄像机视场内等)和/或任何其它适合的模式。飞行模式可以可选地包括利用安装(或以其它方式机械联接)到本体20的航空系统摄像机捕获图像(例如，存储单个图像、流传输视频等)。

[0150] 另外或替代地，飞行模式可还包括成像模式，在成像模式下，航空系统自动识别成像目标(例如，人、面部、物体等)并控制航空系统的飞行自动跟随成像目标通过物理空间。在一个变型中，航空系统12可在(例如，来自面向前的摄像头)采样图像上运行物体识别和/或物体追踪方法、面部识别和/或面部追踪方法、身体识别和/或身体追踪方法和/或任何其它适合的方法，以辨识和追踪成像目标。在具体示例中，航空系统12可对环绕自身大体360°的区域自动成像(例如，通过关于中心轴线旋转、通过使摄像机绕转、通过使用360°摄像机等)，自动根据图像辨识成像目标，并且自动跟随物理空间各处的成像目标(例如，经自动辨识或手动选定的)。然而，可以以其它方式实施成像模式。然而，飞行模式可包括任何其它适合的操作模式集合。

[0151] 航空系统12在飞行模式下可以以单独控制每个转子的角速度和/或单独控制输送到每个转子的功率的方式操作。然而，转子可以作为一个群组或以任何其它适合的方式被控制。100S12优选包括在所述组转子处生成大体等于由航空系统12生成的总空气动力的空气动力、还更加优选地生成大体等于由航空系统12施加的净力的空气动力(例如，其中航空系统12不包括被配置成生成显著空气动力或以其它方式对周围环境上施加诸如推进力之类的显著力的任何其它部件)。

[0152] 在一个变型中，以飞行模式操作航空系统12可包括将每个转子的转子角速度从待命转子速度(例如，该组转子在该速度下生成比飞行空气动力小的力，比如大体为零的力或飞行空气动力的一小部分)加速(spool up)到飞行转子速度(例如，该组转子在该速度下生成飞行空气动力)。在该变型中，飞行转子速度优选是航空系统悬停状况下的悬停转子速度；替代地，所述速度可以是任何其它适合的旋转速度。飞行速度可以是预设定的(例如，由制造商)、从客户端接收、自动确定(例如，基于信号变化率)或以其它方式确定。待命转子速度可以是低速(例如，悬停速度的一部分)，待命转子速度可以是大体为零的角速度(例如，其中转子不旋转)，或者待命转子速度可具有任何其它适合的速度。待命转子速度可以是预设定的(例如，由制造商)、从客户端接收或以其它方式确定。转子速度可从待命转子速度立即过渡到飞行转子速度、基于方位传感器信号变化率过渡、以预定速率过渡或者以任何其它适合的方式过渡。

[0153] 在第一示例中，旋转速度先增加到高于悬停速度的速度、然后再降低到悬停速度，从而航空系统在检测到自由下坠后停止自由下坠并悬停。这可用于防止当支撑表面突然被移除时航空系统12自由下坠(如图17中所示)。在第二示例中，旋转速度可以与加速度变化率成比例相关。在具体示例中，当加速度变化超过与自由下坠关联的加速度变化时(例如，当航空系统摔下时)，旋转速度可快于悬停速度。这可用于使空中系统12能够更快地恢复和/或恢复初始高度(例如，在检测到变化前或检测到变化时测量的高度)。在第二具体示例中，旋转速度可以与加速度变化量成比例增加。在操作中，这促使转子随着航空系统12被用户18逐渐释放而逐渐加速(如图14中所示)。在第三具体示例中，转子速度可以以预定速率增加。在操作中，这促使转子逐渐加速使航空系统缓慢地升离诸如使用者的手之类的支撑表面(如图16中所示)。在该具体示例中，所述方法可还包括在支撑表面突然被移除时(例如，根据方位传感器信号的突然变化确定)切换到第一示例。可选地，可以限制旋转速度以防止或最小化尾流效应。然而，可响应于检测到变化以其它方式操作升力机构。

[0154] 方法可以可选地包括：监测与第二轴线关联的传感器信号，并基于针对第二轴线的传感器信号确定升力机构操作参数(用于响应于检测到迫近操作的升力机构操作)。这可用于选定这样的升力机构操作参数，所述升力机构操作参数使航空系统能够在停住并悬停前沿着第二轴线横移一段距离。第二轴线优选与大体平行于重力矢量的轴线不同(例如，与同重力矢量大体平行的轴线垂直，与所述轴线成非零角度等)，但替代地也可以是相同的。轴线可相对于航空系统12为固定的，或者轴线可以是动态变换的(例如，以试图基于由加速度计、陀螺仪、摄像机和/或任何其它适合的传感器采样的测量结果使轴线相对于重力和/或周围环境固定)。在确定升力机构参数中被考虑的针对第二轴线的传感器信号可以是与针对第一轴线的传感器信号同时获取的传感器信号，可以是在检测到迫近操作变化前获取的传感器信号，可以是在检测到迫近操作变化后(例如，响应于检测到变化)获取的传感器信号，或者可以是在任何其它适合的时间获取的传感器信号。距离可以是预定的、基于时间确定的(例如，航空系统12可在释放后沿着第二轴线横移达1s)、基于所施加的力的量确定的或以任何其它适合的方式确定。

[0155] 在图15中所示的一个变型中，第二轴线可以与本体的纵向轴线平行(例如，与摄像机视场相交)。航空系统12可响应于检测到沿着第二轴线的力的施加(例如，在检测到变化的时间窗内)，自动确定升力机构操作指令以抵消所施加的力。这可用于允许航空系统12在停止进一步横移之前沿第二轴线行进预定距离。力的施加和/或所施加的力的大小可由监测第二轴线的方位传感器(例如，针对第二轴线的加速度计)确定，由沿着与第二轴线垂直的航空系统表面布置的力传感器确定，或以其它方式确定。要抵消的施加力可以是在满足预定条件的那个时候沿着第二轴线的瞬时力，可以是在检测到迫近操作事件的时间窗内测量到的施加力(例如，最大力，最小量的力等)，可以是与检测到迫近操作事件同时被测量到的施加力，或者可以是在任何其它适合的时间测量到的任何其它适合的力。在一个示例中，升力机构操作指令可包括：在检测到迫近操作事件后立即使转子加速以悬停航空系统；允许航空系统12在检测到迫近操作事件后利用所施加的力滑行预定时间段；在满足预定条件后控制升力机构以中断沿着第二轴线(或任何轴线)的进一步横移；以及控制升力机构40以悬停航空系统12(例如，控制升力机构40，从而以悬停速度操作)。在第二示例中，升力机构操作指令可包括：确定由所施加的力引起的沿第二轴线的航空系统速度或加速度，在检测到迫近操作事件后立即使转子加速以维持沿着第二轴线的航空系统速度或加速度直到满足预定条件为止，在满足预定条件之后控制升力机构40以中断沿着第二轴线(或任何轴线)的进一步横移，以及控制升力机构40以悬停航空系统12(例如，控制升力机构40，从而以悬停速度操作)。所述预定条件可以是检测到迫近操作事件时(例如，其中在检测到迫近操作事件后立即执行指令)、在检测到迫近操作后的阈值时间段内、在检测到迫近操作事件后又再满足预定条件后(例如，在横移预定距离后、在经过预定时间量后等)或在任何其它适合的时间。在一个示例中，可基于所施加的力的大小(例如，加速度大小等)来选定预定条件。所施加的力的大小可以是沿着第二轴线施加的力的大小、向系统施加的力的总的大小(例如，较少由重力施加的力)或以其它方式确定。

[0156] 在第一具体示例中，指令执行延迟可以与所施加的力的数量成比例，使得当于航空系统释放时施加更大的力时，航空系统在停住沿着第二轴线的进一步航空系统横移前飞行更远。在第二具体示例中，指令执行延迟可以与所施加的力的数量成反比，使得当于航空系统释放时施加更大的力时，航空系统在停住前飞行较短距离。然而，可基于针对第二轴线的传感器信号以其它方式操作航空系统12。

[0157] 所述方法可以可选地包括：监测与航空系统高度关联的传感器信号，并基于所述高度确定升力机构操作参数。在一个变型中，这可用于选定升力机构操作参数以重新获得初始航空系统高度(例如，补偿由恢复之前的自由下坠造成的任何高度损失)。可基于由高度计采样的信号确定所述高度，和/或可基于图像分析、测距(例如，利用竖直取向的测距仪确定与地面、地板和/或天花板的距离)确定相对高度。在确定升力机构操作参数中被考虑的高度计信号(和/或其它高度数据)可以是与针对第一轴线的传感器信号同时获取的高度计信号，可以是在检测到迫近操作变化前获取的高度计信号，可以是在检测到迫近操作变化后(例如，响应于检测到变化)获取的高度计信号，或者可以是在任何其它适合的时间获取的高度计信号。例如，方法可包括：确定在距检测到迫近操作事件的预定时间窗内的初始航空系统高度(例如，在检测到迫近操作事件之前，基于在检测到迫近操作事件之前记录的高度计测量结果)；使转子加速以在检测到迫近操作事件后立即悬停航空系统；以及在航空系统12稳定后增加转子速度直到航空系统12达到初始航空系统高度为止。然而，可以以任何其它适合的方式使用高度计信号(和/或其它高度数据)。

[0158] 接收控制指令100S14可用于使用户18能够加强和/或覆盖自动航空系统操作。控制指令优选在航空系统飞行期间接收，但另外或替代地，控制指令也可在飞行之前和/或在任何其它适合的时间接收。优选处理系统22接收控制指令，但任何其它适合的系统也可接收控制指令。控制指令优选接收自与航空系统12关联的用户、用户设备、远程控制器和/或客户端(例如，在用户设备上运行)，但替代地，控制指令也可接收自与航空系统12关联的位置(例如，接收自所述位置处的设备)、航空系统12机载的传感器(例如，解译手或身体信号)和/或任何其它适合的系统。用户18可以是经航空系统12识别(例如，通过光学识别，比如面部或身体识别)的用户，可以是靠近航空系统12(例如，在航空系统传感器的范围内)的用户，可以是以其它方式与航空系统12关联的用户，或者可以是任何适合的用户18。用户设备和/或客户端可与航空系统12配对(例如，通过蓝牙连接、在航空系统起动时动态配对、在制造设施处配对等)，可具有用于航空系统12的互补的安全密钥对，可关联有与航空系统12相同的用户帐户，或者可以以其它方式与航空系统12关联。控制指令可由用户18生成、由用户设备或客户端(例如，响应于用户输入被接收)生成，由与航空系统12关联的位置处的设备生成、基于控制指令发送器的特性(例如，位置外貌特征、周围环境声音特征等)确定、由航空系统12生成和/或以任何其它适合的方式生成或确定。

[0159] 在一个变型中，控制指令可包括降落指令。在第一实施例中，100S14包括确定降落区域(例如，自动识别降落区域)。这可整个或部分地由处理系统22、远程计算系统或任何其它适合的系统实施。降落区域可基于航空系统传感器测量结果自动确定，可从控制指令发送器接收，可由用户(例如，在客户端处)指定或可以以其它方式确定。

[0160] 在该实施例的第一变型中，基于保持机构的位置、类型和/或构象，将保持机构(例如，人手、停靠站、捕获装置等)确定为降落区域。该变型优选包括：光学检测(例如，利用图像识别技术、分类技术、回归技术、基于规则的技术、模式匹配技术等)保持机构的位置、类型和/或构象，但另外或替代地，所述变型也可包括以任何其它适合的方式确定位置、类型和/或构象。

[0161] 例如，保持机构可以是人手。在第一具体示例中，降落区域是利用来自面向下的摄像机的图像检测到的张开的手(例如，如图19中所示)。在第二具体示例中，降落区域是呈“准备抓取”构象的手(例如，如图20中所示)。在第三具体示例中，降落区域是做出招手姿势的手。

[0162] 所述变型可包括：定期分析(例如，利用视觉分析技术、图像分析技术等)传感器数据，比如由航空系统摄像机(例如，沿着航空系统的顶部、侧面和/或底部布置)对于呈预定构象类型(例如，张开的手、“准备抓取“的手等)的保持机构捕获的图像，并响应于检测到指示预定构象类型的参数，将保持机构识别为降落区域。

[0163] 在第一示例中，方法可包括：采样一组红外图像，辨识图像内具有高于阈值红外特征的区域，并确定辨识的区域是手(例如，利用模式匹配、确定性方法、分类、回归、概率等)。例如，当区域周界大体匹配手的参考图案时，可确定所辨识的区域是手。在第二示例中，方法可包括：采样一组视觉范围图像，划分图像背景与前景，并确定前景区域是手(例如，利用上面论述的方法)。然而，也可以以其它方式识别人手。

[0164] 所述变型可以可选地包括：根据图像(例如，由面向下的摄像机记录的图像)辨识用户手，并响应于识别出所述手为与航空系统12关联的特定用户的手(例如，利用分类技术、回归技术、生物特征数据比如指纹等)，标识所述手为降落区域。例如，可将提取的生物特征数据与航空系统12上、用户设备中或远程数据库中存储的生物特征进行比对，其中，如果生物特征数据不匹配超过阈值百分比，则可以拒绝用户，并且如果生物特征数据匹配超过阈值百分比，则可以接受用户。该实施例可以可选地包括在检测到的手与航空系统关联用户没有关联时忽略从所述手接收的命令(例如，将所述手标识为非降落区域)。

[0165] 在第二变型中，降落区域可以是邻近航空系统12的大体平坦的表面(例如，垂直于重力矢量)(例如，基于面向前或面向下的摄像机记录的图像的视觉和/或图像处理辨识、通过降落区附近的信标辨识、由从用户设备接收的指令指定等等)。在第三变型中，降落区域可以是预定的停靠区域(例如，通过光学图案、信标信号、预定地理位置或以其它方式标识的大本营基地)。然而，降落区域可以是任何其它适合的降落区域，和/或可以以其它方式确定降落区域。

[0166] 在第二实施例中，降落指令包括时间和/或时间期间。例如，降落指令可以包括降落时间、期望的飞行持续时间(例如，从检测到飞行事件时开始测量、从稳定时开始测量、从降落指令被接收时开始测量等)和/或任何其它适合的计时信息。

[0167] 另外或替代地，控制指令可包括飞行指令(例如，速度、高度、航向、飞行模式、目标目的地、碰撞避免标准等)、传感器指令(例如，开始视频流传输，使摄像机变焦距等)和/或任何其它适合的指令。

[0168] 根据控制指令操作航空系统12(100S16)用于实现控制指令。优选地，响应于接收到控制指令100S14，自动实施100S16，但另外或替代地，可以在接收到控制指令100S14后的任何适合的时间实施100S16。优选处理系统22基于控制指令操作升力机构40和/或其它航空系统模块，但另外或替代地，任何其它适合的系统也可操作航空系统12。在第一变型中，控制指令覆盖自动飞行指令。在第二变型中，控制指令被自动飞行指令加强(例如，其中处理器基于由基于传感器数据和接收控制指令确定的自动飞行指令生成第三组飞行指令)。在第三变型中，在达到预定飞行状态后执行控制指令。在第三变型的一个示例中，在航空系统12已经稳定(例如，已经大体停止横移和/或正在悬停)后执行控制指令。然而，也可以在任何适合的时间以任何适合的方式执行控制指令。在实施100S16后，航空系统12可继续以先前的模式(例如，就在实施100S16前的操作模式，比如悬停模式)操作，航空系统可开始以不同的飞行模式操作，航空系统可进入待命模式，和/或航空系统可以以任何其它适合的模式操作。

[0169] 在第一实施例中，控制指令包括飞行指令，并且100S16可包括根据飞行指令进行操作。例如，响应于接收到增加高度和向左平移的命令，100S16可包括：自动操作升力机构40以遵照指令，且然后在新的位置中继续航空系统悬停。在第二示例中，响应于接收到增加转子速度的命令，100S16可包括相应地增加转子速度。

[0170] 在第二实施例中，控制指令是包含降落区域的降落指令，并且100S16可包括：自动生成到降落区域的飞行路径，生成升力机构操作指令以跟随所生成的飞行路径，并且执行指令。这可用于使升力机构40自动降落。所述飞行路径可基于航空系统12与降落区域之间的中间物理体积(例如，基于由面向前或面向下的摄像机记录的图像的视觉和/或图像处理确定)生成，所述飞行路径可以是预定的飞行路径，或者所述飞行路径可以以其它方式确定。在一个示例中，确定飞行路径和/或升力机构操作指令包括：确定航空系统与降落区域之间的距离(例如，基于LIDAR、基于视场内参考物或参考点的相对大小等)，并根据瞬时转子速度、待命转子速度和所述距离，确定转子减速速率。在第二示例中，确定飞行路径和/或升力机构操作指令包括：追踪降落区域(例如，以追踪朝向降落区域的飞行进度、追踪移动的降落区域的当前位置等)，并自动控制航空系统12降落在降落区域上。然而，可以以其它方式生成升力机构操作指令。

[0171] 在降落区域是张开的手的第一具体示例中，100S16包括：响应于检测到张开的手，自动控制航空系统12降落在张开的手上(例如，操作升力机构40比如通过降低转子速度，以使航空系统12缓慢降低到张开的手上)。在降落区域是“准备抓取”的手的第二具体示例中，100S16包括：响应于检测到手(例如，在检测到手后立即、在检测到手后一段时间、在检测到待命事件100S18并/或以待命模式100S20操作前等)，自动控制航空系统12飞行靠近手(例如，在手的触及范围内、与手接触、在手的阈值距离比如1英寸、3英寸或1英尺等内)飞行。然而，可以根据控制指令100S16以任何适合的方式操作航空系统12。

[0172] 检测待命事件100S18用于指示航空系统12应开始待命程序。待命事件(例如，飞行中断事件)优选在航空系统12以飞行模式(例如，悬停模式、降落模式等)操作时检测，但另外或替代地，也可在航空系统12以任何其它适合的模式操作时检测，和/或在任何其它适合的时间检测。优选由处理系统22(例如，航空系统的处理系统)检测待命事件，但替代地，也可由远程计算系统、用户设备或任何其它适合的系统自动检测待命事件。

[0173] 检测待命事件100S18优选包括检测抓取指示(例如，指示航空系统已被诸如人手的保持机构捕获或抓住)和/或保持指示(例如，指示航空系统12与用户18长时间接触，指示航空系统12停靠在停靠站处等)，并且另外或替代地，检测待命事件100S18可包括检测降落指示(例如，指示航空系统已降落在降落区域上和/或由降落区域支撑)、接近指示(例如，用户接近、降落区域接近等)和/或任何其它适合的待命指示。优选基于由传感器、更加优选地由航空系统机载传感器(例如，惯性测量单元、摄像机、高度计、GPS、温度传感器等)采样的数据检测待命事件。例如，可以基于航空系统的以下的值和/或值的变化来检测待命事件：方位(例如，相对于重力的方位，方位变化和/或变化率等)、高度(例如，高度变化和/或变化率；基于高度计读数、图像处理确定等)、温度(例如，升高的航空系统温度、航空系统12各区域之间的温差等)和/或力(例如，航空系统压缩)。然而，另外或替代地，可基于发送信息(例如，从诸如用户设备的客户端之类的远程控制器)和/或任何其它适合的信息检测待命事件。

[0174] 可利用分类、回归、模式匹配、试探法、神经网络和/或任何其它适合的技术检测待命事件。监测和分析数据以检测待命事件优选包括将待命事件(例如，抓取事件等)与其它事件(例如，风事件、碰撞事件等)区分开。例如，所述方法可包括：在以飞行模式操作时监测航空系统传感器数据，检测第一异常事件并将之分类为风事件(例如，由风引起的飞行扰动)，然后检测第二异常事件并将之分类为抓取事件。

[0175] 在第一变型中，检测待命事件100S18包括检测未预期的空间传感器信号变化。未预期的空间传感器信号变化可指示用户抓取飞行途中或半空中的航空系统，或指示任何其它适合的事件。未预期的空间传感器信号变化可以是相对于另一空间传感器信号(例如，来自空间传感器的先前信号、来自不同空间传感器的先前或同时的信号等)的变化，可以是相对于预期空间传感器信号(例如，与目标或期望的航空系统的取向、速度和/或其它空间参数相对应，基于升力机构控制等)的变化，和/或可以是任何其它适合的空间传感器信号变化。在该变型的第一实施例中，检测未预期的空间传感器信号变化包括检测与基于自动生成和/或远程接收的控制指令确定的预期空间传感器信号有差异的空间传感器信号变化(例如，陀螺仪信号变化、加速度计变化、IMU变化、高度计变化等)。在该实施例的第一示例中，可使用传感器融合模型(例如，包括扩展Kalman滤波器的模型、神经网络模型、回归模型、分类模型等)，以基于传感器信号检测待命事件。在该变型的第二实施例中，检测未预期的空间传感器信号变化包括检测高于预定阈值的空间传感器信号变化(例如，IMU变化)。空间传感器信号可以指示沿着轴线的加速度、沿着轴线的速度、角度变化(例如，偏航、俯仰、滚转等)，或者指示任何其它适合的航空系统运动和/或位置。在该实施例的第一示例中(如图18中所示)，当航空系统俯仰超过阈值变化率或阈值角度变化(例如，根据加速度计信号和/或陀螺仪信号确定)时，检测未预期的方位传感器信号变化。在该实施例的第二示例中，低于预定阈值的第一未预期的空间传感器信号变化未被识别为待命事件，而是被识别为风扰动事件，并且升力机构被控制以校正风扰动。在该第二示例中，第二未预期的空间传感器信号变化高于预定阈值，并且被识别为待命事件。在该实施例的第三示例中，基于高于预定阈值的未预期的空间传感器信号变化与补充信号(例如，超过周围环境温度阈值量的温度、对航空系统本体的超过阈值力的压缩力等)的组合，检测待命事件100S18。在该实施例的第四示例中，当空间传感器信号变化的模式大体匹配与待命事件关联的预定模式和/或大体不匹配与其它飞行事件(例如，风扰动)关联的预定模式时，检测待命事件100S18。然而，可以以其它方式检测待命事件。

[0176] 在第二变型中，检测待命事件100S18包括确定航空系统12保持在距重力矢量和/或预期方位矢量的阈值角度范围内(例如，从水平方位和/或从预期航空系统方位倾斜超过35°、45°、60°等)达一段预定的时间(例如，大于100ms、350ms、1s，2s等)。例如，当航空系统
12(例如，航空系统的主平面)从水平方位和/或从目标航空系统方位倾斜超过45°达多于1秒时，可检测待命事件。但是，可以以其它方式检测待命事件。

[0177] 在第三变型中，检测待命事件100S18包括检测用户和/或保持机构与航空系统12的接近度(例如，指示用户抓取半空中的航空系统等)。可利用航空系统的接近传感器、触摸传感器、温度传感器(例如，温度的升高)、通信模块(例如，当航空系统与用户之间建立短程连接时)、开关来检测用户和/或保持机构接近度，或以其它方式检测。例如，100S18可包括检测经机械联接到壳体的开关的致动。开关可以是按钮(例如，定位成便于保持机构的按钮，比如位于顶壳体表面或底壳体表面上、邻近壳体周界或者当航空系统12由人手握住时在指尖下)，可以是本体外部上可通过保持机构的传导元件电连接的电触头，和/或可以是任何其它适合的开关。

[0178] 在第四变型中，检测待命事件100S18包括接收来自远程控制器(例如，用户设备)的指令(例如，待命指令)。然而，可以以任何其它适合的方式检测待命事件100S18。

[0179] 以待命模式100S20操作航空系统12用于中止航空系统飞行控制。航空系统12优选响应于检测待命事件100S18(例如，在检测待命事件100S18后立即、在检测待命事件100S18后的预定时间段、在检测待命事件100S18且满足附加标准后等)自动以待命模式操作100S20。100S20优选由航空系统处理器实施，但另外或替代地，100S20也可由其它航空系统部件、远程计算系统、用户设备和/或任何其它适合的设备实施。

[0180] 210S22优选包括将升力机构40生成的空气动力减小到比航空系统飞行所需的力更小的力(例如，减小到零力；减小到所需力的一定分数，比如1％、5％、10％、50％、75％、1-10％、5-25％等；减小到刚好低于所需力等)。在升力机构40包括一组转子的变型中，转子可停止或无动力(例如，被控制成以零或最小的角速度旋转，由驱动转子的电机提供零或最小动力等等)、转子可以以比在飞行模式下更慢的角速度(例如，飞行模式角速度或飞行所需最小角速度的一定分数，比如1％、5％、10％、50％、75％、1-10％、5-25％等)旋转、转子可以以其它方式改变，以协同生成比在飞行模式下更小的空气动力(例如，转子叶片角度减小)；
和/或转子可以以任何其它适合的方式被控制。例如，操作该组转子中的每个转子以协同生成比飞行模式空气动力更小的空气动力可包括将提供给每个转子的功率减小到比航空系统飞行所需的功率阈值(例如，所需功率的一定分数，比如1％、5％、10％、50％、75％、1-
10％、5-25％等)更小。另外或替代地，由升力机构40生成的空气动力可以减小但不低于航空系统飞行所需的力，可以保持不被减小，或者可以以任何其它适合的方式变化。

[0181] 在本发明的另一方面中，参考图21-42，可在远程设备14上呈现图像，这有助于用户18控制航空系统12。在以下的论述中，航空系统12可经由用户直接向远程设备4上或远程设备中的输入被控制。然而，系统10可以还允许采用用户表达(例如，意念、面部表情、姿势和/或语音命令)的用户控制。

[0182] 如图21中所示，用于航空系统控制的方法包括：选定成像元素的第一区域210S12，显示来自第一区域的图像210S14，接收用户输入210S16，变化航空系统210S18的位置，选定第二成像元素的第二区域210S20，以及显示来自第二区域210S22的图像。

[0183] 在操作中，如图22中所示，航空系统用于在航空系统飞行期间以近乎实时的方式捕获视频并将视频流传输到远程设备。远程设备上的控制客户端16用于：接收视频，在设备输出装置上显示视频，从设备输入装置接收指示航空系统操作指令的命令，以及以近乎实时的方式将操作指令发送到航空系统12。在一个变型中，操作指令可以以叠覆在视频上的方式被接收在设备输入装置处，使得用户通过移动视频的视场(FOV)来控制航空系统12。航空系统12可接收操作指令并基于操作指令自动操作。在上述变型中，航空系统12可自动操作，使得所得的光学传感器FOV以用户18在远程设备14处规定的方式移动。

[0184] 在具体示例中，用户可以与客户端上的视频或图像直接交互(例如，滑动、缩放等)，其中用户交互被自动解译为在物理上实现期望效果的航空系统移动(例如，水平平移用于使帧沿着滑动矢量移动，朝着或远离物体移动分别用于放大或缩小等)。在该具体示例中，系统和方法可创建WYSIWYG(所见即所得)类型的交互。

[0185] 用于远程航空系统控制的系统和方法可赋予优于传统系统的若干益处。

[0186] 首先，在一些变型中，航空系统操作在由控制客户端16显示的视频上接收。这允许用户18通过视觉输出控制无人机(例如，通过控制摄像机瞄准的内容)，类似于“所见即所得”的体验。本发明人发现，由于用户输入(在视频上)与视频响应直接链接(例如，通过数字编辑和/或航空系统移动创建)，因此这种交互可比传统控制范例更加直观(例如，具有控制航空系统操作的不同方面的一个或多个操纵杆)。通过允许用户以这种间接方式控制航空系统(例如无人机)，系统可在传统系统之上简化远程航空系统控制。

[0187] 其次，在一些变型、优选地在航空系统操作指令接收在由控制客户端16显示的视频上的变型中，但另外或替代地，在操作指令以其它方式接收的变型中，控制客户端16在设备输出装置上可仅显示视频的裁剪部分，并且可基于操作指令和/或航空系统状态改变裁剪区域。这可允许视觉输出的稳定和/或响应(例如，利用自动视频稳定程序或方法等)。例如，裁剪区域可以移动，以模拟等待航空系统加速时的航空系统运动，并可以旋转，以校正航空系统滚转。本发明人发现，由于观察视觉输出的容易性和航空系统对由用户18提供的操作指令的表观快速响应，视觉输出的这些修改可提供更加直观且挫败感更少的用户体验。

[0188] 第三，在一些变型中，通过将光学传感器致动替换为航空系统移动，系统可使航空系统质量和/或体积最小化。例如，取代使用三轴万向节系统作为光学传感器致动机构，系统可包括单轴万向节系统，其中，关于其余两个轴线的光学传感器致动可通过移动航空系统完成。在具体示例中，光学系统可关于单个旋转轴线(例如，x轴线)旋转，使得光学系统仅能够相对于航空系统俯仰；航空系统通过关于航空系统轴线旋转代替光学系统左右摇摆或侧倾(例如，分别关于z轴线或y轴线)。航空系统12可另外或替代地取代或补充光学系统的变焦镜头起作用(例如，通过飞行更靠近视频对象或远离视频对象后撤，可能地与光学变焦的致动相协调)。通过将光学传感器部件功能替换成航空系统动作(例如，缩放、旋转等)，系统使被替换的组件能够从系统被移除，这可减少整个系统的质量和/或体积。

[0189] 然而，所述系统和方法可以以其它方式配置并赋予任何其它合适的益处。控制客户端16可限定显示框(例如，指定远程设备输出装置中用于显示从航空系统12流传输的视频的区域的数字结构)，输入框(例如，指定远程设备输入装置中接收输入的区域的数字结构)或任何其它适合的用户界面结构。显示框和输入框架优选重叠、更加优选地完全重叠(例如，大体相同的区域)，但替代地，显示框和输入框也可以是分开且不同的，可以是相邻的，可以是连续的，可具有不同的尺寸，或者可以以其它方式相关。控制客户端16可还包括操作指令模块，操作指令模块用于将输入框处接收的输入转换成航空系统操作指令。操作指令模块可以是：静态模块，所述静态模块将预定的输入集合映射成预定的操作指令集合；动态模块，所述动态模块动态辨识输入并将输入映射成操作指令；或者任何其它适合的模块。操作指令模块可基于输入计算操作指令、基于输入选定操作指令或以其它方式确定操作指令。然而，控制客户端16可包括任何其它适合的部件和/或子模块集合。

[0190] 执行控制客户端16的远程设备14用于显示数据(例如，通过控制客户端16指令)、接收用户输入、基于用户输入计算操作指令(例如，通过控制客户端16指令)、向航空系统12发送操作指令、存储控制客户端信息(例如，关联的航空系统标识符、安全密钥、用户帐户信息、用户帐户喜好等)或实施任何其它适合的功能。远程设备14可以是用户设备(例如，智能电话、平板电脑、膝上型电脑等)、联网服务器系统或任何其它适合的远程计算系统。远程设备14可包括一个或多个：输出装置、输入装置、通信系统、传感器、电源、处理系统(例如，CPU、存储器等)或任何其它适合的部件。输出装置可包括：显示器(例如，LED显示器、OLED显示器、LCD等)、音频扬声器、灯(例如，LED)、触觉输出装置(例如，触觉像素系统、振动电机等)或任何其它适合的输出装置。输入装置可包括：触摸屏(例如，电容式、电阻式等)、鼠标、键盘、运动传感器、麦克风、生物特征输入装置、摄像机或任何其它适合的输入装置。通信系统可包括无线连接部，比如支持远程系统(例如，WiFi、蜂窝、WLAN、WiMAX、微波、IR、射频等)、短程系统(例如，BLE、BLE远程、NFC、Zigbee、RF、音频、光学等)的无线电收发机，或任何其它适合的通信系统。传感器可包括：方位传感器(例如，加速度计、陀螺仪等)、环境光传感器、温度传感器、压力传感器、光学传感器、声学传感器或任何其它适合的传感器。在一个变型中，远程设备14可包括显示器(例如，包含叠覆显示器的触摸屏的触敏显示器)，无线电收发机集合(例如，WiFi、蜂窝、BLE等)和方位传感器集合。然而，远程设备14可包括任何适合的部件集合。

[0191] 如图21中所示，用于航空系统控制的方法M210包括：选定成像元素的第一区域210S12，显示来自第一区域的图像210S14，接收用户输入210S16，变化航空系统的位置
210S18，选定第二成像元素的第二区域210S20，以及显示来自第二区域的图像210S22。所述方法用于允许用户通过用户设备以直观的方式远程控制航空系统12。所述方法的过程优选顺序实施，但替代地，所述方法的过程也可并行实施或按任何其它适合的顺序实施。可针对同一用户设备-航空系统对并发或串行地实施方法的多个实例(或方法的多个部分)。每个客户端(例如，用户设备)优选在任何给定的时间都连接到单个航空系统12，但替代地，每个客户端也可同时连接到和/或控制多个航空系统。

[0192] 选定成像元素的第一区域210S12可用于确定与航空系统12关联的初始或默认成像元素区域。成像元素可以是光学传感器(例如，摄像机工作区域的全部或子集)、图像帧、图像、图像集合或由光学传感器采样的视频或任何其它适合的图像或成像相关元素。成像元素优选与航空系统12关联(例如，航空系统的光学传感器、航空系统摄像机的图像帧、由航空系统摄像机捕获的图像等)，但另外或替代地，成像元素也可与任何其它适合的系统关联。相应地，成像元素的第一区域可以是光学传感器的区域(例如，摄像机工作区域的全部或子集)、图像帧的区域、图像、图像集合或视频(例如，每个图像或视频帧的像素位置的集合)或任何其它适合的图像或成像相关元素的区域。第一区域可以是默认区域，或者可基于航空系统参数(例如，诸如方位、速度和/或位置的飞行参数；光学传感器状态等)选定、由用户选定的(例如，预选定、在用户设备处实时选定)、基于图像处理(例如，对象识别、图像分割等)选定和/或以任何其它适合的方式选定。第一区域优选由航空系统12自动选定(例如，在图像传输到远程设备之前)，但替代地，第一区域也可由远程设备选定(例如，基于从航空系统12接收的辅助传感器测量结果)，由服务器系统选定，或由任何其它适合的计算系统选定。优选以近乎实时的方式(例如，在接收到图像帧前、在接收到图像帧后立即或在接收到图像帧后的短的持续时间内)选定区域，但替代地，可在任何其它适合的时间选定区域。

[0193] 区域优选包括(例如，包围、限定)连续区域中的规则像素阵列(例如，区域中的每个像素，区域中的每第二个像素，区域中每第二行的每第三个像素等)，但替代地，区域也可包括多个非连续区域、不规则像素布置结构和/或任何其它适合的区域。例如，所述区域可限定矩形(例如，矩形的、大体矩形的、除了从矩形被移除的小切除体和/或添加到矩形上的扩展体之外是矩形的等)。

[0194] 所述区域可由成像元素边缘中的一个或多个的一部分限定(例如，占据传感器、图像帧、图像等的整个区域；边界为成像元素边缘中的一个或多个；在两个水平边缘之间延伸且处在两个竖直边缘之间等等)，所述区域可接触所述边缘中的一个或多个(例如，内接在成像元素边缘内、以一个区域角部接触一个成像元素边缘等)，或者所述区域可以严格位于成像元素边缘内(例如，占据中心区域；占据与一个或多个边缘靠近但不接触的区域等)。所述区域可在成像元素内对称布置(例如，相对于成像元素的一条或多条对称线)或不对称布置。所述区域可占据成像元素的整个区域，或者所述区域可占据成像元素的任何适合的分数(例如，90％、75％、10％、至少50％、40-90％等)。所述区域可包括相对于成像元素的方位(例如，矩形区域边缘与成像元素边缘之间的角度、与圆形区域关联的方位等)。然而，替代地，所述区域可具有与成像元素有关的任何其它适合的布置结构、形状和/或尺寸。在实施方法期间选定的其它区域(例如，在210S20中选定的第二区域)可具有与第一区域相似的性质、与第一区域不同的性质和/或任何其它适合的特性。

[0195] 在一个实施例中，可自动选定区域以稳定视频(图26中所示具体示例)。在第一示例中，可基于航空系统方位(例如，航空系统本体方位、摄像机方位等；相对于重力矢量的方位、方位变化或变化率等)选定区域方位，这可允许摄像机倾斜补偿。可基于航空系统传感器读数(例如，优选与视频捕获同时记录的诸如加速度计读数和/或陀螺仪读数的惯性测量单元读数)、基于图像分析(例如，视频帧的分析、由航空系统摄像机捕获的其它图像的分析、航空系统的被捕获图像的分析等)、基于用户输入(例如，图像旋转请求)和/或以任何其它适合的方式确定方位。例如，可基于航空系统滚转角、偏航角、俯仰角、平移速度、相对转子速度或基于任何其它适合的航空系统飞行参数来确定区域方位。在倾斜补偿的具体示例中，传感器的宽面的边缘(例如，工作表面边缘)与重力矢量向宽面上的投影之间的滚转角被确定。在该第一具体示例中，区域方位和/或区域方位相对于第一选定区域的区域变化与滚转角大体大小相等(例如，在滚转角的1°内、在滚转角的5°内、在滚转角的10°内等)且方向相反。然而，可基于滚转角以其它方式确定区域方位。区域可选定成无论航空系统是否旋转都维持图像相对于区域的恒定尺寸(例如，比例、分辨率等)，从而无法区分补偿图像的尺寸与未补偿图像的尺寸，但替代地，区域也可引起不同的图像尺寸，或以其它方式选定区域。

[0196] 方法可包括接收来自航空系统12的摄像机的视频，比如包括来自第一区域的图像的视频。视频可由航空系统12的处理器接收、由远程计算系统(例如，用户设备、远程服务器等)接收和/或由任何其它适合的系统接收。视频帧可仅包括来自第一区域的像素(例如，被裁剪成第一区域)，视频帧可包括来自第一区域内和来自第一区域外两者的像素，或者视频帧可包括来自图像帧的任何适合位置的像素。尽管视频每秒通常包括许多帧，然而本领域技术人员将理解的是，视频可以是由摄像机捕获的图像的任何序列。

[0197] 显示来自第一区域的图像210S14用于向用户显示与航空系统飞行相关的信息。方法优选包括向用户设备发送由航空系统12(例如，航空系统的摄像机)记录的图像(例如，视频帧)。这可用于将来自航空系统12的视频流流传输到用户设备。航空系统12优选通过无线连接(例如，BLE连接、WiFi连接、模拟RF连接等)直接向用户设备发送图像，但替代地，航空系统可间接地向用户设备发送图像(例如，经由远程计算系统)或以其它方式向用户设备发送图像。图像(例如，图像帧)可以是带有时间戳的、与传感器测量结果比如方位传感器测量结果(例如，同时记录的传感器测量结果、在阈值时间段内记录的传感器测量结果等)关联的或与任何其它适合的信息关联。

[0198] 210S14优选包括在显示区域比如用户设备的显示区域中显示图像(图6中所示示例)。显示区域可以是整个显示器(例如，用户设备的显示屏幕)，显示区域可以是显示器的一部分，显示区域可跨越多个显示器的全部或多个部分，或者显示区域可以是任何其它适合的显示区域。显示器优选是触敏显示器，更加优选地，显示器是具有与显示区域完全重叠的输入区域的触敏显示器。在示例中，方法包括接收由第一传感器区域采样的图像，其中，图像包括在第一传感器边缘邻近采样的第一图像区域和在与第一传感器边缘相反的第二传感器边缘邻近采样的第二图像区域。在该示例中，210S14包括控制触敏显示器(例如，用户设备的触敏显示器)，以在触敏显示器的整个显示区域内显示第一图像。此外，在该示例中，显示区域包括第一显示边缘和与第一显示边缘相反的第二显示边缘，第一图像区域邻近第一显示边缘显示，并且第二图像区域邻近第二显示边缘显示(例如，如图25中所示)。

[0199] 优选实时或近乎实时地显示(例如，被播放的视频)一个或多个图像(例如，在图像被捕获的时间间隔内，比如1ms、10ms、20ms、50ms、1s等；其中，在图像被捕获后以最小的延迟实施发送、处理和显示图像)。另外或替代地，可在延迟间隔(例如，预定延迟、基于航空系统操作状态的延迟等)后或在任何合适的时间段后显示图像。视频帧优选按顺序显示并且显示与捕获帧速率相对应的一段时间，但替代地，视频帧也可以以任何适合的顺序显示并且显示一段任何适合的时间。例如，单个图像可显示一段延长的时间(例如，贯穿方法的实施、1分钟、10-60s、1-30分钟等)。图像优选贯穿方法的实施(例如，连续地贯穿、间隔地贯穿等)进行发送和显示，但另外或替代地，图像也可在特定的间隔期间、在单个时间和/或在任何其它的时间进行发送和/或显示。

[0200] 接收用户输入210S16用于允许用户18控制航空系统12。用户输入优选包括触摸输入(例如，拖曳输入、轻击输入、保持输入等)、更加优选地包括通过触敏显示屏接收的触摸输入。用户输入优选接收在由用户设备显示的视频上，这用于允许用户与视频交互，其中，航空系统12自动被控制以实现用户输入所指示的期望的视频移动。用户输入优选由控制客户端16接收、更加优选地在控制客户端16的输入区域(例如，输入框，经由用户设备的输入设备)处接收，但替代地，用户输入也可由任何其它适合的输入设备接收。输入区域优选叠覆在客户端和/或用户设备的显示视频的显示区域上并大体包围整个显示区域(例如，其中，输入区域的尺寸与显示区域的尺寸相同，或者输入区域的尺寸大于显示区域的尺寸；其中，输入区域与显示区域的90％或更多重叠等)，使得用户输入可接收在显示区域的任何部分处。替代地，输入区域可小于所叠覆的显示区域的子集，可大于所叠覆的显示区域的部分或全部，可与显示区域分开，可与显示区域相邻，可限定控制航空系统控制的不同方面的虚拟操纵杆(例如，与显示区域分开或重叠)或以其它方式限定。

[0201] 用户输入优选在图像或视频显示期间被接收。相应地，用户输入(例如，拖曳输入)可以与来自第一区域的图像显示在显示区域中的同时接收在显示区域内。在210S14包括控制用户设备的触敏显示器以显示视频的第一区域的一个示例中，210S16包括接收来自触敏显示器的包含平移矢量的拖曳输入(例如，从起点到终点、从起点到中间保持点、从第一保持点到第二保持点、从第一极值到第二极值等)。在该示例中，贯穿时间间隔显示视频的第一区域(例如，在210S12中被选定)，并且拖曳输入优选在所述时间间隔期间被接收。平移矢量可限定与触敏显示器的水平边缘水平的水平分量、与触敏显示器的竖直边缘平行(和/或垂直于水平边缘)的竖直分量和/或沿着任何适合的轴线(例如，沿着输入平面的轴线，比如对角轴线；与输入平面成一定角度的轴线等)对齐的任何其它分量。

[0202] 另外或替代地，用户输入可包括用户设备操纵(例如，倾斜、平移、旋转等)、机械控制输入(例如、操纵杆、按钮、开关、滑块等)、音频输入(例如，语音命令、拍手声输入、音频位置输入等)，光学输入(例如，光信号、通过图像识别所辨识的输入、眼球追踪输入等)、意念输入(例如，基于EEG信号)和/或任何其它适合的输入，并且用户输入可以在任何适合的时间以任何适合的方式被接收。上述输入可以由用户设备传感器、监测用户设备的外部传感器或由任何其他适合的系统确定。

[0203] 变化航空系统的位置210S18用于实现航空系统控制。变化位置210S18优选基于用户输入，并且变化位置210S18可包括基于用户输入生成用于航空系统12调节摄像机角度的操作指令，这用于将期望的视频移动解译为用于航空系统12实现所期望的视频移动(例如，视点、视角的变化等)的控制指令。

[0204] 操作指令优选由控制客户端16(例如，由运行控制客户端16的用户设备)生成，但替代地，操作指令也可由航空系统12生成(例如，其中用户输入和/或控制指令媒介被发送到航空系统12)，由远程计算系统生成(例如，其中用户输入和/或控制指令媒介被发送到航空系统12)或由任何其它适合的计算系统生成。操作指令可以是目标航空系统操作参数(例如，向右5度、向上2米等)、航空系统控制指令(例如，针对航空系统部件的电压等)或任何其它适合的指令集合。在第一变型中，用户设备将用户输入转换成控制指令并向航空系统12发送控制指令，其中，航空系统基于控制指令操作。在第二变型中，用户设备将用户输入转换成目标操作参数并向航空系统12发送目标操作参数，其中，航空系统将目标操作参数转换成控制指令并基于控制指令自动操作。在第三变型中，用户设备向航空系统12发送用户输入，其中，航空系统将用户输入转换成控制指令并基于控制指令自动操作。然而，可以以其它方式生成操作指令。

[0205] 生成操作指令可包括基于用户输入参数与航空系统动作之间的预定关系集合解译用户输入。用户输入参数可包括：并发、离散输入(例如，触摸)的数目；每次连续输入的持续时间；每次连续输入的距离；每次输入的位置(例如，针对每次触摸的触摸坐标，开始坐标，结束坐标等)；或任何其它适合的参数。航空系统动作可包括：致动光学系统、使航空系统12(例如，关于与光学系统相交的横向航空系统轴线、关于中心横向轴线、关于与横向航空系统轴线平行且与目标对象相交的轴线等)偏航、使航空系统12(例如，关于纵向轴线、关于与摄像机传感器垂直的轴线)滚转、使航空系统12(例如，关于侧向轴线)俯仰、使航空系统水平平移(例如，调节航空系统12与目标对象之间的侧向关系，移动航空系统更靠近或更远离目标对象等)或以其它方式致动航空系统12。用户输入可包括触摸输入、远程设备操纵(例如，倾斜、平移等)或任何其它适合的输入。在具体示例中，单点并发触摸(例如，单指拖曳等)被映射成航空系统和/或光学系统旋转，而多点并发触摸(例如，多指拖曳、捏合等)被映射成航空系统平移。

[0206] 基于用户输入生成的操作指令优选独立于显示区域中接收用户输入的区域(例如，以便显示区域内不同位置处接收的相似用户输入具有相似效果)。在第一拖曳输入于触敏显示器的显示区域的第一区域处被接收并限定与触敏显示器的水平边缘平行的第一水平分量的一个示例中，210S18包括在绕基于所述第一水平分量的偏航轴线的第一方向上旋转航空系统12。在该示例中，方法可还包括接收来自触敏显示器的第二拖曳输入(例如，其中触敏显示器在与显示区域的第一区域不重叠的、显示区域的第二区域处接收第二拖曳输入)，其中，第二拖曳输入包括与第一拖曳输入的平移矢量同向的第二平移矢量，所述第二平移矢量限定与水平分量同向的第二水平分量。在该示例中，方法可还包括再次在绕基于第二水平分量的偏航轴线的第一方向上旋转航空系统12。然而，显示区域中接收用户输入的区域可以替代地影响基于该用户输入生成的操作指令(例如，“偏航”区域中的拖曳输入可控制航空系统偏航，而在“平移”区域中的相似的拖曳输入可控制航空系统平移)。

[0207] 航空系统动作的持续时间、距离、速度和/或加速度(例如，旋转速度、平移速度等)可以与以下相关：连续用户输入的持续时间、连续用户输入的距离或长度、用户输入位置变化的速度和/或加速度或任何其它适合的用户输入参数。航空系统动作的持续时间、距离、速度和/或加速度可与用户输入参数成比例，可与用户输入参数成反比，可以是用户输入参数的单调函数(例如，随着用户输入参数单调或严格单调递增、随着用户输入参数单调或严格单调递减)，或可以以其它方式相关。例如，210S18可包括基于旋转参数的值旋转航空系统12，其中，所述值是用户输入的方面的大小的单调递增函数(例如，拖曳矢量的分量，比如竖直分量或水平分量)。在具体示例中，旋转参数是航空系统旋转速度。与用户输入参数相映射的航空系统参数变化值可以是常数，可以与航空系统参数值或不同航空系统参数值成比例缩放(例如，距远程设备的距离)，可以与航空系统参数值成反比缩放，或可以以其它方式相关。在一个示例中，当航空系统离远程设备超过阈值距离远时，同一线性用户输入可映射成第一平移距离，并且当航空系统12离远程设备在阈值距离内时，同一线性用户输入可映射成第二平移距离，其中，第一平移距离大于第二平移距离。

[0208] 在第一变型中，用户输入指示视场旋转(例如，向左转、向右转、向上转、向下转)，其中，旋转输入被映射成光学系统旋转动作与航空系统旋转动作的混合。航空系统12优选沿着与旋转输入弧方向相反的方向平移，但替代地，航空系统也可以沿着相同方向平移。

[0209] 第一变型的第一实施例包括关于基于水平分量的偏航轴线旋转航空系统(图7-8中所示具体示例)。在该实施例中，向左旋转视野(例如，向左移动摄像机FOV；向左变化水平视角但不变化竖直视角等)的用户输入被映射成使航空系统关于偏航轴线逆时针偏航(例如，正偏航；如从相对于重力矢量的上方、从航空系统顶部、从摄像机顶部看的逆时针等)的控制指令，和/或向右旋转视野(例如，向右移动摄像机FOV；向右移动视频视角；向右变化水平视角但不变化竖直视角等)的用户输入被映射成使航空系统关于偏航轴线(例如，同一偏航轴线或不同偏航轴线)顺时针偏航(例如，负偏航；如从相对于重力矢量的上方、从航空系统顶部、从摄像机顶部看的顺时针等)的控制指令。偏航轴线可以与航空系统相交或者在航空系统12外部。当偏航轴线在航空系统12外部时，系统生成的控制指令可自动地：确定目标对象距航空系统12的距离，基于目标对象距离确定相对于航空系统12的偏航轴线位置，并基于偏航轴线位置确定控制指令(例如，相应地变换或改变控制指令)。替代地，与航空系统12的偏航轴线距离可以是大体恒定的，其中，航空系统与目标对象距航空系统12的距离无关地沿着同一弧角偏航。然而，左旋转用户输入和/或右旋转用户输入可以以其它方式映射。

[0210] 左旋转用户输入可包括：向显示区域和/或输入区域右侧(例如，朝着显示器的右竖直边缘)的单触点保持(例如，时间上连续的信号)与拖曳(例如，一系列时间上连续的信号，每个(或大体全部、大部分等)时间上接续的信号位于比上一信号沿着x轴线正向更远等)；向显示区域和/或输入区域左侧的触摸、保持和拖曳；在显示区域和/或输入区域左侧上的单触点保持；在显示区域和/或输入区域左侧上的一系列连续不断的轻敲；在显示区域右侧上的一系列连续不断的轻敲；用户设备逆时针侧倾(例如，通过用户设备方位传感器确定)；或包括具有任何其它适合的参数集合的任何其它适合的输入模式。例如，左旋转用户输入可包括限定向右指向的水平分量的平移矢量，并且作为响应，当从上方(例如，相对于重力矢量等)观察时，航空系统12可关于偏航轴线逆时针旋转。

[0211] 右旋转用户输入可包括：向显示区域和/或输入区域左侧(例如，朝着显示器的左竖直边缘)的单触点保持与拖曳(例如，一系列时间上连续的信号，每个(或大体全部、大部分等)时间上接续的信号位于比上一信号沿着x轴线负向更远等)；向显示区域和/或输入区域右侧的触摸、保持和拖动；在显示区域和/或输入区域右侧上的单触点保持；在显示区域和/或输入区域右侧上的一系列连续不断的轻敲；在显示区域左侧上的一系列连续不断的轻敲；用户设备顺时针侧倾(例如，通过用户设备方位传感器确定)；或包括具有任何其它适合的参数集合的任何其它适合的输入模式。例如，右旋转用户输入可包括限定水平分量向左指向的平移矢量，并且作为响应，当从上方(例如，相对于重力矢量等)观察时，航空系统12可关于偏航轴线绕顺时针旋转。

[0212] 在第一变型的第二实施例(图9-10中所示具体示例)中，航空系统12包括将光学传感器36可旋转地安装到本体20的万向节系统(例如，单轴万向节系统)。例如，光学传感器36(例如，摄像机)可关于万向节轴线旋转，其中，万向节轴线大体(例如，在1°内、在5°内、在10°内等)垂直于偏航轴线和/或滚转轴线，和/或万向节轴线大体(例如，在1°内、在5°内、在
10°内等)平行于光学传感器工作表面(例如，摄像机传感器)。光学系统角位置和/或万向节位置可基于以下确定：用户输入、期望的场景变化、航空系统俯仰角(例如，其中光学系统角位置可动态变化以抵消由航空系统俯仰引起的采样场景变化)或以其它方式确定。在一个示例中，向上旋转视场(例如，向上移动摄像机FOV；向上移动视频视角；向上变化竖直视角但不变化水平视角等)的用户输入被映射成使光学传感器关于万向节轴线向上俯仰的控制指令，和/或向下旋转视场(例如，向下移动摄像机FOV；向下移动视频视角；向下变化竖直视角但不变化水平视角等)的用户输入被映射成使光学传感器关于万向节轴线向下俯仰的控制指令。

[0213] 向上旋转用户输入可包括：向显示区域和/或输入区域底部(例如，朝着显示器的下水平边缘)的单触点保持与拖曳(例如，一系列时间上连续的信号，每个(或大体全部、大部分等)时间上接续的信号比上一信号位于沿着y轴线负向更远等)；向显示区域和/或输入区域顶部的触摸、保持和拖曳；在显示区域和/或输入区域顶部上的单触点保持；在显示区域和/或输入区域顶部上的一系列连续不断的轻敲；在显示区域底部上的一系列连续不断的轻敲；用户设备向前倾斜(例如，通过用户设备方位传感器确定)；或包括具有任何其它适合的参数集合的任何其它适合的输入模式。例如，向上旋转用户输入可包括限定竖直分量向下指向(例如，与显示器的水平边缘垂直)的平移矢量，并且作为响应，摄像机可关于基于所述竖直分量的万向节轴线向上旋转。

[0214] 向下旋转用户输入可包括：向显示区域和/或输入区域顶部(例如，朝着显示器的上水平边缘)的单触点保持与拖曳(例如，一系列时间上连续的信号，每个(或大体全部、大部分等)时间上接续的信号比上一信号位于沿着y轴线正向更远等)；向显示区域和/或输入区域底部的触摸、保持和拖曳；在显示区域和/或输入区域底部上的单触点保持；在显示区域和/或输入区域底部上的一系列连续不断的轻敲；在显示区域顶部上的一系列连续不断的轻敲；用户设备向后朝着用户倾斜(例如，根据用户设备方位传感器确定)；或包括具有任何其它适合的参数集合的任何其它适合的输入模式。例如，向下旋转用户输入可包括限定竖直分量向上指向(例如，与显示器的水平边缘垂直)的平移矢量，并且作为响应，摄像机可关于基于所述竖直分量的万向节轴线向下旋转。

[0215] 在第一变型的第三实施例中，向上旋转视场(例如，向上移动摄像机FOV；向上移动视频视角；向上变化竖直视角但不变化水平视角等)的用户输入被映射成使光学系统关于旋转轴向向上俯仰的控制指令，和/或向下旋转视场(例如，向下移动摄像机FOV；向下移动视频视角；向下变化竖直视角但不变化水平视角等)的用户输入被映射成使光学系统关于旋转轴线向下俯仰的控制指令。替代地，向上旋转用户输入可映射成使航空系统关于俯仰轴线(例如，侧向轴线、与侧向轴线平行的轴线等)向上俯仰或以其它方式映射，和/或向下旋转用户输入可映射成使航空系统关于俯仰轴线(例如，侧向轴线，与侧向轴线平行的轴线等)向下俯仰或以其它方式映射。向上旋转用户输入和/或向下旋转用户输入可以是与第二实施例中相同的，和/或可以是任何其它适合的输入。

[0216] 在第一变型的第四实施例中，关于垂直于视场的轴线旋转视场的用户输入可映射成使航空系统关于滚转轴线(例如，纵向轴线、与纵向轴向平行的轴线等)旋转的控制指令、映射成使图像的裁剪区域旋转的控制指令或以其它方式映射。滚转旋转用户输入可包括：沿着大体弧形路径的双触点保持与拖曳；沿着大体弧形路径的单触点保持与拖曳；用户设备左右摇摆(例如，根据用户设备方位传感器确定)；或具有任何其它适合的参数集合的任何其它适合的输入模式。航空系统优选沿弧形路径的角度方向滚转，但替代地，航空系统也可沿相反方向滚转。

[0217] 在第二变型中，用户输入指示视场平移(例如，向左移动、向右移动、向上移动、向下移动)，其中，平移输入被映射成航空系统平移动作。航空系统优选沿着与平移输入轴线相同的方向平移，但替代地，航空系统也可沿着相反方向平移。平移用户输入可以与旋转用户输入不同，但替代地，平移用户输入也可与旋转用户输入大体相似。在后一种变型的一个示例中，同一输入可映射成FOV旋转动作，直到达到输入阈值为止，这时候输入被映射成FOV平移动作。在具体示例中，在显示器左侧上的连续单触点保持可以向左旋转FOV，最高到180°旋转，这时候输入被重新映射成航空系统向左平移。然而，平移输入也可以以其它方式与旋转输入相关。

[0218] 在第二变型的第一实施例中，水平平移视场(例如，侧向平移摄像机FOV；侧向平移视频视角；平移水平视角但不变化竖直视角等)的用户输入可映射成使航空系统12(例如，沿着x轴线)沿着侧向平移轴线(例如，与本体20的中心侧向轴线平行或重合；与重力矢量垂直并平行于光学传感器工作表面；大体平行和/或垂直于这些或其它参考物，比如在1°、5°或10°内等)平移的控制指令、映射成使光学传感器沿着侧向平移轴线平移的控制指令或映射成用于任何其它适合的航空系统动作的控制指令。然而，可以以其它方式映射侧向平移用户输入。侧向平移用户输入可包括：在显示区域和/或输入区域上(例如，朝着显示器的竖直边缘)的双点触保持与线性侧向拖曳；在显示区域和/或输入区域的一侧上的单触点保持；在显示区域和/或输入区域的一侧上的一系列连续不断的轻敲；用户设备侧倾；或包括具有任何其它适合的参数集合的任何其它适合的输入模式。例如，侧向平移用户输入可包括限定水平分量与显示器的水平边缘平行的平移矢量，并且作为响应，航空系统可沿着基于所述水平分量的、与光学传感器的宽面(例如，摄像机传感器工作表面)大体平行(例如，在1°、5°、10°内等)的方向平移。在第一具体示例中(例如，如图11和图21中所示)，水平分量向右指向而航空系统向左平移。在第二具体示例中(例如，如图12和图22中所示)，水平分量向左指向而航空系统向右平移。然而，平移方向可以倒转，或者输入可被映射成任何其它适合的平移。

[0219] 在第二变型的第二实施例(图13、图14、图17和图18中所示具体示例)中，竖直平移视场(例如，竖直平移摄像机FOV；竖直平移视频视角；平移竖直视角但不变化水平视角等)的用户输入可映射成使航空系统(例如，沿着y轴线)沿着竖直平移轴线(例如，与本体的中心竖直轴线平行或重合，与航空系统偏航轴线平行或重合，与重力矢量平行，大体平行和/或垂直于这些或其它参考物，比如在1°、5°或10°内等)平移的控制指令、映射成使光学系统沿着竖直平移轴线平移的控制指令或映射成用于任何其它适合的航空系统动作的控制指令。然而，竖直平移用户输入可以以其它方式映射。竖直平移用户输入可包括：在显示区域和/或输入区域上的双触点保持与线性纵向拖曳(例如，沿着显示区域或输入区域的y轴线)；在显示区域和/或输入区域的一端(例如，顶端、底端)上的单触点保持；在显示区域和/或输入区域的一端上的一系列连续不断的轻敲；用户设备斜倾；或包括具有任何其它适合的参数集合的任何其它适合的输入模式。

[0220] 在第三变型中，用户输入指示图像比例尺调节，其中，图像比例尺用户输入被映射成航空系统平移动作。航空系统优选：响应于“缩小”用户输入，移动远离目标对象(例如，远离目前在FOV内的物体；反向于摄像机工作面的法向矢量等)；并响应于“放大”用户输入，移动更靠近目标对象(例如，朝着目前在FOV内的物体；沿着摄像机工作面的法向矢量等)；具体示例被示出在图15和16中。另外或替代地，用户输入可映射成光学系统变焦与航空系统平移的混合。在一个示例中，响应于接收到“放大”用户输入，航空系统朝着目标对象移动直到离目标对象阈值距离远为止。在实现阈值距离并接收到指示放大的另外的输入后，可自动重新映射输入，以使摄像机镜头拉近(例如，通过数字变焦)。当接收到“缩小”用户输入时，摄像机镜头被拉远直到实现最大摄像机焦距为止，这时候用户输入被重新映射成航空系统平移(例如，远离目标对象的平移)。阈值距离可以是预定的、由用户18设定(例如，输入到控制客户端16中)或以其它方式确定。图像比例尺用户输入可包括：指示放大的捏合移动(例如，彼此相向的双触点移动)；指示缩小的扩展移动(例如，彼此远离的双触点移动)；滑动移动(例如，向上滑动指示放大；向下滑动指示缩小等)；或任何其它适合的用户输入。

[0221] 在第四变型中，用户输入指示图像比例尺调节，其中，图像比例尺用户输入被映射成航空系统平移动作。航空系统优选：响应于“缩小”用户输入，移动远离目标对象(例如，远离目前在FOV内的对象；反向于摄像机工作面的法向矢量等)；并且响应于“放大”用户输入，移动更靠近目标对象(例如，朝着目前在FOV内的对象；沿着摄像机工作面的法向矢量等)；具体示例被示出在图19和图20中。另外或替代地，用户输入可映射成光学系统变焦与航空系统平移的混合。在一个示例中，响应于接收到“放大”用户输入，航空系统朝着目标对象移动直到离目标对象阈值距离远为止。在实现阈值距离并接收到指示放大的另外的输入后，输入可自动重新映射成使摄像机镜头拉近(例如，通过数字变焦)。当接收到“缩小”用户输入时，摄像机镜头被拉远直到达到最大摄像机焦距为止，这时候用户输入被重新映射成航空系统平移(例如，远离目标对象的平移)。阈值距离可以是预定的、由用户设定(例如，输入到控制客户端16中)或者以其它方式确定。图像比例尺用户输入可包括：指示缩小的捏合移动(例如，彼此相向的双触点移动)；指示放大的扩展移动(例如，彼此远离的双触点移动)；
滑动移动(例如，向上滑动指示缩小；向下滑动指示放大等)或任何其它适合的用户输入。

[0222] 210S18可包括将用户输入映射成多个航空系统移动(例如，如图23和图24中所示)。例如，基于与多个方向分量(例如，正交分量比如水平分量和竖直分量)相对应的用户输入，航空系统12可实施与每个方向分量相对应的移动。在第一具体示例中，向上且向右指向的单指斜向拖曳输入被映射成航空系统正偏航和摄像机关于万向节轴线的向下旋转两者。在第二具体示例中，向下且向右指向的双指斜向拖曳输入被映射成向上且向左的航空系统平移。然而，用户输入与多方向命令可以以其它方式进行映射。在具体示例中，向左扩展移动(例如，其中两个手指触点在移动远离彼此的同时向左移动，其中位于手指触点之间的中点向左移动等)被映射成向右且朝着目标对象的航空系统平移。

[0223] 航空系统可以同时实施移动、在重叠的时间实施移动、连续不断地实施移动、以交替步骤实施移动(例如，实施偏航移动的第一步骤，然后实施高度提升移动的第一步骤，然后实施偏航移动的第二步骤，且然后实施高度提升移动的第二步骤)或以任何其它适合的时序实施移动。另外或替代地，用户输入可映射成单种航空系统移动(例如，水平方向占主导的用户输入仅被映射成水平航空系统移动比如偏航或水平平移；竖直方向占主导的用户输入仅被映射成竖直航空系统移动比如航空系统或摄像机俯仰或竖直平移)，或者可以以任何其它适合的方式解译用户输入。

[0224] 另外或替代地，可基于远程控制(例如，用户设备)的位置、方位和/或移动确定一些或全部用户输入。在第一具体示例中，向前倾斜用户设备可映射成使航空系统12朝着目标对象放大和/或平移，和/或向后倾斜用户设备可映射成使航空系统远离目标对象缩小和/或平移。在第二具体示例中，向左倾斜用户设备可映射成航空系统向左平移，和/或向右倾斜用户设备可映射成向右平移航空系统。在第三具体示例中，向左平移用户设备可映射成航空系统经历正偏航，和/或向右平移用户设备可映射成航空系统经历负偏航。然而，任何适合的用户输入都可被映射成任何适合的航空系统运动。

[0225] 选择第二成像元素区域的第二区域210S20可用于补偿航空系统操作。第二成像元素区域优选是210S12中所使用的同一成像元素区域(例如，同一视频的两个区域、同一摄像机传感器的两个区域等)，但替代地，第二成像元素区域可以是时间上早于第一成像元素区域(例如，超过阈值持续时间，或者在阈值持续时间内)的成像元素区域，可以是时间上落后于第一成像元素区域(例如，超过阈值持续时间，或者在阈值持续时间内)的成像元素区域，可以是空间上与第一成像元素区域相邻或重叠(例如，与成像元素区域同时被记录或在任何其它适合的时间被记录)的成像元素区域，可以是与相同或不同航空系统12上的第二光学传感器关联(例如，属于第二光学传感器或被第二光学传感器捕获)的成像元素区域，或者可以是任何其它适合的图像或成像相关元素。第二区域优选由与210S12中选定第一区域的系统相同的系统选定，但另外或替代地，第二区域可由任何其它适合的计算系统选定。与第一区域相似，第二区域优选以近乎实时的方式(例如，在接收到图像帧前，在接收到图像帧后立即，或在接收到图像帧后的短的持续时间内)选定，但替代地，第二区域也可在任何其它适合的时间被选定。第二区域优选与变化航空系统的位置210S18同时被选定210S20，但另外或替代地，第二区域也可在210S18前被选定、在210S18后被选定或在任何其它适合的时间被选定。第二区域优选限定与第一区域相似的区域(或多个区域)(例如，连续区域中的规则像素阵列，比如限定矩形的区域)，但替代地，第二区域可包括多个非连续区域、不规则像素布置结构和/或任何其它适合的区域。与第一区域相似，第二区域可具有与第二区域选自于的成像元素相关的任何适合的布置结构、形状和/或尺寸。第一区域和第二区域可以是相同尺寸或不同尺寸，第一区域和第二区域可具有相同或不同方位，并且第一区域和第二区域彼此可位于相同位置中、可重叠(例如，共享像素)、可以是连续的或者可以是完全分离的。尽管210S20参考第二区域，但本领域技术人员将理解的是，所述区域可以是任何适合的区域(例如，第三区域、第四区域等)。

[0226] 210S20优选包括补偿航空系统响应滞后。例如，航空系统响应滞后(例如，落后于用户输入)可归咎于：操作指令生成延迟、信号传输延迟、螺旋桨加速时间、航空系统加速时间(例如，用于开始航空系统移动，用于停住或减慢航空系统移动等)、由飞行空气动力学导致的延迟或由任何其它适合的影响导致的延迟。补偿航空系统响应滞后可包括：确定与用户输入关联的平移矢量并选定第二区域，使得第二区域从第一区域沿着平移矢量移位。平移矢量可以是显示器矢量(例如，在显示器上接收的拖曳输入的从起点到终点或从终点到起点的矢量，沿显示器轴线对齐的矢量等)、航空系统矢量(例如，沿着或反向于与用户输入关联的航空系统运动的矢量，沿航空系统或光学传感器轴线对齐的矢量，沿着与光学传感器采样图像上的拖曳输入关联的光学传感器工作表面的矢量等)或相对于任何其它适合的系统部件限定的任何其它适合的矢量。

[0227] 在一个变型中，第一区域和第二区域协同限定从第一区域中心到第二区域中心的平移矢量。另外或替代地，所述变型也可包括沿着与平移矢量大体相反(例如，在1°、5°、10°内等)的方向移动摄像机(例如，在210S18中)。在所述变型的第一实施例中，摄像机传感器包括第一传感器边缘和与第一传感器边缘相反的第二传感器边缘，并且第一区域和第二区域是摄像机传感器的区域。在该实施例中，平移矢量限定与第一传感器边缘垂直的水平分量，并且210S18包括使航空系统沿着与所述水平分量成钝角或直角的飞行方向平移(例如，大体笔直的，比如在1°、5°、10°内等)。在该实施例的一个示例中，所述飞行方向大体垂直于(例如，在1°、5°、10°内等)重力矢量且大体平行于(例如，在1°、5°、10°等)摄像机传感器的宽面(例如，工作表面)。

[0228] 具体示例还包括：接收由摄像机传感器的第一区域(第一传感器区域)采样的第一图像，所述第一图像包括邻近第一传感器边缘采样的第一图像区域和邻近第二传感器边缘采样的第二图像区域；在触敏显示器的整个显示区域内显示第一图像，所述显示区域包括第一显示边缘和与第一显示边缘相反的第二显示边缘，第一图像区域邻近第一显示边缘显示，并且第二图像区域邻近第二显示边缘显示；与第一图像的显示(例如，在拖曳输入期间的某个(时间)点显示第一图像、贯穿整个拖曳输入显示第一图像等)同时地，接收来自触敏显示器的拖曳输入，拖曳输入被接收在显示区域内，拖曳输入包括朝着第二显示边缘(例如，并且远离第一显示边缘)延伸的拖曳矢量；以及基于拖曳输入选定摄像机传感器的第二区域(第二传感器区域)，其中，第一区域中心比第二区域中心更加邻近第二传感器边缘(例如，且更加远离第一传感器边缘)。

[0229] 在补偿航空系统响应滞后的其中视频从航空系统摄像机被接收(例如，其中从视频选定区域、从采样视频的摄像机传感器选定区域等)的示例中，210S12可包括裁剪出(视频的)每个图像帧的一个或多个边缘；并且响应于接收到指示航空系统沿第一方向移动的用户输入210S16，210S20可包括裁剪出较少的第一图像边缘和裁剪出较多的第二图像边缘。这可用于给出视频帧运动的表象直到航空系统赶上(例如，实施)指定动作为止。在一个示例中，每个视频帧裁剪成仅显示帧的中心部分。响应于接收到向左平移航空系统的侧向用户输入，每个后续视频帧可被裁剪成显示中心左侧的帧区域。在航空系统平移后(例如，根据航空系统加速度计或陀螺仪确定)，后续视频帧可再次裁剪成仅显示帧的中心部分。可逐渐调节所选区域(例如，对于若干视频帧中的每帧移动一个增量的量，比如全部视频帧有待在预期延迟时段期间被显示)，可突然调节所选区域，可基于用户输入速度调节(例如，追踪拖曳输入，比如移动图像帧区域以维持图像帧区域的位置处在用于拖曳输入的手指下方)所选区域，或者可以以任何其它适合的速率调节所选区域。

[0230] 另外或替代地，补偿航空系统响应滞后可包括从选定第二区域恢复(例如，使区域选定重新定中，将显示的区域移回到第一区域等)。恢复类型、方向、速度、加速度或其它恢复参数可以是预定的，可以基于航空系统参数(例如，飞行速度、角位置、目标位置等)自动确定，或者可以以其它方式确定。在一个变型中，在选定从第一区域沿第一方向移位的第二区域后，方法可包括选定从第二区域沿第二方向移位的第三区域，其中，第一方向和第二方向协作形成钝角或直角(例如，反平行；彼此相对；大体彼此相对，比如在1°、5°、10°内等；具有彼此相反的竖直分量和/或水平分量等)。例如，第三区域的中心可位于第一区域的中心与第二区域的中心之间，第三区域的中心可与第一区域的中心大体重合(例如，其中第三区域与第一区域大体重叠，其中第三区域相对于第一区域旋转等)，第三区域的中心可横跨第一区域的中心与第二区域的中心相对，或者第三区域的中心可具有相对于其它区域的任何其它适合的位置。如果各中心在阈值距离(例如，5、10或50像素；1、2或10mm等)内或在与区域关联的尺寸(例如，区域或区域所选自于的成像元素的长度或宽度)的阈值分数(例如，1％、5％、10％等)内，则各中心可被认为是大体重合的。

[0231] 在该变型的第一实施例中，区域选定在航空系统移动期间被恢复(例如，贯穿移动逐渐地恢复)。例如，方法可还包括在使航空系统关于基于用户输入的偏航轴线旋转的同时：接收第三视频；选定第三视频的第三区域，其中第三区域位于第一区域与第二区域之间(例如，不重叠任一区域，重叠一个或两个区域)；以及显示第三视频的第三区域(例如，在触敏显示器处)。该示例可还包括(例如，仍然在航空系统旋转期间，在航空系统旋转后，在显示第三视频的第三区域后等)：选定第四视频的第一区域，其中，第四视频的第一区域与第一视频的第一区域位于同一位置中；以及显示第四视频的第一区域(例如，在触敏显示器处)。在具体示例中，在显示第二视频的第二区域后，后续的中间区域选定并显示成使区域选定逐渐向后朝着第一区域(例如，中心区域)移动。

[0232] 在该变型的第二实施例中，区域选定在航空系统移动变化(例如，回到悬停，移动方向变化等)期间或相近的时间(例如，在1、2或10s内等)被恢复。这可用于补偿与航空系统移动变化关联的滞后(例如，响应于停止命令的滞后，加速滞后等)。例如，在选定相对于第一区域沿第一方向旋转的第二区域并开始平移航空系统(例如，沿着与摄像机传感器工作表面大体平行的方向)后，方法可还包括：接收来自摄像机的第三视频；选定第三视频的第三区域(例如，其中第三区域的中心与第一区域的中心大体重合，其中第三区域相对于第一区域沿着与第一方向相反的方向旋转)；以及显示第三视频的第三区域(例如，在触敏显示器上)。在第一具体示例中，在大部分的航空系统移动期间选定并显示靠近第二区域的区域，并且在临近航空系统移动结束时选定更靠近第一区域的区域以补偿航空系统减速时间。在第二个具体示例中，在航空系统移动期间，中间区域被选定和显示以使区域选定逐渐向后朝着第一区域移动，并且在临近航空系统移动结束时，经过第一区域的区域被选定以补偿航空系统减速时间(之后可选定并显示另外的中间区域以使区域选定再次逐渐向后朝着第一区域移动)。然而，可以以其它方式补偿航空系统响应滞后。

[0233] 另外或替代地，210S20可包括补偿航空系统旋转(例如，如210S12中所述)，这可发生在航空系统旋转或平移时。这用于稳定所得图像，否则图像将显现成与航空系统12一起旋转。例如，航空系统12可在侧向旋转或水平平移时发生滚转。在第二示例中，航空系统12将在向前或向后移动时发生俯仰。补偿航空系统旋转优选包括选定第二区域的方位。例如，第二区域可相对于第一区域旋转(例如，旋转与航空系统滚转角大体相等的量，比如在1°、5°或10°内)。在具体示例中，第二摄像机传感器区域相对于第一摄像机传感器区域关于沿第一方向的滚转轴线旋转，所述滚转轴线与摄像机传感器的宽面(例如，工作表面)垂直，并且航空系统平移移动包括使航空系统关于沿着与第一方向相反的第二方向的滚转轴线旋转。在该具体示例中，第二区域优选在从第二区域捕获图像(例如，有待在210S22中显示)期间大体直立(例如，第二区域的边缘与重力矢量大体对齐，比如在1°、5°或10°内)。

[0234] 在210S20的第一变型中，第二区域基于用户输入选定，优选与基于用户输入变化航空系统的位置同时地被选定。在第一示例中，用户输入是包括平移矢量的拖曳输入(例如，从起点到终点的矢量；与拖曳输入关联的矢量的分量，比如水平分量或竖直分量等)，并且第二区域相对于第一区域沿着平移矢量平移。在第二示例中，用户输入是接收在触敏显示器的显示区域内的拖曳输入，显示区域包括(例如，边界为)第一显示边缘和与第一显示边缘相反的第二显示边缘。在该示例中，拖曳输入包括远离第一显示边缘朝第二显示边缘延伸的拖曳矢量(例如，从起点到终点的矢量)。此外，在该示例中，由第一传感器区域采样的图像被显示在整个显示区域内(例如，与接收到拖曳输入同时)，其中，图像包括邻近第一传感器边缘采样的第一图像区域和邻近与第一传感器边缘相反的第二传感器边缘采样的第二图像区域，第一图像区域邻近第一显示边缘显示，并且第二图像区域邻近第二显示边缘显示。在该示例中，第二区域基于拖曳输入选定，使得第一区域的中心比第二区域的中心更加邻近第二传感器边缘。

[0235] 在该变型的第一实施例中，响应于侧向移动视场(例如，向左旋转、向左平移、向右旋转、向右平移)的用户输入，第二区域相对于第一区域侧向移位。在该实施例的从摄像机传感器选定区域的第一具体示例(如图25中所示)中，响应于向左移动视场的用户输入，第二区域被选定成第一区域的当面向摄像机(例如，在摄像机视场内的视点)观察时的左侧。在该实施例的第二具体示例中，响应于向右移动视场的用户输入，第二摄像机传感器区域被选定成第一摄像机传感器区域的当面向摄像机观察时的右侧。在该实施例的从视频、图像或图像帧选定区域的第三具体示例中，响应于向左移动视场的用户输入，第二区域被选定成靠向第一区域的左侧。在该实施例的从视频、图像或图像帧选定区域的第四具体示例中，响应于向右移动视场的用户输入，第二区域被选定成靠向第一区域的右侧。

[0236] 在该变型的第二实施例中，响应于竖直移动视场(例如，向上旋转、向上平移、向下旋转、向下平移)的用户输入，第二区域相对于第一区域竖直移位。在该实施例的从视频、图像或图像帧选定区域的第一具体示例中，响应于向上移动视场的用户输入，第二区域被选定成高于第一区域。在该实施例的从视频、图像或图像帧选定区域的第二具体示例中，响应于向下移动视场的用户输入，第二区域被选定成低于第一区域。在该实施例的从摄像机传感器选定区域并且摄像机传感器上所形成的图像相对于形成图像的对象翻转(例如，由于相机光学)的第三具体示例中，响应于向上移动视场的用户输入，第二区域被选定成低于第一区域。在该实施例的从摄像机传感器选定区域并且形成在摄像机传感器上的图像相对于形成图像的对象翻转(例如，由于摄像机光学)的第四具体示例中，响应于向下移动视场的用户输入，第二区域被选定成高于第一区域。

[0237] 在210S20的第二变型中，第二区域基于航空系统位置变化被选定。这可以用于稳定视频流。位置变化可以是有意的变化(例如，航空系统滚转或俯仰以实现侧向平移)、无意的变化(例如，由风或航空系统碰撞引起的移动)或任何其它适合的位置变化。然而，另外或替代地，第二区域可以在任何其它适合的时间、基于任何其它适合的标准、以任何其它适合的方式被选定。

[0238] 第二区域优选由航空系统12选定。在一个示例中，由航空系统12机载处理器实施接收第一视频与第二视频和选定第一区域与第二区域。另外或可选地，可以在诸如用户设备的远程计算系统处或在任何其它适合的系统处选定第二区域。

[0239] 显示来自第二区域的图像210S22可用于流传输经补偿的图像。图像可如210S14中所述或以任何其它适合的方式显示。例如，图像帧的不同像素位置子集可被选定作为第一区域和第二区域(例如，其中第一区域和第二区域的对应像素分别在210S14和210S22期间被显示在触敏显示器处)。

[0240] 来自第二区域的图像优选与210S18同时显示。图像可在航空系统运动开始时、在航空系统运动期间、在航空系统运动结束时和/或在整个航空系统运动期间被显示。在一个示例中，与基于拖曳输入变化航空系统位置同时地，显示第二视频的第二区域。另外或替代地，可在210S18前、在210S18后和/或在任何其它适合的时间显示图像。在一个示例中，来自第二区域的图像和来自第一区域的图像是同一图像的子图像。然而，可以以其它方式显示来自第二区域的图像。

[0241] 方法可以可选地包括利用附接到光学系统的万向节系统(例如，主动或被动地)补偿航空系统旋转，这自动稳定图像(例如，相对于重力矢量)。在一个示例中，万向节系统可以是多轴式的(例如，3轴式的)，其中，每个万向节(例如，滚转、俯仰和偏航)包括分解器。分解器接收陀螺仪输出(例如，指示陀螺仪偏离零点)，依照每个万向节角度实施自动矩阵变换，并将所需扭矩传递到相应的连接到每个万向节的驱动电机。然而，可以以其它方式补偿航空系统旋转。

[0242] 航空系统除升力机构之外的部件优选持续以待命模式操作，但替代地也可被关闭(例如，无动力)、以待命状态操作或以其它方式操作。例如，传感器和处理器可持续检测和分析航空系统操作参数和/或确定航空系统操作状态(例如，空间状态、飞行状态、功率状态等)，并且通信系统可持续从航空系统发送数据(例如，视频流、传感器数据、航空系统状态等)(例如，到用户设备、远程计算系统等)。持续检测和分析航空系统状态可使系统能够在以待命模式操作100S20时检测飞行事件100S10。例如，这使方法能够在航空系统经抓取和保持后被释放(例如，并且作为响应，进入待命模式)时重复(例如，重新进入飞行模式等)。此外，这可允许在事件错误地被辨识成待命事件时恢复飞行模式。在风扰动或与物体的碰撞被误辨为抓取事件的具体示例中，航空系统可进入待命模式并开始自由下坠(因为航空系统实际上未被保持机构支撑)。在该具体示例中，自由下坠于是可被检测到，并且航空系统12可响应于检测到自由下坠而重新开始以飞行模式100S12操作。替代地，以待命模式操作航空系统12(100S20)可包括关闭和/或降低任何或所有其它航空系统部件功耗，可包括以任何适合的方式在任何适合的功率消耗水平下操作航空系统部件，和/或可以以任何其它适合的方式实施100S20。

[0243] 尽管出于简洁被省略，然而优选实施例包括不同系统部件和不同方法过程的每一种组合与置换，其中可以以任何适合的顺序、按顺序地或同时地实施各方法过程。

[0244] 如本领域技术人员将从之前的详细描述和从附图和权利要求认识到的，在不偏离所附权利要求中限定的本发明的范围的条件下，可对本发明的优选实施例作出修改和变化。