本发明提出了分布式多目标空地联合轨迹规划和卸载调度方法及系统，包括在每个时隙开始时，无人机根据当前系统的所有设备的能耗之和以及所有设备未处理数据量之和两个目标选择飞行方向，向某一方向飞行一段固定距离。在无人机到达新的位置前，地面每个用户相互独立地根据当前系统的所有设备的能耗之和以及所有设备未处理数据量之和两个目标选择任务数据卸载调度策略。并且为了提高预期的长期平均能效和数据处理能力，本发明还提出了针对能耗和未处理数据的平均反馈。本发明能够很好地解决集中式方法固有的及时性差以及不适用于大规模用户场景的问题，同时能够保证实现系统整体较低能耗和任务位积压。
1.分布式多目标空地联合轨迹规划和卸载调度方法，在该方法中，一个固定在飞行高度的无人机和一个位于固定位置的地面基站共同服务于多个固定位置的地面用户，该方法具体包括如下步骤：步骤1：无人机获取当前的状态信息，状态信息包括当前时隙t无人机的位置以及上个时隙t‑1所有设备未处理数据量之和，所有设备包括无人机、基站和多个用户；
步骤2：无人机进行动作选择，通过最小化所有设备的能耗之和以及所有设备未处理数据量之和两个目标，从预设的飞行方向集合中选择飞行方向，并飞行一段固定的距离；
式中，Dt表示时隙t所有设备的能耗之和，M表示用户的数量，m∈{1,2,…,M}，Dm,t、DUAV,t和DBS,t分别表示用户m、无人机和基站在时隙t时队列中计算任务的累积；
式中，Et表示时隙t所有设备未处理数据量之和， 和 分别表示用户m在时隙t时向无人机和基站进行任务卸载的传输能耗， 和 分别表示用户m在时隙t时在无人机和基站进行任务计算的计算能耗；αm,t,UE、αm,t,UAV和αm,t,BS分别表示用户m在时隙t时在本地计算、卸载到无人机以及卸载到基站的操作：本地计算时αm,t,UE＝1，否则αm,t,UE＝0；
卸载到无人机时αm,t,UAV＝1，否则αm,t,UAV＝0；卸载到基站时αm,t,BS＝1，否则αm,t,BS＝0；
步骤3：无人机到达新的位置之前，每个用户获取当前的状态信息；
步骤4：所有用户并行进行动作选择，通过最小化所有设备能耗之和以及所有设备未处理数据量之和两个目标，从预设的卸载策略集合中决策出每个用户的任务卸载调度方式，并在当前时隙t中执行该任务卸载调度方式；
步骤5：当前时隙t用户任务卸载调度执行完成后，无人机的位置进行更新作为下个时隙t+1的位置，无人机和每个用户收到对于当前动作的反馈；所述当前动作的反馈为：T
式中，为表示反馈的列向量，[]表示转置， 表示针对能耗的平均反馈， 表示针对未处理数据的平均反馈，T表示任务的持续时间， 表示 的上界，ε{}表示求平均，et＝‑Et，dt＝‑Dt；
步骤6：在每个时隙重复步骤1到步骤5，根据状态信息和动作的反馈得到最优的飞行卸载策略，飞行卸载策略包括无人机的飞行方向和各用户的任务卸载调度方式。
2.如权利要求1所述的分布式多目标空地联合轨迹规划和卸载调度方法，其特征在于：所述飞行方向集合包括上、下、左、右、右上、右下、左上和左下八个飞行方向；所述卸载策略集合包括本地计算、卸载到无人机以及卸载到基站三种任务卸载调度方式。
3.如权利要求1所述的分布式多目标空地联合轨迹规划和卸载调度方法，其特征在于：所述最优的飞行卸载策略通过下式确定：
式中，π表示最优的飞行卸载策略，wr为权重向量， 表示wr的转置，we和wd分别表示针对能耗和未处理数据量两个目标的权重数值。
4.分布式多目标空地联合轨迹规划和卸载调度系统，系统的所有设备包括一个固定在飞行高度的无人机、一个位于固定位置的地面基站以及多个固定位置的地面用户，所述无人机和基站共同服务于多个用户；
所述无人机用于执行以下操作：获取当前的状态信息，状态信息包括当前时隙t无人机的位置以及上个时隙t‑1所有设备未处理数据量之和；通过最小化所有设备的能耗之和以及所有设备未处理数据量之和两个目标进行动作选择，从预设的飞行方向集合中选择飞行方向，并飞行一段固定的距离；在当前时隙t用户任务卸载调度执行完成后进行位置更新，作为下个时隙t+1的位置；接收对于当前动作的反馈，在下个时隙根据状态信息和动作的反馈得到最优的飞行策略；
式中，Dt表示时隙t所有设备的能耗之和，M表示用户的数量，m∈{1,2,…,M}，Dm,t、DUAV,t和DBS,t分别表示用户m、无人机和基站在时隙t时队列中计算任务的累积；
式中，Et表示时隙t所有设备未处理数据量之和， 和 分别表示用户m在时隙t时向无人机和基站进行任务卸载的传输能耗， 和 分别表示用户m在时隙t时在无人机和基站进行任务计算的计算能耗，αm,t,UE、αm,t,UAV和αm,t,BS分别表示用户m在时隙t时在本地计算、卸载到无人机以及卸载到基站的操作：本地计算时αm,t,UE＝1，否则αm,t,UE＝
0；卸载到无人机时αm,t,UAV＝1，否则αm,t,UAV＝0；卸载到基站时αm,t,BS＝1，否则αm,t,BS＝0；
式中，为表示反馈的列向量，[] 表示转置， 表示针对能耗的平均反馈， 表示针对未处理数据的平均反馈，T表示任务的持续时间， 表示 的上界，ε{}表示求平均，et＝‑Et，dt＝‑Dt；
所述用户用于执行以下操作：每个用户在无人机到达新的位置之前，获取当前的状态信息；所有用户并行进行动作选择，通过最小化所有设备能耗之和以及所有设备未处理数据量之和两个目标，从预设的卸载策略集合中决策出每个用户的任务卸载调度方式，并在当前时隙t中执行该任务卸载调度方式；接收对于当前动作的反馈，在下个时隙根据状态信息和动作的反馈得到最优的卸载策略。
5.如权利要求4所述的分布式多目标空地联合轨迹规划和卸载调度系统，其特征在于：所述飞行方向集合包括上、下、左、右、右上、右下、左上和左下八个飞行方向；所述卸载策略集合包括本地计算、卸载到无人机以及卸载到基站三种任务卸载调度方式。
6.如权利要求4所述的分布式多目标空地联合轨迹规划和卸载调度系统，其特征在于：所述最优的飞行策略和最优的卸载策略通过下式确定：
式中，π表示最优的飞行卸载策略，wr为权重向量， 表示wr的转置，we和wd分别表示针对能耗和未处理数据量两个目标的权重数值。
分布式多目标空地联合轨迹规划和卸载调度方法及系统
技术领域
[0001] 本发明属于无线通信技术领域，具体涉及分布式多目标空地联合轨迹规划和卸载调度方法及系统。
背景技术
[0002] 随着第五代移动通信技术（5G）的普及和移动边缘计算（MEC）技术的广泛应用，大量设备产生的任务数据需要卸载到算力更多的边缘服务器进行处理。然而，现有的移动边缘计算不适合用于具有计算密集型和延迟关键型任务的场景。无人机的灵活性和高机动性，特别是高概率的视距链路信道，为通信以及多用户调度和资源分配提供了更可靠的连接。与此同时，在无人机辅助移动边缘计算背景下，最先进的研究集中在地面设备可以决定在本地执行计算任务或将其卸载给无人机的场景中，而不考虑基站与无人机协作为终端提供服务的情况，这不适用于实际场景。同时考虑到现实环境的高动态，计算任务产生的信道增益和统计特性是未知的，确定性优化可能在存在时变，但不可预测的信道传播无法达到很好的求解结果。
[0003] 现有技术中也存在一些任务卸载调度方法，如公开号为CN114599102A，名称为“一种无人机边缘计算网络线性依赖任务卸载方法”的发明专利，其运用凸优化和动态规划的算法，通过对卸载决策、资源分配以及无人机轨迹进行联合优化，以实现最小化能量消耗。又如公开号为CN113286314A，名称为“一种基于Q学习算法的无人机基站部署及用户关联方法”的发明专利，其运用基于表的Q学习方法联合优化了无人机基站部署以及用户关联问题以最大化系统内用户的传输速率之和。但上述方法均没有考虑用户的计算任务的需求以及系统能耗等多个目标的同时优化求解的问题。
发明内容
[0004] 本发明针对现有技术中的不足，提供一种分布式多目标空地联合轨迹规划和卸载调度方法及系统。
[0005] 为实现上述目的，本发明采用以下技术方案：
[0006] 分布式多目标空地联合轨迹规划和卸载调度方法，在该方法中，一个固定在飞行高度的无人机和一个位于固定位置的地面基站共同服务于多个固定位置的地面用户，该方法具体包括如下步骤：
[0007] 步骤1：无人机获取当前的状态信息，状态信息包括当前时隙 无人机的位置以及上个时隙 所有设备未处理数据量之和，所有设备包括无人机、基站和多个用户；
[0008] 步骤2：无人机进行动作选择，通过最小化所有设备的能耗之和以及所有设备未处理数据量之和两个目标，从预设的飞行方向集合中选择飞行方向，并飞行一段固定的距离；
[0009] 步骤3：无人机到达新的位置之前，每个用户获取当前的状态信息；
[0010] 步骤4：所有用户并行进行动作选择，通过最小化所有设备能耗之和以及所有设备未处理数据量之和两个目标，从预设的卸载策略集合中决策出每个用户的任务卸载调度方式，并在当前时隙 中执行该任务卸载调度方式；
[0011] 步骤5：当前时隙 用户任务卸载调度执行完成后，无人机的位置进行更新作为下个时隙 的位置，无人机和每个用户收到对于当前动作的反馈；
[0012] 步骤6：在每个时隙重复步骤1到步骤5，根据状态信息和动作的反馈得到最优的飞行卸载策略，飞行卸载策略包括无人机的飞行方向和各用户的任务卸载调度方式。
[0013] 为优化上述技术方案，采取的具体措施还包括：
[0014] 进一步地，所述飞行方向集合包括上、下、左、右、右上、右下、左上和左下八个飞行方向；所述卸载策略集合包括本地计算、卸载到无人机以及卸载到基站三种任务卸载调度方式。
[0015] 进一步地，所述所有设备的能耗之和为：
[0016] ，
[0017] 式中， 表示时隙 所有设备的能耗之和， 表示用户的数量， ， 、和 分别表示用户 、无人机和基站在时隙 时队列中计算任务的累积；
[0018] 所述所有设备未处理数据量之和为：
[0019] ，
[0020] 式中，表示时隙 所有设备未处理数据量之和， 和 分别表示用户 在时隙 时向无人机和基站进行任务卸载的传输能耗， 和 分别表示用户 在时隙时在无人机和基站进行任务计算的计算能耗； 、 和 分别表示用户 在时隙 时在本地计算、卸载到无人机以及卸载到基站的操作：本地计算时 ，否则；卸载到无人机时 ，否则 ；卸载到基站时 ，否则
。
[0021] 进一步地，所述当前动作的反馈为：
[0022] ，
[0023] ，
[0024] ，
[0025] 式中，为表示反馈的列向量， 表示转置，表示针对能耗的平均反馈，表示针对未处理数据的平均反馈，表示任务的持续时间， 表示 的上界， 表示求平均，， 。
[0026] 进一步地，所述最优的飞行卸载策略通过下式确定：
[0027] ，
[0028] ，
[0029] 式中， 表示最优的飞行卸载策略， 为权重向量， 表示 的转置， 和 分别表示针对能耗和未处理数据量两个目标的权重数值。
[0030] 此外，本发明还提出了一种分布式多目标空地联合轨迹规划和卸载调度系统，系统的所有设备包括一个固定在飞行高度的无人机、一个位于固定位置的地面基站以及多个固定位置的地面用户，所述无人机和基站共同服务于多个用户；
[0031] 所述无人机用于执行以下操作：获取当前的状态信息，状态信息包括当前时隙 无人机的位置以及上个时隙 所有设备未处理数据量之和；通过最小化所有设备的能耗之和以及所有设备未处理数据量之和两个目标进行动作选择，从预设的飞行方向集合中选择飞行方向，并飞行一段固定的距离；在当前时隙 用户任务卸载调度执行完成后进行位置更新，作为下个时隙 的位置；接收对于当前动作的反馈，在下个时隙根据状态信息和动作的反馈得到最优的飞行策略；
[0032] 所述用户用于执行以下操作：每个用户在无人机到达新的位置之前，获取当前的状态信息；所有用户并行进行动作选择，通过最小化所有设备能耗之和以及所有设备未处理数据量之和两个目标，从预设的卸载策略集合中决策出每个用户的任务卸载调度方式，并在当前时隙 中执行该任务卸载调度方式；接收对于当前动作的反馈，在下个时隙根据状态信息和动作的反馈得到最优的卸载策略。
[0033] 进一步地，所述飞行方向集合包括上、下、左、右、右上、右下、左上和左下八个飞行方向；所述卸载策略集合包括本地计算、卸载到无人机以及卸载到基站三种任务卸载调度方式。
[0034] 进一步地，所述所有设备的能耗之和为：
[0035] ，
[0036] 式中， 表示时隙 所有设备的能耗之和， 表示用户的数量， ， 、和 分别表示用户 、无人机和基站在时隙 时队列中计算任务的累积；
[0037] 所述所有设备未处理数据量之和为：
[0038] ，
[0039] 式中，表示时隙 所有设备未处理数据量之和， 和 分别表示用户 在时隙 时向无人机和基站进行任务卸载的传输能耗， 和 分别表示用户 在时隙时在无人机和基站进行任务计算的计算能耗； 、 和 分别表示用户 在时隙 时在本地计算、卸载到无人机以及卸载到基站的操作：本地计算时 ，否则；卸载到无人机时 ，否则 ；卸载到基站时 ，否则
。
[0040] 进一步地，所述当前动作的反馈为：
[0041] ，
[0042] ，
[0043] ，
[0044] 式中，为表示反馈的列向量， 表示转置，表示针对能耗的平均反馈，表示针对未处理数据的平均反馈，表示任务的持续时间， 表示 的上界， 表示求平均，， 。
[0045] 进一步地，所述最优的飞行策略和最优的卸载策略通过下式确定：
[0046] ，
[0047] ，
[0048] 式中， 表示最优的飞行卸载策略， 为权重向量， 表示 的转置， 和 分别表示针对能耗和未处理数据量两个目标的权重数值。
[0049] 本发明的有益效果是：本发明提出的基于分布式框架的多目标方法及系统，通过将轨迹规划/卸载调度的决策过程表述为相互独立的马尔可夫决策过程，使得无人机和地面用户通过最小化能源消耗和任务位积压优化轨迹规划和卸载调度，同时考虑了在高度动态的网络环境下，即全信道信息未知的情况下，时间和空间资源的匹配。本发明有效避免了由于用户数量增加、状态/动作空间指数增长导致的维数诅咒问题，能够很好地解决集中式方法固有的及时性差、不适用于大规模用户场景的问题，同时能够保证系统实现整体较低能耗和任务位积压。
附图说明
[0050] 图1为本发明提出的分布式多目标空地联合轨迹规划和卸载调度方法的主要步骤流程图。
[0051] 图2为本发明提出的分布式多目标空地联合轨迹规划和卸载调度系统架构图。
[0052] 图3为本发明提出的分布式多目标空地联合轨迹规划和卸载调度方法的具体操作流程图。
[0053] 图4为本发明实施例中无人机在2000个时隙内的运动曲线和位置变化示意图。
[0054] 图5a为本发明实施例中平均能耗负值随时间的变化曲线示意图。
[0055] 图5b为本发明实施例中平均任务位积压负值随时间的变化曲线示意图。
具体实施方式
[0056] 现在结合附图对本发明作进一步详细的说明。
[0057] 实施例一
[0058] 如图1和图3所示，本实施例中提出了一种分布式多目标空地联合轨迹规划和卸载调度方法。在本实施例研究的空地协同网络中，所考虑的情况是一个固定在飞行高度 的无人机（UAV）和一个位于固定位置的基站（BS）共同服务于 个固定位置用户（UEs）。为了便于解释，将任务的持续时间 划分为 个相等时隙。为了使无人机的飞行轨迹在一个时隙内保持近似恒定，应适当选择时隙的长度 。无人机、基站和用户均位于三维的坐标系中，假设无人机在时隙 的横纵坐标分别为 和 ，高度固定为 ，则时隙 无人机的三维坐标可以表示为 ，第 个用户的横纵坐标分别为 和 ，高度为0，则第 个用户的三维坐标可以表示为 。
[0059] 在每个时隙 中，对于每个用户，卸载调度选项包括在用户本地执行计算任务和将任务卸载到无人机或基站，它们之间都是互斥的。假设有足够数量的频域信道，卸载传输的终端不会相互干扰，计算结果可以通过专用的频域信道返回给终端。每个用户、基站和无人机的处理设备都配备了一个本地任务队列，以缓冲未处理的数据。变量分别表示第 个用户在 时隙在用户本地计算、向无人机卸载和
向基站卸载的操作。当第 个用户在时隙 进行本地处理时 ，否则为 ，第
个用户在时隙 向无人卸载和向基站卸载也是同理。第 个用户在时隙 结束时，任务队列中未处理的数据量为 。同样，无人机和地面基站在时隙 结束时，任务队列中未处理的任务位的数量可以被分别表示为 和 。
[0060] 下面分别在本地计算和卸载场景中分析在时隙 中队列中处理任务位数量和能耗的变化。
[0061] 第 个用户在时隙 进行本地计算的情况下，即 时，此时不会向无人机或者地面基站进行任务卸载，只会产生本地计算的能耗。因此，第 个用户处在时隙 进行本地计算的能耗为 ，第 个用户处在时隙 结束时，任务队列中未处理的数据量表示为。
[0062] 第 个用户处在时隙 中存在卸载操作时，第 个地面用户在一个时隙内将任务卸载到位于无人机或地面基站上的边缘计算服务器，在传输过程中，会产生传输能耗。因此，第 个用户在时隙 时向无人机进行任务卸载的传输能耗可以表示为 ；第 个用户在时隙 时向地面基站进行任务卸载的传输能耗可以表示为 。当任务在无人机或者地面基站进行任务计算时，同样会产生任务计算的能耗。因此，第 个用户在时隙 时在无人机进行任务计算的计算能耗可以表示为 ；第 个用户在时隙 时在地面基站进行任务计算的计算能耗可以表示为 。同样，无人机和地面基站在时隙 结束时，任务队列中未处理的任务位的数量可以被分别表示为 和 。
[0063] 因此，系统在时隙 中所有设备（地面用户，无人机和地面基站）的传输和计算能耗之和为：
[0064] ，
[0065] 系统在时隙 中所有设备（地面用户、无人机和地面基站）队列内未处理数据量之和为：
[0066] ，
[0067] 在系统中，本实施例分别表示当前系统的所有设备的能耗之和、所有设备未处理数据量之和的负值为 和 。
[0068] 本实施例通过最小化当前系统的所有设备的能耗之和以及所有设备未处理数据量之和两个目标，解决了地面用户的动态任务卸载调度和无人机轨迹规划问题。直观地说，为了确定在时隙 无人机的飞行方向或第 个用户的卸载决策，无人机或第 个用户必须依赖于观察状态即时隙 的无人机的位置和上个时隙 所有设备未处理数据量之和。因此，动态卸载调度和轨迹规划问题变成了独立的马尔科夫过程决策问题。为了解决维数的诅咒，可以使用一个分布式的多智能体模型来解决这个问题，在本实施例中，分布式即地面所有用户的动作选择是分布式并行进行的，即每个地面用户决策只为当前的地面用户决策任务卸载调度策略，且所有地面用户之间的任务卸载调度策略是互相不干扰的。
[0069] 在时隙 中，无人机和每个用户具有相同的状态信息，无人机和地面用户分别根据状态信息做出决策：无人机选择飞行方向，每个用户选择任务卸载策略。无人机在时隙 中观察到的状态 可以定义为时隙 的无人机的位置和上个时隙 所有设备未处理数据量之和，即 。对于无人机而言，给定状态 ，时隙 决定的飞行方向可以定义为，即无人机从预设的方向集合 （例如{上、下、左、右、右上、右下、左上、左下}的八个方向）中选择某一飞行方向。无人机的位置保持不变，直到 在时隙 结束时执行。对于第 个地面用户而言，给定状态 ，第 个地面用户在时隙 决定的卸载调度动作可以定义为 ，即第 个地面用户从预设的任务卸载策略集合 ={本地计算，卸载到无人机，卸载到基站}中决策出第 个地面用户在时隙 时的任务卸载调度方式 。每个用户根据卸载调度决策进行任务卸载，然后得到时隙 中的系统的所有设备的能耗之和的负值 、所有设备未处理数据量之和的负值 。
[0070] 因此，本实施例还制定时隙 的环境对于动作的反馈为向量 ，分别评估整体能量消耗和任务位积压。为了提高预期的长期平均能效和数据处理能力，本实施例提出了平均反馈的概念。针对能耗和未处理数据的平均反馈 和 分别对能耗 和数据累计 进行时间累计后求平均（即 和 ），然后再与 的上确界（即 ）相乘后求极限，即可以分别从 和 得到。进一步将其收集在一个列向量中，表示为 。对系统的所有设备的能耗之和、所有设备未处理数据量之和两个不同的优化目标之间赋予不同的权重数值来表示无人机或地面用户对上述两个不同的目标之间的偏好。针对能耗和未处理数据量两个不同目标的权重数值可以分别用 和 表示，从而组成一个 的列向量，即权重向量可以用 表示。飞行/卸载策略 的优
化是由无人机/地面用户状态空间到无人机/地面用户动作空间的确定性策略，即给定一个状态，就能得到在该状态下的最优的飞行卸载策略，用数学方法可以表述为：
。
[0071] 在仿真设置中，无人机的飞行方向集包含8个基本方向，即A0=[上；下；左；左上；右上；左下；右下]，固定高度设置为 m。此外，地面用户数量设置为 ，权值向量被设置为 和 。仿真过程由MATLAB R2016a在电脑上进行，配备了英特尔酷睿i7处理器，16GB内存和Windows 10操作系统。
[0072] 图5a和图5b表示在训练时间段内的系统能量消耗和任务位积压长期平均值的变化。可以观察到，平均能耗和平均任务位积压中在200个时隙内就能够达到比较好的优化结果，在保证较低能耗的同时，降低了任务位的积压。这表明，通过应用本实施例提出的分布式多目标的轨迹优化和卸载调度方法，能够实现系统内较低的能耗和较少的任务位积压。
[0073] 此外，值得注意的是，无人机不会在地面用户之间来回飞行为用户进行数据卸载服务，因为这将导致数据量多的用户与无人机之间的的信道增益减少，导致更多任务位的积压和计算能耗。因此，如图4所示，无人机最终会选择在用户之间的某个较小范围内飞行，以便于适应地面用户动态的数据任务产生。
[0074] 实施例二
[0075] 如图2所示，在本实施例中提出了一种分布式多目标空地联合轨迹规划和卸载调度系统，系统的所有设备包括一个固定在飞行高度的无人机、一个位于固定位置的地面基站以及多个固定位置的地面用户，无人机和基站共同服务于多个用户。
[0076] 无人机用于执行以下操作：获取当前的状态信息，状态信息包括当前时隙 无人机的位置以及上个时隙 所有设备未处理数据量之和；通过最小化所有设备的能耗之和以及所有设备未处理数据量之和两个目标进行动作选择，从预设的飞行方向集合（包括上、下、左、右、右上、右下、左上和左下八个飞行方向）中选择飞行方向，并飞行一段固定的距离；在当前时隙 用户任务卸载调度执行完成后进行位置更新，作为下个时隙 的位置；接收对于当前动作的反馈，在下个时隙根据状态信息和动作的反馈得到最优的飞行策略。
[0077] 用户用于执行以下操作：每个用户在无人机到达新的位置之前，获取当前的状态信息；所有用户并行进行动作选择，通过最小化所有设备能耗之和以及所有设备未处理数据量之和两个目标，从预设的卸载策略集合中决策出每个用户的任务卸载调度方式（包括本地计算、卸载到无人机以及卸载到基站三种任务卸载调度方式），并在当前时隙 中执行该任务卸载调度方式；接收对于当前动作的反馈，在下个时隙根据状态信息和动作的反馈得到最优的卸载策略。
[0078] 其中，所有设备的能耗之和为：
[0079] ，
[0080] 式中， 表示时隙 所有设备的能耗之和， 表示用户的数量， ， 、和 分别表示用户 、无人机和基站在时隙 时队列中计算任务的累积；
[0081] 所有设备未处理数据量之和为：
[0082] ，
[0083] 式中，表示时隙 所有设备未处理数据量之和， 和 分别表示用户 在时隙 时向无人机和基站进行任务卸载的传输能耗， 和 分别表示用户 在时隙时在无人机和基站进行任务计算的计算能耗； 、 和 分别表示用户 在时隙 时在本地计算、卸载到无人机以及卸载到基站的操作：本地计算时 ，否则；卸载到无人机时 ，否则 ；卸载到基站时 ，否则
。
[0084] 当前动作的反馈为：
[0085] ，
[0086] ，
[0087] ，
[0088] 式中，为表示反馈的列向量， 表示转置，表示针对能耗的平均反馈，表示针对未处理数据的平均反馈，表示任务的持续时间， 表示 的上界， 表示求平均，， 。
[0089] 最优的飞行卸载策略通过下式确定：
[0090] ，
[0091] ，
[0092] 式中， 表示最优的飞行卸载策略， 为权重向量， 表示 的转置， 和 分别表示针对能耗和未处理数据量两个目标的权重数值。
[0093] 以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
