一种仿鹰鸽智能博弈的无人机集群协同对抗控制方法转让专利
申请号 : CN202011099773.1
文献号 : CN112269396B
文献日 : 2021-09-28
发明人 : 段海滨 , 于月平 , 王寅 , 邓亦敏 , 王道波 , 柏婷婷 , 魏晨
申请人 : 北京航空航天大学 , 南京航空航天大学 , 南京硕航科技有限公司
摘要 :
权利要求 :
1.一种仿鹰鸽智能博弈的无人机集群协同对抗控制方法,其特征在于:该方法实现步骤如下:
步骤一:初始化战场环境设置,具体包括:初始化对抗场景;初始化无人机运动控制模型;初始化无人机集群攻防策略选择模型;
步骤二:无人机集群对抗运动控制,具体包括:S21、选择邻居集合;
S22、和邻居保持速度一致;
S23、机间聚集;
S24、机间避障;
S25、接近敌方;
S26、更新位置和速度;
步骤三:基于鹰鸽智能博弈的攻防策略设计,具体包括:S31、判断红蓝双方无人机集群之间的距离;
S32、对红蓝双方的无人机进行分组;
S33、确定红蓝双方攻防纯策略集合——鹰策略或鸽策略;
步骤四:基于鹰鸽智能博弈的红蓝双方支付矩阵求解,具体包括:计算红方的损失;计算蓝方的损失;计算红蓝双方鹰、鸽混合策略下的支付矩阵;
步骤五:基于鹰鸽智能博弈的红蓝双方混合策略求解,具体包括:S51、设计代价函数;
S52、用改进鸽群优化算法求解混合策略;
步骤六:输出红蓝双方对抗结果,具体包括:红蓝双方对抗中运动控制相关仿真结果;
红蓝双方对抗中攻防策略选择控制相关仿真结果。
2.根据权利要求1所述的仿鹰鸽智能博弈的无人机集群协同对抗控制方法,其特征在于:所述步骤S23实现机间聚集的具体过程如下:当无人机与邻居之间距离较远时,邻居会对无人机产生吸引力,使无人机机朝其邻居运动,无人机所受到邻居引力合力产生的加速度可以表示为:其中, 表示α方的第i个个体的聚集加速度,katt表示聚集加速度的控制增益,Rrep表示无人机i周围排斥环的半径,Ratt表示无人机i周围吸引环的半径, 表示对α方无人机i产生吸引力的邻居集合,j表示 中的个体,||·||表示对向量取2范数。
3.根据权利要求1所述的仿鹰鸽智能博弈的无人机集群协同对抗控制方法,其特征在于:所述步骤S24实现机间避障的具体过程如下:当无人机与邻居之间距离较近时,邻居会对无人机产生排斥力,使无人机背离邻居运动,无人机所受到邻居排斥力的合力产生的加速度可以表示为:其中, 表示α方的第i个个体的避障加速度,krep表示避障加速度的控制增益,表示对α方无人机i产生吸引力的邻居集合,j表示 中的个体。
4.根据权利要求1所述的仿鹰鸽智能博弈的无人机集群协同对抗控制方法,其特征在于:所述步骤S25实现接近敌机的具体过程如下:对于红方无人机而言,当其探测到蓝方无人机集群后,朝着蓝方无人机集群运动并进行拦截,红方无人机受到蓝方无人机集群引力产生的加速度可以表示为:其中, 表示红方的第i个个体的接近蓝方无人机集群的加速度,kb_r表示接近蓝方无人机集群的加速度的控制增益, 表示蓝方无人机集群中心坐标。
5.根据权利要求1所述的仿鹰鸽智能博弈的无人机集群协同对抗控制方法,其特征在于:所述步骤S31判断红蓝双方无人机集群之间的距离的具体过程如下:其中, 表示红方无人机集群中心坐标,disr_b表示双方集群中心的距离,当disr_b<Ropp时,认为对抗双方在速度上均可压制住对方,双方保持相对静止,否则转到步骤二,Ropp表示双方开始进行作战策略对峙的半径。
6.根据权利要求1所述的仿鹰鸽智能博弈的无人机集群协同对抗控制方法,其特征在于:所述步骤S32对红蓝双方的无人机进行分组的具体过程如下:设定双方无人机集群均分成numgroup个小组,M/num_group∈Z,N/num_group∈Z,Z表示整数集合;计算红方无人机 到蓝方无人机集群中心 的距离,按照从小到大进行排列,分成numgroup个小组,前attackr/numgroup个小组为攻击型小组,剩下的defendr/numgroup个小组为防御型小组;计算蓝方无人机 到红方无人机集群中心 的距离,按照从小到大进行排列,分成numgroup个小组,前attackb/numgroup个小组为攻击型小组,剩下的defendb/numgroup个小组为防御型小组。
7.根据权利要求1所述的仿鹰鸽智能博弈的无人机集群协同对抗控制方法,其特征在于:所述步骤S33确定红蓝双方攻防纯策略集合——鹰策略或鸽策略,具体过程如下:设定α方攻击型无人机小组中,有 个小组采用“鹰策略”攻击敌方攻击型,有个小组采用“鸽策略”攻击敌方防御型, 所以α方的第j个策略表示为
故α方的策略总数为
attackα/numgroup+1个,策略集合 转到步骤四。
8.根据权利要求1所述的仿鹰鸽智能博弈的无人机集群协同对抗控制方法,其特征在于:所述步骤S51设计代价函数的具体过程如下:设定α方以概率 选择策略集合sα中的 则r b
红蓝双方的混合策略集合可以各个纯策略被选择的概率表示,记为Π={β,β},则红方的期望支付值表示为:
r b
Er=β·A·(β)′
其中,A表示红方支付矩阵,Er表示红方的期望支付值;
蓝方的期望支付值表示为:
r b
Eb=β·B·(β)′
其中,B表示蓝方支付矩阵,Eb表示蓝方的期望支付值;根据纳什均衡理论,并且要保证红方大概率胜利的充分必要条件是:其中,Ai表示矩阵A的第i个行向量,Bj表示矩阵B的第j个列向量,代价函数可以表述为:
说明书 :
一种仿鹰鸽智能博弈的无人机集群协同对抗控制方法
技术领域
背景技术
环境下,具有显著的优势。但由于单架无人机执行任务和作战能力的局限性,空战对抗中作
战效能较低。多架UAV通过局部感知和信息交互,实现机间资源共享和优势互补,可以提高
无人机集群的整体作战效能,因此UAV的作战样式正在从单机作战向“集群”作战方向转变。
本发明旨在利用无人机集群协同对抗模式克服单架无人机对抗的技术瓶颈,提出一种鲁棒
高效的无人机集群协同对抗控制方法,实现无人机集群在未来信息化和网络化的复杂作战
环境下的智能攻击和防御。
多对多的空中对抗转化为一对一的对抗模型,然后进一步分析无人机集群协同空战的机动
决策过程。这种方法一般适合于小规模无人机之间的作战,应用于大规模无人机集群的动
态对抗时会导致计算量消耗巨大,并且不能实时考虑机间耦合对对抗态势的影响。另一种
是引入多Agent理论,将个体无人机视为独立的Agent,并设计相应的行为集和决策方法,以
此建立无人机对抗模型,该方法可通过个体间的交互描述无人机集群协同对抗过程,涌现
出宏观的集群协同对抗效果,提升大规模无人机集群协同作战效率。
中式控制中常见的方法有虚拟结构法、长‑僚机法,其原理是集群中所有无人机的状态信息
汇总至集中控制中心统一处理,当集群规模较大时,整个系统的可靠性较低,鲁棒性、灵活
性较差。分布式控制中常见的方法有人工势场法、集群控制法和α‑β‑γ框架法,其原理是每
架无人机通过局部的信息交互,进行自主决策,具有较好的灵活性和自组织性。针对对抗双
方攻防策略选择控制问题,现在大多数研究考虑的是单方优化的方法,该类方法只考虑自
身策略的最优,不对对手的策略进行预测分析,显然这样的控制不具有客观性。此外,自主
性较强的无人机集群在对抗过程中理应将对手策略对局势的影响纳入分析,从而在双方博
弈过程中形成攻防策略的智能选择,涌现出强大的对抗能力。
斗起来总是全力以赴,孤注一掷,除非身负重伤,否则绝不退却;鸽策略代表防御型,像自然
界的鸽子一样温顺,只是以风度高雅的惯常方式进行威胁恫吓,从不伤害其他动物。如果两
个鹰策略者相遇,两者之间必然会发生冲突,两者获胜的概率相同,并且冲突会导致双方均
受到一定程度的损伤。如果鹰策略者与鸽策略者相遇,鸽策略者会选择退让,鹰策略者获
胜,双方均不存在损伤。自然界中的生物通过鹰鸽博弈的方式进行策略交互,不断选择,逐
渐实现种群在进化论意义上的稳定。本发明借鉴鹰鸽博弈中攻防策略的智能选择机制,将
其映射到无人机集群协同对抗控制中的攻防策略选择控制上,结合无人机集群运动控制,
旨在解决无人机集群协同对抗控制问题。
发明内容
设计成本、符合实际作战场景、提高系统鲁棒性的基础上,进一步提升无人机集群协同作战
效能和自主能力水平。
无人机i产生吸引力的邻居集合,j表示 中的个体,||·||表示对向量取2范数。
二,Ropp表示双方开始进行作战策略对峙的半径。
排列,分成numgroup个小组,前attackr/numgroup个小组为攻击型小组,剩下的defendr/numgroup
个小组为防御型小组;计算蓝方无人机 到红方无人机集群中心 的距离,按照从小
到大进行排列,分成numgroup个小组,前attackb/numgroup个小组为攻击型小组,剩下的
defendb/numgroup个小组为防御型小组。
的第j个策略表示为
故α方的策略总数为
attackα/numgroup+1个,策略集合 转到步骤四。
则红蓝双方的混合策略集合可以各个纯策略被选择的概率表示,记为Π={β,β},则红方
的期望支付值表示为:
低计算复杂度的同时,提升了任务系统鲁棒性;二、提出了一种集群对抗运动控制方法,支
持红蓝双方在对抗过程中的自由运动,具有一定环境适应性;三、提出了一种基于鹰鸽博弈
的攻防策略选择控制方法,通过改进鸽群优化算法对混合策略进行求解,符合实际作战要
求,可支持无人机集群连续长时间对抗。
附图说明
具体实施方式
方为保护基地对蓝方实施拦截,双方进入对抗状态。本实例的仿真环境配置为intel i7‑
9750处理器,2.60GHz主频,8G内存,软件为MATLAB 2019b版本。
基地,但基地本身不具备攻击和防御的能力。红蓝双方的无人机集群均由攻击型无人机和
防御型无人机组成,且均为同一型号的固定翼无人机。防御型无人机均配备雷达干扰设备,
可对敌方通信系统和攻击系统实施干扰。攻击型无人机均配备一定数量的导弹,既可以选
择攻击对方的攻击型无人机,直接削弱对方的攻击能力,也可以选择攻击对方的防御型无
人机,以消除对方对己方发射的雷达干扰。红蓝双方具备相同的战场态势感知能力,双方均
知道彼此的无人机数量以及防御型和攻击型的比例,但不清楚具体的攻击策略。蓝方无人
机集群的作战目标是形成一个有序的整体,并朝着红方基地进攻;红方无人机集群的作战
目标是发现蓝方无人机集群的进攻,聚集形成一个有序的整体对蓝方无人机集群进行拦
截。
红方基地,设定仿真开始时刻,蓝方无人机随机生成初始位置,服从在[4000,5000]m上的均
匀分布。设定双方无人机的探测半径Rdetect=5000m,所以在仿真开始时,蓝方无人机集群已
经搜索到红方基地,红方无人机集群也已经发现蓝方无人机集群的攻击。红蓝双方的所有
无人机上均配有导弹和雷达干扰设备,即每架无人机可以根据战场态势确定自己选择成为
攻击型,还是防御型。
方的第i架无人机的速度, 表示α方的第i架无人机的加速度。因为无人机集群协同对抗
主要发生在水平面上,所以运动学模型不考虑对高度的控制,设定对抗双方的无人机均处
于同一额定高度。
服从在[‑60,‑30]m/s上均匀分布,双方无人机x、y轴上的速度限制均为250m/s,仿真间隔Δ
t=0.1s。
为:
attackb表示蓝方攻击型无人机的数量,defendb表示蓝方防御型无人机的数量。对于防御型
无人机而言,其产生的雷达干扰信号对敌方的无人机均能产生影响,不存在策略的选择。对
于攻击型无人机而言,可以选择攻击敌方的攻击型无人机或者是防御型无人机,按攻击对
象的不同,可以将攻击型无人机所能选择的策略分为“鹰策略”(攻击对象为攻击型)和“鸽
策略”(攻击对象为防御型)两种情况,后转步骤二。
二。
的运动。
信半径。
中的个体。
增益kv为1。
无人机i产生吸引力的邻居集合,j表示 中的个体,||·||表示对向量取2范数。
断自己邻居集合中位于排斥环半径和吸引环半径中间的个体有哪些,这些个体构成集合
对该无人机产生吸引力,吸引力的合力产生的加速度用式(5)计算,设定聚集加速
度的控制增益katt为5。
度的控制增益krep为5。
集群运动并进行拦截,红方无人机受到蓝方无人机集群引力产生的加速度可以表示为:
红方无人机,首先对所有蓝方无人机的位置加和求平均,计算出蓝方无人机集群的中心坐
标 进而用式(7)计算红方的第i个个体的接近蓝方的加速度 设定接近敌机加
速度的控制增益kb_r为10。
二,Ropp表示双方开始进行作战策略对峙的半径。
坐标 进而求得双方无人机集群中心间的距离disr_b。设定双方开始对峙的半径Ropp为
500m,如果双方集群中心距离小于Ropp,则表示对抗双方在速度上均可压制住对方,双方保
持相对静止,否则转到步骤二继续进行对抗运动控制。
排列,分成numgroup个小组,前attackr/numgroup个小组为攻击型小组,剩下的defendr/numgroup
个小组为防御型小组。计算蓝方无人机 到红方无人机集群中心 的距离,按照从小到
大进行排列,分成numgroup个小组,前attackb/numgroup个小组为攻击型小组,剩下的defendb/
numgroup个小组为防御型小组。
个攻击型小组,3个防御型小组。按蓝方无人机集群中设定的攻击型和防御型的无人机数
量,蓝方有3个攻击型小组,2个防御型小组。分组采用距离敌方无人机集群中心坐标的远近
进行划分,距离敌方近的无人机构成攻击型小组,剩下的构成防御型小组。
的第j个策略表示为 个攻击型小组攻击攻击型,用 个小组攻击敌方防
御型},故α方的策略总数为attackα/numgroup+1个,
后转步骤四。
况为 红方的攻防策略共计3种情况:
以上α=r。
蓝方的攻防策略共计4种情况:
以上α=b。
示双方防御型小组被攻击的概率,a表示双方攻击型小组被击落后的损失,b表示双方防御
型小组被击落后的损失。
被攻击的概率pdefend=0.5,攻击型小组被击落后的损失a=1,防御型小组被击落后的损失b
=1.5。
被攻击的概率pdefend=0.5,攻击型小组被击落后的损失a=1,防御型小组被击落后的损失b
=1.5。
采用第i个策略,蓝方采用时第j个策略时红方的支付值, 表示红方采用第i个策略,蓝方
采用第j个策略时蓝方的支付值,红方支付矩阵 蓝方的
支付矩阵A:
则红蓝双方的混合策略集合可以各个纯策略被选择的概率表示,记为Π={β,β},则红方
的期望支付值表示为:
的求解条件,计算出用于双方对抗时混合策略求取的代价函数。
价函数的自变量,即混合策略中各个纯策略被选择的概率。改进鸽群优化算法分成两个独
立的环节,首先每只鸽子按照下式更新位置Pi和速度Vi:
时刻的位置,Vi表示鸽子i在k时刻的速度,Vi 表示鸽子i在k‑1时刻的速度,R表示地图和
指南针因子,Pgbest表示在k‑1次迭代循环后通过比较所有鸽子的位置而得到的全局最好的
位置, 表示在k‑1次迭代循环后通过比较第i只鸽子的位置而得到的个体最好的位置,
rand表示0‑1之间的均匀随机数,当k>nc1,进入下一环节进行更新,nc1表示第一个环节的
最大迭代次数。
>nc1+nc2时,结束循环,得到最优解Pgbest,nc2表示第二个环节的最大迭代次数。
否则回到步骤五中的第(2)部分,重新求解。
正态分布,鸽子的初始速度Vi随机生成,服从[‑0.2,0.2]之间的正态分布,将初始位置代入
式(17)中可以得到每只鸽子所对应的代价函数,从中选出代价函数值最小的鸽子,作为初
始全局最优的解,每只鸽子的初始位置则为它们的初始个体最优位置,然后按式(18)进行
每只鸽子位置和速度的更新,然后更新全局最优和个体最优位置,再进行循环迭代,一直到
迭代次数到达第一个环节的最大迭代次数,设定第一个环节的最大迭代次数nc1为40次,地
图和指南针因子R=0.2。
离目标点远的鸽子,按上述过程进行迭代,一直到迭代次数到达第二个环节的最大迭代次
数,设定第二个环节的最大迭代次数nc2为10次。结束两次循环后,可以得到代价函数最小
的混合策略Pgbest。
回到步骤五中的第(2)部分,重新求解。
性,对于红方,序参量 对于蓝方,序参量 φ值越大,表示
集群的有序程度越高。
逐渐形成一个有序的整体,朝着敌方运动,并且在双方集群中心距离小于对峙距离时,对抗
运动控制停止,双方保持相对静止状态。图4是双方对抗运动终止时刻无人机集群位置分
布,可以看出双方形成的有序整体是一个圆形,机间距离均匀稳定,这样的形状可以增强无
人机集群的态势感知能力和攻击能力。图5a、b分别表示红方无人机集群x、y轴方向速度变
化曲线,可以看出在对抗运动过程中,红方无人机集群可以快速的实现速度一致性。图6a、b
分别表示蓝方无人机集群x、y轴方向速度变化曲线,可以看出在对抗运动过程中,蓝方无人
机集群可以快速的实现速度一致性。图7以序参量的变化曲线来表示双方在对抗运动过程
中运动方向趋于一致的程度,可以看出双方经过短时间相互作用后,运动方向均达成一致。
‑0.5
计算的代价函数取对数,可以看出代价函数在迭代30次的时候保持不变,值大概在10 左
右,满足精度要求。图9给出了混合策略的求解结果,在混合策略中,红方选择己方策略集合
中第2种策略的概率是0.85671,选择第3种策略的概率是0.14329,选择第1种策略的概率是
0,蓝方选择己方策略集合中的第1种策略的概率是0.29481,选择第3种策略的概率是
0.70519,选择第2种和第四种策略的概率是0。如果红蓝双方进行一次对抗,概率表示的是
双方对纯策略的偏好程度,如果红蓝双方进行重复对抗,概率表示双方选择各个纯策略被
选择的频率。此外图中给出了双方在该种混合策略下的期望支付值,红方的期望支付值为
1.2528,大于蓝方的期望支付值0.84385,表明在实际作战过程中,红方的获胜概率大于蓝
方。图10、图11给出了在本次求解的混合策略中,出现次数较高的两种情况,图10表示红方
采取第2种策略,蓝方采取第3种策略的双方对抗策略布局图,图11表示红方采取第2种策
略,蓝方采取第2种策略的双方对抗策略布局图。