本发明公开了一种高密度AP分布场景GCN‑DDPG无线局域网络参数调优方法和系统。方法包括：构建一个强化学习算法可以与之交互产生反馈的环境模型，这个反馈就是无线局域网络的饱和吞吐量估计；利用GCN图卷积神经网络，提取无线局域网络环境的参数信息和结构信息，作为输入提供给深度强化学习DDPG算法策略网络和价值网络的输入；利用构建深度强化学习算法模型，使其与无线局域网络仿真交互环境互动，优化深度强化学习算法的网络参数，使其收敛到一个稳定状态。系统包括环境交互模块、GCN模块以及DDPG模块。本发明可以在有限的计算资源和人工成本下，对无线局域网络参数进行优化，使其可以自我调节，到一个较好的工作状态，不用人工配置调整无线局域网络的参数。
1.一种高密度AP分布场景GCN‑DDPG无线局域网络参数调优方法，其特征在于，包括如下步骤：(1)通过数学建模的方式构建出无线局域网络的参数方案评估模型，参数方案评估模型的输入是所有AP的信号发射功率P和空闲信道评估阈值C；输出是所有AP的信号发射功率P、空闲信道评估阈值C以及对无线局域网络的饱和吞吐量的估计值R；
(2)通过GCN图卷积神经网络将参数方案评估模型的输出作为输入，进行特征的提取，处理成特征向量；
(3)构建深度强化学习DDPG算法模型，使其与构建的无线局域网络的参数方案评估模型交互，通过试错的方式提高算法性能使其收敛，深度强化学习DDPG算法模型收敛后的无线局域网络参数配置就是最优的无线局网络参数配置方案；深度强化学习DDPG算法模型的输入是GCN图卷积神经网络的输出特征向量，输出是所有AP的信号发射功率P和空闲信道评估阈值C，也就是参数配置方案；
(1.1)收集要仿真的真实的无线局域网络的参数信息，包括每个AP的信号发射功率、空闲信道评估阈值、所处信道以及整个无线局域网络的固有参数信息，固有参数信息包括网络中最大包长L，MAC帧头长度、PHY帧头长度、ACK、RTS、CTS、SIFS、DCF帧长度、最大随机退避窗口CWmax和最小随机退避窗口CWmin；将要仿真区域的三维坐标系，标出每个AP的位置；
(1.2)利用无线信号自由空间路径损耗公式计算出APi发射的信号到APj位置时的信号强度，计算出每一对AP强度，构成AP到AP信号强度矩阵；用同样的方法，计算出AP到UE的信号强度矩阵；
(1.3)利用上述两个信号强度矩阵，计算AP对于UE的信噪比以及信干噪比，根据信噪比选择连接的AP，根据信干噪比选择信号传输速率，然后计算AP对UE的一阶干扰和二阶干扰；
(1.4)利用参数方案评估模型，根据输入的AP的信号发射功率和空闲信道评估阈值，计算出无线局域网络的饱和吞吐量估计结果R，然后将AP的信号发射功率P和空闲信道评估阈值C和R，作为环境状态一起输出；
(2.1)将AP到AP的信号强度矩阵中，假设其中一行为APi，空闲信道评估阈值为Ci，将该行每一个值与Ci做比较，大于Ci该位置被赋值为1，小于为0，矩阵对角线元素置0；便可得到AP的邻接矩阵A，为1表示该位置的两个AP相互干扰；
(2.2)利用邻接矩阵A，计算度矩阵D；度矩阵只有对角线有值，且为邻接矩阵A相应行的所有值的累加；假设参数矩阵为X，然后利用公式 便可得到该参数的拉普拉斯矩阵变换；这个公式里面都是矩阵的乘法公式，因此H为一个矩阵，维度是AP的数量N*N；
(3.1)利用深度强化学习DDPG算法模型中的策略网络随机生成一个参数配置方案，即每一个AP的信号发射功率和空闲信道评估阈值，然后向配置中加入一定的随机数后，送入参数方案评估模型，获得这个配置的饱和吞吐量；将配置和饱和吞吐量一起存到记忆库中，重复N次这个操作；
(3.2)重复N次后，继续利用策略网络成参数配置，加入的噪声值，要随训练次数增多，逐渐减小；并且要从记忆库随机提取一批数据，利用策略梯度算法，更新深度强化学习DDPG算法模型中的策略网络和价值网络；
(3.3)不断重复训练的过程，直到策略网络收敛，交互环境给与的饱和吞吐量值趋于稳定；
(3.1.1)将所有的AP的信号发射功率以及空闲信道评估阈值进行归一化，然后同其余参数一起送入参数方案评估模型；
(3.1.2)利用AP路损信息表计算AP之间的干扰关系；建立AP到AP信号强度矩阵，建立AP到UE的信号强度矩阵；
(3.1.3)因此根据上面两步计算出的信号强度矩阵，计算出每一个AP，在UE所处的位置的信噪比；UE根据信噪比排序，选择信噪比最大的AP进行连接；然后利用两个信号强度矩阵计算出该AP在当前位置的信干噪比，并根据信干噪比选择信号传输速率；
(3.1.4)根据AP与AP之间的信号强度矩阵，假设AP1的空闲信道评估阈值是C1，那么将其他AP对AP1的干扰与这个值比较，如果大于C1，则认为是该AP是AP1的一阶干扰；用同样的方法计算出其他AP的一阶干扰AP；从AP组中删除AP1的一阶干扰AP，然后将剩下的AP两两组合，将它们的信号强度相加如果大于C1，则认为该组是AP1的二阶干扰AP；用同样的方法计算其他AP的二阶干扰AP；
(3.1.5)根据以上计算出来的参数，通过参数方案评估模型，计算出无线局域网在该参数下的饱和吞吐量估计值。
2.基于权利要求1所述方法的一种高密度AP分布场景GCN‑DDPG无线局域网络参数调优系统，其特征在于，包括：环境交互模块：所述环境交互模块中配置有参数方案评估模型，将DDPG模块生成的无线局域网络参数配置送入环境交互模块，模块输出该参数配置下，无线局域网络的饱和吞吐量估计值；
GCN模块：将交互环境模块输出的，无线局域网络的参数信息和结构信息，通过矩阵的拉普拉斯变换，将二者结合在一起，生成特征矩阵送入DDPG模块；
DDPG模块：策略网络评估当前无线局域网络参数状态下，应该配置的AP参数，价值网络评估该参数的好坏；然后利用策略梯度算法，更新两个网络的参数。
高密度AP分布场景GCN‑DDPG无线局域网络参数调优方法和
系统
技术领域
[0001] 本发明涉及种针对高密度AP分布场景GCN‑DDPG无线局域网络参数调优方法和系统，属于无线通信、数学建模、强化学习领域。
背景技术
[0002] 最近几年，随着IEEE802.11协议标准的不断完善，无线局域网络的性能不断提高，因此无线局域网已经成为了中大型企业实现网络办公、大型公共场所热点等大规模场景部署通信网络的首选方法。
[0003] 无线局域网络使用的公共的无线信道资源，在无线局域网络工作的2.4GHz这个频谱带上，分布着很多的其他无线设备例如蓝牙设备、电磁炉等，会极大地干扰无线局域网络信号的传输。即使不计算外界设备的干扰，无线局域网络将2.4GHz的频谱资源划分为13个信道，其中完全不产生相互干扰的只有1、6、11信道，这对于高密度AP分布的场景来说，还是很紧迫的资源。另外无线局域网络的工作模式是时分通信，虽然IEEE802.11协议规定了一系列策略减少碰撞，但是多用户并发的碰撞依旧是不可避免的，这也会给系统性能也会带来很严重的影响。因此如何在高密度AP分布的场景下，降低干扰和提高无线局域网络的性能是产业发展和技术研究的主要方向之一。
[0004] 就传统的调优方案而言，对无线局域网络整体进行建模，然后利用一系列公式算法对模型简化、优化，最终达到想要的效果，整体过程是一种静态的确定性的方案。但高密度AP分布下的无线局域网络是极为复杂的，想依靠传统的基于模型和规则的方式设计降低同频干扰、提高无线局域网络性能的方案，需要耗费大量的人力物理，但效果往往并不理想。
[0005] 本发明中引入了当前热门的深度强化学习算法DDPG(Deep Deterministic Policy Gradient，确定性深度策略梯度)。而对于强化学习，一切都是动态的过程。强化学习是通过与环境的交互，在不断试错的情况下优化决策模型本身的。强化学习本身的决策不一定是当前环境下最优的决策，它将未来的收益也纳入考虑，而传统算法优化的结果就是当前情况下的最优解，无法顾及一段时间后环境的变化。而在深度学习以及GCN技术加入之后，深度强化学习算法拥有了更为准确的特征输入，对环境的理解也更加深刻，因此算法的收敛速度更快也更为稳定。
发明内容
[0006] 发明目的：本发明涉及一种针对高密度AP分布场景GCN‑DDPG无线局域网络参数调优方法和系统。本发明主要是为了解决无线局域网络参数调优困难的问题。
[0007] 上述目的通过以下技术方案来实现：
[0008] 一种针对高密度AP分布场景GCN‑DDPG无线局域网络参数调优方法，包括如下步骤：
[0009] (1)通过数学建模的方式构建出无线局域网络的参数方案评估模型，参数方案评估模型的输入是所有AP(无线接入点)的信号发射功率P和空闲信道评估阈值C；输出是所有AP的信号发射功率P、空闲信道评估阈值C以及对无线局域网络的饱和吞吐量的估计值R；
[0010] (2)通过GCN图卷积神经网络将参数方案评估模型的输出作为输入，进行特征的提取，处理成特征向量；
[0011] (3)构建深度强化学习DDPG算法模型，使其与构建的无线局域网络的参数方案评估模型交互，通过试错的方式提高算法性能使其收敛，深度强化学习DDPG算法模型收敛后的无线局域网络参数配置就是最优的无线局网络参数配置方案；深度强化学习DDPG算法模型的输入是GCN图卷积神经网络的输出特征向量，输出是所有AP的信号发射功率P和空闲信道评估阈值C，也就是参数配置方案。
[0012] 优选地，步骤(1)的具体步骤包括：
[0013] (1.1)收集要仿真的真实的无线局域网络的参数信息，包括每个AP的信号发射功率、空闲信道评估阈值、所处信道以及整个无线局域网络的固有参数信息，固有参数信息包括网络中最大包长L，MAC(媒介访问控制层)帧头长度、PHY(物理层)帧头长度、ACK(确认帧)、RTS(ready to send，请求发送帧)、CTS(clear to send，准许发送帧)、短帧间隔(Short Inter‑Frame Space，SIFS)、DCF帧间隔(DCF Inter‑Frame Space，DIFS)长度，最大随机退避窗口CWmax和最小随机退避窗口CWmin；将要仿真区域的三维坐标系，标出每个AP的位置，另外随机生成AP数量10倍的UE(用户)的位置信息；
[0014] (1.2)假设APi与APj的距离是n米，使用2.4gHz频段传输信号，利用无线信号自由空间路径损耗公式(通信领域经验公式，路损＝32.4+20log(n/1000)+20log(2400))计算出APi发射的信号到APj位置时的信号强度，计算出每一对AP强度，构成AP到AP信号强度矩阵；用同样的方法，计算出AP到UE的信号强度矩阵；
[0015] (1.3)利用上述两个信号强度矩阵，计算AP对于UE的信噪比以及信干噪比，根据信噪比选择连接的AP，根据信干噪比选择信号传输速率，然后计算AP对UE的一阶二阶干扰；
[0016] (1.4)利用数学模型，根据输入的AP的信号发射功率和空闲评估阈值，计算出无线局域网络的饱和吞吐量估计结果R，然后将AP的信号发射功率P和空闲评估阈值C和R，作为环境状态一起输出。
[0017] 优选地，步骤(2)的具体步骤包括：
[0018] (2.1)将AP到AP的信号强度矩阵中，假设其中一行为APi，空闲信道评估阈值为Ci，将该行每一个值与Ci做比较，大于Ci该位置被赋值为1，小于为0，矩阵对角线元素置0；便可得到AP的邻接矩阵A，为1表示该位置的两个AP相互干扰；
[0019] (2.2)利用邻接矩阵A，计算度矩阵D；度矩阵只有对角线有值，且为邻接矩阵A相应行的所有值的累加；假设参数矩阵为X，然后利用公式 便可得到该特征参数的拉普拉斯矩阵变换；这个公式里面都是矩阵的乘法公式，因此H为一个矩阵，维度是AP的数量N*N。
[0020] 优选地，步骤(3)的具体步骤包括：
[0021] (3.1)利用策略网络随机生成一个参数配置方案，即每一个AP的信号发射功率和空闲信道评估阈值，然后向配置中加入一定的随机数后，送入环境交互模块，获得这个配置的饱和吞吐量；将配置和饱和吞吐量一起存到记忆库中，重复N次(比如10000次)这个操作；
[0022] (3.2)重复N次后，继续利用策略网络成参数配置，加入的噪声值，要随训练次数增多，逐渐减小；并且要从记忆库随机提取一批数据，利用策略梯度算法，更新策略网络和价值网络；
[0023] (3.3)不断重复训练的过程，直到策略网络收敛，交互环境给与的饱和吞吐量值趋于稳定。
[0024] 优选地，步骤(3.1)的具体步骤包括：
[0025] (3.1.1)将所有的AP的信号发射功率以及空闲信道评估阈值进行归一化其中Pmax、Pmin是所有AP的信号发射功率的最大值和最小值，空闲信道评估阈值也是一样的操作，然后同其余参数一起送入参数方案评估模型；
[0026] (3.1.2)利用AP路损信息表计算AP之间的干扰关系；建立AP到AP信号强度矩阵，建立AP到UE的信号强度矩阵；
[0027] (3.1.3)因此根据上面两步计算出的信号强度矩阵，计算出每一个AP，在UE所处的位置的信噪比；UE根据信噪比排序，选择信噪比最大的AP进行连接；然后利用两个信号强度矩阵计算出该AP在当前位置的信干噪比，并根据信干噪比选择信号传输速率；
[0028] (3.1.4)根据AP与AP之间的信号强度矩阵，假设AP1的空闲信道评估阈值是C1，那么将其他AP对AP1的干扰与这个值比较，如果大于C1，则认为是该AP是AP1的一阶干扰；用同样的方法计算出其他AP的一阶干扰AP；从AP组中删除AP1的一阶干扰AP，然后将剩下的AP两两组合，将它们的信号强度相加如果大于C1，则认为该组是AP1的二阶干扰AP。用同样的方法计算其他AP的二阶干扰AP；
[0029] (3.1.5)根据以上计算出来的参数，通过模型公式，计算出无线局域网在该参数下的饱和吞吐量估计值。
[0030] 一种针对高密度AP分布场景GCN‑DDPG无线局域网络参数调优系统，包括：
[0031] 环境交互模块：将DDPG模块生成的无线局域网络参数配置送入环境交互模块，模块输出该参数配置下，无线局域网络的饱和吞吐量估计值；
[0032] GCN模块：将交互环境模块输出的，无线局域网络的参数信息和结构信息，通过矩阵的拉普拉斯变换，将二者结合在一起，生成特征矩阵送入DDPG模块；
[0033] DDPG模块：策略网络评估当前无线局域网络参数状态下，应该配置的AP参数，价值网络评估该参数的好坏；然后利用策略梯度算法，更新两个网络的参数。
[0034] 本发明对比现有技术的有益性在于：本发明可以针对大多数情况下的无线局域网络环境，可以在有限的人手的训练资源的情况下，自动生成无线局域网络的参数配置，免去人工计算的困难。
附图说明
[0035] 图1为本发明实施例GCN‑DDPG无线局域网络参数调优方法估计架构图；
[0036] 图2为本发明实施例交互环境模块的细节流程图；
[0037] 图3为本发明实施例使用的无线局域络参数图；
[0038] 图4为本发明实施例AP信号传输速率参数图；
[0039] 图5为本发明实施例GCN模块的细节流程图；
[0040] 图6为本发明实施例深度强化学习细节流程图；
[0041] 图7为策略网络用策略梯度算法的细节流程图；
[0042] 图8为环境反馈的无线局域网络饱和吞吐量值曲线。
具体实施方式
[0043] 下面结合附图和实施例对本发明的技术方案作进一步的说明。
[0044] 本实施例提供了一种针对高密度AP分布场景GCN‑DDPG无线局域网络参数调优方法，解决了传统方法难以对高密度AP分布下无线局网络参数调优的难题。图1展示了本发明GCN‑DDPG无线局域网络参数调优方法估计架构图，包括：
[0045] 深度强化学习模块：
[0046] 交互环境模块：将DDPG模块生成的无线局域网络参数配置(AP的信号发射强度和空闲信道侦听阈值)送入环境交互模块，模块输出该参数配置下，无线局域网络的饱和吞吐量估计值。
[0047] GCN图卷积神经网络模块：将交互环境模块输出的，无线局域网络的参数信息(AP当前的发射信号强度和空闲信道评估阈值)和结构信息(AP之间的邻接矩阵)，通过矩阵的拉普拉斯变换，将二者结合在一起，生成特征矩阵送入DDPG模块。
[0048] DDPG模块：策略网络评估当前无线局域网络参数状态下，应该配置的AP参数，价值网络评估该参数的好坏。然后利用策略梯度算法，更新两个网络的参数。
[0049] 图2展示了交互环境模块的细节流程图，包括：
[0050] 步骤S101、将所有的AP的信号发射功率以及空闲信道评估阈值进行归一化其中Pmax、Pmin等，是所有AP的信号发射功率的最大值和最小值，空闲信道评估阈值也是一样的操作，然后将其余参数送入。模型中，本实施例参数如图3。
[0051] 步骤S102、无线信号自由空间路径损耗公式计算AP之间的干扰关系。因为AP1与AP2的干扰关系是相互的，因此AP1到AP2和AP2到AP1的路损是一致的。因此用AP1的信号发射功率减去二者之间的路损，便可以得到AP1在AP2的信号强度是多少，也就是干扰强度的大小，建立成一个AP到AP信号强度矩阵，同理建立AP到UE的信号强度矩阵。
[0052] 步骤S103、根据上面计算出的信号强度矩阵，很容易计算出每一个AP，在UR所处的位置的信噪比。UE根据信噪比排序，选择信噪比最大的AP进行连接。但因为在UE的位置，所有AP经受的噪声强度是一致的，因此在实际操作中，只需要选择信号强度最大的AP连接即可。
[0053] 然后利用两个信号强度矩阵计算出该AP在当前位置的信干噪比，并根据信干噪比选择信号传输速率，具体参数如图5所示。信干噪比的计算方式，假设UE连接的AP是AP1，它的信号强度为P。可以求出剩余AP的信号强度Psum，而则信干燥比＝log(P/Psum)具体参数如图4所示。
[0054] 步骤S104、根据AP与UE之间的信号强度矩阵，假设UE1的空闲信道评估阈值是C1，那么将其他AP对UE1的干扰与这个值比较，如果大于C1，则认为是该AP是UE1的一阶干扰。用同样的方法计算出其他UE的一阶干扰AP。从AP组中删除UE1的一阶干扰AP，然后将剩下的AP两两组合，将它们的信号强度相加如果大于C1，则认为该组是UE1二阶干扰AP。用同样的方法计算其他UE的二阶干扰AP。
[0055] 步骤S105、根据以上计算出来的参数，通过模型公式，计算出无线局域网在该参数下的饱和吞吐量估计值，然后将AP的信号发射功率P和空闲评估阈值C和R，作为环境状态一起输出。
[0056] 1)利用模型中的计算公式，参数带入，计算出数据包顺利传输时所用平均时间Ts、数据包传输失败所用平均时间Tc，以及数据发送概率τ和冲突概率p计算公式如下：
[0057] 其中H为MAC帧头长度、PHY帧头长度的总和，各个符号代表传输该帧需要的时间长度
[0058]
[0059] 其中 n为AP的个数
[0060] 2)利用模型公式可以计算出一个UE和AP链路当前时刻信号传输的概率Ptr和信号传输
[0061] 成功的概率Ps。公式如下：
[0062]
[0063]
[0064] 其中n1和n2表示该AP的一个干扰AP数量个二阶AP干扰数量
[0065] 3)然后可以用上述两个概率计算出AP节点状态，分别是AP处于空闲状态Pidle、传输状态Pdata以及冲突状态Pcoll公式，计算公式如下：
[0066]
[0067] 4)最后利用改进模型的计算公式，计算出单个AP和UE链路的饱和吞吐量，计算公式如下：
[0068]
[0069] δ是传播时延，为1us，rate是UE的传输速度。最后对所有UE链路的饱和吞吐量估计值求和，就可得到无线局域网络总的饱和吞吐量估计值R。
[0070] 图5展示了GCN模块的细节流程图，包括：
[0071] 步骤S201、将AP到AP的信号强度矩阵中，假设其中一行为APi，空闲信道评估阈值为Ci，将改行每一个值与Ci做比较，大于Ci该位置被赋值为1，小于为0，矩阵对角线元素置0。便可以得到AP的邻接矩阵A，为1表示该位置的两个AP相互干扰。
[0072] 步骤S202、利用邻接矩阵A，计算度矩阵D。度矩阵只有对角线有值，且为邻接矩阵A相应行的所有值的累加。假设参数矩阵为X，然后利用GCN公式 便可以得到该特征参数的拉普拉斯矩阵变换。这个公式里面都是矩阵的乘法公式，因此H为一个矩阵，维度是AP的数量N*N。
[0073] 图6展示了深度强化学习细节流程图，包括
[0074] 步骤S301、利用策略网络随机生成一个参数配置(每一个AP的信号发射功率和空闲信道评估阈值)，在加入配置中加入一定的随机数后，送入交互环境模块，获得这个配置的饱和吞吐量。将配置个饱和吞吐量一起存到记忆库中，重复N(比如10000)次这个操作。
[0075] 步骤S302、随着训练次数的增加后，减小加入参数配置的噪声n。每完成一次算法与环境的交互，将交互的数据送入记忆库，然后从记忆库抽取一批数据，用于策略网络和价值网络的参数更新。如图7所示，策略网络用策略梯度算法更新，价值网络用TD error更新,TD‑error是样本在使用TD算法更新时目标值函数与当前状态值函数的差值，其中目标值函数是立即奖励与下一个状态值函数之和。
[0076] 策略梯度算法是强化学习的目标是为智能体找到一个最优的行为策略从而获取最大的回报。策略梯度方法主要特点在于直接对策略进行建模并优化。策略通常被建模为由θ参数化的函数πθ(a|s)。回报(目标)函数的值受到该策略的直接影响，因而可以采用很多算法来对θ进行优化来最大化回报(目标)函数。回报(目标)函数定义如下：
[0077]
[0078] 其中dπ(s)代表有πθ引出的马尔科夫链的平稳分布(π下的在线策略状态分布)。使用梯度上升方法，我们可以将参数θ往梯度 给出的方向进行改变从而去找到最优的θ使得其对应的策略θ能够给智能体带来最大的期望累积回报。
[0079]
[0080] 策略性能的梯度 通常被称为策略梯度,优化策略的算法通常被称为策略算法。
[0081] 步骤S303、查看每次环境反馈的无线局域网络的饱和吞吐量值是否趋于稳定，进入平滑状态。如果是，则训练完成，没有则继续训练，直到收敛。
[0082] 采用上述算法对实施例的其中一次训练的结果进行展示，训练算法时，环境反馈的无线局域网络饱和吞吐量值曲线如图8所示。从图中可以看出，本模型确实可以有效的无线局域网络参数进行调整，使得无线局域网络的饱和吞吐量性能不断地提高至一个稳定状态。
[0083] 本发明实现了针对高密度AP分布下，利用GCN‑DDPG结合的深度强化学习算法对无线局域网络进行参数的优化。和传统的参数优化方法相比，本发明提出的方法可以使用少量的人力资源和计算资源的情况下快速对无线局域网络的参数进行调整。而且随着AP数量的增多，传统的参数优化方法的复杂度是呈指数倍增长。而对于本发明，AP的增多只是让输入的拉普拉斯特征矩阵的维度增加1，整体算法的复杂性并未增长。而且强化学习技术应用于通信领域的样例还是很少，本发明具有一定的借鉴意义。
[0084] 本发明已以较佳实施例揭示如上，但并非用以限定相关领域技术方案。本领域的技术人员可以对本发明的技术方案进行修改或者完善，而不脱离本发明技术方案的精神和范围，均涵盖在本发明的权力要求范围当中。
