一种动态蜂窝网络中的缓存放置和用户接入方法及装置

摘要

本申请公开一种动态蜂窝网络中的缓存放置和用户接入方法及装置。所述方法包括根据蜂窝网络内基站个数、用户个数和可缓存内容个数，利用随机方式初始化基站的缓存放置和用户接入；根据基站分布位置和缓存放置信息，在短时间尺度利用置信传播算法获得用户接入信息；根据基站分布位置和用户接入信息，在长时间尺度利用深度确定性策略梯度算法获得缓存放置信息；重复迭代计算，得到最终的缓存放置和用户接入信息。采用本申请技术方案，在蜂窝网络中引入缓存的基础上将缓存放置与用户接入联合优化，能够降低平均传输时延，提高用户体验。

权利要求

1.一种动态蜂窝网络中的缓存放置和用户接入方法，其特征在于，包括：

根据蜂窝网络内基站个数、用户个数和可缓存内容个数，利用随机方式初始化基站的缓存放置和用户接入；

根据基站分布位置和缓存放置信息，利用置信传播算法重复迭代计算用户接入信息，直至这一时间帧结束；

根据基站分布位置和用户接入信息，利用深度确定性策略梯度算法重复迭代计算缓存放置信息，直至算法收敛或达到迭代阈值，得到最终的缓存放置和用户接入信息；

将求解基站缓存放置方案映射为一个马尔科夫决策过程，其中状态空间S为内容流行T T度的状态E ，E 表示T时间帧的内容流行度的状态，A代表动作集合，即缓存放置策略，代表即时奖励；通过在较小的动作空间中定义Q值来描述动作的长期损失，具体表示为 其中0≤γ＜1表示折扣因子，E为运算符号，表示t 2t nt

求均值；在每一次迭代中，根据T‑1时间帧内用户接入策略{L ,L ,...L }、用户传输时延及T时间帧内内容流行度得到最优解 即最佳的缓存放置方案T t 2t nt

X，L ,L ,...L 分别表示t、2t…nt时隙的最佳用户接入信息。

2.如权利要求1所述的动态蜂窝网络中的缓存放置和用户接入方法，其特征在于，在信息初始化处理器中，根据蜂窝网络内基站个数、用户个数和可缓存内容个数，利用随机的方式初始化基站的缓存放置X0、用户接入L0，来获得初始化基站与用户之间的通信信息。

3.如权利要求2所述的动态蜂窝网络中的缓存放置和用户接入方法，其特征在于，在最佳用户接入处理器中，输入基站分布位置以及本时间帧内缓存放置信息之后，根据每个时隙输入的用户位置信息，采用置信传播算法求解该时隙内最佳用户接入；初次计算时缓存放置信息为缓存放置初始值X0。

4.如权利要求1所述的动态蜂窝网络中的缓存放置和用户接入方法，其特征在于，利用置信传播算法获得用户接入信息，具体包括如下子步骤：输入缓存放置信息，随机初始化用户接入信息，并设定最大迭代次数；

构造因子图，将求解最佳用户接入的问题转化为无约束的优化问题，并将该优化问题映射到因子图上，初始化函数节点与变量节点间的消息值；

根据置信传播算法计算规则，更新函数节点与变量节点间的消息值，同时更新每个变量节点的置信度；

在结束一次置信传播后判断置信度是否收敛，如果不收敛，则继续进行置信传播，直至达到最大迭代次数，如果收敛，则得到最佳用户接入信息。

5.如权利要求1所述的动态蜂窝网络中的缓存放置和用户接入方法，其特征在于，在基站最佳缓存分配处理器中，根据输入的基站分布位置以及上一时间帧的用户接入信息，利用深度确定性策略算法获得最佳的基站缓存放置X；根据输入的基站分布位置信息，内容流行度信息和用户接入信息，利用深度确定性策略算法来获得该时间帧基站缓存放置方案，通过计算以及比较内容缓存在基站中的传输时延来决定缓存放置方案。

6.如权利要求1所述的动态蜂窝网络中的缓存放置和用户接入方法，其特征在于，根据当前时间帧内基站缓存放置信息和每一时隙的用户位置信息，利用置信传播算法得到该时t t 2t nt间帧内每一时隙的最佳用户接入L，将作为输入，L ,L ,...L 分别表示t、2t…nt时隙的最T佳用户接入信息，通过深度确定性策略梯度算法得到最佳的缓存放置信息X ；重复计算用户接入信息和缓存放置信息直至达到最大迭代次数，得到最终的缓存放置和用户接入信息。

7.一种动态蜂窝网络中的缓存放置和用户接入装置，其特征在于，所述装置执行如权利要求1‑6任一项所述的动态蜂窝网络中的缓存放置和用户接入方法；所述装置具体包括：信息初始化处理器、最佳用户接入处理器、基站最佳缓存分配处理器、优化控制处理器；

信息初始化处理器与最佳用户接入处理器相连接，用于进行系统初始化；

最佳用户接入处理器与基站最佳缓存分配处理器和信息初始化处理器相连，根据输入的基站位置分布信息、用户位置分布信息和缓存放置信息利用置信传播算法获得最佳的用户接入信息；

基站最佳缓存分配器，与最佳用户接入处理器和优化管理处理器相连，根据输入的基站位置分布信息、该时间帧流行度信息和上一时间帧的用户接入信息，采用深度确定性策略梯度算法获得最佳缓存分配信息；

优化控制处理器，与最佳用户接入处理器和最佳缓存分配处理器相连，输出当前迭代过程中的最佳缓存放置和用户接入信息，判断迭代次数是否小于最大迭代次数，如果小于最大迭代次数则开始新一轮迭代；否则结束处理过程，输出最终缓存放置和用户接入信息。

8.一种基站，其特征在于，在所述基站上部署如权利要求7所述的一种动态蜂窝网络中的缓存放置和用户接入装置。

说明书

一种动态蜂窝网络中的缓存放置和用户接入方法及装置

技术领域

[0001] 本申请涉及蜂窝网络通信技术领域，尤其涉及一种动态蜂窝网络中的缓存放置和用户接入方法及装置。

背景技术

[0002] 近年来，随着移动设备的普及以及多媒体应用的日益成熟，移动数据流量和内容多样性呈爆炸式增长，传统网络结构已经不能适应如此快速增长的流量。蜂窝网络中面向移动互联网应用的内容分发技术研究已经成为热点。针对移动互联网数据内容分发产生的大量数据内容重复引起的网络拥塞和回程链路开销问题，已有研究在蜂窝网络提出边缘缓存的概念，通过热点内容缓存在网络边缘避免回程链路上重复内容的传输，从而减小回程链路的负担并减少内容请求的响应时间，同时可以优化频谱效率、能量效率、传输时延、回程成本、吞吐量等系统性能。

[0003] 由于用户在请求文件时遵循二八分布，大部分流量由少部分内容构成，通过将这部分内容缓存在基站，避免了在回程链路重复传输相同内容，在减小内容传输时延的同时节省网络带宽资源、减轻回程链路压力。然而，边缘缓存技术应用面临着基站存储空间有限与海量内容需求间的矛盾，因此，在缓存空间中放置哪些多媒体内容，即缓存放置问题，对移动网络中多媒体内容分发尤为重要。此外，缓存放置策略与用户接入策略强烈耦合，缓存策略直接影响用户接入策略部署，而用户接入结果又间接影响缓存策略的设计。因此，在考虑缓存放置的同时，用户按照何种策略接入基站也是非常关键的问题。

[0004] 对于多个具有缓存设备的基站和核心网组成的通信网络中，前人的工作并没有在考虑用户的移动性和内容流行度变化、信道环境多变的同时，将缓存放置以及用户接入联合考虑优化。首先，在实际应用中，用户位置、用户请求以及无线信道环境都在动态变化，某个时间点的最优不能保证长时间段的最优。并且在实际场景中，无线信道环境多以毫秒为时间单位动态变化，而流行度变化间隔相对缓慢很多。由于用户位置以及信道环境的动态变化，用户接入应该在一个较短的时间尺度变化。另一方面，由于内容流行度变化较慢。比如，一部新上映的电影，会在前几天持续流行，而后逐渐不再流行。由于内容缓存放置很大程度上受内容流行度影响。故内容缓存放置应该在一个较长的时间尺度变化。如果将内容缓存放置和用户接入决策放在同一时间尺度上，边缘服务器需频繁更新缓存的服务，考虑到边缘服务器的内存容量和带宽限制，频繁更新服务缓存是不现实的且会对系统带来额外负担，同时也会降低用户体验。其次，用户的当前位置决定了基站和用户之间的相对位置，即基站和用户之间的信干噪比，从而影响用户接入。当用户接入的基站可以为用户提供本地缓存时，用户会有较好的用户体验，即缓存放置和用户接入是相互影响的。因此，如何提供一种策略使得用户能够快速获得请求的内容，拥有较好的用户体验是亟待解决的问题。

发明内容

[0005] 为解决背景技术中的问题，本申请构建一种动态蜂窝网络中的缓存放置和用户接入方法及装置，针对蜂窝网络中的基站缓存，研究了动态网络环境下内容流行度未知时的缓存放置与联合优化问题，以期提升网络吞吐量、降低系统时延和开销等。

[0006] 本申请提供了一种动态蜂窝网络中的缓存放置和用户接入方法，包括：

[0007] 根据蜂窝网络内基站个数、用户个数和可缓存内容个数，利用随机方式初始化基站的缓存放置和用户接入；

[0008] 根据基站分布位置和缓存放置信息，利用置信传播算法重复迭代计算用户接入信息，直至这一时间帧结束；

[0009] 根据基站分布位置和用户接入信息，利用深度确定性策略梯度算法重复迭代计算缓存放置信息，直至算法收敛或达到迭代阈值，得到最终的缓存放置和用户接入信息。

[0010] 如上所述的动态蜂窝网络中的缓存放置和用户接入方法，其中，在信息初始化处理器中，根据蜂窝网络内基站个数、用户个数和可缓存内容个数，利用随机的方式初始化基站的缓存放置X 0、用户接入L0，来获得初始化基站与用户之间的通信信息。

[0011] 如上所述的动态蜂窝网络中的缓存放置和用户接入方法，其中，在最佳用户接入处理器中，输入基站分布位置以及本时间帧内缓存放置信息之后，根据每个时隙输入的用户位置信息，采用置信传播算法求解该时隙内最佳用户接入；初次计算时缓存放置信息为缓存放置初始值X 0。

[0012] 如上所述的动态蜂窝网络中的缓存放置和用户接入方法，其中，利用置信传播算法获得用户接入信息，具体包括如下子步骤：

[0013] 输入缓存放置信息，随机初始化用户接入信息，并设定最大迭代次数；

[0014] 构造因子图，将求解最佳用户接入的问题转化为无约束的优化问题，并将该优化问题映射到因子图上，初始化函数节点与变量节点间的消息值；

[0015] 根据置信传播算法计算规则，更新函数节点与变量节点间消息值，同时更新每个变量节点的置信度；

[0016] 在结束一次置信传播后判断置信度是否收敛，如果不收敛，则继续进行置信传播，直至达到最大迭代次数，如果收敛，则得到该时隙最佳用户接入信息。

[0017] 如上所述的动态蜂窝网络中的缓存放置和用户接入方法，其中，在基站最佳缓存分配处理器中，根据输入的基站分布位置以及上一时间帧内用户接入信息，利用深度确定性策略算法获得最佳的基站缓存放置X；根据输入的基站分布位置信息，内容流行度信息和用户接入信息，利用深度确定性策略算法来获得该时间帧基站缓存放置方案，通过计算以及比较内容缓存在基站中的传输时延来决定缓存放置方案。

[0018] 如上所述的动态蜂窝网络中的缓存放置和用户接入方法，其中，将求解基站缓存T放置方案映射为一个马尔科夫决策过程，其中状态空间S为内容流行度的状态E ，A代表动作集合，即缓存放置策略， 代表即时奖励；通过在较小的动作空间中定义Q值来描述动作的长期损失，具体表示为 其中0≤γ＜1表示
t 2t nt
折扣因子；在每一次迭代中，根据T‑1时间帧内用户接入策略{L ,L ,L,L }、用户传输时延及T时间帧内内容流行度得到最优解 即最佳的缓存放置方
T
案X。

[0019] 如上所述的动态蜂窝网络中的缓存放置和用户接入方法，其中，根据当前时间帧内基站缓存放置信息和每一时隙的用户位置信息，利用置信传播算法得到该时间帧内每一t t 2t nt时隙的最佳用户接入L ，将{L ,L ,L,L }作为输入，通过深度确定性策略梯度算法得到最佳的缓存放置信息X；重复计算用户接入信息和缓存放置信息直至达到最大迭代次数，得到最终的缓存放置和用户接入信息。

[0020] 本申请还提供一种动态蜂窝网络中的缓存放置和用户接入装置，包括：信息初始化处理器、最佳用户接入处理器、基站最佳缓存分配处理器、优化控制处理器；

[0021] 信息初始化处理器与最佳用户接入处理器相连接，用于进行系统初始化；

[0022] 最佳用户接入处理器与基站最佳缓存分配处理器和信息初始化处理器相连，根据输入的基站位置分布信息、用户位置分布信息和缓存放置信息利用置信传播算法获得最佳的用户接入信息；

[0023] 基站最佳缓存分配器，与最佳用户接入处理器和优化管理处理器相连，根据输入的基站位置分布信息、该时间帧流行度信息和上一时间帧内的用户接入信息，采用深度确定性策略梯度算法获得最佳缓存分配信息；

[0024] 优化控制处理器，与最佳用户接入处理器和最佳缓存分配处理器相连，输出当前迭代过程中的最佳缓存放置和用户接入信息，判断迭代次数是否小于最大迭代次数，如果小于最大迭代次数则开始新一轮迭代；否则结束处理过程，输出最终缓存放置和用户接入信息。

[0025] 本申请还提供一种基站，在所述基站上部署所述的一种动态蜂窝网络中的缓存放置和用户接入装置。

[0026] 本申请实现的有益效果如下：

[0027] (1)在蜂窝网络中引入缓存的思想，通过在基站部署缓存器件，将基站通信和缓存优势相结合，大大减少通过回程链路获取所需内容的时延，缓解回程链路压力，提高用户体验。

[0028] (2)在蜂窝网络中引入缓存的基础上将缓存放置与用户接入联合优化。用户接入时会考虑用户与基站的相对位置，选择信道条件良好的基站进行接入；同时用户接入时会考虑基站是否已缓存请求内容，基站进行缓存放置时会考虑用户对内容的偏好以及用户位置的移动性，相对于传统的单独考虑并优化的方法来说，能够更进一步的降低平均传输时延，提高用户体验。

[0029] (3)采用多时间尺度分别利用长时间尺度深度确定性策略算法解决缓存放置，利用短时间尺度置信传播算法解决用户接入问题。在降低传输时延，缓解回程链路压力的同时，考虑了系统因缓存内容更新带来的开销，从而使整个网络的性能都有所提升。

附图说明

[0030] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

[0031] 图1是本申请实施例一提供的一种动态蜂窝网络中的缓存放置和用户接入装置示意图；

[0032] 图2是本申请实施例二提供的一种动态蜂窝网络中的缓存放置和用户接入方法流程图；

[0033] 图3是利用置信传播算法获得用户接入信息的具体操作流程图；

[0034] 图4是优化缓存放置的具体操作流程图。

具体实施方式

[0035] 下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0036] 实施例一

[0037] 如图1所示，本申请实施例一提供一种动态蜂窝网络中的缓存放置和用户接入装置100，所述装置部署在基站上，对整个动态蜂窝网络的缓存部署和用户接入进行优化。所述装置具体包括信息初始化处理器110、最佳用户接入处理器120、基站最佳缓存分配处理器130、优化控制处理器140；其中：

[0038] 信息初始化处理器，与最佳用户接入处理器相连接，用于进行系统初始化。其中，进行系统初始化具体为：在动态蜂窝网络中根据基站个数和可缓存内容构建缓存分配指示矩阵，利用随机缓存获得初始化缓存部署信息；根据用户个数和基站个数构建接入指示矩阵，利用随机接入获得初始化用户接入信息。

[0039] 最佳用户接入处理器，与基站最佳缓存分配处理器和信息初始化处理器相连，根据输入的基站位置分布信息、用户位置分布信息和缓存放置信息利用置信传播算法获得该时隙的最佳用户接入信息。

[0040] 基站最佳缓存分配器，与最佳用户接入处理器和优化管理处理器相连，根据输入的基站位置分布信息、该时间帧流行度信息和上一时间帧的用户接入信息，采用深度确定性策略梯度算法获得最佳缓存分配信息。

[0041] 优化控制处理器，与最佳用户接入处理器和最佳缓存分配处理器相连。优化控制处理器中输出当前迭代过程中的最佳缓存放置和用户接入信息。判断迭代次数是否小于最大迭代次数，如果小于最大迭代次数则开始新一轮迭代；否则结束处理过程，输出最终缓存放置和用户接入信息。

[0042] 实施例二

[0043] 为有效降低动态蜂窝网络中长期内容传输时延，本申请实施例二提出一种多时间尺度下缓存放置与用户接入的联合优化方法，尽可能的缓解回传链路压力，减小系统开销，提升用户体验。

[0044] 场景假设：在多个配有缓存器件的基站组成的通信网络中，分布有M个基站，基站集合记为M＝{1,2,...,M}；假设基站的缓存空间一致记为sbits，用K＝{1,2,...,K}表示用户集合，用Nn＝{1,2,...,N}表示用户请求文件的集合，其中用户请求文件均可以从核心网获得，所有内容大小均为fbits；整个缓存放置过程用时间序列Tn＝{1,2,...,T}表示，T表示一个时间帧，也就是长时间尺度，在每个时间帧T，进行缓存内容部署与更新的操作；假设每个时间帧被分为一定数量的等长时隙T＝{1,2,...,t}，t表示一个时隙，也就是短时间尺度。pm,k为基站m为用户K分配的发送功率；系统带宽为B，基站m的平均传输功率为pm；用户位置k∈K,ck∈C＝＝{C1,C2,L,CI}，C是用户位置状态集合，用户位置每时隙转移一次，转移概t+1 t率表示为P{C |C}。流行度E∈E＝{E1,E2,L,EJ}，内容流行度每时间帧转移一次，转移概率T+1 T
表示为P{E |E}。

[0045] 如图2所示，一种动态蜂窝网络中的缓存放置和用户接入方法，包括：

[0046] 步骤210、根据蜂窝网络内基站个数、用户个数和可缓存内容个数，利用随机方式初始化基站的缓存放置X0和用户接入L0；n×m

[0047] 定义基站缓存放置矩阵矩阵X∈{0,1} ,n∈N,m∈M，其中 表示T时间帧内k×m容n缓存在基站m中，否则为0；定义用户接入指示矩阵L∈{0,1} ,k∈K,m∈M，其中lk,m＝1表示用户k接入基站m，否则为0；初始化缓存放置和用户接入分别为：X0，L0；

[0048] 在信息初始化处理器中，根据蜂窝网络内基站个数、用户个数和可缓存内容个数，利用随机的方式初始化基站的缓存放置X0、用户接入L0，来获得初始化基站与用户之间的通信信息。

[0049] 步骤220、根据基站分布位置和缓存放置信息，利用置信传播算法获得用户接入信息；

[0050] 步骤230、判断短时间尺度t是否达到迭代次数阈值，如果是，则执行步骤240，否则短时间尺度t+1，返回执行步骤220；

[0051] 其中，该步骤中的短时间尺度t为用户接入计算的迭代次数，在整个缓存放置过程中包括多个(如k个)长时间尺度，每一个长时间尺度内包含多个(如k’个)短时间尺度t，在迭代次数达到短时间尺度的最大值k’时，得到k’个用户接入，然后迭代计算k个长时间尺度T的缓存放置计算。

[0052] 在最佳用户接入处理器中，输入基站分布位置以及本时间帧内缓存放置信息之后，根据每个时隙输入的用户位置信息，采用置信传播算法求解该时隙内最佳用户接入；初次计算时缓存放置信息为步骤210中的缓存放置初始值X0；

[0053] 具体地，如图3所示，利用置信传播算法获得用户接入信息，具体包括如下子步骤：

[0054] 步骤310、输入缓存放置信息，随机初始化用户接入信息，并设定最大迭代次数；

[0055] 步骤320、构造因子图，将求解最佳用户接入的问题转化为无约束的优化问题，并将该优化问题映射到因子图上，初始化函数节点与变量节点间的消息值；

[0056] 步骤330、根据置信传播算法计算规则，更新函数节点与变量节点间的消息值，同时更新每个变量节点的置信度；

[0057] 步骤340、在结束一次置信传播后判断置信度是否收敛，如果不收敛，则继续进行置信传播，直至达到最大迭代次数，如果收敛，则得到最佳用户接入信息。

[0058] 返回参见图2，步骤240、根据基站分布位置和用户接入信息，利用深度确定性策略梯度算法循环获得缓存放置信息；

[0059] 步骤250、判断长时间尺度T是否达到迭代次数阈值，如果是，则执行步骤260，否则长时间尺度T+1，返回执行步骤240；

[0060] 其中，该步骤中的长时间尺度T为缓存放置计算的迭代次数，在整个缓存放置过程中包括多个(如k个)长时间尺度，每一个长时间尺度内包含多个(如k’个)短时间尺度t，在迭代次数达到短时间尺度的最大值k’时，得到k’个用户接入，然后迭代计算k个长时间尺度T的缓存放置计算。

[0061] 步骤260、迭代结束，输出最终的缓存放置和用户接入信息。

[0062] 具体地，在基站最佳缓存分配处理器中，根据输入的基站分布位置以及上一时刻用户接入信息，利用深度确定性策略算法获得最佳的基站缓存放置X；根据输入的基站分布位置信息、内容流行度信息和用户接入信息，利用深度确定性策略算法来获得基站缓存放置方案，通过计算以及比较内容缓存在基站中的传输时延来决定缓存放置方案；

[0063] 将求解基站缓存放置方案映射为一个马尔科夫决策过程，其中状态空间S为内容流T行度的状态E，A代表动作集合，即缓存放置策略， 代表即时奖励；通过在较小的动作空间中定义Q值来描述动作的长期损失，具体表示为
其中0≤γ＜1表示折扣因子；在每一次迭代中，根据T‑1时间帧内用户接入策略、用户传输时延及T时间帧内内容流行度得到最优解 即最佳的缓存放
T
置方案X；

[0064] 本申请的目的在于在多时间尺度下分别优化缓存放置与用户接入，在基站缓存空间有限的前提下，最小化内容传输时延，提升系统性能，即求解以下优化问题：

[0065]

[0066]

[0067]

[0068]

[0069]

[0070] 与内容缓存放置决策更新的时间尺度相比，内容请求的到来和离去发生在更短的时间尺度。因此本申请采用时间尺度分离的方式来实现用户接入决策与缓存放置决策，将该优化问题拆分为以下两个子问题：短时间尺度用户接入求解和长时间尺度缓存放置求解；

[0071] (1)短时间尺度用户接入求解：

[0072] 将上述优化问题转化为无约束的优化问题：

[0073]

[0074] 其中， 将该优化问题映射到因子图t
上，对函数节点和变量节点分别更新，循环迭代直至收敛，输出最佳用户接入信息L ；在该时间帧内，最佳用户接入处理器在每个时隙运算并输出最佳用户接入信息；

[0075] t时隙内，根据用户位置Ct、内容请求概率ET与已知的缓存内容策略XT得到最小内容获取时延如下：

[0076]

[0077]

[0078]

[0079] (2)长时间尺度缓存放置求解：

[0080] T时间帧，基于以上求解得到的T‑1时间帧内的最优用户连接{Lt,L2t,L,Lnt}，以最小化长期内容分发时延为优化目标，求解最优缓存放置决策：

[0081]

[0082]

[0083]

[0084] 当用户请求的内容被提前缓存在基站中时，基站直接为用户提供服务，无需再通过回程链路从核心网获得内容，从而大大减少时延，提升用户体验；每个基站的缓存空间都是有限的，优化缓存放置方案的目的是将接入基站的用户请求的内容尽可能多的放置在基站中；如图4所示，优化缓存放置具体包括如下子步骤：

[0085] 步骤410、构造actor网络与critic网络，初始化网络参数。

[0086] 步骤420：actor网络输出缓存放置策略。

[0087] 步骤430：采用置信传播算法求解本时隙内最佳用户接入。

[0088] 步骤440：判断短时间尺度t是否达到最大迭代次数，如果是，则执行步骤450，否则迭代次数t加1，继续执行步骤430；

[0089] 步骤450、存入经验池，更新critic网络和actor网络；

[0090] 步骤460：判断长时间尺度T是否达到最大迭代次数，如果是，则执行步骤470，否则迭代次数T加1，返回执行步骤420；

[0091] 步骤470、迭代结束，输出缓存放置信息。

[0092] 返回参见图2，步骤240、重复迭代计算，得到最终的缓存放置和用户接入信息。

[0093] 经上述计算后，在一次迭代内获得了一个时间帧内的缓存放置与该时间帧内每个时隙的用户接入信息；在优化控制处理器中，判断当前迭代次数是否小于最大迭代次数，如果小于，则将得到的缓存放置和用户接入信息作为新一轮迭代的输入计算得下一次迭代周期中最佳的缓存放置以及用户接入，重复迭代直至达到预设的迭代次数阈值，得到最终的缓存放置以及用户接入信息；否则结束迭代，输出最佳缓存放置与用户接入信息；

[0094] 其中，迭代过程具体为：根据当前时间帧内基站缓存放置信息和每一时隙的用户t t 2t位置信息，利用置信传播算法得到该时间帧内每一时隙的最佳用户接入L ，将{L ,L ,L,nt
L }作为输入进行下一步，通过深度确定性策略梯度算法得到最佳的缓存放置信息X；重复以上两个环节直至达到最大迭代次数，得到最终的缓存放置和用户接入信息。

[0095] 通过不断的迭代步骤220和步骤230,直至达到最大迭代次数，获得最佳的缓存放置和用户接入，减小内容传输时延，提升系统性能。

[0096] 以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。