协同边缘缓存方法及装置转让专利
申请号 : CN202110411328.2
文献号 : CN113115362B
文献日 : 2023-04-07
发明人 : 周欢 , 郑汉同
申请人 : 三峡大学
摘要 :
本发明实施例提供一种协同边缘缓存方法及装置，首先获取边缘缓存系统的覆盖范围内各用户终端在对应的边缘设备触发的内容请求；然后以边缘缓存系统的系统能耗最小为优化目标，以边缘缓存系统中请求处理主体唯一、边缘缓存系统中各边缘设备的缓存容量限制以及用户终端允许的请求延迟限制为约束条件，基于内容请求，采用强化学习算法确定内容请求对应的最优协同边缘缓存策略；最后基于最优协同边缘缓存策略，对内容请求对应的内容进行处理。可以确定出最优协同边缘缓存策略，使得边缘缓存系统的系统能耗降至最低，减少了边缘缓存系统的应用成本，提高了MBS下所有协同SBS的缓存利用率，减少回程流量的负载。
权利要求 :
1.一种协同边缘缓存方法，其特征在于，包括：获取边缘缓存系统的覆盖范围内各用户终端在对应的边缘设备触发的内容请求；
以所述边缘缓存系统的系统能耗最小为优化目标，以所述边缘缓存系统中请求处理主体唯一、所述边缘缓存系统中各边缘设备的缓存容量限制以及所述用户终端允许的请求延迟限制为约束条件，基于所述内容请求，采用强化学习算法确定所述内容请求对应的最优协同边缘缓存策略；
基于所述最优协同边缘缓存策略，对所述内容请求对应的内容进行处理；
当用户终端u请求内容f时，根据内容传输过程，边缘缓存系统在t时刻的系统能耗可以用公式表示为：其中， 表示当用户终端u请求内容f时，边缘缓存系统在t时刻的系统能耗，表示当用户终端u请求内容f时，边缘缓存系统在t时刻的内容传输能耗， 表示当用户终端u请求内容f时，边缘缓存系统在t时刻的用户终端能耗， 表示当用户终端u请求内容f时，边缘缓存系统在t时刻的内容缓存替换能耗，表示是否应将本地SBSi中的内容以及哪些内容替换为当前内容；
在确定最优协同边缘缓存策略时，优化问题可规划如下：s.t C1:
C2∶
C3:
C4:
C5:
公式中约束条件的含义如下：
C1是二进制缓存决策，表示内容f的请求处理主体；
C2是表示是本地SBSi是否发生了内容替换的决策变量；
C3确保用户终端的内容请求的请求处理主体唯一，即最终只能由本地SBSi、协作SBSj或MBS请求处理主体的一个进行处理；
C4是SBSi缓存容量限制，以确保SBSi上缓存内容的总数据大小不超过其缓存容量；
C5是每个用户允许的最大延迟；
集合 用来表示SBS和MBS，其中0表示的是MBS，集合{1,2,
3,…,N}表示的是N个SBS，C为缓冲容量；
集合 用来表示U个用户；
集合 用来表示系统中的F个内容；
集合 用来表示系统运行固定长度的时隙，其中T表示有限的时间范围； 表示内容f的数据大小；二进制决策变量 表示在t时刻本地SBSi对请求内容f的处理决策；
C为数据缓存容量；
表示每个用户u的最大请求容忍延迟， 为内容f的传输延时。
2.根据权利要求1所述的协同边缘缓存方法，其特征在于，所述强化学习算法具体为Q学习算法。
3.根据权利要求2所述的协同边缘缓存方法，其特征在于，所述基于所述内容请求，采用强化学习算法确定所述内容请求对应的最优协同边缘缓存策略，具体包括：基于所述内容请求，将所述优化目标以及所述约束条件表征的优化问题转换为马尔可夫决策过程，并采用Q学习算法确定所述内容请求对应的最优协同边缘缓存策略。
4.根据权利要求2所述的协同边缘缓存方法，其特征在于，所述基于所述内容请求，采用强化学习算法确定所述内容请求对应的最优协同边缘缓存策略，具体包括：对于所述Q学习算法中每一状态，基于∈‑greedy策略，选择所述状态下的动作。
5.根据权利要求1‑4中任一项所述的协同边缘缓存方法，其特征在于，所述边缘缓存系统的系统能耗包括内容传输能耗、用户终端能耗和内容缓存替换能耗；
所述内容传输能耗用于表征请求内容通过不同链路传输的能耗；
所述用户终端能耗用于表征用户终端发送内容请求并接收请求内容的过程中产生的能耗；
所述内容缓存替换能耗用于表征边缘设备为缓存请求内容而替换现有缓存内容产生的能耗。
6.根据权利要求5所述的协同边缘缓存方法，其特征在于，所述内容传输能耗包括请求内容通过所述边缘缓存系统中的中心设备、所述用户终端对应的本地边缘设备或者所述用户终端对应的协作边缘设备传输的能耗。
7.一种协同边缘缓存装置，其特征在于，包括：获取模块，用于获取边缘缓存系统的覆盖范围内各用户终端在对应的边缘设备触发的内容请求；
确定模块，用于以所述边缘缓存系统的系统能耗最小为优化目标，以所述边缘缓存系统中请求处理主体唯一、所述边缘缓存系统中各边缘设备的缓存容量限制以及所述用户终端允许的请求延迟限制为约束条件，基于所述内容请求，采用强化学习算法确定所述内容请求对应的最优协同边缘缓存策略；
缓存模块，用于基于所述最优协同边缘缓存策略，对所述内容请求对应的内容进行处理；
当用户终端u请求内容f时，根据内容传输过程，边缘缓存系统在t时刻的系统能耗可以用公式表示为：其中， 表示当用户终端u请求内容f时，边缘缓存系统在t时刻的系统能耗，表示当用户终端u请求内容f时，边缘缓存系统在t时刻的内容传输能耗， 表示当用户终端u请求内容f时，边缘缓存系统在t时刻的用户终端能耗， 表示当用户终端u请求内容f时，边缘缓存系统在t时刻的内容缓存替换能耗，表示是否应将本地SBSi中的内容以及哪些内容替换为当前内容；
在确定最优协同边缘缓存策略时，优化问题可规划如下：s.t C1:
C2∶
C3:
C4:
C5:
公式中约束条件的含义如下：
C1是二进制缓存决策，表示内容f的请求处理主体；
C2是表示是本地SBSi是否发生了内容替换的决策变量；
C3确保用户终端的内容请求的请求处理主体唯一，即最终只能由本地SBSi、协作SBSj或MBS请求处理主体的一个进行处理；
C4是SBSi缓存容量限制，以确保SBSi上缓存内容的总数据大小不超过其缓存容量；
C5是每个用户允许的最大延迟；
集合 用来表示SBS和MBS，其中0表示的是MBS，集合{1,2,
3,…,N}表示的是N个SBS，C为缓冲容量；
集合 用来表示U个用户；
集合 用来表示系统中的F个内容；
集合 用来表示系统运行固定长度的时隙，其中T表示有限的时间范围； 表示内容f的数据大小；二进制决策变量 表示在t时刻本地SBSi对请求内容f的处理决策；
C为数据缓存容量；
表示每个用户u的最大请求容忍延迟， 为内容f的传输延时。
8.根据权利要求7所述的协同边缘缓存装置，其特征在于，所述确定模块，具体用于：基于所述内容请求，将所述优化目标以及所述约束条件表征的优化问题转换为马尔可夫决策过程，并采用强化学习算法确定所述内容请求对应的最优协同边缘缓存策略。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述协同边缘缓存方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述协同边缘缓存方法的步骤。
说明书 :
协同边缘缓存方法及装置
技术领域
[0001] 本发明涉及移动通信技术领域，尤其涉及一种协同边缘缓存方法及装置。
背景技术
[0002] 随着5G技术的发展和智能设备(如智能手机、智能手表等)的普及，每天都产生大量的蜂窝流量，特别是一些多媒体业务和应用，给移动网络带来了巨大的挑战。当前的基于云的处理模型的集中式性质对于满足严格的服务质量要求的大规模内容交付可能不可行，实际上，基于云的处理过程中的额外能耗和长传输延迟一直是当前网络中的严重瓶颈，这已引起了学术界和行业的广泛关注。
[0003] 最近的研究发现，只有少数流行内容会被大多数用户多次请求，其余大部分内容很少被请求，这种模式促进了边缘缓存技术在无线接入技术中的实现。此外，边缘缓存已经被认为是一种有前途的技术，它可以使来自宏基站(Macrocell BaseStation，MBS)或云的缓存服务接近网络边缘(例如，在小基站(Small cell BaseStation，SBS)和物联网(Internet of Things，IoT)设备中)，特别是，它还可以在未来的移动网络减少冗余流量和内容传输的能源消耗。边缘缓存使用网络边缘的SBS的缓存容量来缓存受欢迎的内容，相邻的SBS相互连通，可以相互协作以获得良好的性能。
[0004] 因此，为了提高MBS下所有协同SBS的缓存利用率，减少回程流量的负载，在动态边缘网络中，现急需提供一种高效的边缘缓存方法。
发明内容
[0005] 本发明实施例提供一种协同边缘缓存方法及装置，用以解决现有技术中存在的缺陷。
[0006] 本发明实施例提供一种协同边缘缓存方法，包括：
[0007] 获取边缘缓存系统的覆盖范围内各用户终端在对应的边缘设备触发的内容请求；
[0008] 以所述边缘缓存系统的系统能耗最小为优化目标，以所述边缘缓存系统中请求处理主体唯一、所述边缘缓存系统中各边缘设备的缓存容量限制以及所述用户终端允许的请求延迟限制为约束条件，基于所述内容请求，采用强化学习算法确定所述内容请求对应的最优协同边缘缓存策略；
[0009] 基于所述最优协同边缘缓存策略，对所述内容请求对应的内容进行处理。
[0010] 根据本发明一个实施例的协同边缘缓存方法，所述强化学习算法具体为Q学习算法。
[0011] 根据本发明一个实施例的协同边缘缓存方法，所述基于所述内容请求，采用强化学习算法确定所述内容请求对应的最优协同边缘缓存策略，具体包括：
[0012] 基于所述内容请求，将所述优化目标以及所述约束条件表征的优化问题转换为马尔可夫决策过程，并采用Q学习算法确定所述内容请求对应的最优协同边缘缓存策略。
[0013] 根据本发明一个实施例的协同边缘缓存方法，所述基于所述内容请求，采用强化学习算法确定所述内容请求对应的最优协同边缘缓存策略，具体包括：
[0014] 对于所述Q学习算法中每一状态，基于∈‑greedy策略，选择所述状态下的动作。
[0015] 根据本发明一个实施例的协同边缘缓存方法，所述边缘缓存系统的系统能耗包括内容传输能耗、用户终端能耗和内容缓存替换能耗；
[0016] 所述内容传输能耗用于表征请求内容通过不同链路传输的能耗；
[0017] 所述用户终端能耗用于表征用户终端发送内容请求并接收请求内容的过程中产生的能耗；
[0018] 所述内容缓存替换能耗用于表征边缘设备为缓存请求内容而替换现有缓存内容产生的能耗。
[0019] 根据本发明一个实施例的协同边缘缓存方法，所述内容传输能耗包括请求内容通过所述边缘缓存系统中的中心设备、所述用户终端对应的本地边缘设备或者所述用户终端对应的协作边缘设备传输的能耗。
[0020] 本发明实施例还提供一种协同边缘缓存装置，包括：
[0021] 获取模块，用于获取边缘缓存系统的覆盖范围内各用户终端在对应的边缘设备触发的内容请求；
[0022] 确定模块，用于以所述边缘缓存系统的系统能耗最小为优化目标，以所述边缘缓存系统中请求处理主体唯一、所述边缘缓存系统中各边缘设备的缓存容量限制以及所述用户终端允许的请求延迟限制为约束条件，基于所述内容请求，采用强化学习算法确定所述内容请求对应的最优协同边缘缓存策略；
[0023] 缓存模块，用于基于所述最优协同边缘缓存策略，对所述内容请求对应的内容进行处理。
[0024] 本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述协同边缘缓存方法的步骤。
[0025] 本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述协同边缘缓存方法的步骤。
[0026] 本发明实施例提供的协同边缘缓存方法及装置，首先获取边缘缓存系统的覆盖范围内各用户终端在对应的边缘设备触发的内容请求；然后以边缘缓存系统的系统能耗最小为优化目标，以边缘缓存系统中请求处理主体唯一、边缘缓存系统中各边缘设备的缓存容量限制以及用户终端允许的请求延迟限制为约束条件，基于内容请求，采用强化学习算法确定内容请求对应的最优协同边缘缓存策略；最后基于最优协同边缘缓存策略，对内容请求对应的内容进行处理。可以确定出最优协同边缘缓存策略，使得边缘缓存系统的系统能耗降至最低，减少了边缘缓存系统的应用成本，提高了MBS下所有协同SBS的缓存利用率，减少回程流量的负载。
附图说明
[0027] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0028] 图1是本发明实施例提供的一种协同边缘缓存方法的流程示意图；
[0029] 图2是本发明实施例提供的一种协同边缘缓存方法中边缘缓存系统的结构示意图；
[0030] 图3是本发明实施例提供的一种协同边缘缓存方法的收敛性能示意图；
[0031] 图4是本发明实施例提供的协同边缘缓存方法与三种基准方法当SBSs的缓存容量不同时在系统能耗方面的性能比较示意图；
[0032] 图5是本发明实施例提供的协同边缘缓存方法与三种基准方法当用户数量不同时，在系统能耗方面的性能比较示意图；
[0033] 图6是本发明实施例提供的一种协同边缘缓存装置的结构示意图；
[0034] 图7是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
[0035] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0036] 目前，为了提高MBS下所有协同SBS的缓存利用率，减少回程流量的负载，在动态边缘网络中并没有一种高效的边缘缓存方法。为此，本发明实施例中提供了一种协同边缘缓存方法。
[0037] 图1为本发明实施例中提供的一种协同边缘缓存方法的流程示意图，如图1所示，该方法包括：
[0038] S1，获取边缘缓存系统的覆盖范围内各用户终端在对应的边缘设备触发的内容请求；
[0039] S2，以所述边缘缓存系统的系统能耗最小为优化目标，以所述边缘缓存系统中请求处理主体唯一、所述边缘缓存系统中各边缘设备的缓存容量限制以及所述用户终端允许的请求延迟限制为约束条件，基于所述内容请求，采用强化学习算法确定所述内容请求对应的最优协同边缘缓存策略；
[0040] S3，基于所述最优协同边缘缓存策略，对所述内容请求对应的内容进行处理。
[0041] 具体地，本发明实施例中提供的一种协同边缘缓存方法，其执行主体为服务器，可以是本地服务器，也可以是云端服务器，本地服务器可以是计算机、平板电脑以及智能手机等，本发明实施例中对此不作具体限定。
[0042] 首先，执行步骤S1。获取边缘缓存系统的覆盖范围内各用户终端在对应的边缘设备触发的内容请求。边缘缓存系统可以包括中心设备以及至少一个边缘设备，中心设备可以是宏基站(Macrocell BaseStation，MBS)，边缘设备可以是小基站(Small cell BaseStation，SBS)。中心设备与小基站之间可以通过有线光缆进行连接，各小基站SBS均可以通过无线链路为地理位置上分散的大量的用户终端提供内容服务，并且相邻的SBS可以通过有线光缆进行连接。边缘缓存系统中每个SBS部署一个具有有限缓存容量的边缘服务器用于缓存流行内容，然后每个SBS可以缓存各种内容以满足用户终端的内容服务需求。SBS可以包括本地SBS和协作SBS，本地SBS是指用户终端连接的SBS，协作SBS是指缓存有与本地SBS连接的用户终端请求的内容的SBS，用以分担本地SBS的缓存压力。
[0043] 因此，当用户终端产生内容请求时，如果该用户终端连接的本地SBS已经缓存了其请求的内容，则本地SBS将直接通过无线链路将内容发送给用户终端。但是，每个用户终端在发送内容请求时只能连接到一个SBS。当本地SBS没有缓存用户终端请求的内容，协作SBS或MBS首先将请求的内容通过有线链路发送到本地SBS，然后从本地SBS通过无线链路将请求的内容发送给用户终端。
[0044] 如图2所示，本发明实施例中边缘缓存系统可以是三层网络结构，包括用户层、小基站(SBS)和宏基站(MBS)，MBS可以通过有线链路与SBS通信。本发明实施例中考虑的场景包括N+1个基站，可用集合N＝{0,1,2,…,N}来表示，其中下标0表示的是MBS，集合{1,2,3,…,N}表示的是N个SBS，并且每个SBS都配备了一个具有有限缓存容量为C的缓存服务器。
用户终端可用集合U＝{1,2,3,…,U}表示。边缘缓存系统中可以包括F个MBS覆盖范围内用户终端可以访问的内容，用集合F＝{1,2,3,…,F}来表示。进一步地，假设边缘缓存系统的运行时长用集合T＝{0,1,2,3,…,t,…,T}来表示，其中T表示有限的时间范围。
用户终端可用集合U＝{1,2,3,…,U}表示。边缘缓存系统中可以包括F个MBS覆盖范围内用户终端可以访问的内容，用集合F＝{1,2,3,…,F}来表示。进一步地，假设边缘缓存系统的运行时长用集合T＝{0,1,2,3,…,t,…,T}来表示，其中T表示有限的时间范围。
[0045] 在不失一般性的前提下，假设每个用户终端产生的内容请求都服从Zipf定律分布，而Zipf定律用于衡量内容受欢迎程度。这里，用Pf来表示内容f的流行度，可以表示为：
[0046]
[0047] 其中，Rf为内容f的受欢迎程度，由高到低排列，τ和β分别为平台因子和偏态指标。
[0048] 考虑到N个SBS的部署信息和无线信道条件，在t时刻，本地SBSi(i∈{1,2,3,…,N})和用户终端u之间的数据传输速率可以表示为：
[0049]
[0050] 其中，W表示数据传输带宽，σ2表示背景噪音功率，qi表示SBSi的传输功率，gi,u表示SBSi和用户终端u之间的信道增益，通常信道增益与SBSi和用户终端u之间的距离有关。
[0051] 然后，在t时刻，内容f从本地SBSi发送给用户终端u所消耗的时间可以表示为：
[0052]
[0053] 其中， 表示内容f的数据大小。考虑到用户的服务质量，假设每个用户终端u的请求延迟不超过其最大容忍延迟 这是由用户终端自身的情况决定的。
[0054] 然后，执行步骤S2。以边缘缓存系统的系统能耗最小为优化目标，以边缘缓存系统中请求处理主体唯一、边缘缓存系统中各边缘设备的缓存容量限制以及用户终端允许的请求延迟限制为约束条件，基于内容请求，采用强化学习算法确定内容请求对应的最优协同边缘缓存策略。
[0055] 边缘缓存系统的系统能耗是指边缘缓存系统中用户终端从向本地SBS发送内容请求后至请求的内容返回值用户终端的整个过程中的传输能耗总和。边缘缓存系统中请求处理主体是指内容请求对应的内容的来源，可以是MBS、本地SBS或协作SBS。当请求处理主体是本地SBSi时，表示SBSi缓存有用户终端请求的内容f；当请求处理主体是协作SBSj时，表示协作SBSj缓存有用户终端请求的内容f；当请求处理主体是MBS时，表示在本地SBSi以及协作SBSj都没有缓存用户终端请求的内容f，此时，本地SBSi将内容请求转发给MBS进行处理，用户终端u可以直接通过本地SBSi从MBS下载请求的内容f。边缘缓存系统中各边缘设备的缓存容量限制是指各边缘设备能够缓存的最大内容量，用户终端允许的请求延迟限制用户终端能够容忍的最大请求延迟。
[0056] 本发明实施例中，以优化目标和约束条件构造优化问题，并结合内容请求，通过强化学习算法求解优化问题，进而实现根据内容请求确定内容请求对应的最优协同边缘缓存策略。其中，最优协同边缘缓存策略是指寻找内容请求对应的内容的获取位置，以实现系统能耗最小的策略。其中，获取位置可以是MBS、协作SBS或本地SBS。强化学习算法可以考虑到时变的边缘缓存系统中实际的动态情况，最大程度地提高边缘缓存系统的长期回报。在没有任何先验信息的情况下，可以通过观测当前环境来选择动作以及获得一个未来回报的反馈值进行学习，从而找到一个最优协同边缘缓存策略。
[0057] 最后执行步骤S3，根据最优协同边缘缓存策略，对内容请求对应的内容进行处理。即在将内容请求对应的内容获取后，一方面将获取的内容返回至用户终端完成用户的内容请求服务，另一方面将获取的内容进行处理，将获取的内容缓存至本地SBS或者协作SBS，当用户设备下次发出相同的内容请求时直接从本地SBS获取请求的内容，或者通过本地SBS从协同SBS获取请求的内容。或者，将获取的内容仅保留在MSB，当用户设备下次发出相同的内容请求时直接通过本地SBS从MSB下载请求的内容，并不需要事先对请求的内容进行缓存。
[0058] 本发明实施例中提供的协同边缘缓存方法，首先获取边缘缓存系统的覆盖范围内各用户终端在对应的边缘设备触发的内容请求；然后以边缘缓存系统的系统能耗最小为优化目标，以边缘缓存系统中请求处理主体唯一、边缘缓存系统中各边缘设备的缓存容量限制以及用户终端允许的请求延迟限制为约束条件，基于内容请求，采用强化学习算法确定内容请求对应的最优协同边缘缓存策略；最后基于最优协同边缘缓存策略，对内容请求对应的内容进行处理。可以确定出最优协同边缘缓存策略，使得边缘缓存系统的系统能耗降至最低，减少了边缘缓存系统的应用成本，提高了MBS下所有协同SBS的缓存利用率，减少回程流量的负载。
[0059] 在上述实施例的基础上，本发明实施例中提供的协同边缘缓存方法，所述边缘缓存系统的系统能耗包括内容传输能耗、用户终端能耗和内容缓存替换能耗；
[0060] 所述内容传输能耗用于表征请求内容通过不同链路传输的能耗；
[0061] 所述用户终端能耗用于表征用户终端发送内容请求并接收请求内容的过程中产生的能耗；
[0062] 所述内容缓存替换能耗用于表征边缘设备为缓存请求内容而替换现有缓存内容产生的能耗。
[0063] 具体地，本发明实施例中，边缘缓存系统的系统能耗可以包括内容传输能耗、用户终端能耗和内容缓存替换能耗。内容传输能耗用于表征请求内容通过不同链路传输的能耗；不同的请求处理主体对应有不同链路，用户终端能耗用于表征用户终端发送内容请求并接收请求内容的过程中产生的能耗。内容缓存替换能耗用于表征边缘设备为缓存请求内容而替换现有缓存内容产生的能耗。由于用户终端的内容请求未在本地SBSi上处理，则本地SBSi应决定是否缓存用户终端请求的内容f。如果需要缓存，由于SBSs缓存的容量有限，可能会替换现有缓存中的某些内容。因此，当缓存容量不足时，哪些内容应被新的内容所替换，这将通过内容缓存替换能耗所表示。
[0064] 当用户终端u请求内容f时，根据内容传输过程，边缘缓存系统在t时刻的系统能耗可以用公式表示为：
[0065]
[0066] 其中， 表示当用户终端u请求内容f时，边缘缓存系统在t时刻的系统能耗， 表示当用户终端u请求内容f时，边缘缓存系统在t时刻的内容传输能耗，表示当用户终端u请求内容f时，边缘缓存系统在t时刻的用户终端能耗， 表示当用户终端u请求内容f时，边缘缓存系统在t时刻的内容缓存替换能耗，表示是否应将本地SBSi中的内容以及哪些内容替换为当前内容。
[0067] 本发明实施例中，将系统能耗进行细化，考虑的更加全面，可以使得到的最优边缘缓存策略更精准的实现系统能耗最小的优化目标。
[0068] 在上述实施例的基础上，本发明实施例中提供的协同边缘缓存方法，所述内容传输能耗包括请求内容通过所述边缘缓存系统中的中心设备、所述用户终端对应的本地边缘设备或者所述用户终端对应的协作边缘设备传输的能耗。
[0069] 具体地，本发明实施例中，内容传输能耗可以通过如下公式表示：
[0070]
[0071] 其中， 表示用户终端u请求内容f时，边缘缓存系统中在t时刻的系统能耗， 表示t时刻内容f的请求处理主体为本地SBSi， 表示t时刻内容f从本地SBSi发送给用户终端u的传输能耗； 表示t时刻内容f的请求处理主体为协作SBSi， 表示t时刻内容f从协作SBSi发送给用户终端u的传输能耗； 表示t时刻内容f的请求处理主体为MBS， 表示t时刻内容f从MBS发送给用户终端u的传输能耗。
[0072] 本发明实施例中，在确定内容传输能耗时，考虑了请求内容通过所述边缘缓存系统中的中心设备、所述用户终端对应的本地边缘设备或者所述用户终端对应的协作边缘设备传输的能耗，可以使得能耗的确定更加合理化。
[0073] 在上述实施例的基础上，本发明实施例中提供的协同边缘缓存方法，若在本地SBSi上处理内容请求，则在这种情况下，决策变量 即内容f在t时刻缓存在本地SBSi中，可以通过无线网络直接发送给用户终端u。因此，可以得到在t时刻内容f从本地SBSi发送给用户终端u的传输能量消耗为：
[0074]
[0075] 其中，PSBS表示的是SBS的传输功率。
[0076] 在上述实施例的基础上，本发明实施例中提供的协同边缘缓存方法，若在协作SBS上处理内容请求，则在这种情况下，决策变量 1并且i≠j,j≠0。即在t时刻，内容f缓存在协作SBSj中，而不是缓存在本地SBSi中。此时，内容f先通过有线链路发送到本地SBSi，然后通过无线链路发送给用户终端u。在这种情况下，协作SBSj的能量消耗为：在t时刻内容f由协作SBSj发送给用户终端u的传输能耗可得：
[0077]
[0078] 其中，P1表示在SBS和SBS之间的传输每个比特数据的能量消耗。
[0079] 在上述实施例的基础上，本发明实施例中提供的协同边缘缓存方法，若在MBS处理内容请求，即当 这意味着本地SBSi和协作SBSj都没有缓存用户终端请求的内容f。此时，本地SBSi将内容请求转发给MBS进行处理，用户终端u可以直接通过本地SBSi从MBS下载内容f。在这种情况下，MBS的能量消耗为： 在t时刻，内容f由MBS发送给用户终端u的传输能耗可得：
[0080]
[0081] 其中，P2表示在SBS和MBS之间的传输每个比特数据的能量消耗。
[0082] 在上述实施例的基础上，本发明实施例中提供的协同边缘缓存方法，在确定用户终端能耗时，由于内容请求消息数据大小非常小，因此可以忽略发送内容请求的能量消耗。当用户终端u收到请求的内容f时，内容f是通过无线链路发送给用户终端u，定义用户的接收功率为：
[0083]
[0084] 其中，λ表示路径损耗因子，是一个常数，dsbs→u表示本地SBSi与用户终端u之间的距离。
[0085] 因此，用户终端u在t时刻接收内容f的能量消耗可表示为：
[0086]
[0087] 在上述实施例的基础上，本发明实施例中提供的协同边缘缓存方法，在确定内容缓存替换能耗时，当本地SBS或协作SBS中发生内容替换时，MBS通过有线链路将内容f发送给的相应SBS，对应的传输能耗可以表示为：
[0088] 在上述实施例的基础上，本发明实施例中提供的协同边缘缓存方法，所述强化学习算法具体为Q学习算法。
[0089] 具体地，本发明实施例中，在确定最优协同边缘缓存策略时，优化问题可规划如下：
[0090]
[0091]
[0092]
[0093]
[0094]
[0095]
[0096] 公式(6)中约束条件的含义如下：
[0097] C1是二进制缓存决策，表示内容f的请求处理主体；
[0098] C2是表示是本地SBSi是否发生了内容替换的决策变量；
[0099] C3确保用户终端的内容请求的请求处理主体唯一，即最终只能由本地SBSi、协作SBSj或MBS请求处理主体的一个进行处理；
[0100] C4是SBSi缓存容量限制，以确保SBSi上缓存内容的总数据大小不超过其缓存容量；
[0101] C5是每个用户允许的最大延迟。
[0102] 由于边缘缓存系统中缓存替换动作是动态变化的，因此，边缘缓存系统需要实时收集网络状态信息，并根据网络的当前状态采取相应的内容放置策略。因此，本发明实施例中的优化问题是一个混合整数非线性规划(Mixed Integer Nonlinear Programming，MINLP)问题，问题的可行集不是凸的，并且方法的复杂性总是随着问题值的增加而呈指数增长。为此，本发明实施例中通过Q学习算法进行求解优化问题。
[0103] 在利用Q学习算法进行求解优化问题时，可以先将优化目标以及约束条件表征的优化问题转换为马尔可夫决策过程(Markov Decision Process，MDP)，相关的状态空间，动作空间和奖励函数定义如下。
[0104] 状态空间(S)：在每个时隙的开始，智能体可以获取每个用户终端的请求信息。因此，在t时刻，可用SBSi的当前状态可以定义为： 前者其中 表示在t时刻来自用户终端u的
请求状态，而 表示用户终端u发送了对内容f的请求，而 则相反。后者
表示SBSi中内容f的缓存
状态，其中 示SBSi已缓存内容f， 则相反。
请求状态，而 表示用户终端u发送了对内容f的请求，而 则相反。后者
表示SBSi中内容f的缓存
状态，其中 示SBSi已缓存内容f， 则相反。
[0105] 动作空间(A)：此系统中，在t时刻，动作元组包括两部分，表示为其中， 如前面所提到的表示内容f请求的处理动作，后者 表示SBSi中的内容f替换控
制变量。
制变量。
[0106] 奖励函数：本发明实施例中的目标是最大程度地减少系统的总能耗。当本地SBS在时隙t处于状态st∈S下采取行动at∈A时，它将获得一个奖励值R(st,at)作为当前动作的反馈。为了获得最大的系统奖励并确保最小的系统能耗目标，使用负指数函数对奖励函数进行归一化。因此，将奖励函数定义为：
[0107]
[0108] 强化学习可以使智能体能够在特定环境中自动学习，并不断尝试采取理想的动作来获得最大的累积预期回报，而智能体的目标是找到最优策略 在MDPπ
中，定义一个状态值函数V (st)，也就是说，在任意初始状态条件下，在策略π下状态st中对奖励的长期期望都可以表示为:
中，定义一个状态值函数V (st)，也就是说，在任意初始状态条件下，在策略π下状态st中对奖励的长期期望都可以表示为:
[0109]
[0110] 其中，α∈(0,1]为折现因子，α越大，未来奖励的影响越大，对长期收益的关注度越高，而α越小，对即时收益的关注度越高。
[0111] 从长远考虑，希望每个SBS都可以自适应地学习一种最佳策略，以使期望的平均回报Rlong最大化：
[0112]
[0113] 用st+1表示在当前状态st下执行动作at后，智能体到达的下一个状态，根据Bellman方程，不管初始状态和初始策略(第一策略)如何，当将第一策略形成的动作和状态视为初始条件时，其余策略都必须构成剩余问题最优策略,状态值函数如下：
[0114]
[0115] 综上所述，强化学习智能体的目标是学习一种最佳策略，以便它可以获得在当前状态下获得的奖励的最大累积折扣值。因此，可以将优化问题转换为用于寻求最佳状态值的函数，表示为：
[0116]
[0117] 因此可以通过最大化状态值函数来获得最佳控制策略：
[0118]
[0119] 本发明实施例中使用的强化学习算法是Q学习，这是一种使用Q表进行值迭代以逐*步逼近最佳选择策略π的强化学习方法，它是一种典型的强化学习方法。Q学习可以描述为一种在MDP中获得最佳策略的学习动作。具体而言，Q学习的智能体需要计算在每个特定环境中进行的动作而获得的状态‑动作对的Q函数结果，并且在与环境的每次交互之后更新并维护Q表中的Q值。最后，通过在Q表中选择每个状态对应的最大Q值的动作来获得最佳策略。
然后，等式(15)可以进一步抽象为：
然后，等式(15)可以进一步抽象为：
[0120]
[0121] 根据公式(18)可以很容易地获得最优状态值函数，可以将其表示为：
[0122]
[0123] 因此，公式(18)可以重新表示为：
[0124]
[0125] 其中 是学习率参数。
[0126] 总的来说，本发明实施例中的工作原理就是：在t时刻，智能体执行的一个动作at，然后计算并更新Q表(Q表是二维表)中的值Q(st,at)，Q表中的Q值可以视为智能体采取一系列行动后的长期累积奖励。首先，每个状态和动作对的Q值是随机初始化的，为了使智能体具有探索功能，可以在每一状态st下以∈‑greedy策略来选择动作at，其中∈是一个用来为强化学习提供探索的递减值，∈的范围在0到1之间。智能体以1‑∈的概率选择Q表中对应最大Q值的动作，并以∈的概率在动作空间中随机选择一个动作，具体可表示如下：
[0127]
[0128] 当算法执行完一个动作at后，环境将给予智能体一个实时回报R(st,at)，当前状态st也将转变到下一状态st+1。在获得了这些信息以后，Q表中状态‑动作对st‑at相应的Q值也可以由公式(20)来进行更新。
[0129] 现结合附图2说明本发明实施例中提供的协同边缘缓存方法。本发明实施例中考虑了在MBS的覆盖范围内部署了4个SBS，并且用户终端随机分布在MBS的服务区域内。MBS的传输功率为20W，SBSs的传输功率为5W。信道功率增益gn,u设置为127+30log10(L)，其中L是用户与SBS之间的距离。边缘缓存系统中共有3000个内容，每个内容sf的内容大小均匀分布在[3，8]Mbit的范围内，将每个SBS的缓存容量设置为C＝100M。内容流行度遵循参数β＝0.45的zipf分布。学习率参数设置为 折扣系数α＝0.9。值得注意的是，在每个时隙t，内容请求都是动态的，所有请求处理必须在最大可容忍延迟内完成。
[0130] 为了评估所提出的基于Q学习算法的协同边缘缓存方法的性能，将基于Q学习算法的协同边缘缓存方法与其他三种基准方法进行了比较。本发明实施例中给出了以下三种基准方法：用“FIFO”表示当发生内容替换时，首先替换第一个缓存的内容；用“LFU”表示当发生内容替换时，首先替换最少使用的内容；用“LRU”表示当发生内容替换时，首先替换最近最少使用的内容。
[0131] 图3显示了所提出的基于Q学习算法的协同边缘缓存方法的收敛性能。可以看出，随着智能体与系统环境不断交互，每个episode的总系统能耗降低了。此外，经过约600次训练学习后，整个系统的能耗逐渐保持在一个相对稳定的值，这表明提出的基于Q学习算法的协同边缘缓存方法可以在没有任何先验知识的情况下成功学习有效的内容缓存策略。
[0132] 图4显示了当SBSs的缓存容量不同时，四种方法在系统总能耗方面的性能比较。可以看出，随着SBSs缓存容量的增加，这四种方法的总系统能耗都降低了。这是因为SBSs的缓存容量越小，缓存在SBSs中的受欢迎内容就越少，这导致了频繁的缓存替换。通过比较这四种方法，我们发现所提出的基于Q学习的方法具有最佳的性能，因为它消耗的能量最少。当SBSs的缓存容量固定时，“LFU”方法的总系统能耗低于“LRU”方法的总能耗，而“FIFO”方法的总系统能耗最大。主要原因是在不同的缓存策略下，当用户请求内容时，在不同缓存位置的内容传递会产生不同的传输能耗。值得注意的是，当SBSs的缓存容量为100M时，我们提出的基于Q学习的方法分别比其他三种方法少消耗21％，14％和11％的能量。
[0133] 图5显示了当用户数量不同时，这四种方法在系统总能耗方面的性能比较。可以看出，所有方法的总系统能耗随着用户的增加而增加。这是因为系统中存在更多的用户，用户请求更多的内容，这导致系统总能耗的增加。此外，随着用户数量的增加，尤其是当用户数量较大时，我们提出的Q学习学习的方法的性能仍然是最佳的。主要原因是我们提出的基于Q学习的方法可以充分利用SBSs的可用缓存容量，以最大程度地降低系统总能耗。
[0134] 综上所述，本发明实施例中提供的协同边缘缓存方法，考虑了具有三层结构的异构网络中的边缘缓存系统，并将总系统能耗优化问题表述为混合整数非线性规划(MINLP)问题，将优化问题建模为马尔可夫决策过程(MDP)。然后，提出了一种基于Q学习的方法来解决优化问题。最后，通过仿真结果表明，与其他现有方法相比，该基于Q学习的解决方案具有优越的性能。
[0135] 图6为本发明实施例中提供的一种协同边缘缓存装置的结构示意图，如图6所示，该装置包括：
[0136] 获取模块61用于获取边缘缓存系统的覆盖范围内各用户终端在对应的边缘设备触发的内容请求；
[0137] 确定模块62用于以所述边缘缓存系统的系统能耗最小为优化目标，以所述边缘缓存系统中请求处理主体唯一、所述边缘缓存系统中各边缘设备的缓存容量限制以及所述用户终端允许的请求延迟限制为约束条件，基于所述内容请求，采用强化学习算法确定所述内容请求对应的最优协同边缘缓存策略；
[0138] 缓存模块63用于基于所述最优协同边缘缓存策略，对所述内容请求对应的内容进行处理。
[0139] 在上述实施例的基础上，本发明实施例中提供的协同边缘缓存装置，所述确定模块，具体用于：
[0140] 基于所述内容请求，将所述优化目标以及所述约束条件表征的优化问题转换为马尔可夫决策过程，并采用强化学习算法确定所述内容请求对应的最优协同边缘缓存策略。
[0141] 具体地，本发明实施例中提供的协同边缘缓存装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
[0142] 图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行上述各方法类实施例中提供的协同边缘缓存方法，该方法包括：获取边缘缓存系统的覆盖范围内各用户终端在对应的边缘设备触发的内容请求；以所述边缘缓存系统的系统能耗最小为优化目标，以所述边缘缓存系统中请求处理主体唯一、所述边缘缓存系统中各边缘设备的缓存容量限制以及所述用户终端允许的请求延迟限制为约束条件，基于所述内容请求，采用强化学习算法确定所述内容请求对应的最优协同边缘缓存策略；基于所述最优协同边缘缓存策略，对所述内容请求对应的内容进行处理。
[0143] 此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read‑Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0144] 另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的协同边缘缓存方法，该方法包括：获取边缘缓存系统的覆盖范围内各用户终端在对应的边缘设备触发的内容请求；以所述边缘缓存系统的系统能耗最小为优化目标，以所述边缘缓存系统中请求处理主体唯一、所述边缘缓存系统中各边缘设备的缓存容量限制以及所述用户终端允许的请求延迟限制为约束条件，基于所述内容请求，采用强化学习算法确定所述内容请求对应的最优协同边缘缓存策略；基于所述最优协同边缘缓存策略，对所述内容请求对应的内容进行处理。
[0145] 又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法实施例提供的协同边缘缓存方法，该方法包括：获取边缘缓存系统的覆盖范围内各用户终端在对应的边缘设备触发的内容请求；以所述边缘缓存系统的系统能耗最小为优化目标，以所述边缘缓存系统中请求处理主体唯一、所述边缘缓存系统中各边缘设备的缓存容量限制以及所述用户终端允许的请求延迟限制为约束条件，基于所述内容请求，采用强化学习算法确定所述内容请求对应的最优协同边缘缓存策略；基于所述最优协同边缘缓存策略，对所述内容请求对应的内容进行处理。
[0146] 以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0147] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0148] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。