[0044] 优选地，所述RSU间的协同策略具体为：
[0045] 定义变量 表示RSUm和RSUm'间在t时刻对于车辆n的协同策略，当时，表示RSUm在t时刻选择将车辆n的任务计算结果发送给车辆轨迹对应的下一个RSUm'，变量 满足：
[0046]
[0047] 此时RSU间的协同计算时延Tcollaborative为：
[0048]
[0049] 其中，rm,m'表示RSU间的数据传输速率，i+1表示此时协同的RSU中服务器处理的已经是后续的任务。
[0050] 优选地，S5中，所述车联网系统的目标函数的公式如下表示：
[0051]
[0052] 其中，α表示车辆的卸载策略向量，β表示RSU的策略向量。
[0053] 优选地，S5中，使用深度强化学习的DQN算法优化车联网系统的目标函数，所述DQN算法具体包括以下步骤：
[0054] a.初始化经验回放池存储空间的大小、随机权重θ的动作‑价值函数Qθ(st,at)和目标动作价值函数 其中，
[0055] b.车联网系统在接收到车辆的任务w请求后，随机初始化当前的系统状态s1及处理序列φ1＝φ(s1)；以贪婪率∈为概率随机选择at，否则使用深度Q网络遍历当前状态下的各种动作并选择潜在回报最大的动作 得到最优的卸载策略动作a1和(M,S)
协同策略动作a2；系统状态st包括任务和RSU的缓存策略L ；
[0056] c.执行卸载策略动作a1和协同策略动作a2，与环境进行实时交互进入下一个状态st+1，并根据目标函数得到奖励值rt；
[0057] d.将卸载策略动作a1、协同策略动作a2、系统状态st和奖励值rt存放于经验回放池，同时深度Q网络从经验回放池中均匀随机抽样，构建误差函数，采用反向传播算法更新网络参数θ；
[0058] e.所述深度Q网络迭代至网络参数θ收敛，获得最佳的卸载策略和协同策略。
[0059] 第二个方面，本发明提出一种车联网任务卸载和服务缓存的联合优化系统，应用于上述任一方案所述的车联网任务卸载和服务缓存的联合优化方法，包括：
[0060] 车联网模块，所述车联网模块包括由若干个RSU和若干台车辆组成的车联网系统。
[0061] 服务缓存模块，用于确定车联网系统内待处理车辆应用的计算任务，所述RSU的MEC服务器上缓存有所述计算任务对应的服务。
[0062] 任务卸载模块，用于将待处理车辆应用的计算任务卸载到邻近的缓存了相应服务的RSU上进行计算，得到卸载策略下的任务处理时延和车辆本地任务处理时延。
[0063] RSU协同计算模块，用于构建RSU间的协同策略，在某个RSU完成接收到的计算任务后，将计算结果发送给其它RSU，令其它RSU执行后续任务的计算，得到协同策略下任务处理时延。
[0064] 系统模型优化模块，用于优化车联网系统，最小化所有车辆分别完成其车辆应用的任务处理时延总和。
[0065] 与现有技术相比，本发明技术方案的有益效果是：本发明通过在RSU的MEC服务器上缓存车联网系统内待处理车辆应用的计算任务所对应的服务，在已知MEC服务器的服务缓存情况下，构建并优化车辆任务卸载策略和RSU间的协同策略，有效地降低了车辆应用请求的完成总时延。
附图说明
[0066] 图1为车联网任务卸载和服务缓存的联合优化方法的流程图。
[0067] 图2为RSU间的协同策略的示意图。
[0068] 图3为DQN算法的示意图。
[0069] 图4为车联网任务卸载和服务缓存的联合优化系统的架构图。
具体实施方式
[0070] 附图仅用于示例性说明，不能理解为对本专利的限制；
[0071] 下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0072] 实施例1
[0073] 请参阅图1，本实施例提出一种车联网任务卸载和服务缓存的联合优化方法，包括以下步骤：
[0074] S1：构建车联网系统，所述车联网系统由若干个RSU和若干台车辆组成。
[0075] S2：确定车联网系统内待处理车辆应用的任务，所述RSU的MEC服务器上缓存有任务对应的服务。
[0076] S3：构建车辆任务卸载策略，将待处理车辆应用的任务卸载到邻近的缓存了相应服务的RSU上进行计算，得到卸载策略下的任务处理时延和车辆本地任务处理时延。
[0077] S4：构建RSU间的协同策略，在某个RSU完成接收到的任务后，将计算结果发送给其它RSU，令其它RSU执行后续任务的计算，得到协同策略下任务处理时延。
[0078] S5：根据卸载策略下的任务处理时延、车辆本地任务处理时延和协同策略下任务处理时延，设计车联网系统的目标函数并优化车联网系统，最小化所有车辆完成一个车辆应用的任务处理时延总和。
[0079] 本实施例通过在RSU的MEC服务器上缓存车联网系统内待处理车辆应用的计算任务所对应的服务，在已知MEC服务器的服务缓存情况下，构建并优化车辆任务卸载策略和RSU间的协同策略，有效地降低了车辆应用请求的完成总时延。
[0080] 实施例2
[0081] 本实施例提出一种车联网任务卸载和服务缓存的联合优化方法，包括以下步骤：
[0082] S1：构建车联网系统，本实施例构建的车联网系统由M个RSU和N台车辆组成，集合M'＝{1,2,...M}和集合N'＝{1,2,...N}分别表示车联网系统内的RSU和车辆；RSU分布在城市中的不同区域，并配置了MEC服务器为其相应区域内的车辆提供计算服务，不同的RSU之间通过高速有线网络直接互联，可实现协同计算。在车联网系统中，车辆在RSU的通信范围内向其邻近的RSU中的MEC服务器请求计算服务：
[0083] 本实施例中，定义变量 当 时，表示车辆n在t时刻处于RSUm的通信范围内；m∈M′，n∈N'；当 时，表示车辆n在t时刻处于RSUm的通信范围外。
[0084] 规定在一个时间段t内，车辆只能处于某一个RSU的通信范围内，其公式如下所示：
[0085]
[0086] 从t到t+1时刻，车辆有一定的概率p离开当前RSU的通信范围。
[0087] S2：确定车联网系统内待处理车辆应用的计算任务，所述RSU的MEC服务器上缓存有所述计算任务对应的服务：
[0088] 本实施例处理车辆应用如模式识别和交通状况建模等。所述车辆应用包含W个相互依赖时序型任务w，其公式如下所示：
[0089]
[0090] 其中，ρ表示任务的数据量大小，μ表示任务所需的计算力，d表示任务的最大允许时延。
[0091] 同时考虑任务wi的时序性，令I(w+1)＝O(w)，其中，O(w)表示任务w的输出，I(w+1)表示后续任务的输入。为了方便后续构建系统目标函数，分别引入两个伪任务w0和wW+1，并设置ρ0＝ρW+1＝0，μ0＝μW+1＝0，d0＝dW+1＝∞。
[0092] 每台车辆本地计算能力并不相同，本实施例采用不同的起始任务来表达这种差异，当车辆开始请求MEC服务器处理任务时，该任务的前向所有任务已经在车端本地完成了计算。
[0093] 所有的任务处理都需要有配套的服务支撑，这意味着任务只能被卸载到配置了相应服务的边缘服务器上，所以需要在RSU的MEC服务器上缓存任务对应的服务：
[0094] 设S'＝{1,2,...,S}表示车联网系统提供的服务集合，缓存所述服务所需的存储空间为ps；
[0095] 定义RSU在t时刻的缓存策略为 当 时，表示RSUm上缓存了服务s；当时，表示RSUm上没有缓存相应的服务s。
[0096] 车联网系统内RSU的缓存策略用M×S矩阵L(M,S)表示；
[0097] 对于每一个RSU，考虑其缓存资源限制，存在不等式：
[0098]
[0099] 其中，Cmax表示RSU的最大缓存能力，ps表示。
[0100] S3：构建车辆任务卸载策略，将待处理车辆应用的计算任务卸载到邻近的缓存了相应服务的RSU上进行计算，得到卸载策略下的任务处理时延和车辆本地任务处理时延：
[0101] 定义 表示车辆n在t时刻对任务w的卸载策略；定义常量vw,s∈{0,1}，当vw,s＝1时，表示任务w可以在服务s下运行；当vw,s＝0时，表示任务w无法在服务s下运行。
[0102] 当 时，表示任务w在t时刻被车辆n卸载到RSUm上进行计算；其中，卸载策略 满足： 表示车辆n在RSUm的通信范围内，且RSUm缓存的服务可以处理任务w；若 不满足以上条件，车辆只能在本地任务，或者等待RSU从更远的云端请求服务。
[0103] 此时，计算卸载策略下的任务处理时延Toffloading的步骤为：
[0104] A.计算卸载数据的上传速率rm,n，其公式如下所示：
[0105]
[0106] 其中，hn表示车辆的信道增益，Bn表示信道带宽，pn表示车辆的传输功率， 表示V2R信道传输的噪声功率；
[0107] B.根据卸载数据的上传速率rm,n，计算卸载策略下的任务处理时延Toffloading，其公式如下所示：
[0108]
[0109] 其中，Fn表示RSU中的MEC服务器分配给车辆的计算能力； 表示车辆与MEC服务器之间的数据传输时延， 表示MEC服务器的任务处理时延。
[0110] RSU任务的数据量包括输入数据量和输出数据量，数据量是数据所占的空间，单位是比特(bit)。一般来说，任务的输出数据量要比输入数据量小一至多个数量级，输出数据offloading量对整体任务处理时延的影响可以忽略。因此，卸载策略下的任务处理时延T 由车辆与MEC服务器之间的数据传输时延和MEC服务器的任务处理时延组成。
[0111] 对于每一个RSU，考虑其计算能力限制，存在不等式：
[0112]
[0113] 其中，Fmax表示RSU的最大计算能力。
[0114] 当 时，表示在t时刻车辆n本地任务w，此时车辆本地任务处理时延Tlocal仅有所需计算能力μi和车辆的计算能力决定，其计算公式如下所示：
[0115]
[0116] 其中，fn表示车辆n的计算能力，且fn<
[0117] S4：构建RSU间的协同策略，在某个RSU完成接收到的计算任务后，将计算结果发送给其它RSU，令其它RSU执行后续任务的计算，得到协同策略下的任务处理时延：
[0118] 假定在同一个时刻t内，RSU之间只完成一次计算协同。
[0119] 定义变量 表示RSUm和RSUm'间在t时刻对于车辆n的协同策略，当时，表示RSUm在t时刻选择将车辆n的任务计算结果发送给车辆轨迹对应的下一个RSUm'，变量 满足：
[0120]
[0121] 此时RSU间的协同计算时延Tcollaborative为：
[0122]
[0123] 其中，rm,m'表示RSU间的数据传输速率，i+1表示此时协同的RSU中服务器处理的已经是后续的任务。
[0124] 如图2所示，图2为RSU间的协同策略的示意图，当车辆在RSUm的覆盖范围内有任务请求时，可以通过V2R通信将任务发送给RSUm。RSUm使用其缓存的相应服务完成计算后，结合车辆的轨迹和相邻RSU的服务缓存情况，将任务结果通过R2R通信传送给RSUm+1，让其完成后续的任务处理，再有RSUm+1将计算结果返回给车辆。
[0125] S5：根据卸载策略下的任务处理时延、车辆本地任务处理时延和协同策略下任务处理时延，以最小化所有车辆分别完成其车辆应用的任务处理时延总和为目标设计车联网系统的目标函数，并根据所述目标函数对车联网系统进行优化求解，得到最佳的车辆任务卸载策略和RSU间的协同策略。
[0126] 本实施例中，设计车联网系统的目标函数为：
[0127]
[0128] 其中，α表示车辆的卸载策略向量，β表示RSU的策略向量。
[0129] 所述目标函数包括以下约束条件：
[0130] C1：
[0131] C2：
[0132] C3：
[0133] C4：
[0134] C5：
[0135] 本实施例将车辆任务卸载策略和RSU协同策略用布尔函数表示，将问题转化为0‑1规划问题，在考虑RSU中MEC服务器的服务缓存的情况下，对动态的多车辆任务卸载策略进行了优化，同时考虑了车辆任务的时序性，通过RSU将处理好的任务结果直接发送给车辆轨迹路线上的下一个RSU，作为下一个任务的输入，有效地避免了服务器的过负载，减少V2R之间的传输次数，降低任务处理的时间成本和失误率，减少了车辆应用请求的完成总时延。
[0136] 实施例3
[0137] 本实施例提出一种车联网任务卸载和服务缓存的联合优化方法，包括使用深度强化学习的DQN算法优化车联网系统的目标函数如图3所示，图3为DQN算法的示意图，具体包
括以下步骤：
[0138] a.初始化经验回放池存储空间的大小、随机权重θ的动作‑价值函数Qθ(st,at)和目标动作价值函数 其中，
[0139] b.车联网系统在接收到车辆的任务w请求后，随机初始化当前的系统状态s1及处理序列φ1＝φ(s1)；以贪婪率∈为概率随机选择at，否则使用深度Q网络遍历当前状态下的各种动作并选择潜在回报最大的动作 得到最优的卸载策略动作a1和(M,S)
协同策略动作a2；系统状态st包括任务和RSU的缓存策略L ；
[0140] c.执行卸载策略动作a1和协同策略动作a2，与环境进行实时交互进入下一个状态st+1，并根据目标函数得到奖励值rt；
[0141] d.将卸载策略动作a1、协同策略动作a2、系统状态st和奖励值rt存放于经验回放池，同时深度Q网络从经验回放池中均匀随机抽样，构建误差函数，采用反向传播算法更新网络参数θ；
[0142] e.所述深度Q网络迭代至网络参数θ收敛，获得最佳的卸载策略和协同策略。
[0143] 通过求出车辆任务卸载策略和RSU协同策略的最优值可以求解目标函数所示的优化问题。该问题是一个混合整数非线性的NP‑Hard问题，随着车辆终端数量以及任务大小的增加，该问题的计算复杂度也会迅速增加。若使用传统的数值优化方法来解决此问题会相对困难。DQN算法核心思想是使用神经网络替代Q表存储信息，这样更适用于高维的情况，以达到系统内车辆完成一个应用的时延总和最小化。
[0144] DQN使用神经网络来近似动作‑价值函数，通过Q网络遍历当前状态下的各种动作与环境进行实时交互，其动作、状态值、奖励值存放于经验回放池中。通过Q学习算法经历多个迭代过程来反复训练Q网络，最后得到最佳卸载策略。同时，DQN在原来的Q网络的基础上又引入了一个目标Q网络，它和原来的Q网络结构一样，初始的权重也一样，只是原来的Q网络每次迭代都会更新，而目标Q网络是每隔一段时间才会更新，这样可以减少目标Q值和当前Q值的相关性，提高算法的效率。本实施例使用深度强化学习中的DQN算法求解目标函数所示的优化问题，获得最佳的卸载和协同策略，在空间‑时间动态变化的环境中能够根据过去的经验实现策略自我更新，实现了在满足任务处理时延约束的前提下最小化所有任务的总时延和计算的失败率，从而有效降低应用请求完成时间，提高车辆终端用户的使用体验。
[0145] 实施例4
[0146] 本实施例提出一种车联网任务卸载和服务缓存的联合优化系统，应用于上述实施例提出的车联网任务卸载和服务缓存的联合优化方法中，包括车联网模块、服务缓存模块、任务卸载模块、RSU协同计算模块和系统模型优化模块；所述车联网模块包括由若干个RSU和若干台车辆组成的车联网系统。
[0147] 在具体实施过程中，服务缓存模块确定车联网系统内待处理车辆应用的计算任务，所述RSU的MEC服务器上缓存有所述计算任务对应的服务；任务卸载模块构建车辆任务卸载策略，将待处理车辆应用的任务卸载到邻近的缓存了相应服务的RSU上进行计算，得到卸载策略下的任务处理时延和车辆本地任务处理时延；RSU协同计算模块构建RSU间的协同策略，在某个RSU完成接收到的任务后，将计算结果发送给其它RSU，令其它RSU执行后续任务的计算，得到协同策略下任务处理时延；系统模型优化模块根据卸载策略下的任务处理时延、车辆本地任务处理时延和协同策略下任务处理时延，设计车联网系统的目标函数并优化车联网系统，最小化所有车辆分别完成其车辆应用的任务处理时延总和。
[0148] 附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
[0149] 显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
