本发明公开了一种QoE驱动下的联合资源分配的点云视频自适应传输方法，其步骤包括：1、将点云视频在空间上进行3D均匀切分，每个切块被压缩成不同的码率等级；2、将点云视频在时间上进行分组，每个帧组是码率变化的最小单位；3、将不同码率等级的点云视频切块存储在服务器中，生成记录它们信息的描述文件；4、服务器结合反馈信道中的用户实时视角信息，下行信道的带宽信息和设备的计算性能，为每个视频切块选择一种质量等级和传输形式，客户端把接受到的切块解码，融合和渲染后得到完整的视频进行播放。本发明能够更好地提高系统资源的利用率，减少点云视频传输对于带宽和计算性能的需求，同时保证用户的观看体验(QoE)。
1.一种QoE驱动下的联合资源分配的点云视频自适应传输方法，是应用于由一个点云视频服务器，一个点云播放客户端所组成的网络环境中；所述点云视频服务器和点云播放客户端之间是通过下行链路传输；所述下行链路中包含从点云播放客户端到点云视频服务器的反馈信道；其特征是，所述点云视频自适应传输方法按如下步骤进行：步骤一、将一个包含F帧的点云视频在时间上划分成T个帧组，记为{G1,G2,...,Gt,...,GT}，其中，Gt表示点云视频中第t个帧组，1≤t≤T；
将第t个帧组Gt在空间上切分成数目为K＝L×L×L的切块，其中，L是在D×D×D的点云空间中每个维度划分的区间长度，其中，D为点云视频的采样深度；
将切分后的每个切块均压缩成R种码率等级的切块，其中，第t个帧组Gt的第k个切块经过压缩后得到的切块集合，记为 其中， 表示第t个帧组的第k个切块经过压缩后得到的第r种码率等级的切块，1≤r≤R，1≤k≤K；将切块集合通过解码器得到对应的重构形式切块集合，记为其中， 表示第t个帧组的第k个切块的第r种码率等级的
切块 所对应的重构形式切块，从而将点云视频中所有帧组的切块进行处理后，存储在所述点云视频服务器中；
令切块集合中每个切块所包含的点个数为{Pt,k,1,Pt,k,2,...,Pt,k,r,...,Pt,k,R}，其中，Pt,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块 所包含的点个数；
令切块集合中每个切块的数据量为{St,k,1,St,k,2,...,St,k,r,...,St,k,R}，其中，St,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块 的数据量：令切块集合中每个切块所需的解码时间为{Ct,k,1,Ct,k,2,...,Ct,k,r,...,Ct,k,R}，其中，Ct,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块 所需的解码时间；
步骤二、建立以最大化用户观看体验QoE的值作为最优化的目标函数，并设置相应的约束条件，从而建立点云视频的自适应传输模型；
式(1)中，Qt,k表示第t个帧组Gt的第k个切块的质量，并有：
式(2)中，pt,k表示第t个帧组Gt传输至点云播放客户端时，用户视角距离第k个切块的距离，r表示质量等级；xt,k,r是自适应传输模型的码率决策变量，当xt,k,r＝1时，表示第t个帧组的第k个切块以质量等级为r的码率进行传输，当xt,k,r＝0时，表示第t个帧组的第k个切块不以质量等级为r的码率进行传输；QTt,k表示第t个帧组的第k个切块的相对点数比重，并有：式(3)中，Nt,k,R表示第t个帧组Gt的第k个切块在质量等级为R时所包含的点数；
式(4)表示任意第t个帧组的第k个切块只能选择一种质量等级传输到点云播放客户端；
式(5)中，Tbt表示第t个帧组完全进入缓存模块时的缓存大小，Tbt大于0表示保证缓存中的内容不为空，并有：式(6)表示第t个帧组时刻的缓存大小与第t‑1个帧组时刻的缓存大小的关系，当t＝1时，Tbt‑1＝b，b表示点云视频开始播放前点云播放客户端中缓存的大小；其中，Tut表示第t个帧组Gt从点云服务器开始传输到完成解码的时间，并有：式(7)中，BWt表示第t个帧组Gt传输至点云播放客户端时的下行信道的带宽；et,k表示第t个帧组Gt的第k个切块在下行信道中的传输形式，et,k是自适应传输模型中的形式决策变量，当et,k＝1时，表示服务器将切块 传输到客户端，当et,k＝0时，表示服务器将切块传输到客户端；vt,k表示第t个帧组的第k个切块是否在用户视角内，如果在，则vt,k取1，否则，vt,k取0；F表示帧组内包含的帧数，FPS表示视频每秒播放的帧数，Ct,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块解码所需的计算资源；CU表示客户端能同时解码的切块的数目；
Tbt‑Tbt‑1＝f(xt,k,r,et,k) (8)式(8)中，f(xt,k,r,et,k)表示从第t‑1个帧组Gt‑1进入缓存到第t个帧组Gt进入缓存所经过的时间，且利用式(9)得到约束条件：
步骤三、利用KKT条件和混合分支定界法对点云视频自适应传输模型进行求解，得到所述网络环境中下行链路传输的决策变量；
步骤四、所述点云视频服务器根据用户视角，计算第t个帧组的第k个切块是否在用户视角内，如果在视角外，则不传输相应切块，并将用户视角参数vt,k,r标记为“0”，否则，表示传输相应切块，并将用户视角参数vt,k,r标记为“1”，从而得到用户视角参数集合{vt,k,1,vt,k,2,...,vt,k,r,...,vt,k,R}，其中，vt,k,r表示第t个帧组Gt的第k个切块是否传输；
步骤五、所述点云视频服务器根据网络环境中带宽大小和设备性能，决定第t个帧组Gt的第k个切块的质量等级变量xt,k,r以及传输形式变量et,k的值，并在点云视频服务器中选择已存储的相应切块传输到客户端；
步骤六、所述点云播放客户端接收到第t个帧组Gt的所有切块后，首先进行分组，将压缩形式和重构形式的切块进行分类，其中，压缩形式的切块进入解码器中进行解码并得到重构形式的切块，再进入所述点云播放客户端中的融合模块；而重构形式的切块直接进入所述融合模块；当第t个帧组Gt的所有切块均进入所述融合模块后，由所述融合模块合成一个完整帧组的点云视频；
步骤七、所述融合模块将完整帧组的点云视频传输给所述点云播放客户端的缓存模块，当所述缓存模块中的帧组数目达到N时，所述缓存模块将N个帧组输出渲染模块中进行渲染处理后，输入至显示模块，从而播放经过QoE优化后的点云视频。
2.根据权利要求1所述的点云视频自适应传输方法，其特征是，所述步骤三是按如下过程进行：步骤3.1、对所述点云视频的自适应传输模型中的码率决策变量xt,k,r和形式决策变量et,k进行松弛操作，分别得到[0，1]范围内的连续码率决策变量x′t,k,r和形式决策变量e′t,k；
步骤3.2、根据式(4)和式(9)的约束条件，将 记为函数h1(xt,k,r)；
将 记为函数g1(xt,k,t,et,k)；从而利用式(10)计算松弛后的点云
视频的自适应传输模型的拉格朗日函数L(xt,k,r,et,k,λ,μ)：
L(xt,k,r,et,k,λ,μ)＝‑QoE+λ1h1(xt,k,r)+μ1g1(xt,k,r,et,k) (10)式(10)中，λ表示式(4)所示的约束条件的拉格朗日系数，μ表示式(9)所示的约束条件的拉格朗日系数；λ1表示函数h1(xt,k,r)的拉格朗日系数，μ1表示函数g1(xt,k,t,et,k)的拉格朗日系数；
步骤3.3、根据式(10)的拉格朗日函数L(xt,k,r,et,k,λ,μ)，得到如式(11)‑式(16)所示的松弛后的点云视频的自适应传输模型的KKT条件：h1(xt,k,r)＝0 (13)g1(xt,k,t,et,k)≤0 (14)λ1≠0,μ1≥0 (15)μ1g1(xt,k,t,et,k)＝0 (16)对式(11)‑(16)进行求解，得到松弛后的点云视频自适应传输模型的最优解χrelax和最优的总效用值Zrelax；其中，最优解χrelax包括码率决策变量xt,k,r和形式决策变量et,k的松弛最优解；
步骤3.4、以最优解χrelax和最优总效用值Zrelax作为分支定界法的初始输入参数；
步骤3.5、定义所述分支定界法中分支迭代次数为k′，定义所述分支定界法中最优总效用值的下界为L，定义所述分支定界法中最优总效用值的上界为U；
步骤3.9、用χk′表示第k′次分支的最优解，并将对应的总效用值记为Zk′，再把最优解χrelax的值代入第k′次分支的最优解χk′，并以第k′次分支的最优解χk′作为根节点，从而进行步骤3.10的处理；
步骤3.10、判断第k′次分支的最优解χk′中是否存在不符合0‑1约束条件的解，若存在，则将第k′次分支的最优解χk′中的松弛最优解分为符合0‑1约束条件的解和不符合0‑1约束条件的解χk′(0,1)，并执行步骤3.11；否则，表示第k′次分支的最优解χk′是非松弛点云视频自适应传输模型的最优解；
步骤3.11、在(0，1)范围内随机产生一个第k′次分支的随机数εk，并判断0＜χk′(0,1)＜εk是否成立；若成立，则将约束条件“χk′(0,1)＝0”加入到非松弛点云视频自适应传输模型中，形成第k′次分支的子分支I；否则，则将约束条件“χk′(0,1)＝1”加入到非松弛点云视频自适应传输模型中，形成第k′次分支的子分支II；
步骤3.12、利用KKT条件求出第k′次分支的子分支I和子分支II的松弛解，并作为第k′+
1次分支的最优解χk′+1，并计算出第k′+1次分支的最优解χk′+1的最优总效用值Zk′+1；
步骤3.13、判断第k′+1次分支的最优值χk′+1是否符合0‑1约束条件，若是，则从所述最优总效用值Zk′+1中找出最大值并赋值给L，且χk+1∈{0,1}；否则，从所述最优总效用值Zk′+1中找出最大值并赋值给U，且χk′+1∈{0,1}；
步骤3.14、判断Zk′+1＜L是否成立；如果成立，则剪掉第k′+1次分支的最优解χk′+1所在的分支，并将k′+1赋值给k′后，返回步骤3.10；否则，执行步骤3.15；
步骤3.15、判断Zk′+1＝L是否成立，若成立，则表示获得非松弛点云视频自适应传输模型的最优解即为第k′+1分支的最优解χk′+1，并将χk′+1赋值给非松弛点云视频自适应传输模型的最优解χ0‑1，将χk′+1所对应的Zk′+1赋值给非松弛点云视频自适应传输模型的最优总效用值Z0‑1；否则，将k′+1赋值给k′后，返回步骤3.10。
QoE驱动下的联合资源分配的点云视频自适应传输方法
技术领域
[0001] 本发明涉及多媒体视频传输领域，具体的说是一种针对点云视频的流媒体自适应传输方法，适用于在无线网络环境下，优化端到端的点云视频传输流程。
背景技术
[0002] 点云作为三维影像的一种表现形式，经常与和虚拟现实和增强现实技术结合，实现六自由的沉浸式视频。然而由于需要记录三维坐标的信息，其原始大小也远超普通的二维视频和360°视频，因此近年来针对点云的压缩是个热门的领域，如今针对动态点云的压缩研究有许多，压缩效率也十分高，然而由于点云结构不能直接用成熟的传统视频编解码，压缩效率高的同时，往往会导致客户端解码时间过长。此时的网络传输时间却十分短，也就是导致了整个传输系统中系统的计算资源被过度利用而通信资源无法有效得到充分利用。
[0003] 西安电子科技大学的张伟等人发明了一种点云几何信息帧间编码及解码方法(公开号：CN112565764A)，其方法包括：获取当前帧点云前的帧点云作为当前帧点云的参考帧点云；对当前帧点云进行体素化处理，获得体素化处理后的当前帧点云；对当前帧点云以及参考帧点云分别进行八叉树划分，对划分得到的子节点继续进行八叉树划分，直到划分到叶子节点，得到当前帧点云的第一八叉树结构以及参考帧点云的第二八叉树结构；其中，所述第一八叉树结构包括多个节点，每个节点对应一个在第二八叉树结构中的参考节点；针对第一八叉树结构的每个待编码节点，获取第二八叉树结构中对应参考节点的占位情况；针对第一八叉树结构的每个待编码节点，当与该待编码节点对应的参考节点的占位情况为被占据时，获取与参考节点相邻的第一邻居节点的占位情况；基于所述第一邻居节点的占位情况，确定所述待编码节点占位码的上下文模型；对确定上下文模型之后的待编码节点占位码进行熵编码，获得二进制码流。但是此算法没有考虑帧间编码和解码所带来的计算资源消耗过大的问题，也没有考虑在当前网络环境下的实时传输性能，无法很好地应用在实际传输中。
[0004] 深圳大学的王妙辉等人发明了一种自适应分块的基于体素的点云压缩方法及装置(公开号：(1)对原始的点云数据进行自适应分块；(2)将原始的点云数据进行八叉树体素划分，得到划分的点云块；(3)使用三维卷积网络对划分的点云块进行空间数量分布探测，得到点云块的特征；(4)对点云块的特征进行处理，计算出点云块的稠密程度及细节重要程度，根据点云块的稠密程度对点云块进行分类；(5)根据点云块的稠密程度及细节重要程度对点云块进行自适应合并；(6)对自适应分块后的点云块进行编码；(7)对点云训练集进行体素化并特征强化，首先对点云数据集进行体素化，体素保留体素内点云数量通过三维卷积网络进行体素强化，保留特征强化后体素训练集；(8)对特征强化后的体素进行编码，得到编码后的潜在表示数据；(9)对编码后的潜在表示数据进行解码，对解码结果计算改进后的wBCE损失函数，迭代网络；(10)使用改进后的wBCE损失函数循环执行步骤(7)‑(9)：(11)分别对稠密点云压缩编码器和稀疏点云压缩编码器进行训练；(12)将训练完成的压缩编码器对自适应分块后的点云块进行编码。但是该方法需要足够数量的点云训练集进行训练，无法保证在不同的点云场景中都有较号的编码解码能力，且只考虑了单帧点云的压缩，没有考虑多帧连续点云的压缩。
[0005] 上海交通大学的徐异凌等人发明了一种点云分视角传输的编码方法和系统(公开号：CN112449171A)，其步骤包括：点云片段确定步骤：根据观测视角来确定对应的点云片段，获得一系列被划分到对应视角类别的点云片段；分视角传输编码步骤：根据获得的一系列被划分到对应视角类别的点云片段，采用分视角传输方案，对于需要观测到的视角进行高清晰度的编码传输，对于不需要被观察得到的视角进行较低清晰度的编码传输。本发明提供了一种对于新型的点云媒体进行根据用户视角自适应调整的传输策略，不需要对目前的点云传输策略进行较大修改，可以较好的结合目前的高压缩率的编码算法，在不损失用户主要视角的体验质量的同时，节约传输所消耗的资源，实现了分视角传输的目的。但是该方法没有考虑高压缩率的编码算法所带来的计算资源消耗，且无法保证观测视角和当前用户观看视角的一致性。
发明内容
[0006] 本发明是为避免上述现有技术所存在的不足之处，提供一种QoE驱动下的联合资源分配的点云视频自适应传输方法，以期能够更好地最大化利用传输系统的通信资源和计算资源，减少点云视频传输对于带宽和计算性能需求的同时，在带宽和计算能力受限的情况下最大化提高用户的观看体验QoE。
[0007] 本发明为解决技术问题采用如下技术方案：
[0008] 本发明一种QoE驱动下的联合资源分配的点云视频自适应传输方法，是应用于由一个点云视频服务器，一个点云播放客户端所组成的网络环境中；所述点云视频服务器和点云播放客户端之间是通过下行链路传输；所述下行链路中包含从点云播放客户端到点云视频服务器的反馈信道；其特点是，所述点云视频自适应传输方法按如下步骤进行：
[0009] 步骤一、将一个包含F帧的点云视频在时间上划分成T个帧组，记为{G1,G2,...,Gt,...,GT}，其中，Gt表示点云视频中第t个帧组，1≤t≤T；
[0010] 将第t个帧组Gt在空间上切分成数目为K＝L×L×L的切块，其中，L是在D×D×D的点云空间中每个维度划分的区间长度，其中，D为点云视频的采样深度；
[0011] 将切分后的每个切块均压缩成R种码率等级的切块，其中，第t个帧组Gt的第k个切块经过压缩后得到的切块集合，记为 其中， 表示第t个帧组的第k个切块经过压缩后得到的第r种码率等级的切块，1≤r≤R，1≤k≤K；将切块集合通过解码器得到对应的重构形式切块集合，记为
其中， 表示第t个帧组的第k个切块的第r种码率等级的
切块 所对应的重构形式切块，从而将点云视频中所有帧组的切块进行处理后，存储在所述点云视频服务器中；
[0012] 令切块集合中每个切块所包含的点个数为{Pt,k,1,Pt,k,2,...,Pt,k,r,...,Pt,k,R}，其中，Pt,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块 所包含的点个数；
[0013] 令切块集合中每个切块的数据量为{St,k,1,St,k,2,...,St,k,r,...,St,k,R}，其中，St,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块 的数据量；
[0014] 令切块集合中每个切块所需的解码时间为{Ct,k,1,Ct,k,2,...,Ct,k,r,...,Ct,k,R}，其中，Ct,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块 所需的解码时间；
[0015] 步骤二、建立以最大化用户观看体验QoE的值作为最优化的目标函数，并设置相应的约束条件，从而建立点云视频的自适应传输模型；
[0016] 步骤三、利用KKT条件和混合分支定界法对点云视频自适应传输模型进行求解，得到所述网络环境中下行链路传输的决策变量；
[0017] 步骤四、所述点云视频服务器根据用户视角，计算第t个帧组的第k个切块是否在用户视角内，如果在视角外，则不传输相应切块，并将用户视角参数vt,k,r标记为“0”，否则，表示传输相应切块，并将用户视角参数vt,k,r标记为“1”，从而得到用户视角参数集合{vt,k,1,vt,k,2,...,vt,k,r,...,vt,k,R}，其中，vt,k,r表示第t个帧组Gt的第k个切块是否传输；
[0018] 步骤五、所述点云视频服务器根据网络环境中带宽大小和设备性能，决定第t个帧组Gt的第k个切块的质量等级变量xt,k,r以及传输形式变量et,k的值，并在点云视频服务器中选择已存储的相应切块传输到客户端；
[0019] 步骤六、所述点云播放客户端接收到第t个帧组Gt的所有切块后，首先进行分组，将压缩形式和重构形式的切块进行分类，其中，压缩形式的切块进入解码器中进行解码并得到重构形式的切块，再进入所述点云播放客户端中的融合模块；而重构形式的切块直接进入所述融合模块；当第t个帧组Gt的所有切块均进入所述融合模块后，由所述融合模块合成一个完整帧组的点云视频；
[0020] 步骤七、所述融合模块将完整帧组的点云视频传输给所述点云播放客户端的缓存模块，当所述缓存模块中的帧组数目达到N时，所述缓存模块将N个帧组输出渲染模块中进行渲染处理后，输入至显示模块，从而播放经过QoE优化后的点云视频。
[0021] 本发明所述的点云视频自适应传输方法的特点也在于，所述步骤二是按如下过程进行：
[0022] 步骤2.1、利用式(1)构建目标函数：
[0023]
[0024] 式(1)中，Qt,k表示第t个帧组Gt的第k个切块的质量，并有：
[0025]
[0026] 式(2)中，pt,k表示第t个帧组Gt传输至点云播放客户端时，用户视角距离第k个切块的距离，r表示质量等级；xt,k,r是自适应传输模型的码率决策变量，当xt,k,r＝1时，表示第t个帧组的第k个切块以质量等级为r的码率进行传输，当xt,k,r＝0时，表示第t个帧组的第k个切块不以质量等级为r的码率进行传输；QTt,k表示第t个帧组的第k个切块的相对点数比重，并有：
[0027]
[0028] 式(3)中，Nt,k,R表示第t个帧组Gt的第k个切块在质量等级为R时所包含的点数；
[0029] 步骤2.2、利用式(4)‑式(5)构建约束条件：
[0030]
[0031]
[0032] 式(4)表示任意第t个帧组的第k个切块只能选择一种质量等级传输到点云播放客户端；
[0033] 式(5)中，Tbt表示第t个帧组完全进入缓存模块时的缓存大小，Tbt大于0表示保证缓存中的内容不为空，并有：
[0034]
[0035] 式(6)表示第t个帧组时刻的缓存大小与第t‑1个帧组时刻的缓存大小的关系，当t＝1时，Tbt‑1＝b，其中，Tut表示第t个帧组Gt从点云服务器开始传输到完成解码的时间，并有：
[0036]
[0037] 式(7)中，BWt表示第t个帧组Gt传输至点云播放客户端时的下行信道的带宽；et,k表示第t个帧组Gt的第k个切块在下行信道中的传输形式，et,k是自适应传输模型中的形式决策变量，当et,k＝1时，表示服务器将切块 传输到客户端，当et,k＝0时，表示服务器将切块传输到客户端；F表示帧组内包含的帧数，FPS表示视频每秒播放的帧数，Ct,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块解码所需的计算资源；CU表示客户端能同时解码的切块的数目；
[0038] 将式(6)简化为式(8)：
[0039] Tbt‑Tbt‑1＝f(xt,k,r,et,k) (8)
[0040] 式(8)中，f(xt,k,r,et,k)表示从第t‑1个帧组Gt‑1进入缓存到第t个帧组Gt进入缓存所经过的时间，且
[0041] 利用式(9)得到约束条件：
[0042]
[0043] 所述步骤三是按如下过程进行：
[0044] 步骤3.1、对所述点云视频的自适应传输模型中的码率决策变量xt,k,r和形式决策变量et,k进行松弛操作，分别得到[0，1]范围内的连续码率决策变量x′t,k,r和形式决策变量e′t,k；
[0045] 步骤3.2、根据式(4)和式(9)的约束条件，将 记为函数h1(xt,k,r)；
[0046] 将 记为函数g1(xt,k,t,et,k)；从而利用式(10)计算松弛后的点云视频的自适应传输模型的拉格朗日函数L(xt,k,r,et,k,λ,μ)：
[0047] L(xt,k,r,et,k,λ,μ)＝‑QoE+λ1h1(xt,k,r)+μ1g1(xt,k,r,et,k) (10)[0048] 式(10)中，λ表示式(4)所示的约束条件的拉格朗日系数，μ表示式(9)所示的约束条件的拉格朗日系数；λ1表示函数h1(xt,k,r)的拉格朗日系数，μ1表示函数g1(xt,k,t,et,k)的拉格朗日系数；
[0049] 步骤3.3、根据式(10)的拉格朗日函数L(xt,k,r,et,k,λ,μ)，得到如式(11)‑式(16)所示的松弛后的点云视频的自适应传输模型的KKT条件：
[0050]
[0051]
[0052] h1(xt,k,r)＝0 (13)
[0053] g1(xt,k,t,et,k)≤0 (14)
[0054] λ1≠0,μ1≥0 (15)
[0055] μ1g1(xt,k,t,et,k)＝0 (16)
[0056] 对式(11)‑(16)进行求解，得到松弛后的点云视频自适应传输模型的最优解χrelax和最优的总效用值Zrelax；其中，最优解χrelax包括码率决策变量xt,k,r和形式决策变量et,k的松弛最优解；
[0057] 步骤3.4、以最优解χrelax和最优总效用值Zrelax作为分支定界法的初始输入参数；
[0058] 步骤3.5、定义所述分支定界法中分支迭代次数为k，定义所述分支定界法中最优总效用值的下界为L，定义所述分支定界法中最优总效用值的上界为U；
[0059] 步骤3.6、初始化k＝0；
[0060] 步骤3.7、初始化L＝0；
[0061] 步骤3.8、初始化U＝Zrelax；
[0062] 步骤3.9、用χk表示第k次分支的最优解，并将对应的总效用值记为Zk，再把最优解χrelax的值代入第k次分支的最优解χk，并以第k次分支的最优解χk作为根节点，从而进行步骤3.10的处理；
[0063] 步骤3.10、判断第k次分支的最优解χk中是否存在不符合0‑1约束条件的解，若存在，则将第k次分支的最优解χk中的松弛最优解分为符合0‑1约束条件的解和不符合0‑1约束条件的解χk(0,1)，并执行步骤3.11；否则，表示第k次分支的最优解χk是非松弛点云视频自适应传输模型的最优解；
[0064] 步骤3.11、在(0，1)范围内随机产生一个第k次分支的随机数εk，并判断0＜χk(0,1)＜εk是否成立；若成立，则将约束条件“χk(0,1)＝0”加入到非松弛点云视频自适应传输模型中，形成第k次分支的子分支I；否则，则将约束条件“χk(0,1)＝1”加入到非松弛点云视频自适应传输模型中，形成第k次分支的子分支II；
[0065] 步骤3.12、利用KKT条件求出第k次分支的子分支I和子分支II的松弛解，并作为第k+1次分支的最优解χk+1，并计算出第k+1次分支的最优解χk+1的最优总效用值Zk+1；
[0066] 步骤3.13、判断第k+1次分支的最优值χk+1是否符合0‑1约束条件，若是，则从所述最优总效用值Zk+1中找出最大值并赋值给L，且χk+1∈{0,1}；否则，从所述最优总效用值Zk+1中找出最大值并赋值给U，且χk+1∈{0,1}；
[0067] 步骤3.14、判断Zk+1＜L是否成立；如果成立，则剪掉第k+1次分支的最优解χk+1所在的分支，并将k+1赋值给k后，返回步骤3.10；否则，执行步骤3.15；
[0068] 步骤3.15、判断Zk+1＝L是否成立，若成立，则表示获得非松弛点云视频自适应传输模型的最优解即为第k+1分支的最优解χk+1，并将χk+1赋值给非松弛点云视频自适应传输模型的最优解χ0‑1，将χk+1所对应的Zk+1赋值给非松弛点云视频自适应传输模型的最优总效用值Z0‑1；否则，将k+1赋值给k后，返回步骤3.10。
[0069] 与现有技术相比，本发明的有益效果体现在：
[0070] 1.本发明通过提出点云视频的三维切块方法，结合用户视角，通过降低甚至丢弃在用户视角外的切块，来减少了点云视频传输过程中的冗余数据量，从而降低了点云视频对于带宽的巨大需求。
[0071] 2.本发明通过将计算资源和通信资源整合，提出了联合资源的点云视频的传输方案，使得系统的资源利用率大大提高，并以QoE模型作为传输知道因素来优化点云视频流媒体的传输方法，从而更好的优化点云视频的流媒体传输过程。
[0072] 3.本发明通过联合KKT条件和分支定界法对提出的点云视频自适应传输模型进行求解，提高了解法的效率和解的准确性，从而提高了点云视频自适应传输方法的可靠性。
附图说明
[0073] 图1为本发明中点云视频自适应传输方法的应用场景图；
[0074] 图2为本发明中自适应传输方法的系统架构图。
具体实施方式
[0075] 本实施例中，一种QoE驱动下的联合资源分配的点云视频自适应传输方法，如图1所示，应用于客户端/服务器的场景中，包括一个服务器和一个客户端。点云视频服务器和点云播放客户端之间是通过下行链路传输，下行链路中包含从点云播放客户端到点云视频服务器的反馈信道，反馈信道可以把用户的实时视角信息，下行链路的带宽信息和设备的当前性能反馈给服务器，输入给服务器中的切块选择模块进行优化处理。如图2所示，该方法具体包括以下步骤：
[0076] 步骤一、将一个包含F帧的点云视频在时间上划分成T个帧组，记为{G1,G2,...,Gt,...,GT}，其中，Gt表示点云视频中第t个帧组，1≤t≤T；
[0077] 将第t个帧组Gt在空间上切分成数目为K＝L×L×L的切块，其中，L是在D×D×D的点云空间中每个维度划分的区间长度，其中，D为点云视频的采样深度；
[0078] 将切分后的每个切块均压缩成R种码率等级的切块，其中，第t个帧组Gt的第k个切块经过压缩后得到的切块集合，记为 其中， 表示第t个帧组的第k个切块经过压缩后得到的第r种码率等级的切块，1≤r≤R，1≤k≤K；将切块集合通过解码器得到对应的重构形式切块集合，记为
其中， 表示第t个帧组的第k个切块的第r种码率等级的
切块 所对应的重构形式切块，从而将点云视频中所有帧组的切块进行处理后，存储在点云视频服务器中；
[0079] 令切块集合中每个切块所包含的点个数为{Pt,k,1,Pt,k,2,...,Pt,k,r,...,Pt,k,R}，其中，Pt,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块 所包含的点个数；
[0080] 令切块集合中每个切块的数据量为{St,k,1,St,k,2,...,St,k,r,...,St,k,R}，其中，St,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块 的数据量；
[0081] 令切块集合中每个切块所需的解码时间为{Ct,k,1,Ct,k,2,...,Ct,k,r,...,Ct,k,R}，其中，Ct,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块 所需的解码时间；
[0082] 步骤二、建立以最大化用户观看体验QoE的值作为最优化的目标函数，并设置相应的约束条件，从而建立点云视频的自适应传输模型；
[0083] 步骤2.1、利用式(1)构建目标函数：
[0084]
[0085] 式(1)中，Qt,k表示第t个帧组Gt的第k个切块的质量，并有：
[0086]
[0087] 式(2)中，pt,k表示第t个帧组Gt传输至点云播放客户端时，用户视角距离第k个切块的距离，r表示质量等级；xt,k,r是自适应传输模型的码率决策变量，当xt,k,r＝1时，表示第t个帧组的第k个切块以质量等级为r的码率进行传输，当xt,k,r＝0时，表示第t个帧组的第k个切块不以质量等级为r的码率进行传输；QTt,k表示第t个帧组的第k个切块的相对点数比重，并有：
[0088]
[0089] 式(3)中，Nt,k,R表示第t个帧组Gt的第k个切块在质量等级为R时所包含的点数；
[0090] 步骤2.2、利用式(4)‑式(5)构建约束条件：
[0091]
[0092]
[0093] 式(4)表示任意第t个帧组的第k个切块只能选择一种质量等级传输到点云播放客户端；
[0094] 式(5)中，Tbt表示第t个帧组完全进入缓存模块时的缓存大小，Tbt大于0表示保证缓存中的内容不为空，并有：
[0095]
[0096] 式(6)表示第t个帧组时刻的缓存大小与第t‑1个帧组时刻的缓存大小的关系，当t＝1时，Tbt‑1＝b，b表示点云视频开始播放前云播放客户端中缓存的大小，其中，Tut表示第t个帧组Gt从点云服务器开始传输到完成解码的时间，并有：
[0097]
[0098] 式(7)中，BWt表示第t个帧组Gt传输至点云播放客户端时的下行信道的带宽；et,k表示第t个帧组Gt的第k个切块在下行信道中的传输形式，et,k是自适应传输模型中的形式决策变量，当et,k＝1时，表示服务器将切块 传输到客户端，当et,k＝0时，表示服务器将切块传输到客户端；F表示帧组内包含的帧数，FPS表示视频每秒播放的帧数，Ct,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块解码所需的计算资源；CU表示客户端能同时解码的切块的数目；
[0099] 将式(6)简化为式(8)：
[0100] Tbt‑Tbt‑1＝f(xt,k,r,et,k) (8)
[0101] 式(8)中，f(xt,k,r,et,k)表示从第t‑1个帧组Gt‑1进入缓存到第t个帧组Gt进入缓存所经过的时间，且
[0102] 利用式(9)得到约束条件：
[0103]
[0104] 步骤三、利用KKT条件和混合分支定界法对点云视频自适应传输模型进行求解，得到网络环境中下行链路传输的决策变量；
[0105] 步骤3.1、对点云视频的自适应传输模型中的码率决策变量xt,k,r和形式决策变量et,k进行松弛操作，分别得到[0，1]范围内的连续码率决策变量x′t,k,r和形式决策变量e′t,k；
[0106] 步骤3.2、根据式(4)和式(9)的约束条件，将 记为函数h1(xt,k,r)；
[0107] 将 记为函数g1(xt,k,t,et,k)；从而利用式(10)计算松弛后的点云视频的自适应传输模型的拉格朗日函数L(xt,k,r,et,k,λ,μ)：
[0108] L(xt,k,r,et,k,λ,μ)＝‑QoE+λ1h1(xt,k,r)+μ1g1(xt,k,r,et,k) (10)[0109] 式(10)中，λ表示式(4)所示的约束条件的拉格朗日系数，μ表示式(9)所示的约束条件的拉格朗日系数；λ1表示函数h1(xt,k,r)的拉格朗日系数，μ1表示函数g1(xt,k,t,et,k)的拉格朗日系数；
[0110] 步骤3.3、根据式(10)的拉格朗日函数L(xt,k,r,et,k,λ,μ)，得到如式(11)‑式(16)所示的松弛后的点云视频的自适应传输模型的KKT条件：
[0111]
[0112]
[0113] h1(xt,k,r)＝0 (13)
[0114] g1(xt,k,t,et,k)≤0 (14)
[0115] λ1≠0,μ1≥0 (15)
[0116] μ1g1(xt,k,t,et,k)＝0 (16)
[0117] 式(11)和式(12)表示对拉格朗日函数L(xt,k,r,et,k,λ,μ)取极值时的必要条件；式(13)和式(14)表示函数h1(xt,k,r),g1(xt,k,t,et,k)的约束条件；式(15)表示拉格朗日系数λ1,μ1的约束条件；式(16)表示互补松弛条件。
[0118] 对式(11)‑(16)进行求解，得到松弛后的点云视频自适应传输模型的最优解χrelax和最优的总效用值Zrelax；其中，最优解χrelax包括码率决策变量xt,k,r和形式决策变量et,k的松弛最优解；
[0119] 步骤3.4、以最优解χrelax和最优总效用值Zrelax作为分支定界法的初始输入参数；
[0120] 步骤3.5、定义分支定界法中分支迭代次数为k，定义分支定界法中最优总效用值的下界为L，定义分支定界法中最优总效用值的上界为U；
[0121] 步骤3.6、初始化k＝0；
[0122] 步骤3.7、初始化L＝0；
[0123] 步骤3.8、初始化U＝Zrelax；
[0124] 步骤3.9、用χk表示第k次分支的最优解，并将对应的总效用值记为Zk，再把最优解χrelax的值代入第k次分支的最优解χk，并以第k次分支的最优解χk作为根节点，从而进行步骤3.10的处理；
[0125] 步骤3.10、判断第k次分支的最优解χk中是否存在不符合0‑1约束条件的解，若存在，则将第k次分支的最优解χk中的松弛最优解分为符合0‑1约束条件的解和不符合0‑1约束条件的解χk(0,1)，并执行步骤3.11；否则，表示第k次分支的最优解χk是非松弛点云视频自适应传输模型的最优解；
[0126] 步骤3.11、在(0，1)范围内随机产生一个第k次分支的随机数εk，并判断0＜χk(0,1)＜εk是否成立；若成立，则将约束条件“χk(0,1)＝0”加入到非松弛点云视频自适应传输模型中，形成第k次分支的子分支I；否则，则将约束条件“χk(0,1)＝1”加入到非松弛点云视频自适应传输模型中，形成第k次分支的子分支II；
[0127] 步骤3.12、利用KKT条件求出第k次分支的子分支I和子分支II的松弛解，并作为第k+1次分支的最优解χk+1，并计算出第k+1次分支的最优解χk+1的最优总效用值Zk+1；
[0128] 步骤3.13、判断第k+1次分支的最优值χk+1是否符合0‑1约束条件，若是，则从最优总效用值Zk+1中找出最大值并赋值给L，且χk+1∈{0,1}；否则，从最优总效用值Zk+1中找出最大值并赋值给U，且χk+1∈{0,1}；
[0129] 步骤3.14、判断Zk+1＜L是否成立；如果成立，则剪掉第k+1次分支的最优解χk+1所在的分支，并将k+1赋值给k后，返回步骤3.10；否则，执行步骤3.15；
[0130] 步骤3.15、判断Zk+1＝L是否成立，若成立，则表示获得非松弛点云视频自适应传输模型的最优解即为第k+1分支的最优解χk+1，并将χk+1赋值给非松弛点云视频自适应传输模型的最优解χ0‑1，将χk+1所对应的Zk+1赋值给非松弛点云视频自适应传输模型的最优总效用值Z0‑1；否则，将k+1赋值给k后，返回步骤3.10。
[0131] 步骤四、点云视频服务器根据用户视角，计算第t个帧组的第k个切块是否在用户视角内，用户视角可以根据用户所穿戴的显示设备进行实时捕捉，如果在视角外，则不传输相应切块，并将用户视角参数vt,k,r标记为“0”，否则，表示传输相应切块，并将用户视角参数vt,k,r标记为“1”，从而得到用户视角参数集合{vt,k,1,vt,k,2,...,vt,k,r,...,vt,k,R}，其中，vt,k,r表示第t个帧组的第k个切块是否传输；
[0132] 步骤五、点云视频服务器根据网络环境中带宽大小和设备性能，决定第t个帧组的第k个切块的质量等级变量xt,k,r以及传输形式变量et,k的值，并在点云视频服务器中选择已存储的相应切块传输到客户端；
[0133] 步骤六、点云播放客户端接收到第t个帧组的所有切块后，首先进行分组，将压缩形式和重构形式的切块进行分类，其中，压缩形式的切块进入解码器中进行解码并得到重构形式的切块，再进入点云播放客户端中的融合模块；而重构形式的切块直接进入融合模块；当第t个帧组的所有切块均进入融合模块后，由融合模块合成一个完整帧组的点云视频；
[0134] 步骤七、融合模块将完整帧组的点云视频传输给点云播放客户端的缓存模块，当缓存模块中的帧组数目达到N时，缓存模块将N个帧组输出渲染模块中进行渲染处理后，输入至显示模块，从而播放经过QoE优化后的点云视频。
