用于360度视频译码的自适应帧封装

摘要

一种视频译码设备可以被配置成周期性地选择与RAS相关联的帧封装配置(例如面部布局和/或面部旋转参数)。该设备可以接收多个画面，每一个画面都可以包括多个面部。这些画面可被分组成多个RAS。该设备可以为第一RAS选择成本最低的帧封装配置。作为示例，帧封装配置的成本可以基于第一RAS的第一画面来确定。该设备可以为第二RAS选择帧封装配置。第一RAS的帧封装配置与第二RAS的帧封装配置可以是不同的。在视频比特流中可以用信号通告第一RAS的帧封装配置和第二RAS的帧封装配置。

权利要求

1.一种用于360度视频数据译码的设备，所述设备包括：处理器，所述处理器至少配置成：

基于与当前画面相关联的帧封装信息来识别所述当前画面的帧封装配置，所述帧封装信息指示了面部布局或面部旋转中的至少一个；

识别所述当前画面的参考画面的帧封装配置；

基于所述当前画面的所述帧封装配置与所述参考画面的所述帧封装配置的比较，确定是否转换所述参考画面以匹配所述当前画面的所述帧封装配置，其中在所述当前画面的所述帧封装配置与所述参考画面的所述帧封装配置不同的情况下，转换所述参考画面以匹配所述当前画面的所述帧封装配置；以及基于被转换的参考画面来预测所述当前画面。

2.如权利要求1所述的设备，其中所述处理器进一步被配置成基于所述当前画面的帧类型来确定是否接收与所述当前画面相关联的所述帧封装信息，以及其中在所述当前画面是帧内译码画面的情况下，接收所述帧封装信息。

3.如权利要求1所述的设备，其中在所述当前画面是帧间译码画面的情况下，基于与先前画面相关联的帧封装信息来推导与所述当前画面相关联的所述帧封装信息。

4.如权利要求1所述的设备，其中，所述处理器进一步被配置成：接收帧内随机访问图像(IRAP)帧的帧封装信息；以及将所述帧封装信息应用于包含所述IRAP画面的随机访问分段(RAS)中的一个或多个后续画面。

5.如权利要求1所述的设备，其中所述处理器进一步被配置成：在与所述当前画面相关联的画面参数集合(PPS)标识符和与所述参考画面相关联的PPS标识符不同的情况下，确定所述当前画面的所述帧封装配置与所述参考画面的所述帧封装配置不同。

6.如权利要求1所述的设备，其中所述处理器进一步被配置成基于在视频比特流中接收的指示来确定所述当前画面的所述帧封装配置与所述参考画面的所述帧封装配置是否不同。

7.一种用于360度视频数据译码的设备，所述设备包括：处理器，所述处理器至少被配置成：

接收被分组成多个随机访问分段(RAS)的多个画面，画面包括多个面部；

为第一RAS选择指示面部布局和面部旋转的第一帧封装配置；

为第二RAS选择与所述第一RAS的所述第一帧封装配置不同的第二帧封装配置；以及将所述第一RAS的所述帧封装配置的指示和所述第二RAS的所述帧封装配置的指示包含在视频比特流中。

8.如权利要求7所述的设备，其中为所述第一RAS选择帧封装配置包括：确定包含在所述第一RAS的第一画面中的一个或多个面部的梯度；

基于所述一个或多个面部的所述梯度来确定与在多个帧封装配置中译码所述第一画面相关联的潜在成本，其中帧封装配置指示了包含在所述第一画面中的所述一个或多个面部的位置和旋转；以及从所述多个帧封装配置中选择成本最低的帧封装配置。

9.如权利要求8所述的设备，其中所述第一RAS的所述第一画面是帧内译码画面。

10.如权利要求8所述的设备，其中包含在所述第一RAS的所述第一画面中的面部的所述梯度是占主导地位的梯度。

11.如权利要求8所述的设备，其中包含在所述第一RAS的所述第一画面中的面部的所述梯度是在亮度采样上计算的。

12.一种方法，包括：

接收被分组成多个随机访问分段(RAS)的多个画面，画面包括多个面部；

为第一RAS选择指示面部布局和面部旋转的第一帧封装配置；

为第二RAS选择与所述第一RAS的所述第一帧封装配置不同的第二帧封装配置；以及将所述第一RAS的所述帧封装配置的指示和所述第二RAS的所述帧封装配置的指示包含在视频比特流中。

13.如权利要求12所述的方法，其中为所述第一RAS选择帧封装配置包括：确定包含在所述第一RAS的第一画面中的一个或多个面部的梯度；

基于所述一个或多个面部的所述梯度来确定与在多个帧封装配置中译码所述第一画面相关联的潜在成本，其中帧封装配置指示了包含在所述第一画面中的所述一个或多个面部的位置和旋转；以及从所述多个帧封装配置中选择成本最低的帧封装配置。

14.如权利要求13所述的方法，其中所述第一RAS的所述第一画面是帧内译码画面。

15.如权利要求13所述的方法，其中包含在所述第一RAS的所述第一画面中的面部的所述梯度是占主导地位的梯度。

16.如权利要求13所述的方法，其中包含在所述第一RAS的所述第一画面中的面部的所述梯度是在亮度采样上计算的。

说明书

用于360度视频译码的自适应帧封装

交叉引用

[0001] 本申请要求享有2018年1月16日提交的美国临时申请62/617,939以及2018年9月19日提交的美国临时申请62/733,371的权益，所述申请的内容在这里被引入以作为参考。

背景技术

[0002] 360°视频是在媒体行业中出现的一种快速增长的格式。360°视频随着虚拟现实(VR)设备的可用性的不断增长而得以实现。360°视频可以为观看者提供全新的存在感。与直线视频(例如2D或3D)相比，360°视频在视频处理和/或递送方面可能会产生难以解决的工程难题。要实现舒适和/或沉浸式的用户体验可能会需要很高的视频质量和/或很低的时延。360°视频的庞大视频尺寸可能会妨碍以高质量的方式大规模递送360°视频。

发明内容

[0003] 一种视频译码设备可以基于具有不同帧封装配置的参考画面(picture)来以预测性的方式译码360度视频中的当前画面。所述当前画面可以是具有一个或多个面部的帧封装画面。当前画面的帧封装配置(例如面部布局和/或面部旋转参数)可以被识别，并且可以识别当前画面的参考画面的帧封装配置。基于对当前画面的帧封装配置与参考画面的帧封装配置的比较，可以确定是否转换参考画面的帧封装配置，以便匹配当前画面。当参考画面的帧封装配置不同于当前画面的帧封装配置时，设备可以转换参考画面的帧封装配置，以便匹配当前画面的帧封装配置。该设备可以基于参考画面来预测当前画面。

[0004] 一种视频译码设备可以被配置成确定是否转换用于预测当前画面的参考画面的帧封装配置(例如面部布局和/或面部旋转参数)。当当前画面的帧封装配置与参考画面的帧封装配置不同时，该视频译码设备可以确定转换参考画面的帧封装配置，以便匹配当前画面的帧封装配置。该设备可以基于与当前画面和/或参考画面相关联的参数(例如画面参数集合(PPS)标识符)来确定当前画面的帧封装配置与参考画面的帧封装配置不同。

[0005] 一种视频设备可以确定与当前画面相关联的帧封装配置(例如面部布局和/或面部旋转参数)。与当前画面相关联的帧封装配置可以基于所接收的帧封装信息来识别。该设备可以确定是否接收与当前画面相关联的帧封装信息。该设备可以基于当前画面的帧类型来确定是否接收与当前画面相关联的帧封装信息。例如，当当前画面是帧内译码画面时，该设备可以确定接收与当前画面相关联的帧封装信息。该设备可以基于所接收的帧封装信息来确定帧封装配置。所述帧封装配置可以与当前画面以及一个或多个后续画面(例如，随机访问分段(RAS)中的一个或多个画面)相关联。

[0006] 一种视频译码设备可以被配置成周期性地为360度视频中的帧选择帧封装配置(例如面部布局和/或面部旋转参数)。该设备可以接收多个画面，每一个画面都可以包括多个面部。这些画面可被分组成多个RAS。帧封装信息可以随着RAS改变。该设备可以为第一RAS选择帧封装配置。该设备可以为第二RAS选择帧封装配置。第一RAS的帧封装配置与第二RAS的帧封装配置可以是不同的。在视频比特流中可以用信号通告第一RAS的帧封装配置和第二RAS的帧封装配置。在示例中，可以循环预定的帧封装配置集合。

[0007] 一种视频译码设备可以被配置成为RAS选择帧封装配置。该设备可以确定RAS的第一画面(例如帧内译码画面)中的面部梯度。该梯度可以是占主导地位的梯度。该梯度可以在亮度采样上计算。对于多个帧封装配置中的每一个，该设备可以确定与译码第一画面相关联的潜在成本。所述多个帧封装配置中的每一个的潜在成本可以基于面部梯度。该设备可以选择具有最低成本的帧封装配置。

附图说明

[0008] 图1A示出了采用经度和纬度的示例球面采样。

[0009] 图1B示出了具有等角矩形投影的示例2D规划器(planner)。

[0010] 图2A示出了与立方体贴图投影(CMP)相关联的示例三维(3D)几何结构。

[0011] 图2B示出了用于与CMP相关联的六个面部的示例二维(2D)规划器。

[0012] 图3示出了360度视频系统的示例实施方式。

[0013] 图4示出了关于编码器的示例。

[0014] 图5示出了关于解码器的示例。

[0015] 图6示出了帧内预测中的示例参考采样。

[0016] 图7示出了关于帧内预测方向的示例指示。

[0017] 图8示出了关于具有一个运动矢量的帧间预测的示例。

[0018] 图9示出了参考采样的示例填充处理。

[0019] 图10示出了与合并过程相关联的示例。

[0020] 图11示出了与跨分量的线性模型预测相关联的示例。

[0021] 图12示出了与确定占主导地位的梯度相关联的示例。

[0022] 图13A-D示出了关于面部群组定位的示例性组合。

[0023] 图14示出了与帧间预测相关联的示例。

[0024] 图15示出了与参考画面转换相关联的示例。

[0025] 图16A-16C示出了与画面的亮度和色度采样相关联的示例。

[0026] 图17A-17D示出了与画面的亮度和色度采样相关联的示例。

[0027] 图18A-18D示出了与画面的亮度和色度采样相关联的示例。

[0028] 图19A-19D示出了与画面的亮度和色度采样相关联的示例。

[0029] 图20A-20D示出了与画面的亮度和色度采样相关联的示例。

[0030] 图21A-21B示出了与面部旋转之前和之后的画面的色度采样相关联的示例。

[0031] 图22A是可以实施所公开的一个或多个实施例的示例通信系统的系统图示。

[0032] 图22B是可以在图22A所示的通信系统内部使用的示例无线发射/接收单元(WTRU)的系统图示。

[0033] 图22C是可以在图22A所示的通信系统内部使用的示例无线电接入网络(RAN)和示例核心网络(CN)的系统图示。

[0034] 图22D是可以在图22A所示的通信系统内部使用的另一个示例RAN和另一个示例CN的系统图示。

具体实施方式

[0035] 现在将参考不同附图来描述关于说明性实施例的具体实施方式。虽然该描述提供了关于可能的实施例的详细示例，然而应该注意的是，这些细节旨在是示例性的，并且不会对本申请的范围构成限制。

[0036] 虚拟现实(VR)系统可以使用360度视频来为用户提供从水平方向上的360度角和垂直方向上的180度角观看场景的能力。VR和360度视频可能会是超高清(UHD)服务之后的媒体消费方向。可以从事关于全向媒体应用格式的需求和潜在技术方面的工作，以提升VR中的360度视频的质量和/或将处理链标准化以实现客户端的互操作性。自由视角电视(FTV)可以测试以下的一个或多个的性能：基于360度视频(全向视频)的系统和/或基于多视图的系统。

[0037] VR处理链中的一个或多个方面的质量和/或体验可以被改进。例如，与VR处理相关联的捕获、处理、显示等等中的一个或多个方面的质量和/或体验可以被改进。VR捕获可以使用一个或多个相机来从一个或多个不同和/或相异的视图(例如6-12个视图)捕获场景。这些视图可被拼接在一起，以便形成高分辨率(例如4K或8K)的360度视频。在客户端和/或用户端，VR系统可以包括计算平台、头戴式显示器(HMD)和/或头部追踪传感器。计算平台可以接收和/或解码360度视频。该计算平台可以生成用于显示的视口(例如在HMD上显示)。针对所述视口，可以渲染一个或多个画面(例如两个画面，每一个画面对应于一只眼睛)。在HMD中可以显示画面(例如用于立体观看)。透镜可以用于放大HDM中显示的图像，以便实现更好的观看。头部追踪传感器可以跟踪观察者的头部的方位，和/或可以向系统跟反馈方位信息(作为示例，以便显示针对该方位的视口画面)。

[0038] 可产生360度视频的投影表示。360度视频可被压缩和/或递送，例如使用基于HTTP上的动态自适应流(DASH)的视频流技术。作为示例，360度视频递送可以使用球面几何结构来实施，以便表示360度信息。例如，多个相机捕捉到的同步的多个视图可被拼接在球面上(例如作为一个整体结构)。该球面信息可以经由几何转换(例如等量矩形投影和/或立方体贴图投影)而被投影在2D平面表面上。

[0039] 360度视频可以用等量矩形投影(ERP)来投影。图1A显示了使用经度 和纬度(θ)的示例球面采样。图1B显示了使用ERP而被投影在2D平面上的示例球面。经度 可以处于范围[-π，π]以内，并且可以被称为偏航。纬度θ可以处于范围[-π/2，π/2]以内，并且在航空学中可被称为俯仰。π是圆的周长与它的直径的比值。(x，y，z)可以表示3D空间中的点的坐标。(ue，ve)可以表示使用了ERP的2D平面中的点的坐标。作为示例，如(1)和(2)所示，ERP可以用数学方式来表示。ve＝(0.5-θ/π)*H  (2)
参考(1)和(2)，W和H可以是2D平面画面的宽度和高度。在图1A中可以看出，点P可以是球面上的经度L4与纬度A1之间的交叉点。如图1B所示，通过使用(1)和/或(2)，可以将点P映射到2D平面上的唯一点q。图1B中的点q可被反向投影到图1A显示的球面上的点P(例如经由逆投影)。图1B中的视场(FOV)显示了将球面中的FOV映射到2D平面的示例，其中沿着X轴的视角约为110度。

[0040] 360度视频可被映射成2D视频。所映射的视频可以用视频编解码器(例如H.264、HEVC)来编码和/或可以被递送到客户端。在客户端，基于用户视口(例如，通过将等量矩形画面中属于FOV的部分投影和/或显示在HMD上)，可以解码和/或渲染等量矩形视频。球面视频可被变换成2D平面画面，以便用ERP来编码。等量矩形2D画面的特性可以不同于非等量矩形2D画面(例如直线视频)。可以与北极相对应的画面的顶部部分以及可以与南极相对应的画面的底部部分可以被拉伸。例如，和可以与赤道相对应的画面的中间部分相比，画面的顶部部分和底部部分可以被拉伸。拉伸画面的顶部和底部部分可以指示2D球面域中的等量矩阵采样是不均匀的。沿时间方向，2D等量矩形画面中的运动场有可能会很复杂。

[0041] ERP画面的边界(例如左边界和右边界)可被译码(例如独立译码)。通过对边界进行译码，可以在重建视频中创建视觉伪像(例如“面部接缝”)。举例来说，在使用重建视频来渲染可显示给用户(例如经由HMD和/或经由2D屏幕)视口的时候可以创建视觉伪像(例如“面部接缝”)。在边界(例如画面的左侧和右侧)上可以填充一个或多个亮度采样(例如8个)。被填充的ERP画面可以被编码。通过使用以下的一项或多项，可以反向转换具有填充物的重建ERP画面：混合被复制的采样或是裁剪被填充的区域。

[0042] 360度视频可以用立方体贴图投影来进行投影。ERP画面的顶部和底部部分可以分别对应于北极和南极。ERP画面的顶部和底部部分可以被拉伸(例如，在与画面的中间部分相比较的时候)。拉伸ERP画面的顶部和底部部分可以指示画面的球面采样密度是不均匀的。运动场可以描述相邻ERP画面之间的时间相关性。视频编解码器(例如MPEG-2、H.264和/或HEVC)可以使用平移模型来描述运动场。该平移模型可以表示或者不表示形状变化的运动(例如平面ERP画面中的形状变化的运动)。

[0043] 360度视频可以用几何投影格式来投影。几何投影格式可以将360度视频映射在一个或多个面部(例如多个面部)之上。作为示例，立方体贴图投影(CMP)可被用于投影360度视频。图2A是关于CMP几何图形的例图。如图2A所示，CMP可包括六个正方形面部。这些面部可被标记成PX、PY、PZ、NX、NY、NZ。P可以指代正数，且N可以指代负数。X，Y和Z可以分别指代轴线。这些面部可以用数字0-5来标记，例如PX(0)、NX(1)、PY(2)、NY(3)、PZ(4)、NZ(5)。如果切球面的半径是1，那么每一个面部的横向长度可以是2。具有CMP格式的面部可被一起封装到画面中。由于视频编解码器可能不支持球面视频，因此，CMP格式的面部可被封装到画面中。面部是可以旋转的，例如可以旋转一定的角度。面部旋转有可能会影响(例如最大化和/或最小化)相邻面部之间的连续性。图2B是关于帧封装的例图。如图2B所示，这些面部可被封装到矩形画面中。参考图2B，在面部上标记的面部索引可以分别指示面部的旋转。例如，面部#3和#1可以分别逆时针旋转270度和180度。其他面部可能不会旋转。在图2B中可以看出，处于顶行的3个面部可以是3D几何图形中的空间相邻的面部，和/或可以具有连续纹理。在图2B中可以看出，处于底行的3个面部可以是3D几何图形中的空间相邻的面部，和/或可以具有连续的纹理。在3D几何图形中，处于顶行的面部与底行的面部既可以是空间连续的，也可以不是空间连续的。在这两行面部之间有可能存在接缝(例如不连续边界)，例如在顶行的面部与底行的面部并非空间连续的时候。

[0044] 在CMP中，面部中心的采样密度可以是一(1)。如果面部中心的采样密度是一(1)，那么朝着面部边缘方向的采样密度可能会增大。例如，与面部中心的纹理相比，面部边缘周围的纹理可以被拉伸。基于立方体贴图的投影(例如等角立方体贴图投影(EAC)和/或经过调整的立方体贴图投影(ACP))可以对面部进行调整。面部可以用函数(例如非线性翘曲函数)来调整。该函数可以在垂直和/或水平方向上被应用于面部。面部还可以用切线函数来调整(例如在EAC中)。面部可以用二阶多项式函数来调整(例如在ACP中)。

[0045] 通过使用混合立方体贴图投影(HCP)，可以对视频进行投影。调整函数可被应用于面部。调整函数的参数可以针对面部而被调谐。调整函数可以针对面部的某个方向而被调谐(例如针对面部的每一个方向而被单独调谐)。基于立方体的投影可以封装画面的面部(例如与CMP相似)。在基于立方体的投影中有可能出现帧封装画面内部的面部的不连续性。

[0046] 360度视频可以使用混合视频编码处理来编码。在图3中示出了示例的360度视频递送实施方式。在图3中可以看出，360度视频递送可以包括360度视频捕捉，该360度视频捕捉可以是用一个或多个相机来捕获覆盖球面空间的视频。来自相机的视频可被拼接在一起，以便形成原生的几何结构。作为示例，这些视频可以采用等量矩形投影(ERP)格式而被拼接在一起。原生的几何结构可被转换成一种或多种投影格式，以便进行编码。视频的接收机可以解码和/或解压缩所述视频。该接收机可以将视频转换成几何图形(例如用于显示)。作为示例，该视频可以根据用户的视角并经由视口投影而被渲染。

[0047] 图4示出了示例的基于块的混合视频编码系统400的框图。输入视频信号402可被以逐块的方式处理。扩展块大小(作为示例，其被称为译码单元或CU)可被用于压缩高分辨率(例如1080p和/或更高)的视频信号。CU可以包括多达64×64个像素。CU可被划分成预测单元或PU。PU是可以单独预测的。对于输入视频块(例如宏块(MB)或CU)来说，其可被执行空间预测460或运动预测462。空间预测(作为示例，或者是帧内预测)可以使用源自相同视频画面和/或切片中的已译码的相邻块的像素来预测当前视频块。空间预测可以减小视频信号中的空间冗余度。运动预测(作为示例，其被称为帧间预测或时间预测)可使用源于已编码视频画面的像素来预测当前视频块。运动预测可以减小视频信号中固有的时间冗余度。指定视频块的运动预测信号可以通过用于指示当前块与其参考块之间的运动量和/或运动方向的运动矢量来通告。如果支持多个参考画面(例如在H.264/AVC或HEVC中)，那么可以将视频块的参考画面索引用信号通告解码器。参考索引可以用于识别时间预测信号源于参考画面存储器464中的哪一个参考画面。

[0048] 在空间和/或运动预测之后，编码器中的模式决策480可以选择预测模式(例如基于速率-失真优化)。在416，从当前视频块中可以减去预测块。预测残差可以用变换模块404和量化模块406来去相关，以便实现目标比特率。在410，经过量化的残差系数可以被反量化，并且在412，可以被反变换，以便形成重建残差。在426，该重建残差可被添加回预测块中，以便形成重建视频块。在将重建视频块放入参考画面存储器464之前，在466，环路滤波器(例如去块滤波器和/或自适应环路滤波器)可被应用于重建视频块。参考画面存储器464中的参考画面可被用于译码以后的视频块。输出视频比特流420可以被形成。译码模式(例如帧间或帧内)、预测模式信息、运动信息和/或量化残差系数可被发送至熵编码单元408，以便通过压缩和封装来形成比特流420。

[0049] 图5显示了示例的基于块的视频解码器的概括性框图。在熵解码单元508上可以接收、解封装和/或熵解码视频比特流502。编码模式和/或预测信息可被发送至空间预测单元560(例如在帧内译码的情况下)和/或时间预测单元562(例如在帧间译码的情况下)。空间预测单元560和/或时间预测单元562可以形成预测块。残差变换系数可被发送至反量化单元510和反变换单元512，以便重建残差块。在526，预测块和残差块可被相加。所述重建的块可以经历环路滤波566，并且可以被存入参考画面存储器564。参考画面存储564中的重建视频可被用于驱动显示设备和/或预测以后的视频块。

[0050] 视频编解码器可被用于译码视频，例如2D平面直线视频。视频译码可以利用空间和/或时间相关性来移除信息冗余度。在视频译码过程中可以应用一种或多种预测技术，例如帧内预测和/或帧间预测。帧内预测可以使用与采样值相邻的重建采样来预测该采样值。图6显示了可用于对当前变换单元(TU)进行帧内预测的示例参考采样(例如，R0，0到R2N，0和/或R0，0到R0，2N)。参考采样可以包括位于当前TU的上方和/或左侧的重建采样。这些参考采样可以来自左侧和/或顶部的相邻重建采样。

[0051] 设备可以使用一种或多种帧内预测模式来执行预测。设备可以选择使用某种帧内预测模式。图7示出了帧内预测方向的示例指示。一种或多种(例如三十五(35)种)帧内预测模式可被用于执行预测。举例来说，如图7所示，帧内预测模式可以包括平面(0)、DC(1)和/或角度预测(2～34)。恰当的帧内预测模式可被选择。例如，视频译码设备可以选择恰当的帧内预测模式。多种候选帧内预测模式生成的预测可被比较。可选择在预测采样与原始采样之间产生最小失真的候选帧内预测模式。所选择的帧内预测模式可被译码到比特流中。

[0052] 角度预测可被用于预测定向纹理。图8显示了具有运动矢量(MV)的帧间预测的示例。参考画面中的块B0′和B1′可以是用于当前画面中的块B0和B1的相应参考块。参考块B0′可以部分位于参考画面的边界之外。填充可被用于填满画面边界以外的未知采样。图9显示了用于画面边界以外的参考采样的示例填充。作为示例，关于块B0′的填充示例可以具有四个部分P0、P1、P2和P3。部分P0、P1和P2可以位于画面边界之外，并且可以被填满(例如经由填充处理)。作为示例，部分P0可以用参考画面的左上的采样来填满。部分P1可以通过使用参考画面的最顶行的垂直填充来填满。部分P2可以通过使用了该画面的最左列的水平填充来填满。

[0053] 帧间译码(例如用于编码运动矢量信息)可以包括使用运动矢量预测和/或合并模式。运动矢量预测可以使用来自相邻PU或是在时间上并置的PU来预测当前MV。视频译码设备可以生成运动矢量预测器候选列表。从该候选列表中可以选择MV预测器。所选择的MV预测器的索引可被译码和/或用信号通告给视频译码设备。视频译码设备可以构建MV预测器列表。具有用信号通告的索引的条目可被用作当前PU的MV的预测器。合并模式可以使用和/或重用在空间和时间上相邻的PU的MV信息。用于当前PU的运动矢量既可以被译码，也可以不被译码。视频译码设备可以生成关于一个或多个运动矢量合并候选的列表。图10示出了可以用于合并候选推导的空间邻居(例如左下、左、右上、上、左上)的示例。从该列表中可以选择运动矢量合并候选。所选择的合并候选的索引可被译码。具有用信号通告的合并候选索引的条目可被用作当前PU的MV。

[0054] 在视频序列内部可以周期性地插入帧内(I)帧，由此可以启用随机访问(RA)。两个连续I帧之间的预测结构可以是相似的(例如相同的)。完整长度的序列可被拆分(例如被拆分成一组独立的随机访问分段(RAS))。RAS可以以I帧为开始和/或结束。一个或多个RAS可以被并行编码。

[0055] 视频译码设备可以基于跨分量线性模型(CCLM)来执行预测。例如，该视频译码设备可以执行颜色转换。作为示例，视频译码设备可以执行红绿蓝(RGB)到YUV的颜色转换。颜色转换有可能会影响(例如增大和/或减小)不同通道之间的相关性。一个或多个视频块的亮度和色度通道可以被关联。可使用基于CCLM的预测，来使用线性模型来预测源于相应亮度采样的色度采样。通过使用(3)，可以从相应的下采样的(例如在视频是4:2:0和/或4:2:2色度格式的情况下)和/或重构的亮度采样值L′i，j中预测出色度采样值pi，j(例如假设色度块是N×N个采样)。pi，j＝α·L′i，j+β   (3)
经过下采样的亮度采样可以使用(4)来计算。
线性模型的参数可以通过最小化相邻重建采样(例如顶部和左侧的相邻重建采样)之间的回归误差来推导。线性模型的参数可以使用(5)和/或(6)来计算。

[0056] 图11示出了与可用于推导α和β的顶部和左侧相邻重建采样的位置相关联的示例。相邻的重建采样在编码器和/或解码器上可以是可用的。在编码器和/或解码器上可以推导出α和β的值。α和β的值既有可能需要也有可能不需要用信号通告。

[0057] 输入视频可以被球面旋转(例如使用多达3个参数(例如偏航，俯仰和滚动(roll))))。该球面旋转可以在编码之前执行。视频译码设备可以接收旋转参数(例如经由补充增强信息(SEI)消息和/或高级语法(HLS)参数)。该视频译码设备可以执行反向球面旋转(例如在解码之后以及在显示视频之前)。

[0058] 视频译码设备可以使用以下的一项或多项来确定球面旋转参数：多遍(multi-pass)编码和/或判据。球面旋转(例如最佳球面旋转)可以用判据来确定。球面旋转可以在视频开端或是在规则的间隔上(例如每一组画面(GOP)或是在每一个帧内随机访问点(IRAP)帧上)被确定和/或应用。球面旋转可被确定和/或应用于某种投影格式(例如任何投影格式)。如这里所述，某些投影格式可以包括多个面部(例如CMP)。如这里所述，帧封装布局可以封装具有不同方位和/或位置的面部(例如3×2布局)，这与旋转输入视频可以是等价的。不同的帧封装配置可以具有与球面旋转相关联的不同特性和/或译码性能。

[0059] 360°视频的面部可以至少部分基于面部旋转而被分组。由多个面部组成的投影格式可以使用3D几何图形中的相邻(例如空间相邻)面部群组来封装。面部群组可以包括一个或多个相邻面部(例如空间相邻的面部)。举例来说，基于立方体的几何图形可被封装在3×2布局中(例如两个各自具有三个面部的行)。如这里所述，所述行可以称为面部行。在该示例中，面部行可以由具有三个面部的面部群组组成。多个(例如六个不同的)组合可以用于选择具有三个面部的两个面部群组。一个或多个面部可被旋转。举例来说，在与4×3布局(例如图2B)相比较时，在3×2布局中可以旋转三个面部(例如旋转90度、180度或270度)。旋转面部有可能会影响译码性能。举例来说，如果将面部旋转90度的倍数，那么有可能会影响帧内译码性能。

[0060] 面部群组可以采用某种方式来放置。在指定布局内部，面部群组可以被不同放置。例如，在以3×2布局封装的基于立方体的几何图形中，顶部和底部的面部行可以交换。面部行(例如每一个面部行)可以旋转180度。如果顶部的面部行的底部部分具有与顶部的面部行的顶部部分不同的运动特性，那么面部尺寸不会是CTU尺寸的倍数。CU划分可以与边界对齐。面部行可被放置成致使位于边界的任何一侧的部分几乎都不包含运动。

[0061] 对于360视频中的帧来说，帧封装配置(例如面部布局和/或面部旋转参数)是可以改变的。帧封装配置可以在序列开端或者在规则的间隔上被确定(例如在每一个GOP，在每一个RAS和/或在每一个IRAP帧)。更新帧(例如每一个更新帧)的帧封装配置(例如最佳帧封装配置)可被选择。作为示例，更新帧可以是I帧和/或IRAP帧。如果在每一个训练周期选择了相同的参数，那么可以固定连续和不连续面部边界的位置。在帧封装画面中，3D几何图形中的空间相邻面部(例如两个空间相邻面部)可以是不连续的。如果存在面部边界连续的参考画面，那么可以为位于当前画面中的不连续面部边界附近的区域执行预测。

[0062] 视频译码设备可以自适应地对视频进行帧封装。自适应帧封装可以基于内容分析来执行。自适应帧封装可以针对包含了一个或多个面部的投影格式来执行。帧封装画面中的面部可被重新排列。这些面部可以旋转，例如旋转90度的倍数。球面旋转可以通过将视频旋转某些角度(例如任意角度)来执行，这其中有可能涉及三角函数，例如正弦和/或余弦。自适应帧封装可以与球面旋转结合使用，这样做可以减小用于球面旋转搜索的参数空间。
作为示例，如这里所述，用于球面旋转搜索的旋转参数搜索范围可以被减小(例如减小到3D空间的1/8)。自适应帧封装可用于确定旋转参数值的剩余组合。在自适应帧封装中，视频译码设备可以以周期性的方式(例如在规则间隔上)周期性改变和/或更新封装配置，由此可以减小接缝伪像的可见性。举例来说，视频译码设备可以在每一个I帧改变和/或更新封装配置。在帧封装配置之间(例如在两个连续的帧封装配置之间)，连续和不连续面部边界的位置是可以改变的。

[0063] 作为示例，用于360度视频译码的帧封装配置(例如面部布局和/或面部旋转参数)可以基于内容分析来选择。内容分析可以指示面部(例如帧封装画面中的每一个面部)的方位(例如最佳方位)和/或位置。

[0064] 视频译码设备可以选择面部群组。面部群组选择可以考虑面部旋转。可包含多个面部的投影格式可以用3D几何图形中的相邻(例如空间相邻)面部的群组来封装。面部群组可以包括相邻面部(例如帧封装画面中的空间相邻面部)，该相邻面部可被称为面部群组。作为示例，基于立方体的几何图形可以用3×2布局封装，例如两行各自包含三个面部。如这里所述，帧封装画面中的行可被称为面部行。面部行可包括具有三个面部的面部群组。六种不同的组合可以用于选择具有三个面部的两个面部群组。与4×3布局(如图2B所示)相比较，在3×2布局中可以旋转三个面部(例如旋转90°、180°或270°)。旋转面部例如将其旋转
90度的倍数)有可能会影响译码性能(例如在帧内译码中)。

[0065] 通过放置面部群组，可以使得视频译码性能得以改善。在指定布局内部，可以采用不同的方式来放置面部群组。举例来说，在用3×2布局封装的基于立方体的几何图形中，顶部和底部的面部行可以交换。面部行可以旋转180度。面部的布置和面部旋转有可能会影响译码性能(例如在两个面部行之间的不连续边界上)。面部尺寸既可以是也可以不是CTU尺寸的倍数。如果顶部的面部行的底部部分与底部的面部行的顶部部分具有不同的运动特性，那么CU划分可以与边界对齐。面部行可被布置成致使位于边界的任一侧的部分都包含最低限度的运动(例如很少或没有运动)。

[0066] 帧封装配置(例如，面部布局和/或面部旋转参数)可被更新以及用信号通告，例如以周期性的方式。帧封装配置可以在序列开端或是在规则的间隔上被确定(例如在每一个GOP、在每一个RAS和/或在每一个IRAP帧)。更新帧(例如每一个更新帧)的帧封装配置可被选择。为更新帧选择的帧封装配置可以是最佳的帧封装参数。如果连续选择了相同的参数(例如在每一个更新帧)，那么可以固定连续和不连续面边界的位置。在帧封装画面中，3D几何图形中的空间相邻面部有可能是不连续的。如果使用具有连续面部边界的参考画面来预测当前画面，那么可以为处于当前画面中的不连续面边界附近的区域执行预测(例如可以减小接缝伪像的预测)。

[0067] 画面可被从一种帧封装配置(例如面部布局和/或面部旋转参数)转换成另一种帧封装配置。画面的面部可被旋转某个角度。作为示例，包含在译码画面内部的面部可被分别旋转不同的角度。在面部上执行色度子采样。如果执行色度子采样，那么面部旋转有可能会影响色度采样的预测。色度采样的位置可以在被旋转面部的水平和/或垂直方向上移动。色度平面可被重新采样(例如在旋转之后重新采样)。作为补充或替换，不同的色度位置类型可以使用。色度位置类型可以基于或者不基于面部的旋转而改变。与色度采样旋转相关联的技术可以被执行。

[0068] 面部群组选择可以考虑面部旋转。举例来说，在3×2布局中有可能存在两个面部群组的六种不同组合，其中每一个面部群组都包括三个面部。表1列出了使用图2所示的面部定义的面部群组的示例组合。与球面视频的其他部分相比，球面视频的某些部分有可能更易于译码。将沿着赤道的三个面部分组在一起(例如分组到相同的面部群组中)的组合可被考虑，并且可以减少所要考虑的组合的数量(例如减少到表1中的组合1-4)。表1：用于选择具有三个面部的两个面部群组的组合
组合 群组#1 群组#2
1 PX，PZ，NX PY，NZ，NY
2 PX，NZ，NX PY，PZ，NY
3 PZ，PX，NZ PY，NX，NY
4 PZ，NX，NZ PY，PX，NY
5 PX，PY，NX PZ，NY，NZ
6 PZ，PY，NZ PX，NY，NX

[0069] 表1中列出的组合可以对应于采用偏航、俯仰和/或滚动方式的90度、180度或270度球面旋转。如果将自适应帧填充与球面旋转结合使用，那么球面旋转范围可以是3D几何图形的八分圆(octant)。作为示例，球面旋转范围可被局限于3D几何图形的一个八分圆。球面旋转参数搜索可以被减小，例如减小8倍。

[0070] 参考表1中的组合1-4，群组1中的三个赤道面部可被水平布置。在帧封装画面中，群组2中的剩余的三个面部可以旋转。±90度的旋转有可能会影响译码效率(例如在帧内译码中)。图案可以包括对角线(例如从左上到右下)。图案可以包括一个结构(例如规则结构，比方说定向梯度)，该结构可以是使用了帧内角度模式的预测。图案可以包括反对角线(例如从右上到左下)。与图7中的模式2接近的预测方向可以使用位于当前块的下方和左侧的采样。与图7中的模式34接近的预测方向分别可以使用位于当前块的上方和右侧的采样。水平梯度可以用等式7来推导。垂直梯度可以用等式8来推导。对角梯度可以用等式9来推导。反对角梯度可以用等式10来推导。等式7-10可用于确定面部旋转。
gh(i，j)＝|2F(i，j)-F(i-1，j)-F(i+1，j)|   (7)
gv(i，j)＝|2F(i，j)-F(i，j-1)-F(i，j+1)|   (8)
gd(i，j)＝|2F(i，j)-F(i-1，j-1)-F(i+1，j+1)|   (9)
ga(i，j)＝|2F(i，j)-F(i-1，j+1)-F(i+1，j-1)|   (10)

[0071] 梯度可以是在面部之上计算的。梯度可以是在面部的各个采样位置计算的。位于采样位置的梯度值可被加在一起(例如用于计算整个面部之上的梯度)。梯度可以基于块来计算。例如，所确定的可以是块(例如每一个8×8的块)中处于主导地位的梯度。在块内部的采样上可以累积梯度。累积的梯度值可被相互比较。作为示例，通过比较块的累积梯度值，可以确定块的占主导地位的梯度。图12显示了用于确定块的占主导地位的梯度的示例技术。在图12中可以看出，α可以是用于分类活动和非活动梯度的参数。

[0072] 对于面部来说，其成本(例如译码成本)可以被确定。面部的成本可以基于面部的梯度。对于面部来说，其成本函数可以如下所示：c＝whgh+wvgv+wagd+waga   (11)
参考(11)，wh、wv、wd和wa可以是指配给累积梯度或是占主导地位的梯度值的加权。举例来说，当图案的帧内预测由反对角线组成时，可以使用以下一个或多个加权组：wh＝wv＝wa＝-1，wd＝1。

[0073] 组合的总的成本可以是面部的单独成本的总和。作为示例，参考表1，用于相应组合的每一个面部的成本可被加在一起，以便确定该组合的成本。组合的成本计算可以考虑面部(例如每一个面部)的方位。为了顾及不同的旋转，面部的梯度可以不被计算(例如不被重新计算)。举个例子，对于90度的旋转来说，水平和垂直方向可以调换(例如垂直变成水平，水平变成垂直)。类似地，对于90°的旋转来说，对角和反对角方向可以调换(例如对角变为反对角，反对角变为对角)。所选择的可以是产生最低成本的组合。

[0074] 在亮度分量上可以计算梯度。在亮度和两个色度分量上可以计算单独的成本。总的成本可以通过聚合来自分量的单个成本来获取总的成本。例如，每一个分量的单个成本可以使用加权平均值来聚合。

[0075] 面部群组可以采用某种方式来放置。作为示例，面部群组放置可以基于面部和/或面部群组内部的运动来确定。

[0076] 面部群组可被指配给某一行。举例来说，面部群组可被指配给3×2布局中的两行之一。在选择了两个面部群组之后可以执行面部群组指配。面部行可被旋转。作为示例，如果将面部行旋转180度，那么可以保留所述行内部的面部的梯度方向性。面部尺寸可以是或者不是CTU尺寸的倍数。CTU可以跨越面部行。如果CTU的多个部分的特性存在差异，那么CU分区将会产生较小的CU。被分区的CU可以与相应面部行之间的边界对齐。如果CTU的两个部分的特性相似，那么可以使用较大的CU。举例来说，较大的CU可以跨越两个面部行之间的边界。译码模式可以为帧间译码使用基于子CU的运动矢量预测。大的CU的运动可以用更精细的粒度来细化(例如基于4×4的块)，这样做可以避免将大的CU拆分成较小的CU。如果几乎没有运动，那么可以应用大的CU细化。在所提供的组合中，具有三个赤道面部的群组不会旋转180度。在表2中示出并且在图13中描绘了用于放置两个面部行的示例组合。表2：用于放置两个面部群组的组合

[0077] 运动估计可以是在面部群组上执行的。面部群组(例如每一个面部群组)的顶部和底部部分的运动量可被估计。面部群组放置可以基于运动估计来确定。作为示例，所执行的可以是简单运动估计(例如使用固定块尺寸以及仅仅是整像素的运动补偿)。运动矢量分布可被分析。中间运动矢量可以被计算。帧之间的差异可以被确定。举例来说，两个帧之间的差异可以通过以下方式来确定。参考(12)和(13)，G(i，j，t)可以指示尺寸为W×H的群组中位于坐标(i，j)和时间t的采样。 可以用于指示距离测量函数，例如L1或L2范数。(Δx，Δy)可以指示在没有使用运动估计的情况下可能等于(0，0)的运动矢量。ε和Δt可以是分别指示了在帧差异计算中使用的采样数量和时间差的两个参数。举例来说，ε可被设置成是最小块尺寸的倍数，例如4、
8、16倍等等。Δt可以是0＜Δt＜T，其中T可以是自适应帧封装更新周期，其可被设置成T/2或GOP尺寸。

[0078] 作为示例，面部群组的顶部和/或底部部分(G1和G2)内部的活动可被比较，以便选择如何放置两个面部群组(参见表2)。

[0079] 面部接缝伪像有可能是可见的(例如在基于立方体的投影格式中)。基于立方体的投影格式不会具有处于帧封装画面中的面部具有连续性的封装配置。如果在帧封装画面中，3D几何图形中的相邻面部不是连续的，那么面部接缝有可能是可见的。帧封装画面中的不连续面部边界可能会导致出现可见的面部接缝。

[0080] 帧封装配置(例如面部布局和/或面部旋转参数)可被以周期性和/或非周期性的方式更新。举例来说，帧封装参数可被周期性的方式或者在规则的间隔上更新。针对帧封装配置的更新可以修改连续或不连续的面部边界的位置，由此可以修改可见的面部接缝的位置。更多的几何图形边缘将会是可见的(例如因为相邻面部的不连续性)。几何图形边缘有可能在短时间是可见的。帧封装配置的更新周期有可能会很短。例如，帧封装配置(例如面部布局和/或面部旋转参数)可以在以下各项中的每一项上更新：GOP，RAS，帧内周期等等。

[0081] 参考画面可以被识别，并且可以用于预测当前画面。参考画面能使当前画面中的不连续面部边界连续。举例来说，如果使用参考画面来预测当前画面，那么可以改善当前画面的预测(例如对于位置是在当前画面中的不连续面部边界附近的区域而言)。当前画面的接缝伪像的可见性可以被减小。设想3×2布局，如果使用图14所示的帧封装配置来封装当前和参考画面，那么面部#1和面部#4之间的面部边界有可能会改变(作为示例，如图14所示)。举例来说，如图14所示，面部#1与面部#4之间的面部边界在当前画面中可以是不连续的，并且在参考画面中可以是连续的。

[0082] 当前画面可以用与不同帧封装配置(例如面部布局和/或面部旋转参数)相关联的参考画面来预测。参考画面可被用于预测当前画面。参考画面中的对象的位置、旋转和/或形状可以与当前画面存在差异。在示例中(例如图14所示的示例中)，在与当前画面相比较时，在参考画面可以中旋转面部。在示例中(例如图14所示的示例中)，在与当前画面相比较时，面部可被放置在参考画面中的不同位置。当前画面中的面部与参考画面中的面部之间的位置差异有可能很大(例如大于供运动补偿使用的最大搜索范围)。在示例中，3D几何图形可被旋转。如果旋转了3D几何体，那么在与当前画面相比较时，参考画面的被投影面部中的对象有可能会扭曲，由此有可能影响时间相关性。作为示例，参考画面的帧封装配置(例如面部布局和/或面部旋转参数)可以被转换，以便与当前画面的帧封装配置相对齐。作为示例，在应用预测之前，可以将参考画面转换成当前画面的帧封装配置。

[0083] 如这里所述，参考画面的帧封装配置与当前画面的帧封装配置可以是不同的。当前画面和/或参考画面的帧封装配置(例如帧封装和/或球面旋转参数)可被确定是否存在差异。对于当前画面和参考画面来说，其画面参数集(PPS)id(例如pps_pic_parameter_set_id)可以被确定。当前画面和参考画面的一个或多个PPS id可以被比较。如果当前画面的PPS id与参考画面的相同，那么可以确定当前画面和参考画面的帧封装配置相同。如果当前画面和参考画面的PPS id不同，那么可以比较与当前画面和参考画面相关联的帧封装配置。举例来说，当前画面和参考画面的帧封装配置可逐个被单独比较。图15示出了与确定是否要对参考画面的帧封装配置(例如帧封装和/或球面旋转参数)进行转换相关联的示例。

[0084] 具有不同参数值的一个或多个PPS集合可以使用相同的PPS id。当后续PPS集合与先前PPS集合具有相同的PPS id时，该后续PPS集合的内容可以取代先前PPS集合的内容。通过施加比特流一致性约束，可以禁止PPS集合使用与另一个PPS集合相同的PPS id(举例，如在两个PPS集合使用不同帧封装布置的情况下)。帧封装配置(例如帧封装和/或球面旋转参数)可被用信号通告(例如在PPS之外的高级语法结构中)。举例来说，在适配参数集(APS)和/或切片报头中可以用信号通告帧封装配置。

[0085] 面部群组选择有可能会影响面部边界的连续性。可能组合的子集(相关示例参见表1)可以被使用，而这可能会影响连续面部的数量。每一个画面群组组合的成本都可以被确定。在示例中，可选择具有最低成本的组合。

[0086] 帧封装配置(例如面部布局和/或面部旋转参数)被更新。举例来说，在更新周期(例如每一个GOP、RAS和/或IRAP)中可以测试和排序可能的组合(参见表1)(例如基于其各自的成本)。可使用不同于在先前的更新周期中使用的帧封装配置的帧封装配置(例如排名最高的配置)。帧封装配置(例如面部布局和/或面部旋转参数)可以取决于先前更新周期(例如先前的GOP、RAS和/或IRAP)的帧封装配置。从四个帧封装配置中可以选出两个帧封装配置。

[0087] 并行编码可以被执行。通过使用某一个帧(例如视频序列、GOP、RAS等等的第一个帧)，可以基于不同帧封装配置组合的成本来对其进行排序。被排序的组合可被称为C1、C2、C3、C4。在一个帧(例如第一个帧)中，所使用的可以是排名最高的组合，例如C1。在后续的更新帧中可以形成两个组合集合，例如{C1，C2}和{C3，C4}。组合(例如，最佳组合)可以通过以下方式确定：参考(14)：T可以指示自适应帧封装更新周期，％可以是模运算符，并且C可以是针对更新帧计算的成本函数.

[0088] 作为示例，用于360度视频译码的面部旋转参数(例如球面旋转参数)可以基于内容分析来选择。内容分析可以指示球面旋转(例如最佳球面旋转)。

[0089] 球面旋转有可能影响帧封装画面的属性。在帧封装画面和/或具有不均匀采样的基于立方体的投影格式(例如EAC、ACP和/或HCP)中，3D空间中的直线有可能受到面部的球面旋转(例如面部旋转)的影响。例如，帧封装画面中的直线可以通过使用一种球面旋转投影而被投影为直线，并且不会通过使用另一种球面旋转而被投影为直线。所选择的可以是将几何失真最小化的球面旋转。举例来说，所选择的可以是将线变直的球面旋转。通过执行内容分析，可以测量面部中的线条的曲率。内容分析可以包括边缘检测和/或使用霍夫变换。

[0090] 在面部上可以执行边缘检测。边缘检测可以用于指示面部内部的结构(例如主要结构)。举例来说，边缘检测可以包括基于梯度和/或拉普拉斯算子的边缘检测方法(例如Sobel，Robert，Prewitt或Canny)。作为示例，通过应用滤波(例如在边缘检测之前应用)，可以移除噪声。在亮度分量上可以执行边缘检测。在亮度和色度分量上可以执行边缘检测(例如以替换的方式、以补充的方式和/或以单独的方式执行)。举例来说，边缘贴图(例如最终边缘贴图)可以通过聚合来自分量(例如每一个分量)的单个边缘贴图来确定。作为示例，单个边缘贴图可以使用单个边缘贴图的加权平均值来聚合。

[0091] 霍夫变换可被应用于边缘贴图(例如在其上计算)，以便识别面部中的线条(例如主线条)。霍夫变换可以使用二维阵列(例如霍夫空间累加器)来量化霍夫参数空间以及检测线条的存在。霍夫空间累积器可以对应于不同的球面旋转，和/或可以被分析以选择球面旋转(例如最佳的球面旋转)。作为示例，所选择的可以是将霍夫空间累积器中的峰值数量最小化和/或将这些峰值的强度最大化的球面旋转。

[0092] 帧封装配置(例如面部布局和/或面部旋转参数)可以是在序列和/或画面级(例如使用HLS元素)用信号通告的。

[0093] 面部可以被旋转。面部旋转有可能影响色度采样的位置。画面可以用一种或多种色度采样格式来编码。图16示出了画面中的亮度和色度采样的示例的标称垂直和水平位置。如图16所示，该画面可以用一种或多种色度采样格式来编码：图16A描绘了4:4:4色度采样格式。图16B描绘了4:2:2色度采样格式，并且图16C示出了4:2:0色度采样格式。参考图16A-16C，交叉代表亮度采样的位置，圆圈表示色度采样的位置。参考图16C，类型0的色度采样位置是作为示例示出的。

[0094] 图17A-17D示出了在旋转之后具有色度采样类型0的4:2:0色度格式的色度采样的示例标称采样位置。参考图17A-17D，交叉代表亮度采样的位置，且圆圈表示色度采样的位置。图17A示出了标称采样位置。图17B示出了在逆时针旋转90°之后的色度采样的位置。图17C示出了在逆时针旋转180°之后的色度采样的位置。图17D示出了在逆时针旋转270°之后的色度采样的位置。

[0095] 图18A-18D示出了在旋转之后具有色度采样类型1的4∶2∶0色度格式的色度采样的示例标称采样位置。参考图18A-18D，交叉代表亮度采样的位置，且圆圈代表色度采样的位置。图18A示出了标称采样位置。图18B示出了在逆时针旋转90°之后的色度采样的位置。图18C示出了在逆时针旋转180°之后的色度采样的位置。图18D示出了在逆时针旋转270°之后的色度采样的位置。

[0096] 图19A-19D示出了在旋转之后具有色度采样类型2的4:2:0色度格式的色度采样的示例标称采样位置。参考图19A-19D，交叉代表亮度采样的位置，且圆圈代表色度采样的位置。图19A示出了标称采样位置。图19B示出了在逆时针旋转90°之后的色度采样的位置。图19C示出了在逆时针旋转180°之后的色度采样的位置。图19D示出了在逆时针旋转270°之后的色度采样的位置。

[0097] 图20A-20D示出了在旋转之后具有色度采样类型3的4∶2∶0色度格式的色度采样的示例标称采样位置。参考图20A-20D，交叉代表亮度采样的位置，圆圈代表色度采样的位置。图20A示出了标称采样位置。图20B示出了在逆时针旋转90°之后的色度采样的位置。图20C示出了在逆时针旋转180°之后的色度采样的位置。图20D示出了在逆时针旋转270°之后的色度采样的位置。

[0098] 如这里所述，相对于4:2:0色度采样格式，图17A、18A、19A和20A分别示出了用于常见色度采样类型0、1、2和3的色度采样的示例位置。如这里所述，经过译码的面部可被旋转(例如用于转换参考画面的帧封装布置)。在经过译码的面部的旋转之后，色度采样的位置既有可能变得未对齐，也有可能变得没有未对齐。例如，当色度采样格式为4:4:4时，色度采样的位置保持对齐。作为补充或替换，当色度采样格式是4:2:2和/或4:2:0时，色度采样的位置可能变得不对齐。作为示例，色度采样的未对齐可以取决于旋转的程度和/或旋转的方向。

[0099] 色度采样位置可以与亮度采样位置相对齐。例如，当使用4:4:4色度采样格式时，色度采样位置可以与亮度采样位置相对齐。图21A-21B示出了参考画面中的色度采样的示例位置。图21A-21B示出了图14所示的示例场景的参考画面中的色度采样的位置。参考图21A-21B，参考画面可以使用色度采样类型2。图21A示出了在帧封装转换之前的参考画面中的色度采样的示例位置。图21B示出了在帧封装转换之后的参考画面中的色度采样的示例位置。如图21A所示，面部内部的色度采样可以与参考画面中的左上的亮度采样并置(例如，共址)。如图21B所示，例如，在帧封装转换之后，面部内的色度采样的位置不会与所转换的参考画面中的左上亮度采样并置(例如共址)。面部内部的色度采样的位置不与经过转换的参考画面中的左上亮度采样并置(例如共址)的场景可被称为色度采样未对齐。

[0100] 色度采样未对齐是可以减少或避免的。色度平面可以被重新采样，以使重新采样的画面中的色度位置与原始图像(例如旋转前的图像)中定义的色度位置相对应。例如，色度平面可以在旋转之后被重新采样。重新采样可以使用一个或多个插值滤波器，例如基于双线性、双三次、Lanczos、样条和/或DCT的插值滤波器。

[0101] 色度采样类型有可能受到或者不受面部旋转的影响。不受旋转影响的色度采样类型(例如旋转90°的倍数)可以用于重新采样色度分量和/或360度视频的帧。不受旋转影响的色度采样类型(例如旋转90°的倍数)可用于避免色度采样未对齐(例如在4:2:0色度格式中)。分别如图17、19和20所示，用于色度采样类型0、2和/或3的色度采样的位置有可能受到旋转(例如逆时针旋转90°、180°和270°)的影响。如图18所示，色度采样类型1可能不会受到旋转的影响(例如逆时针旋转90°、180°和270°)。如图18所示，色度采样可以位于一个或多个(例如四个)亮度采样的中心。所使用的可以是色度采样类型1(例如在4:2:0色度采样格式中)。

[0102] 亮度采样可被下采样(例如在CCLM预测中)。下采样的亮度值可被用作色度采样的预测器。下采样处理可以考虑色度位置类型。下采样处理可以预测色度采样。下采样处理可以包括使用下采样滤波器。下采样滤波器可以假设色度采样类型0。等式(4)是示例下采样滤波器。如等式(15)所示，等式(4)可以用卷积运算来改写。如等式(16)所示，等式(15)可以使用卷积核ck，l。如这里所述，卷积核是可以改变的(例如取决于色度采样类型)。关于等式(16)-(26)，系数c0，0是用星号(*)表示。
卷积核ck，l可以被等式(17)和/或(18)所示的卷积核取代(例如对于色度采样类型3来说)。
ck，l＝[1 3* 3 1]   (18)
卷积核ck，l可以被另一个卷积核取代，例如等式(19)-(22)所示的卷积核(例如对于色度采样类型1来说)。
卷积核ck，l可以被另一个卷积核取代，例如等式(23)-(26)所示的卷积核(例如对于色度采样类型2来说)。
ck，l＝[1 2* 1]   (23)

[0103] 下采样滤波器(例如基于双线性、双三次、Lanczos、样条或DCT的插值滤波器)可被用于下采样。下采样滤波器可以是在考虑了输入信号的色度采样类型的情况下应用的。该下采样滤波器可以顾及垂直和/或水平方向上的色度偏移。该下采样滤波器可以为亮度采样使用加权。用于亮度采样的下采样滤波器的加权可以基于色度采样类型。在比特流中可以用信号通告色度采样类型。用信号通告的色度采样类型可被用于执行预测(例如CCLM预测)。色度采样类型可被用于确定下采样滤波器。该色度采样类型可被用于确定垂直和/或水平方向上的色度偏移。色度采样类型可以在序列级用信号通告(例如通过使用语法)。表3示出了一种可以用于用信号通告色度采样类型的示例语法。表3：视频参数集合

[0104] 参考表3，与亮度采样相关的色度采样(作为示例，如表4中规定的那样)可以用参数来指示，例如chroma_format_idc。chroma_format_idc的值可以处于0到3的范围以内，包括0和3。表4示出了用于指示与亮度采样相关的色度采样的参数(例如chroma_format_id)和所推导的色度格式之间的示例关系。表4：从chroma_format_idc中推导出的色度格式
chroma_format_idc 色度格式
0 单色
1 4:2:0
2 4:2:2
3 4:4:4

[0105] 参考表3，是否存在色度采样位置信息可以用参数(例如chroma_loc_info_present_flag)来指示。举例来说，当chroma_loc_info_present_flag等于1时，chroma_sample_loc_type是存在的。当chroma_loc_info_present_flag等于0时，chroma_sample_loc_type是不存在的。

[0106] 参考表3和/或表4，以下的一项或多项都是可以应用的。当chroma_format_idc不等于1时，诸如chroma_loc_info_present_flag之类的参数可以等于0。色度采样的位置可以用参数来指示，例如chroma_sample_loc_type。以下的一项或多项是可以应用的。如果chroma_format_idc等于1(举例来说，如表4所示的那样表明使用4:2:0色度格式)，那么chroma_sample_loc_type可以指示色度采样的位置，该位置可以与图17A所示的位置相似。如果chroma_format_idc不等于1，那么可以忽略诸如chroma_sample_loc_type之类的参数的值。当chroma_format_idc等于2(举例来说，如表4中所示的那样指示4:2:2色度格式)和/或3(如表4所示的那样指示4:4:4色度格式)时，色度采样的位置可以与图16所示的位置相似。当chroma_format_idc等于0时(例如，如表4所示的那样表明色度格式是单色)，这时可不用信号通告色度采样阵列。

[0107] 作为示例，表3假设了使用VPS来携带色度采样类型信息。在其他高级参数集合(例如SPS和/或PPS)中可以携带与表3相似的语法结构。对于指定的chroma_sample_loc_type值，一个或多个CCLM滤波器可用于执行CCLM。如果应用了一个以上的CCLM滤波器，那么可以分别用信号通告要被应用于chroma_sample_loc_type的CCLM滤波器。CCLM滤波器可以与chroma_sample_loc_type一起用信号通告(例如在VPS、SPS和/或PPS中)。

[0108] 表5示出了可以用于用信号通告色度采样类型的示例语法。色度采样类型可以基于标志，例如CCLM使能标志。表5：序列参数集合

[0109] 参考表5，以下的一项或多项是可以应用的。诸如lm_chroma_enabled_flag之类的参数可以指示是否使用CCLM预测来执行色度帧内预测。如果lm_chroma_enabled_flag等于0，那么可以约束序列(例如当前序列)的语法元素，以免在画面(例如当前画面)解码过程中使用CCLM预测。如果lm_chroma_enabled_flag不等于0，那么可以在画面(例如当前画面)的解码过程中使用CCLM预测。作为补充或替换，lm_chroma_enabled_flag有可能是不存在的(例如没有用信号通告和/或没有设置)。如果不存在lm_chroma_enabled_flag，那么可以推断出lm_chroma_enabled_flag的值等于0。SPS可被用于携带CCLM预测使能信息。在其他高级参数集合(例如PPS)中可以携带与表5所示的示例相似的语法结构。

[0110] 在帧封装画面中可以定义色度采样类型。色度采样类型可以用面部坐标系来定义。如果使用面部坐标系来定义色度采样类型，那么可以根据帧封装画面中的色度采样类型和/或面部旋转来确定用于帧封装画面中的特定面部的色度采样的等效位置。如这里所述，色度采样类型可以在高级语法中用信号通告。在帧封装配置中可以用信号通告面部旋转。举例来说，如果在帧封装画面中将面部逆时针旋转270°，和/或在面部坐标系中使用类型0的色度采样，那么帧封装画面中的色度采样可以与垂直和/或水平移动0.5个亮度采样单位的左上方的亮度采样(作为示例，如图17D所示)并置(例如处于相同位置)，其中该亮度采样可以对应于面部在帧封装画面中的色度采样类型3。考虑到面部旋转(例如用于CCLM预测)，可以针对帧封装画面中的每一个面部来调整下采样滤波器。亮度采样所属的面部(例如针对在CCLM预测中使用的每一个亮度采样)可以被确定。下采样滤波器可以基于所识别的面部、旋转的量和/或方向、和/或用信号通告的色度采样类型来选择。作为补充或替换，在帧封装参数中可以用信号通告针对面部(例如用信号通告针对每一个单独面部)的色度采样类型。

[0111] 这里使用的360度视频可以包括全向视频、球面视频、六个自由度的(6DoF)媒体和/或单视场和立体(3D)虚拟现实视频等等。

[0112] 图22A是示出了可以实施所公开的一个或多个实施例的示例通信系统100的图示。该通信系统100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够访问此类内容。举例来说，通信系统100可以采用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZTUWDTS-sOFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。

[0113] 如图22A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络
112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。每一个WTRU 102a、102b、102c、102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，任一WTRU 102a、102b、102c、102d都可被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d可被可交换地称为UE。

[0114] 通信系统100还可以包括基站114a和/或基站114b。每一个基站114a和/或基站114b可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一个无线对接来促使其接入一个或多个通信网络(例如CN106/115、因特网110、和/或其他网络112)的任何类型的设备。例如，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然每一个基站114a、114b都被描述成了单个部件，然而应该了解，基站114a、114b可以包括任何数量的互连基站和/或网络部件。

[0115] 基站114a可以是RAN 104/113的一部分，并且所述RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在被称为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为可能相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，也就是说，每一个收发信机都对应于小区的一个扇区。在实施例中，基站114a可以采用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区利用多个收发信机。例如，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。

[0116] 基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一个或多个进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、毫米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。

[0117] 更具体地说，如上所述，通信系统100可以是多址接入系统，并且可以采用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。

[0118] 在实施例中，基站114a和WTRU 102a、102b、102c可以实施无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTA Pro(LTE-APro)来建立空中接口116。

[0119] 在实施例中，基站114a和WTRU 102a、102b、102c可以实施无线电技术，例如NR无线电接入，其可以建立使用新型无线电(NR)的空中接口116。

[0120] 在实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU 102a、102b、102c利用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如eNB和gNB)发送的传输来表征。

[0121] 在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即无线高保真(WiFi))、IEEE 802.16(全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)以及GSM EDGE(GERAN)等等。

[0122] 图22A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以利用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一个实施例中，基站114b和WTRU 102c、102d可通过利用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图22A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN 
106/115来接入因特网110。

[0123] RAN 104/113可以与CN 106/115进行通信，所述CN可以是被配置成向WTRU 102a、102b、102c、102d中的一个或多个提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、时延需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户验证之类的高级安全功能。虽然在图22A中没有显示，然而应该了解，RAN 104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113采用相同RAT或不同RAT的其他RAN进行通信。例如，除了与可利用NR无线电技术的RAN 104/113相连之外，CN 106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。

[0124] CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如TCP/IP网际协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或网际协议(IP))的全球性互联计算机网络设备系统。网络112可以包括由其他服务供应商拥有和/或运营的有线和/或无线通信网络。例如，网络
112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN 104/
113使用相同RAT或不同RAT。

[0125] 通信系统100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如，WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图22A所示的WTRU 102c可被配置成与采用基于蜂窝的无线电技术的基站114a通信，以及与可以采用IEEE 802无线电技术的基站114b通信。

[0126] 图22B是示出了示例WTRU 102的系统图示。如图22B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136以及其他周边138等。应该了解的是，在保持符合实施例的同时，WTRU 102还可以包括前述部件的任何子组合。

[0127] 处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号译码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU 102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图22B将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以集成在一个电子封装或芯片中。

[0128] 发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如基站114a)的信号。举个例子，在一个实施例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在实施例中，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在再一个实施例中，发射/接收部件122可被配置成发射和/或接收RF和光信号两者。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。

[0129] 虽然在图22B中将发射/接收部件122描述成是单个部件，但是WTRU 102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以采用MIMO技术。由此，在一个实施例中，WTRU 102可以包括两个或多个通过空中接口116来发射和接收无线电信号的发射/接收部件122(例如多个天线)。

[0130] 收发信机120可被配置成对发射/接收部件122将要传送的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102经由多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。

[0131] WTRU 102的处理器118可以耦合到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。

[0132] 处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于WTRU 102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。

[0133] 处理器118还可以耦合到GPS芯片组136，该芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以通过空中接口116接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 102可以借助任何适当的定位方法来获取位置信息。

[0134] 处理器118还可以耦合到其他周边138，其中所述周边可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，周边138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、 模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备以及活动跟踪器等等。周边138可以包括一个或多个传感器，所述传感器可以是以下的一个或多个：陀螺仪、加速度计、霍尔效应传感器、磁强计、方位传感器、接近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。

[0135] WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)两者的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的接口管理单元。在实施例中，WTRU 102可以包括传送或接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。举例而言，视频译码设备可包括WTRU，例如WTRU 102。

[0136] 图22C是示出了根据实施例的RAN 104和CN 106的系统图示。如上所述，RAN 104可以在空中接口116上采用E-UTRA无线电技术来与WTRU 102a、102b、102c进行通信。所述RAN 104还可以与CN 106进行通信。

[0137] RAN 104可以包括e节点B 160a、160b、160c，然而应该了解，在保持符合实施例的同时，RAN 104可以包括任何数量的e节点B。每一个e节点B 160a、160b、160c都可以包括在空中接口116上与WTRU 102a、102b、102c通信的一个或多个收发信机。在一个实施例中，e节点B 160a、160b、160c可以实施MIMO技术。由此，举例来说，e节点B 160a可以使用多个天线来向WTRU 102a发射无线信号，和/或以及接收来自WTRU 102a的无线信号。

[0138] 每一个e节点B 160a、160b、160c都可以关联于特定小区(未显示)，并且可被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度等等。如图22C所示，e节点B 160a、160b、160c彼此可以通过X2接口进行通信。

[0139] 图22C所示的CN 106可以包括移动性管理实体(MME)162、服务网关(SGW)164以及分组数据网络(PDN)网关(或PGW)166。虽然前述的每一个部件都被描述成是CN 106的一部分，然而应该了解，这其中的任一部件都可以由CN运营商之外的实体拥有和/或运营。

[0140] MME 162可以经由S1接口连接到RAN 104中的每一个e节点B160a、160b、160c，并且可以充当控制节点。例如，MME 162可以负责验证WTRU 102a、102b、102c的用户，执行承载激活/去激活处理，以及在WTRU 102a、102b、102c的初始附着过程中选择特定的服务网关等等。MME 162还可以提供用于在RAN 104与采用其他无线电技术(例如GSM或WCDMA)的其他RAN(未显示)之间进行切换的控制平面功能。

[0141] SGW 164可以经由S1接口连接到RAN 104中的每一个e节点B 160a、160b、160c。SGW 164通常可以路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。并且，SGW 164还可以执行其他功能，例如在eNB间的切换期间锚定用户平面，在DL数据可供WTRU 102a、
102b、102c使用时触发寻呼，以及管理并存储WTRU 102a、102b、102c的上下文等等。

[0142] SGW 164可以连接到PGW 146，所述PGW 166可以为WTRU 102a、102b、102c提供至分组交换网络(例如因特网110)的接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信。

[0143] CN 106可以促成与其他网络的通信。例如，CN 106可以为WTRU 102a、102b、102c提供至电路交换网络(例如PSTN 108)的接入，以便促成WTRU 102a、102b、102c与传统的陆线通信设备之间的通信。例如，CN 106可以包括一个IP网关(例如IP多媒体子系统(IMS)服务器)或与之进行通信，并且该IP网关可以充当CN 106与PSTN 108之间的接口。此外，CN 106可以为WTRU 102a、102b、102c提供至网络112的接入，其中该网络可以包括其他服务供应商拥有和/或运营的其他有线或无线网络。

[0144] 虽然在图22A-22D中将WTRU描述成了无线终端，然而应该想到的是，在某些典型实施例中，此类终端与通信网络可以使用(例如临时或永久性)有线通信接口。

[0145] 在典型的实施例中，其他网络112可以是WLAN。

[0146] 采用基础架构基本服务集(BSS)模式的WLAN可以具有用于所述BSS的接入点(AP)以及与所述AP相关联的一个或多个站(STA)。所述AP可以访问或是对接到分布式系统(DS)或是将业务送入和/或送出BSS的别的类型的有线/无线网络。源于BSS外部且去往STA的业务可以通过AP到达并可被递送至STA。源自STA且去往BSS外部的目的地的业务可被发送至AP，以便递送到相应的目的地。处于BSS内部的STA之间的业务可以通过AP来发送，例如在源STA可以向AP发送业务并且AP可以将业务递送至目的地STA的情况下。处于BSS内部的STA之间的业务可被认为和/或称为点到点业务。所述点到点业务可以在源与目的地STA之间(例如在其间直接)用直接链路建立(DLS)来发送。在某些典型实施例中，DLS可以使用802.11e DLS或802.11z隧道化DLS(TDLS))。举例来说，使用独立BSS(IBSS)模式的WLAN可以不具有AP，并且处于所述IBSS内部或是使用所述IBSS的STA(例如所有STA)彼此可以直接通信。在这里，IBSS通信模式有时可被称为“自组织”通信模式。

[0147] 在使用802.11ac基础设施工作模式或类似的工作模式时，AP可以在固定信道(例如主信道)上传送信标。所述主信道可以具有固定宽度(例如20MHz的带宽)或是借助信令动态设置的宽度。主信道可以是BSS的工作信道，并且可被STA用来与AP建立连接。在某些典型实施例中，所实施的可以是具有冲突避免的载波感测多址接入(CSMA/CA)(例如在802.11系统中)。对于CSMA/CA来说，包括AP在内的STA(例如每一个STA)可以感测主信道。如果特定STA感测到/检测到和/或确定主信道繁忙，那么所述特定STA可以回退。在指定的BSS中，在任何指定时间都有一个STA(例如只有一个站)可以进行传输。

[0148] 高吞吐量(HT)STA可以使用宽度为40MHz的信道来进行通信(例如借助于将宽度为20MHz的主信道与宽度为20MHz的相邻或不相邻信道相结合来形成宽度为40MHz的信道)。

[0149] 甚高吞吐量(VHT)STA可以支持宽度为20MHz、40MHz、80MHz和/或160MHz的信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道或者通过组合两个不连续的80MHz信道(这种组合可被称为80+80配置)来形成。对于80+80配置来说，在信道编码之后，数据可被传递并经过一个分段解析器，所述分段解析器可以将数据分成两个流。在每一个流上可以单独执行反向快速傅里叶变换(IFFT)处理以及时域处理。所述流可被映射在两个80MHz信道上，并且数据可以由执行传输的STA来传送。在执行接收的STA的接收机上，用于80+80配置的上述操作可以是相反的，并且组合数据可被发送至介质访问控制(MAC)。

[0150] 802.11af和802.11ah支持次1GHz的工作模式。相比于802.11n和802.11ac，在802.11af和802.11ah中使用信道工作带宽和载波有所缩减。802.11af在TV白空间(TVWS)频谱中支持5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、
8MHz和16MHz带宽。依照典型实施例，802.11ah可以支持仪表类型控制/机器类型通信(例如宏覆盖区域中的MTC设备)。MTC设备可以具有某种能力，例如包含了支持(例如只支持)某些和/或有限带宽在内的受限能力。MTC设备可以包括电池，并且该电池的电池寿命高于阈值(例如用于保持很长的电池寿命)。

[0151] 对于可以支持多个信道和信道带宽的WLAN系统(例如802.11n、802.11ac、802.11af以及802.11ah)来说，这些系统包含了一个可被指定成主信道的信道。所述主信道的带宽可以等于BSS中的所有STA所支持的最大公共工作带宽。主信道的带宽可以由STA设置和/或限制，其中所述STA源自在支持最小带宽工作模式的BSS中工作的所有STA。在
802.11ah的示例中，即使BSS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽工作模式，但对支持(例如只支持)1MHz模式的STA(例如MTC类型的设备)来说，主信道的宽度可以是1MHz。载波感测和/或网络分配矢量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如因为STA(其只支持1MHz工作模式)对AP进行传输)，那么即使大多数的频带保持空闲并且可供使用，也可以认为整个可用频带繁忙。

[0152] 在美国，可供802.11ah使用的可用频带是902MHz到928MHz。在韩国，可用频带是917.5MHz到923.5MHz。在日本，可用频带是916.5MHz到927.5MHz。依照国家码，可用于
802.11ah的总带宽是6MHz到26MHz。

[0153] 图22D是示出了根据实施例的RAN 113和CN 115的系统图示。如上所述，RAN 113可以通过空中接口116采用NR无线电技术来与WTRU 102a、102b、102c进行通信。RAN 113还可以与CN 115进行通信。

[0154] RAN 113可以包括gNB 180a、180b、180c，但是应该了解，在保持符合实施例的同时，RAN 113可以包括任何数量的gNB。每一个gNB 180a、180b、180c都可以包括一个或多个收发信机，以便通过空中接口116来与WTRU 102a、102b、102c通信。在一个实施例中，gNB 180a、180b、180c可以实施MIMO技术。例如，gNB 180a、180b、180c可以利用波束成形来向和/或从gNB 180a、180b、180c发射和/或接收信号。由此，举例来说，gNB 180a可以使用多个天线来向WTRU 102a发射无线信号，和/或接收来自WTRU 102a的无线信号。在实施例中，gNB 
180a、180b、180c可以实施载波聚合技术。例如，gNB 180a可以向WTRU 102a传送多个分量载波(未显示)。这些分量载波的子集可以处于无授权频谱上，而剩余分量载波则可以处于授权频谱上。在实施例中，gNB 180a、180b、180c可以实施协作多点(CoMP)技术。例如，WTRU 
102a可以接收来自gNB 180a和gNB 180b(和/或gNB 180c)的协作传输。

[0155] WTRU 102a、102b、102c可以使用与可扩缩参数配置相关联的传输来与gNB 180a、180b、180c进行通信。例如，对于不同的传输、不同的小区和/或不同的无线传输频谱部分来说，OFDM符号间隔和/或OFDM子载波间隔可以是不同的。WTRU 102a、102b、102c可以使用具有不同或可扩缩长度的子帧或传输时间间隔(TTI)(例如包含了不同数量的OFDM符号和/或持续不同的绝对时间长度)来与gNB 180a、180b、180c进行通信。

[0156] gNB 180a、180b、180c可被配置成与采用独立配置和/或非独立配置的WTRU 102a、102b、102c进行通信。在独立配置中，WTRU 102a、102b、102c可以在不接入其他RAN(例如e节点B 160a、160b、160c)的情况下与gNB 180a、180b、180c进行通信。在独立配置中，WTRU 
102a、102b、102c可以利用gNB 180a、180b、180c中的一个或多个作为移动锚点。在独立配置中，WTRU 102a、102b、102c可以使用无授权频带中的信号来与gNB 180a、180b、180c进行通信。在非独立配置中，WTRU 102a、102b、102c会在与别的RAN(例如e节点B 160a、160b、160c)进行通信/相连的同时与gNB 180a、180b、180c进行通信/相连。举例来说，WTRU 102a、102b、
102c可以通过实施DC原理而以基本同时的方式与一个或多个gNB 180a、180b、180c以及一个或多个e节点B 160a、160b、160c进行通信。在非独立配置中，e节点B 160a、160b、160c可以充当WTRU 102a、102b、102c的移动锚点，并且gNB 180a、180b、180c可以提供附加的覆盖和/或吞吐量，以便为WTRU 102a、102b、102c提供服务。

[0157] 每一个gNB 180a、180b、180c都可以关联于特定小区(未显示)，并且可以被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络切片、实施双连接性、实施NR与E-UTRA之间的互通、路由去往用户平面功能(UPF)184a、184b的用户平面数据、以及路由去往接入和移动性管理功能(AMF)182a、182b的控制平面信息等等。如图22D所示，gNB 180a、180b、180c彼此可以通过X2接口通信。

[0158] 图22D所示的CN 115可以包括至少一个AMF 182a、182b，至少一个UPF 184a、184b，至少一个会话管理功能(SMF)183a、183b，并且有可能包括数据网络(DN)185a、185b。虽然每一个前述部件都被描述了CN 115的一部分，但是应该了解，这其中的任一部件都可以被CN运营商之外的其他实体拥有和/或运营。

[0159] AMF 182a、182b可以经由N2接口连接到RAN 113中的一个或多个gNB 180a、180b、180c，并且可以充当控制节点。例如，AMF 182a、182b可以负责验证WTRU 102a、102b、102c的用户，支持网络切片(例如处理具有不同需求的不同PDU会话)，选择特定的SMF 183a、183b，管理注册区域，终止NAS信令，以及移动性管理等等。AMF 182a、1823b可以使用网络切片，以便基于WTRU 102a、102b、102c使用的服务类型来定制为WTRU 102a、102b、102c提供的CN支持。作为示例，针对不同的用例，可以建立不同的网络切片，例如依赖于超可靠低时延(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、和/或用于机器类型通信(MTC)接入的服务等等。AMF 162可以提供用于在RAN 113与采用其他无线电技术(例如LTE、LTE-A、LTE-APro和/或诸如WiFi之类的非3GPP接入技术)的其他RAN(未显示)之间切换的控制平面功能。

[0160] SMF 183a、183b可以经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可以经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可以选择和控制UPF 184a、184b，并且可以通过UPF 184a、184b来配置业务路由。SMF 183a、183b可以执行其他功能，例如管理和分配UE IP地址、管理PDU会话、控制策略实施和QoS、以及提供下行链路数据通知等等。PDU会话类型可以是基于IP的、不基于IP的以及基于以太网的等等。

[0161] UPF 184a、184b可以经由N3接口连接到RAN 113中的一个或多个gNB 180a、180b、180c，这样可以为WTRU 102a、102b、102c提供至分组交换网络(例如因特网110)的接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信。UPF 184、184b可以执行其他功能，例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、以及提供移动性锚定等等。

[0162] CN 115可以促成与其他网络的通信。例如，CN 115可以包括或者可以与充当CN 115与PSTN 108之间的接口的IP网关(例如IP多媒体子系统(IMS)服务器)进行通信。此外，CN 115可以为WTRU 102a、102b、102c提供针对其他网络112的接入，这其中可以包括其他服务供应商拥有和/或运营的其他有线或无线网络。在一个实施例中，WTRU 102a、102b、102c可以经由对接到UPF 184a、184b的N3接口以及介于UPF 184a、184b与DN 185a、185b之间的N6接口并通过UPF 184a、184b连接到本地数据网络(DN)185a、185b。

[0163] 有鉴于图22A-22D以及关于图22A-22D的相应描述，在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行：WTRU 102a-d、基站114a-b、e节点B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-ab、UPF 184a-b、SMF 183a-b、DN185 a-b和/或这里描述的其他任何设备。这些仿真设备可以是被配置成模拟这里一个或多个或所有功能的一个或多个设备。举例来说，这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。

[0164] 仿真设备可被设计成在实验室环境和/或运营商网络环境中实施其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时，执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施/部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以进行测试，和/或可以使用空中无线通信来执行测试。

[0165] 一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施/部署的同时，执行包括所有功能在内的一个或多个功能。例如，所述仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。仿真设备可以使用直接的RF耦合和/或借助了RF电路(作为示例，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。

[0166] 这里描述的过程和技术可以在引入计算机可读介质中以供计算机或处理器运行的计算机程序、软件和/或固件中实施。关于计算机可读媒体的示例包括但不局限于电信号(经由有线和/或无线连接传送)和/或计算机可读存储媒体。关于计算机可读存储媒体的示例包括但不局限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、磁介质(例如内部硬盘和可拆卸磁盘，但是并不局限于此)、磁光介质、和/或光介质(例如CD-ROM盘和/或数字多用途盘(DVD))。与软件关联的处理器可以用于实施在WTRU、终端、基站、RNC或任何计算机主机使用的射频收发信机。