一种基于时空维度的特征提取系统、视频质量评价系统

摘要

本发明提供了一种基于时空维度的特征提取系统、视频质量评价系统，特征提取系统包括图像特征提取模块；视频特征提取模块；时间权重处理模块和语义特征提取模块，用于得到基于时空维度的目标特征。本发明通过改变视频特征向量在时间维度上的通道数的方式，进行不同时间段的权重分配，随后通过改变视频向量在空间维度上的通道数的方式，对高维语义特征和低维语义特征进行拼接重挖掘，使得最终得到的时空维度的特征矩阵更符合人眼主观感知，与人眼主观感知的相关性更高，准确性更高。

权利要求

1.一种基于时空维度的特征提取系统，其特征在于，包括：图像特征提取模块，用于将实验视频进行帧分解，并从中提取出图像特征；

视频特征提取模块，用于在时间维度上将所述图像特征进行合并，得到视频特征；

时间权重处理模块，用于提取所述视频特征不同时间段上的权重信息，得到时间权重特征；

语义特征提取模块，用于对所述时间权重特征进行高低维的语义特征重挖掘，得到基于时空维度的目标特征；

其中，所述时间权重处理模块包括三个第一卷积层、特征加权层：所述第一卷积层用于改变所述视频特征在时间维度上的通道数：其输入端接收所述视频特征，其输出端连接至所述特征加权层的输入端；

所述特征加权层用于将三个所述第一卷积层的输出进行加权处理，得到所述时间权重特征：其第一输入端接收所述视频特征，其第二输入端连接至所述第一卷积层的输出端；

其输出端作为所述时间权重处理模块的输出端，连接至所述语义特征提取模块。

2.根据权利要求1所述的特征提取系统，其特征在于，所述特征加权层采用如下公式计算得到所述时间权重特征：其中，I1表示所述时间权重特征；δ表示sigmoid激活函数；Wi表示第i个第一卷积层的输出；*表示矩阵点乘；I0表示所述视频特征； 表示张量拼接操作。

3.根据权利要求1所述的特征提取系统，其特征在于，所述语义特征提取模块包括依次连接的四个空间维度处理单元，用于改变所述时间权重特征在空间维度上的通道数；

其中，第一个所述空间维度处理单元的输出卷积后，与第三个所述空间维度处理单元的输出矩阵相加，作为第四个所述空间维度处理单元的输入；

第一个所述空间维度处理单元和第二个所述空间维度处理单元的输出卷积后与第四个所述空间维度处理单元的输出矩阵相加，作为所述语义特征提取模块的输出。

4.根据权利要求3所述的特征提取系统，其特征在于，所述空间维度处理单元包括三个第二卷积层、三个矩阵点乘层、三个激活层、一个张量拼接层、一个第三卷积层：所述第二卷积层的输入端用于接收当前空间维度处理单元的输入，第一输出端连接至对应的矩阵点乘层的第一输入端，第二输出端连接至对应的激活层的输入端；

三个所述第二卷积层的输入端组成当前空间维度处理单元的输入端；

所述矩阵点乘层的第二输入端连接至对应的激活层的输出端，输出端连接至所述张量拼接层的输入端：所述张量拼接层的输出端连接至所述第三卷积层的输入端；

所述第三卷积层的输出端作为所述空间维度处理单元的输出端。

5.一种基于时空维度的特征提取方法，其特征在于，包括如权利要求1‑4中任意一项所述的特征提取系统，所述特征提取方法包括：将实验视频进行帧分解，并从中提取出图像特征；

在时间维度上将所述图像特征进行合并，得到视频特征；

提取所述视频特征不同时间段上的权重信息，得到时间权重特征；

对所述时间权重特征进行高低维的语义特征重挖掘，最终得到基于时空维度的目标特征。

6.一种基于时空维度的特征提取设备，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求5所述的特征提取方法。

7.一种计算机可读的存储介质，其特征在于，包括程序，当其在计算机上运行时，使得计算机执行如权利要求5所述的特征提取方法。

8.一种基于时空维度的视频质量评价方法，其特征在于，采用如权利要求1至4中任一项所述的特征提取系统处理得到的基于时空维度的目标特征，所述视频质量评价方法包括：采用质量池化方法将基于时空维度的目标特征映射为视频的质量分数，得到实验视频的评价结果。

9.一种基于时空维度的视频质量评价系统，其特征在于，采用如权利要求1‑4中任一项所述的特征提取系统，所述视频质量评价系统包括：质量池化模块，用于采用质量池化方法将基于时空维度的目标特征映射为视频的质量分数，得到实验视频的评价结果。

说明书

一种基于时空维度的特征提取系统、视频质量评价系统

技术领域

[0001] 本发明涉及视频特征提取技术领域，特别是涉及一种基于时空维度的特征提取系统、视频质量评价系统。

背景技术

[0002] 当今社会，随着人们生活水平的提高和城市化的加速发展，图像和视频已成为人们生活中使用最广泛的数据媒介。这些数据在智慧城市、公共服务和城市交通中有着重要的作用，其质量的好坏也影响了各种场景下的应用。而质量评价任务作为计算机视觉中一个重要分支，在视频监控、网络直播、图像超分辨率和图像/视频压缩中有着广泛的应用。

[0003] 在视频质量评价中，使用分类网络提取特征，结合池化方法来预测视频质量是一种被广泛使用的方法，在此过程中，视频时间维上的信息处理一直是一个关键且具有挑战性的问题。在现有技术中，部分研究使用循环神经网络及一系列变种来进行视频帧之间的时空依赖关系的构建，虽然整体效果较好，但循环神经网络很难处理一些高维度特征，且循环神经网络在训练过程中十分容易过拟合；另外，通过现有技术挖掘出的时空特征与人眼主观感知的相关性较低，所以最终得出的评价结果往往与人眼实际感知存在较大偏差。

[0004] 综上，现有技术中的特征提取方法存在误差大、与人眼主观感知相关性低等问题。

发明内容

[0005] 鉴于以上现有技术的缺点，本发明的目的在于提供一种基于时空维度的特征提取系统、视频质量评价系统，以改善现有技术中的特征提取方法存在误差大、容易过拟合、鲁棒性差等技术问题。

[0006] 为实现上述目的及其他相关目的，本发明提供一种基于时空维度的特征提取系统，包括：

[0007] 图像特征提取模块，用于将实验视频进行帧分解，并从中提取出图像特征；

[0008] 视频特征提取模块，用于在时间维度上将所述图像特征进行合并，得到视频特征；

[0009] 时间权重处理模块，用于提取所述视频特征不同时间段上的权重信息，得到时间权重特征；

[0010] 语义特征提取模块，用于对所述时间权重特征进行高低维的语义特征重挖掘，得到基于时空维度的目标特征。

[0011] 在本发明一实施例中，所述时间权重处理模块包括三个第一卷积层、特征加权层：

[0012] 所述第一卷积层用于改变所述视频特征在时间维度上的通道数：其输入端接收所述视频特征，其输出端连接至所述特征加权层的输入端；

[0013] 所述特征加权层用于将三个所述第一卷积层的输出进行加权处理，得到所述时间权重特征：其第一输入端接收所述视频特征，其第二输入端连接至所述第一卷积层的输出端；

[0014] 其输出端作为所述时间权重处理模块的输出端，连接至所述语义特征提取模块。

[0015] 在本发明一实施例中，所述特征加权层采用如下公式计算得到所述时间权重特征：

[0016]

[0017] 其中，I1表示所述时间权重特征；δ表示sigmoid激活函数；Wi表示第i个第一卷积层的输出；*表示矩阵点乘；I0表示所述视频特征； 表示张量拼接操作。

[0018] 在本发明一实施例中，所述语义特征提取模块包括依次连接的四个空间维度处理单元，用于改变所述时间权重特征在空间维度上的通道数；

[0019] 其中，第一个所述空间维度处理单元的输出卷积后，与第三个所述空间维度处理单元的输出矩阵相加，作为第四个所述空间维度处理单元的输入；

[0020] 第一个所述空间维度处理单元和第二个所述空间维度处理单元的输出卷积后与第四个所述空间维度处理单元的输出矩阵相加，作为所述语义特征提取模块的输出。

[0021] 在本发明一实施例中，所述空间维度处理单元包括三个第二卷积层、三个矩阵点乘层、三个激活层、一个张量拼接层、一个第三卷积层：

[0022] 所述第二卷积层的输入端用于接收当前空间维度处理单元的输入，第一输出端连接至对应的矩阵点乘层的第一输入端，第二输出端连接至对应的激活层的输入端；

[0023] 三个所述第二卷积层的输入端组成当前空间维度处理单元的输入端；

[0024] 所述矩阵点乘层的第二输入端连接至对应的激活层的输出端，输出端连接至所述张量拼接层的输入端；

[0025] 所述张量拼接层的输出端连接至所述第三卷积层的输入端；

[0026] 所述第三卷积层的输出端作为所述空间维度处理单元的输出端。

[0027] 本发明还公开了一种基于时空维度的特征提取方法，包括上述特征提取系统，所述特征提取方法包括：

[0028] 将实验视频进行帧分解，并从中提取出图像特征；

[0029] 在时间维度上将所述图像特征进行合并，得到视频特征；

[0030] 提取所述视频特征不同时间段上的权重信息，得到时间权重特征；

[0031] 对所述时间权重特征进行高低维的语义特征重挖掘，最终得到基于时空维度的目标特征。

[0032] 本发明还公开了一种基于时空维度的特征提取设备，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现上述特征提取方法。

[0033] 本发明还公开了一种计算机可读的存储介质，包括程序，当其在计算机上运行时，使得计算机执行上述特征提取方法。

[0034] 本发明还公开了一种基于时空维度的视频质量评价方法，采用上述特征提取系统处理得到的基于时空维度的目标特征，所述视频质量评价方法包括：

[0035] 采用质量池化方法将基于时空维度的目标特征映射为视频的质量分数，得到实验视频的评价结果。

[0036] 本发明还公开了一种基于时空维度的视频质量评价系统，采用上述特征提取系统，所述视频质量评价系统包括：

[0037] 质量池化模块，用于采用质量池化方法将基于时空维度的目标特征映射为视频的质量分数，得到实验视频的评价结果。

[0038] 本发明提供的一种基于时空维度的特征提取系统、视频质量评价系统通过改变视频特征向量在时间维度上的通道数的方式，进行不同时间段的权重分配，随后通过改变视频向量在空间维度上的通道数的方式，对高维语义特征和低维语义特征进行拼接重挖掘，使得最终得到的时空维度的特征矩阵更符合人眼主观感知，与人眼主观感知的相关性更高，准确性更高。

附图说明

[0039] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0040] 图1显示为本发明的基于时空维度的特征提取系统于一实施例中的结构示意图。

[0041] 图2显示为本发明的基于时空维度的特征提取系统于一实施例中的时间权重处理模块的结构示意图；

[0042] 图3显示为本发明的基于时空维度的特征提取系统于一实施例中的空间维度处理单元的结构示意图；

[0043] 图4显示为本发明的基于时空维度的特征提取系统于一实施例中的模块结构示意图；

[0044] 图5显示为本发明的基于时空维度的特征提取方法于一实施例中的系统流程图；

[0045] 图6显示为本发明的基于时空维度的特征提取设备于一实施例中的结构示意图；

[0046] 图7显示为本发明的基于时空维度的视频质量评价方法于一实施例中的流程图；

[0047] 图8显示为本发明的基于时空维度的视频质量评价系统于一实施例中的结构示意图。

[0048] 元件标号说明

[0049] 100、基于时空维度的特征提取系统：110、图像特征提取模块；120、视频特征提取模块；130、时间权重处理模块；140、语义特征提取模块；150、质量池化模块；200、基于时空维度的特征提取设备；210、处理器；220、存储器；300、视频质量评价系统。

具体实施方式

[0050] 以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其它优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。还应当理解，本发明实施例中使用的术语是为了描述特定的具体实施方案，而不是为了限制本发明的保护范围。下列实施例中未注明具体条件的试验方法，通常按照常规条件，或者按照各制造商所建议的条件。

[0051] 请参阅图1至图8。须知，本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容所能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

[0052] 当实施例给出数值范围时，应理解，除非本发明另有说明，每个数值范围的两个端点以及两个端点之间任何一个数值均可选用。除非另外定义，本发明中使用的所有技术和科学术语与本技术领域的技术人员对现有技术的掌握及本发明的记载，还可以使用与本发明实施例中所述的方法、设备、材料相似或等同的现有技术的任何方法、设备和材料来实现本发明。

[0053] 请参阅图1，显示为本实施例中的基于时空特征的特征提取系统100的结构示意图，请参阅图4，显示为本实施例中的基于时空特征的特征提取系统100的结构示意框图，其中，该特征提取模块包括：图像特征提取模块110，视频特征提取模块120，时间权重处理模块130，语义特征提取模块140：图像特征提取模块110用于将实验视频进行帧分解，并提取每一帧的帧图像的图像特征；视频特征提取模块120用于在时间维度上将图像特征进行合并，得到视频特征，该视频特征具体为二维特征向量；时间权重处理模块130用于提取视频特征不同时间段上的权重信息，得到时间权重特征；语义特征提取模块140用于对时间权重特征进行高低维的语义特征重挖掘，得到基于时空维度的目标特征。

[0054] 需要说明得是，将视频进行帧分解，并从中提取图像特征，进一步将其进行合并得到视频特征，是本领域技术人员所熟知的技术手段，在本发明中对此不再赘述。

[0055] 在本实施例中，采用二维卷积神经网络从帧图像中提取图像特征，图像特征在时间维度上进行合并后，得到一个大小为(fs，cs)的二维特征向量，作为视频特征；其中，fs表示视频帧数，cs表示通道维度，视频帧数为时间维度特征，通道维度为空间维度特征。

[0056] 请参阅图2，显示为本实施例中的时间权重处理模块130的结构示意图，时间权重处理模块130包括三个第一卷积层、特征加权层：

[0057] 第一卷积层用于改变视频特征在时间维度上的通道数：其输入端接收视频特征，其输出端连接至特征加权层的输入端；

[0058] 特征加权层用于将三个第一卷积层的输出进行加权处理，得到时间权重特征矩阵：其第一输入端接收视频特征，其第二输入端连接至第一卷积层的输出端；

[0059] 其输出端作为时间权重处理模块130的输出端，连接至语义特征提取模块140。

[0060] 在本实施例中，第一个第一卷积层的输入通道为fs，输出通道数为1/4fs，第二个第一卷积层的输入通道为fs，输出通道数为1/2fs，第三个第一卷积层的输入通道为fs，输出通道数为1/4fs，则三个第一卷积层调整的是视频特征中的时间维度特征，即视频帧数fs，最终输出时间分辨率不同，大小分别为(1/4fs，cs)、(1/2fs，cs)、(1/4fs，cs)的三个特征向量。

[0061] 具体的，本实施例中的特征加权层即为图2中的Catmul模块。

[0062] 特征加权层包括了张量拼接操作、激活函数操作和矩阵点乘操作，其采用如下公式计算得到时间权重特征：

[0063]

[0064] 其中，I1表示时间权重特征；δ表示sigmoid激活函数；Wi表示第i个第一卷积层的输出；*表示矩阵点乘；I0表示视频特征； 表示张量拼接操作。

[0065] 具体的，W1表示大小为(1/4fs，cs)的特征向量，W2表示大小为(1/2fs，cs)的特征向量，W3表示大小为(1/4fs，cs)的特征向量，I0表示大小为(fs，cs)的二维特征向量。

[0066] 第一卷积层的三个特征向量在经过sigmoid激活函数处理后得到不同时间分辨率的权重，将该权重与二维特征向量(fs，cs)作点乘处理，得到经过时间维度的权重分配的时间权重特征I1，该时间权重特征I1的大小为(fs，cs)。

[0067] 请参阅图1，语义特征提取模块140包括依次连接的四个空间维度处理单元Ri，其中i∈4，语义特征提取模块140用于改变时间权重特征矩阵在空间维度上的通道数；

[0068] 其中，第一个空间维度处理单元R1的输出卷积后，与第三个空间维度处理单元R3的输出矩阵相加，作为第四个空间维度处理单元R4的输入；

[0069] 第一个空间维度处理单元R1和第二个空间维度处理单元R2的输出卷积后与第四个空间维度处理单元R4的输出矩阵相加，作为语义特征提取模块140的输出。

[0070] 时空维度的通道数较大的特征向量表示高维语义特征，时空维度的通道数较小的特征向量表示低维语义特征，语义特征提取模块140将输入的时间权重特征I1空间维度的通道维度进行调整，并将高维语义特征和低维语义特征进行重新拼接，以完成高低维语义特征的依赖构建。

[0071] 请参阅图3，在本实施例中的空间维度处理单元Ri的结构示意图，空间维度处理单元Ri包括三个第二卷积层、三个矩阵点乘层、三个激活层、一个张量拼接层、一个第三卷积层：

[0072] 第二卷积层的输入端用于接收当前空间维度处理单元Ri的输入，第一输出端连接至对应的矩阵点乘层的第一输入端，第二输出端连接至对应的激活层的输入端；

[0073] 三个所述第二卷积层的输入端组成当前空间维度处理单元Ri的输入端；

[0074] 矩阵点乘层的第二输入端连接至对应的激活层的输出端，输出端连接至张量拼接层的输入端：

[0075] 张量拼接层的输出端连接至第三卷积层；

[0076] 第三卷积层的输出端作为空间维度处理单元Ri的输出端。

[0077] 对于第一个空间维度处理单元R1，其包含的三个第二卷积层的输入通道均为cs，输出通道数分别为1/4cs、1/8cs、1/16cs，三个第二卷积层的输入均为时间权重特征I1，分别输出大小为(fs，1/4cs)、(fs，1/8cs)、(fs，1/16cs)的三个特征向量，这三个特征向量分别经过对应的激活层的sigmoid处理后得到δ(fs，1/4cs)、δ(fs，1/8cs)、δ(fs，1/16cs)，进一步的，第一个空间维度处理单元R1的矩阵点乘层将三个特征向量(fs，1/4cs)、(fs，1/8cs)、(fs，1/16cs)分别与对应的δ(fs，1/4cs)、δ(fs，1/8cs)、δ(fs，1/16cs)进行矩阵点乘操作，并输出至第一个空间维度处理单元R1中的张量拼接层，张量拼接层再将张量拼接后的结果输出至第三卷积层进行卷积处理。

[0078] 第一个空间维度处理单元R1中的第三卷积层的输入通道为7/16cs，输出通道数为1/4cs，该第三卷积层输出的特征向量大小为(fs，1/4cs)。

[0079] 对于第二个空间维度处理单元R2，其包含的三个第二卷积层的输入通道均为1/4cs，输出通道数分别为1/16cs、1/32cs、1/64cs，三个第二卷积层的输入均为第一个空间维度处理单元R1输出的特征向量，大小为(fs，1/4cs)，三个第二卷积层分别输出大小为(fs，
1/16cs)、(fs，1/32cs)、(fs，1/64cs)的三个特征向量，这三个特征向量分别经过对应的激活层的sigmoid处理后得到δ(fs，1/16cs)、δ(fs，1/32cs)、δ(fs，1/64cs)，进一步的，第二个空间维度处理单元R2的矩阵点乘层将三个特征向量(fs，1/16cs)、(fs，1/32cs)、(fs，1/
64cs)分别与对应的δ(fs，1/16cs)、δ(fs，1/32cs)、δ(fs，1/64cs)进行矩阵点乘操作，并输出至第二个空间维度处理单元R2中的张量拼接层，张量拼接层再将张量拼接后的结果输出至第三卷积层进行卷积处理。

[0080] 第二个空间维度处理单元R2中的第三卷积层的输入通道为7/64cs，输出通道数为1/16cs，该第三卷积层输出的特征向量大小为(fs，1/16cs)。

[0081] 对于第三个空间维度处理单元R3，其包含的三个第二卷积层的输入通道均为1/16cs，输出通道数分别为1/64cs、1/128cs、1/256cs，三个第二卷积层的输入均为第一个空间维度处理单元R1输出的特征向量，大小为(fs，1/16cs)，三个第二卷积层分别输出大小为(fs，1/64cs)、(fs，1/128cs)、(fs，1/256cs)的三个特征向量，这三个特征向量分别经过对应的激活层的sigmoid处理后得到δ(fs，1/64cs)、δ(fs，1/128cs)、δ(fs，1/256cs)，进一步的，第三个空间维度处理单元R3中的矩阵点乘层将三个特征向量(fs，1/64cs)、(fs，1/
128cs)、(fs，1/256cs)分别与对应的δ(fs，1/64cs)、δ(fs，1/128cs)、δ(fs，1/256cs)进行矩阵点乘操作，并输出至第三个空间维度处理单元R3中的张量拼接层，张量拼接层再将张量拼接后的结果输出至第三卷积层进行卷积处理。

[0082] 第三个空间维度处理单元R3中的第三卷积层的输入通道为7/256cs，输出通道数为1/64cs，该第三卷积层输出的特征向量大小为(fs，1/64cs)。

[0083] 请参阅图1，第一个空间维度处理单元R1输出的特征向量在经过卷积层conv3卷积后得到(fs，1/4cs)，并将其与第三个空间维度处理单元R3输出的特征向量矩阵相加后作为第四个空间维度处理单元R4的输入。

[0084] 对于第四个空间维度处理单元R4，其包含的三个第二卷积层的输入通道均为1/64cs，输出通道数分别为1/256cs、1/512cs、1/1024cs，三个第二卷积层的输入均为第一个空间维度处理单元R1输出的特征向量，大小为(fs，1/16cs)，三个第二卷积层分别输出大小为(fs，1/256cs)、(fs，1/512cs)、(fs，1/1024cs)的三个特征向量，这三个特征向量经过对应的激活层的sigmoid处理后得到δ(fs，1/256cs)、δ(fs，1/512cs)、δ(fs，1/1024cs)，进一步的，第四个空间维度处理单元R4中的矩阵点乘层将三个特征向量(fs，1/256cs)、(fs，1/
512cs)、(fs，1/1024cs)分别与对应的δ(fs，1/256cs)、δ(fs，1/128cs)、δ(fs，1/1024cs)进行矩阵点乘操作后输入第四个空间维度处理单元R4中的张量拼接层，张量拼接层再将张量拼接后的结果输出至第三卷积层进行卷积处理。

[0085] 第四个空间维度处理单元R4中的第三卷积层的输入通道为7/1024cs，输出通道数为1/256cs，该第三卷积层输出的特征向量大小为(fs，1/256cs)。

[0086] 请参阅图1，第一个空间维度处理单元R1输出的特征向量在经过卷积层conv1卷积后得到(fs，1/4cs)，第二个空间维度处理单元R2输出的特征向量在经过卷积层conv2卷积后得到(fs，1/16cs)与第四个空间维度处理单元R4的输出(fs，1/256cs)矩阵相加后得到基于时空维度的目标特征。

[0087] 请参阅图5，本实施例中还公开了一种基于时空维度的特征提取方法，包括上述特征提取系统100，特征提取方法包括：

[0088] 步骤S100、将实验视频进行帧分解，并从中提取出图像特征；

[0089] 步骤S200、在时间维度上将图像特征进行合并，得到视频特征；

[0090] 步骤S300、提取视频特征不同时间段上的权重信息，得到时间权重特征；

[0091] 步骤S400、对时间权重特征进行高低维的语义特征重挖掘，最终得到基于时空维度的目标特征。

[0092] 请参阅图6，本实施例中还公开了一种基于时空维度的特征提取设备200，包括处理器210，处理器210和存储器220耦合，存储器220存储有程序指令，当存储器220存储的程序指令被处理器210执行时上述特征提取方法。处理器210可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路
(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field‑Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件；所述存储器220可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(Non‑Volatile Memory)，例如至少一个磁盘存储器。所述存储器220也可以为随机存取存储器(Random Access Memory，RAM)类型的内部存储器，所述处理器210、存储器220可以集成为一个或多个独立的电路或硬件，如：专用集成电路(Application Specific Integrated Circuit，ASIC)。需要说明的是，上述的存储器
220中的计算机程序可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。

[0093] 本实施例还提出一种计算机可读的存储介质，所述存储介质存储有计算机指令，所述计算机指令用于使计算机执行上述特征提取方法。存储介质可以是电子介质、磁介质、光介质、电磁介质、红外介质或半导体系统或传播介质。存储介质还可以包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘和光盘。光盘可以包括光盘‑只读存储器(CD‑ROM)、光盘‑读/写(CD‑RW)和DVD。

[0094] 请参阅图7，本实施例还公开了一种基于时空维度的视频质量评价方法，采用上述特征提取系统处理得到的基于时空维度的目标特征，视频质量评价方法包括：

[0095] 步骤S500、采用质量池化方法将基于时空维度的目标特征映射为视频的质量分数，得到实验视频的评价结果。

[0096] 需要说明得是，采用质量池化方法将特征向量映射为视频的质量分数，是本领域技术人员所熟知的技术手段，在本发明中对此不再赘述。

[0097] 请参阅图8，本实施例还公开了一种基于时空维度的视频质量评价系统300，采用上述特征提取系统100，视频质量评价系统300包括：

[0098] 质量池化模块150，用于采用质量池化方法将基于时空维度的目标特征映射为视频的质量分数，得到实验视频的评价结果。

[0099] 本发明提供的一种基于时空维度的特征提取系统、视频质量评价系统通过改变视频特征向量在时间维度上的通道数的方式，进行不同时间段的权重分配，随后通过改变视频向量在空间维度上的通道数的方式，对高维语义特征和低维语义特征进行拼接重挖掘，使得最终得到的时空维度的特征矩阵更符合人眼主观感知，与人眼主观感知的相关性更高，准确性更高。

[0100] 上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。