一种评测加密视频QoE的标准数据集的构建方法

摘要

本发明公开了一种评测加密视频QoE的标准实验数据集的构建方法，特征是构建通用数据采集平台，通过终端应用与HTTP服务器配合，在HTTP服务器单点能同时采集移动终端观看视频过程中的视频网络数据、视频QoE参数以及用户MOS评分，实现标准数据集构建。由于本发明采用分布式的反馈路测终端与VPN集中式相结合的数据采集方式和基于数据流的标准数据集构建方法，因此本发明可以方便地支持众包模式的数据采集，并且适用于基于TCP和UDP协议的加密和非加密视频业务，构建的数据集真实全面且完备性好，从而克服现有数据集构建方法的不足。

权利要求

1.一种评测加密视频QoE的标准数据集的构建方法，通过移动终端路测的方式，采集无线网络下移动视频业务观看过程中的视频、用户和网络数据构建标准数据集，其特征在于：通过分布式的反馈路测终端与VPN集中式数据采集相结合，数据采集平台仅在HTTP服务器侧能采集构建数据集所需的视频、用户和网络数据；HTTP服务器采用基于IP的数据采集方式以适用于各种IP/TCP和IP/UDP协议的加密和非加密移动数据业务；具体操作步骤为：(1)移动终端通过VPN代理的方式接入数据采集平台，开启终端APP选择视频进行观看；

(2)终端APP获取观看视频所使用的包括终端品牌及型号、操作系统、终端ID、网络运营商、网络接入方式、终端IP地址和信号强度值在内的终端信息并记录到视频播放日志；其中网络运营商包括移动、联通和电信，网络接入方式包括3G、4G和WIFI，终端IP地址为观看视频时终端的IP地址，信号强度值根据实际接收信号强度从弱到强量化为0～4；

(3)通过终端APP获取视频信息并记录到视频播放日志，视频信息包括视频ID、视频名称和视频的可播放时长；

(4)通过终端APP记录视频播放过程中的用户操作行为并记录到播放日志，用户操作行为包括暂停、向前跳转、向后跳转和停止播放；

(5)通过终端APP记录移动终端网络视频的QoE参数到播放日志；视频的QoE参数主要为移动视频业务的客观质量指标，包括视频的初缓时延、视频的卡顿信息、视频分辨率和视频实际播放时长；其中视频的初缓时延指用户从点击开始播放到开始播放所经过的时间，卡顿信息包括视频卡顿的时刻及卡顿时长；

(6)通过终端APP记录用户的MOS评分，然后将日志文件上传到HTTP服务器；视频播放完成时终端APP提示用户进行评分，用户根据观看过程中的体验，将视频体验从差到好评分为

1～5；

(7)终端APP提供自动录屏功能，经过用户的许可之后，终端APP能对视频播放过程实现录屏，待播放完成之后提示用户上传到HTTP服务器；

(8)HTTP服务器抓取视频观看过程中的网络数据并与上传的终端日志实现关联；当用户选择观看一个视频时，终端APP向服务器发起“选择视频”消息，此时服务器根据移动终端的IP地址抓取网络数据包；当视频播放完成时，终端APP向服务器发起“播放完成”消息，此时服务器停止为该移动终端抓包，并将保存的网络数据文件与接收到的终端日志进行关联；

(9)数据解析构造标准数据集：首先根据不同传输协议承载的HAS视频从HTTP服务器抓取的网络数据中提取不同的QoS参数，包括：对基于TCP承载的HAS视频网络数据提取下行实时速率、丢包和往返时延参数，对基于UDP承载的网络数据仅提取下行速率参数；然后根据终端APP定时上报给HTTP服务器的同步消息，将终端日志与QoS参数实现时间同步；最后将包含终端信息、视频信息、用户操作行为、视频QoE参数、用户MOS评分和网络QoS参数的标准数据集保存为文件或者存入数据库。

说明书

一种评测加密视频QoE的标准数据集的构建方法

技术领域

[0001] 本发明属于移动通信网络技术领域，具体涉及面向移动网络运营商/设备商进行加密视频QoE评测的标准数据集的构建方法。

背景技术

[0002] 为用户提供良好体验和保障是运营商网络优化的出发点，移动网络运营商/设备商越来越关注移动视频业务质量的评估。近几年，随着3G/4G网络的普及，移动网络视频得到了迅猛的发展。根据美国思科2016年统计预测，到2021年移动视频业务所产生的流量将占移动流量的75％以上。目前主流的移动视频业务是基于HTTP自适应流(HTTP Adaptive Stream，HAS)。但随着人们对用户隐私的重视，越来越多的内容提供商开始对其视频内容进行加密传输。因此，获取支撑移动视频业务质量评估的全面的数据集，已经成为移动网络运营商/设备商亟需解决的问题。

[0003] 支撑移动视频业务质量评估的数据集至少应包括客观视频业务质量、用户体验(Quality of Experience，QoE)质量以及网络数据。客观业务质量指的是视频业务的客观质量指标，常见的包括视频的初始缓冲、卡顿、清晰度和流畅度。视频业务QoE指的是视频业务的主观感知体验，目前普遍采用ITU-T提出的五分制主观平均意见得分(Mean Opinion Score，MOS)，通过将QoE从差到好量化为1～5分进而分析。例如，2014年美国“Mobile Computing Systems and Applications”会议收录的“Prometheus:toward quality-of-experience estimation for mobile apps from passive network measurements”联合终端拨测和核心网主动测量，从终端侧获取用户体验参数(QoE Metrics)，主要包括视频初始缓冲和卡顿，从核心网获取IP/TCP流级别统计网络质量(Quality of Service，QoS)参数，使用机器学习的方法研究了QoS参数与QoE参数的关系。除此之外，还有很多其它的研究者或是开发数据采集工具，或是与内容提供商/网络运营商合作获取数据的基础上构建了实验数据集，进行了类似的研究并取得了一定的研究成果。例如，收录在2015年欧洲“European Conference on Networks and Communications”的“YoMoApp:A tool for analyzing QoE of YouTube HTTP adaptive streaming in mobile networks”，该工具仅能在终端采集QoE参数，主要包括视频初始缓冲、卡顿，不能获取视频业务的网络数据和用户MOS。荷兰期刊“Computer Communications”2017年收录的“Network-based video freeze detection and prediction in HTTP adaptive streaming”，在非加密场景下从内容提供商的内容分发网络服务器获取视频播放日志，在加密场景下通过反编译官方终端应用(Application，APP)获取视频播放日志，主要包括视频的分段信息和卡顿信息。但它们目前都存在一个共同的问题：实验数据集获取仍然存在困难，特别是在视频加密传输的情况下，无法同时获取终端视频QoE参数、网络数据和用户MOS的完备实验数据集。

发明内容

[0004] 本发明提出一种评测加密视频QoE的标准数据集的构建方法，构建通用数据采集平台，通过终端APP与HTTP服务器配合，在HTTP服务器上能同时采集移动终端观看视频过程中的视频网络数据、视频QoE参数以及用户MOS评分，实现标准数据集构建，从而克服现有实验数据集构建方法的不足。

[0005] 本发明评测加密视频QoE的标准数据集的构建方法，通过移动终端路测的方式，采集无线网络下移动视频业务观看过程中的视频、用户和网络数据构建标准数据集，其特征在于：通过分布式的反馈路测终端与VPN(Virtual Private Network)集中式数据采集相结合，数据采集平台仅在HTTP服务器侧能采集构建数据集所需的视频、用户和网络数据；HTTP服务器采用基于IP的数据采集方式以适用于各种IP/TCP和IP/UDP协议的加密和非加密移动数据业务；具体操作步骤为：

[0006] (1)移动终端通过VPN代理的方式接入数据采集平台，开启终端APP选择视频进行观看；

[0007] (2)终端APP获取观看视频所使用的包括终端品牌及型号、操作系统、终端ID、网络运营商、网络接入方式、终端IP地址和信号强度值在内的终端信息并记录到视频播放日志；其中网络运营商包括移动、联通和电信，网络接入方式包括3G、4G和WIFI，终端IP地址为观看视频时终端的IP地址，信号强度值根据实际接收信号强度从弱到强量化为0～4；

[0008] (3)通过终端APP获取视频信息并记录到视频播放日志，视频信息包括视频ID、视频名称和视频的可播放时长；

[0009] (4)通过终端APP记录视频播放过程中的用户操作行为并记录到播放日志，用户操作行为包括暂停、向前跳转、向后跳转和停止播放；

[0010] (5)通过终端APP记录移动终端网络视频的QoE参数到播放日志；视频的QoE参数主要为移动视频业务的客观质量指标，包括视频的初缓时延、视频的卡顿信息、视频分辨率和视频实际播放时长；其中视频的初缓时延指用户从点击开始播放到开始播放所经过的时间，卡顿信息包括视频卡顿的时刻及卡顿时长；

[0011] (6)通过终端APP记录用户的MOS评分，然后将日志文件上传到HTTP服务器；视频播放完成时终端APP提示用户进行评分，用户根据观看过程中的体验，将视频体验从差到好评分为1～5；

[0012] (7)终端APP提供自动录屏功能，经过用户的许可之后，终端APP能对视频播放过程实现录屏，待播放完成之后提示用户上传到HTTP服务器；

[0013] (8)HTTP服务器抓取视频观看过程中的网络数据并与上传的终端日志实现关联；当用户选择观看一个视频时，终端APP向服务器发起“选择视频”消息，此时服务器根据移动终端的IP地址抓取网络数据包；当视频播放完成时，终端APP向服务器发起“播放完成”消息，此时服务器停止为该移动终端抓包，并将保存的网络数据文件与接收到的终端日志进行关联；

[0014] (9)数据解析构造标准数据集：首先根据不同传输协议承载的HAS视频从HTTP服务器抓取的网络数据中提取不同的QoS参数，包括：对基于TCP承载的HAS视频网络数据提取下行实时速率、丢包和往返时延(Round Trip Time，RTT)参数，对基于UDP承载的网络数据仅提取下行速率参数；然后根据终端APP定时上报给HTTP服务器的同步消息，将终端日志与QoS参数实现时间同步；最后将包含终端信息、视频信息、用户操作行为、视频QoE参数、用户MOS评分和网络QoS参数的标准数据集保存为文件或者存入数据库。

[0015] 本发明评测适用于加密视频QoE的标准数据集的构建方法，由于采取了分布式的反馈路测终端与VPN集中式相结合的数据采集方式，数据采集平台的架构设计支持支持众多用户同时测试的众包模式(Crowdsourcing)的数据采集；数据采集高效方便，观看视频过程中终端APP自动录屏、记录播放状态和提示用户评分形成日志文件并自动上传到HTTP服务器，在HTTP服务器单点采集即可自动获取并关联网络数据、视频QoE参数和MOS评分；数据维度信息全面，除了网络数据、视频QoE参数和MOS评分外，数据集还包括终端信息、视频信息、用户操作行为以及录屏文件；数据采集方法扩展性强，基于数据流的数据集构建方法具有通用性，面向移动网络运营商/设备商进行加密视频QoE评测下的标准训练数据集的构建方法适用于基于TCP和UDP协议的加密和非加密视频业务。本发明方法的优点在于：

[0016] (1)相较于传统移动视频业务常用的单点/多点数据采集，由于本发明数据采集平台通过终端APP和HTTP服务器联合，仅在HTTP服务器单点即可同时获取视频网络数据、终端信息、视频信息、QoE参数、用户操作行为、MOS评分数据以及录屏文件，数据采集方便且真实全面。

[0017] (2)本发明开发了独立的适用于主流支持HAS视频网站的Android和IOS移动终端APP。对于开放编程接口的视频网站，终端APP直接通过接口实现视频播放；对于无开放编程接口的网站，APP通过网络爬虫获取的视频的地址实现视频播放。通过这两种方式，终端APP实现了对较多主流视频网站的支持。

[0018] (3)通过简单的交互操作就能获取真实有效的QoE参数和用户MOS评分。在视频播放过程中终端APP自动记录视频的播放状态并保存到日志文件，视频播放状态包括视频QoE参数和用户操作行为。视频播放结束时，终端APP自动提示用户对观看的视频评分，然后将形成的视频播放日志文件上报给HTTP服务器。

[0019] (4)终端APP的录屏文件支持对已观看视频进行多次评分，进而获取更为准确的用户MOS评分。

[0020] (5)本发明开发了基于C++的HTTP服务器，能分别为每个接入终端所播放的视频自动抓取网络数据，并与终端上报的视频播放日志文件和录屏文件实现关联。同时还多接入、多并发，支持通过Crowdsourcing的方式进行广泛的数据采集。

[0021] (6)HTTP服务器根据移动终端IP地址进行数据采集，这种基于IP的数据采集方式能够广泛地适用于各种IP/TCP和IP/UDP协议的加密和非加密移动数据业务。

附图说明

[0022] 图1为本发明实施例1的数据采集平台的网络拓扑示意图。

[0023] 图2为本发明实施例1的数据采集平台终端APP与HTTP服务器协作工作原理示意图。

[0024] 图3为本发明实施例2数据解析过程示意图。

[0025] 图4为本发明实施例2数据解析过程中的时间同步原理示意图。

具体实施方式

[0026] 本发明评测适用于评测加密视频QoE的标准数据集的构建方法主要包含数据采集平台和数据解析，下面通过附图和实施例进一步具体介绍。

[0027] 实施例1：

[0028] 本实施例提供了面向网络运营商评测适用于加密视频QoE的标准数据集的构建方法的通用数据采集平台以及基于数据采集平台的数据采集过程，图1为本实施例的数据采集平台的网络拓扑示意图。如图1所示，移动终端可以通过两种方式访问主流视频网站：(a)通过VPN代理的方式，使用移动终端A1通过VPN代理服务器A3，再经过交换机A5和HTTP服务器A7实现访问主流视频网站；(b)通过局域网无线路由的方式，使用移动终端A2通过无线路由A4，再经过交换机A5和HTTP服务器A7实现访问主流视频网站。观看视频过程中，在HTTP服务器A7的网卡1上主动采集网络数据、终端视频播放状态和用户MOS评分数据。所述数据采集平台包含以下模块：

[0029] 如图1中所示的数据采集局域网A8为移动终端提供接入并通过网络共享的方式实现对主流视频网站的访问，主要由VPN服务器A3、无线路由A4、交换机A5、Windows服务器A6和HTTP服务器A7组成。数据采集局域网A8可配置为任意C类IP地址，图1中将其配置为192.168.137.0/24网段。其中VPN服务器A3是基于Linux搭建的双网卡VPN服务器，交换机A5为千兆L2交换机，Windows服务器A6为局域网的域和DHCP服务器，HTTP服务器A7为双网卡的Windows服务器。VPN服务器A3的网卡0配置公网IP，为移动终端提供VPN接入，网卡1配置局域网IP。HTTP服务器A7的网卡1配置局域网IP，作为局域网的网关，而网卡0配置公网IP，可以访问主流视频网站。通过在VPN服务器A3上配置策略路由，其网卡0的数据可经过网卡1转发到HTTP服务器A7的网卡1，再通过与HTTP服务器A7网卡0共享网络的方式，HTTP服务器A7的网卡1可以访问主流视频网站，这样就实现了通过VPN代理的方式(a)访问主流视频网站；
移动终端A2直接连接无线路由A4，即可实现通过局域网无线路由的方式(b)访问主流视频网站。数据采集局域网A8可以扩展配置多台VPN服务器A3和HTTP服务器A7，这样可支持更多的VPN用户接入和提供更高的网络带宽访问主流视频网站，可适用于大规模数据采集。

[0030] 图2为本实施例的数据采集平台终端APP与HTTP服务器协作工作原理示意图。如图2中所示的数据采集平台的移动终端A1或A2与HTTP服务器A7协作工作的原理：移动终端APP包含Android和IOS版本，Android版本的APP基于Java开发，IOS版本的APP基于Swift开发。
HTTP服务器为基于微软基础类库(Microsoft Foundation Classes，MFC)的客户端/服务器(Client/Server，C/S)模式的HTTP服务器，采用完成端口技术(I/O Completion Port，IOCP)，可以满足多移动终端、多连接并发的需求。首先启动HTTP服务器，监听终端APP连接请求C1，同时终端连接VPN或局域网WIFI B1。终端APP发起连接B2时，同时启动同步线程定时发送同步信息B10和发送终端信息B3，此时HTTP服务器记录终端IP C2，并且接收终端信息C3。接着用户选择视频源B4并发送视频信息B5，此时HTTP服务器根据接收的终端IP和终端信息，启动抓包线程C4抓取地址为IP的网络数据包C6，并且接收视频信息C5。然后终端APP视频进入播放状态B6，待播放完成或者用户结束播放之后终端APP提示用户评分B7。

[0031] 整个过程中终端APP自动记录视频播放状态、用户评分、视频信息、终端信息到视频播放日志，待用户评分之后终端APP上传日志B8，对应地HTTP服务器接收APP日志C7并保存到本地。如果用户继续观看，则用户继续选择视频源B4，重复之后步骤，否则结束B9并关闭同步线程和终端APP。需要注意的是，待日志上传之后无论用户选择继续观看视频或者结束，HTTP服务器均会结束抓包线程C8，并将所抓取的网络数据包保存为文件并与视频播放日志关联C8，最终得到一次观看过程中的网络数据、视频播放日志以及视频播放过程中的录屏文件，再经过进一步的数据解析即可得到评测加密视频QoE的标准数据集C9。

[0032] 由于采用的IOCP技术，上述HTTP服务器在与终端APP交互的过程中HTTP服务器仍然可以同时接收其它终端APP的连接请求，即HTTP服务器支持多终端、多并发连接请求，支持通过众包的方式进行广泛的数据采集。观看视频过程中，HTTP服务器为各个终端的每个视频分别采集网络数据，通过同步信息可以准确地将每个视频的播放状态与其网络数据对应起来。由于HTTP服务器根据IP地址采集网络数据，所以数据采集平台广泛地适用于各种基于IP/TCP和IP/UDP协议的加密和非加密移动数据业务。

[0033] 实施例2：

[0034] 本实施例提供了面向网络运营商评测加密视频QoE的标准数据集的构建方法的数据解析构建标准数据集。图3为本实施例2的数据解析过程示意图。如图3中所示，在实施例1获得网络数据和终端播放日志基础上，对网络数据进行解析得到QoS参数并与播放日志实现同步构建标准实验数据集。

[0035] 网络数据D2为通过图1的数据采集平台获取的基于TCP/UDP协议的网络数据，保存为PCAP格式的文件。PCAP文件格式为Wireshark支持的一种网络数据包存储格式，包含一次视频观看过程中的所有网络数据。视频播放日志D1为实施例1中终端APP自动记录并上传的日志，你视频播放状态、用户评分、视频信息、终端信息。

[0036] 数据解析首先从PCAP文件中解析网络QoS参数D3，然后通过终端发起的同步信息将视频播放日志D1与QoS参数D3时间进行同步。TCP网络QoS参数D3为时间序列，包括下行速率、下行丢包率和往返时延，UDP仅包含下行速率时间序列。实施例中统计间隔△t可设置为0.1、0.5或者1秒。其中时间内的下行速率(rate)、丢包率(loss)和往返时延(rtt)统计方法如下：

[0037]

[0038] v为△t时间内的下行数据量，lostPkt和N为△t时间内下行丢包和总下行数据包数量，rtti为时间内第i个下行数据包从发出到被确认的时延。

[0039] 由于移动终端时间和HTTP服务器时间可能存在偏差，所以需要根据终端发起的同步消息进一步将视频播放日志与上述时间序列同步，图4给出了本实施例数据解析过程中的时间同步原理示意图。图4中，用ti,i＝1,2...n表示终端时间；Ti,i＝1,2...n表示HTTP服务器时间；同步消息i,i＝1,2...n表示终端APP定时向HTTP服务器发起的同步消息；黑色三角表示终端APP视频播放器的播放状态，包括向前跳转、向后跳转、暂停和停止播放的用户操作行为，以及初始缓冲和视频卡顿的QoE参数。如图4中所示：终端APP在终端时间t1、t3、t4和tn发起了发送了同步消息1、同步消息2、同步消息3、同步消息n，HTTP在服务器时间T1、T3、T4和Tn接收到对应的同步消息。在同步消息1之后用户进行了“向前跳转”操作，根据同步消息1可以将该“向前跳转”播放状态同步为HTTP服务器时间T2，表示为：T2＝t2+(T1-t1)；t5和t6时刻记录了播放器的一次卡顿信息：t5时刻视频发生卡顿，t6时刻视频播放结束卡顿开始播放，t5和t6可以根据同步消息3采用与上述相同的方法分别同步为HTTP服务器时间T5和T6；其它视频播放状态同步方法与上述一致。该同步方法认为在两次同步消息之间，消息从终端APP到HTTP服务器的传输时延不变。

[0040] 通过解析网络数据得到QoS参数D3和实现QoS参数D3与视频播放日志的时间同步，即可构建适用于加密视频QoE的标准实验数据集。标准实验数据集包括终端信息/视频信息D4、用户操作行为D5、MOS评分D6、QoE参数D7和网络QoS参数D3；对于基于UDP协议的网络QoS参数D3为下行网络速率，对于基于TCP的标准实验数据集QoS参数D3还包括额外的网络RTT和丢包率。