一种基于深度学习的码流预测方法和装置

摘要

本申请提供了一种基于深度学习的码流预测方法和装置，涉及音视频数据处理技术领域。该方法首先通过深度学习算法，将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频；对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子；比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠；根据判断结果确定是否加入优化因子得到当前深度学习算法，利用当前深度学习算法对压缩码流反向预测完整码流。可以看到，本实施例能够从已压缩过的码流反向推出未压缩过的码流，这样就避免了传输未压缩过的码流造成资源的浪费。

权利要求

1.一种基于深度学习的码流预测方法，其特征在于，包括以下步骤：通过深度学习算法，将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频；

对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子；

比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠；

根据判断结果确定是否加入优化因子得到当前深度学习算法，利用当前深度学习算法对压缩码流反向预测完整码流；

其中，所述比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠，包括：根据优化前后的比对结果构建出优化直方图；

通过优化直方图判断优化过程是否准确可靠；

其中，利用如下公式根据将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频，然后对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流得到对深度学习算法进行优化的优化因子：其中E表示深度学习算法的优化因子；Da(i)表示训练集中的第a个未压缩的音视频码流二进制数据中的第i位上的二进制数值；PDa(i)表示训练完成后深度学习对训练集中的第a个已压缩的音视频码流反向预测出未压缩的音视频码流的二进制数据中的第i位上的二进制数值；m表示训练集中的未压缩的音视频码流总数；n表示训练集中的第a个未压缩的音视频码流二进制数据中的二进制位数；

其中，利用如下公式比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠：其中F表示对优化后的深度学习算法的优化判定值；| |表示求取绝对值；

若F＜1，表示优化因子达到对深度学习算法的优化作用，则加入优化因子进行优化；

若F≥1，表示优化因子未达到对深度学习算法的优化作用，则不加入优化因子进行优化。

2.根据权利要求1所述的基于深度学习的码流预测方法，其特征在于，利用如下公式根据优化前后的比对结果构建出优化直方图：其中H0表示直方图中优化前深度学习算法预测失误情况下的对应的方形图案的高度；

He表示直方图中优化后深度学习算法预测失误情况下的对应的方形图案的高度；H表示直方图中方形图案的最大高度。

3.一种基于深度学习的码流预测装置，其特征在于，包括：初始预测模块，用于通过深度学习算法，将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频；

优化因子处理模块，用于对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子；

判断模块，用于比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠；

目标预测模块，用于根据判断结果确定是否加入优化因子得到当前深度学习算法，利用当前深度学习算法对压缩码流反向预测完整码流；

其中，所述判断模块还用于：

根据优化前后的比对结果构建出优化直方图；

通过优化直方图判断优化过程是否准确可靠；

其中，所述优化因子处理模块还用于：

利用如下公式根据将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频，然后对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流得到对深度学习算法进行优化的优化因子：其中E表示深度学习算法的优化因子；Da(i)表示训练集中的第a个未压缩的音视频码流二进制数据中的第i位上的二进制数值；PDa(i)表示训练完成后深度学习对训练集中的第a个已压缩的音视频码流反向预测出未压缩的音视频码流的二进制数据中的第i位上的二进制数值；m表示训练集中的未压缩的音视频码流总数；n表示训练集中的第a个未压缩的音视频码流二进制数据中的二进制位数；

其中，所述判断模块还用于：

利用如下公式比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠：其中F表示对优化后的深度学习算法的优化判定值；||表示求取绝对值；

若F＜1，表示优化因子达到对深度学习算法的优化作用，则加入优化因子进行优化；

若F≥1，表示优化因子未达到对深度学习算法的优化作用，则不加入优化因子进行优化。

4.根据权利要求3所述的基于深度学习的码流预测装置，其特征在于，所述判断模块还用于：利用如下公式根据优化前后的比对结果构建出优化直方图：其中H0表示直方图中优化前深度学习算法预测失误情况下的对应的方形图案的高度；

He表示直方图中优化后深度学习算法预测失误情况下的对应的方形图案的高度；H表示直方图中方形图案的最大高度。

说明书

一种基于深度学习的码流预测方法和装置

技术领域

[0001] 本申请涉及音视频数据处理技术领域，尤其涉及一种基于深度学习的码流预测方法和装置。

背景技术

[0002] 由于音视频帧的数据量原因，要完整传输很困难，都是对其进行压缩处理，编码之后再进行传输，这样当然会丢失掉很多细节。虽然压缩后的码流不影响意义上的理解，但是会丢失掉很多细节，即音视频分成了很多个质量档次，分别压缩的多或是少。相关技术中对音视频的压缩主要是只保留I帧以及其他帧的运动向量，从I帧预测出P帧与B帧。这样的编码方式可以将码流压缩至很小，但是很难从已经压缩过的码流还原出未压缩过的完整码流，故当需要完整码流时只能重新传输完整码流。因此，亟需解决这一技术问题。

发明内容

[0003] 鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的基于深度学习的码流预测方法和装置，通过对深度学习算法的优化，能够从已压缩过的码流反向推出未压缩过的码流，这样就避免了传输未压缩过的码流造成资源的浪费。所述技术方案如下：

[0004] 第一方面，提供了一种基于深度学习的码流预测方法，包括以下步骤：

[0005] 通过深度学习算法，将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频；

[0006] 对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子；

[0007] 比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠；

[0008] 根据判断结果确定是否加入优化因子得到当前深度学习算法，利用当前深度学习算法对压缩码流反向预测完整码流。

[0009] 在一种可能的实现方式中，所述比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠，包括：

[0010] 根据优化前后的比对结果构建出优化直方图；

[0011] 通过优化直方图判断优化过程是否准确可靠。

[0012] 在一种可能的实现方式中，利用如下公式根据将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频，然后对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流得到对深度学习算法进行优化的优化因子：

[0013]

[0014] 其中E表示深度学习算法的优化因子；Da(i)表示训练集中的第a个未压缩的音视频码流二进制数据中的第i位上的二进制数值；PDa(i)表示训练完成后深度学习对训练集中的第a个已压缩的音视频码流反向预测出未压缩的音视频码流的二进制数据中的第i位上的二进制数值；m表示训练集中的未压缩的音视频码流总数；n表示训练集中的第a个未压缩的音视频码流二进制数据中的二进制位数。

[0015] 在一种可能的实现方式中，利用如下公式比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠：

[0016]

[0017] 其中F表示对优化后的深度学习算法的优化判定值；||表示求取绝对值；

[0018] 若F＜1，表示优化因子达到对深度学习算法的优化作用，则加入优化因子进行优化；

[0019] 若F≥1，表示优化因子未达到对深度学习算法的优化作用，则不加入优化因子进行优化。

[0020] 在一种可能的实现方式中，利用如下公式根据优化前后的比对结果构建出优化直方图：

[0021]

[0022]

[0023] 其中H0表示直方图中优化前深度学习算法预测失误情况下的对应的方形图案的高度；He表示直方图中优化后深度学习算法预测失误情况下的对应的方形图案的高度；H表示直方图中方形图案的最大高度。

[0024] 第二方面，提供了一种基于深度学习的码流预测装置，包括：

[0025] 初始预测模块，用于通过深度学习算法，将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频；

[0026] 优化因子处理模块，用于对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子；

[0027] 判断模块，用于比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠；

[0028] 目标预测模块，用于根据判断结果确定是否加入优化因子得到当前深度学习算法，利用当前深度学习算法对压缩码流反向预测完整码流。

[0029] 在一种可能的实现方式中，所述判断模块还用于：

[0030] 根据优化前后的比对结果构建出优化直方图；

[0031] 通过优化直方图判断优化过程是否准确可靠。

[0032] 在一种可能的实现方式中，所述优化因子处理模块还用于：

[0033] 利用如下公式根据将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频，然后对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流得到对深度学习算法进行优化的优化因子：

[0034]

[0035] 其中E表示深度学习算法的优化因子；Da(i)表示训练集中的第a个未压缩的音视频码流二进制数据中的第i位上的二进制数值；PDa(i)表示训练完成后深度学习对训练集中的第a个已压缩的音视频码流反向预测出未压缩的音视频码流的二进制数据中的第i位上的二进制数值；m表示训练集中的未压缩的音视频码流总数；n表示训练集中的第a个未压缩的音视频码流二进制数据中的二进制位数。

[0036] 在一种可能的实现方式中，所述判断模块还用于：

[0037] 利用如下公式比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠：

[0038]

[0039] 其中F表示对优化后的深度学习算法的优化判定值；| |表示求取绝对值；

[0040] 若F＜1，表示优化因子达到对深度学习算法的优化作用，则加入优化因子进行优化；

[0041] 若F≥1，表示优化因子未达到对深度学习算法的优化作用，则不加入优化因子进行优化。

[0042] 在一种可能的实现方式中，所述判断模块还用于：

[0043] 利用如下公式根据优化前后的比对结果构建出优化直方图：

[0044]

[0045]

[0046] 其中H0表示直方图中优化前深度学习算法预测失误情况下的对应的方形图案的高度；He表示直方图中优化后深度学习算法预测失误情况下的对应的方形图案的高度；H表示直方图中方形图案的最大高度。

[0047] 借由上述技术方案，本申请实施例提供的基于深度学习的码流预测方法和装置，首先通过深度学习算法，将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频；对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子；比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠；根据判断结果确定是否加入优化因子得到当前深度学习算法，利用当前深度学习算法对压缩码流反向预测完整码流。可以看到，本实施例通过对深度学习算法的优化，能够从已压缩过的码流反向推出未压缩过的码流，这样就避免了传输未压缩过的码流造成资源的浪费。

附图说明

[0048] 为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

[0049] 图1示出了根据本申请实施例的基于深度学习的码流预测方法的流程图；

[0050] 图2示出了根据本申请实施例的基于深度学习的码流预测装置的结构图。

具体实施方式

[0051] 下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

[0052] 需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。

[0053] 本申请实施例提供了一种基于深度学习的码流预测方法，如图1所示，该基于深度学习的码流预测方法可以包括以下步骤S101至S104：

[0054] 步骤S101，通过深度学习算法，将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频；

[0055] 步骤S102，对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子；

[0056] 步骤S103，比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠；

[0057] 步骤S104，根据判断结果确定是否加入优化因子得到当前深度学习算法，利用当前深度学习算法对压缩码流反向预测完整码流。

[0058] 本申请实施例首先通过深度学习算法，将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频；对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子；比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠；根据判断结果确定是否加入优化因子得到当前深度学习算法，利用当前深度学习算法对压缩码流反向预测完整码流。可以看到，本实施例通过对深度学习算法的优化，能够从已压缩过的码流反向推出未压缩过的码流，这样就避免了传输未压缩过的码流造成资源的浪费。

[0059] 本申请实施例中提供了一种可能的实现方式，上文步骤S102中对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子，具体利用如下公式根据将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频，然后对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流得到对深度学习算法进行优化的优化因子：

[0060]

[0061] 其中E表示深度学习算法的优化因子；Da(i)表示训练集中的第a个未压缩的音视频码流二进制数据中的第i位上的二进制数值；PDa(i)表示训练完成后深度学习对训练集中的第a个已压缩的音视频码流反向预测出未压缩的音视频码流的二进制数据中的第i位上的二进制数值；m表示训练集中的未压缩的音视频码流总数；n表示训练集中的第a个未压缩的音视频码流二进制数据中的二进制位数。

[0062] 本实施例根据将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频，然后对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流得到对深度学习算法进行优化的优化因子，进而根据预测的结果与真实的结果做对比得到优化因子，保证优化的针对性。

[0063] 本申请实施例中提供了一种可能的实现方式，上文步骤S103中比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠，具体可以利用如下公式比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠：

[0064]

[0065] 其中F表示对优化后的深度学习算法的优化判定值；||表示求取绝对值；

[0066] 若F＜1，表示优化因子达到对深度学习算法的优化作用，则加入优化因子进行优化，以保证优化后的深度学习算法的预测结果可以更加准确可靠；

[0067] 若F≥1，表示优化因子未达到对深度学习算法的优化作用，则不加入优化因子进行优化。

[0068] 本实施例比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠，从而本实施例利用公式会自动判断出是否需要加入优化因子，进而能自动选择出最可靠最准确的预测方式。

[0069] 本申请实施例中提供了一种可能的实现方式，上文步骤S103中比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠，具体还可以根据优化前后的比对结果构建出优化直方图；通过优化直方图判断优化过程是否准确可靠。本实施例通过优化直方图可以让工作人员能更加直观的判断优化过程是否准确可靠，以及知晓系统自动控制加入或不加入优化因子的原因。

[0070] 本申请实施例中提供了一种可能的实现方式，还可以利用如下公式根据优化前后的比对结果构建出优化直方图：

[0071]

[0072]

[0073] 其中H0表示直方图中优化前深度学习算法预测失误情况下的对应的方形图案的高度；He表示直方图中优化后深度学习算法预测失误情况下的对应的方形图案的高度；H表示直方图中方形图案的最大高度。

[0074] 本实施例根据优化前后的比对结果构建出优化直方图，可以对直方图中优化前后所对应的方形图案的高度进行自动调整然后显示在显示端，进而通过直方图可以直观的看出系统在自动控制以及选择的过程中其判断的依据，从而可以使工作人员可以进行相应的观察和控制，提供了便利。

[0075] 需要说明的是，实际应用中，上述所有可能的实施方式可以采用结合的方式任意组合，形成本申请的可能的实施例，在此不再一一赘述。

[0076] 基于上文各个实施例提供的基于深度学习的码流预测方法，基于同一发明构思，本申请实施例还提供了一种基于深度学习的码流预测装置。

[0077] 图2示出了根据本申请实施例的基于深度学习的码流预测装置的结构图。如图2所示，该基于深度学习的码流预测装置可以包括初始预测模块210、优化因子处理模块220、判断模块230以及目标预测模块240。

[0078] 初始预测模块210，用于通过深度学习算法，将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频；

[0079] 优化因子处理模块220，用于对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子；

[0080] 判断模块230，用于比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠；

[0081] 目标预测模块240，用于根据判断结果确定是否加入优化因子得到当前深度学习算法，利用当前深度学习算法对压缩码流反向预测完整码流。

[0082] 本申请实施例中提供了一种可能的实现方式，上文图2展示的判断模块230还用于：

[0083] 根据优化前后的比对结果构建出优化直方图；

[0084] 通过优化直方图判断优化过程是否准确可靠。

[0085] 本申请实施例中提供了一种可能的实现方式，上文图2展示的优化因子处理模块220还用于：

[0086] 利用如下公式根据将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频，然后对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流得到对深度学习算法进行优化的优化因子：

[0087]

[0088] 其中E表示深度学习算法的优化因子；Da(i)表示训练集中的第a个未压缩的音视频码流二进制数据中的第i位上的二进制数值；PDa(i)表示训练完成后深度学习对训练集中的第a个已压缩的音视频码流反向预测出未压缩的音视频码流的二进制数据中的第i位上的二进制数值；m表示训练集中的未压缩的音视频码流总数；n表示训练集中的第a个未压缩的音视频码流二进制数据中的二进制位数。

[0089] 本申请实施例中提供了一种可能的实现方式，上文图2展示的判断模块230还用于：

[0090] 利用如下公式比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠：

[0091]

[0092] 其中F表示对优化后的深度学习算法的优化判定值；| |表示求取绝对值；

[0093] 若F＜1，表示优化因子达到对深度学习算法的优化作用，则加入优化因子进行优化；

[0094] 若F≥1，表示优化因子未达到对深度学习算法的优化作用，则不加入优化因子进行优化。

[0095] 本申请实施例中提供了一种可能的实现方式，上文图2展示的判断模块230还用于：

[0096] 利用如下公式根据优化前后的比对结果构建出优化直方图：

[0097]

[0098]

[0099] 其中H0表示直方图中优化前深度学习算法预测失误情况下的对应的方形图案的高度；He表示直方图中优化后深度学习算法预测失误情况下的对应的方形图案的高度；H表示直方图中方形图案的最大高度。

[0100] 所属领域的技术人员可以清楚地了解到，上述描述的系统、装置、模块的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。

[0101] 本领域普通技术人员可以理解：本申请的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干程序指令，用以使得一电子设备(例如个人计算机，服务器，或者网络设备等)在运行所述程序指令时执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

[0102] 或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的电子设备)来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被电子设备的处理器执行时，所述电子设备执行本申请各实施例所述方法的全部或部分步骤。

[0103] 以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：在本申请的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本申请的保护范围。