一种样本图像处理方法、装置、电子设备以及介质

摘要

本申请实施例提供了一种样本图像处理方法、装置、电子设备以及介质，涉及计算机技术领域，所述方法包括：将原始图像复制为第一数量个原始图像，将所述第一数量个原始图像排列为图像序列，并将所述图像序列中的除指定图像之外的图像进行图像变形处理，对经过图像变形处理的图像序列进行视频编码处理，得到编码视频，将所述编码视频进行视频解码处理，得到视频帧序列，获取所述视频帧序列中的所述指定图像对应的指定视频帧，将所述指定视频帧和所述原始图像作为深度学习模型的训练样本。采用本申请可以使训练后的深度学习模型有较好的修复视频能力。

权利要求

1.一种样本图像处理方法，其特征在于，所述方法包括：

将原始图像复制为第一数量个原始图像，将所述第一数量个原始图像排列为图像序列，并将所述图像序列中的除指定图像之外的图像进行图像变形处理，以模拟所述原始图像中的物体的移动或变形动作，使所述图像序列中产生有动作的画面；

对经过图像变形处理的图像序列进行视频编码处理，得到编码视频，所述编码视频中各视频帧包含视频编码噪声；

将所述编码视频进行视频解码处理，得到视频帧序列，所述视频帧序列中包含第一数量个视频帧，且各视频帧包含视频编码噪声；

获取所述视频帧序列中的所述指定图像对应的指定视频帧，将所述指定视频帧和所述原始图像作为深度学习模型的训练样本，以通过所述训练样本训练得到的深度学习模型修复包含视频编码噪声的视频。

2.根据权利要求1所述的方法，其特征在于，所述将所述图像序列中的除指定图像之外的图像进行图像变形处理，包括：将所述图像序列中除所述指定图像之外的图像进行随机仿射变换和/或弹性变换，所述随机仿射变换包括：移动、旋转和拉伸中的一项或多项图像变形处理。

3.根据权利要求1所述的方法，其特征在于，所述将所述图像序列中的除指定图像之外的图像进行图像变形处理，包括：根据预设图像变形规则，将所述图像序列中除所述指定图像之外的图像按预设方式和顺序进行图像变形处理。

4.根据权利要求1‑3任一项所述的方法，其特征在于，在所述对经过图像变形处理的图像序列进行视频编码处理之前，所述方法还包括：对经过图像变形处理的图像序列中的图像进行加噪处理，所述加噪处理包括添加高斯噪声、模糊、压缩噪声、先下采样后上采样中的一项或多项。

5.根据权利要求1所述的方法，其特征在于，所述对经过图像变形处理的图像序列进行视频编码处理，得到编码视频，包括：采用目标视频编码格式，对经过图像变形处理的图像序列进行视频编码处理，得到编码视频；

所述将所述编码视频进行视频解码处理，得到视频帧序列，包括：采用目标视频解码格式，将所述编码视频进行视频解码处理，得到视频帧序列。

6.一种样本图像处理装置，其特征在于，所述装置包括：

图像变形模块，用于将原始图像复制为第一数量个原始图像，将所述第一数量个原始图像排列为图像序列，并将所述图像序列中的除指定图像之外的图像进行图像变形处理，以模拟所述原始图像中的物体的移动或变形动作，使所述图像序列中产生有动作的画面；

编码模块，用于对经过图像变形处理的图像序列进行视频编码处理，得到编码视频，所述编码视频中各视频帧包含视频编码噪声；

解码模块，用于将所述编码视频进行视频解码处理，得到视频帧序列，所述视频帧序列中包含第一数量个视频帧，且各视频帧包含视频编码噪声；

训练模块，用于获取所述视频帧序列中的所述指定图像对应的指定视频帧，将所述指定视频帧和所述原始图像作为深度学习模型的训练样本，以通过所述训练样本训练得到的深度学习模型修复包含视频编码噪声的视频。

7.根据权利要求6所述的装置，其特征在于，所述图像变形模块，具体用于：将所述图像序列中除所述指定图像之外的图像进行随机仿射变换和/或弹性变换，所述随机仿射变换包括：移动、旋转和拉伸中的一项或多项图像变形处理。

8.根据权利要求6所述的装置，其特征在于，所述图像变形模块，具体用于：根据预设图像变形规则，将所述图像序列中除所述指定图像之外的图像按预设方式和顺序进行图像变形处理。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1‑5任一所述的方法步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1‑5任一所述的方法步骤。

说明书

一种样本图像处理方法、装置、电子设备以及介质

技术领域

[0001] 本申请涉及计算机技术领域，特别是涉及一种样本图像处理方法、装置、电子设备以及介质。

背景技术

[0002] 目前，视频在互联网传输中，由于经过了视频编码以及解码的过程，会导致视频出现压缩噪声，例如出现模糊、边缘毛刺感和振铃效应等压缩噪声。

[0003] 为解决上述问题，现有技术采用深度学习模型对经过了视频编码以及解码后的视频进行修复。在对深度学习模型进行训练的过程中，一般将无噪声的原始图像以及对原始图像进行加噪处理后的加噪图像作为训练样本，对深度学习模型进行训练。

[0004] 在对原始图像进行加噪处理时，目前一般采用人为添加高斯噪声、图像模糊处理、联合图像专家组(Joint Photographic Experts Group，JPEG)压缩噪声、先下采样后上采样等传统加噪方式。

[0005] 然而，上述传统加噪方式添加的噪声与视频编码以及解码后带来的噪声有很大差异，导致训练过程采用的样本与深度学习模型实际要识别的图像不符，进而导致训练后的深度学习模型修复视频能力不佳。

发明内容

[0006] 本申请实施例的目的在于提供一种样本图像处理方法、装置、电子设备以及介质，以提高训练后的深度学习模型有较好的修复视频能力。具体技术方案如下：

[0007] 第一方面，提供了一种样本图像处理方法，所述方法应用于电子设备，所述方法包括：

[0008] 将原始图像复制为第一数量个原始图像，将所述第一数量个原始图像排列为图像序列，并将所述图像序列中的除指定图像之外的图像进行图像变形处理；

[0009] 对经过图像变形处理的图像序列进行视频编码处理，得到编码视频，所述编码视频中各视频帧包含视频编码噪声；

[0010] 将所述编码视频进行视频解码处理，得到视频帧序列，所述视频帧序列中包含第一数量个视频帧，且各视频帧包含视频编码噪声；

[0011] 获取所述视频帧序列中的所述指定图像对应的指定视频帧，将所述指定视频帧和所述原始图像作为深度学习模型的训练样本，以通过所述训练样本训练得到的深度学习模型修复包含视频编码噪声的视频。

[0012] 可选的，所述将所述图像序列中的除指定图像之外的图像进行图像变形处理，包括：

[0013] 将所述图像序列中除所述指定图像之外的图像进行随机仿射变换和/或弹性变换，所述随机仿射变换包括：移动、旋转和拉伸中的一项或多项图像变形处理。

[0014] 可选的，所述将所述图像序列中的除指定图像之外的图像进行图像变形处理，包括：

[0015] 根据预设图像变形规则，将所述图像序列中除所述指定图像之外的图像按预设方式和顺序进行图像变形处理。

[0016] 可选的，在所述对经过图像变形处理的图像序列进行视频编码处理之前，所述方法还包括：

[0017] 对经过图像变形处理的图像序列中的图像进行加噪处理，所述加噪处理包括添加高斯噪声、模糊、压缩噪声、先下采样后上采样中的一项或多项。

[0018] 可选的，所述对经过图像变形处理的图像序列进行视频编码处理，得到编码视频，包括：

[0019] 采用目标视频编码格式，对经过图像变形处理的图像序列进行视频编码处理，得到编码视频；

[0020] 所述将所述编码视频进行视频解码处理，得到视频帧序列，包括：

[0021] 采用目标视频解码格式，将所述编码视频进行视频解码处理，得到视频帧序列。

[0022] 第二方面，提供了一种样本图像处理装置，所述装置应用于电子设备，所述装置包括：

[0023] 图像变形模块，用于将原始图像复制为第一数量个原始图像，将所述第一数量个原始图像排列为图像序列，并将所述图像序列中的除指定图像之外的图像进行图像变形处理；

[0024] 编码模块，用于对经过图像变形处理的图像序列进行视频编码处理，得到编码视频，所述编码视频中各视频帧包含视频编码噪声；

[0025] 解码模块，用于将所述编码视频进行视频解码处理，得到视频帧序列，所述视频帧序列中包含第一数量个视频帧，且各视频帧包含视频编码噪声；

[0026] 训练模块，用于获取所述视频帧序列中的所述指定图像对应的指定视频帧，将所述指定视频帧和所述原始图像作为深度学习模型的训练样本，以通过所述训练样本训练得到的深度学习模型修复包含视频编码噪声的视频。

[0027] 可选的，所述图像变形模块，具体用于：

[0028] 将所述图像序列中除所述指定图像之外的图像进行随机仿射变换和/或弹性变换，所述随机仿射变换包括：移动、旋转和拉伸中的一项或多项图像变形处理。

[0029] 可选的，所述图像变形模块，具体用于：

[0030] 根据预设图像变形规则，将所述图像序列中除所述指定图像之外的图像按预设方式和顺序进行图像变形处理。

[0031] 可选的，所述装置还包括：加噪模块；

[0032] 所述加噪模块，用于对经过图像变形处理的图像序列中的图像进行加噪处理，所述加噪处理包括添加高斯噪声、模糊、压缩噪声、先下采样后上采样中的一项或多项。

[0033] 可选的，所述编码模块，具体用于：

[0034] 采用目标视频编码格式，对经过图像变形处理的图像序列进行视频编码处理，得到编码视频；

[0035] 所述解码模块，具体用于：

[0036] 采用目标视频解码格式，将所述编码视频进行视频解码处理，得到视频帧序列。

[0037] 第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

[0038] 存储器，用于存放计算机程序；

[0039] 处理器，用于执行存储器上所存放的程序时，实现第一方面所述的方法步骤。

[0040] 第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法步骤。

[0041] 第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。

[0042] 本申请实施例提供的一种样本图像处理方法及装置，电子设备可以将原始图像复制为第一数量个原始图像，然后将第一数量个原始图像排列为图像序列，并将图像序列中的除指定图像之外的图像进行图像变形处理，然后对经过图像变形处理的图像序列进行视频编码处理，得到编码视频，并将编码视频进行视频解码处理，得到视频帧序列，然后获取视频帧序列中的指定图像对应的指定视频帧，将指定视频帧和原始图像作为深度学习模型的训练样本，以通过训练样本训练得到的深度学习模型用于修复包含视频编码噪声的视频。本申请实施例将原始图像转化为一段图像序列，并将图像进行变形，使得图像序列可以被视为一段视频，然后电子设备通过视频编码将图像序列压缩为视频，并通过视频解码处理将该视频解压为视频帧序列，得到具有视频编码带来的噪声的指定视频帧。因为实际情况中视频的噪声来源为视频编码以及视频解码，所以该指定视频帧可以作为与实际情况相符的训练样本，进而使得训练后的深度学习模型有较好的修复视频能力。

[0043] 当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

[0044] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0045] 图1为本申请实施例提供的一种样本图像处理方法的流程图；

[0046] 图2为本申请实施例提供的一种样本图像处理方法的效果示意图；

[0047] 图3为本申请实施例提供的另一种样本图像处理方法的效果示意图；

[0048] 图4为本申请实施例提供的一种视频编码和视频解码的示例性示意图；

[0049] 图5为本申请实施例提供的一种样本图像处理装置的结构示意图；

[0050] 图6为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

[0051] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0052] 本申请实施例提供了一种样本图像处理的方法，该方法应用于电子设备。其中，电子设备包括可以应用深度学习模型对图像进行去噪的移动终端或者PC(英文：personal computer，中文：个人计算机)终端。

[0053] 下面将结合具体实施方式，对本申请实施例提供的一种样本图像处理方法进行详细的说明，如图1所示，具体步骤如下：

[0054] 步骤101、将原始图像复制为第一数量个原始图像，将第一数量个原始图像排列为图像序列，并将图像序列中的除指定图像之外的图像进行图像变形处理。

[0055] 本申请实施例中，原始图像为无损图像，即加噪之前的图像，电子设备将原始图像复制为第一数量个原始图像，并将第一数量个原始图像排列为图像序列，其目的在于通过视频编码对原始图像进行加噪。

[0056] 其中，图像序列中包括第二数量个指定图像，第二数量小于第一数量。

[0057] 指定图像为电子设备进行加噪的目标，电子设备可以通过标记图像序列中指定位置的图像的方式确定指定图像，确定指定图像的方式也可以由任意方式进行确定，本申请实施例不做限定。

[0058] 图像变形处理后的图像序列中的指定图像，与其相邻的图像之间存在差异像素点，即变形的目的在于模拟原始图像中的物体的移动或变形等动作。

[0059] 可以理解的，一段视频通常展示的是一段有动作的画面，而非一段一直静止的画面。

[0060] 由于原始图像只是一张静止的图像，因此电子设备为了使图像序列中产生有动作的画面，电子设备可以通过对图像序列中除指定图像之外的图像进行图像变形处理，以模拟原始图像中的物体的移动或变形等动作，进而使图像序列中产生有动作的画面。

[0061] 对除指定图像之外的图像进行图像变形处理的目的在于：使指定图像处于一个视频环境中，即使指定图像与指定图像的前后的图像存在差异。

[0062] 步骤102、对经过图像变形处理的图像序列进行视频编码处理，得到编码视频。

[0063] 其中，编码视频中各视频帧包含视频编码噪声。

[0064] 视频编码是一种视频压缩技术，由于视频编码处理的过程中会对视频进行压缩，因此视频编码处理的过程中会产生视频编码噪声。

[0065] 本申请实施例中，电子设备可以通过视频编码处理，将图像序列编码成编码视频。

[0066] 步骤103、将编码视频进行视频解码处理，得到视频帧序列。

[0067] 其中，视频帧序列中包含第一数量个视频帧，且各视频帧包含视频编码噪声。

[0068] 在实际应用中，步骤102中提及的视频编码处理，以及步骤103中提及的视频解码处理，可以使用H.264(一种视频编码格式)视频编解码器。

[0069] 当然，电子设备也可以使用其他版本的视频编解码器，本申请实施例不做限定。

[0070] 步骤104、获取视频帧序列中的指定图像对应的指定视频帧，将指定视频帧和原始图像作为深度学习模型的训练样本，以通过训练样本训练得到的深度学习模型修复包含视频编码噪声的视频。

[0071] 由于视频帧序列中的各视频帧均包含视频编码噪声，因此指定图像对应的指定视频帧同样包含视频编码噪声。

[0072] 当电子设备训练深度学习模型时，电子设备可以将指定图像对应的指定视频帧和原始图像作为训练样本，并根据标记帧和原始图像之间的损失以及损失函数训练深度学习模型。

[0073] 在实际应用中，电子设备训练深度学习模型时所用的训练集中，包括多个训练样本，每个训练样本包括一个原始图像以及该原始图像对应的一个指定视频帧。

[0074] 训练集中的训练样本不限于一个原始图像，例如，在实际应用中，可以分别对多个原始图像进行图1所示的方法流程，从而得到多个原始图像对应的指定视频帧，将多个原始图像以及原始图像对应的指定视频帧作为训练样本对深度学习模型进行训练。

[0075] 本申请实施例提供的一种样本图像处理方法，电子设备可以将原始图像复制为第一数量个原始图像，然后将第一数量个原始图像排列为图像序列，并将图像序列中的除指定图像之外的图像进行图像变形处理，然后对经过图像变形处理的图像序列进行视频编码处理，得到编码视频，并将编码视频进行视频解码处理，得到视频帧序列，然后获取视频帧序列中的指定图像对应的指定视频帧，将指定视频帧和原始图像作为深度学习模型的训练样本，通过训练样本训练得到的深度学习模型用于修复包含视频编码噪声的视频。本申请实施例将原始图像转化为一段图像序列，并将图像进行变形，使得图像序列可以被视为一段视频，然后电子设备通过视频编码将图像序列压缩为视频，并通过视频解码处理将该视频解压为视频帧序列，得到具有视频编码带来的噪声的指定视频帧。因为实际情况中视频的噪声来源为视频编码以及视频解码，所以该指定视频帧可以作为与实际情况相符的训练样本，进而使得训练后的深度学习模型有较好的修复视频能力。

[0076] 可选的，针对上述步骤101、将原始图像复制为第一数量个原始图像，将第一数量个原始图像排列为图像序列，并将图像序列中的除指定图像之外的图像进行图像变形处理，电子设备对图像序列中除指定图像之外的图像进行图像变形处理的过程，具体可以执行为：

[0077] 将图像序列中除指定图像之外的图像随机进行随机仿射变换和/或弹性变换。

[0078] 其中，图像变形处理包括随机仿射变换和弹性变换，随机仿射变换包括：移动、旋转和拉伸中的一项或多项图像变形处理。

[0079] 在实际应用中，随机仿射变换可以通过仿射变换算法实现，弹性变换可以通过弹性变换算法实现。

[0080] 例如，如图2所示，图2为图像序列经过弹性变换后的示意图，该图像序列中包括20张图像以及该20张图像对应的序号。

[0081] 其中，每个图像下方的序号代表各图像在图像序列中的排序，即各图像在图像序列中的位置。

[0082] 在图2中，指定图像为1、5、10、15和20号图像，即电子设备在对图像序列进行弹性变换时，电子设备只对1、5、10、15和20号图像之外的图像进行弹性变换，具体的弹性变换后的效果如图2所示。

[0083] 其中，弹性变换是对图像进行扭曲图像变形处理，在图2中，实线网格只用于方便表明图像扭曲的结果，在实际应用中并不存在该实线网格。

[0084] 在实际应用中，电子设备可以既对图像序列进行弹性变换，又对图像序列进行随机仿射变换，本申请实施例不做限定。

[0085] 在本申请实施例中，电子设备通过随机仿射变换和弹性变换，使得图像序列中，相邻的图像之间存在差异，即使得图像序列可以被视为一段视频。进而，电子设备可以对图像序列添加视频编码噪声，使得图像序列中的图像包括的噪声更趋近于实际应用场景中产生的噪声。

[0086] 可选的，针对上述步骤101、将原始图像复制为第一数量个原始图像，将第一数量个原始图像排列为图像序列，并将图像序列中的除指定图像之外的图像进行图像变形处理，在另一种图像变形处理的可实现方式中，电子设备具体可以执行为：

[0087] 根据预设图像变形规则，将图像序列中除指定图像之外的图像按预设方式和顺序进行图像变形处理。

[0088] 本申请实施例中，电子设备可以通过预设图像变形规则，使图像序列获得更逼真的运动效果，进而使图像加噪的效果更佳。

[0089] 可选的，针对上述步骤102、对经过图像变形处理的图像序列进行视频编码处理，得到编码视频，电子设备具体可以执行为：

[0090] 采用目标视频编码格式，对经过图像变形处理的图像序列进行视频编码处理，得到编码视频。

[0091] 可以理解的是，这里的目标视频编码格式包括但不限于：H.264视频编码格式、H.265视频编码格式、H.266视频编码格式。本申请实施例对采用的视频编码格式不做限定。

[0092] 针对上述步骤103、将编码视频进行视频解码处理，得到视频帧序列，电子设备具体可以执行为：

[0093] 采用目标视频解码格式，将编码视频进行视频解码处理，得到视频帧序列。

[0094] 其中，编码视频经过视频解码处理后得到的视频帧序列中，包括图像序列中每个图像对应的视频帧。

[0095] 进而，图像序列中的指定图像对应的视频帧为指定视频帧。

[0096] 如图3所示，图3为指定图像对应的指定视频帧的示意图。其中，图3中包括序号为1、5、10、15和20的指定视频帧，指定视频帧的序号与图2中图像的序号一一对应，例如，图2中的图像1与指定视频帧1对应。

[0097] 由图3明显可见，指定视频帧包括了视频编码中产生的噪声。

[0098] 在本申请实施例中，由于引入了视频编码和视频解码对视频帧序列进行加噪，所以在最终得到的指定视频帧中，包括了视频编码过程带来的噪声，更好的模拟了实际应用中样本图像中的噪声。

[0099] 如图4所示，图4为本申请实施例提供的一种视频编码和视频解码的示例性示意图，其中，该流程示意图展示的是上述步骤102至步骤104所述内容。

[0100] 具体的，在图4中，图像序列中包括20张图像，且指定图像为该图像序列中第1、5、10、15和20号图像。

[0101] 电子设备可以先对该图像序列进行H.264编码，得到该图像序列对应的编码视频。

[0102] 然后，电子设备对该编码视频进行H.264解码，得到编码视频对应的视频帧序列。

[0103] 最后，电子设备可以从视频帧序列中提取出指定视频帧(即视频帧序列中第1、5、10、15和20号视频帧)，并将指定视频帧和原始图像作为深度学习模型的训练样本。

[0104] 通过本申请实施例，电子设备可以有效的为图像添加实际应用场景中的视频编码噪声。

[0105] 可选的，在步骤102、对经过图像变形处理的图像序列进行视频编码处理，得到编码视频之前，电子设备还可以对目标视频中的视频帧进行加噪处理，具体过程可以为：

[0106] 对经过图像变形处理的图像序列中的图像进行加噪处理，加噪处理包括添加高斯噪声、模糊、压缩噪声、先下采样后上采样中的一项或多项。

[0107] 在实际应用中，压缩噪声可以是JPEG压缩噪声。

[0108] 其中，上述加噪处理是针对图像的加噪处理方式，由于电子设备最终会对目标视频进行视频编码以及视频解码处理，因此电子设备通过上述加噪处理方式对目标视频的视频帧进行加噪处理后，可以更好的模拟实际应用场景中产生的噪声。

[0109] 基于相同的技术构思，本申请实施例还提供了一种样本图像加噪装置，如图5所示，该装置包括：图像变形模块501、编码模块502、解码模块503、训练模块504；

[0110] 图像变形模块501，用于将原始图像复制为第一数量个原始图像，将第一数量个原始图像排列为图像序列，并将图像序列中的除指定图像之外的图像进行图像变形处理；

[0111] 编码模块502，用于对经过图像变形处理的图像序列进行视频编码处理，得到编码视频，编码视频中各视频帧包含视频编码噪声；

[0112] 解码模块503，用于将编码视频进行视频解码处理，得到视频帧序列，视频帧序列中包含第一数量个视频帧，且各视频帧包含视频编码噪声；

[0113] 训练模块504，用于获取视频帧序列中的指定图像对应的指定视频帧，将指定视频帧和原始图像作为深度学习模型的训练样本，以通过训练样本训练得到的深度学习模型修复包含视频编码噪声的视频。

[0114] 可选的，图像变形模块501，具体用于：

[0115] 将图像序列中除指定图像之外的图像进行随机仿射变换和/或弹性变换，随机仿射变换包括：移动、旋转和拉伸中的一项或多项图像变形处理。

[0116] 可选的，图像变形模块501，具体用于：

[0117] 根据预设图像变形规则，将图像序列中除指定图像之外的图像按预设方式和顺序进行图像变形处理。

[0118] 可选的，该装置还包括：加噪模块；

[0119] 加噪模块，用于对经过图像变形处理的图像序列中的图像进行加噪处理，加噪处理包括添加高斯噪声、模糊、压缩噪声、先下采样后上采样中的一项或多项。

[0120] 可选的，编码模块502，具体用于：

[0121] 采用目标视频编码格式，对经过图像变形处理的图像序列进行视频编码处理，得到编码视频；

[0122] 解码模块503，具体用于：

[0123] 采用目标视频解码格式，将编码视频进行视频解码处理，得到视频帧序列。

[0124] 本申请实施例提供的一种样本图像处理装置，电子设备可以将原始图像复制为第一数量个原始图像，然后将第一数量个原始图像排列为图像序列，并将图像序列中的除指定图像之外的图像进行图像变形处理，然后对经过图像变形处理的图像序列进行视频编码处理，得到编码视频，并将编码视频进行视频解码处理，得到视频帧序列，然后获取视频帧序列中的指定图像对应的指定视频帧，将指定视频帧和原始图像作为深度学习模型的训练样本，通过训练样本训练得到的深度学习模型用于修复包含视频编码噪声的视频。本申请实施例将原始图像转化为一段图像序列，并将图像进行变形，使得图像序列可以被视为一段视频，然后电子设备通过视频编码将图像序列压缩为视频，并通过视频解码处理将该视频解压为视频帧序列，得到具有视频编码带来的噪声的指定视频帧。因为实际情况中视频的噪声来源为视频编码以及视频解码，所以该指定视频帧可以作为与实际情况相符的训练样本，进而使得训练后的深度学习模型有较好的修复视频能力。

[0125] 本申请实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，

[0126] 存储器603，用于存放计算机程序；

[0127] 处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：

[0128] 将原始图像复制为第一数量个原始图像，将所述第一数量个原始图像排列为图像序列，并将所述图像序列中的除指定图像之外的图像进行图像变形处理；

[0129] 对经过图像变形处理的图像序列进行视频编码处理，得到编码视频，所述编码视频中各视频帧包含视频编码噪声；

[0130] 将所述编码视频进行视频解码处理，得到视频帧序列，所述视频帧序列中包含第一数量个视频帧，且各视频帧包含视频编码噪声；

[0131] 获取所述视频帧序列中的所述指定图像对应的指定视频帧，将所述指定视频帧和所述原始图像作为深度学习模型的训练样本，以通过所述训练样本训练得到的深度学习模型修复包含视频编码噪声的视频。

[0132] 需要说明的是，处理器601，用于执行存储器603上所存放的程序时，还用于实现上述方法实施例中描述的其他步骤，可参考上述方法实施例中的相关描述，此处不再赘述。

[0133] 上述网络设备提到的通信总线可以是外设部件互连标准(英文：Peripheral Component Interconnect，简称：PCI)总线或扩展工业标准结构(英文：Extended Industry Standard Architecture，简称：EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

[0134] 通信接口用于上述网络设备与其他设备之间的通信。

[0135] 存储器可以包括随机存取存储器(英文：Random Access Memory，简称：RAM)，也可以包括非易失性存储器(英文：Non‑Volatile Memory，简称：NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

[0136] 上述的处理器可以是通用处理器，包括中央处理器(英文：Central Processing Unit，简称：CPU)、网络处理器(英文：Network Processor，简称：NP)等；还可以是数字信号处理器(英文：Digital Signal Processing，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field‑Programmable Gate Array，简称：FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

[0137] 基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述样本图像处理方法步骤。

[0138] 基于相同的技术构思，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述样本图像处理方法步骤。

[0139] 在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

[0140] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

[0141] 本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

[0142] 以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。