本发明涉及一种卡通视频重制方法及系统。系统包括依次串联的初步降质模块、图像生成模块和图像增强模块，以及并联的质量评价模块、风格判别模块和色彩评价模块。先利用初步降质模块和图像生成模块对卡通图像帧进行处理生成第二卡通图像帧，并通过判别损失对第二卡通图像帧进行判断，若不符合输出要求则调整图像生成模块的参数，直到输出符合要求的第二卡通图像帧。将第二卡通图像帧和卡通图像帧均作为训练样本集对图像增强模块进行训练，得到卡通视频重制模型。可直接利用卡通视频重制模型对实时输入的卡通视频中的待处理卡通图像帧进行重制处理。该方法及系统可有效提升早期卡通视频的清晰度，提升观看体验。
1.一种卡通视频重制方法，其特征在于，包括：选取多个卡通图像帧FHi，对所述卡通图像帧FHi预处理得到第一卡通图像帧FMi；其中，i表示所述卡通图像帧的数量，为正整数；
利用第一卷积神经网络对所述第一卡通图像帧FMi做生成判别操作得到第二卡通图像帧FLi，计算并判断所述第二卡通图像帧FLi的判别损失 是否在设定范围内，若是，则认为所述第二卡通图像帧FLi符合输出要求，输出的所述第二卡通图像帧FLi和所述卡通图像帧FHi共同构成训练样本集；若否，则对所述第一卷积神经网络的参数进行调整，在调整后重新处理所述第一卡通图像帧FMi；
利用第二卷积神经网络对所述第二卡通图像帧FLi做特征融合及处理操作得到第三卡通图像帧FSi；
计算并判断所述第三卡通图像帧FSi的重建损失、质量损失、风格损失与色彩损失之和是否在设定范围内；
若是，则认为所述第三卡通图像帧FSi符合输出要求；
若否，则对所述第二卷积神经网络的参数进行调整；在调整后重新处理所述第二卡通图像帧FLi；
待所有所述第三卡通图像帧FSi均符合输出要求后，即得到了卡通视频重制模型；直接利用所述卡通视频重制模型对实时输入的卡通视频的待处理卡通图像帧进行处理；
所述对所述卡通图像帧FHi预处理得到第一卡通图像帧FMi，具体包括：在卡通视频中抽取所述卡通图像帧FHi，依次对所述卡通图像帧FHi做降分辨率处理、添加噪声处理、添加模拟划痕处理和压缩处理，具体包括：利用FFMPEG在所述卡通视频中每隔一秒抽取一张所述卡通图像帧FHi；
利用双线性插值法降低所述卡通图像帧FHi的分辨率，得到降分辨率后的卡通图像帧；
在所述降分辨率后的卡通图像帧中添加噪声，所述噪声包括高斯噪声和椒盐噪声，两者比例任意，得到添加噪声后的卡通图像帧；
利用Matlab从所述实时输入的卡通视频中裁剪划痕区域；
对所述划痕区域依次进行缩放处理、旋转处理和灰度值的增减，得到模拟划痕并添加到所述添加噪声后的卡通图像帧中；
对添加模拟划痕的卡通图像帧做压缩处理，压缩质量随机，得到所述第一卡通图像帧FMi；
所述利用第一卷积神经网络对所述第一卡通图像帧FMi做生成判别操作得到第二卡通图像帧FLi，具体包括：
对所述第一卡通图像帧FMi做生成操作得到所述第二卡通图像帧FLi；
对所述第二卡通图像帧FLi做判别操作；计算所述第二卡通图像帧FLi的判别损失具体为：
其中，FOi表示实时输入的卡通视频的待处理卡通图像帧，DFOi表示FOi经判别操作得到的输出，DFLi表示FLi经判别操作得到的输出；
所述对第一卡通图像帧FMi做生成操作得到所述第二卡通图像帧FLi，具体包括：对所述第一卡通图像帧FMi做编码操作得到第一卡通图像帧的编码图像；
对所述第一卡通图像帧的编码图像做残差计算操作得到第一卡通图像帧的残差图像；
对所述第一卡通图像帧的残差图像做解码操作，得到所述第二卡通图像帧FLi；
所述利用第二卷积神经网络对所述第二卡通图像帧FLi做特征融合及处理操作得到第三卡通图像帧FSi，具体包括：对所述第二卡通图像帧FLi做时域特征融合操作得到时域特征融合图像帧；
对所述第二卡通图像帧FLi做边缘特征提取操作得到边缘图像帧；
将所述时域特征融合图像帧和所述边缘图像帧合并后做特征提取及图像增强处理操作得到所述第三卡通图像帧FSi。
2.根据权利要求1所述的卡通视频重制方法，其特征在于，所述计算并判断所述第三卡通图像帧FSi的重建损失 质量损失 风格损失 和色彩损失 之和是否在设定范围内，具体包括：
计算所述第三卡通图像帧FSi与所述卡通图像帧FHi的均方误差，作为所述重建损失计算所述第三卡通图像帧FSi的质量分数SQi；根据所述质量分数SQi计算所述第三卡通图像帧FSi的质量损失
计算所述第三卡通图像帧FSi的风格损失其中，DSFHi表示FHi经风格判别操作得到的输出，DSFSi表示FSi经风格判别操作得到的输出；
计算所述第三卡通图像帧FSi的色彩评价分数SCi；根据所述色彩评价分数SCi计算所述第三卡通图像帧FSi的色彩损失其中，i表示所述卡通图像帧的数量，为正整数。
3.一种卡通视频重制系统，其特征在于，包括：初步降质模块，用于选取多个卡通图像帧FHi，对所述卡通图像帧FHi预处理得到第一卡通图像帧FMi；其中，i表示所述卡通图像帧的数量，为正整数；
图像生成模块，用于利用第一卷积神经网络对所述第一卡通图像帧FMi做生成判别操作得到第二卡通图像帧FLi，计算并判断所述第二卡通图像帧FLi的判别损失 是否在设定范围内，若是，则认为所述第二卡通图像帧FLi符合输出要求，输出的所述第二卡通图像帧FLi和所述卡通图像帧FHi共同构成训练样本集；若否，则所述图像生成模块对所述第一卷积神经网络的参数进行调整，在调整后重新处理所述第一卡通图像帧FMi；
图像增强模块，用于利用第二卷积神经网络对所述第二卡通图像帧FLi做特征融合及处理操作得到第三卡通图像帧FSi，计算所述第三卡通图像帧的重建损失质量评价模块，用于计算所述第三卡通图像帧FSi的质量损失风格判别模块，用于计算所述第三卡通图像帧FSi的风格损失色彩评价模块，用于计算所述第三卡通图像帧FSi的色彩损失判断所述重建损失 所述质量损失 所述风格损失 与所述色彩损失 之和是否在设定范围内；若是，则认为所述第三卡通图像帧FSi符合输出要求；若否，则所述图像增强模块对所述第二卷积神经网络的参数进行调整；在调整后重新处理所述第二卡通图像帧FLi；
待所有所述第三卡通图像帧FSi均符合输出要求后，即得到了所述卡通视频重制系统对应的卡通视频重制模型，直接利用所述卡通视频重制模型对实时输入的卡通视频的待处理卡通图像帧进行处理；
降分辨率模块，用于利用FFMPEG在所述卡通视频中每隔一秒抽取一帧所述卡通图像帧FHi，利用双线性插值法降低所述卡通图像帧FHi的分辨率，得到降分辨率后的卡通图像帧；
添加噪声模块，用于在所述降分辨率后的卡通图像帧中添加噪声，所述噪声包括高斯噪声和椒盐噪声，两者比例任意，得到添加噪声后的卡通图像帧；
添加模拟划痕模块，用于利用Matlab从所述实时输入的卡通视频中裁剪划痕区域，对所述划痕区域依次进行缩放处理、旋转处理和灰度值的增减，得到模拟划痕并添加到所述添加噪声后的卡通图像帧中；
压缩模块，用于对添加模拟划痕的卡通图像帧做压缩处理，压缩质量随机，得到所述第一卡通图像帧FMi；
生成网络，用于对所述第一卡通图像帧FMi做生成操作得到所述第二卡通图像帧FLi；
判别网络，用于对所述第二卡通图像帧FLi做判别操作；
并计算所述第二卡通图像帧FLi的判别损失 具体为：其中，FOi表示实时输入的卡通视频的待处理卡通图像帧，DFOi表示FOi经所述判别网络得到的输出，DFLi表示FLi经所述判别网络得到的输出；
编码器模块，用于对所述第一卡通图像帧FMi做编码操作得到第一卡通图像帧的编码图像；
残差模块，用于对所述第一卡通图像帧的编码图像做残差计算操作得到第一卡通图像帧的残差图像；
解码器模块，用于对所述第一卡通图像帧的残差图像做解码操作，得到所述第二卡通图像帧FLi；
时域特征融合模块，用于对所述第二卡通图像帧FLi做时域特征融合操作得到时域特征融合图像帧；
边缘提取模块，用于对所述第二卡通图像帧FLi做边缘特征提取操作得到边缘图像帧；
特征提取及处理模块，用于对所述时域特征融合图像帧和所述边缘图像帧合并后做特征提取及图像增强处理操作得到所述第三卡通图像帧FSi，并计算所述第三卡通图像帧FSi与所述卡通图像帧FHi的均方误差，作为所述重建损失
4.根据权利要求3所述的卡通视频重制系统，其特征在于，所述质量评价模块计算所述第三卡通图像帧FSi的质量损失 具体为：计算所述第三卡通图像帧FSi的质量分数SQi；根据所述质量分数SQi计算所述第三卡通图像帧FSi的质量损失
所述风格判别模块计算所述第三卡通图像帧FSi的风格损失 具体为：其中，DSFHi表示FHi经所述风格判别模块得到的输出，DSFSi表示FSi经所述风格判别模块得到的输出；
所述色彩评价模块计算所述第三卡通图像帧FSi的色彩损失 具体为：计算所述第三卡通图像帧FSi的色彩评价分数SCi；根据所述色彩评价分数SCi计算所述第三卡通图像帧FSi的色彩损失其中，i表示所述卡通图像帧的数量，为正整数。
一种卡通视频重制方法及系统
技术领域
[0001] 本发明涉及图像处理技术领域，特别是涉及一种卡通视频重制方法及系统。
背景技术
[0002] 早期的卡通视频的制作方式、存储方式、传输方式等与现今有很大不同，且早期的卡通视频存在较多划痕、噪声、泛白，存在模糊、压缩失真、色彩退化、边缘不够锐利等问题。
直接利用现今的播放或显示设备观看早期的卡通视频，其清晰度较低，很难满足现今人们
的观看需求。
[0003] 近年来，计算机视觉、图像处理、深度学习等领域发展迅速，这些领域中的很多方法能够提升自然图像或拍摄视频的质量和清晰度。但自然图像或拍摄视频与卡通视频在图
像形成原理上完全不同，现今的自然图像或拍摄视频图像的处理方法也并不适用于卡通视
频。
发明内容
[0004] 为了解决上述问题，本发明中提出了一种卡通视频重制方法及系统，适用于卡通视频，能够有效去除卡通视频中的划痕、噪声、泛白，有效解决模糊、压缩失真、色彩退化、边
缘不够锐利等问题，有效提升早期卡通视频的质量和清晰度，满足现今人们的观看需求。
[0005] 为实现上述目的，本发明提供了如下方案：
[0006] 一种卡通视频重制方法，包括：
[0007] 选取多个卡通图像帧FHi，对所述卡通图像帧FHi预处理得到第一卡通图像帧FMi；其中，i表示所述卡通图像帧的数量，为正整数；
[0008] 利用第一卷积神经网络对所述第一卡通图像帧FMi做生成判别操作得到第二卡通图像帧FLi，计算并判断所述第二卡通图像帧FLi的判别损失 是否在设定范围内，若是，则
认为所述第二卡通图像帧FLi符合输出要求，输出的所述第二卡通图像帧FLi和所述卡通图
像帧FHi共同构成训练样本集；若否，则对所述第一卷积神经网络的参数进行调整，在调整
后重新处理所述第一卡通图像帧FMi；
[0009] 利用第二卷积神经网络对所述第二卡通图像帧FLi做特征融合及处理操作得到第三卡通图像帧FSi；
[0010] 计算并判断所述第三卡通图像帧FSi的重建损失 质量损失 风格损失与色彩损失 之和是否在设定范围内；
[0011] 若是，则认为所述第三卡通图像帧FSi符合输出要求；
[0012] 若否，则对所述第二卷积神经网络的参数进行调整；在调整后重新处理所述第二卡通图像帧FLi；
[0013] 待所有所述第三卡通图像帧FSi均符合输出要求后，即得到了卡通视频重制模型；直接利用所述卡通视频重制模型对实时输入的卡通视频的待处理卡通图像帧进行处理。
[0014] 本发明还介绍了一种卡通视频重制系统，包括：
[0015] 初步降质模块，用于选取多个卡通图像帧FHi，对所述卡通图像帧FHi预处理得到第一卡通图像帧FMi；其中，i表示所述卡通图像帧的数量，为正整数；
[0016] 图像生成模块，用于利用第一卷积神经网络对所述第一卡通图像帧FMi做生成判别操作得到第二卡通图像帧FLi，计算并判断所述第二卡通图像帧FLi的判别损失 是否在
设定范围内；
[0017] 若是，则认为所述第二卡通图像帧FLi符合输出要求，输出的所述第二卡通图像帧FLi和所述卡通图像帧FHi共同构成训练样本集；
[0018] 若否，则所述图像生成模块对所述第一卷积神经网络的参数进行调整，在调整后重新处理所述第一卡通图像帧FMi。
[0019] 图像增强模块，用于利用第二卷积神经网络对所述第二卡通图像帧FLi做特征融合及处理操作得到第三卡通图像帧FSi，计算所述第三卡通图像帧的重建损失
[0020] 质量评价模块，用于计算所述第三卡通图像帧FSi的质量损失
[0021] 风格判别模块，用于计算所述第三卡通图像帧FSi的风格损失
[0022] 色彩评价模块，用于计算所述第三卡通图像帧FSi的色彩损失
[0023] 判断所述重建损失 所述质量损失 所述风格损失 与所述色彩损失之和是否在设定范围内；
[0024] 若是，则认为所述第三卡通图像帧FSi符合输出要求；
[0025] 若否，则所述图像增强模块对所述第二卷积神经网络的参数进行调整；
[0026] 在调整后重新处理所述第二卡通图像帧；
[0027] 待所有所述第三卡通图像帧FSi均符合输出要求后，即得到了所述卡通视频重制系统对应的卡通视频重制模型，直接利用所述卡通视频重制模型对实时输入的卡通视频的
待处理卡通图像帧进行处理。
[0028] 根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0029] 本发明将卷积神经网络应用到了卡通视频图像的质量和清晰度处理过程中，利用由多个卡通视频图像帧构成的训练样本集训练得到了卡通图像帧处理结果在设定范围内
的卡通视频重制系统。利用该卡通视频重制系统对待处理卡通图像帧进行重制，可获得更
高质量、更高清晰度的卡通图像帧。
附图说明
[0030] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施
例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图
获得其他的附图。
[0031] 图1为本发明实施例1中卡通视频重制方法的流程图；
[0032] 图2为本发明实施例3中卡通视频重制系统的结构示意图；
[0033] 图3为本发明实施例4中初步降质模块的结构示意图；
[0034] 图4为本发明实施例4中图像生成模块的结构示意图；
[0035] 图5为本发明实施例4中图像增强模块的结构示意图。
具体实施方式
[0036] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
[0037] 如背景技术所述，早期的卡通视频与现今的卡通视频在制作方式、存储方式、传输方式上存在很大不同。若通过现今的显示设备观看早期的卡通视频，会存在划痕、噪声、泛
白较多，模糊、压缩失真、色彩退化、边缘不够锐利等问题。
[0038] 本发明中将深度卷积神经网络应用到了早期卡通视频的处理过程中，能够有效提高早期卡通视频的质量和清晰度，解决早期卡通视频存在的上述问题。
[0039] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0040] 实施例1：
[0041] 本实施例中介绍了一种卡通视频重制方法，其大致过程如图1所示：
[0042] 先选取多个卡通图像帧FHi，对卡通图像帧FHi预处理得到第一卡通图像帧FMi；其中，i表示卡通图像帧的数量，为正整数；
[0043] 之后利用第一卷积神经网络对第一卡通图像帧FMi做生成判别操作得到第二卡通图像帧FLi，计算并判断第二卡通图像帧FLi的判别损失 是否在设定范围内，若是，则认为
第二卡通图像帧FLi符合输出要求，输出的第二卡通图像帧FLi和卡通图像帧FHi共同构成训
练样本集；若否，则对第一卷积神经网络的参数进行调整，在调整后重新处理第一卡通图像
帧FMi；
[0044] 然后利用第二卷积神经网络对第二卡通图像帧FLi做特征融合及处理操作得到第三卡通图像帧FSi；
[0045] 计算并判断第三卡通图像帧FSi的重建损失 质量损失 风格损失 与色彩损失 之和是否在设定范围内；
[0046] 若是，则认为第三卡通图像帧FSi符合输出要求；若否，则对第二卷积神经网络的参数进行调整；在调整后重新处理第二卡通图像帧FLi；
[0047] 待所有第三卡通图像帧FSi均符合输出要求后，即得到了卡通视频重制模型；直接利用卡通视频重制模型对实时输入的卡通视频的待处理卡通图像帧进行处理。
[0048] 通过上述过程得到的处理后的第三卡通图像帧与待处理卡通视频的卡通图像帧相比，具有更高的质量和清晰度，能够解决待处理卡通视频中存在的划痕、噪声、泛白较多，
模糊、压缩失真、色彩退化、边缘不够锐利等问题。
[0049] 本发明在实施例2中给出了对上述过程的详细解释：
[0050] 实施例2：
[0051] 1)对所述卡通图像帧FHi做预处理的具体步骤包括：
[0052] 降分辨率处理、添加噪声处理、添加模拟划痕和压缩处理；
[0053] 具体为：
[0054] 利用FFMPEG在卡通视频中每隔一秒抽取一张卡通图像帧FHi；
[0055] 利用双线性插值法降低卡通图像帧FHi的分辨率，得到降分辨率后的卡通图像帧；
[0056] 在降分辨率后的卡通图像帧中添加噪声，噪声包括高斯噪声或椒盐噪声，两者比例任意，得到添加噪声后的卡通图像帧；
[0057] 利用Matlab从实时输入的卡通视频中裁剪划痕区域；
[0058] 对划痕区域依次进行缩放处理、旋转处理和灰度值的增减，得到模拟划痕并添加到添加噪声后的卡通图像帧中；
[0059] 对添加模拟划痕的卡通图像帧做压缩处理，压缩质量随机，得到第一卡通图像帧FMi。
[0060] 2)对所述第一卡通图像帧FMi的处理过程：
[0061] 对第一卡通图像帧FMi做生成操作得到第二卡通图像帧FLi具体为：
[0062] 对所述第一卡通图像帧FMi做编码操作得到第一卡通图像帧的编码图像；对所述第一卡通图像帧的编码图像做残差计算操作得到第一卡通图像帧的残差图像；对所述第一
卡通图像帧的残差图像做解码操作，得到所述第二卡通图像帧FLi。
[0063] 对所述第二卡通图像帧FLi做判别操作；
[0064] 计算第二卡通图像帧FLi的判别损失 计算公式为：
[0065]
[0066] 其中，FOi表示实时输入的卡通视频的待处理卡通图像帧，DFOi表示FOi经判别操作得到的输出，DFLi表示FLi经判别操作得到的输出。
[0067] 判断第二卡通图像帧FLi的判别损失 是否在设定范围内；
[0068] 若是，则认为第二卡通图像帧FLi符合输出要求；
[0069] 若否，则需要对生成操作或判别操作的参数进行调整。
[0070] 3)对所述第二卡通图像帧FLi的具体处理过程：
[0071] 对第二卡通图像帧FLi做时域特征融合操作得到时域特征融合图像帧；
[0072] 对第二卡通图像帧FLi做边缘特征提取操作得到边缘图像帧；
[0073] 将时域特征融合图像帧和边缘图像帧合并后做特征提取及处理操作得到第三卡通图像帧FSi。
[0074] 计算并判断第三卡通图像帧FSi的重建损失 质量损失 风格损失 和色彩损失 之和是否在设定范围内具体包括：
[0075] 计算第三卡通图像帧FSi与卡通图像帧FHi的均方误差，作为重建损失
[0076] 计算第三卡通图像帧FSi的质量分数SQi；根据质量分数SQi计算第三卡通图像帧FSi的质量损失
[0077]
[0078] 计算第三卡通图像帧FSi的风格损失 计算公式为：
[0079]
[0080] 其中，DSFHi表示FHi经风格判别操作得到的输出，DSFSi表示FSi经风格判别操作得到的输出。
[0081] 计算第三卡通图像帧FSi的色彩评价分数SCi；根据色彩评价分数SCi计算第三卡通图像帧FSi的色彩损失
[0082] 其中，i表示卡通图像帧的数量，为正整数。
[0083] 若第三卡通图像帧FSi的重建损失 质量损失 风格损失 与色彩损失之和在设定范围内，则认为第三卡通图像帧FSi符合输出要求，反之则需要调整第二卷
积操作的参数，重新处理第二卡通图像帧FLi，直到训练样本集中所有的第三卡通图像帧均
符合输出要求为止，此时得到了卡通视频重制模型，可直接利用该模型对实时输入的卡通
视频进行重制处理。
[0084] 为了更好地解释上述过程，本发明在实施例3中将所述卡通视频重制方法引入到了具体的卷积神经网络中，并构建了卡通视频重制系统，在卡通视频重制系统和卷积神经
网络的基础上，对卡通视频中卡通图像帧的重制过程做了更具体详细的说明。
[0085] 实施例3：
[0086] 如图2所示，为实施例3中的一种卡通视频重制系统，包括：
[0087] 依次串联的初步降质模块、图像生成模块和图像增强模块，以及依次并联的质量评价模块、风格判别模块和色彩评价模块；
[0088] 其中，初步降质模块、图像生成模块和图像增强模块用于对卡通图像帧FHi的重制处理，以得到可供输出的第三卡通图像帧FSi；质量评价模块、风格判别模块和色彩评价模
块均用于对第三卡通图像帧FSi进行评价，以判断其是否符合输出标准。
[0089] 更具体的：
[0090] 初步降质模块用于选取多个卡通图像帧FHi，对卡通图像帧FHi预处理得到第一卡通图像帧FMi；其中，i表示卡通图像帧的数量，为正整数；
[0091] 图像生成模块用于利用第一卷积神经网络对第一卡通图像帧FMi做生成判别操作得到第二卡通图像帧FLi，计算并判断第二卡通图像帧FLi的判别损失 是否在设定范围
内，若是，则认为第二卡通图像帧FLi符合输出要求，输出的第二卡通图像帧FLi和卡通图像
帧FHi共同构成训练样本集；若否，则图像生成模块对第一卷积神经网络的参数进行调整，
在调整后重新处理第一卡通图像帧FMi；
[0092] 图像增强模块用于利用第二卷积神经网络对第二卡通图像帧FLi做特征融合及处理操作得到第三卡通图像帧FSi，计算第三卡通图像帧的重建损失
[0093] 质量评价模块用于计算第三卡通图像帧FSi的质量损失
[0094] 风格判别模块用于计算第三卡通图像帧FSi的风格损失
[0095] 色彩评价模块用于计算第三卡通图像帧FSi的色彩损失
[0096] 判断重建损失 质量损失 风格损失 与色彩损失 之和是否在设定范围内；
[0097] 若是，则认为第三卡通图像帧FSi符合输出要求；
[0098] 若否，则图像增强模块对第二卷积神经网络的参数进行调整；在调整后重新处理第二卡通图像帧；
[0099] 待所有第三卡通图像帧FSi均符合输出要求后，即得到了卡通视频重制系统对应的卡通视频重制模型，直接利用卡通视频重制模型对实时输入的卡通视频的待处理卡通图
像帧进行处理。
[0100] 本发明在实施例4中对实施例3中的卡通视频重制系统做了更进一步的限定，以详细说明卡通视频重制系统中各模块的具体结构，以及利用这些具体结构对卡通图像帧FHi
的具体处理过程。
[0101] 实施例4：
[0102] 如图3、4、5所示，分别是本发明中初步降质模块、图像生成模块和图像增强模块的结构示意图。
[0103] 其中，初步降质模块包括依次串联的降分辨率模块、添加噪声模块、添加模拟划痕模块和压缩模块；
[0104] 降分辨率模块用于利用FFMPEG在卡通视频中每隔一秒抽取一张卡通图像帧FHi，并利用双线性插值法降低卡通图像帧FHi的分辨率，得到降分辨率后的卡通图像帧；
[0105] 添加噪声模块用于在降分辨率后的卡通图像帧中添加噪声，噪声包括高斯噪声或椒盐噪声，两者比例任意，得到添加噪声后的卡通图像帧；
[0106] 添加模拟划痕模块用于利用Matlab从实时输入的卡通视频中裁剪划痕区域，对划痕区域依次进行缩放处理、旋转处理和灰度值的增减，得到模拟划痕并添加到添加噪声后
的卡通图像帧中；
[0107] 压缩模块用于对添加模拟划痕的卡通图像帧做压缩处理，压缩质量随机，得到第一卡通图像帧FMi。
[0108] 图像生成模块包括依次串联的生成网络和判别网络；
[0109] 生成网络用于对第一卡通图像帧FMi做生成操作得到第二卡通图像帧FLi；判别网络用于对第二卡通图像帧FLi做判别操作，并计算第二卡通图像帧FLi的判别损失 具体
为：
[0110]
[0111] 其中，FOi表示实时输入的卡通视频的待处理卡通图像帧，DFOi表示FOi经判别网络得到的输出，DFLi表示FLi经判别网络得到的输出。
[0112] 更具体的，生成网络中包括依次串联的编码器模块、残差模块和解码器模块；编码器模块用于对第一卡通图像帧FMi做编码操作得到第一卡通图像帧的编码图像；残差模块
用于对第一卡通图像帧的编码图像做残差计算操作得到第一卡通图像帧的残差图像；解码
器模块用于对第一卡通图像帧的残差图像做解码操作，得到第二卡通图像帧FLi；
[0113] 判别网络包括判别卷积模块。
[0114] 本发明实施例4还对编码器模块、残差模块、解码器模块和判别卷积模块做了更进一步细分。
[0115] 其中，
[0116] 编码器模块包括m个卷积核大小为n×n的卷积层和ReLU激活函数层；其中，m和n均为正整数，卷积层的卷积步长任意；本实施例中m为4，n为3，卷积步长为2；
[0117] 第一卡通图像帧FMi依次经编码器模块中的m个卷积核大小为n×n的卷积层和ReLU激活函数层后得到第一卡通图像帧的编码图像；
[0118] 残差模块包括m个相同类型的残差块；
[0119] 每个残差块包括依次串联的一个快捷连接且卷积核大小为n×n的卷积层和ReLU激活函数层；其中，m和n均为正整数；
[0120] 第一卡通图像帧的编码图像依次经残差模块中m个包含一个快捷连接且卷积核大小为n×n的卷积层和ReLU激活函数层的残差块后得到第一卡通图像帧的残差图像；
[0121] 解码器模块包括m个卷积核大小为n×n的反卷积层和ReLU激活函数层；其中，m和n均为正整数；
[0122] 第一卡通图像帧的残差图像依次经解码器模块中的m个卷积核大小为n×n的反卷积层和ReLU激活函数层得到第二卡通图像帧FLi；
[0123] 判别卷积模块包括m个卷积核大小为n×n的卷积层、批正则化层、LeakyReLU激活函数层、一个卷积核大小为n×n的卷积层和Sigmoid激活函数层；其中，m和n均为正整数。
[0124] 本发明实施例4中的图像增强模块包括时域特征融合模块、边缘提取模块和特征提取及处理模块；其中，时域特征融合模块和边缘提取模块并联；时域特征融合模块对第二
卡通图像帧FLi做时域特征融合操作得到时域特征融合图像帧；边缘提取模块对第二卡通
图像帧FLi做边缘特征提取操作得到边缘图像帧；
[0125] 时域特征融合图像帧和边缘图像帧合并后通过特征提取及处理模块，做特征提取及处理操作得到第三卡通图像帧FSi，并计算第三卡通图像帧FSi与卡通图像帧FHi的均方误
差，作为重建损失
[0126] 更具体的，实施例4中对时域特征融合模块、边缘提取模块和特征提取及融合模块均做了进一步细分：
[0127] 时域特征融合模块包括并联的注意力模块和多尺度特征融合模块；
[0128] 注意力模块包括依次串联的一个卷积核大小为n×n的卷积层、一个池化模块、k个ResNet模块、一个卷积核大小为1×1的卷积层和softmax激活函数层；其中，k和n均为正整
数；实施例4中的k为4，池化模块选择卷积核大小为2×2且步长为2的最大池化；
[0129] 多尺度特征融合模块包括一个卷积核大小为n×n的特征卷积层、第一空洞卷积组模块、第二空洞卷积组模块和第三空洞卷积组模块；第一空洞卷积组模块、第二空洞卷积组
模块和第三空洞卷积组模块并联；其中，n为正整数；
[0130] 第一空洞卷积组模块、第二空洞卷积组模块和第三空洞卷积组模块均包括三个并联的空洞卷积层：第一空洞卷积层、第二空洞卷积层和第三空洞卷积层；
[0131] 第一空洞卷积层是扩张率为1且卷积核大小为n×n的空洞卷积层；第二空洞卷积层是扩张率为3且卷积核大小为n×n的空洞卷积层；第三空洞卷积层是扩张率为5且卷积核
大小为n×n的空洞卷积层；
[0132] 第二卡通图像帧FLi经注意力模块和多尺度特征融合模块后得到时域特征融合图像帧；
[0133] 边缘提取模块为基于VGG16的边缘提取模块；
[0134] 第二卡通图像帧FLi经基于VGG16的边缘提取模块后得到边缘图像帧；
[0135] 特征提取及处理模块包括依次串联的s个感受野模块、一个ResNet模块和一个基于像素混排的上采样模块；其中，s为正整数；本实施例中的s为3。
[0136] 感受野模块包括依次串联的一个并联模块、一个卷积核大小为1×1的卷积层和ReLU激活函数层；
[0137] 并联模块包括相互并联的第一支路、第二支路和第三支路；
[0138] 第一支路包括依次串联的一个卷积核大小为1×1的卷积层、一个卷积核大小为n×n的卷积层和一个扩张率为5且卷积核大小为n×n的空洞卷积层；
[0139] 第二支路包括依次串联的一个卷积核大小为1×1的卷积层和一个空洞卷积组模块；空洞卷积组模块包括并联的一个扩张率为1且卷积核大小为n×n的空洞卷积层和一个
扩张率为3且卷积核大小为n×n的空洞卷积层；
[0140] 第三支路包括依次串联的一个卷积核大小为1×1的卷积层、一个卷积核大小为n×n的卷积层和一个扩张率为1且卷积核大小为n×n的空洞卷积层；
[0141] 时域特征融合图像帧和边缘图像帧经特征提取及处理模块后得到第三卡通图像帧FSi；之后计算第三卡通图像帧FSi与卡通图像帧FHi的均方误差，以该均方误差的值作为
第三卡通图像帧FSi的重建损失
[0142] 在输出前还需经质量评价模块、风格判别模块和色彩评价模块的评价，判断得到的第三卡通图像帧FSi是否符合输出要求。
[0143] 具体的，在本发明实施例4中对质量评价模块、风格判别模块和色彩评价模块的结构做了进一步细分：
[0144] 质量评价模块包括依次串联的w个质量特征提取模块和一个全连接层；其中，w为正整数；本实施例中w为5；其中的质量特征提取模块包括依次串联的卷积模块和池化模块；
卷积模块包括依次串联的两个卷积核大小为n×n的卷积层和ReLU激活函数层；
[0145] 第三卡通图像帧FSi依次经w个质量特征提取模块和一个全连接层后得到质量分数SQi，后根据质量分数SQi计算出第三卡通图像帧FSi的质量损失
[0146]
[0147] 风格判别模块包括依次串联的v个风格特征提取模块和一个卷积核大小为n×n的卷积层；其中，v和n均为正整数；本实施例中v为3；
[0148] 色彩评价模块包括依次串联的v个风格特征提取模块、一个卷积核大小为n×n的卷积层和Sigmoid激活函数层；风格特征提取模块包括依次串联的一个卷积核大小为n×n
的卷积层、批正则化层和ReLU激活函数层；
[0149] 第三卡通图像帧FSi和卡通图像帧FHi经风格判别模块得到第三卡通图像帧FSi的风格损失
[0150]
[0151] 其中，DSFHi表示FHi经风格判别模块得到的输出，DSFSi表示FSi经风格判别模块得到的输出；
[0152] 第三卡通图像帧FSi经色彩评价模块得到第三卡通图像帧FSi的色彩分数SCi，后根据色彩分数SCi计算出第三卡通图像帧FSi的色彩损失
[0153]
[0154] 其中，i表示卡通图像帧的数量，为正整数。
[0155] 基于上述，本发明基于训练样本集中卡通图像帧构建卡通视频重制模型的具体过程为：
[0156] 先选取多个卡通图像帧，之后将每个卡通图像帧输入初步降质模块得到第一卡通图像帧；图像生成模块对第一卡通图像帧进行处理得到第二卡通图像帧；至此，可得到多个
第二卡通图像帧。
[0157] 计算并判断每个第二卡通图像帧的判别损失是否在设定范围内，若是，则认为第二卡通图像帧符合输出要求；若否，则对图像生成模块的参数进行调整，直到第二卡通图像
帧符合输出要求为止。
[0158] 然后将连续三张第二卡通图像帧输入到边缘提取模块中，得到三张边缘图像帧EM1、EM2和EM3；时域特征融合模块中的注意力模块对连续三张第二卡通图像帧中的每两张
第二卡通图像帧的差值图进行处理，得到注意力图；
[0159] 图像增强模块中的多尺度特征融合模块中的特征卷积层对连续三张第二卡通图像帧做特征卷积处理后得到特征图FM2并进行2倍下采样得到特征图FM1，对特征图FM2进行4
倍下采样得到特征图FM0；
[0160] 特征图FM0经第一空洞卷积组模块做2倍上采样后与特征图FM1合并后作为第二空洞卷积组模块的输入，经第二空洞卷积组模块做2倍上采样后与特征图FM2合并，将此时合
并后的图像帧与注意力模块输出的注意力图相乘作为第三空洞卷积组模块的输入，得到融
合特征图FM；
[0161] 最后将融合特征图FM和边缘图像帧EM1、EM2和EM3均作为特征提取及处理模块的输入，经特征提取及处理模块处理得到第三卡通图像帧。之后计算第三卡通图像帧与卡通
图像帧的均方误差，以该均方误差作为第三卡通图像帧的重建损失，并通过质量评价模块
计算第三卡通图像帧的质量损失，通过风格判别模块计算第三卡通图像帧的风格损失，通
过色彩评价模块计算第三卡通图像帧的色彩损失。
[0162] 通过上述过程，可分别计算出每个第三卡通图像帧的重建损失、质量损失、风格损失与色彩损失以及四种损失之和。判断每个第三卡通图像帧的四种损失之和是否在设定范
围内；若否，则对图像增强模块的参数进行调整，若是，则认为得到了卡通视频重制模型，且
第三卡通图像帧符合输出要求。可直接通过卡通视频重制模型对实时输入的卡通视频进行
重制。
[0163] 基于上述，利用本发明实施例1‑4中的卡通视频重制方法或卡通视频重制系统对早期卡通视频进行处理，能够有效解决其中的划痕、噪声、泛白较多，模糊、压缩失真、色彩
退化、边缘不够锐利等问题，有效提升早期卡通视频的观看体验。
[0164] 本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据
本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不
应理解为对本发明的限制。
