基于少样本对比学习网络的隐写分析方法、设备及介质

摘要

本发明公开了一种基于少样本对比学习网络的隐写分析方法、设备及介质，其中方法针对少量的隐写图像数据对，用数据增强的方式生成多组额外可用的训练样本；随机挑选一对载体图像和含秘图像，两者相减获得残差图像，将上述三张图像与以及另一张无关的载体图像组成一组训练数据，并以锚点样本、负样本、正样本、指导样本的形式输入对比学习网络。网络先进行特征提取，分别对锚点样本、正样本、负样本是否为含秘图像进行分类，并计算分类损失；对输入的锚点样本、正样本、负样本的特征向量计算对比损失；对输入的负样本、指导样本的特征向量计算对比指导损失；结合分类损失、对比损失和对比指导损失优化网络；抽取网络结构中的一个分支作为应用网络。

权利要求

1.基于少样本对比学习网络的隐写分析方法，其特征在于，具体包括如下步骤：步骤1：对现有隐写图像数据对进行数据增强操作，生成多组额外的图像数据对，与现有隐写图像数据对一起构成形成增强图像数据集；

步骤2：对增强图像数据集中任一图像数据对{Ic1，Is}，将其中的载体图像Ic1和含秘图像Is相减获得残差图像Ir，Ic1、Is、Ir以及增强图像数据集中任一与Ic1、Is、Ir无关的另一载体图像Ic2组成一组训练数据；

步骤3：将Ic1作为锚点样本Ianchor、将Is作为负样本Inegative、将Ir作为指导样本Iguidance、Ic2作为正样本Ipositivc，作为对比学习网络的输入进行；

步骤4：在对比学习网络中：

首先，基于特征提取网络，对锚点样本、负样本、指导样本以及正样本进行特征提取；

然后，将提取的锚点样本、正样本、负样本的特征向量输入全连接层线性分类器，分别进行是否为含秘图像的分类，并计算分类损失；

再后，根据提取的锚点样本、负样本、正样本的特征向量，计算对比损失；

再后，根据提取的负样本、指导样本的特征向量，计算对比指导损失；

最后，综合对比损失、分类损失和对比指导损失得到总损失，进行对比学习网络的迭代训练；

步骤5；抽取训练完成后对比学习网络中的一个网络分支进行隐写分析；

所述步骤4中分类损失为： 其中yi表

示图像样本i的标签，图像样本i为正类则yi为1，图像样本i为负类则yi为0，pi表示图像样本i预测为正类的概率；

所述步骤4中对比损失为： 其中，fanchor、

fnegative、fpositive分别表示锚点样本、负样本、正样本的特征向量；

T

所述步骤4中对比指导损失为：Lgui＝‑fnegativefguidance，其中，fnegative、fguidance分别表示正样本、指导样本的特征向量；

所述步骤4中总损失为：L＝Lcla+Lcon+Lgui，其中，Lcla、Lcon、Lgui分别表示分类损失、对比损失、对比指导损失。

2.根据权利要求1所述的基于少样本对比学习网络的隐写分析方法，其特征在于，所述步骤1中数据增强操作包括镜像翻转、旋转、图像移位或色彩空间转换。

3.根据权利要求1所述的基于少样本对比学习网络的隐写分析方法，其特征在于，所述步骤2中还包括对残差图像Ir进行增强。

4.根据权利要求1所述的基于少样本对比学习网络的隐写分析方法，其特征在于，所述步骤4中使用预训练的SRNet的前12层作为特征提取网络。

5.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，其特征在于，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1至4中任一所述的隐写分析方法。

6.一种电子设备，其特征在于，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求1至4中任一所述的隐写分析方法的指令。

说明书

基于少样本对比学习网络的隐写分析方法、设备及介质

技术领域

[0001] 本发明属于数字取证领域，具体涉及一种基于少样本对比学习网络的隐写分析方法、设备及介质。

背景技术

[0002] 多媒体技术的普及与应用,一方面给社会带来了不少便利,另一方面也带来了许多风险,如信息泄露、恶意篡改、隐私窃取等。人们越来越注重多媒体传播过程中的信息安全和隐私保护问题。现有的通信安全保障主要分为加密和信息隐藏:加密主要对秘密信息本身进行操作,但经过特殊处理后的明文更加容易受到第三方的怀疑；而信息隐藏则隐藏秘密数据的存在性,使秘密数据在不引起第三方的怀疑下进行隐蔽通信。因此,信息隐藏这种具有伪装特性的通信安全保障受到了越来越多的关注。隐写术是一种将秘密信息不知不觉地隐藏在多媒体载体,使信息变得不可见的技术。随着信息隐藏技术的不断推广,隐写术逐渐成为一把双刃剑,在其为人们的通信安全提供保障的同时,不法分子利用其获取个人利益或应用于恐怖袭击。作为隐写术的一个对手，隐写分析的目的是确定隐藏在多媒体载体中的秘密信息是否存在。

[0003] 在研究的初期，研究者们往往使用传统的基于机器学习的方法进行图像隐写分析。一般说来，一般来说，基于传统的基于机器学习的方法手动提取图像统计特征，并使用训练好的二进制分类器来检测一个给定的图像是否是含秘图像。尽管传统的基于机器学习的隐写分析对目标隐写算法是有用的，但设计有效的特征是一项困难的任务，需要很强的隐写学知识。

[0004] 最近几年，随着深度学习的发展，神经网络在计算机视觉领域受到了广泛的关注。鉴于这一事实，研究者们开始使用深度神经网络进行隐写分析，通过联合优化图像特征以及分类器来提高检测精度。在2015年研究者提出了一种专用的卷积神经网络(Gaussian‑Neuron CNN)，以自动学习有效的特征用于隐写分析任务。随后，XuNet网络被提出，它在网络的前部采用绝对值层和TanH激活。这是第一个与基于机器学习模型相比获得有竞争力的性能的模型。2019年被提出的SRNet是一个完整的端到端模型，不包括固定的预处理层。在训练过程中，该网络可以自动学习最佳的过滤器来提取隐写特征。此网络在当时获得了最佳的性能。以上基于深度学习的隐写分析网络都需要在训练中提供大量的隐写图像对数据。深度学习网络依靠大量输入数据的迭代优化，最终取得令人满意的结果。

[0005] 基于深度学习的隐写分析研究虽然已经取得了很大的成就，但现有的基于深度学习的隐写图像检测方法主要有以下几个技术难题：

[0006] 1、现有的基于深度学习的隐写分析方法，往往需要在训练中提供大量的隐写图像对数据，而现实情况中，对于未知的隐写算法和隐写图片，一般只能得到少量样本以供研究训练。

[0007] 2、现有的基于深度学习的隐写分析方法，如果直接只是用少量样本进行训练，将会使网络陷入过拟合，导致网络在训练数据集上有良好的表现，但在测试数据集或实际使用中错误率飙升。

发明内容

[0008] 发明目的：为了解决上述现有技术中存在的问题，本发明提供了一种基于少样本对比学习网络的隐写分析方法。

[0009] 技术方案：本发明提供了一种基于少样本对比学习网络的隐写分析方法，具体包括如下步骤：

[0010] 步骤1：对现有隐写图像数据对进行数据增强操作，生成多组额外的图像数据对，与现有隐写图像数据对一起构成形成增强图像数据集；其中，现有隐写图像数据对及额外的图像数据对均由一张载体图像和对应的含秘图像组成；

[0011] 步骤2：随机挑选一对载体图像Ic1和含秘图像Is，将此对图像相减获得残差图像Ir(并对残差图像做增强，使其特征更明显)，将上述三张图像与另一张无关的载体图像Ic2组成一组训练数据{Ic1，Is，Ic2，Ir}；

[0012] 步骤3：将载体图像Ic1作为锚点样本Ianchor、将含秘图像Is作为负样本Inegative、将进行图像增强的残差图像Ir作为指导样本Iguidance、另一张无关的载体图像Ic2作为正样本Ipositive的形式输入对比学习网络；

[0013] 步骤4：在对比学习网络中：

[0014] 首先，基于特征提取网络，对锚点样本、负样本、指导样本以及正样本进行特征提取；

[0015] 然后，根据提取的特征向量，分别对锚点样本、正样本、负样本是否为含秘图像进行分类，并根据锚点样本、正样本、负样本的已知标签计算分类损失；

[0016] 再后，根据锚点样本、负样本、正样本的特征向量，计算对比损失；

[0017] 再后，根据负样本、指导样本的特征向量，计算对比指导损失；

[0018] 最后，综合对比损失、分类损失和对比指导损失得到总损失，进行对比学习网络的迭代训练；

[0019] 步骤5；抽取训练完成后对比学习网络中的一个网络分支进行隐写分析。

[0020] 进一步地，所述步骤1中数据增强操作包括镜像翻转、旋转、图像移位或色彩空间转换等。

[0021] 进一步地，所述步骤3中Ic2为除(Ic1，Is)及其数据增强生成的额外的图像数据对外的任一载体图像。

[0022] 进一步地，所述步骤4中使用预训练的SRNet的前12层作为特征提取网络。

[0023] 进一步地，所述步骤4中分类损失为： 其中yi表示图像样本的标签，图像样本i为正类则yi为1，图像样本i为负类则yi为0，pi表示图像样本i预测为正类的概率。

[0024] 进一步地，所述步骤4中对比损失为： 其中，fanch、fnegative、fpositive分别表示锚点样本、负样本、正样本的特征向量。

[0025] 进一步地，所述步骤4中对比指导损失为：Lgui＝‑fnegativeTfguidance；其中，fguidance表示指导样本的特征向量。

[0026] 进一步地，所述步骤4中总损失为：L＝Lcla+Lcon+Lgui。

[0027] 本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如上所述的隐写分析方法。

[0028] 本发明还提供一种电子设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如上所述隐写分析方法的指令。

[0029] 有益效果：

[0030] (1)本发明采用数据增强方式对获取到的有限的隐写图像对进行预处理，增加了可供网络学习的数据量，同时有助于网络泛化性的提高，帮助网络更准确的学习到隐写信号的底层特征；

[0031] (2)本发明采用对比学习的方式，对锚点样本、正样本和负样本所提取的高维特征进行对比损失计算，使网络通过特征之间的距离关系区分隐写信号和正常图片信号，最大限度的区分载体图像和含秘图像之间的区别；

[0032] (3)本发明针对隐写分析任务改进了对比学习的一般方式，通过一对载体图像和含秘图像相减生成残差图像，将此残差图像作为额外的可用指导样本输入网络，将负样本和指导样本所提取的高维特征进行对比指导损失计算，指导网络提取含秘图像的特征靠近隐写信号特征所在的空间；

[0033] (4)本发明组合了分类损失、对比损失与对比指导损失，分类损失引导网络学习分类图像是否隐写，同时采用对比损失和对比指导损失从另一个不同的方向引导网络的优化，防止网络在少样本的情况下陷入过拟合。

附图说明

[0034] 图1是本发明的框架示意图；

[0035] 图2是本发明实施例的示意图。

具体实施方式

[0036] 构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

[0037] 如图1所示，本实施例提供一种基于少样本对比学习网络的隐写分析方法：

[0038] 在图像数据增强阶段，对原始图像数据集中的图像，进行镜像翻转、旋转、图像移位、色彩空间转换等数据增强操作生成多组额外可用的训练样本；

[0039] 随机挑选一对载体图像和含秘图像，将此对图像相减获得残差图像，并对残差图像做50倍增强，将上述三张图像与另一张无关的载体图像组成训练数据；

[0040] 将载体图像、含秘图像、另一张无关的载体图像和残差图像分别作为锚点样本、正样本、负样本和指导样本输入对比学习网络。

[0041] 在网络学习阶段，首先对所有输入的图像分别进行特征提取，提取到的特征一方面用于对输入图像是否为含秘图像的分类，分类结果与图像的已知标签计算分类损失。另一方面用于将输入的锚点样本、负样本、正样本图像之间的特征向量计算对比损失以及将负样本与指导样本之间的特征向量计算对比指导损失。

[0042] 在网络训练阶段，本发明综合对比损失、分类损失和对比指导损失优化网络，分类损失引导网络学习分类图像是否隐写，同时采用对比损失和对比指导损失从另外两个不同的方向引导网络的优化。对比损失引导网络使得锚点样本提取到的特征与正样本提取到的特征在距离上更相近，而与负样本提取到的特征更远离。对比指导损失引导网络提取含秘图像的特征靠近隐写信号特征所在的空间，防止网络在少样本的情况下陷入过拟合。

[0043] 在一个实施例中，如图2所示，一种基于少样本对比学习网络的隐写分析方法的具体的步骤如下所示：

[0044] 步骤1：将已有可用的载体图像和含秘图像数据对进行镜像翻转、旋转、图像移位、色彩空间转换等数据增强操作，生成多组额外可用的训练样本；

[0045] 步骤2：随机挑选一对载体图像Ic1和含秘图像Is，将此对图像相减获得残差图像Ir，并对其增强50倍，将上述三张图像与另一张无关的载体图像Ic2组成一组训练数据；

[0046] 步骤3：将载体图像Ic1作为锚点样本Ianchor、将含秘图像Is作为负样本Inegative、另一张无关的载体图像Ic2作为正样本Ipositive、残差图像Ir作为指导样本Iguidance的形式输入对比学习网络；

[0047] 步骤4：网络首先对所有输入的图像通过特征提取网络进行特征提取，特征提取网络使用预训练的SRNet的前12层作为特征提取网络进行残差噪声提取和特征向量维度压缩；

[0048] 步骤5：网络最后的全连接层线性分类器分别对锚点样本、正样本、负样本是否为含秘图像进行分类，并根据图像的已知标签计算分类损失：其中yi表示图像样本的标签，正类为1，负类为0，pi表示图像样本预测
为正类的概率；

[0049] 步骤6：根据输入的锚点样本、负样本、正样本图像的特征向量计算对比损失：

[0050] 步骤7：网络对输入的负样本、指导样本图像的特征向量计算对比指导损失：LguiT＝‑fnegativefguidance；

[0051] 步骤8：综合对比损失、分类损失和对比指导损失优化网络，进行若干轮的训练后网络损失收敛；

[0052] 步骤9：抽取对比学习网络结构中的一个网络分支作为后续实际应用网络。

[0053] 基于相同的技术方案，本发明还公开了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述隐写分析方法。

[0054] 基于相同的技术方案，本发明还公开了一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述隐写分析方法的指令。

[0055] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。

[0056] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0057] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0058] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0059] 以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

[0060] 上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。