一种对抗性视频样本生成方法、终端设备及介质转让专利

申请号 : CN202310146219.1

文献号 : CN115878848B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 湛誉姚鑫李恩浪王晨阳唐枫枭赵明

申请人 : 中南大学

摘要 :

本申请适用于视频检索安全技术领域,提供了一种对抗性视频样本生成方法、终端设备及介质,通过对查询视频进行切块,得到多个查询视频块;根据初始框架掩码,确定多个初始扰动视频块;根据初始像素扰动参数和初始扰动强度,确定多个初始扰动像素;对多个初始扰动像素添加扰动,得到初始扰动视频;计算初始扰动视频与多个目标视频的初始汉明距离总和;构建汉明距离优化函数,对初始框架掩码、初始像素扰动参数和初始扰动强度进行更新,得到中间扰动视频;当满足生成终止条件时,将中间扰动视频作为对抗性视频样本,否则将中间扰动视频作为新的初始扰动视频,返回计算初始汉明距离的步骤。本申请能降低对抗性视频样本的扰动率,提高其隐蔽性。

权利要求 :

1.一种对抗性视频样本生成方法,其特征在于,包括:步骤1,对查询视频进行切块处理,得到多个查询视频块;

步骤2,根据预先设置的初始框架掩码,从所述多个查询视频块中确定多个初始扰动视频块;

步骤3,分别针对每个初始扰动视频块,根据预先设置的初始像素扰动参数和预先设置的初始扰动强度,确定该初始扰动视频块中的多个初始扰动像素;

步骤4,对每个初始扰动视频块中的多个初始扰动像素添加扰动,得到初始扰动视频;

步骤5,计算所述初始扰动视频与目标视频集合中多个目标视频之间的初始汉明距离总和;所述多个目标视频为视频检索系统对所述初始扰动视频进行检索得到的检索结果;

步骤6,根据所述初始扰动视频和所述初始汉明距离总和构建汉明距离优化函数,并利用所述汉明距离优化函数对所述初始框架掩码、所述初始像素扰动参数和所述初始扰动强度进行更新,得到中间扰动视频;

步骤7,当中间扰动视频的生成次数满足预设生成终止条件时,则将所述中间扰动视频作为所述对抗性视频样本;否则将所述中间扰动视频作为步骤5中的初始扰动视频,返回执行步骤5。

2.根据权利要求1所述的生成方法,其特征在于,所述步骤1包括:利用滑动窗口 对所述查询视频 进行切块处理,得到查询视频块集合 ,所述查询视频块集合包括多个查询视频块;其中,所述查询视频 被分成 个查询视频块,, ,表示所述滑动窗口 的宽, 表示所述滑动窗口 的长, 表示所述滑动窗口高, 表示所述滑动窗口 的通道数, 表示实数域, 表示第 个查询视频块。

3.根据权利要求2所述的生成方法,其特征在于,所述步骤2包括:通过计算公式

得到第i个查询视频块的扰动判断参数 , ;其中, 表示对 计算范数, 表示计算第i个查询视频块的第j个像素值的平方, 表示第i个查询视频块的初始框架掩码;所述扰动判断参数 用于判断第i个查询视频块是否为一扰动视频块;

若 ,则将第i个查询视频块 确定为一初始扰动视频块 ;其中,,表示所有初始扰动视频块的总数量。

4.根据权利要求3所述的生成方法,其特征在于,所述步骤3包括:针对初始扰动视频块 ,通过计算公式

得到初始扰动像素集合 ,所述初始扰动像素集合 包括多个初始扰动像素;其中, , 表示第 个初始扰动像素, 表示该初始扰动视频块中初始扰动像素的总数量, , 表示所述初始像素扰动参数, , 表示所述初始扰动强度, 表示视频帧的帧数, 表示视频帧的高,表示视频帧的宽。

5.根据权利要求4所述的生成方法,其特征在于,所述目标视频集合, 表示第 个目标视频, 表示目标视频总数量,;

所述步骤5包括:

步骤51,将初始扰动视频 输入视频哈希检索模型 ,得到初始扰动视频哈希码;

步骤52,分别将所有目标视频输入所述视频哈希检索模型 ,得到目标视频哈希码集合 ,所述目标视频哈希码集合 包括多个目标视频哈希码;其中,, 表示第 个目标视频哈希码;

步骤53,通过计算公式

得到所述初始扰动视频与目标视频集合中多个目标视频之间的初始汉明距离总和。

6.根据权利要求5所述的生成方法,其特征在于,步骤6中所述汉明距离优化函数的表达式如下:其中, 表示权衡参数,用于平衡两个计算式, 表示正则化项, 和 均为常数, 表示平衡常数, 表示 的过程, 表示对 计算 范数。

7.根据权利要求6所述的生成方法,其特征在于,所述步骤6包括:步骤61,通过计算公式

得到中间扰动强度 ;其中, 表示更新步长,表示微分符号, 表示期望优化的目标损失函数, 表示对 计算 范数;

步骤62,通过计算公式

得到中间像素扰动参数 ;其中, 表示更新步长, 表示期望优化的目标损失函数,表示惩罚参数1, 表示惩罚参数2, 表示惩罚参数3;

步骤63,通过计算公式

; ;

得到中间框架掩码 ;其中, 表示 的第 行, 表示指标函数;

步骤64,通过计算公式 得到所述中间扰动视频 。

8.根据权利要求7所述的生成方法,其特征在于,在所述步骤7之前,所述生成方法还包括:统计所述中间扰动视频的生成次数;

若所述中间扰动视频的生成次数达到预设的生成次数,则确定所述中间扰动视频的生成次数满足预设生成终止条件;否则,确定所述中间扰动视频的生成次数不满足预设生成终止条件。

9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的对抗性视频样本生成方法。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的对抗性视频样本生成方法。

说明书 :

一种对抗性视频样本生成方法、终端设备及介质

技术领域

[0001] 本申请属于视频检索安全技术领域,尤其涉及一种对抗性视频样本生成方法、终端设备及介质。

背景技术

[0002] 随着抖音、优酷、Youtube(优兔,一个视频网站)等以视频为内容的社交网络应用程序的兴起,涵盖娱乐、广告和通信的热门应用每天都在产生大量的视频数据。因此,如何从大型数据库中有效地搜索和检索感兴趣的视频成为一项重要而紧迫的任务。
[0003] 基于深度神经网络的视频检索系统已广泛用于视频检索。该系统在收到用户查询视频后,将其转换为由时空特征组成的特征空间,并找寻与其特征空间接近的视频,并将其作为检索结果输出。当前,流行的视频检索系统包括反向搜索、视频对比、人脸视频检索等。然而,这些系统已被证明易受对抗性示例 (AE) 攻击,其攻击目标是巧妙地扰乱原始视频,以便生成的视频能够欺骗受害者系统/模型以输出错误的检索结果而不被肉眼察觉。如果输出检索结果为任意非正确目标标签视频,则将其对抗性攻击称为“非目标攻击”,如果输出检索结果是攻击者意愿的特定目标标签视频,则称为“目标攻击”。从长远来看,错误的检索结果会严重损害视频检索系统的性能。如果谷歌和必应等搜索引擎不断返回与用户查询无关的视频,这将大大阻碍用户使用和信任这些服务。
[0004] 现有的对抗性视频样本生成方法为原始视频的每帧、每个像素点都添加扰动(称之为“密集”攻击),导致对抗性视频样本的生成效率低,扰动率高,隐蔽性差。

发明内容

[0005] 本申请实施例提供了一种对抗性视频样本生成方法、终端设备及介质,可以解决现有的对抗性视频样本生成方法给查询视频的每帧、每个像素点都添加扰动,导致对抗性视频样本的生成效率低,扰动率高,隐蔽性差问题。
[0006] 第一方面,本申请实施例提供了一种对抗性视频样本生成方法,包括:
[0007] 步骤1,对查询视频进行切块处理,得到多个查询视频块;
[0008] 步骤2,根据预先设置的初始框架掩码,从多个查询视频块中确定多个初始扰动视频块;
[0009] 步骤3,分别针对每个初始扰动视频块,根据预先设置的初始像素扰动参数和预先设置的初始扰动强度,确定该初始扰动视频块中的多个初始扰动像素;
[0010] 步骤4,对每个初始扰动视频块的多个初始扰动像素添加扰动,得到初始扰动视频;
[0011] 步骤5,计算初始扰动视频与目标视频集合中多个目标视频之间的初始汉明距离总和;多个目标视频为视频检索系统对初始扰动视频进行检索得到的检索结果;
[0012] 步骤6,根据初始扰动视频和初始汉明距离总和构建汉明距离优化函数,并利用汉明距离优化函数对初始框架掩码、初始像素扰动参数和初始扰动强度进行更新,得到中间扰动视频;
[0013] 步骤7,当中间扰动视频的生成次数满足预设生成终止条件时,则将中间扰动视频作为对抗性视频样本;否则将中间扰动视频作为步骤5中的初始扰动视频,返回执行步骤5。
[0014] 可选的,步骤1包括:
[0015] 利用滑动窗口 对所述查询视频 进行切块处理,得到查询视频块集合 ,所述查询视频块集合包括多个查询视频块;其中,所述查询视频 被分成 个查询视频块,, ,表示所述滑动窗口 的宽, 表示所述滑动窗口 的长, 表示所述滑动窗口
高, 表示所述滑动窗口 的通道数, 表示实数域, 表示第 个查询视频块。
[0016] 可选的,步骤2包括:
[0017] 通过计算公式
[0018]
[0019] 得到第i个查询视频块的扰动判断参数 , ;其中, 表示对 计算 范数, 表示计算第i个查询视频块的第j个像素值的平方, 表示第i个查询视频块的初始框架掩码;扰动判断参数 用于判断第i个查询视频块是否为一扰动视频块;
[0020] 若 ,则将第i个查询视频块 确定为一初始扰动视频块 ;其中,,表示所有初始扰动视频块的总数量。
[0021] 可选的,步骤3包括:
[0022] 针对初始扰动视频块 ,通过计算公式
[0023]
[0024] 得到初始扰动像素集合 ,所述初始扰动像素集合 包括多个初始扰动像素;其中, , 表示第 个初始扰动像素, 表示该
初始扰动视频块中初始扰动像素的总数量, , 表示所述初始像素扰
动参数, , 表示所述初始扰动强度, 表示视频帧的帧数, 表示视
频帧的高,表示视频帧的宽。
[0025] 可选的,目标视频集合 , 表示第 个目标视频,表示目标视频总数量, ;
[0026] 可选的,步骤5包括:
[0027] 步骤51,将初始扰动视频 输入视频哈希检索模型 ,得到初始扰动视频哈希码 ;
[0028] 步骤52,分别将所有目标视频输入所述视频哈希检索模型 ,得到目标视频哈希码集合 ,所述目标视频哈希码集合 包括多个目标视频哈希码;其中,, 表示第 个目标视频哈希
码;
[0029] 步骤53,通过计算公式
[0030]
[0031] 得到所述初始扰动视频与目标视频集合中多个目标视频之间的初始汉明距离总和 。
[0032] 可选的,汉明距离优化函数的表达式如下:
[0033]
[0034] 其中, 表示权衡参数,用于平衡两个计算式, 表示正则化项, 和 均为常数, 表示平衡常数, 表示 的过程, 表示对 计算 范数。
[0035] 可选的,步骤6包括:
[0036] 步骤61,通过计算公式
[0037]
[0038] 得到中间扰动强度 ;其中, 表示更新步长,表示微分符号, 表示期望优化的目标损失函数, 表示对 计算 范数;
[0039] 步骤62,通过计算公式
[0040]
[0041]
[0042]
[0043]
[0044] 得到中间像素扰动参数 ;其中, 表示更新步长, 表示期望优化的目标损失函数, 表示惩罚参数1, 表示惩罚参数2, 表示惩罚参数3;
[0045] 步骤63,通过计算公式
[0046] ;; ;
[0047] 得到中间框架掩码 ;其中, 表示 的第 行, 表示指标函数;
[0048] 步骤64,通过计算公式 得到所述中间扰动视频 。
[0049] 可选的,在步骤7之前,本申请提供的对抗性视频样本生成方法还包括:
[0050] 统计中间扰动视频的生成次数;
[0051] 若中间扰动视频的生成次数达到预设的生成次数,则确定中间扰动视频的生成次数满足预设生成终止条件;否则,确定中间扰动视频的生成次数不满足预设生成终止条件。
[0052] 第二方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述的对抗性视频样本生成方法。
[0053] 第三方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述的对抗性视频样本生成方法。
[0054] 本申请的上述方案有如下的有益效果:
[0055] 在本申请的一些实施例中,通过根据初始框架掩码,从查询视频块集合中确定初始扰动视频块集合,再针对每个初始扰动视频块,根据初始像素扰动参数和初始扰动强度,确定多个初始扰动像素,可以减小添加扰动像素的数量,提升隐蔽性,降低扰动率;通过构建的汉明距离优化函数对初始框架掩码、初始像素扰动参数和初始扰动强度进行更新,可以缩小扰动视频和目标视频集之间的汉明距离,提高对抗性视频样本的生成效率。
[0056] 本申请的其它有益效果将在随后的具体实施方式部分予以详细说明。

附图说明

[0057] 为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0058] 图1为本申请一实施例提供的对抗性视频样本生成方法的流程图;
[0059] 图2为本申请一实施例提供的对抗性视频样本生成装置的结构示意图;
[0060] 图3为本申请一实施例提供的终端设备的结构示意图。

具体实施方式

[0061] 以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
[0062] 应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0063] 还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
[0064] 如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0065] 另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
[0066] 在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
[0067] 针对现有的对抗性视频样本生成方法给查询视频的每帧、每个像素点都添加扰动,导致对抗性视频样本的生成效率低,扰动率高,隐蔽性差问题,本申请通过根据初始框架掩码,从查询视频块集合中确定初始扰动视频块集合,再针对每个初始扰动视频块,根据初始像素扰动参数和初始扰动强度,确定多个初始扰动像素,可以减小添加扰动像素的数量,提升隐蔽性,降低扰动率;通过构建的汉明距离优化函数对初始框架掩码、初始像素扰动参数和初始扰动强度进行更新,可以缩小扰动视频和目标视频集之间的汉明距离,提高对抗性视频样本的生成效率。
[0068] 如图1所示,本申请提供的对抗性视频样本生成方法主要包括以下步骤:
[0069] 步骤1,对查询视频进行切块处理,得到多个查询视频块。
[0070] 在本申请的实施例中,上述查询视频首先由用户发送给视频检索系统,视频检索系统会根据查询视频的时空特征,搜寻与其时空特征相近的视频,并作为结果反馈推送给用户。
[0071] 具体的,利用滑动窗口 对所述查询视频 进行切块处理,得到查询视频块集合,查询视频块集合包括多个查询视频块。
[0072] 其中,查询视频 被分成 个查询视频块, ,, 表示所述滑动窗口
的宽, 表示所述滑动窗口 的长, 表示所述滑动窗口 高, 表示所述滑动窗口的通道数, 表示实数域, 表示第 个查询视频块。
[0073] 对查询视频进行切块处理,便于后续对其中的查询视频块添加扰动,以生成对抗性视频样本。
[0074] 步骤2,根据预先设置的初始框架掩码,从多个查询视频块中确定多个初始扰动视频块。
[0075] 在本申请的一些实施例中,初始框架掩码的值被设置为一与查询视频形状一致的0的矩阵。
[0076] 通过初始框架掩码能够从步骤1得到的多个查询视频块中确定应该被扰动的视频块,即初始扰动视频块。
[0077] 步骤3,分别针对每个初始扰动视频块,根据预先设置的初始像素扰动参数和预先设置的初始扰动强度,确定该初始扰动视频块中的多个初始扰动像素。
[0078] 上述初始像素扰动参数 , 表示该初始扰动视频块第 帧中的像素 应该被扰动,初始扰动强度表示应该添加的扰动的强度。
[0079] 具体的,针对初始扰动视频块 ,通过计算公式
[0080]
[0081] 得到初始扰动像素集合 ,所述初始扰动像素集合 包括多个初始扰动像素;其中, , 表示第 个初始扰动像素, 表示
该初始扰动视频块中初始扰动像素的总数量, , 表示所述初始像素
扰动参数, , 表示所述初始扰动强度, 表示视频帧的帧数, 表示
视频帧的高,表示视频帧的宽。
[0082] 步骤4,对每个初始扰动视频块的多个初始扰动像素添加扰动,得到初始扰动视频。
[0083] 给视频的像素添加扰动为公知常识,在此不再对其进行赘述。
[0084] 步骤5,计算初始扰动视频与目标视频集合中多个目标视频之间的初始汉明距离总和。
[0085] 上述目标视频集合包括视频检索系统对初始扰动视频进行检索后得到的多个目标视频。
[0086] 在此计算初始扰动视频与目标视频集合中各目标视频之间的初始汉明距离,便于后续提高对抗性视频与目标视频的相似度(缩小二者的汉明距离)。
[0087] 步骤6,根据初始扰动视频和初始汉明距离总和构建汉明距离优化函数,并利用汉明距离优化函数对初始框架掩码、初始像素扰动参数和初始扰动强度进行更新,得到中间扰动视频。
[0088] 上述汉明距离优化函数的表达式如下:
[0089]
[0090] 其中, 表示权衡参数,用于平衡两个计算式, 表示正则化项, 和 均为常数, 表示平衡常数, 表示 的过程, 表示对 计算 范数。
[0091] 通过构建该汉明距离优化函数,能够便于后续对框架掩码 、像素扰动参数 以及扰动强度 进行更新,并且能够不断缩小对抗性视频与目标视频的汉明距离。
[0092] 步骤7,当中间扰动视频的生成次数满足预设生成终止条件时,则将中间扰动视频作为对抗性视频样本;否则将中间扰动视频作为步骤5中的初始扰动视频,返回执行步骤5。
[0093] 需要说明的是,在执行步骤7之前,本申请提供的对抗性视频生成方法还包括:
[0094] 步骤a,统计中间扰动视频的生成次数。
[0095] 步骤b,若中间扰动视频的生成次数达到预设的生成次数,则确定中间扰动视频的生成次数满足预设生成终止条件;否则,确定中间扰动视频的生成次数不满足预设生成终止条件。
[0096] 下面对步骤2(根据预先设置的初始框架掩码,从多个查询视频块中确定多个初始扰动视频块)的具体过程做示例性说明。
[0097] 步骤21,通过计算公式通过计算公式
[0098]
[0099]
[0100] 得到第i个查询视频块的扰动判断参数 , ;其中, 表示对计算 范数, 表示计算第i个查询视频块的第j个像素值的平方, 表示第i个查询视频块的初始框架掩码。
[0101] 上述扰动判断参数 用于判断第i个查询视频块是否为一初始扰动视频块。
[0102] 步骤22,若 ,则将第i个查询视频块 确定为一初始扰动视频块 ;其中,,表示所有初始扰动视频块的总数量。
[0103] 若 ,表示该查询视频块确定不是一初始扰动视频块。
[0104] 下面对步骤5(计算初始扰动视频与目标视频集合中多个目标视频之间的初始汉明距离总和)的具体过程做示例性说明。
[0105] 步骤51,将初始扰动视频 输入视频哈希检索模型 ,得到初始扰动视频哈希码 ;
[0106] 步骤52,分别将所有目标视频输入所述视频哈希检索模型 ,得到目标视频哈希码集合 ,所述目标视频哈希码集合 包括多个目标视频哈希码;其中,, 表示第 个目标视频哈希
码;
[0107] 步骤53,通过计算公式
[0108]
[0109] 得到所述初始扰动视频与目标视频集合中多个目标视频之间的初始汉明距离总和 。
[0110] 下面对步骤6(根据初始扰动视频和初始汉明距离构建汉明距离优化函数,并利用汉明距离优化函数对初始框架掩码、初始像素扰动参数和初始扰动强度进行更新,得到中间扰动视频)的具体过程做示例性说明。
[0111] 步骤61,通过计算公式
[0112]
[0113] 得到中间扰动强度 ;其中, 表示更新步长,表示微分符号, 表示期望优化的目标损失函数, 表示对 计算 范数。
[0114] 下面对步骤61的推导过程做示例性说明:
[0115] 步骤61.1,根据构建的汉明距离优化函数,对于给定变量 , ,求解 的子问题可表示为:
[0116]
[0117] 步骤61.1,通过梯度下降算法计算上述公式:
[0118]
[0119] 步骤62,通过计算公式
[0120]
[0121]
[0122]
[0123]
[0124] 得到中间像素扰动参数 ;其中, 表示更新步长, 表示期望优化的目标损失函数, 表示惩罚参数1, 表示惩罚参数2, 表示惩罚参数3。
[0125] 下面对步骤62的推导过程做示例性说明:
[0126] 步骤62.1,根据构建的汉明距离优化函数,对于给定变量 , ,求解 的子问题可表示为:
[0127]
[0128]
[0129] 步骤62.2,由于 和 分别是连续变量和二进制的掩码变量,因此可以用与 来替换,得到以下新的子问题:
[0130] ;;步骤62.3,将  
表示为拉格朗日增强函数:
[0131];其中
,  是对偶变量, 是惩罚参数,
表示关于 的指示函数, ,
表示关于 的指示函数, 表示指示函数, 表示实数域。
[0132] 指标函数 与 如同 ,若 为真时当 为假时 。
[0133] 步骤62.4,给定 , , , ,并行更新 , 如下:
[0134]
[0135] 其中 ,其中,表示是关于 的投影约束函数,;  ,其中,表示是关于 球体的投
影约束函数, 。
[0136] 步骤62.5,给出 , , , , ,可通过以下梯度下降法的方式更新 :
[0137]
[0138] 步骤63,通过计算公式;
; ;
[0139] 得到中间框架掩码 ;其中, 表示 的第 行, 表示指标函数。
[0140] 下面对步骤63的推导过程做示例性说明:
[0141] 步骤63.1,根据构建的汉明距离优化函数,对于给定变量 ,,利用连续变量来代替 ,求解 的子问题可表示为:
[0142] ;;其中, 表示对A计算 范数,
表示对A计算 范数的平方和。
[0143] 步骤63.2,基于梯度下降解决上述优化问题,得到 ,则 被更新为:
[0144] ;
[0145] 其 中 , 表 示 的 第 行 , 表 示 指 标 函 数 ,使 得,其中 意味着在相同的扰动
幅度下,第 个掩码下的视频块比第 个掩码下的视频块更敏感,并且应该以更高的概率被扰动。
[0146] 步骤64,通过计算公式 得到所述中间扰动视频 。
[0147] 从上述各个步骤可见,本申请提供的对抗性视频样本生成方法,通过根据初始框架掩码,从查询视频块集合中确定初始扰动视频块集合,再针对每个初始扰动视频块,根据初始像素扰动参数和初始扰动强度,确定多个初始扰动像素,可以减小添加扰动像素的数量,提升隐蔽性,降低扰动率;通过构建的汉明距离优化函数对初始框架掩码、初始像素扰动参数和初始扰动强度进行更新,可以缩小扰动视频和目标视频集之间的汉明距离,提高对抗性视频样本的生成效率。
[0148] 如图2所示,本申请的一些实施例提供了一种对抗性视频样本生成装置,该对抗性视频样本生成装置200包括:
[0149] 切块模块201,用于对查询视频进行切块处理,得到多个查询视频块。
[0150] 初始扰动确定模块202,用于根据预先设置的初始框架掩码,从多个查询视频块中确定多个初始扰动视频块。
[0151] 初始像素确定模块203,用于分别针对每个初始扰动视频块,根据预先设置的初始像素扰动参数和预先设置的初始扰动强度,确定该初始扰动视频块中的多个初始扰动像素。
[0152] 扰动模块204,用于对每个初始扰动视频块中的多个初始扰动像素添加扰动,得到初始扰动视频。
[0153] 汉明距离计算模块205,用于计算初始扰动视频与目标视频集合中多个目标视频之间的初始汉明距离总和;多个目标视频为视频检索系统对初始扰动视频进行检索得到的检索结果;
[0154] 汉明距离优化模块206,用于根据初始扰动视频和初始汉明距离总和构建汉明距离优化函数,并利用汉明距离优化函数对初始框架掩码、初始像素扰动参数和初始扰动强度进行更新,得到中间扰动视频。
[0155] 对抗性视频样本生成模块207,用于当中间扰动视频的生成次数满足预设中间扰动视频生成终止条件时,将中间扰动视频作为对抗性视频样本,否则将中间扰动视频作为新的初始扰动视频,返回计算初始汉明距离的步骤。
[0156] 如图3所示,本申请的实施例提供了一种终端设备,如图3所示,该实施例的终端设备D10包括:至少一个处理器D100(图3中仅示出一个处理器)、存储器D101以及存储在所述存储器D101中并可在所述至少一个处理器D100上运行的计算机程序D102,所述处理器D100执行所述计算机程序D102时实现上述任意各个方法实施例中的步骤。
[0157] 具体的,所述处理器D100执行所述计算机程序D102时,通过对查询视频进行切块,得到多个查询视频块;根据初始框架掩码,确定多个初始扰动视频块;根据初始像素扰动参数和初始扰动强度,确定多个初始扰动像素;对多个初始扰动像素添加扰动,得到初始扰动视频;计算初始扰动视频与多个目标视频的初始汉明距离总和;构建汉明距离优化函数,对初始框架掩码、初始像素扰动参数和初始扰动强度进行更新,得到中间扰动视频;当满足生成终止条件时,将中间扰动视频作为对抗性视频样本,否则将中间扰动视频作为新的初始扰动视频,返回计算初始汉明距离的步骤。本申请能降低对抗性视频样本的扰动率,提高其隐蔽性。
[0158] 所称处理器D100可以是中央处理单元(CPU,Central Processing Unit),该处理器D100还可以是其他通用处理器、数字信号处理器 (DSP,Digital Signal Processor)、专用集成电路 (ASIC,Application Specific Integrated Circuit)、现成可编程门阵列 (FPGA,Field‑Programmable Gate Array) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0159] 所述存储器D101在一些实施例中可以是所述终端设备D10的内部存储单元,例如终端设备D10的硬盘或内存。所述存储器D101在另一些实施例中也可以是所述终端设备D10的外部存储设备,例如所述终端设备D10上配备的插接式硬盘,智能存储卡(SMC,Smart Media Card ),安全数字(SD,Secure Digital)卡,闪存卡(Flash Card)等。进一步地,所述存储器D101还可以既包括所述终端设备D10的内部存储单元也包括外部存储设备。所述存储器D101用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器D101还可以用于暂时地存储已经输出或者将要输出的数据。
[0160] 需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
[0161] 所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0162] 本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
[0163] 本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
[0164] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到对抗性视频样本生成别装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read‑Only Memory)、随机存取存储器(RAM,Random Access Memory)以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
[0165] 在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
[0166] 本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
[0167] 在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
[0168] 本申请提供的对抗性视频样本生成方法具有以下优点:
[0169] 1,使用了基于块稀疏的视频检索系统的对抗性攻击,重点关注对抗性攻击的隐蔽性和有效性。
[0170] 2,本申请的攻击方案是白盒设置下的目标攻击,因此在现实世界场景中具有实用性。
[0171] 3,本申请基于块稀疏扰动的稀疏化有助于提高对抗性攻击的可隐蔽性且不会牺牲攻击性能。
[0172] 以上所述是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。