一种基于多任务学习模型的AI换脸视频检测方法转让专利

申请号 : CN202110624171.1

文献号 : CN113361395B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 姚军艇

申请人 : 中山大学

摘要 :

本发明公开了一种基于多任务学习模型的AI换脸视频检测方法,属于计算机视觉与深度学习领域,该检测方法具体步骤如下:(1)用户上传待检测视频;(2)构建人脸图像伪造检测器;(3)对视频进行逐帧取图;(4)对提取出的图片进行图片筛选;(5)对剩余图片进行换脸检测;(6)将检测结果反馈给用户;本发明能够避免计算机感染病毒,降低用户信息被窃取的风险,保护用户财产安全,同时人脸图像伪造检测器可以不断进行更新学习,不断提高其工作效率,方便工作人员查看,防止工作人员手动记录出现误差,提高工作人员的工作效率。

权利要求 :

1.一种基于多任务学习模型的AI换脸视频检测方法,其特征在于,该检测方法具体步骤如下:(1)用户上传待检测视频:用户通过外部输入设备向计算机上传待检测视频,其中,外部输入设备具体为键盘、鼠标或触控屏中的一种,视频上传成功,用户将其放入检测软件;

(2)构建人脸图像伪造检测器:检测软件接收到视频,并开始与互联网进行数据交互,并对其中换脸检测数据进行数据抓取,同时对抓取的数据进行安全检测,并开始构建人脸图像伪造检测器;

(3)对视频进行逐帧取图:人脸图像伪造检测器开始自行扫描待检测视频,并对视频数量进行计算,同时进行检测排序,视频排序完成,人脸图像伪造检测器对视频进行逐帧取图;

(4)对提取出的图片进行图片筛选:图片提取完成,开始构建图片筛选器,构建完成,图片筛选器开始与特征信息库进行数据交互,并开始对提取出的图片进行对比筛选;

(5)对剩余图片进行换脸检测:对筛选后的图片进行伪造检测,并将检测结果分别录入XLSX工作表中,并在该XLSX工作表中标注检测时间;

(6)将检测结果反馈给用户:将检测结果通过显示设备反馈给用户,同时用户可通过输入设备对XLSX工作表进行检索查看,并通过打印设备对其进行打印处理,其中,显示设备具体为CRT显示屏、LCD显示屏或LED显示屏,其中,打印设备具体为激光打印机、喷墨打印机或针式打印机;

所述安全检测具体步骤如下:

步骤一:从互联网上实时抓取FaceForensics、Face2Face、FaceSwap以及DeepFakes数据集,同时启动防火墙;

步骤二:防火墙开始对各数据集中的数据进行检测,并对其中的病毒数据进行删除,同时将删除的病毒数据记录在云端病毒信息库中;

步骤三:数据检测完成,将FaceForensics、Face2Face、FaceSwap以及DeepFakes数据集训练成当前最佳的人脸图像伪造检测器;

所述检测排序具体步骤如下:

第一步:开始收集用户上传的视频信息,并将其按照上传时间先后,进行排序;

第二步:用户通过外部输入设备对视频进行排列调整,人脸图像伪造检测器开始依据用户调整信息对视频排列顺序进行更新;

所述逐帧取图具体步骤如下:

S1:将待检测的视频按照一帧进行视频分割处理,并将分割完成的片段分别标记为A1、A2、A3、…、An,其中,n为自然数,且n大小依次增加;

S2:将A1~An转换为图片,并将其按照切割时间进行排序;

所述对比筛选具体步骤如下:

SS1:图片筛选器开始从特征信息库中提取人类特征信息,并将其处理生成对比数据;

SS2:将A1~An分别与对比数据进行比对,并将其中不包含人类特征的图片删去,同时将经过筛选的图片分别标记为B1、B2、B3、…、Bm,其中,m为自然数,且m大小依次增加;

所述伪造检测具体步骤如下:

P1:将B1~Bm依次进行色彩空间转换,并开始对比转换前后边缘、纹理以及表面的差异;

P2:若低对比度边缘与高对比度边缘一样明亮,则开始对比纹理差异,若低对比度边缘与高对比度边缘的明亮度存在差异,则判断该视频为换脸视频;

P3:若纹理细节较多的区域的着色高于光滑的表面,则开始对比表面差异,若纹理细节较多的区域的着色低于光滑的表面,则判断该视频为换脸视频;

P4:若表面在转换前后着色都一致,则判断该视频非换脸视频,若表面在转换前后着色不一致,则判断该视频为换脸视频;

P5:检测完成,将视频名称以及判断结果进行数据匹配,同时将匹配完成的数据有序的录入XLSX工作表中,并在该XLSX工作表中标注检测时间。

2.根据权利要求1所述的一种基于多任务学习模型的AI换脸视频检测方法,其特征在于,步骤(6)中所述检索查看具体步骤如下:PP1:使用者通过输入设备输入需要查找的初级时间段X;

PP2:使用者输入初级时间段X后再次输入次级时间段x;

PP3:使用者输入完初级时间段X和次级时间段x后,计算机即会将使用者需要的内容从XLSX工作表调出并通过显示设备显示出来。

说明书 :

一种基于多任务学习模型的AI换脸视频检测方法

技术领域

[0001] 本发明涉及计算机视觉与深度学习领域,尤其涉及一种基于多任务学习模型的AI换脸视频检测方法。

背景技术

[0002] AI换脸就是通过AI人工智能技术,把别人的脸换成自己的脸,而且脸部表情自然,效果逼真,整个过程你只需要通过一张照片,然后用AI技术可以在ZAO软件上使用自己的照片替视剧或者小视频中的人物,从而生成以自己为主角的视频,伴随着深度学习的发展,AI换脸技术越来越多,技术也越来越成熟,AI换脸的效果也越来越好,伴随着AI换脸这项技术的发展,也带来不少的负面影响,比如,DeepFakes展示了如何使用计算机图形学和视觉技术进行视频换脸,进而破坏别人的声誉,随着科技的不断发展,AI换脸技术逼真程度逐渐提高,有时人类都无法分辨真伪;因此,发明出一种基于多任务学习模型的AI换脸视频检测方法变得尤为重要;
[0003] 经检索,中国专利号CN111950497A公开了一种基于多任务学习模型的AI换脸视频检测方法,虽然该发明计算费用减少并且准确率有所提高,但在收集网络数据集时,对其并不进行安全检测,会导致计算机感染病毒,容易导致用户信息被窃取,危害用户财产安全;
此外,现有的基于多任务学习模型的AI换脸视频检测方法无法将检测结果有效的反馈给用
户,容易导致用户记录错误,降低用户工作质量;为此,我们提出一种基于多任务学习模型的AI换脸视频检测方法。

发明内容

[0004] 本发明的目的是为了解决现有技术中存在的缺陷,而提出的一种基于多任务学习模型的AI换脸视频检测方法。
[0005] 为了实现上述目的,本发明采用了如下技术方案:
[0006] 一种基于多任务学习模型的AI换脸视频检测方法,该检测方法具体步骤如下:
[0007] (1)用户上传待检测视频:用户通过外部输入设备向计算机上传待检测视频,其中,外部输入设备具体为键盘、鼠标或触控屏中的一种,视频上传成功,用户将其放入检测软件;
[0008] (2)构建人脸图像伪造检测器:检测软件接收到视频,并开始与互联网进行数据交互,并对其中换脸检测数据进行数据抓取,同时对抓取的数据进行安全检测,并开始构建人脸图像伪造检测器;
[0009] (3)对视频进行逐帧取图:人脸图像伪造检测器开始自行扫描待检测视频,并对视频数量进行计算,同时进行检测排序,视频排序完成,人脸图像伪造检测器对视频进行逐帧取图;
[0010] (4)对提取出的图片进行图片筛选:图片提取完成,开始构建图片筛选器,构建完成,图片筛选器开始与特征信息库进行数据交互,并开始对提取出的图片进行对比筛选;
[0011] (5)对剩余图片进行换脸检测:对筛选后的图片进行伪造检测,并将检测结果分别录入XLSX工作表中,并在该XLSX工作表中标注检测时间;
[0012] (6)将检测结果反馈给用户:将检测结果通过显示设备反馈给用户,同时用户可通过输入设备对XLSX工作表进行检索查看,并通过打印设备对其进行打印处理,其中,显示设备具体为CRT显示屏、LCD显示屏或LED显示屏,其中,打印设备具体为激光打印机、喷墨打印机或针式打印机。
[0013] 进一步地,步骤(2)中所述安全检测具体步骤如下:
[0014] 步骤一:从互联网上实时抓取FaceForensics、Face2Face、FaceSwap以及DeepFakes数据集,同时启动防火墙;
[0015] 步骤二:防火墙开始对各数据集中的数据进行检测,并对其中的病毒数据进行删除,同时将删除的病毒数据记录在云端病毒信息库中;
[0016] 步骤三:数据检测完成,将FaceForensics、Face2Face、FaceSwap以及DeepFakes数据集训练成当前最佳的人脸图像伪造检测器。
[0017] 进一步地,步骤(3)中所述检测排序具体步骤如下:
[0018] 第一步:开始收集用户上传的视频信息,并将其按照上传时间先后,进行排序;
[0019] 第二步:用户通过外部输入设备对视频进行排列调整,人脸图像伪造检测器开始依据用户调整信息对视频排列顺序进行更新。
[0020] 进一步地,步骤(3)中所述逐帧取图具体步骤如下:
[0021] S1:将待检测的视频按照一帧进行视频分割处理,并将分割完成的片段分别标记为A1、A2、A3、…、An,其中,n为自然数,且n大小依次增加;
[0022] S2:将A1~An转换为图片,并将其按照切割时间进行排序。
[0023] 5、根据权利要求1所述的一种基于多任务学习模型的AI换脸视频检测方法,进一步地,步骤(4)中所述对比筛选具体步骤如下:
[0024] SS1:图片筛选器开始从特征信息库中提取人类特征信息,并将其处理生成对比数据;
[0025] SS2:将A1~An分别与对比数据进行比对,并将其中不包含人类特征的图片删去,同时将经过筛选的图片分别标记为B1、B2、B3、…、Bm,其中,m为自然数,且m大小依次增加。
[0026] 进一步地,步骤(5)中所述伪造检测具体步骤如下:
[0027] P1:将B1~Bm依次进行色彩空间转换,并开始对比转换前后边缘、纹理以及表面的差异;
[0028] P2:若低对比度边缘与高对比度边缘几乎一样明亮,则开始对比纹理差异,若低对比度边缘与高对比度边缘的明亮度存在明显差异,则判断该视频为换脸视频;
[0029] P3:若纹理细节较多的区域的着色高于光滑的表面,则开始对比表面差异,若纹理细节较多的区域的着色低于光滑的表面,则判断该视频为换脸视频;
[0030] P4:若表面在转换前后着色都一致,则判断该视频非换脸视频,若表面在转换前后着色不一致,则判断该视频为换脸视频;
[0031] P5:检测完成,将视频名称以及判断结果进行数据匹配,同时将匹配完成的数据有序的录入XLSX工作表中,并在该XLSX工作表中标注检测时间。
[0032] 进一步地,步骤(6)中所述检索查看具体步骤如下:
[0033] PP1:使用者通过输入设备输入需要查找的初级时间段X;
[0034] PP2:使用者输入初级时间段X后再次输入次级时间段x;
[0035] PP3:使用者输入完初级时间段X和次级时间段x后,计算机即会将使用者需要的内容从调出并通过显示设备显示出来。
[0036] 相比于现有技术,本发明的有益效果在于:
[0037] 1、该基于多任务学习模型的AI换脸视频检测方法接收到用户上传的视频,开始与互联网进行数据交互,同时开始从互联网上实时抓取FaceForensics、Face2Face、FaceSwap以及DeepFakes数据集,并通过防火墙对抓取到的数据集进行病毒检测,对其中的病毒数据进行删除,同时将删除的病毒数据记录在云端病毒信息库中,数据检测完成,将数据集训练成当前最佳的人脸图像伪造检测器,同时对其进行实时更新,能够避免计算机感染病毒,降低用户信息被窃取的风险,保护用户财产安全,同时人脸图像伪造检测器可以不断进行更
新学习,不断提高其工作效率;
[0038] 2、该基于多任务学习模型的AI换脸视频检测方法将待检测视频切割成多组图片,并通过图片筛选器对图片进行筛选,对筛选后的图片进行色彩空间转换处理,并对比边缘
明亮度差异、纹理着色度差异以及表面转换前后的着色度,将视频名称以及判断结果进行
数据匹配,同时将匹配完成的数据有序的录入XLSX工作表中,并在该XLSX工作表中标注检
测时间,能够对检测结果进行有序记录,方便工作人员查看,防止工作人员手动记录出现误差,提高工作人员的工作效率。

附图说明

[0039] 附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
[0040] 图1为本发明提出的一种基于多任务学习模型的AI换脸视频检测方法的流程框图。

具体实施方式

[0041] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
[0042] 在本发明的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
[0043] 参照图1,本实施例公开了一种基于多任务学习模型的AI换脸视频检测方法,该检测方法具体步骤如下:
[0044] (1)用户上传待检测视频:用户通过外部输入设备向计算机上传待检测视频,视频上传成功,用户将其放入检测软件;
[0045] 具体的,外部输入设备具体为键盘、鼠标或触控屏中的一种。
[0046] (2)构建人脸图像伪造检测器:检测软件接收到视频,并开始与互联网进行数据交互,并对其中换脸检测数据进行数据抓取,同时对抓取的数据进行安全检测,并开始构建人脸图像伪造检测器。
[0047] 本实施例中提供了一种安全检测方法,其具体安全检测步骤如下:
[0048] 步骤一:从互联网上实时抓取FaceForensics、Face2Face、FaceSwap以及DeepFakes数据集,同时启动防火墙;
[0049] 步骤二:防火墙开始对各数据集中的数据进行检测,并对其中的病毒数据进行删除,同时将删除的病毒数据记录在云端病毒信息库中;
[0050] 步骤三:数据检测完成,将FaceForensics、Face2Face、FaceSwap以及DeepFakes数据集训练成当前最佳的人脸图像伪造检测器。
[0051] (3)对视频进行逐帧取图:人脸图像伪造检测器开始自行扫描待检测视频,并对视频数量进行计算,同时进行检测排序,视频排序完成,人脸图像伪造检测器对视频进行逐帧取图。
[0052] 本实施例中提供了一种检测排序方法,其具体检测排序步骤如下:
[0053] 第一步:开始收集用户上传的视频信息,并将其按照上传时间先后,进行排序;
[0054] 第二步:用户通过外部输入设备对视频进行排列调整,人脸图像伪造检测器开始依据用户调整信息对视频排列顺序进行更新。
[0055] 本实施例中进一步公开了逐帧取图方法,其具体逐帧取图步骤如下:
[0056] S1:将待检测的视频按照一帧进行视频分割处理,并将分割完成的片段分别标记为A1、A2、A3、…、An,其中,n为自然数,且n大小依次增加;
[0057] S2:将A1~An转换为图片,并将其按照切割时间进行排序。
[0058] (4)对提取出的图片进行图片筛选:图片提取完成,开始构建图片筛选器,构建完成,图片筛选器开始与特征信息库进行数据交互,并开始对提取出的图片进行对比筛选。
[0059] 具体的,该图片筛选器的对比筛选具体步骤如下:
[0060] SS1:图片筛选器开始从特征信息库中提取人类特征信息,并将其处理生成对比数据;
[0061] SS2:将A1~An分别与对比数据进行比对,并将其中不包含人类特征的图片删去,同时将经过筛选的图片分别标记为B1、B2、B3、…、Bm,其中,m为自然数,且m大小依次增加。
[0062] (5)对剩余图片进行换脸检测:对筛选后的图片进行伪造检测,并将检测结果分别录入XLSX工作表中,并在该XLSX工作表中标注检测时间。
[0063] 本实施例中提供了一种伪造检测方法,其具体伪造检测步骤如下:
[0064] P1:将B1~Bm依次进行色彩空间转换,并开始对比转换前后边缘、纹理以及表面的差异;
[0065] P2:若低对比度边缘与高对比度边缘几乎一样明亮,则开始对比纹理差异,若低对比度边缘与高对比度边缘的明亮度存在明显差异,则判断该视频为换脸视频;
[0066] P3:若纹理细节较多的区域的着色高于光滑的表面,则开始对比表面差异,若纹理细节较多的区域的着色低于光滑的表面,则判断该视频为换脸视频;
[0067] P4:若表面在转换前后着色都一致,则判断该视频非换脸视频,若表面在转换前后着色不一致,则判断该视频为换脸视频;
[0068] P5:检测完成,将视频名称以及判断结果进行数据匹配,同时将匹配完成的数据有序的录入XLSX工作表中,并在该XLSX工作表中标注检测时间。
[0069] (6)将检测结果反馈给用户:将检测结果通过显示设备反馈给用户,同时用户可通过输入设备对XLSX工作表进行检索查看,并通过打印设备对其进行打印处理。
[0070] 具体的,该使用者检索查看具体步骤如下:
[0071] PP1:使用者通过输入设备输入需要查找的初级时间段X;
[0072] PP2:使用者输入初级时间段X后再次输入次级时间段x;
[0073] PP3:使用者输入完初级时间段X和次级时间段x后,计算机即会将使用者需要的内容从调出并通过显示设备显示出来;
[0074] 本实施例中显示设备具体为CRT显示屏、LCD显示屏或LED显示屏,打印设备具体为激光打印机、喷墨打印机或针式打印机。
[0075] 以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。