基于深度学习的图像隐私信息保护系统及其方法，包括数据上传模块、深度学习模块、信息隐匿模块和数据下载模块；个人隐私信息覆盖方法包括：采集大量相关隐私类在不同场景下的照片，利用深度学习模型，训练出可识别指定隐私对象的模型，并利用高斯滤波对识别出的对象进行模糊化处理；在用户上传数据时，识别当前图像及视频中所含的隐私信息，根据用户选择的需保护的隐私对象类别，对指定信息进行覆盖，并根据用户选择将处理后的结果返回给客户端；可有效实现对图像及视频中隐私信息的精准覆盖和个性化保护，为用户提供高质量的隐私信息保护服务，具有实时快速、精准识别、全面覆盖的优点。
1.基于深度学习的图像隐私信息保护方法，其特征在于，包括以下步骤：步骤S1，数据上传模块采集客户端上传到服务器端的图像、视频信息以及隐私信息所属类别；
步骤S2，基于深度学习模块，根据步骤S1采集内容，遍历图像及视频中的像素块，识别出其中包含的隐私保护对象；
步骤S3，信息隐匿模块基于高斯滤波，根据步骤S1采集内容，步骤S2识别结果，对指定的隐私保护对象进行模糊化处理；
步骤S4，客户端通过数据下载模块选择所需的、经步骤S3处理后的图像及视频下载到本地；
步骤S11，服务器端通过处理程序读取客户端上传的图像及视频信息；
步骤S12，服务器端通过处理程序读取客户端所选择的隐私保护对象；
步骤S21，人工选取部分常见隐私保护对象，采集大量其在不同场景下的照片；
步骤S22，手工遍历所采集的数据集，删除不可用的图片，利用LabelImg，对可用数据集中的隐私保护对象进行手动标记；
步骤S23，利用格式转换代码，将已标记的图片转换为xml文件，传入深度学习模型中，选取合适的参数，训练得到在测试集上的准确率大于95%的模型；
步骤S24，将步骤S1所采集的照片及视频传入步骤S23所训练的模型，训练好的模型对照片及视频中含有的隐私对象进行识别，并返回隐私对象位置信息；
步骤S31，根据步骤S2所识别的隐私对象位置信息，利用数学公式对识别区域的尺寸进行确定，尺寸为长 、宽 ，如公式（1）所示：（1）
其中，为识别区域长度，为识别区域宽度， 为识别区域左上角横坐标， 为识别区域左上角纵坐标， 为识别区域右下角横坐标， 为识别区域右下角纵坐标；
步骤S32，根据步骤S31所确定的隐私保护对象位置信息，以及人为设置的高斯核标准差，将像素点对应坐标及高斯核标准差代入所选高斯核函数，如公式（2）所示，对隐私对象进行模糊化处理：（2）
其中 为图像中像素点的横坐标，为图像中像素点的纵坐标，为高斯核标准差，e为自然常数，遍历所选区域的各个像素点，对其进行高斯变换，达到模糊化处理的目标；
所述的步骤S4，服务器端将处理过后的照片及视频返回给客户端，用户通过数据下载模块将所需内容下载到本地。
2.根据权利要求1所述的基于深度学习的图像隐私信息保护方法的系统，其特征在于，包括有数据上传模块、深度学习模块、信息隐匿模块和数据下载模块；所述数据上传模块，用于实现客户端到服务器端的图像上传；所述深度学习模块，遍历图像中的像素块，识别出图像中包含的隐私保护对象；所述信息隐匿模块，根据用户提交的所需保护隐私类别，利用高斯滤波，对隐私信息进行模糊化处理；所述数据下载模块，实现用户端从服务器端下载已经处理过的图像。
3.根据权利要求1所述的基于深度学习的图像隐私信息保护方法的系统，其特征在于，所述数据上传模块包括：
4.根据权利要求1所述的基于深度学习的图像隐私信息保护方法的系统，其特征在于，所述的深度学习模块，其核心为识别指定隐私保护对象的模型；模型训练过程包括：首先选定部分隐私保护类，拍摄其在不同场景下的照片，作为训练集；然后对拍摄得到的照片进行人工筛选，删除不可用的数据，并对符合要求的数据中的隐私信息进行类别标记，并将数据集按照8:2的比例分为训练集和测试集；之后将带有标记的数据传入darknet深度学习模型框架中，并进行轮询迭代，训练模型神经元权重，最终得到所需可识别指定对象的模型；最后，将训练好的模型部署到服务器中。
5.根据权利要求1所述的基于深度学习的图像隐私信息保护方法的系统，其特征在于，所述的信息隐匿模块，其核心为对识别出的隐私信息进行模糊化处理；处理过程为：首先，根据深度学习模型所识别的隐私保护对象位置信息，对识别区域的尺寸进行确定；然后，依据用户所选隐私保护对象类别以及人为设置的高斯核标准差，将其代入所选高斯核函数，对隐私对象进行模糊化处理。
6.根据权利要求1所述的基于深度学习的图像隐私信息保护方法的系统，其特征在于，所述的数据下载模块，服务器端将处理后的图片、视频返回给客户端，用户按照个人需求，可选择性的将其下载到本地。
基于深度学习的图像隐私信息保护系统及其方法
技术领域
[0001] 本发明属于图像隐私保护技术领域，尤其涉及基于深度学习的图像隐私信息保护系统及其方法，该方法根据用户需求自动识别图像及视频中的个人隐私信息，并进行模糊化处理。
背景技术
[0002] 自第五代信息技术革命以来，人类社会进入数字信息化时代。随着社交媒体和智能手机的发展，社交网络平台(如Facebook、Twitter、微博、微信等)已经成为我们日常生活的一部分。同时随着移动设备和通信成本的降低，人们可以随时随地拍摄自己的生活照片上传到社交网络中与好友一起分享。据相关报告统计，2013年Facebook平均每天有3.5亿张照片上传量，总量已达到2500亿张；2016年马化腾在贵阳国际大数据博览会中指出微信朋友圈及QQ空间每天上传的图片高达10亿张。由此可见，图像已经成为社交网络中的主流媒介。
[0003] 在社交图像隐私泄露方面，已有许多学者做了大量研究。利用基于PCA的K‑Same去识别算法对图像中人脸进行处理，使得保护图片隐私的同时可以最大程度的保证图片的可读性。
[0004] 目前，现有技术针对图像中个人信息的保护存在：隐私信息处理时产生的覆盖不精准问题、对用户需求无区分的问题。
发明内容
[0005] 为克服上述现有技术的不足，本发明的目的是提供基于深度学习的图像隐私信息保护系统及其方法，解决了现有技术在隐私信息处理时产生的覆盖不精准问题、对用户需求无区分的问题，为用户提供高质量的隐私信息保护服务，有效实现对图像中隐私信息的个性化保护，避免发生信息泄露事件，具有实时快速、精准识别、全面覆盖的优点。
[0006] 为实现上述目的，本发明采用的技术方案是：基于深度学习的图像隐私信息保护系统，包括有数据上传模块、深度学习模块、信息隐匿模块和数据下载模块；所述数据上传模块，用于实现客户端到服务器端的图像上传；所述深度学习模块，遍历图像中的像素块，识别出图像中包含的隐私保护对象；所述信息隐匿模块，根据用户提交的所需保护隐私类别，利用高斯滤波，对隐私信息进行模糊化处理；所述数据下载模块，实现用户端从服务器端下载已经处理过的图像。
[0007] 所述数据上传模块包括：
[0008] 1)采集当前用户上传图像、视频信息；
[0009] 2)采集当前用户所选需覆盖的隐私保护类信息。
[0010] 所述的深度学习模块，其核心为识别指定隐私保护对象的模型；模型训练过程包括：首先选定部分隐私保护类，拍摄其在不同场景下的照片，作为训练集；然后对拍摄得到的照片进行人工筛选，删除不可用的数据，并对符合要求的数据中的隐私信息进行类别标记，并将数据集按照8:2的比例分为训练集和测试集；之后将带有标记的数据传入darknet深度学习模型框架中，并进行轮询迭代，训练模型神经元权重，最终得到所需可识别指定对象的模型；最后，将训练好的模型部署到服务器中。
[0011] 所述的信息隐匿模块，其核心为对识别出的隐私信息进行模糊化处理；处理过程为：首先，根据深度学习模型所识别的隐私保护对象位置信息，对识别区域的尺寸进行确定；然后，依据用户所选隐私保护对象类别以及人为设置的高斯核标准差，将其代入所选高斯核函数，对隐私对象进行模糊化处理。
[0012] 所述的数据下载模块，服务器端将处理后的图片、视频返回给客户端，用户按照个人需求，可选择性的将其下载到本地。
[0013] 利用基于深度学习的图像隐私信息保护系统实现个性化隐私信息覆盖的方法，构建基于用户需求的隐私信息识别与模糊化模型，在用户上传图像及视频并选择隐私保护类后，根据用户需求实现个性化隐私信息覆盖，具体包括以下步骤：
[0014] 步骤S1，数据上传模块采集客户端上传到服务器端的图像、视频信息以及隐私信息所属类别；
[0015] 步骤S2，基于深度学习模块，根据步骤S1采集内容，遍历图像及视频中的像素块，识别出其中包含的隐私保护对象；
[0016] 步骤S3，信息隐匿模块基于高斯滤波，根据步骤S1采集内容，步骤S2识别结果，对指定的隐私保护对象进行模糊化处理；
[0017] 步骤S4，客户端通过数据下载模块选择所需的、经步骤S3处理后的图像及视频下载到本地。
[0018] 所述的步骤S1，具体做法是：
[0019] 步骤S11，服务器端通过处理程序读取客户端上传的图像及视频信息；
[0020] 步骤S12，服务器端通过处理程序读取客户端所选择的隐私保护对象。
[0021] 所述的步骤S2，具体做法是：
[0022] 步骤S21，人工选取部分常见隐私保护对象，采集大量其在不同场景下的照片；
[0023] 步骤S22，手工遍历所采集的数据集，删除不可用的图片，利用LabelImg，对可用数据集中的隐私保护对象进行手动标记；
[0024] 步骤S23，利用格式转换代码，将已标记的图片转换为xml文件，传入深度学习模型中，选取合适的参数，训练得到在测试集上的准确率大于95％的模型；
[0025] 步骤S24，将步骤S1所采集的照片及视频传入步骤S23所训练的模型，训练好的模型对照片及视频中含有的隐私对象进行识别，并返回隐私对象位置信息。
[0026] 所述的步骤S3，具体做法是：
[0027] 步骤S31，根据步骤S2所识别的隐私对象位置信息，利用数学公式对识别区域的尺寸进行确定，尺寸为长w、宽h，如公式(1)所示：
[0028]
[0029] 其中，w为识别区域长度，h为识别区域宽度，c1[0]为识别区域左上角横坐标，c1[1]为识别区域左上角纵坐标，c2[0]为识别区域右下角横坐标，c2[1为识别区域右下角纵坐标。
[0030] 步骤S32，根据步骤S31所确定的隐私保护对象位置信息，以及人为设置的高斯核标准差，将像素点对应坐标及高斯核标准差代入所选高斯核函数，如公式(2)所示，对隐私对象进行模糊化处理：
[0031]
[0032] 其中u为图像中像素点的横坐标，v为图像中像素点的纵坐标，σ为高斯核标准差，e为自然常数，遍历所选区域的各个像素点，对其进行高斯变换，达到模糊化处理的目标。
[0033] 所述的步骤S4，服务器端将处理过后的照片及视频返回给客户端，用户通过数据下载模块将所需内容下载到本地。
[0034] 本发明的有益效果是：
[0035] 因为隐私信息的重要性及用户需求的多样性，本发明提出针对不同用户，处理不同隐私信息的策略。基于深度学习模型对用户指定的隐私保护信息进行精准识别，基于高斯滤波对识别到的隐私信息进行全面覆盖。该方法针对不同用户需求提供个性化信息保护措施(覆盖哪个对象，应用何种覆盖方式)，不同于传统手动覆盖及现有囫囵吞枣式的覆盖，本发明的自动信息覆盖技术通过对用户上传的图像进行特征提取，经深度学习模型识别后，按照用户所选隐私对象，利用高斯滤波对其进行模糊化处理，以此来满足不同用户的不同需求，以提供个性化的信息保护服务。
[0036] 本发明提供基于深度学习的图像隐私信息保护方法，针对图像中隐私信息识别及隐匿问题，基于深度学习模型及高斯滤波，对照片及视频中的隐私信息进行精准识别及覆盖。该模型通过对各隐私保护类的10000张照片进行学习而得。根据用户上传照片、视频及所选隐私保护类别，利用深度学习模型精准识别，高斯滤波全面覆盖的优势，对图像中的隐私信息进行隐匿。旨在提升用户体验，提高识别精度及覆盖广度。实验结果表明，相比于传统的手动覆盖及囫囵吞枣式覆盖，本发明提出的基于深度模型的隐私信息识别及隐匿方法，能大幅减少用户操作，且为用户提供个性化服务。
[0037] 本发明提供，包含数据上传模块、深度学习模块、信息隐匿模块和数据下载模块；在服务器端部署深度学习模型，接受用户的上传请求，根据用户所选隐私保护类别，利用高斯滤波，对上传图像及视频中的隐私信息进行模糊化处理，实现隐私信息的精准识别及有效覆盖。
附图说明
[0038] 图1为本发明的数据上传模块结构示意图。
[0039] 图2为本发明的深度学习模块结构示意图。
[0040] 图3为本发明的信息隐匿模块结构示意图。
[0041] 图4为本发明的数据下载模块结构示意图。
[0042] 图5为本发明的工作流程示意图。
具体实施方式
[0043] 下面结合附图对本发明作进一步的详细说明。
[0044] 基于深度学习的图像隐私信息保护系统，包括有数据上传模块、深度学习模块、信息隐匿模块和数据下载模块；所述数据上传模块，用于实现客户端到服务器端的图像及视频上传；所述深度学习模块，遍历图像及视频中的像素块，识别出其中包含的隐私保护对象；所述信息隐匿模块，根据用户提交的所需保护隐私类别，利用高斯滤波，对隐私信息进行模糊化处理；所述数据下载模块，实现用户端从服务器端下载已经处理过的图像及视频。
[0045] 所述的数据上传模块包括：
[0046] 1)图像或视频上传：用于采集客户端向服务器端上传的图像、视频等文件，客户端向服务器端上传所需处理的图像、视频文件，如表1所示：
[0047] 2)隐私保护类上传：用于采集用户选定需覆盖的隐私保护类标签信息，用户选定需覆盖的隐私保护类，客户端将用户需求上传到服务器端，如表1所示：
[0048] 表1用户上传信息
[0049] #图像及视频格式 bmp,jpg,png,tif,gif,pcx,exif,fpx,svg,psd,mpeg,avi,asf,mov,WMV,3GP,mp4等#隐私保护类别 用户手机屏幕，电脑屏幕，身份证信息等
[0050] 所述深度学习模块包括：
[0051] 其核心为识别指定隐私保护对象的模型；模型训练过程包括：首先选定部分隐私保护类，如手机、电脑屏幕、身份证等，拍摄其在不同场景下的照片，作为训练集；然后对拍摄得到的照片进行人工筛选，删除不可用的数据，并对符合要求的数据中的隐私信息进行类别标记，并将数据集按照8:2的比例分为训练集和测试集；之后将带有标记的数据传入darknet深度学习模型框架中，并进行轮询迭代，训练模型神经元权重，最终得到所需可识别指定对象的模型；最后，将训练好的模型部署到服务器中。
[0052] 1)数据采集：用于制作数据集，选定部分隐私保护类，如手机、电脑屏幕、身份证等，拍摄其在不同场景下的照片；
[0053] 2)数据处理：用对拍摄得到的照片进行人工筛选，删除不可用的数据。利用LabelImg对符合要求的数据中的隐私信息进行类别标记，并将文件转换为txt及xml格式；
[0054] 3)训练模型：将带有标记的转换后的数据传入YOLOv5模型中，选取合适的参数，训练得到所需可识别指定对象的模型。将用户上传图像传入训练好的模型中，返回图像中所含隐私保护对象的位置信息(左上角坐标c1、右下角坐标c2)；
[0055] 4)模型部署：将训练好的模型部署到服务器中。
[0056] 所述的信息隐匿模块：依据用户所选隐私保护类及深度学习模块识别结果，将深度学习模块识别结果代入公式(1)，获得识别区域尺寸。选定高斯核标准差，利用高斯滤波，代入公式(2)，根据相邻像素修改图像像素值，对隐私对象进行模糊化处理。
[0057]
[0058]
[0059] 其中w为识别区域长度，h为识别区域宽度，c1[0]为识别区域左上角横坐标，c1[1]为识别区域左上角纵坐标，c2[0]为识别区域右下角横坐标，c2[1为识别区域右下角纵坐标，u为图像中像素点的横坐标，v为图像中像素点的纵坐标，σ为高斯核标准差，遍历所选区域的各个像素点，对其进行高斯变换，达到模糊化处理的目标。
[0060] 所述数据下载模块：服务器端将处理后的图片、视频等返回给客户端，用户按照个人需求，可选择性的将其下载到本地。
[0061] 利用基于深度学习的图像隐私信息保护系统实现个性化隐私信息覆盖的方法，包括以下步骤：
[0062] 步骤S2，基于深度学习模块，根据步骤S1采集内容，遍历图像及视频中的像素块，识别出其中包含的隐私保护对象；
[0063] 步骤S3，信息隐匿模块基于高斯滤波，根据步骤S1采集内容，步骤S2识别结果，对指定的隐私保护对象进行模糊化处理；
[0064] 步骤S4，客户端通过数据下载模块选择所需的、经步骤S3处理后的图像及视频下载到本地。
[0065] 如图1所示为本发明的数据上传模块结构，包括以下步骤：步骤S11中，首先获取用户上传的图像及视频信息；步骤S12中与此同时获取用户所选的隐私保护类信息。
[0066] 如图2所示为本发明的深度学习模块，包括一下步骤：步骤S21中，采集大量常见隐私保护对象在不同场景下的照片；步骤S22中，对照片进行人工筛选，删除不可用的数据。并对符合要求的数据中的隐私信息进行类别标记，将数据集按照8:2的比例分为训练集和测试集；步骤S23中，将带有标记的数据传入darknet深度学习模型框架中，训练模型神经元权重，最终得到所需可模型；步骤S24中，将训练好的模型部署到服务器上，并将步骤S1所采集的照片及视频传入步骤S23所训练的模型，对其中含有的隐私保护对象进行识别，返回隐私对象位置信息(左上角坐标c1、右下角坐标c2)。
[0067] 如图3所示为本发明的信息隐匿模块，包括以下步骤：步骤S31中，根据步骤S2所识别的隐私保护对象位置信息，对识别区域的尺寸进行确定；步骤S32中，根据步骤S31所确定的目标区域位置，以及人为设置的高斯核标准差，将其代入所选高斯核函数，对隐私对象进行模糊化处理。
[0068] 如图4所示为本发明的数据下载模块，包括以下步骤：步骤S41中，用户根据自身需求选择已处理好的图像、视频；步骤S42中，客户端向服务器端发出请求，下载处理后的图像及视频到本地。
[0069] 如图5所示为上述四个模块的协同工作流程。首先进行深度学习训练模型，利用采集的大量隐私类照片，对其进行数据清洗、特征提取后，利用darknet深度学习模型框架，训练得到所需模型。当用户上传图像、视频时，首先提取特征，然后输入训练好的模型中，进行识别及模糊化处理，最后将处理结果返回给客户端，对图像及视频中的隐私信息进行有效覆盖。
