摄录行为检测方法及系统转让专利
申请号 : CN202210039810.2
文献号 : CN114067441B
文献日 : 2022-04-08
发明人 : 田辉 , 刘其开 , 郭玉刚 , 张志翔
申请人 : 合肥高维数据技术有限公司
摘要 :
本发明特别涉及一种摄录行为检测方法，包括如下步骤：S100、拍摄待监测区域图像或视频；S200、对待监测区域的图像或视频进行摄像头及其关联目标识别得到图像或视频中出现摄像头的概率以及出现其关联目标的概率；S300、根据下列公式计算图像或视频中出现偷拍现象的概率：，式中，是取最小值，是通过计算得到的影响因子，。通过对摄像头和关联目标进行目标识别得到这些目标出现的概率，然后根据概率值计算出现偷拍现象的概率，实现起来非常的方便，在进行目标识别时，无需得到精准的边框，且概率值也不用非常精确，通过影响因子进行修正后，一方面可以提高偷拍现象识别的准确率，另一方面还能降低误判率，实时性和准确性都得到有效提高。
权利要求 :
1.一种摄录行为检测方法，其特征在于：包括如下步骤：S100、拍摄待监测区域图像或视频；
S200、对待监测区域的图像或视频进行摄像头及其关联目标识别得到图像或视频中出现摄像头的概率 以及出现其关联目标的概率 ；
S3 0 0 、根 据 下 列公 式 计算 图 像或 视 频中 出 现 偷 拍现 象的 概 率 ：，式中， 是取最小值， 是通过 计算得到的影响因子， 。
2.如权利要求1所述的摄录行为检测方法，其特征在于：所述的关联目标为人手、人体、人脸、自拍杆中的一种或多种。
3.如权利要求1所述的摄录行为检测方法，其特征在于：所述的关联目标为人手，记人手的出现概率为 ，人手的影响因子 通过如下公式计算得出：式中， 为预先设定好的常数且 、 。
4.如权利要求1、2或3所述的摄录行为检测方法，其特征在于：所述的步骤S200中，通过训练好的神经网络对摄像头及其关联目标进行识别，神经网络训练步骤如下：S210、构建模型所需的训练样本和测试样本；
S220、搭建深度学习神经网络；
S230、确定损失函数；
S240、将训练样本带入神经网络中进行训练，并根据损失函数不断优化神经网络的参数；
S250、利用测试样本对优化后的神经网络进行测试，若满足测试要求，则将当前的神经网络参数保存，若不满足测试要求，返回步骤S210重新构建样本。
5.如权利要求4所述的摄录行为检测方法，其特征在于：所述的步骤S220中，深度学习神经网络为PP‑PicoDet；步骤S230中，损失函数公式如下：其中，p是网络输出预测的IACS得分，q是目标IOU得分，为可调节的比例因子，参数用于对损失进行缩放调节。
6.如权利要求5所述的摄录行为检测方法，其特征在于：所述的步骤S210中，训练样本和测试样本中，所标注的目标区域为圆形，通过圆心位置和半径进行目标标注；步骤S220中，神经网络输出的参数包括坐标参数和类别概率，坐标参数为中心点横坐标x、中心点纵坐标y、半径r，类别概率即前述坐标参数对应区域属于摄像头、手或背景的概率；步骤S230中，q按如下公式计算得到：
式中，在训练初期，A、B分别是标记圆和检测圆的最小外接矩形，在训练后期，A、B分别是标记圆和检测圆的最大内接矩形。
7.如权利要求5所述的摄录行为检测方法，其特征在于：所述的PP‑PicoDet网络模型包括
基准网络模块ESNet，用于对输入的图像进行处理得到三个不同尺度下的特征图集合；
CSP‑PAN网络，用于相邻特征映射之间的特征拼接和融合并获得四种不同尺度下的特征图集合；
检测头结构，由深度可分离卷积和5×5卷积构成，用于对上述输出的特征图进行扩展接收域得到四种不同的检测器，每个检测器产生7个值：3个坐标、3个类别概率和1个置信度。
8.一种摄录行为检测系统，其特征在于：包括摄像模块，用于拍摄待监测区域图像或视频；
识别模块，其内存储有训练好的目标识别网络模型，用于对摄像模块拍摄的图像或视频进行识别得到摄像头的概率 以及其关联目标的概率 ；
处理模块，用于接收识别模块输出的概率数据并对其进行计算得到出现偷拍现象的概率，计算公式为： ，式中， 是取最小值， 是通过 计算得到的影响因子, ；
控制模块，用于根据出现偷拍现象的概率驱动显示器打开或关闭或显示告警画面。
说明书 :
摄录行为检测方法及系统
技术领域
[0001] 本发明涉及信息安全技术领域，特别涉及一种摄录行为检测方法及系统。
背景技术
[0002] 在信息化发展的潮流下，电子化处理事务的便捷性得到了越来越多私企、事业单位、国企的认可，不仅提高了办公效率，也为日后的维护查询等操作提供了高效的入口。对
于一些涉密单位下的机密文件的管控保密，传统的网络安全公司主要是通过物理隔离的方
式以及多重认证等途径进行管控的。比如，对于电脑中机密文件限制网络传输以及U盘等传
输介质传播。
于一些涉密单位下的机密文件的管控保密，传统的网络安全公司主要是通过物理隔离的方
式以及多重认证等途径进行管控的。比如，对于电脑中机密文件限制网络传输以及U盘等传
输介质传播。
[0003] 随着安防行业的软硬件的快速发展，手机或者微型摄像头等具有摄像拍照功能的电子设备不断更新和发展。对于电子化办公场景下，电脑屏幕中一些涉密单位的涉密文件、
涉密信息可能通过拍照等方式被窃取，从而导致数据泄密，比如，一些大型的手机厂商，发
布新手机之间的UI设计图案等。传统网络安全通过限制网络传输和管控U盘等传输介质的
方式，对这种泄露方式无能为力。
涉密信息可能通过拍照等方式被窃取，从而导致数据泄密，比如，一些大型的手机厂商，发
布新手机之间的UI设计图案等。传统网络安全通过限制网络传输和管控U盘等传输介质的
方式，对这种泄露方式无能为力。
[0004] 目前市场中，防范屏幕等显示设备被拍照窃取的产品相对稀缺，且不成熟，技术有待突破。更多的技术应用是通过一些数字水印（明水印、隐形水印）的技术手段来追溯泄密
者，但对于已经发生的涉密事件无法挽回，现有的技术手段在防范显示设备的涉密信息被
拍摄问题上呈现明显的不足。
者，但对于已经发生的涉密事件无法挽回，现有的技术手段在防范显示设备的涉密信息被
拍摄问题上呈现明显的不足。
发明内容
[0005] 本发明的第一个目的在于提供一种基于目标识别的行为检测方法，可以利用目标检测算法针对某个区域中的行为进行分析检测。
[0006] 为实现以上目的，本发明采用的技术方案为：一种基于目标识别的行为检测方法，包括如下步骤：A、分析待检测行为中的主要目标和关联目标；B、拍摄待监测区域图像或视
频；C、对图像或视频进行主要目标和关联目标识别得到主要目标和关联目标的位置和概率
信息；D、根据关联目标的位置和概率信息对主要目标的概率进行修正得到待检测行为的出
现概率。
频；C、对图像或视频进行主要目标和关联目标识别得到主要目标和关联目标的位置和概率
信息；D、根据关联目标的位置和概率信息对主要目标的概率进行修正得到待检测行为的出
现概率。
[0007] 与现有技术相比，本发明存在以下技术效果：行为的分析检测一直是一个比较难的点，这里通过分析与行为相关的主要目标和关联目标，然后通过对目标的识别来实现行
为检测，目前识别目标的算法有很多且非常成熟，在此基础上，通过概率修改实现行为检
测，本方案对行为的识别较为准确、且识别速度快。
为检测，目前识别目标的算法有很多且非常成熟，在此基础上，通过概率修改实现行为检
测，本方案对行为的识别较为准确、且识别速度快。
[0008] 本发明的第二个目的在于提供一种摄录行为检测方法，可以快速准确的识别出是否有人在进行摄录。
[0009] 为实现以上目的，本发明采用的技术方案为：一种摄录行为检测方法，包括如下步骤：S100、拍摄待监测区域图像或视频；S200、对待监测区域的图像或视频进行摄像头及其
关联目标识别得到图像或视频中出现摄像头的概率 以及出现其关联目标的概率
；S300、根据下列公式计算图像或视频中出现偷拍现象的概率：
，式中， 是取最小值， 是通过 计算得到的影响因
子， 。
关联目标识别得到图像或视频中出现摄像头的概率 以及出现其关联目标的概率
；S300、根据下列公式计算图像或视频中出现偷拍现象的概率：
，式中， 是取最小值， 是通过 计算得到的影响因
子， 。
[0010] 本发明的第三个目的在于提供一种摄录行为检测系统，可以快速准确的识别出是否有人在进行摄录。
[0011] 为实现以上目的，本发明采用的技术方案为：一种摄录行为检测系统，包括摄像模块，用于拍摄待监测区域图像或视频；识别模块，其内存储有训练好的目标识别网络模型，
用于对摄像模块拍摄的图像或视频进行识别得到摄像头的概率 以及其关联目标的概率
；处理模块，用于接收识别模块输出的概率数据并对其进行计算得到出现偷
拍现象的概率，计算公式为： ，式中， 是取最小值，
是通过 计算得到的影响因子, ；控制模块，用于根据出现偷拍现象的概率
驱动显示器打开或关闭或显示告警画面。
用于对摄像模块拍摄的图像或视频进行识别得到摄像头的概率 以及其关联目标的概率
；处理模块，用于接收识别模块输出的概率数据并对其进行计算得到出现偷
拍现象的概率，计算公式为： ，式中， 是取最小值，
是通过 计算得到的影响因子, ；控制模块，用于根据出现偷拍现象的概率
驱动显示器打开或关闭或显示告警画面。
[0012] 与现有技术相比，本发明存在以下技术效果：通过对摄像头和关联目标进行目标识别得到这些目标出现的概率，然后根据概率值计算出现偷拍现象的概率，实现起来非常
的方便，同时，在进行目标识别时，无需得到精准的边框，且概率值也不用非常精确，我们通
过影响因子进行修正后，一方面可以提高偷拍现象识别的准确率，另一方面还能降低误判
率，并且，实时性和准确性都得到有效提高。
的方便，同时，在进行目标识别时，无需得到精准的边框，且概率值也不用非常精确，我们通
过影响因子进行修正后，一方面可以提高偷拍现象识别的准确率，另一方面还能降低误判
率，并且，实时性和准确性都得到有效提高。
附图说明
[0013] 图1是行为检测方法的流程示意图；
[0014] 图2是摄录行为检测方法的流程示意图；
[0015] 图3是PP‑PicoDet网络模型结构；
[0016] 图4是摄录行为检测系统的结构框图。
具体实施方式
[0017] 下面结合图1至图4，对本发明做进一步详细叙述。
[0018] 参阅图1，本发明公开了一种基于目标识别的行为检测方法，包括如下步骤：A、分析待检测行为中的主要目标和关联目标；B、拍摄待监测区域图像或视频；C、对图像或视频
进行主要目标和关联目标识别得到主要目标和关联目标的位置和概率信息；D、根据关联目
标的位置和概率信息对主要目标的概率进行修正得到待检测行为的出现概率。行为的分析
检测一直是一个比较难的点，这里通过分析与行为相关的主要目标和关联目标，然后通过
对目标的识别来实现行为检测，目前识别目标的算法有很多且非常成熟，在此基础上，通过
概率修改实现行为检测，本方案对行为的识别较为准确、且识别速度快。
进行主要目标和关联目标识别得到主要目标和关联目标的位置和概率信息；D、根据关联目
标的位置和概率信息对主要目标的概率进行修正得到待检测行为的出现概率。行为的分析
检测一直是一个比较难的点，这里通过分析与行为相关的主要目标和关联目标，然后通过
对目标的识别来实现行为检测，目前识别目标的算法有很多且非常成熟，在此基础上，通过
概率修改实现行为检测，本方案对行为的识别较为准确、且识别速度快。
[0019] 在这里，我们将行为检测和目标识别进行了关联，通过分析待检测行为中的主要目标和关联目标，将行为检测转化成目标检测，针对目标检测的算法有很多，且非常成熟，
因而基于目标识别可以方便的实现行为检测。
因而基于目标识别可以方便的实现行为检测。
[0020] 进一步地，所述的关联目标包括正相关目标和负相关目标，经正相关目标修正后待检测行为的出现概率大于主要目标概率，经负相关目标修正后待检测行为的出现概率小
于主要目标概率。通过直接对概率进行修正来获得待检测行为出现的概率，计算起来非常
的方便和快速。
于主要目标概率。通过直接对概率进行修正来获得待检测行为出现的概率，计算起来非常
的方便和快速。
[0021] 上面这种方法具有很多的应用场景，下面针对其中一种应用场景进行详细的阐述，需要说明的是，行为检测方法不仅仅适用于以下场景，还可以适用于其他合适的场合，
限于篇幅所限，本案未对其他场景做过多描述。
限于篇幅所限，本案未对其他场景做过多描述。
[0022] 参阅图2，一种摄录行为检测方法，包括如下步骤：S100、拍摄待监测区域图像或视频；S200、对待监测区域的图像或视频进行摄像头及其关联目标识别得到图像或视频中出
现摄像头的概率 以及出现其关联目标的概率 ；S300、根据下列公式计算图像
或视频中出现偷拍现象的概率： ，式中， 是取最小值，
是通过 计算得到的影响因子， 。通过对摄像头和关联目标进行目标识别得到
这些目标出现的概率，然后根据概率值计算出现偷拍现象的概率，实现起来非常的方便，同
时，在进行目标识别时，无需得到精准的边框，且概率值也不用非常精确，我们通过影响因
子进行修正后，一方面可以提高偷拍现象识别的准确率，另一方面还能降低误判率，并且，
实时性和准确性都得到有效提高。
现摄像头的概率 以及出现其关联目标的概率 ；S300、根据下列公式计算图像
或视频中出现偷拍现象的概率： ，式中， 是取最小值，
是通过 计算得到的影响因子， 。通过对摄像头和关联目标进行目标识别得到
这些目标出现的概率，然后根据概率值计算出现偷拍现象的概率，实现起来非常的方便，同
时，在进行目标识别时，无需得到精准的边框，且概率值也不用非常精确，我们通过影响因
子进行修正后，一方面可以提高偷拍现象识别的准确率，另一方面还能降低误判率，并且，
实时性和准确性都得到有效提高。
[0023] 进一步地，所述的关联目标为人手、人体、人脸、自拍杆中的一种或多种。窃拍行为发生的前提，大部分需要有人为参与，比如我们选择人手作为关联目标，就说明，当人手和
摄像头同时出现在画面中时，进行摄像或录像的可能性比较大，而仅出现摄像头时，说明可
能是误识别。
摄像头同时出现在画面中时，进行摄像或录像的可能性比较大，而仅出现摄像头时，说明可
能是误识别。
[0024] 进一步地，所述的关联目标为人手，记人手的出现概率为 ，人手的影响因子 通过如下公式计算得出：
[0025]
[0026] 式中， 为预先设定好的常数且 、 。优选地，本发明中k1=1.2，k2=0.85，k3=0.5。这样通过预先设定好的影响因子 与摄像头出现的概率P0进行计算以后，就
得到摄录行为的出现概率，非常的方便。
得到摄录行为的出现概率，非常的方便。
[0027] 进行目标识别的算法有很多，本发明中优选使用基于深度学习的神经网络模型来实现目标识别，优选地，所述的步骤S200中，通过训练好的神经网络对摄像头及其关联目标
进行识别，神经网络训练步骤如下：S210、构建模型所需的训练样本和测试样本，主要是通
过公开数据集以及网络爬虫去收集含有目标对象的数据集，同时在特定场合下模拟窃拍场
景来采集扩充样本，对采集后样本进行清洗（筛选掉一些不合格的样本，如模糊、目标缺失
不完整、目标像素过小等），然后进行标注，对于手机目标而言，可以将手机背面的摄像头作
为目标中心。S220、搭建深度学习神经网络；S230、确定损失函数；S240、将训练样本带入神
经网络中进行训练，并根据损失函数不断优化神经网络的参数；S250、利用测试样本对优化
后的神经网络进行测试，若满足测试要求，则将当前的神经网络参数保存，若不满足测试要
求，返回步骤S210重新构建样本。使用训练好的神经网络来对目标进行识别，使用起来很方
便。
进行识别，神经网络训练步骤如下：S210、构建模型所需的训练样本和测试样本，主要是通
过公开数据集以及网络爬虫去收集含有目标对象的数据集，同时在特定场合下模拟窃拍场
景来采集扩充样本，对采集后样本进行清洗（筛选掉一些不合格的样本，如模糊、目标缺失
不完整、目标像素过小等），然后进行标注，对于手机目标而言，可以将手机背面的摄像头作
为目标中心。S220、搭建深度学习神经网络；S230、确定损失函数；S240、将训练样本带入神
经网络中进行训练，并根据损失函数不断优化神经网络的参数；S250、利用测试样本对优化
后的神经网络进行测试，若满足测试要求，则将当前的神经网络参数保存，若不满足测试要
求，返回步骤S210重新构建样本。使用训练好的神经网络来对目标进行识别，使用起来很方
便。
[0028] 同样地，神经网络模型有很多，本发明中优选地，所述的步骤S220中，深度学习神经网络为PP‑PicoDet，该网络结构参考的是《PP‑PicoDet: A Better Real‑Time Object
Detector on Mobile Devices》论文中的结构，其网络结构如图3所示，该网络组合了一些
较好的模块以及组件，在移动端达到了算法性能效果和速度之间的均衡。
Detector on Mobile Devices》论文中的结构，其网络结构如图3所示，该网络组合了一些
较好的模块以及组件，在移动端达到了算法性能效果和速度之间的均衡。
[0029] 常见的检测排序策略是目标分类得分和基于IOU定位得分结合之后进行的，但这种排序方式会降低检测性能。本方法的损失函数借鉴论文《VarifocalNet: An IoU‑aware
Dense Object Detector》采用变焦损失Varifocal Loss，引入了IOU感知的分类得分损失
(IACS)来表示目标物体存在的置信度和定位精度，从而能够在密集的物体检测器中产生更
准确的检测效果。因此，步骤S230中，损失函数公式如下：
Dense Object Detector》采用变焦损失Varifocal Loss，引入了IOU感知的分类得分损失
(IACS)来表示目标物体存在的置信度和定位精度，从而能够在密集的物体检测器中产生更
准确的检测效果。因此，步骤S230中，损失函数公式如下：
[0030]
[0031] 其中，p是网络输出预测的IACS得分，q是目标IOU得分，IOU的全称为交并比（Intersection over Union），它是一种测量在特定数据集中检测相应物体准确度的一个
标准，对于正样本的区域，q为预测的bounding box四边形和标签bounding box四边形之间
的IOU，而负样本区域，q均为0。为了平衡正样本和负样本之间的损失贡献比例，对负样本引
入可调节的比例因子 ；为了增大困难样本对损失的权重，负样本引入了参数 ，p的 次方
对损失进行缩放调节。
标准，对于正样本的区域，q为预测的bounding box四边形和标签bounding box四边形之间
的IOU，而负样本区域，q均为0。为了平衡正样本和负样本之间的损失贡献比例，对负样本引
入可调节的比例因子 ；为了增大困难样本对损失的权重，负样本引入了参数 ，p的 次方
对损失进行缩放调节。
[0032] 以上的PP‑PicoDet神经网络结构和损失函数都是采用现有技术中的方案实现的，下面优选的实施方式，对上述方案进行了局部的修改，从而进一步提高神经网络模型的性
能。
能。
[0033] 进一步地，所述的步骤S210中，训练样本和测试样本中，所标注的目标区域为圆形，通过圆心位置和半径进行目标标注，采用这种方案进行标注，工作量相对较小。步骤
S220中，神经网络输出的参数包括坐标参数和类别概率，坐标参数为中心点横坐标x、中心
点纵坐标y、半径r，类别概率即前述坐标参数对应区域属于摄像头、手或背景的概率；步骤
S230中，q按如下公式计算得到：
S220中，神经网络输出的参数包括坐标参数和类别概率，坐标参数为中心点横坐标x、中心
点纵坐标y、半径r，类别概率即前述坐标参数对应区域属于摄像头、手或背景的概率；步骤
S230中，q按如下公式计算得到：
[0034]
[0035] 式中，在训练初期，A、B分别是标记圆和检测圆的最小外接矩形，在训练后期，A、B分别是标记圆和检测圆的最大内接矩形。以目标中心点为圆点，半径为超参数r的圆形代替
bounding box四边形，对同一个样本，不同训练阶段下标记圆和检测圆之间的IOU的面积计
算有所不同，训练初期，以两个圆的最小外接矩形的重叠面积近似作为IOU，训练后期，以两
个圆的最大内接矩形近似作为IOU的面积，不仅避免不同分辨率下目标的长宽比的变化对
训练造成的干扰，也可以提高模型训练的收敛速度和稳定性。
bounding box四边形，对同一个样本，不同训练阶段下标记圆和检测圆之间的IOU的面积计
算有所不同，训练初期，以两个圆的最小外接矩形的重叠面积近似作为IOU，训练后期，以两
个圆的最大内接矩形近似作为IOU的面积，不仅避免不同分辨率下目标的长宽比的变化对
训练造成的干扰，也可以提高模型训练的收敛速度和稳定性。
[0036] 参阅图3，具体地，所述的PP‑PicoDet网络模型包括基准网络模块ESNet，用于对输入的图像进行处理得到三个不同尺度下的特征图集合；CSP‑PAN网络，用于相邻特征映射之
间的特征拼接和融合并获得四种不同尺度下的特征图集合；检测头结构，由深度可分离卷
积和5×5卷积构成，用于对上述输出的特征图进行扩展接收域得到四种不同的检测器，每
个检测器产生7个值：3个坐标、3个类别概率和1个置信度，这3个坐标即中心点横坐标x、中
心点纵坐标y以及半径r，3个类别概率对应上述区域属于摄像头、手以及背景的概率。虽然
图3与现有技术中的附图一致，但两者输出的参数向量有所不同，现有技术中的坐标有4个
参数，分别对应矩形框左上角的横坐标、纵坐标以及矩形框的宽和高。
间的特征拼接和融合并获得四种不同尺度下的特征图集合；检测头结构，由深度可分离卷
积和5×5卷积构成，用于对上述输出的特征图进行扩展接收域得到四种不同的检测器，每
个检测器产生7个值：3个坐标、3个类别概率和1个置信度，这3个坐标即中心点横坐标x、中
心点纵坐标y以及半径r，3个类别概率对应上述区域属于摄像头、手以及背景的概率。虽然
图3与现有技术中的附图一致，但两者输出的参数向量有所不同，现有技术中的坐标有4个
参数，分别对应矩形框左上角的横坐标、纵坐标以及矩形框的宽和高。
[0037] 参阅图4，进一步地，一种摄录行为检测系统，包括摄像模块，用于拍摄待监测区域图像或视频；识别模块，其内存储有训练好的目标识别网络模型，用于对摄像模块拍摄的图
像或视频进行识别得到摄像头的概率 以及其关联目标的概率 ；处理模块，用
于接收识别模块输出的概率数据并对其进行计算得到出现偷拍现象的概率，计算公式为：
，式中， 是取最小值， 是通过 计算得到的影响因子,
；控制模块，用于根据出现偷拍现象的概率驱动显示器打开或关闭或显示告
警画面。通过该装置，可以方便的实现摄录行为检测，当检测到有人偷拍或录屏，我们可以
在显示器上显示默认的告警画面或者直接关闭显示器等，这样就能方便的实现摄录行为检
测，在实际设置时，这些模块可以封装在一个盒子里，放在显示器的前方；也可以直接集成
在显示器内部构成安全显示器。
像或视频进行识别得到摄像头的概率 以及其关联目标的概率 ；处理模块，用
于接收识别模块输出的概率数据并对其进行计算得到出现偷拍现象的概率，计算公式为：
，式中， 是取最小值， 是通过 计算得到的影响因子,
；控制模块，用于根据出现偷拍现象的概率驱动显示器打开或关闭或显示告
警画面。通过该装置，可以方便的实现摄录行为检测，当检测到有人偷拍或录屏，我们可以
在显示器上显示默认的告警画面或者直接关闭显示器等，这样就能方便的实现摄录行为检
测，在实际设置时，这些模块可以封装在一个盒子里，放在显示器的前方；也可以直接集成
在显示器内部构成安全显示器。