本发明提供了一种基于WiFi信号感知的物联网家居智能防护系统及方法，属于入侵检测技术领域。本发明利用家庭中常见的WiFi信号，对其中的CSI进行采样，通过训练改进后的深度学习算法模型实现对物联网家居环境中人类目标的异常行为进行识别，配合特有的异常行为制定策略建立一个跨层的智能防护系统，实现对异常行为的识别和中止。本发明设计了一种低成本、高精度、隐私性好的智能家居智能防护系统，解决了智能家居系统不够人性化的问题，鼓励参与者使用智能家居。
1.一种基于WiFi信号感知的物联网家居智能防护系统进行异常行为监测的方法，其特征在于，该系统包括WiFi信号发送设备、WiFi信号接收机、GUI控制端和数据库；
所述的WiFi信号发送设备和WiFi信号接收机均搭载无线网卡，二者相隔置于房间内；
WiFi信号发送设备用于发送带有CSI信息的WiFi信号，WiFi信号接收机用于获取环境中的WiFi‑CSI信息并保存；
所述的GUI控制端为桌面应用端，GUI控制端对WiFi‑CSI信号接收机捕获的数据进行预处理，然后通过训练好的残差网络ResNet50对异常行为进行评判和识别，并与数据库相通信，将监测行为及预警数据和应对措施保存至数据库用于记录监测日志，并对用户的异常行为进行实时监控和预警；
步骤一：WiFi信号发送设备负责发送WiFi‑CSI数据，WiFi信号接收机收集空环境下WiFi‑CSI数据；
步骤二：异常行为监测任务的参与者们Wn＝{w1,w2,...,wN}进入监测环境中，并根据监测任务需求做出相应的动作，对WiFi信道状态信息造成扰动，此时WiFi信号接收机将收集到的WiFi‑CSI数据保存；
步骤三：监测者对步骤二收集到的WiFi‑CSI数据进行数据预处理，然后利用深度学习算法建立残差网络ResNet50，将预处理得到的数据输入残差网络ResNet50进行训练，并在训练完成后保存网络参数；
步骤四：监测者利用GUI控制端发出一系列监测任务需求，此时，WiFi信号发送设备发送WiFi‑CSI数据给WiFi信号接收机，GUI控制端后台对WiFi‑CSI信息的数据预处理并利用训练好的残差网络ResNet50识别当前行为，根据后台预设的异常行为列表判断该行为是否异常，同时输出检测到的行为信息及应对措施并存入数据库备份；
残差块总共有四种类型，四种残差块中3×3卷积层包含的卷积核数量依次增加，分别为64、128、256和512；其中，第一种残差块内部采用两个相同通道数的卷积层，使输入特征矩阵与输出矩阵直接相加再送入激活函数层；而其他三种残差块的输入特征矩阵经下采样处理之后再与输出矩阵进行相加送入激活函数层；
ResNet50将上述四种残差块的数量分别设置为3、4、6、3，输入特征矩阵首先经过一个卷积层并进行归一化处理，然后输入残差块集合按顺序进行计算，最后经过全接连层进行维度转换输出分类结果；
(3)添加激活函数层、池化层、批量标准化层、激活函数层以及末尾的全连接层以保证残差网络的高效训练和正确输出；
(4)对全连接层的输出结果利用Softmax分类器进行特征分类，计算每种分类的概率大小，并选取概率最大者输出预测标签；
(5)初始化残差网络，选择Nadam优化器并设置学习率，利用收集到的数据集对残差网络ResNet50进行训练，并保存训练完成后的网络参数用于识别用户行为。
2.根据权利要求1所述的方法，其特征在于，所述步骤三中，WiFi‑CSI数据的数据预处理过程如下：(1)空间变换与相位转换
首先根据相位变换原则，对收集的WiFi‑CSI数据中的原始随机相位进行数学化处理，以消除原始随机相位的偏移量，得到具有规律性的相位信息；
选用离散小波变换，保留时域特征和频域特征的同时，压缩提取出的波形数据量，降低直接用提取的按键波形形状作为按键的特征来建立分类器的过程中会付出的计算代价；对滤波后的信号进行主成分分析处理，达到降维去噪的效果；采用小波变换阀值算法，去噪过程为：先通过小波基和分解层数将原始信号分解，再对分解结果进行阀值处理，最后进行小波重构，得到处理后的信号；
对去噪后的WiFi‑CSI数据进行分割，截取不同行为的数据，提取出各行为的数据特征，最终生成稀疏矩阵；
将训练集和验证集送入残差网络ResNet50进行训练并用预测集检测网络训练效果。
3.根据权利要求1或2所述的方法，其特征在于，所述步骤四中，GUI控制端开发流程如下：(1)根据需求设计交互界面外观，确定需要实现的功能
所述监测界面分为WiFi‑CSI信号可视化动态图像区域、室内真实环境监控区域和监测到的行为展示列表；其中，WiFi‑CSI信号可视化动态图像用来观察整个监测过程WiFi‑CSI信号是否正常变化；室内真实环境监控区域用来评估系统是否根据采集到的WiFi‑CSI信号正确识别出人类行为；行为展示列表用来展示监测到的行为以及是否属于异常行为；此外，此界面还设有触发警报按钮，当监测到异常行为后，系统不仅会给出应对措施，必要时还可以触发警报；
所述日志界面需要实现根据给定时间范围展示此范围内所有的行为信息及处理措施；
(2)利用PyQt5实现GUI控制端上述界面的功能；
GUI控制端需要将监测到的行为信息和相应的应对措施存入数据库，通过在日志界面设置查询时间跨度，控制端后台会从数据库中筛选出监测时间位于时间跨度内的所有行为信息输出到界面展示；
经测试，GUI控制端可以根据采集到的WiFi‑CSI数据利用后台的残差网络ResNet50成功识别出各种行为，并将行为信息和应对措施输出展示。
一种基于WiFi信号感知的物联网家居智能防护系统及方法
技术领域
[0001] 本发明属于入侵检测技术领域，涉及一种基于WiFi信号感知的物联网家居智能防护系统及方法，本发明利用家庭中常见的WiFi信号，对其中的CSI(Channel State Information信道状态信息)进行采样，通过训练改进后的深度学习算法模型实现对物联网家居环境中人类目标的异常行为进行识别，配合特有的异常行为制定策略建立一个跨层的智能防护系统实现对异常行为的识别和中止。
背景技术
[0002] 随着移动通信技术、互联网技术以及人工智能应用的不断发展，智能家居成为家居系统发展的方向和趋势所在。然而，人们在享受到智能便捷服务的同时，也应该思考这些物联网产品背后存在的信息安全隐患。由于智能家居中包含大量物联网设备需要接入到互联网进行数据交换，因此存在很大的安全风险，由此引发的问题也遍及世界各地。例如，远程攻击者可能会劫持应用程序，通过互联网播放音乐来干扰用户。针对这些问题，各国都在积极探索如何提高智能家居的安全性，如何有效保护用户隐私，如何抵御外界黑客对用户的入侵以及如何提高室内入侵检测系统的检测精度和保密性。目前国内外已经出现了许多采用不同设备(例如摄像机和红外设备)的入侵检测系统，但是，这些检测系统存在隐私性差和专用设备部署成本较高等缺点。本发明针对上述问题，以常见的WiFi信号为研究对象寻求入侵检测方法。WiFi信号覆盖广泛、是一种普适信号，然而目前对于WiFi信号的应用仅限于互联网末端的数据通信，并没有挖掘其潜在的应用价值。WiFi‑CSI信号记录其在每条传输路径上的衰减因子，其中蕴含了包括散射、距离衰减等信息。经多径传播的WiFi‑CSI信号携带了大量传播路径上的环境信息，因此从WiFi‑CSI中可以挖掘出信号中隐含的环境信息。本发明在此基础上设计并实现了低成本、高精度、隐私性好的物联网家居智能防护系统。
发明内容
[0003] 本发明解决的问题是如何运用物理层的WiFi‑CSI数据，通过深度学习算法模型实现对异常行为的评判与识别。本发明以无源感知为研究内容，实现了一种基于深度学习的高精度识别系统，结合WiFi‑CSI信号处理、深度学习等技术，最终为深度学习技术在无源感知异常行为的评判与识别领域的应用提供了理论依据和实践经验。
[0004] 本发明基于WiFi‑CSI信号感知环境行为原理，利用无源感知技术和普通无线路由器实现环境感知，通过分析WiFi‑CSI数据，实现被动式人员行为检测，包括识别人的位置，姿势动作以及其他环境特征，建立一个考虑用户行为的跨层智能防护系统。本发明利用深度学习算法将初始数据的“低层”特征表示转化为“高层”抽象特征，从而利用标签信息发现隐藏在数据中的规律，进而完成复杂的分类学习任务，达到准确识别智能家居环境中人类异常行为的目标。本发明设计的异常行为监测系统为克服现有人类目标行为信息识别过程中隐私保护性差、安全性低及其带来的高成本花销问题，提供了一种基于WiFi信号感知的异常行为的评判和识别方法。
[0005] 本发明的技术方案：
[0006] 一种基于WiFi信号感知的物联网家居智能防护系统，包括WiFi信号发送设备、WiFi信号接收机、GUI(Graphical User Interface，图形用户界面)控制端和数据库。
[0007] 所述的WiFi信号发送设备和WiFi信号接收机均搭载无线网卡，二者相隔置于房间内；WiFi信号发送设备用于发送带有CSI信息的WiFi信号，WiFi信号接收机用于获取环境中的WiFi‑CSI信息并保存。
[0008] 所述的GUI控制端为桌面应用端，GUI控制端首先对WiFi‑CSI信号接收机捕获的数据进行预处理，然后通过训练好的残差网络ResNet50对异常行为进行评判和识别，并与数据库相通信，将监测行为及预警数据和应对措施保存至数据库用于记录监测日志，并对用户的异常行为进行实时监控和预警。
[0009] 一种基于WiFi信号感知和深度学习的异常行为监测方法，具体步骤如下：
[0010] 步骤一：WiFi信号发送设备负责发送WiFi‑CSI数据，WiFi信号接收机收集空环境下WiFi‑CSI数据。
[0011] 步骤二：异常行为监测任务的参与者们Wn＝{w1,w2,...,wN}进入监测环境中，并根据监测任务需求做出相应的动作，对WiFi信道状态信息造成扰动，此时WiFi信号接收机将收集到的WiFi‑CSI数据保存。
[0012] 步骤三：监测者对步骤二收集到的WiFi‑CSI数据进行数据预处理，然后利用深度学习算法建立模型——残差网络ResNet50，将预处理得到的数据输入残差网络ResNet50进行训练，并在训练完成后保存网络参数。
[0013] 步骤四：监测者利用GUI控制端发出一系列监测任务需求，此时，WiFi信号发送设备发送WiFi‑CSI数据给WiFi信号接收机，GUI控制端后台对WiFi‑CSI信息的数据预处理并利用训练好的残差网络ResNet50识别当前行为，根据后台预设的异常行为列表判断该行为是否异常，同时输出检测到的行为信息及应对措施并存入数据库备份。
[0014] 所述步骤三中的WiFi‑CSI信息的数据预处理，具体步骤如下：
[0015] (1)空间变换与相位转换。为使最终得到的WiFi‑CSI数据可以通过相位来区分不同的信道状态，因此在预处理阶段，首先根据相位变换原则，对收集的WiFi‑CSI数据中的原始随机相位进行数学化处理，以消除原始随机相位的偏移量，得到具有明显规律性的相位信息。
[0016] (2)低通滤波与去噪。选用离散小波变换(Discrete Wavelet Transform‑DWT)，保留时域特征和频域特征的同时，压缩提取出的波形数据量，降低直接用提取的按键波形形状作为按键的特征来建立分类器的过程中会付出的计算代价。对滤波后的信号进行PCA(principal component analysis，主成分分析)处理，达到降维去噪的效果。本发明采用小波变换阀值算法，去噪过程为：先通过合理的小波基和分解层数将原始信号分解，再对分解结果进行阀值处理，最后是小波重构，得到处理后的信号。
[0017] (3)数据分割与特征提取。对去噪后的WiFi‑CSI数据进行分割，截取不同行为的数据，提取出各行为的数据特征，最终生成稀疏矩阵。
[0018] (4)将数据集划分为训练集、验证集和预测集。将训练集和验证集送入残差网络ResNet50进行训练并用预测集检测网络训练效果。
[0019] 所述步骤三中的深度学习算法模型的构建步骤如下：
[0020] (1)构建基本的ResNet残差块。残差块总共有四种类型，四种残差块中3×3卷积层包含的卷积核数量依次增加，分别为64、128、256和512。其中，第一种残差块内部采用两个相同通道数的卷积层，使输入特征矩阵与输出矩阵直接相加再送入激活函数层；而其他三种残差块的设计略有不同，主要体现在残差连接的方式上，输入特征矩阵并没有像第一个残差块那样直接加到输出矩阵，而是经下采样处理之后再与输出矩阵进行相加送入激活函数层。
[0021] (2)设计ResNet50的内部结构。ResNet50将上述四种残差块的数量分别设置为3、4、6、3，输入特征矩阵首先经过一个卷积层并进行归一化处理，然后输入残差块集合按顺序进行计算最后经过全接连层进行维度转换输出分类结果。
[0022] (3)添加激活函数层、池化层、批量标准化层、激活函数层以及末尾的全连接层以保证残差网络的高效训练和正确输出。
[0023] (4)对全连接层的输出结果利用Softmax分类器进行特征分类，计算每种分类的概率大小，并根据概率大小(选取概率最大者)输出预测标签。
[0024] (5)初始化残差网络，选择Nadam优化器并设置学习率等参数，利用收集到的数据集对残差网络ResNet50进行训练，并保存训练完成后的网络参数用于识别用户行为。
[0025] 所述步骤四中的GUI控制端开发流程如下：
[0026] (1)首先根据需求设计交互界面外观，确定需要实现的功能。本发明的异常行为监测系统包括两个界面：监测界面和日志界面。监测界面大体分为三部分，分别是WiFi‑CSI信号可视化动态图像区域、室内真实环境监控区域以及监测到的行为展示列表。其中，WiFi‑CSI信号可视化动态图像用来观察整个监测过程WiFi‑CSI信号是否正常变化，室内真实环境监控区域用来评估系统是否根据采集到的WiFi‑CSI信号正确识别出人类行为，行为展示列表用来展示监测到的行为以及是否属于异常行为。此外，此界面还设有触发警报按钮，当监测到异常行为后，系统不仅会给出应对措施，必要时还可以触发警报。日志界面需要实现根据给定时间范围展示此范围内所有的行为信息及处理措施。
[0027] (2)根据设计完成的界面编写代码实现各部分功能。本发明的GUI控制端利用PyQt5实现，并使用多线程管理等技术加快响应速度，提高用户体验。
[0028] (3)配置本地数据库。GUI控制端需要将监测到的行为信息和相应的应对措施存入数据库，通过在日志界面设置查询时间跨度，控制端后台会从数据库中筛选出监测时间位于时间跨度内的所有行为信息输出到界面展示。
[0029] (4)进行软件测试。经测试，GUI控制端可以根据采集到的WiFi‑CSI数据利用后台的残差网络ResNet50成功识别出各种行为，并将行为信息和应对措施输出展示。
[0030] 本发明的有益效果：
[0031] 相比其他人类目标行为识别的方法，本发明利用WiFi感知技术来监测人体活动信息，即保障智能家居的安全，也可以保证系统的检测精度和人类目标特定行为识别的准确率，解决了传统监测系统隐私性差和需要专用设备的缺点。本发明通过开发一个异常行为监测系统界面实现在终端控制智能防护系统的行为，并通过WiFi感知技术将用户的行为与状态列入安全系统的考虑范围，降低使用门槛，不仅策略灵活，还适应高度动态的智能家居系统；不仅考虑应用程序的既定约束策略，还将用户实时行为纳入考虑范畴，综合考虑应用程序和用户行为这两方面的状态来制定适当的安全策略，解决智能家居系统不够人性化的问题，更好的鼓励参与者使用智能家居。
附图说明
[0032] 图1是本发明的异常行为监测流程场景图。
[0033] 图2是本发明的异常行为监测流程时序图。
[0034] 图3是WiFi信号的采集及预处理流程示意图。
[0035] 图4是深度学习异常行为识别算法流程图。
[0036] 图5是残差网络ResNet50的网络结构图。
[0037] 图6是残差网络ResNet50中包含的残差块结构图。
具体实施方式
[0038] 为了使本发明的目的、技术方案及优点更加清楚明白，下面将结合附图，对本发明的具体实施方式进行详细的描述。
[0039] 图1为本发明的异常行为监测流程场景图，本发明涉及的智能防护系统由WiFi信号发送设备、WiFi信号接收机、参与者、监测者、GUI控制端和数据库构成，监测者通过GUI控制端进行控制，参与者产生一系列动作，此时WiFi信号接收机获取WiFi‑CSI数据。这些数据经过预处理后，再送入残差网络ResNet50进行识别，根据后台预设的异常行为列表判断该行为是否异常，同时输出检测到的行为信息及应对措施并存入数据库备份。
[0040] 图2为本发明的异常行为监测流程时序图，本发明提供一种基于WiFi信号感知的异常行为监测流程，具体包括以下步骤：
[0041] 步骤一：WiFi信号发送设备负责发送WiFi‑CSI数据，WiFi信号接收机收集空环境下WiFi‑CSI数据。
[0042] 步骤二：异常行为监测任务的参与者们Wn＝{w1,w2,...,wN}进入监测环境中，并根据监测任务需求做出相应的动作，对WiFi信道状态信息造成扰动，此时WiFi信号接收机将收集到的WiFi‑CSI数据保存。
[0043] 步骤三：监测者对步骤二收集到的WiFi‑CSI数据进行数据预处理，然后利用深度学习算法建立模型——残差网络ResNet50，将预处理得到的数据输入残差网络进行训练，并在训练完成后保存网络参数。
[0044] 步骤四：监测者利用GUI控制端发出一系列监测任务需求，此时，WiFi信号发送设备发送WiFi‑CSI数据给WiFi信号接收机，GUI控制端后台对WiFi‑CSI信息的数据预处理并利用训练好的残差网络ResNet50识别当前行为，根据后台预设的异常行为列表判断该行为是否异常，同时输出检测到的行为信息及应对措施并存入数据库备份。
[0045] 图3为WiFi‑CSI数据的采集及预处理流程示意图，其中，数据预处理具体步骤如下：
[0046] (1)空间变换与相位转换。为使最终得到的WiFi‑CSI数据可以通过相位来区分不同的信道状态，因此在预处理阶段，首先根据相位变换原则，对收集的WiFi‑CSI数据中的原始随机相位进行数学化处理，以消除原始随机相位的偏移量，得到具有明显规律性的相位信息。
[0047] (2)低通滤波与去噪。选用离散小波变换(Discrete Wavelet Transform‑DWT)，保留时域特征和频域特征的同时，压缩提取出的波形数据量，降低直接用提取的按键波形形状作为按键的特征来建立分类器的过程中会付出的计算代价。对滤波后的信号进行PCA(principal component analysis，主成分分析)处理，达到降维去噪的效果。本实施例采用小波变换阀值算法，去噪过程为：先通过合理的小波基和分解层数将原始信号分解，在对分解结果进行阀值处理，最后是小波重构，得到处理后的信号。
[0048] (3)数据分割与特征提取。对去噪后的WiFi‑CSI数据进行分割，截取不同行为的数据，提取出各行为的数据特征，最终生成稀疏矩阵。
[0049] (4)将数据集划分为训练集、验证集和预测集。将训练集和验证集送入残差网络ResNet50进行训练并用预测集检测网络训练效果。
[0050] 在详解本发明深度学习算法模型的具体建立步骤前，对问题进行以下描述：
[0051] 首先，通过实验收集了智能家居环境中各类异常行为数据送入神经网络进行训练与预测，分析神经网络对CSI信号的识别能力，根据实验结果不断调整神经网络的结构及参数，进而提高本发明的可行性。最终本发明确定采用深度残差网络ResNet50作为主要结构，并对参数进行优化提高识别准确率。利用服务器将收集的各类异常行为数据送入神经网络进行训练和预测，将训练完成的网络参数保存至文件中。
[0052] 图4为本发明采用的异常行为识别算法流程图，采用了残差网络ResNet50进行识别，残差网络ResNet50构建过程具体包括以下步骤：
[0053] (1)构建基本的ResNet残差块。残差块总共有四种类型，四种残差块中3×3卷积层包含的卷积核数量依次增加，分别为64、128、256和512。其中，第一种残差块内部采用两个相同通道数的卷积层，使输入特征矩阵与输出矩阵直接相加再送入激活函数层；而其他三种残差块的设计略有不同，主要体现在残差连接的方式上，输入特征矩阵并没有像第一个残差块那样直接加到输出矩阵，而是经下采样处理之后再与输出矩阵进行相加送入激活函数层。
[0054] (2)设计ResNet50的内部结构。ResNet50将上述四种残差块的数量分别设置为3、4、6、3，输入特征矩阵首先经过一个卷积层并进行归一化处理，然后输入残差块集合按顺序进行计算最后经过全接连层进行维度转换输出分类结果。
[0055] (3)添加激活函数层、池化层、批量标准化层、激活函数层以及末尾的全连接层以保证残差网络的高效训练和正确输出。本实施例将全连接层节点数设置为6，即给出6类异常行为，分别是：门锁未关、参与者不在床上但闹钟未关、婴儿位于窗边、参与者处于办公状态但音响未关、电视机处于打开状态但长时间无人观看以及参与者坐立不安。
[0056] (4)对全连接层的输出结果利用Softmax分类器进行特征分类，计算每种分类的概率大小，并根据概率大小(选取概率最大者)输出预测标签。
[0057] (5)初始化残差网络，选择Nadam优化器并设置学习率为0.005，利用收集到的数据集对残差网络ResNet50进行训练，并保存训练完成后的网络参数用于识别用户行为。经训练，残差网络ResNet50可以识别出上述六类异常行为。
[0058] 图5为残差网络ResNet50的网络结构图。进一步解释了上述残差网络ResNet50构建步骤中涉及到的各残差块的参数。
[0059] 图6为残差网络ResNet50中包含的残差块结构图。进一步解释了上述残差网络ResNet50构建步骤中涉及到的各残差块的内部结构。
[0060] 本发明基于上述方法开发了一个用于智能家居异常行为监测的GUI控制端，可以实现监测过程中监控画面展示和WiFi‑CSI信号可视化，GUI控制端后台利用训练完成的ResNet50网络实现异常行为的识别，并将识别的行为信息和具体应对措施输出展示。GUI控制端具体开发流程如下：
[0061] (1)首先根据需求设计交互界面外观，确定需要实现的功能。本发明的异常行为监测系统包括两个界面：监测界面和日志界面。监测界面大体分为三部分，分别是WiFi‑CSI信号可视化动态图像区域、室内真实环境监控区域以及监测到的行为展示列表。其中，WiFi‑CSI信号可视化动态图像用来观察整个监测过程WiFi‑CSI信号是否正常变化，室内真实环境监控区域用来评估系统是否根据采集到的WiFi‑CSI信号正确识别出人类行为，行为展示列表用来展示监测到的行为以及是否属于异常行为。此外，此界面还设有触发警报按钮，当监测到异常行为后，系统不仅会给出应对措施，必要时还可以触发警报。日志界面需要实现根据给定时间范围展示此范围内所有的行为信息及处理措施。
[0062] (2)根据设计完成的界面编写代码实现各部分功能。本发明的GUI控制端利用PyQt5实现，并使用多线程管理等技术加快响应速度，提高用户体验。
[0063] (3)配置本地数据库。GUI控制端需要将监测到的行为信息和相应的应对措施存入数据库，通过在日志界面设置查询时间跨度，控制端后台会从数据库中筛选出监测时间位于时间跨度内的所有行为信息输出到界面展示。
[0064] (4)进行软件测试。经测试，GUI控制端可以根据采集到的WiFi‑CSI数据利用后台的残差网络ResNet50成功识别出各种行为，并将行为信息和应对措施输出展示。
