本发明公开了一种基于深度学习的信道状态信息人类活动识别方法及系统，所述方法主要包括利用Wi-Fi信号检测人类行为的CSI信息和利用深度神经网络对人类行为感知CSI训练两个部分；其中，首先获取Wi-Fi信号对人类活动的感知数据，利用多种不同的数字信号处理技术对数据进行处理；利用预训练CNN对经过上述过程得到的数据进行训练，最后利用Alexnet对数据进行分类。本发明的人类活动识别方法，使用Wi-Fi/RF信号执行感知识别任务，不需要任何可穿戴传感器或特殊系统等额外的成本即可进行使用。
1.一种基于深度学习的信道状态信息人类活动识别方法，其特征在于，包括以下步骤：步骤1，数据采集及预处理，包括：
1.1)基于无线网卡，采集室内环境下的人体动作对应肢体动作对Wi-Fi信道状态造成影响的信息，获得CSI信息，形成数据集；
1.2)对步骤1.1)获得的CSI信息中的子载波进行预处理，获得预处理后的子载波信号；
1.3)对转换到时域的预处理后的子载波信号进行降采样，获得降采样后的子载波信号；其中，采样频率由50Hz～100Hz的范围降低至5Hz～10Hz的频率范围；
1.4)对降采样后的子载波信号进行连续小波变换，获得连续小波变换后的子载波信号；
1.5)将连续小波变换后的子载波信号进行合成，获得人体动作的功率谱；
2.1)选取Alexnet作为预训练网络；其中，Alexnet在ImageNet上完成了预训练；所述Alexnet的构造为15～35层的含有12～36个连接的CNN网络，后接一个3～16层的深度神经网络；
2.2)将根据步骤1获得的不同样本的功率谱输入步骤2.1)的Alexnet，设置初始训练参数，进行训练，获得训练好的动作识别网络模型；其中，输入大小为227*227*3，前两个值表示二维矩阵的大小，第三个值表示图像的颜色信道；
步骤3，基于步骤2.2)获得的训练好的动作识别网络模型，完成人类活动识别。
2.根据权利要求1所述的一种基于深度学习的信道状态信息人类活动识别方法，其特征在于，步骤1.1)中，肢体动作包括：屈膝、抬左腿、抬右腿、抬左手、抬右手。
3.根据权利要求1所述的一种基于深度学习的信道状态信息人类活动识别方法，其特征在于，步骤1.2)中，平滑处理，用于使整个信号趋近于一个近似信号，展现整个信号中最突出的特征；
消噪处理，使用Hampel filter对经过平滑处理过的子载波信号进行噪声消除处理，对离群值进行剔除；其中，将Hampel filter窗口在信号上滑动，在所有情况下只要窗口中值大于中位数，便将其视为离群值，并用中位数将其取代。
4.根据权利要求1所述的一种基于深度学习的信道状态信息人类活动识别方法，其特征在于，步骤1.4)中，选择Morlet wavelet簇作为母波。
5.根据权利要求1所述的一种基于深度学习的信道状态信息人类活动识别方法，其特征在于，步骤2.1)中的Alexnet的CNN包括三种神经网络层，分别是：卷积层，用于使用不同的内核对图像进行遍历来搜索各种模式，并寻找边缘、拐角；
线性规整单元层，用于将每次计算得到的负数值转换为0值，以降低计算复杂度；
softmax层，用于对每个分数进行统计预测并给出最终概率。
6.根据权利要求1所述的一种基于深度学习的信道状态信息人类活动识别方法，其特征在于，步骤3具体包括：
3.1)基于无线网卡对待检测的人体活动进行信道状态检测，获得人体活动信号；
3.2)将3.1)检测到的人体活动信号输入步骤2训练好的动作识别网络模型；
3.3)通过模型输出最终的人体活动类型的检测结果。
7.根据权利要求1所述的一种基于深度学习的信道状态信息人类活动识别方法，其特征在于，步骤1.2)还包括：将预处理后的子载波信号转换到时域。
8.根据权利要求1所述的一种基于深度学习的信道状态信息人类活动识别方法，其特征在于，步骤2.2)还包括：训练完成后，对预设比例的功率谱数据进行分类精度测试。
9.一种基于深度学习的信道状态信息人类活动识别系统，其特征在于，包括：数据采集及预处理模块，用于基于无线网卡，采集室内环境下的人体动作对应肢体动作对Wi-Fi信道状态造成影响的信息，获得CSI信息，形成数据集；用于对获得的CSI信息中的子载波进行预处理，获得预处理后的子载波信号；所述预处理包括：平滑处理和消噪处理；用于对转换到时域的预处理后的子载波信号进行降采样，获得降采样后的子载波信号；
其中，采样频率由50Hz～100Hz的范围降低至5Hz～10Hz的频率范围；用于对降采样后的子载波信号进行连续小波变换，获得连续小波变换后的子载波信号；用于将连续小波变换后的子载波信号进行合成，获得人体动作的功率谱；
网络模型训练及分类模块，用于选取Alexnet作为预训练网络；其中，Alexnet在ImageNet上完成了预训练；所述Alexnet的构造为15～35层的含有12～36个连接的CNN网络，后接一个3～16层的深度神经网络；用于将获得的不同样本的功率谱输入Alexnet，设置初始训练参数，进行训练，获得训练好的动作识别网络模型；其中，输入大小为227*227*3，前两个值表示二维矩阵的大小，第三个值表示图像的颜色信道；
输入模块，用于将待检测的人体活动类型输入训练好的动作识别网络模型，完成人类活动识别。
一种基于深度学习的信道状态信息人类活动识别方法及系统
技术领域
[0001] 本发明属于人工智能技术领域，特别涉及一种基于深度学习的信道状态信息(Channel State Information，CSI)人类活动识别方法及系统。
背景技术
[0002] 近年来，随着科学技术的发展，数字信号处理中的人类活动识别已经成为研究领域的一个重要课题。随着人类活动识别在秩序、安全、健康等诸多领域的广泛应用，越来越多的新方法被发现和研究，以实现人类活动识别的目标。
[0003] 如今，在人体活动识别(HAR)、人体计数、定位、手势识别、人体识别、呼吸监测、心率监测等方面已经有了许多方法，不过这些方法都需要一些可穿戴传感器或相机，并且只有在一定的条件下才能工作；在人类活动识别的研究方面，相机设备已经不再是一个好的解决方案，因为它们需要视线(LOS)与良好的光线条件才能获得一个良好的结果，并且也带来了一些隐私安全方面的问题。
[0004] 此外，还有一些传感技术，例如：超声波，雷达和虚拟视觉技术，使用这些技术所需要的成本通常十分昂贵，并且需要专门的设备和环境，而我们遇到的绝大多数实际情况通常无法提供我们所需要的环境、设备以及技术条件，比如远程医疗，通用监测等。
[0005] 综上，亟需一种新的不需要主体(人类)穿戴像陀螺仪、加速度计等任何传感器，不需要特殊环境，并且所需仪器、技术条件等可以很容易在市场上获得的人类活动识别方法。
发明内容
[0006] 本发明的目的在于提供一种基于深度学习的信道状态信息人类活动识别方法及系统，以解决上述存在的一个或多个技术问题。本发明的人类活动识别方法，使用Wi-Fi/RF信号执行感知识别任务，不需要任何可穿戴传感器或特殊系统等额外的成本即可进行使用。
[0007] 为达到上述目的，本发明采用以下技术方案：
[0008] 本发明的一种基于深度学习的信道状态信息人类活动识别方法，包括以下步骤：
[0009] 步骤1，数据采集及预处理，包括：
[0010] 1.1)基于无线网卡，采集室内环境下的人体动作对应肢体动作对Wi-Fi信道状态造成影响的信息，获得CSI信息，形成数据集；
[0011] 1.2)对步骤1.1)获得的CSI信息中的子载波进行预处理，获得预处理后的子载波信号；所述预处理包括：平滑处理和消噪处理；
[0012] 1.3)对转换到时域的预处理后的子载波信号进行降采样，获得降采样后的子载波信号；其中，采样频率由50Hz～100Hz的范围降低至5Hz～10Hz的频率范围；
[0013] 1.4)对降采样后的子载波信号进行连续小波变换，获得连续小波变换后的子载波信号；
[0014] 1.5)将连续小波变换后的子载波信号进行合成，获得人体动作的功率谱；
[0015] 步骤2，训练网络模型及分类，包括：
[0016] 2.1)选取Alexnet作为预训练网络；其中，Alexnet在ImageNet上完成了预训练；所述Alexnet的构造为15～35层的含有12～36个连接的CNN网络，后接一个3～16层的深度神经网络；
[0017] 2.2)将根据步骤1获得的不同样本的功率谱输入步骤2.1)的Alexnet，设置初始训练参数，进行训练，获得训练好的动作识别网络模型；其中，输入大小为227*227*3，前两个值表示二维矩阵的大小，第三个值表示图像的颜色信道；
[0018] 步骤3，基于步骤2.2)获得的训练好的动作识别网络模型，完成人类活动识别。
[0019] 本发明的进一步改进在于，步骤1.1)中，肢体动作包括：屈膝、抬左腿、抬右腿、抬左手、抬右手。
[0020] 本发明的进一步改进在于，步骤1.2)中，
[0021] 平滑处理，用于使整个信号趋近于一个近似信号，展现整个信号中最突出的特征；
[0022] 消噪处理，使用Hampel filter对经过平滑处理过的子载波信号进行噪声消除处理，对离群值进行剔除；其中，将Hampel filter窗口在信号上滑动，在所有情况下只要窗口中值大于中位数，便将其视为离群值，并用中位数将其取代。
[0023] 本发明的进一步改进在于，步骤1.4)中，选择Morlet wavelet簇作为母波。
[0024] 本发明的进一步改进在于，步骤2.1)中的Alexnet的CNN包括三种神经网络层，分别是：
[0025] 卷积层，用于使用不同的内核对图像进行遍历来搜索各种模式，并寻找边缘、拐角；
[0026] 最大池化层，用于逐步降采样，减少每次迭代的维数；
[0027] 线性规整单元层，用于将每次计算得到的负数值转换为0值，以降低计算复杂度；
[0028] Alexnet后接的深度神经网络包括：
[0029] 分类层，用于对数据集进行分类并输出；
[0030] 全连接层，用于对输出的每个类别的分数进行计数；
[0031] softmax层，用于对每个分数进行统计预测并给出最终概率。
[0032] 本发明的进一步改进在于，步骤3具体包括：
[0033] 3.1)基于无线网卡对待检测的人体活动进行信道状态检测，获得人体活动信号；
[0034] 3.2)将3.1)检测到的人体活动信号输入步骤2训练好的动作识别网络模型；
[0035] 3.3)通过模型输出最终的人体活动类型的检测结果。
[0036] 本发明的进一步改进在于，步骤1.2)还包括：将预处理后的子载波信号转换到时域。
[0037] 本发明的进一步改进在于，步骤2.2)还包括：
[0038] 训练完成后，对预设比例的功率谱数据进行分类精度测试。
[0039] 本发明的一种基于深度学习的信道状态信息人类活动识别系统，包括：
[0040] 数据采集及预处理模块，用于基于无线网卡，采集室内环境下的人体动作对应肢体动作对Wi-Fi信道状态造成影响的信息，获得CSI信息，形成数据集；用于对获得的CSI信息中的子载波进行预处理，获得预处理后的子载波信号；所述预处理包括：平滑处理和消噪处理；用于对转换到时域的预处理后的子载波信号进行降采样，获得降采样后的子载波信号；其中，采样频率由50Hz～100Hz的范围降低至5Hz～10Hz的频率范围；用于对降采样后的子载波信号进行连续小波变换，获得连续小波变换后的子载波信号；用于将连续小波变换后的子载波信号进行合成，获得人体动作的功率谱；
[0041] 网络模型训练及分类模块，用于选取Alexnet作为预训练网络；其中，Alexnet在ImageNet上完成了预训练；所述Alexnet的构造为15～35层的含有12～36个连接的CNN网络，后接一个3～16层的深度神经网络；用于将获得的不同样本的功率谱输入Alexnet，设置初始训练参数，进行训练，获得训练好的动作识别网络模型；其中，输入大小为227*227*3，前两个值表示二维矩阵的大小，第三个值表示图像的颜色信道；
[0042] 输入模块，用于将待检测的人体活动类型输入训练好的动作识别网络模型，完成人类活动识别。
[0043] 与现有技术相比，本发明具有以下有益效果：
[0044] 本发明的方法中，利用Wi-Fi信号检测由人类活动造成的CSI变化数据，利用多种信号处理技术对数据进行处理；根据捕获的人类活动的CSI数据进行深度学习，投入Alexnet中进行训练并分类，最终给出识别结果。本发明的人类活动识别方法，使用Wi-Fi/RF信号执行感知识别任务，不需要任何可穿戴传感器或特殊系统等额外的成本即可进行使用。本发明中，对人体活动的数据样本使用Wi-Fi(MIMO)及其正交频分多路(OFDM)进行捕获，并获得数据的不同子载波，然后利用数字处理技术对信号进行提纯；将处理后的数据投入深度神经网络中训练进行分类，最终输出识别任务的结果。本发明实施例中，利用Wi-Fi信号检测所产生的CSI数据进行人体活动识别，在实验室对CSI数据进行了理论和实验研究，证明了商品Wi-Fi可以用于高精度的人体活动识别。
[0045] 本发明中，利用卷积神经网络(CNN)进行分类；该设计使用迁移学习技术，因此使用已经训练好的神经网络来完成人类活动识别的分类任务，以使其更加健壮和高效。
[0046] 本发明的预处理中，对子载波信号进行的平滑处理使其减少额外的不必要的数据，并且使整个信号趋近于一个近似信号，这个信号只展现了整个信号中最突出的特征。信号被简化只保留近似值，以减少不需要的额外信号以及瞬态的不相关的信号变化。使用Hampel filter对经过平滑处理过的子载波信号进行噪声消除处理，并对离群值进行剔除。将Hampel filter窗口在信号上滑动，在所有情况下只要窗口中值大于中位数，便将其视为离群值，并用中位数将其取代。
附图说明
[0047] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0048] 图1是本发明实施例的一种基于深度学习的信道状态信息人类活动识别方法的流程示意框图；
[0049] 图2是本发明实施例中，预处理后功率谱示意图；
[0050] 图3是本发明实施例中，Alexnet的示意图；
[0051] 图4是本发明实施例中，模型训练过程示意图。
具体实施方式
[0052] 为使本发明实施例的目的、技术效果及技术方案更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例是本发明一部分实施例。基于本发明公开的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，都应属于本发明保护的范围。
[0053] 请参阅图1至图4，本发明实施例的一种基于深度学习的信道状态信息人类活动识别方法，包括以下步骤：
[0054] 步骤1，预处理过程，包括：
[0055] 步骤1.1，采用基于高性能商用无线网卡，对室内环境下的人体运动对Wi-Fi信道状态造成影响的信息进行采集，即CSI信息。
[0056] 本发明实施例中，步骤1.2，可以有五种不同的人体动作，分别是屈膝、抬左腿、抬右腿、抬左手和抬右手。每一种动作都会对CSI信息造成不同的影响效果，现对由每一种动作造成变化的子载波进行预处理。
[0057] 步骤1.3，对采集得到的子载波信号进行平滑处理，并对其携带的大量噪声信号进行消除处理。
[0058] 平滑处理，包括，对子载波信号进行的平滑处理使其减少额外的不必要的数据，并且使整个信号趋近于一个近似信号，这个信号只展现了整个信号中最突出的特征。信号被简化只保留近似值，以减少不需要的额外信号以及瞬态的不相关的信号变化。
[0059] 消噪处理，包括：使用Hampel filter对经过平滑处理过的子载波信号进行噪声消除处理，并对离群值进行剔除。将Hampel filter窗口在信号上滑动，在所有情况下只要窗口中值大于中位数，便将其视为离群值，并用中位数将其取代。
[0060] 步骤1.4，把样本总数除以3.5，3.5s是人体运动的平均时间，得到的结果就是信号从0s开始计时的频率。
[0061] 步骤1.5，对转换到时域的信号进行降采样。通过降低采样率的方式对信号进行向下采样，采样频率由50Hz到100Hz的范围，降低至5Hz到10Hz的频率范围。
[0062] 步骤1.6，对经过降采样的信号进行连续小波变换(CWT)。使用CWT映射与人体运动相关的各数据的演化属性。
[0063] 本发明实施例选择Morlet wavelet簇作为母波。
[0064] 步骤1.7，对子载波进行合成处理。在对信号应用了上述所有的处理技术后，最终得到了多种信号。每个数据样本作为一次运动的整体表示，来反映不同的人体各部位的移动，其中的每一次移动对子载波造成的影响都是不同的，对所有形式的子载波进行合成处理，最终生成代表一个完整活动的每个数据样本的功率谱，该功率谱由所有经过处理的子载波经过叠加组合而成。
[0065] 步骤2，分类过程，包括：
[0066] 利用卷积神经网络(CNN)进行分类。该设计使用迁移学习技术，因此使用已经训练好的神经网络来完成人类活动识别的分类任务，以使其更加健壮和高效。
[0067] 选取Alexnet作为预训练网络。Alexnet已经在ImageNet上完成了训练，其构造为15层到35层的含有12到36个连接的CNN网络，后接一个3层到16层的深度神经网络。
[0068] 将1500到3000个不同样本的功率谱输入Alexnet；输入大小为227*227*3，前两个值表示二维矩阵的大小，第三个值表示图像的颜色信道。
[0069] 本发明实施例中，Alexnet的CNN有三种神经网络层，分别是：
[0070] a.卷积层：其作用是使用不同的内核对图像进行遍历来搜索各种模式，并寻找边缘、拐角等模式。
[0071] b.最大池化层：用来逐步降采样，以减少每次迭代的维数。
[0072] c.线性规整单元(ReLu)层：其作用是将每次计算得到的负数值转换为0值，以降低计算复杂度。
[0073] 该Alexnet剩下网络层分别是：
[0074] a.分类层：用于对数据集进行分类并输出。
[0075] b.全连接层：对输出的每个类别的分数进行计数。
[0076] c.softmax层：对每个分数进行统计预测并给出最终概率。
[0077] 在这之后，将首先加载预训练的网络，并改变类参数的数量，由于在全连接层里默认值为1000，该实验共有五类，故将其改为5，因为在我们的情况下，类的数量是5。接下来，设置初始训练参数，如学习率、小批量大小、epoch等。之后，开始训练直至得到最终结果，如果效果仍有提升空间，可以做超参数调优。
[0078] 步骤3，建立过程，包括：
[0079] 本发明实施例中，捕获数据后的第一步是对有噪声的原始CSI数据的预处理，为此使用了不同的滤波器，应用顺序如下：
[0080] 3.1)在一个数据样本中，for i＝1:30联合所有30个子载波。
[0081] 3.2)对所有的联合子载波应用Hampel Filter，对其进行消噪处理。
[0082] 3.3)将信号转换到时域。
[0083] 3.4)对信号进行降采样。
[0084] 3.5)对信号进行连续小波变换。
[0085] 3.6)经过上述步骤后，生成2500张所有联合子载波的图像。
[0086] 3.7)随机选取上述数据的15％作为验证数据，85％作为训练数据，最后将其投入到预训练好的卷积神经网络Alexnet中。具体步骤如下：
[0087] a.选择带有标签的培训和测试数据集。
[0088] b.加载预训练的卷积神经网络Alexnet。
[0089] c.定义学习速率、批量大小和全连接层。
[0090] d.在功率谱上运行训练过程，并使用真实值。
[0091] 3.8)训练完成后，对85％的功率谱数据进行分类精度测试。具体步骤如下：
[0092] a.根据学习的属性对测试数据进行分类。
[0093] b.输出精度和混淆矩阵。
[0094] 本发明实施例的一种基于深度学习的信道状态信息人类活动识别系统，包括：
[0095] 数据采集及预处理模块，用于基于无线网卡，采集室内环境下的人体动作对应肢体动作对Wi-Fi信道状态造成影响的信息，获得CSI信息，形成数据集；用于对获得的CSI信息中的子载波进行预处理，获得预处理后的子载波信号；所述预处理包括：平滑处理和消噪处理；用于对转换到时域的预处理后的子载波信号进行降采样，获得降采样后的子载波信号；其中，采样频率由50Hz～100Hz的范围降低至5Hz～10Hz的频率范围；用于对降采样后的子载波信号进行连续小波变换，获得连续小波变换后的子载波信号；用于将连续小波变换后的子载波信号进行合成，获得人体动作的功率谱；
[0096] 网络模型训练及分类模块，用于选取Alexnet作为预训练网络；其中，Alexnet在ImageNet上完成了预训练；所述Alexnet的构造为15～35层的含有12～36个连接的CNN网络，后接一个3～16层的深度神经网络；用于将获得的不同样本的功率谱输入Alexnet，设置初始训练参数，进行训练，获得训练好的动作识别网络模型；其中，输入大小为227*227*3，前两个值表示二维矩阵的大小，第三个值表示图像的颜色信道；
[0097] 输入模块，用于将待识别数据输入训练好的动作识别网络模型，完成人类活动识别
[0098] 本发明公开了一种基于深度学习技术的CSI人类活动识别方法及系统，主要包括利用Wi-Fi信号检测人类行为的CSI信息和利用深度神经网络对人类行为感知CSI训练两个部分。本发明采用的技术方案为：首先获取Wi-Fi信号对人类活动的感知数据，利用多种不同的数字信号处理技术对数据进行处理。利用预训练CNN对经过上述过程得到的数据进行训练，最后利用Alexnet对数据进行分类。
[0099] 以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。
