本发明属于非接触式生理信号检测领域，涉及一种基于高光谱人脸视频的远程脉搏波重建方法，首先利用高光谱相机录制人脸视频，将录制好的人脸视频输入到光谱通道选择网络中，经过处理得到降维之后的特征；进一步的，将上一步得到的降维之后的特征输入进特征提取网络，输出为一段特征向量，最终将特征向量输入到信号重建网络中，得到重建的脉搏波信号。本发明通过光谱通道选择网络对大量的高光谱数据进行降维，提高了之后的推理速度；其次，在特征提取网络中，通过在组合数据集上的预训练加速了模型的收敛，并且通过注意力机制提高了网络对重要特征的关注程度；最后，在信号重建网络中，利用多层LSTM提取到网络的时序特征并以此对信号进行重建。
1.一种基于高光谱人脸视频的远程脉搏波重建方法，其特征在于，包括以下步骤：步骤一，利用高光谱相机录制人脸视频，利用血氧仪读取人右手指尖的脉搏波信号PPG；
步骤二，对血氧仪采集到的PPG信号进行下采样，与所述人脸视频频率保持一致，使每一帧视频都对应一个信号采样点；
步骤三，将录制好的高光谱人脸视频的每一帧图像送入光谱选择网络中，光谱选择网络利用通道注意力机制选择对输入的高光谱人脸图像进行降维筛选，输出降维后的特征图；
步骤四，将降维后的特征图输入至特征提取网络，得到提取后的特征向量，具体包括以下子步骤：
步骤4.1，预训练特征提取网络，具体为：采用组合数据集，包括同一个人的普通视频和红外视频，随机组合两种不同视频，如果是同一个人，则标签为1，反之则为0，利用交叉熵损失函数和梯度下降法来对特征提取网络进行预训练，训练次数为K次，训练结束保存特征提取网络模型参数；
步骤4.2，加载步骤4.1训练好的特征提取网络模型；
步骤4.3，将步骤三输出的降维后的特征图输入到训练好的特征提取网络，得到输出向量；
步骤 4.4，将步骤4.3得到的输出向量改变维度得到提取后的特征向量；
步骤五，对人脸视频的每一帧图像经过步骤三和步骤四操作，得到多维特征向量；
步骤六，将多维特征向量输入到信号重建网络，得到重建后的rPPG信号。
2.如权利要求1所述的一种基于高光谱人脸视频的远程脉搏波重建方法，其特征在于，所述步骤一，具体为：利用高光谱相机录制人脸视频，其中高光谱相机的波段为400nm‑
1000nm，一共有S个波段，采集帧率为M赫兹，分辨率为W*H；同时，利用血氧仪读取人右手指尖的脉搏波信号PPG，采样频率为N赫兹；所述视频和信号的采集周期为T 秒。
3.如权利要求2所述的一种基于高光谱人脸视频的远程脉搏波重建方法，其特征在于，所述步骤二，具体为：对血氧仪采集到的PPG信号进行下采样，将频率从N赫兹降为 M 赫兹，和视频频率保持一致，使得每一帧视频都可以对应一个信号采样点，采样后视频的帧数为T*M，血氧仪的采样点数也为T*M。
4.如权利要求1所述的一种基于高光谱人脸视频的远程脉搏波重建方法，其特征在于，所述步骤六，包括以下步骤：
步骤6.3，在对视频中所有帧进行步骤一至四的处理后，将得到的全部特征向量，按照时间顺序输入到信号重建网络中，利用多层LSTM提取到网络的时序特征并以此对PPG信号进行重建，得到重建后的rPPG信号。
5.如权利要求4所述的一种基于高光谱人脸视频的远程脉搏波重建方法，其特征在于，所述步骤6.1，具体为：利用损失函数为MSE和梯度下降法，通过合成数据集对信号重建网络进行预训练，训练结束后，保存训练好的当前参数为模型参数，所述合成数据集表达式为：其中，t为时间段， 为模拟心率频率， 为模拟呼吸频率， ， 为模拟心率信号与模拟呼吸信号的相位， 和 分别为模拟心率和模拟呼吸强度，step()为阶跃信号，t1和t2分别为阶跃信号的阈值，noise（1 ）和noise2（）分别为不同均值和标准差的高斯信号作为噪声；所述合成数据集对应的标签为通过模拟心率频率 所计算出的心率。
一种基于高光谱人脸视频的远程脉搏波重建方法
技术领域
[0001] 本发明涉及非接触式生理信号检测领域，尤其涉及一种基于高光谱人脸视频的远程脉搏波重建方法。
背景技术
[0002] 光电容积脉搏波信号是由于血液和其他组织成分对不同频段的光吸收程度不同，且血液本身在血管中的血液容积量会随着心脏的搏动而发生变化，因此在心脏收缩和舒张
的过程中，血液对光的吸收量也会随心脏收缩呈现出周期性的脉搏波动，这种波动反应在
视频传感器所接受到的信号变化即为PPG信号。通过摄像头采集到的人脸视频可以通过对
每帧图像进行像素计算，将每一帧计算出来的数值合成为一段信号，这就是原始的远程脉
搏波信号，即rPPG。
[0003] 高光谱图像是对图像在不同光谱波段的细致分割，通过区分不同的波段，得到不同的光谱通道，高光谱图像的理论依据是地球上每种元素及其化合物的光谱特性都不一
样，可以以此在特殊的波段进行区分；
[0004] 通过传统的R，G，B图像组成的视频来获取的原始rPPG信号噪声较大，这种噪声主要是来自图像采集设备，而高光谱图像可以选择合适的波段来减少外界噪声的干扰，但是
高光谱图像的应用存在数据量较大从而造成推理速度较慢而无法实际应用的问题。
发明内容
[0005] 为了解决现有技术中存在的上述技术问题，本发明提出了一种基于高光谱人脸视频的远程脉搏波重建方法，旨在通过深度学习的方法高效的从高光谱视频中对rPPG信号重
建，其具体技术方案如下：
[0006] 一种基于高光谱人脸视频的远程脉搏波重建方法，包括以下步骤：
[0007] 步骤一，利用高光谱相机录制人脸视频，利用血氧仪读取人右手指尖的脉搏波信号PPG；
[0008] 步骤二，对血氧仪采集到的PPG信号进行下采样，与所述人脸视频频率保持一致，使每一帧视频都对应一个信号采样点；
[0009] 步骤三，将录制好的高光谱人脸视频的每一帧图像送入光谱选择网络中，光谱选择网络利用通道注意力机制选择对输入的高光谱人脸图像进行降维筛选，输出降维后的特
征图；
[0010] 步骤四，将降维后的特征图输入至特征提取网络，得到提取后的特征向量；
[0011] 步骤五，对人脸视频的每一帧图像经过步骤三和步骤四操作，得到多维特征向量；
[0012] 步骤六，将多维特征向量输入到信号重建网络，得到重建后的rPPG信号。
[0013] 进一步的，所述步骤一，具体为：利用高光谱相机录制人脸视频，其中高光谱相机的波段为400nm‑1000nm，一共有S个波段，采集帧率为M赫兹，分辨率为W*H；同时，利用血氧
仪读取人右手指尖的脉搏波信号PPG，采样频率为N赫兹；所述视频和信号的采集周期为T
秒。
[0014] 进一步的，所述步骤二，具体为：对血氧仪采集到的PPG信号进行下采样，将频率从N赫兹降为 M 赫兹，和视频频率保持一致，使得每一帧视频都可以对应一个信号采样点，采
样后视频的帧数为T*M，血氧仪的采样点数也为T*M。
[0015] 进一步的，所述步骤四，包括以下步骤：
[0016] 步骤4.1，预训练特征提取网络；
[0017] 步骤4.2，加载步骤4.1训练好的特征提取网络模型；
[0018] 步骤4.3，将步骤三输出的降维后的特征图输入到训练好的特征提取网络，得到输出向量；
[0019] 步骤 4.4，将步骤4.3得到的输出向量改变维度得到提取后的特征向量；
[0020] 进一步的，所述步骤4.1，具体为：采用组合数据集，包括同一个人的普通视频和红外视频，随机组合两种不同视频，如果是同一个人，则标签为1，反之则为0，利用交叉熵损失
函数和梯度下降法来对特征提取网络进行预训练，训练次数为K次，训练结束保存特征提取
网络模型参数。
[0021] 进一步的，所述步骤六，包括以下步骤：
[0022] 步骤6.1，预训练信号重建网络；
[0023] 步骤6.2， 加载训练好的信号重建网络模型；
[0024] 步骤6.3，在对视频中所有帧进行步骤一至四的处理后，将得到的全部特征向量，按照时间顺序输入到信号重建网络中，利用多层LSTM提取到网络的时序特征并以此对PPG
信号进行重建，得到重建后的rPPG信号。
[0025] 进一步的，所述步骤6.1，具体为：利用损失函数为MSE和梯度下降法，通过合成数据集对信号重建网络进行预训练，训练结束后，保存训练好的当前参数为模型参数，所述合
成数据集表达式为：
[0026]
[0027] 其中，t为时间段， 为模拟心率频率， 为模拟呼吸频率， ， 为模拟心率信号与模拟呼吸信号的相位， 和 分别为模拟心率和模拟呼吸强度，step()为阶跃信
号，t1和t2分别为阶跃信号的阈值，noise1（）和noise2（）分别为不同均值和标准差的高斯信
号作为噪声；所述合成数据集对应的标签为通过模拟心率频率 所计算出的心率。
[0028] 本发明的优点：
[0029] 首先，本发明通过光谱通道选择网络对大量的高光谱数据进行降维，提高了之后的推理速度；其次，在特征提取网络中，本发明通过在组合数据集上的预训练加速了模型的
收敛，并且通过注意力机制提高了网络对重要特征的关注程度；最后，在信号重建网络中，
利用多层LSTM提取到网络的时序特征并以此对信号进行重建。
附图说明
[0030] 图1是本发明方法的整体流程示意图；
[0031] 图2是本发明的光谱通道选择网络的示意图；
[0032] 图3是本发明方法的特征提取网络示意图；
[0033] 图4是本发明方法的特征提取网络中提取模块示意图。
具体实施方式
[0034] 为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图，对本发明作进一步详细说明。
[0035] 如图1所示，一种基于高光谱人脸视频的远程脉搏波重建方法，包括以下步骤：
[0036] 步骤一，利用高光谱相机录制人脸视频，其中高光谱相机的波段为400nm‑1000nm，一共有S个波段，采集帧率为M赫兹，分辨率为W*H，W表示宽，H表示高；同时，利用血氧仪读取
人右手指尖的脉搏波信号PPG，采样频率为N赫兹；上述视频和信号的采集周期为T 秒；
[0037] 步骤二，对血氧仪采集到的PPG信号进行下采样，将频率从N赫兹降为 M 赫兹，和视频频率保持一致，使得每一帧视频都可以对应一个信号采样点，采样后视频的帧数为T*
M，血氧仪的采样点数也为T*M；
[0038] 步骤三，如图2所示，将录制好的高光谱人脸视频的每一帧送入光谱选择网络中，其中输入帧的尺寸为W*H*128；光谱选择网络利用通道注意力机制选择对输入的高光谱图
像的波段进行筛选，即降维处理，输出为(W/4)*(H/4)*32的特征图；
[0039] 步骤四，如图3和图4所示，通过特征提取网络预训练和推理，得到特征向量，具体包括以下步骤：
[0040] 步骤4.1，特征提取网络预训练，采用组合数据集，包括同一个人的普通视频和红外视频，通过随机组合两种不同视频，如果是同一个人，则标签为1，反之则为0，利用交叉熵
损失函数和梯度下降法来对特征提取网络进行预训练，训练次数为50次，训练结束保存模
型参数；
[0041] 步骤4.2，加载步骤4.1训练好的模型；
[0042] 步骤4.3，将步骤三输出的(W/4)*(H/4)*32的特征图输入到特征提取网络，得到输出向量，维度为：(W/64)*(H/64)*2；
[0043] 步骤 4.4，将步骤4.3得到的(W/64)*(H/64)*2的输出向量改变维度为（1,(W/64)*(H/64)*2）；
[0044] 步骤五，对视频的每一帧经过步骤三和步骤四操作，得到(T*M,(W/64)*(H/64)*2)维特征；
[0045] 步骤六，将步骤五得到的特征输入到信号重建网络，得到重建后的rPPG信号，具体包括以下步骤：
[0046] 步骤6.1，信号重建网络预训练，通过合成数据集对信号重建网络进行预训练，所述合成数据集表达式为：
[0047]
[0048] 其中，t为时间段， 为模拟心率频率， 为模拟呼吸频率， ， 为模拟心率信号与模拟呼吸信号的相位， 和 分别为模拟心率和模拟呼吸强度，step()为阶跃信
号，t1和t2分别为阶跃信号的阈值，noise1（）和noise2（）分别为不同均值和标准差的高斯信
号作为噪声，从而丰富合成信号的多样性；
[0049] 所述合成数据集对应的标签为通过模拟心率频率 所计算出的心率；
[0050] 在真实数据训练下，信号重建网络的输入为步骤四得到的特征，标签为经过步骤二采样后的真实的PPG信号；
[0051] 所述信号重建网络模型利用损失函数为MSE和梯度下降法进行训练，训练次数为X次，训练结束后保存训练好的当前参数为模型参数；
[0052] 步骤6.2，加载训练好的重建网络模型；
[0053] 步骤6.3，在对视频中所有帧进行步骤一至四的处理后，将得到的全部特征向量，按照时间顺序输入到信号重建网络中，利用多层LSTM提取到网络的时序特征并以此对PPG
信号进行重建，得到重建后的rPPG信号。
[0054] 具体的，本发明的方法已应用于非接触人体心率测量中，如下表1所示为经过处理后得到的远程脉搏波信号在心率计算中的表现，得到本发明的方法均好于其他方法。
[0055] 表1：
[0056]
[0057] 以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前
述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明
精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。
