用户心率和心率变异性的评估方法、装置和可读储存介质

摘要

本发明涉及一种用户心率和心率变异性的评估方法、装置和可读储存介质，用户心率和心率变异性的评估方法，包括：获取用户脸部区域的图像，并将脸部区域的图像分割为至少两个区域图像；将至少两个区域图像进行RGB通道分离，以得到B通道图像和G通道图像；计算B通道上每个区域图像所有像素的标准差，基于标准差确定至少两个区域中的评估区域；基于G通道上的评估区域的图像进行心率和心率变异性的评估。

权利要求

1.一种用户心率和心率变异性的评估方法，其特征在于，包括：获取用户脸部区域的图像，并将所述脸部区域的图像分割为至少两个区域；

将所述至少两个区域图像进行RGB通道分离，以得到B通道图像和G通道图像；

计算B通道上每个区域图像所有像素的标准差，基于所述标准差确定所述至少两个区域中的评估区域；

基于G通道上的评估区域的图像进行心率和心率变异性的评估。

2.根据权利要求1所述的用户心率和心率变异性的评估方法，其特征在于，所述基于G通道上的评估区域的图像进行心率和心率变异性的评估的步骤包括：通过BiseNetV2网络，在G通道上的每一评估区域的图像中提取出评估图像，并将所述评估图像转化为评估信号；

通过Hamming window对所述评估信号进行一级滤波，得到一级评估信号；

通过神经网络滤波模型对所述一级评估信号进行再次滤波，得到每一评估区域的光电容积脉搏波的波形；

基于每一评估区域的光电容积脉搏波的波形进行心率和心率变异性的评估。

3.根据权利要求2所述的用户心率和心率变异性的评估方法，其特征在于，所述基于每一评估区域的光电容积脉搏波的波形进行心率和心率变异性的评估的步骤包括：将每一评估区域的光电容积脉搏波的波形进行功率谱计算，得到对应区域的功率谱信号图；

在所述功率谱信号图中，确定频率在0.8Hz到2.0Hz之间对应的最大功率为对应评估区域的心率；

基于所有评估区域的心率确定所述用户的心率。

4.根据权利要求2所述的用户心率和心率变异性的评估方法，其特征在于，所述基于每一评估区域的光电容积脉搏波的波形进行心率和心率变异性的评估的步骤包括：提取出每一评估区域的光电容积脉搏波的波形中的峰值；

基于每一评估区域的光电容积脉搏波的波形中的峰值，确定出对应评估区域的心率间隔；

基于所有评估区域的心率间隔，确定出用户的心率间隔；

基于所述用户的心率间隔，进行心率变异性评估。

5.根据权利要求4所述的用户心率和心率变异性的评估方法，其特征在于，所述心率变异性评估包括时域指标评估和频域指标评估。

6.根据权利要求2所述的用户心率和心率变异性的评估方法，其特征在于，所述通过BiseNetV2网络，在G通道上的每一评估区域的图像中提取出评估图像的步骤包括：通过BiseNetV2网络，在G通道上的评估区域的图像中提取出脸、鼻子、额头和下颌的皮肤区域；

确定脸、鼻子、额头和下颌的皮肤区域的图像为所述评估图像。

7.根据权利要求2所述的用户心率和心率变异性的评估方法，其特征在于，所述神经网络滤波模型为Transfomer模型。

8.根据权利要求1所述的用户心率和心率变异性的评估方法，其特征在于，所述获取用户脸部区域的图像的步骤包括：通过图像获取装置采集用户的人体图像；

通过BiseNetV2网络在所述人体图像中提取出所述用户脸部区域的图像。

9.一种心率和心率变异性的评估装置，其特征在于，包括：图像获取装置，用于获取用户脸部区域的图像，并将所述脸部区域的图像分割为至少两个区域；

RGB通道分离装置，用于将所述至少两个区域图像进行RGB通道分离，以得到B通道图像和G通道图像；

所述RGB通道分离装置还用于计算B通道上每个区域图像所有像素的标准差，基于所述标准差确定所述至少两个区域中的评估区域；

评估模块，用于基于G通道上的评估区域的图像进行心率和心率变异性的评估。

10.一种用户心率和心率变异性的评估装置，其特征在于，包括：储存器和处理器，所述储存器上存储有计算机程序或指令，所述处理器执行所述程序或指令时实现如权利要求1至8中任一项所述的用户心率和心率变异性的评估方法。

11.一种可读储存介质，其特征在于，包括：

储存器和处理器，所述储存器上存储有计算机程序或指令，所述处理器执行所述程序或指令时实现如权利要求1至8中任一项所述的用户心率和心率变异性的评估方法。

说明书

用户心率和心率变异性的评估方法、装置和可读储存介质

技术领域

[0001] 本发明涉及健康检测技术领域，具体涉及一种用户心率和心率变异性的评估方法、装置和可读储存介质。

背景技术

[0002] 远程光电容积脉搏波描记法（remote photoplethysmography，rPPG）是一种在没有任何接触的情况下远程测量心脏活动的方法，近年来发展迅速，rPPG测量的基础框架：第一步，使用相机捕捉人体特定的皮肤区域，可以手动或自动检测和跟踪皮肤区域（ROI)。第二步是空间单色或多色，通道均值通过ROI进行计算。第三步，将信号处理方法如低通滤波应用于空间均值，得到包含脉冲信息的分量。最后，对分量应用快速傅里叶变换（FFT）或峰值检测算法来估计相应的频率，从而估算出心率（HR）和心率变异性（HRV, Heart‑Rate‑Variability）。

[0003] 一部分学者利用智能手机摄像头拍摄手指视频，然后利用皮肤像素的颜色强度，并应用滤波器消除噪声和保留感兴趣的脉冲，将提取的信号输入到卷积回归神经网络中输出估计的心率。由于手机的普及，这是一个非常方便且实用的应用。手指中血流信号强烈，因此准确率非常高。但摄像头必须要接触皮肤采集，因此不能完全算一个rRPG应用。

[0004] 一部分学者使用摄像头通过人脸估计人的心率（HR），他们提出一个新的实时的rPPG流水线实时运行。在此方法中，他们采用了一种无监督的分析方法，该方法提取脉搏波形以计时心跳并测量心率变异性，这种方法不需要单独训练一个神经网络便可工作。并且与大多数计算心率方法不同的是，他们是通过对单个心脏跳动计数而非FFT来计算的。由于计算方式的不同，会导致计算的HR值会有较大的偏差。

[0005] 一部分学者认为这种技术依赖于分析面部视频的非常细微的细节，这些细节容易受到视频压缩的影响。因此他们提出了一种基于端到端深度学习的解决方案和视频增强的rPPG方法，并使用了注意力机制，还有部分学者也提出了一种多任务时移卷积注意网络（MTTS‑CAN）来解决非接触式心肺测量中便携性和精度的问题，端到端的MTTS‑CAN利用时间移位模块来执行有效的时间建模并消除各种噪声源，而无需任何额外的计算开销；他们同样使用了注意力机制来改进了信号源分离方法。某位学者提出了两种新颖高效的神经网络模型，名为EfficientPhys，用于基于摄像头的生理测量，旨在消除面部检测、分割、归一化、颜色空间转换或其他预处理步骤。

[0006] 其它类似方法的研究还包括一些学者采用视频变换器的端到端体系结构，用于自适应聚合局部和全局时空特征以增强rPPG。其中PhysFormer的关键模块，时间差分变压器首先使用时间差分引导的全局注意力增强准周期rPPG特征，然后使用空间注意机制将它们与局部特征聚合。

[0007] 一部分学者探讨了运动迁移作为一种数据增强形式，用于在保持生理变化的同时引入运动变化，将一个视频的运动效果迁移到另一个视频，从实验结果上看，提高了滤波网络的抗干扰能力，借鉴此方法，我们在设计数据增强时，通过加噪方式从信号角度引入了运动迁移。

[0008] 通过上述的相关工作，研究的重心都放在数据增强和对信号的滤波上，信号滤波的好坏直接影响最后结果的精度，滤波方式的研究方向基本分为3种：传统解析式滤波算法（例如：FFT、小波、经验模态分解等）；神经网络滤波；混合两种方法滤波。特别是神经网络滤波，是研究最重要的方向，因为它相当于解析式滤波方式，它有更多的设计灵活性和精度提升优势。

[0009] 然而，相关技术在进行心率和心率变异性的评估过程中，通常未考虑到光线的强弱对评估的影响，也即在心率评估过程中根据脸部的整个区域的图像进行心率评估，然而受到光线的影响，通常其评估结果不精准。

[0010] 因此，为了解决光线的影响，提出一种能够提高精准率的心率和心率变异性的评估方法成为亟待解决的技术问题。

发明内容

[0011] 有鉴于此，本发明提供一种用户心率和心率变异性的评估方法、装置和可读储存介质。

[0012] 具体地，本发明是通过如下技术方案实现的：

[0013] 根据本发明的第一方面提供了一种用户心率和心率变异性的评估方法，包括：获取用户脸部区域的图像，并将脸部区域的图像分割为至少两个区域图像；将至少两个区域图像进行RGB通道分离，以得到B通道图像和G通道图像；计算B通道上每个区域图像所有像素的标准差，基于标准差确定至少两个区域中的评估区域；基于G通道上的评估区域的图像进行心率和心率变异性的评估。

[0014] 在一些技术方案中，可选的，基于G通道上的评估区域的图像进行心率和心率变异性的评估的步骤包括：通过BiseNetV2网络（双边分割网络），在G通道上的每一评估区域的图像中提取出评估图像，并将评估图像转化为评估信号；通过Hamming window（汉明窗口‑一种数字信号处理技术）对评估信号进行一级滤波，得到一级评估信号；通过神经网络滤波模型对一级评估信号进行再次滤波，得到每一评估区域的光电容积脉搏波的波形；基于每一评估区域的光电容积脉搏波的波形进行心率和心率变异性的评估。

[0015] 在一些技术方案中，可选的，基于每一评估区域的光电容积脉搏波的波形进行心率和心率变异性的评估的步骤包括：将每一评估区域的光电容积脉搏波的波形进行功率谱计算，得到对应区域的功率谱信号图；在功率谱信号图中，确定频率在0.8Hz到2.0Hz之间对应的最大功率为对应评估区域的心率；基于所有评估区域的心率确定用户心率。

[0016] 在一些技术方案中，可选的，基于每一评估区域的光电容积脉搏波的波形进行心率和心率变异性的评估的步骤包括：提取出每一评估区域的光电容积脉搏波的波形中的峰值；基于每一评估区域的光电容积脉搏波的波形中的峰值，确定出对应评估区域的心率间隔；基于所有评估区域的心率间隔，确定出用户的心率间隔；基于用户的心率间隔，进行心率变异性评估。

[0017] 在一些技术方案中，可选的，心率变异性评估包括时域指标评估和频域指标评估。

[0018] 在一些技术方案中，可选的，通过BiseNetV2网络，在G通道上的每一评估区域的图像中提取出评估图像的步骤包括：通过BiseNetV2网络，在G通道上的评估区域的图像中提取出脸、鼻子、额头和下颌的皮肤区域；确定脸、鼻子、额头和下颌的皮肤区域的图像为评估图像。

[0019] 在一些技术方案中，可选的，神经网络滤波模型为Transfomer模型，也即生成式预训练模型，是一种基于互联网的、可用数据来训练的、文本生成的模型。

[0020] 在一些技术方案中，可选的，获取用户脸部区域的图像的步骤包括：通过图像获取装置采集用户的人体图像；通过BiseNetV2网络在人体图像中提取出用户脸部区域的图像。

[0021] 根据本发明的第二方面，提供了一种用户心率和心率变异性的评估装置，包括：图像获取装置，用于获取用户脸部区域的图像，并将脸部区域的图像分割为至少两个区域图像；RGB通道分离装置，用于将至少两个区域图像进行RGB通道分离，以得到B通道图像和G通道图像；RGB通道分离装置还用于计算B通道上每个区域图像所有像素的标准差，基于标准差确定至少两个区域中的评估区域；评估模块，用于基于G通道上的评估区域的图像进行心率和心率变异性的评估。

[0022] 本发明第二方面提供的用户心率和心率变异性的评估装置，能够实现本发明第一方面技术方案提供的用户心率和心率变异性的评估方法，因此，本发明第二方面提供的用户心率和心率变异性的评估装置具有本发明第一方面任一项技术方案提供的用户心率和心率变异性的评估方法的全部有益效果，在此不再赘述。

[0023] 根据本发明的第三方面，提供了一种用户心率和心率变异性的评估装置，包括：储存器和处理器，储存器上存储有计算机程序或指令，处理器执行程序或指令时实现本发明第一方面任一项技术方案的用户心率和心率变异性的评估方法。

[0024] 本发明第三方面提供的用户心率和心率变异性的评估装置，能够实现本发明第一方面技术方案提供的用户心率和心率变异性的评估方法，因此，本发明第三方面提供的用户心率和心率变异性的评估装置具有本发明第一方面任一项技术方案提供的用户心率和心率变异性的评估方法的全部有益效果，在此不再赘述。

[0025] 根据本发明的第四方面提供了一种可读储存介质，包括：储存器和处理器，储存器上存储有计算机程序或指令，处理器执行程序或指令时实现本发明第一方面任一项技术方案的用户心率和心率变异性的评估方法。

[0026] 本发明第四方面提供的可读储存介质能够实现本发明第一方面技术方案提供的用户心率和心率变异性的评估方法，因此，本发明第四方面提供的可读储存介质具有本发明第一方面任一项技术方案提供的用户心率和心率变异性的评估方法的全部有益效果，在此不再赘述。

[0027] 本发明提供的技术方案至少带来以下有益效果：本发明的评估方法将整个脸部区域的图像分割为多个区域，然后通过计算每个区域图像所有像素的标准差的方式，确定出光线比较均匀的区域，然后通过这些比较均匀的区域的图像来进行心率和心率变异性的评估，这样就避免了光线的强弱对评估准确性的影响。

附图说明

[0028] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

[0029] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

[0030] 图1为本发明实施例一提供的用户心率和心率变异性的评估方法的流程示意图；

[0031] 图2为本发明实施例二提供的用户心率和心率变异性的评估方法的一部分流程示意图；

[0032] 图3为本发明实施例二提供的用户心率和心率变异性的评估方法的另一部分流程示意图；

[0033] 图4为本发明实施例提供的用户心率和心率变异性的评估装置的方框图。

[0034] 其中，图4中附图标记与部件名称之间的对应关系为：

[0035] 1用户心率和心率变异性的评估装置，12图像获取装置，14RGB通道分离装置，16评估模块。

具体实施方式

[0036] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0037] 实施例一

[0038] 参见图1，本发明实施例提供了一种用户心率和心率变异性的评估方法，包括如下步骤：

[0039] S102：获取用户脸部区域的图像，并将脸部区域的图像分割为至少两个区域图像；

[0040] S104：将至少两个区域图像进行RGB通道分离，以得到B通道图像和G通道图像；

[0041] S106：计算B通道上每个区域图像所有像素的标准差，基于标准差确定至少两个区域中的评估区域；

[0042] S108：基于G通道上的评估区域的图像进行心率和心率变异性的评估。

[0043] 本实施例提供的用户心率和心率变异性的评估方法，先获取用户脸部区域的图像，并将脸部区域的图像分割为至少两个区域，然后将至少两个区域图像进行RGB通道分离，因为血红蛋白容易吸收绿色频率的光谱，不容易吸收蓝色频率的光谱，所以我们可以用G通道数据计算心率，用B通道数据来判断光线是否均匀照到皮肤区域，在实际处理时，先计算B通道上每个区域图像所有像素的标准差，标准差较大说明对应的区域光线不均匀，标准差较小说明对应的区域光线比较均匀，这样就可以基于标准差确定至少两个区域中的评估区域，评估区域也即光线比较均匀的区域，然后基于G通道上的评估区域的图像进行心率和心率变异性的评估，这样就可以排除光线不均匀区域的数据，排除太阳光线对评估结果的影响，提高了评估的精度。在实际操作过程中，可以将Adobe Photoshop等软件植入本发明的装置内，这样就可以通过Adobe Photoshop进行通道分离，其中，RGB通道是指R通道、G通道和B通道，R通道代表红色通道，G通道代表绿色通道，B通道代表蓝色通道。

[0044] 在一些技术方案中，可选的，基于G通道上的评估区域的图像进行心率和心率变异性的评估的步骤包括：通过BiseNetV2网络，在G通道上的每一评估区域的图像中提取出评估图像，并将评估图像转化为评估信号；通过Hamming window对评估信号进行一级滤波，得到一级评估信号；通过神经网络滤波模型对一级评估信号进行再次滤波，得到每一评估区域的光电容积脉搏波的波形；基于每一评估区域的光电容积脉搏波的波形进行心率和心率变异性的评估。

[0045] 在该实施例中，在基于G通道上的评估区域的图像进行心率和心率变异性的评估时，先通过BiseNetV2网络在G通道上的每一评估区域的图像中提取出评估图像，并将评估图像转化为评估信号，再通过Hamming window对评估信号进行一级滤波，得到一级评估信号，一级滤波主要是去掉一些趋势信号，这些趋势信号通常是由于采集信号时的一些不稳定因素导致，比如被采集人不能保持完全静止不动。另外，这些信号去掉后，输入数据的取值范围会更集中，有利于后续神经网络滤波模型的处理，一级滤波之后，通过神经网络滤波模型对一级评估信号进行再次滤波，得到每一评估区域的光电容积脉搏波的波形，最后基于每一评估区域的光电容积脉搏波的波形进行心率和心率变异性的评估。

[0046] 在一些技术方案中，可选的，基于每一评估区域的光电容积脉搏波的波形进行心率和心率变异性的评估的步骤包括：将每一评估区域的光电容积脉搏波的波形进行功率谱计算，得到对应区域的功率谱信号图；在功率谱信号图中，确定频率在0.8Hz到2.0Hz之间对应的最大功率为对应评估区域的心率；基于所有评估区域的心率确定用户的心率。

[0047] 在该实施例中，基于每一评估区域的光电容积脉搏波的波形进行心率评估时，先将每一评估区域的光电容积脉搏波的波形进行功率谱计算，得到对应区域的功率谱信号图，功率谱计算方式是先将信号进行自相关运算，然后通过快速傅里叶变换得到功率谱信号图，确定频率在0.8Hz到2.0Hz之间对应的最大功率为对应评估区域的心率，最后基于所有评估区域的心率确定用户的心率。可以理解的，由于本发明将整个图像分为若干个区域，这样每个区域的图像都可以计算出一个对应的心率，最后将所有评估区域计算出来的心率按方差最小化流程筛选出用户最终的心率。其中，自相关运算就是信号向量自己和自己做相关性运算，也叫内积运算，是通用的计算方式。方差最小化流程筛选过程为：先求出所有评估区域的心率的第一平均值，然后分别计算每一个评估区域的心率与第一平均值的差值，去除差值最大的对应的评估区域的心率，然后将剩余的评估区域的心率再次计算出第二平均值，然后再次筛选出与第二平均值的差值最大的评估区域的心率并去除，以此类推，直至剩余最后两个评估区域的心率，计算这最后两个评估区域的心率的平均值为用户的心率。

[0048] 在一些技术方案中，可选的，基于每一评估区域的光电容积脉搏波的波形进行心率和心率变异性的评估的步骤包括：提取出每一评估区域的光电容积脉搏波的波形中的峰值；基于每一评估区域的光电容积脉搏波的波形中的峰值，确定出对应评估区域的心率间隔；基于所有评估区域的心率间隔，确定出用户的心率间隔；基于用户的心率间隔，进行心率变异性评估。

[0049] 在该实施例中，基于每一评估区域的光电容积脉搏波的波形进行心率变异性的评估时，先提取出每一评估区域的光电容积脉搏波的波形中的峰值，基于每一评估区域的光电容积脉搏波的波形中的峰值，确定出对应评估区域的心率间隔，可以理解的，用户的心脏在跳动时，血红蛋白通常较多，此时用户的图像相对红润，而非跳动时，血红蛋白通常较少，此时用户的图像相对没有那么红润，因此，本发明正是基于这样微弱的色差能够判断出用户的心跳间隔，光电容积脉搏波的波形中的峰值也代表着心脏处于跳动的时刻，基于所有评估区域的心率间隔，确定出用户的心率间隔，最后基于心率间隔进行心率变异性评估。在计算出用户的心率间隔时，也可以采用方差最小化的方法计算出用户的心率间隔。

[0050] 在一些技术方案中，可选的，心率变异性评估包括时域指标评估和频域指标评估，时域分析指标可以为RMSSD（root mean square of successive differences，相邻正常心动周期差值的均方根）、SDNN（standarddiviationofNNintervals，全部窦性心搏RR间期的标准差），频域指标可以为LF（低频成分）、HF（高频成分）、LF/HF（低频成分/高频成分）。

[0051] 在一些技术方案中，可选的，通过BiseNetV2网络在G通道上的每一评估区域的图像中提取出评估图像的步骤包括：通过BiseNetV2网络，在G通道上的评估区域的图像中提取出脸、鼻子、额头和下颌的皮肤区域；确定脸、鼻子、额头和下颌的皮肤区域的图像为评估图像。

[0052] 在该实施例中，通过BiseNetV2网络在G通道上的每一评估区域的图像中提取出评估图像时，可以通过BiseNetV2网络在G通道上的评估区域的图像中提取出脸、鼻子、额头和下颌的皮肤区域，然后将这些区域的图像定义为评估图像，本发明可以排除眼睛、嘴、背景、头发等区域，因为这些区域本身自带一定的颜色会影响评估结果，仅仅计算脸、鼻子、额头、下颌等皮肤区域的信息，能够更加精准的反映出用户的心率和心率变异性，排除其他区域的干扰。

[0053] 在一些技术方案中，可选的，神经网络滤波模型为Transfomer模型，本发明使用Transfomer模型代替其它滤波模型，可以进一步提高评估的准确率。

[0054] 在一些技术方案中，可选的，获取用户脸部区域的图像的步骤包括：通过图像获取装置采集用户的人体图像；通过BiseNetV2网络在人体图像中提取出用户脸部区域的图像。

[0055] 在该实施例中，获取用户脸部区域的图像时，可以先通过摄像头采集人体图像，然后通过BiseNetV2网络在人体图像中提取出用户脸部区域的图像，当然也可以根据需要直接通过摄像头获取用户脸部区域的图像。

[0056] 实施例二

[0057] 参见图2，本发明另一实施例提供了用户心率和心率变异性的评估方法包括如下步骤：

[0058] S202：摄像头按30帧/秒采集人体图像；

[0059] S204：通过BiseNetV2网络进行面部分割，得到面部图像；

[0060] 该步骤中，使用BiseNetV2网络检测出人脸皮肤区域，采用全脸皮肤的图像可以得到更多更稳定的信号，便于后续滤波。

[0061] S206：将所有采集的面部图像进行拉伸变形并对齐，并将所有采集的面部图像进行网格化；

[0062] 具体而言，先通过面部区域最左上的点和最右下的点截取出面部区域，使用透视变换将每一张图像变换为512×512的正方形图片，并使用4×4的网格将每一图像分为16个区域。

[0063] S208：将网格化后的面部图像进行RGB通道分离；

[0064] 具体而言，将网格化后的面部图像进行RGB通道分离，保留G通道和B通道，因为血红蛋白容易吸收绿色频率的光谱，不容易吸收蓝色频率的光谱，所以我们可以用G通道数据计算心率，B通道数据来判断光线是否均匀照到皮肤区域。

[0065] S210：基于绿色通道上每一区域的像素，通过平均值的方式，输出时间序列信号；

[0066] 该步骤中，将每个区域中绿色通道的皮肤区域的像素求均值（注意，BisenetV2网络能够区分眼睛、嘴、背景、头发等区域，这部分区域不纳入计算；脸和鼻子，额头，下颌等皮肤区域需要纳入计算），由于每秒钟采集30帧图片，采集20秒，每一帧图像的计算会形成16个序列信号，因为每一帧图像被分割为16个评估区域，因此，序列信号形状为16×20×30，也即所有的图像被分割为16×20×30份，因此共有16×20×30个信号。

[0067] S212：通过蓝色通道筛选出光比较均匀的8个区域；

[0068] 该步骤中，将每个区域中蓝色通道的皮肤区域的像素求标准差，由于每秒钟采集30帧图片，采集20秒，所以每个区域的图像会形成20×30个标准差，对每个区域的标准差求均值，就是该区域的光平衡评分，标准差越低，表示光线越均匀，因此可以从16个区域中筛选出8个得分最低的区域作为评估区域，并将评估区域的时间序列信号筛选出来用来做后续计算，由于这些区域的光线比较均匀，这样就可以提高评估的准确率。

[0069] S214：提取出光线比较均匀的8个区域的时间序列信号，并对其进行预处理；

[0070] 该步骤中，预处理包括首先使用Hamming window进行处理，该处理能去掉一些趋势信号，这些趋势信号通常是由于采集信号时的一些不稳定因素导致，比如被采集人不能保持完全静止不动。另外，这些信号去掉后，输入数据的取值范围会更集中，有利于后续神经网络滤波模型的处理，在Hamming window进行处理时，可以将Hamming window的值作为卷积核，与原始信号进行卷积运算后做残差，得到滤波后的信号。

[0071] S216：对滤波后的时间序列信号进行编码token。

[0072] 该步骤中，将信号按每秒30帧进行切片，将每个片段定义为1个token，也即每秒内30帧的图像设置一个token，因此，这8个时间序列信号20秒钟的视频一共有8×20个token。
其中，token在计算机身份认证中为令牌的意思。

[0073] S218：将token叠加上位置编码；

[0074] 该步骤中，使用经典的相对位置编码公式进行处理。

[0075] S220：通过神经网络滤波模型对添加位置编码后的时间序列信号进行二次滤波，得到二次滤波后的信号。

[0076] 该步骤中，当前数据形状为8×20×30（即8个区域，20秒采样，每秒30帧），将该数据直接送入到神经网络滤波网络，得到滤波后的波形，神经网络滤波模型采用的是编解码结构，编码器把输入信号编码转换为特征信号，解码器把特征信号变成中间结果信号处理，得到滤波后的信号，编解码器都采用了Transfomer结构，编解码器分别由8层和4层Transformer构成，该Transformer子结构上设置了4个注意力头，采用LayerNorm进行Normalize，Eule作为激活函数，将MLP层做了轻微的修改，使用了两层全连接构成，但两层全连接中间并没有任何非线性运算，参数结构分别是30×256和256×30，主要的目的是放大参数量，但不引入更多的非线性。其中， LayerNorm是一种对神经网络中的输入数据进行归一化的方法；Normalize为标准化的意思。

[0077] 进一步的，根据二次滤波后的信号就可以进行心率和心率变异性的分析，参见图3，心率分析步骤包括：

[0078] S222：通过功率谱计算得到8个频域信号；

[0079] S224：幅值最大对应的最大功率为心率；

[0080] S226：基于方差最小化筛选出最佳心率。

[0081] 该步骤中，先通过功率谱计算得到8个频域信号，功率谱计算方式是先将信号进行自相关运算，然后求FFT，得到功率谱信号图后，可以根据功率谱信号图计算心率，具体而言，由于共计分成8个评估区域，因此可以得到8个功率谱信号图，确定频率信号在0.8Hz到2.0Hz之间的信号最大功率为心率，8个心率指标中，按方差最小化流程筛选出最佳评估的那个信号作为用户的心率，其原理是正确的信号都会比较集中，因此降低数据方差，最终就能得到比较准确信号。

[0082] 参见图3，心率变异性分析步骤包括：

[0083] S228：通过RR计算得到8个RR信号；执行S230和S234；

[0084] S230：时域分析得到时域指标；

[0085] S232：基于方差最小化筛选出最佳时域指标；

[0086] S234：频域分析得到频域指标；

[0087] S236：基于方差最小化筛选出最佳频域指标。

[0088] 该步骤中，RR计算也即心率间隔计算，可以从滤波后的波形中提取峰值，并通过波形的峰值计算出心率间隔，计算出心率间隔后，可以用来做心率变异性指标分析，由于共有8个RR信号，因此可以分析出8种指标，最后基于方差最小化筛选出最佳的对应的指标。

[0089] 进一步的，本发明的神经网络滤波模型的训练方法分为2个训练阶段，即预训练阶段和任务训练阶段。

[0090] 在预训练阶段，数据集采用的是通过信号叠加原理生成的数据，本发明共计1000000万条信号数据供神经网络滤波模型训练。

[0091] 理论上，任意周期性信号可以通过不同频率的信号叠加而成。因此，可以通过生成不同频率信号，然后再进行叠加，就能形成一个复杂信号，但真实世界的信号并没有如此简单，因为真实世界的信号不但包含周期性信号，也包含非周期性信号，这种非周期信号的处理，通常采用两种方式解决：a.当成一个周期为无穷的信号的一段。b.当成某种噪音来处理。而本发明采用的方式是将其当成噪音来处理的，噪音的设计至关重要，它直接决定了神经网络滤波模型是否有足够的泛化能力，以下是几种我们使用的噪音：

[0092] 简单噪音：简单噪音就是直接在单频率信号上叠加一个噪点，常用的噪点生成方式就是高斯噪点。

[0093] 异常噪点：异常噪点与高斯噪点不一样，上面的简单噪点在期望和方差上各段是稳定的，而异常噪点通常偶尔发生，使用不同参数的泊松分布来模拟异常发生的位置，然后使用方差比较大的高斯分布来模拟异常的幅度。

[0094] 幅度噪音：生成的单频率噪音通常每个周期的幅度都是一致的，希望每个周期发生的信号的幅值有所不同，例如心率信号，有时候会高点，有时候会低一点，这个变化通常符合高斯分布规律，因此，可以在每个周期上，使用双线插值方法在幅值轴上进行信号拉升缩放。

[0095] 位置噪音：真实世界中，周期并不那么均匀，例如心率信号，虽然每次发生的时间间隔差不多，但总有微弱的差别，而这种微弱的差别才有了HRV分析，这是一种局部的位置偏移，可以通过某个算法，对信号的局部区域进行拉升，来模拟这种发生周期不对齐的情况。

[0096] 具体模拟步骤如下：随机选取其中一段，使用双线插值等方法，对该段信号进行缩放；缩放的信号拼接回到原信号上；重复上述方式几次，再使用双线插值对整个信号进行缩放来对齐原信号长度。

[0097] 高阶噪音：前面的简单噪音在各个局部段的期望和方差是均匀的，而这种高阶噪音使用低频的变化规律来模拟噪音参数的变化，本发明采用的方法是首先生成一个几周期的任意频率信号，然后随机采样上面的一段，然后双线插值平滑扩展对齐到当前复杂信号的长度。

[0098] 无理数噪音：大自然中的信号存在着一种看似有规律，其实又无规律的一种信号，这种信号非常难处理（因为无规律），因此在我们的信号中叠加该噪音，会加强神经网络的泛化能力，如何模拟这种信号，最简单的方法就是使用无理数中随机采样的数字来指导噪音的叠加，例如圆周率Π=3.1415926，第一个数字为3，我们就以0.03的标准差叠加一个均值为0的噪音，第二个数字为1，我们就以0.01的标准差叠加一个均值为0的噪音，依次下去，我们使用的无理数包括圆周率和10000以内的质数的开方。

[0099] 通过将这些种类的噪音插入用户的信息中来进行模型的训练，这样就大大的提高了模型对各种各样噪声的筛选，进而提高了滤波的精准率。

[0100] 在神经网络滤波模型的任务训练阶段：

[0101] 先在PLE数据集和我们自建数据集上做了迁移训练；其中PLE数据集来自于VIPL‑HR公开数据集的筛选，包括200个原始视频和光容积波形数据对，我们的数据集包含了志愿者100个视频和光容积数据对，采集的数据中，包含HRV的一些指标信息（采集设备为HW6C）。通过上述的信号采集方法，将这些原始视频采集成输入信号，然后把该数据集光容积波形数据作为目标信号，使用预训练过程中的相似还原损失。

[0102] 本发明用了一个非常新颖的训练方式训练滤波模型，相比于传统解析方法，神经网络滤波需要大量的训练，而训练过程中的数据质量和数量至关重要，它直接影响训练结果的精度和泛化性，我们利用信号具有叠加性，设计了一个无限生成高质量预训练数据的方法，从根本上解决了该问题。同样，训练过程也非常新颖，采用了2阶段训练方式，特别是在第1阶段，将同一信号的频率信息与时域信息进行对比学习，提高了滤波网络对信号本质的理解能力，从而提高滤波精度。能进行这样的对比学习，主要还是得益于Transformer架构的多模态数据处理能力。

[0103] 采用上述实施例二的评估方法做了3组平行实验来评估心率，每一组平行实验包括本发明的评估方法以及用于对比的对比方法，在这些对比方法中，其他条件与本发明的条件均相同，只有通过神经网络滤波模型进行二次滤波的步骤是不同的。

[0104] 其中，心率评估准确率的结果如下表表一所示：

[0105]

[0106] 表一

[0107] 根据表一可知，使用神经网络滤波模型进行滤波相对于未使用神经网络滤波模型进行滤波而言，使用神经网络滤波模型进行滤波后，再进行心率评估的准确率明显要大于未使用神经网络滤波模型进行滤波的心率评估的准确率，而本发明采取Transfomer模型作为神经网络滤波模型相对于EfficientPhys神经网络模型以及MTTS‑CAN神经网络模型，准确率更高。

[0108] 进一步，同样基于上述实验，选取了一组平行实验来进行心率变异性的评估。

[0109] 其中，时域指标评估结果如下表表二所示：

[0110]

[0111] 表二

[0112] 经过表二可知，本发明的方法在进行RMSSD和SDNN的时域指标分析时，由于采用了Transfomer模型进行滤波，这样相当于EfficientPhys神经网络模型和MTTS‑CAN神经网络模型而言，具有更低的均方根误差，这样就大大的提高了评估的精准率。

[0113] 进一步，频域指标评估结果如下表表三所示：

[0114]

[0115] 表三

[0116] 经过表三可知，本发明的方法在进行LF、HF和LF/HF的频域指标分析时，由于采用了Transfomer模型进行滤波，这样相当于EfficientPhys神经网络模型和MTTS‑CAN神经网络模型而言，具有更高的准确率。

[0117] 本发明的主要改进点在于：

[0118] 1.光平衡技术，也即去除光不均匀的信号，保留光均匀的信号，进而提高评估精准率。

[0119] 2.两阶段训练法：大量的模拟数据进行预训练，真实世界数据进行任务训练。

[0120] 3.首次应用Transformer模型于摄像头估算心率、心率变异性。

[0121] 参见图4，根据本发明的第二方面提供的用户心率和心率变异性的评估装置1包括图像获取装置12、RGB通道分离装置14和评估模块16，图像获取装置12用于获取用户脸部区域的图像，并将脸部区域的图像分割为至少两个区域图像；RGB通道分离装置14用于将至少两个区域图像进行RGB通道分离，以得到B通道图像和G通道图像；RGB通道分离装置14还用于计算B通道上每个区域图像所有像素的标准差，基于标准差确定至少两个区域中的评估区域；评估模块16用于基于G通道上的评估区域的图像进行心率和心率变异性的评估。

[0122] 本发明第二方面提供的用户心率和心率变异性的评估装置1能够实现本发明第一方面技术方案提供的用户心率和心率变异性的评估方法，因此，本发明第二方面提供的用户心率和心率变异性的评估装置1具有本发明第一方面任一项技术方案提供的用户心率和心率变异性的评估方法的全部有益效果，在此不再赘述。

[0123] 根据本发明的第三方面，提供一种心率和心率变异性的评估装置1包括：储存器和处理器，储存器上存储有计算机程序或指令，处理器执行程序或指令时实现本发明第一方面任一项技术方案的用户心率和心率变异性的评估方法。

[0124] 本发明第三方面提供的用户心率和心率变异性的评估装置1能够实现本发明第一方面技术方案提供的用户心率和心率变异性的评估方法，因此，本发明第三方面提供的用户心率和心率变异性的评估装置1具有本发明第一方面任一项技术方案提供的用户心率和心率变异性的评估方法的全部有益效果，在此不再赘述。

[0125] 根据本发明的第四方面，提供一种可读储存介质，包括：储存器和处理器，储存器上存储有计算机程序或指令，处理器执行程序或指令时实现本发明第一方面任一项技术方案的用户心率和心率变异性的评估方法。

[0126] 本发明第四方面提供的可读储存介质能够实现本发明第一方面技术方案提供的用户心率和心率变异性的评估方法，因此，本发明第四方面提供的可读储存介质具有本发明第一方面任一项技术方案提供的用户心率和心率变异性的评估方法的全部有益效果，在此不再赘述。

[0127] 本发明提供的技术方案至少带来以下有益效果：本发明的评估方法将整个脸部区域的图像分割为多个区域，然后通过计算每个区域图像所有像素的标准差的方式，确定出光线比较均匀的区域，然后通过这些比较均匀的区域的图像来进行心率和心率变异性的评估，这样就避免了光线的强弱对评估准确性的影响。

[0128] 虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

[0129] 类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行，或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

[0130] 由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

[0131] 需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

[0132] 以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。