一种基于智能音箱的非接触式心跳检测方法

摘要

本发明一种基于智能音箱的非接触式心跳检测方法，利用音箱发送声波信号，通过对回波进行信号分析和处理，实现非接触式的人体心跳感知。其原理是利用音箱上的扬声器发出调频连续波信号，信号在到达目标后，经目标人体反射回来并被麦克风接收，对接收信号与发送信号进行混频操作，并通过低通滤波器处理。根据混频结果，设计虚拟发送信号，将其与接收信号再次混频以消除系统延迟，得到目标人体位置，在该位置提取信号，利用互补集合经验模态分解方法提取心跳信号，使用期望最大化算法对心跳信号进行分割，得出心率和心跳间隔。本发明实现居家非接触感知应用，对人体呼吸和心跳检测都具有准确的感知能力，易推广，适用于智能家居、智慧养老等领域。

权利要求

1.一种基于智能音箱的非接触式心跳检测方法，其特征在于，包括：使用智能音箱发送调频连续波信号并利用麦克风接收；

对接收信号进行带通滤波，滤除所需范围外的噪音；

对发送信号和滤波后的接收信号进行混频操作；

通过对混频信号进行频谱分析，并使用提出的虚拟发射信号消除系统延迟；

使用消除系统延迟后的信号进行快速傅立叶变换；

选择快速傅立叶变换峰值位置对应的信号相位变化；

使用互补集合经验模态分解方法提取心跳信号；

使用期望最大化算法对心跳信号分割，获得心率与心跳间隔；

所述虚拟发射信号消除系统延迟算法中延迟tw计算如下：其中，fd表示混频信号的频率，tt表示真实系统延迟，T表示调频周期，B表示调频带宽；

根据所述延迟tw计算虚拟发射信号x′tx(t)，x′tx(t)如下式：t表示信号产生的时间，A表示调频信号强度。

2.根据权利要求1所述的基于智能音箱的非接触式心跳检测方法，其特征在于：所述调频连续波信号xtx(t)描述如下式：其中：t表示信号产生的时间，f0表示初始载波频率，f0>18kHz；B表示调频带宽；T表示调频周期；A表示调频信号强度。

3.根据权利要求1所述的基于智能音箱的非接触式心跳检测方法，其特征在于：所述互补集合经验模态分解方法提取心跳信号算法。

4.根据权利要求1所述的基于智能音箱的非接触式心跳检测方法，其特征在于：所述期望最大化的心跳信号切割算法，使用动态规划方法来匹配和迭代优化心跳分割模版，获得心率与心跳间隔。

说明书

一种基于智能音箱的非接触式心跳检测方法

技术领域

[0001] 本发明属于智能非接触感知领域，特别涉及利用智能音箱中的声波信号进行非接触感知的方法。

背景技术

[0002] 当前心血管疾病是全球人民面临的最常见的健康问题，是全球发病率和死亡率的主要原因之一[1‑2]。在发展中国家，心血管疾病每年造成约1700万人死亡。仅在美国，心血
管疾病每年就造成约37万人死亡。心率检测提供了一些关于心血管系统效率和功能的信
息。传统上，心率监测在医学上是一种常见的做法，在协助临床诊断、评估患者的整体健康
状况方面起着至关重要的作用。但是监测需要由专业人员操作专用设备进行，例如，使用心
电图设备(ECG)[3]监测。虽然这些设备可以达到很高的精度，但这些设备通常很昂贵，并且
需要专业人员操作。为了方便人们在家里进行日常的心跳监测，便携式设备甚至可穿戴设
备[4,5]也纷纷涌现，这些设备虽然有着便携和成本低的优势，但需要佩戴，引起用户的不
舒适，也会经常遗忘佩戴。

[0003] 近年来，无线感知成为一个研究热点，无线感知与传统基于传感器方法的关键区别在于，它不需要任何专用设备，通过人体对信号的影响，从信号中提取人的生命体征信
息，具有非侵扰、使用方便等优点。为了实现这一目标，本发明提供一种基于智能音箱的非
接触式心跳检测方法，无论用户处于坐姿还是睡姿，智能音箱都能以非接触的方式精确监
控用户的心率以及更详细的心跳间隔数据。

[0004] [1]2019.Heart Disease and Stroke Statistics‑2019 At‑a‑Glance.https://healthmetrics.heart.org/wp‑content/uploads/2019/02/At‑A‑GlanceHeart‑
Disease‑and‑Stroke‑Statistics‑％E2％80％93‑2019.pdf.

[0005] [2]2020.Cardiovascular Diseases. https://www.who.int/health‑topics/cardiovascular‑diseases/#tab＝tab_1.

[0006] [3]Leonard S Lilly.2012.Pathophysiology of heart disease:acollaborative project of medical students and faculty.Lippincott Williams&
Wilkins.

[0007] [4]2020.Fitbit wrist band.https://www.fitbit.com/.

[0008] [5]2020.Apple watch.https://www.apple.com/watch/.

发明内容

[0009] 本发明技术解决问题：克服现有技术的不足，提供一种基于智能音箱的非接触式心跳检测方法。该方法包含高精度测量亚毫米级人体心跳的感知技术，并分离去除包括呼
吸在内的其它人体活动的影响，实现了在日常家用场景下，准确可靠的非接触式人体心跳
检测。

[0010] 本发明技术解决方案：一种基于智能音箱的非接触式心跳检测方法，包括：

[0011] 使用智能音箱发送调频连续波信号并利用麦克风接收；

[0012] 对接收信号进行带通滤波，滤除所需范围外的噪音；

[0013] 对发送信号和滤波后的接收信号进行混频操作；

[0014] 通过对混频信号进行频谱分析，并使用提出的虚拟发射信号消除系统延迟；

[0015] 使用消除系统延迟后的信号进行快速傅立叶变换；

[0016] 选择快速傅立叶变换峰值位置对应的信号相位变化；

[0017] 使用互补集合经验模态分解方法提取心跳信号；

[0018] 使用期望最大化算法对心跳信号分割，获得心率与心跳间隔。

[0019] 所述调频连续波信号xtx(t)描述如下式1：

[0020]

[0021] 其中：t表示信号产生的时间，f0表示初始载波频率，f0>18kHz；B表示调频带宽；T 表示调频周期；A表示调频信号强度。

[0022] 所述虚拟发射信号消除系统延迟算法中延迟tw，所述tw如下：

[0023]

[0024] 其中，fd表示混频信号的频率，tt表示真实系统延迟。

[0025] 所述互补集合经验模态分解方法提取心跳信号算法。

[0026] 所述期望最大化的心跳信号切割算法，使用动态规划方法来匹配和迭代优化心跳分割模版，获得心率与心跳间隔。

[0027] 根据延迟tw计算虚拟发射信号x′tx(t)，x′tx(t)如下式：

[0028]

[0029] 本发明与现有技术相比的优点在于:本发明利用音箱发送声波信号，通过对回波进行信号分析和处理，实现非接触式的人体心跳感知。其原理是利用音箱上的扬声器发出
调频连续波信号，信号在到达目标后，经目标人体反射回来并被麦克风接收，对接收信号与
发送信号进行混频操作，并通过低通滤波器处理。根据混频结果，设计虚拟发送信号，将其
与接收信号再次混频以消除系统延迟，从而得到目标人体位置。在该位置提取信号，利用互
补集合经验模态分解方法提取心跳信号，之后使用期望最大化算法对心跳信号进行分割，
得出心率和心跳间隔。本发明充分利用广泛使用的智能音箱设备，不需要任何专用传感器，
可以以便捷的方式实现居家非接触感知应用。本发明对人体呼吸和心跳检测都具有准确的
感知能力，易推广，适用于智能家居、智慧养老等领域。

附图说明

[0030] 图1为本发明方法对应的流程图；

[0031] 图2为心跳分割结果；

[0032] 图3为感知设备；

[0033] 图4为心电图监测仪；

[0034] 图5为基于智能音箱的非接触心跳检测界面。

具体实施方式

[0035] 为使本发明的目的、技术方案和优点更加清楚，下面结合附图及实施例对本发明作进一步的详细描述。

[0036] 如图1所示，本方法主要由信号预处理、信号相位变化提取，心跳提取三个步骤。第一步，信号预处理，主要包括接收信号带通滤波、信号混频操作以及消除系统延迟算法。第
二步，信号相位变化提取，主要包括通过快速傅立叶变换来获取目标位置，并提取信号相位
变化的波形。第三步，心跳提取，主要包括心跳信号分离、分割心跳波形以及获取心率和心
跳间隔。

[0037] 下面将详细描述系统的各个步骤。

[0038] 本发明的实现步骤如下：

[0039] 第一步：信号预处理。采用调频连续波(FMCW)作为智能音箱的发送信号，记为xtx(t),表示为：

[0040]

[0041] 其中t表示信号的产生时间，φ(t)表示信号的相位，A表示发送信号的强度，f0表示载波频率，k表示调频斜率k＝B/T，B表示发送信号带宽，T表示扫频周期。

[0042] 针对智能音箱中存在的系统延迟问题：音箱硬件存在系统延迟，导致直接路径信号和反射路径信号在时域上的顺序不确定，引起距离测量误差，无法定位目标。为了解决上
述问题，我们设计了一种通过虚拟发送信号来进行二次信号混频的方法，首先将接收信号
与发送信号进行混频操作，然后将混频信号通过低通滤波器。基于不同的系统时间延迟量，
由于从扬声器到麦克风的直射路径信号的能量比来自人体胸部的反射路径信号强得多，因
此可以利用信号强度来识别直射路径信号。其次，进行频率分析并选择最高的峰值。这个最
高峰值的延迟表示为tw。构造虚拟发送信号，表示为：

[0043]

[0044] 其中t表示信号的产生时间，φ(t+tw)表示延迟后的信号的相位，A表示发送信号的强度，f0表示载波频率，k表示调频斜率k＝B/T，B表示发送信号带宽，T表示扫频周期。

[0045] 假设目标距离收发设备距离为R，信号到达目标并反射回接收端，接收信号就是对发送信号延迟为 的形式(c是光速)，表示为：

[0046]

[0047] 其中，A′表示接收信号的强度，其余变量含义相同。然后利用这个虚拟发送信号和接收信号执行第二次混频操作，得到的混频信号x’m(t)可以表示为：

[0048] x′m(t)＝x′tx(t)·xrx(t)

[0049] 第二步：信号相位变化提取。将二次混频的信号通过低通滤波器并执行快速傅里叶变换(FFT)运算。如果FFT最高峰值位于开始位置，则表明随机时间延迟已被消除。如果出
现了在上述操作之后，直接路径信号仍然没有位于开始位置。需要将原始信号重新延迟T‑
tw， T是扫频周期。在最多两步操作后，即可以成功消除随机系统延迟，并解决了直接路径
反射路径顺序颠倒问题，定位到目标位置。

[0050] 假设呼吸和心跳引起的人体胸腔的位移是Δd，混合信号x’m(t)通过低通滤波器后表示为：

[0051]

[0052] 其中A’表示接收信号的强度，R表示目标距离收发设备的距离。T表示信号的产生时间，A 和A′分别表示发送和接收信号的强度，f0表示载波频率，信号延迟 k表示调
频斜率 k＝B/T，B表示发送信号带宽，T表示扫频周期。

[0053] 上述的表达式被分解为两项，第一项ft可以直接用于计算距离，但由于心跳振幅远小于频率距离分辨率，无法通过第一项来直接得到心跳。而第二项 是混频信号的相
位变化，其范围为[0‑2π]。2π的相位变化对应于10.7mm的距离变化。而心跳引起的胸腔位移
的范围是0.1mm‑0.5mm。假设心跳引起的胸腔起伏是0.5mm，可以得到对应的相位变化为：

[0054]

[0055] 因此，通过获取信号的相位来提取人的心跳。

[0056] 第三步：心跳提取：对人身体运动的不同幅度及其频率进行了分类，身体运动主要可以分为四类，心跳和呼吸频率分别为[0.8‑2Hz]和[0.1‑0.5Hz]，人体的慢速运动频率为 
[0.1‑2Hz]，主要是指人体躯干的向前和向后倾斜。人体的快速运动的频率是[0.5‑5Hz]，主
要指身体某些部位的运动，如手或腿的抖动。可以观察到由四种类型的运动引起的信号频
率有重叠，因此简单的带通滤波，即指定频率范围的滤波器，不能滤除各个成分引起的干扰
信号。使用采用带自适应噪声的互补集合经验模态分解方法进行信号分离。

[0057]不同类型运动 幅度 频率
心跳运动 0.1‑0.5mm 0.8‑2Hz
呼吸运动 1‑12mm 0.1‑0.5Hz
身体慢速运动(前倾/后仰) 分米级 0.1‑2Hz
身体快速运动(手/腿晃动) 厘米级 0.5Hz‑5Hz

[0058] 假设x(t)是人体多种运动叠加的信号，其中包含了各个不同频率成分(呼吸、心跳和其它成分等)对应的信号模态，令Ci(t)为互补集合经验模态分解得到的第i个模态分量
(IMF)， ni(t)为第i次添加的高斯白噪声序列信号，βi为控制噪声系数比例值。令Ek(·)操
作是通过经验模态分解(EMD)方法产生第k个模态，则心跳信号分解的详细步骤为：

[0059] 步骤1：向待处理的心跳信号x(t)中添加I次高斯白噪声，构造序列Xi(t)＝x(t) + β0ni(t),i＝1，2，...，I，利用EMD算法对每个Xi(t)进行频率的分解，直到能够分解出第1个 
IMF模态分量时，第1个模态分量定义为：

[0060]

[0061] 步骤2：在第一轮(k＝1)，计算第一个模态分量的残差：

[0062] 步骤3：在每i次计算，通过经验模态分解获取，r1+β1E2(ni(t)),i＝1，2，...，I的第一个模态分量，从而可以定义原始信号的第2个模态分量，公式如下：

[0063]

[0064] 步骤4：对于k＝2，…，K，计算第k个模态的残差：

[0065] 步骤5：通过经验模态分解获取rk+βkEk(ni(t))，i＝1，2，...，I的第一个模态分量，同时定义第k+1个模态分量，公式如下：

[0066]

[0067] 步骤6：令k＝k+1，返回步骤(4)继续执行，直到最后分解的残差不能继续分解为止。最后的残差为： K也就是分解的模态数量。噪声系数βk＝εkstd(rk)
可以在每个阶段进行信噪比(SNR)的选择。该方法保证了信号分解的完备性，并提供了一个
精确重构原始数据的方法。

[0068] 为了获得心跳间隔，本发明使用期望最大化(EM)算法进行心跳动态分割。认为心跳信号的形态是在连续波形上重复出现的，通过动态调整连续心跳信号的心跳间隔时间，
并使用动态规划方法来匹配和迭代优化心跳分割模版。如图2所示，在使用EM算法后绘制分
割结果。结果表明，分割后的心跳间隔与ECG基本一致，平均偏差仅为0.05秒。

[0069] 本发明的实施例采用的是人在躺姿或者坐姿下进行非接触式心跳检测。系统使用商用音箱(JBL Jembe，6瓦，80分贝)，并通过3.5毫米音频接口(AUX)将其连接到笔记本电脑
(MacBook Pro 2.6GHz，Intel Core i7，16GB RAM)，如图3。音箱用于发送声音信号，带有内
置麦克风的笔记本电脑用于接收信号，收发器放置在距离用户60 厘米的位置。音箱连续发
送调频连续波信号(信号参数为:f0＝16kHz，B＝5kHz，T＝0.02s)，笔记本电脑采用48kHz的
采样率来实时接收并处理信号来监测目标人体的心跳。采用如图4所示的3导联心电图监测
仪Heal Force PC‑80B来测量用户的真实心电图数据，从而用来计算心率和心跳间隔时间。
进行上述第1‑6步骤的处理，处理结果展示在基于Web 开发的前端界面，如图5，界面显示了
利用本发明方法，提取到的呼吸和心跳的信号波形，以及频率(次/分钟)，测试场景显示在
界面右上，用心电监测仪测量的心跳真值显示在界面右下。

[0070] 提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修
改，均应涵盖在本发明的范围之内。