异常监控方法、装置、计算机设备及存储介质转让专利
申请号 : CN202010625271.1
文献号 : CN111915842B
文献日 : 2021-11-05
发明人 : 唐宇 , 骆少明 , 郭琪伟 , 侯超钧 , 庄家俊 , 苗爱敏 , 褚璇 , 钟震宇 , 吴亮生
申请人 : 广东技术师范大学 , 仲恺农业工程学院 , 广东省科学院智能制造研究所
摘要 :
权利要求 :
1.一种异常监控方法,其特征在于,应用于监控系统中,所述监控系统包括设置于一目标场景的多个图像采集设备,所述异常监控方法包括:实时采集监控目标的生命体征数据,对所述生命体征数据进行监控;
若所述生命体征数据符合第一响应级别,则确定所述监控目标的位置信息,所述第一响应级别指示所述生命体征数据存在异常;
根据所述位置信息从多个所述图像采集设备中确定关联采集设备,所述关联采集设备为当前可以采集到监控目标图像的图像采集设备;
从所述关联采集设备中提取所述监控目标当前的监控图像,所述监控图像包括所述监控目标的体态图像和面部图像;
对所述体态图像进行识别,确定所述监控目标的体态行为;
对所述面部图像进行识别,确定所述监控目标的情绪信息;
根据所述监控目标的体态行为和所述情绪信息确定所述监控目标的异常状态;
其中,所述对所述面部图像进行识别,确定所述监控目标的情绪信息,包括:若所述面部图像中存在遮挡区域,则从所述面部图像中提取比对信息;
若其他图像采集设备中存在关联图像,则根据所述目标图像的属性信息和所述比对信息,从其他图像采集设备中提取关联图像,所述关联图像为包括不存在遮挡区域的监控目标的面部图像;
从所述关联图像中确定关联区域图像,对所述关联区域图像进行情绪识别,得到所述监控目标的情绪信息,所述关联区域图像为与所述监控目标一致的人脸图像;
若其他图像采集设备中不存在所述关联图像,则对所述面部图像中的未遮挡区域进行图像分割,得到多个图像分割区域;
根据所述多个图像分割区域对预设的情绪样本图像集中的每一样本图像进行图像分割,将所述情绪样本图像集中的每一样本图像分割成多个样本分割区域,所述情绪样本图像集包括多个样本图像和每一所述样本图像对应的情绪标注数据;
将所述面部图像中每一图像分割区域和每一样本图像中对应的样本分割区域进行聚类分析,确定每一图像分割区域对应的聚类簇;
对每一图像分割区域对应的聚类簇中每一样本分割区域对应的情绪标注数据进行统计,将每一图像分割区域对应的聚类簇中数量最多的情绪标注数据确定为基准情绪数据;
根据每一图像分割区域对应的聚类簇中的基准情绪数据确定所述监控目标的情绪信息。
2.如权利要求1所述的异常监控方法,其特征在于,在所述根据所述监控目标的体态行为和所述情绪信息确定所述监控目标的异常状态之后,所述异常监控方法还包括:若所述监控目标的异常状态为第一异常状态,则获取所述监控目标当前的第一状态信息,将所述第一状态信息发送至对象关联终端,其中,所述第一异常状态指示所述监控目标的行为异常,所述对象关联终端为预先绑定的与所述监控目标相关的人员对应的终端;
若所述监控目标的异常状态为第二异常状态,则获取所述监控目标当前的第二状态信息,根据所述第二状态信息触发报警事件,其中,所述第二异常状态指示所述监控目标的当前状态存在危险。
3.如权利要求1所述的异常监控方法,其特征在于,在所述实时采集监控目标的生命体征数据,对所述生命体征数据进行监控之后,所述异常监控方法还包括:若所述生命体征数据符合第二响应级别,则确定所述监控目标的位置信息,所述第二响应级别指示所述生命体征数据存在轻微异常;
根据所述位置信息从多个所述图像采集设备中确定关联采集设备,所述关联采集设备为当前可以采集到监控目标图像的图像采集设备;
从所述关联采集设备中提取所述监控目标当前的监控图像,所述监控图像包括所述监控目标的面部图像;
对所述面部图像进行识别,确定所述监控目标的情绪信息;
根据所述情绪信息确定所述监控目标的异常状态。
4.如权利要求1所述的异常监控方法,其特征在于,所述对所述关联区域图像进行情绪识别,得到所述监控目标的情绪信息,包括:对所述关联区域图像进行身份识别,确定所述关联图像的身份信息;
根据所述身份信息确定所述关联图像的声纹特征;
从所述关联图像对应的采集时间确定关联时间区间,从所述关联采集设备根据所述关联时间区间提取语音信息;
根据所述关联图像的声纹特征从所述语音信息中提取所述关联图像的语音数据;
根据所述语音数据和所述关联区域图像进行情绪识别,得到所述监控目标的情绪信息。
5.一种监控系统,包括设置于一目标场景的多个图像采集设备,其特征在于,包括:生命体征监控模块,用于实时采集监控目标的生命体征数据,对所述生命体征数据进行监控;
第一位置信息确定模块,用于若所述生命体征数据符合第一响应级别,则确定所述监控目标的位置信息,所述第一响应级别指示所述生命体征数据存在异常;
关联采集设备确定模块,用于根据所述位置信息从多个所述图像采集设备中确定关联采集设备,所述关联采集设备为当前可以采集到监控目标图像的图像采集设备;
监控图像提取模块,用于从所述关联采集设备中提取所述监控目标当前的监控图像,所述监控图像包括所述监控目标的体态图像和面部图像;
体态图像识别模块,用于对所述体态图像进行识别,确定所述监控目标的体态行为;
面部图像识别模块,用于对所述面部图像进行识别,确定所述监控目标的情绪信息;
异常状态确定模块,用于根据所述监控目标的体态行为和所述情绪信息确定所述监控目标的异常状态;
其中,所述面部图像识别模块,具体用于:若所述面部图像中存在遮挡区域,则从所述面部图像中提取比对信息;
若其他图像采集设备中存在关联图像,则根据所述目标图像的属性信息和所述比对信息,从其他图像采集设备中提取关联图像,所述关联图像为包括不存在遮挡区域的监控目标的面部图像;
从所述关联图像中确定关联区域图像,对所述关联区域图像进行情绪识别,得到所述监控目标的情绪信息,所述关联区域图像为与所述监控目标一致的人脸图像;
若其他图像采集设备中不存在所述关联图像,则对所述面部图像中的未遮挡区域进行图像分割,得到多个图像分割区域;
根据所述多个图像分割区域对预设的情绪样本图像集中的每一样本图像进行图像分割,将所述情绪样本图像集中的每一样本图像分割成多个样本分割区域,所述情绪样本图像集包括多个样本图像和每一所述样本图像对应的情绪标注数据;
将所述面部图像中每一图像分割区域和每一样本图像中对应的样本分割区域进行聚类分析,确定每一图像分割区域对应的聚类簇;
对每一图像分割区域对应的聚类簇中每一样本分割区域对应的情绪标注数据进行统计,将每一图像分割区域对应的聚类簇中数量最多的情绪标注数据确定为基准情绪数据;
根据每一图像分割区域对应的聚类簇中的基准情绪数据确定所述监控目标的情绪信息。
6.如权利要求5所述的监控系统,其特征在于,所述监控系统还包括:第一异常处理模块,用于若所述监控目标的异常状态为第一异常状态,则获取所述监控目标当前的第一状态信息,将所述第一状态信息发送至对象关联终端,其中,所述第一异常状态指示所述监控目标的行为异常,所述对象关联终端为预先绑定的与所述监控目标相关的人员对应的终端;
第二异常处理模块,用于若所述监控目标的异常状态为第二异常状态,则获取所述监控目标当前的第二状态信息,根据所述第二状态信息触发报警事件,其中,所述第二异常状态指示所述监控目标的当前状态存在危险。
7.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至
4任一项所述异常监控方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述异常监控方法的步骤。
说明书 :
异常监控方法、装置、计算机设备及存储介质
技术领域
背景技术
一旦老年人因自身疾病或外界影响,易发生突发意外情况而无人知晓,从而错过护理和抢
救的最佳时间。
不足。
发明内容
骤。
别,即监控目标当前的健康状态处于严重异常时,则确定监控目标的位置信息,以便根据位
置信息从多个图像采集设备中确定关联采集设备,以针对性地分析关联采集设备所采集的
视频流。然后,从关联采集设备中提取监控目标当前的监控图像,以便针对监控图像中的体
态图像和面部图像这两个维度进行图像识别,通过对监控目标的体态行为和情绪信息进行
综合分析,从而确定监控目标的异常状态,可有效提高异常监控的准确性和可靠性。
附图说明
例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图
获得其他的附图。
具体实施方式
明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施
例,都属于本发明保护的范围。
电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服
务器组成的服务器集群来实现。
端、服务器和监控端(包括图像采集设备和体征监测传感器),客户端与服务器通过网络进
行通信,用于实现对监控目标的实时监控,检测异常状态,以便及时应对突发状况,保障老
人的生命安全。其中,客户端又称为用户端,是指与服务器相对应,为客户提供本地服务的
程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携
式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实
现。
服务器为例进行说明,包括如下步骤:
场景的多个图像采集设备间进行通信,以获取多个图像采集设备所采集得到的信息数据。
其中,多个图像采集设备具体指两个或两个以上能够采集监控目标的图像数据的采集设
备。
以及周围环境,且能够通过视频流观察老人是否存在某种疾病的征兆,便于及时采取措施。
统对生命体征数据进行监控。可选地,该目标终端可为移动式体征检测设备,配备在监控目
标身上,以有效采集监控目标的生命体征数据。其中,该生命体征数据可包括血压、体温、血
氧、脉搏以及心电等至少一个特征维度的体征数据。
家庭的老人的子女、亲戚能够实时查看老人的日常活动状态,或者养老场所的医护人员通
过视频流观察老人是否存在某种疾病的征兆,便于及时采取措施。
命体征数据与一血压阈值进行对比,以确定监控目标当前的健康状态;或者,监控系统对上
述特征维度中的至少两个特征维度对应的生命体征数据进行综合分析,例如对多个维度的
生命体征数据进行加权处理,并将加权处理结果与一预设危险阈值进行对比,或者采用预
先训练好的体征分析模型对多个维度的生命体征数据进行分析,以确定监控目标当前的健
康状态。
中的定位模块,确定监控目标的位置信息,以便确定监控目标当前的所处位置。
以便后续能够对监控目标图像进行分析。
中的至少一个图像采集设备确定为关联采集设备;
一图像采集设备的布置位置进行分析比对,以将与监控目标的距离在图像采集范围内的图
像采集设备确定为关联采集设备。
前面部表情的图像。
每隔1s截取一次视频帧图像,以获取监控目标当前的监控图像,通过按照时间间隔截取视
频流,可有效减少数据处理量,降低服务器性能消耗;一种是将视频流中的每一视频帧图像
作为监控目标当前的监控图像,可提高后续进行图像识别的准确率。
标注体态行为的图像数据进行训练得到;或者,通对过人体关键点之间连线与水平面的角
度进行判断,即可确定监控目标的体态行为,例如若头部左边点和重心坐标点之间的连线
和水平面的夹角,以及中心坐标点和小腿中心坐标点连线和水平面的夹角,都小于一预设
度数时(例如15度),则将监控目标的体态行为确定为跌倒状态。
会表现出焦急的面部表情。
部图像直接与每一预先标注好的情绪图像进行特征相似度比对,将相似度最高的情绪图像
对应的情绪标准数据作为监控目标的情绪信息。
和/或在该预设时间内监控目标的情绪信息表现为负面情绪,则认为此时的突发状况为跌
倒,但跌倒后仍可正常行动,则将该异常状态作为第一异常状态。
跌倒后,无法正常行动可能存在晕倒的情况,较为严重,将该异常状态作为第二异常状态。
态处于严重异常时,则确定监控目标的位置信息,以便根据位置信息从多个图像采集设备
中确定关联采集设备,以针对性地分析关联采集设备所采集的视频流。然后,从关联采集设
备中提取监控目标当前的监控图像,以便针对监控图像中的体态图像和面部图像这两个维
度进行图像识别,通过对监控目标的体态行为和情绪信息进行综合分析,从而确定监控目
标的异常状态,可有效提高异常监控的准确性和可靠性。
还包括如下步骤:
常,所述对象关联终端为预先绑定的与所述监控目标相关的人员对应的终端。
仍可正常行动,则生成第一状态信息,将该第一状态信息发送至对象关联终端,所述对象关
联终端为预先绑定的与所述监控目标相关的人员对应的终端,以在老人的子女或亲戚未及
时查看到图像采集设备反馈的视频流的情况下,可及时提醒老人的子女、亲戚或医护人员
老人跌倒或摔倒的情况,有效避免老人突发意外情况,无人知晓的问题。
危险。
以为医院或者其他医护场所。终端可以为医护人员的终端,或者其他和监控目标有关联的
人员的终端。
及时拨打急救电话,使老人能够及时地得到救助,保障老人的生命安全。
亲戚或医护人员老人跌倒的情况;在检测到监控目标的第二异常状态时,则触发目标终端
拨打急救电话,在电话接通时,启动语音播报,并按照预设急救地址进行语音播报,避免突
遇危险情况的老人由于慌张或无意识,无法准确说出所处地址,延迟救护时间的问题,保障
老人的生命安全。
子女、亲戚或医护人员老人跌倒的情况;
安全。
该异常监控方法还包括如下步骤:
中的定位模块,确定监控目标的位置信息,以便确定监控目标当前的所处位置。
行识别即可,可有效减少数据处理量,提高效率。
戚或医护人员,及时知晓老人当前的异常情况,以及时采取应对措施。
现对不同情况的异常状态的监控,针对性强。
目标的情绪信息,具体包括如下步骤:
训练好的遮挡检测模型中进行检测,以确定面部图像是否存在遮挡区域以及遮挡区域的图
像位置。
像,即比对信息。
时间标签一致的视频帧图像,再从该视频帧图像中提取与比对信息相似度较高的视频帧图
像作为候选图像。
12:30作为确定为一时间截取范围,通过从其他图像采集设备采集的视频流中,提取与时间
截取范围一致的N帧视频帧图像,再从N帧视频帧图像中提取与比对信息相似度较高的视频
帧图像作为候选图像。
图像输入至预先训练好的人脸检测模型检测候选图像中是否有人脸存在,若存在,则将该
候选图像作为关联图像,保证该关联图像为不存在遮挡区域的监控目标的面部图像,排除
不包含人脸的干扰和遮挡区域的干扰,从而保证后续情绪识别的准确率。其中,人脸检测模
型可采用CascadeCNN方法对标注好人脸位置的图像进行训练得到。
该关联区域图像输入至预先训练好的情绪识别模型中进行情绪识别,输出与关联区域图像
对应的情绪识别结果(例如痛苦),即为监控目标的情绪信息,以通过从人面部情绪的角度
分析老人当前的异常状态,以在发生异常时,及时采取应对措施,保障老人的生命安全。
高监控系统的稳定性。
进行特征相似性比对,若比对成功,则将验证人脸图像对应的监控目标的身份信息作为关
联图像的身份信息。
征。
时间区间确定为关联时间区间,例如,时间标签为22:00,则以22:00为基准节点,向前的5分
钟即21:55‑22:00作为确定为关联时间区间,以按照该关联时间区间从关联采集设备采集
的视频流中提取该段时间内的音频即语音信息。
是否发出呼救。
绪,则监控目标的情绪信息为负面情绪。
实际需要进行调整,此处不做限定。
包括多个样本图像和每一样本图像对应的情绪标注数据。
的聚类簇
绪数据。
割区域,再按照同样的预设滑动窗口将预设的情绪样本图像集中的每一样本图像进行图像
分割,得到多个样本分割区域,最后通过将每一图像分割区域与样本分割区域进行聚类分
析,以确定监控目标的情绪信息,以兼容不容的情况,提高异常监控的可靠性和实用性。
定。
定模块802、关联采集设备确定模块803、监控图像提取模块804、体态图像识别模块805、面
部图像识别模块806和异常状态确定模块807。各功能模块详细说明如下:
监控目标的行为异常,所述对象关联终端为预先绑定的与所述监控目标相关的人员对应的
终端。
目标的当前状态存在危险。
述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储
于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包
括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据
库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算
机设备的数据库用于对样本图像进行存储。该计算机设备的网络接口用于与外部的终端通
过网络连接通信。该计算机程序被处理器执行时以实现一种异常监控方法。
示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的
存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机
程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计
算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时
以实现一种异常监控方法。
可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,
本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可
包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM
(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括
随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,
诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强
型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM
(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上
描述的全部或者部分功能。
实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改
或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应
包含在本发明的保护范围之内。