电子装置、解锁方法及相关产品转让专利

申请号 : CN201810150100.0

文献号 : CN108334766B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 张海平

申请人 : OPPO广东移动通信有限公司

摘要 :

本申请实施例公开了一种电子装置、解锁方法及相关产品。方法包括:电子装置首先通过摄像头采集用户的人脸图像,其次,通过脑电波传感器采集用户的脑电波信号,再次,根据人脸图像识别用户当前的情绪,并获取当前的情绪对应的脑电图模板,然后,根据脑电波信号生成用户的脑电图,最后,在检测到人脸图像与预设的人脸图像模板匹配,且脑电图与脑电图模板匹配时,执行解锁操作。有利于提高电子装置解锁控制的智能性和安全性。

权利要求 :

1.一种电子装置,其特征在于,包括脑电波传感器、摄像头、处理器,所述脑电波传感器、所述摄像头与所述处理器耦合,其中,所述摄像头,用于采集用户的人脸图像;

所述脑电波传感器,用于采集用户的脑电波信号;

所述处理器,用于根据所述人脸图像识别用户当前的情绪,并获取所述当前的情绪对应的脑电图模板;所述根据所述人脸图像识别用户当前的情绪,包括识别所述人脸图像的特征点;确定所述特征点的特征数据;查询预设的情绪集合,确定与所述特征数据匹配的基准特征数据对应的情绪为用户当前的情绪,所述情绪集合包括基准特征数据与情绪之间的对应关系;所述获取所述当前的情绪对应的脑电图模板,包括:查询脑电图模板库,获取所述当前的情绪对应的脑电图模板,所述脑电图模板库包括情绪与脑电图模板之间的对应关系;以及用于根据所述脑电波信号生成用户的脑电图;以及用于在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作;其还包括获取户主用户在所述情绪状态下的多组脑电波信号;根据所述多组脑电波信号生成多个参考脑电图;根据所述多个参考脑电图生成所述脑电图模板。

2.根据权利要求1所述的电子装置,其特征在于,所述脑电波传感器包括电极式脑电波传感器,所述电极式脑电波传感器包括用于采集用户头部的多个位置区域的生物电的多个电极,所述脑电波信号包括所述多个电极采集到的多组脑电波信号;在所述根据所述脑电波信号生成用户的脑电图方面,所述处理器具体用于:根据所述多组脑电波信号中每组脑电波信号对应的位置区域的局部活跃度;以及用于获取局部活跃度大于预设活跃度的一个或多个位置区域;以及用于从所述一个或多个位置区域中筛选出处于预设头部区域的至少一个位置区域;以及用于根据所述至少一个位置区域的脑电波信号生成用户的脑电图。

3.根据权利要求2中任意一项所述的电子装置,其特征在于,在所述根据所述至少一个位置区域的脑电波信号生成用户的脑电图方面,所述处理器用于:若所述至少一个位置区域为1个位置区域,则根据该位置区域的一组脑电波信号生成用户的脑电图;以及用于若所述至少一个位置区域为至少2个位置区域,则确定该至少2个位置区域对应的至少2组脑电波信号,根据采集周期确定每个采样周期所采样的至少2个脑电波信号的脑电波平均值,根据每个采样周期对应的脑电波平均值生成用户的脑电图。

4.一种解锁方法,其特征在于,应用于电子装置,所述电子装置包括脑电波传感器及摄像头,所述方法包括:通过所述摄像头采集用户的人脸图像,通过所述脑电波传感器采集用户的脑电波信号;

根据所述人脸图像识别用户当前的情绪,并获取所述当前的情绪对应的脑电图模板;

所述根据所述人脸图像识别用户当前的情绪,包括识别所述人脸图像的特征点;确定所述特征点的特征数据;查询预设的情绪集合,确定与所述特征数据匹配的基准特征数据对应的情绪为用户当前的情绪,所述情绪集合包括基准特征数据与情绪之间的对应关系;所述获取所述当前的情绪对应的脑电图模板,包括:查询脑电图模板库,获取所述当前的情绪对应的脑电图模板,所述脑电图模板库包括情绪与脑电图模板之间的对应关系;

根据所述脑电波信号生成用户的脑电图;

在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作;其还包括获取户主用户在所述情绪状态下的多组脑电波信号;根据所述多组脑电波信号生成多个参考脑电图;根据所述多个参考脑电图生成所述脑电图模板。

5.根据权利要求4所述的方法,其特征在于,所述脑电波传感器包括电极式脑电波传感器,所述电极式脑电波传感器包括用于采集用户头部的多个位置区域的生物电的多个电极,所述脑电波信号包括所述多个电极采集到的多组脑电波信号;所述根据所述脑电波信号生成用户的脑电图,包括:根据所述多组脑电波信号中每组脑电波信号对应的位置区域的局部活跃度;

获取局部活跃度大于预设活跃度的一个或多个位置区域;

从所述一个或多个位置区域中筛选出处于预设头部区域的至少一个位置区域;

根据所述至少一个位置区域的脑电波信号生成用户的脑电图。

6.根据权利要求5所述的方法,其特征在于,所述根据所述至少一个位置区域的脑电波信号生成用户的脑电图,包括:若所述至少一个位置区域为1个位置区域,则根据该位置区域的一组脑电波信号生成用户的脑电图;

若所述至少一个位置区域为至少2个位置区域,则确定该至少2个位置区域对应的至少

2组脑电波信号,根据采集周期确定每个采样周期所采样的至少2个脑电波信号的脑电波平均值,根据每个采样周期对应的脑电波平均值生成用户的脑电图。

7.一种解锁装置,其特征在于,包括应用于电子装置,所述电子装置包括脑电波传感器及摄像头,所述解锁装置包括采集单元、获取单元、生成单元和解锁单元,其中,所述采集单元,用于通过所述摄像头采集用户的人脸图像,通过所述脑电波传感器采集用户的脑电波信号;

所述获取单元,用于根据所述人脸图像识别用户当前的情绪,并获取所述当前的情绪对应的脑电图模板;所述根据所述人脸图像识别用户当前的情绪,包括识别所述人脸图像的特征点;确定所述特征点的特征数据;查询预设的情绪集合,确定与所述特征数据匹配的基准特征数据对应的情绪为用户当前的情绪,所述情绪集合包括基准特征数据与情绪之间的对应关系;所述获取所述当前的情绪对应的脑电图模板,包括:查询脑电图模板库,获取所述当前的情绪对应的脑电图模板,所述脑电图模板库包括情绪与脑电图模板之间的对应关系;

所述生成单元,用于根据所述脑电波信号生成用户的脑电图;

所述解锁单元,用于在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作;其还包括获取户主用户在所述情绪状态下的多组脑电波信号;根据所述多组脑电波信号生成多个参考脑电图;根据所述多个参考脑电图生成所述脑电图模板。

8.一种电子装置,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求4-6任一项所述的方法中的步骤的指令。

9.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求4-6任一项所述的方法。

说明书 :

电子装置、解锁方法及相关产品

技术领域

[0001] 本申请涉及移动终端技术领域,具体涉及一种电子装置、解锁方法及相关产品。

背景技术

[0002] 随着智能手机等移动终端的大量普及应用,智能手机能够支持的应用越来越多,功能越来越强大,智能手机向着多样化、个性化的方向发展,成为用户生活中不可缺少的电子用品。用户通常通过手指触控、语音输入等形式与移动终端进行交互,控制移动终端完成各类功能。

发明内容

[0003] 本申请实施例提供了一种电子装置、解锁方法及相关产品,以期提高电子装置解锁控制的智能性和安全性。
[0004] 第一方面,本申请实施例提供了一种电子装置,包括脑电波传感器、摄像头、处理器,所述脑电波传感器、所述摄像头与所述处理器耦合,其中,
[0005] 所述摄像头,用于采集用户的人脸图像;
[0006] 所述脑电波传感器,用于采集用户的脑电波信号;
[0007] 所述处理器,用于根据所述人脸图像识别用户当前的情绪,并获取所述当前的情绪对应的脑电图模板;以及用于根据所述脑电波信号生成用户的脑电图;以及用于在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作。
[0008] 第二方面,本申请实施例提供了一种解锁方法,应用于电子装置,所述电子装置包括脑电波传感器及摄像头,所述方法包括:
[0009] 通过所述摄像头采集用户的人脸图像,通过所述脑电波传感器采集用户的脑电波信号;
[0010] 根据所述人脸图像识别用户当前的情绪,并获取所述当前的情绪对应的脑电图模板;
[0011] 根据所述脑电波信号生成用户的脑电图;
[0012] 在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作。
[0013] 第三方面,本申请实施例提供了一种解锁装置,包括应用于电子装置,所述电子装置包括脑电波传感器,所述解锁装置包括采集单元、获取单元、生成单元和解锁单元,其中,[0014] 所述采集单元,用于通过所述摄像头采集用户的人脸图像,通过所述脑电波传感器采集用户的脑电波信号;
[0015] 所述获取单元,用于根据所述人脸图像识别用户当前的情绪,并获取所述当前的情绪对应的脑电图模板;
[0016] 所述检测单元,用于根据所述脑电波信号生成用户的脑电图;
[0017] 所述拨号单元,用于在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作。
[0018] 第四方面,本申请实施例提供一种电子装置,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第二方面任一方法中的步骤的指令。
[0019] 第五方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第二方面任一方法中所描述的部分或全部步骤。
[0020] 第六方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第二方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
[0021] 本申请实施例中,电子装置首先通过摄像头采集用户的人脸图像,其次,通过脑电波传感器采集用户的脑电波信号,再次,根据所述人脸图像识别用户当前的情绪,并获取所述当前的情绪对应的脑电图模板,然后,根据所述脑电波信号生成用户的脑电图,最后,在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作。可见,电子装置能够基于脑电波信号和人脸图像双重认证,更加准确的检测到是否为用户本人进行解锁操作,有利于提高电子装置解锁控制的智能性和安全性。

附图说明

[0022] 为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0023] 图1A是本申请实施例提供的一种电子装置的结构示意图;
[0024] 图1B是本申请实施例提供的一种脑电波传感器的结构示意图;
[0025] 图1C是本申请实施例提供的集成脑电波传感器的电子装置的结构示意图;
[0026] 图1D是本申请实施例提供的另一种脑电波传感器的结构示意图;
[0027] 图1E是本申请实施例提供的另一种脑电波传感器的结构示意图;
[0028] 图1F是本申请实施例提供的一种电极阵列的结构示意图;
[0029] 图1G是本申请实施例提供的脑电波传感器的信号处理电路的示例图;
[0030] 图2A是本申请实施例提供的一种解锁方法的流程示意图;
[0031] 图2B是本申请实施例提供的一种电极式脑电波传感器采集脑电波信号的场景示意图;
[0032] 图3是本申请实施例提供的另一种解锁方法的流程示意图;
[0033] 图4是本申请实施例提供的另一种解锁方法的流程示意图;
[0034] 图5是本申请实施例提供的一种电子装置的结构示意图;
[0035] 图6是本申请实施例提供的一种解锁装置的功能单元组成框图。

具体实施方式

[0036] 为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,显然,所描述的实施例仅仅是本申请一部份实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
[0037] 本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同的对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法或设备固有的其他步骤或单元。
[0038] 在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
[0039] 本申请实施例所涉及到的电子装置可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(User Equipment,UE),移动台(Mobile Station,MS),终端设备(terminal device)等等。为方便描述,上面提到的设备统称为电子装置。
[0040] 请参阅图1A,图1A为本申请实施例公开的一种电子装置100的结构示意图,电子装置100包括:壳体110、设置于所述壳体内的脑电波传感器120、显示屏130、摄像头140、处理器150和射频系统160,所述脑电波传感器120、显示屏130、摄像头140和所述射频系统160连接所述处理器150,所述处理器150连接所述显示屏130,所述射频系统160包括发射器161、接收器162、信号处理器163,其中,
[0041] 所述摄像头140,用于采集用户的人脸图像;
[0042] 所述脑电波传感器120,用于采集用户的脑电波信号;
[0043] 所述处理器150,用于根据所述人脸图像识别用户当前的情绪,并获取所述当前的情绪对应的脑电图模板;以及用于根据所述脑电波信号生成用户的脑电图;以及用于在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作。
[0044] 其中,脑电图模板是指用于表征用户身份的基准脑电图,类似于指纹识别中的指纹模板,该模板具有参照性质,由于不同用户的人脑活动状态互不相同,对应的,由人脑活动所产生的脑电波信号也互不相同,而脑电图模板既可以正向关联用户的此种独特的生理特征属性,故而可以像指纹一样,用于用户身份的识别。
[0045] 其中,脑电波传感器120又可以称为脑电波芯片、脑电波接收器等,该脑电波传感器120集成在电子装置中,具有专用信号处理电路,并与电子装置的处理器连接,按照采集信号类型可以分为电流式脑电波传感器120和电磁式脑电波传感器120,电流式脑电波传感器120采集脑皮层产生的生物电流,电磁式脑电波传感器120采集人脑活动时辐射的电磁波。可以理解的是,该脑电波传感器120的具体形态可以是多种多样的,此处不做唯一限定。
[0046] 举例来说,如图1B所示,该脑电波传感器120可以包括天线模块和信号处理模块,天线模块采集人脑活动时产生的电磁波信号,信号处理模块的物理形式可以是专用信号处理芯片,该信号处理模块针对该电磁波信号执行去噪、滤波等处理,最终形成基准脑电波信号发送给处理器进行处理。
[0047] 又举例来说,如图1C和1D所示,该脑电波传感器120可以包括穿戴式信号采集器,如图C所示,该穿戴式信号采集器可以收容于电子装置100的后壳的收容腔内,使用时,如图1D所示,穿戴式信号采集器与电子装置本端有线连接或者无线连接(无线连接对应穿戴式信号采集器集成有无线通讯模块与电子装置本端通信连接)。
[0048] 再举例来说,如图1E至1G所示,该脑电波传感器120可以包括电极阵列和信号处理模块,其中,该电子阵列埋入头皮中捕获神经元的电信号,电极部分的结构为针状整列,该信号处理电路部分可以包括仪表放大器、低通滤波电路、高通滤波电路、模数A/D转换电路以及接口电路等。
[0049] 其中,处理器150包括应用处理器和基带处理器,处理器是电子装置的控制中心,利用各种接口和线路连接整个电子装置的各个部分,通过运行或执行存储在存储器内的软件程序和/或模块,以及调用存储在存储器内的数据,执行电子装置的各种功能和处理数据,从而对电子装置进行整体监控。其中,应用处理器主要处理操作系统、用户界面和应用程序等,基带处理器主要处理无线通信。可以理解的是,上述基带处理器也可以不集成到处理器中。
[0050] 具体实现中,电子装置可以控制所述脑电波传感器120在静止状态下以低功率模式工作,在运动状态下以高频率模式工作,以此降低功耗。
[0051] 可以看出,本申请实施例中,电子装置通过摄像头首先采集用户的人脸图像,通过脑电波传感器采集用户的脑电波信号,其次,根据所述人脸图像识别用户当前的情绪,并获取所述当前的情绪对应的脑电图模板,再次,根据所述脑电波信号生成用户的脑电图,最后,在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作。由于电子装置能够基于脑电波信号和人脸图像双重认证,更加准确的检测到是否为用户本人进行解锁操作,有利于提高在电子装置中用户解锁的智能性和安全性。
[0052] 在一个可能的示例中,所述脑电波传感器120包括电极式脑电波传感器,所述电极式脑电波传感器包括用于采集用户头部的多个位置区域的生物电的多个电极,所述脑电波信号包括所述多个电极采集到的多组脑电波信号;在所述根据所述脑电波信号生成用户的脑电图方面,所述处理器150具体用于:根据所述多组脑电波信号中每组脑电波信号对应的位置区域的局部活跃度;以及用于获取局部活跃度大于预设活跃度的一个或多个位置区域;以及用于从所述一个或多个位置区域中筛选出处于预设头部区域的至少一个位置区域;以及用于根据所述至少一个位置区域的脑电波信号生成用户的脑电图。
[0053] 其中,所述预设头部区域可以为基于大数据分析得到目标用户通常情况下处于较高活跃度的头部区域,分析所用的数据可以是日常(一天可以采集多次)采集的用户的脑电波参考信号。
[0054] 具体实现中,假设电子装置通过电极式脑电波传感器采集到分布在当前用户的头部的a、b、c、d、e、f、g、h7个位置区域的7组脑电波信号,电子装置通过对历史采集数据分析得到预设头部区域,该预设头部区域为用户头部的中心区域,电子装置首先根据采集到的7组脑电波信号计算每组脑电波信号对应的位置区域的局部活跃度,获取局部活跃度大于预设活跃度的位置区域包括a、b、c、d、f、g5个位置区域,进一步地,电子装置根据从该5个位置区域中筛选出处于预设头部区域的a、b、c、d4个位置区域,并根据该4个区域对应的4组脑电波信号生成当前用户的脑电图。
[0055] 可见,本示例中,由于电子装置首先基于活跃度比对进行第一层级的数据筛选,然后通过预设头部区域进行位置匹配首先第二层级的数据筛选,最终得到高活跃度区域的高质量脑电波信号,从而实现对人脑当前脑电波状态的准确分析和计算,有利于提高了电子装置在解锁时的智能性和准确性。
[0056] 在一个可能的示例中,在所述根据所述至少一个位置区域的脑电波信号生成用户的脑电图方面,所述处理器150具体用于:若所述至少一个位置区域为1个位置区域,则根据该位置区域的一组脑电波信号生成用户的脑电图;以及用于若所述至少一个位置区域为至少2个位置区域,则确定该至少2个位置区域对应的至少2组脑电波信号,根据采集周期确定每个采样周期所采样的至少2个脑电波信号的脑电波平均值,根据每个采样周期对应的脑电波平均值生成用户的脑电图。
[0057] 其中,采样周期可以为5毫秒、10毫秒等,此处不做唯一限定。
[0058] 具体实现中,假设所述至少一个位置区域为3个位置区域,其中,第一个位置区域对应1组脑电波信号中的某个采样周期的信号值为6毫伏,第二个位置区域对应1组脑电波信号中在该采样周期的信号值10毫伏,第三个位置区域对应1个脑电波信号中在该采样周期的信号值为8毫伏,通过计算得到当前用户在该采样周期的脑电波平均值为8毫伏V,以此类推,计算每个采样周期对应的脑电波平均值,最后基于脑电波平均值生成用户的脑电图。
[0059] 可见,本示例中,由于电子装置能够筛选出位于预设头部区域且局部活跃度高的至少一个位置区域的脑电波信号,并根据至少一个位置区域的脑电波信号算出脑电波平均值,避免误差脑电波信号对处理结果产生较大影响,如此能够提高电子装置的准确度,以及更加符合用户的习惯。
[0060] 在一个可能的示例中,在所述获取所述当前的情绪对应的脑电图模板方面,所述处理器150具体用于:查询脑电图模板库,获取所述当前的情绪对应的脑电图模板,所述脑电图模板库包括情绪与脑电图模板之间的对应关系。
[0061] 其中,用户在不同情绪状态下的脑电图模板一般是不同的,如生气状态和高兴状态下用户的生理状态存在差异性,故而用户同样的解锁操作所关联的脑电图模板也是不一样的,故而需要通过脑电波信号中局部活跃度高的区域进一步确定脑电图模板。
[0062] 可见,本示例中,由于电子装置能够根据检测到的人脸的变化,分析出户主用户的情绪,进而通过当前户主用户的情绪,与脑电图模板库中的脑电图模板一一比对,能够准确的得出当前户主用户的脑电图模板,提高了电子装置解锁的智能性和安全性。
[0063] 在一个可能的示例中,所述处理器150具体还用于:获取户主用户在所述情绪状态下的多组脑电波信号;以及用于根据所述多组脑电波信号生成多个参考脑电图;以及用于根据所述多个参考脑电图生成所述脑电图模板。
[0064] 可见,本示例中,电子装置通过多组脑电波信号得到多个参考脑电图,进而根据多个参考脑电图得到最终的脑电图模板,更加全面的将用户在同一情绪状态下的脑电波状态多维度的统计出,得到准确的脑电图模板,有利于电子装置在获取脑电图模板过程中的全面性和智能性。
[0065] 在一个可能的示例中,所述根据所述人脸图像识别用户当前的情绪,包括:识别所述人脸图像的特征点;确定所述特征点的特征数据;查询预设的情绪集合,确定与所述特征数据匹配的基准特征数据对应的情绪为用户当前的情绪,所述情绪集合包括基准特征数据与情绪之间的对应关系。
[0066] 其中,人脸特征点的特征数据可以通过二维人脸建模、三维人脸建模得到,此处不做唯一限定。
[0067] 可见,本示例中,电子装置通过识别人脸特征点,得到基于此人脸特征点的特征数据,并以此特征数据为基础,与预设情绪合集中的基准特征数据进行一一比对,得到当前用户的情绪,更加全面的通过人脸特征点分析出用户当前的情绪,使得电子装置更加准确的得到当前用户的情绪,进一步的得到准确的脑电图,有利于电子装置进行情绪识别的准确性和智能性。
[0068] 在一个可能的示例中,所述特征点至少包括以下任意一种:眼睛、嘴巴、眉毛和颧骨。
[0069] 可见,本示例中,可见,本示例中,根据人脸识别能够准确的得到用户的五官和颧骨的特征点,通过多个特征点与基准特征点进行比对,能够准确的得到当前用户的情绪变化,有利于电子装置进行情绪识别的准确性、智能性和安全性。
[0070] 请参阅图2,图2是本申请实施例提供了一种解锁方法的流程示意图,应用于如图1A所述的电子装置,应用于电子装置,所述电子装置包括脑电波传感器及摄像头,如图所示,本解锁方法包括:
[0071] 步骤201,电子装置通过所述摄像头采集用户的人脸图像,通过所述脑电波传感器采集用户的脑电波信号。
[0072] 步骤202,所述电子装置根据所述人脸图像识别用户当前的情绪,并获取所述当前的情绪对应的脑电图模板。
[0073] 步骤203,所述电子装置根据所述脑电波信号生成用户的脑电图。
[0074] 步骤204,所述电子装置在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作。
[0075] 其中,所述解锁操作是指电子装置在锁屏状态下移除锁屏界面、点亮显示屏、显示预设界面的过程,所述预设界面可以是系统桌面、预设壁纸、应用程序的应用界面等,此处不做唯一限定。
[0076] 可以看出,本申请实施例中,电子装置首先通过摄像头采集用户的人脸图像,其次,通过脑电波传感器采集用户的脑电波信号,再次,根据所述人脸图像识别用户当前的情绪,并获取所述当前的情绪对应的脑电图模板,然后,根据所述脑电波信号生成用户的脑电图,最后,在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作。可见,电子装置能够基于脑电波信号和人脸图像双重认证,更加准确的检测到是否为用户本人进行解锁操作,有利于提高电子装置用户解锁的智能性和安全性。
[0077] 在一个可能的示例中,所述脑电波传感器包括电极式脑电波传感器,所述电极式脑电波传感器包括用于采集用户头部的多个位置区域的生物电的多个电极,所述脑电波信号包括所述多个电极采集到的多组脑电波信号;所述根据所述脑电波信号生成用户的脑电图,包括:根据所述多组脑电波信号中每组脑电波信号对应的位置区域的局部活跃度;获取局部活跃度大于预设活跃度的一个或多个位置区域;从所述一个或多个位置区域中筛选出处于预设头部区域的至少一个位置区域;根据所述至少一个位置区域的脑电波信号生成用户的脑电图。
[0078] 其中,所述预设头部区域可以为基于大数据分析得到目标用户通常情况下处于较高活跃度的头部区域,分析所用的数据可以是日常(一天可以采集多次)采集的用户的脑电波参考信号。
[0079] 具体实现中,如图2B所示,假设电子装置通过电极式脑电波传感器采集到分布在当前用户的头部的a、b、c、d、e、f、g、h7个位置区域的7组脑电波信号,其中,如图所示,大圈为整个头部区域示例,小圈为电子装置通过对历史采集数据分析得到预设头部区域,该预设头部区域为由A区、B区、C区、和D区四个分区组成的中心区域,电子装置首先根据采集到的7组脑电波信号计算每组脑电波信号对应的位置区域的局部活跃度,获取局部活跃度大于预设活跃度的位置区域包括a、b、c、d、f、g5个位置区域,进一步地,电子装置根据从该5个位置区域中筛选出处于预设头部区域的a、b、c、d4个位置区域,并根据该4个区域对应的4组脑电波信号生成当前用户的脑电图。
[0080] 可见,本示例中,由于电子装置首先基于活跃度比对进行第一层级的数据筛选,然后通过预设头部区域进行位置匹配首先第二层级的数据筛选,最终得到高活跃度区域的高质量脑电波信号,从而实现对人脑当前脑电波状态的准确分析和计算,有利于提高了电子装置在解锁时的智能性和准确性。
[0081] 在一个可能的示例中,所述根据所述至少一个位置区域的脑电波信号生成用户的脑电图,包括:若所述至少一个位置区域为1个位置区域,则根据该位置区域的一组脑电波信号生成用户的脑电图;若所述至少一个位置区域为至少2个位置区域,则确定该至少2个位置区域对应的至少2组脑电波信号,根据采集周期确定每个采样周期所采样的至少2个脑电波信号的脑电波平均值,根据每个采样周期对应的脑电波平均值生成用户的脑电图。
[0082] 其中,采样周期可以为5毫秒、10毫秒等,此处不做唯一限定。
[0083] 具体实现中,假设所述至少一个位置区域为3个位置区域,其中,第一个位置区域对应1组脑电波信号中的某个采样周期的信号值为6毫伏,第二个位置区域对应1组脑电波信号中在该采样周期的信号值10毫伏,第三个位置区域对应1个脑电波信号中在该采样周期的信号值为8毫伏,通过计算得到当前用户在该采样周期的脑电波平均值为8毫伏V,以此类推,计算每个采样周期对应的脑电波平均值,最后基于脑电波平均值生成用户的脑电图。
[0084] 可见,本示例中,由于电子装置能够筛选出位于预设头部区域且局部活跃度高的至少一个位置区域的脑电波信号,并根据至少一个位置区域的脑电波信号算出脑电波平均值,避免误差脑电波信号对处理结果产生较大影响,如此能够提高电子装置的准确度,以及更加符合用户的习惯。
[0085] 在一个可能的示例中,所述获取所述当前的情绪对应的脑电图模板,包括:查询脑电图模板库,获取所述当前的情绪对应的脑电图模板,所述脑电图模板库包括情绪与脑电图模板之间的对应关系。
[0086] 其中,用户在不同情绪状态下的脑电图模板一般是不同的,如生气状态和高兴状态下用户的生理状态存在差异性,故而用户同样的解锁操作所关联的脑电图模板在不同情绪状态下也是不一样的,故而通过情绪筛选脑电图模板可以提高后续身份识别的准确度。
[0087] 可见,本示例中,由于电子装置能够根据检测到的人脸的变化,分析出户主用户的情绪,进而通过当前户主用户的情绪,与脑电图模板库中的脑电图模板一一比对,能够准确的得出当前户主用户的脑电图模板,提高了电子装置解锁的智能性和安全性。
[0088] 在一个可能的示例中,所述方法还包括:获取户主用户在所述情绪状态下的多组脑电波信号;根据所述多组脑电波信号生成多个参考脑电图;根据所述多个参考脑电图生成所述脑电图模板。
[0089] 可见,本示例中,电子装置通过多组脑电波信号得到多个参考脑电图,进而根据多个参考脑电图得到最终的脑电图模板,更加全面的将用户在同一情绪状态下的脑电波状态多维度的统计出,得到准确的脑电图模板,有利于电子装置在获取脑电图模板过程中的全面性和智能性。
[0090] 在一个可能的示例中,所述根据所述人脸图像识别用户当前的情绪,包括:识别所述人脸图像的特征点;确定所述特征点的特征数据;查询预设的情绪集合,确定与所述特征数据匹配的基准特征数据对应的情绪为用户当前的情绪,所述情绪集合包括基准特征数据与情绪之间的对应关系。
[0091] 其中,人脸特征点的特征数据可以通过二维人脸建模、三维人脸建模得到,此处不做唯一限定。
[0092] 可见,本示例中,电子装置通过识别人脸特征点,得到基于此人脸特征点的特征数据,并以此特征数据为基础,与预设情绪合集中的基准特征数据进行一一比对,得到当前用户的情绪,更加全面的通过人脸特征点分析出用户当前的情绪,使得电子装置更加准确的得到当前用户的情绪,进一步的得到准确的脑电图,有利于电子装置进行情绪识别的准确性和智能性。
[0093] 在一个可能的示例中,所述特征点至少包括以下任意一种:眼睛、嘴巴、眉毛和颧骨。
[0094] 可见,本示例中,根据人脸识别能够准确的得到用户的五官和颧骨的特征点,通过多个特征点与基准特征点进行比对,能够准确的得到当前用户的情绪变化,有利于电子装置进行情绪识别的准确性、智能性和安全性。
[0095] 与上述图2A所示的实施例一致的,请参阅图3,图3是本申请实施例提供的一种解锁方法示意图,应用于如图1A所述的电子装置,应用于电子装置,所述电子装置包括脑电波传感器及摄像头,如图所示,本解锁方法包括:
[0096] 步骤301,电子装置通过所述摄像头采集用户的人脸图像,通过所述脑电波传感器采集用户的脑电波信号。
[0097] 步骤302,所述电子设备根据所述人脸图像识别用户当前的情绪,并获取所述当前的情绪对应的脑电图模板。
[0098] 步骤303,所述电子设备根据所述多组脑电波信号中每组脑电波信号对应的位置区域的局部活跃度。
[0099] 步骤304,所述电子设备获取局部活跃度大于预设活跃度的一个或多个位置区域。
[0100] 步骤305,所述电子装置从所述一个或多个位置区域中筛选出处于预设头部区域的至少一个位置区域。
[0101] 步骤306,所述电子装置根据所述至少一个位置区域的脑电波信号生成用户的脑电图。
[0102] 步骤307,所述电子装置在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作。
[0103] 可以看出,本申请实施例中,电子装置首先通过摄像头采集用户的人脸图像,其次,通过脑电波传感器采集用户的脑电波信号,再次,根据所述人脸图像识别用户当前的情绪,并获取所述当前的情绪对应的脑电图模板,然后,根据所述脑电波信号生成用户的脑电图,最后,在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作。可见,电子装置能够基于脑电波信号和人脸图像双重认证,更加准确的检测到是否为用户本人进行解锁操作,有利于提高电子装置用户解锁的智能性和安全性。
[0104] 此外,由于电子装置首先基于活跃度比对进行第一层级的数据筛选,然后通过预设头部区域进行位置匹配首先第二层级的数据筛选,最终得到高活跃度区域的高质量脑电波信号,从而实现对人脑当前脑电波状态的准确分析和计算,有利于提高了电子装置在解锁时的智能性和准确性。
[0105] 与上述图2A所示的实施例一致的,请参阅图4,图4是本申请实施例提供的一种解锁方法的流程示意图,应用于如图1A所述的电子装置,所述电子装置包括脑电波传感器及摄像头。如图所示,本解锁方法包括:
[0106] 步骤401,电子装置通过所述摄像头采集用户的人脸图像,通过所述脑电波传感器采集用户的脑电波信号。
[0107] 步骤402,所述电子设备根据所述人脸图像识别用户当前的情绪,并查询脑电图模板库,获取所述当前的情绪对应的脑电图模板,所述脑电图模板库包括情绪与脑电图模板之间的对应关系。
[0108] 步骤403,所述电子设备根据所述多组脑电波信号中每组脑电波信号对应的位置区域的局部活跃度;。
[0109] 步骤404,所述电子设备获取局部活跃度大于预设活跃度的一个或多个位置区域。
[0110] 步骤405,所述电子装置从所述一个或多个位置区域中筛选出处于预设头部区域的至少一个位置区域。
[0111] 步骤406,所述电子设备若所述至少一个位置区域为1个位置区域,则根据该位置区域的一组脑电波信号生成用户的脑电图。
[0112] 步骤407,所述电子设备若所述至少一个位置区域为至少2个位置区域,则确定该至少2个位置区域对应的至少2组脑电波信号,根据采集周期确定每个采样周期所采样的至少2个脑电波信号的脑电波平均值,根据每个采样周期对应的脑电波平均值生成用户的脑电图。
[0113] 步骤408,所述电子装置在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作。
[0114] 可以看出,本申请实施例中,电子装置首先通过摄像头采集用户的人脸图像,其次,通过脑电波传感器采集用户的脑电波信号,再次,根据所述人脸图像识别用户当前的情绪,并获取所述当前的情绪对应的脑电图模板,然后,根据所述脑电波信号生成用户的脑电图,最后,在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作。可见,电子装置能够基于脑电波信号和人脸图像双重认证,更加准确的检测到是否为用户本人进行解锁操作,有利于提高电子装置用户解锁的智能性和安全性。
[0115] 此外,可见,本示例中,由于电子装置能够筛选出位于预设头部区域且局部活跃度高的至少一个位置区域的脑电波信号,并根据至少一个位置区域的脑电波信号算出脑电波平均值,避免误差脑电波信号对处理结果产生较大影响,如此能够提高电子装置的准确度,以及更加符合用户的习惯。
[0116] 与上述图2A、图3、图4所示的实施例一致的,请参阅图5,图5是本申请实施例提供的一种电子装置的结构示意图,如图所示,该电子装置包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行以下步骤的指令;
[0117] 通过所述摄像头采集用户的人脸图像,通过所述脑电波传感器采集用户的脑电波信号;
[0118] 根据所述人脸图像识别用户当前的情绪,并获取所述当前的情绪对应的脑电图模板;
[0119] 根据所述脑电波信号生成用户的脑电图;
[0120] 在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作。
[0121] 可以看出,本申请实施例中,电子装置首先通过摄像头采集用户的人脸图像,其次,通过脑电波传感器采集用户的脑电波信号,再次,根据所述人脸图像识别用户当前的情绪,并获取所述当前的情绪对应的脑电图模板,然后,根据所述脑电波信号生成用户的脑电图,最后,在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作。可见,电子装置能够基于脑电波信号和人脸图像双重认证,更加准确的检测到是否为用户本人进行解锁操作,有利于提高电子装置用户解锁的智能性和安全性。
[0122] 在一个可能的示例中,所述脑电波传感器包括电极式脑电波传感器,所述电极式脑电波传感器包括用于采集用户头部的多个位置区域的生物电的多个电极,所述脑电波信号包括所述多个电极采集到的多组脑电波信号;在所述根据所述脑电波信号生成用户的脑电图方面,所述程序中的指令具体用于执行以下操作:根据所述多组脑电波信号中每组脑电波信号对应的位置区域的局部活跃度;以及用于获取局部活跃度大于预设活跃度的一个或多个位置区域;以及用于从所述一个或多个位置区域中筛选出处于预设头部区域的至少一个位置区域;以及用于根据所述至少一个位置区域的脑电波信号生成用户的脑电图。
[0123] 在一个可能的示例中,在所述根据所述至少一个位置区域的脑电波信号生成用户的脑电图方面,所述程序中的指令具体用于执行以下操作:若所述至少一个位置区域为1个位置区域,则根据该位置区域的一组脑电波信号生成用户的脑电图;以及若所述至少一个位置区域为至少2个位置区域,则确定该至少2个位置区域对应的至少2组脑电波信号,根据采集周期确定每个采样周期所采样的至少2个脑电波信号的脑电波平均值,根据每个采样周期对应的脑电波平均值生成用户的脑电图。
[0124] 在一个可能的示例中,在所述获取所述当前的情绪对应的脑电图模板方面,所述程序中的指令具体用于执行以下操作:查询脑电图模板库,获取所述当前的情绪对应的脑电图模板,所述脑电图模板库包括情绪与脑电图模板之间的对应关系。
[0125] 在一个可能的示例中,所述程序中的指令具体还用于执行以下操作:获取户主用户在所述情绪状态下的多组脑电波信号;以及用于根据所述多组脑电波信号生成多个参考脑电图;以及用于根据所述多个参考脑电图生成所述脑电图模板。
[0126] 上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子装置为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
[0127] 本申请实施例可以根据上述方法示例对电子装置进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
[0128] 图6是本申请实施例中所涉及的解锁装置600的功能单元组成框图。该解锁装置600应用于电子装置,所述电子装置包括脑电波传感器,该解锁装置600包括采集单元601、获取单元602、生成单元603、解锁单元604,其中,
[0129] 所述采集单元601,用于通过所述摄像头采集用户的人脸图像,通过所述脑电波传感器采集用户的脑电波信号;
[0130] 所述获取单元602,用于根据所述人脸图像识别用户当前的情绪,并获取所述当前的情绪对应的脑电图模板;
[0131] 所述生成单元603,用于根据所述脑电波信号生成用户的脑电图;
[0132] 所述解锁单元604,用于在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作。
[0133] 可以看出,本申请实施例中,电子装置首先通过摄像头采集用户的人脸图像,其次,通过脑电波传感器采集用户的脑电波信号,再次,根据所述人脸图像识别用户当前的情绪,并获取所述当前的情绪对应的脑电图模板,然后,根据所述脑电波信号生成用户的脑电图,最后,在检测到所述人脸图像与预设的人脸图像模板匹配,且所述脑电图与所述脑电图模板匹配时,执行解锁操作。可见,电子装置能够基于脑电波信号和人脸图像双重认证,更加准确的检测到是否为用户本人进行解锁操作,有利于提高电子装置用户解锁的智能性和安全性。
[0134] 在一个可能的示例中,所述脑电波传感器包括电极式脑电波传感器,所述电极式脑电波传感器包括用于采集用户头部的多个位置区域的生物电的多个电极,所述脑电波信号包括所述多个电极采集到的多组脑电波信号;在所述根据所述脑电波信号生成用户的脑电图方面,所述生成单元603具体用于:根据所述多组脑电波信号中每组脑电波信号对应的位置区域的局部活跃度;以及用于获取局部活跃度大于预设活跃度的一个或多个位置区域;以及用于从所述一个或多个位置区域中筛选出处于预设头部区域的至少一个位置区域;以及用于根据所述至少一个位置区域的脑电波信号生成用户的脑电图。
[0135] 在一个可能的示例中,在所述根据所述至少一个位置区域的脑电波信号生成用户的脑电图方面,所述生成单元603具体用于:若所述至少一个位置区域为1个位置区域,则根据该位置区域的一组脑电波信号生成用户的脑电图;以及用于若所述至少一个位置区域为至少2个位置区域,则确定该至少2个位置区域对应的至少2组脑电波信号,根据采集周期确定每个采样周期所采样的至少2个脑电波信号的脑电波平均值,根据每个采样周期对应的脑电波平均值生成用户的脑电图。
[0136] 在一个可能的示例中,在所述获取所述当前的情绪对应的脑电图模板方面,所述获取单元602具体用于:查询脑电图模板库,获取所述当前的情绪对应的脑电图模板,所述脑电
[0137] ·图模板库包括情绪与脑电图模板之间的对应关系。
[0138] 在一个可能的示例中,所述获取单元602具体还用于:获取户主用户在所述情绪状态下的多组脑电波信号。所述生成单元603具体还用于:根据所述多组脑电波信号生成多个参考脑电图;以及用于根据所述多个参考脑电图生成所述脑电图模板。
[0139] 本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括移动终端。
[0140] 本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括移动终端。
[0141] 需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
[0142] 在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
[0143] 在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
[0144] 上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0145] 另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0146] 上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0147] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
[0148] 以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。