一种手机感应心情装置及方法

摘要

本发明涉及一种手机感应心情装置及方法，该装置包括：采集模块、识别模块、比较模块、手机主控模块和播放模块；所述采集模块用于根据感应命令捕捉手机使用者的面部图像和/或声音；所述识别模块用于对其进行特征分析，获取特征参数；所述比较模块用于根据感应命令将获取的特征参数与训练时存入的表情特征库进行比对，匹配出对应的心情；所述手机主控模块用于根据匹配出的心情调用对应的界面和/或音效；所述播放模块用于播放所述对应的界面和/或音效。通过本发明的手机感应心情装置和方法，手机界面可以根据使用者心情的不同做出相应的显示调整，还可播放不同的音效，与用户互动，增加和优化用户使用手机的体验，使手机更具人性化效果。

权利要求

1.一种手机感应心情装置，其特征在于，包括：采集模块、识别模块、比较模块、手机主控模块和播放模块；

所述采集模块用于根据感应命令捕捉手机使用者的面部图像和/或声音，并发送给所述识别模块；

所述识别模块用于根据感应命令对采集的手机使用者的面部图像和/或声音进行特征分析，获取特征参数；

所述比较模块用于根据感应命令将获取的特征参数与训练时存入的表情特征库进行比对，匹配出对应的心情；

所述手机主控模块用于发送感应命令启动采集模块、比较模块和识别模块，并根据比较模块匹配出的心情调用对应的界面和/或音效；

所述播放模块用于播放所述对应的界面和/或音效。

2.根据权利要求1所述的手机感应心情装置，其特征在于，所述比较模块包括用于存储训练时存入的表情特征库的存储单元。

3.根据权利要求1所述的手机感应心情装置，其特征在于，所述手机主控模块通过查找表找到匹配出的心情对应的界面和/或音效。

4.根据权利要求1-3中任意一项所述的手机感应心情装置，其特征在于，所述比较模块对获取特征参数中手机使用者的面部图像和声音的特征参数分别进行匹配，在结果相同时发送匹配出的对应的心情给所述手机主控模块；在结果不相同时发送比较错误指令给所述手机主控模块，所述手机主控模块再次发送感应命令启动采集模块、比较模块和识别模块开始新一轮感应。

5.根据权利要求1-3中任意一项所述的手机感应心情装置，其特征在于，所述手机主控模块接收用户输入发送感应命令或者定时发送感应命令。

6.根据权利要求1-3中任意一项所述的手机感应心情装置，其特征在于，所述采集模块、识别模块、比较模块、手机主控模块和播放模块集成在手机主板中。

7.一种手机感应心情方法，其特征在于，包括以下步骤：

采集步骤，捕捉手机使用者的面部图像和/或声音；

识别步骤，对采集的手机使用者的面部图像和/或声音进行特征分析，获取特征参数；

比较步骤，将获取的特征参数与训练时存入的特征库进行比对，匹配出对应的心情；

查找步骤，根据匹配出的心情调用对应的界面和/或音效；

播放步骤，用于播放所述对应的界面和/或音效。

8.根据权利要求7所述的手机感应心情装置，其特征在于，所述查找步骤中通过查找表找到匹配出的心情对应的界面和/或音效。

9.根据权利要求7或8所述的手机感应心情装置，其特征在于，所述比较步骤中对获取特征参数中手机使用者的面部图像和声音的特征参数分别进行匹配，在结果相同时执行所述查找步骤；在结果不相同时转至所述采集步骤开始新一轮感应。

10.根据权利要求7或8所述的手机感应心情装置，其特征在于，所述采集步骤由接收用户输入开始执行，或者定时开始执行。

说明书

一种手机感应心情装置及方法

技术领域

[0001] 本发明涉及手机技术领域，更具体地说，涉及一种手机感应心情装置及方法。

背景技术

[0002] 随着科技进步，手机基本已经普及，成为了一般的消费品。但现有技术中，手机的用户互动功能不强，只能被动地受用户控制，而并不会主动地执行一些操作。

[0003] 例如，手机不具备主动感应用户心情的功能，不会根据用户心情的不同从而调整手机界面的显示，达到与用户互动的效果。无论用户开心还是沮丧，手机都不会有反应，例如其手机界面只会根据使用者的设置而显示，并不会主动地对使用者心情的不同做出反应，如调整界面显示等。

发明内容

[0004] 本发明要解决的技术问题在于，针对现有手机的用户互动功能不强，不能根据使用者心情显示界面的缺陷，提供一种手机感应心情装置及方法。

[0005] 本发明解决其技术问题所采用的技术方案是：构造一种手机感应心情装置及方法，通过捕捉手机使用者的面部图像和/或用户发出的声音，进行图像特征和声音特征分析识别，再与预先存入的使用者的各种心情所对应的特征库进行比较，从而判别用户心情，再根据用户心情调整界面显示，和/或播放对应音效文件，达到与用户互动的效果。

[0006] 本发明第一方面，提供了一种手机感应心情装置，包括：采集模块、识别模块、比较模块、手机主控模块和播放模块；

[0007] 所述采集模块用于根据感应命令捕捉手机使用者的面部图像和/或声音，并发送给所述识别模块；

[0008] 所述识别模块用于根据感应命令对采集的手机使用者的面部图像和/或声音进行特征分析，获取特征参数；

[0009] 所述比较模块用于根据感应命令将获取的特征参数与训练时存入的表情特征库进行比对，匹配出对应的心情；

[0010] 所述手机主控模块用于发送感应命令启动采集模块、比较模块和识别模块，并根据比较模块匹配出的心情调用对应的界面和/或音效；

[0011] 所述播放模块用于播放所述对应的界面和/或音效。

[0012] 在根据本发明第一方面所述的手机感应心情装置中，所述比较模块包括用于存储训练时存入的表情特征库的存储单元。

[0013] 在根据本发明第一方面所述的手机感应心情装置中，所述手机主控模块通过查找表找到匹配出的心情对应的界面和/或音效。

[0014] 在根据本发明第一方面所述的手机感应心情装置中，所述比较模块对获取特征参数中手机使用者的面部图像和声音的特征参数分别进行匹配，在结果相同时发送匹配出的对应的心情给所述手机主控模块；在结果不相同时发送比较错误指令给所述手机主控模块，所述手机主控模块再次发送感应命令启动采集模块、比较模块和识别模块开始新一轮感应。

[0015] 在根据本发明第一方面所述的手机感应心情装置中，所述手机主控模块接收用户输入发送感应命令或者定时发送感应命令。

[0016] 在根据本发明第一方面所述的手机感应心情装置中，所述采集模块、识别模块、比较模块、手机主控模块和播放模块集成在手机主板中。

[0017] 本发明第二方面，提供了一种手机感应心情方法，包括以下步骤：

[0018] 采集步骤，捕捉手机使用者的面部图像和/或声音；

[0019] 识别步骤，对采集的手机使用者的面部图像和/或声音进行特征分析，获取特征参数；

[0020] 比较步骤，将获取的特征参数与训练时存入的特征库进行比对，匹配出对应的心情；

[0021] 查找步骤，根据匹配出的心情调用对应的界面和/或音效；

[0022] 播放步骤，用于播放所述对应的界面和/或音效。

[0023] 在根据本发明第二方面所述的手机感应心情装置中，所述查找步骤中通过查找表找到匹配出的心情对应的界面和/或音效。

[0024] 在根据本发明第二方面所述的手机感应心情装置中，所述比较步骤中对获取特征参数中手机使用者的面部图像和声音的特征参数分别进行匹配，在结果相同时执行所述查找步骤；在结果不相同时转至所述采集步骤开始新一轮感应。

[0025] 在根据本发明第二方面所述的手机感应心情装置中，所述采集步骤由接收用户输入开始执行，或者定时开始执行。

[0026] 实施本发明的手机感应心情装置及方法，具有以下有益效果：本发明在用户使用手机时，通过捕捉手机使用者的面部图像和/或用户发出的声音，进行图像特征和声音特征分析识别，再与预先存入的使用者的各种心情所对应的表情特征库进行比较，从而判别用户心情，再根据用户心情调整界面显示，和/或播放相应音效文件，达到与用户互动的效果，增加和优化用户使用手机的体验，使手机更具人性化效果。

附图说明

[0027] 下面将结合附图及实施例对本发明作进一步说明，附图中：

[0028] 图1为根据本发明优选实施例中手机感应心情装置的模块示意图；

[0029] 图2为根据本发明优选实施例中手机感应心情装置采用的映射表的示意图；

[0030] 图3a-c分别为心情差、心情好和心情一般时播放的界面的示意图；

[0031] 图4为本发明优选实施例中手机感应心情装置的电路原理图；

[0032] 图5为本发明优选实施例中手机感应心情方法流程图。

具体实施方式

[0033] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

[0034] 请参阅图1，为根据本发明优选实施例中手机感应心情装置的模块示意图。如图1所示，该实施例的手机感应心情装置包括：手机主控模块100，以及与之相连的采集模块
200、识别模块300、比较模块400和播放模块500。

[0035] 其中，手机主控模块100用于发送感应命令启动采集模块200、比较模块300和识别模块400。在本发明的一个优选实施例中，手机主控模块100可以接收用户输入发送感应命令，即用户可以通过手机输入手动开启感应心情操作。在本发明的另一个优选实施例中，手机主控模块100可以定时发送感应命令开启感应心情操作，例如每隔10s拍摄图像和/或采集声音。

[0036] 采集模块200在接收到采集命令后，开始捕捉手机使用者的面部图像和/或声音，并发送给识别模块300。采集模块200可以为手机自带的摄像头和/或麦克风，也可以采用图像传感器芯片或录音芯片实现。

[0037] 识别模块300在接收到采集命令后，接收采集模块200采集的手机使用者的面部图像和/或声音，并对其进行特征分析，获取特征参数。在本发明的一个优选实施例中，面部表情图像识别的过程如下：进行面部图像的分析，分割出额头，眉毛，眼睛，嘴巴，牙齿等部分，通过判断额头，眉毛，眼睛，嘴巴，牙齿的纹理特征来识别表情，这些特征有：额头皱纹，眉毛弯皱，眼的下弯程度，嘴巴的弯曲程度，以及有无牙齿，有无眼泪等。声音的识别过程：对采集到的使用者的声音数据，进行分帧、加窗、预加重、端点检测等预处理之后，提取Mel频率倒谱系数(MFCC)等特征参数。

[0038] 比较模块400在接收感应命令后，将识别模块300获取的特征参数与训练时存入的表情特征库进行比对，根据不同的特征匹配出相应的心情。比较模块400可包括用于存储训练时存入的表情特征库的存储单元。为了提高识别率和识别速度，本发明可预先对手机感应心情装置进行训练，预先把手机使用者各种心情(如笑，哭，愤怒，悲伤等)所对应的面部表情图像纹理特征和/或声音特征记录到表情特征数据库中。例如，预先采录笑时的面部表情图像纹理特征和/或声音特征，如微笑时可能露出牙齿，因此将牙齿的频谱分析特征参数范围存入表情特征数据库中，如果在感应心情时拍摄到的面部表情中牙齿的频谱分析特征参数位于该范围内，则可以判断为用户在微笑，由此匹配出用户的心情为好。同理，可以采用DTW(Dynamic Time Warping，动态时间归整)算法与预先训练时存入的情感声音(如“哈哈”、“呵呵”、“唉”等声音)的特征参数数据进对比，从而匹配出相对应的心情。在此，本发明可以采用任何图像和语音识别领域采用的方法实现对面部表情图像和声音的匹配。

[0039] 当采集模块200同时采集了面部图像和声音后，识别模块300同时对该面部图像和声音的特征参数进行识别，随后在比较模块400需要分别采用算法对两者进行匹配，由于出现的外部随机因素或者程序算法的错误，可能导致两者产生不同的匹配结果。因此，本发明的另一独特之处在于，提供出现不同的匹配结果的解决方案。例如，比较模块400根据采集到的面部图像判断出为哭脸，代表心情差，而采集到的声音与“呵呵”的声音特征相似，代表心情好，两者出现明显的差异。此时，比较模块400将在两者结果不相同时发送比较错误指令给手机主控模块100，手机主控模块100在接收到该指令后，将会再次发送感应命令启动各个模块开始新一轮感应。直至比较模块400判断出两者的结果一致时将匹配出的对应的心情发送给手机主控模块100，执行后续调用和播放过程。

[0040] 手机主控模块100在接收到比较模块400匹配出的心情后，调用对应的界面和/或音效。例如，建立一个心情与界面及音效的映射表，如图2所示。把不同的心情映射到不同的界面及音效上。例如把笑脸代表高兴归为心情好，哭、皱眉代表悲伤归为心情差，其他代表心情一般，心情好对应显示彩色界面，在界面上显示一卡通笑脸头像，并播放欢快的音效文件，心情差对应灰色界面，界面上显示一卡通哭脸头像，并播放压抑低沉的音效文件。心情一般则映射到普通界面显示普通卡通头像与一般音效，等等。如图3a-c分别为心情差、心情好和心情一般时播放的界面的示意图。本发明可以根据需要设置多种心情模式。当匹配到使用者心情时，通过查表，找到要显示的手机界面和待播放的音效文件，然后通过播放模块500显示和播放出来，做出相应的反应。

[0041] 播放模块500用于播放手机主控模块100调出的界面和/或音效。因此播放模块500可以由手机自带的显示屏和/或扬声器实现，或者增设显示芯片实现。

[0042] 请参阅图4，为本发明优选实施例中手机感应心情装置的电路原理图。如图1所示，采集模块200包括图像传感器芯片U3；识别模块300包括识别芯片U2，为烧入了用于识别特征的相关程序的DSP芯片；比较模块400包括比较芯片U3，为烧入了用于比较匹配特征的相关程序的DSP芯片；手机主控模块100则直接采用手机主板电路U4实现；播放模块500包括LCM芯片J1。

[0043] 在该实施例中，手机主板电路U4通过I2C_SDA和I2C_SDC与识别芯片U2和比较芯片U3通信，发送感应命令。识别芯片U2通过I2C_SDA_CAM和I2C_SDC_CAM向图像传感器芯片U3的引脚SDA和SDL发送该命令。

[0044] 图像传感器芯片U3接收到感应命令后启动扫描，开始捕捉手机使用者的面部图像。图像传感器芯片U3通过数据接口将采集的数据发送至识别芯片U2。手机主板电路U4还通过VDD_SENSOR18和VDD_SENSOR28控制供给图像传感器芯片U3的工作电压。在本发明的另一实施例中，该手机主板电路U4还可以控制麦克风采集手机使用者的声音，并发送给识别芯片U2。

[0045] 识别芯片U2在识别出特征参数后将相关数据通过SPI_DAOUT输出至比较芯片U3的SPI2_DAIN。比较芯片U3在匹配出对应的心情后通过SPI1_DAIN输出给手机主板电路U4的SPI_DAIN。

[0046] 手机主板电路U4在调用出对应的显示界面后发送给LCM芯片J1进行显示。手机主板电路U4还可以直接通过扬声器播放音响效果。

[0047] 虽然该实施例中采用了单独的芯片来实现采集模块、识别模块、比较模块、手机主控模块和播放模块，然而本领域技术人员可以理解本发明不仅限于此，而可以将上述模块集成在手机主板中，通过手机主板控制摄像头和/或麦克风采集图像和/或声音信号，随后通过在手机系统中安装相应识别软件，实现上述识别、比较和调取的过程，再通过手机的显示屏和/或扬声器播放效果。由此可以在不增加硬件的情况下，仅通过安装相应软件实现上述功能。

[0048] 请参阅图5，为本发明优选实施例中手机感应心情方法流程图。如图5所示，该实施例中的手机感应心情方法包括以下步骤：

[0049] 首先在步骤S1中开始感应心情操作，该步骤由接收用户输入开始执行，或者定时开始执行。优选地，当本发明的方法采用上述装置实现时，例如，在本发明的一个优选实施例中，手机主控模块100可以接收用户输入发送感应命令，即用户可以通过手机输入手动开启感应心情操作。在本发明的另一个优选实施例中，手机主控模块100可以定时发送感应命令开启感应心情操作，例如每隔10s拍摄图像和/或采集声音。

[0050] 随后，在步骤S2中，捕捉手机使用者的面部图像和/或声音。该步骤的具体过程与上述对采集模块的描述一致。优选地，当本发明的方法采用上述装置实现时，该步骤由采集模块200执行，在接收到采集命令后，开始捕捉手机使用者的面部图像和/或声音，并发送给识别模块300。采集模块200可以为手机自带的摄像头和/或麦克风，也可以采用图像传感器芯片或录音芯片实现。

[0051] 随后，在步骤S3中，对采集的手机使用者的面部图像和/或声音进行特征分析，获取特征参数。该步骤的具体过程与上述对识别模块的描述一致。优选地，当本发明的方法采用上述装置实现时，该步骤由识别模块300在接收到采集命令后，接收采集模块200采集的手机使用者的面部图像和/或声音，并对其进行特征分析，获取特征参数。

[0052] 随后，在步骤S4中，将获取的特征参数与训练时存入的特征库进行比对，匹配出对应的心情。该步骤的具体过程与上述对比较模块的描述一致。优选地，当本发明的方法采用上述装置实现时，该步骤由比较模块400在接收感应命令后，将识别模块300获取的特征参数与训练时存入的表情特征库进行比对，根据不同的特征匹配出相应的心情。在该步骤中，可以对获取特征参数中手机使用者的面部图像和声音的特征参数分别进行匹配，在结果相同时执行所述查找步骤；在结果不相同时转至所述采集步骤开始新一轮感应。

[0053] 随后，在步骤S5中，根据匹配出的心情调用对应的界面和/或音效。该步骤中，可以通过查找表找到匹配出的心情对应的界面和/或音效。该步骤的具体过程与上述对手机主控模块的描述一致。优选地，当本发明的方法采用上述装置实现时，该步骤由手机主控模块100在接收到比较模块400匹配出的心情后，调用对应的界面和/或音效。例如，建立一个心情与界面及音效的映射表，如图2所示。把不同的心情映射到不同的界面及音效上。

[0054] 随后，在步骤S6中，播放所述对应的界面和/或音效。该步骤的具体过程与上述对播放模块的描述一致。

[0055] 随后，根据不同的音效，执行步骤S7、S8或S9。例如，在步骤S7中，心情差则映射到灰色界面显示哭脸卡通头像与低沉压抑音效。在步骤S8中，心情好则映射到彩色界面显示笑脸卡通头像与欢快音效。在步骤S9中，心情一般则映射到普通界面显示普通卡通头像与一般音效。

[0056] 最后，方法结束于步骤S10。

[0057] 综上所述，本发明的手机感应心情装置和方法，在用户使用手机时，通过捕捉手机使用者的面部图像和/或用户发出的声音，进行图像特征和声音特征分析识别，再与预先存入的使用者的各种心情所对应的表情特征库进行比较，从而判别用户心情，再根据用户心情调整界面显示，和/或播放相应音效文件，达到与用户互动的效果，增加和优化用户使用手机的体验，使手机更具人性化效果。

[0058] 本发明是根据特定实施例进行描述的，但本领域的技术人员应明白在不脱离本发明范围时，可进行各种变化和等同替换。此外，为适应本发明技术的特定场合或材料，可对本发明进行诸多修改而不脱离其保护范围。因此，本发明并不限于在此公开的特定实施例，而包括所有落入到权利要求保护范围的实施例。