一种构建记忆网络及将其用于预测情绪的方法转让专利

申请号 : CN201910221091.4

文献号 : CN110222026B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 安宁颉云华

申请人 : 甘肃百合物联科技信息有限公司

摘要 :

一种构建记忆网络及将其用于预测情绪的方法,所述方法至少包括以下步骤:建立原始信息数据库并将更新的数据储存于关联信息数据库中,同时建立触发信息数据库;所述触发信息数据库中的触发条件种类至少包括情绪触发,所述情绪触发为触发信息数据库基于用户的心情系数Y、情绪触发与关联信息数据库的心理状态数据的映射关系以及心理状态数据与原始信息的映射关系提取产生至少一个原始信息数据库中原始信息的推荐。本发明通过结合用户的情绪信息和日期信息,智能提取一部分合适的相片让用户查看,这样既能刺激和改善用户的记忆能力,又能有效预测用户的情绪状况,对于刺激用户的记忆、改善用户的情绪都有积极效果。

权利要求 :

1.一种构建记忆网络及将其用于预测情绪的方法,其特征在于,所述方法至少包括以下步骤:

建立原始信息数据库并将更新的数据储存于关联信息数据库中,同时建立触发信息数据库;

所述触发信息数据库中的触发条件种类至少包括情绪触发,所述情绪触发为触发信息数据库基于用户的心情系数Y、情绪触发与关联信息数据库的心理状态数据的映射关系以及心理状态数据与原始信息的映射关系提取产生至少一个原始信息数据库中原始信息的推荐;

所述触发信息数据库基于用户提供的触发信息和所述关联信息数据库的数据信息,提取产生至少一个所述原始信息数据库中原始信息的推荐,以辅助用户建立记忆网络,所述原始信息数据库至少包括基本原始信息库和相关信息库,所述基本原始信息库至少存储有与记忆信息相关的图像,所述相关信息库用于存储与各个图像相关的文字信息、图形信息和标注信息;

加强记忆的步骤至少包括:建立原始信息数据库,完成用户对原始信息中基本原始信息和对基本信息进行描述的相关信息的录入,实现用户对原始信息的初次回顾;

基于用户提供的触发信息和关联信息数据库的数据信息,触发信息数据库提取产生至少一个原始信息数据库中原始信息的推荐,实现用户对原始信息的再次回顾;

基于用户对原始信息的印象深度,原始信息显示装置能够实现针对所述原始信息的提醒显示,以实现用户对原始信息的再回顾,从而实现加强用户记忆的目的。

2.如权利要求1所述的构建记忆网络及将其用于预测情绪的方法,其特征在于,所述心情系数Y为基于所述用户的历史情绪信息以概率的方式预测所述用户当前情绪信息,当前的情绪信息为p(s|Et-1,Et-2,…,Et-n),其中s表示所述用户当前的情绪信息,Et-1为前一次的情绪信息,Et-n为前第n次的情绪信息,Et-i表示相对于当前时刻t的前第i次的情绪信息。

3.如权利要求2所述的构建记忆网络及将其用于预测情绪的方法,其特征在于,所述心情系数Y根据邻近n次的历史情绪信息进行分析,记t表示当前时间,ti表示邻近第i个情绪对应的时间点,ti的情绪数值为et-i,则t和ti之间的时间差是Δt=t-ti,那么et-i在当前时间的情绪数值为,Et-i=et-i(t)=f(et-i,Δt)=et-i*exp(-Δt/(24*60*60))上式考虑了情绪值按指数衰减的时间衰减性,其中et-i为1;

根据过往n次的历史情绪数值,按下式计算预测心情系数:

Y=maxs∈S(p(s|Et-1,Et-2,...,Et-n)),其中情感集合为S={快乐、悲伤、恐惧、惊讶、愤怒、嫉妒};

若心情系数的变化满足马尔科夫性质,有Y=maxs∈S(p(s|Et-1),即当前的心情依赖于上一个时间点的情绪。

4.如权利要求3所述的构建记忆网络及将其用于预测情绪的方法,其特征在于,所述原始信息数据库能够按照用户查看所述原始信息数据库中原始信息时不同的心理状态对所述原始信息进行数据更新,并将更新的数据储存于关联信息数据库中,其中:所述关联信息数据库能够通过记录并分析用户的面部表情获得所述心理状态数据。

5.如权利要求4所述的构建记忆网络及将其用于预测情绪的方法,其特征在于,所述心理状态数据还包括所述用户基于原始信息主动录入的心理状态数据,所述心理状态数据包括积极状态和消极状态,并与所对应的原始信息建立映射关系。

6.如权利要求1所述的构建记忆网络及将其用于预测情绪的方法,其特征在于,所述触发信息数据库中触发条件能够与所述关联信息数据库的心理状态数据和/或所述原始信息数据库的原始信息建立映射关系,所述触发信息数据库中的触发条件种类至少包括时间触发、地点触发、人物触发、内容触发和所述情绪触发;

触发信息数据库能够仅根据预测得到的心情系数Y的值,提取产生至少一个原始信息数据库中原始信息的推荐。

7.如权利要求6所述的构建记忆网络及将其用于预测情绪的方法,其特征在于,所述原始信息数据库的原始信息包含基本原始信息和描述基本原始信息的相关信息,所述基本原始信息至少为图像或声音中的一种,所述描述基本原始信息的相关信息至少为对基本原始信息的时间、地点、人物、内容中的一类进行的附加描述。

8.一种构建记忆网络及将其用于预测情绪的系统,其特征在于,所述系统至少包括移动端(10)和服务端(20),所述移动端(10)至少包括原始信息数据库模块(103)和触发信息数据库模块(105),所述原始信息数据库模块(103)建立原始信息数据库并将更新的数据储存于关联信息数据库中,同时触发信息数据库模块(105)建立触发信息数据库;

所述触发信息数据库中的触发条件种类至少包括情绪触发,所述情绪触发为触发信息数据库模块基于用户的能够预测情绪的心情系数Y、情绪触发与关联信息数据库的心理状态数据的映射关系以及心理状态数据与原始信息的映射关系提取产生至少一个所述原始信息数据库中原始信息的推荐;

所述触发信息数据库基于用户提供的触发信息和所述关联信息数据库的数据信息,提取产生至少一个所述原始信息数据库中原始信息的推荐,以辅助用户建立记忆网络,所述原始信息数据库至少包括基本原始信息库和相关信息库,所述基本原始信息库至少存储有与记忆信息相关的图像,所述相关信息库用于存储与各个图像相关的文字信息、图形信息和标注信息;

加强记忆的步骤至少包括:建立原始信息数据库,完成用户对原始信息中基本原始信息和对基本信息进行描述的相关信息的录入,实现用户对原始信息的初次回顾;

基于用户提供的触发信息和关联信息数据库的数据信息,触发信息数据库提取产生至少一个原始信息数据库中原始信息的推荐,实现用户对原始信息的再次回顾;

基于用户对原始信息的印象深度,原始信息显示装置能够实现针对所述原始信息的提醒显示,以实现用户对原始信息的再回顾,从而实现加强用户记忆的目的。

说明书 :

一种构建记忆网络及将其用于预测情绪的方法

[0001] 本发明是申请号为CN201610349270.2,申请日为2016年5月24日,申请类型为发明,申请名称为一种构建记忆链条及将其用于加强记忆的方法的分案申请。

技术领域

[0002] 本发明涉及一种基于心情数据有选择性的呈现关联信息的方法,尤其涉及一种构建记忆网络及将其用于预测情绪的方法。

背景技术

[0003] 认知功能是人脑认识和反映客观事物的心理机能,包括知觉、学习记忆、注意力、语言、思维等,随着人年龄的增长,人的认知功能会下降,通常的表现是记忆力衰退等各方面机能下降,例如听力、视力下降、行动不便等,这会严重的影响我们生活质量。老人痴呆症的症状通常表现为认知能力的严重缺失、记忆的下降,在推理、判断能力上同样也会表现出明显的下降。在对于轻度认知功能障碍及相关疾病的治疗看护方面,怀旧疗法已被证实是一种有效的方法,相比于传统的药物治疗,它能够减轻对于药物的恐惧感、依赖感以及药物本身带来的副作用所引起的二次伤害。
[0004] 中国专利(CN104571500A)公开了一种强化记忆的方法,其特征在于,包括:向用户显示需要记忆的内容;接收所述用户针对所述需要记忆的内容所输入的信息;根据与所述输入的信息相关的信息,判断所述需要记忆的内容是否为需要强化记忆的内容;在所述需要记忆的内容为需要强化记忆的内容时,控制所述需要强化记忆的内容以预设的时间周期向用户显示。该专利通过将需要强化的内容以预设的时间周期性向用户显示,以得到强化记忆的效果。但是,该专利不能根据用户的心理变化构建记忆网络,不能根据用户对记忆内容的心理变化调整记忆内容,不能够使用户在愉悦的心理环境中达到强化记忆的效果。现在市场上急需一种使用户在不同的心理状态下进行强化记忆的方法和产品。
[0005] 中国专利(CN102222422A)公开了一种词汇的辅助学习系统及其方法,其通过先显示已学习过的翻译词汇供使用者浏览,并提供确认窗口供使用者设定记忆状态,当使用者未记忆翻译词汇时显示词汇解释及关联词汇,而当已记忆时则产生词汇测验检测使用者对翻译词汇的熟悉程度,并根据检测结果更新测验数据库中的翻译词汇,藉此可以根据使用者对翻译词汇的学习状态进行互动,进一步达成提升词汇学习效率的技术功效。但是该专利无法通过生成用户的心情系数来提取产生至少一个原始信息数据库中原始信息的推荐。

发明内容

[0006] 针对现有技术之不足,本发明提供了一种构建记忆网络及将其用于加强记忆的方法,所述方法至少包括以下步骤:
[0007] 建立原始信息数据库并按照用户查看所述原始信息数据库中原始信息时不同的心理状态对所述原始信息进行数据更新,并将更新的数据储存于关联信息数据库中,同时建立触发信息数据库;
[0008] 所述触发信息数据库基于用户提供的触发信息和关联信息数据库的数据信息,提取产生至少一个原始信息数据库中原始信息的推荐,以辅助用户建立记忆网络。
[0009] 根据一个优选的实施方式,所述触发信息数据库中触发条件与所述关联信息数据库的心理状态数据和/或所述原始信息数据库的原始信息建立映射关系。
[0010] 根据一个优选的实施方式,所述触发信息数据库中的触发条件种类至少包括时间触发、地点触发、人物触发、内容触发和情绪触发;
[0011] 其中所述情绪触发为触发信息数据库基于用户的心情系数Y、情绪触发与关联信息数据库的心理状态数据的映射关系以及心理状态数据与原始信息的映射关系提取产生至少一个原始信息数据库中原始信息的推荐。
[0012] 根据一个优选的实施方式,所述心情系数Y为基于所述用户的历史情绪信息以概率的方式预测所述用户当前情绪信息,当前的情绪信息为p(s|Et-1,Et-2,…,Et-n),[0013] 其中s表示所述用户当前的情绪信息,Et-1为前一次的情绪信息,Et-n为前第n次的情绪信息,Et-i表示相对于当前时刻t的前第i次的情绪信息。
[0014] 根据一个优选的实施方式,所述心情系数Y根据邻近n次的历史情绪信息进行分析,记t表示当前时间,ti表示邻近第i个情绪对应的时间点,ti的情绪数值为et-i,则t和ti之(t)间的时间差是Δt=t-ti,,那么et-i在当前时间的情绪数值为:Et-i=et-i =f(et-i,Δt)=et-i*exp(-Δt/(24*60*60)),上式考虑了情绪值按指数衰减的时间衰减性,其中et-i为1;
[0015] 根据过往n次的历史情绪数值,按下式计算预测心情系数:
[0016] Y=maxs∈S(p(s|Et-1,Et-2,...,Et-n)),其中情感集合为S={快乐、悲伤、恐惧、惊讶、愤怒、嫉妒};
[0017] 若心情系数的变化满足马尔科夫性质,有Y=maxs∈s(p(s|Et-1),即当前的心情依赖于上一个时间点的情绪。
[0018] 根据一个优选的实施方式,根据预测得到的心情系数Y的值,提取产生至少一个原始信息数据库中原始信息的推荐。
[0019] 根据一个优选的实施方式,所述关联信息数据库的数据为用户查看所述原始信息数据库中原始信息时不同的心理状态数据,能够通过记录并分析用户的面部表情获得所述心理状态数据。
[0020] 根据一个优选的实施方式,所述心理状态数据还包括所述用户基于原始信息主动录入的心理状态数据,所述心理状态数据包括积极状态和消极状态,并与所对应的原始信息建立映射关系。
[0021] 根据一个优选的实施方式,加强记忆的步骤至少包括:建立原始信息数据库,完成用户对原始信息中基本原始信息和对基本信息进行描述的相关信息的录入,实现用户对原始信息的初次回顾;
[0022] 基于用户提供的触发信息和关联信息数据库的数据信息,触发信息数据库提取产生至少一个原始信息数据库中原始信息的推荐,实现用户对原始信息的再次回顾;
[0023] 基于用户对原始信息的印象深度,原始信息显示装置能够实现针对所述原始信息的提醒显示,以实现用户对原始信息的再回顾,从而实现加强用户记忆的目的。
[0024] 根据一个优选的实施方式,所述原始信息数据库的原始信息包含基本原始信息和描述基本原始信息的相关信息,所述基本原始信息至少为图像或声音中的一种,所述描述基本原始信息的相关信息至少为对基本原始信息的时间、地点、人物、内容中的一类进行的附加描述。
[0025] 根据本发明的又一个方面,本发明提供一种构建记忆网络及将其用于加强记忆的方法,其特征在于,建立多媒体信息库并按照与相应测试对象查看所述多媒体信息库内的各个图像时的心理信息相关的方式来创建并更新相应图像的关联信息,以便建立与相应图像相关的记忆关联库用以针对相应测试对象建立记忆网络。
[0026] 根据一个优选实施方式,所述测试对象在查看所述多媒体信息库内的各个图像时以主动或被动的方式反馈对于所述图像产生的心理信息,所述心理信息包括记忆信息和情感信息。
[0027] 根据一个优选实施方式,将所述测试对象反馈的心理信息与所述图像进行映射关联形成所述图像的关联信息,从而建立用于存储所述关联信息的记忆关联库。
[0028] 根据一个优选实施方式,所述关联信息还包括所述测试对象对所述图像的喜爱程度信息、分享次数信息、所述测试对象以语音、图片和/或文字的方式表达的与所述图像关联的记忆信息。
[0029] 根据一个优选实施方式,基于所述关联信息和所述测试对象的情感信息选择并显示使所述测试对象的心理状态调整为积极心理状态的图像信息。
[0030] 根据一个优选实施方式,所述情感信息基于所述测试对象的历史情感信息以概率的方式进行分析,情感信息Y为
[0031] Y=maxs∈S(p(s|Et-1,Et-2,...,Et-n)),
[0032] 其中,情感集合S={S1、S2、…Si},Si表示情感类别,Et-n表示前第n次的历史情绪信息,n≥1,并且Et-n∈S,则情感信息Y为分析得到的所述测试对象的情感信息。
[0033] 根据一个优选实施方式,所述历史情感信息Et-n基于时间进行衰减,即
[0034] 其中et-n表示前第n次的情绪数值,Δt表示前第n次的情绪发生的时间tn与现在时间t的时间差值。
[0035] 根据一个优选实施方式,所述测试对象以可选择的按钮形式反馈查看所述图像时的情感信息。
[0036] 根据一个优选实施方式,以采集所述测试对象的微表情的方式分析所述测试对象在查看所述多媒体信息库内的各个图像时的情感信息。
[0037] 根据一个优选实施方式,所述多媒体信息库包括存储图像的图像库和与所述图像库建立映射关系的用于存储图像相关信息的相关信息库,所述图像信息以所述图像与对应的相关信息组合的方式显示。
[0038] 本发明的有益技术效果:
[0039] 本发明提供的构建记忆网络及将其用于加强记忆的方法,能够根据用户查看原始信息的心理状态预测用户的心理信息,根据预测的情绪信息调整显示的图像信息,使用户在积极的心理状态下达到强化记忆的效果。本发明通过分析图像信息对用户产生的心理效应,选择显示具有积极效果的图像信息从而调整用户的心理状态,使用户的生活更健康。
[0040] 本发明提供的构建记忆网络及将其用于加强记忆的方法,适用于学生、成人及老年人用于加强记忆,尤其是对于记忆力日渐衰退的老年人,可为其加强温暖、开心的记忆,舍弃消极的记忆,令老年人的晚年更加开心快乐。

附图说明

[0041] 图1是本发明的方法逻辑示意图;
[0042] 图2是本发明优选的一种测试对象记录心理信息的方式的示意图;
[0043] 图3是本发明的测试对象的情绪随时间变化的曲线示意图;
[0044] 图4是本发明优选的图片信息以时间轴的方式显示的模式示意图;和
[0045] 图5是一种构建记忆网络及将其用于加强记忆的系统的模块示意图。
[0046] 附图标记列表
[0047] 10:移动端                  20:服务端
[0048] 101:信息输入模块           102:心理信息采集模块
[0049] 103:原始信息数据模块       104:图像信息显示模块
[0050] 105:触发信息数据库模块     201:数据分析模块
[0051] 202:关联信息库模块         203:微表情分析模块

具体实施方式

[0052] 下面结合附图和实施例进行详细说明。
[0053] 本发明中,记忆链条是根据测试对象的心理信息调整后形成的多个图像信息随时间信息进行排布从而构成了测试对象的动态的记忆链条。多个记忆链条构成了记忆网络。记忆网络承载了对测试对象具有积极心理效应的记忆信息。记忆网络可以是一维记忆网络,也可以是二维记忆网络、三维记忆网络。甚至,记忆网络的维度可以增加,形成多维记忆网络。
[0054] 本发明提供了一种构建记忆网络及将其用于加强记忆的方法,所述方法至少包括以下步骤:建立原始信息数据库并按照用户查看所述原始信息数据库中原始信息时不同的心理状态进行对所述原始信息进行数据更新,并将更新的数据储存于关联信息数据库中,同时建立触发信息数据库;所述触发信息数据库基于用户提供的触发信息和关联信息数据库的数据信息,提取产生至少一个原始信息数据库中原始信息的推荐,以辅助用户建立记忆网络。
[0055] 记忆网络包含多维网络。多维网络至少包括时间维度以及以经度、纬度和海拔构成的空间维度。用户可以基于原始信息的时间信息与空间信息完成记忆网络的构建,从而辅助用户加强相关原始信息的相关记忆。
[0056] 本发明中的用户包括记忆力衰弱的患者、成人、儿童、学习人员和机器人(AI)。
[0057] 本发明中的原始信息数据库的原始信息包含基本原始信息和附加原始信息,所述基本原始信息至少为图像或声音中的一种,所述附加原始信息至少为对基本原始信息的时间、地点、人物、内容中的一类进行的附加描述。图像包括静态图像、动态图像和视频影像。
[0058] 本发明的心理信息包括心情和情绪。心情是指无特定、普遍及能够广泛影响认知和行为的一种情感状态。情绪是指伴随着认知和意识过程产生的对外界事物态度的体验,是人脑对客观外界事物与主体需求之间关系的反应,是以个体需要为中介的一种心理活动。
[0059] 本发明通过将图像及其相关信息与用户的心理信息关联在一起形成用户的独特记忆网络,根据用户的心理信息的变化有选择的显示能够激发积极心理效应的图像及其相关信息,使得用户在开心、温暖等积极的心理状态中加强了记忆。
[0060] 实施例1
[0061] 本实施例对本发明进行进一步的详细说明。
[0062] 如图1所示,一种构建记忆网络及将其用于加强记忆的方法包括步骤:
[0063] S1:建立原始信息数据库;
[0064] S2:建立与相应图像相关的关联信息数据库;
[0065] S3:建立信息数据库,实现至少一个原始信息的推荐,以辅助用户建立记忆网络。
[0066] 步骤S1:建立原始信息数据库。
[0067] 建立的原始信息数据库包括基本原始信息库和相关信息库。基本原始信息库中基本原始信息可以是图像、声音和文字等信息。本实施例以基本原始信息为图像进行说明。基本原始信息库用于存储与记忆信息相关的图像。相关信息库用于存储与各个图像相关的文字信息、图形信息和标注信息。
[0068] 基本原始信息库和相关信息库以映射的方式关联在一起。基本原始信息库中的每一个图像对应相关信息库中的至少一个相关信息。相关信息包括描述图像内容的文字信息,图像发生的时间、地点、事件内容、涉及的人物、人物的姓名及身份。相关信息可以在采集图像的过程中由用户或相关人员输入,也可以在用户查看图形信息库中的各个图像的过程中,由用户根据记忆信息输入。根据一个优选实施方式,相关信息还包括由用户或相关人员以语音、图形或文字的方式记录并输入的语音信息和图形信息。
[0069] 根据一个优选实施方式,用户和相关人员对具有特殊意义的和重要的图像标注特殊标签。特殊标签便于用户在查看各个图像的过程中对图像重点查看和进行记忆。特殊标签可以是具有多种颜色的图形。不同的颜色表示图像的重要程度。不同形状的图形表示不同的特殊意义。例如,红色表示对用户非常重要,蓝色表示对用户普通重要。五角星的图形表示家庭有关图像,圆形的图形表示与友人相关的图像。
[0070] 由用户或相关人员将与记忆信息有关的图像及其相关信息采集并存储至基本原始信息库。
[0071] 根据一个优选实施方式,采集图像的方式包括通过摄像装置将图片或影像拍摄成图像存储至基本原始信息库中。采集图像的方式还包括将电子数码形式的图像通过有线或无线的方式传输并存储至基本原始信息库中。
[0072] 根据一个优选实施方式,用户或相关人员还可以修改与基本原始信息库中的图像对应的相关信息,修正相关信息中的错误或补充相关信息。与图形对应的相关信息在第一次输入的时候有可能发生错误。用户或相关人员在后续查看的过程中,能够以身份验证的方式对相关信息中的错误进行修改。身份验证的方式包括密码验证、声音验证、指纹验证、唇纹验证、瞳孔验证。
[0073] 根据一个优选的实施方式,基本原始信息库中的图像与其对应的相关信息可以同时显示。在用户查看图像时,图像与其相关信息同时显示在屏幕中。
[0074] 根据一个优选的实施方式,与图像对应的相关信息基于用户发出的显示指令显示出来。相关信息可以以标签的形式显示。当用户对图像的内容回忆不清楚,点击代表相关信息的标签,相关信息基于点击的指令显示出来。优选的,相关信息中人物图像的姓名和相对于用户的身份标注在图像上。优选地,相关信息中,在人物或动物的面部图像的复制头像旁标注人物或动物的身份信息。复制头像设置在图像的周围。
[0075] 基本原始信息库设置在显示装置的储存模块中。相关信息库设置在远程服务器中。由于图像的占用内存空间较大,设置在远程服务器中,在传输的过程中需要缓存较长时间,因此设置在显示装置的储存模块中可以快速显示图像,减小数据传输的时间和压力。而相关信息占用的内存空间较小,在传输的过程中不会有较大的传输压力。因此设置在远程服务器中不会有影响。图像和相关信息以对应的映射关系分别存储在基本原始信息库和相关信息库中。在需要显示图像信息的时候,分别从基本原始信息库和相关信息库提取图像和相关信息后合成为完整的图像信息显示给用户。
[0076] 在用户查看基本原始信息库中的各个图像时,用户可以将图像信息以转发的方式发送并显示在允许至少一个友人浏览的网络页面或社交软件上,与友人分享该图像信息。
[0077] 用户可以通过至少一种方式查看基本原始信息库内的各个图像。若用户没有限定图像的内容,则根据图像内事件的发生时间为序排列查看图像信息。若用户指定图像事件发生的时间段,则可以查看指定时间段内的图像信息。若用户指定图像内容,则可以查看与指定图像内容有关的图像信息。若用户指定图像地点,则可以查看与指定图像地点有关的图像信息。若用户指定人物,则可以查看与指定人物有关的图像信息。
[0078] 步骤S2:建立关联信息数据库。按照用户查看所述原始信息数据库中原始信息时不同的心理状态进行对所述原始信息进行数据更新,所更新的数据为对原始信息进行的所代表的感情色彩进行描述,如积极情绪或消极情绪,并将更新的数据储存于关联信息数据库中。
[0079] 关联信息是指与基本原始信息库内的各个图像关联的信息。在用户查看图像时,其心理会产生波动,心情或情绪会发生变化。因此,在用户查看图像时产生的心理信息是与图像关联的心理信息,即关联信息。关联信息主要包括与图像关联的用户的心情信息、情绪信息、情绪变化信息、对图像信息的喜爱程度、表达喜爱的点赞次数、分享次数、表达不喜欢的拍砖次数等信息。关联信息是用户在查看基本原始信息库内的各个图像时主动反馈的心理相信息或由相关设备通过监测用户的微表情得到的心理信息。将关联信息与图像建立彼此对应的映射关系。
[0080] 在用户查看基本原始信息库内的各个图像时会产生情绪波动,从而引起用户的心情变化。情绪包括积极情绪和消极情绪。积极情绪包括安静、喜悦。消极的情绪包括恐惧和悲哀。根据用户的不同,积极情绪和消极情绪具体包括的情绪类别也不同。
[0081] 根据一个优选实施方式,通过监测用户的面部的微表情分析得到用户的情绪类别。此方式主要适用于具有面部微表情的人类。在用户查看基本原始信息库内的各个图像时,用户会将情绪表现在面部形成微表情。通过对用户的微表情进行数据分析得知用户的情绪属于积极情绪或消极情绪。微表情至少能够表达高兴、伤心、害怕、愤怒、厌恶、惊讶和轻蔑等情绪。高兴、惊讶属于积极情绪,伤心、害怕、愤怒、厌恶和轻蔑属于消极情绪。微表情还能表达思念、平静的情绪。
[0082] 高兴的面部动作包括:嘴角翘起,面颊上抬起皱,眼睑收缩,眼睛尾部会形成“鱼尾纹”;
[0083] 伤心的面部动作包括:眯眼,眉毛收紧,嘴角下拉,下巴抬起或收紧;
[0084] 害怕的面部动作包括:嘴巴和眼睛张开,眉毛上扬,鼻孔张大;
[0085] 愤怒的面部动作包括:眉毛下垂,前额紧皱,眼睑和嘴唇紧张;
[0086] 厌恶的面部动作包括:嗤鼻,上嘴唇上抬,眉毛下垂,眯眼;
[0087] 惊讶的面部动作包括:下颚下垂,嘴唇和嘴巴放松,眼睛张大,眼睑和眉毛微抬;
[0088] 轻蔑的面部动作包括:嘴角一侧抬起,作讥笑或得意笑状。
[0089] 当用户在查看一个图像信息时,其面部同时出现嘴角翘起,面颊上抬起皱,眼睑收缩,眼睛尾部形成“鱼尾纹”等动作,表示用户此刻的情绪的高兴。将该图像信息中的图像与关联信息中的情绪类别高兴建立映射关系,即该图像与积极情绪高兴相关联。
[0090] 在下一张图像信息出现时,用户的面部同时出现眯眼、眉毛收紧、嘴角下拉、下巴抬起或收紧等动作,则用户查看该图像时的情绪变化为伤心。该图像容易勾起用户伤心的回忆。则将该图像与关联信息中的情绪类别伤心建立映射关系,即该图像与消极情绪伤心相关联。
[0091] 在用户的情绪为伤心的时刻,若下一张图像是与消极情绪关联的图像,则不予显示。若下一张图像没有关联信息记录,或者下一张图像具有与积极情绪关联的关联信息记录,则显示下一张图像。这样避免了用户在加强记忆的过程中情绪持续低落,陷入悲观的心理状态。
[0092] 根据一个优选实施方式,在查看基本原始信息库内的各个图像时,用户以可选择按钮的形式选择此时的情绪或心情。用户通过点击按钮反馈查看该图像时的情绪。将高兴、伤心、害怕、愤怒、厌恶、惊讶和思念等情绪分别以按钮的形式显示在图像的附近位置。位置包括图像显示区域的上方下方,图像、右边和图像显示区域内用户可识别的位置。用户只需要选择符合当前心理的情绪按钮即可。按钮可以由不同颜色的图形表示。
[0093] 根据一个优选实施方式,在查看基本原始信息库内的各个图像时,用户以可选择按钮的形式选择对图像信息的喜欢或讨厌的情绪。喜欢代表积极情绪,讨厌代表消极情绪。或者,图像显示区域附近仅设置一个点赞的按钮和/或“拍砖”按钮。“点赞”按钮代表喜欢该图像,代表看见该图像高兴的情绪。“拍砖”按钮代表不喜欢该图像,看见该图像产生伤心、思念、愤怒、悲伤等令人不舒服的消极情绪。用户通过点赞表示自己对图像的喜爱,即表达自己对图像的感受是积极情绪还是消极情绪。在只有“点赞”按钮的情况下,用户通过不点赞表示自己对图像的不喜爱,即表达自己对图像的感受是消极情绪。在设置有“拍砖”按钮的情况下,用户通过点击“拍砖”按钮表达自己对图像的反感情绪。“点赞”按钮和“拍砖”按钮是表达用户对图像喜爱和反感的名称。按钮还可以以其他名称来表达用户对图像的支持和不支持的态度、喜爱和反感的情绪。
[0094] 用户为图像点击“赞”的次数越多,表示该图像对用户的积极情绪的影响越大,具有积极心理效应。用户为图像点击“拍砖”按钮的次数越多,表示该图像对用户的消极情绪的影响越大,具有消极心理效应。“点赞”按钮和“拍砖”按钮的点击次数作为对应图像的关联信息存储至关联信息数据库中。
[0095] 根据一个优选实施方式,在查看基本原始信息库内的各个图像时,用户通过选择条形图案的长度、图案的颜色深度、或者图形的个数表达对图像的喜欢程度。
[0096] 条形图案的长度越长,表示用户对该图像的喜爱程度多大,即该图像能够为用户带来积极的心理效应越大。反之,条形图案的长度越小,则该图像能够为用户带来积极的心理效应越小。或者,用户点击一次“赞”的按钮,条形图案的长度就增加一定长度。
[0097] 在图像显示区域设置有表达喜爱的图形按钮。测试图形点击一次,图形按钮的颜色就变深一次。图像按钮的颜色代表了用户的点赞次数,间接表示了该图像对用户的积极情绪的影响效应。
[0098] 在图像显示区域设置有至少一个代表积极情绪的图形。例如图形可以是五角星形状。用户在查看基本原始信息库的各个图像时,通过点击五角星图形的个数表达对该图像的喜爱程度或心情高兴程度。则五角星图像被点击的个数作为该图像的关联信息记录并储存至关联信息数据库中。图形的形状不限于五角星,还可以是圆形、矩形、三角形、六角形等形状。
[0099] 根据一个优选实施方式,在查看基本原始信息库内的各个图像时,用户以输入语音、文字或图形的方式记录对图像信息的感受。根据用户的观感记录,分析得到用户的情绪是积极情绪还是消极情绪。本发明根据用户的音频、音高、音速分析用户的情绪信息,将情绪信息与查看的图像关联起来并作为该图像的关联信息存储至关联信息数据库。或者,本发明根据用户记录的文字中出现的开心、快乐、温暖、甜蜜等代表积极情绪的文字提取用户的积极情绪信息;或者,本发明根据用户记录的文字中出现的郁闷、难受、尴尬、不舒服等代表消极情绪的文字提取用户的消息情绪信息。本发明根据用户记录的图形文字代表的情绪提取用户的情绪信息。例如,桃心代表甜蜜的积极情绪,分裂的心代表伤心的消极情绪。本发明从用户以输入语音、文字或图形的方式记录的信息中提取用户查看该图像时的情绪信息,将情绪信息作为该图像的而关联信息记录并存储至关联信息数据库。
[0100] 用户在查看基本原始信息库内的各个图像时的情绪类别、情绪变化曲线、心情变化曲线、对图像信息的喜爱程度或讨厌程度、点赞次数和分享次数构成了与各个图像存在对应的映射关系的关联信息。关联信息按照积极关联信息和消极关联信息分类存储在关联信息数据库中。关联信息数据库设置在远程服务器中。在用户在查看基本原始信息库内的各个图像时,图像信息与对应的关联信息同时显示。或者,在用户在查看基本原始信息库内的各个图像时,关联信息基于用户的查看指令显示出来。
[0101] 用户在查看基本原始信息库中的各个图像信息时,反馈的与心理信息相关的关联信息发生变化,则关联信息数据库根据用户最新的反馈信息进行更新。
[0102] 例如,基本原始信息库中的一个图像的关联信息为用户对其点“赞”四次。用户在此次查看该图像时,点击了“拍砖”按钮一次。由于点赞的次数大于“拍砖”的次数,该图像仍然与积极情绪进行关联。若随着用户的查看次数增多,用户对该图像的点赞的次数小于“拍砖”的次数,则该图像与关联信息数据库中的积极情绪取消映射关联,将该图像与消极情绪建立映射关联。
[0103] 关联信息数据库的数据基于用户对基本原始信息库中的各个图像的情绪变化进行更新。
[0104] 用户每天在查看基本原始信息库中的各个图像时反馈情绪信息,因此长时间的情绪信息反映了用户每天的情绪变化。若用户忘记查看图像信息从而没有记录情绪信息,则以提醒的方式提醒用户进行情绪信息记录。
[0105] 本发明还对用户反馈的情绪信息进行分析并预测用户的情绪。通过用户每天记录的情绪信息分析心情系数,得到用户在一段时间内的情绪变化曲线和心情变化曲线。
[0106] 例如,心情系数Y为基于所述用户的历史情绪信息以概率的方式预测所述用户当前情绪,当前的情绪信息为p(s|Et-1,Et-2,…,Et-n),
[0107] 其中s表示所述用户当前的情绪信息,Et-1为前一次的情绪信息,Et-n为前第n次的情绪信息,Et-i表示相对于当前时刻t的前第i次的情绪信息。所述情绪信息包含情绪种类和情绪数值。
[0108] 根据一个优选的实施方式,所述心情系数Y根据邻近n次的历史情绪信息进行分析,记t表示当前时间,ti表示邻近第i个情绪对应的时间点,ti的情绪数值为et-i,则t和ti之间的时间差是Δt=t-ti,,那么et-i在当前时间的情绪数值为:Et-i=et-i(t)=f(et-i,Δt)=et-i*exp(-Δt/(24*60*60)),上式考虑了情绪值按指数衰减的时间衰减性,其中et-i为1;
[0109] 根据过往n次的历史情绪数值,按下式计算预测心情系数:
[0110] 其中情感集合为S={快乐、轻松、平静、悲伤、恐惧、惊讶、愤怒、嫉妒};若结果为Y=快乐、轻松或平静等积极情绪,则Y的值定义为1,若结果为Y=悲伤、恐惧、惊讶、愤怒或嫉妒等消极情绪,则Y的值定义为-1;若心情系数的变化满足马尔科夫性质,有 即当前的心情依赖于上一个时间点的情绪。
[0111] 当计算得到用户的心情系数Y﹥0时,用户的心情为积极的心理状态。此时不需要考虑用户的心理因素,只需要显示图像信息即可。当计算得到用户的心情系数Y﹤0时,用户的心情为消极的心理状态。此时需要具有积极的关联信息的图像信息以调整用户呈现积极的心理状态。
[0112] 如图2所示为用户的一种情绪信息记录方式。以日历的方式记录用户的情绪变化。根据一个优选实施方式,以至少一种颜色、图形和/或颜色与图像结合的方式表示情绪的种类。例如,将情绪类别以深浅程度不同的同一种颜色表示,用户通过选择当天的日期的颜色深度来表示情绪的类别。颜色A代表开心,颜色B代表思念,颜色C代表悲伤,颜色D代表愤怒。
看日历中日期颜色的深度,就可以直观观察到用户情绪的类别和变化。
[0113] 如图3所示,以时间t为横轴,情绪类别为纵轴形成情绪变化曲线。图3显示的曲线分别为上午、中午、晚上的情绪变化曲线。情绪A代表生气,情绪B代表思念,情绪C代表平静,情绪D代表开心,情绪E代表无记录。。将三种不同的线段代表上午8点、中午12点、下午或晚上的情绪。如图3所示,以时间段2015.12.25—2016.1.3为测试时间观察用户的情绪变化。用户上午8点的情绪变化为开心—平静—平静—平静—开心—开心—无记录—无记录—无记录。用户在中午12点的情绪变化为开心—思念—平静—开心—平静—思念—平静—无记录—无记录。用户下午的情绪变化为平静—平静—开心—平静—平静—平静—无记录—思念—思念。
[0114] 根据一个优选实施方式,以时间t为横轴,心情系数为纵轴形成心情变化曲线。
[0115] 根据情绪变化曲线和心情变化曲线,用户或者相关人员可以直观的了解用户的情绪变化。当发现连续几天出现消极情绪时,相关人员可以引导用户选择参加一些积极的户外活动,或者增加陪伴用户的时间,调节记忆人员的心理状态。
[0116] 步骤S3:建立触发信息数据库,完成触发条件与原始信息数据库及关联信息数据库的关联,同时完成基于用户提供的触发信息实现至少一个原始信息数据库中图像信息的推荐。
[0117] 触发信息数据库中数据信息包括不同图像信息显示的触发条件数据以及触发条件与图像信息或关联信息的映射关系数据。触发信息数据库基于用户提供的触发信息和关联信息数据库的数据信息,提取产生至少一个原始信息数据库中原始信息的推荐。
[0118] 根据一个优选的实施方式,图像信息显示的触发条件数据包括时间触发数据、地点触发数据、内容触发数据、人物触发数据和情绪触发数据。所述时间触发数据包括用户在特定时间,查看特定时间段内的图像信息。例如,在3月1日当天,可触发查看往年3月1日所对应的图像信息。所述地点触发数据包括用户在指定地点实现特点地点的图像信息触发显示。所述内容触发数据包括用户在经历特定事件时实现对应事件的图像信息触发显示。所述任务触发数据包括用户在接触到特定人物时实现指定人物的图像信息触发显示。所述情绪触发数据包括用户处于特定情绪时实现的特定情绪相关的图像信息触发显示。
[0119] 所述触发信息数据库中触发条件与图像信息的映射关系数据是指将与各个图像信息相关的关联信息按照触发条件建立的对应关系数据。触发条件数据中时间触发数据为时间条件与原始信息数据库中图像信息的时间描述相关联,地点触发数据为地点条件与原始信息数据库中图像信息的地点描述相关联,内容触发数据为事件内容与原始信息数据库中图像信息的事件内容描述相关联,人物触发数据为人物条件与原始信息数据库中图像信息的人物描述相关联,情绪触发数据为情绪条件与关联信息数据库中情绪信息相关联。且基本原始信息库中的各个图像与关联信息数据库中的情绪信息进行关联。
[0120] 根据一个优选的实施方式,辅助用户建立记忆网络包括根据用户的心理信息调整基本原始信息库中各个图像的显示状态,从而避免用户的心理状态出现消极情绪,使用户在积极的心理状态中加强对相关信息的记忆。根据用户的心理信息调整后形成的多个图像信息随时间信息进行排布从而构成了用户的动态的记忆网络。记忆网络承载了对用户具有积极心理效应的记忆信息。当用户的情绪发生变化,记忆网络中的图像信息会进行动态调整。
[0121] 当用户的心情系数Y<0,心情为消极状态时,按照映射关系提取与关联信息数据库中积极情绪对应的图像信息并显示,屏蔽与消极情绪关联的图像信息。
[0122] 具体地,当根据用户的历史情绪信息分析得到其心情为消极情绪时,根据基本原始信息库中图像信息与关联信息数据库中关联信息的映射关系,选择与关联信息数据库中的积极情绪关联的图像信息。将与积极情绪关联的熬一个图像信息按照图形内容发生的时间的顺序向测试人员显示,使至少一个图像信息构成了附有积极记忆信息的记忆网络。与消极情绪关联的图像信息不会显示给测试人员,则测试人员不会回忆或记忆消极的记忆信息,从而不会陈胜消极的情绪。测试人员在积极地情绪中进行记忆,记忆效果更好。
[0123] 当用户的心情系数Y>0,心情为积极状态或平静状态时,按照映射关系提取与关联信息数据库中积极情绪和/或消极情绪对应的图像信息,显示给用户。
[0124] 具体地,当根据用户的历史情绪信息分析得到其心情为积极情绪或平静情绪时,不需要根据关联信息数据库中的关联信息对基本原始信息库中图像信息进行选择显示。基本原始信息库中的至少一个图像信息按照图形内容发生的时间的顺序向测试人员显示,使至少一个图像信息按照时间顺序构成了针对测试人员显示的独特的记忆网络。在测试人员查看图像信息的过程中,测试人员同时在动态反馈对各个图像的情绪类别,关联信息数据库中的关联信息根据用户反馈的情绪信息进行更新。在测试人员查看图像信息的同时根据测试人员动态反馈的情绪信息分析测试人员的心情变化。当分析到测试人员的心情变化为消极情绪时,根据关联信息数据库中更新的关联信息,屏蔽掉与消极情绪关联的图像信息,即不显示与消极情绪关联的图像信息。直至监测到测试人员的情绪变化为积极情绪,才取消对与消极情绪关联的图像信息的屏蔽行为。这样,根据测试人员的情绪变化调整图像信息的显示规则,形成了针对测试人员的情绪变化而动态变化的记忆网络。
[0125] 即使用户指定了图像中的事件、时间、人物、地点等条件,在用户的心情系数Y<0的情况下,首先按照映射关系提取与积极关联信息数据库中积极情绪关联的图像信息,然后从与积极情绪关联的图像信息中选择显示符合测试人员指定条件的图像信息。
[0126] 与用户的情绪类别分别关联的图像信息依据时间顺序排列形成独属于用户的记忆网络。积极情绪的记忆网络和消极情绪的记忆网络基于用户的情绪变化而改变需要显示的图像信息,加强用户的记忆。本发明避免了用户由于强制加强记忆而产生抵触的情况。
[0127] 实施例2
[0128] 本实施例提供一种构建记忆网络及将其用于加强记忆的系统,如图5所示,该系统包括移动端10和服务端20。移动端10适用于用户和相关人员。移动端10设置在移动终端设备或计算机上。移动终端设备包括智能手机、平板电脑或笔记本电脑。移动终端设备通过WiFi、蓝牙、ZigBee、移动2G、移动3G或移动4G实现移动端10与服务端20的数据传输。
[0129] 移动端10包括信息输入模块101、心理信息采集模块102、原始信息数据库模块103、原始信息显示模块104和触发信息数据库模块105。服务端20包括数据分析模块201和关联信息库模块202。服务端20设置在远程服务器中。信息输入模块101用于用户在查看原始信息数据库模块103中的各个图像时,以输入语音、文字或图像的方式表达对图像信息的感受。信息输入模块101还用于用户在查看原始信息数据库的各个图像时反馈心情、情绪类别、对图像信息的喜爱程度或讨厌程度、点赞和分享。
[0130] 根据一个优选实施方式,信息输入模块101还用于用户或相关人员将图像输入原始信息数据库模块103从而更新原始信息数据库。
[0131] 心理信息采集模块102用于采集用户的心理信息。心理信息包括用户在查看原始信息数据库中的各个图像时产生的心情和情绪信息。
[0132] 根据一个优选实施方式,心理信息采集模块102通过采集用户的面部的微表情分析得到用户的心理信息。心理信息采集模块102通过摄像装置采集测试人员的微表情,并将用户的微表情发送至移动端20的微表情分析模块203进行分析,得到用户在查看各个图像时的情绪信息。
[0133] 原始信息数据库模块103用于存储原始信息数据库,原始信息数据库用于储存与用户的记忆相关的图像信息。图像信息包括图像及相关信息。原始信息数据库包括基本原始信息库和与图像相关的相关信息库。基本原始信息库用于存储与用户需要记忆的信息相关的至少一个图像。相关信息包括各个图像内容发生的时间、地点、人物、事件等信息。
[0134] 原始信息显示模块104用于向用户显示符合显示条件的图像信息。原始信息显示模块104根据数据分析模块201的分析结果选择与对应的关联信息库模块202中的关联信息关联的图像信息并显示给用户。
[0135] 触发信息数据库模块105用于储存触发信息数据库,触发信息数据库中数据信息包括不同图像信息显示的触发条件数据以及触发条件与图像信息或关联信息的映射关系数据。触发信息数据库模块105基于用户经信息输入模块101提供的信息完成与触发信息数据库中触发条件信息的匹配,并将匹配结果发送至数据分析模块201。经数据分析模块201分析确认后,提取产生至少一个原始信息数据库中原始信息的推荐。
[0136] 数据分析模块201用于对用户的心理信息进行数据分析。优选地,数据分析模块201根据采集的情绪信息或用户反馈的情绪信息分析用户的心情,并且预测用户的实时心情。
[0137] 关联信息库模块202的关联信息数据库存储有与原始信息数据库的各个图像关联的关联信息。关联信息包括用户在查看原始信息数据库的各个图像时的心情、情绪类别、情绪变化曲线、心情变化曲线、对图像信息的喜爱程度或讨厌程度、点赞次数和分享次数等信息。
[0138] 微表情分析模块203用于对接收的微表情信息进行分析,提取微表情中的情绪信息。微表情分析模块203根据微表情中用户的面部动作,分析得到用户的情绪类别。情绪包括高兴、伤心、害怕、愤怒、厌恶、惊讶和思念等情绪。微表情分析模块203将用户查看的图像和相应的情绪信息关联,并且将情绪信息与图像的关联信息存储至关联信息库模块202,从而使关联信息数据库进行更新。
[0139] 本实施例提供的一种构建记忆网络及将其用于加强记忆的系统的工作原理为:
[0140] 由用户或相关人员在移动端10建立原始信息数据库模块103,并且将图像及其相关信息分别存储至原始信息数据库模块103中的基本原始信息库和相关信息库。例如,由相关人员将电子数码图像以有线或无线的方式传输并存储至基本原始信息库。或者,由相关人员基于移动终端的摄像设备对与记忆信息相关的信息进行拍摄并存储至基本原始信息库。
[0141] 根据一个优选实施方式,关联信息库模块202设置在远程的服务器上,以有线或无线的方式与原始信息显示模块104和信息输入模块传送数据信息。由于关联信息占用的数据内存较小,便于远程传送。而图像信息占用的数据内存比较多,若使用远程传送容易导致图像信息需要较长时间进行缓存的现象。因此,原始信息数据库103设置在移动端10内。
[0142] 测试相关人员通过信息输入模块101将图像的相关信息输入并存储至相关信息库。图像与相关信息存在一一对应的关系。原始信息显示模块104基于原始信息数据库中的各个图像的事件发生时间将图像按照时间顺序排列并显示,形成用户查看的初始记忆网络。
[0143] 用户查看初始记忆网络中的各个图像时,心理信息采集模块102采集测试图像在查看各个图像信息时的微表情。心理信息采集模块102将用户的微表情标注为与对应的图像关联的微表情并发送至移动端20的微表情分析模块203。微表情分析模块203根据接收的微表情中的面部动作分析得到用户在查看对应的图像时的情绪信息。微表情分析模块203将分析的情绪信息和对应的图像信息的关联关系存储在关联信息数据库中。因此,在用户查看初始记忆网络中的各个图像时,与各个图像关联的情绪信息不断形成并存储至关联信息库模块202中。
[0144] 根据一个优选实施方式,用户查看初始记忆网络中的各个图像时,通过点击可选择按钮的方式反馈与图像关联的情绪类别,情绪类别即为与图像关联的关联信息。例如,用户对图像信息进行点“赞”或”拍砖“按钮,反馈自己的情绪是积极情绪还是消极情绪。或者,用户对图像信息进行分享,分享代表与图像关联的是积极情绪。信息输入模块101将用户以选择按钮的形式输入的情绪信息、分享次数、点赞次数或拍砖次数与对应的图像进行关联形成关系信息,并且将关联信息存入关联信息库模块202。
[0145] 用户反馈的情绪信息既是与图像关联的关联信息,也形成了每日的情绪信息记录。
[0146] 数据分析模块201根据用户的历史情绪信息预测实时的情绪信息。
[0147] 心情系数Y为基于所述用户的历史情绪信息以概率的方式预测所述用户当前情绪,当前的情绪信息为p(s|Et-1,Et-2,…,Et-n),
[0148] 其中s表示所述用户当前的情绪信息,Et-1为前一次的情绪信息,Et-n为前第n次的情绪信息,Et-i表示相对于当前时刻t的前第i次的情绪信息。
[0149] 根据一个优选的实施方式,所述心情系数Y根据邻近n次的历史情绪信息进行分析,记t表示当前时间,ti表示邻近第i个情绪对应的时间点,ti的情绪数值为et-i,则t和ti之间的时间差是Δt=t-ti,,那么et-i在当前时间的情绪数值为:Et-i=et-i(t)=f(et-i,Δt)=et-i*exp(-Δt/(24*60*60)),上式考虑了情绪值按指数衰减的时间衰减性,其中et-i为1;
[0150] 根据过往n次的历史情绪数值,按下式计算预测心情系数:
[0151] 其中情感集合为S={快乐、轻松、平静、悲伤、恐惧、惊讶、愤怒、嫉妒};若结果为Y=快乐、轻松或平静等积极情绪,则Y的值定义为1,若结果为Y=悲伤、恐惧、惊讶、愤怒或嫉妒等消极情绪,则Y的值定义为-1;若心情系数的变化满足马尔科夫性质,有Y= 即当前的心情依赖于上一个时间点的情绪。
[0152] 当用户的心情系数Y<0,用户的心情为消极状态。数据分析模块201将用户的心情类别发送至原始信息显示模块104。原始信息显示模块104按照映射关系提取与关联信息数据库中积极情绪对应的至少一个图像信息,并且将至少一个图像信息按照事件发生时间的顺序显示给用户。根据用户的心情选择并显示的图像信息形成了与用户的心理信息对应的全新的记忆网络。
[0153] 当用户的心情系数Y>0,心情为积极状态。数据分析模块201将用户的心情类别发送至原始信息显示模块104。此时用户的心理状态很好,可以接受消极的图像信息,因此原始信息显示模块104不需要选择图像信息。原始信息显示模块104将原始信息数据库103中的图像信息按照图像发生时间的顺序全部显示出来。
[0154] 在用户查看图像信息模块104显示的各个图像信息的时候,心理信息模块102同时在采集用户的心理信息,或者用户同时在反馈关联信息。关联信息库模块202根据用户的心理信息和反馈的关联信息不断更新关联信息数据库。数据分析模块201根据关联信息库模块202更新后的数据动态分析用户的心情。当数据分析模块201分析到用户的心情系数Y<0,心情变化为消极状态的适合,数据分析模块201将用户的心情类别发送至原始信息显示模块104。原始信息显示模块104再次对原始信息数据库中显示的图像信息进行调整,将与消极情绪关联的图像信息不予显示,形成全新的记忆网络。因此,记忆网络中的图像信息基于用户的心理状态进行变化,用户对图像信息在积极的心理状态中进行记忆,记忆效果明显提升。
[0155] 例如,当用户的心情为开心的时候,原始信息显示模块104不会屏蔽与消极情绪关联的图像信息,而是根据用户的要求显示图像信息。当用户的心情为悲伤的时候,原始信息显示模块104会屏蔽与消极情绪关联的图像信息,将与积极情绪关联的图像信息,包括用户点赞过的图像信息、用户表达过喜爱程度的图像信息按照一定的顺序显示出来,供用户查看,进一步加强用户积极情绪方面的记忆,从而使用户的心理状态更加积极向上。
[0156] 实施例3
[0157] 本实施例对实施例1和实施例2的进一步改进和说明,本实施例以用户为老年人为例进行说明。
[0158] 建立原始信息数据库。本实施例以原始信息为图像信息进行说明。老年人的家属或者看护人员或老年人自己将曾经的非电子照片通过拍摄的形式存储为电子图像。或者,将其他电子设备存储的电子图像以有线或无线的方式传输至原始信息数据库。老年人的家属或者看护人员或老年人自己可以将图像的相关信息输入原始信息数据库。相关信息包括图像发生的时间,地点、人物和事件。例如,“2015年,二儿子带孙女萌萌回家过中秋节”。
[0159] 原始信息显示模块104将原始信息数据库中的各个图像及相关信息按照时间顺序显示。每张图像间隔的时间由用户设置,可以为10S,也可以为30S。用户以触控的方式移动图像。图像根据用户的动作轨迹移出图像信息显示屏幕。根据一个优选实施方式,在限定时间内,若用户没有翻动图像信息,图像信息自动更换至下一张图像信息。
[0160] 按照与相应用户查看所述原始信息数据库内的各个图像时的心理信息相关的方式创建并更新相应图像的关联信息,建立与相应图像相关的关联信息数据库。
[0161] 如图4所示,原始信息显示模块104按照时间顺序显示了两张图像P1和图像P2。图像P1的时间t1早于图像P1的时间t2。相关信息A1和相关信息A2分别设置在图像P1和图像P2的附近。根据一个优选实施方式,相关信息A1还可以设置在图像的上方,下方、左边和右边,或者图像的空余位置。根据一个优选实施方式,相关信息可以与图像合成为一张附带有文字的图像。
[0162] 按钮B1和B2为点赞按钮。当老年人在查看图像时,通过点击点赞按钮的操作表达自己的情绪。根据一个优选实施方式,当老年人在查看图像时,通过点击不同的表情按钮的操作表达自己的情绪类别。老年人点赞的次数和选择的情绪类别作为该图像的关联信息存储至关联信息数据库。
[0163] 老年人在查看原始信息数据库的各个图像时,以语音、文字或图像的形式通过信息输入模块输入自己查看图像信息的感受和回想起的记忆信息。
[0164] 若老年人一天都没有查看图像信息和提供情绪记录信息。信息输入模块101以声音的方式提醒老年人记录情绪或心情。
[0165] 数据分析模块201对老年人的历史情绪信息进行分析,得出老年人的情绪随时间变化的情绪变化曲线,如图3所示。情绪变化曲线以一种直观的方式展示给老年人的子女亲属老年人的情绪变化情况。当发现连续几天出现消极情绪时,可以适当的增加陪伴老人的时间,或者系统根据一张照片的心情标签情况,多向老人展示一些与积极情绪关联的照片,这能更好的引起老人的回忆,调节老人的情绪,在一定程度上增加老人的自豪感和幸福感。
[0166] 同时,数据分析模块201根据老年人的历史情绪信息预测实时的情绪。
[0167] 数据分析模块201对图像的点赞的次数和点击绪类别次数进行统计,将数据信息发送至关联信息数据库,使关联信息数据库进行更新。
[0168] 例如,将老人的情绪人为的选定了四种:开心、平静、思念、生气。前面两种属于积极情绪,后两种则属于消极情绪。由于影响人情绪的因素是多种多样的,因此在分析历史情绪的基础上,考虑了实时的影响因素。心情系数Y为基于所述用户的历史情绪信息以概率的方式预测所述用户当前情绪,当前的情绪信息为p(s|Et-1,Et-2,…,Et-n),其中s表示所述用户当前的情绪信息,Et-1为前一次的情绪信息,Et-n为前第n次的情绪信息,Et-i表示相对于当前时刻t的前第i次的情绪信息。
[0169] 根据一个优选的实施方式,所述心情系数Y根据邻近n次的历史情绪信息进行分析,记t表示当前时间,ti表示邻近第i个情绪对应的时间点,ti的情绪数值为et-i,则t和ti之间的时间差是Δt=t-ti,,那么et-i在当前时间的情绪数值为:Et-i=et-i(t)=f(et-i,Δt)=et-i*exp(-Δt/(24*60*60)),上式考虑了情绪值按指数衰减的时间衰减性,其中et-i为1;
[0170] 根据过往n次的历史情绪数值,按下式计算预测心情系数:
[0171] 其中情感集合为S={开心、平静、思念、生气};若结果为Y=开心或平静时,则Y的值定义为1,若结果为Y=思念或生气,则Y的值定义为-1。
[0172] 当心情系数Y<0时,老年人的心情比较低落,原始信息显示模块104就会显示一些与积极情绪信息关联的往年的今日发生的事情所记录的图像,展示给老年人翻看,系统会舍弃那些比较消极的照片。显示的积极情绪的图像信息形成老年人的积极的记忆网络。这样既能帮助老人回忆,刺激他们的记忆能力,又能在一定程度上,调节老人的情绪。
[0173] 当心情系数Y>0时,老年人的心情比较高兴,则提取图像信息时可以忽略老人的心情因素,只需考虑时间因素即可。而当Y<0时,则提取的图像必须同时符合时间因素和老人心情因素。因此,根据老年人的情绪变化显示不同的记忆网络,使老年人的生活既远离消极情绪又增强记忆。
[0174] 根据一个优选实施方式,老年人及其相关人员可以对具有特殊意义的图像进行标注。例如特殊节日发生的事情的图像。原始信息显示模块在显示具有特殊标注的图像信息时,显示“记得/不记得”的按钮。老年人通过点击按钮反馈自己是否记得该特殊事件。若老年人选择的是不记得,则会在一段时间后继续进行提醒。但若记得,则会不进行提醒,或者间隔更长的时间后才进行提醒。
[0175] 根据一个优选实施方式,原始信息显示模块104以时间轴的方式显示图像信息及其关联信息。老年人在查看图像信息时,主要查看图像、相关信息、发生时间和情绪信息四个重要内容。简单的信息展示更有利于老年人接受和理解。本实施例结合老年人的心情,有针对性的给老年人进行关联提醒,有效的加强老年人的记忆。
[0176] 根据一个优选实施方式,原始信息显示模块104将图像信息按照以年代为时间单位的时间顺序显示。例如,老年人指定查看中秋节的图像信息。原始信息显示模块104根据老年人的指定条件,将与中秋节有关且适合老年人此刻心理状态的图像信息以年代为时间单位显示。如图4所示,t1时间为20世纪80年代,t2时间为20世纪90年代。
[0177] 实施例4
[0178] 根据本发明的另一个方面,本实施例提供一种构建记忆网络及将其用于加强记忆的方法包括步骤:
[0179] S11:建立多媒体信息库;
[0180] S12:按照与相应测试对象查看所述多媒体信息库内的各个图像时的心理信息相关的方式来创建并更新相应图像的关联信息;
[0181] S13:建立与相应图像相关的记忆关联库;
[0182] S14:针对相应测试对象建立记忆网络。
[0183] 步骤S11:建立多媒体信息库。
[0184] 建立的多媒体信息库包括图像库和相关信息库。图像库用于存储与记忆信息相关的图像。相关信息库用于存储与各个图像相关的文字信息、图形信息和标注信息。
[0185] 图像库和相关信息库以映射的方式关联在一起。图像库中的每一个图像对应相关信息库中的至少一个相关信息。相关信息包括描述图像内容的文字信息,图像内容发生的时间、地点、涉及的人物、人物的姓名及身份和发生的时间。相关信息可以在采集图像的过程中由测试对象或相关人员输入,也可以在测试对象查看图形信息库中的各个图像的过程中,由测试对象根据记忆信息输入。
[0186] 根据一个优选实施方式,采集图像的方式包括通过摄像装置将图片或影像拍摄成图像存储至多媒体信息库中。采集图像的方式还包括将电子数码形式的图像通过有线或无线的方式传输并存储至多媒体信息库中。优选的,测试对象或相关人员还可以修改与多媒体信息库中的图像对应的相关信息,修正相关信息中的错误或补充相关信息。
[0187] 根据一个优选的实施方式,多媒体信息库中的图像与其对应的相关信息可以同时显示。在测试对象查看图像时,图像与其相关信息同时显示在屏幕中。优选地,与图像对应的相关信息基于测试对象发出的显示指令显示出来。相关信息可以以标签的形式显示。测试对象可以通过至少一种方式查看多媒体信息库内的各个图像。若测试对象没有限定图像的内容,则根据图像内事件的发生时间为序排列查看图像信息。若测试对象指定图像事件发生的时间段、内容、地点、人物,则可以查看指定时间段内、内容、地点、人物的图像信息。
[0188] 步骤S12:按照与相应测试对象查看多媒体信息库内的各个图像时的心理信息相关的方式来创建并更新相应图像的关联信息。
[0189] 关联信息是指与多媒体信息库内的各个图像关联的信息。在测试对象查看图像时,其心理会产生波动,心情或情绪会发生变化。在测试对象查看图像时产生的心理信息是与图像关联的心理信息,即关联信息。关联信息主要包括与图像关联的测试对象的情感信息、情感信息、情绪变化信息、对图像信息的喜爱程度、表达喜爱的点赞次数、分享次数、表达不喜欢的拍砖次数等信息。关联信息是测试对象在查看多媒体信息库内的各个图像时主动反馈的心理信息或由相关设备通过监测测试对象的微表情得到的心理信息。将关联信息与图像建立彼此对应的映射关系。一个图像对应至少一个关联信息。
[0190] 根据一个优选实施方式,以采集所述测试对象的微表情的方式分析所述测试对象在查看所述多媒体信息库内的各个图像时的情感信息。当图像信息出现时,测试对象的面部同时出现眯眼、眉毛收紧、嘴角下拉、下巴抬起或收紧等微表情动作,则测试对象查看该图像时的情绪变化为伤心。则将该图像与关联信息中的伤心情绪建立映射关系,即该图像与消极情绪伤心相关联。
[0191] 根据一个优选实施方式,在查看多媒体信息库内的各个图像时,测试对象以可选择按钮的形式选择此时的情绪或心情或对图像信息的喜欢或讨厌的情绪。测试对象通过点击按钮反馈查看该图像时的情绪。根据一个优选实施方式,在查看多媒体信息库内的各个图像时,测试对象以输入语音、文字或图形的方式记录对图像信息的感受。
[0192] 本发明还对测试对象反馈的情感信息进行分析并预测测试对象的情绪。通过测试对象每天记录的情感信息分析情感系数,得到测试对象在一段时间内的情绪变化曲线和心情变化曲线。
[0193] 根据一个优选实施方式,测试对象的历史情感随时间进行衰减,从而使测试对象的当前情感依据历史情感信息的变化而变化。测试对象的当前情感信息基于所述测试对象的历史情感信息以概率的方式进行分析,当前情感信息Y为Y=maxs∈S(p(s|Et-1,Et-2,...,Et-n)),其中,情感集合S={S1、S2、…Si},Si表示情感类别,Et-1为前一次的情绪信息,Et-n表示前第n次的历史情绪信息,n≥1,并且Et-n∈S,则情感信息Y为分析得到的所述测试对象的情感信息。例如,S1表示喜悦,S2表示悲伤,S3表示恐惧,S4表示惊讶,S5表示愤怒。
[0194] 优选地,若测试对象的情感信息变化满足马尔科夫特质,则当前情感信息取决于前面有限个历史情感信息,即Y=p(Et|Et-1,Et-2,…,Et-n)。例如,当n=2时,当前情感信息Y=maxs∈s(p(s|Et-1,Et-2);当n=1时,当前情感信息Y=maxs∈S(p(s|Et-1)。
[0195] 历史情感信息Et-n具有衰减性,随时间指数进行衰减,即
[0196] 其中et-n表示前第n次的情绪数值,Δt表示前第n次的情绪发生的时间tn与现在时间t的时间差值。当前情感信息取决于历史情感信息随时间的衰减变化。根据一个优选实施方式,et-n的初始值可以采用标准的情感量表进行测量,或者默认赋初始值为1。例如,人为设置情感量表如表1所示。
[0197] 表1:情感量表
[0198] 情感类别 量值喜悦 2
悲伤 2
恐惧 2
惊讶 2
愤怒 2
[0199] 例如,前第一次的历史情感信息记录为喜悦,n=1,记录时间与d当前时间差值为24小时,et-1的初始值为2。则测试对象的当前时刻的喜悦值为
[0200]
[0201] 当前情感信息Y=maxs∈S(p(s|Et-1)=0.5,即测试对象的当前情感信息为喜悦,喜悦值为0.5。
[0202] 前第二次的历史情感信息记录为悲伤,n=2,记录时间与d当前时间差值为48小时,设et-2默认值为2。则测试对象的当前时刻的悲伤值为
[0203]
[0204] 则测试对象当前时刻的情感信息值
[0205] Y=maxs∈S(p(s|Et-1,Et-2)=maxs∈S(p(s|0.5,0.25)=0.5,情感类别为喜悦。
[0206] 步骤S13:建立与相应图像相关的记忆关联库。
[0207] 测试对象在查看多媒体信息库内的各个图像时的情绪类别、情绪变化曲线、心情变化曲线、对图像信息的喜爱程度或讨厌程度、点赞次数和分享次数构成了与各个图像存在对应的映射关系的关联信息。关联信息按照积极关联信息和消极关联信息分类存储在记忆关联库中。记忆关联库设置在远程服务器中。在测试对象在查看多媒体信息库内的各个图像时,图像信息与对应的关联信息同时显示。或者,在测试对象在查看多媒体信息库内的各个图像时,关联信息基于测试对象的查看指令显示出来。
[0208] 测试对象在查看多媒体信息库中的各个图像信息时,反馈的与心理信息相关的关联信息发生变化,则记忆关联库根据测试对象最新的反馈信息进行更新。记忆关联库的数据基于测试对象对多媒体信息库中的各个图像的情绪变化进行更新。
[0209] 步骤S14:针对相应测试对象建立记忆网络。
[0210] 多媒体信息库中的各个图像与记忆关联库中的情感信息进行关联。因此根据测试对象的心理信息调整多媒体信息库中各个图像的显示状态,从而避免测试对象的心理状态出现消极情绪,使测试对象在积极的心理状态中加强对相关信息的记忆。根据测试对象的心理信息调整后形成的多个图像信息随时间信息进行排布从而构成了测试对象的动态的记忆网络。记忆网络承载了对测试对象具有积极心理效应的记忆信息。当测试对象的情绪发生变化,记忆网络中的图像信息会进行动态调整。当测试对象的情感为消极情感时,按照映射关系提取与记忆关联库中积极情绪对应的图像信息并显示,屏蔽与消极情绪关联的图像信息。
[0211] 具体地,当根据测试对象的历史情感信息分析得到其心情为消极情绪时,根据多媒体信息库中图像信息与记忆关联库中关联信息的映射关系,选择与记忆关联库中的积极情绪关联的图像信息。将与积极情绪关联的一个图像信息按照图形内容发生的时间的顺序向测试人员显示,使至少一个图像信息构成了附有积极记忆信息的记忆网络。与消极情绪关联的图像信息不会显示给测试人员,则测试人员不会回忆或记忆消极的记忆信息,从而不会产生消极的情绪。测试人员在积极地情绪中进行记忆,记忆效果更好。
[0212] 当测试对象的情感为积极情感时,按照映射关系提取与记忆关联库中积极情绪和/或消极情绪对应的图像信息,显示给测试对象。
[0213] 具体地,当根据测试对象的历史情感信息分析得到其心情为积极情绪时,不需要根据关联数据库中的关联信息对多媒体信息库中图像信息进行选择显示。多媒体信息库中的至少一个图像信息按照图形内容发生的时间的顺序向测试人员显示,使至少一个图像信息按照时间顺序构成了针对测试人员显示的独特的记忆网络。在测试人员查看图像信息的过程中,测试人员同时在动态反馈对各个图像的情绪类别,记忆关联库中的关联信息根据测试对象反馈的情感信息进行更新。在测试人员查看图像信息的同时根据测试人员动态反馈的情感信息分析测试人员的心情变化。当分析到测试人员的心情变化为消极情绪时,根据记忆关联库中更新的关联信息,屏蔽掉与消极情绪关联的图像信息,即不显示与消极情绪关联的图像信息。直至监测到测试人员的情绪变化为积极情绪,才取消对与消极情绪关联的图像信息的屏蔽行为。这样,根据测试人员的情绪变化调整图像信息的显示规则,形成了针对测试人员的情绪变化而动态变化的记忆网络。
[0214] 即使测试对象指定了图像中的事件、时间、人物、地点等条件,在测试对象的情感为消极情感的情况下,首先按照映射关系提取与积极记忆关联库中积极情绪关联的图像信息,然后从与积极情绪关联的图像信息中选择显示符合测试人员指定条件的图像信息。
[0215] 与测试对象的情绪类别分别关联的图像信息依据时间顺序排列形成独属于测试对象的记忆网络。积极情绪的记忆网络和消极情绪的记忆网络基于测试对象的情绪变化而改变需要显示的图像信息,加强测试对象的记忆。本发明避免了测试对象由于强制加强记忆而产生抵触的情况。
[0216] 需要注意的是,上述具体实施例是示例性的,本领域技术人员可以在本发明公开内容的启发下想出各种解决方案,而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白,本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。