一种用于情绪调节的人机交互设备转让专利
申请号 : CN202110953462.5
文献号 : CN113687744B
文献日 : 2022-01-18
发明人 : 李诗怡 , 徐青青 , 王晓怡
申请人 : 北京智精灵科技有限公司
摘要 :
权利要求 :
1.一种用于情绪调节的人机交互设备,其特征在于包括处理器和存储器,所述处理器读取所述存储器中的计算机程序或指令,用于执行以下操作:根据用户的情绪评估结果、交互前心理量表的测评结果和面部情绪数据,采用机器学习算法计算出在各个情绪调节需求对应的人机交互方案的操作时间;
获取情绪调节前用户的生理数据后,按照操作顺序和操作时间进行情绪调节,当日结束后获取用户主观感受和交互前后变化的客观反馈数据;
当已交互天数达到当前人机交互方案的操作时间节点时,调出交互后心理量表进行有效性测评,并将测评结果与常模数据比对,得出当前人机交互方案的有效性测评是否通过,若通过则执行下一步骤或返回首个步骤;未通过则更新当前人机交互方案的操作时间和操作时间节点,继续进行操作,当达到更新后的操作时间节点后,再次进行有效性测评直至通过;
采用基于矩阵分解的点击率预测模型,根据所述用户主观感受和所述交互前后变化的客观反馈数据,更新还未进行的各个人机交互方案的操作时间,直到本轮人机交互结束。
2.如权利要求1所述的人机交互设备,其特征在于:根据获取的用户对各个情绪调节需求的评分,得到本轮情绪调节的各个人机交互方案的操作顺序,其中每个人机交互方案对应相应的情绪调节需求。
3.如权利要求1所述的人机交互设备,其特征在于:所述交互前心理量表的测评结果为交互前心理量表中各项因子上的得分,根据常模数据转化为百分比数值。
4.如权利要求1所述的人机交互设备,其特征在于:将交互前心理量表和交互后心理量表的所有因子中,用户得分与常模数据相差最大的八个因子,以雷达图形式呈现因子名称、因子在常模中的评分、用户在此因子上的评分。
5.如权利要求2所述的人机交互设备,其特征在于:在进行情绪调节前,根据所述本轮情绪调节的各个人机交互方案的操作顺序和各个人机交互方案的操作时间,设置各个人机交互方案的操作时间节点。
6.如权利要求1所述的人机交互设备,其特征在于:所述用户主观感受反馈数据为语音采集设备采集的用户关于交互后感受的语音数据或记录用户输入的关于交互后感受的文本信息,采用语音/文本情绪识别算法,将所述语音数据或所述文本信息转化为语音或文本的情绪成分分析,并标注日期。
7.如权利要求1所述的人机交互设备,其特征在于:所述用户交互前后变化的客观反馈数据为将交互前用户的生理数据和交互后用户的生理数据生成图表,并标注日期。
8.如权利要求7所述的人机交互设备,其特征在于:所述交互前用户的生理数据和所述交互后用户的生理数据包括图像采集设备采集的用户的面部图像、心率采集设备采集的心率和运动手环采集的运动数据,并利用面部情绪识别算法将所述用户面部图像转化为数值。
9.如权利要求1所述的人机交互设备,其特征在于:更新当前人机交互方案的操作时间ti'=E/G*ti,E表示常模数据,G表示交互后心理量表中各项因子上的评分,ti表示当前人机交互方案的时间,i∈[1:4],表明为四个人机交互方案之一。
说明书 :
一种用于情绪调节的人机交互设备
技术领域
背景技术
该软件中设定的场景,如森林,篝火等,再以音乐或音频辅助用户放松。
然而随着时间的推移,会对其中数量有限且形式单一的练习逐渐失去新鲜感和敏感性。此
外,情绪问题疗愈需要长期、系统化的引导,而非碎片式的短暂改善。这一点也是放松情绪
类软件所普遍缺失的。
采集模块相连,识别脸部信息,确定用户的脸部微表情所属的情绪类型;人机界面调节模
块,与人脸识别模块相连,根据用户的脸部微表情所属的情绪类型,调节人机界面的显示状
态。该方案主要通过人脸识别技术识别用户微表情,判断用户使用时的情绪,从而对人机界
面的内容进行主题模板或色彩等方面的切换,从而达到人性化的色彩界面交互,使用户在
短时间内得到情绪的调节,对用户起到一个正面积极的作用。
发明内容
通过,若通过则执行下一步骤或返回首个步骤;未通过则更新当前人机交互方案的操作时
间和操作时间节点,继续进行操作,当达到更新后的操作时间节点后,再次进行有效性测评
直至通过;
因子上的评分。
算法,将所述语音数据或所述文本信息转化为语音或文本的情绪成分分析,并标注日期。
并利用面部情绪识别算法将所述用户面部图像转化为数值。
表明为四个人机交互方案之一。
通过,若通过则执行下一步骤或返回首个步骤;未通过则更新当前人机交互方案的操作时
间和操作时间节点,继续进行操作,当达到更新后的操作时间节点后,再次进行有效性测评
直至通过;
和焦虑、抑郁、恐惧等负面情绪,缓解负面情绪给人身体和精神上带来的压迫和损伤。本发
明具有容易操作、易于接受、时长短、人机交互内容丰富多样等特点。
附图说明
具体实施方式
调节需求包括生理不适、紧张、疼痛、失眠、无力等症状,其对应的人机交互方案为生理舒缓
放松方案(B);缓解焦虑思绪这一情绪调节需求包括焦虑、心理压力等症状,其对应的人机
交互方案为正念觉知培养方案(M);走出低落抑郁这一情绪调节需求包括抑郁、情绪低落等
症状,其对应的人机交互方案为想象放松冥想方案(I);建立存在联结这一情绪调节需求包
括人际关系较差、孤独感强、自信心较差、社会适应能力较弱等症状,其对应的人机交互方
案为积极爱意灌注方案(P)。
户情绪调节需求进行评分,评分的数值范围为1~100分,该人机交互设备会记录这四类用
户情绪调节需求的评分数值,分别表示为R‑b1,R‑m1,R‑i1,R‑p1。
交互方案的操作顺序,该操作顺序为四类用户情绪调节需求对应的人机交互方案的排序组
合。用户情绪调节需求排序越靠前,对应的人机交互方案的操作顺序就越靠前。
个人机交互方案的顺序便是想象放松冥想方案(I)、正念觉知培养方案(M)、生理舒缓放松
方案(B)和积极爱意灌注方案(P)。
为默认值。该人机交互设备将获取的已被确诊病症或默认值记为D1。通过获取用户选择的
已被确诊病症,能够加强相应人机交互方案在计算操作时间时的权重,即已被确诊病症能
够获得在相应人机交互方案中更长的操作时间。
Ti1,Tp1,交互后心理量表Tb2,Tm2,Ti2,Tp2,一共8份心理量表。其中,交互前心理量表和交
互后心理量表所测量的项目相近,每个心理量表都对应数个因子,每个因子表现了心理量
表中用户在这个方面的得分。因子通常包括强迫症状程度,躯体化症状程度这样的细分维
度。
各项因子对应的选项式测试题目的答复结果,根据用户的答复结果进行相应评分,以呈现
各项因子反映的用户心理状态。交互后心理量表用于用户完成当前人机交互方案后进行的
有效性测评。
情绪调节需求对应的交互前心理量表Tm1和交互后心理量表Tm2为积极情绪消极情绪量表
(PANAS)和汉密尔顿焦虑量表;走出低落抑郁这一情绪调节需求对应的交互前心理量表Ti1
和交互后心理量表Ti2为乐观倾向测试量表和汉密尔顿抑郁量表;建立存在联结这一情绪
调节需求对应的交互前心理量表Tp1和交互后心理量表Tp2为人际关系量表和社会适应能
力测试量表。
其中,强迫症状因子得分与常模数据(正常人在强迫症状因子上的得分)差距最大,表明
SCL‑90自评量表所涵盖的范围内,用户的强迫症状最为严重和突出。
分别记为D2‑Tb1,D2‑Tm1,D2‑Ti1,D2‑Tp1。其中,交互前心理量表转化的百分比数值D2=用
户在交互前心理量表中各项因子上的得分/常模数据*100%。
户在此因子上的评分。
其转化为数值,作为用户的即时情绪数据D3。
地说,由评估结果D1、交互前心理量表转化的百分比数值D2和用户的即时情绪数据D3构成
用户特征,采用基于神经网络模型的点击率(CTR)预测,应用特征交互的通用注意力机制,
使用卷积神经网络(CNN)和图卷积神经网络(GCN)来进行特征交互,将所有的用户特征(D1、
D2、D3)拼接为二维矩阵,并使用卷积和池化操作提取其任意阶的特征交互,从而得出该用
户对于各个情绪调节需求对应的人机交互方案的点击概率,生成各个情绪调节需求对应的
人机交互方案的操作时间t1,t2,t3,t4。
客观反馈数据。
的操作时间节点,分别表示为N1,N2,N3,N4,其中N1=t1;N2=t1+t2;N3=t1+t2+t3;N4
=t1+t2+t3+t4。
备(如摄像头)采集用户的面部图像;可以采用心率采集设备采集用户的心率;可以连接运
动手环,采集用户的相关运动数据。同样,将所采集的用户面部图像由外接面部情绪识别算
法将其转化为数值,作为用户的即时情绪数据。
已交互天数在0~N1之间时,随机呈现本轮情绪调节的各个人机交互方案的操作顺序中,第
一个人机交互方案的子方案。当已交互天数在N1~N2之间时,随机呈现本轮情绪调节的各
个人机交互方案的操作顺序中,第二个人机交互方案的子方案。当已交互天数在N2~N3之
间时,随机呈现本轮情绪调节的各个人机交互方案的操作顺序中,第三个人机交互方案的
子方案。当已交互天数在N3~N4之间时,随机呈现本轮情绪调节的各个人机交互方案的操
作顺序中,第四个人机交互方案的子方案。
音子方案M1、外观环境子方案M2、内观呼吸子方案M3、内观身体子方案M4、内观步态子方案
M5、内观情绪子方案M6、内观困难子方案M7、内观思维子方案M8和解离想法子方案M9;想象
放松冥想方案(I)的子方案为场景想象式放松子方案I1、想象联结世界子方案I2、心灵花园
播种子方案I3、身体疼痛舒缓子方案I4和情绪舒缓放松子方案I5;积极爱意灌注方案(P)的
子方案为自身资源挖掘子方案P1、友善微笑子方案P2、关爱自我的冥想子方案P3、他人感恩
子方案P4、关爱他人的冥想子方案P5,共21项子方案。
频依次舒缓身体部位,调节身心。
维持当前步骤或切换下一步骤。
建议用户选择环境类图片,上传所选图片并呈现。图片呈现的同时,调用预设好的放松音频
和音乐播放,引导用户想象置身于自然美景,感到人与自然的融合与放松。
求打开设备相册,上传所选图片并建议用户选择人物图片呈现。图片呈现的同时,调用预设
好的放松音频和音乐播放,音频和图片协同作用,引导用户想象周围亲近的人,激发用户心
中的爱意和温柔,并将这种积极的爱意迁移到生活之中,改善用户的社交体验和人际关系。
本情绪识别算法,将采集的语音数据或文本信息转化为语音或文本的情绪成分分析,并标
注日期。用户语音数据或文本信息均为用户主观感受的表现,因此将语音数据或文本信息
转化的情绪成分分析作为用户主观上对当日交互效果的反馈。
由系统客观分析评测,因此所生成的图表能够作为系统对当日用户交互前后变化的客观反
馈。其中,交互后用户的生理数据与交互前内容相同,仅采集数据不同。在此不再赘述。
能够观察到自己交互以来的变化和交互的效果。
测评是否通过,若通过则执行步骤S5或返回步骤S1;未通过则更新当前人机交互方案的操
作时间和操作时间节点,继续交互,当达到更新后的操作时间节点后,再次进行有效性测评
直至通过。
式测试题目的答复结果,根据用户的答复结果进行相应评分,作为交互后的测评结果。将交
互后心理量表中各项因子上的评分G,对照常模数据E。G≥E时,有效性测评达到通过标准;G
时间ti'=E/G*ti,以及当前人机交互方案新的操作时间节点Ni'。当已交互天数达到当前
人机交互方案新的操作时间节点Ni'后,再次调出交互后心理量表进行有效性测评直至通
过。
就会增加该人机交互方案的操作时长,加强用户在这个方面的人机交互。这样的设置具有
针对性和自适应性,用户也能够根据自己的情况调整交互方式和交互强度。
行余下人机交互方案。并且,当用户完成某一人机交互方案的操作之后,该人机交互方案的
权限就会对用户完全打开,用户可以随意回顾和使用已经历过的人机交互方案。
数,实时更新呈现剩余交互天数,直到本轮人机交互结束。
点击率预测模型,输入已人机交互方案中获取的离散特征数据,采用因子分解机(FM)计算
特征间的交叉,对以上所有特征变量(包括用户主观感受和交互前后变化的客观反馈数据)
交互进行建模,形成新的点击率预测,从而得到还未进行交互的各个人机交互方案的操作
时间,并根据已交互天数,更新呈现剩余交互天数,当剩余交互天数为0时,结束本轮情绪调
节。用户可以根据自己的需求,返回至步骤S1,开始新一轮的情绪调节,重新选择目标,使得
每一轮交互的交互内容能始终满足用户最紧迫的情绪调节需求。
解的人群,如行动不便者,疲惫不堪者。因此,本发明不仅有利于老人、孕产妇等特定人群的
情绪调节和舒缓,也能够在日常生活中发挥重要作用。用户在人机交互过程中,能够躺或坐
着,不仅能够帮助疲惫、困顿、焦躁等状态下的人们快速进入舒适的放松状态,还能够给饱
受负面情绪之苦的人们带来舒缓,唤起人们对生活的善意和喜悦,引导用户接纳自己,欣赏
世界,以更加积极乐观的态度面对生活。并且,本发明方法可以单独使用,也可以与药物、医
疗器械、其他疗法、其他认知交互协同使用,以引导用户改善情绪状况。
中,存储器22可以是静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可
擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、
快闪存储器等;处理器21可以是中央处理器(CPU)、图形处理器(GPU)、现场可编程逻辑门阵
列(FPGA)、专用集成电路(ASIC)、数字信号处理(DSP)芯片等。存储在存储器22的程序可以
包括软件模块(图示没标出),每个软件模块可以包括对人机交互设备中的一系列指令操
作。进一步地,处理器21可以设置为与存储器22通信,在人机交互设备上执行存储器22中的
一系列指令操作。另外,上述人机交互设备还可以包括电源、有线或无线网络接口、输入输
出接口、键盘和/或操作系统,例如Windows Server,Mac OS X,Unix, Linux,Free BSD等。
输入输出接口可以分别连接语音采集设备(如拾音器)、图像采集设备(如摄像头)、心率采
集设备和/或运动手环等。这些组件均可以采用现有智能终端中的通用部件实现,在此就不
具体说明了。
通过,若通过则执行下一步骤或返回首个步骤;未通过则更新当前人机交互方案的操作时
间和操作时间节点,继续进行操作,当达到更新后的操作时间节点后,再次进行有效性测评
直至通过;
新呈现剩余交互天数,直到本轮人机交互结束。
处不再赘述其具体实现方式。
式。
户情绪体验,消解身体疲惫,放松压力和焦虑、抑郁、恐惧等负面情绪,缓解负面情绪给人身
体和精神上带来的压迫和损伤。本发明具有容易操作、易于接受、时长短、人机交互内容丰
富多样等特点。
见的改动,都将属于本发明专利权的保护范围。