一种基于软提示主题建模的抑郁情绪检测方法及系统

摘要

本发明公开了一种基于软提示主题建模的抑郁情绪检测方法及系统，属于情绪检测技术领域，包括：第一步，将每个样本的对话转录文本按照预定义的k个主题分割成若干个小片段。第二步，首先修改BERT模型的Embedding层，当文本片段转换为的Token输入BERT时，在其前部添加上固定长度的软提示Token。连接后的Token经过BERT的输出软提示和文本片段的连续概率，该向量作为最后一步的输入。最后一步是对样本中的所有主题文本的预测结果的融合。在有少量可用训练样本的场景下，通过少量数据训练软提示以及线性层学习自适应权重。

权利要求

1.一种基于软提示主题建模的抑郁情绪检测方法，其特征在于，包括以下步骤：采集和预处理访谈文本，将所述访谈文本分割成多个主题文本；

构建改进的BERT模型，将所述主题文本输入至所述BERT模型，为所述主题文本添加软提示，并输出所述软提示与所述主题文本的连续概率；

对所述软提示与所述主题文本的连续概率进行融合，获得所述访谈文本的情绪检测结果；

所述改进的BERT模型包括分词器、改进的Embedding层、BERT剩余层；

为所述主题文本添加软提示，具体步骤为：

针对每个主题文本，将每个主题文本与一段固定长度的空字符串连接，将所述主题文本与所述空字符串共同输入至分词器中，获得所述主题文本对应的Token，所述主题文本对应的Token表示如下：其中，Tokennone为空字符对应的Token， 为主题文本ti对应的Token，[SEP]为改进的BERT模型输入数据中用于连接两个句子的特殊符号，[CLS]和[EOS]分别是添加在输入内容前端和末尾的特殊Token；

将所述主题文本对应的Token输入到改进的Embedding层，Tokennone会被改进的Embedding层中的相同长度的软提示替代，完成软提示的添加；

所述输出软提示和主题文本的连续概率，表示为：

其中h[cls]是 通过改进的Embedding层后[CLS]的输出，f(·)是分类函数， 为输入的主题文本 与学习所得的软提示连续的概率。

2.根据权利要求1所述的一种基于软提示主题建模的抑郁情绪检测方法，其特征在于，所述预处理访谈文本，具体包括：将访谈文本按照预定义的k个主题{t1,t2,…,tk}分割成文本片段 得到模型的输入表示如下：其中， 代表主题tk对应的全部文本。

3.根据权利要求1所述的一种基于软提示主题建模的抑郁情绪检测方法，其特征在于，所述对输出软提示和主题文本的连续概率进行融合，获得所述访谈文本的情绪检测结果，具体采用线性层学习自适应权重方法，并通过加权融合获取最终预测结果。

4.根据权利要求1所述的一种基于软提示主题建模的抑郁情绪检测方法，其特征在于，使用神经网络来学习线性融合函数Linear(·)，给主题分配不同的权重，最终预测可表示为：其中，Linear(·)代表输出纬度为1的线性层；预测结果为1代表抑郁情绪，0则代表非抑郁情绪。

5.根据权利要求1所述的一种基于软提示主题建模的抑郁情绪检测方法，其特征在于，选用二元交叉熵作为损失函数：其中 和 是第j个训练样本的真实标签和预测结果，N是训练样本总量。

6.一种用于实现权利要求1‑5所述的任意一种基于软提示主题建模的抑郁情绪检测方法的检测系统，其特征在于，包括：文本获取模块、预处理模块、软提示预测模块、融合模块；

所述文本获取模块用于获取访谈文本，并将访谈文本发送至预处理模块；

所述预处理模块用于将所述访谈文本分割成多个主题文本；

所述软提示预测模块用于将所述主题文本输入至所述BERT模型，为所述主题文本添加软提示，并输出所述软提示与所述主题文本的连续概率；所述融合模块用于将所述BERT模型输出的所述软提示与所述主题文本的连续概率进行融合，获得所述访谈文本的情绪检测结果。

说明书

一种基于软提示主题建模的抑郁情绪检测方法及系统

技术领域

[0001] 本发明涉及情绪检测技术领域，更具体的说是涉及一种基于软提示主题建模的抑郁情绪检测方法及系统。

背景技术

[0002] 抑郁症(Depression)是一种常见的心理障碍，表现为持续的情绪低落、失去兴趣和愉悦感，且常常伴随着一系列的生理和认知方面的症状，例如睡眠问题、食欲改变、注意力不集中、疲劳、自卑、消极思维、无助感等等。据世界卫生组织的统计数据，全球有超过3.4亿人患有抑郁症或其他情感障碍，而这个数字仍在持续增长。其发病过程较为漫长，对应于病情的严重程度可以分为轻度抑郁、中度抑郁和重度抑郁。轻度抑郁阶段的患者病情表现较轻，可能只是情绪低落、失眠、注意力不集中等问题，并不会影响其正常生活。正因为如此，也导致了抑郁症在早期难以被发觉，从而错过了最佳的治疗时期。此外，部分患者能够在早期意识到自己存在抑郁问题，却因为对患病感到羞愧而不愿接受治疗。随着病情的发展，患者会容易变得更为消极，开始自我否定。错过了早期阶段的最佳干预时期，此时再介入治疗已经十分困难。

[0003] 一直以来，抑郁症检测主要通过专业的心理学家或心理医生基于国际疾病分类标准(international classification ofdiseases,ICD)和精神疾病诊断统计手册(diagnostic and statistical manual ofmental disorders,DSM)的临床访谈进行分析。但诊断结果都是基于医生的主观判断，医生的经验与专业性对于结果的准确性影响很大。
因此，研究人员尝试利用机器学习以及深度学习的方法来构建抑郁症辅助诊断的模型，通过技术手段帮助医生客观准确地判断患者的抑郁状态，从而尽可能实现对早期阶段的抑郁症进行发现与干预。这样可以在一定程度上减轻抑郁症症状在患者未察觉的情况下加剧，从而变得难以治疗的情况，是一件十分具有现实意义的事情。

[0004] 由于抑郁症检测任务本质上可以被视为一个情绪识别、分类问题，研究人员一直致力于开发基于机器学习及深度学习方法的分类模型。但是为了使模型获得令人满意的分类精度，往往需要准备大量的训练数据来使其学习数据中的规律。然而，与许多其他医学应用一样，抑郁症检测也面临数据稀缺问题。一方面，患者出于对隐私问题的担忧，往往不愿意将自己在诊断、治疗过程中的相关数据公之于众。另一方面，由于抑郁症的诊断方式并没有绝对统一的标准，并且抑郁症的症状受到多方面的影响(文化、生活环境、经济条件等等)，通过不同的机构、医院所采集到的数据通常在形式上无法统一，因此数据往往无法通用。同时，专业的心理学家对所收集到的数据进行人工注释是一项劳动密集型的工作，抑郁症数据的采集、标注过程，都需要花费大量的人力物力以及时间，这些原因综合在一起便导致了抑郁症相关数据集存在数量少，且单个数据集体量小的问题。因此在真实的抑郁症检测场景中，只有很少甚至没有数据可以被用于训练模型的情况是不可避免的。

[0005] 因此，如何构建更加有效、鲁棒和泛化能力较强的模型来实现低资源场景下的抑郁情绪检测是本领域技术人员亟需解决的问题。

发明内容

[0006] 有鉴于此，本发明提供了一种基于软提示主题建模的抑郁情绪检测方法及系统，以应对低资源场景下的抑郁情绪检测精度低的问题。

[0007] 为了实现上述目的，本发明提供如下技术方案：

[0008] 一种基于软提示主题建模的抑郁情绪检测方法，包括以下步骤：

[0009] 采集和预处理访谈文本，将所述访谈文本分割成多个主题文本；

[0010] 构建改进的BERT模型，将所述主题文本输入至所述BERT模型，为所述主题文本添加软提示，并输出所述软提示与所述主题文本的连续概率；

[0011] 对所述软提示与所述主题文本的连续概率进行融合，获得所述访谈文本的情绪检测结果。

[0012] 优选的，所述预处理访谈文本，具体包括：将访谈文本按照预定义的k个主题{t1，t2，...，tk}分割成文本片段 得到模型的输入表示如下：

[0013]

[0014] 其中， 代表主题tk对应的全部文本。

[0015] 优选的，所述改进的BERT模型包括分词器、改进的Embedding层、BERT剩余层。

[0016] 优选的，为所述主题文本添加软提示，具体步骤为：

[0017] 针对每个主题文本，将每个主题文本与一段固定长度的空字符串连接，将所述主题文本与所述空字符串共同输入至分词器中，获得所述主题文本对应的Token，所述主题文本对应的Token表示如下

[0018]

[0019] 其中，Tokennone为空字符对应的Token， 为主题文本ti对应的Token，[SEP]为改进的BERT模型输入数据中用于连接两个句子的特殊符号，[CLS]和[EOS]分别是添加在输入内容前端和末尾的特殊Token；

[0020] 将所述主题文本对应的Token输入到改进的Embedding层，Tokennone会被改进的Embedding层中的相同长度的软提示替代，完成软提示的添加。

[0021] 优选的，所述输出软提示和主题文本的连续概率，表示为：

[0022]

[0023]

[0024] 其中h[cls]是 通过改进的Embedding层后[CLS]的输出，f(·)是分类函数，为输入的主题文本 与学习所得的软提示连续的概率。

[0025] 优选的，所述对输出软提示和主题文本的连续概率进行融合，获得所述访谈文本的情绪检测结果，具体采用线性层学习自适应权重方法，并通过加权融合获取最终预测结果。

[0026] 优选的，使用神经网络来学习线性融合函数Linear(·)，给主题分配不同的权重，最终预测可表示为：

[0027]

[0028] 其中，Linear(·)代表输出纬度为1的线性层；预测结果为1代表抑郁情绪，0则代表非抑郁情绪。

[0029] 优选的，选用二元交叉熵作为损失函数：

[0030]

[0031] 其中 和 是第j个训练样本的真实标签和预测结果，N是训练样本总量。

[0032] 另一方面，本发明还提供了一种用于实现上述任意一种基于软提示主题建模的抑郁情绪检测方法的检测系统，包括：文本获取模块、预处理模块、软提示预测模块、融合模块；

[0033] 所述文本获取模块用于获取访谈文本，并将访谈文本发送至预处理模块；

[0034] 所述预处理模块用于将所述访谈文本分割成多个主题文本；

[0035] 所述软提示预测模块用于将所述主题文本输入至所述BERT模型，为所述主题文本添加软提示，并输出所述软提示与所述主题文本的连续概率；

[0036] 所述融合模块用于将所述BERT模型输出的所述软提示与所述主题文本的连续概率进行融合，获得所述访谈文本的情绪检测结果。

[0037] 经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于软提示主题建模的抑郁情绪检测方法及系统，首先对访谈文本数据按照主题进行分段，将每个样本处理为固定数量的小段。再将其输入至重定制Embedding层的BERT网络中，为文本添加软提示，通过BERT预测出每个主题片段的情感倾向后通过简单的线性层加以融合得到最终的预测结果。一方面，该方法将可通过训练样本自动学习的软提示嵌入至BERT中，可以实现端到端抑郁症检测。另一方面，通过使用可学习的连续的软提示为BERT提供先验信息，利用数据探索合适的提示特征表达，避免了手动设计所导致的模板不匹配问题，降低了人工成本，提升了算法的自动性。此外，本发明利用大型数据集对软提示进行初始化，相比于随机初始化性能更为稳定。

附图说明

[0038] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

[0039] 图1为本发明的检测方法的整体流程图，其中(a)为主题分割示意图，(b)为软提示预测示意图，(c)为决策融合示意图。

[0040] 图2为本发明中添加软提示的示意图。

[0041] 图3为本发明中基于软提示的预测细节示意图。

[0042] 图4为本发明的检测系统的结构示意图。

具体实施方式

[0043] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0044] 本发明实施例公开了一种基于软提示主题建模的抑郁情绪检测方法，如图1所示，包括以下步骤：

[0045] 采集和预处理访谈文本，将访谈文本分割成多个主题文本。原始数据共有81个主题(机器人的提问)，在本实施例中只选用了K个进行实验。机器人的提问是固定的，中机器人提问的问题以及测试者后续回答视为一个主题的内容。

[0046] 构建改进的BERT模型，将主题文本输入至BERT模型，为主题文本添加软提示，并输出软提示与主题文本的连续概率；

[0047] 对软提示与主题文本的连续概率进行融合，获得访谈文本的情绪检测结果。

[0048] 优选的，预处理访谈文本，具体包括：将访谈文本按照预定义的k个主题{t1，t2，...，tk}分割成文本片段 得到模型的输入表示如下：

[0049]

[0050] 其中， 代表主题tk对应的全部文本。后续的预测过程均是基于以上主题片段进行的。

[0051] 优选的，改进的BERT模型包括分词器、改进的Embedding层、BERT剩余层。

[0052] 优选的，为主题文本添加软提示，具体步骤为：

[0053] 该过程中，本方法将文本抑郁情绪检测重新定义为NSP(Next  Sentence Prediction)任务，如图1中(b)所示。在该实施例中，通过修改BERT模型的Embedding层，在文本的头部添加上软提示。

[0054] 为输入文本添加软提示的细节如图2所示。针对每个主题文本，将每个主题文本与一段固定长度的空字符串连接，共同输入至BERT的Tokenizer中，获得主题文本对应的Token(最小语义单元)，作为BERT的输入，表示如下：

[0055]

[0056] 其中，Tokennane为空字符对应的Token， 为主题文本ti对应的Token，[SEP]为改进的BERT模型输入数据中，用于连接两个句子的特殊符号，[CLS]和[EOS]分别是添加在输入内容前端和末尾的特殊Token；

[0057] 将主题文本对应的Token输入到改进的Embedding层，Tokennone会改进的Embedding层中的相同长度的软提示替代，完成软提示的添加。

[0058] 需说明，此处用于替换Tokennone的软提示是提前在大型数据集上预训练过的，在后续的训练过程中，软提示的参数会随之更新，而修改过的BERT中仅有该部分参数参与学习，其他参数均冻结(预训练过程同样如此)。

[0059] 优选的，替换好软提示的输入经过BERT的后续层获得输出 该过程如图3所示，经过BERT的输出软提示和主题文本的连续概率，表示为：

[0060]

[0061]

[0062] 其中h[ds]是 通过重新定制Embedding层后[CLS]的输出，f(·)是分类函数， 为输入的主题文本 与学习所得的软提示连续的概率。本步骤中的输出可将其视为整体模型的一个隐藏层输出 其中包含了各主题文本与软提示之间的关联性。

[0063] 优选的，基于上一环节中得到的针对各个主题的中间结果，在最后一步中通过一个简单的融合过程获得最终预测。由于不同的主题应享有不同的权重，故利用简单的线性层学习自适应权重，通过加权融合来获得最终预测结果。

[0064] 优选的，使用神经网络来学习线性融合函数Linear(·)，给主题分配不同的权重，考虑到训练数据量有限以及输入线性层的特征纬度低，采用两层全连接网络作为融合模块。最终预测可表示为：

[0065]

[0066] 其中，Linear(·)代表输出纬度为1的线性层。预测结果为1代表抑郁情绪，0则代表非抑郁情绪。

[0067] 优选的，选用二元交叉熵作为损失函数：

[0068]

[0069] 其中 和 是第j个训练样本的真实标签和预测结果，N是训练样本总量。

[0070] 一种用于实现上述任意一种基于软提示主题建模的抑郁情绪检测方法的检测系统，如图4所示，包括：文本获取模块、预处理模块、软提示预测模块、融合模块；

[0071] 文本获取模块用于获取访谈文本，并将访谈文本发送至预处理模块；

[0072] 预处理模块用于将访谈文本分割成多个主题文本；

[0073] 软提示预测模块用于将主题文本输入至BERT模型，为主题文本添加软提示，并输出软提示与主题文本的连续概率；

[0074] 融合模块用于将BERT模型输出的软提示与主题文本的连续概率进行融合，获得访谈文本的情绪检测结果。

[0075] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

[0076] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。