一种基于政务工单的突发事件检测方法

摘要

本申请提供了一种基于政务工单的突发事件检测方法，涉及人工智能算法技术领域。该方法包括：获取训练样本，训练样本包括正样本和负样本，其中，正样本为带有突发事件的文本数据，负样本为带有非突发事件的文本数据；以正样本和负样本为输入，以所有突发事件的概率值为输出，对突发事件模型进行训练，获得训练好的突发事件模型。以此方式，可以提高对政务工单中突发事件识别的准确率。

权利要求

1.一种突发事件模型的训练方法，其特征在于，包括：

获取训练样本，所述训练样本包括正样本和负样本，其中，所述正样 本为带有已打好标签的突发事件的文本数据，所述负样本为带有非突发事 件的文本数据；

以所述正样本和负样本为输入，以所有突发事件的概率值为输出，对 突发事件模型进行训练，获得训练好的所述突发事件模型；

还包括：

将训练好的所述突发事件模型通过损失函数进行优化，获得优化后的 所述突发事件模型；

所述将训练好的所述突发事件模型通过损失函数进行优化包括：将训练好的突发事件模型基于预训练Bert模型构建多标签场景损失函 数，来进行finetuning训练；

其中，所述损失函数能够针对多标签的样本数据进行建模；采用如下 损失函数，作为优化目标：其中，所述N为负样本集合，所述P为正样本集合，所述S i为正样本 得分，所述S j为负样本得分；

在所述获取训练样本之后，还包括：

先利用Bert预处理模型中的分词器BasicTokenizer对所述训练样本进 行分词，得到一个token列表，对每个token进行一次WordpieceTokenizer 处理，得到最终的分词结果；

然后对分词后的每个词的开头连接[CLS]标记； 再将分词后的每个词用基于所述Bert预训练模型的特征向量表示，对每个 句子进行embedding向量化表示，对每个词的相对位置编码向量表示，再将 三种特征向量相加，得到能够输入所述突发事件模型的特征向量。

2.根据权利要求1所述的训练方法，其特征在于，还包括：获取验证集，利用验证集对优化后的所述突发事件模型进行验证。

3.一种突发事件模型的训练装置，其特征在于，包括：

获取模块，用于获取训练样本，所述训练样本包括正样本和负样本， 其中，所述正样本为带有已打好标签的突发事件的文本数据，所述负样本 为带有非突发事件的文本数据；

训练模块，用于以所述正样本和负样本为输入，以所有突发事件的概 率值为输出，对突发事件模型进行训练，获得训练好的所述突发事件模型；

还包括：

优化模块，用于将训练好的所述突发事件模型通过损失函数进行优化， 获得优化后的所述突发事件模型；

所述优化模块，具体用于将训练好的突发事件模型基于预训练Bert模 型构建多标签场景损失函数，来进行finetuning训练；其中，所述损失函数 能够针对多标签的样本数据进行建模；采用如下损失函数，作为优化目标：其中，所述N为负样本集合，所述P为正样本集合，所述S i为正样本 得分，所述S j为负样本得分；

预处理模块，用于先利用Bert预处理模型中的分词器BasicTokenizer 对所述训练样本进行分词，得到一个token列表，对每个token进行一次 WordpieceTokenizer处理，得到最终的分词结果；然后对分词后的每个词的 开头连接[CLS]标记；再将分词后的每个词用基于所述Bert预训练模型的特 征向量表示，对每个句子进行embedding向量化表示，对每个词的相对位置 编码向量表示，再将三种特征向量相加，得到能够输入所述突发事件模型 的特征向量。

4.根据权利要求3所述的训练装置，其特征在于，还包括：验证模块，用于获取验证集，利用验证集对优化后的所述突发事件模 型进行验证。

5.一种基于政务工单的突发事件检测方法，其特征在于，包括：获取政务工单；

将所述政务工单输入至如权利要求1或者2所述的训练好的突发事件 模型，获得所述政务工单中的突发事件。

6.根据权利要求5所述的突发事件检测方法，其特征在于，所述获得 所述政务工单中的突发事件包括：利用所述突发事件模型计算出所有突发事件的概率值，取所述概率值 最大的突发事件作为最终要获得的突发事件。

7.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机 程序，其特征在于，所述处理器执行所述程序时实现如权利要求1、2、5 或者6所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于， 所述程序被处理器执行时实现如权利要求1、2、5或者6所述的方法。

说明书

一种基于政务工单的突发事件检测方法

技术领域

[0001] 本申请涉及人工智能算法技术领域，尤其是涉及一种基于政务工单的突 发事件检测方法。

背景技术

[0002] 随着政府不同数据服务的数据汇聚，发生的事件种类越来越多，而事件 和事件的定义范围存在近义、互斥等现象。因此，需要一种技术来准确提取 政务工单中的突发事件，帮助业务人员立刻协调相应单位对突发事件进行处 置。

[0003] 目前，现有的提取方法，更多的是人为定义特定关键词并进行简单的文 本匹配，但使用此种方法，规则和关键词都需要人工定义，缺乏泛化能力， 迁移能力弱，且无法基于文本的语义环境做分析，从而不能准确高效地是识 别出政务工单中的突发事件。

发明内容

[0004] 为了提高对政务工单中突发事件识别的准确率，本申请提供了一种基于 政务工单的突发事件检测方法。

[0005] 在本申请的第一方面，提供了一种突发事件模型的训练方法，包括：

[0006] 获取训练样本，所述训练样本包括正样本和负样本，其中，所述正样本 为带有突发事件的文本数据，所述负样本为带有非突发事件的文本数据；

[0007] 以所述正样本和负样本为输入，以所有突发事件的概率值为输出，对突 发事件模型进行训练，获得训练好的所述突发事件模型。

[0008] 可选的，该方法还包括：将训练好的所述突发事件模型通过损失函数进 行优化，获得优化后的所述突发事件模型。

[0009] 可选的，该方法还包括：获取验证集，利用验证集对优化后的所述突发 事件模型进行验证。

[0010] 在本申请的第二方面，提供了一种突发事件模型的训练装置，包括：

[0011] 获取模块，用于获取训练样本，所述训练样本包括正样本和负样本，其 中，所述正样本为带有突发事件的文本数据，所述负样本为带有非突发事件 的文本数据；

[0012] 训练模块，用于以所述正样本和负样本为输入，以所有突发事件的概率 值为输出，对突发事件模型进行训练，获得训练好的所述突发事件模型。

[0013] 可选的，该装置还包括：优化模块，用于将训练好的所述突发事件模型 通过损失函数进行优化，获得优化后的所述突发事件模型。

[0014] 可选的，该装置还包括：验证模块，用于获取验证集，利用验证集对优 化后的所述突发事件模型进行验证。

[0015] 在本申请的第三方面，提供了一种基于政务工单的突发事件检测方法， 包括：

[0016] 获取政务工单；

[0017] 将所述政务工单输入至训练好的突发事件模型，获得所述政务工单中的 突发事件。

[0018] 可选的，所述获得所述政务工单中的突发事件包括：

[0019] 利用所述突发事件模型计算出所有突发事件的概率值，取所述概率值最 大的突发事件作为最终要获得的突发事件。

[0020] 在本申请的第四方面，提供了一种电子设备，包括存储器和处理器，所 述存储器上存储有计算机程序，所述处理器执行所述程序时实现如第一方面 中任一项所述的方法或第三方面中任一项所述的方法。

[0021] 在本申请的第五方面，提供了一种计算机可读存储介质，其上存储有计 算机程序，所述程序被处理器执行时实现如第一方面中任一项所述的方法或 第三方面中任一项所述的方法。

[0022] 通过采用上述技术方案，将获取的训练样本输入至突发事件模型中，来 对突发事件模型进行训练，并通过损失函数对突发事件模型进行优化，获得 最优的突发事件模型，提高模型输出数据的准确度，再将政务工单数据输入 训练好的突发事件模型中，通过突发事件模型推理获得政务工单中的突发事 件，从而提高了识别政务工单中突发事件的准确率。

[0023] 应当理解，发明内容部分中所描述的内容并非旨在限定本申请的实施例的 关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下 的描述变得容易理解。

附图说明

[0024] 结合附图并参考以下详细说明，本申请各实施例的上述和其他特征、优 点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相 似的元素，其中：

[0025] 图1是本申请实施例中突发事件模型的训练方法的流程图；

[0026] 图2是本申请实施例中突发事件模型的训练装置的方框图；

[0027] 图3是本申请实施例中基于政务工单的突发事件检测方法的流程图；

[0028] 图4是本申请实施例中电子设备的方框图。

具体实施方式

[0029] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申 请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

[0030] 图1示出了本申请实施例中突发事件模型的训练方法的流程图。参见图 1，该方法包括以下步骤：

[0031] 步骤S110：获取训练样本。

[0032] 其中，训练样本包括正样本和负样本。正样本为带有突发事件的文本数 据；负样本为带有非突发事件的文本数据。需要说明的是，突发事件是指突 然发生地、危害民众安全的事件，比如，爆破、放火、爆炸等，均属于突发 事件。此外，在训练样本的正样本中，已经对突发事件打好标签。

[0033] 获得训练样本后，对训练样本进行预处理，将训练样本转换成能够输入 模型的特征向量。下面对训练样本预处理进行具体介绍。

[0034] 首先，对上述打好标签的有监督学习文本数据进行分词处理，再对每条 文本数据开头连接[CLS]标记。具体地，利用Bert预处理模型来对文本数据进 行分词处理，Bert预处理模型中主要有两个分词器：BasicTokenizer和 WordpieceTokenizer，先利用BasicTokenizer对文本数据进行粗略的分词，得 到一个token列表，然后再对每个token进行一次WordpieceTokenizer处理， 得到最终的分词结果。

[0035] 对文本数据进行分词处理后，再对文本数据进行embedding向量化表示。 即将分词后的每个词用基于Bert预训练模型的特征向量表示，对每个句子进 行embedding向量化表示，对每个词的相对位置编码向量表示，再将三种特征 向量相加。需要说明的是，本申请实施例中使用的Bert预训练模型的L＝12, H＝768,A＝12。

[0036] 在一些实施例中，对标签数据编码化处理，样本标签类型数根据训练数 据的样本范围自动化采集构建。

[0037] 步骤S120：以正样本和负样本为输入，以所有突发事件的概率值为输出， 对突发事件模型进行训练，获得训练好的突发事件模型。

[0038] 在一些实施方式中，该突发事件模型的训练方法还包括以下步骤：

[0039] 步骤S130：将训练好的突发事件模型通过损失函数进行优化，获得优化 后的突发事件模型。

[0040] 具体地，将训练好的突发事件模型基于预训练Bert模型构建多标签场景 损失函数，来进行finetuning训练。由于Bert模型训练主要采取双向transformer 中的encoder模块作为向量特征提取表示，Bert模型主要的机制是自注意力机 制，其能够自动化的挖掘文本中当前词和上下文中其他词的语义关系，并且 忽略距离上的远近，来获取词的语义向量表示。而获取的词的语义向量表示 能够充分考虑到语义关联，从而提高了识别政务工单中突发事件的准确率。

[0041] 本申请实施例使用的transformer设置为12层，在模型构建时，取最后一 层的[CLS]标记字符向量表示作为下一层的输入向量。

[0042] 在一些实施方式中，采用如下损失函数，作为优化目标：

[0043]

[0044] 其中，N为负样本集合，P为正样本集合，S i为正样本得分，S j为负样本 得分。

[0045] 值得一提的是，该损失函数能够针对多标签的样本数据进行建模。

[0046] 在一些实施方式中，在训练突发事件模型时，进行如下设置：

[0047] epoch＝40；

[0048] 批次大小batch_size＝16；

[0049] 最大文本截取长度maxlen＝410；

[0050] 学习率lr＝le‑5；

[0051] 多标签的阈值为0。

[0052] 需要说明的是，一个epoch指代所有的数据送入网络中完成一次前向计算 及反向传播的过程。批次大小是指一次训练抓取的文本数据的数量。

[0053] 在一些实施方式中，该突发事件模型的训练方法还包括以下步骤：

[0054] 步骤S140：获取验证集，利用验证集对优化后的突发事件模型进行验证。

[0055] 验证集同样包括带有突发事件的文本数据和带有非突发事件的文本数据， 即验证集中的文本数据带有标注。验证集用来验证上述训练好的突发事件模 型的参数是否为最优，若不是最优，则继续对参数进行优化。具体地，在每 次验证过程中，会获得相比于当前突发事件模型的参数更优的参数，将最优 参数替换当前突发事件模型的参数，并不断循环，从而来找到最优的突发事 件模型参数。

[0056] 在一些实施方式中，在不断循环验证的过程中，当突发事件模型的参数 连续预设次数不再更新时，提前终止训练。

[0057] 需要说明的是，预设次数人为设定，比如，设定预设次数为10次，即当 突发事件模型的参数达到连续10epochs不再更新时，提前终止后续的训练， 从而能够节省GPU资源。

[0058] 在一些实施方式中，采用模型评价指标对优化后的突发事件模型进行评 价。需要说明的是，在本实施例中采用的模型评价指标包括准确率和F1指标。 需要说明的是，F1指标是通过计算测试验证集的F1值的平均值获得的，而 F1值为精确率和召回率的调和平均值。

[0059] 图2示出了本申请实施例中突发事件模型的训练装置的方框图。参见图 2，该装置包括：

[0060] 获取模块210，用于获取训练样本，训练样本包括正样本和负样本，其 中，正样本为带有突发事件的文本数据，负样本为带有非突发事件的文本数 据；

[0061] 训练模块220，用于以正样本和负样本为输入，以所有突发事件的概率 值为输出，对突发事件模型进行训练，获得训练好的所述突发事件模型。

[0062] 在一些实施方式中，该装置还包括优化模块230，用于将训练好的突发 事件模型通过损失函数进行优化，获得优化后的突发事件模型。

[0063] 在一些实施方式中，该装置还包括验证模块240，用于获取验证集，利 用验证集对优化后的突发事件模型进行验证。

[0064] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描 述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不 再赘述。

[0065] 图3示出了本申请实施例中基于政务工单的突发事件检测方法的流程图。 参见图3，该突发事件检测方法包括以下步骤：

[0066] 步骤S310：获取政务工单。

[0067] 步骤S320：将政务工单输入至训练好的突发事件模型，获得政务工单中 的突发事件。

[0068] 在一些实施方式中，步骤S320包括：利用突发事件模型计算出所有突发 事件的概率值，取概率值最大的突发事件作为最终要获得的突发事件。

[0069] 需要说明的是，获取多个政务工单作为测试集，该政务工单中未对突发 事件进行标记。

[0070] 具体地，基于训练完成的最优的突发事件模型做推理功能，根据输入的 政务工单中的文本数据，计算该文本数据中所有事件标签的概率值，取概率 值最大的突发事件标签，若该标签不为空，则该事件即为突发事件。

[0071] 本申请实施例中提供了一种电子设备，如图4所示，图4所示的电子设 备400包括：处理器401和存储器403。其中，处理器401和存储器403相连， 如通过总线402相连。可选地，电子设备400还可以包括收发器404。需要说 明的是，实际应用中收发器404不限于一个，该电子设备400的结构并不构成 对本申请实施例的限定。

[0072] 处理器401可以是CPU(Central Processing Unit，中央处理器)，通用处 理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC (Application Specific Integrated Circuit，专用集成电路)，FPGA (Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器 件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本 申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器401也可 以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处 理器的组合等。

[0073] 总线402可包括一通路，在上述组件之间传送信息。总线402可以是PCI (Peripheral Component Interconnect，外设部件互连标准)总线或EISA (Extended Industry Standard Architecture，扩展工业标准结构)总线等。总线 402可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一 条粗线表示，但并不表示仅有一根总线或一种类型的总线。

[0074] 存储器403可以是ROM(Read Only Memory，只读存储器)或可存储静 态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随 机存取存储器)或可存储信息和指令的其他类型的动态存储设备，也可以是 EEPROM(Electrically Erasable Programmable Read Only Memory，电可擦可编程 只读存储器)、CD‑ROM(Compact Disc Read Only Memory，只读光盘)或其 他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝 光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储 具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他 介质，但不限于此。

[0075] 存储器403用于存储执行本申请方案的应用程序代码，并由处理器401 来控制执行。处理器401用于执行存储器403中存储的应用程序代码，以实现 前述方法实施例所示的内容。

[0076] 其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收 器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、 车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算 机等等的固定终端。图4示出的电子设备仅仅是一个示例，不应对本申请实 施例的功能和使用范围带来任何限制。

[0077] 作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可 读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独 存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或 者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于 本申请的突发事件模型的训练方法。

[0078] 以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领 域技术人员应当理解，本申请中所涉及的申请范围，并不限于上述技术特征 的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下， 由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上 述特征与本申请中申请的(但不限于)具有类似功能的技术特征进行互相替换 而形成的技术方案。