领域短语挖掘方法及装置

摘要

本公开提供了一种领域短语挖掘方法及装置，包括：对带有领域标签的样本语句进行N‑gram特征抽取，并选取频数大于预设值的N‑gram特征作为词表；基于词表遍历样本语句，生成词袋特征；将词袋特征和领域标签输入排序模型，排序模型对词袋特征中特征的重要性进行排序，并选取重要性大于阈值的特征作为该领域的重要短语输出；将重要短语通过变音变形进行扩充，生成扩充短语集；使用扩充短语集中的任一短语在样本语句中搜索邻近的领域短语，将邻近的领域短语加入扩充短语集，得到领域短语集。本公开提供的领域短语挖掘方法及装置，能够有效解决现有技术中的领域短语挖掘方法存在的挖掘效率低、挖掘数量少且准确率低的问题。

权利要求

1.一种领域短语挖掘方法，包括：

对带有领域标签的样本语句进行N-gram特征抽取，并选取频数大于预设值的N-gram特征作为词表；

基于词表遍历样本语句，生成包括特征以及特征的词频向量的词袋特征；

将词袋特征和领域标签输入排序模型，该排序模型对词袋特征中特征的重要性进行排序，并选取重要性大于阈值的特征作为该领域的重要短语输出；

将重要短语通过变音变形进行扩充，生成扩充短语集；

使用扩充短语集中的任一短语在样本语句中搜索邻近的领域短语，将邻近的领域短语加入扩充短语集，得到领域短语集；

计算领域短语集中任一短语对在该领域的样本语句中出现的频率，并选取频率超过预设值的短语对，所选取的短语对用于确定新语料是否属于该领域。

2.如权利要求1所述的方法，还包括：

对样本语句进行分词，并基于分词得到新词；

将新词与选取的频数大于预设值的N-gram特征合并，组成词表。

3.如权利要求2所述的方法，其中，基于分词得到新词包括通过无监督方法得到新词。

4.如权利要求1-3中任一项所述的方法，所述N-gram特征的特征长度N为2-4。

5.如权利要求1所述的方法，还包括：

将重要短语与现有的领域短语进行合并得到初始短语集，将初始短语集通过变音变形进行扩充，生成扩充短语集。

6.如权利要求1所述的方法，其中，使用扩充短语集中的任一短语在样本语句中搜索邻近的领域短语，具体包括：对样本语句进行分词和分字，并生成对应的词向量和字向量；

将扩充短语集中的短语向量化，得到任一短语对应的向量；

计算任一短语对应的向量与样本语句生成的分词向量的相似度，选取相似度大于预设值的分词作为与该短语邻近的领域短语。

7.一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至6中任一项所述的方法。

8.一种计算机可读介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如权利要求1至6中任一项所述的方法。

说明书

领域短语挖掘方法及装置

技术领域

[0001] 本公开涉及计算机互联网技术领域，具体涉及一种领域短语挖掘方法、装置、电子设备及计算机可读介质。

背景技术

[0002] 自然语言处理业务中，需要对内容进行领域识别并召回某些领域（例如政治领域）的内容，以保证内容的安全性。由于网络语言的多样性，需要挖掘尽可能多又准确的领域短
语，应用领域短语来对内容进行领域识别，从而提高召回率。

[0003] 现有技术中存在的对领域短语进行挖掘的方法，包括无监督挖掘方法和有监督挖掘方法两类，但是，现有的无监督挖掘方法挖掘出的短语不一定是领域短语，还需要进行进
一步识别，因此存在挖掘效率低的问题；而现有的有监督挖掘方法存在挖掘出的领域短语
数量少以及准确率较低的问题。因此，需要提供一种挖掘效率高、挖掘数量多且准确率高的
领域短语挖掘方法。

发明内容

[0004] 有鉴于此，本公开提供了一种领域短语挖掘方法及装置，能够有效解决现有技术中的领域短语挖掘方法存在的挖掘效率低、挖掘数量少且准确率低的问题。

[0005] 下文中将给出关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。应当理解，此概述并不是关于本公开的穷举性概述。它并不是意图确定本公开的关键或
重要部分，也不是意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此
作为稍后论述的更详细描述的前序。

[0006] 根据本公开的第一方面，提供了一种领域短语挖掘方法，包括：

[0007] 对带有领域标签的样本语句进行N-gram特征抽取，并选取频数大于预设值的N-gram特征作为词表；

[0008] 基于词表遍历样本语句，生成包括特征以及特征的词频向量的词袋特征；

[0009] 将词袋特征和领域标签输入排序模型，该排序模型对词袋特征中特征的重要性进行排序，并选取重要性大于阈值的特征作为该领域的重要短语输出；

[0010] 将重要短语通过变音变形进行扩充，生成扩充短语集；

[0011] 使用扩充短语集中的任一短语在样本语句中搜索邻近的领域短语，将邻近的领域短语加入扩充短语集，得到领域短语集。

[0012] 在一些实施例中，所述领域短语挖掘方法还包括：

[0013] 对样本语句进行分词，并基于分词得到新词；

[0014] 将新词与选取的频数大于预设值的N-gram特征合并，组成词表。

[0015] 进一步的，基于分词得到新词包括通过无监督方法得到新词。

[0016] 在一些实施例中，所述N-gram特征的特征长度N为2-4。

[0017] 在一些实施例中，所述领域短语挖掘方法还包括：

[0018] 将重要短语与现有的领域短语进行合并得到初始短语集，将初始短语集通过变音变形进行扩充，生成扩充短语集。

[0019] 在一些实施例中，使用扩充短语集中的任一短语在样本语句中搜索邻近的领域短语，具体包括：

[0020] 对样本语句进行分词和分字，并生成对应的词向量和字向量；

[0021] 将扩充短语集中的短语向量化，得到任一短语对应的向量；

[0022] 计算任一短语对应的向量与样本语句生成的分词向量的相似度，选取相似度大于预设值的分词作为与该短语邻近的领域短语。

[0023] 在一些实施例中，所述领域短语挖掘方法还包括：

[0024] 计算领域短语集中任一短语对在该领域的样本语句中出现的频率，并选取频率超过预设值的短语对，所选取的短语对用于确定新语料是否属于该领域。

[0025] 根据本公开的第二方面，提供了一种领域短语挖掘装置，包括：

[0026] 词表构建单元，用于对带有领域标签的样本语句进行N-gram特征抽取，并选取频数大于预设值的N-gram特征作为词表；

[0027] 词袋特征生成单元，用于基于词表遍历样本语句，生成包括特征以及特征的词频向量的词袋特征；

[0028] 排序单元，用于接收词袋特征和领域标签，对词袋特征中特征的重要性进行排序，并选取重要性大于阈值的特征作为该领域的重要短语输出；

[0029] 扩充单元，用于将重要短语通过变音变形进行扩充，生成扩充短语集；

[0030] 近邻搜索单元，用于使用扩充短语集中的任一短语在样本语句中搜索邻近的领域短语，将邻近的领域短语加入扩充短语集，得到领域短语集。

[0031] 根据本公开的第三方面，提供了一种电子设备，包括：

[0032] 一个或多个处理器；

[0033] 存储器，用于存储一个或多个程序；

[0034] 其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如本公开第一方面提供的方法。

[0035] 根据本公开的第四方面，提供了一种计算机可读介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如本公开第一方面提供的方法。

[0036] 本公开利用N-gram特征提取及排序模型进行领域短语挖掘，并在此基础上进行扩充和近邻搜索，有效解决了现有领域短语挖掘存在的挖掘效率低、挖掘数量少且准确率低
的问题。

附图说明

[0037] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施
例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获
得其他的附图。通过附图所示，本申请的上述及其它目的、特征和优势将更加清晰。在全部
附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点
在于示出本申请的主旨。

[0038] 图1是根据本公开实施例提供的一种领域短语挖掘方法的流程图。

[0039] 图2是根据本公开实施例提供的一种领域短语挖掘装置的示意图。

[0040] 图3是根据本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

[0041] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

[0042] 应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的
描述中诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体
或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或
者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使
得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列
出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多
限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方
法、物品或者设备中还存在另外的相同要素。

[0043] 再者，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

[0044] 下文中将结合附图对本公开的示例性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施例的所有特征。然而，应该了解，在开发任何这种实际实施例的
过程中可以做出很多特定于实施例的决定，以便实现开发人员的具体目标，并且这些决定
可能会随着实施例的不同而有所改变。

[0045] 在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的装置结构，而省略了与本公开关系不大的其他
细节。

[0046] 应理解的是，本公开并不会由于如下参照附图的描述而只限于所描述的实施形式。在本文中，在可行的情况下，实施例可以相互组合、不同实施例之间的特征替换或借用、
在一个实施例中省略一个或多个特征。

[0047] 现有技术中的领域短语挖掘方法主要包括两类，一类是无监督挖掘方法，包括利用互信息、自由度等方法发现新词，以及基于种子关键词，利用聚类、近义词扩充、关键词变
形等方法进行扩充从而得到新词，这类方法只是能够找到某一领域中的权重比较高的短
语，还需要对通过无监督挖掘方法获取到的短语进行进一步筛选等，从而导致挖掘效率较
低；另一类是有监督挖掘方法，包括基于f-ngram-idf、textrank等方法统计短语权重，并选
出权重较大的短语作为新发现短语的候选集，以及利用分类或者序列标注模型做新短语发
现等方法，这类方法挖掘出的领域短语数量较少且准确率较低。

[0048] 为了解决上述问题，本公开利用N-gram特征提取及特征重要性排序模型进行领域短语挖掘，并对挖掘出的短语进行扩充和近邻搜索，有效提升了领域短语挖掘的效率，且保
证了挖掘出来的短语的数量和准确性。

[0049] 首先，本公开实施例提供了一种领域短语挖掘方法，下面对本公开实施例提供的一种领域短语挖掘方法进行具体介绍。

[0050] 图1示出了根据本公开实施例提供的一种领域短语挖掘方法100的流程图。该方法具体包括：

[0051] 步骤110：对带有领域标签的样本语句进行N-gram特征抽取，并选取频数大于预设值的N-gram特征作为词表。

[0052] 此处，所述领域标签是指示样本语句是否属于某一领域的标签，例如，本公开实施例中所述领域标签可以是二分类标签，当样本语句属于某一领域时，将其标签设置为“1”，
将样本语句不属于某一领域时，将其标签设置为“0”。需要注意的是，二分类标签仅为本公
开实施例提供的一种示例，本公开对领域标签的形式不做具体限定。

[0053] 所述N-gram是一种基于统计语言模型的算法，能够将文本中的内容按照字节进行大小为N的滑动窗口操作，从而形成长度为N的N-gram特征。所述对样本语句进行N-gram特
征抽取，即将样本语句输入N-gram模型，并形成长度为N的N-gram特征。例如，对“小明坐公
交车去上学”这一语句进行N-gram特征抽取，当N-gram特征长度N取2时，从该语句中抽取出
的2-gram特征为{“小明”，“明坐”，“坐公”，“公交”，“交车”，“车去”，“去上”，“上学”}。

[0054] 本公开实施例中，可以提供带有领域标签的样本语句如表1所示，首先对表1中的样本语句进行N-gram特征抽取，然后再选取频数大于预设值的N-gram特征作为词表。

[0055] 表1-带有领域标签的样本语句

[0056] 样本语句 领域标签（1代表娱乐、0代表非娱乐）中国电视演员 1
美国演员李小四出席了颁奖典礼 1
法国演员王小五出席了颁奖典礼，与日本歌手张小六携手 1
中国体育代表队出席第31届夏季奥运会在里约热内卢开幕式 0
美国体育代表队出席第31届夏季奥运会在里约热内卢开幕式 0
德国体育代表队出席第31届夏季奥运会在里约热内卢开幕式 0
日本体育代表队出席第31届夏季奥运会在里约热内卢开幕式 0

[0057] 在一些情况下，所述N-gram特征的特征长度N可以选择2-4。对表1中的所有样本语句进行特征长度为2-4的N-gram特征抽取，汇总抽取出来的所有N-gram特征并统计每一N-
gram特征的频数，此处，所述频数即出现频率。选取频数大于预设值的N-gram特征作为词
表，本公开实施例中，所述预设值可以是5，进而选取频数大于5的N-gram特征组成的词表为
{“体育”，“演员”，“开幕式”，“典礼”，“出席”，“颁奖”，“奖典礼”，“奥运会”，“中国”，“美国”，“德国”}。

[0058] 需要注意的是，本公开实施例提供的样本语句及领域标签仅为一种示例，本领域技术人员根据需要可以自行选择其他的样本语句及领域标签，本公开对此不做限定。本领
域技术人员也可以对样本语句进行其他特征长度的N-gram特征抽取，本公开对N-gram特征
的长度不做限定。

[0059] 在一些情况下，还可以对样本语句进行分词，并基于分词通过无监督方法得到新词，将新词与选取的频数大于预设值的N-gram特征合并，组成词表。本公开实施例中，所述
无监督方法可以是互信息计算或聚类等方法，本公开对此不做具体限定。

[0060] 例如，对样本语句“法国演员王小五出席了颁奖典礼，与日本歌手张小六携手”进行分词，产生的分词中包括“王小”，假设基于该分词通过无监督的方法，可以得到“王小五”
和“李小四”两个新词。此时，可以将“王小五”和“李小四”这两个新词与前述选取的频数大
于5的N-gram特征合并，形成词表{“体育”，“演员”，“开幕式”，“典礼”，“出席”，“颁奖”，“奖典礼”，“奥运会”，“中国”，“美国”，“德国”，“王小五”，“李小四”}。

[0061] 需要注意的是，以上仅为示例，本公开实施例中，是对所有样本语句进行分词，将分词结果合并去重后得到一个分词集合，基于分词集合中的每个分词通过无监督方法得到
新词，将得到的所有新词与选取的频数大于预设值的N-gram特征合并，组成词表。

[0062] 本公开实施例中，基于样本语句分词得到的新词可以对N-gram特征形成的词表进行有效补充，避免由于仅选取频数大于预设值的N-gram特征而造成低频数领域特征的遗
漏。

[0063] 步骤120：基于词表遍历样本语句，生成包括特征以及特征的词频向量的词袋特征。

[0064] 本公开实施例中，所述词袋特征的特征可以是词表中的词。基于词表遍历样本语句，可以是，基于词表依次遍历每一样本语句，如果词表中对应位置的词出现在了该样本
中，则进一步统计该词在所有样本中出现的次数，并将该对应位置用该词在所有样本中出
现的次数来表示；如果词表中对应位置的词没有出现在该样本中，则将该对应位置用0表
示，由此可以生成每一样本语句的词频向量，该向量的维度与词表中词的个数一致。

[0065] 例如，本公开实施例中，基于词表对表1中的每一样本语句进行遍历，得到的词频向量如表2所示；在本示例中，生成的词袋特征中的特征为词表中的词。

[0066] 表2-样本语句的词频向量

[0067] 样本语句 词频向量中国电视演员 [0,0,0,0,0,0,0,0,2,0,0,0,0]
美国演员李小四出席了颁奖典礼 [0,2,0,2,6,2,2,0,0,2,0,0,1]
法国演员王小五出席了颁奖典礼，与日本歌手张小六携手 [0,2,0,2,6,2,2,0,0,0,0,1,0]
中国体育代表队出席第31届夏季奥运会在里约热内卢开幕式 [4,0,4,0,6,0,0,4,2,0,0,0,0]
美国体育代表队出席第31届夏季奥运会在里约热内卢开幕式 [4,0,4,0,6,0,0,4,0,2,0,0,0]
德国体育代表队出席第31届夏季奥运会在里约热内卢开幕式 [4,0,4,0,6,0,0,4,0,0,1,0,0]
日本体育代表队出席第31届夏季奥运会在里约热内卢开幕式 [4,0,4,0,6,0,0,4,0,0,0,0,0]

[0068] 在一些情况下，样本语句的词频向量的获取形式，还可以是，基于词表依次遍历每一样本语句，如果词表中对应位置的词出现在了该样本中，则将该对应位置用1表示；如果
词表中对应位置的词没有出现在该样本中，则将该对应位置用0表示，由此也可以生成每一
样本语句的另一种词频向量，该向量的维度与词表中词的个数一致。

[0069] 步骤130：将词袋特征和领域标签输入排序模型，该排序模型对词袋特征中特征的重要性进行排序，并选取重要性大于阈值的特征作为该领域的重要短语输出。

[0070] 本公开实施例中，所述排序模型可以是GBDT模型，也可以是其他能够对词袋特征中特征的重要性进行排序的模型，本公开对此不做限定。

[0071] 在排序模型是GBDT模型的情况下，将样本语句的领域标签以及步骤120中获取到的词袋特征输入GBDT模型，GBDT模型可以对词袋特征中特征的重要性进行排序，并选取重
要性大于某一阈值的特征作为该领域的重要短语输出。

[0072] 步骤140：将重要短语通过变音变形进行扩充，生成扩充短语集。

[0073] 本公开实施例中，将重要短语通过变音进行扩充，可以是通过同音字的替换进行扩充；还可以是通过近似音的替换进行扩充，例如，对较难区分的韵母{（“ing”，“in”），
（“eng”，“en”），（“ang”，“an”）} 做替换。

[0074] 本公开实施例中，将重要短语通过变形进行扩充，可以是通过四角号码表查询，选择与重要短语中的汉字编码相同的汉字作为替换，来进行扩充。例如，假设某一重要短语中
包括“峰”字，而“峰”字的四角号码为27754，随机选取与27754这一编码对应的其他汉字，例
如“峄”，则可以扩充出“峄会”这一短语。

[0075] 需要注意的是，以上提供的变音变形方法仅为示例，本领域技术人员可以根据需要选择其他的能够对短语进行扩充的变音变形方法，本公开对此不做限定。

[0076] 在一些情况下，可能事先已经持有一些现有的领域短语，此时，还可以是先将步骤130中获取到的重要短语与现有的领域短语进行合并得到初始短语集，将初始短语集通过
变音变形进行扩充，生成扩充短语集。这样可以充分利用已有的领域短语，对步骤130中获
取到的重要短语进行补充，从而有效增加挖掘出的领域短语的数量。

[0077] 鉴于网络语言的多样性，采用变音变形的方法对重要短语或领域短语进行扩充，可以进一步有效增加挖掘出的领域短语的数量、提升挖掘效率；且由于变音变形词通常具
有很高的准确率，因此，该方法扩充出的短语的准确率也较高，应用扩充出的短语对网络上
的待识别语句进行识别，可以有效提升本领域相关短语的识别准确率及召回率。

[0078] 步骤150：使用扩充短语集中的任一短语在样本语句中搜索邻近的领域短语，将邻近的领域短语加入扩充短语集，得到领域短语集。

[0079] 本公开实施例中，使用扩充短语集中的任一短语在样本语句中搜索邻近的领域短语，可以包括，对样本语句进行分词和分字，并生成对应的词向量和字向量；将扩充短语集
中的短语向量化，得到任一短语对应的向量；计算任一短语对应的向量与样本语句生成的
分词向量的相似度，选取相似度大于预设值的分词作为与该短语邻近的领域短语。

[0080] 本公开实施例中，在对样本语句进行分词和分字后，可以采用word2vec 方法生成与分词和分字对应的词向量和字向量。

[0081] 需要注意的是，采用word2vec方法将样本语句的分词和分字向量化，仅为本公开实施例提供的一种示例，本领域技术人员也可以根据需求，选用其他向量化的方法，本公开
对此不做限定。

[0082] 本公开实施例中，将扩充短语集中的短语向量化，得到任一短语对应的向量，可以采用如下的方法:

[0083] 在某些情况下，若扩充短语集中的某一短语包括在样本语句的分词结果中，则可以直接采用分词向量作为该短语的向量，例如，扩充短语集中的“演员”这一短语包括在样
本语句的分词结果中，则可以直接采用“演员”这一分词的分词向量作为扩充短语集中“演
员”这一短语的向量。

[0084] 在某些情况下，若扩充短语集中的某一短语没有包括在样本语句的分词结果中，但该短语为样本语句中分字的组合或者分词与分字的组合，则可以利用对应分词或分字的
向量计算该短语的向量，例如，可以将对应的分词或分字的向量在各维度上分别求和后再
取均值，从而得到所述短语的向量。

[0085] 在某些情况下，若扩充短语集中的某一短语没有包括在样本语句的分词结果中，且该短语中的某些字也没有出现在样本语句中，此时，针对这些字采用其他方法对其进行
向量表示，例如，将其转换为特殊符号后从内置的向量表中查询到与该特殊符号对应的向
量，然后再与短语中其他字对应的向量在各维度上分别求和后取均值，从而得到所述短语
的向量。

[0086] 本公开实施例中，计算任一短语对应的向量与样本语句生成的分词向量的相似度，选取相似度大于预设值的分词作为与该短语邻近的领域短语，可以是，利用余弦距离计
算任一短语对应的向量与样本语句生成的分词向量的相似度，然后选取相似度大于一预设
值的分词作为与该短语邻近的领域短语。进一步的，可以将获取到的邻近的领域短语加入
扩充短语集，从而得到最终挖掘出的领域短语集。

[0087] 需要注意的是，本公开提供的利用余弦距离计算相似度来搜索邻近的领域短语的方法仅为一种示例，本领域技术人员也可以根据需求，选择其他可以使用扩充短语集中的
短语在样本语句中搜索邻近的领域短语的方法，本公开对此不做具体限定。

[0088] 以上提供了如何基于样本语句挖掘领域短语的方法，在获取到领域短语集的基础上，本公开实施例还进一步提供了应用领域短语集对新的语句进行领域识别的方法，具体
包括，计算领域短语集中任一短语对在该领域的样本语句中出现的频率，并选取频率超过
预设值的短语对，如果新语句中包括选取出的短语对，则将新语句标记为属于该领域。

[0089] 例如，假设在得到的娱乐领域短语集为{“演员”，“典礼”，“出席”，“颁奖” }的情况下，{“演员”，“典礼”}是该领域短语集中的一个短语对，该短语对在本公开实施例表1提供的娱乐领域样本语句中出现的次数为2次，而娱乐领域样本数据一共有3条，因此，{“演员”，
“典礼”}短语对在娱乐领域的样本语句中出现的频率为0.667。假设将频率的预设值设置为
0.6，则可以选取频率超过该预设值的短语对{“演员”，“典礼”}来对新的语句进行领域识
别，如果新语句中包括选取出的短语对{“演员”，“典礼”}，则将该新语句标记为属于娱乐领
域。利用样本语句中的高频领域短语对来对新语句进行领域识别，可以有效提高识别的准
确率和效率。

[0090] 本公开实施例所选取的领域短语集中任一短语对在该领域的样本语句中出现的频率的预设值仅为示例，本领域技术人员根据需要可以选择其他合适的预设值，本公开对
此不作限定。

[0091] 下面对本公开实施例提供的一种领域短语挖掘装置进行说明。图2示出了根据本公开实施例提供的一种领域短语挖掘装置200的示意图。该装置具体包括：

[0092] 词表构建单元201，用于对带有领域标签的样本语句进行N-gram特征抽取，并选取频数大于预设值的N-gram特征作为词表；

[0093] 词袋特征生成单元202，用于基于词表遍历样本语句，生成包括特征以及特征的词频向量的词袋特征；

[0094] 排序单元203，用于接收词袋特征和领域标签，对词袋特征中特征的重要性进行排序，并选取重要性大于阈值的特征作为该领域的重要短语输出；

[0095] 扩充单元204，用于将重要短语通过变音变形进行扩充，生成扩充短语集；

[0096] 近邻搜索单元205，用于使用扩充短语集中的任一短语在样本语句中搜索邻近的领域短语，将邻近的领域短语加入扩充短语集，得到领域短语集。

[0097] 本公开实施例提供的领域短语的挖掘方法及装置，基于带有领域标签的样本语句，对领域短语进行有效扩充，且挖掘出来的领域短语准确率较高，适用于对复杂多样的网
络语言进行领域识别。

[0098] 图3示出了根据本公开实施例提供的电子设备300的结构示意图。如图3所示，电子设备300包括中央处理单元（CPU）301，其可以根据存储在只读存储器（ROM）302中的程序或
者从存储部分308加载到随机访问存储器（RAM）303中的程序而执行各种适当的动作和处
理。在RAM 303中，还存储有电子设备操作所需的各种程序和数据。CPU 301、ROM 302以及
RAM 303通过总线304彼此相连。输入/输出（I/O）接口305也连接至总线304。

[0099] 以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分307；包括硬盘等的存储部分308；
以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因
特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如
磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出
的计算机程序根据需要被安装入存储部分308。

[0100] 特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，包括承载指令的在计算机可读
介质，在这样的实施例中，该指令可以通过通信部分309从网络上被下载和安装，和/或从可
拆卸介质311被安装。在该指令被中央处理单元（CPU）301执行时，执行本发明中描述的各个
方法步骤。

[0101] 以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并非局限于此，尽管参照前述实施例对本公开进行了详细的
说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的
技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或
者对其中部分技术特征进行等同替换；而这些修改、变化或替换，并不使相应技术方案的本
质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围内。