一种输入语句的纠错方法及装置转让专利

申请号 : CN201611233791.8

文献号 : CN107122346B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 王健宗袁威强韩茂琨肖京

申请人 : 平安科技(深圳)有限公司

摘要 :

本发明适用于信息处理领域,提供了一种输入语句的纠错方法及装置,包括:基于训练语料构建并训练语言模型;获取语言模型的判错阈值,判错阈值表示输入语句为错误语句的临界概率值;将待识别语句输入语言模型,以计算出待识别语句的正确概率;当待识别语句的正确概率低于判错阈值时,判定待识别语句为错误语句并对待识别语句执行纠错处理。本发明实施例实现了对语句正确性的自动检测,通过对判断为错误语句的待识别语句进行纠错处理,保证了用户在智能问答系统中即使输入了错误的字词,也能将该错误的字词自动调整为符合用户实际意愿的语句,从而使智能问答系统能够准确理解用户的问题,提高自动问答的成功率,由此进一步促进智能问答技术的发展。

权利要求 :

1.一种输入语句的纠错方法,其特征在于,包括:基于训练语料构建并训练语言模型,所述训练语料是在实际使用中真实出现过的语言材料,所述训练语料包括语篇、语句以及短语三大类,以N-Gram模型作为所述语言模型的原始模型;

获取所述语言模型的判错阈值,所述判错阈值表示输入语句为错误语句的临界概率值;

将待识别语句输入所述语言模型,以计算出所述待识别语句的正确概率;

当所述待识别语句的正确概率低于所述判错阈值时,判定所述待识别语句为用户输入错误的错误语句并对所述待识别语句执行纠错处理;

所述基于训练语料训练并构建语言模型包括:对每条所述训练语料执行分词操作,得到多个词语;

分别计算每个所述词语在训练语料中与其后邻接词之间的条件概率;

将所述多个词语对应的所述条件概率相乘,并根据相乘后得到的结果,构建并训练所述语言模型;

其中,所述条件概率的计算过程包括:

获取所述词语在所有所述训练语料中出现的第一次数,及获取所述词语的后邻接词在所有所述训练语料中出现在所述词语的后邻接位置的第二次数;

根据所述第一次数以及所述第二次数,计算所述词语与对应的所述后邻接词之间的条件概率;

所述获取所述语言模型的判错阈值包括:

分别将M条错误语句与N条正确语句作为测试语料输入所述语言模型,得到每条所述错误语句的所述正确概率与每条所述正确语句的所述正确概率;

通过预设算法对每条所述错误语句的所述正确概率与每条所述正确语句的所述正确概率进行统计处理,得到所述语言模型的判错阈值;

其中,所述M和N为大于1的整数。

2.如权利要求1所述的方法,其特征在于,所述判定所述待识别语句为用户输入错误的错误语句并对所述待识别语句执行纠错处理包括:生成所述待识别语句的多条候选语句;

利用所述语言模型,分别输出每条所述候选语句的所述正确概率;

在所有所述候选语句中确定出所述正确概率最大的一条所述候选语句,并将所述待识别语句纠正为该候选语句。

3.如权利要求2所述的方法,其特征在于,所述生成所述待识别语句的多条候选语句包括:获取所述待识别语句中每个词语对应的音似词及同音词;

将所述待识别语句中的至少一个所述词语替换为所述词语对应的所述音似词或所述同音词;

将完成替换后的每一条所述待识别语句分别输出为一条所述待识别语句的所述候选语句。

4.一种输入语句的纠错装置,其特征在于,包括:构建单元,用于基于训练语料构建并训练语言模型,所述训练语料是在实际使用中真实出现过的语言材料,所述训练语料包括语篇、语句以及短语三大类,以N-Gram模型作为所述语言模型的原始模型;

获取单元,用于获取所述语言模型的判错阈值,所述判错阈值表示输入语句为错误语句的临界概率值;

计算单元,用于将待识别语句输入所述语言模型,以计算出所述待识别语句的正确概率;

纠错单元,用于当所述待识别语句的正确概率低于所述判错阈值时,判定所述待识别语句为用户输入错误的错误语句并对所述待识别语句执行纠错处理;

所述构建单元包括:

分词单元,用于对每条所述训练语料执行分词操作,得到多个词语;

条件概率计算单元,用于分别计算每个所述词语在训练语料中与其后邻接词之间的条件概率;

乘法单元,用于将所述多个词语对应的所述条件概率相乘,并根据相乘后得到的结果,构建并训练所述语言模型;

其中,所述条件概率计算单元具体用于:

获取所述词语在所有所述训练语料中出现的第一次数,及获取所述词语的后邻接词在所有所述训练语料中出现在所述词语的后邻接位置的第二次数;

根据所述第一次数以及所述第二次数,计算所述词语与对应的所述后邻接词之间的条件概率;

所述获取单元包括:

输入子单元,用于分别将M条错误语句与N条正确语句作为测试语料输入所述语言模型,得到每条所述错误语句的所述正确概率与每条所述正确语句的所述正确概率;

统计子单元,用于通过预设算法对每条所述错误语句的所述正确概率与每条所述正确语句的所述正确概率进行统计处理,得到所述语言模型的判错阈值;

其中,所述M和N为大于1的整数。

5.如权利要求4所述的装置,其特征在于,所述纠错单元包括:生成子单元,用于生成所述待识别语句的多条候选语句;

输出子单元,用于利用所述语言模型,分别输出每条所述候选语句的所述正确概率;

纠正子单元,用于在所有所述候选语句中确定出所述正确概率最大的一条所述候选语句,并将所述待识别语句纠正为该候选语句。

6.如权利要求5所述的装置,其特征在于,所述生成子单元具体用于:获取所述待识别语句中每个词语对应的音似词及同音词;

将所述待识别语句中的至少一个所述词语替换为所述词语对应的所述音似词或所述同音词;

将替换完成后的每一条所述待识别语句分别输出为一条所述待识别语句的所述候选语句。

说明书 :

一种输入语句的纠错方法及装置

技术领域

[0001] 本发明属于信息处理领域,尤其涉及一种输入语句的纠错方法及装置。

背景技术

[0002] 输入法是指为将各种符号输入计算机或其他智能终端而使用的编码方法。依照输入设备的不同,输入法可分为键盘输入法、语音输入法以及手写输入法。由于键盘输入法的技术实现难度低且输入的文字准确率高,因此,相比于其他两种输入法来说,使用群体的范围更广。
[0003] 目前,汉语拼音输入法已经成为用户最常使用的键盘输入法之一。但是,用户在使用拼音输入法的过程中,由于输入了错误的拼音字母或者选择了错误的候选词语,导致了最终输入的结果并非为用户实际所需的汉字。在机器智能问答领域中,由于用户输入的问题语句都比较短,因此,若此时输入的语句中包含有错误的字词,则会导致智能问答系统无法正确理解用户实际的问题,从而给出了错误的问题答案,降低了自动问答的成功率,严重制约了智能问答系统的发展。

发明内容

[0004] 本发明实施例提供一种输入语句的纠错方法及装置,旨在解决目前当用户在智能问答系统中输入了错误的语句时,自动问答成功率低的问题。
[0005] 本发明实施例是这样实现的,一种输入语句的纠错方法,包括:
[0006] 基于训练语料构建并训练语言模型;
[0007] 获取所述语言模型的判错阈值,所述判错阈值表示输入语句为错误语句的临界概率值;
[0008] 将待识别语句输入所述语言模型,以计算出所述待识别语句的正确概率;
[0009] 当所述待识别语句的正确概率低于所述判错阈值时,判定所述待识别语句为错误语句并对所述待识别语句执行纠错处理。
[0010] 本发明实施例的另一目的在于提供一种输入语句的纠错装置,包括:
[0011] 构建单元,用于基于训练语料构建并训练语言模型;
[0012] 获取单元,用于获取所述语言模型的判错阈值,所述判错阈值表示输入语句为错误语句的临界概率值;
[0013] 计算单元,用于将待识别语句输入所述语言模型,以计算出所述待识别语句的正确概率;
[0014] 纠错单元,用于当所述待识别语句的正确概率低于所述判错阈值时,判定所述待识别语句为错误语句并对所述待识别语句执行纠错处理。
[0015] 本发明实施例中,根据语言模型输出待识别语句的正确概率,以判断用户输入的语句是否存在错误,实现了对语句正确性的自动检测,通过对判断为错误语句的待识别语句进行纠错处理,保证了用户在智能问答系统中即使输入了错误的字词,也能将包含该错误字词的语句自动调整为符合用户实际意愿的语句,从而使智能问答系统能够准确理解用户的问题,提高自动问答的成功率,由此进一步促进了智能问答技术的发展。

附图说明

[0016] 图1是本发明实施例提供的输入语句的纠错方法的实现流程图;
[0017] 图2是本发明实施例提供的输入语句的纠错方法S11的具体实现流程图;
[0018] 图3是本发明实施例提供的输入语句的纠错方法S12的具体实现流程图;
[0019] 图4是本发明实施例提供的输入语句的纠错方法S14的具体实现流程图;
[0020] 图5是本发明实施例提供的输入语句的纠错方法S401的具体实现流程图;
[0021] 图6是本发明实施例提供的输入语句的纠错装置的结构框图。

具体实施方式

[0022] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0023] 本发明实施例中,根据语言模型输出待识别语句的正确概率,以判断用户输入的语句是否存在错误,实现了对语句正确性的自动检测,通过对判断为错误语句的待识别语句进行纠错处理,保证了用户在智能问答系统中即使输入了错误的字词,也能将包含该错误字词的语句自动调整为符合用户实际意愿的语句,从而使智能问答系统能够准确理解用户的问题,提高自动问答的成功率,由此进一步促进了智能问答技术的发展。
[0024] 图1示出了本发明实施例提供的输入语句的纠错方法的实现流程,详述如下:
[0025] 在S11中,基于训练语料构建并训练语言模型。
[0026] 在本实施例中,训练语料是在实际使用中真实出现过的语言材料,按照语料采集单位的不同,训练语料可以分为语篇、语句、短语等三大类。将训练语料作为基础信息来进行分析及处理,根据语料所表达的客观事实,可对训练语料进行语言抽象数学建模,从而得到最终的语言模型。
[0027] 特别地,本实施例中的训练语料为智能问答领域及其相关领域内的规范文本数据以及真实的用户问题记录文本,根据真实记录文本与规范文本之间的特征差异,能够训练出对所有训练语料拟合程度较高的语言模型。
[0028] 作为本发明的一个实施例,图2示出了本发明实施例提供的输入语句的纠错方法S11的具体实现流程,详述如下:
[0029] 在本实施例中,以N-Gram模型作出语言模型的原始模型,对于一条输入语句中的第k个词(k为大于零的整数),由于第k个词的出现只与前面k-1个词相关,而与其它任何词都不相关,因此可得知出该条输入语句的正确概率为该句子中所有词语的联合概率。
[0030] 在S101中,对每条所述训练语料执行分词操作,得到多个词语。
[0031] 本实施例中存在多条训练语料,对于其中任意一条训练语料,可通过中文分词等方法来获取该条语料中的多个词语。
[0032] 在S102中,分别计算每个所述词语在该条训练语料中与其后邻接词之间的条件概率。
[0033] 其中,所述条件概率的计算过程包括:
[0034] 获取所述词语在所有所述训练语料中出现的第一次数,及获取所述词语的后邻接词在所有所述训练语料中出现在所述词语的后邻接位置的第二次数;
[0035] 根据所述第一次数以及所述第二次数,计算所述词语与对应的所述后邻接词之间的条件概率。
[0036] 本实施例中,“第一”与“第二”仅作区分之用,并不表示具体的数字含义。
[0037] 具体地,在本实施例中,提取每条训练语料中的每个词语,并且对于所述每个词语,分别执行如下操作:
[0038] 以当前提取出的词语作为对比样本,并将该词语与当前所有训练语料中的所有字词依次进行匹配对比,一旦匹配到任一训练语料中存在相同的词语时,关于该词语的第一次数加一。
[0039] 对每条训练语料中的每个词语重复执行上述操作,可获得每个词语在所有训练语料中出现的第一次数。
[0040] 优选地,若训练语料中的任一词语已经在前面执行操作的训练语料中出现,则无需重复计算该相同词语在所有训练语料中出现的第一次数,从而提高系统的运作效率。
[0041] 在本实施例中,一条训练语料中的某个词语A以及该词语的后邻接词B,在其他训练语料中可能同时出现或者分别出现。若要使该后邻接词B出现在词语A的后邻接位置,则需要满足以下三个条件:
[0042] 条件一:词语A与其后邻接词B需要在一条训练语料中同时出现。即,一条训练语料中同时包含该词语A及该后邻接词B。
[0043] 条件二:词语A与其后邻接词B需要处于相邻的位置。若该词语A与该后邻接词B之间还存在其他字词,则此时后邻接词B并未与词语A相邻。
[0044] 条件三:词语A位于其后邻接词B的前方位置。即,词语A在一条训练语料中需要先于该后邻接词B出现。
[0045] 对于训练语料中的任意一个词语,当其他任意一条训练语料满足以上三个条件时,将关于该词语的后邻接词在所有训练语料中出现在该词语的后邻接位置的次数加一。
[0046] 通过上述统计操作,可以确定出某个词语wi在所有训练语料中出现的次数n(wj)以及该词语的后邻接词wj在所有训练语料中出现在该词语的后邻接位置的次数n(wjwi)。
[0047] 通过以下公式估算出词语wi、wj之间的条件概率p(wi|j):
[0048]
[0049] 在S103中,将所述多个词语对应的所述条件概率相乘,并根据相乘后得到的结果,构建并训练所述语言模型。
[0050] 本实施例依照以下原理来计算某条训练语料的正确概率:某个词是否可能出现在句子中,仅与它前面出现的一个词相关。
[0051] 因此,假设一条训练语料s由p个词语组成,即s={w1,w2,…,wp},则该条训练语料的正确概率为:
[0052] p(s)=p(w1w2…wp)=p(w2|w1)p(w3|w2)p(w4|w3)…p(wp|wp-1)
[0053] 其中,p(w2|w1)、p(w3|w2)、p(w4|w3)、…及p(wp|wp-1)的值可通过S102中条件概率的计算方法获得,该值表示该条训练语料中每个词语与每个词语的后邻接词之间的条件概率。
[0054] 本实施例通过将训练语料中每个词语与每个词语的后邻接词之间的条件概率相乘,得出关于该条训练语料的正确概率,并根据每条训练语料的正确概率来训练出所述语言模型,以使所述语言模型能够用于计算用户输入的未知语句的正确概率。
[0055] 在S12中,获取所述语言模型的判错阈值,所述判错阈值表示输入语句为错误语句的临界概率值。
[0056] 在本实施例中,同样利用规范文本及真实的用户问题记录文本作为测试语料,因此,测试语料中包含有多条输入错误的语句样本及输入正确的语句样本。利用语言模型来对每条测试语料进行逐一测试,能够判断出每条测试语料属于正确语句还是错误语句。该判断结果可能与测试语料的真实类别存在差异,为了降低该差异出现的可能性,提高语言模型对语句正确性的判断准确率,通过统计的方法来获得一个语句正确与否的判断临界值。
[0057] 作为本发明的一个实施例,如图3所示,S12中,所述获取所述语言模型的判错阈值包括:
[0058] 在S201中,分别将M条错误语句与N条正确语句作为测试语料输入所述语言模型,得到所述每条错误语句的所述正确概率与所述每条正确语句的所述正确概率。
[0059] 本实施例中,分别将每条错误语句与每条正确语句作为一个输入参数输入所述语言模型,经过语言模型的自动运行处理,得到关于每条测试语料的正确概率的输出参数。
[0060] 在S202中,通过预设算法对所述每条错误语句的所述正确概率与所述每条正确语句的所述正确概率进行统计处理,得到所述语言模型的判错阈值。
[0061] 通过输出某条错误语句的正确概率,能够获知对于某条错误语句来说,其被用户真实所需的可能性有多大。例如,若某条错误语句A的正确概率为30%,则表明在实际使用中,用户只有30%的可能性是真实想要输入此条语句。
[0062] 语言模型输出的语句的正确概率为理论计算值,其与实际正确概率可能存在偏差,具体表现为:一条常用的规范语句经过语言模型处理后得到的正确概率为10%,而一条明显不符合语义的错误语句经过语言模型处理后得到的正确概率为80%。因此,通过统计多种类别测试语料的正确概率,能够选出一个所述正确概率的最优临界值作为语言模型的判错阈值,从而提高输入语句正确概率与输入语句正确性的关联程度。
[0063] 在S13中,将待识别语句输入所述语言模型,以计算出所述待识别语句的正确概率。
[0064] 本实施例中,语言模型输出待识别语句的正确概率与上述实施例中输出测试语料的正确概率的处理流程及原理均相同,在此不一一赘述。
[0065] 在S14中,当所述待识别语句的正确概率低于所述判错阈值时,判定所述待识别语句为错误语句并对所述待识别语句执行纠错处理。
[0066] 当待识别语句的正确概率高于判错阈值时,表明当前待识别的语句出现在真实生活中的可能性比较高,极大可能为用户输入正确的语句。因此,将该待识别语句判断为正确语句,并直接输入至智能问答系统中使用。
[0067] 当待识别语句的正确概率低于判错阈值时,表明当前待识别的语句出现在真实生活中的可能性比较低,极大可能为用户输入错误的语句。因此,将该待识别语句判断为错误语句。
[0068] 同时,当识别到当前用户输入的语句为错误语句时,自动执行纠错处理,以使该待识别语句能够调整为最有可能表达用户真实问题的正确语句后,再输入至智能问答系统中使用。
[0069] 本发明实施例中,利用多种类型的训练语料训练语言模型,能够提高语言模型输出参数的正确率,根据语言模型输出待识别语句的正确概率,以判断用户输入的语句是否存在错误,实现了对语句正确性的自动检测,通过对判断为错误语句的待识别语句进行纠错处理,保证了用户在智能问答系统中即使输入了错误的字词,也能将包含该错误字词的语句自动调整为符合用户实际意愿的语句,从而使智能问答系统能够准确理解用户的问题,提高自动问答的成功率,由此进一步促进了智能问答技术的发展。
[0070] 作为本发明的一个实施例,图4示出了本发明实施例提供的输入语句的纠错方法S14的具体实现流程,详述如下:
[0071] 在S401中,生成所述待识别语句的多条候选语句。
[0072] 对于判定为错误语句的待识别语句,存在一条或多条与该待识别语句在形式上相似、但有可能表达了该待识别语句本身正确语义的语句,这些语句称为候选语句。
[0073] 通过预设算法获取待识别语句中可能出现的错误字词,并将该错误字词进行替换,得到多条候选语句。
[0074] 具体地,作为本发明的一个实施例,如图5所示,S401中,所述生成所述待识别语句的多条候选语句包括:
[0075] 在S501中,获取所述待识别语句中每个词语对应的音似词及同音词。
[0076] 根据拼音输入法的出错特性,词语在输入过程中出错的原因为候选词选择出错以及拼音输入出错的可能性最大,且每个词语均有出错的可能。因此,在本发明实施例中,对于待识别语句中的每个词语,获取与该词语中文发音相同或相近的所有词语,即,以该词语的所有同音词或音似词来作为该词语对应的候选词。
[0077] 例如,“隐形”的同音词包括“隐性”、“银杏”、“阴性”等词语,音似词包括“音信”、“迎新”等词语。“隐性”、“银杏”、“阴性”、“音信”、“迎新”均构成待识别语句中“隐形”一词的候选词。
[0078] 在S502中,将所述待识别语句中的至少一个所述词语替换为所述词语对应的所述音似词或所述同音词。
[0079] 在本实施例中,每条待识别语句中包含有多个词语,每个词语对应有多个候选词,将待识别语句中的至少一个词语替换为该词语对应的音似词或同音词可具体表现为:将待识别语句中的一个词语替换为该词语对应的候选词集合中的一个候选词,或者将待识别语句中的多个词语同时替换为各个词语分别对应的一个候选词。
[0080] 例如,若待识别语句为“这个货物保佑吗”,则可以将该句子中的词语“保佑”替换成该词对应的同音词“包邮”,或者将词语“货物”替换成该词所对应的同音词“活物”,或者将词语“货物”及“保佑”一并替换,分别替换为各自对应的同音词“活物”及“包邮”。
[0081] 在S503中,将完成替换后的每一条所述待识别语句分别输出为一条所述待识别语句的所述候选语句。
[0082] 对待识别语句执行的每一次替换动作,均可以得到一条包含替换后的候选词的语句,多次替换动作执行完毕后,得到相互不同的多条语句,每条语句均输出为一条所述候选语句。
[0083] 例如,上述例子中,将“保佑”替换成该词对应的同音词“包邮”后,得到第一条候选语句为“这个货物包邮吗”;将词语“货物”替换成该词所对应的同音词“活物”后,得到第二条候选语句为“这个活物保佑吗”;将词语“货物”及“保佑”同时替换为各自对应的同音词“活物”及“包邮”时,得到第三条候选语句为“这个活物包邮吗”。
[0084] 在S402中,利用所述语言模型,分别输出每条所述候选语句的所述正确概率。
[0085] 将每条候选语句逐一输入所述语言模型后,经过语言模型的分析处理,输出每条候选语句的正确概率。
[0086] 本实施例中,语言模型计算每条候选语句的正确概率与上述实施例中计算测试语料的正确概率及待识别语句的正确概率的流程及原理均相同,在此不一一赘述。
[0087] 在S403中,在所有所述候选语句中确定出所述正确概率最大的一条所述候选语句,并将所述待识别语句纠正为该候选语句。
[0088] 通过将S402中得到的每条候选语句的正确概率的大小进行比较,获取其中正确概率最大的一条候选语句,则该条候选语句包含待识别语句原意的可能性最大。因此,将待识别语句纠正为所述正确概率最大的候选语句。
[0089] 本发明实施例中,利用多种类型的训练语料训练语言模型,能够提高语言模型输出参数的正确率,根据语言模型输出待识别语句的正确概率,以判断用户输入的语句是否存在错误,实现了对语句正确性的自动检测,通过对判断为错误语句的待识别语句进行纠错处理,保证了用户在智能问答系统中即使输入了错误的字词,也能将该错误的字词自动调整为符合用户实际意愿的语句,从而使智能问答系统能够准确理解用户的问题,提高自动问答的成功率,由此进一步促进了智能问答技术的发展。
[0090] 图6示出了本发明实施例提供的输入语句的纠错装置的结构框图,该装置可以位于手机、计算机、平板电脑、笔记本电脑等终端中,用于运行本发明图1至图5实施例所述的输入语句的纠错方法。为了便于说明,仅示出了与本实施例相关的部分。
[0091] 参照图6,该装置包括:
[0092] 构建单元61,用于基于训练语料构建并训练语言模型。
[0093] 获取单元62,用于获取所述语言模型的判错阈值,所述判错阈值表示输入语句为错误语句的临界概率值。
[0094] 计算单元63,用于将待识别语句输入所述语言模型,以计算出所述待识别语句的正确概率。
[0095] 纠错单元64,用于当所述待识别语句的正确概率低于所述判错阈值时,判定所述待识别语句为错误语句并对所述待识别语句执行纠错处理。
[0096] 可选地,所述构建单元61包括:
[0097] 分词单元,用于对每条所述训练语料执行分词操作,得到多个词语。
[0098] 条件概率计算单元,用于分别计算每个所述词语在该条训练语料中与其后邻接词之间的条件概率。
[0099] 乘法单元,用于将所述多个词语对应的所述条件概率相乘,并根据相乘后得到的结果,构建并训练所述语言模型。
[0100] 其中,所述条件概率计算单元具体用于:
[0101] 获取所述词语在所有所述训练语料中出现的第一次数,及获取所述词语的后邻接词在所有所述训练语料中出现在所述词语的后邻接位置的第二次数;
[0102] 根据所述第一次数以及所述第二次数,计算所述词语与对应的所述后邻接词之间的条件概率。
[0103] 可选地,所述获取单元62包括:
[0104] 输入子单元,用于分别将M条错误语句与N条正确语句作为测试语料输入所述语言模型,得到所述每条错误语句的所述正确概率与所述每条正确语句的所述正确概率。
[0105] 统计子单元,用于通过预设算法对所述每条错误语句的所述正确概率与所述每条正确语句的所述正确概率进行统计处理,得到所述语言模型的判错阈值;
[0106] 其中,所述M和N为大于1的整数。
[0107] 可选地,所述纠错单元64包括:
[0108] 生成子单元,用于生成所述待识别语句的多条候选语句。
[0109] 输出子单元,用于利用所述语言模型,分别输出每条所述候选语句的所述正确概率。
[0110] 纠正子单元,用于在所有所述候选语句中确定出所述正确概率最大的一条所述候选语句,并将所述待识别语句纠正为为该候选语句。
[0111] 可选地,所述生成子单元具体用于:
[0112] 获取所述待识别语句中每个词语对应的音似词及同音词;
[0113] 将所述待识别语句中的至少一个所述词语替换为所述词语对应的所述音似词或所述同音词;
[0114] 将替换完成后的每一条所述待识别语句分别输出为一条所述待识别语句的所述候选语句。
[0115] 本发明实施例中,根据语言模型输出待识别语句的正确概率,以判断用户输入的语句是否存在错误,实现了对语句正确性的自动检测,通过对判断为错误语句的待识别语句进行纠错处理,保证了用户在智能问答系统中即使输入了错误的字词,也能将该错误的字词自动调整为符合用户实际意愿的语句,从而使智能问答系统能够准确理解用户的问题,提高自动问答的成功率,由此进一步促进了智能问答技术的发展。
[0116] 本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
[0117] 所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0118] 在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0119] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0120] 另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
[0121] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0122] 以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。