语音库生成设备及其方法、语音合成系统及其方法

摘要

本发明提供一种语音库生成设备及其方法，所述语音库生成设备包括：语音提取装置，用于从收集的数据中提取预定发音人的语音数据；语音识别装置，用于将所述预定发音人的语音数据识别为文本；文本标注装置，用于对所述文本进行标注。以及本发明提供一种语音合成系统及其方法。由于本发明通过自动收集数据并自动处理，生成语音库，节约了大量的人力成本。此外，缩短语音合成系统的构建周期以及方便对其进行更新，并实现个性化定制。

权利要求

1.一种语音库生成设备，包括：

语音提取装置，用于从收集的数据中提取预定发音人的语音数据；

语音识别装置，用于将所述预定发音人的语音数据识别为文本；

文本标注装置，用于对所述文本进行标注；

其中所述语音提取装置包括：

声纹特征提取单元，用于提取收集的数据中的语音声纹特征序列；

第一计算单元，用于计算所述语音声纹特征序列与背景模型的第一似然度；

第二计算单元，用于计算所述语音声纹特征序列与预定发音人的说话人声纹模型的第二似然度；

第一判别单元，用于将所述第二似然度与所述第一似然度之比大于第一阈值的语音数据确定为预定发音人的语音数据。

2.如权利要求1所述的语音库生成设备，其中还包括：预处理装置，用于对收集的数据进行预处理。

3.如权利要求1或2所述的语音库生成设备，其中所述语音识别装置包括：识别单元，用于从预定发音人的语音数据中提取语音声学参数，将所述语音声学参数解码以获得第一识别文本；

置信度计算单元，用于计算所述解码的置信度；

第二判别单元，用于将所述置信度大于第二阈值的所述第一识别文本确定为第二识别文本。

4.一种语音库生成方法，包括：

语音提取步骤，从收集的数据中提取预定发音人的语音数据；

语音识别步骤，将所述预定发音人的语音数据识别为文本；

文本标注步骤，对所述文本进行标注；

其中所述语音提取步骤包括：

声纹特征提取步骤，提取收集的数据中的语音声纹特征序列；

第一计算步骤，计算所述语音声纹特征序列与背景模型的第一似然度；

第二计算步骤，计算所述语音声纹特征序列与预定发音人的说话人声纹模型的第二似然度；

第一判别步骤，将所述第二似然度与所述第一似然度之比大于第一阈值的语音数据确定为预定发音人的语音数据。

5.如权利要求4所述的语音库生成方法，其中还包括：预处理步骤，对收集的数据进行预处理。

6.如权利要求4或5所述的语音库生成方法，其中所述语音识别步骤包括：识别步骤，从预定发音人的语音数据中提取语音声学参数，将所述语音声学参数解码以获得第一识别文本；

置信度计算步骤，计算所述解码的置信度；

第二判别步骤，将所述置信度大于第二阈值的所述第一识别文本确定为第二识别文本。

7.一种语音合成系统，包括：

分词装置，用于对输入的文本进行分词；

查找装置，用于根据分词结果查找预定发音人语音库中与文本对应的至少一个预定发音人的语音片段；

选择装置，用于从查找的预定发音人的语音片段中选择最优的语音片段；以及合成装置，用于将挑选的语音片段拼接以合成连续的预定发音人的语音序列；

所述系统还包括用于生成语音库的语音库生成设备，所述语音库生成设备包括：语音提取装置，用于从收集的数据中提取预定发音人的语音数据；

语音识别装置，用于将所述预定发音人的语音数据识别为文本；

文本标注装置，用于对所述文本进行标注；

其中所述语音提取装置包括：

声纹特征提取单元，用于提取收集的数据中的语音声纹特征序列；

第一计算单元，用于计算所述语音声纹特征序列与背景模型的第一似然度；

第二计算单元，用于计算所述语音声纹特征序列与预定发音人的说话人声纹模型的第二似然度；

第一判别单元，用于将所述第二似然度与所述第一似然度之比大于第一阈值的语音数据确定为预定发音人的语音数据。

8.如权利要求7所述的语音合成系统，其中还包括用于在满足第一预定条件时更新预定发音人语音库的第一更新装置。

9.如权利要求7所述的语音合成系统，其中还包括用于在满足第二预定条件时更新语音合成系统的第二更新装置。

10.一种语音合成方法，包括：

分词步骤，对输入的文本进行分词；

查找步骤，根据分词结果查找预定发音人语音库中与文本对应的至少一个预定发音人的语音片段；

选择步骤，从查找的预定发音人的语音片段中选择最优的语音片段；以及合成步骤，将挑选的语音片段拼接以合成连续的预定发音人的语音序列；

所述方法还包括生成语音库的语音库生成步骤，所述语音库生成步骤包括：语音提取步骤，从收集的数据中提取预定发音人的语音数据；

语音识别步骤，将所述预定发音人的语音数据识别为文本；

文本标注步骤，对所述文本进行标注；

其中所述语音提取步骤包括：

声纹特征提取步骤，提取收集的数据中的语音声纹特征序列；

第一计算步骤，计算所述语音声纹特征序列与背景模型的第一似然度；

第二计算步骤，计算所述语音声纹特征序列与预定发音人的说话人声纹模型的第二似然度；

第一判别步骤，将所述第二似然度与所述第一似然度之比大于第一阈值的语音数据确定为预定发音人的语音数据。

11.如权利要求10所述的语音合成方法，其中还包括用于在满足第一预定条件时更新预定发音人语音库的第一更新步骤。

12.如权利要求10所述的语音合成方法，其中还包括用于在满足第二预定条件时采用自适应算法的第二更新步骤。

说明书

语音库生成设备及其方法、语音合成系统及其方法

技术领域

[0001] 本发明涉及语音合成技术领域，更具体地，涉及一种语音库生成设备及其方法，以及一种语音合成系统及其方法，实现了自动收集预定的语音数据，以及提供特定发音人的合成的语音。

背景技术

[0002] 实现人机之间人性化、智能化的有效交互，构建高效自然的人机交流环境，已经成为当前信息技术应用和发展的迫切需求。作为语音技术中十分实用的一项重要技术，语音合成技术，或称文语转换技术TTS(Text-To-Speech)，将文字信息转化为自然的语音信号，实现任意文本的实时转换。它赋予计算机像人一样自如说话的能力，改变了传统通过录音回放实现机器开口说话的繁琐操作，并节省了系统存储空间，在信息交互日益增多的当今特别是在信息内容需要经常变动的动态查询应用方法中发挥了越来越重要的作用。

[0003] 计算机技术和数字信号处理技术的发展促成了语音合成技术的发展和实际应用。基于单元挑选的波形拼接语音合成方法由于计算机运算能力和存储容量的提高运用了更大规模的音库及引入更精细的单元挑选策略，在很大幅度上提高了合成语音的音质，音色和自然度。而另一主流语音合成技术，基于隐马尔可夫模型(hidden Markov model，HMM)的参数语音合成方法，也因其更好的鲁棒性能和推广性获得很多研究人员的推崇。作为语音合成系统重要组成部分的音库，其质量如数据规模，精细度，自然度以及准确度等对语音合成系统性能有着重要影响。在基于单元挑选的波形拼接语音合成方法中，系统根据输入文本信息直接从标注好的语音库中挑选合适的单元(音节、音素、状态、帧等)并拼接得到连续语音段。显然当语料库中样本单元数量过少或语境环境单一时，很可能出现挑选不到合适单元的情况，导致合成效果急剧下降；而在基于隐马尔可夫模型(hidden Markov model，HMM)的参数语音合成方法中，系统首先对语音信号进行参数化分解并建立各参数对应的统计模型，随后在合成时利用训练得到的统计模型预测待合成文本的语音参数，并恢复最终的合成语音。当标注音库规模过小或者没有正确标注时，其模型精确度将得不到有效保障，进而造成合成效果的明显下降。

[0004] 传统合成系统音库的构建需要经过设计、录音、标注等三个阶段。首先在设计阶段，研究人员在收集大量的语料文本后通过考察音素覆盖率人工筛检得到合适的录音语料。随后在录音阶段寻找嗓音良好、发音标准、具有一定播音功底的发音人，在专业录音棚的录制环境下完成所述录音语料的音库录制。最后在标注阶段由专业标注人员对录制的音库语音数据完成文本修订、音段切分、韵律标注等处理。可以看出，传统语音合成系统中音库构建主要依赖人工操作，需要安排专业录音人员选择对韵律和音段进行手工标注，其构建所需工作量较大，制作周期较长，因而音库规模往往受限。另一方面由于音库的录制标注工作对技术专业要求较高，语音合成系统往往只能提供有限特定的若干发音人音色，难以响应多样化的应用需求。总之，构建传统音库需要大量的人力和工作量，且难以适应网络时代定制化和个性化需求的问题。

发明内容

[0005] 为了解决上述问题，提出了本发明。本发明的目的是提出一种语音库生成设备及语音库生成方法，以及一种语音合成系统和语音合成方法。根据本发明的语音库生成设备可以通过自动收集特定发音人的语音数据生成语音库。由于采用自动收集的方式而无需人工收集特定发音人的语音，语音库规模较大，从而语音合成系统通过采用所述语音库可以提供适用于特定发音人的语音合成，且语音合成系统性能得到了提高。

[0006] 根据本发明第一方面，提供了一种语音库生成设备，包括：语音提取装置，用于从收集的数据中提取预定发音人的语音数据；语音识别装置，用于将所述预定发音人的语音数据识别为文本；文本标注装置，用于对所述文本进行标注。

[0007] 根据本发明第二方面，提供了一种语音库生成方法，包括：语音提取步骤，从收集的数据中提取预定发音人的语音数据；语音识别步骤，将所述预定发音人的语音数据识别为文本；文本标注步骤，对所述文本进行标注。

[0008] 根据本发明第三方面，提供了一种语音合成系统，包括：分词装置，用于对输入的文本进行分词；查找装置，用于根据分词结果查找预定发音人语音库中与文本对应的至少一个预定发音人的语音片段；选择装置，用于从查找的预定发音人的语音片段中选择最优的语音片段；以及合成装置，用于将挑选的语音片段拼接以合成连续的预定发音人的语音序列。

[0009] 根据本发明第四方面，提供了一种语音合成方法，包括：分词步骤，对输入的文本进行分词；查找步骤，根据分词结果查找语音库中与文本对应的至少一个预定发音人的语音片段；选择步骤，从查找的预定发音人的语音片段中选择最优的语音片段；以及合成步骤，将挑选的语音片段拼接以合成连续的预定发音人的语音序列。

[0010] 由于本发明通过从网络世界中海量非专业级语音数据中收集有效数据并通过自动处理，生成了语音库，节约了大量的人力成本，缩短语音合成系统的构建周期以及方便对其更新。

附图说明

[0011] 从下面结合附图的详细描述中，本发明的上述特征和优点将更明显，[0012] 其中：

[0013] 图1是根据本发明的语音库生成设备的示意图；

[0014] 图2是预处理装置的一个示例；

[0015] 图3是根据本发明的语音库生成设备生成语音库的流程图；

[0016] 图4是数据信号预处理方法的流程图；

[0017] 图5是根据本发明的语音提取方法的流程图；

[0018] 图6是根据本发明的语音识别方法的流程图；

[0019] 图7是根据本发明语音合成系统的示意图；

[0020] 图8示出了根据本发明的语音合成方法的流程图。

具体实施方式

[0021] 下面，参考附图详细说明本发明的优选实施方式。在附图中，虽然示于不同的附图中，但相同的附图标记用于表示相同的或相似的组件。为了清楚和简明，包含在这里的已知的功能和结构的详细描述将被省略，否则它们将使本发明的主题不清楚。

[0022] 图1示出了根据本发明的语音库生成设备的方框图。语音库生成设备包括用于对原始收集的数据进行预处理的预处理装置10；用于从预处理的语音数据中提取特定发音人的语音数据的语音提取装置20；用于识别特定发音人的语音数据对应文本的语音识别装置30；对获取的文本分析获得标注信息以生成语音库的文本标注装置40和用于存储生成的语音库的存储装置(未示出)。其中，生成的语音库可以包括特定发音人的语音波形数据和其相关的标注信息。语音提取装置20包括：用于提取输入语音的语音声纹特征序列的声纹特征提取单元201；用于计算提取的语音声纹特征序列与背景模型的第一似然度的第一计算单元202；用于计算提取的语音声纹特征序列与特定发音人的说话人声纹模型的第二似然度的第二计算单元203以及比较第二似然度与第一似然度之比并将比值大于预定阈值的语音数据确定为特定发音人的语音数据的第一判别单元204。语音识别装置30包括：用于从特定发音人的语音数据中提取语音声学参数并解码为文本的识别单元301；用于计算解码的置信度的置信度计算单元302和将置信度大于预定阈值的数据判断为有效文本的第二判别单元303。

[0023] 图2示出了预处理装置10的一个示例。由于输入语音库生成设备的语音数据是从各种信息渠道收集，其质量参差不齐，因此需要对输入的语音数据进行预处理以获取有效的语音数据。预处理装置10包括：规整单元101；信道均衡单元102；分句处理单元103和噪音去除单元104。预处理装置10可以采用现有技术实现。此外，预处理装置10可以包括音频视频分离单元(未示出)，用于对收集到的视频文件进行音频视频分离转录其中的音轨数据以获得语音数据。

[0024] 下面将参考图3-图6具体描述本发明的语音库生成设备如何生成语音库的处理流程。

[0025] 图3示出了根据本发明的语音库生成设备生成语音库的示意处理流程。输入语音库生成设备的语音数据可以是从各种信息渠道海量非专业级语音数据中收集的数据，例如，从丰富的网络资源或电视、广播等渠道收集的各种音频、视频数据，如影视剧、有声小说、电话留言。

[0026] 由于原始收集的音视频信号来源复杂，质量也参差不齐，在步骤S60，预处理装置10对收集的音视频信号执行预处理，以提取有效的语音数据。

[0027] 在步骤S61，语音提取装置20从收集的多人的语音数据中提取特定发音人的语音数据。通常为了提高合成语音的可懂度及自然度，构建语音库时需要考虑对某些特定发音人的合成语音提供支持，本发明可以采用声纹识别等技术对语音的发音人身份进行判断，获得所述特定发音人的语音数据。

[0028] 在步骤S62，语音识别装置30将特定发音人的语音数据识别为文本。特别的，为了确保语音识别(转写)的准确性，本发明提出一种基于置信度判别的算法，在对语音信号通过语音识别等技术进行识别后进一步计算该识别的置信度。只有当该置信度高于预定阈值时该语音信号才被判定为有效语音数据。

[0029] 在步骤S63，文本标注装置40对有效语音数据通过文本分析，获取上下文韵律等标注信息作为文本的标注。

[0030] 由于输入语音库生成设备的语音数据是从各种信息渠道收集，其质量参差不齐，因此需要对输入的语音数据进行预处理以提高采集数据的质量。图4具体示出了数据信号预处理方法的流程图。

[0031] 首先在步骤S70，规整单元101需要对收集的信号进行格式和能量的规整。具体的，对收集到的各种语音数据做格式和能量的规整，比如转成16k，16bit wav格式等。可选地，音频视频分离单元可以收集视频文件中的语音数据，对收集到的视频文件进行音视频分离转录其中的音轨数据以获得语音数据。

[0032] 之后，在步骤S71，信道均衡单元102对规整的数据执行信道均衡等处理以减少噪音对语音信号的干扰，提高语音数据质量。原始收集的数据由于来源信道不同或在不同环境下录制，语音听感差异往往较大。对此本发明采用信道均衡技术，将任意批次的数据信道均衡处理到预先指定的某个批次数据的听感感觉上。

[0033] 在步骤S72，分句处理单元103利用端点检测技术对收集到的语音数据分句处理。可以通过对语音信号的短时能量和短时过零率等进行分析，将连续的语音信号分割成独立的语音片断和非语音片断，并标定每一段人声语音的起始位置。

[0034] 在步骤S73，噪音去除单元104删除收集数据中无意义的噪音段。根据步骤S72的端点检测结果，对界定为非纯净人声的声音标定为噪声或静音段直接丢弃。

[0035] 在对收集的数据预处理之后，语音提取装置提取语音数据。图5示出了根据本发明的语音提取装置提取语音数据的方法的流程图。为了提高合成语音的可懂度及自然度，语音库可以支持特定发音人的合成语音。例如，特定发音人可以是预定的，也可以由用户指定。预定的特定发音人可以是名人，卡通人物等公众人物，用户指定的特定发音人可以是用户喜爱的特定人物等。

[0036] 语音提取装置20采用了声纹识别等技术对语音发音人的身份进行判断，通过分别计算作为收集的语音数据所对应的语音段的声纹特征序列和特定发音人声纹模型的匹配得分以及该声纹特征序列和背景模型的匹配得分的比值，确认其和预定阈值的大小关系，以确定收集的语音数据的有效性。

[0037] 具体地，在步骤S80，声纹特征提取单元201从预处理的语音数据中提取语音声纹特征序列。该声纹特征序列包含一组声纹特征，可以有效地区分不同的说话人，且对同一说话人的变化保持相对稳定。所述声纹特征主要有：谱包络参数语音特征，基音轮廓、共振峰频率带宽特征，线性预测系数，倒谱系数等。考虑到上述声纹特征的可量化性、训练样本的数量和系统性能的评价等问题，可以选用Mel频率倒谱系数MFCC(Mel Frequency Cepstrum Coefficient，)特征，对窗长25ms帧移10ms的每帧语音数据做短时分析得到MFCC参数及其一阶二阶差分，共计39维。从而将每句语音信号量化为一个39维声纹特征矢量序列X。

[0038] 在步骤S81，第一计算单元202计算所述声纹特征序列与背景模型(UBM)(Universal Background Model)的似然度。具体的，本发明设定背景模型为GMM(Guassian Mixture Model)模型并计算帧数为T的声纹特征矢量序列X相应于背景模型的似然度为：

[0039]

[0040] 其中，cm是第m个高斯的加权系数，满足 μm以及∑m分别是第m个高斯的均值和方差；M是系统预先设置的混合高斯模型的高斯数，例如，可以选择1024，2048等数值。其中N(.)满足正态分布，用于计算t时刻的声纹特征矢量Xt在单高斯分量上的似然度：

[0041]

[0042] 在步骤S82，第二计算单元203计算所述声纹特征序列与特定发音人的说话人声纹模型的似然度。特定发音人的说话人模型预先通过收集若干句特定发音人的语音片段训练得到，例如，30秒(s)的语音片段。同样的根据公式(1)计算声纹特征序列和特定发音人的说话人模型的似然度：

[0043]

[0044] 这里的说话人模型U为用户声纹模型，具有和背景模型不同的模型参数，包括高斯的加权系数cm，μm以及∑m等。

[0045] 需要说明的是，背景模型和用户声纹模型还可以采用其他统计模型，如HMM(Hidden Markov Model)模型，NN(Neural Network)等，在此不作赘述。

[0046] 在步骤S83，第一判别单元204根据所述声纹特征序列与特定发音人的说话人模型的似然度、以及所述声纹特征序列与背景模型的似然度，计算似然比；

[0047] 似然比为：

[0048] 其中，p(X|U)为所述声纹特征序列与特定发音人的说话人模型的似然度，p(X|UBM)为所述声纹特征序列与背景模型的似然度。

[0049] 在步骤S84：第一判别单元204判断计算的似然比是否大于预定阈值，若是，则该语音数据为特定发音人的语音数据，否则为非特定发音人的语音数据。一般来说，域值设置越大则对所述语音质量要求越高，要求该语音信号的发音特点和预设特定发音人声学模型越类似。其中，可选地，本案在似然度Log域计算的设置下，可以相应设置该阈值为一大于等于0.5的数值。在生成语音库时，可以根据需求在所述阈值中进行选择，以满足不同用户对合成效果的要求。

[0050] 此外，本发明还可利用得到的特定发音人高置信度数据重新训练特定发音人模型，提升声纹识别的整体精度，从而将语音生成库应用在语音合成系统上以改善语音合成系统的效果。

[0051] 所述的训练特定发音人模型的方法为：以原特定发音人声纹模型为种子模型，利用收集的预处理的语音声纹特征数据采用自适应算法更新模型参数。自适应算法例如采用最大似然回归MLLR(Maximum likelihood linear regression)，最大后验概率回归MAPLR(Maximum a posterior linear regression)。

[0052] 其中，新高斯均值 计算为样本统计量和原始高斯均值的加权平均，即：

[0053]

[0054] 其中，xt表示第t帧声纹特征，γm(xt)表示第t帧声纹特征落于第m个高斯的概率，τ是遗忘因子，用于平衡历史均值以及样本对新均值的更新力度。一般来说，τ值越大，则新均值主要受原始均值制约。而若τ值较小，则新均值主要由样本统计量决定，更多的体现了新样本分布的特点。

[0055] 在获取了特定发音人的语音数据之后，为了提高文本转写的正确率，本发明采用基于置信度判别的识别算法，只有当置信度高于预定阈值时才保存转写的文本。

[0056] 图6是根据本发明的语音识别方法的流程图。参考图6，在S90，识别单元301从特定发音人的语音数据提取语音声学参数，将所述参数通过声学模型和语言模型的解码，输出最终识别文本转写。所述语音声学参数可以为语音识别领域常用的MFCC特征，以及可以通过采用各种传统经典算法实现语音识别，如Token passing算法，基于加权有限状态转换器WFST(Weighted Finite-State Transducers)的解码等。

[0057] 之后，在步骤S91：置信度计算单元302计算解码的置信度。具体地，利用识别结果及竞争结果计算后验概率作为置信度。其中，识别结果是指在LVCSR解码中具有最大相似度的路径，即最优字词集合，竞争结果是指LVCSR解码中具有次优相似度的多条路径，即次优字词集合，也就是得分和最优结果接近的混淆解码结果。依据贝叶斯公式，语音X对应识别文本为W时的后验概率P(W|X)：

[0058]

[0059] 其中先验概率P(W)和识别文本对应的声学似然度P(X|W)分别可以从语音模型和声学模型得到。Ω为辅助解码空间，包含有全部的解码路径，Wi代表Ω中某条具体的竞争路径。

[0060] 在步骤S92，第二判别单元303判断所述置信度是否大于预定阈值，如果是，则保存转写的文本；否则丢弃转写的文本及其对应的语音数据。其中该置信度阈值可以根据需要设置。

[0061] 由于本发明采用了基于置信度判别的算法，在对语音信号通过语音识别技术进行转写后进一步计算该识别的置信度以选择文本内容，从而提高了文本转写的准确性。

[0062] 在获得了特定发音人的识别文本之后，文本标注装置40对所述语音识别文本通过前端韵律分析等技术获取文本的发音序列(中文声韵母，英文音素)，韵律分词、词性，重音，句末调型等信息作为发音序列的上下文标注。例如，语音生成系统利用字词表得到汉字文本的拼音序列或英文单词的音素序列。随后通过分析文本的韵律层次获取语句的韵律分词结果。比如在基于最长匹配原则下利用语言模型对“南京市长江大桥”进行正向和逆向两遍解码，得到概率最高的韵律分词结果“南京市”“长江大桥”。最后考虑结合语言模型的频度和词性等信息，对中文的多音字和英文的重读、句末升降调类型做出判定。

[0063] 虽然图1示出的根据本发明的语音库生成设备包括：预处理装置10；语音提取装置20；语音识别装置30、文本标注装置40和存储装置。但是，很显然，根据本发明的语音库生成设备可以包括：语音提取装置20；语音识别装置30和文本标注装置40。

[0064] 由于语音库生成设备通过自动操作流程对原始收集数据分类、识别，生成语音库，一方面，本发明可以从海量的原始数据中自动收集所需数据；另一方面，本发明可以提供丰富的特定发音人的语音。

[0065] 可以将本发明的语音库应用到语音合成系统，由于该语音库提供特定发音人的语音，语音合成系统可以实现将用户输入的文本合成为特定发音人的语音，且该特定发音人的语音可以由用户定制。从而，通过以自动收集海量数据并提取特定发音人的语音节省了大量的人力成本，缩短语音合成系统的构建过程，也提高了用户与语音合成系统的交互便捷性。

[0066] 图7示出了应用本发明语音库生成设备生成的语音库的语音合成系统的方框图。语音合成系统2包括对输入的文本进行分词的分词装置50；根据分词结果查找语音库54中与文本对应的至少一个特定发音人的语音片段的查找装置51；从查找的特定发音人的语音片段中选择最优的语音片段的选择装置52；以及将挑选的语音片段拼接以合成连续的特定发音人的语音序列的合成装置53。语音合成系统还包括通信装置以及存储装置(未示出)。
可选地，语音合成系统包括第一更新装置以及第二更新装置。在语音生成设备收集到的语音数据累积量初次满足语音合成系统构建的预定条件时，例如，语音数据语料内容覆盖率满足基本的语音合成系统需求，包括所有基本音节单元时，语音生成设备生成语音库，语音合成系统基于该语音库实现语音合成系统的构建。在语音合成系统采用的语音库满足该系统预定更新条件时，例如，在更新时间满足预定时间或者更新数据量达到一定规模时，第一更新装置对语音库自动更新，第二更新装置利用更新的语音库通过各种自适应算法实现对语音合成系统的更新，从而提高了系统的性能并节省了人力。例如，通过持续的数据收集，使特定发音人语音数据规模扩大30％以上时第二更新装置更新语音合成系统，通过新增数据的自适应方式更新合成系统的统计预测模型。

[0067] 图8示出了根据本发明语音合成方法的流程图。首先，在步骤S501，语音合成系统接收用户输入的文本。在步骤S502，分词装置50对文本进行分词，将文本切分到词的级别或者单字。在步骤S503，查找装置51根据分词结果查找语音库中与文本对应的至少一个特定发音人的语音片段。在步骤S504，选择装置52从查找的语音片段中选择最优的特定发音人的语音片段。可以根据语音合成系统的预定规则来挑选最优化的特定发音人的语音片段。在步骤S505，合成装置53将挑选的语音片段拼接以合成连续的特定发音人的语音序列。在步骤S506，语音合成系统将合成的语音序列输出为特定发音人的语音。

[0068] 上面的描述仅用于实现本发明的实施方式，本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均应该属于本发明的权利要求来限定的范围，因此，本发明的保护范围应该以权利要求书的保护范围为准。