基频提取方法和装置

摘要

本申请实施例公开了基频提取方法和装置。该方法的一具体实施方式包括：基于待处理语音信号的声学特征，提取待处理语音信号中各语音帧的候选基频点；对语音帧进行清浊音分类，得到各语音帧对应的清浊音类别；基于各语音帧对应的清浊音类别以及预设的基频筛选条件对候选基频点进行修正，并采用动态规划算法从修正后的候选基频点中确定出待处理语音信号的基频序列。该实施方式提升了基频提取的准确性。

权利要求

1.一种基频提取方法，包括：

基于待处理语音信号的声学特征，提取待处理语音信号中各语音帧的候选基频点；

对所述语音帧进行清浊音分类，得到各所述语音帧对应的清浊音类别；

基于各所述语音帧对应的清浊音类别以及预设的基频筛选条件对所述候选基频点进行修正，并采用动态规划算法从修正后的候选基频点中确定出所述待处理语音信号的基频序列；

其中，所述基于各所述语音帧对应的清浊音类别以及预设的基频筛选条件对所述候选基频点进行修正，包括：根据所述基频筛选条件，确定基频候选区间；

基于各语音帧的清浊音类别对所述基频候选区间进行修正，得到修正后的基频候选区间，并根据修正后的基频候选区间对候选基频点进行修正。

2.根据权利要求1所述的方法，其中，所述对所述语音帧进行清浊音分类，得到各所述语音帧对应的清浊音类别，包括：将提取出的所述待处理语音信号的声学特征输入已训练的清浊音分类模型，得到所述待处理语音信号中各语音帧对应的清浊音分类结果。

3.根据权利要求2所述的方法，其中，所述方法还包括：基于已标注所包含的各语音帧的清浊音类别信息的样本语音信号，训练得出所述已训练的清浊音分类模型。

4.根据权利要求1所述的方法，其中，所述基于待处理语音信号的声学特征，提取待处理语音信号中各语音帧的候选基频点，包括：对所述待处理语音信号进行降采样；

对降采样后的待处理语音信号中的语音帧，基于所述声学特征计算互相关函数的峰值点，根据所述峰值点确定降采样后的待处理语音信号对应的候选基频点；

将降采样后的待处理语音信号对应的候选基频点映射至所述待处理语音信号中，得到所述待处理语音信号中各语音帧的候选基频点。

5.根据权利要求1-4任一项所述的方法，其中，所述根据所述基频筛选条件，确定基频候选区间，包括：根据各语音帧的候选基频点的分布特征，确定基频候选区间；以及所述根据修正后的基频候选区间对候选基频点进行修正，包括：将不在所述修正后的基频候选区间中的目标候选基频点替换为所述目标候选基频点所对应的语音帧中的其他候选基频点，得到修正后的候选基频点。

6.一种基频提取装置，包括：

提取单元，被配置为基于待处理语音信号的声学特征，提取待处理语音信号中各语音帧的候选基频点；

分类单元，被配置为对所述语音帧进行清浊音分类，得到各所述语音帧对应的清浊音类别；

确定单元，被配置为基于各所述语音帧对应的清浊音类别以及预设的基频筛选条件对所述候选基频点进行修正，并采用动态规划算法从修正后的候选基频点中确定出所述待处理语音信号的基频序列；

其中，所述确定单元被配置为按照如下方式对所述候选基频点进行修正：根据所述基频筛选条件，确定基频候选区间；

基于各语音帧的清浊音类别对所述基频候选区间进行修正，得到修正后的基频候选区间，并根据修正后的基频候选区间对候选基频点进行修正。

7.根据权利要求6所述的装置，其中，所述分类单元进一步被配置为按照如下方式对所述语音帧进行清浊音分类，得到各所述语音帧对应的清浊音类别：将提取出的所述待处理语音信号的声学特征输入已训练的清浊音分类模型，得到所述待处理语音信号中各语音帧对应的清浊音分类结果。

8.根据权利要求7所述的装置，其中，所述装置还包括：训练单元，被配置为基于已标注所包含的各语音帧的清浊音类别信息的样本语音信号，训练得出所述已训练的清浊音分类模型。

9.根据权利要求6所述的装置，其中，所述提取单元进一步被配置为基于待处理语音信号的声学特征，按照如下方式提取待处理语音信号中各语音帧的候选基频点：对所述待处理语音信号进行降采样；

对降采样后的待处理语音信号中的语音帧，基于所述声学特征计算互相关函数的峰值点，根据所述峰值点确定降采样后的待处理语音信号对应的候选基频点；

将降采样后的待处理语音信号对应的候选基频点映射至所述待处理语音信号中，得到所述待处理语音信号中各语音帧的候选基频点。

10.根据权利要求6-9任一项所述的装置，其中，所述确定单元进一步被配置为：根据各语音帧的候选基频点的分布特征，确定基频候选区间；

以及所述确定单元进一步被配置为按照如下方式对候选基频点进行修正：将不在所述修正后的基频候选区间中的目标候选基频点替换为所述目标候选基频点所对应的语音帧中的其他候选基频点，得到修正后的候选基频点。

11.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。

说明书

基频提取方法和装置

技术领域

[0001] 本申请实施例涉及计算机技术领域，具体涉及语音合成领域，尤其涉及基频提取方法和装置。

背景技术

[0002] 语音合成是通过机械或电子的方法产生合成语音的技术。语音合成技术中，需要对文本进行分词、确定文本的读音，预测语音信号的声学特征，并根据预测出的声学特征合成语音信号。

[0003] 基频是基音周期的倒数，基音周期则是声带每开启和关闭一次的时长。基频是语音合成中重要的声学特征，基频提取的准确与否直接影响语音合成中声学建模的准确性。

发明内容

[0004] 本申请实施例提出了基频提取方法和装置。

[0005] 第一方面，本申请实施例提供了一种基频提取方法，包括：基于待处理语音信号的声学特征，提取待处理语音信号中各语音帧的候选基频点；对语音帧进行清浊音分类，得到各语音帧对应的清浊音类别；基于各语音帧对应的清浊音类别以及预设的基频筛选条件对候选基频点进行修正，并采用动态规划算法从修正后的候选基频点中确定出待处理语音信号的基频序列。

[0006] 在一些实施例中，上述对语音帧进行清浊音分类，得到各语音帧对应的清浊音类别，包括：将提取出的待处理语音信号的声学特征输入已训练的清浊音分类模型，得到待处理语音信号中各语音帧对应的清浊音分类结果。

[0007] 在一些实施例中，上述方法还包括：基于已标注所包含的各语音帧的清浊音类别信息的样本语音信号，训练得出已训练的清浊音分类模型。

[0008] 在一些实施例中，上述基于待处理语音信号的声学特征，提取待处理语音信号中各语音帧的候选基频点，包括：对待处理语音信号进行降采样；对降采样后的待处理语音信号中的语音帧，基于声学特征计算互相关函数的峰值点，根据峰值点确定降采样后的待处理语音信号对应的候选基频点；将降采样后的待处理语音信号对应的候选基频点映射至待处理语音信号中，得到待处理语音信号中各语音帧的候选基频点。

[0009] 在一些实施例中，上述基于各语音帧对应的清浊音类别以及预设的基频筛选条件对候选基频点进行修正，包括：根据各语音帧的候选基频点的分布特征，确定基频候选区间；基于各语音帧的清浊音类别对基频候选区间进行修正，得到修正后的基频候选区间；将不在修正后的基频候选区间中的目标候选基频点替换为目标候选基频点所对应的语音帧中的其他候选基频点，得到修正后的候选基频点。

[0010] 第二方面，本申请实施例提供了一种基频提取装置，包括：提取单元，被配置为基于待处理语音信号的声学特征，提取待处理语音信号中各语音帧的候选基频点；分类单元，被配置为对语音帧进行清浊音分类，得到各语音帧对应的清浊音类别；确定单元，被配置为基于各语音帧对应的清浊音类别以及预设的基频筛选条件对候选基频点进行修正，并采用动态规划算法从修正后的候选基频点中确定出待处理语音信号的基频序列。

[0011] 在一些实施例中，上述分类单元进一步被配置为按照如下方式对语音帧进行清浊音分类，得到各语音帧对应的清浊音类别：将提取出的待处理语音信号的声学特征输入已训练的清浊音分类模型，得到待处理语音信号中各语音帧对应的清浊音分类结果。

[0012] 在一些实施例中，上述装置还包括：训练单元，被配置为基于已标注所包含的各语音帧的清浊音类别信息的样本语音信号，训练得出已训练的清浊音分类模型。

[0013] 在一些实施例中，上述提取单元进一步被配置为基于待处理语音信号的声学特征，按照如下方式提取待处理语音信号中各语音帧的候选基频点：对待处理语音信号进行降采样；对降采样后的待处理语音信号中的语音帧，基于声学特征计算互相关函数的峰值点，根据峰值点确定降采样后的待处理语音信号对应的候选基频点；将降采样后的待处理语音信号对应的候选基频点映射至待处理语音信号中，得到待处理语音信号中各语音帧的候选基频点。

[0014] 在一些实施例中，上述确定单元进一步被配置为基于各语音帧对应的清浊音类别以及预设的基频筛选条件，按照如下方式对候选基频点进行修正：根据各语音帧的候选基频点的分布特征，确定基频候选区间；基于各语音帧的清浊音类别对基频候选区间进行修正，得到修正后的基频候选区间；将不在修正后的基频候选区间中的目标候选基频点替换为目标候选基频点所对应的语音帧中的其他候选基频点，得到修正后的候选基频点。

[0015] 第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面提供的基频提取方法。

[0016] 第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现第一方面提供的基频提取方法。

[0017] 本申请上述实施例的基频提取方法和装置，通过基于待处理语音信号的声学特征，提取待处理语音信号中各语音帧的候选基频点；对语音帧进行清浊音分类，得到各语音帧对应的清浊音类别；基于各语音帧对应的清浊音类别以及预设的基频筛选条件对候选基频点进行修正，并采用动态规划算法从修正后的候选基频点中确定出待处理语音信号的基频序列，能够对候选基频点中不合理的点进行有效过滤，降低了倍频、半频的错误率，提升了基频提取的准确性。

附图说明

[0018] 通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

[0019] 图1是本申请实施例可以应用于其中的示例性系统架构图；

[0020] 图2是根据本申请的基频提取方法的一个实施例的流程图；

[0021] 图3是根据本申请的基频提取方法的另一个实施例的流程图；

[0022] 图4是本申请的基频提取装置的一个实施例的结构示意图；

[0023] 图5是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

[0024] 下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

[0025] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

[0026] 图1示出了可以应用本申请的基频提取方法或基频提取装置的示例性系统架构。

[0027] 如图1所示，系统架构100可以包括终端设备101、102、103，网络104、以及服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

[0028] 用户110可以使用终端设备101、102、103通过网络104与服务器105互，以接收或发送消息等。终端设备101、102、103上可以安装有各种语音交互类应用。

[0029] 终端设备101、102、103可以是具有音频输入接口和音频输出接口并支持互联网访问的各种电子设备，包括但不限于智能手机、平板电脑、智能手表、电子书、智能音箱等。

[0030] 服务器105可以是为语音服务提供支持的语音服务器，服务器105可以接收终端设备101、102、103发送的语音信号，对语音信号进行基频等声学特征的提取，还可以接收终端设备101、102、103发送的语音交互请求，对语音交互请求进行解析，根据解析结果查找相应的文本数据，并基于基频等声学特征进行语音合成，将生成的语音响应信号返回给终端设备101、102、103。终端设备101、102、103可以输出语音响应信号。

[0031] 需要说明的是，本申请实施例所提供的基频提取方法可以由终端设备101、102、103或服务器105执行，相应地，基频提取装置可以设置于终端设备101、102、103或服务器
105中。

[0032] 应该理解，图1中的终端设备、网络、服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、服务器。

[0033] 继续参考图2，其示出了根据本申请的基频提取方法的一个实施例的流程200。该基频提取方法，包括以下步骤：

[0034] 步骤201，基于待处理语音信号的声学特征，提取待处理语音信号中各语音帧的候选基频点。

[0035] 在本实施例中，基频提取方法的执行主体(例如图1所示的终端设备或服务器)可以获取待处理语音信号。待处理语音信号可以是由时序上连续的多个语音帧组成的信号。在实践中，待处理语音信号可以是一段自然语音信号，可以是采集的人在说话时的产生的语音信号。

[0036] 可以对待处理语音信号进行声学特征提取，具体可以对待处理语音信号的时域信号和/或频域信号进行各类声学特征的计算。在这里，声学特征可以包括但不限于以下至少一项：自相关函数、互相关函数、短时平均幅度差函数。还可以包括自相关函数和/或互相关函数的以下至少一项：过零率、能量、峰值、峰值率。声学特征还可以包括频域的特征，例如倒谱系数等。

[0037] 可以基于单位时间内自相关函数或互相关函数的过零率、峰值率的统计结果来确定基频点作为候选基频点，或者基于短时平均幅度差函数与基音周期的一致性来提取候选基频点；也可以基于频域特征采用小波变换、频域滤波器等来提取候选基频点。

[0038] 在本实施例的一些可选的实现方式中，可以基于待处理语音信号的声学特征，按照如下方式提取各语音帧的候选基频点：首先，对待处理语音信号进行降采样；对降采样后的待处理语音信号中的语音帧，基于声学特征计算互相关函数的峰值点，根据峰值点确定降采样后的待处理语音信号对应的候选基频点；最后将降采样后的待处理语音信号对应的候选基频点映射至待处理语音信号中，得到待处理语音信号中各语音帧的候选基频点。

[0039] 对于降采样后的待处理语音信号中的每一帧，确定当前帧的相对振幅和在降采样后的待处理语音信号中的相对位置、计算当前帧与前一帧的相关度，得到互相关函数。在互相关函数中取若干个峰值点作为每一帧的基频候选值。对每一个基频候选值进行质量评估，例如可以判断该候选值是否与其他候选值的差异超过一定范围，若是则确定该候选值质量较差。可以根据质量评估结果对基频候选值进行筛选，例如将质量较差的候选值删除。还可以根据上述声学特征粗略估计每一帧的清浊音类别，删除清音对应的帧的基频候选值。

[0040] 可选地，还可以根据基频的连续性对基频候选值进行筛选。通常一个音节或音素包含多个语音帧，连续的多个语音帧的基频不会发生较大幅度的波动，也即基频在时序上具有一定的连续性。可以将在预设的时间段内发生超过预设范围波动的基频候选值剔除，避免这些异常的候选值对基频提取准确度的影响。

[0041] 之后，可以将降采样后的待处理语音信号对应的候选基频点映射至原采样率的待处理语音信号中，得到原采样率的待处理语音信号中各语音帧的候选基频点。降采样后的待处理语音信号的一个候选基频点在原采样率的待处理语音信号中对应一个区间，可以在该区间中选择一个点作为降采样后的待处理语音信号映射至原采样率的待处理语音信号中的基频点，即作为原采样率的待处理语音信号的一个候选基频点。

[0042] 由于互相关运算涉及较多耗时长的乘法运算，通过对待处理语音信号降采样，对降采样的语音信号做互相关运算，确定出基频点之后映射至原采样率的待处理语音信号中，可以减小运算量，提升计算速度。

[0043] 步骤202，对语音帧进行清浊音分类，得到各语音帧对应的清浊音类别。

[0044] 在本实施例中，可以确定待处理语音信号中的各语音帧的清浊音类别。在这里，清浊音类别用于表征该语音帧对应的音节或音素为清音或浊音。

[0045] 清浊音类别是基于发音时声带的震动进行分类的，发音时声带振动的音为浊音，浊音的发音具有周期特性，因而具有基频；发音时声带不振动的音为清音，清音的发音不具有周期特性，因而不具有基频。

[0046] 在本实施例中，可以采用多种方法确定待处理语音信号中的语音帧的清浊音类别。在一些可选的实现方式中，可以基于语音信号在时域中的短时能量、过零率等参数分辨清音和浊音。由于清音的短时能量较小，浊音的短时能量较大，可以通过设定短时能量阈值来区分清音和浊音。具体可以判断语音帧的短时能量是否超过该阈值，若语音帧的短时能量超过该阈值，则确定该语音帧为浊音，否则确定该语音帧为浊音。清音的过零率较高，而浊音的过零率较低，类似地，也可以通过设定过零率的阈值来区分清音和浊音。

[0047] 在另一些可选的实现方式中，可以基于自相关函数的短时能量变化来区分清音和浊音。自相关函数的短时能量变化较小的为清音，自相关函数的短时能量变化较大的为浊音。浊音的周期内平均幅度差函数值会迅速下降，而清音的短时平均幅度差函数不会快速下降，还可以根据清音和浊音的短时平均幅度差函数是否在短时内快速下降来识别清音和浊音。

[0048] 在本实施例的一些可选的实现方式中，可以按照如下方式对待处理语音信号中的语音帧进行清浊音分类，得到各语音帧对应的清浊音类别：将提取出的待处理语音信号的声学特征输入已训练的清浊音分类模型，得到待处理语音信号中各语音帧对应的清浊音分类结果。也就是说，可以预先构建训练集训练一个清浊音分类模型，学习语音信号的声学特征到对应的语音帧的清浊音类别的分布。将提取出的声学特征输入已训练的清浊音分类模型，可以得到待处理语音信号中各语音帧的清浊音类别。

[0049] 步骤203，基于各语音帧对应的清浊音类别以及预设的基频筛选条件对候选基频点进行修正，并采用动态规划算法从修正后的候选基频点中确定出待处理语音信号的基频序列。

[0050] 其中，预设的基频筛选条件可以包括基频的上下边界约束条件和/或基频的连续性约束条件。基频的上下边界可以是根据人类发音的基频统计结果确定的，例如正常人的基频范围大约为50Hz-600Hz，其中成年人的基频大约为50Hz-400Hz。则可以根据该筛选规则确定基频区间为[50Hz，600Hz]，或者[50Hz，400Hz]。

[0051] 基频的连续性是指连续的多个语音帧的基频之间的连续性，即一段语音信号中的各语音帧的基频点连接形成的曲线一般不会存在突变的峰值点。可以预先根据基频的连续性设置连续性约束条件，在候选基频点不满足该预设条件时可以将其剔除。

[0052] 在本实施例中，可以基于上述基频的特性预先设定基频筛选条件，并基于基频筛选条件和各语音帧对应的清浊音类别对步骤201得到的各语音帧的候选基频点进行修正。

[0053] 具体来说，通过步骤201可以对每一个语音帧提取出多个候选基频点。可以根据基频筛选条件确定基频可能位于的区间，构建用于滤除清音对应的基频点的过滤器，根据步骤202得到的清浊音类别过滤得到浊音的候选基频点，并将不在根据基频筛选条件确定的基频可能位于的区间内的候选基频点删除，得到修正后的候选基频点。可选地，不同语音帧的基频特性不同，可以根据基频筛选规则分别确定每一个语音帧的基频可能位于的区间，并利用步骤202得到的清浊音类别剔除清音语音帧的候选基频点，得到修正后的待处理语音信号中的各浊音语音帧的候选基频点。

[0054] 作为示例，一个语音帧的候选基频点为50Hz、70Hz、75Hz、85Hz、150Hz。根据基频连续性等基频筛选条件确定该语音帧的基频区间为[70Hz,100Hz]，且该语音帧为浊音帧，则在经过用于滤除清音对应的基频点的过滤器之后，可以将不在基频区间[70Hz,100Hz]内的候选基频点50Hz、150Hz删除，保留候选基频点70Hz、75Hz、85Hz作为该语音帧修正后的候选基频点。这样，通过预设的基频筛选规则和基于清浊音分类结果的过滤器，可以滤除非浊音帧的候选基频点以及由其他干扰音素(例如环境噪音等)产生的突变的候选基频点，降低半频、倍频的错误率。

[0055] 在得到各语音帧修正后的候选基频点之后，可以采用动态规划算法，计算候选基频点之间的连接代价，寻找出代价最小的路径。该路径所经过的候选基频点所形成的序列即为提取出的待处理语音信号的基频序列。

[0056] 本申请上述实施例的基频提取方法，通过基于待处理语音信号的声学特征，提取待处理语音信号中各语音帧的候选基频点，对语音帧进行清浊音分类，得到各语音帧对应的清浊音类别，基于各语音帧对应的清浊音类别以及预设的基频筛选条件对候选基频点进行修正，并采用动态规划算法从修正后的候选基频点中确定出待处理语音信号的基频序列，实现了对半频、倍频等候选基频点的有效过滤，能够提升基频提取的准确性。

[0057] 在一些实施例中，上述基频提取方法还可以包括基于已标注所包含的各语音帧的清浊音类别信息的样本语音信号，训练得出已训练的清浊音分类模型的步骤。可以获取已标注所包含的各语音帧的清浊音类别信息的样本语音信号来构建样本语音信号集。然后对样本语音信号进行基于自相关函数/互相关函数的过零率、相对振幅以及语音帧的相对位置等声学特征的提取，将提取出的声学特征输入待训练的清浊音分类模型，得到样本语音信号的清浊音类别的分类结果，然后将样本语音信号的清浊音类别的分类结果与对应的样本语音信号的清浊音类别信息标注进行比对，若二者的差异不满足收敛条件，则根据二者的差异调整待训练的清浊音分类模型的参数，利用调整参数后的清浊音分类模型重新对样本语音信号进行分类，循环执行判断清浊音分类模型的分类结果与样本语音信号的清浊音类别信息标注之间的差异是否满足预设的收敛条件、不满足则调整模型参数重新分类的步骤，直到调整参数后的清浊音分类模型的分类结果与语音信号的清浊音类别信息标注之间的差异满足预设的收敛条件，得到已训练的清浊音分类模型。

[0058] 可选地，上述样本语音信号所包含的语音帧的清浊音类别信息可以是由标注人员对样本语音信号的各音节或音素的清浊音类别进行标注后、将样本语音信号拆分为对应于各音节或音素的语音帧，并将该音节或音素的清浊音类别作为对应语音帧的清浊音类别信息的标注生成的。

[0059] 可选地，上述已训练的清浊音分类模型可以是基于逻辑回归的二分类模型。通过采用基于机器学习方法训练得出的清浊音分类模型对待处理语音信号中的各语音帧进行清浊音分类，可以达到较高的分类准确率。

[0060] 继续参考图3，其示出了根据本申请的基频提取方法的另一个实施例的流程图。如图3所示，本实施例的基频提取方法的流程300，包括以下步骤：

[0061] 步骤301，基于待处理语音信号的声学特征，提取待处理语音信号中各语音帧的候选基频点。

[0062] 在本实施例中，基频提取方法的执行主体(例如图1所示的终端设备或服务器)可以获取待处理语音信号，并对待处理语音信号进行声学特征提取，具体可以对待处理语音信号的时域信号和/或频域信号进行各类声学特征的计算分析。在这里，声学特征可以包括但不限于以下至少一项：自相关函数、互相关函数、短时平均幅度差函数。还可以包括自相关函数和/或互相关函数的以下至少一项：过零率、能量、峰值、峰值率。声学特征还可以包括频域的特征，例如倒谱系数等。

[0063] 可以基于单位时间内过零率、峰值率的统计来确定基频点作为候选基频点，或者基于自相关函数、短时平均幅度差函数与基音周期的一致性来提取候选基频点；也可以基于频域特征采用小波变换、频域滤波器等来提取候选基频点。

[0064] 在本实施例的一些可选的实现方式中，可以基于待处理语音信号的声学特征，按照如下方式提取各语音帧的候选基频点：首先，对待处理语音信号进行降采样；然后对降采样后的待处理语音信号中的语音帧，基于声学特征计算互相关函数的峰值点，根据峰值点确定降采样后的待处理语音信号对应的候选基频点；最后将降采样后的待处理语音信号对应的候选基频点映射至待处理语音信号中，得到待处理语音信号中各语音帧的候选基频点。

[0065] 步骤302，对语音帧进行清浊音分类，得到各语音帧对应的清浊音类别。

[0066] 在本实施例中，可以采用多种方法确定待处理语音信号中的各语音帧的清浊音类别。在这里，清浊音类别用于表征该语音帧对应的发音为清音或浊音。

[0067] 在一些可选的实现方式中，可以基于语音信号在时域中的短时能量、过零率等参数分辨清音和浊音。可以通过设定短时能量阈值和/或过零率阈值来区分清音和浊音。

[0068] 在另一些可选的实现方式中，可以基于自相关函数的短时能量变化和/或短时平均幅度差函数来区分清音和浊音。自相关函数的短时能量变化较小的为清音，自相关函数的短时能量变化较大的为浊音。浊音的周期内平均幅度差函数值会迅速下降，而清音的短时平均幅度差函数不会快速下降，可以根据清音和浊音的短时平均幅度差函数是否在短时内快速下降来识别清音和浊音。

[0069] 在一些可选的实现方式中，可以按照如下方式对待处理语音信号中的语音帧进行清浊音分类，得到各语音帧对应的清浊音类别：将提取出的待处理语音信号的声学特征输入已训练的清浊音分类模型，得到待处理语音信号中各语音帧对应的清浊音分类结果。

[0070] 可选地，在步骤302之前，基频提取方法的流程300还可以包括：基于已标注所包含的各语音帧的清浊音类别信息的样本语音信号，训练得出已训练的清浊音分类模型。具体可以获取样本语音信号及样本语音信号中各语音帧的清浊音分类的标注信息，采用机器学习算法调整待训练的清浊音分类模型的参数，使得待训练的清浊音分类模型对样本语音信号的各语音帧的清浊音分类结果与标注信息趋于一致。

[0071] 本实施例的步骤301、步骤302分别与前述实施例的步骤201、202相同，步骤301、302的具体实现方式可以分别参考前述实施例中步骤201、步骤202的具体实现方式，在此不再赘述。

[0072] 步骤303，根据各语音帧的候选基频点的分布特征，确定基频候选区间。

[0073] 基频通常具有如下分布特性：每个语音帧的候选基频通常是在一个范围较小的区间内，一个语音帧的候选基频的分布通常比较集中，离散程度较低。如果一个语音帧的两个候选基频点的差值超过设定的阈值，则可以确定其中至少一个候选基频点为不合理的基频点。

[0074] 具体来说，对于每个语音帧，可以根据所包含的基频点的分布特征得到多个基频区间，各个基频区间的端点之间的距离大于预设的阈值。例如一个语音帧的候选基频点为80Hz、82Hz、85Hz、118Hz、120Hz、125Hz、151Hz、153Hz、156Hz、158Hz，预设的基频区间的端点之间的阈值为20Hz，则可以得出三个基频区间分别为[80Hz,85Hz]、[118Hz,125Hz]、[151Hz、158Hz]。这样，当候选基频点中包含半频点或倍频点时，可以通过划分基频区间将半频点、倍频点所在区间与基频点所在的区间分割，降低半频、倍频的错误率。

[0075] 然后可以从每个语音帧的多个基频区间中筛选出一个作为该语音帧的基频候选区间。可以将自相关函数的峰值最大的候选基频点所在的区间确定为该语音帧的基频候选区间，或者可以将包含自相关函数的峰值点最多的区间确定为该语音帧的基频候选区间。

[0076] 步骤304，基于各语音帧的清浊音类别对基频候选区间进行修正，得到修正后的基频候选区间。

[0077] 在本实施例中，可以将步骤302确定的清浊音类别为清音的语音帧的候选基频点删除以修正基频候选区间，例如基频候选区间为[50Hz，100Hz]，清浊音类别为清音的语音帧的候选基频点为85Hz，则可以得到修正后的基频候选区间为[50Hz,85Hz),(85Hz,100Hz]。这样，修正后的基频候选区间包含了语音帧的清浊音信息，有助于降低在该区间内搜索出基频点的错误率。

[0078] 步骤305，将不在修正后的基频候选区间中的目标候选基频点替换为目标候选基频点所对应的语音帧中的其他候选基频点，得到修正后的候选基频点，并采用动态规划算法从修正后的候选基频点中确定出待处理语音信号的基频序列。

[0079] 可以将不在修正后的基频候选区间内的各语音帧的目标候选基频点剔除，并补入被剔除的目标候选基频点所对应的语音帧的其他候选基频点。可选地，被剔除的目标候选基频点可以是对应的语音帧中根据基频点的分布特征筛选出的最优的基频点，可以补入所对应的语音帧的次优的基频点。作为示例，若被剔除的目标候选基频点为对应的语音帧中自相关函数的峰值最大的基频点，则可以补入该语音帧的自相关函数的峰值由大到小排序第二的基频点。或者，若被剔除的目标候选基频点为对应的语音帧中自相关函数的峰值数量最多的区间内的基频点，则可以补入该语音帧的自相关函数的峰值数量第二多的区间内基频点。也就是说，可以利用其他的基频点替换不在修正后的基频候选区间内的各语音帧的目标候选基频点，得到修正后的候选基频点。

[0080] 随后可以采用动态规划算法，计算候选基频点之间的连接代价，寻找出代价最小的路径。该路径所经过的候选基频点所形成的序列即为提取出的待处理语音信号的基频序列。

[0081] 从图3可以看出，本实施例的基频提取方法，通过根据候选基频点的分布特征条件确定基频候选区间，然后根据清浊音分类结果修正基频候选区间，对不在基频候选区间内的候选基频点进行剔除并补入其他的候选基频点，可以进一步将不合理的候选基频点剔除，并补入其他候选基频点进行动态规划，从而保证修正后的候选基频点数量不会锐减而影响动态规划结果的可靠性。

[0082] 进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种基频提取装置的一个实施例，该装置实施例与图2和图3所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

[0083] 如图4所示，本实施例的基频提取装置400包括：提取单元401、分类单元402以及确定单元403。其中，提取单元401被配置为基于待处理语音信号的声学特征，提取待处理语音信号中各语音帧的候选基频点；分类单元402被配置为对语音帧进行清浊音分类，得到各语音帧对应的清浊音类别；确定单元403被配置为基于各语音帧对应的清浊音类别以及预设的基频筛选条件对候选基频点进行修正，并采用动态规划算法从修正后的候选基频点中确定出待处理语音信号的基频序列。

[0084] 在一些实施例中，上述分类单元402可以进一步被配置为按照如下方式对语音帧进行清浊音分类，得到各语音帧对应的清浊音类别：将提取出的待处理语音信号的声学特征输入已训练的清浊音分类模型，得到待处理语音信号中各语音帧对应的清浊音分类结果。

[0085] 在一些实施例中，上述装置400还可以包括：训练单元，被配置为基于已标注所包含的各语音帧的清浊音类别信息的样本语音信号，训练得出已训练的清浊音分类模型。

[0086] 在一些实施例中，上述提取单元401可以进一步被配置为基于待处理语音信号的声学特征，按照如下方式提取待处理语音信号中各语音帧的候选基频点：对待处理语音信号进行降采样；对降采样后的待处理语音信号中的语音帧，基于声学特征计算互相关函数的峰值点，根据峰值点确定降采样后的待处理语音信号对应的候选基频点；将降采样后的待处理语音信号对应的候选基频点映射至待处理语音信号中，得到待处理语音信号中各语音帧的候选基频点。

[0087] 在一些实施例中，上述确定单元403可以进一步被配置为基于各语音帧对应的清浊音类别以及预设的基频筛选条件，按照如下方式对候选基频点进行修正：根据各语音帧的候选基频点的分布特征，确定基频候选区间；基于各语音帧的清浊音类别对基频候选区间进行修正，得到修正后的基频候选区间；将不在修正后的基频候选区间中的目标候选基频点替换为目标候选基频点所对应的语音帧中的其他候选基频点，得到修正后的候选基频点。

[0088] 应当理解，装置400中记载的诸单元与参考图2和图3描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置400及其中包含的单元，在此不再赘述。

[0089] 本申请上述实施例的基频提取装置400，通过基于待处理语音信号的声学特征，提取待处理语音信号中各语音帧的候选基频点；对语音帧进行清浊音分类，得到各语音帧对应的清浊音类别；基于各语音帧对应的清浊音类别以及预设的基频筛选条件对候选基频点进行修正，并采用动态规划算法从修正后的候选基频点中确定出待处理语音信号的基频序列，能够对候选基频点中不合理的点进行有效过滤，降低了倍频、半频的错误率，提升了基频提取的准确性。

[0090] 下面参考图5，其示出了适于用来实现本申请实施例的电子设备的计算机系统500的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

[0091] 如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

[0092] 以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

[0093] 特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

[0094] 可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

[0095] 附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

[0096] 描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括提取单元、分类单元和确定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，提取单元还可以被描述为“基于待处理语音信号的声学特征，提取待处理语音信号中各语音帧的候选基频点的单元”。

[0097] 作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：基于待处理语音信号的声学特征，提取待处理语音信号中各语音帧的候选基频点；对语音帧进行清浊音分类，得到各语音帧对应的清浊音类别；基于各语音帧对应的清浊音类别以及预设的基频筛选条件对候选基频点进行修正，并采用动态规划算法从修正后的候选基频点中确定出待处理语音信号的基频序列。

[0098] 以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。