会员体验
专利管家（专利管理）
工作空间（专利管理）
风险监控（情报监控）
数据分析（专利分析）
侵权分析（诉讼无效）
联系我们
交流群
官方交流：
QQ群： 891211   
微信请扫码    >>>
现在联系顾问~
首页 / 专利分类库 / 乐器；声学 / 电声乐器；由机电装置或电子发生器产生音调的乐器，或从数据存储器合成音调的乐器 / 振动生成方法、振动控制方法及其相关设备

振动生成方法、振动控制方法及其相关设备
申请号 CN202011326608.5 申请日 2020-11-24 公开(公告)号 CN112466267B 公开(公告)日 2024-04-02
申请人 瑞声新能源发展(常州)有限公司科教城分公司; 瑞声光电科技(常州)有限公司; 发明人 郑亚军;
摘要 本 发明 涉及一种振动生成方法及其装置、振动控制方法及其系统、 电子 设备以及存储介质。所述振动生成方法包括：识别音频 信号 中的音频 节拍 ；根据所述音频节拍获取所述 音频信号 的多个音符 能量 ；对多个所述音符能量分别进行归一化预处理，获取多个归一化能量；根据多个所述归一化能量，生成与所述音频信号对应的触觉振动文件。采用本方法能够使触觉振动效果与音频信号的节拍灵活匹配、且匹配准确性高。
权利要求

1.一种振动生成方法，其特征在于，所述方法包括：
识别音频信号中的音频节拍；
根据所述音频节拍获取所述音频信号的多个音符能量；
在同一所述音频节拍内，根据多个所述音符能量的最大值和每一所述音符的音符能量，获得各所述音符所对应的归一化能量；其中，所述音符能量与所述归一化能量一一对应设置并且每一所述音符的归一化能量高于各所述音符的音符能量；
根据多个所述归一化能量，生成与所述音频信号对应的触觉振动文件。
2.根据权利要求1所述的振动生成方法，其特征在于，所述根据所述音频节拍获取所述音频信号的多个音符能量包括：
按照预设时间间隔获取所述音频节拍内的多个音符；其中，相邻两个所述音符间的时间间隔为所述预设时间间隔；
获取每一所述音符的音符能量。
3.根据权利要求2所述的振动生成方法，其特征在于，所述获取各所述音符的音符能量的步骤包括：
在同一所述音频节拍内，根据各所述音符所对应的音频信号的幅值，计算获得各所述音符的音符能量。
4.根据权利要求1所述的振动生成方法，其特征在于，所述根据所述归一化能量，生成与所述音频信号对应的触觉振动文件的步骤包括：
将高于预设能量阈值的所述归一化能量所对应的音符标记为触觉振动点；
根据各所述触觉振动点，生成与所述音频信号对应的触觉振动文件。
5.一种振动控制方法，其特征在于，所述振动控制方法包括上述权利要求1‑4任一项所述的振动生成方法的步骤，所述振动控制方法还包括：
提取触觉振动文件中的触觉振动点；
根据各所述触觉振动点，生成与所述触觉振动点对应的振动驱动电压；
根据所述振动驱动电压，驱动马达振动以产生触觉振动效果。
6.一种振动生成装置，其特征在于，所述振动生成装置包括：
音频处理模块，用于识别音频信号中的音频节拍；以及，
计算处理模块，用于根据所述音频节拍获取所述音频信号的多个音符能量；用于在同一所述音频节拍内，根据多个所述音符能量的最大值和每一所述音符的音符能量，获得各所述音符所对应的归一化能量，其中，所述音符能量与所述归一化能量一一对应设置并且每一所述音符的归一化能量高于各所述音符的音符能量；用于根据多个所述归一化能量，生成与所述音频信号对应的触觉振动文件。
7.根据权利要求6所述的装置，其特征在于，所述音频处理模块，用于按照预设时间间隔获取所述音频节拍内的多个音符；其中，相邻两个所述音符间的时间间隔为所述预设时间间隔；
所述计算处理模块，获取每一所述音符的音符能量。
8.一种振动控制系统，其特征在于，所述振动控制系统包括：
如权利要求6所述的振动生成装置，用于输入触觉振动文件；
触觉振动识别模块，用于提取触觉振动文件中的触觉振动点，还用于根据各所述触觉振动点，生成与所述触觉振动点对应的振动驱动电压；以及，
振动单元，用于根据所述振动驱动电压振动以产生触觉振动效果。
9.一种电子设备，其包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的振动生成方法的步骤和/或权利要求5所述的振动控制方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的振动生成方法的步骤和/或权利要求5所述的振动控制方法的步骤。
说明书全文

振动生成方法、振动控制方法及其相关设备

技术领域

[0001] 本发明涉及振动驱动技术领域，特别是涉及一种振动生成方法及其装置、振动控制方法及其系统、电子设备以及存储介质。

背景技术

[0002] 随着生活水平的提高，人们对音乐的听感体验要求越来越高。人们不仅希望有良好的听觉感受，同时还希望有触觉感受。
[0003] 相关技术中，在音乐播放设备设置了振动马达，当在播放音乐时，控制马达振动以使音乐播放设备产生触觉振动效果。
[0004] 然而，目前的振动控制方法，由于马达产生的触觉振动效果与音乐节拍相互之间不匹配，在播放音乐时，听觉感受和触觉感受之间不协调，使得用户听感体验差。

发明内容

[0005] 基于此，有必要针对上述技术问题，提供一种能够使触觉振动效果与音频信号的节拍灵活匹配、且匹配准确性高的振动生成方法及其装置、振动控制方法及其系统、电子设备以及存储介质。
[0006] 本发明提供一种振动生成方法，所述方法包括：
[0007] 识别音频信号中的音频节拍；
[0008] 根据所述音频节拍获取所述音频信号的多个音符能量；
[0009] 对多个所述音符能量分别进行归一化预处理，获取多个归一化能量；其中，所述音符能量与所述归一化能量一一对应设置；
[0010] 根据多个所述归一化能量，生成与所述音频信号对应的触觉振动文件。
[0011] 优选的，所述根据所述音频节拍获取所述音频信号的多个音符能量包括：
[0012] 按照预设时间间隔获取所述音频节拍内的多个音符；其中，相邻两个所述音符间的时间间隔为所述预设时间间隔；
[0013] 获取每一所述音符的音符能量。
[0014] 优选的，所述获取各所述音符的音符能量的步骤包括：
[0015] 在同一所述音频节拍内，根据各所述音符所对应的音频信号的幅值，计算获得各所述音符的音符能量。
[0016] 优选的，所述对多个所述音符能量分别进行归一化预处理，获取多个归一化能量包括：
[0017] 在同一所述音频节拍内，根据多个所述音符能量的最大值和每一所述音符的音符能量，获得各所述音符所对应的归一化能量。
[0018] 优选的，所述根据所述归一化能量，生成与所述音频信号对应的触觉振动文件的步骤包括：
[0019] 将高于预设能量阈值的所述归一化能量所对应的音符标记为触觉振动点；
[0020] 根据各所述触觉振动点，生成与所述音频信号对应的触觉振动文件。
[0021] 本发明提供一种振动控制方法，所述振动控制方法包括本发明所述的振动生成方法的步骤，还包括：
[0022] 提取触觉振动文件中的触觉振动点；
[0023] 根据各所述触觉振动点，生成与所述触觉振动点对应的振动驱动电压；
[0024] 根据所述振动驱动电压，驱动马达振动以产生触觉振动效果。
[0025] 本发明提供一种振动生成装置，其包括：
[0026] 音频处理模块，用于识别音频信号中的音频节拍；以及，
[0027] 计算处理模块，用于根据所述音频节拍获取所述音频信号的多个音符能量；用于对多个所述音符能量分别进行归一化预处理，获取多个归一化能量，其中，所述音符能量与所述归一化能量一一对应设置；用于根据多个所述归一化能量，生成与所述音频信号对应的触觉振动文件。
[0028] 本发明提供一种振动控制系统，其包括：
[0029] 如本发明所述的振动生成装置，用于输入触觉振动文件；
[0030] 触觉振动识别模块，用于提取触觉振动文件中的触觉振动点，还用于根据各所述触觉振动点，生成与所述触觉振动点对应的振动驱动电压；以及，
[0031] 振动单元，用于根据所述振动驱动电压振动以产生触觉振动效果。
[0032] 本发明提供一种电子设备，其包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本发明所述的振动生成方法的步骤和/或本发明所述的振动控制方法的步骤。
[0033] 本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本发明所述的振动生成方法的步骤和/或本发明所述的振动控制方法的步骤。
[0034] 上述振动生成方法及其装置，通过归一化优化算法对各音符的音符能量进行计算处理，以获得各音符的归一化能量，根据归一化能量生成与所述音频信号对应的触觉振动文件，实现了触觉振动效果与音频信号的节拍灵活匹配，同时，由于各音符的归一化能量高于该音符的音符能量，有效地避免了局部音频强度不够的问题，提高触觉振动效果与音频信号的节拍相互之间匹配的准确性，听觉感受和触觉感受之间协调性好，为改善用户的听感体验提供了条件；另外，将上述的振动生成方法应用到振动控制方法及其系统中，当播放音频信号时，上述的振动控制方法及其系统可根据触觉振动文件产生触觉振动效果，该触觉振动效果和音频信号的节拍高度匹配，提高了用户的听觉感受和触觉感受之间协调性，有效改善了用户的听感体验。附图说明
[0035] 图1为本发明的振动生成方法的流程示意图；
[0036] 图2为图1步骤S24的流程示意图；
[0037] 图3为图1步骤S28的流程示意图；
[0038] 图4为本发明的振动控制方法的流程示意图；
[0039] 图5为本发明的振动生成装置的结构框图；
[0040] 图6为本发明的振动控制系统的结构框图。

具体实施方式

[0041] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0042] 请参阅图1所示，本发明提供了一种振动生成方法，包括以下步骤：
[0043] 步骤22，识别音频信号中的音频节拍。
[0044] 步骤24，根据所述音频节拍获取所述音频信号的多个音符能量。
[0045] 步骤26，对多个所述音符能量分别进行归一化预处理，获取多个归一化能量；其中，所述音符能量与所述归一化能量一一对应设置。
[0046] 步骤28，根据多个所述归一化能量，生成与所述音频信号对应的触觉振动文件。
[0047] 上述振动生成方法，在振动生成方法中，通过归一化优化算法对各音符的音符能量进行计算处理，以获得各音符的归一化能量，根据归一化能量生成与所述音频信号对应的触觉振动文件，实现了触觉振动效果与音频信号的节拍灵活匹配，同时，由于各音符的归一化能量高于该音符的音符能量，有效地避免了局部音频强度不够的问题，提高触觉振动效果与音频信号的节拍相互之间匹配的准确性，听觉感受和触觉感受之间协调性好，有利于改善用户的听感体验。
[0048] 为了更进一步理解上述方法，请同时参阅图1‑3所示，下面对上述方法的各步骤进行详细描述：
[0049] 步骤S22，识别音频信号中的音频节拍。
[0050] 具体的，在所述步骤S22之前可以根据实际需要增加信号预处理过程，所述信号预处理过程为：导入音频文件，并获取音频文件的音频信号，提取音频信号的音频特征信息，根据所述音频特征信息识别多个节拍点的节拍时刻，根据多个所述节拍点的节拍时刻将所述音频信号获得音频节拍数列Bp，所述音频节拍数列Bp包括多个音频节拍。
[0051] 步骤S24，根据所述音频节拍获取所述音频信号的多个音符能量。
[0052] 具体的，所述步骤S24包括：
[0053] 步骤S241，按照预设时间间隔获取所述音频节拍内的多个音符；其中，相邻两个所述音符间的时间间隔为所述预设时间间隔，记为T0。
[0054] 具体的，在所述步骤S241中，所述预设时间间隔T0可以根据实际应用的情况进行具体确定，将同一个音频节拍内的音符表示为T(n)，其中，n为同一个音频节拍内的音符编号，比如，在本实施方式中，预设时间间隔具体设置为一个节拍时长的四分之一，即，相当于将每一节拍内有四个时间间隔相同的的音符，在此，n表示同一音频节拍内的第1、2、3、4个音符编号，同一个音频节拍内的第一个至第四个音符依次表示为T(1)、T(2)、T(3)、T(4)。
[0055] 步骤S242，获取每一所述音符的音符能量。
[0056] 其中，将同一所述音频节拍内的音符能量表示为P0(n)，在本实施方式中，同一个音频节拍内的第一个至第四个音符的音符能量依次表示为P0(1)、P0(2)、P0(3)、P0(4)。
[0057] 具体的，在所述步骤S242中，在同一所述音频节拍内，根据各所述音符所对应的音频信号的幅值，计算获得各所述音符的音符能量。同时，在该步骤S242之前，还需要预先检测对音频信号的采样率，记为fs。
[0058] 对音符能量P0(n)的具体计算公式表示为：
[0059] P0(n)＝sqrt(X0(tn)2+X0(tn+1)2+…+X0(tn+k)2)/(k+1)，
[0060] K＝T0×fs，
[0061] 式中，X0(tn)为第n个音符的tn时刻所对应的音频信号的幅值，X0(tn+k)为第n个音符的tn+k时刻所对应的音频信号的幅值，其中，tn时刻为第n个音符的起始时刻，tn+k时刻为第n个音符的终止时刻，k为第n个音符的采样点数，T0为相邻两个音符的时间间隔，fs为采样率。
[0062] 第3个音频节拍的第2个音符T(2)发生在3秒时刻，且持续了0.2秒(即时间间隔T0为0.2秒)，信号采样率fs为48000。其中:
[0063] 第3个音频节拍的第2个音符T(2)采样点数k＝0.2×48000＝9600，[0064] 依次计算各采样点的对应的时刻，第1个采样点的时刻(即起始时刻)tn＝3×48000＝144000，第2个采样点的时刻tn+1＝3×48000+1＝144001，……，第9600个采样点的时刻(即终止时刻)tn+k＝3×48000+9600＝144000+9600；
[0065] 根据公式X0(tn)＝sin(2π·100·tn/fs)计算各个采样点所对应的幅值，具体的，第一个采样点时刻tn所对应的幅值X0(144000)＝sin(2π·100·144000/9600)，第二个采样点时刻tn+1所对应的幅值X0(144001)＝sin(2π·100·144001/9600)，……，第9600个采样点时刻tn+k所对应的幅值X0(144000+9600)＝sin[2π·100·(144000+9600)/9600]。
[0066] 根据上述数值，计算获得第3个音频节拍的第2个音符T(2)所对应的的归一化能量2 2 2
P0(2)＝sqrt(X0(144000) +X0(144001) +…+X0(144000+9600))/(9600+1)。
[0067] 需要说明的是，在其他实施方式中，所述步骤S242还可以根据实际情况选择音符能量的具体计算方式。
[0068] 步骤S26，对多个所述音符能量分别进行归一化预处理，获取多个归一化能量；其中，所述音符能量与所述归一化能量一一对应设置。
[0069] 其中，将同一所述音频节拍内的归一化能量表示为P(n)，在本实施方式中，同一个音频节拍内的第一个至第四个音符的归一化能量依次表示为P(1)、P(2)、P(3)、P(4)。
[0070] 具体的，所述步骤S26，在同一所述音频节拍内，根据多个所述音符能量的最大值和每一所述音符的音符能量，获得各所述音符所对应的归一化能量。
[0071] 在同一个节拍内，任意一个音符所对应的归一化能量P(n)的计算公式表示为：
[0072] P(n)＝P0(n)/max(P0(n))，
[0073] 式中，P(n)表示节拍内任意一个音符对应的归一化能量，max(P0(n))表示同一个音频节拍内的音符能量数列P0(n)中最大的音符能量，而在本实施方式中，max(P0(n))即音符能量P0(1)、P0(2)、P0(3)、P0(4)当中的最大值。
[0074] 步骤S28，根据多个所述归一化能量，生成与所述音频信号对应的触觉振动文件。
[0075] 具体的，所述步骤S28中包括：
[0076] 步骤S281，将高于预设能量阈值的所述归一化能量所对应的音符标记为触觉振动点。
[0077] 其中，预设能量阈值表示为Ph，而预设能量阈值Ph的数值可以根据实际应用的情况进行具体的设置，将预设能量阈值Ph的数值设置越小，则音频信号能够匹配的触觉振动效果越多，反之，将预设能量阈值Ph的数值设置越大，则音频信号能够匹配的触觉振动效果就越少，而在本实施方式中，预设能量阈值Ph设置为0.5·max(P(n))，max(P(n))表示同一个音频节拍内的归一化能量数列P(n)中最大的归一化能量，即，将预设能量阈值Ph设置为同一个音频节拍内的归一化能量数列P(n)中最大的归一化能量的二分之一。
[0078] 具体的，分别判断每一音频节拍内的四个归一化能量(P(1)、P(2)、P(3)、P(4))是否高于能量阈值Ph(即0.5·max(P(n)))，若是，则将四个归一化能量(P(1)、P(2)、P(3)、P(4))中高于能量阈值Ph的归一化能量所对应的音符标记为触觉振动点。
[0079] 需要说明的是，通过将预设能量阈值Ph设置为0.5·max(P(n))，能够使得触觉振动点在音频信号上的分布更加均匀，在播放音频信号时，能够均匀地产生触觉振动效果，避免了振动频率过高而给用户带来振动疼痛感、振动频率过低而导致触觉振动效果不明显，有效提高用户的触觉感受，使得体验感更佳。
[0080] 步骤S282，根据各所述触觉振动点，生成与所述音频信号对应的触觉振动文件。
[0081] 请参阅图4所示，本发明提供了应用上述振动生成方法的振动控制方法，振动控制方法包括以下步骤：
[0082] 步骤302，提取触觉振动文件中的触觉振动点。
[0083] 步骤304，根据各所述触觉振动点，生成与各所述触觉振动点对应的振动驱动电压。
[0084] 步骤306，根据所述振动驱动电压，驱动马达振动以产生触觉振动效果。
[0085] 上述振动控制方法，当播放音频信号时，上述的振动控制方法可根据触觉振动文件产生触觉振动效果，该触觉振动效果和音频信号的音频节拍匹配度高，提高了用户的听觉感受和触觉感受之间协调性，有效改善了用户的听感体验。
[0086] 应该理解的是，虽然图1‑4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1‑4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0087] 请参阅图5所示，本发明提供一种振动生成装置100，其包括音频处理模块101以及计算处理模块102，其中：
[0088] 所述音频处理模块101，用于识别音频信号中的音频节拍；
[0089] 所述计算处理模块102，用于根据所述音频节拍获取所述音频信号的多个音符能量；用于对多个所述音符能量分别进行归一化预处理，获取多个归一化能量，其中，所述音符能量与所述归一化能量一一对应设置；用于根据多个所述归一化能量，生成与所述音频信号对应的触觉振动文件。
[0090] 所述音频处理模块101，还用于按照预设时间间隔获取所述音频节拍内的多个音符，其中，相邻两个所述音符间的时间间隔为所述预设时间间隔；用于将高于预设能量阈值的归一化能量所对应的音符标记为触觉振动点。
[0091] 所述计算处理模块102，还用于根据所述音频节拍获取所述音频信号的多个音符能量，具体的，用于获取每一所述音符的音符能量；用于对多个所述音符能量分别进行归一化预处理，获取多个归一化能量，其中，所述音符能量与所述归一化能量一一对应设置；用于根据多个所述归一化能量，生成与所述音频信号对应的触觉振动文件，具体的，用于识别高于预设能量阈值的所述归一化能量所对应的音符标记为触觉振动点，用于根据各所述触觉振动点，生成与所述音频信号对应的触觉振动文件。
[0092] 请参阅图6所示，本发明提供一种振动控制系统200，其包括上述的振动生成装置100、触觉振动识别模块201以及振动单元202，其中：
[0093] 所述振动生成装置100，用于输入触觉振动文件。
[0094] 所述触觉振动识别模块201，用于提取触觉振动文件中的触觉振动点，还用于根据各所述触觉振动点，生成与所述触觉振动点对应的振动驱动电压。
[0095] 所述振动单元202，用于根据所述振动驱动电压振动以产生触觉振动效果；具体的，所述振动单元202的结构形式可以根据实际使用的情况进行具体选择，比如，在本实施方式中，该振动单元202为振动马达。
[0096] 关于振动生成装置的具体限定可以参见上文中对于振动生成方法的限定，关于振动控制系统的具体限定可以参见上文中对于振动控制方法的限定，在此不再赘述。上述振动生成装置或振动控制系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0097] 本发明提供一种电子设备，其包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本发明所述的振动生成方法的步骤和/或本发明所述的振动控制方法的步骤。需要说明的是，上述的振动生成装置及振动控制系统可以应用到所述电子设备上。
[0098] 本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本发明所述的振动生成方法的步骤和/或本发明所述的振动控制方法的步骤。
[0099] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read‑Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
[0100] 以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0101] 以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

IPRDB

最新中国发明专利 最新美国发明专利 技术领域 专利库 专利分类库 国际专利分类库

热门服务

会员版试用 API 数据接口 找代理 知嘟嘟专利交易 排行榜 大学排行榜 专利百科

关于我们

平台介绍 战略合作 网站地图

友情链接

知嘟嘟专利交易 国家知识产权局 中国商标网

联系方式


©2019-2023 上海吉码数字技术有限公司 版权所有，并保留所有权利 沪ICP备20016256号-6 沪公网安备31011702005475号