基于智能终端的弹唱方法、装置及系统

摘要

本申请公开了一种基于智能终端的弹唱方法、装置及系统。该申请的方法包括智能终端监控弹唱者的演唱进度，在到达歌词中的弹奏标记前，在动作提示框中展示当前需要弹唱者输入的触发动作，所述触发动作包括手势和表情两种类型；接收并识别弹唱者输入的触发动作；识别成功后在演唱到弹奏标记时播放该弹奏标记处对应的弹奏特效，所述弹奏特效包括和弦音频和/或图像特效。本申请解决目前在智能终端的弹唱创作方式单一，无法满足用户的个性化需求，以及无法满足多维度创作的需求的一个或多个问题。

权利要求

1.一种基于智能终端的弹唱方法，其特征在于，所述方法包括：智能终端监控弹唱者的演唱进度，在到达歌词中的弹奏标记前，在动作提示框中展示当前需要弹唱者输入的触发动作，所述触发动作包括手势和表情两种类型；

接收并识别弹唱者输入的触发动作；

识别成功后在演唱到弹奏标记时播放该弹奏标记处对应的弹奏特效，所述弹奏特效包括和弦音频和/或图像特效；

所述方法还包括：

在歌曲中和弦弹奏的位置设置弹奏标记，根据弹唱难度确定整个弹唱过程中，需要弹唱者做的某一种触发动作的种类数，难度较高时，种类数越多，确定触发动作的种类数之后，根据弹奏标记的数量，将所有种类数的触发动作随机分配于弹奏标记。

2.根据权利要求1所述的基于智能终端的弹唱方法，其特征在于，所述方法还包括：在弹唱前，获取弹唱的模式，弹唱的模式中包括弹唱中使用的触发动作的类型、弹唱难度、弹唱的乐器；

根据弹唱的模式设置歌词中包含的弹奏标记、弹唱中使用的触发动作以及播放的弹奏特效。

3.根据权利要求2所述的基于智能终端的弹唱方法，其特征在于，所述弹唱的模式中还包括弹唱的节奏类型，当节奏类型中包含连弹时，所述在动作提示框中展示当前需要弹唱者输入的触发动作包括：

在动作提示框所属区域展示当前需要弹唱者输入的触发动作、触发动作的执行次数；

或者，

在动作提示框所属区域展示当前需要弹唱者输入的触发动作、触发动作的执行次数、复位动作。

4.根据权利要求2所述的基于智能终端的弹唱方法，其特征在于，所述触发动作为手势，所述在动作提示框中展示当前需要弹唱者输入的触发动作还包括：在动作提示框中展示当前需要弹唱者输入的触发动作，在动作展示框外展示动作提示框的移动轨迹；

所述接收并识别弹唱者输入的触发动作包括：接收手势以及手势的移动轨迹；

所述识别成功后在演唱到弹奏标记时播放该弹奏标记处对应的弹奏特效包括：根据手势的移动轨迹控制动作提示框的移动；

当动作提示框移动到目的位置时，播放对应的弹奏特效。

5.根据权利要求4所述的基于智能终端的弹唱方法，其特征在于，所述方法还包括：根据弹唱难度，动作提示框展示单手或者双手手势，以实现单手或者双手的弹唱。

6.根据权利要求4所述的基于智能终端的弹唱方法，其特征在于，所述根据弹唱的模式设置歌词中包含的弹奏标记、弹唱中使用的触发动作以及播放的弹奏特效包括：获取弹唱者选择弹唱的歌曲，并根据所述歌曲对应的音乐设备数字接口MIDI文件设置弹奏标记，所述歌曲的MIDI文件是通过服务器获取的；

根据弹唱难度，生成每个弹奏标记对应的触发动作；

根据弹唱的乐器，设置每个弹奏标记对应的弹奏特效；

根据弹唱中使用的触发动作的类型，设置弹唱中使用的触发动作。

7.根据权利要求1所述的基于智能终端的弹唱方法，其特征在于，所述方法还包括：在弹唱完成后，将演唱音频和弹奏特效合并生成弹唱作品。

8.一种基于智能终端的弹唱装置，其特征在于，所述装置包括：展示单元，用于智能终端监控弹唱者的演唱进度，在到达歌词中的弹奏标记前，在动作提示框中展示当前需要弹唱者输入的触发动作，所述触发动作包括手势和表情两种类型；

识别单元，用于接收并识别弹唱者输入的触发动作；

播放单元，用于识别成功后在演唱到弹奏标记时播放该弹奏标记处对应的弹奏特效，所述弹奏特效包括和弦音频和/或图像特效；

所述装置还包括：在歌曲中和弦弹奏的位置设置弹奏标记，根据弹唱难度确定整个弹唱过程中，需要弹唱者做的某一种触发动作的种类数，难度较高时，种类数越多，确定触发动作的种类数之后，根据弹奏标记的数量，将所有种类数的触发动作随机分配于弹奏标记。

9.一种基于智能终端的弹唱系统，其特征在于，所述系统包括：智能终端、服务器：所述智能终端，用于执行前述权利要求1‑7中任一项所述的基于智能终端的弹唱方法；

所述服务器，用于在弹唱前向智能终端发送弹唱者选择弹唱的歌曲对应的音乐设备数字接口MIDI文件；在弹唱完成后，接收并存储智能终端发送的弹唱作品，所述弹唱作品是智能终端将演唱音频和弹奏特效合并生成的。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至权利要求7中任一项所述的基于智能终端的弹唱方法。

说明书

基于智能终端的弹唱方法、装置及系统

技术领域

[0001] 本申请涉及人工智能应用技术领域，具体而言，涉及一种基于智能终端的弹唱方法、装置及系统。

背景技术

[0002] 目前用户在智能终端上完成弹唱音乐作品时是由智能终端提供钢琴、吉他、尤克里里乐器，根据歌曲上的彩色提示按下对应按键，完成弹唱内容，但是目前的弹唱主要依靠
手指点击屏幕进行操作，可玩弹唱内容创作方式单一，无法满足用户的个性化需求，以及多
维度创作的需求。

发明内容

[0003] 本申请的主要目的在于提供一种基于智能终端的弹唱方法，以解决目前在智能终端的弹唱创作方式单一，无法满足用户的个性化需求，以及无法满足多维度创作的需求的
一个或多个问题。

[0004] 为了实现上述目的，根据本申请的第一方面，提供了一种基于智能终端的弹唱方法。

[0005] 根据本申请的基于智能终端的弹唱方法包括：

[0006] 智能终端监控弹唱者的演唱进度，在到达歌词中的弹奏标记前，在动作提示框中展示当前需要弹唱者输入的触发动作，所述触发动作包括手势和表情两种类型；

[0007] 接收并识别弹唱者输入的触发动作；

[0008] 识别成功后在演唱到弹奏标记时播放该弹奏标记处对应的弹奏特效，所述弹奏特效包括和弦音频和/或图像特效。

[0009] 可选的，所述方法还包括：

[0010] 在弹唱前，获取弹唱的模式，弹唱的模式中包括弹唱中使用的触发动作的类型、弹唱难度、弹唱的乐器；

[0011] 根据弹唱的模式设置歌词中包含的弹奏标记、弹唱中使用的触发动作以及播放的弹奏特效。

[0012] 可选的，所述弹唱的模式中还包括弹唱的节奏类型，当节奏类型中包含连弹时，所述在动作提示框中展示当前需要弹唱者输入的触发动作包括：

[0013] 在动作提示框所属区域展示当前需要弹唱者输入的触发动作、触发动作的执行次数；或者，

[0014] 在动作提示框所属区域展示当前需要弹唱者输入的触发动作、触发动作的执行次数、复位动作。

[0015] 可选的，所述触发动作为手势，所述在动作提示框中展示当前需要弹唱者输入的触发动作还包括：

[0016] 在动作提示框中展示当前需要弹唱者输入的触发动作，在动作展示框外展示动作提示框的移动轨迹；

[0017] 所述接收并识别弹唱者输入的触发动作包括：

[0018] 接收手势以及手势的移动轨迹；

[0019] 所述识别成功后在演唱到弹奏标记时播放该弹奏标记处对应的弹奏特效包括：

[0020] 根据手势的移动轨迹控制动作提示框的移动；

[0021] 当动作提示框移动到目的位置时，播放对应的弹奏特效。

[0022] 可选的，所述方法还包括：

[0023] 根据弹唱难度，动作提示框展示单手或者双手手势，以实现单手或者双手的弹唱。

[0024] 可选的，所述根据弹唱的模式设置歌词中包含的弹奏标记、弹唱中使用的触发动作以及播放的弹奏特效包括：

[0025] 获取弹唱者选择弹唱的歌曲，并根据所述歌曲对应的音乐设备数字接口MIDI文件设置弹奏标记，所述歌曲的MIDI文件是通过服务器获取的；

[0026] 根据弹唱难度，生成每个弹奏标记对应的触发动作；

[0027] 根据弹唱的乐器，设置每个弹奏标记对应的弹奏特效；

[0028] 根据弹唱中使用的触发动作的类型，设置弹唱中使用的触发动作。

[0029] 可选的，所述方法还包括：

[0030] 在弹唱完成后，将演唱音频和弹奏特效合并生成弹唱作品。

[0031] 为了实现上述目的，根据本申请的第二方面，提供了一种基于智能终端的弹唱装置。

[0032] 根据本申请的基于智能终端的弹唱装置包括：

[0033] 展示单元，用于智能终端监控弹唱者的演唱进度，在到达歌词中的弹奏标记前，在动作提示框中展示当前需要弹唱者输入的触发动作，所述触发动作包括手势和表情两种类
型；

[0034] 识别单元，用于接收并识别弹唱者输入的触发动作；

[0035] 播放单元，用于识别成功后在演唱到弹奏标记时播放该弹奏标记处对应的弹奏特效，所述弹奏特效包括和弦音频和/或图像特效。

[0036] 可选的，所述装置还包括：

[0037] 获取单元，用于在弹唱前，获取弹唱的模式，弹唱的模式中包括弹唱中使用的触发动作的类型、弹唱难度、弹唱的乐器；

[0038] 设置单元，用于根据弹唱的模式设置歌词中包含的弹奏标记、弹唱中使用的触发动作以及播放的弹奏特效。

[0039] 可选的，所述弹唱的模式中还包括弹唱的节奏类型，当节奏类型中包含连弹时，所述展示单元，包括：

[0040] 第一展示模块，用于在动作提示框所属区域展示当前需要弹唱者输入的触发动作、触发动作的执行次数；

[0041] 第二展示模块，用于在动作提示框所属区域展示当前需要弹唱者输入的触发动作、触发动作的执行次数、复位动作。

[0042] 可选的，所述触发动作为手势，所述展示单元还包括：

[0043] 第三展示模块，用于在动作提示框中展示当前需要弹唱者输入的触发动作，在动作展示框外展示动作提示框的移动轨迹；

[0044] 所述识别单元用于：

[0045] 接收手势以及手势的移动轨迹；

[0046] 所述播放单元包括：

[0047] 控制模块，用于根据手势的移动轨迹控制动作提示框的移动；

[0048] 播放模块，用于当动作提示框移动到目的位置时，播放对应的弹奏特效。

[0049] 可选的，所述装置还包括：

[0050] 所述展示单元，还用于根据弹唱难度，动作提示框中展示单手或者双手手势，以实现单手或者双手的弹唱。

[0051] 可选的，所述设置单元包括：

[0052] 第一设置模块，用于获取弹唱者选择弹唱的歌曲，并根据所述歌曲对应的音乐设备数字接口MIDI文件设置弹奏标记，所述歌曲的MIDI文件是通过服务器获取的；

[0053] 生成模块，用于根据弹唱难度，生成每个弹奏标记对应的触发动作；

[0054] 第二设置模块，用于根据弹唱的乐器，设置每个弹奏标记对应的弹奏特效；

[0055] 第三设置模块，用于根据弹唱中使用的触发动作的类型，设置弹唱中使用的触发动作。

[0056] 可选的，所述装置还包括：

[0057] 合并单元，用于在弹唱完成后，将演唱音频和弹奏特效合并生成弹唱作品。

[0058] 为了实现上述目的，根据本申请的第三个方面，提供了一种基于智能终端的弹唱系统，所述系统包括：智能终端、服务器：

[0059] 所述智能终端，用于执行前述第一方面中任一项所述的基于智能终端的弹唱方法；

[0060] 所述服务器，用于在弹唱前向智能终端发送弹唱者选择弹唱的歌曲对应的音乐设备数字接口MIDI文件；在弹唱完成后，接收并存储智能终端发送的弹唱作品，所述弹唱作品
是智能终端将演唱音频和弹奏特效合并生成的。

[0061] 为了实现上述目的，根据本申请的第四个方面，提供了一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使
所述计算机执行上述第一方面中任一项所述的基于智能终端的弹唱方法。

[0062] 在本申请实施例中，基于智能终端的弹唱方法、装置及系统中，智能终端监控弹唱者的演唱进度，在到达歌词中的弹奏标记前，在动作提示框中展示当前需要弹唱者输入的
触发动作，所述触发动作包括手势和表情两种类型；接收并识别弹唱者输入的触发动作；识
别成功后在演唱到弹奏标记时播放该弹奏标记处对应的弹奏特效，所述弹奏特效包括和弦
音频和/或图像特效。可以看出，本申请中，在弹唱者弹唱时，智能终端可以识别弹唱者的手
势或者表情，然后通过手势或者表情等动作来触发弹奏特效的播放，相当于通过手势或者
表情来进行弹奏。相比于现有的只能手指点击屏幕的单一的弹唱方式，更加的多元化，能够
满足多维度弹唱的需求。

附图说明

[0063] 构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不
构成对本申请的不当限定。在附图中：

[0064] 图1是根据本申请一种实施例的基于智能终端的弹唱方法流程图；

[0065] 图2是本申请实施例提供的一种弹唱页面的示意图；

[0066] 图3是本申请实施例提供的另一种弹唱页面的示意图；

[0067] 图4是根据本申请另一种实施例的基于智能终端的弹唱方法流程图；

[0068] 图5是本申请实施例提供的一种弹唱准备页的示意图；

[0069] 图6是本申请实施例提供的一种手势连弹对应的弹唱页面示意图；

[0070] 图7是本申请实施例提供的一种表情连弹对应的弹唱页面示意图；

[0071] 图8是本申请实施例提供了一种有移动轨迹的弹唱页面示意图；

[0072] 图9是本申请实施例提供了另一种有移动轨迹的弹唱页面示意图；

[0073] 图10是本申请实施例提供的一种双手弹唱的页面示意图；

[0074] 图11是本申请实施例提供的另一种双手弹唱的页面示意图；

[0075] 图12是根据本申请一种实施例的基于智能终端的弹唱装置的组成框图；

[0076] 图13是根据本申请另一种实施例的基于智能终端的弹唱装置的组成框图；

[0077] 图14是根据本申请另一种实施例的基于智能终端的弹唱系统的架构图。

具体实施方式

[0078] 为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是
本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人
员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范
围。

[0079] 需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具
有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的
过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清
楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

[0080] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

[0081] 根据本申请实施例，提供了一种基于智能终端的弹唱方法，如图1所示，该方法包括如下的步骤S101至步骤S103：

[0082] S101.智能终端监控弹唱者的演唱进度，在到达歌词中的弹奏标记前，在动作提示框中展示当前需要弹唱者输入的触发动作。

[0083] 弹唱页面中包括弹唱的歌曲对应的歌词，在弹唱者跟随着歌词的进度进行演唱的过程中，由智能终端的麦克风获取演唱音频，实现演唱进度的监控，歌词中有弹奏标记，在
演唱进度到达每一个弹奏标记前，提前在动作动作提示框中展示当前需要弹唱者输入的触
发动作，以使弹唱者在到达弹奏标记时按照提示做相应的触发动作。具体的触发动作包括
手势和表情两种类型。手势是指通过单手或者双手手指的变化确定的不同的手势，表情是
指通过脸部器官的变化确定的不同的面部状态，比如眨眼、张口、噘嘴等等。图2为本实施例
提供的一种弹唱页面的示意图，左右两图分别对应两种不同的页面设计，两图中都包括歌
词内容和动作提示框，歌词内容上方的原点标记(左侧图)或者手势标记(右侧图)为弹奏标
记，页面中间区域的圆形框为动作提示框，当前动作提示框中展示的是手势类型的触发动
作。图3为本实施例提供的另一种弹唱页面的示意图，左右两图分别对应两种不同的页面设
计，左图中包括歌词内容和动作提示框，右侧图中也包括歌词内容，动作提示框隐藏了，左
右两个图中歌词内容上方的原点标记(左侧图)或者表情标记(右侧图)为弹奏标记，左图页
面中间区域的圆形框为动作提示框，当前动作提示框中展示的是表情类型的触发动作；右
图页面中间区域为动作提示框区域，动作提示框隐藏了，动作提示框区域中展示的是表情
类型的触发动作。图2和图3中的触发动作、动作提示框的形式、弹奏标记的形式只是示意性
的，在实际的应用中，可以适应性的调整。

[0084] S102.接收并识别弹唱者输入的触发动作。

[0085] 在弹唱者根据动作提示框中的提示做相应的触发动作后，智能终端通过摄像头接收弹唱者做出的触发动作，并基于人脸识别或者活体检测技术(手指关键点检测技术等)识
别弹唱者所做的触发动作。触发动作的识别是将摄像头采集到的手势或者人脸图像信息提
取动作特征点，然后将提取的特征点与预设的触发动作库中的触发动作对应的特征点进行
比对，根据相似度结果确定触发动作。

[0086] S103.识别成功后在演唱到弹奏标记时播放该弹奏标记处对应的弹奏特效。

[0087] 识别成功是指弹唱者做出了与动作提示框中展示的触发动作，并且被智能终端准确识别。当识别成功后，触发动作会触发弹奏标记处对应的弹奏特效的播放。弹奏的特效包
括和弦音频和/或图像特效。

[0088] 一个弹奏标记过去后，动作提示框中展示下一个弹奏标记对应的弹奏特效的触发动作，再识别弹唱者做出的下一个触发动作，识别成功后播放下一个弹奏特效，直到歌曲弹
唱完毕，将演唱音频和弹奏特效进行合并得到弹唱作品。弹唱作品可以选择是否保存，如果
选择保存，可以保存在本地或者服务器。

[0089] 需要说明的是通常每个歌曲在哪些位置有和弦的弹奏是已知的，是由歌曲对应的音乐设备数字接口MIDI文件中确定的，本实施例是在歌曲中和弦弹奏的位置设置弹奏标
记，然后由弹唱者通过手势或者表情来触发和弦音频的播放或者图像特效的展示，实现了
多维度的弹奏。本实施例中的弹唱方式操作简单，而且增加了弹唱的趣味性。

[0090] 从以上的描述中，可以看出，本申请实施例中基于智能终端的弹唱方法中，智能终端监控弹唱者的演唱进度，在到达歌词中的弹奏标记前，在动作提示框中展示当前需要弹
唱者输入的触发动作，所述触发动作包括手势和表情两种类型；接收并识别弹唱者输入的
触发动作；识别成功后在演唱到弹奏标记时播放该弹奏标记处对应的弹奏特效，所述弹奏
特效包括和弦音频和/或图像特效。可以看出，本申请中，在弹唱者弹唱时，智能终端可以识
别弹唱者的手势或者表情，然后通过手势或者表情等动作来触发弹奏特效的播放，相当于
通过手势或者表情来进行弹奏。相比于现有的只能手指点击屏幕的单一的弹唱方式，更加
的多元化，能够满足多维度弹唱的需求。

[0091] 作为前述实施例的补充和细化，根据本申请另一实施例，提供了一种基于智能终端的弹唱方法，如图4所示，该方法包括：

[0092] S201.在弹唱前，获取弹唱的模式，弹唱的模式中包括弹唱中使用的触发动作的类型、弹唱难度、弹唱的乐器。

[0093] 在弹唱者选择一首歌曲进行弹唱后，首先弹唱页面展示的是弹唱准备页，弹奏准备页中包含多个功能入口，节奏型切换按钮、节拍器开关、乐器切换按钮多个选择按钮，弹
唱的模式就是通过功能入口以及选择按钮的选择确定的。如图5，为本实施例提供的一种弹
唱准备页的示意图，左右两图分别对应两种不同的页面设计，左图中右侧展示了调音、找
调、演示、段落、美颜、滤镜、难度、手势/表情切换(图5当前显示的是手势弹奏)；右图中右侧
默认只展示了调音、找调、难度手势/表情切换，将其他的入口通过“更多”进行了隐藏，用户
可以通过点击“更多”展示出其他更多的功能按钮，然后再进行其他功能按钮的选择。调音、
找调是对弹唱歌曲的音调进行设置调整，演示是为弹唱者播放弹唱的操作流程视频；美颜
和滤镜是对智能终端的摄像头拍摄效果的设置；难度是弹唱的难度的选择入口；手势/表情
切换为选择弹唱时的触发动作的类型。图中下方为节奏类型的切换按钮、弹奏乐器的切换
按钮(不同的弹奏乐器用对应的乐器的图标表示)、以及节拍器的开关按钮。

[0094] 在弹唱前需要根据用户在弹唱准备页面中的各种功能按钮的选择来获取弹奏模式。弹奏的模式中包括了弹唱者选择的触发动作的类型、弹唱难度、弹唱的乐器、弹唱的节
奏类型、弹唱中是否开启节拍器、弹唱速度、音调、弹唱的段落等信息。

[0095] S202.根据弹唱的模式设置歌词中包含的弹奏标记、弹唱中使用的触发动作以及播放的弹奏特效。

[0096] 具体的，智能终端获取弹唱者选择弹唱的歌曲后，并根据歌曲对应的音乐设备数字接口MIDI文件设置弹奏标记，歌曲的MIDI文件是通过服务器获取的；MIDI文件中体现歌
曲的节拍、速度、调、段落、和弦信息，即根据MIDI文件可以确定歌曲中需要播放弹奏特效的
位置，然后在播放弹奏特效的位置设置弹奏标记。需要说明的是，弹奏特效为和弦音频时，
播放弹奏特效的位置为弹奏和弦的位置，可以根据MIDI文件确定；若弹奏特效是图像特效
的情况下，弹奏标记不需要设置在弹奏和弦的位置，可以规定其他的设置规则进行设置，比
如设置在每个段落的开头、结尾等位置。

[0097] 根据弹唱难度，生成每个弹奏标记对应的触发动作：根据弹唱难度确定整个弹唱过程中，需要弹唱者做的某一种触发动作的种类数，难度较高时，种类数越多。比如触发动
作为手势时，当用户选择弹唱的难度较高时，整个弹唱过程中需要弹唱者做六种手势，当用
户选择弹唱的难度较低时，整个弹唱过程中需要弹唱者做两种手势。确定触发动作的种类
数之后，根据弹奏标记的数量，将所有种类数的触发动作随机分配于弹奏标记，即随机将触
发动作与弹奏标记进行绑定。实现当演奏到弹奏标记处前，在动作提示框中展示与弹奏标
记绑定的触发动作。

[0098] 根据弹唱的乐器，设置每个弹奏标记对应的弹奏特效：不同的演奏乐器对应的弹奏特效是不同的，不同乐器对应的弹奏特效是在服务器提前设置的。当用户选择某种弹奏
的乐器后，歌曲的弹奏标记处对应的弹奏特效设置为该乐器对应的弹奏特效。

[0099] 根据弹唱中使用的触发动作的类型，设置弹唱中使用的触发动作：若弹唱者选择的是手势，则弹奏标记绑定的触发动作为手势，弹唱过程中动作提示框中展示的都是手势，
若弹唱者选择的是手势，则弹奏标记绑定的触发动作为表情，弹唱过程中动作提示框中展
示的都是表情。

[0100] 本步骤中弹奏标记是根据弹奏特效播放的位置设置的，触发动作与弹奏标记是绑定的，因此触发动作与弹奏特效是匹配的，本步骤实质是实现了触发动作与弹奏特效的绑
定。

[0101] S203.智能终端监控弹唱者的演唱进度，在到达歌词中的弹奏标记前，在动作提示框中展示当前需要弹唱者输入的触发动作。

[0102] 本步骤的实现方式可以参见图1步骤S101中的实现方式。除了步骤S101中的描述之外，弹唱模式中选择的节奏类型中包含连弹(同一个弹奏特效多次弹奏播放)时，在动作
提示框所属区域(包括动作提示框以及其周围的区域)展示当前需要弹唱者输入的触发动
作、触发动作的执行次数；或者，在动作提示框所属区域展示当前需要弹唱者输入的触发动
作、触发动作的执行次数、复位动作。具体的，当触发动作为手势时，在动作提示框所属区域
展示当前需要弹唱者输入的触发动作、触发动作的执行次数、复位动作。如图6所示，为本实
施例提供的一种手势连弹对应的弹唱页面示意图，其中最左侧图中动作提示框中展示的是
触发的手势，动作提示框右上角“×2”表示连弹的次数，中间图中动作提示框的左下角的拳
头标识为复位动作。在实际的操作中，弹唱者可以通过重复做触发的手势，和复位动作来实
现连弹。当触发动作为表情时，在动作提示框所属区域展示当前需要弹唱者输入的触发动
作、触发动作的执行次数；图6中最右侧图为最左侧图的另一种页面设计形式。如图7所示，
为本实施例提供的一种表情连弹对应的弹唱页面示意图，左右两图分别对应两种不同的页
面设计，其中动作提示框中(左图)或者动作提示框区域(右图)展示的是触发的表情，右上
角“×2”表示连弹的次数，图中没有设置复位动作的标识，在实际的应用中，可以通过不做
表情来表示复位。在实际的操作中，弹唱者可以通过重复做触发的表情，和不做表情来实现
连弹。本实施例中节奏类型为柱式节奏型、扫弦节奏型时，可以实现连弹的效果，节奏类型
为分解节奏型时，每次手势或者表情只能识别一次，不能实现多次连弹的效果。

[0103] S204.接收并识别弹唱者输入的触发动作。

[0104] 本步骤的实现方式可以参见图1步骤S102中的实现方式，此处不再赘述。

[0105] S205.识别成功后在演唱到弹奏标记时播放该弹奏标记处对应的弹奏特效。

[0106] 本步骤的实现方式可以参见图1步骤S103中的实现方式，此处不再赘述。

[0107] S206.在弹唱完成后，将演唱音频和弹奏特效合并生成弹唱作品。

[0108] 歌曲弹唱完毕，将演唱音频和弹奏特效进行合并得到弹唱作品。弹唱作品可以选择是否保存，如果选择保存，可以保存在本地或者发送到服务器在的服务器中进行保存。

[0109] 进一步的，在弹唱的过程中，触发动作为手势，在动作提示框中还可以展示当前需要弹唱者输入的触发动作、动作提示框的移动轨迹；接收手势以及手势的移动轨迹；根据手
势的移动轨迹控制动作提示框的移动；当动作提示框移动到目的位置时，播放对应的弹奏
特效。具体的，如图8所示，本实施例提供了一种有移动轨迹的弹唱页面示意图，其中左图中
包含触发动作的动作提示框为起始位置，箭头组成的轨迹为动作提示框的移动轨迹，箭头
上方中没有包含触发动作的圆圈为动作提示框移动的目的位置，动作提示框按照箭头的轨
迹从原始位置向目的位置移动，移动到目的位置后播放对应的弹奏特效，其中右图为移动
到目的位置后对应的页面示意图。如图9所示，为本实施例提供了另一种有移动轨迹的弹唱
页面示意图，与图8相比，图9是另一种页面设计样式，主要是更改了弹奏标记的样式和下方
完成按钮的样式，还取消了节拍器按钮。

[0110] 进一步的，触发动作为手势时，根据弹唱难度，动作提示框展示单手或者双手手势，以实现单手或者双手的弹唱。具体的，弹唱难度较低时，动作提示框中展示的是单手手
势；弹唱难度较高时，动作提示框展示为双手手势。如图10所示，为双手弹唱的页面示意图，
其中左侧图中动作提示框中展示的是双手手势，动作提示框上方的两排箭头分别为左手手
势和右手手势的运动轨迹，箭头指向的圆圈为左手手势(或左手动作提示框)和右手手势
(或右手动作提示框)的目的位置，在弹唱的过程中，弹唱者的左右手分别做动作提示框中
的手势，然后按照箭头的方向移动，动作提示框分成左右两个动作提示框跟随着弹唱者手
势的移动分别向目的位置移动，到达目的位置后，触发弹奏特效的播放，图10的右图中为到
达目的位置后的页面示意图。如图11所示，为双手弹唱的另一种页面示意图，图11是另一种
页面设计样式，与图10相比，主要是将两排箭头合并成了一排箭头，箭头指向的圆圈也由两
个更改为一个，因此在弹唱的过程中，弹唱者的左右手分别做动作提示框中的手势，然后按
照箭头的方向移动，动作提示框没有分成两个动作提示框，还是保持一个动作提示框沿着
一排箭头的方向移动到目的位置。另外，图11中还更改了弹奏标记的样式和下方完成按钮
的样式，以及取消了节拍器按钮。

[0111] 需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不
同于此处的顺序执行所示出或描述的步骤。

[0112] 根据本申请实施例，还提供了一种用于实施上述图1‑图11所述方法的基于智能终端的弹唱装置，如图12所示，该装置包括：

[0113] 展示单元31，用于智能终端监控弹唱者的演唱进度，在到达歌词中的弹奏标记前，在动作提示框中展示当前需要弹唱者输入的触发动作，所述触发动作包括手势和表情两种
类型；

[0114] 识别单元32，用于接收并识别弹唱者输入的触发动作；

[0115] 播放单元33，用于识别成功后在演唱到弹奏标记时播放该弹奏标记处对应的弹奏特效，所述弹奏特效包括和弦音频和/或图像特效。

[0116] 具体的，本申请实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

[0117] 从以上的描述中，可以看出，本申请实施例中基于智能终端的弹唱装置中，智能终端监控弹唱者的演唱进度，在到达歌词中的弹奏标记前，在动作提示框中展示当前需要弹
唱者输入的触发动作，所述触发动作包括手势和表情两种类型；接收并识别弹唱者输入的
触发动作；识别成功后在演唱到弹奏标记时播放该弹奏标记处对应的弹奏特效，所述弹奏
特效包括和弦音频和/或图像特效。可以看出，本申请中，在弹唱者弹唱时，智能终端可以识
别弹唱者的手势或者表情，然后通过手势或者表情等动作来触发弹奏特效的播放，相当于
通过手势或者表情来进行弹奏。相比于现有的只能手指点击屏幕的单一的弹唱方式，更加
的多元化，能够满足多维度弹唱的需求。

[0118] 进一步的，如图13所示，所述装置还包括：

[0119] 获取单元34，用于在弹唱前，获取弹唱的模式，弹唱的模式中包括弹唱中使用的触发动作的类型、弹唱难度、弹唱的乐器；

[0120] 设置单元35，用于根据弹唱的模式设置歌词中包含的弹奏标记、弹唱中使用的触发动作以及播放的弹奏特效。

[0121] 进一步的，如图13所示，所述弹唱的模式中还包括弹唱的节奏类型，当节奏类型中包含连弹时，所述展示单元31，包括：

[0122] 第一展示模块311，用于在动作提示框所属区域展示当前需要弹唱者输入的触发动作、触发动作的执行次数；

[0123] 第二展示模块312，用于在动作提示框所属区域展示当前需要弹唱者输入的触发动作、触发动作的执行次数、复位动作。

[0124] 进一步的，如图13所示，所述触发动作为手势，所述展示单元31还包括：

[0125] 第三展示模块313，用于在动作提示框中展示当前需要弹唱者输入的触发动作，在动作展示框外展示动作提示框的移动轨迹；

[0126] 进一步的，所述识别单元32用于：

[0127] 接收手势以及手势的移动轨迹；

[0128] 进一步的，如图13所示，所述播放单元33包括：

[0129] 控制模块331，用于根据手势的移动轨迹控制动作提示框的移动；

[0130] 播放模块332，用于当动作提示框移动到目的位置时，播放对应的弹奏特效。

[0131] 进一步的，所述装置还包括：

[0132] 所述展示单元31，还用于根据弹唱难度，动作提示框中展示单手或者双手手势，以实现单手或者双手的弹唱。

[0133] 进一步的，如图13所示，所述设置单元35包括：

[0134] 第一设置模块351，用于获取弹唱者选择弹唱的歌曲，并根据所述歌曲对应的音乐设备数字接口MIDI文件设置弹奏标记，所述歌曲的MIDI文件是通过服务器获取的；

[0135] 生成模块352，用于根据弹唱难度，生成每个弹奏标记对应的触发动作；

[0136] 第二设置模块353，用于根据弹唱的乐器，设置每个弹奏标记对应的弹奏特效；

[0137] 第三设置模块354，用于根据弹唱中使用的触发动作的类型，设置弹唱中使用的触发动作。

[0138] 进一步的，如图13所示，所述装置还包括：

[0139] 合并单元36，用于在弹唱完成后，将演唱音频和弹奏特效合并生成弹唱作品。

[0140] 具体的，本申请实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

[0141] 进一步的，还提供了一种用于实施上述图1‑图11所述方法的基于智能终端的弹唱系统，所述系统包括：智能终端、服务器：

[0142] 所述智能终端，用于执行前方法实施例中所述的基于智能终端的弹唱方法；

[0143] 所述服务器，用于在弹唱前向智能终端发送弹唱者选择弹唱的歌曲对应的音乐设备数字接口MIDI文件；在弹唱完成后，接收并存储智能终端发送的弹唱作品，所述弹唱作品
是智能终端将演唱音频和弹奏特效合并生成的。

[0144] 进一步的，本实施例给出一种基于智能终端的弹唱系统的架构图，如图14所示，结合该架构图对弹唱的流程进行说明：用户(弹唱者)选择歌曲→智能终端通过服务器获取并
准备所选歌曲的midi音频素材(弹奏特效)、触发动作(手势或表情动作)→将midi音频素材
和触发动作(手势或表情动作)进行关联或者绑定展示给用户→用户演唱歌曲的同时做触
发动作(表情或手势动作)→智能终端识别用户做的触发动作→识别成功后播放midi音频
素材(弹奏特效)→弹唱完成后将演唱音频和midi音频素材(弹奏特效)合并弹唱作品。

[0145] 根据本申请实施例，还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行图1或图4所述的基于
智能终端的弹唱方法。

[0146] 显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成
的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储
在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们
中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的
硬件和软件结合。

[0147] 以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修
改、等同替换、改进等，均应包含在本申请的保护范围之内。