基于语音识别和图形反馈校正的游戏化听觉口语法系统

摘要

本发明公开了基于语音识别和图形反馈校正的游戏化听觉口语法系统，包括软件系统与硬件系统，所述软件系统包括专为听障儿童设计的移动端应用程序和专为听觉口语治疗师和听障儿童家长设计的门户网站，所述移动端应用程序为听障儿童提供训练教程、训练平台和训练游戏，所述门户网站可以为听障儿童制定训练计划和跟踪训练进度，所述硬件系统包括一个物理游戏。

权利要求

1.基于语音识别和图形反馈校正的游戏化听觉口语法系统，包括软件系统与硬件系统，其特征在于：所述软件系统包括专为听障儿童设计的移动端应用程序和专为听觉口语治疗师和听障儿童家长设计的门户网站，所述移动端应用程序为听障儿童提供训练教程、训练平台和训练游戏，所述门户网站可以为听障儿童制定训练计划和跟踪训练进度，所述硬件系统包括一个物理游戏。

2.根据权利要求1所述的基于语音识别和图形反馈校正的游戏化听觉口语法系统，其特征在于：所述移动端应用程序目标用户是低龄听障儿童；

主要遵循操作简单，内容通俗易懂，趣味性强，游戏性强的特点；

促进听障儿童在轻松愉快的环境中进行听觉口语康复训练。

3.根据权利要求1所述的基于语音识别和图形反馈校正的游戏化听觉口语法系统，其特征在于：所述门户网站目标用户是听觉口语治疗师和听障儿童的家长，主要遵循操作简单，页面排版简洁和整齐，功能性强的特点；

让听觉口语治疗师和听障儿童的家长可以在较短的时间内学会操作网站，快速获取对听障儿童的训练有效的信息。

4.根据权利要求1所述的基于语音识别和图形反馈校正的游戏化听觉口语法系统，其特征在于：所述物理游戏为一种“拼立方”目标用户是低龄听障儿童，主要遵循操作简单，产品安全性高，不会误伤儿童，质量高，不会轻易损坏的特点，产品的外层会使用绝缘的塑料保护壳和弹性橡胶包裹，用圆角代替尖角。

5.根据权利要求1所述的基于语音识别和图形反馈校正的游戏化听觉口语法系统，其特征在于：所述移动端应用程序还包括物理游戏“拼立方”的软件版本。

6.一种培训如何发音训练方法，其特征在于：包括以下步骤：

步骤1，提供标准的发音教程和演示，将使用正确的发音方式为听障儿童和他们的家长提供详细和标准化的可视化信息；

步骤2，提供三维建模发音动画，听障儿童可以对三维模型移动，旋转，放大或缩小，能够非常清晰地显示嘴巴内部的结构；

使听障儿童和他们的家长更清楚嘴巴发音时的形状和运动情况；

步骤3，在应用程序中启用摄像头，嘴形的标准发音将叠加在实时捕获的摄像机上，以便孩子可以实时练习；

步骤4，采用动态时间规整算法，线性预测声带和梅尔频率倒谱系数来准确判断听障儿童的发音正确率，利用循环神经网络进一步提高算法的准确率；

这项技术可帮助有听障儿童在训练时发出更准确的发音，同时加入嘴形动作分析，使用计算机视觉技术分析听障儿童发音视频中的嘴形的准确率；

步骤5，听障儿童的发音记录存储在云端数据库中，听觉口语治疗师和听障儿童的家长可以随时监视听障儿童的学习过程，并及时向听障儿童提供训练结果的反馈。

说明书

基于语音识别和图形反馈校正的游戏化听觉口语法系统

技术领域

[0001] 本发明涉及疗辅助相关领域，具体为基于语音识别和图形反馈校正的游戏化听觉口语法系统。

背景技术

[0002] 在新加坡，新生儿听力筛查的普遍结果显示，每1,000名新生儿中有3.8个患有先天性听力障碍。因此，假设每年的出生人数是40,000，新加坡有大约3,000名19岁以下的青少年患有先天性听力障碍，这个数字还不包括获得性听力障碍。

[0003] 而在中国，中国是世界上听力障碍儿童数量最多的国家。2006年，第二次全国残疾人抽样调查显示，中国有听力语言残疾人2,780万人，其中0 - 6岁的听力残疾儿童约有13.7万，每年新生聋儿约2.3万。

[0004] 因此，为听障儿童家庭寻求积极有效的听觉口语康复治疗的最佳方案，是我们亟待解决的问题。

发明内容

[0005] 本发明的目的在于提供基于语音识别和图形反馈校正的游戏化听觉口语法系统，以解决上述背景技术中提出的问题。

[0006] 为实现上述目的，本发明提供如下技术方案：基于语音识别和图形反馈校正的游戏化听觉口语法系统，包括软件系统与硬件系统，所述软件系统包括专为听障儿童设计的移动端应用程序和专为听觉口语治疗师和听障儿童家长设计的门户网站，所述移动端应用程序为听障儿童提供训练教程、训练平台和训练游戏，所述门户网站可以为听障儿童制定训练计划和跟踪训练进度，所述硬件系统包括一个物理游戏。

[0007] 优选的，所述移动端应用程序目标用户是低龄听障儿童。主要遵循操作简单，内容通俗易懂，趣味性强，游戏性强的特点。促进听障儿童在轻松愉快的环境中进行听觉口语康复训练。

[0008] 优选的，所述门户网站目标用户是听觉口语治疗师和听障儿童的家长，主要遵循操作简单，页面排版简洁和整齐，功能性强的特点。让听觉口语治疗师和听障儿童的家长可以在较短的时间内学会操作网站，快速获取对听障儿童的训练有效的信息。

[0009] 优选的，所述物理游戏为一种“拼立方”目标用户是低龄听障儿童，主要遵循操作简单，产品安全性高，不会误伤儿童，质量高，不会轻易损坏的特点，产品的外层会使用绝缘的塑料保护壳和弹性橡胶包裹，用圆角代替尖角。

[0010] 优选的，所述移动端应用程序还包括物理游戏“拼立方”的软件版本。

[0011] 一种培训如何发音训练方法，包括以下步骤：步骤1，提供标准的发音教程和演示，将使用正确的发音方式为听障儿童和他们的家长提供详细和标准化的可视化信息；
步骤2，提供三维建模发音动画，听障儿童可以对三维模型移动，旋转，放大或缩小，能够非常清晰地显示嘴巴内部的结构。使听障儿童和他们的家长更清楚嘴巴发音时的形状和运动情况；
步骤3，在应用程序中启用摄像头，嘴形的标准发音将叠加在实时捕获的摄像机上，以便孩子可以实时练习；
步骤4，采用动态时间规整算法，线性预测声带和梅尔频率倒谱系数来准确判断听障儿童的发音正确率，利用循环神经网络进一步提高算法的准确率。这项技术可帮助有听障儿童在训练时发出更准确的发音，同时加入嘴形动作分析，使用计算机视觉技术分析听障儿童发音视频中的嘴形的准确率；
步骤5，听障儿童的发音记录存储在云端数据库中，听觉口语治疗师和听障儿童的家长可以随时监视听障儿童的学习过程，并及时向听障儿童提供训练结果的反馈。

[0012] 与现有技术相比，本发明的有益效果是：该基于语音识别和图形反馈校正的游戏化听觉口语法系统，通过提供训练教程、训练平台和“欢乐跳”游戏的移动应用程序，以及一个“拼立方”实体游戏，训练平台使用语音测评功能，将听障儿童的发音与标准发音的音频进行比对，检测听障儿童的发音的准确性，通过波形图的形式准确地显示发音的错误位置和与标准发音的差距；并使用嘴形动作分析功能检测整个发音过程中嘴形动作不正确的位置。训练平台的数据会自动存储在云端服务器。同时，程序还引入了游戏化模式来鼓励听障儿童积极训练，“欢乐跳”是一个语音交互游戏，听障儿童通过语音控制游戏角色的移动；“拼立方”是通过排列组合的方式训练听障儿童来学习并记住发音。

[0013] 利用训练平台捕获的数据，听觉口语治疗师可以远程地通过门户网站来回放听障儿童已完成的训练和进行数据分析，实时监控听障儿童的训练和康复情况，及时纠正听障儿童的发音，保证听障儿童以正确的发音完成听觉口语治疗训练。

附图说明

[0014] 图1为本发明的基于语音识别和图形反馈校正的游戏化听觉口语法系统概观图；图2为本发明的基于语音识别和图形反馈校正的游戏化听觉口语法系统架构图。

具体实施方式

[0015] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

[0016] 实施例1请参阅图1-2，本发明提供的一种实施例：基于语音识别和图形反馈校正的游戏化听觉口语法系统，包括软件系统与硬件系统，所述软件系统包括专为听障儿童设计的移动端应用程序和专为听觉口语治疗师和听障儿童家长设计的门户网站，所述移动端应用程序为听障儿童提供训练教程、训练平台和训练游戏，所述门户网站可以为听障儿童制定训练计划和跟踪训练进度，所述硬件系统包括一个物理游戏。

[0017] 进一步的，所述移动端应用程序目标用户是低龄听障儿童，主要遵循操作简单，内容通俗易懂，趣味性强，游戏性强的特点，促进听障儿童在轻松愉快的环境中进行听觉口语康复训练，具体的讲，提醒听障儿童按时进行听觉口语训练，通过视频教程，三维发音模型和标准发音嘴形矫正功能指导听障儿童，使用音标/语音识别功能判断听障儿童发音的准确率。把听障儿童的发音音频和标准的发音音频比对，经过系统分析后，比对结果会以波形图的形式来显示听障儿童的发音和标准发音之间的差距，差距较小的部分显示为绿色，差距较大的部分显示为红色，使用嘴形动作分析功能判断听障儿童发音嘴形的准确率。把听障儿童的发音嘴形和标准的发音嘴形比对，经过系统分析后，整个发音视频的嘴形会用不同的颜色勾勒出轮廓，正确的部分显示为绿色，错误的部分为显示红色，三维语音控制游戏“欢乐跳”，鼓励听障儿童不断地练习发音，增强记忆。

[0018] 进一步的，所述门户网站目标用户是听觉口语治疗师和听障儿童的家长，主要遵循操作简单，页面排版简洁和整齐，功能性强的特点，让听觉口语治疗师和听障儿童的家长可以在较短的时间内学会操作网站，快速获取对听障儿童的训练有效的信息，具体的讲，为听觉口语治疗师和听障儿童家长设计，可以为听障儿童制定训练计划和跟踪训练进度。

[0019] 进一步的，所述物理游戏为一种“拼立方”目标用户是低龄听障儿童，主要遵循操作简单，产品安全性高，不会误伤儿童，质量高，不会轻易损坏的特点，产品的外层会使用绝缘的塑料保护壳和弹性橡胶包裹，用圆角代替尖角，具体的讲，听障儿童手脑并用进行发音训练，刺激他们的肌肉记忆。听障儿童需要不断尝试不同的国际音标的组合，以找到单词的正确发音。在尝试拼写单词的发音的过程中，可以帮助听障儿童练习并增强单词的发音记忆，单词的每个国际音标随机显示在硬件“拼立方（使用发光二极管显示屏）”上，并让听障儿童排列拼立方的顺序，如果顺序正确，拼立方的发光二极管显示屏会显示笑脸；如果顺序错误，拼立方的发光二极管显示屏会显示哭脸，鼓励听障儿童不断地练习，当听障儿童单击应用程序上的“开始”按钮时，倒数计时将开始，听障儿童需要在指定时间内完成游戏。同时，单词的国际音标将显示在3个拼立方的发光二极管屏幕上，听障儿童需要对其重新排序，如果国际音标的排列顺序错误，则拼立方的发光二极管屏幕将显示哭脸，如果国际音标的排列顺序正确，则拼立方的发光二极管屏幕将显示笑脸。

[0020] 进一步的，所述移动端应用程序还包括物理游戏“拼立方”的软件版本，具体的讲，游戏规则和硬件版本的一致，单词的每个国际音标随机显示在“立方块”上，并让听障儿童用手指移动并排列立方块的顺序，如果顺序正确，屏幕会显示“做得好！”动画；如果顺序错误，移动端应用程序上会显示“再来一次！”的动画，鼓励听障儿童不断地练习。

[0021] 本发明还提供了一种培训如何发音训练方法，包括以下步骤：步骤1，提供标准的发音教程和演示，将使用正确的发音方式为听障儿童和他们的家长提供详细和标准化的可视化信息；
步骤2，提供三维建模发音动画，听障儿童可以对三维模型移动，旋转，放大或缩小，能够非常清晰地显示嘴巴内部的结构。使听障儿童和他们的家长更清楚嘴巴发音时的形状和运动情况；
步骤3，在应用程序中启用摄像头，嘴形的标准发音将叠加在实时捕获的摄像机上，以便孩子可以实时练习；
步骤4，采用动态时间规整算法，线性预测声带和梅尔频率倒谱系数来准确判断听障儿童的发音正确率，利用循环神经网络进一步提高算法的准确率。这项技术可帮助有听障儿童在训练时发出更准确的发音，同时加入嘴形动作分析，使用计算机视觉技术分析听障儿童发音视频中的嘴形的准确率；
步骤5，听障儿童的发音记录存储在云端数据库中，听觉口语治疗师和听障儿童的家长可以随时监视听障儿童的学习过程，并及时向听障儿童提供训练结果的反馈。

[0022] 工作原理：首先听觉口语治疗师通过门户网站帮助听障儿童分配训练计划，听障儿童通过移动端应用程序的视频教程和三维建模发音动画练习发音，听障儿童可以通过所有教程完成发音训练，并通过覆盖在实时捕捉的相机上的标准发音嘴形的动作纠正自己的发音嘴形，听障儿童录制发音后，系统不仅能对使用者的发音的准确率评分，还能把听障儿童的发音与正确标准的发音进行动态匹配，并以波形图的形式显示整个音标 /单词/句子的准确率，精确地显示听障儿童的整个发音过程具体的错误位置以及和正确标准的发音的距离，绿色表示发音正确，红色表示发音错误。同时，听障儿童可以根据发音的比对结果，选择任意部分重播，可以更加清晰地了解错误发音的位置，听障儿童录制发音嘴形后，系统会提取听障儿童的发音嘴形的特征并分析，并检测出使用者的整个发音过程中嘴形动作是否正确，正确部分会用绿色的轮廓勾勒，错误的部分会用红色的轮廓勾勒，听觉口语治疗师通过门户网站监视听障儿童的状况。选择不同的发音，该发音的所有记录会以折线图的方式展示。听觉言语治疗师可以单击折线图上的一个点去回放听障儿童的发音，并针对训练结果及时给听障儿童正确的反馈。

[0023] 对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。