一种实时多通道数字助听器降噪方法和系统转让专利
申请号 : CN202110528997.8
文献号 : CN113259824B
文献日 : 2021-11-30
发明人 : 赵杨 , 曹强辉
申请人 : 谷芯(广州)技术有限公司
摘要 :
权利要求 :
1.一种实时多通道数字助听器降噪方法,其特征在于,所述助听器通过无线网络与移动终端的客户端应用进行数据连接,所述方法包括:识别助听器收录进来的声音信号,并对声音信号进行识别,获取当前助听器收录声音信号场景;其中,所述场景包括户外环境场景、室内声音场景、对话场景和视听娱乐场景;并且,每个场景对应一个用于声音信号降噪的神经网络模块;
将识别到的声音信号送入与所述场景对应的神经网络模块中进行降噪处理;获得降噪处理后的声音信号;
将所述降噪处理后的声音信号进行放大,获得放大后的声音信号,包括:将所述降噪处理后的声音信号,根据每个场景对应的放大系数进行放大,获得每个场景对应的标准放大声音信号,其中,每个场景对应的放大系数如下:α1=1.31
α2=1.23
α3=1.42
α4=1.35
其中,α1表示户外环境场景对应的声音信号放大系数;α2表示室内声音场景对应的声音信号放大系数;α3表示对话场景对应的声音信号放大系数;α4表示视听娱乐场景对应的声音信号放大系数;
实时监测用户是否根据需求通过移动终端的客户端进行声音信号放大调整;当用户第一次通过移动终端进行声音信号放大调整之后,在预设的放大调整监控时间段内,实时监控并记录用户的放大调整次数和放大调整结果;
根据用户的放大调整次数和放大调整结果,结合每个场景对应的声音信号放大调整模型,获取每个场景对应的调整后的声音放大信号;
根据信号处理时间实时调整助听器的语音信号采集时间间隔。
2.根据权利要求1所述实时多通道数字助听器降噪方法,其特征在于,所述声音信号放大调整模型,包括:
其中,S1、S2、S3和S4分别对应表示户外环境场景、室内声音场景、对话场景和视听娱乐场景调整后的声音放大信号;n、m、p和q分别对应表示用户在户外环境场景、室内声音场景、对话场景和视听娱乐场景情况下利用移动终端的客户端进行放大声音信号调整的次数;S1i、S2i、S3i和S4i表示用户在户外环境场景、室内声音场景、对话场景和视听娱乐场景情况下,第i次利用移动终端的客户端进行放大声音信号调整获得的声音信号的放大结果音量;S1max2和S1min2、S2max2和S2min2、S3max2和S3min2、S4max2和S4min2分别对应表示用户在户外环境场景、室内声音场景、对话场景和视听娱乐场景情况下调整放大量的声音信号中,最大的两个声音信号放大结果对应音量和最小的两个声音信号放大结果对应的音量。
3.根据权利要求1所述实时多通道数字助听器降噪方法,其特征在于,根据信号处理时间实时调整助听器的语音信号采集时间间隔,包括:实时监控含噪语音信号输入时刻,并实时监控降噪语音信号输出的信号输出时刻;
通过噪语音信号输入时刻与信号输出时刻之差计算获取语音信号处理时间长度;
将语音信号处理时间长度与第一时间长度阈值进行比较,当所述语音信号处理时间段超过第一时间长度阈值时对当前时刻进行标记;其中,所述第一时间长度阈值通过如下公式获取:
其中,T1表示第一时间长度阈值;T0表示语音信号处理时间的标注时间段;ΔT表示语音信号处理时间合理浮动范围;
在所述语音信号处理时间段超过第一时间长度阈值的时刻起,语音信号处理时间长度在监控规则内没有达到保持原语音信号采集时间间隔的要求时,通过语音信号采样时间间隔调整模型,对当前助听器的语音信号采样时间间隔进行调整;其中,所述语音信号采样时间间隔调整模型如下:
其中,Tg表示调整后的语音信号采样时间间隔;Tg0表示初始语音信号采样时间间隔;Tc1表示语音信号处理时间段第一次超过第一时间长度阈值时对应的语音信号处理时间值;
当所述语音信号处理时间段超过第二时间长度阈值的时刻起,则发出语音警报,告知用户进行助听器维修或更换;其中,所述第二时间长度阈值通过如下公式获取:其中,T2表示第二时间长度阈值;T0表示语音信号处理时间的标注时间段;ΔT表示语音信号处理时间合理浮动范围;Tmax表示所述语音信号处理时间段超过第一时间长度阈值后,语音信号处理时间段最大值;
4.根据权利要求3所述实时多通道数字助听器降噪方法,其特征在于,所述监控规则包括:
规则一:在所述语音信号处理时间段超过第一时间长度阈值的时刻起,连续五分钟内,语音信号处理时间段持续超过第一时间长度阈值,则调整语音信号采样时间间隔;
规则二:在所述语音信号处理时间段超过第一时间长度阈值的时刻起,五分钟之内语音信号处理时间长度下降到第一时间长度阈值之下,但是在下降后的十分钟之内又超出第一时间长度阈值,且往复波动两次异常次数,则调整语音信号采样时间间隔;
规则三:在所述语音信号处理时间段超过第一时间长度阈值后五分钟之内音信号处理时间长度下降到第一时间长度阈值之下,所述语音信号处理时间段超过第一时间长度阈值时间超过十分钟的情况,在所述语音信号处理时间段第一次超过第一时间长度阈值后的十天内,如果所述语音信号处理时间段超过第一时间长度阈值次数超过预设的次数阈值,则调整语音信号采样时间间隔。
5.一种实时多通道数字助听器降噪系统,其特征在于,所述助听器通过无线网络与移动终端的客户端应用进行数据连接,所述系统包括:识别模块,用于识别助听器收录进来的声音信号,并对声音信号进行识别,获取当前助听器收录声音信号场景;其中,所述场景包括户外环境场景、室内声音场景、对话场景和视听娱乐场景;并且,每个场景对应一个用于声音信号降噪的神经网络模块;
降噪模块,用于将识别到的声音信号送入与所述场景对应的神经网络模块中进行降噪处理;获得降噪处理后的声音信号;
放大模块,用于将所述降噪处理后的声音信号进行放大,获得放大后的声音信号,其中所述放大模块包括:
标准放大模块,用于将所述降噪处理后的声音信号,根据每个场景对应的放大系数进行放大,获得每个场景对应的标准放大声音信号,其中,每个场景对应的放大系数如下:α1=1.31
α2=1.23
α3=1.42
α4=1.35
其中,α1表示户外环境场景对应的声音信号放大系数;α2表示室内声音场景对应的声音信号放大系数;α3表示对话场景对应的声音信号放大系数;α4表示视听娱乐场景对应的声音信号放大系数;
监控模块,用于实时监测用户是否根据需求通过移动终端的客户端进行声音信号放大调整;当用户第一次通过移动终端进行声音信号放大调整之后,在预设的放大调整监控时间段内,实时监控并记录用户的放大调整次数和放大调整结果;
调整放大模块,用于根据用户的放大调整次数和放大调整结果,结合每个场景对应的声音信号放大调整模型,获取每个场景对应的调整后的声音放大信号;
调整模块,用于根据信号处理时间实时调整助听器的语音信号采集时间间隔。
6.根据权利要求5所述实时多通道数字助听器降噪系统,其特征在于,所述声音信号放大调整模型如下:
其中,S1、S2、S3和S4分别对应表示户外环境场景、室内声音场景、对话场景和视听娱乐场景调整后的声音放大信号;n、m、p和q分别对应表示用户在户外环境场景、室内声音场景、对话场景和视听娱乐场景情况下利用移动终端的客户端进行放大声音信号调整的次数;S1i、S2i、S3i和S4i表示用户在户外环境场景、室内声音场景、对话场景和视听娱乐场景情况下,第i次利用移动终端的客户端进行放大声音信号调整获得的声音信号的放大结果音量;S1max2和S1min2、S2max2和S2min2、S3max2和S3min2、S4max2和S4min2分别对应表示用户在户外环境场景、室内声音场景、对话场景和视听娱乐场景情况下调整放大量的声音信号中,最大的两个声音信号放大结果对应音量和最小的两个声音信号放大结果对应的音量。
7.根据权利要求5所述实时多通道数字助听器降噪系统,其特征在于,所述调整模块包括:
输入输出监控模块用于实时监控含噪语音信号输入时刻,并实时监控降噪语音信号输出的信号输出时刻;
处理时间获取模块,用于通过噪语音信号输入时刻与信号输出时刻之差计算获取语音信号处理时间长度;
比较模块,用于将语音信号处理时间长度与第一时间长度阈值进行比较,当所述语音信号处理时间段超过第一时间长度阈值时对当前时刻进行标记;其中,所述第一时间长度阈值通过如下公式获取:
其中,T1表示第一时间长度阈值;T0表示语音信号处理时间的标注时间段;ΔT表示语音信号处理时间合理浮动范围;
时间调整模块,用于在所述语音信号处理时间段超过第一时间长度阈值的时刻起,语音信号处理时间长度在监控规则内没有达到保持原语音信号采集时间间隔的要求时,通过语音信号采样时间间隔调整模型,对当前助听器的语音信号采样时间间隔进行调整;其中,所述语音信号采样时间间隔调整模型如下:其中,Tg表示调整后的语音信号采样时间间隔;Tg0表示初始语音信号采样时间间隔;Tc1表示语音信号处理时间段第一次超过第一时间长度阈值时对应的语音信号处理时间值;
报警模块,用于当所述语音信号处理时间段超过第二时间长度阈值的时刻起,则发出语音警报,告知用户进行助听器维修或更换;其中,所述第二时间长度阈值通过如下公式获取:
其中,T2表示第二时间长度阈值;T0表示语音信号处理时间的标注时间段;ΔT表示语音信号处理时间合理浮动范围;Tmax表示所述语音信号处理时间段超过第一时间长度阈值后,语音信号处理时间段最大值。
8.根据权利要求7所述实时多通道数字助听器降噪系统,其特征在于,所述监控规则包括:
规则一:在所述语音信号处理时间段超过第一时间长度阈值的时刻起,连续五分钟内,语音信号处理时间段持续超过第一时间长度阈值,则调整语音信号采样时间间隔;
规则二:在所述语音信号处理时间段超过第一时间长度阈值的时刻起,五分钟之内语音信号处理时间长度下降到第一时间长度阈值之下,但是在下降后的十分钟之内又超出第一时间长度阈值,且往复波动两次异常次数,则调整语音信号采样时间间隔;
规则三:在所述语音信号处理时间段超过第一时间长度阈值后五分钟之内音信号处理时间长度下降到第一时间长度阈值之下,所述语音信号处理时间段超过第一时间长度阈值时间超过十分钟的情况,在所述语音信号处理时间段第一次超过第一时间长度阈值后的十天内,如果所述语音信号处理时间段超过第一时间长度阈值次数超过预设的次数阈值,则调整语音信号采样时间间隔。
说明书 :
一种实时多通道数字助听器降噪方法和系统
技术领域
背景技术
者仍然有可能无法理解语音内容,其原因在于噪声使听障患者的听觉认知过载,从而干扰
了神经系统对语音处理的能力。因此,在噪声环境下,不光要提高语音信号的可听性,更重
要的是改善听障患者的理解度。长期以来,助听器的降噪方法主要包含方向性麦克风技术
和语音降噪算法2类。在助听器设计中,集成方向性传声器的助听器通常假定使用者正前方
的声音为有用声音,侧方和后方的声音为噪声。这种助听器技术在实际效果和用户满意度
方面都存在一定的问题,且受到助听器体积和功耗的限制。
发明内容
如下:
乐场景;并且,每个场景对应一个用于声音信号降噪的神经网络模块;
声音信号放大系数;
时监控并记录用户的放大调整次数和放大调整结果;其中,所述预设的放大调整监控时间
段通常为100天;
声音场景、对话场景和视听娱乐场景情况下利用移动终端的客户端进行放大声音信号调整
的次数;S1i、S2i、S3i和S4i表示用户在户外环境场景、室内声音场景、对话场景和视听娱乐场
景情况下,第i次利用移动终端的客户端进行放大声音信号调整获得的声音信号的放大结
果音量;S1max2和S1min2、S2max2和S2min2、S3max2和S3min2、S4max2和S4min2分别对应表示用户在户外环
境场景、室内声音场景、对话场景和视听娱乐场景情况下调整放大量的声音信号中,最大的
两个声音信号放大结果对应音量和最小的两个声音信号放大结果对应的音量。
下公式获取:
间间隔调整模型,对当前助听器的语音信号采样时间间隔进行调整;其中,所述语音信号采
样时间间隔调整模型如下:
值;
值后,语音信号处理时间段最大值;
出第一时间长度阈值,且往复波动两次异常次数,则调整语音信号采样时间间隔;
长度阈值时间超过十分钟的情况,在所述语音信号处理时间段第一次超过第一时间长度阈
值后的十天内,如果所述语音信号处理时间段超过第一时间长度阈值次数超过预设的次数
阈值,则则调整语音信号采样时间间隔。
场景和视听娱乐场景;并且,每个场景对应一个用于声音信号降噪的神经网络模块;
下:
声音信号放大系数;
控时间段内,实时监控并记录用户的放大调整次数和放大调整结果;其中,所述预设的放大
调整监控时间段通常为100天;
声音场景、对话场景和视听娱乐场景情况下利用移动终端的客户端进行放大声音信号调整
的次数;S1i、S2i、S3i和S4i表示用户在户外环境场景、室内声音场景、对话场景和视听娱乐场
景情况下,第i次利用移动终端的客户端进行放大声音信号调整获得的声音信号的放大结
果音量;S1max2和S1min2、S2max2和S2min2、S3max2和S3min2、S4max2和S4min2分别对应表示用户在户外环
境场景、室内声音场景、对话场景和视听娱乐场景情况下调整放大量的声音信号中,最大的
两个声音信号放大结果对应音量和最小的两个声音信号放大结果对应的音量。
长度阈值通过如下公式获取:
时,通过语音信号采样时间间隔调整模型,对当前助听器的语音信号采样时间间隔进行调
整;其中,所述语音信号采样时间间隔调整模型如下:
值;
式获取:
值后,语音信号处理时间段最大值;
出第一时间长度阈值,且往复波动两次异常次数,则调整语音信号采样时间间隔;
长度阈值时间超过十分钟的情况,在所述语音信号处理时间段第一次超过第一时间长度阈
值后的十天内,如果所述语音信号处理时间段超过第一时间长度阈值次数超过预设的次数
阈值,则则调整语音信号采样时间间隔。
声音的清晰度。通过利用上述声音信号放大方式结合移动终端的用户自主放大音量调节能
够有效提高助听器声音播放舒适性以及助听器播放音量与用户之间的匹配性。另一方面,
由于电路和芯片系统在长期使用过程中由于老化等问题,常会出现语音信号处理延时的问
题发生,在这种情况下,如果语音信号采集的频率不进行调整,往往会导致后续语音处理信
号来不及进行有效处理,导致语音处理数据大幅度延迟或遗漏,导致助听器使用者不能及
时听清外界声音,因此,通过上述方式实时监控语言信号处理时间,在语音信号处理时间出
现延时的情况下,对语音信号采集时间间隔进行调整,能够有效提高语音采集频率与语音
信号处理之间的协调性和平衡性,有效提高助听器的运行稳定性和语音信号处理的质量,
延长助听器的使用时间。
附图说明
具体实施方式
平台电脑等,所述方法包括:
娱乐场景;并且,每个场景对应一个用于声音信号降噪的神经网络模块;
室内声音场景、对话场景和视听娱乐场景;并且,每个场景对应一个用于声音信号降噪的神
经网络模块;然后,将识别到的声音信号送入与所述场景对应的神经网络模块中进行降噪
处理;获得降噪处理后的声音信号;随后,将所述降噪处理后的声音信号进行放大,获得放
大后的声音信号;最后,根据信号处理时间实时调整助听器的语音信号采集时间间隔。
信号放大方式结合移动终端的用户自主放大音量调节能够有效提高助听器声音播放舒适
性以及助听器播放音量与用户之间的匹配性。
声音信号放大系数;
段内,实时监控并记录用户的放大调整次数和放大调整结果;其中,所述预设的放大调整监
控时间段通常为100天;
声音场景、对话场景和视听娱乐场景情况下利用移动终端的客户端进行放大声音信号调整
的次数;S1i、S2i、S3i和S4i表示用户在户外环境场景、室内声音场景、对话场景和视听娱乐场
景情况下,第i次利用移动终端的客户端进行放大声音信号调整获得的声音信号的放大结
果音量;S1max2和S1min2、S2max2和S2min2、S3max2和S3min2、S4max2和S4min2分别对应表示用户在户外环
境场景、室内声音场景、对话场景和视听娱乐场景情况下调整放大量的声音信号中,最大的
两个声音信号放大结果对应音量和最小的两个声音信号放大结果对应的音量。
否根据需求通过移动终端的客户端进行声音信号放大调整;当用户第一次通过移动终端进
行声音信号放大调整之后,在预设的放大调整监控时间段内,实时监控并记录用户的放大
调整次数和放大调整结果;其中,所述预设的放大调整监控时间段通常为100天;最后,根据
用户的放大调整次数和放大调整结果,结合每个场景对应的声音信号放大调整模型,获取
每个场景对应的调整后的声音放大信号
匹配性。同时,通过上述公式结合用户放大调整的实际结果获取与用户实际使用对应的声
音放大量,能够有效提高助听器的自适应放大音量调整准确性和调整灵活性。有效减少后
续用户的手动调节次数,使助听器自动针对用户的历史调整记录进行自适应放大音量调
整。同时,根据上述公式获取的放大结果,能够进一步提高声音放大程度与用户的每个场景
的听力的匹配性,进一步提高助听器的放大准确度以及用户使用助听器的舒适度。
通过如下公式获取:
采样时间间隔调整模型,对当前助听器的语音信号采样时间间隔进行调整;其中,所述语音
信号采样时间间隔调整模型如下:
值;
值后,语音信号处理时间段最大值;
出第一时间长度阈值,且往复波动两次异常次数,则调整语音信号采样时间间隔;
长度阈值时间超过十分钟的情况,在所述语音信号处理时间段第一次超过第一时间长度阈
值后的十天内,如果所述语音信号处理时间段超过第一时间长度阈值次数超过预设的次数
阈值,则则调整语音信号采样时间间隔。
计算获取语音信号处理时间长度;之后,将语音信号处理时间长度与第一时间长度阈值进
行比较,当所述语音信号处理时间段超过第一时间长度阈值时对当前时刻进行标记;随后,
在所述语音信号处理时间段超过第一时间长度阈值的时刻起,语音信号处理时间长度在监
控规则内没有达到保持原语音信号采集时间间隔的要求时,通过语音信号采样时间间隔调
整模型,对当前助听器的语音信号采样时间间隔进行调整;最后,当所述语音信号处理时间
段超过第二时间长度阈值的时刻起,则发出语音警报,告知用户进行助听器维修或更换;
行调整,往往会导致后续语音处理信号来不及进行有效处理,导致语音处理数据大幅度延
迟或遗漏,导致助听器使用者不能及时听清外界声音,因此,通过上述方式实时监控语言信
号处理时间,在语音信号处理时间出现延时的情况下,对语音信号采集时间间隔进行调整,
能够有效提高语音采集频率与语音信号处理之间的协调性和平衡性,有效提高助听器的运
行稳定性和语音信号处理的质量,延长助听器的使用时间。
运行的有效调节,在助听器无法为佩戴者提供有效声音处理后,进行及时提醒。
平台电脑等,所述系统包括:
场景和视听娱乐场景;并且,每个场景对应一个用于声音信号降噪的神经网络模块;
信号放大方式结合移动终端的用户自主放大音量调节能够有效提高助听器声音播放舒适
性以及助听器播放音量与用户之间的匹配性。
下:
声音信号放大系数;
控时间段内,实时监控并记录用户的放大调整次数和放大调整结果;其中,所述预设的放大
调整监控时间段通常为100天;
声音场景、对话场景和视听娱乐场景情况下利用移动终端的客户端进行放大声音信号调整
的次数;S1i、S2i、S3i和S4i表示用户在户外环境场景、室内声音场景、对话场景和视听娱乐场
景情况下,第i次利用移动终端的客户端进行放大声音信号调整获得的声音信号的放大结
果音量;S1max2和S1min2、S2max2和S2min2、S3max2和S3min2、S4max2和S4min2分别对应表示用户在户外环
境场景、室内声音场景、对话场景和视听娱乐场景情况下调整放大量的声音信号中,最大的
两个声音信号放大结果对应音量和最小的两个声音信号放大结果对应的音量。
匹配性。同时,通过上述公式结合用户放大调整的实际结果获取与用户实际使用对应的声
音放大量,能够有效提高助听器的自适应放大音量调整准确性和调整灵活性。有效减少后
续用户的手动调节次数,使助听器自动针对用户的历史调整记录进行自适应放大音量调
整。同时,根据上述公式获取的放大结果,能够进一步提高声音放大程度与用户的每个场景
的听力的匹配性,进一步提高助听器的放大准确度以及用户使用助听器的舒适度。
长度阈值通过如下公式获取:
时,通过语音信号采样时间间隔调整模型,对当前助听器的语音信号采样时间间隔进行调
整;其中,所述语音信号采样时间间隔调整模型如下:
值;
式获取:
值后,语音信号处理时间段最大值;
出第一时间长度阈值,且往复波动两次异常次数,则调整语音信号采样时间间隔;
长度阈值时间超过十分钟的情况,在所述语音信号处理时间段第一次超过第一时间长度阈
值后的十天内,如果所述语音信号处理时间段超过第一时间长度阈值次数超过预设的次数
阈值,则则调整语音信号采样时间间隔。
行调整,往往会导致后续语音处理信号来不及进行有效处理,导致语音处理数据大幅度延
迟或遗漏,导致助听器使用者不能及时听清外界声音,因此,通过上述方式实时监控语言信
号处理时间,在语音信号处理时间出现延时的情况下,对语音信号采集时间间隔进行调整,
能够有效提高语音采集频率与语音信号处理之间的协调性和平衡性,有效提高助听器的运
行稳定性和语音信号处理的质量,延长助听器的使用时间。
运行的有效调节,在助听器无法为佩戴者提供有效声音处理后,进行及时提醒。
之内,则本发明也意图包含这些改动和变型在内。