语音的控制方法及装置转让专利
申请号 : CN202110298457.5
文献号 : CN113028597B
文献日 : 2022-04-05
发明人 : 高智博 , 张文达 , 梁俊杰 , 王启龙
申请人 : 珠海格力电器股份有限公司
摘要 :
权利要求 :
1.一种语音的控制方法,其特征在于,包括:获取第一语音指令及第一生理特征信息,其中,所述第一生理特征信息包括如下至少一种:目标对象发出所述第一语音指令时的肢体特征、面部特征以及声音特征;
根据所述第一生理特征信息,判断所述第一语音指令是否有效;
在所述第一语音指令有效的情况下,控制目标设备执行所述第一语音指令;
存储初始信息,其中,所述初始信息包括:所述第一语音指令、所述第一生理特征信息、以及所述第一语音指令对应于所述第一生理特征信息的判断结果;
在第一预设时间内接收到第二语音指令的情况下,存储修正信息,并覆盖所述初始信息,其中,所述修正信息包括:修正语音指令、与所述修正语音指令对应的第二生理特征信息;
在第一预设时间内接收到第二语音指令的情况下,控制所述目标设备执行所述第二语音指令,其中,所述第二语音指令用于修正所述第一语音指令的有效状态。
2.根据权利要求1所述的语音的控制方法,其特征在于,在根据所述第一生理特征信息,判断所述第一语音指令是否有效之前,所述方法还包括:采集环境参数;
判断所述第一语音指令和所述环境参数是否匹配;
在所述第一语音指令和所述环境参数匹配的情况下,进入根据所述第一生理特征信息,判断所述第一语音指令是否有效的步骤;
在所述第一语音指令和所述环境参数不匹配的情况下,确定所述第一语音指令无效。
3.根据权利要求1所述的语音的控制方法,其特征在于,在根据所述第一生理特征信息,判断所述第一语音指令是否有效之后,所述方法还包括:确定所述第一语音指令无效;
在第二预设时间内接收到预设重复次数的所述第一语音指令的情况下,确定所述第一语音指令有效,且控制所述目标设备执行所述第一语音指令。
4.根据权利要求1所述的语音的控制方法,其特征在于,在接收到多个对象的语音指令的情况下,所述方法还包括:
在所述多个对象的语音指令不相同的情况下,获取所述多个对象对应的生理特征信息的历史采集频率;
从所述多个对象中根据所述历史采集频率确定所述目标对象,并进入获取第一语音指令及第一生理特征信息的步骤。
5.根据权利要求4所述的语音的控制方法,其特征在于,从所述多个对象中根据所述历史采集频率确定所述目标对象,包括:将所述历史采集频率按照频率值大小进行排序;
确定所述历史采集频率的最大值对应的第一对象为所述目标对象,进入获取第一语音指令及第一生理特征信息的步骤;
在所述第一对象的语音指令无效的情况下,根据所述排序确定所述历史采集频率小于最大值的第二对象为所述目标对象,进入获取第一语音指令及第一生理特征信息的步骤。
6.根据权利要求1所述的语音的控制方法,其特征在于,获取第一语音指令及第一生理特征信息,包括:
获取目标区域的声音信息和所述目标对象的位置信息;
根据所述声音信息确定声源位置;
根据所述声源位置与所述目标对象的位置信息的匹配程度从所述声音信息中确定所述第一语音指令。
7.一种语音的控制装置,其特征在于,包括:获取模块,用于获取第一语音指令及第一生理特征信息,其中,所述第一生理特征信息包括如下至少一种:目标对象发出所述第一语音指令时的肢体特征、面部特征以及声音特征;
判断模块,用于根据所述第一生理特征信息,判断所述第一语音指令是否有效;
控制模块,用于在所述第一语音指令有效的情况下,控制目标设备执行所述第一语音指令;
存储模块,用于存储初始信息,其中,所述初始信息包括:所述第一语音指令、所述第一生理特征信息、以及所述第一语音指令对应于所述第一生理特征信息的判断结果;
修正信息存储模块,用于在第一预设时间内接收到第二语音指令的情况下,存储修正信息,并覆盖所述初始信息,其中,所述修正信息包括:修正语音指令、与所述修正语音指令对应的第二生理特征信息;
修正模块,在第一预设时间内接收到第二语音指令的情况下,控制所述目标设备执行所述第二语音指令,其中,所述第二语音指令用于修正所述第一语音指令的有效状态。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至6中任意一项所述的语音的控制方法。
9.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至6中任意一项所述的语音的控制方法。
说明书 :
语音的控制方法及装置
技术领域
背景技术
对空调器的控制,用户可以通过在空调器前讲出控制空调关启或运行模式的语音命令词就
可以控制空调器的运行。然而,当用户在聊天时无意说出语音命令控制词,空调仍然会按照
语音命令控制词执行相应的控制程序,造成误操作,例如,用户在聊天时无意提起“太热
了”,空调误以为是用户发出了进入制冷模式或者调低温度的指令,导致误操作,进而影响
了用户体验。
发明内容
语音指令时的肢体特征、面部特征以及声音特征;根据第一生理特征信息,判断第一语音指
令是否有效;在第一语音指令有效的情况下,控制目标设备执行第一语音指令。
数匹配的情况下,进入根据第一生理特征信息,判断第一语音指令是否有效的步骤;在第一
语音指令和环境参数不匹配的情况下,确定第一语音指令无效。
令用于修正第一语音指令的有效状态。
时间内接收到第二语音指令的情况下,存储修正信息,并覆盖初始信息,其中,修正信息包
括:修正语音指令、与修正语音指令对应的第二生理特征信息。
的情况下,确定第一语音指令有效,且控制目标设备执行第一语音指令。
对象中根据历史采集频率确定目标对象,并进入获取第一语音指令及第一生理特征信息的
步骤。
获取第一语音指令及第一生理特征信息的步骤;在第一对象的语音指令无效的情况下,根
据排序确定历史采集频率小于最大值的第二对象为目标对象,进入获取第一语音指令及第
一生理特征信息的步骤。
信息的匹配程度从声音信息中确定第一语音指令。
目标对象发出第一语音指令时的肢体特征、面部特征以及声音特征;判断模块,用于根据第
一生理特征信息,判断第一语音指令是否有效;控制模块,用于在第一语音指令有效的情况
下,控制目标设备执行第一语音指令。
意一项的语音的控制方法。
第一语音指令,实现了目标设备根据用户发出语音指令时的肢体、面部以及声音的特征,判
断出用户是有意还是无意发出语音指令,仅在用户有意发出语音指令时执行该语音指令,
避免了用户在说话时无意发出语音指令包含的关键词导致目标设备误操作,提高了目标设
备对语音指令识别的准确性以及智能性,进而提高了用户对智能设备的使用体验,解决了
现有技术中空调对用户的语音指令识别不准确的技术问题。
附图说明
具体实施方式
本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人
员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范
围。
的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或
描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆
盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于
清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品
或设备固有的其它步骤或单元。
在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或
描述的步骤。
理特征信息中的肢体特征包括肢体的动作等,面部特征包括用户的面部表情等,声音特征
包括用户的语速和语调等,例如,用户发出第一语音指令的语速和语调,以及发出第一语音
指令时所做出的肢体动作、面部表情均可以作为上述第一生理特征。
音检测子模块获取,第一生理特征信息中的肢体特征和面部可以由图像识别子模块获取。
例如,声音检测子模块可以包含麦克风,麦克风可以采集到用户发出的第一语音指令,图像
识别子模块可以包含摄像头,摄像头可以采集并识别用户肢体的动作和面部表情。
无意说出语音命令的关键词,并不需要对目标设备进行控制)发出,在确定用户是有意发出
时,判断第一语音指令有效,在确定用户是无意发出时,判断第一语音指令无效。
户生理特征的对应关系进行比对,判断第一语音指令是否有效。例如,第一语音指令为目标
设备的开启指令,目标设备中存储了用户发出开启指令以及对应的面部表情(比如,用户的
面部表情为面向目标设备并双眼直视目标设备),当目标设备获取到用户发出的开启指令
时,根据用户的面部表情,判断用户是有意还是无意发出,当目标设备识别出用户的面部表
情为面向目标设备并双眼直视目标设备时,确定用户第一语音指令是有意发出且为有效。
标设备根据第一语音指令中的指令内容执行相应的动作。在第一语音指令无效的情况下,
可以确定当前的第一语音指令为用户无意发出的语音指令,目标设备不执行无效的第一语
音指令。
定第一语音指令为有效的情况下,进一步控制目标设备执行第一语音指令。例如,上述目标
设备可以为空调,第一语音指令可以为空调的开机指令,第一生理特征可以为用户发出开
机指令时的面部表情,空调的采集模块可以包括用于采集声音的声音检测子模块(例如,麦
克风)和用于识别用户生理特征的图像识别子模块(例如,智能摄像头),空调存储有语音指
令和生理特征的对应关系,空调的采集模块将采集到的开机指令和对应的面部表情发送至
空调的控制模块,控制模块将采集的开机指令和面部表情与存储的语音指令和生理特征的
对应关系进行比对,判断当前接收到的开机指令是用户有意还是无意发出,在采集的开机
指令和面部表情与存储的语音指令和生理特征的对应关系相匹配的情况下,确定当前开机
指令有效,并控制空调开启。
一语音指令和第一生理特征发送至云服务器上,云服务器根据上述对应关系判断第一语音
指令是否有效,在第一语音指令有效的情况下,云服务器向目标设备发送控制指令,控制指
令中包含第一语音指令中的控制内容,目标设备接收到控制指令后,根据其控制内容执行
相应的动作。
音指令,实现了目标设备根据用户发出语音指令时的肢体、面部以及声音的特征,判断出用
户是有意还是无意发出语音指令,仅在用户有意发出语音指令时执行该语音指令,避免了
用户在说话时无意发出语音指令包含的关键词导致目标设备误操作,提高了目标设备对语
音指令识别的准确性以及智能性,进而提高了用户对智能设备的使用体验,解决了现有技
术中空调对用户的语音指令识别不准确的技术问题。
音指令和环境参数匹配的情况下,进入根据第一生理特征信息,判断第一语音指令是否有
效的步骤;在第一语音指令和环境参数不匹配的情况下,确定第一语音指令无效。
温度、室内环境温度湿度等,空调的采集模块可以包含温度传感器或者湿度传感器,以采集
相关的温度或者湿度参数,空调的采集模块也可以包含红外检测子模块,以检测室内环境
温度、空调出风口温度等温度参数。
环境参数,判断当前的环境参数是否超出阈值,在当前的环境参数未超出阈值的情况下,认
为第一语音指令与环境参数匹配,在当前的环境参数超出阈值的情况下,认为第一语音指
令与环境参数不匹配。
以取值38℃),第一语音指令可以为空调的制热升温指令,环境参数可以为室内环境温度、
空调出风口温度,如果当前室内环境温度高于Tj时、或者空调出风口温度高于设定的温度
阈值,则判断制热升温指令与当前的环境参数不匹配,确定空调的制热升温指令无效,空调
不执行制热升温指令。如果当前室内环境温度低于舒适的人体体感温度范围,则认为制热
升温指令与当前的环境参数匹配,并进一步判断该制热升温指令是用户有意控制还是无意
发出。第一语音指令可以为空调的制冷降温指令,如果当前室内环境温度低于Ti时,则判断
制冷降温指令与当前的环境参数不匹配,确定空调的制冷降温指令无效,空调不执行制冷
降温指令。
中,第二语音指令用于修正第一语音指令的有效状态。
的时间范围,可以根据用户需求设定,例如,可以设定第一预设时间为0‑3分钟,如果在目标
设备在执行了第一语音指令后的0‑3分钟之内,又接收到了第二语音指令,则确定对第一语
音指令的有效状态判断错误,目标设备执行第二语音指令,以修正对第一语音指令的执行
结果。
时,目标设备由于判断错误执行了开机指令,用户可以在0‑3分钟之内,再次发出关机指令,
来修改开机指令的错误的判断结果。第二语音指令也可以为返回第一语音指令的前一控制
状态的语音指令,例如,空调处于制冷运行状态,第一语音指令为制热升温指令,第二语音
指令可以为制冷运行指令或者返回指令,当用户无意发出包含制热升温指令关键词的语音
时,空调由于对用户的生理特征判断错误,执行了制热升温指令,用户可以在3分钟之内发
出返回指令,使得空调退回至制冷运行状态,来修正对制热升温指令错误的判断结果。
在第一预设时间内接收到第二语音指令的情况下,存储修正信息,并覆盖初始信息,其中,
修正信息包括:修正语音指令、与修正语音指令对应的第二生理特征信息。
发出修正语音指令,将修正语音指令对应的第二生理特征信息存储起来,并覆盖了原有的
第一生理特征信息,以使后续在相似的场景中,目标设备可以根据第二生理特征信息来判
断修正语音指令是否有效。
理特征信息,例如,第一语音指令可以为开机指令,当用户无意发出包含开机指令关键词的
语音时,又发出了关机指令进行修正并控制目标设备关机,可以记录用户发出关机指令时
的第二生理特征信息(例如,正视目标设备的面部表情,或者刻意放慢语速的声音特征),并
将第二生理特征信息覆盖第一生理特征存储起来,以后在用户发出开机指令时,以第二生
理特征作为用户有意发出语音指令(即语音指令有效)的判断依据。
的语音时,又发出了关机指令进行修正并控制目标设备关机,此时,用户可以再次发出包含
开机指令关键词的修正语音指令,存储修正语音指令对应的第二生理特征信息(例如,正视
目标设备的面部表情,或者刻意放慢语速的声音特征),以后在用户发出开机指令时,以第
二生理特征作为用户有意发出语音指令(即语音指令有效)的判断依据。
第一语音指令的情况下,确定第一语音指令有效,且控制目标设备执行第一语音指令。
预设时间可以认为是相对较短的时间范围,预设重复次数和第二预设时间可以根据用户需
求设定,例如,可以设定第二预设时间为0‑3分钟,预设重复次数为3次,如果在确定第一语
音指令无效后0‑3分钟之内,又收到3次相同的第一语音指令,则判断第一语音指令有效,并
执行第一语音指令。
征作为以后判断第一语音指令是否有效的依据。例如,当用户正视目标设备并用刻意放缓
的语速发出开机指令时,目标设备判断开机指令为无效指令且未执行开机指令,用户可以
在3分钟内以相同的面部表情和语速重复说出开机指令,以修正对开机指令错误的判断结
果,经过修正,目标设备确定开机指令有效并执行开机动作,存储第一语音指令对应的第一
生理特征,覆盖原有错误的生理特征信息,并将第一生理特征信息作为以后判断开机指令
是否有效的依据。
集频率;从多个对象中根据历史采集频率确定目标对象,并进入获取第一语音指令及第一
生理特征信息的步骤。
次数越多,例如,当生理特征信息为用户的面部特征时,采集的面部特征次数越多,说明该
用户在图像识别模块中出现的频率越高,可以默认出现频率最高的为主用户,当多个对象
的语音指令不相同时,将主用户的语音指令作为第一语音指令,并获取主用户对应的第一
生理特征信息,进一步根据第一生理特征信息判断第一语音指令是否有效。
一生理特征信息,根据第一生理特征信息判断第一语音指令是否有效;也可以同时获取每
个对象对应的生理特征,根据每个对象对应的生理特征来判断多个语音指令中是否存在有
效的指令,只要存在至少一个有效指令,则控制目标设备执行上述相同的语音指令。
标对象,进入获取第一语音指令及第一生理特征信息的步骤;在第一对象的语音指令无效
的情况下,根据排序确定历史采集频率小于最大值的第二对象为目标对象,进入获取第一
语音指令及第一生理特征信息的步骤。
为有效,则控制目标设备执行主用户的语音指令。如果判断结果为无效,则进一步确定历史
采集频率小于最大值的第二对象的语音指令是否有效。例如,房间内有3个用户(分别为用
户A、用户B和用户C),同时发出了3个不同的语音指令,将3个用户的历史采集频率按照频率
值大小排序得到:用户A>用户B>用户C,则确认用户A为主用户,优先对用户A的语音指令
的有效性进行判断,如果判断结果为有效,则执行用户A的语音指令,如果判断结果为无效,
则对频率值排在第二位的用户B的语音指令的有效性进行判断,如果判断结果为有效,则执
行用户B的语音指令,如果判断结果为无效,进一步对对频率值排在第三位的用户C的语音
指令的有效性进行判断,如果判断结果为有效,则执行用户C的语音指令。
标对象的位置信息的匹配程度从声音信息中确定第一语音指令。
中电视发出的声音可能会覆盖用户发出的语音指令,导致目标设备无法识别出用户的语音
指令。通过获取目标区域中的全部声音信息,并分别确定出声音信息对应的声源位置,将声
源位置与用户的实际位置进行匹配,确定声源位置与用户的实际位置一致的声音信息为用
户发出的第一语音信息。
房间中的位置,或者通过红外检测模块对人体温度的识别,确定出用户在房间中的位置。在
一种可选的实施例中,在确定出用户在房间中的位置信息后,可以调整目标设备的采集模
块的工作角度范围,使采集模块的声音检测模块的工作范围聚焦于用户的位置信息,减弱
环境噪音对提取用户的第一语音指令的影响。
中,目标设备的声音检测模块可以为具有多个麦克风的麦克风阵列,当目标设备的声音检
测模块采集到多个声音信息后,根据多个麦克风对每个声音信息的接收时间差计算出每个
声音信息的声源位置,例如,声源位置的具体计算方法可以为:
个麦克风到原点的距离,Rs为声源到原点的距离,rs为声源位置,ri为第i个麦克风的位置,i
和j取值为1‑N,N小于麦克风的个数。
模块。空调器还包括控制模块,控制模块用于执行用户发出的语音控制指令。在一种可选的
实施例中,空调器还可以包括云处理模块,云处理模块包括与空调器各模块通信的云服务
器,采集模块采集的声音信息可以发送至云处理模块,云处理模块根据存储的第一语音指
令和第一生理特征的对应关系,对用户的语音指令是否有效进行判断,并返回判断结果;云
处理模块还可以在线监控空调的运行状态。在另一种可选的实施例中,第一语音指令和第
一生理特征的对应关系也可以存储在空调器本地,由控制模块执行对第一语音指令是否有
效的判断过程。
特征信息发送至云处理模块。
继续检测房间内的声音信息并筛选用户的声音,如果用户的声音中包含控制信息,则进入
步骤S205。
无效,结束当前语音的控制流程;如果用户的指令合理,则进入步骤S206。
而确定当前用户的指令是有意控制发出还是无意提起发出,如果当前用户的指令是无意提
起,则确定指令无效,结束当前语音的控制流程;如果用户的指令是有意控制,则确定指令
有效,进入步骤S207。
置在空调本地。
发出的语音指令的逻辑是否合理,是无意提及还是有意控制,提高了对用户语音指令识别
的准确性,进而提高了用户的体验。
判断模块32,用于根据第一生理特征信息,判断第一语音指令是否有效;控制模块33,用于
在第一语音指令有效的情况下,控制目标设备执行第一语音指令。
配的情况下,根据第一生理特征信息,判断第一语音指令是否有效,在第一语音指令和环境
参数不匹配的情况下,确定第一语音指令无效。
第一语音指令的有效状态。
息的判断结果;修正信息存储模块,用于在第一预设时间内接收到第二语音指令的情况下,
存储修正信息,并覆盖初始信息,其中,修正信息包括:修正语音指令、与修正语音指令对应
的第二生理特征信息。
下,确定第一语音指令有效,且控制目标设备执行第一语音指令。
应的生理特征信息的历史采集频率;目标对象确定模块,用于从多个对象中根据历史采集
频率确定目标对象。
第一对象为目标对象;第二确定子模块,用于在第一对象的语音指令无效的情况下,根据排
序确定历史采集频率小于最大值的第二对象为目标对象。
筛选子模块,用于根据声源位置与目标对象的位置信息的匹配程度从声音信息中确定第一
语音指令。
意一项的语音的控制方法。
音指令,实现了目标设备根据用户发出语音指令时的肢体、面部以及声音的特征,判断出用
户是有意还是无意发出语音指令,仅在用户有意发出语音指令时执行该语音指令,避免了
用户在说话时无意发出语音指令包含的关键词导致目标设备误操作,提高了目标设备对语
音指令识别的准确性以及智能性,进而提高了用户对智能设备的使用体验,解决了现有技
术中空调对用户的语音指令识别不准确的技术问题。
一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或
者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互
之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连
接,可以是电性或其它的形式。
单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式
体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机
设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或
部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read‑Only Memory)、随机存取存
储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的
介质。
视为本发明的保护范围。