操作行为判定方法、装置、电子设备及计算机可读存储介质转让专利
申请号 : CN202011307608.0
文献号 : CN112363669B
文献日 : 2021-07-27
发明人 : 药青 , 邹仕洪 , 张广伟 , 黄浩东
申请人 : 北京元心科技有限公司
摘要 :
权利要求 :
1.一种操作行为判定方法,其特征在于,包括:接收用户输入的当前触控操作;
根据所述当前触控操作,确定相应的操控指令;
若确定操控指令失败时,根据预设的用户操作匹配表,确定所述当前触控操作对应的有效操作,以执行所述有效操作对应的操控指令,所述用户操作匹配表中包括多个有效操作以及相应操控指令,
所述根据预设的用户操作匹配表,确定所述当前触控操作对应的有效操作及相应操控指令包括:
根据所述当前触控操作对应的匹配规则,在所述用户操作匹配表中确定所述当前触控操作匹配的至少一个候选有效操作及相应操控指令;
当所述候选有效操作为一个时,则将唯一的候选有效操作,作为所述触控操作对应的有效操作;
当所述候选有效操作为至少两个时,则根据历史数据信息确定所述当前触控操作对应的有效操作,
所述历史数据信息中包括多个历史触控操作记录,一个所述历史触控操作记录中包括操作类型,操作对象及操作时间,所述多个历史触控操作记录按照操作时间先后顺序排列。
2.根据权利要求1所述的判定方法,其特征在于,所述当所述候选有效操作为至少两个时,所述根据历史数据信息确定所述当前触控操作对应的有效操作,包括:
在所述历史数据信息中,获取所述当前触控操作之前,与所述当前触控操作相邻的第一预设数量的历史触控操作记录,并将获取的第一预设数量的历史触控操作记录标记为第一序列,所述第一序列中的历史触控操作记录按照操作时间先后顺序排列;
在历史数据信息中,第一序列之前的第二预设数量的历史触控操作记录中,获取与第一序列中的起点触控操作记录对应的第一历史触控操作记录;
确定在历史数据信息中,所述起点触控操作记录与所述第一历史触控操作记录之间的多个历史触控操作记录中,是否存在与所述当前触控操作匹配的任一候选有效操作对应的第二历史触控操作记录,以使所述第一历史触控操作记录、以及所述第一历史触控操作记录与所述第二历史触控操作记录之间的多个历史触控操作记录构成的第二序列符合映射条件,所述第二历史触控操作记录的操作类型及操作对象与第一候选有效操作的操作类型及操作对象对应,所述第二序列中的历史触控操作记录按照操作时间先后顺序排列;
若存在,则根据所述第二历史触控操作记录确定所述当前触控操作对应的有效操作。
3.根据权利要求2所述的判定方法,其特征在于,所述映射条件包括:所述第二序列中的每个历史触控操作记录分别与所述第一序列中的唯一一个历史触控操作记录存在对应关系,
所述对应关系包括:相对应的第二序列中的历史触控操作记录的操作对象与第一序列中的历史触控操作记录的操作对象相同,相对应的第二序列中的历史触控操作记录的操作类型与第一序列中的历史触控操作记录的操作类型相同或相关联,所述第二序列中任意两个相邻的历史触控操作记录的先后顺序与所述第一序列中的对应的两个历史触控操作记录的先后顺序相同,所述第二序列中的历史触控操作记录的个数大于预设阈值。
4.根据权利要求2所述的判定方法,其特征在于,所述根据所述第二历史触控操作记录确定所述当前触控操作对应的有效操作包括:当存在唯一一个第二历史触控操作记录,则将该第二历史触控操作记录对应的候选有效操作,作为所述当前触控操作对应的有效操作;
当存在至少两个第二历史触控操作记录,则根据各个所述第二历史触控操作记录分别对应的第二序列与所述第一序列的相似度,确定所述当前触控操作对应的有效操作。
5.根据权利要求2所述的判定方法,其特征在于,所述方法还包括:若不存在所述第二历史触控操作记录时,则在历史数据信息中,获取所述当前触控操作之前,与所述当前触控操作相邻的第三预设数量的历史触控操作记录,并将获取的第三预设数量的历史触控操作记录标记为第三序列,将所述第三序列分别与所述当前触控操作匹配的各个候选有效操作组成多个第四序列,所述第三序列中的预设数量的历史触控操作记录按照操作时间先后顺序排列;
在所述第三序列之前,与所述第三序列相邻的第四预设数量的历史数据信息中,获取历史触控操作记录数量与所述第四序列中的历史触控操作记录数量相同的至少两个第五序列,所述第五序列中的历史触控操作记录按照操作时间先后顺序排列;
针对每一候选有效操作,根据与每一候选有效操作相对应的第四序列与各个所述第五序列的相似度,确定所述当前触控操作对应的有效操作。
6.一种操作行为判定装置,其特征在于,包括:接收模块,用于接收用户输入的当前触控操作;
第一确定模块,用于根据所述当前触控操作,确定相应的操控指令;
第二确定模块,用于若确定操控指令失败时,根据预设的用户操作匹配表,确定所述当前触控操作对应的有效操作,以执行所述有效操作对应的操控指令,所述用户操作匹配表中包括多个有效操作以及相应操控指令,所述第二确定模块具体用于,
根据所述当前触控操作对应的匹配规则,在所述用户操作匹配表中确定所述当前触控操作匹配的至少一个候选有效操作及相应操控指令;
当所述候选有效操作为一个时,则将唯一的候选有效操作,作为所述触控操作对应的有效操作;
当所述候选有效操作为至少两个时,则根据历史数据信息确定所述当前触控操作对应的有效操作,
所述历史数据信息中包括多个历史触控操作记录,一个所述历史触控操作记录中包括操作类型,操作对象及操作时间,所述多个历史触控操作记录按照操作时间先后顺序排列。
7.一种电子设备,其特征在于,所述电子设备包括:一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:执行根据权利要求1‑5任一项所述的操作行为判定方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1‑5任一项所述的操作行为判定方法。
说明书 :
操作行为判定方法、装置、电子设备及计算机可读存储介质
技术领域
背景技术
触摸屏产生相应的感应信号,移动终端的操作系统分析触摸屏的感应信号获知用户的操作
意图。为了能够准确判断用户的操作意图,移动终端的操作系统对用户在触摸屏上触摸行
为的准确性有一定的要求。例如,在移动终端操作系统的界面上点击打开应用这一操作,要
求点击的位置必须在应用图标的范围内,如果点击发生在两个图标之间的区域会被认为是
无效操作无任何响应。
使用移动终端时往往会出现操作不规范的情况,现有移动终端对他们而言很不方便。
发明内容
应操控指令。
作时间先后顺序排列,
第一序列中的历史触控操作记录按照操作时间先后顺序排列;
触控操作记录,以使第一历史触控操作记录、以及第一历史触控操作记录与第二历史触控
操作记录之间的多个历史触控操作记录构成的第二序列符合映射条件,第二历史触控操作
记录的操作类型及操作对象与第一候选有效操作的操作类型及操作对象对应,第二序列中
的历史触控操作记录按照操作时间先后顺序排列;
类型与第一序列中的历史触控操作记录的操作类型相同或相关联,
的历史触控操作记录标记为第三序列,将第三序列分别与当前触控操作匹配的各个候选有
效操作组成多个第四序列,第三序列中的预设数量的历史触控操作记录按照操作时间先后
顺序排列;
序列中的历史触控操作记录按照操作时间顺序排列;
个有效操作以及相应操控指令。
判定方法。
判定方法。
中,计算过程复杂度低,计算数据量较小,因此节约了计算资源,并减少了计算时间。
附图说明
具体实施方式
图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本发明的限制。
辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加
一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元
件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在
中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措
辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
触摸屏产生相应的感应信号,移动终端的操作系统分析触摸屏的感应信号获知用户的操作
意图。为了能够准确判断用户的操作意图,移动终端的操作系统对用户在触摸屏上触摸行
为的准确性有一定的要求。例如,在移动终端操作系统的界面上点击打开应用这一操作,要
求点击的位置必须在应用图标的范围内,如果点击发生在两个图标之间的区域会被认为是
无效操作无任何响应。随着对移动终端智能化要求的提高,希望即使用户的操作不够规范
操作系统也能判断出用户可能的操作意图。
相比现有技术中基于用户的行为建立学习模型,通过学习模型计算来确定有效操作的方
法,计算过程复杂度低,计算数据量较小,因此节约了计算资源,并减少了计算时间。
或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图1所示,其为本申请实施例提供的一种操作行为判定方法的流程示意图,该方法包括如下
步骤:
例如点击应用、拖动应用、滑动界面翻页等操作,又如,在应用APP的界面上,当前触控操作
可以包括点击对话框或图标、输入信息、滑动界面浏览内容等操作。
端的触摸屏的一个坐标数据,该坐标数据可以为一个坐标值或者坐标值范围。
设的操控指令对应的触控操作信息进行匹配,确定相应的操控指令,例如,当前触控操作的
操作类型为点击操作,其操作对象对应移动终端的触摸屏的一个坐标数据,该坐标数据可
以为一个坐标值或者坐标值范围,可以通过将该坐标值或者坐标值范围与预设的各个操作
指令对应的操作对象对应的坐标数据进行匹配,从而确定相应的操控指令,例如,当前触控
操作的操作对象对应的坐标数据在预设的可以打开某个应用的坐标范围内时,例如,微信
图标对应的坐标范围内时,可以确定相应的操控指令为打开微信。
行匹配时,没有与其匹配的操控指令,则可以根据预设的用户操作匹配表,确定当前触控操
作对应的有效操作,以执行有效操作对应的操控指令。其中,用户操作匹配表中包括多个有
效操作以及相应操控指令。其中,上述的用户操作匹配表可以包括对应于不同操作层级的
匹配表,例如,操作层级可以包括:操作系统界面、应用界面,应用界面还可以包括应用一级
界面、应用二级界面,例如,在微信APP的应用界面中,进入微信后对应的包含多个对话框的
第一层界面可以作为应用一级界面,在应用一级界面中点击任一对话框进入该对话框的聊
天界面可以作为应用二级界面。如上所述,用户操作位于哪个操作层级,就可以使用该层级
的用户操作匹配表。
作匹配表进行匹配,例如,当前触控操作为点击触摸屏对应的(10、20)的坐标位置,可以将
该点击(10、20)的当前触控操作与用户操作匹配表中记录的各个有效操作对应的有效操作
类型、有效操作对象信息进行匹配,例如,“点击微信”对应的有效操作的信息为点击横坐标
对应7至15,纵坐标对应17至25的坐标范围,从而当前触控操作与用户操作匹配表进行匹配
时,则该当前触控操作与“点击微信”对应的有效操作匹配。此外,在进行匹配时,还可以对
当前触控操作附加预设的阈值作为容错范围,然后再与用户操作匹配表进行匹配,例如在
上述点击(10、20)的当前触控操作的坐标基础上,横纵坐标分别+3或者‑3,作为容错范围,
然后将附加容错范围的坐标数据(10±3、20±3)与用户操作匹配表进行匹配。
时,则不能将该操作的有效操作视为点击该应用图标,因此,容错范围的阈值可以根据实际
触控操作可接受的误操作范围进行设置,换言之,并不是任何触控操作都有与其匹配的候
选有效操作。
当用户操作匹配表中不存在与当前触控操作匹配的候选有效操作时,则认为该当前触控操
作为无效操作,不执行任何操作指令。例如,在操作系统界面上,当前触控操作所点击的坐
标数据为远离任一APP图标的位置,该坐标数据在用户操作匹配表中没有与其匹配的候选
有效操作,则认为该当前触控操作没有对应任何可能的有效操作,则不执行任何操作指令。
对应的操控指令,即打开微信APP。
令。
照操作时间先后顺序排列。历史数据信息可以以表格或者其他便于后续使用的形式保存。
第一序列中的历史触控操作记录按照操作时间先后顺序排列。
一序列中与当前触控操作的操作时间间隔最长的历史触控操作记录,第一历史触控操作记
录的操作类型及操作对象与起点触控操作记录的操作类型及操作对象对应相同。
历史触控操作记录中,依次获取连续15条历史触控操作记录。并将获取的f1至f15的条历史
触控操作记录作为第一序列。其中f15为起点触控操作记录。
的第二历史触控操作记录fm,以使第一历史触控操作记录fN、以及第一历史触控操作记录
与第二历史触控操作记录之间的多个历史触控操作记录构成的第二序列符合映射条件,第
二历史触控操作记录的操作类型及操作对象与第一候选有效操作的操作类型及操作对象
对应,第二序列中的历史触控操作记录按照操作时间先后顺序排列。其中,第一候选有效操
作为与当前触控操作匹配的任一候选有效操作。
息中,可能存在多个操作类型、操作对象与起点触控操作记录f15相同的历史触控操作记
录,而在本申请实施例中,fN可以首先选择操作时间与起点触控操作记录f15的操作时间的
时间间隔最小的历史触控操作记录。如果选择与起点触控操作记录f15的操作时间的时间
间隔最小的历史触控操作记录作为第一历史触控操作记录fN时,不存在可以构成第二序列
的第二历史触控操作记录,则可以放弃该历史触控操作记录作为第一历史触控操作记录
fN,继续选择其他与f15的操作时间的时间间隔最小的历史触控操作记录作为第一历史触
控操作记录fN,并在此基础上,继续寻找第二历史触控操作记录fm。因此,综上所述,上述确
定第一历史触控操作记录fN的过程可以不断重复直到历史数据信息中找不到符合上述条
件的第一历史触控操作记录fN。而在历史数据信息中不存在符合上述条件的第一历史触控
操作记录fN时,则不在步骤S1033中对当前触控操作对应的操作指令做出判断。
类型与第一序列中的历史触控操作记录的操作类型相同或相关联,其中,可以通过预先存
储在操作系统中的关联关系表,确定相关联的操作类型。例如,在操作系统界面上,滑动翻
页可以视为和其他操作没有关联性,拖动操作(例如拖动APP)和删除操作(例如删除APP)等
可以与点击操作视为关联操作,例如,先点击APP再进行移动、删除等处理,并且可以根据关
联程度,为相关联的操作设定相应的关联值,预先存储在关联关系表中。
图标再进行拖动,因此,可以将点击操作与拖动操作视为关联操作,并设置较高的关联值。
别标记为a1、b1、c1,根据第二序列a1、b1、c1与第一序列的相似度,确定当前触控操作对应
的有效操作。
个历史触控操作记录的比对情况,生成第一序列分别对应于第二序列a1、b1、c1的三个数列
a2、b2、c2。通过所生成的数列a2、b2、c2确定相似度,并进一步确定当前触控操作对应的有
效操作。
类型相同或相关联。当第一序列中的历史触控操作记录与在第二序列a1中对应的历史触控
操作记录的操作类型相同时,则在对应的数列a2中记录数值1,当第一序列中的历史触控操
作记录与在第二序列a1中对应的历史触控操作记录的操作类型相关联时,则在对应的数列
a2中记录相应的关联值,例如0.5。当第一序列中的历史触控操作记录在第二序列a1中不存
在对应的历史触控操作记录时,则在对应的数列a2中记录数值0。
一序列最相似的第二序列对应的候选有效操作作为当前触控操作对应的有效操作。
检验,以确定加权值最大的数列是否与其他数列有统计意义上的显著差异。如果符号秩检
验的结果,加权值最大的数列与其他数列存在统计上的显著差异,能够进一步确认该加权
值最大的数列对应的第二序列作为与第一序列最相似的序列是合理的。如果符号秩检验的
结果,加权值最大的数列与至少一条其他数列没有显著差异,那么可以将确定第一序列所
包含的历史触控操作记录数量扩大,即,将第一预设数量增大,从而实现增加样本数量。
的相似性,以确定当前触控操作对应的有效操作。
设数量的历史触控操作记录标记为第三序列,将第三序列分别与当前触控操作匹配的各个
候选有效操作组成多个第四序列,第三序列中的预设数量的历史触控操作记录按照操作时
间先后顺序排列。
序列中的历史触控操作记录按照操作时间顺序排列;
第二历史触控操作记录对应的候选有效操作确定为当前触控操作对应的有效操作。因此,
在这种情况下,还可以基于另外一种假设,用户近期的触控操作习惯和历史上的触控操作
习惯并不相似,因此,可以通过以上的步骤确定该当前触控操作对应的有效操作。
触控操作记录中,依次获取连续3条历史触控操作记录。并将获取的f1至f3的3条历史触控
操作记录作为第三序列。并将第三序列与当前触控操作f0匹配的各个候选有效操作fx、fy
组成对应的第四序列即fx、f1、f2、f3和fy、f1、f2、f3。然后获取第三序列之前的多个第五序
列,例如f4、f5、f6、f7和f8、f9、f10、f11等。图三中的第五序列仅为示例性说明,可以理解
为,在实际计算过程中,为更准确的确定当前触控操作对应的有效操作,可以在历史触控操
作记录中,获取适当数量的第五序列。
与各个第五序列相似度最低的第四序列对应的候选有效操作,作为当前触控操作对应的有
效操作,即相似度最低的第四序列对应的候选有效操作为历史触控记录中未出现过的操
作。
个历史触控操作记录f4与第四序列中第一个记录的fx比对,将第五序列中的第二个历史触
控操作记录f5与第四序列中的第二个历史触控操作记录f1比对,当第五序列中的各个历史
触控操作记录与第四序列中的对应历史触控操作记录的操作对象和操作类型都相同,则在
数列中记录数值1。当第五序列中除与第四序列中的对应历史触控操作记录的操作对象和
操作类型都相同的历史触控操作记录外,还存在与第四序列中的对应历史触控操作记录的
操作对象相同、操作类型相关联的历史触控操作记录,则在数列中记录关联值;当存在至少
两条对应的历史触控操作记录相关联时,则记录对应的关联值的乘积。只要第五序列中存
在一条历史触控操作记录与第四序列中的对应历史触控操作记录的操作对象或操作类型
不同,则在数列中记录数值0。
最不相似的序列,该第四序列对应的候选有效操作可以看作为历史记录中未出现过的操作
行为,初步将其确定为当前触控操作对应的有效操作。
数列与其他数列分别配对进行检验。如果符号秩检验的结果,加权值最小的数列与至少一
条其他数列没有统计上的显著差异,那么可以增加第五序列的数量,从而实现增加样本数
量。
五序列的相似性,以确定当前触控操作对应的有效操作。
而实现增加样本数量。
触控操作习惯和历史上的触控操作习惯并不相似”可能是不正确的,为了避免较大概率的
错误判断,则可以认为该当前触控操作在用户操作匹配表中不存在与当其匹配的候选有效
操作,则认为该当前触控操作为无效操作,则不执行任何操作指令。
第一确定模块402,第二确定模块403,其中,
例如点击微信、拖动微信、滑动界面翻页等操作,又如,在应用APP的界面上,当前触控操作
可以包括点击对话框、输入信息等操作。
括多个有效操作以及相应操控指令。
第一序列中的历史触控操作记录按照操作时间先后顺序排列。
一序列中与当前触控操作的操作时间间隔最长的历史触控操作记录,第一历史触控操作记
录的操作类型及操作对象与起点触控操作记录的操作类型及操作对象对应相同。
触控操作记录,以使第一历史触控操作记录、以及第一历史触控操作记录与第二历史触控
操作记录之间的多个历史触控操作记录构成的第二序列符合映射条件,第二历史触控操作
记录的操作类型及操作对象与第一候选有效操作的操作类型及操作对象对应相同,第二序
列中的历史触控操作记录按照操作时间先后顺序排列。其中,映射条件包括:第二序列中的
每个历史触控操作记录分别与第一序列中的唯一一个历史触控操作记录存在对应关系,对
应关系包括:相对应的第二序列中的历史触控操作记录的操作对象与第一序列中的历史触
控操作记录的操作对象相同,相对应的第二序列中的历史触控操作记录的操作类型与第一
序列中的历史触控操作记录的操作类型相同或相关联,第二序列中任意两个相邻的历史触
控操作记录的先后顺序与第一序列中的对应的两个历史触控操作记录的先后顺序相同,第
二序列中的历史触控操作记录的个数大于预设阈值。
的历史触控操作记录标记为第三序列,将第三序列分别与当前触控操作匹配的各个候选有
效操作组成多个第四序列,第三序列中的预设数量的历史触控操作记录按照操作时间先后
顺序排列;
序列中的历史触控操作记录按照操作时间顺序排列;
复杂度低,计算数据量较小,因此节约了计算资源,并减少了计算时间。
预设的用户操作匹配表,确定所述当前触控操作对应的有效操作,以执行所述有效操作对
应的操控指令,因此,本申请的操作行为判定方法在计算过程中,计算过程复杂度低,计算
数据量较小,因此节约了计算资源,并减少了计算时间。
连。可选地,电子设备4000还可以包括收发器4004,收发器4004可以用于该电子设备与其他
电子设备之间的数据交互,如数据的发送和/或数据的接收等。需要说明的是,实际应用中
收发器4004不限于一个,该电子设备4000的结构并不构成对本申请实施例的限定。
Integrated Circuit,专用集成电路),FPGA(Field Programmable Gate Array,现场可编
程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以
实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器
4001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的
组合等。
Industry Standard Architecture,扩展工业标准结构)总线等。总线4002可以分为地址总
线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总
线或一种类型的总线。
信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically Erasable
Programmable Read Only Memory,电可擦可编程只读存储器)、CD‑ROM(Compact Disc
Read Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数
字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储
具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限
于此。
的内容。
现有技术相比,本申请通过根据预设的用户操作匹配表,确定所述当前触控操作对应的有
效操作,以执行所述有效操作对应的操控指令,因此,本申请的操作行为判定方法在计算过
程中,计算过程复杂度低,计算数据量较小,因此节约了计算资源,并减少了计算时间。
的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一
部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻
执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他
步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
视为本发明的保护范围。