基于终端界面触控操作进行搜索的方法及系统

摘要

本发明公开了一种基于终端界面触控操作进行搜索的方法及系统，涉及搜索技术领域，所述方法包括：当用户触发界面触控搜索请求时，将终端当前界面显示区域进行截屏，以获得所述终端当前界面显示区域的截图，并将所述截图作为覆盖所述终端界面显示区域的蒙板；接收用户在所述蒙板上的触控操作，并根据所述触控操作在所述蒙板上选择待搜索界面区域；识别所述待搜索界面区域内包含的元素，根据识别出的元素进行搜索。本发明通过接收用户在蒙板上的触控操作，根据所述触控操作在所述蒙板上选择待搜索界面区域，识别所述待搜索界面区域内包含的元素，根据识别出的元素进行搜索，从而省略了用户繁琐地向搜索框中输入关键词的过程，使得搜索更加便捷。

权利要求

1.一种基于终端界面触控操作所产生的触摸轨迹进行搜索的方法，其特征在于，所述方法包括：当用户触发界面触控搜索请求时，将终端当前界面显示区域进行截屏，以获得所述终端当前界面显示区域的截图，并将所述截图作为覆盖所述终端界面显示区域的蒙板；

检测基于用户在所述蒙板上的触控操作所产生的触摸轨迹，在所述蒙板上显示与所述触摸轨迹相应的待搜索界面区域，所述待搜索界面区域的展示方式区别于与所述蒙板上的其他区域；

识别所述待搜索界面区域内包含的元素，根据识别出的元素进行搜索。

2.如权利要求1所述的方法，其特征在于，所述将所述截图作为覆盖所述终端界面显示区域的蒙板，进一步包括：将所述截图作为覆盖所述终端界面显示区域的处于半透明状态的蒙板。

3.如权利要求2所述的方法，其特征在于，所述待搜索界面区域的展示方式为高亮或全透明的形式展示；

和/或，

所述蒙板上的其他区域以灰度、模糊化或半透明的形式展示。

4.如权利要求1所述的方法，其特征在于，所述根据识别出的元素进行搜索，进一步包括：去除所述蒙板，将所述元素推送至位于所述终端界面显示区域的搜索框中；

若用户点击设于所述终端界面显示区域内的第一图标，则根据所述元素进行搜索。

5.如权利要求1～4中任一项所述的方法，其特征在于，所述识别所述待搜索界面区域内包含的元素之前，还包括：若用户点击设于所述蒙板内的第二图标，则触发识别所述待搜索界面区域内包含的元素。

6.如权利要求1～4中任一项所述的方法，其特征在于，所述根据识别出的元素进行搜索之后，还包括：在所述终端界面显示区域中展示与所述元素相关的搜索结果项。

7.如权利要求6所述的方法，其特征在于，所述在所述终端界面显示区域中展示与所述元素相关的搜索结果项，进一步包括：在所述终端界面显示区域中以应用卡片、文字条目及图文结合的形式展示与所述元素相关的搜索结果项。

8.如权利要求1～4中任一项所述的方法，其特征在于，所述元素包括：文字、图片和符号中的至少一种。

9.一种基于终端界面触控操作所产生的触摸轨迹进行搜索的系统，其特征在于，所述系统包括：蒙板生成器，适于当用户触发界面触控搜索请求时，将终端当前界面显示区域进行截屏，以获得所述终端当前界面显示区域的截图，并将所述截图作为覆盖所述终端界面显示区域的蒙板；

触控接收器，适于检测基于用户在所述蒙板上的触控操作所产生的触摸轨迹，在所述蒙板上显示与所述触摸轨迹相应的待搜索界面区域，所述待搜索界面区域的展示方式区别于与所述蒙板上的其他区域；

识别搜索器，适于识别所述待搜索界面区域内包含的元素，根据识别出的元素进行搜索。

10.如权利要求9所述的系统，其特征在于，所述蒙板生成器，还适于：将所述截图作为覆盖所述终端界面显示区域的处于半透明状态的蒙板。

11.如权利要求10所述的系统，其特征在于，所述待搜索界面区域的展示方式为高亮或全透明的形式展示；

和/或，

所述蒙板上的其他区域以灰度、模糊化或半透明的形式展示。

12.如权利要求9所述的系统，其特征在于，所述识别搜索器，还适于去除所述蒙板，将所述元素推送至位于所述终端界面显示区域的搜索框中；

在用户点击设于所述终端界面显示区域内的第一图标时，所述识别搜索器，还适于根据所述元素进行搜索。

13.如权利要求9～12中任一项所述的系统，其特征在于，当用户点击设于所述蒙板内的第二图标时，所述识别搜索器，还适于触发识别所述待搜索界面区域内包含的元素。

14.如权利要求9～12中任一项所述的系统，其特征在于，所述系统，还包括：搜索展示器，适于在所述终端界面显示区域中展示与所述元素相关的搜索结果项。

15.如权利要求14所述的系统，其特征在于，所述搜索展示器，还适于在所述终端界面显示区域中以应用卡片、文字条目及图文结合的形式展示与所述元素相关的搜索结果项。

16.如权利要求9～12中任一项所述的系统，其特征在于，所述元素包括：文字、图片和符号中的至少一种。

说明书

基于终端界面触控操作进行搜索的方法及系统

技术领域

[0001] 本发明涉及搜索技术领域，特别涉及一种基于终端界面触控操作进行搜索的方法及系统。

背景技术

[0002] 终端(例如：智能手机)上的搜索服务，都是基于搜索框输入的，用户需要繁琐地向搜索框中输入关键词，才能由搜索引擎将与关键词相关的搜索结果展示于终端显示界面上，但该搜索方式的效率很低，搜索体验非常差。

[0003] 尤其是用户在使用终端的过程中，当对终端显示界面上的字符、图像等元素有即时的搜索需求时，需要先打开搜索应用程序，在应用程序弹出搜索框中后，在搜索框中再输入关键词，非常的不便捷。

发明内容

[0004] 鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于终端界面触控操作进行搜索的方法和相应的一种基于终端界面触控操作进行搜索的系统。

[0005] 依据本发明的一个方面，提供了一种基于终端界面触控操作进行搜索的方法，所述方法包括：

[0006] 当用户触发界面触控搜索请求时，将终端当前界面显示区域进行截屏，以获得所述终端当前界面显示区域的截图，并将所述截图作为覆盖所述终端界面显示区域的蒙板；

[0007] 接收用户在所述蒙板上的触控操作，并根据所述触控操作在所述蒙板上选择待搜索界面区域；

[0008] 识别所述待搜索界面区域内包含的元素，根据识别出的元素进行搜索。

[0009] 可选地，所述将所述截图作为覆盖所述终端界面显示区域的蒙板，进一步包括：

[0010] 将所述截图作为覆盖所述终端界面显示区域的处于半透明状态的蒙板。

[0011] 可选地，所述接收用户在所述蒙板上的触控操作，并根据所述触控操作在所述蒙板上选择待搜索界面区域，进一步包括：

[0012] 检测基于用户在所述蒙板上的触控操作所产生的触摸轨迹，在所述蒙板上显示与所述触摸轨迹相应的待搜索界面区域，所述待搜索界面区域的展示方式区别于与所述蒙板上的其他区域。

[0013] 可选地，所述待搜索界面区域的展示方式为高亮或全透明的形式展示；

[0014] 和/或，

[0015] 所述蒙板上的其他区域以灰度、模糊化或半透明的形式展示。

[0016] 可选地，所述根据识别出的元素进行搜索，进一步包括：

[0017] 去除所述蒙板，将所述元素推送至位于所述终端界面显示区域的搜索框中；

[0018] 若用户点击设于所述终端界面显示区域内的第一图标，则根据所述元素进行搜索。

[0019] 可选地，所述识别所述待搜索界面区域内包含的元素之前，还包括：

[0020] 若用户点击设于所述蒙板内的第二图标，则触发识别所述待搜索界面区域内包含的元素。

[0021] 可选地，所述根据识别出的元素进行搜索之后，还包括：

[0022] 在所述终端界面显示区域中展示与所述元素相关的搜索结果项。

[0023] 可选地，所述在所述终端界面显示区域中展示与所述元素相关的搜索结果项，进一步包括：

[0024] 在所述终端界面显示区域中以应用卡片、文字条目及图文结合的形式展示与所述元素相关的搜索结果项。

[0025] 可选地，所述元素包括：文字、图片和符号中的至少一种。

[0026] 依据本发明的另一方面，提供了一种基于终端界面触控操作进行搜索的系统，所述系统包括：

[0027] 蒙板生成器，适于当用户触发界面触控搜索请求时，将终端当前界面显示区域进行截屏，以获得所述终端当前界面显示区域的截图，并将所述截图作为覆盖所述终端界面显示区域的蒙板；

[0028] 触控接收器，适于接收用户在所述蒙板上的触控操作，并根据所述触控操作在所述蒙板上选择待搜索界面区域；

[0029] 识别搜索器，适于识别所述待搜索界面区域内包含的元素，根据识别出的元素进行搜索。

[0030] 可选地，所述蒙板生成器，还适于：将所述截图作为覆盖所述终端界面显示区域的处于半透明状态的蒙板。

[0031] 可选地，所述触控接收器，还适于检测基于用户在所述蒙板上的触控操作所产生的触摸轨迹，在所述蒙板上显示与所述触摸轨迹相应的待搜索界面区域，所述待搜索界面区域的展示方式区别于与所述蒙板上的其他区域。

[0032] 可选地，所述待搜索界面区域的展示方式为高亮或全透明的形式展示；

[0033] 和/或，

[0034] 所述蒙板上的其他区域以灰度、模糊化或半透明的形式展示。

[0035] 可选地，所述识别搜索器，还适于去除所述蒙板，将所述元素推送至位于所述终端界面显示区域的搜索框中；

[0036] 在用户点击设于所述终端界面显示区域内的第一图标时，所述识别搜索器，还适于根据所述元素进行搜索。

[0037] 可选地，当用户点击设于所述蒙板内的第二图标时，所述识别搜索器，还适于触发识别所述待搜索界面区域内包含的元素。

[0038] 可选地，所述系统，还包括：

[0039] 搜索展示器，适于在所述终端界面显示区域中展示与所述元素相关的搜索结果项。

[0040] 可选地，所述搜索展示器，还适于在所述终端界面显示区域中以应用卡片、文字条目及图文结合的形式展示与所述元素相关的搜索结果项。

[0041] 可选地，所述元素包括：文字、图片和符号中的至少一种。

[0042] 本发明通过接收用户在蒙板上的触控操作，根据所述触控操作在所述蒙板上选择待搜索界面区域，识别所述待搜索界面区域内包含的元素，根据识别出的元素进行搜索，从而省略了用户繁琐地向搜索框中输入关键词的过程，使得搜索更加便捷。

附图说明

[0043] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

[0044] 图1是本发明一个实施例的一种基于终端界面触控操作进行搜索的方法的步骤流程图；

[0045] 图2是本发明一个实施例的一种基于终端界面触控操作进行搜索的方法的步骤流程图；

[0046] 图3是本发明一个实施例的一种待搜索界面区域的示例图；

[0047] 图4是本发明一个实施例的一种元素推送后的终端界面显示区域的示例图；

[0048] 图5是本发明一个实施例的一种基于终端界面触控操作进行搜索的方法的步骤流程图；

[0049] 图6是本发明一个实施例的一种搜索结果项的展示示例图；

[0050] 图7是本发明一个实施例的一种基于终端界面触控操作进行搜索的系统的结构框图；

[0051] 图8是本发明一个实施例的一种基于终端界面触控操作进行搜索的系统的结构框图。

具体实施方式

[0052] 下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

[0053] 图1是本发明一个实施例的一种基于终端界面触控操作进行搜索的方法的步骤流程图；参照图1，所述方法包括：

[0054] S101：当用户触发界面触控搜索请求时，将终端当前界面显示区域进行截屏，以获得所述终端当前界面显示区域的截图，并将所述截图作为覆盖所述终端界面显示区域的蒙板；

[0055] 需要说明的是，用户可通过多种方式实现触发界面触控搜索请求，比如用户可以触发屏幕上的搜索悬浮窗，或者通过一些按钮或手势等快捷方式来触发界面触控搜索请求，本发明实施例对此不加以限制。

[0056] 可理解的是，先将终端当前界面显示区域进行截屏，再将截图作为覆盖所述终端界面显示区域的蒙板，能够使终端后台运行的应用或程序不造成影响，在整个搜索交互结束后又能回到原来的浏览界面，进而在一定程度上提高用户体验。

[0057] 当然，若仅将所述截图作为覆盖所述终端界面显示区域的纯透明蒙板，由于所述蒙板与所述终端界面显示区域所展示的内容一致，可能让用户误认为终端没有产生响应，为避免该问题的产生，本实施例中，将所述蒙板设为半透明状态，能够有效提示用户。

[0058] S102：接收用户在所述蒙板上的触控操作，并根据所述触控操作在所述蒙板上选择待搜索界面区域；

[0059] 用户在蒙板上的触控操作，比如通过用户手指或感应笔来触控屏幕控制的触摸点，选择的方式可以以手指/触控笔等在屏幕上的滑动、或圈定等，从而选择出所述待搜索界面区域等等。

[0060] S103：识别所述待搜索界面区域内包含的元素，根据识别出的元素进行搜索。

[0061] 需要说明的是，所述待搜索界面区域内在通常情况下，只会包含一种类型的元素，比如一段文本，或者一张图片，当然也可能同时包含多种类型的元素，例如同时包含文字和图片，本发明实施例对此不加以限制，所述元素的类型包括但不仅限于：文字、图片和符号。

[0062] 本实施例通过接收用户在蒙板上的触控操作，根据所述触控操作在所述蒙板上选择待搜索界面区域，识别所述待搜索界面区域内包含的元素。识别的方式可以有多种，比如可以通过OCR光学字符识别技术实现文字元素的识别，也可以通过调用操作系统支持的控件来识别文字元素，比如Uiautomater控件，还可以通过人脸识别技术识别待搜索界面区域内包含的元素是不是图像人脸，以及还可以利用相似图片识别技术识别图片在互联网上的其他来源，当然也以及利用其他的识别技术，也可以多种识别技术相结合，提高识别准确度。这样根据识别出的元素直接跳转到搜索界面，从而省略了用户繁琐地向搜索框中输入关键词的过程，或者用户需要先复制页面内容，再开启搜索客户端粘贴到搜索框的繁琐过程，使得整个搜索交互更加便捷。

[0063] 图2是本发明一个实施例的一种基于终端界面触控操作进行搜索的方法的步骤流程图；本实施例的方法包括：

[0064] S201：当用户触发界面触控搜索请求时，将终端当前界面显示区域进行截屏，以获得所述终端当前界面显示区域的截图，并将所述截图作为覆盖所述终端界面显示区域的蒙板；

[0065] S202：检测基于用户在所述蒙板上的触控操作所产生的触摸轨迹，在所述蒙板上显示与所述触摸轨迹相应的待搜索界面区域，所述待搜索界面区域的展示方式区别于与所述蒙板上的其他区域；

[0066] 需要说明的是，在所述蒙板上选择待搜索界面区域时，若所述待搜索界面区域的展现方式不与所述蒙板上的其他区域区分开，会使得用户难以确定所述待搜索界面区域内的元素，为避免出现该问题，本实施例中，将所述待搜索界面区域的展现方式区别于所述蒙板上的其他区域。

[0067] 故而，步骤S202实质上为图1所示的实施例中步骤S102的一种优选实施方式。

[0068] 可理解的是，为实现展现方式的区别，可采用很多种展现方式，本实施例中，可将所述待搜索界面区域的展示方式为高亮或全透明的形式展示，而所述蒙板上的其他区域可仍保持以半透明的形式展现，也可以灰度的形式展现，参照图3，将所述蒙板上的其他区域A采用灰度或者模糊化的形式展现，将所述待搜索界面区域B采用全透明的形式展现，当然，也可采用其他方式来实现展现方式的区别，本发明实施例对此不加以限制。

[0069] S203：识别所述待搜索界面区域内包含的元素，去除所述蒙板，参照图4，将所述元素推送至位于所述终端界面显示区域的搜索框C中；若用户点击设于所述终端界面显示区域内的第一图标D，则根据所述元素进行搜索。

[0070] 需要说明的是，在识别出所述待搜索界面区域内包含的元素后，需要将所述元素推送至位于所述终端界面显示区域的搜索框中，若仍保留所述蒙板，用于难以看到被推送至所述搜索框中的元素，故而在识别所述待搜索界面区域内包含的元素后需要去除所述蒙板。

[0071] 故而，步骤S203实质上为图1所示的实施例中步骤S103的一种优选实施方式。

[0072] 可理解的是，由于要将所述元素推送至位于所述终端界面显示区域的搜索框中，需要先在所述终端界面显示区域内弹出搜索框。

[0073] 为便于用户在对所述元素进行确认后，再进行搜索，故而，在用户点击触发搜索的第一图标后，再实现根据所述元素进行搜索。

[0074] 图5是本发明一个实施例的一种基于终端界面触控操作进行搜索的方法的步骤流程图；本实施例的方法包括：

[0075] S501：当用户触发界面触控搜索请求时，将终端当前界面显示区域进行截屏，以获得所述终端当前界面显示区域的截图，并将所述截图作为覆盖所述终端界面显示区域的蒙板；

[0076] S502：接收用户在所述蒙板上的触控操作，并根据所述触控操作在所述蒙板上选择待搜索界面区域；

[0077] S503：识别所述待搜索界面区域内包含的元素，根据识别出的元素进行搜索。

[0078] S504：在所述终端界面显示区域中展示与所述元素相关的搜索结果项。

[0079] 需要说明的是，由于步骤S501～S503与图1所示的实施例的S101～S103基本相同，故而在此不再赘述。

[0080] 需要说明的是，所述搜索结果项可采用多种形式进行展示，本实施例中，在所述终端界面显示区域中以应用卡片、文字条目及图文结合的形式展示与所述元素相关的搜索结果项，图6为搜索结果项的一种展示方式，当然，也可采用其他形式方式进行展示，本发明实施例对此不加以限制。

[0081] 可理解的是，为便于使用户对待搜索界面区域进行确认，再识别所述待搜索界面区域内包含的元素，可选地，在图1、2、5所示的实施例的基础上，所述识别所述待搜索界面区域内包含的元素之前，还包括：若用户点击设于所述蒙板内的第二图标(即图3中的“E”)，则触发识别所述待搜索界面区域内包含的元素。

[0082] 当然，在所述蒙板内还可设置其他的图标，例如用于重新选择所述待搜索界面区域的重涂图标(即图3中的“F”)、用于退出的返回图标(即图3中的“G”)等，可根据需要进行增加，本发明实施例对此不加以限制。

[0083] 可理解的是，图1、2、5所示的实施例的方法的执行主体均为终端，所述终端可为带有触摸屏的台式电脑、笔记本、手机、平板电脑等设备，本发明实施例对此不加以限制。

[0084] 对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

[0085] 图7是本发明一个实施例的一种基于终端界面触控操作进行搜索的系统的结构框图；参照图7，所述系统包括：

[0086] 蒙板生成器701，适于当用户触发界面触控搜索请求时，将终端当前界面显示区域进行截屏，以获得所述终端当前界面显示区域的截图，并将所述截图作为覆盖所述终端界面显示区域的蒙板；

[0087] 触控接收器702，适于接收用户在所述蒙板上的触控操作，并根据所述触控操作在所述蒙板上选择待搜索界面区域；

[0088] 识别搜索器703，适于识别所述待搜索界面区域内包含的元素，根据识别出的元素进行搜索。

[0089] 在本发明的一种可选实施例中，所述蒙板生成器，还适于：将所述截图作为覆盖所述终端界面显示区域的处于半透明状态的蒙板。

[0090] 在本发明的一种可选实施例中，所述待搜索界面区域的展示方式为高亮或全透明的形式展示；

[0091] 和/或，

[0092] 所述蒙板上的其他区域以灰度、模糊化或半透明的形式展示。

[0093] 在本发明的一种可选实施例中，所述触控接收器，还适于检测基于用户在所述蒙板上的触控操作所产生的触摸轨迹，在所述蒙板上显示与所述触摸轨迹相应的待搜索界面区域，所述待搜索界面区域的展示方式区别于与所述蒙板上的其他区域。

[0094] 在本发明的一种可选实施例中，所述识别搜索器，还适于去除所述蒙板，将所述元素推送至位于所述终端界面显示区域的搜索框中；

[0095] 在用户点击设于所述终端界面显示区域内的第一图标时，所述识别搜索器，还适于根据所述元素进行搜索。

[0096] 图8是本发明一个实施例的一种基于终端界面触控操作进行搜索的系统的结构框图；参照图8，所述系统包括：

[0097] 蒙板生成器801，适于当用户触发界面触控搜索请求时，将终端当前界面显示区域进行截屏，以获得所述终端当前界面显示区域的截图，并将所述截图作为覆盖所述终端界面显示区域的蒙板；

[0098] 触控接收器802，适于接收用户在所述蒙板上的触控操作，并根据所述触控操作在所述蒙板上选择待搜索界面区域；

[0099] 识别搜索器803，适于识别所述待搜索界面区域内包含的元素，根据识别出的元素进行搜索。

[0100] 搜索展示器804，适于在所述终端界面显示区域中展示与所述元素相关的搜索结果项。

[0101] 在本发明的一种可选实施例中，所述搜索展示器804，还适于在所述终端界面显示区域中以应用卡片、文字条目及图文结合的形式展示与所述元素相关的搜索结果项。

[0102] 在本发明的一种可选实施例中，其特征在于，所述元素包括：文字、图片和符号中的至少一种。

[0103] 在本发明的一种可选实施例中，当用户点击设于所述蒙板内的第二图标时，所述识别搜索器，还适于触发识别所述待搜索界面区域内包含的元素。

[0104] 对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

[0105] 应当注意的是，在本发明的系统的各个部件中，根据其要实现的功能而对其中的部件进行了逻辑划分，但是，本发明不受限于此，可以根据需要对各个部件进行重新划分或者组合，例如，可以将一些部件组合为单个部件，或者可以将一些部件进一步分解为更多的子部件。

[0106] 本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

[0107] 应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

[0108] 以上实施方式仅适于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。