本发明提供一种信息处理装置、信息处理方法以及存储介质，该信息处理装置具有用于显示信息的可触控式显示器，该信息处理方法包括：检测步骤，检测对显示器上显示的包含有文字的信息的特定触控操作；关注文本获得步骤，根据检测到的特定触控操作，获得触控操作所触控的信息中的文本，作为关注文本；第一自然语言理解步骤，对关注文本进行基于分词和命名实体识别的第一自然语言理解处理，获得关注文本的分词结果和命名实体识别结果；第二自然语言理解步骤，对关注文本进行基于语义分析的第二自然语言理解处理，获得关注文本的以语义片段为单元的结构化语义；以及显示步骤，以标记语义片段的方式在显示器上显示关注文本。本发明提高用户对信息操作的便利性。
信息处理装置、信息处理方法以及存储介质
技术领域
[0001] 本发明涉及用于处理显示文本的信息处理装置及信息处理方法。
背景技术
[0002] 目前，随着手机或平板电脑等具有触摸屏显示器的信息处理装置的普及，人们几乎每天都会在手机或平板电脑等信息处理装置上接收、发送、浏览或者处理大量的文本信息，例如短信、即时通讯类软件、网页或应用程序内的新闻等。当信息处理装置的用户想要从浏览的文本信息中选取关键信息进行进一步操作(例如选取地址进行导航，选取时间、地址和事件建立提醒，选取电影名称(剧名或者旅游景点等)购买电影票(剧票或者门票等)，选取饭店进行订餐，选取菜名或者饭店进行订位或者订餐，或者选取酒店名称进行订房等等)时，需要进行多步操作(例如，选取信息，复制操作，关闭当前页面，寻找相应软件，打开相应软件或网页，粘贴等等)，操作烦琐、耗时长、不便捷。
[0003] 针对上述问题，申请公布号为CN106325688A的中国专利申请提出了一种通过分词技术来方便触控终端用户选择文字信息中的关键词以进行搜索及转发操作的文字处理方法及装置。但上述方法仅对文本信息进行分词，以便于用户选择关键词，并未对文本信息进行语义结构分析以获得语义片段，并且也未对潜在用户意图进行自动识别。因此，当用户需要选取或者对语义片段进行进一步操作时，需要逐个地选取各分词来进行操作，并且当还要对所选择的文字进行例如转输至另外的应用程序或网站等的下一步操作时，需要手工退出当前界面，以及手工寻找并唤起需要操作的应用程序或者网页并再次输入之前所选择的关键词。该进一步操作的过程仍需要进行多步操作，操作耗时长且不便捷。
[0004] 另有，申请公布号为CN106155550A的中国专利申请提出一种界面的显示方法和装置，根据终端界面上的文字触控信号判断触控的文字及其相邻文字的组合是否是电话号码、网络热词等预设类型的对象，并显示与之对应的提示信息，例如拨打电话，词语解释等。但上述方法只能处理连续的文字片段，无法根据整段文本判断用户意图，无法自动提炼出能够反映用户潜在意图的结构化语义片段以便于用户确认意图，也无法根据不连续的多个文字片段综合产生提示信息。例如，无法满足用户同时选取不连续的多个文字片段一次性进行下一步操作(例如同时选择时间片段、地址片段、事件名称片段建立提醒)的需求。
发明内容
[0005] 鉴于现有技术中的上述问题研发了本发明。本发明旨在提供一种能够提高用户对信息操作的便利性和高用户友好性的信息处理方法和信息处理装置。
[0006] 本发明的第一方面提供一种用于信息处理装置的信息处理方法，所述信息处理装置具有用于显示信息的可触控式显示器，该信息处理方法包括：检测步骤，检测对显示器上显示的包含有文字的信息的特定触控操作；关注文本获得步骤，根据检测到的特定触控操作，获得所述触控操作所触控的信息中的文本，作为关注文本；第一自然语言理解步骤，对关注文本进行基于分词和命名实体识别的第一自然语言理解处理，获得关注文本的分词结果和命名实体识别结果；第二自然语言理解步骤，对关注文本进行基于语义分析的第二自然语言理解处理，获得关注文本的以语义片段为单元的结构化语义；以及显示步骤，以标记语义片段的方式在显示器上显示关注文本。根据本发明的上述特征，实现了如下技术效果：使得用户能够通过一次性操作而选择语义片段内包括的全部分词，提高用户操作的便利性；通过将关注文本标记语义片段，使用户能够一目了然该信息的语义结构，提高了用户阅读的友好度；获得并标记语义片段还使得自动选择该片段内包括的全部分词或命名实体成为可能，为用户下一步操作提供便利。
[0007] 优选地，该信息处理方法还包括：用户意图获得步骤，针对关注文本进行用户意图识别，以获得对应于关注文本的用户意图；候选操作确定步骤，根据预定义词典，确定与所述用户意图相匹配的一个或更多个候选操作，并且在所述显示步骤中，以标记语义片段的方式显示关注文本，并且以可操作的方式显示所确定的候选操作。根据本发明的上述特征，通过用户意图识别、确定候选操作并显示候选操作，使得能够仅通过用户的一次性操作而显示反映用户意图的候选操作，从而提高用户操作的便利性。
[0008] 优选地，在以标记语义片段的方式显示有关注文本的显示界面上，以可操作的方式显示所确定的候选操作，根据本发明的上述特征，实现了如下技术效果：在显示有语结构化语义片段的显示界面上可操作地显示操作候选，使得用户不必关闭当前显示界面再打开操作对应的显示界面，而能够在同一界面上仅通过选择操作候选，即实现对文本中关键语义片段进行自动操作，提高了界面的友好度以及用户操作的便利性。
[0009] 优选地，在用户意图获得步骤中，还将关注文本的语义片段中的与获得的各用户意图相关的语义片段作为关键语义片段，与该用户意图相关联地进行存储，并且该信息处理方法还包括：用户选择接受步骤，检测用户对显示的候选操作进行的选择；操作唤起步骤，通过将与匹配各被选择的候选操作的用户意图相关联的关键语义片段，作为要导入待唤醒操作的语义片段，唤起用户选择的候选操作。根据本发明的上述特征，实现了如下技术效果：操作唤起步骤使得用户选择的候选操作(例如应用)能够对文本中关键语义片段自动进行期望的操作，提高了界面的友好度以及用户操作的便利性。
[0010] 优选地，该信息处理方法还包括：语义片段选择判断步骤，判断是否检测到用户对显示的语义片段的选择；关注文本重置步骤，在判断检测到用户选择了语义片段的情况下，将用户选择的语义片段作为关注文本，以对用户选择的语义片段应用第二自然语言理解处理。根据本发明的上述特征，实现了如下技术效果：既可以将用户选择的语义片段合并在一起，重新执行第一实施例的过程；也可以部分或全部沿用第一实施例的结果，继续后面的操作，从而提高了界面的友好度以及用户操作的便利性。
[0011] 优选地，在用户意图获得步骤中，还进一步对关注文本的各语义片段进行用户意图识别，以获得与能反映用户意图的各语义片段相对应的用户意图；并且在候选操作确定步骤中，确定与获得的各用户意图相对应的候选操作。根据本发明的上述特征，实现了如下技术效果：将对应于关注文本的候选操作以及可能反应用户意图的各语义片段的候选操作一起显示给用户，能够使用户更加便利地实现对关注文本或者对关注文本中的语义片段进行期望操作，提高了界面的友好度以及用户操作的便利性。
[0012] 优选地，在所述显示步骤中，以带有语义片段标记的分词方式显示关注文本。
[0013] 优选地，所述显示步骤还包括，以针对关注文本的语义片段中与用户意图相关的关键语义片段进行类型标记的方式，显示关注文本。
[0014] 优选地，所述候选操作是能够匹配用户意图的候选应用程序或候选网站链接。
[0015] 优选地，所述候选操作确定步骤还包括候选操作排序步骤，对所确定的多个候选操作进行排序，并且在所述显示步骤中，依照候选操作排序步骤中的排序，来显示所选择的候选操作。
[0016] 优选地，所述操作唤起步骤进一步包括：操作指令生成步骤，根据所述结构化语义以及所述用户意图，生成用于调用候选操作的调用指令，所述调用指令包含有唤起指令和指令参数；关键语义片段提取步骤，根据检测到的用户选择操作所触发的调用指令，提取关键语义片段作为指令参数；以及导入及唤起步骤，通过指令参数，将关键语义片段导入用户选择的候选操作，并利用唤起指令唤起用户选择的候选操作。
[0017] 本发明的第二方面提供一种信息处理装置，其具有用于显示信息的可触控式显示器，该信息处理装置包括：检测单元，检测对显示器上显示的包含有文字的信息的特定触控操作；关注文本获得单元，根据检测到的特定触控操作，获得所述触控操作所触控的信息中的文本，作为关注文本；第一自然语言理解单元，对关注文本进行基于分词和命名实体识别的第一自然语言理解处理，获得关注文本的分词结果和命名实体识别结果；第二自然语言理解单元，对关注文本进行基于语义分析的第二自然语言理解处理，获得关注文本的以语义片段为单元的结构化语义；以及显示单元，以标记语义片段的方式在显示器上显示关注文本。
[0018] 本发明的第三方面提供了一种信息处理装置，其具有用于显示信息的可触控式显示器，该信息处理装置包括：检测单元，检测对显示器上显示的包含有文字的信息的特定触控操作；关注文本获得单元，根据检测到的特定触控操作，获得所述触控操作所触控的信息中的文本，作为关注文本；用户意图获得单元，针对关注文本进行用户意图识别，以获得对应于关注文本的用户意图；候选操作确定单元，根据预定义词典，确定与所述用户意图相匹配的一个或更多个候选操作；以及显示单元，以可操作的方式在显示器上显示所确定的候选操作。根据本发明的上述特征，实现了如下技术效果：通过用户意图识别、确定候选操作并显示候选操作，使得能够仅通过用户的一次性操作而显示反映用户意图的候选操作，从而提高用户操作的便利性。
[0019] 本发明的第四方面提供了一种信息处理装置，该信息处理装置包括：检测单元，检测对显示器上显示的包含有文字的信息的特定触控操作；显示单元，响应于检测到对包含有文字的信息的特定触控操作，以可操作的方式显示能够反映所述信息的用户意图的候选操作。
[0020] 本发明的第五方面提供了一种信息处理装置，该信息处理装置包括：检测单元，检测对显示器上显示的包含有文字的信息的特定触控操作；显示单元，响应于检测到对包含有文字的信息的特定触控操作，以标记语义片段的方式显示所述信息。
附图说明
[0021] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域或普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022] 图1是示出本实施例中的信息处理装置1000的硬件构造的图。
[0023] 图2是例示根据本发明第一实施例的信息处理方法的流程图。
[0024] 图3是例示根据本发明的信息处理方法的第一自然语言理解处理的流程图。
[0025] 图4(a)和图4(b)是示意根据本发明第一实施例的信息处理方法的操作过程的显示画面，图4(c)和图4(d)是示意根据本发明第一实施例的信息处理方法的显示步骤的优选方案的显示画面。
[0026] 图5是例示根据第一实施例的信息处理装置的软件结构的框图。
[0027] 图6是例示根据本发明第二实施例的信息处理方法的流程图。
[0028] 图7(a)至图7(b)是示意根据本发明第二实施例的信息处理方法的操作过程的示例性显示画面。
[0029] 图8是例示根据第二实施例的信息处理装置的软件结构的框图。
[0030] 图9是例示根据本发明第三实施例的信息处理方法的流程图。
[0031] 图10(a)至图10(c)是示意根据本发明第三实施例的信息处理方法的操作过程的示例性显示画面。
[0032] 图11示出了根据本发明的信息处理方法中的操作唤起处理的流程图。
[0033] 图12示出了根据本发明的信息处理方法中的操作指令生成处理的流程图。
[0034] 图13是例示根据第三实施例的信息处理装置的软件结构的框图。
[0035] 图14是例示根据本发明第四实施例的信息处理方法的流程图。
[0036] 图15(a)至图15(e)是示意根据本发明第四实施例的信息处理方法的操作过程的示例性显示画面。
[0037] 图16是例示根据第四实施例的信息处理装置的软件结构的框图。
[0038] 图17是例示根据本发明第五实施例的信息处理方法的流程图。
[0039] 图18(a)和图18(b)是示意根据本发明第五实施例的信息处理方法的操作过程的示例性显示画面。
[0040] 图19是例示根据第五实施例的信息处理装置的软件结构的框图。
具体实施方式
[0041] 在下文中将参照附图详细地描述本发明的实施例。应当理解，下述实施例并不意图限制本发明，并且，关于根据本发明的解决问题的手段，并不一定需要根据下述实施例描述的各方面的全部组合。为简化起见，对相同的结构部分或者步骤，使用了相同的标记或标号，并且省略其说明。
[0042] [信息处理装置的硬件结构]
[0043] 图1是示出本实施例中的信息处理装置1000的硬件构造的图。在本实施例中，以智能电话作为信息处理装置的示例给出描述。但请注意，虽然在本实施例中例举了智能电话作为信息处理装置1000，但是显然不限于此，本发明的信息处理装置可以是移动终端(智能手机、智能手表、智能手环、音乐播放设备)、笔记本电脑、平板电脑、PDA(个人数字助理)、传真装置、打印机、或者是具有触控显示屏和信息处理功能的互联网设备(例如数字照相机、电冰箱、电视机等)等各种装置。
[0044] 首先，参照图1的框图描述信息处理装置1000(2000、3000、4000、5000)的硬件结构。此外，在本实施例中作为示例描述了以下构造，但是本发明的信息处理装置不限于图1所示的构造。
[0045] 信息处理装置1000包括经由系统总线彼此连接的输入接口102、CPU 103、ROM 104、RAM 105、存储装置106、输出接口107、显示器108、通信单元109和短距离无线通信单元
110。输入接口102是用于接收用户所输入的数据以及功能的执行指令的接口，并且是用于经由诸如按键、按钮或触摸屏的操作单元(未示出)接收从用户输入的数据和操作指令的接口。请注意，稍后描述的显示器108和操作单元可以至少部分地集成，并且，例如，可以是在同一画面中进行画面输出和接收用户操作的构造。
[0046] CPU 103是系统控制单元，并且总体上全面地控制信息处理装置1000。此外，例如，CPU 103进行信息处理装置1000的显示器108的显示控制。ROM 104存储CPU 103执行的诸如数据表和控制程序以及操作系统(OS)程序等的固定数据。在本实施例中，在ROM 104中存储各个控制程序，例如，在ROM 104中存储的OS的管理下，进行诸如调度、任务切换和中断处理等的软件执行控制。
[0047] RAM 105例如由需要备用电源的SRAM(静态随机存取存储器)、DRAM等构造。在这种情况下，RAM 105可以以非易失性方式存储诸如程序控制变量等的重要数据。此外，用于存储信息处理装置1000的设置信息、信息处理装置1000的管理数据等的存储区域也配设在RAM 105中。此外，RAM 105用作CPU 103的工作存储器和主存储器。
[0048] 存储装置106存储例如预定义词典、用于执行根据本发明的信息处理方法的应用程序等。此外，存储装置106存储诸如用于经由通信单元109与通信装置(未示出)进行发送/接收的信息发送/接收控制程序等的各种程序，以及这些程序使用的各种信息。
[0049] 输出接口107是用于对显示器108进行控制以显示信息以及应用程序的显示画面的接口。显示器108例如由LCD(液晶显示器)构造。通过在显示器108上布置具有诸如数值输入键、模式设置键、决定键、取消键和电源键等的键的软键盘，可以接收经由显示器108的来自用户的输入。
[0050] 信息处理装置100经由通信单元109，通过例如Wi-Fi(无线保真)或蓝牙、诸如2G、3G或LTE等的蜂窝移动通信等无线通信方法，与外部装置(未示出)执行数据通信。
[0051] 此外，信息处理装置1000也可以经由短距离无线通信单元110，在短距离范围内与外部装置等进行无线连接并执行数据通信。并且短距离无线通信单元110通过与通信单元109不同的通信方法进行通信。例如，可以使用其通信范围比通信单元109的通信方法短的蓝牙低功耗(BLE)作为短距离无线通信单元110的通信方法。此外，作为短距离无线通信单元110的通信方法，例如，还可以使用NFC(近场通信)或Wi-Fi感知(Wi-Fi Aware)。
[0052] [第一实施例]
[0053] [根据第一实施例的信息处理方法]
[0054] 根据本发明的信息处理方法可以通过信息处理装置1000的CPU 103读取存储在ROM 104或存储装置106上的控制程序、或者经由通信单元109从通过网络与信息处理装置1000连接的网络服务器(未示出)而下载的控制程序来实现。
[0055] 下面结合图2至图4(d)对根据本发明第一实施例的信息处理方法进行说明。其中，图2是例示根据本发明第一实施例的信息处理方法的流程图；图3是例示根据本发明的信息处理方法的第一自然语言理解处理的流程图；图4(a)和图4(b)是示意根据本发明第一实施例的信息处理方法的操作过程的显示画面，图4(c)和图4(d)是示意根据本发明第一实施例的信息处理方法的显示步骤的优选方案的显示画面。
[0056] 如图2所示，首先，在检测步骤S101中，检测对显示器上显示的包含有文字的信息的特定触控操作。该特定触控操作可以是触控方式、触屏面积和持续时间中的至少一个达到各自阈值条件的触控操作，例如持续时间和触屏面积在一定特定范围内的滑动操作，或者触屏面积和持续时间达到相应阈值的静止按压操作等等。当检测到针对显示信息的特定触控操作后，处理进行到步骤S102。
[0057] 在关注文本获得步骤S102中，根据检测到的特定触控操作，获得所述触控操作所触控的信息中的文本，作为关注文本，即待处理文本。例如，可以通过触控操作的位置信息来确定显示信息，或者通过触控操作所在的位置范围来确定触控的显示信息。并且，对于文本模块中的文字可以直接读取的方式获得，而对于图片模块中的文字，可以通过文字识别软件识别的方式获得图片模块中的文字，作为关注文本。接下来，处理进入步骤S103。
[0058] 在第一自然语言理解步骤S103中，对关注文本进行基于分词和命名实体识别的第一自然语言理解处理，获得关注文本的分词结果和命名实体识别结果。优选地，如图3所示，第一自然语言理解步骤S103进一步包括：分词步骤S1031，对关注文本进行分词，获得关注文本的分词结果；命名实体识别步骤S1032，对关注文本进行命名实体识别，获得关注文本的命名实体识别结果。优选地，根据本发明的信息处理方法中的命名实体识别处理可以通过(但不限于)条件随机场(CRF)或双向长短时记忆网络加条件随机场(BiLSTM-CRF)两种模型实现，可以根据不同的效果、性能要求和软硬件环境，来选择合适的模型实施。
[0059] 例如，用户在2017年2月23日收到如图4(a)所示的信息，用户通过对该显示信息进行特定静止按压操作，在步骤S101检测到针对该显示信息的特定静止按压操作，通过步骤S102获得显示的文本信息“明天下午3点到国贸大厦302开会”，作为关注文本。然后，在步骤1031中，将该关注文本进行分词，得到“明天，下午，3点，到，国贸，大厦，302，开会”的分词结果，其中为分隔各分词而使用的逗号是示意性的。在步骤S1032中，识别出“明天下午3点”是时间类型的命名实体，“国贸大厦302”是地址类型的命名实体。
[0060] 然后，处理进行到步骤S104，在第二自然语言理解步骤S104中，对关注文本进行基于语义分析的第二自然语言理解处理，以获得关注文本的以语义片段为单元的结构化语义。优选地，根据本发明的信息处理方法中的语义分析处理可以使用(但不限于)例如基于框语义(Frame Semantic)和上下文无关文法的语义分析器实现。
[0061] 例如，针对如图4(a)所示的显示信息，经过步骤S104后，得到以例如JSON结构体表示的如下语义结构：
[0062] {"time":"2017-02-24 15:00:00","location":"国贸大厦302","title":"开会"}
[0063] 其中，“2017-02-24 15:00:00”(对应于“明天下午3点”)是表示时间类的语义片段；“国贸大厦302”是表示地址类的语义片段；“开会”是表示事件类的语义片段。
[0064] 然后，进入显示步骤S105，以标记语义片段的方式在显示器上显示关注文本。其中，对语义片段的标记方式显示，可以以将各语义片段间隔开的方式进行显示。具体地说，例如通过对每个语义片段分配一个视图控件，并将各语义片段添加到各自相应的视图控件中，来生成显示界面。如图4(b)所示，将四个语义片段“明天下午3点”，“到”，“国贸大厦302”，“开会”按各语义片段为单元以分隔开的方式进行显示。显然，也可以采用本领域技术人员已知的其他方式来进行标记。
[0065] 优选地，如图4(c)所示，还可以将各语义片段的类型进行标记。例如对时间类型的命名实体“明天下午3点”标记出时间图标。并且，作为优选的方案，该类型标记可以采用可操作的方式，例如，用户选择一类型标记时，与该类型标记对应的语义片段被自动选中。
[0066] 优选地，还可以针对各语义片段所包含的分词结果，以分词方式显示。例如如图4(d)所示的将各分词布置在单独的视图控件中的方式。显然还可以采用其他方式，例如将各语义片段中的各分词间隔开显示等等。
[0067] 以上示出了在第一自然语言理解步骤S103之后执行第二自然语言理解步骤S104的流程，显然，本领域技术人员理解，第一自然语言理解步骤S103和第二自然语言理解步骤S104的执行顺序可以互换，或者也可以是并行地执行。
[0068] 根据本发明第一实施例的信息处理方法，通过对关注文本进行基于语义分析的第二自然语言理解处理，来获得关注文本的以语义片段为单元的结构化语义，并且以标记语义片段的方式在显示器上显示关注文本，可以获得如下技术效果：a.使得用户能够一次性操作而选择该片段内包括的全部分词，提高用户操作的便利性；b.使用户能够一目了然该信息的语义结构，提高了用户阅读的友好度；c.使得自动选择语义片段内包括的全部分词或命名实体成为可能，为用户下一步操作提供便利。
[0069] [根据第一实施例的信息处理装置的软件结构]
[0070] 图5是例示根据第一实施例的信息处理装置的软件结构的框图。如图5所示，信息处理装置1000包括检测单元1101、关注文本获得单元1102、第一自然语言理解单元1103、第二自然语言理解单元1104以及显示单元1105。检测单元1101检测对显示器108的触控操作；关注文本获得单元1102根据检测到的特定触控操作，获得所述触控操作所触控的信息中的文本，作为关注文本；第一自然语言理解单元1103包括分词单元11031和命名实体识别单元
11032，分词单元11031对关注文本进行分词以获得分词结果，并且命名实体识别单元11032对关注文本进行命名实体识别处理，以获得关注文本的命名实体识别结果；第二自然语言理解单元1104对关注文本进行语义分析，以获得关注文本的结构化语义；以及显示单元
1105生成显示界面并在显示器上显示包含有关注文本的显示界面。
[0071] [第二实施例]
[0072] [根据第二实施例的信息处理方法]
[0073] 下面结合图6至图7(b)对根据本发明第二实施例的信息处理方法进行说明。其中，图6是例示根据本发明第二实施例的信息处理方法的流程图；图7(a)至图7(b)是示意根据本发明第二实施例的信息处理方法的操作过程的示例性显示画面。
[0074] 如图6所示，根据第二实施例的信息处理方法与据第一实施例的信息处理方法的区别在于，增加了用户意图获得步骤S205和候选操作确定步骤S206，并且用显示步骤S207替换了第一实施例中的显示步骤S105。
[0075] 具体地说，在用户意图获得步骤S205中，针对关注文本进行用户意图识别，以获得对应于关注文本的用户意图。优选地，在用户意图获得步骤S205中，还可以将关注文本的语义片段中的与获得的各用户意图相关的语义片段作为关键语义片段，与该用户意图相关联地进行存储。其中，在本发明中，“用户意图”表示用户根据关注文本的内容而意图对关注文本进行的期望处理。优选地，根据本发明的信息处理方法中的意图识别，可以(但不限于)使用如下两种模型中的任一种实现，一种是支持向量机(SVM)，另一种是卷积神经网络(CNN)。根据不同的效果、性能要求和软硬件环境，可以选择其中一种实施。
[0076] 然后，在候选操作确定步骤S206中，根据预定义词典，确定与用户意图相匹配的一个或更多个候选操作。候选操作是能够匹配用户意图的操作，也就是说，能够让用户实现期望处理的操作。优选地，候选操作是能够匹配用户意图的候选应用程序或候选网站链接。然后，在显示步骤S207中，以标记语义片段的方式显示有关注文本，并且以可操作的方式显示所确定的候选操作。作为示例，可以在以标记语义片段的方式显示有关注文本的显示界面上，以可操作的方式显示所确定的候选操作。例如，如图7(b)所示，可以在显示有关注文本的同一显示画面中显示表示候选操作的候选应用程序或候选网站链接的图标，或者可以在显示有关注文本的显示画面上叠加布置表示候选操作的候选应用程序或候选网站链接的浮窗。为便于描述和理解，作为示例，图6示出了用户意图获得步骤S205和候选操作确定步骤S206在第二自然语言理解步骤S104之后执行，显然，步骤S205和步骤S206也可以在第一自然语言理解步骤S103之前执行，或者在第二自然语言理解步骤S104之前且在第一自然语言理解步骤S103之后执行，或者也可以与第一自然语言理解步骤S103和/或第二自然语言理解步骤S104并行执行。
[0077] 作为优选的方式，在候选操作确定步骤S206之后，还可以执行候选操作排序步骤S2061，对所确定的多个候选操作进行排序。相应地，在显示步骤S207中，依照候选操作排序步骤中的排序，来显示所选择的候选操作。优选地，本发明所采用的对候选操作排序可以通过(不限于)如下方法，即对每个应用程序或网站链接，计算如下特征：应用程序或网站链接的质量评分，应用程序或网站链接的竞价评分，应用程序或网站链接的流行度评分，应用程序或网站链接与意图的相关性评分，意图分类的自信度评分，等等；对以上特征加权得到最终的应用程序和网站链接打分，再根据最终打分进行排序；特征加权得到最终打分的过程可以是线性模型也可以是非线性模型。
[0078] 表1例示了根据本发明第二实施例的信息处理方法而识别出的用户意图的列表。例如针对图7(a)所示的显示信息，如表1所示，在用户意图获得步骤S205中对关注文本“明天下午3点到国贸大厦302开会”进行意图识别，获得用户意图“提醒”和“转发到即时通讯软件联系人”。
[0079] 表1
[0080]
[0081] 预定义词典是预先存储在信息处理装置中的，在预定义词典中将用户意图与能够匹配该用户意图的候选操作相关联地进行存储。表2例示了根据本发明的信息处理方法中的预定义词典。其中，针对各意图，对应同一种候选操作类型(例如第三方应用)可以有多个候选操作，根据用户实际安装的情况确定调取哪个候选操作。
[0082] 表2
[0083]
[0084]
[0085] 如表2所示，意图“地址(Address)”对应的候选操作有：第三方应用软件(App)“滴滴打车”或“Uber”、第三方应用软件(App)“高德地图”或“百度地图”、网站链接(URL)“www.baidu.com”或者“www.google.com”、第三方应用软件(App)“微信”或“陌陌”，以及系统内置应用程序(Sys)“SMS”。
[0086] 例如，针对图7(a)所示的显示信息，如表1所示，在用户意图获得步骤S205中对关注文本“明天下午3点到国贸大厦302开会”进行意图识别，获得用户意图“提醒”和“转发到即时通讯软件联系人”。在候选操作确定步骤S206中，根据预定义词典，根据用户使用的信息处理装置中所安装的软件情况，确定匹配用户意图“提醒”的候选操作是系统内置应用程序“日历(Calendar)”和第三方应用软件“微信”。在显示步骤(S207)中，在以标记语义片段的方式显示有关注文本的显示界面上，以可操作的方式显示所确定的候选操作“日历(Calendar)”和“微信”，如图7(b)所示。
[0087] 根据本发明第二实施例的信息处理方法，通过获得用户意图，确定与用户意图相对应的候选操作，并显示候选操作，使得能够仅通过用户的一次性操作而显示反映用户意图的候选操作，从而提高界面的友好度以及用户操作的便利性。此外，在显示有语结构化语义片段的显示界面上可操作地显示候选操作，使得用户不必关闭当前显示界面再打开操作对应的显示界面，而能够在同一界面上仅通过选择候选操作，即实现对文本中关键语义片段进行自动操作，提高了界面的友好度以及用户操作的便利性。
[0088] 此外，在以上第二实施例中，作为示例示出了并行或者先后执行自然语言理解处理(第一自然语言理解步骤和/或第二自然语音理解步骤)以及意图识别处理(用户意图获得步骤)的情况，由于意图识别处理并不依赖于前述自然语言理解处理的处理结果，因此，意图识别处理和自然语言理解处理也可以相互独立地进行。也就是说，作为变型例，可以在检测到特定触控操作并获得关注文件(步骤S101和步骤S102)之后，不执行上述自然语音理解处理的情况下(即不执行步骤S103和步骤S104)，而仅对关注文本进行意图识别(步骤S205)，并在确定与用户意图与用户意图相匹配的一个或更多个候选操作后(步骤S206)后，显示所确定的候选操作。优选地，可以在显示有关注文本的显示界面上显示所确定的候选操作。另选地，所述显示单元在以可操作的方式显示有所确定的候选操作的显示界面上，以标记语义片段的方式显示关注文本。
[0089] 根据以上变型例，通过用户意图识别处理并显示反映用户意图的候选操作，使得用户能够仅通过一次性操作来显示能够匹配用户意图的候选应用程序或候选网站链接。从而进一步提高了界面的友好度和操作便利性。同时，仅对关注文本进行意图识别，还能够节省资源消耗，提高处理速度。
[0090] [根据第二实施例的信息处理装置的软件结构]
[0091] 图8是例示根据第二实施例的信息处理装置的软件结构的框图。如图8所示，根据第二实施例的信息处理装置2000与根据第一实施例的信息处理装置1000的区别在于，增加了用户意图获得单元1205和候选操作确定单元1206，并且用显示单元1207替换了显示单元1105。
[0092] 具体地说，用户意图获得单元1205针对关注文本进行用户意图识别，以获得对应于关注文本的用户意图，并将关注文本的语义片段中的与获得的各用户意图相关的语义片段作为关键语义片段，与该用户意图相关联地进行存储。候选操作确定单元1206根据预定义词典，确定与所述用户意图相匹配的一个或更多个候选操作，并且所述显示单元1207不仅以标记语义片段的方式显示关注文本，而且在以标记语义片段的方式显示有关注文本的显示界面上，以可操作的方式显示所确定的候选操作。
[0093] [第三实施例]
[0094] [根据第三实施例的信息处理方法]
[0095] 下面结合图9以及图10(a)至图10(c)对根据本发明第三实施例的信息处理方法进行说明。其中，图9是例示根据本发明第三实施例的信息处理方法的流程图；图10(a)至图10(c)是示意根据本发明第三实施例的信息处理方法的操作过程的示例性显示画面。
[0096] 如图9所示，根据第三实施例的信息处理方法与根据第二实施例的信息处理方法的区别在于，增加了用户选择接受步骤S308和操作唤起步骤S309。
[0097] 具体地说，在用户选择接受步骤S308中，检测用户对显示的候选操作进行的选择；在检测到用户的选择的情况下进入到操作唤起步骤S309，通过将与匹配各被选择的候选操作的用户意图相关联的关键语义片段，作为要导入待唤醒操作的语义片段，唤起用户选择的候选操作。
[0098] 此外，优选地，如图11(图11示出了根据本发明的信息处理方法中的操作唤起处理的流程图)所示，操作唤起步骤S309进一步包括：操作指令生成步骤S3091，根据结构化语义以及所述用户意图，生成用于调用候选操作的调用指令，调用指令包含有唤起指令和指令参数；关键语义片段提取步骤S3092，根据检测到的用户选择操作所触发的调用指令，提取关键语义片段作为指令参数；以及导入及唤起步骤S3093，通过指令参数，将关键语义片段导入用户选择的候选操作，并利用唤起指令唤起用户选择的候选操作。
[0099] 优选地，如图12(图12示出了根据本发明的信息处理方法中的操作指令生成处理的流程图)所示，操作指令生成步骤S3091进一步包括：生成唤起候选操作的指令S30911；生成调用候选操作接口函数的指令S30912，将所述结构化语义中的关键语义片段，以候选操作接口参数的形式传入所述接口函数S30913。
[0100] 如图10(a)所示，在步骤S101检测到用户对显示信息“找三角兽科技王总电话18512345678”进行的特定触控，进入第二实施例的信息处理方法的步骤S102至S104，获得如图10(b)所示的关注文本的各语义片段，并且经过用户意图获得步骤S205获得用户意图“查找通讯录”和“查找通话记录”，在候选操作确定步骤S206中确定调用系统内置应用程序“通讯录”和“通话记录”，并且在显示步骤S207中，在信息处理装置的显示器上，将标记有语义片段类型(参见图10(b)中的地点、人物和电话图标)的关注文本“找三角兽科技王总电话
18512345678”与确定的候选操作“通讯录”和“通话记录”一起进行显示，如图10(b)所示。然后，在步骤S308中，如果检测到用户对“通讯录”进行了选择，则进入步骤S309，将关键语义片段“王总”、“三角兽科技”和“18512345678”，导入并唤起“通讯录”应用程序，如图10(c)所示。
[0101] 作为另一个示例，例如显示信息是“我明天要去上海”，得到关注文本“我明天要去上海”，经过语义解析得到结构语义:“Destination:上海,Date.Relative:+1(表示当前日期加一天),Departure:_current_city(表示根据系统gps定位自动获取当前城市)”，对应的意图是订票(Ticket)，作为候选操作的应用程序列表可以是：携程、日历、微信等等。当用户选取“携程”时，直接进入订票页面，自动填充出发地、目的地以及日期等信息。
[0102] 根据第三实施例的信息处理方法通过检测用户对显示的候选操作进行的选择，并且将与匹配各被选择的候选操作的用户意图相关联的关键语义片段，导入并唤起用户选择的候选操作，实现了如下技术效果：操作唤起步骤使得用户选择的应用能够对文本中关键语义片段自动进行期望的操作，提高了界面的友好度以及用户操作的便利性。
[0103] [根据第三实施例的信息处理装置的软件结构]
[0104] 图13是例示根据第三实施例的信息处理装置的软件结构的框图。如图13所示，根据第三实施例的信息处理装置3000与根据第二实施例的信息处理装置2000的区别在于，增加了用户选择接受单元1308和操作唤起单元1309。
[0105] 具体地说，用户选择接受单元1308检测用户对显示的候选操作进行的选择，而操作唤起单元1309通过将与匹配各被选择的候选操作的用户意图相关联的关键语义片段，作为要导入待唤醒操作的语义片段，唤起用户选择的候选操作。
[0106] [第四实施例]
[0107] [根据第四实施例的信息处理方法]
[0108] 下面结合图14以及图15(a)至图15(e)对根据本发明第四实施例的信息处理方法进行说明。其中，图14是例示根据本发明第四实施例的信息处理方法的流程图；图15(a)至图15(e)是示意根据本发明第四实施例的信息处理方法的操作过程的示例性显示画面。
[0109] 如图14所示，根据第四实施例的信息处理方法与根据第三实施例的信息处理方法的区别在于，增加了语义片段选择判断步骤S410和关注文本重置步骤S411。
[0110] 具体地说，在语义片段选择判断步骤S410中，判断是否检测到用户对显示的语义片段的选择；如果检测到用户选择了语义片段，则进入关注文本重置步骤S411，将用户选择的语义片段作为关注文本，处理返回步骤S205，对用户选择的语义片段应用第二自然语言理解处理。也就是说，重复步骤S205至S309。如果在步骤S410，判断没有检测到用户对显示的语义片段的选择，则处理结束。
[0111] 例如，如图15(c)所示，当在步骤S308中，检测到用户选择了“日历”软件后，进入步骤S309，如图15(d)所示，将与匹配各被选择的候选操作“日历”的用户意图“提醒”相关联的关键语义片段“明天下午3点”、“国贸大厦302”以及“开会”，导入应用程序“日历”并唤起“日历”。为便于理解，以下示意性示出以JSON结构体表示的候选操作“日历”和“微信”：
[0112]
[0113] 其中，app_name表示候选操作的唯一标识ID，app_type表示候选操作的类型，command是预定义的调用候选操作的命令名称，arguments是传给调用命令的参数。
[0114] 导入完成后，如图15(e)所示，如果在步骤S410中，判断检测到用户选择了地址语义片段“国贸大厦302”，则进入步骤S411，将用户选择的语义片段“国贸大厦302”作为关注文本，处理返回步骤S205，识别出意图“地址”，在步骤S206中，确定与意图“地址”相匹配的多个候选操作应用程序“电子地图”、应用程序“网络约车”以及网址链接“搜索引擎”，并在步骤S207进行显示。
[0115] 根据第四实施例的信息处理方法，通过判断是否检测到用户对显示的语义片段的选择，并且在判断检测到用户选择了语义片段的情况下，将用户选择的语义片段作为关注文本，以对用户选择的语义片段应用第二自然语言理解处理，实现了如下的技术效果：既可以将用户选择的语义片段合并在一起，重新执行第一实施例的过程；也可以部分或全部沿用第一实施例的结果，继续后面的操作，从而提高了界面的友好度以及用户操作的便利性。
[0116] [根据第四实施例的信息处理装置的软件结构]
[0117] 图16是例示根据第四实施例的信息处理装置的软件结构的框图。如图16所示，根据第四实施例的信息处理装置4000与根据第三实施例的信息处理装置3000的区别在于，增加了语义片段选择判断单元1410和关注文本重置单元1411。
[0118] 具体地说，语义片段选择判断单元1410判断是否检测到用户对显示的语义片段的选择；关注文本重置单元1411在判断检测到用户选择了语义片段的情况下，将用户选择的语义片段作为关注文本，以对用户选择的语义片段应用第二自然语言理解处理。
[0119] [第五实施例]
[0120] [根据第五实施例的信息处理方法]
[0121] 下面结合图17以及图18(a)和图18(b)对根据本发明第五实施例的信息处理方法进行说明。其中，图17是例示根据本发明第五实施例的信息处理方法的流程图；图18(a)和图18(b)是示意根据本发明第五实施例的信息处理方法的操作过程的示例性显示画面。
[0122] 如图17所示，根据第五实施例的信息处理方法与根据第三实施例的信息处理方法的区别在于，在用户意图获得步骤S505中，针对关注文本进行用户意图识别，以获得对应于关注文本的用户意图，并且针对关注文本的各语义片段进行用户意图识别，以获得与能反映用户意图的各语义片段相对应的用户意图。
[0123] 例如，如图18(b)所示，将与关注文本“明天下午3点到国贸大厦302开会”相关联的候选操作“日历”和“微信”以及与地址语义片段“国贸大厦302”相关联的候选操作应用程序“电子地图”、应用程序“网络约车”以及网址链接“搜索引擎”，一同显示出来供用户选择(鉴于可同时显示的候选操作的数量有限，与时间语义片段“明天下午3点”相关联的候选操作被隐藏显示，例如可以通过滑动候选操作列表使其显示出来)。之后，如第三实施例中所描述，可以检测用户对显示的候选操作进行的选择操作，并唤起用户选择的候选操作。例如，当检测到用户对“日历”或“微信”的操作时，针对关注文本“明天下午3点到国贸大厦302开会”，唤起所选择的操作；当检测到用户对“电子地图”、“网络约车”或“搜索引擎”的操作时，针对地址语义片段“国贸大厦302”，唤起所选择的操作。
[0124] 作为另一个例子可以是订票，比如关注的文本是“我明天要去上海”，语义解析是:“Destination:上海,Date.Relative:+1(表示当前日期加一天),Departure:_current_city(表示根据系统gps定位自动获取当前城市)”，对应的意图是Ticket，应用程序列表可以是：携程、日历、微信等。当用户点击“携程”时，直接进入订票页面，自动填充出发地，目的地，日期等信息。
[0125] 根据第五实施例的信息处理方法，对关注文本的各语义片段进行用户意图识别，并获得对应于用户意图的操作候选，实现了如下技术效果：将对应于关注文本的候选操作以及可能反应用户意图的各语义片段的候选操作一起显示给用户，能够使用户更加便利地实现对关注文本或者对关注文本中的语义片段进行期望操作，提高了界面的友好度以及用户操作的便利性。
[0126] [根据第五实施例的信息处理装置的软件结构]
[0127] 图19是例示根据第五实施例的信息处理装置的软件结构。如图19所示，根据第五实施例的信息处理装置5000与根据第三实施例的信息处理装置3000的区别在于，利用用户意图获得单元1505替换了户意图获得单元1205，其中用户意图获得单元1505除了针对关注文本进行用户意图识别，以获得对应于关注文本的用户意图之外，还进一步对关注文本的各语义片段进行用户意图识别，以获得与能反映用户意图的各语义片段相对应的用户意图。
[0128] 以上虽然参照示例性实施例对本发明进行了描述，但是上述实施例只为说明本发明的技术构思及特点，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的任何等效变型或修改，都应涵盖在本发明的保护范围之内。
