显示控制装置、方法及程序

摘要

为了提供一种能够高效地访问过去呈现的信息的用户界面。一种信息处理装置包括检测单元、控制单元和输出单元。检测单元检测用户的行为。控制单元根据检测到的行为来确定用户的当前关注对象并顺序地生成包括与所确定的关注对象相对应的内容的显示信息。输出单元输出所生成的显示信息。控制单元以从输出单元输出的用户的过去的关注对象的内容以及当前关注对象的内容为基础根据所确定的关注对象的变化来优化显示信息的显示模式。

权利要求

1.一种信息处理装置，包括：

检测单元，检测用户的行为；

控制单元，根据检测到的行为来确定所述用户的当前关注对象并顺序地生成包括与所确定的关注对象相对应的内容的显示信息；

输出单元，输出所生成的显示信息，

所述控制单元以从所述输出单元输出的所述用户的过去的关注对象的内容以及所述当前关注对象的内容为基础根据所确定的关注对象的变化来优化所述显示信息的显示模式。

2.根据权利要求1所述的信息处理装置，其中在根据所述用户的行为确定过去从所述输出单元输出的内容为当前关注对象的情况下，所述控制单元将被确定为所述当前关注对象的、过去输出的内容包含在显示信息中并优化所述显示信息的显示模式。

3.根据权利要求2所述的信息处理装置，其中所述输出单元生成所述显示信息，使得与从所述输出单元输出的内容相对应的每个显示元素通过用线连接以输出顺序输出。

4.根据权利要求2所述的信息处理装置，其中所述控制单元通过缩小被确定为所述当前关注对象的、过去输出的内容来优化所述显示信息的显示模式。

5.根据权利要求2所述的信息处理装置，其中所述控制单元生成所述显示信息，使得与被确定为所述当前关注对象的、过去输出的内容相对应的显示元素布置在所述用户的视线的中心。

6.根据权利要求2所述的信息处理装置，其中所述控制单元将与属于被确定为所述当前关注对象的、过去输出的内容所共有的层的内容与被确定为所述当前关注对象的、过去输出的内容一起包含在所述显示信息中。

7.根据权利要求6所述的信息处理装置，其中所述控制单元生成通过视觉效果和/或公用框体示出多个内容项属于共有层的显示信息。

8.根据权利要求1所述的信息处理装置，其中所述检测单元输入所述用户的语音，

所述控制单元通过分析从所述检测单元输入的所述用户的语音来确定当前关注对象。

9.一种信息处理方法，包括：

检测用户的行为的步骤；

根据检测到的行为来确定所述用户的当前关注对象的步骤；

顺序地生成包括与所确定的关注对象相对应的内容的显示信息的步骤；

输出所生成的显示信息的步骤；和

以从所述输出单元输出的所述用户的过去的关注对象的内容以及所述当前关注对象的内容为基础根据所确定的关注对象的变化来优化显示信息的显示模式的步骤。

10.一种程序，使信息处理装置执行：检测用户的行为的步骤；

根据检测到的行为来确定所述用户的当前关注对象的步骤；

顺序地生成包括与所确定的关注对象相对应的内容的显示信息的步骤；

输出所生成的显示信息的步骤；和

以从所述输出单元输出的所述用户的过去的关注对象的内容以及所述当前关注对象的内容为基础根据所确定的关注对象的变化来优化显示信息的显示模式的步骤。

说明书

显示控制装置、方法及程序

技术领域

[0001] 本技术涉及一种信息处理装置、方法及程序。

背景技术

[0002] 专利文献1公开了一种包括相机的投影仪。例如，专利文献1(段落0096)描述了用户在投影图像的桌子上执行手势并通过识别手势来执行输入。另一方面，专利文献2(段落0048至段落0064)描述了一种关于虚拟声像定位的技术。

[0003] 引文列表

[0004] 专利文献

[0005] 专利文献1：日本专利申请特许公开号2013-257686

[0006] 专利文献2：2011-188287

发明内容

[0007] 技术问题

[0008] 诸如个人计算机(下文中可以由PC表示)和智能手机的信息设备通常包括为显示信息而优化的显示装置(例如，液晶屏等)。然而，近年来，可以设想，诸如例如并不旨在显示信息的桌子(见专利文献1)和墙壁的平坦表面或空间被用作信息的显示表面。

[0009] 以此方式，若不优化向用户可视地发送信息的物理界面，则存在的问题是，通过返回到所呈现的点，很难高效地获得在某个过去点中呈现的信息。

[0010] 本技术鉴于上述情况而提出，且本技术的目的在于提供一种能够高效地访问过去呈现的信息的用户界面。

[0011] 解决方案

[0012] 为达到该目的，本技术的一个方面是一种信息处理装置，该信息处理装置包括检测单元、控制单元和输出单元。

[0013] 检测单元检测用户的行为。

[0014] 控制单元根据检测到的行为来确定用户的当前关注对象并顺序地生成包括与所确定的关注对象相对应的内容的显示信息。

[0015] 输出单元输出所生成的显示信息。

[0016] 控制单元以从输出单元输出的用户的过去的关注对象的内容以及当前关注对象的内容为基础根据所确定的关注对象的变化来优化显示信息的显示模式。

[0017] 根据该信息处理装置，只有当用户采取任何动作(包括谈话、手指轻击等的行为)时，选择与其对应的关键字，并通过选择过去呈现的多条信息中的一条信息来生成优化的显示屏幕。因此，提供了一种能够高效地访问过去呈现的信息的用户界面。

[0018] 在以用户的行为为基础确定过去从输出单元输出的内容为当前关注对象的情况下，控制单元可包括在显示信息中确定为当前关注对象的过去输出的内容并优化显示信息的显示模式。

[0019] 在这种情况下，若用户的行为指向过去输出的内容(例如，诸如“不久前”的谈话)，则以检测到的用户的行为为依据的内容可以被用户提取作为关于主题中心的信息。

[0020] 输出单元可生成显示信息，使得与过去从输出单元输出的内容相对应的每个显示元素通过用线连接以输出顺序输出。

[0021] 通过用线连接过去输出的多个内容项之间的前后关系，可以以可见形式显示。

[0022] 控制单元可通过缩小确定为当前关注对象的过去输出的内容来优化显示信息的显示模式。

[0023] 通过缩小用户的当前关注对象，进一步优化呈现变得可行。

[0024] 控制单元可生成显示信息，使得与确定为当前关注对象的过去输出的内容相对应的显示元素被布置在用户的视线的中心。

[0025] 在这种情况下，可以顺序地优化GUI中的显示元素的布局。

[0026] 控制单元可将与属于被确定为当前关注对象的、过去输出的内容所共有的层的内容与被确定为当前关注对象的、过去输出的内容一起包含在显示信息中。

[0027] 可以进一步优化GUI中的显示元素的布局。

[0028] 控制单元可通过视觉效果和/或公用框体来生成示出多个内容项属于共用层的显示信息。

[0029] 可以进一步优化GUI中的显示元素的布局。

[0030] 检测单元可输入用户的语音。此外，在这种情况下，控制单元可通过分析从检测单元输入的用户的语音来确定当前关注对象。

[0031] 通过提供诸如用户谈话(或用户之间的谈话)的自然输入方法，可以提供有效的用户界面，而不会给用户带来负担。

[0032] 为达到该目的，本技术的其他方面是一种信息处理方法，包括：

[0033] 检测用户的行为的步骤；

[0034] 根据检测到的行为来确定用户的当前关注对象的步骤；

[0035] 顺序地生成包括与所确定的关注对象相对应的内容的显示信息的步骤；

[0036] 输出所生成的显示信息的步骤；

[0037] 以从输出单元输出的用户的过去的关注对象的内容以及当前关注对象的内容为基础根据所确定的关注对象的变化来优化显示信息的显示模式的步骤。

[0038] 而且，通过该信息处理方法，提供了与信息处理装置类似的效果。

[0039] 为达到该目的，本技术的其他方面是一种程序，使信息处理装置执行：

[0040] 检测用户的行为的步骤；

[0041] 根据检测到的行为来确定用户的当前关注对象的步骤；

[0042] 顺序地生成包括与所确定的关注对象相对应的内容的显示信息的步骤；

[0043] 输出所生成的显示信息的步骤；

[0044] 以从输出单元输出的用户的过去的关注对象的内容以及当前关注对象的内容为基础根据所确定的关注对象的变化来优化显示信息的显示模式的步骤。

[0045] 而且，通过该信息处理方法，提供了与信息处理装置类似的效果。

[0046] 本发明的有益效果如下：

[0047] 如上所述，根据本技术，可以提供一种能够高效地访问过去呈现的信息的用户界面。

[0048] 应当注意，这里描述的效果不一定是限制性的，且可以是本公开中描述的任何效果。

附图说明

[0049] 图1是示出根据实施例的信息处理装置的硬件构成示例的图；

[0050] 图2是示出根据该实施例的信息处理装置的外观构成示例1的视图；

[0051] 图3是示出根据该实施例的信息处理装置的硬件构成示例2的视图；

[0052] 图4是示出根据该实施例的信息处理装置的硬件构成示例2的视图；

[0053] 图5是示出根据该实施例的信息处理装置的硬件构成示例3的视图；

[0054] 图6是示出根据该实施例的信息处理装置的硬件构成示例3的视图；

[0055] 图7是示出根据该实施例的信息处理装置的软件构成示例的图；

[0056] 图8示出根据该实施例的信息处理装置的GUI组件；

[0057] 图9是示出根据该实施例的信息处理装置的GUI的构成的视图；

[0058] 图10是示出根据该实施例的信息处理装置的基本处理的流程图；

[0059] 图11是根据该实施例的信息处理装置的基本处理中的GUI的示例；

[0060] 图12是根据该实施例的信息处理装置的基本处理中的GUI的示例；

[0061] 图13是根据该实施例的信息处理装置的基本处理中的GUI的示例；

[0062] 图14是示出图10的ST15中的显示屏幕的优化处理的流程图；

[0063] 图15是关于根据该实施例的信息处理装置的显示屏幕的优化处理的视图；

[0064] 图16是关于根据该实施例的信息处理装置的显示屏幕的优化处理的视图；

[0065] 图17是关于根据该实施例的信息处理装置的显示屏幕的优化处理的视图；

[0066] 图18是关于根据该实施例的信息处理装置的显示屏幕的优化处理的视图；

[0067] 图19是关于根据该实施例的信息处理装置的显示屏幕的优化处理的视图；

[0068] 图20是关于根据该实施例的信息处理装置的显示屏幕的优化处理的视图；

[0069] 图21是示出在该实施例中过去呈现的信息的数据结构的视图；

[0070] 图22是示出在图10的ST14中提取过去信息的处理的过程的流程图；

[0071] 图23是在该实施例中的信息的概念图；

[0072] 图24是在该实施例中的信息的概念图；

[0073] 图25是在该实施例中的信息的概念图；

[0074] 图26是通过该实施例呈现的用户界面的转换示例的图；

[0075] 图27是通过该实施例呈现的用户界面的转换示例的图；

[0076] 图28是通过该实施例呈现的用户界面的转换示例的图；

[0077] 图29是通过该实施例呈现的用户界面的转换示例的图；

[0078] 图30是通过该实施例呈现的用户界面的转换示例的图；

[0079] 图31示出作为该实施例的又一个不同的变形例的信息处理装置1的硬件构成示例及其使用场景的视图。

具体实施方式

[0080] 下文中，将参照附图对本公开的实施例进行描述。

[0081] 将按以下顺序对本技术的实施例进行描述。

[0082] ·信息处理装置的硬件构成

[0083] ·信息处理装置的软件构成

[0084] ·关于GUI组件的描述

[0085] ·关于GUI和基本处理的描述

[0086] ·关于当前关注对象的内容的描述

[0087] ·显示屏幕的优化

[0088] ·关于控制信息的方法的描述

[0089] ·当访问过去呈现的信息时的处理执行及GUI移动

[0090] ·通过具有共用关键字的信息的分层

[0091] ·示例场景

[0092] ·变形例

[0093] (1-1.信息处理装置的硬件构成)

[0094] 图1示出根据本实施例的信息处理装置的硬件构成示例。

[0095] 类似于多功能计算机，所示信息处理装置1的硬件可以构成处理控制单元，中央处理单元(CPU)11、只读存储器(ROM)12和随机存取存储器(RAM)13经由总线14连接到处理控制单元。CPU 11还具有顺序地生成显示信息的功能(例如，整个投影屏幕)。

[0096] 由连接到总线14的各种硬件构成的处理控制单元还经由总线14连接到能够彼此进行信息通信的图像传感器15、麦克风16、投影仪17、扬声器18和通信单元19。

[0097] 图像传感器15具有成像功能，麦克风16具有语音输入功能。图像传感器15和麦克风16构成检测单元20。除了用户的行为之外，图像传感器15还感测环境(障碍物、桌上颜色)等。检测单元20检测用户的行为。

[0098] 投影仪17具有投影显示图像的功能，扬声器18具有语音输出功能。投影仪17和扬声器18构成输出单元21。

[0099] 通信单元19是与外部装置进行通信的输入-输出接口。可以认为，通信单元19属于检测单元20和输出单元21两者。

[0100] 图2示出根据本实施例的信息处理装置1的外观构成示例。在所示的示例中，信息处理装置1包括在圆柱形壳体内作为一个封装的图像传感器15、麦克风16、投影仪17、扬声器18等全部。

[0101] 图2中，信息处理装置1悬挂在天花板上并相对于桌子200布置成能够投影显示屏幕。在本实施例中，桌子200的上表面被定义为显示表面201。

[0102] 图3和图4示出与图2不同的信息处理装置1的硬件构成示例。在所示的示例中，信息处理装置1的图像传感器15、麦克风16、投影仪17和扬声器18被分成物理上不同的装置。

[0103] 图3中，投影仪17在显示表面201上投影GUI。当用户看到GUI时，用户指点或轻击所显示的显示元素、谈话等。由图像传感器15和麦克风16感测诸如用户的视线、手运动和谈话的行为。对从检测单元20输入的用户的行为的响应由通过投影仪17显示的GUI和从扬声器18输出的语音执行。

[0104] 显示输出和语音输出可以部分地由外部装置执行。图4示出用户持有并操作自己的智能设备22的使用场景。在输出第三方不应看到的信息(密码输入、支付执行等)的情况下，信息处理装置1将输出目的地改变为私有智能设备22。

[0105] 如图3和图4所示，在投影图像的显示表面201上存在真实对象的情况下，信息处理装置1控制使得由投影仪17投影的GUI在未布置真实对象(不包括诸如桌子和墙壁的平坦表面的对象)的开放空间上展开以免与真实对象重叠。如图所示，由图像传感器15识别真实对象(诸如苹果、咖啡杯和杂志的对象，诸如桌子和墙壁的平坦表面)。而且，图像传感器15识别开放空间(诸如桌子和墙壁的平坦表面空白区域)。

[0106] 图5和图6示出信息处理装置1的另一个不同的硬件构成示例及使用场景示例。图5和图6中的人(用户)穿戴颈带(颈托)型信息处理装置1。用户在墙壁上操作由信息处理装置1投影的GUI。墙壁不是显示装置，且也不假设在其上显示GUI。

[0107] 在本实施例中的硬件构成为如图5和图6所示的集成颈带型的情况下，诸如并不旨在显示GUI的窗户或墙壁的平坦表面可被用作界面，用户通过该界面操作信息处理装置并执行输入和输出。

[0108] 请注意，如图5和图6所示，类似于放置在桌子上的咖啡杯、杂志等，若立式显示表面201(例如，墙壁)包括中空(例如，窗户)，则确定中空不适合作为投影GUI的空间。GUI被投影在除中空之外的位置上。中空等的识别由图像传感器15执行，配置投影图像的控制由CPU 11执行。

[0109] (1-2.信息处理装置的软件构成)

[0110] 接着，将对信息处理装置1的软件构成进行描述。图7示出信息处理装置1的软件构成的示例。

[0111] ROM 12存储图像处理SW11、语音识别SW12、自然语言分析SW13、交互式UI内核SW14、图形用户界面SW15以及声像定位和语音输出SW16，如图7所示。CPU 11读出它们，在RAM 13中展开它们，并加载它们。因此，提供本实施例中的功能并执行处理，如下所述。

[0112] 图像处理SW11提供根据图像传感器15的捕获图像来弄清用户的视线的中心、弄清在显示表面201上不包括障碍物的区域或弄清用户指向的位置的功能。

[0113] 语音识别SW12是识别由麦克风16收集到的用户的语音的软件。自然语言分析SW13是将识别出的语音分析为自然语言并将其转换为可由信息处理装置1处理的文本数据、字符串数据等的软件。

[0114] 交互式UI内核14提供组成代理商的功能，该代理商整合用户的谈话及其他周边信息并向用户呈现信息以进行用户交互。下文中，这种代理商被称为“用户代理商”。

[0115] 图形用户界面SW15提供有效地、用户友好地和可视地呈现来自用户代理商的信息的功能。图形用户界面SW15通过由CPU 11生成显示屏幕以及由投影仪17投影显示屏幕的处理来执行输出。请注意，由图形用户界面SW15提供的图形用户界面在下文中被简称为“GUI”。

[0116] 声像定位和语音输出SW16提供将用户代理商的输出从扬声器18输出为声音的功能。声像定位和语音输出SW16执行声像定位，使得语音从GUI中表示用户代理商的显示元素输出且用户可以感测到它。具体地，例如，在专利文献2中描述了本技术。

[0117] 包括图7所示作为中心内核的交互式UI内核SW14的软件组通过使用图1所示的硬件资源来执行预定信息处理。因此，提供本实施例中的功能并执行处理，如下所述。

[0118] 请注意，上述软件构成仅仅是一个示例，且交互式UI内核SW14和图形用户界面SW15可被配置为集成软件。而且，软件的一部分可以作为SaaS从外部云端提供。

[0119] (1-3.关于GUI组件的描述)

[0120] 接着，关于图8，将对在由投影仪17投影的GUI中使用的GUI组件进行描述。

[0121] 图8示出由信息处理装置1提供的GUI组件。如图所示，所提供的GUI组件包括作为“基本对象”的代理商图标、节点、路径、数据(文档)、数据(索引)(图8(a)、图8(b)和图8(c))并包括作为“变量值调整对象”的V式控制器和表盘式控制器(图8(d))。

[0122] 参照图8(b)。由点表示的“节点”出现在所有GUI组件上并向用户示出存在信息单元。“路径”是连接两个“节点”的线并示出指向“节点”的多条信息相关联。

[0123] 参照图8(a)。“代理商图标”表示为多个不定闭合曲线不规则地或有规律地旋转的图标。代理商图标成为由信息处理装置1提供的GUI的起始点。请注意，围绕在代理商图标中心的节点的多个不定闭合曲线在输入或输出信息的同时与围绕节点旋转的动画一起表示为中心。

[0124] 参照图8(c)。作为基本对象的“数据(文档)”和“数据(索引)”是向用户示出的数据显示框体。在这方面，两者是相同的，但文档呈现主要包括字符的数据，索引呈现图标化的照片和图像。

[0125] 参照图8(d)。“V式控制器”是若用户左右移动指示条则调整量的GUI组件。“表盘式控制器”是若用户左右转动表盘则调整量的GUI组件。

[0126] 如上所述，本实施例中的GUI具有呈现给用户的各种类型的信息并根据类型由不同GUI组件呈现。使用户知道类型的差异。

[0127] (1-4.关于GUI和基本处理的描述)

[0128] 在上述GUI组件中，各个节点如图9所示通过路径连接并以菊花链扩展。请注意，除特定情况外，未示出图9所示的全部。图9还示出真实对象(诸如苹果、咖啡杯和杂志的对象)放置在显示表面201上的情况。如图9所示，GUI(示出用户操作的历史，如后所述)在开放空间中展开以避开真实对象。如图9所示，CPU 11可以根据空白区域的大小或形状来调整GUI组件或GUI组件中使用的显示框体和字符字体。

[0129] CPU 11还可以调整表示用户操作的历史的GUI的颜色。例如，根据由图像传感器15成像的显示表面201的颜色来调整显示颜色。在这种情况下，若黑色桌子是背景且背景颜色是黑色，则以白色框体和白色字符执行显示。除此之外，例如，根据由图像传感器15成像的真实对象来调整显示颜色。在这种情况下，若识别出红色苹果，则避免用接近红色和绿色的颜色来显示GUI。

[0130] 在图像传感器15捕获在显示GUI的同时移动真实对象的情况下，CPU 11根据移动的真实对象再次调整每个GUI组件的布置。

[0131] CPU 11根据图像传感器15的捕获图像来识别或估计用户的眼睛的位置。例如，若仅对手进行成像，则从手的位置估计出脸的位置。然后，CPU 11调整GUI组件的布置以免布置识别出或估计出的用户的眼睛的位置和待显示GUI之间的真实对象。例如，在诸如花瓶的高对象的情况下，在花瓶的前面显示GUI。

[0132] 将参照图10至图13对生成图9所示的GUI作为完整图片的基本处理进行描述。图10是示出本实施例中的基本处理的过程的流程图。图11至图13是根据本实施例的信息处理装置1的基本处理中的GUI的示例。

[0133] 首先，CPU 11显示代理商图标(ST11)。代理商图标(图8(a))是GUI的起始点。而且，执行声像定位，使得从代理商图标可以听到从交互式用户界面输出的语音。显示代理商图标的GUI如图11所示。

[0134] 接着，由检测单元20检测用户就CPU 11而论的行为(ST12)。这里提到的用户的行为包括用户的谈话和动作。可能有多个用户。图11示出用户说“Get####”。信息处理装置1包括关于预先登记的每个用户的脸、声纹等的信息并可以检测每个用户的行为。信息处理装置1可以通过用户的座椅位置来确定用户。

[0135] 接着，CPU 11根据用户的行为来选择关键字(ST13)。例如，根据谈话中包括的词来确定关键字。

[0136] 接着，CPU 11根据选定的关键字来搜索新的信息或提取过去的信息(ST14)。CPU 11判定选择根据关键字来搜索新的信息或提取过去的信息。

[0137] 下面将对关于ST13和ST14的细节进行描述。这里，选择搜索新的信息。在这种情况下，例如，它从图11转换到图12。请注意，图9，图11至图13不是示出优化的显示屏幕而是示出概念上的显示屏幕。

[0138] 当输出如图12的屏幕时，CPU 11生成根据搜索到的信息/提取到的信息而优化的显示屏幕(ST15)。CPU 11可以同时生成输出语音。接着，CPU 11将所生成的显示屏幕与语音一起输出(ST16)。作为处理的结果，从投影仪17输出如图12的显示屏幕。

[0139] ST12至ST16是用户界面就用户输入而论返回响应的流程。若用户还说(例如，Search####)，则再次重复ST12至ST16，并输出如图13的显示屏幕。

[0140] 参照图3、图9以及图11至图13，将再次对信息处理装置1的基本处理的概况进行描述。

[0141] 如图3所示，由本实施例提供的交互式用户界面由用户说出的语音语言(从麦克风16输入)、来自系统与此相关的语音语言反应(从扬声器18输出)、由投影仪17投影在诸如桌子和墙壁表面的公共空间上的图像、关于用户的视线的位置的信息(由图像传感器15输入)以及关于用户的手指操作的信息(由图像传感器15输入)之间的相互关系组成。请注意，投影仪17不投影由CPU 11收集到的信息和所生成的信息(例如，图9所示的信息)中的全部。

[0142] 通过来自用户的开始命令，显示与用户代理商的图标相对应的代理商图标并在一系列交互时间内继续保持在共用显示表面上(图11)。根据用户的请求，以仅语音、仅字符或语音和字符的每个格式发送代理商的回复。在交互完成且用户发出结束命令之后，代理商图标消失。

[0143] 在显示代理商图标的统计信息中，当用户发出特定请求时，路径从代理商图标的中心延伸，并从作为起始点位于端部的节点显示主答复信息(图12，图13)。该路径被称为主线或过程线。

[0144] 若从主答复信息项呈现导出项，则其他路径或多个其他路径从与主答复信息相同的节点延伸，并从作为起始点位于端部的节点显示导出项。这些路径被称为分支线或相关线。分支线或相关线如图12和图13所示。

[0145] (1-5.关于当前关注对象的内容的描述)

[0146] 如图12和图13所示，在由根据本实施例的信息处理装置1提供的GUI中，CPU 11保存从用户界面直接返回的关于用户输入的响应信息(主答复信息)以及所生成的与上述信息有关或从上述信息导出的信息，且输出单元21输出它。

[0147] 从用户界面直接返回的响应信息(主答复信息)被称为“当前关注对象的内容”(见图12和图13)。通过用分支线或相关线连接来显示相关信息和导出信息。然而，远离聚焦的“当前关注对象的内容”的信息与诸如渐隐、图标化和尺寸缩小的视觉效果一起显示，如图13所示。可替换地，省略显示。

[0148] (1-6.显示屏幕的优化)

[0149] 接着，在ST14中，将参照图14至图18对由CPU 11执行的显示屏幕的优化处理进行描述。图14是示出优化处理的过程的流程图。图15至图18是示出优化处理的效果的屏幕示例。

[0150] 图14所示的显示屏幕的优化处理在基本处理的流程的ST15中执行。因此，根据用户的行为等的输入顺序地执行显示屏幕的优化处理。

[0151] CPU 11确定是否移动焦点(ST151)。若是，则CPU 11将“当前关注对象的内容”集中在用户的视线的中心(ST152)。这里，用户的视线的中心是根据由图像传感器15输入的信息确定为用户的视线的中心的点。

[0152] 图15示出用户的视线的中心的示例。在所示的示例中，数据(文档)聚焦并布置在用户的视线的中心。CPU 11确定每个GUI组件的布置并生成显示屏幕。

[0153] 请注意，与未聚焦信息组相对应的GUI组件保持用路径连接并逐渐移动和制作成动画片。

[0154] 图16示出从图15的状态改变“当前关注对象的内容”(即，移动焦点)的显示示例。如图所示，在搜索或调用新的信息的情况下，新信息布置在用户的视线的中心。用主线或过程线连接的过去呈现的信息移动到显示表面201上的开放空间，即，开放区域(图14，ST153)。

[0155] 接着，CPU 11使远离“当前关注对象的内容”的信息不显眼(ST154)。例如，远离“当前关注对象的内容”的信息被定义为经由两个或更多个节点连接的信息。

[0156] 图13示出ST144的示例。通过渐隐不显眼地显示除了“当前关注对象的内容”外两个节点并用分支线或相关线连接的每条信息。请注意，不显眼的显示的模式包括诸如渐隐、透明和尺寸缩小的视觉效果，且还包括隐藏。

[0157] 参照图17，图17示出用户的手伸向“当前关注对象的内容”。因此，若改变用户的行为，则图像传感器15检测并将其输入到CPU 11。因为该行为对应于新的信息处理装置1(用户界面)的输入，所以重复图10和图14所示的基本处理。

[0158] 在这种情况下，“当前关注对象的内容”移动位置，以免通过用户的手指难以看到指示符(图18)。即使在聚焦信息本身未改变的情况下也是如此，但是在聚焦内容从显示内容改变为操作方式的情况下，CPU 11改变聚焦信息的位置并优化显示屏幕。因此，始终引导用户驾驶室的眼睛。

[0159] 接着，参照图19和图20，将对显示屏幕的优化的另一个太阳进行描述。

[0160] 图19示出当显示聚焦信息时显示表盘式控制器的显示屏幕示例。此外，图19示出用户的手指伸出来去操作它。

[0161] 在这种情况下，若CPU 11对从图像传感器15输入的捕获图像进行分析并检测到用户的手覆盖GUI组件的一部分，则GUI组件的一部分或全部变形。

[0162] 图20示出包括变形的GUI组件的显示屏幕示例。在所示的示例中，表盘式控制器的操纵杆可以延长并覆盖手指，从而控制控制器。因此，本实施例中的CPU 11执行显示屏幕的优化以增强可用性。

[0163] (1-7.控制信息的方法)

[0164] 接着，将通过使用图21的概念图对控制过去由CPU 11呈现(由图8中的GUI组件示出)的信息的方法进行描述。图21以简化方式示出过去呈现的信息的数据结构。所示的整个数据(信息I)存储在RAM 13中。

[0165] 图21所示的每条信息I(x)只是外部搜索引擎、照片数据库、信息处理装置1的存储器等的搜索结果的指针(请注意，x是节点ID)。

[0166] 信息I(x)保存节点ID以及所连接的其他节点的节点ID。此外，在过去搜索外部搜索引擎、照片数据库、信息处理装置1的存储器的情况下，信息I(x)可以保存搜索结果。可能存在搜索结果的一部分。

[0167] 信息I(x)还保存相应GUI组件的信息。例如，在信息I(x)是因特网上的外部搜索引擎的搜索结果的指针的情况下，信息I(x)对应于“文档”并保存使用图8所示的“数据(文档)”的GUI组件的信息。

[0168] 信息I(x)根据需要保存图标。例如，在信息I(x)是照片存储器的搜索结果的指针的情况下，信息I(x)保存从一些搜索结果中拾取并由CPU 11以低分辨率图标化的信息。

[0169] 因为CPU 11以图21所示的数据结构管理信息I，所以可以根据连接节点所需的信息以及包括对应信息的关于显示元素(GUI组件)的信息来配置如图9所示由点和线连接的GUI。

[0170] 信息I(x)保存用于标注信息的关键字。可能存在多个关键字。关键字的示例是当呈现搜索结果时使用的搜索关键字。特定地点和特定事物(例如，“食物”等)被设置为由CPU 11自动设置的关键字。例如，在图10的ST13中，由CPU 11选定的关键字被设置为用于标注信息I(x)的关键字。

[0171] 因此，CPU 11可以通过使用用于标注信息I(x)的关键字来调用信息I(x)。实际上，下文将参照图22对由用户通过使用关键字来提取关于主题中心的信息(即，聚焦信息)的处理进行描述。

[0172] (1-8.当访问过去呈现的信息时的处理执行及GUI移动)

[0173] 图22是示出图10的ST14中的“提取过去信息”的处理的过程的流程图。

[0174] 如图22所示，CPU 11试图根据(图10的ST12中)输入的用户的行为来确定当前关注对象是否为过去输出的内容(ST141)。这是通过确定谈话是否包括在时间上指向过去(诸如例如“不久前”和“之前”)的词来完成。除此之外，若是由用户的手指点击呈现信息的输入操作，则可以解释当前关注对象的内容为过去输出的内容。

[0175] 在ST141中确定过去未输出当前关注对象的情况下(ST142，否)，CPU 11解释用户的行为指定新信息搜索并执行新信息搜索的处理(ST147)。

[0176] 作为新信息搜索的处理，根据ST13中提取到的关键字来搜索网站或其他数据库(包括记录用户的健康状况的照片存储器和生活日志)。

[0177] 在ST141中确定过去输出当前关注对象的情况下(ST142，是)，CPU 11根据ST13中提取到的关键字和用户的行为从过去呈现的多条信息I(x)中搜索与当前关注对象的内容相对应的内容(ST143)。在本实施例中，“过去呈现的多条信息I(x)”的示例是整个信息I，即，在ST143中将搜索已经呈现的所有信息。

[0178] 然后，CPU 11提取在ST143中搜索到的信息I(x)(ST44)。CPU 11在提取到的信息I(x)上移动焦点(ST146)。然而，在本实施例中，预先执行缩小指向信息I(x)的待搜索对象的处理(ST145)。

[0179] 如参照图21所述，信息I(x)本身是包括一个或多个标注关键字的搜索结果的指针。例如，在信息I(x)是网站的搜索的情况下，也可想而知，搜索结果达到一百万。因为要呈现给用户的信息太多，所以在某种程度上执行缩小。

[0180] 请注意，在信息I(x)是网站的搜索的情况下，标注关键字可以是作为搜索查询输入到搜索引擎的关键字。

[0181] 作为ST145中的缩小的特定模式，在本实施例中，在它从某个信息A返回到其他呈现信息B的情况下，它使用通过使用用于标注信息的关键字来缩小的方法，直到信息A和信息B。

[0182] 如上所述，通过沿图22执行处理，提供了易于访问呈现信息的用户界面。此外，当CPU 11将焦点返回到呈现信息时，执行缩小。以此方式，信息得到优化。

[0183] (1-9.通过具有共用关键字的信息的分层)

[0184] 如图21所示，CPU 11用标注关键字来管理信息I(x)。标注关键字可以是当图22的ST147中的新信息搜索时作为搜索查询输入到搜索引擎的搜索关键字。

[0185] 此外，CPU 11可以使用广义化和抽象化为标注关键字的搜索关键字。例如，在向用户代理商咨询旅行中的午餐的背景下，当有诸如“荞麦面”和“乌冬面”的谈话时，通过对荞麦面广义化的词“食物”被设置为用于标注信息I(荞麦面)以及“荞麦面”的关键字。

[0186] 类似地，“乌冬面”和“食物”被设置为用于标注信息I(乌冬面)的关键字。因此，CPU 11变得能够通过关键字“食物”来提取多条信息I(x)。通过相同关键字提取到的多条信息的簇在本实施例中被称为“层”。根据本实施例的信息处理装置1使用特别是通过广义化关键字提取到的信息的层。

[0187] 将参照图23至图25中的层的概念图对其进行描述。信息处理装置1根据用户的行为生成显示屏幕，如图23所示。首先，呈现用户代理商图标UAI。当用户与其交谈时，例如，呈现信息I(1)。在该状态下，当用户进一步与其交谈时，例如，呈现信息I(11)。

[0188] 在本实施例中，当CPU 11优化和显示信息I(1)时，CPU 11还在后台搜索并保存与信息I(1)有关的信息，诸如信息I(12)和信息I(13)。图24的概念图示出在优化和显示信息I(11)的同时，保存信息I(12)和信息I(13)。图25的概念图示出在优化和显示信息I(11)的同时，保存信息I(12)、信息I(13)、信息I(14)和信息I(15)。

[0189] 当CPU 11在ST147中搜索新信息时，CPU 11将信息I(x)存储到RAM 13等作为搜索到的信息的指针进行管理。在该管理中，使用标签。CPU 11管理具有共用标注关键字的多条信息I能够布置在同一层中。

[0190] 在图24和图25中，CPU 11管理用户代理商图标UAI、信息I(1)和信息I(11)属于同一层L1。CPU 11管理信息I(12)和信息I(13)属于同一层L2。CPU11管理信息I(14)和信息I(15)属于同一层L3。

[0191] 在本实施例中，通过路径从用户代理商图标UAI连接到聚焦信息的多条信息被管理为属于“主层”，但是不限于此。例如，当信息I(11)聚焦在图25中时，用户代理商图标UAI、信息I(1)和信息I(11)属于主层。

[0192] 另一方面，除此之外的信息被管理为属于子层。此外，移动焦点，替换属于主层的信息组。

[0193] 此外，在本实施例中，通过呈现属于具有共用视觉效果的同一层的多条信息或通过用公用框体围绕来呈现它们，生成优化的显示屏幕。视觉效果包括例如颜色、透射率、粗体等。例如，公用框体的示例包括图23至图25所示的公用框体。请注意，可以同时应用视觉效果和公用框体。

[0194] 利用上述配置，用户变得容易意识到跨层的焦点移动，且当它返回到过去信息等时变得容易察觉到信息。换言之，改善了易用性。

[0195] 此外，层L2和层L3中呈现的信息在图25中被称为导出项。在本实施例中，保存导出项并远离第二层和第三层隐藏在深度方向上，或根据相关性与深度成比例地半透明地显示导出项。

[0196] 因此，各层之间的显示强度差异允许用户思考清楚。请注意，通过在难以辨认的状态下有意地显示第三层和第二层，只允许用户可以识别存在。

[0197] 此外，在本实施例中，关于从外部等获取并呈现的信息或与其对应的显示元素(GUI元素)，动态地且顺序地改变显示位置和布局，以免不断地阻挡采用用户的视线和手指位置之间的关系的视图。顺序地执行显示屏幕的优化。

[0198] (2.示例场景)

[0199] 图26至图30示出由信息处理装置1呈现的用户界面的转换示例。下文中，将以举例方式对由信息处理装置1提供的用户代理商进行描述。

[0200] 在该示例中，信息处理装置1选择出现在用户的谈话中用于标注关键字的名词。此外，信息处理装置1将声调或谈话的内容解释为对用户代理商的命令。此外，信息处理装置1将包括诸如“想要看”、“想要去”和“对...好奇”的正项的词保存为用户对代理商的思考信息。

[0201] 示例情况如下：用户A和用户B的两个人在桌子上聊天，且代理商也被激活。在这种情况下，包括由信息处理装置1提供的代理商的两个用户谈话如下：(图26)[0202] ·用户A说：(在杂志上看照片)它说的是“神话中的恶魔岛”。你知道，“神话中的恶魔岛”确实存在。

[0203] ·用户B说：我听说过。它究竟在哪里？

[0204] 这里，诸如“神话中的恶魔岛”和“哪里”的词被提取为关键字。

[0205] CPU 11根据声调和谈话内容将这里用户B的谈话识别为对用户代理商的命令。

[0206] ·代理商回应：显示关于“神话中的恶魔岛”的信息。

[0207] ·在桌子上：显示“神话中的恶魔岛”的地图以及相关照片组(图27)。

[0208] ·用户A说：太远了。如何从东京到达那里？

[0209] ·代理商回应：显示访问信息。

[0210] ·在桌子上：显示从当前位置到“神话中的恶魔岛”的访问信息(图28)。

[0211] ·用户A说：转机单程5小时。不能在正常的周末去。

[0212] ·用户B说：最好暑假去。你八月有假期吗？

[0213] ·代理商回应：您8月11日至15日有假期。

[0214] ·在桌子上：显示八月日历(图29)。

[0215] ·用户B说：岛上三天，不错。考虑一下。

[0216] ·用户A说：它还有很长的路要走。想在岛上吃点好吃的东西。

[0217] ·用户B说：不久前信息中有食物照片？

[0218] ·代理商回应：显示不久前“神话中的恶魔岛”的相关照片组。

[0219] ·在桌子上：再次显示“神话中的恶魔岛”的相关照片组。这一次，它缩小为“食物”(图30)。

[0220] 这里，信息处理装置1根据“照片”的关键字和“不久前”的时间条件来识别出用户的谈话中存在“不久前”的时间条件并提取图27所示的相关照片组。此外，信息处理装置1通过缩小通过“食物”关键字提取到的相关照片组来优化呈现信息并配置显示屏幕(图30)。

[0221] (3.变形例)

[0222] 可以获得上述实施例的各种修改和更改。例如，可以改变信息处理装置1的输出单元21的输出目的地的一部分。例如，如图4所示，在需要诸如货币结算处理的个人信息处理的操作步骤中，只有与操作有关的元素暂时地显示在诸如用户拥有的智能手机的私有智能设备22的私有显示表面上以鼓励用户操作，在操作步骤完成之后，显示位置返回到原始共用显示表面，添加个人信息处理历史，并继续后续操作。

[0223] 换言之，在诸如货币结算处理和个人信息输入的高度机密的操作步骤中，操作屏幕被暂时地发送到注册过的个人终端屏幕以鼓励操作，在操作完成之后，其历史显示在原始共用显示表面上。

[0224] 利用这种配置，即使在公共环境下操作也可以保护个人信息。在货币结算处理、个人信息输入等的操作时，它暂时地移到个人终端屏幕以使操作继续。因此，公共显示表面和私有显示表面组合使用，从而确保机密性。

[0225] 在上述实施例中，显示表面201被设置为桌子或墙壁。然而，为了说明本公开的精神不限于此，下文中，应用本公开的精神的实施例由汽车内部示出。

[0226] 图31示出作为实施例的又一个不同的变形例的信息处理装置1的硬件构成示例及其使用场景。图31中，通过考虑汽车内部的安全性，为副驾驶员的座椅上的用户显示GUI。换言之，GUI是与副驾驶员的座椅上的用户相对应的用户代理商的GUI。

[0227] 图31中，GUI的显示表面201是具有曲率的汽车的挡风玻璃。投影仪17可以投影显示信息的区域被称为“可显示区域”。可显示区域不仅可以包括挡风玻璃而且可以包括诸如仪表板的非透明区域。

[0228] 使用场景中的特定问题的示例包括即使在阳光强烈的情况下或在通过挡风玻璃的前方风景太亮(诸如雪景时)的情况下投影GUI，能见度也差。

[0229] 然后，CPU 11根据被图像传感器15捕获到的图像将可显示区域的内部划分为“合适的显示区域”和“不合适的显示区域”。并且，只在这些区域中的“合适的显示区域”上显示GUI。

[0230] CPU 11将由于阳光刺眼、太亮的前方风景等而具有低对比度的区域确定为“不合适的显示区域”。另一方面，由于因外部建筑遮蔽而减弱的阳光、通过挡风玻璃的前方风景的足够低的亮度等而具有高对比度的区域被确定为“合适的显示区域”。

[0231] 请注意，“可显示区域”不仅可以是挡风玻璃，而且可以是在副驾驶员的座椅前面的仪表板。只要没有诸如阳光刺眼的妨碍情况，CPU 11就将在副驾驶员的座椅前面的仪表板确定为“合适的显示区域”。

[0232] 显示表面201的亮度和色彩的感测由图像传感器15执行，其不限于此。专用传感器可以布置在车辆的内部或外部。与作为车辆的内部相机的图像传感器15还用作阳光传感器的配置相比，添加专用阳光传感器的配置可以进一步提高确定亮度和色彩的准确度。

[0233] 在该变形例中，可以如下控制GUI的布置：图像传感器15感测副驾驶员的座椅中的人脸的位置。CPU 11根据副驾驶员的座椅中的人脸的位置来将GUI的显示位置(主要是高度)调整到副驾驶员的座椅中的人的眼睛的高度。

[0234] 此外，通过使用车辆的内部相机或外部相机(诸如图像传感器15和阳光传感器)来感测背景相对不变的区域。在该区域内，根据能见度从坐在副驾驶员的座椅上的用户的视线的位置指定的“可显示区域”中的区域可被CPU 11确定为“合适的显示区域”。

[0235] (4.结论)

[0236] 在上述实施例和示例中，不是按时间序列顺序地保存搜索结果，而是通过用节点和路径连接各个搜索结果数据项并按搜索上下文(搜索分支)、信息主题等进行分类来保存具有层结构的历史。仅向用户示出在该时间内要聚焦的主题的层。通过移动节点和绘制路径的动画，用户在视觉上被吸引到当前要聚焦的点上。

[0237] 根据实施例和示例，在未针对信息搜索而优化的空间中识别当前关注搜索路径变得容易。此外，在搜索过程中返回到过去的分支点，通过与代理商的自然对话(无需使用复杂的命令和GUI)，通过改变考虑观点等从过去的分支点再次搜索变得可行。

[0238] 此外，根据实施例，因为替代地执行针对各种服务的操作过程且用户可以专注于结果的请求和确认以及利用的表达，所以单个过程可以使用多个服务。

[0239] 此外，根据实施例，因为可以从大量相关信息中始终仅关注当时最重要的信息，所以可以最大限度地减轻用户的思想负担。

[0240] 此外，根据实施例，通过3D分层筛选方法，保存用户的考虑路径。提供了一种能够在必要时始终返回到最佳分支点的界面。可以有效地帮助用户重新考虑、比较和确认。

[0241] 此外，根据实施例，通过保存和跟踪过程线，根据使用地点在用户的眼睛前面始终显示最重要的项，并动态调整布局以免在用手指输入时干扰包括GUI和手指的视图。因此，根据位置和状态来优化能见度。

[0242] <附录>

[0243] 请注意，本技术还可以具有以下结构。

[0244] (1)一种信息处理装置，包括：

[0245] 检测单元，检测用户的行为；

[0246] 控制单元，根据检测到的行为来确定所述用户的当前关注对象并顺序地生成包括与所确定的关注对象相对应的内容的显示信息；

[0247] 输出单元，输出所生成的显示信息，

[0248] 所述控制单元以过去从所述输出单元输出的所述用户的关注对象的内容以及当前关注对象的内容为基础根据所确定的关注对象的变化来优化显示信息的显示模式。

[0249] (2)根据(1)所述的信息处理装置，其中

[0250] 在根据所述用户的行为确定过去从所述输出单元输出的内容为当前关注对象的情况下，所述控制单元将被确定为当前关注对象的、过去输出的内容包括在显示信息中并优化该显示信息的显示模式。

[0251] (3)根据(2)所述的信息处理装置，其中

[0252] 所述输出单元生成所述显示信息，使得与过去从所述输出单元输出的内容相对应的每个显示元素通过用线连接以输出顺序输出。

[0253] (4)根据(2)或(3)所述的信息处理装置，其中

[0254] 所述控制单元通过缩小过去输出的确定为当前关注对象的内容来优化显示信息的显示模式。

[0255] (5)根据(2)至(4)中任一项所述的信息处理装置，其中

[0256] 所述控制单元生成所述显示信息，使得与过去输出的确定为当前关注对象的内容相对应的显示元素布置在所述用户的视线的中心。

[0257] (6)根据(2)至(5)中任一项所述的信息处理装置，其中

[0258] 所述控制单元将与属于被确定为所述当前关注对象的、过去输出的内容所共有的层的内容与被确定为所述当前关注对象的、过去输出的内容一起包含在所述显示信息中。

[0259] (7)根据(6)所述的信息处理装置，其中

[0260] 所述控制单元生成通过视觉效果和/或公用框体生成示出多个内容项属于共有层的显示信息。

[0261] (8)根据(1)至(7)中任一项所述的信息处理装置，其中

[0262] 所述检测单元输入所述用户的语音，

[0263] 所述控制单元通过分析从所述检测单元输入的所述用户的语音来确定当前关注对象。

[0264] (9)一种信息处理方法，包括：

[0265] 检测用户的行为的步骤；

[0266] 根据检测到的行为来确定所述用户的当前关注对象的步骤；

[0267] 顺序地生成包括与所确定的关注对象相对应的内容的显示信息的步骤；

[0268] 输出所生成的显示信息的步骤；和

[0269] 以从所述输出单元输出的所述用户的过去的关注对象的内容以及当前关注对象的内容为基础根据所确定的关注对象的变化来优化显示信息的显示模式的步骤。

[0270] (10)一种程序，使信息处理装置执行：

[0271] 检测用户的行为的步骤；

[0272] 根据检测到的行为来确定所述用户的当前关注对象的步骤；

[0273] 顺序地生成包括与所确定的关注对象相对应的内容的显示信息的步骤；

[0274] 输出所生成的显示信息的步骤；和

[0275] 以从所述输出单元输出的所述用户的过去的关注对象的内容以及当前关注对象的内容为基础根据所确定的关注对象的变化来优化显示信息的显示模式的步骤。

[0276] 附图标记列表

[0277] 1 信息处理装置

[0278] 11 中央处理单元

[0279] 12 只读存储器

[0280] 13 随机存取存储器

[0281] 14 总线

[0282] 15 图像传感器

[0283] 16 麦克风

[0284] 17 投影仪

[0285] 18 扬声器

[0286] 19 通信单元

[0287] 20 检测单元

[0288] 21 输出单元

[0289] 22 智能设备

[0290] 200 桌子

[0291] 201 显示表面。