信息处理装置

摘要

信息处理装置具备：姿势检测部，其识别用户的姿势；输出信息控制部，其控制向显示部的输出信息；以及装置控制部，在姿势检测部检测到用户用手遮挡一定时间的情况下，输出信息控制部在显示部上将多个选择项的候补与姿势的动作对应起来显示，在姿势检测部检测到用户的预定姿势的情况下，装置控制部视为选择了显示于显示部的选择项的候补中的、与检测到的姿势对应的候补。

权利要求

1.一种信息处理装置，其特征在于，具备：

姿势检测部，其识别用户的姿势；

输出信息控制部，其控制向显示部的输出信息；以及装置控制部，

在上述姿势检测部检测到用户用手遮挡一定时间的情况下，上述输出信息控制部将多个选择项的候补与姿势的动作对应地显示于上述显示部，在上述姿势检测部检测到用户的预定姿势的情况下，上述装置控制部视为选择了显示于上述显示部的选择项的候补中的、与检测到的姿势对应的候补；

该信息处理装置还具备：

驾驶负荷推定部，其推定用户的驾驶负荷，

在上述驾驶负荷推定部推定为超过了规定的驾驶负荷水平的情况下，上述输出信息控制部不显示基于用户的用手遮挡检测的选择项的候补。

2.根据权利要求1所述的信息处理装置，其特征在于，上述装置控制部即使在上述显示部中显示选择项的候补之前，也接受基于用户的姿势的选择项候补的选择操作。

3.根据权利要求1或2所述的信息处理装置，其特征在于，存在多个上述显示部的情况下，上述输出信息控制部使通过上述装置控制部判断为即使显示信息也不妨碍用户的驾驶行动的显示部显示从多个选择项的候补中选择出的内容。

4.根据权利要求1或2所述的信息处理装置，其特征在于，在上述姿势检测部检测到用户用手遮挡的情况下，上述装置控制部根据用户用手遮挡的姿势，变更显示于上述显示部的选择项的数量和与各选择项对应的姿势的动作。

5.根据权利要求1或2所述的信息处理装置，其特征在于，该信息处理装置具备：存储部，其存储设置有上述信息处理装置的车辆为左舵车辆还是右舵车辆，上述装置控制部根据存储于上述存储部的信息，变更显示于上述显示部的选择项的数量和与各选择项对应的姿势的动作。

6.根据权利要求1或2所述的信息处理装置，其特征在于，上述输出信息控制部，在上述显示部中显示多个选择项的候补后，上述姿势检测部检测到用户停止了用手遮挡的情况下，使上述显示部显示能够变更选择项的候补内容的意思和表示与之对应的姿势动作的显示，在上述姿势检测部检测到与上述显示部所显示的姿势动作对应的姿势的情况下，上述装置控制部变更选择项的候补内容。

7.根据权利要求1或2所述的信息处理装置，其特征在于，该信息处理装置还具备：外部接口，其取得来自在设有上述信息处理装置的车辆上设置的语音识别部的语音输入，或来自开关控制部的与开关操作相关的输入，在上述显示部显示了多个选择项的候补的情况下，上述装置控制部接受基于上述语音识别部或上述开关控制部的选择项的选择。

8.根据权利要求1或2所述的信息处理装置，其特征在于，该信息处理装置具备：检测部，其检测用户打算从多个操作方法中使用哪个操作方法来进行操作，上述装置控制部根据上述检测部检测出的操作方法来变更显示于上述显示部的选择项的选择方法。

9.根据权利要求1所述的信息处理装置，其特征在于，在上述显示部中显示了选择项的候补的情况下，上述驾驶负荷推定部推定为是规定驾驶负荷水平时，上述装置控制部从多个操作部仅接受基于特定操作部的选择操作，上述输出信息控制部控制成直到选择操作结束或经过一定时间为止持续显示选择项的候补。

10.根据权利要求1或9所述的信息处理装置，其特征在于，上述输出信息控制部使上述显示部显示当前哪个操作部的操作有效。

说明书

信息处理装置

技术领域

[0001] 本发明涉及一种信息处理装置。

背景技术

[0002] 在专利文献1中记载了如下的车载设备的操作装置：在平视显示器(HUD)上重叠地显示车载设备的操作菜单和添加到操作部中的驾驶员的手的影像，可以一边看着该影像一边进行操作，由此能够简单且快速、不妨碍驾驶地进行车载设备的选择操作。

[0003] 现有技术文献

[0004] 专利文献

[0005] 专利文献1：日本特开2010-215194

发明内容

[0006] 发明要解决的课题

[0007] 然而，在驾驶中的车载设备的操作中，专利文献1所记载的技术将与操作相关的菜单始终显示于HUD中，因此有可能妨碍驾驶操作。此外，为了进行操作，需要将用于操作的专用设备设置于车内的某个位置，成本增加，并且发生设置中的制约。并且，即使仅使用语音的接口的情况下，需要语音识别所需要的处理的处理时间、用于听取所朗读的语音的时间，操作性和便利性受损。

[0008] 用于解决课题的手段

[0009] 根据本发明的第1方式，信息处理装置具备：姿势检测部，其识别用户的姿势；输出信息控制部，其控制向显示部的输出信息；以及装置控制部，在姿势检测部检测到用户用手遮挡一定时间的情况下，输出信息控制部将多个选择项的候补与姿势的动作对应地显示于显示部，在姿势检测部检测到用户的预定姿势的情况下，装置控制部视为选择了显示于显示部的选择项的候补中的、与检测到的姿势对应的候补。

[0010] 根据本发明的第2方式，在第1方式的信息处理装置中，优选的是，装置控制部即使在显示部中显示选择项的候补之前，也接受基于用户的姿势的选择项候补的选择操作。

[0011] 根据本发明的第3方式，在第1或第2方式的信息处理装置中，优选的是，存在多个显示部的情况下，输出信息控制部使通过装置控制部判断为即使显示信息也不妨碍用户的驾驶行动的显示部显示从多个选择项的候补中选择出的内容。

[0012] 根据本发明的第4方式，在第1至第3方式中任意方式的信息处理装置中，优选的是，在姿势检测部检测到用户用手遮挡的情况下，装置控制部根据用户用手遮挡的姿势，变更显示于显示部的选择项的数量和与各选择项对应的姿势的动作。

[0013] 根据本发明的第5方式，在第1至第4方式中任意方式的信息处理装置中，优选的是，该信息处理装置还具备：存储部，其存储设置有信息处理装置的车辆为左舵车辆还是右舵车辆，装置控制部根据存储于存储部的信息，变更显示于显示部的选择项的数量和与各选择项对应的姿势的动作。

[0014] 根据本发明的第6方式，在第1至第5方式中任意方式的信息处理装置中，优选的是，输出信息控制部在显示部中显示多个选择项的候补后，姿势检测部检测到用户停止了用手遮挡的情况下，显示部显示能够变更选择项的候补内容的意思和表示与之对应的姿势动作的显示，在姿势检测部检测到与显示部所显示的姿势动作对应的姿势的情况下，装置控制部变更选择项的候补内容。

[0015] 根据本发明的第7方式，在第1至第6方式中任意方式的信息处理装置中，优选的是，该信息处理装置还具备：外部接口，其取得来自在设有信息处理装置的车辆上设置的语音识别部的语音输入，或来自开关控制部的与开关操作相关的输入，在显示部显示了多个选择项的候补的情况下，装置控制部接受基于语音识别部或开关控制部的选择项的选择。

[0016] 根据本发明的第8方式，在第1至第7方式中任意方式的信息处理装置中，优选的是，该信息处理装置具备：检测部，其检测用户打算从多个操作方法中使用哪个操作方法来进行操作，装置控制部根据检测部检测出的操作方法来变更显示于显示部的选择项的选择方法。

[0017] 根据本发明的第9方式，在第1至第8方式中任意方式的信息处理装置中，优选的是，该信息处理装置具备：驾驶负荷推定部，其推定用户的驾驶负荷，在驾驶负荷推定部推定为超过了规定的驾驶负荷水平的情况下，输出信息控制部不显示基于用户的用手遮挡检测的选择项的候补。

[0018] 根据本发明的第10方式，在第9方式的信息处理装置中，优选的是，在显示部中显示了选择项的候补的情况下，驾驶负荷推定部推定为是规定驾驶负荷水平时，装置控制部从多个操作部仅接受基于特定操作部的选择操作，输出信息控制部控制成直到选择操作结束或经过一定时间为止持续显示选择项的候补。

[0019] 根据本发明的第11方式，在第9或第10方式的信息处理装置中，优选的是，输出信息控制部使显示部显示当前哪个操作部的操作有效。

[0020] 发明效果

[0021] 通过本发明，可以提高驾驶中的驾驶员对车载设备的操作的安全性和操作性。

附图说明

[0022] 图1是本发明的第一实施方式中的车载装置的结构图。

[0023] 图2(a)是传感部的设置位置的例子。

[0024] 图2(b)是姿势检测区域的例子。

[0025] 图2(c)是姿势检测区域的例子。

[0026] 图3(a)是第一实施方式中的动作流程的例子。

[0027] 图3(b)是第一实施方式中的动作流程的例子。

[0028] 图4(a)是显示部和外部显示部的显示例。

[0029] 图4(b)是显示部和外部显示部的显示例。

[0030] 图4(c)是显示部和外部显示部的显示例。

[0031] 图4(d)是显示部和外部显示部的显示例。

[0032] 图5(a)是外部显示部的显示例。

[0033] 图5(b)是外部显示部的显示例。

[0034] 图5(c)是外部显示部的显示例。

[0035] 图5(d)是外部显示部的显示例。

[0036] 图6是显示部和外部显示部的显示例。

[0037] 图7(a)是外部显示部的显示例。

[0038] 图7(b)是外部显示部的显示例。

[0039] 图8(a)是传感部的设置例。

[0040] 图8(b)是与传感部的位置对应的动作的对应例。

[0041] 图9是传感部和用户手型的例子。

[0042] 图10(a)是用户用户遮挡的方法的例子。

[0043] 图10(b)是外部显示部的显示例。

[0044] 图11(a)是显示部的显示例。

[0045] 图11(b)是与显示内容对应的显示场所的例子。

[0046] 图11(c)是与显示内容对应的显示场所的例子。

[0047] 图12(a)是动作流程的例子。

[0048] 图12(b)是外部显示部的显示例。

[0049] 图12(c)是外部显示部的显示例。

[0050] 图12(d)是外部显示部的显示例。

[0051] 图12(e)是外部显示部的显示例。

[0052] 图12(f)是外部显示部的显示例。

[0053] 图12(g)是外部显示部的显示例。

[0054] 图13是第二实施方式中的车载装置的结构图。

[0055] 图14(a)是与驾驶负荷水平对应的控制模式的例子。

[0056] 图14(b)是与驾驶负荷水平对应的控制模式的例子。

[0057] 图14(c)是与驾驶负荷水平对应的控制模式的例子。

[0058] 图14(d)是与驾驶负荷水平对应的控制模式的例子。

[0059] 图15(a)是外部显示部的显示例。

[0060] 图15(b)是外部显示部的显示例。

[0061] 图16(a)是显示部的显示例。

[0062] 图16(b)是外部显示部的显示例。

具体实施方式

[0063] 以下，参照附图对本发明的实施方式进行详细的说明。

[0064] (第一实施方式)

[0065] 《结构的说明》

[0066] 图1是本实施方式中的车载装置101的结构图。

[0067] 车载装置控制部102是控制本车载装置101的整体动作的部分，按照存储于存储部123的信使应用(messenger application)113和与输出信息控制部114相关的程序进行运算，来实现作为信使应用113和输出信息控制部114的功能。另外，可以在车载装置101上搭载信使应用113和输出信息控制部114以外的应用，这些程序能够在出厂时存储在存储部
123中，此外，也可以经由通信部107或经由USB端子等未图示的外部连接IF，通过用户的选择存储在存储部123中。此外，控制作为车载导航系统的基本动作，并且根据各种输入信息控制要输出的内容。

[0068] 传感部103是检测用户的手与传感器之间的距离以及用户的手势的部分，例如由红外线距离传感器、激光距离传感器、超声波距离传感器、距离图像传感器、电解传感器、图像传感器等传感器、和进行数据处理的微型计算机以及在微型计算机上运行的软件构成。并不对用于传感部103的传感器进行特别限定，只要是具有得到用于检测到用户的手的距离和手势的信号的功能即可。

[0069] 姿势检测部104根据从传感部103得到的传感器数据，检测用户是否进行了用手遮挡和预先规定的预定姿势(例如，向上下左右方向的手势动作)。例如，解析预定的传感器值是否持续了一定时间来检测用手遮挡，解析多个传感器间的手的检测结果的反应时间差来检测姿势动作。

[0070] 开关操作部105是用于进行车载装置的操作的硬件开关，搭载按钮按下型或飞梭旋钮(Jog Dial)型的开关。

[0071] 触摸操作部106将被触摸的坐标发送给车载装置控制部102，进行车载装置的操作。

[0072] 麦克风115取得车辆内部的声音。

[0073] 语音识别部116根据所输入的声音数据，将语音转换为字符代码串。

[0074] 通信部107与外部的网络连接，进行各种信息的输入输出。例如与导航相关的信息的输入或消息的收发等。

[0075] 外部开关操作部117是设置于与车载装置不同的场所的开关操作部，列举设置于方向盘附近的转向开关、设置于车的中央控制台的主令开关等。

[0076] 显示部108是向用户提示影像信息的装置，例如是具有LCD(Liquid Crystal Display，液晶显示器)等显示装置和影像内容、GUI(Graphical User Interface，图形用户界面)等的显示处理所需要的运算处理装置、存储器的装置。

[0077] 外部显示部109是设置于与车载装置101不同的车内场所的显示器，显示影像。例如，列举设置于驾驶席的前方的平视显示器(Head Up Display，HUD)等。HUD可以透过驾驶员(用户)前方的景色的同时显示各种信息。

[0078] 声音输出部110是输出声音或语音的部分。

[0079] 扬声器111输出来自声音输出部110的声音。

[0080] 触觉IF输出部112是对用户传递某些触感信息的部分，例如由通过多个超声波元件构成的超声波阵列构成，向装置的任意距离在空间上传递压力。或者，也可以具备送风机来提供同样的效果。此外，也可以是设置于方向盘部等处，由方向盘自身进行振动的振子构成，不对构成要素进行特别限定。

[0081] 信使应用113与通信部107进行消息数据的收发，进行存储、输出所输入的消息的控制。此外，在发送消息的情况下，将发送消息发送给通信部107。

[0082] 输出信息控制部114控制向显示部108或外部显示部109输出的内容。

[0083] 图2(a)是传感部103的设置例。相对于显示部108，配置于右舵车辆的驾驶员侧，能够检测出离开传感器元件的地点的物体的距离信息以及物体的移动。由此，如该图中的下图所示那样，将车载装置101与用户之间的空间划分为多个区域，详细地检测用户的手存在于哪个区域。如图所示，划分为靠近传感器位置的区域201和更靠近传感器位置的区域202。另外，传感器的元件数量、设置位置、要检测的区域并不限于此。

[0084] 《主动作流程》

[0085] 使用图3(a)的动作流程，详细地说明车载装置101的动作。另外，信使应用113在向显示部108、外部显示部109、扬声器111等输出部输出影像、声音的情况下，向输出信息控制部113发送影像或声音信息，并判断是否将输出信息控制部113接收到的信息输出到上述输出部，但在以后的说明中为了使说明简化，使用信使应用113向显示部108输出影像、信使应用113输出声音等表现。

[0086] 首先，启动车辆的发动机等，开始车载装置101的动作。在动作开始时的显示部108(在此，设为中央显示器)中，通过输出信息控制部114如图4(a)所示那样显示与导航相关的显示、信使应用113的图标401。信使应用113与车载装置101的启动一起由车载装置控制部102在后台执行，在触摸操作部106检测出向图标401的触摸操作或姿势检测部104检测出用户的规定的姿势动作(例如，传感器前向左的手势)的情况下，被输出信息控制部114激活。

[0087] 此外，在动作开始时的外部显示部109(在此，设为HUD)中，通过输出信息控制部114进行与导航相关的显示、与信使应用113相关的显示。在经由通信部107从外部接收到消息的情况下(S301)，信使应用113输出收到消息时的效果音，使外部显示部109如图4(b)的图标402那样显示所接收到的消息的总数，向用户传递未读件数增加的意思。

[0088] 之后，在姿势检测部104、语音识别部116、开关操作部105、外部开关操作部117或触摸操作部106检测出用户进行了启动信使应用113的操作的情况下(S303)，输出信息控制部114如图4(c)所示激活信使应用113来切换为使用应用时的显示(S304)。之后，信使应用113输出按从旧到新的顺序通过声音朗读接收到的消息的声音信息(S305)。图4(c)是在显示部108的一半画面进行了作为信使应用113的显示时的显示例。

[0089] 若触摸操作部106检测出向图4(c)中的图标403的区域的触摸，则信使应用113使显示部108从图标403的区域的左边起分别显示用于进行贴图回复/固定句回复、自由发言回复、消息返回/发送的各操作的显示。此外，信使应用113在S305的声音信息的输出中使外部显示部109如图4(c)的下图中的404那样显示当前的未读消息件数、正在朗读的消息的发送人的姓名。在消息朗读过程中，姿势检测部104检测到用户的规定的姿势动作(例如，向上或向下的手势动作)的情况下(S306：是)，信使应用113对扬声器111输出声音信息以便朗读未读消息中最新的消息(S308)。

[0090] 在未检测到的情况下，信使应用113接着输出声音信息，以便按照未读消息的从旧到新的顺序朗读(S307)，在结束最新消息的朗读控制的情况下，使显示部108和外部显示部109如图4(d)所示地维持显示最后的发送人，成为等待回复操作的状态(S309)。在等待回复操作的状态下，信使应用113使外部显示部109如图5(a)所示地显示表示可进行基于姿势的回复操作的图标501。

[0091] 在图2(a)的区域202中用手遮挡的状态下经过了一定时间(例如0.5秒)时(S310：是)，判断为满足操作的开始条件，对外部显示部109切换显示，使其从画面的右侧开始滑动回复操作的操作指导即菜单，与此同时，输出菜单出现的效果音(S311)。另外，在区域202中检测到用户的手的情况下，信使应用113输出传递该情况的效果音并以可通过听觉识别的方式传递，并且如图5(b)所示，也可以使图标501向右侧移动或改变图标的颜色，由此以通过视觉也可以识别的方式进行通知。此外，不是在区域202而是在区域201中检测到用户的手且经过了一定时间(例如0.3秒)的情况下，信使应用113输出传递用手遮挡的位置不同的效果音。由此，在用户用手遮挡时，即使不将视线移动到手，也能够一边看着前方一边进行用手遮挡的操作。

[0092] 图2(b)和图2(c)表示用户的手的检测状态与效果音输出的关系的更详细的说明。图2(b)和图2(c)分别表示了时间轴与传感部103的传感器值，是表示传感器值判断为区域
201和202的边界的图。

[0093] 图2(b)是用户将手伸向区域202，用手遮挡一定时间时的例子。在姿势检测部104检测到手侵入了区域201的情况下输出效果音。接着，在检测到侵入了区域202的情况下输出效果音2。在持续检测到用户的手位于区域202时刻T1以上(例如，0.5秒以上)的情况下，输出效果音3，按照对S311进行说明的那样切换外部显示部109的显示。

[0094] 图2(c)的例子是在区域201持续用手遮挡时的例子。若检测到手侵入了区域201则输出效果音1，若持续检测到手位于区域201时刻T2以上(例如，0.3秒以上)则输出效果音4。之后，若在区域202中检测到手，则与图2(b)的例子相同(以下，有时将在区域202中用户遮挡时刻T1以上的操作简单地称为“用手遮挡”)。

[0095] 图5(c)是显示了可进行贴图回复的操作菜单时的例子。图标502是在用手遮挡的状态下，若进行上、左、下方向的姿势，则表示能够选择与之对应的贴图的操作指导。此外，左上方的1/2的显示表示所显示的贴图候补的总页数和当前页。在该状态下检测到上、左、下方向的某个姿势的情况下(S312：是)，信使应用113选择与该方向对应的贴图并进行回复操作(S313)，再次向等待接受回复操作的状态S309迁移。

[0096] 未检测到任何姿势而用户的手离开了区域202的情况下(S312：否、S314：是)，如图5(d)所示地切换外部显示部109的显示内容(S315)。图标503表示当前可选择的贴图候补。
图标504表示若进行与所显示的方向对应的姿势操作(向上的手势或向下的手势)，则进行对应的操作。此外，“固定句”这样的显示意味着将回复方法切换为固定句回复，“下一页”这样的显示意味着从通过图标503显示贴图的选择候补切换为下个候补群。若一次显示多个选择项，则尽管用户在驾驶中仍对该选择花费时间，有可能不集中于驾驶，因此在本实施方式中，仅限于提供位于上、左、下的3个选择项，另一方面，设置用于增加想要发送的贴图的选择项的姿势，由此能够向用户提供超过3个的选择项。在检测到所对应的姿势操作的情况下(S316：是)，执行与之对应的操作(S317)。在未检测到姿势(S316：否)而在区域202检测到用户的手的情况下(S318：是)，信使应用113向S311的状态迁移，再次成为进行贴图选择的状态。

[0097] 未检测到用户的手而在该状态下经过了一定时间(例如10秒)的情况下(S318：否、S319：是)，信使应用113从外部显示部109的显示中消除操作指导，向S309的等待接受回复操作的状态迁移(S320)。在执行了回复操作的情况下，如图6所示，信使应用113在显示部108中显示回复操作结果的内容(在此为所选择的贴图)，在外部显示部109中显示进行了回复操作的用户的姓名，朗读回复内容。

[0098] 另外，本动作流程只是以本发明的车载装置的动作为代表例子而说明的流程，动作或显示、效果音等并不限定于该例子。例如，在本说明中假定使用信使应用113时的回复操作而进行了说明，但本发明并不限定于此，可以应用于车载装置控制部102进行的选择多个选择项的全体操作。图3(b)表示简化的动作流程。基本的动作如上述的说明所示，各步骤中的动作的说明与图3(a)的赋予了相同步骤编号的步骤相同，但对于本图的S316，并不限于上下手势，例如也可以接受转向开关的操作等各种操作。

[0099] 此外，从外部接收到消息的情况下，既可以构成为在接收的同时朗读，也可以在外部显示部109中显示所接收到的消息的内容。由此，用户更容易掌握消息。此外，等待接受回复操作也可以不待读完最新消息，任何时候都能够接受。由此，用户在任何时候都能够进行回复操作。此外，对于应用手遮挡的区域202，也可以在该区域内通过触觉IF部112向空中提示触感。

[0100] 例如，使得在区域的边界上出现超声波元件阵列的压力点，或者通过送风机对区域的垂直线上提供触感。由此，用户可以一边看着前方，一边用手进行遮挡，即使是驾驶中的操作也能够安全地进行回复操作。此外，在本例子中，在检测到用手遮挡后，迁移到贴图回复操作的状态，但也可以在此之前迁移到回复方法的选择状态(贴图、固定句、自由发言等)。由此，用户在回复操作开始时可以选择自己想要进行的回复方法。

[0101] 此外，在本例中，检测用手遮挡并在外部显示部109中显示操作指导后接受姿势，但也可以从显示操作指导的一定时间前(例如0.2秒前)开始接受姿势。由此，在用户习惯于操作，记住哪个姿势与哪个操作对应的情况下，能够使外部显示部109不进行多余的显示地进行操作，此外，能够缩短操作时间。

[0102] 此外，在S319中测量了一定时间的经过，但在满足该条件前检测到预定操作(例如，向左方向的手势操作、开关操作等)的情况下，也可以向S320迁移。由此，可以在用户喜欢的定时将外部显示部109的显示切换为导航。

[0103] 此外，关于向外部显示部109显示的操作指导以及姿势方向，并不限于3个方向，也可以使用任意方向和数量。此时，也可以设定容易坐在驾驶席上进行姿势操作的方向。例如，朝方向盘方向进行的姿势，在动作途中手有可能碰到方向盘，因此不设为对象。通过设定画面可以预先设定乘坐的车的方向盘为右舵还是左舵，为左舵的情况下，如图7所示，将显示于外部显示部109的操作指导中的上、下、右这3个方向设为识别对象。另外，图7(a)、图7(b)分别与图5(a)、图5(b)对应。

[0104] 此外，还根据方向盘的设置场所改变在姿势中所使用的手，因此图标的显示或方向也改变。并且，根据方向盘的位置，各种图标的外观也发生改变，因此也可以由用户个别地设定。由此，可以根据每个车型的方向盘设置位置通过容易使用的姿势操作来进行操作，用户能够坐在驾驶席上不费力地通过姿势来进行各种操作。

[0105] 此外，如本例这样用手遮挡的位置并不限定于一个位置，也可以在多个位置用手遮挡。例如，如图8(a)所示，在三个位置设有三个传感器。此时，也可以根据对哪个传感器用手遮挡，来决定回复方法。如图8(b)所示，将传感器103A设为贴图回复，将传感器103B设为固定句回复，将传感器103C设为自由发言回复。由此，用户能够快速地选择回复方法来进行回复操作。用户也可以预先指定哪个传感器与哪个方法对应。

[0106] 此外，如图9所示，也可以在传感部103中使用摄像头来检测手的靠近和姿势。预先学习既定的手型图像，根据输入影像的图像和学习数据的模型识别，与距离和位置无关地检测用户的用手遮挡。此时，也可以检测多个用手遮挡时的手型(901A～903C)，并设为可以选择回复方法。由此，即使用户不将手伸到传感部103的前方来进行姿势动作，也可以开始回复操作。

[0107] 并且，也可以根据检测到用手遮挡时的用户的手的位置和姿势，变更接受的姿势的方向和数量。例如，如图10(a)所示，在用户将肘放在扶手的状态下举手并检测到用手遮挡的情况下，如图10(b)所示，将左、下、右方向设为识别对象。这是因为在该状况下的用户的姿势中，认为上方向的姿势较难做出，因此将这3个方向设为识别对象。并且，用户也可以预先设定将哪个姿势设为识别对象。由此，用户能够以自由的姿势进行姿势操作。

[0108] 此外，在本例子中，将回复操作的操作菜单等显示于外部显示部109，但也可以根据各种设备的连接状态或设置位置等，变更要进行显示的位置以及显示内容。例如，在未连接HUD的情况下，如图11(a)所示，将姿势操作的指导显示于中央显示器。此时，如图11(b)所示，进行管理多个显示器的设置位置、连接状态并决定优先级的处理。基本上，在优先级高的显示器上显示操作指导，但在HUD发生故障等无法使用的情况下，在下个优先级的显示器上进行显示。此时，也可以根据优先级缩短显示指导的时间，或减少显示的信息量等。可以通过在工厂出货时或销售时设定、用户通过未图示的设定画面设定、在本公司终端上编程为根据与本车载终端连接的显示器的性质等判别优先级等方法来设定优先级。

[0109] 并且，如图11(c)那样将手持外部设备(智能手机等)与车载装置101连接的情况下，也可以根据设置位置使优先级变高。由此，在无法使用HUD等显示操作指导的前提设备的情况下，能够在代替的显示器上显示操作指导，进行操作。

[0110] 此外，在图3(a)或图3(b)中的S311以后的回复操作中，除了姿势操作外，也可以使用可操作车载装置的其他操作手段(语音识别操作或开关操作等)。图12(a)是此时的动作流程。S316的步骤后检测到用户想要操作某操作手段的准备动作的情况下(S1201：是)，将与该动作对应的操作指导显示在外部显示部109中(S1202)。之后，在执行了选择操作的情况下(S1203：是)，基于所选择的选择项进行回复(S1204)。具体地，在向S315的状态迁移时，将图12(b)所示的操作指导显示在外部显示部109中。在图标1201中，上面的图标表示能够通过姿势进行选择项的选择，正中间的图标表示能够通过语音识别进行选择项的选择，下面的图标表示能够通过开关进行选择项的选择。

[0111] 在检测到用户进行状态控制器操作的情况下(例如，将转向开关中的任意按键按下一次、或在开关表面设置接触传感器并得到了其反应的情况下)，向图12(c)所示的画面迁移。1201的图标通过图标颜色的变化通知激活了状态控制器操作。在1202的显示中，显示与状态控制器的各按键对应的贴图的候补。根据被按下的状态控制器的按键，通过对应的贴图进行回复操作。另外，经过一定时间或状态控制器的接触传感器没有反应的情况下，返回到图12(b)的画面。

[0112] 另一方面，在检测到进行语音识别的情况下(按下语音识别开始开关等)，向图12(d)所示的画面迁移。1201的图标表示语音识别为等待状态，1203的显示表示通过进行与各文字对应的发言，可选择与之对应的贴图。进行语音识别的结果为与某一选择项一致的情况下，进行对应的贴图的回复操作。在图12(d)的例子中仅显示了与“快乐”等图标对应的文字，但是通过与文字一起显示要发送的图标，也可以通过人眼获知要发送的图标。若利用语音识别，则用户能够不将手从方向盘拿开地选择想要发送的贴图，因此能够进一步有助于安全驾驶。

[0113] 另外，三种操作手段，在任意操作过程中的状态下，若检测到各操作的开始触发条件，则切换操作手段。此外，若为基于开关操作和语音识别的操作状态，则在该状态下还接受基于上下手势的姿势操作。由此，在用户进行回复操作时，并不限定于一个操作手段，可以根据驾驶状况或用户的喜好自由地选择回复的操作手段。此外，在切换了各个操作手段时，提示当前可以用哪个操作手段进行操作、如何进行操作为佳，由此用户能够不迷茫于操作，快速直观地进行操作。

[0114] 此外，也可以根据车载装置控制的应用的动作状态，改变用户在用手遮挡时可操作的操作内容。图12(e)是在后台运行的应用只有导航的情况下，将向自家的路线设定、当前所在地的地点登记、基于语音的目的地设定等与导航相关的操作作为选择候补而提示的例子。图12(f)是在音乐正在播放等时用手遮挡的情况下，将音乐停止、跳转到下一个曲子或上一曲子的操作等作为选择候补而提示的例子。图12(g)是在接收到拥堵信息等时用手遮挡的情况下，将听取拥堵信息的细节的操作、变更路径、目的地等作为选择候补而提示的例子。由此，可以根据用户驾驶中的车载装置控制的应用的状况，快速地选择各种操作。

[0115] 通过以上所述的本发明的第一实施方式的车载装置101，用户在驾驶中可以一边看着前方，一边直观地快速进行操作。具体地，一边看着前方，一边快速进行信使应用的显示切换、消息的跳转操作等。此外，在进行选择多个选择项的操作的情况下，可以一边看着前方确认选择候补的内容，一边选择所希望的选择项。并且，在习惯于操作的情况下，即使不看显示也能够进行选择项的操作，因此能够更安全且快速地进行操作。

[0116] (第二实施方式)

[0117] 《结构的说明》

[0118] 图13是本实施方式中的车载装置101的结构图。与图1的结构相比，追加了车辆信息输入部118、操作手段控制部119、驾驶负荷推定部120、地图DB(数据库)121。关于车辆信息输入部118、操作手段控制部119、驾驶负荷推定部120，也按照存储在存储部123中的程序由车载装置控制部102进行运算，由此实现作为车辆信息输入部118、操作手段控制部119、驾驶负荷推定部120的功能。

[0119] 车辆信息输入部118是取得与行驶中的车辆相关的信息的部分，例如，经由CAN(Control Area Network，控制局域网络)与车辆连接，取得车速或油门开度、制动深度、方向指示灯信号、转向角度等。

[0120] 操作手段控制部119控制将来自姿势检测部104或语音识别部116、各种开关控制部的操作输入反映到哪个操作。

[0121] 驾驶负荷推定部120推定驾驶操作中的用户的驾驶负荷有多大。例如，在来自上述的车辆信息输入部118的各种输入信号以外，综合从通信部107输入的信息(地图信息、行驶中的道路的种类、与前方车辆的距离等)，将驾驶负荷水平定义为四级(无、低、中、高)。“无”是等待信号等停车中或ACC(Adaptive Cruise Control，自适应巡航控制)等驾驶程序不进行特别操作也行驶的自动驾驶中的状况等，“低”是周围无障碍物的直线道路中的行驶等，“中”是以一定速度以上且经常要求方向盘操作的行驶状况，或交叉点的左右转时等，“高”是发生事故而要求重要的驾驶操作的状况等。

[0122] 地图DB121是存储了地图信息的数据库。

[0123] 《动作说明》

[0124] 对本实施方式的车载装置101的动作进行详细的说明。基本的动作与在实施方式1中叙述的动作相同，本实施方式的特征在于，根据驾驶负荷推定部120的输出来控制动作。车载装置控制部102预先定义通过驾驶负荷推定部120输出的驾驶负荷水平、此时可操作的操作手段、和可提示的显示内容。图14表示该定义。

[0125] 图14(a)表示各驾驶负荷水平的各操作手段的使用可否。在驾驶负荷水平为“无”或“低”的情况下，可进行在第一实施方式中叙述的全部操作手段的回复操作。另一方面，在驾驶负荷水平为“高”的情况下，禁止全部操作。在驾驶负荷为“中”的情况下，禁止基于用手遮挡的操作指导的显示、和此后的基于姿势操作的选择项的选择。这是因为基于用手遮挡的操作是强制单手驾驶的操作方式，因此在应集中于驾驶操作的状况下禁止该操作。

[0126] 在本实施方式的外部显示部109中，如图15(a)的图标1503那样显示当前驾驶负荷水平。本图中表示驾驶负荷水平为“中”的状态，针对无法进行基于手的靠近的操作的意思，如图标1501所示，显示出用手遮挡的操作被禁止。此外，在该状态下检测到用户用手遮挡的情况下，改变图标1501的显示或颜色等来强调，并且输出警告音或警告语音等，催促立即停止用手遮挡。通过进行这样的控制，用户能够掌握当前的驾驶负荷状况，并且能够极力防止尽管需要方向盘操作，仍想要显示操作指导而将单手从方向盘长时间离开的情况。另一方面，即使在驾驶负荷水平为“中”的状况下，也可以使用基于不用手的语音识别的自由发言回复、或通过一瞬间的操作就完成的手势姿势。

[0127] 并且，在驾驶负荷水平为“无”或“低”的状况下，在用手遮挡后的回复操作过程中的情况下，驾驶负荷水平切换为“中”时，仅对该操作过程中的回复操作许可基于开关操作和基于语音识别的选择项的选择操作。此时，如图15(b)所示，在三种操作方式的图标中，示出禁止基于用手遮挡和姿势的选择项操作。

[0128] 图14(b)是关于驾驶负荷水平和中央显示器的输出内容的定义。首先，在驾驶负荷水平为“无”的情况下，信使应用113显示全部消息的文本。此外，在来自触摸画面上的操作图标等基本操作的回复操作时，还显示贴图候补等的全部选择项。在驾驶负荷为“低”或“中”的情况下，不显示消息的文本，仅显示消息发送者的姓名。此外，也不进行使用触摸操作的操作系统的显示。

[0129] 并且，在驾驶负荷为“高”的情况下，还消除信使应用113的画面，显示与该状况对应的警告消息(例如，“注意车距！”等)。另外，在驾驶负荷为“低”或“中”的情况下，在进行用手遮挡后的回复操作的过程中，驾驶负荷水平迁移到“无”时，考虑显示于HUD的操作指导的状态，通过中央显示器上的触摸操作也可以进行该操作。例如，如图16(a)所示，在HUD上成为进行贴图回复的状态，保持贴图候补的内容和配置信息，如图16(b)所示，也显示于中央显示器上。

[0130] 具体地，在保持HUD上的贴图候补1601的内容和画面上的配置关系的状态下，如1602所示地显示于中央显示器上。并且，1602的内容为了使驾驶员容易操作而靠近驾驶员侧进行配置，使得能够通过触摸操作来进行贴图的选择。此外，如1603那样，将剩余的贴图候补配置于画面上的远离驾驶员侧的位置。相反，在停止中进行中央显示器上的操作的过程中，随着车辆的前进，驾驶负荷切换为“低”或“中”的情况下，中止中央显示器中的选择项的显示以及选择操作，在保持操作过程中的回复方法的基础上，向图3(a)的S315的步骤迁移，原样继续操作。

[0131] 图14(c)是关于驾驶负荷水平和HUD的输出内容的定义。首先，在驾驶负荷水平为“无”或“低”的情况下，显示朗读消息时的发送者姓名，此外，显示回复操作时的操作指导。在驾驶负荷水平为“中”的情况下，显示出禁止基于用手遮挡的操作的意思，或仅在驾驶负荷水平从“低”变更为“中”的情况下，继续进行操作指导的显示。在驾驶负荷水平为“高”的情况下，显示与该状况对应的警告消息(例如，“注意车距！”等)。

[0132] 图14(d)是关于驾驶负荷水平和来自扬声器的声音输出的定义。在驾驶负荷水平为“无”至“中”的情况下，输出该时间点的操作音或朗读语音等。在驾驶负荷水平为“高”的情况下，仅输出警告音。另外，即使在朗读了消息的情况下也停止该输出。停止的朗读消息在驾驶负荷水平下降后重新开始，从该消息的开头开始重新朗读。

[0133] 另外，也可以根据驾驶负荷水平，变更用户的用手遮挡检测算法以及反馈方法。例如，若在驾驶负荷水平较低时，在用手遮挡了0.5秒以上的情况下，设为检测出用手遮挡，则在驾驶负荷水平为“无”的情况下，变更为在用手遮挡了2秒以上时检测出。并且，在驾驶负荷水平为“无”的情况下，停止基于声音输出的用手遮挡的反馈。由此，认为在行驶中可以快速且视线不离开前方地进行操作的用手遮挡检测算法，考虑在停止时允许触摸操作或看别处，能够防止基于触摸操作等用手遮挡动作以外的动作的误检测。

[0134] 通过上述的本发明的第二实施方式的车载装置101，用户在驾驶中也可以一边看着前方，一边直观且快速地进行操作，除此以外，在停止中等余暇较多时，能够接受更多单元的操作或更多的信息量，并且在应集中于驾驶操作的状况下，能够提前防止因其他操作而使注意力转向驾驶操作以外，进行安全驾驶。

[0135] 另外，在全部的实施方式中以车载装置为例进行了说明，但本发明并不限定于此，也可以应用于个人计算机或数字标牌、建设机械、飞机、监视操作员装置等具有显示部和操作单元的装置中。

[0136] 将以下的优先权基础申请的公开内容作为引用文并入本申请。

[0137] 日本专利申请2014年第138237号(2014年7月4日申请)

[0138] 符号说明

[0139] 101 车载装置、

[0140] 102 车载装置控制部、

[0141] 103 传感部、

[0142] 104 姿势检测部、

[0143] 105 开关控制部、

[0144] 106 触摸操作部、

[0145] 107 通信部、

[0146] 108 显示部、

[0147] 109 外部显示部、

[0148] 110 声音输出部、

[0149] 111 扬声器、

[0150] 112 触觉IF输出部、

[0151] 113 信使应用、

[0152] 114 输出信息控制部、

[0153] 115 麦克风、

[0154] 116 语音识别部、

[0155] 117 外部开关操作部、

[0156] 118 车辆信息输入部、

[0157] 119 操作手段控制部、

[0158] 120 驾驶负荷推定部、

[0159] 121 地图DB、

[0160] 123 存储部。