眼镜型终端及其控制方法

摘要

眼镜型终端及其控制方法。一种眼镜型终端，包括：主体、摄像头、红外光发射部、显示单元以及控制器。主体可在用户头部上佩戴。摄像头耦接至主体，并且利用至少一个图像传感器获取第一图像。红外光发射部被构造成按预定距离与摄像头隔开，并且利用至少一个红外光发射器件发送红外光。显示单元输出所述第一图像，并且在驱动红外光发射部时，在第一图像上显示随第一输入信号移动的标记。当第二输入信号被感测到时，控制器利用至少一个红外光发射部和所述摄像头来获取在显示该标记的区域中存在的对象的第二图像，并且与所述对象相邻输出与获取的所述第二图像有关的可视信息。

权利要求

1.一种眼镜型终端，该眼镜型终端包括：

框架，该框架被成形成能够在用户头部上佩戴；

摄像头，该摄像头耦接至所述框架，并且被构造成获取图像；

红外光发射部，该红外光发射部耦接至所述框架，并且被构造成发射红外光；

显示器，该显示器耦接至所述框架，并且被构造成输出图像；以及控制器，该控制器被构造成：

使所述显示器显示经由所述摄像头获取的第一图像；

响应于第一输入，启用所述红外光发射部并且使所述显示器显示所发射的红外光作为在所述第一图像上的可移动标记；

响应于用于选择上面定位有所述标记的对象的第二输入来识别所述对象；

使所述显示器显示与所识别的对象有关的第一信息；以及当未识别所选择的对象时，使所述显示器停止显示在所选择的对象上的所述标记。

2.根据权利要求1所述的眼镜型终端，其中，所述控制器还被构造成：响应于所述第一输入，使所述显示器在所述显示器的预定位置处显示所述标记；

当所述标记从所述预定位置向所述对象移动时，选择所述对象；以及使所述显示器与所述第一图像相区别地显示包括所选择对象的第二图像，使得由所述第二图像内的所述标记来标识所述选择的对象。

3.根据权利要求2所述的眼镜型终端，其中，响应于在显示所述第二图像和所述第一信息的同时接收到的第三输入，所述控制器还被构造成：使所述显示器在所述显示器的第一区域处显示所述第二图像和所述第一信息；并且使所述显示器在所述显示器的第二区域处显示第二标记，使得当将所述第二标记设置在显示在所述第二区域中的附加对象上时，该附加对象能够被选择。

4.根据权利要求2所述的眼镜型终端，其中，所述控制器还被构造成，当显示所述第一图像时，使所述显示器显示与所述摄像头的放大或缩小功能有关的指示符。

5.根据权利要求1所述的眼镜型终端，其中，所述控制器还被构造成，根据包括姿势的用户输入，改变与所显示的标记相关联的选择区域的至少位置或尺寸，至少所述位置或所述尺寸基于所述姿势改变。

6.根据权利要求5所述的眼镜型终端，其中，所述控制器还被构造成，基于至少所述选择区域的改变的位置或改变的尺寸，选择附加对象或者取消选择所选择的对象。

7.根据权利要求1所述的眼镜型终端，其中：

利用所述标记对所选择的对象进行标记，使得当所选择的对象在所述显示器上移动时所述标记跟随所述对象，并且所述控制器还被构造成，当所选择的对象不被显示时使所述显示器显示指示符，所述指示符指示所选择的对象在预定范围之外，所述指示符还指示移出所述显示器的所选择的对象的估计位置，使得当所述摄像头重新指向由所述指示符指示的位置时能够重新显示所选择的对象和所述标记。

8.根据权利要求1所述的眼镜型终端，所述眼镜型终端还包括无线通信单元，其中：所述控制器还被构造成经由无线通信单元接收所述第一信息；并且所述第一信息至少包括与所识别的对象相关联的应用的安装信息、与所识别的对象有关的处理的引导信息，或者所识别的对象的位置信息。

9.根据权利要求1所述的眼镜型终端，其中，所述控制器还被构造成，当未识别所选择的对象时，使所述显示器显示指示没有可用的有关所选择的对象的第二信息。

10.根据权利要求1所述的眼镜型终端，其中，所述控制器还被构造成，响应于在显示所述第一信息的同时接收到的用户输入，使所述显示器停止显示所述第一信息并且显示与所识别的对象有关的附加信息。

11.根据权利要求1所述的眼镜型终端，其中：

所述控制器还被构造成使所述显示器按与所述第一信息的类型相对应的形状显示所述标记，使得当不同类型的信息被显示时，所述标记被以不同形状显示；并且所述第一信息的类型至少包括与人有关的类型或者与事物有关的类型。

12.根据权利要求1所述的眼镜型终端，其中，所述红外光发射部包括：红外光发射器件，该红外光发射器件被构造成产生所述红外光；

透镜，透镜被构造成接收所产生的红外光并且将接收到的红外光转换成平行光；以及窗口，该窗口被构造成发射从所述透镜接收的经转换的平行光，其中，所述标记的形状能够根据所述窗口的结构和形状改变。

13.根据权利要求1所述的眼镜型终端，其中，所述红外光发射部包括多个红外光发射部，并且所述多个红外光发射部中的至少一个能够从所述框架拆除。

14.根据权利要求13所述的眼镜型终端，其中，所述控制器还被构造成，使所述显示器在所述第一图像中显示多个标记，使得能够利用所述多个标记选择所述第一图像中的多个对象，所述多个标记中的每个对应于从所述多个红外光发射部中的一个发射的相应红外光。

15.根据权利要求1所述的眼镜型终端，其中，所述控制器还被构造成使包括所选择的对象的第二图像和所述第一信息存储在存储器中。

16.根据权利要求15所述的眼镜型终端，其中，所述控制器还被构造成使所述显示器显示：经由所述摄像头获取的第三图像；和

通知基于所存储的第二图像和所述第一信息在所述第三图像中识别出所述对象的通知。

17.根据权利要求15所述的眼镜型终端，其中，所述控制器还被构造成：接收对所存储的第二图像和所述第一信息的更新信息；并且基于接收到的更新信息，更新所存储的第一信息。

18.根据权利要求1所述的眼镜型终端，其中，所述控制器还被构造成响应于经由所显示的第一信息接收的用户输入，使所述显示器显示与所显示的第一信息相关联的详细信息，除了所显示的第一信息以外，在所述显示器上还显示所述详细信息。

19.根据权利要求1所述的眼镜型终端，其中，所述控制器还被构造成响应于在所述标记显示在所选择的对象上的同时接收的第三输入，使所述显示器除了已经显示在所述显示器上的所述标记以外，还显示第二标记。

20.根据权利要求19所述的眼镜型终端，其中，所述控制器还被构造成：当所选择的对象在所述显示器上移动时跟踪所选择的对象；并且当所述第二标记被设置在第二对象上时选择所述第二对象。

说明书

眼镜型终端及其控制方法

技术领域

[0001] 本公开涉及被构造成如眼镜一样可在用户头部上佩戴的终端。

背景技术

[0002] 终端根据它们的移动性总体上可以分类为移动/便携式终端或固定终端。移动终端还可以根据用户是否可以直接携带该终端而分类为手持式终端或车载终端。

[0003] 移动终端变得日益多功能。这些功能的示例包括：数据和语音通信、经由摄像头拍摄图像和视频、记录音频、经由扬声器系统播放音乐文件，以及在显示器上显示图像和视频。一些移动终端包括支持玩游戏的附加功能，而其它终端被设置为多媒体播放器。最近，移动终端已经被构造成接收广播和多播信号，其准许收看诸如视频和电视节目的内容。

[0004] 移动终端不仅在用户频繁用一只手保持该移动终端的状态下使用，而且近期已经扩展至能够在用户身体上佩戴的可佩戴装置。可佩戴装置的示例是眼镜型终端。

[0005] 常规眼镜型终端可以设置有摄像头。在这种情况下，佩戴该终端的用户的实际视角比该终端的摄像头的视角宽，并由此，经由用户的实际视角的对象识别范围与经由终端的摄像头的视角的对象识别范围之间存在差别。即，同一对象被用户眼睛看到，但不被眼镜型终端识别。

[0006] 当用户仅对用户视角中的特定对象感兴趣时，常规眼镜型终端对存在于其视角中的所有对象执行图像处理。因此，用于执行该图像处理所花费的时间长，而且浪费资源。

发明内容

[0007] 因此，详细描述的一方面是，提供一种眼镜型终端及其控制方法，其可以最小化经由用户的实际视角的对象识别范围与经由该终端的对象识别范围之间的差别，并且选择性地仅对用户感兴趣的对象执行图像处理。

[0008] 详细描述的另一方面是，提供一种眼镜型终端及其控制方法，其可以识别用户感兴趣的对象，以提供用户所希望的可视信息，或者使能自动执行相关功能。

[0009] 详细描述的又一方面是，提供一种眼镜型终端及其控制方法，其可以连续跟踪用户感兴趣的对象的位置，即使对象出于该终端的视角之外。

[0010] 为实现这些和其它优点并且根据本说明书的目的，如在此具体实施和广泛描述的，一种眼镜型终端，该终端包括：被构造成能够在用户头部上佩戴的主体；耦接至所述主体的摄像头，所述摄像头利用至少一个图像传感器获取第一图像；被构造成按一预定距离与所述摄像头隔开的红外光发射部，所述红外光发射部利用至少一个红外光发射器件发送红外光；显示单元，该显示单元被构造成输出所述第一图像，并且在驱动所述红外光发射部时，在所述第一图像上显示随同第一输入信号移动的标记；以及控制器，该控制器被构造成，当感测到第二输入信号时，利用所述至少一个红外光发射部和所述摄像头来获取存在于显示所述标记的区域中的一对象的第二图像，并且输出与获取的所述第二图像有关的可视信息，使得与所述对象相邻。

[0011] 在一个示例性实施方式中，当感测到第一输入时，所述控制器可以创建所述标记并且在所述显示单元的一个区域中显示创建的所述标记。当感测到第二输入时，所述控制器可以选择存在于显示所述标记的区域中的所述对象，并且输出与所述选择相对应的显示。

[0012] 在一个示例性实施方式中，当感测到第三输入时，所述控制器可以在与所述第一图像相区别的区域中显示选择的所述对象的所述第二图像和与所述第二图像有关的所述可视信息，并且在所述第一图像上显示新标记。

[0013] 在一个示例性实施方式中，所述控制器可以基于选择的所述对象与所述显示单元之间的间隔距离，在所述第一图像上输出与是否执行所述摄像头的放大或缩小功能相对应的图像。

[0014] 在一个示例性实施方式中，所述控制器可以基于预定用户姿势，改变显示的所述标记的所述位置和尺寸中的至少一个。

[0015] 在一个示例性实施方式中，该控制器可以基于改变的所述标记的所述位置和尺寸中的至少一个来改变选择所述对象。

[0016] 在一个示例性实施方式中，当根据所述标记选择的所述对象在基于所述显示单元的预定范围之外时，所述控制器可以输出表示其中所述对象在所述显示单元的一个区域中的预定范围之外的程度和位置的指示符。

[0017] 在一个示例性实施方式中，与所述第二图像有关的所述可视信息可以根据选择的所述对象的类型改变。作为通过搜索匹配至所述第二图像的网页而获取的结果，所述可视信息可以包括与所述第二图像相对应的安装信息、与所述第二图像有关的处理的引导信息，以及与所述第二图像相对应的一物体的位置信息中的至少一个。

[0018] 在一个示例性实施方式中，当存在于显示所述标记的区域中的所述对象不可识别时，所述控制器可以控制所述显示单元输出表示所述标记消失和所述第二图像不可获取的消息。

[0019] 在一个示例性实施方式中，响应于在输出所述可视信息之后感测到预定触摸姿势，所述控制器可以控制所述显示单元允许所述可视信息消失，并且基于感测的所述触摸姿势输出与所述第二图像有关的另一可视信息。

[0020] 在一个示例性实施方式中，所述控制器可以根据与所述第二图像有关的可视信息的类型而不同地显示标记的形状。

[0021] 在一个示例性实施方式中，当接收到第一控制信号时，所述控制器可以执行在所述第一图像上显示所述标记的标记功能。当接收到第二控制信号时，所述控制器可以结束执行所述标记功能，使得所述标记在所述第一图像上消失。

[0022] 在一个示例性实施方式中，包括所述至少一个红外光发射器件的所述红外光发射部可以被形成为可接合至所述主体的框架部分/从其分离。

[0023] 在一个示例性实施方式中，所述控制器可以基于预定设置信息，控制所述至少一个红外光发射器件的操作，使得改变从所述红外光发射部发射的红外信号的颜色、尺寸、形状以及外部识别。

[0024] 在一个示例性实施方式中，所述控制器可以响应于感测到预定输入信号，来控制将所述第二图像和与所述第二图像有关的所述可视信息存储在选择区域中。

[0025] 在一个示例性实施方式中，当从所述第一图像检测到存储在所述选择区域中的与所述第二图像相对应的对象时，所述控制器可以控制将与所述检测相对应的警告和与所存储第二图像有关的可视信息再次在所述显示单元上输出。

[0026] 在一个示例性实施方式中，当接收到有关与存储在所述选择区域中的所述第二图像相对应的一对象的更新信息时，所述控制器可以基于所接收更新信息，来改变与所存储第二图像有关的所述可视信息。

[0027] 在一个示例性实施方式中，所述控制器可以响应于在输出所述可视信息的区域中感测到预定触摸姿势，控制所述显示单元输出有关所述可视信息的详细信息。

[0028] 在一个示例性实施方式中，当在其中在所述第二图像上显示第一标记的状态下感测到预定输入信号时，所述控制器可以在保持显示所述第一标记的同时控制在所述第一图像上最新显示第二标记。

[0029] 在一个示例性实施方式中，所述控制器可以控制所述第一标记连续跟踪与所述第二图像相对应的对象的位置。所述控制器可以基于预定输入信号来控制所述第二标记，以选择存在于所述第一图像上的另一对象。

[0030] 本申请进一步的可应用性范围根据下面给出的详细描述将变得更清楚。然而，应当明白，因为本领域技术人员根据该详细描述将明白本发明的精神和范围内的各种改变和修改，所以该详细描述和特定示例虽然指示了本发明的优选实施方式，但仅通过例示给出。

附图说明

[0031] 附图被包括进来以提供对本发明的进一步理解，并且被并入并构成本说明书的一部分，例示了示例性实施方式并与本描述一起用于说明本发明的原理。

[0032] 在图中：

[0033] 图1是根据示例性实施方式的眼镜型终端的框图；

[0034] 图2是根据示例性实施方式的眼镜型终端的立体图；

[0035] 图3A至图3E是例示根据示例性实施方式的设置在眼镜型终端中的红外光发射器件的一个结构的图；

[0036] 图4A至图4C是例示根据示例性实施方式的设置在眼镜型终端中的红外光发射器件的另一结构的图；

[0037] 图5(a)至5(d)是例示根据示例性实施方式的用于输出与利用标记选择的对象有关的可视信息的方法的概念图；

[0038] 图6是例示根据示例性实施方式的眼镜型终端的控制方法的流程图；

[0039] 图7(a)至7(d)是例示根据示例性实施方式的用于执行标记功能的方法和用于取消执行该标记功能的方法的示例的概念图；

[0040] 图8A(a)至8B(c)是例示根据示例性实施方式的用于在画面上显示利用标记识别的对象的方法的概念图；

[0041] 图9(a)至9(c)是例示根据示例性实施方式的用于输出有关与利用标记选择的对象有关的可视信息的详细信息的方法的概念图；

[0042] 图10(a)至10(d)是例示用于跟踪利用标记选择的对象的方法的概念图；

[0043] 图11(a)至11(c)是例示根据示例性实施方式的用于在识别先前存储对象时提供与先前利用标记存储的对象相对应的先前存储可视信息的方法的概念图；

[0044] 图12A(a)至12D(b)是例示根据示例性实施方式的其中根据利用标记选择的对象的类型来提供不同可视信息或者执行不同功能的各个示例的概念图。

[0045] 图13(a)至13(c)是例示根据示例性实施方式的当利用标记选择的对象不要被识别时的处理方法的概念图；

[0046] 图14(a)至14(d)是例示根据示例性实施方式的用于基于用户的姿势来改变与利用标记选择的对象有关的可视信息的方法的概念图；

[0047] 图15(a)和15(b)是例示根据示例性实施方式的用于通知与利用标记选择的对象有关的可执行功能的方法的概念图；

[0048] 图16(a)至16(d)是例示根据示例性实施方式的用于提供与利用多个标记选择的多个对象有关的可视信息的方法的概念图；以及

[0049] 图17(a)和17(b)是例示根据示例性实施方式的用于与第三人共享创建标记的方法的概念图。

具体实施方式

[0050] 下面，参照附图，根据在此公开的示例性实施方式进行详细描述。为参照附图简要描述起见，相同或等同组件可以设置有相同或相似标号，并且将不重复其描述。一般来说，诸如“模块”和“单元”的后缀可以被用于指部件或组件。在此使用这种后缀仅仅旨在易于描述本说明书，并且该后缀本身不是旨在给出任何具体含义或功能。在本公开中，为简短起见，省略了相关领域的普通技术人员所公知的内容。附图被用于帮助容易理解各种技术特征，而且应当明白，在看此提出的实施方式不限于附图。同样地，本公开应被视为除了在附图中具体出阐述的那些以外还扩展至任何改变例、等同物以及置换例。

[0051] 图1是根据本发明实施方式的眼镜型终端100的框图。

[0052] 该眼镜型终端100被示出有多个组件，如无线通信单元110、输入单元120、感测单元140、输出单元150、接口单元160、存储器170、控制器180以及电源单元190。应当明白，实现全部所示组件不是必要条件，而是可以另选地实现更多或更少组件。

[0053] 下面，参照图1，眼镜型终端100示出了设置有几个通常实现的组件的无线通信单元110。例如，无线通信单元110典型地包括一个或更多个组件，其准许在眼镜型终端100与该眼镜型移动终端100所位于的无线通信系统或网络之间无线通信。

[0054] 无线通信单元110典型地包括准许诸如眼镜型终端100与无线通信系统之间的无线通信、眼镜型终端100与另一移动终端之间的通信、眼镜型终端100与外部服务器之间的通信的通信的一个或更多个模块。而且，无线通信单元110典型地包括连接眼镜型终端100与一个或更多个网络的一个或更多个模块。为了易于这种通信，无线通信单元110包括以下中的一个或更多个：广播接收模块111、移动通信模块112、无线因特网模块113、短距通信模块114以及位置信息模块115。

[0055] 输入单元120包括：用于获取图像或视频的摄像头121、作为用于输入音频信号的音频输入装置的一种类型的麦克风122、以及用于允许用户输入信息的用户输入单元123(例如，触摸键、按压键、机械键、软键等)。数据(例如，音频、视频、图像等)通过输入单元120获取，并且可以根据装置参数、用户命令，及其组合，通过控制器180来分析和处理。

[0056] 摄像头121通常包括至少一个摄像头传感器(CCD、CMOS等)、光电传感器(或图像传感器)，以及激光传感器。实现摄像头121与激光传感器可以允许检测物理对象对3D立体图像的触摸。光电传感器可以层叠在显示装置上或者与其交叠。该光电传感器可以被构造成，扫描与触摸屏接近的物理对象的移动。更详细地说，光电传感器可以包括按行和列的光电二极管和晶体管，以利用根据所施加光的量改变的电信号来扫描在光电传感器处接收的内容。即，光电传感器可以根据光的变化计算物理对象的坐标，由此获取物理对象的位置信息。

[0057] 感测单元140通常利用一个或更多个传感器来实现，该传感器被构造成感测移动终端的内部信息、移动终端的周围环境、用户信息等。例如，感测单元140示出有接近传感器141和照明传感器142。若希望的话，感测单元140可以另选地或附加地包括其它类型传感器或装置，如触摸传感器、加速度传感器、磁传感器、G传感器、陀螺仪传感器、运动传感器、RGB传感器、红外线(IR)传感器、手指扫描传感器、超声传感器、光学传感器(例如，摄像头121)、麦克风122、电池电量计、环境传感器(例如，其中包括：气压计、湿度计、温度计、辐射检测传感器、热传感器，以及气体传感器)，以及化学传感器(例如，电子鼻、健康护理传感器、生物特性传感器等)，仅举几个例子。眼镜型终端100可以被构造成利用从感测单元140获取的信息，并且具体地说，从感测单元140中的一个或更多个传感器获取的信息，及其组合。

[0058] 输出单元150典型地被构造成输出不同类型的信息，如音频、视频、触觉输出等。输出单元150示出有显示单元151、音频输出模块152、触觉模块153、光学输出模块154，以及红外光发射部155。显示单元151可以具有伴随触摸传感器的间层结构或集成结构，以便易于触摸屏。该触摸屏可以在眼镜型终端100与用户之间提供输出接口，并且充任用户输入单元123，其在眼镜型终端100与用户之间提供输入接口。

[0059] 红外光发射部155被构造成产生红外光并且向外投射。为了支持摄像头121的视角范围，红外光发射部155可以在与摄像头121相邻的位置处采用聚集多个红外光发射器件的形式来设置。红外光发射部155可以独立于摄像头121操作，或者可以操作为在驱动摄像头121时产生光。参照附图，对根据本发明的眼镜型终端100的红外光发射部155的排布结构和形式进行更详细说明。

[0060] 接口单元160用作与可以耦接至眼镜型终端100的不同类型的外部装置的接口。该接口单元160例如可以包括以下中的任一种：有线或无线端口、外部电源端口、有线或无线数据端口、存储器卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。在某些情况下，眼镜型终端100可以响应于连接至接口单元160的外部装置，执行与连接的外部装置相关联的分类控制功能。

[0061] 存储器170通常被实现成存储用于支持眼镜型终端100的不同功能或特征的数据。例如，存储器170可以被构造成，存储在眼镜型终端100中执行的应用程序、用于操作眼镜型终端100的数据或指令等。这些应用程序中的一些可以经由无线通信从外部服务器下载。其它应用程序可以在制造或运送时安装在眼镜型终端100内，其通常是针对眼镜型终端100的基本功能的情况(例如，接收呼叫、发出呼叫、接收消息，发送消息等)。对于应用程序来说，常见的是，存储在存储器170中、安装在眼镜型终端100中，并且由控制器180执行以执行针对眼镜型终端100的操作(或功能)。

[0062] 除了与应用程序相关联的操作以外，控制器180通常起作用以控制眼镜型终端100的总体操作。控制器180可以通过处理信号、数据、信息等(其通过所述各个组件输入或输出)，或者启用存储在存储器170中的应用程序，来提供或处理适于用户的信息或功能。作为一个示例，控制器180根据执行已经存储在存储器170中的应用程序，来控制所述组件中的一些或全部。

[0063] 电源单元190可以被构造成，接收外部电力或提供内部电力，以便提供为操作包括在眼镜型终端100中的部件和组件所需的合适电力。电源单元190包括电池，并且该电池被构造成可充电。

[0064] 上述组件中的至少一些可以按协作方式操作，以实现根据稍后要说明的各个实施方式的眼镜型终端的操作或控制方法。该眼镜型终端的操作或控制方法可以通过驱动存储在存储器170中的至少一个应用程序而在眼镜型终端上实现。

[0065] 图2是例示根据本发明实施方式的眼镜型终端200的从不同方向看时的视图。

[0066] 参照图2，眼镜型终端200被构造成像眼镜一样可在用户头部上佩戴，其可以设有框架单元201(或外壳、外罩等)。该框架单元201可以由出于加强可佩戴性的柔性材料形成。

[0067] 该框架单元201由头部支承，并且提供安装不同类型组件的空间。如所示的，可以将诸如控制器280、电源单元290以及音频输出模块的电子组件安装在框架单元201中。用于覆盖左眼和右眼中的至少一个的透镜205可以以可拆除地安装至框架单元201。

[0068] 控制器280被构造成控制眼镜型终端200的不同类型组件。控制器280可以被理解成具有与前述控制器180相对应的构造。在图中，控制器280安装在头部一侧上的框架处。然而，控制器280的位置不限于此。

[0069] 显示单元251可以采用头戴式显示器(HMD)的形式来实现。HMD是指安装至头部的显示器，并且被构造成在用户眼镜前方显示图像。该显示单元251可以被构造成对应于左眼和右眼中的至少一个，使得在用户佩戴了该眼镜型终端200时在用户眼睛前方直接提供图像。在图中，显示单元251与右眼相对应地设置，使得可以朝着用户右眼输出图像。

[0070] 显示单元251可以利用棱镜向用户眼睛投射图像。该棱镜可以被形成为透射的，使得用户不仅可以看到投射图像，而且可以看到一般视野(可通过用户眼睛看到的范围)。

[0071] 向显示单元251输出的图像可以与一般视野交叠。眼镜型终端200可以设置增强现实(AR)，其被构造成交叠虚拟图像至真实图像，或者针对单一图像的背景。

[0072] 摄像头221靠近左眼和右眼中的至少一个设置，并且被构造成拍摄正面图像。因为其靠近用户的眼睛定位，摄像头221可以获取被用户看作图像的场景。

[0073] 在图中，摄像头221设置在控制器280处。然而，本发明不限于此。例如，摄像头221可以安装在框架单元201处。另选的是，摄像头221可以按复数设置，以获取立体图像。

[0074] 眼镜型终端200可以设置有被操纵以输入控制命令的用户输入单元223。该用户输入单元223可以采用允许用户执行诸如触摸、推按、滚动等的操纵的任何触觉方法。在图中，触摸型的用户输入单元223设置在框架单元201处。

[0075] 眼镜型终端200还可以设置有用于接收声音以将该声音处理为电话音数据和振动数据的麦克风，和用于输出声音的声音输出模块。这里，该声音输出模块可以被实现成利用声音输出方法或骨传导方法来传送声音。当声音输出模块利用骨传导方法实现时，声音输出模块可以按和麦克风相同的插入部件设置。

[0076] 眼镜型终端200还可以设置有红外光发射部255，其用于利用至少一个红外光发射器件(例如，IR LED)来产生红外光。红外光发射部255可以与摄像头221相邻地设置，并且向外部发射所产生红外光。为了支持摄像头221的视角范围，红外光发射部255可以在与摄像头221相邻的位置处采用聚集多个红外光发射器件的形式来设置。由红外光发射部255向外部发射的红外光可以在由显示单元251输出的图像的任意位置处扫描。红外光发射部255可以基于预定输入信号改变向外部发射的红外光的位置和方向。

[0077] 下面，参照图3A至图3E和图4A至图4C，对根据示例性实施方式的用于执行操作的红外光发射部255的硬件配置进行详细描述。

[0078] 首先，图3A至图3E是例示其中将红外光发射部255构建在眼镜型终端200中以与眼镜型终端200一体地形成的一个示例的图。

[0079] 如图3A中所示，红外光发射部255可以设置在与设置在框架部件201的右侧处的摄像头221相邻的位置255a处。红外光发射部255还可以设置在框架部件201的中心255b和右侧255c处，以便支持摄像头2221的视角范围。当红外光发射部255如上所述按复数设置时，这些红外光发射部255可以根据预定控制信号选择性地发射光。

[0080] 如图3B所示，红外光发射部255可以允许通过红外光发射器件255_1产生红外光，并将所产生红外光发送至透镜255_2。接着，透镜255_2将红外光转换成平行光，并且通过窗口255_3将所转换平行光发射至外部。向外部发射的红外光在显示单元251上所输出的虚拟图像上扫描。如图3B中所示，红外光发射部255、摄像头221以及显示单元(光学模块和棱镜)251可以顺序地设置在与用户头部左侧相邻的框架部件201和与用户头部前面相邻的框架部件201处。然而，本公开不限于该设置次序，而是可以顺序地设置摄像头221、红外光发射部255以及显示单元251。

[0081] 此时，如上所述，从红外光发射部255发射的红外光在显示单元251上所输出的虚拟图像上按预定形状显示。下面，这种显示将被称作“标记”。该标记可以具有箭头形状或另一对象，例如，点、光标、提示符、轮廓等，但不限于此。

[0082] 标记的形状可以根据窗口255_3的结构和形状，通过人工调节从红外光发射部255发射的红外光的角和量来改变。具体来说，如图3C所示，在透镜255_2的前面安装可替换窗口，由此调节从红外光发射部255发射的红外光的角、方向以及量。这里，该可替换窗口形成具有不同角的路径13，以便具有按不同间隔距离设置的孔，不同地形成外壳10的形状，或者不同地形成红外光穿过分接(taping)部件14的孔的尺寸。因此，如图3D(a)至图3D(d)所示，根据窗口255_3的结构和形状发射的红外光可以具有四边形状(图3D(a))、圆形形状(图3D(b)、图3D(c)或图3D(d))或其它形状。该可替换窗口的外壳10和透镜255_2彼此粘合的部位按对应阶状结构形成(例如，防分离突出部和防分离孔)，使得可替换窗口的外壳10不与透镜255_2分离而是可以固定至透镜255_2。

[0083] 设置在红外光发射器件255_1与窗口255_3之间的透镜255_2可以被形成双透镜结构。在这种情况下，从红外光发射部255发射的红外光的尺寸和形状可以改变。具体来说，如图3E所示，第一透镜255_2a接合至第一框架部件16的两端，并且第一框架部件16可以连接至第二框架部件15，第二透镜255_2b通过诸如联接器的紧固机构接合至该第二框架部件15。第一框架部件16的接合至红外光发射器件255_1的一个端部可以被形成为阶状结构。第一透镜255_2a和第二透镜255_2b随着第一框架部件16与第二框架部件15中的至少一个的旋转而彼此相邻或分开。因此，从红外光发射部255发射的红外光的尺寸和形状可以改变。

[0084] 图4A至图4C是例示其中红外光发射部被形成为可接合至眼镜型终端/从眼镜型终端拆除的示例的图。

[0085] 参照图4A，在眼镜型终端中，其中内建有摄像头421的侧框架部件406可以设置有容纳部件407，该容纳部件中可以安装可接合/可拆除的红外光发射部455。该容纳部件407被形成这样的结构，即，可以沿其长度方向滑动地插入该可接合/可拆除的的红外光发射部455，并且在该容纳部件407的内表面上形成有防分离突出部或阶状结构407_b，接合至红外光发射部455的一个端部。由此，可以防止安装在容纳部件407中的红外光发射部455与容纳部件407分离。

[0086] 如果将红外光发射部455沿第一方向(插入方向)滑入容纳部件407中，则防分离突出部455b插入防分离孔407_b中，使得红外光发射部455可以安装在该眼镜型终端的主体中。另一方面，如果将红外光发射部455沿与第一方向相反的第二方向(抽出方向)滑出容纳部件407，则防分离突出部455_b与防分离孔407_b中分离，使得红外光发射部455可以与该眼镜型终端的主体分离。

[0087] 此时，磁体407_a可以设置在通过接合而彼此接触的容纳部件407的内表面和红外光发射部455的一个侧表面上。在这种情况下，可以较容易执行通过滑动的插入，并且还可以防止红外光发射部455与容纳部件407分离。

[0088] 此时，图4B和图4C例示了结构的一个示例，容纳部件形成在眼镜型终端的侧框架部件中，但该可接合/可拆除的的红外光发射部455安装在框架部件的与摄像头412相邻的上端部位置407A处，或者框架部件的与摄像头421相邻的下端部位置407B处。如图4B和图4C所示，可以将阶状结构的防分离帽形成在与红外光发射部455相接触的框架部件中。然而，该可接合/可拆除的的红外光发射部455的安装结构不限于这些图中所示结构。

[0089] 下面，图5(a)至5(d)示出了例示根据示例性实施方式的、具有上述结构的眼镜型终端200的示例性操作的概念图。

[0090] 参照图5(a)中所示的图，如果在眼镜型终端200中感测到预定输入，例如，利用用户的手输入升高并接着降低眼镜型终端200的框架部件201的姿势，则该眼镜型终端200可以将所感测的输入识别为用于驱动红外光发射部255的控制信号。

[0091] 因此，眼镜型终端200创建与从红外光发射部255发送的红外信号相对应的标记501，并且在显示单元251上输出的画面上输出所创建的标记。在这种状态下，该标记可以以半透明方式或者不透明方式输出，使得用户可以容易地可视标识该标记。该标记可以初始地在显示单元251上的预定区域中输出，例如，在显示单元251的中心。

[0092] 此时，显示单元251的画面输出可以是摄像头221的预览画面510，其在与总视野520交叠的同时实时显示。在这种状态下，当该预览画面510仅被眼镜型终端200的用户观看，标记501也可以被实现成仅被该用户观看。

[0093] 标记501可以按箭头、光标、提示符、轮廓等的不同形状，以及与红外光相对应的点形状来形成。

[0094] 如果标记501显示在预览画面510上，则该标记501可以根据预定输入信号在显示单元251上移动。例如，如果用户利用用户的手指在标记501上执行触摸(如图5(b)所示)，则设置在眼镜型终端200中的摄像头221识别位于标记501处的用户手指。眼镜型终端200控制红外光发射部255的操作，使得标记501根据所识别的手指的移动而显示。

[0095] 在这种状态下，眼镜型终端200可以设置其中标记501可移动的大于预览画面510的整个区域的区域，或者限制于预览画面510的局部区域。当标记501被构造成处于摄像头221的视角范围之外时，可以在显示单元251的一个区域中显示指示标记501的当前位置的指示符，而非标记501。

[0096] 此时，如果标记501被固定至预览画面510中的特定对象(例如，提包图像512)，并且在眼镜型终端200中感测到预定输入信号，则眼镜型终端200仅对标记501所指示的对象512执行图像处理。即，利用标记501将该特定对象512选择为用户感兴趣的对象。

[0097] 例如，如果在将标记501固定至在预览画面510上观看的提包图像512的状态下，输入预定语音信号(例如，“OK！”)(如图5(c)所示)，则眼镜型终端200将标记501所指示的对象(即，提包图像512)选择为用户感兴趣的对象。然而，除了语音信号以外，用于选择该对象的预定输入信号可以根据预定用户姿势、在主体的框架部件的一个区域或虚拟图像上的触摸姿势、用户瞳孔的移动等来产生。

[0098] 因此，利用标记501选择的对象必须存在于摄像头221的识别范围内。标记501执行引导使要选择对象存在于显示单元251中的功能。即，当要利用标记501选择的对象处于摄像头221的识别范围之外但存在于用户视角中时，用户可以基于标记501的当前位置、要选择对象的间隔程度，以及间隔方向来直观地识别要选择对象是否处于显示单元251之外及其程度。

[0099] 因此，用户基于标记501的当前位置，通过将用户的头向左/右/上/下移动或者产生预定输入信号来移动标记501，使得标记501能够在要选择对象上显示。因此，根据该示例性实施方式的眼镜型终端200可以最小化经由用户视野的对象识别范围与经由该终端的对象识别范围之间的差别。

[0100] 如果如上所述由标记501来选择特定对象，则可以将与该选择相对应的显示在显示单元251上输出。例如，眼镜型终端200可以输出对所选择的提包图像512的加亮效果(例如，显示粗线或另一颜色)，对除了所选择提包图像512的背景图像应用阴影效果，或者将所选择提包图像512转换成3D图像并输出所转换的3D图像。如果如上所述选择特定对象，则可以改变标记501的形式(例如，颜色或形状)(501")。

[0101] 如果如上所述利用标记501选择特定对象，则眼镜型终端200可以通过摄像头221来识别所选择的对象，并将所识别对象的图像在显示单元251的一个区域中输出。所识别对象的图像可以在与显示单元251上的对象交叠的同时显示，或者在预定区域中分开显示，例如，在显示单元251的上右侧处。因此，根据该示例性实施方式的眼镜型终端200仅对所选择对象执行图像处理，使得可以缩减为执行该图像处理所花费的时间并且最小化不必要的资源浪费。

[0102] 眼镜型终端200分析所识别对象，并且基于分析结果在显示单元251上输出与所识别对象有关的至少一个可视信息。

[0103] 这里，与所识别对象有关的可视信息的类别或种类可以根据该分析结果来改变。即，眼镜型终端200利用标记501来清楚地指定感兴趣对象，并且通过执行与对应对象有关的功能，来将该用户感兴趣的可视信息显示成与标记501所指示的对象相邻。

[0104] 这里，用户感兴趣的可视信息例如可以是包括姓名、网页、链接信息、相关文本、图像、活动图像等的可视信息(其可以通过对应对象的web搜索而获取)，或者预先存储在眼镜型终端200中的包括与对应对象有关的名称的可视信息、联系地址信息、日历信息等。

[0105] 例如，当由标记501选择的对象是提包图像512(如图5(c)所示)时，与对应提包图像512匹配的包括商标、价格、购买信息等的可视信息作为与所选择提包图像512相对应的用户感兴趣的可视信息可以被输出为弹出图像，如图5(d)所示。

[0106] 在这种状态下，该弹出图像520被实现成随着由标记501选择的对象的移动而一起移动。如果取消选择根据标记510选择的对象，则与该取消相对应地，该弹出图像520可以被实现成从显示单元251上消失。

[0107] 当所选择对象不移动，但随着眼镜型终端200的用户移动，由标记501选择的对象的位置被动地在显示单元251上改变时，该标记510可以通过跟踪所选择对象的当前位置而在所选择对象连续显示。对应弹出图像520可以通过随着标记510的移动而一起移动，与所选择对象相邻地显示。因此，用户感兴趣的可视信息可以连同所选择对象显示，就好像标签接合至所选择对象一样。

[0108] 如图5(d)所示，眼镜型终端200的位置信息还可以被包括在弹出窗口520中。即，有关利用标记510选择的对象的位置信息可以被包括在用户感兴趣的可视信息中。有关利用标记501选择该对象时的时间信息还可以被包括在弹出图像520中。该弹出图像520可以根据所选择对象的种类按复数创建并显示。

[0109] 因此，在本示例性实施方式中，通过与摄像头一起驱动红外光发射器件而在图像上显示标记，使得可以最小化经由用户视野的对象识别范围与经由该终端的对象识别范围之间的差别。而且，仅识别用户感兴趣的对象，由此最小化资源的浪费。而且，与所识别对象有关的可视信息连同指示该标记的标记一起提供，由此向用户提供了便利。

[0110] 此时，如上所述，如果感测到预定输入信号，则眼镜型终端200的控制器280可以通过与摄像头221一起操作发送红外光信号的红外光发射部255来选择特定对象，并且连同所选择对象一起输出与所选择对象有关的可视信息。

[0111] 作为示例，对用于利用与从红外光发射部255发送的红外光信号相对应的标记来选择特定对象，并且显示与所选择对象有关的可视信息的控制方法进行详细描述。

[0112] 下面，图6是例示根据示例性实施方式的眼镜型终端的控制方法的流程图。

[0113] 首先，眼镜型终端200的控制器280感测可在用户头部上佩戴的主体(S610)。

[0114] 该眼镜型终端200对主体在用户头部上佩戴的感测可以通过不同方式来进行。具体来说，该眼镜型终端200可以感测该主体的倾斜和移动、感测施加至该主体的特定点或区域的触摸(或接近式触摸)、分析由设置在该主体中的摄像头221拍照的图像、感测预定输入信号(例如，用户的生物特征信号(例如，脉搏信号等)，或者基于框架部件的温度变化来感测该主体是否佩戴在用户头部上等。

[0115] 接下来，启用设置在主体中的摄像头221，并且将通过摄像头221拍照的第一图像在显示单元251上输出(S620)。

[0116] 在显示单元251上输出的第一图像可以是通过与用户所观看的正面视野交叠而输出的预览画面或者虚拟图像。即，该第一图像是用户实时观看的场景中的局部图像。该第一图像可以根据用户的移动而实时改变。

[0117] 接下来，被构造成按预定距离与该主体的摄像头221隔开的红外光发射部被启用，并且在所输出的第一图像上显示与从红外光发射部255发射的红外光信号相对应的显示，即，标记(S630)。

[0118] 这里，该标记的形状不受限。例如，该标记可以具有点、提示符、光标、箭头等形状。如参照图3C至图3E所述，该标记的形状可以根据窗口255_3的外壳10的形状、分接部件14的间隔程度，或者窗口255_3的双透镜结构而改变成另一形状。

[0119] 这里，红外光发射部255被构造成利用一个或更多个红外光发射器件来发送红外光。该红外光发射部255与摄像头221相邻地设置，以便支持摄像头221的视角。如参照图4A至图4C所述，红外光发射部255可以被形成为可接合至主体/从主体拆除。该红外光发射部255可以独立于摄像头221的操作来驱动，或者被实现成在感测到单独输入信号时操作。

[0120] 与所发送红外光相对应的标记可以初始地显示在预定区域中，例如，在显示单元251的中心处。如果感测到预定第一输入信号，则控制器280可以根据第一输入信号控制该标记在显示单元251中移动。

[0121] 这里，第一输入信号是用于改变标记的位置的用户输入。第一输入信号可以是预定语音信号(例如，“移动”)、主体上的触摸姿势、用户瞳孔的移动，以及预定用户姿势中的至少一个。第一输入信号可以包括用于改变标记的位置的开始和结束信号。例如，当第一输入信号是标记上的触摸姿势时，该标记上的向下触摸事件可以成为开始信号，而在将标记拖拽至希望位置之后执行的向上触摸事件可以成为结束信号。

[0122] 接下来，控制器280响应于感测到第二输入信号，控制摄像头221的操作，以获取存在于显示该标记的位置处的对象的第二图像(S640)。

[0123] 这里，该第二输入信号是用于选择和提取该标记所指示的对象的用户输入。例如，第二输入信号可以是预定语音信号(例如，“选择”)、主体上的触摸姿势、用户瞳孔的移动(例如，当用户的瞳孔针对该标记固定达特定时段时)，以及预定用户姿势中的至少一个。

[0124] 该标记所指示的对象包括存在于显示该标记的区域中的所有对象，包括独立的人、物体等。例如，当该标记显示在特定人的脸上时，该对象变为该“特定人”。另外，该标记所指示的对象意指由该标记所指定的最小范围中的独立对象。例如，当该标记显示在车辆的特定部分(例如，车轮)上时，该对象不是成为该车辆，而是变为“车轮”。

[0125] 所获取第二图像可以在交叠在具有显示在其上的标记的对象上的同时显示，或者单独显示在显示单元的一个区域中。

[0126] 此时，所获取第二图像可以在第二图像的分辨率或照明强度根据对应对象与显示单元251之间的间隔距离来改变的状态下输出。

[0127] 为此，控制器280可以基于所选择对象与显示单元251之间的间隔距离，确定是否执行该摄像头的放大或缩小功能，并且在第一图像上输出与执行该放大或缩小功能相对应的图像。因此，用户可以接收该对象的进一步改变其分辨率的图像(放大功能)，或者进一步接收环绕该对象的图像(缩小功能)。

[0128] 控制器280可以基于用户输入来执行标记显示、利用标记选择对象、所选择对象的预览功能等。

[0129] 具体来说，控制器280可以响应于感测到第一输入，创建与红外光相对应的标记，并且在显示单元251的一个区域中显示所创建标记。如果感测到第二输入，则控制器280可以选择存在于显示该标记的区域中的对象，并且在显示单元251上输出与该选择相对应的显示。

[0130] 这里，第一输入和第二输入可以利用相同输入方法或相似输入方法来实现。例如，控制器280可以分析输入语音信号，并且处理所分析语音信号，作为与第一输入(“标记”)或第二输入(“选择”)中的任一个相对应的输入信号值。

[0131] 与该选择相对应的显示是能够可视地区分存在于显示该标记的区域中的对象与周围图像的显示。例如，可以改变第二图像的尺寸或颜色，使得所选择对象被强调。另外，可以将与该选择相对应的显示在作为语音信号(例如，“点击”)输出。

[0132] 接下来，控制器280通过分析第二图像产生与所获取的第二图像有关的可视信息，并且提供所产生的可视信息连同所选择的对象(S650)。

[0133] 控制器280可以基于第二图像的分析结果不同地确定与所获取的第二图像有关的可视信息的类别、种类以及量。

[0134] 作为示例，如果第二图像是特定人的面部，则基于该分析结果，控制器280可以通过从眼镜型终端200检测匹配至该面部图像的姓名、职务、身份、近期日程信息等来产生可视信息。作为另一示例，如果第二图像是鞋子的图像，则基于该分析结果，控制器280可以利用通过在网页中搜索匹配该鞋子的图像的商标、价格、购买信息、购买地点等而获取的结果来产生可视信息。

[0135] 该可视信息可以被输出为与该对象相邻的位置处的弹出图像，例如，语音气泡。为了最小化对画面的覆盖，该可视信息可以被实现成初始显示为相关简写或符号，并接着当在对应简写或符号上感测到触摸姿势时输出为特定可视信息。

[0136] 当所选择对象周围存在大量相似或相同对象时，控制器280可以限制与该对象有关的可视信息的量。即，当所选择对象周围存在可通过该标记选择的大量对象时，控制器280可以决定该用户将在较短时段选择多个对象，并且仅提供该用户最感兴趣的最少信息(例如，当所选择对象是“提包”时，有关“因特网上最低价格”的信息)。这里，控制器280信息处理时间置于该信息量之前。

[0137] 如果感测到第三输入，则控制器280可以在与第一图像相区别的区域中显示所选择对象的第二图像和与该第二图像有关的可视信息，并且在显示单元251上输出的第一图像上显示新标记。即，控制器280可以在显示单元251的单独区域中显示先前选择对象，并且利用该标记选择另一对象。

[0138] 这里，该第三输入可以利用和第一输入与第二输入相同或相似的方法来实现。例如，控制器280可以分析输入的语音信号，并且处理所分析的语音信号，作为与第三输入相对应的输入信号值(“下一个”)。

[0139] 图7(a)至图7(d)是例示根据示例性实施方式的用于执行用于获取与选择对象有关的可视信息的标记功能的方法和用于取消执行该标记功能的方法的示例的概念图。

[0140] 如果接收到与预定输入相对应的第一控制信号，则控制器执行在显示单元251上所输出的第一图像上显示标记的标记功能。

[0141] 例如，如果眼镜型终端200的用户执行升高主体的框架部件的一个区域(例如，显示单元251的、与用户双眼之间的空间相对应的空间区域205)的姿势(如图7(a)所示)，则控制器将该姿势处理为第一控制信号。因此，设置在主体中的红外光发射部件255可以被启用以输出红外光。另外，表示开始执行该标记功能的画面70可以在显示单元251上输出。

[0142] 如果执行该标记功能，如图7(b)所示，则将点状标记显示在显示单元251上所输出的预览画面710的中心处。如图7(c)所示，用户可以通过将用户的头部向上/下/左/右移动，或者在所显示标记上执行触摸姿势，而控制标记701设置在感兴趣对象上，例如预览画面710"上的提包。

[0143] 接下来，如果接收到与预定输入相对应的第二控制信号，则控制器可以结束该标记功能的执行，使得该标记在显示单元251上所输出的第一图像上消失。

[0144] 例如，如果眼镜型终端200的用户在执行标记功能期间沿一个方向滑动主体的框架部件的触摸传感器，则控制器可以将触摸传感器206的滑动识别为第二控制信号。因此，如图7(d)所示，通知结束执行该标记功能的画面70"可以在显示单元251上输出。由此，在显示单元251上输出的标记消失。

[0145] 当用户在将标记显示在显示单元251的一个区域中的状态下，通过触摸该标记来执行向显示单元251的外部发送该标记的姿势(如图7(b)或图7(c)所示)时，控制器还可以控制使得在显示单元上输出的标记消失。另外，结束执行该标记功能。

[0146] 图8A(a)至图8B(c)是例示根据示例性实施方式的用于在画面上显示利用标记识别的对象的方法的概念图。

[0147] 用于利用标记选择在显示单元251上显示的对象的方法可以不同地实现。

[0148] 例如，控制器可以基于预定用户姿势，改变标记的位置和尺寸中的至少一个。控制器可以基于标记的所改变位置和尺寸中的所述至少一个来改变选择的对象。

[0149] 例如，如果在显示单元251中输出根据标记801选择的提包图像801和匹配至该提包图像815的包括商标、价格信息等的可视信息815的状态下，输入预定输入信号，例如，语音信号“OK”)(如图8A(a)所示)，则在显示单元251的第一区域251a中连续输出预览画面，如图8A(b)所示，而在与第一区域251a相区别的第二区域251b中显示所选择提包图像810。标记801再次显示在第一区域251a的中心处。

[0150] 在这种状态下，如果用户通过利用多个手指触摸标记801来执行张开(pinch-out)姿势输入(如图8A(c)所示)，则标记801的尺寸与张开姿势输入的程度成比例地增加(例如，两个手指之间的间隔距离，张开姿势输入的数量等)。同样地，可以利用尺寸增加的标记801"同时选择多个对象820和830。例如，如果用户输入了语音信号，即，“OK”(如图8A(c)所示)，则可以同时显示分别对应于所选择第一对象820和第二对象830的第一可视信息825和第二可视信息835。

[0151] 此时，如果将合拢(pinch-in)姿势输入施加至尺寸增加的标记801"，则控制器可以通过减小标记的尺寸来显示该标记。因此，还减小了由标记801选择的对象的范围或数量。

[0152] 尽管图8A(a)至图8A(d)中未示出，但用于改变标记的位置或尺寸的输入方法不限于上述触摸姿势。例如，如果在其中显示标记的状态下输入语音命令，即，“大”，则控制器可以通过增加标记的尺寸来显示该标记。如果在其中显示标记的状态下输入语音命令，即，“小”，则控制器可以通过减小标记的尺寸来显示该标记。控制器可以通过跟踪用户瞳孔的移动来改变标记的显示位置。

[0153] 控制器可以将标记固定在显示单元251的预定区域中，例如，显示单元251的中心处，并且识别进入该预定区域的对象，由此显示与该对象有关的可视信息。

[0154] 例如，如果根据显示在预览画面中心处的标记801识别车轮的图像840(如图8B(a)所示)，则与车轮的图像840相邻地显示包括对应可视信息(例如，该车轮的名称、商标等)的弹出图像845。如果与车轮的图像840相对应的车辆在其中标记801固定在画面中心处的状态下移动，则由标记801识别的图像(如图8B(b)所示)可以从车轮的图像840改变成整个车辆的图像850。因此，与车辆的图像850相邻地显示与车辆的图像850有关的可视信息855。当恰好先前识别图像和当前识别图像具有图像的一部分与整个图像之间的关系时，可以连续显示与先前识别部分的图像有关的可视信息845。

[0155] 接下来，如果由标记801识别的对象在其中标记801连续固定在画面中心处的状态下被改变成完全不同的对象，则显示与显示单元251的第一区域251a中由标记801最近识别的对象的图像相对应的可视信息，和由标记801先前识别的对象的图像，如图8A(b)所示。

[0156] 图9(a)至9(c)是例示根据示例性实施方式的用于输出有关与利用标记选择的对象有关的可视信息的详细信息的方法的概念图。

[0157] 如果通过该标记选择特定对象图像，则控制器将与所选择的对象图像有关的可视信息显示成与所选择的对象图像相邻。如果在输出可视信息的区域中感测到预定触摸姿势，则控制器可以在显示单元251上输出有关该可视信息的详细信息。

[0158] 这里，有关该可视信息的详细信息的内容可以基于所选择的对象图像的分析结果和包括在该可视信息中的信息来确定。例如，当所选择的对象图像是提包图像910，并且提供匹配至该提包图像910的商标和价格信息的弹出图像915作为可视信息(如图9(a)所示)时，当用户在显示该弹出图像915的区域中执行触摸姿势时，弹出与该弹出图像915有关的详细信息图像918，如图9(b)所示。这里，已经例示了用户可以购买所选择提包图像910的多个网站，但本公开不限于此。

[0159] 如果在所弹出详细信息图像918中的至少一个项上感测到触摸姿势(如图9(b)所示)，则控制器可以控制显示单元251移动至与感测到该触摸姿势的项相对应的网页画面902。即，在显示单元251上输出特定网页画面作为虚拟图像，以代替用户实际上观看的预览画面。

[0160] 这里，该特定网页画面可以是自动执行用户的登录处理的画面。即，当用户佩戴眼镜型终端200时，用户认证处理可以自动执行，或者通过语音认证来执行。如果先前书签化该移动特定网页，则可以省略用户所执行的单独的登录处理。因此，如图9(c)所示，可以立即购买与所选择的对象图像910匹配的产品。

[0161] 此时，控制器可以执行跟踪利用标记选择的对象的功能。下面，图10(a)至10(d)是例示用于跟踪利用标记选择的对象的方法的概念图。

[0162] 如上所述，该标记仅在摄像头可以识别的显示单元251中显示。然而，尽管由标记选择的对象移动并且从显示单元251消失，但可能需要识别所选择对象的位置达特定时段。当已经消失的对象再次在显示单元251上找到时，与该对象有关的可视信息紧接着该对象优选显示。

[0163] 因此，控制器可以控制该标记在显示单元251上随同所选择对象移动。而且，即使将标记固定在显示单元251的中心处，控制器也可以控制与所选择对象有关的可视信息随同对应对象移动。在这种状态下，如果由标记选择的对象处于显示单元251之外，则该标记不能随同所选择对象显示。

[0164] 如果由该标记选择的对象在基于显示单元251的预定范围之外，则可以在显示单元251的一个区域中输出表示其中所选择对象在该预定范围之外的程度和位置的指示符。随后，如果所选择对象再次进入显示单元251的预定范围中，则控制器可以控制该标记再次随同所选择对象一起显示。

[0165] 例如，如果由固定在画面中心处的标记1001选择特定人的图像1010(如图10(a)所示)，则与所选择特定人有关的可视信息(例如，该人的姓名)与对应于该选择的显示一起显示，作为显示单元251上的弹出图像1015。

[0166] 如果如上所述由标记1001来选择特定图像，则可以启用标记1001的移动功能。即，标记1001不固定在该画面中心，而是随同所选择人的图像1010显示，如图10(b)所示。另外，包括与所选择的人有关的可视信息的弹出图像1015也随同该人的图像1010显示。

[0167] 如果所选择人的图像在摄像头221的识别范围(即，显示单元251)之外，则控制器可以估计所选择人的图像在显示单元251之外的程度和位置，并且将标记1001改变成表示该人的所估计位置的指示符1002。即，如图10(c)所示，可以显示指示其中所选择人处于画面之外的点的箭头图像1002，以代替标记1001。在这种状态下，与所选择人的图像有关的可视信息1015可以与箭头图像1002一起连续显示。

[0168] 该指示符可以与所选择对象处于显示单元251之外时的时间成比例地改变成另一形状。例如，该箭头图像的长度可以与该特定人处于显示单元251之外时的时间成比例地增加。如果经过了预定时间(例如，五分钟)，则控制器可以控制与该指示符和所选择对象有关的可视信息不再显示在显示单元251上。

[0169] 由标记选择的对象和与所选择对象有关的可视信息可以存储在眼镜型终端的选择区域中。

[0170] 具体来说，控制器可以响应于感测到预定输入信号(例如，语音信号，即，“存储”)，来控制将由标记选择的对象和与所选择对象有关的可视信息存储在所选择区域中。这里，所选择区域可以是存储器170的单独区域，并且存储在针对所选择对象的类别的不同文件夹中。

[0171] 图11(a)至图11(c)是例示根据示例性实施方式的用于在识别与先前存储对象图像相对应的对象时提供与对应于先前存储对象图像的对象有关的可视信息的方法的概念图。

[0172] 该控制器可以利用该标记来检测与先前存储在显示单元251上所输出的预览画面上的对象图像相对应的对象。即，控制通过实时匹配存在于其中显示该标记的区域中的对象与先前存储对象图像，来决定通过该标记指示的对象图像是否与先前选择对象图像相同。

[0173] 为此，眼镜型终端200可以自动执行对象搜索功能，或者预先通过用户输入执行对象搜索功能。在这种情况下，如图11(a)所示，表示对象正在被搜索的可视信息1105可以在显示单元251上输出。

[0174] 该控制器可以基于用户输入来选择要在先前存储对象图像中搜索的特定对象图像或特定类别。在这种情况下，控制器控制由标记选择的特定对象使得仅匹配至要搜索的特定对象图像或类别。

[0175] 如果由标记找到了匹配至先前存储对象图像的对象图像，则控制器向显示单元251提供匹配至表示该检测的警告的先前存储可视信息。这里，表示该检测的警告可以采用消息1108的形式输出(诸如“找到了你想买的提包”)，如图11(b)所示。另选的是，可以输出预定引导语音，或者可以将加亮效果(例如，闪烁效果、颜色变化、尺寸或透明度、立体效果等)输出至在画面上观看的对象图像。当成功执行了搜索时，标记的形状可以改变为不同的形状(1102)，如图11(b)所示。如图11(c)所示，与所搜索提包图像1120有关的先前存储的可视信息1125与该提包图像1120相邻地显示。

[0176] 此时，控制器可以更新与存储在所选择区域中的对象图像有关的可视信息。

[0177] 具体来说，如果从外部服务器或外部装置接收的数据，或者输入至眼镜型终端200的信息是与存储在所选择的区域中的对象图像有关的更新信息，则该控制器可以基于所接收的更新信息，来改变与所存储对象图像有关的可视信息。例如，当所存储对象图像是特定人，并且与该特定人相对应的终端的地址信息改变时，控制器可以将与所选择的对象图像有关的可视信息更新成包括所改变地址信息。每当标记功能执行，可以执行该更新。

[0178] 在图11(a)至图11(c)中，基于先前存储在所选择的区域中的对象图像来搜索要利用标记搜索的对象的情况已经作为示例进行了例示，但本公开不限于此。利用标记的搜索功能可以利用通过web搜索指定的对象图像、存储在眼镜型终端中的照片图像等作为目标来执行。

[0179] 图12A(a)至图12D(b)是例示根据示例性实施方式的根据利用标记选择的对象的类型来提供的可视信息或者执行的功能的各个示例的概念图。

[0180] 与利用标记选择的对象图像有关的可视信息的内容、量以及显示方法可以根据所选择对象的类型不同地确定。

[0181] 与该对象图像有关的可视信息可以包括与该对象图像有关的功能的执行对应的可视信息。更具体地说，与所选择的对象图像有关的可视信息可以包括以下中的至少一种：所选择的对象图像的拍摄图像、匹配至所选择的对象图像的web搜索结果、与所选择的对象图像相对应的应用的安装信息、与所选择的对象图像有关的处理的引导信息、与所选择的对象图像相对应的对象的位置信息，以及与所选择的对象图像相对应的外部装置的控制信息。

[0182] 控制器可以改变在显示单元251上显示的标记的形状以对应于与该对象图像或者该功能的类别或类型有关的可视信息。

[0183] 例如，该标记初始显示为斑点图像，并且在执行针对所选择的对象图像的web搜索功能时改变成放大镜图像。如果所显示可视信息是所选择的对象图像的价格信息，则将该标记改变成“$”图像，使得用户可以直观地识别所提供的可视信息的类别。

[0184] 图12A(a)和12A(b)例示了其中眼镜型终端200的用户在高尔夫球场中使用标记功能的示例。

[0185] 如图12A(a)所示，该标记可以跟踪显示单元251上的“用户的高尔夫球”的位置。如果作为该跟踪结果确定“用户的高尔夫球”处于显示单元251之外，则将该标记改变成箭头图像1202，其是指示“用户的高尔夫球”处于显示单元251之外的点的指示符，并且将包括与“用户的高尔夫球”有关的可视信息的弹出图像1225，即，文本“我的球”与箭头图像1202相邻地显示。

[0186] 当该标记已经在显示单元251上找到“用户的高尔夫球”时，标记1201再次显示在“用户的高尔夫球”的图像上，如图12A(b)所示。如果在显示单元251上搜索到“用户的高尔夫球”的图像，则该标记可以跟踪在显示单元251上显示的“高尔夫球洞”的位置。另外，基于所搜索的“用户的高尔夫球”的位置信息(相对高尔夫球洞的距离和方向)和环境信息(例如，风向等)，在高尔夫球洞的图像上提供对用户有用的可视信息1235。例如，如图12A(b)所示，采用弹出图像的形式提供与高尔夫有关的可视信息1235，诸如推荐的高尔夫俱乐部、至高尔夫球洞的距离，以及当前风向。

[0187] 图12B(a)和12B(b)例示了其中眼镜型终端200的用户在“车辆”中使用标记功能的示例。

[0188] 如图12B(a)所示，如果将标记1201固定至在显示单元251上显示的车辆的方向盘图像1240，则与该方向盘图像1240地相邻地显示与该方向盘图像1240有关的可视信息，例如，表示文本“方向盘”的弹出图像。如果在执行车辆启动之前将标记1201固定至该车辆的方向盘图像1240达预定时段，则控制器将固定的标记1201识别为用于驾驶该车辆的“触发信号”。即，与由该标记选择的方向盘图像1240有关的车辆驾驶引导信息可以按先前存储次序输出。

[0189] 例如，如图12B(b)所示，该弹出图像1245被改变成引导用于执行车辆启动的操作的可视信息，即，诸如“请启动你的车”的弹出消息1245"。另外，可以将标记1201改变成指示与启动车辆有关的对象的位置的指示符，即，显示单元251上的箭头图像1202。当由标记选择的对象图像是引导用户的连续操作的触发对象时，可以将与该连续操作相对应的可视信息顺序地显示在显示单元251上。

[0190] 类似的是，当所选择的对象图像是室内空调机时，在将该标记显示在空调机的一特定点(例如，电源按钮)上时，控制器可以产生用于操作该空调机的触发信号并将所产生触发信号发送至该空调机。

[0191] 下面，图12C(a)至12C(c)例示了其中当由标记选择的对象是特定人时执行名片功能的示例。

[0192] 如果由标记1203选择的对象是特定人1250(如图12C(a)所示)，则可以将标记的形状改变成与名片功能相对应的标记1203。例如，初始图像的尺寸可以与所选择特定人1250的面部的尺寸成比例地增加，以便提取该特定人的面部。

[0193] 如图12C(b)所示，与由该标记1203选择的特定人1250有关的可视信息可以根据该用户和/或所选择特定人1250的语音内容来确定。例如，当所选择特定人1250说“我是辛经理(I’m a chief department manage Shin)”和“我们要在明天十点开会，不是么？(We’re going to have a meeting at 10o’clock tomorrow,aren’t we？)”时，眼镜型终端200基于对应语音内容，产生与所选择特定人1250有关的可视信息，例如，包括该人的姓名、最新日程信息等的弹出图像1255，并且将所产生可视信息与该特定人1250相邻地显示。在这种状态下，如果用户输入语音信号，即，“存储”，则所选择特定人1250的图像和与该图像有关的可视信息被存储在名片应用、地址应用等中。

[0194] 图12D(a)和图12D(b)例示了其中当由标记选择的对象是安装在外部装置中的应用的图标时，执行对应应用的安装功能的示例。

[0195] 当标记1201被固定至在外部终端的显示器上输出的特定应用的图标1270(如图12D(a)所示)时，可以输出与安装该应用有关的消息1275作为与该应用的图标1270有关的可视信息。作为示例，如果用户输入语音信号，即，“OK”，则将与图标1270相对应的应用
1270"从云服务器自动下载至连接至眼镜型终端200的终端100中，如图12D(b)所示。作为另一示例，可以“复制”与该外部终端相对应的应用，并且可以将所复制的应用直接粘贴在连接至该眼镜型终端的终端中。

[0196] 图13(a)至图13(c)是例示根据示例性实施方式的当利用标记选择的对象将不被摄像头221识别时的处理方法的概念图。

[0197] 如上所述，通过摄像头221观看的对象识别范围不同于用户所示观看的对象识别范围。即，用户的视角中观看的对象可以处于摄像头221的识别范围之外。尽管对象处于在摄像头221的识别范围内，但该对象周围的照明强度或该对象的图像的分辨率较低，并由此，不能识别该图像。

[0198] 因此，如果决定存在于其中显示该标记的区域中的对象无法识别，则控制器180不再在显示单元251上显示该标记，而是在显示单元251上输出表示无法在由该标记选择的对象的图像上执行处理的消息。

[0199] 例如，图13(a)例示了其中对由标记1301选择的酒瓶进行图像处理，使得将包括商标和生产地点的弹出图像输出为与所选择酒瓶有关的可视信息的情况。图13(b)例示了其中因为由标记选择的酒瓶距离显示单元251太远，所以不执行对所选择酒瓶的图像处理，而输出表示“信息识别失败”的消息1315的情况。图13(c)例示了其中因为由标记选择的酒瓶的环境照明强度太暗，所以不执行对所选择酒瓶的图像处理，而输出表示“无法执行图像处理”的消息1325的情况。在图13(b)和13(c)中，显示的标记消失或者在显示单元251上半透明示出(1302或1303)。

[0200] 此时，用户可能希望接收与由标记选择的对象图像有关的另一类别的可视信息。例如，当由标记选择的对象是提包图像时，“商标和价格信息”初始地设置为可视信息，但用户可能希望接收有关“具有对应提包的名人”的信息。

[0201] 因此，图14(a)至图14(d)例示了根据示例性实施方式的用于基于用户的姿势来改变与利用标记选择的对象有关的可视信息的方法。

[0202] 如果在显示单元251上所输出的预览画面上由标记选择了特定对象，则与所选择的对象有关的可视信息与该对象相邻地显示。在这种状态下，控制器可以感测施加至眼镜型终端200的主体的触摸姿势。例如，该触摸姿势可以是沿一个方向滑动设置有触摸传感器的主体框架部件的触摸姿势。然而，本公开不限于此。

[0203] 控制器可以响应于感测到该触摸姿势来控制在显示单元251上先前输出的可视信息从显示单元消失，并且在显示单元251上输出与对应于所感测触摸姿势的功能的执行对应的另一可视信息。这里，该另一可视信息意指与执行和所选择对象有关的另一功能相对应的可视信息，并且该另一功能的种类和应用次序可以根据所选择对象的类型改变。

[0204] 例如，如果用户在输出匹配至与由标记1401选择的提包图像1410有关的可视信息的商标、价格信息、经销商位置等(如图14(a)所示)的状态下，沿一个方向(如图14(b)所示)滑动眼镜型终端200的框架部件，则输出与执行下一功能相对应的可视信息。因此，如图14(c)所示，输出与执行“搜索具有对应商标的另一提包的功能”相对应的可视信息1425，并且具有斑点图像的标记1401的形状被改变成与所改变功能相对应的形状，例如，具有星状图像的标记1402。如果用户再一次滑动眼镜型终端200的框架部件，则输出与执行“相关新闻搜索功能”相对应的可视信息1435，并且还将具有星星图像的标记1402改变成具有文本图像的标记1403，即，“新(NEW)”，如图14(d)所示。

[0205] 为了改变与由标记选择的对象有关的可视信息，可以将与所选择对象有关的可执行功能预先提供给用户。

[0206] 因此，图15(a)和图15(b)是例示根据示例性实施方式的用于通知与利用标记选择的对象有关的可执行功能的方法的概念图。

[0207] 在图15(a)和图15(b)中，如果由标记1501选择了特定对象，则与所选择的对象有关的可执行功能的项目列表1510被弹出。不能在所弹出的项目列表1510中执行的功能可以按停用状态显示。当选择了项目列表1510中的“图像分析”功能时，与所选择的对象的分析相对应的web搜索结果，即，包括该对象的名称、商标、价格信息等的可视信息与所选择图像1520相邻地显示。

[0208] 此时，在上面的描述中，已经例示了利用显示在显示单元251上的一个标记来选择对象、跟踪所选择的对象，以及显示与所选择的对象有关的可视信息的示例。下面，对用于利用多个标记来选择对象、跟踪所选择的对象，或者显示与所选择的对象有关的可视信息的方法进行描述。

[0209] 图16(a)至图16(d)例示了根据示例性实施方式的用于提供与利用多个标记选择的多个对象有关的可视信息的方法。为此，根据该示例性实施方式的眼镜型终端200可以具有多个红外光发射部，并且每个红外光发射部都可以被独立地驱动。

[0210] 在这种情况下，控制器可以感测在由第一标记选择了特定对象图像的状态下输入与执行标记功能有关的预定输入信号。例如，如果在其中由第一标记1601选择特定人1610的状态下从用户输入语音命令，即，“标记”(如图16(a)所示)，则将第二标记1602创建成在显示单元251上显示，如图16(b)所示。

[0211] 即，如果与标记功能的执行有关的预定输入信号被输入，则控制器可以在保持显示第一标记的同时控制将第二图像最新显示在显示单元251上。

[0212] 作为示例，控制器可以控制第一标记连续跟踪与先前选择对象图像相对应的对象的位置，并且根据预定输入信号来控制最近创建的第二标记以选择在显示单元251上输出的预览画面上存在的另一对象。为此，第一红外光发射部可以匹配至第一标记，而第二红外光发射部可以匹配至第二标记。当由第二标记选择的人处于画面之外(如图16(c)所示)时，第二标记可以改变成指示其中该对应人处于显示单元251之外的点的指示符。作为另一示例，第一标记可以是除了第一标记显示在一对象图像上之外不执行其它功能的虚拟标记，而仅最近创建第二标记可以执行实际标记功能。

[0213] 每当在显示单元251上搜索预定类型的对象，控制器可以控制创建新标记。例如，如果在第一标记1601"和第二标记1602分别跟踪特定人的同时在显示单元251上出现新的人(如图16(d)所示)，则控制器可以识别该对象的类型是通过现有标记指定的对象的同一类型，并且控制在新的人类图像上创建第三标记1603。在这种状态下，有关通过相应标记指定的可视信息1615、1625以及1635可以从先前存储在眼镜型终端中的地址信息中搜索，或者基于这些人的语音内容来产生。

[0214] 根据该示例性实施方式的所创建标记利用人眼不可见的红外波长频带通过红外光来显示。因此，该标记仅被该用户观看。然而，该标记可以被佩戴另一眼镜型终端的第三人观看。

[0215] 图17(a)和图17(b)是例示根据示例性实施方式的眼镜型终端的用户与第三人共享标记或者隐藏该标记的方法的概念图。

[0216] 控制器可以根据眼镜型终端200的设置信息改变与红外光发射部255的操作有关的设置信息。在这种情况下，控制器可以基于预定设置信息，控制至少一个红外光发射部255的操作，以改变从红外光发射部255发送的红外信号的颜色、尺寸、形状以及外部识别。

[0217] 具体地，与外部识别标记有关，控制器可以将该标记构造成针对所有第三人识别，将该标记构造成仅针对佩戴该眼镜型终端的第三人识别，或者将该标记构造成仅针对该用户识别。这可以通过人工改变从红外光发射部255发射的红外光的波长频带来实现。

[0218] 例如，当标记1701在设置信息中被构造成通过佩戴该眼镜型终端的用户A、佩戴另一眼镜型终端的用户B，以及未佩戴眼镜型终端的用户C观看(如图17(a)和17(b)所示)时，标记1701和由标记1701选择的对象1710被所有这些用户识别。当该标记在设置信息中被构造成仅被用户A和用户B观看时，标记1701和由标记1701选择的对象1710可以被佩戴眼镜型终端的用户识别。即，仅佩戴眼镜型终端的用户可以共享与所选择对象有关的信息。

[0219] 如上所述，根据本公开的眼镜型终端，摄像头和红外光发射器件一起被驱动，使得可以最小化经由用户的实际视角的对象识别范围与经由该终端的对象识别范围之间的差别。而且，用户选择性地执行仅与用户所感兴趣的对象有关的图像处理，使得可以缩减为执行该图像处理所花费的时间并且最小化不必要的资源浪费。

[0220] 根据本公开的眼镜型终端，该终端的用户所感兴趣的对象利用红外光发射器件来识别，并且用户提供仅有关所识别对象的、该用户所希望的可视信息，或者提供其中自动执行与该对象有关的功能的用户便利性。因此，最小化显示的复杂性。而且，当该终端的用户所感兴趣的对象处于终端的视角之外时，该对象的位置可以利用红外光发射器件连续跟踪。而且，指示一特定对象的标记可以根据用户设置而构造成仅被该用户观看，而且在需要时多个人可以共享该标记。

[0221] 前述实施方式和优点仅仅是示例性的，而不应视为对本公开的限制。本教导可以容易地应用至其它类型的装置。本描述旨在例示，而非限制权利要求书的范围。本领域技术人员应当清楚许多另选例、修改例，以及变型例。在此描述的示例性实施方式的特征、结构、方法，以及其它特性可以按各种方式组合，以获取附加和/或另选示例性实施方式。

[0222] 由于在不脱离本发明的特征的情况下可以按几种形式具体实施本特征，因而，应当明白，上述实施方式不限于前述描述的任何细节，除非另外进行了规定，而相反，应当在其如所附权利要求书中所限定的范围内广泛构造，并由此，落入权利要求书的界限内的所有改变和修改，或这种界限的等同物都被所附权利要求书所涵盖。