用于通信的方法和装置转让专利

申请号 : CN201480035609.0

文献号 : CN105325049B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 姜赫金炅泰诸成民

申请人 : 三星电子株式会社

摘要 :

一种在第一电子装置与第二电子装置之间通信的系统,包括:在第一装置中,从第二装置接收由第二装置获取的语音代表信息和将被用于与第二装置建立通信链路的指示通信的特征的连接信息。所述系统将所述语音代表信息与预定的参考语音代表信息进行比较并且响应于将所述语音代表信息与所述参考语音代表信息进行比较,通过使用从第二装置接收的所述连接信息来与第二装置建立通信链路。

权利要求 :

1.一种在第一装置与第二装置之间通信的方法,包括:

由第一装置的通信单元从第二装置接收语音代表信息和用于在第一装置与第二装置之间建立通信链路的指示通信的特征的连接信息,其中,第二装置广播所述语音代表信息;

由第一装置将接收的所述语音代表信息与存储在第一装置中的预定的参考语音代表信息进行比较,以确定接收的所述语音代表信息和存储在第一装置中的所述参考语音代表信息之间的相似度;

响应于将所述语音代表信息与所述参考语音代表信息进行比较,基于从第二装置接收的所述连接信息来建立第一装置与广播所述语音代表信息的第二装置之间的通信链路,其中,与第二装置的通信链路是响应于确定的相似度大于等于预定值而建立的。

2.如权利要求1所述的方法,其中,接收所述语音代表信息和所述连接信息的步骤包括:经由第一装置的麦克风接收包括所述语音代表信息和所述连接信息的声音信号。

3.如权利要求2所述的方法,其中,所述语音代表信息和第二装置的所述连接信息被插入到声音信号的不可听范围和可听范围中的至少一个范围之内并被第二装置广播。

4.如权利要求1所述的方法,其中,接收所述语音代表信息和所述连接信息的步骤包括:经由短距离通信和移动通信中的至少一种来接收所述语音代表信息和第二装置的所述连接信息。

5.如权利要求1所述的方法,其中,所述语音代表信息包括以下项中的至少一项:第一装置的标识信息、用于控制第一装置的控制信息和用于控制第一装置和第二装置的控制信息。

6.如权利要求1所述的方法,其中,接收所述语音代表信息的步骤包括接收以下项中的至少一项:表示原始语音代表信息的数据和从原始语音代表信息提取的语音特征信息。

7.如权利要求1所述的方法,其中,将所述语音代表信息与所述参考语音代表信息进行比较的步骤包括:确定所述语音代表信息与所述参考语音代表信息之间的相似度是否等于或大于预定值。

8.如权利要求7所述的方法,其中,在所述相似度等于或大于所述预定值时,与第二装置建立通信链路的步骤包括:基于第二装置的所述连接信息而与第二装置建立通信链路。

9.如权利要求7所述的方法,还包括:在所述相似度小于所述预定值时,对从第二装置接收的所述语音代表信息进行广播。

10.如权利要求1所述的方法,其中,第二装置的所述连接信息包括以下项中的至少一项:第二装置的标识符信息、第二装置的性能信息、第二装置的状态信息、标识第二装置偏好的通信方法的信息和服务ID信息。

11.如权利要求1所述的方法,其中,与第二装置建立通信链路的步骤包括:将连接请求发送给第二装置;

接收响应于所述连接请求的接受消息。

12.如权利要求1所述的方法,还包括:

从第二装置接收从所述语音代表信息中提取出的控制信息;

响应于控制信息而执行功能。

13.如权利要求12所述的方法,其中,控制信息包括以下项中的至少一项:用于获取内容的控制命令、用于发送内容的控制命令、用于发送位置信息的控制命令、用于使多条数据同步的控制命令、用于切换模式的控制命令和用于执行屏幕镜像的控制命令。

14.如权利要求1所述的方法,还包括:响应于将所述语音代表信息与所述参考语音代表信息进行比较而将第一装置的屏幕锁定模式切换为屏幕解锁模式。

15.一种与第二装置通信的第一装置,所述第一装置包括:

通信单元,用于从第二装置接收语音代表信息和用于与第二装置建立通信链路的指示通信的特征的连接信息,其中,第二装置广播所述语音代表信息;

控制单元,用于将接收的语音代表信息与存储在第一装置中的参考语音代表信息进行比较,以确定接收的所述语音代表信息和存储在第一装置中的所述参考语音代表信息之间的相似度,并响应于将所述语音代表信息与所述参考语音代表信息进行比较,基于从第二装置接收的所述连接信息来建立第一装置与广播所述语音代表信息的第二装置之间的通信链路,其中,与第二装置的通信链路是响应于确定的相似度大于等于预定值而建立的。

说明书 :

用于通信的方法和装置

技术领域

[0001] 一种系统例如涉及通过使用讲话者的语音信息来在装置之间建立通信链路。

背景技术

[0002] 语音识别技术通过使用语音取代鼠标或键盘使用户能够控制对期望的装置或期望的信息服务的使用。语音识别技术在20世纪50年代被首次引进并已经成熟。然而,由于低语音识别率,所以语音识别技术直到21世纪00年代中期前后也尚未普及。
[0003] 同时,一直限于用于特定目的的与语音识别有关的技术正被用于包括智能电话的便携式计算终端并且正在与云有关的基础设施内被使用。
[0004] 已知的系统未能成功对语音识别进行综合利用以便于用户友好的交互和用户友好的界面。

发明内容

[0005] 技术方案
[0006] 一种系统,采用用于便于响应于讲话者的原始语音输入而在装置之间建立通信链路的通信方法,并且经由被建立的通信链路发送并接收数据。
[0007] 有益效果
[0008] 根据本发明的一个或更多个以上实施例,用户可通过向另一用户的装置或用户的第二装置输入语音命令而容易执行用于与用户的第一装置的数据交换的配对。
[0009] 此外,根据本发明的一个或更多个以上实施例,用户选择装置的处理和从另一用户接收与装置配对有关的接受的处理可经由一个原始语音输入而被执行,使得可减少用户输入的总数。

附图说明

[0010] 从以下的结合附图对实施例的描述中,这些和/或其它方面将变得清楚和容易理解,其中:
[0011] 图1示出根据本发明构思的通信系统;
[0012] 图2示出根据本发明构思的由第二装置使用的通信方法的流程图;
[0013] 图3是根据本发明构思的由第二装置使用的用于从讲话者的语音信息中提取控制信息的方法的流程图;
[0014] 图4示出根据本发明构思的命令数据库;
[0015] 图5示出根据本发明构思的指示第二装置广播讲话者的语音信息的被显示的窗口;
[0016] 图6是根据本发明构思的被执行的通信方法的流程图;
[0017] 图7示出根据本发明构思的由第一装置执行的执行讲话者相关识别的方法;
[0018] 图8是根据本发明构思的用于由第一装置和第二装置建立用于经由声音通信来交换数据的通信链路的方法的流程图;
[0019] 图9是根据本发明构思的用于由第一装置和第二装置建立用于经由低功耗蓝牙(BLE)通信来交换数据的通信链路的方法的流程图;
[0020] 图10示出根据本发明构思的基于磁性传感器的值来扫描第二装置的第一装置;
[0021] 图11示出根据本发明构思的基于RGB传感器的值来扫描第二装置的第一装置;
[0022] 图12是根据本发明构思的由第一装置和第二装置建立用于经由声音通信和BLE通信来交换数据的通信链路的方法的流程图;
[0023] 图13示出根据本发明构思的基于讲话者相关识别来扫描第二装置的第一装置;
[0024] 图14是根据本发明构思的由第一装置和第二装置通过使用带外(OOB)方法建立通信链路的方法的流程图;
[0025] 图15是根据本发明构思的由第二装置执行的从讲话者的语音信息中提取控制信息并执行与控制信息相应的功能的方法的流程图;
[0026] 图16示出根据本发明构思的执行与控制信息相关联的功能的第一装置和第二装置;
[0027] 图17是根据本发明构思的在第一装置未能成功执行讲话者相关识别时广播语音信息的方法的流程图;
[0028] 图18示出根据本发明构思的通过使用语音信息搜索特定装置的讲话者;
[0029] 图19和图20示出根据本发明构思的根据本发明的实施例的第一装置的结构;
[0030] 图21示出根据本发明构思的与本发明的实施例有关的无缝感测平台(SSP)的数据通信协议;
[0031] 图22示出根据本发明构思的第二装置的结构。

具体实施方式

[0032] 最佳实施方式
[0033] 一种系统,采用用于便于响应于讲话者的原始语音输入而在装置之间建立通信链路的通信方法,并且经由被建立的通信链路发送并接收数据。在第一电子装置与第二电子装置之间进行通信的系统包括:在第一装置中,从第二装置接收由第二装置获取的语音代表信息和将被用于与第二装置建立通信链路的指示通信的特征的连接信息。系统将语音代表信息与预定的参考语音代表信息进行比较,并响应于所述比较通过使用从第二装置接收的连接信息而与第二装置建立通信链路。
[0034] 在一个特征中,系统接收步骤包括:经由第一装置的麦克风接收包括语音代表信息和连接信息的声音信号。
[0035] 语音代表信息和第二装置的连接信息被插入到不可听范围和可听范围中的至少一个范围之内的声音信号并被第二装置广播。接收的步骤包括:经由短距离通信和移动通信中的至少一种通信来接收语音代表信息和第二装置的连接信息。
[0036] 在另一特征中,语音代表信息包括以下项中的至少一项:第一装置的标识(ID)信息、用于控制第一装置的控制信息和用于控制第一装置和第二装置的控制信息。语音代表信息的接收步骤包括接收以下项中的至少一项:表示原始语音代表信息的数据和从原始语音代表信息提取出的语音特征信息。比较的步骤包括:确定语音代表信息与参考语音代表信息之间的相似度是否等于或大于预定值。在相似度等于或大于预定值时,建立的步骤包括:基于第二装置的连接信息与第二装置建立通信链路。在相似度小于预定值时,对从第二装置接收的语音代表信息进行广播。第二装置的连接信息包括以下项中的至少一项:第二装置的ID(标识符)信息、第二装置的性能信息、第二装置的状态信息、标识第二装置所偏好的通信方法的信息和服务ID信息。
[0037] 在另一特征中,建立的步骤包括:将连接请求发送给第二装置;接收响应于连接请求的接受消息。所述系统从第二装置接收从语音代表信息提取出的控制信息;响应于控制信息而执行功能。控制信息包括以下项中的至少一项:用于获取内容的控制命令、用于发送内容的控制命令、用于发送位置信息的控制命令、用于使多条数据同步控制命令、用于切换模式的控制命令和用于执行屏幕镜像的控制命令。所述系统响应于所述比较而将第一装置的屏幕锁定模式切换为屏幕解锁模式。
[0038] 在又一特征中,在第一电子装置与第二电子装置之间进行通信的方法包括:在第二装置中,获取语音代表信息;对语音代表信息和第二装置的指示连接的特征的将被用于与第二装置建立通信链路的连接信息进行广播;从第二装置接收来自已经接收到语音代表信息和连接信息的第一装置的通信连接请求;响应于连接请求和通信的特征而与第二装置建立通信链路。广播的步骤包括:通过将语音代表信息和第二装置的连接信息插入到不可听范围和可听范围中的至少一个范围的声音信号,周期性地对包括语音代表信息和第二装置的连接信息的声音信号进行广播。广播的步骤包括:经由短距离通信和移动通信中的至少一种通信而对语音代表信息和第二装置的连接信息进行广播。
[0039] 在另一特征中,获取的步骤包括:经由第二装置的麦克风而接收原始语音代表信息;分析原始语音代表信息并从原始语音代表信息中提取语音特征信息。广播的步骤包括:对原始语音代表信息和从原始语音中提取出的语音特征信息进行广播。接收的步骤包括:
响应于第一装置将语音代表信息与被存储在第一装置中的参考语音代表信息进行比较的结果,接收来自第一装置的连接请求。所述系统从语音代表信息中提取控制信息;将控制信息发送给第一装置。所述系统也通过经由通信链路将内容发送给第一装置而经由通信链路执行响应于控制信息的功能,其中,在语音代表信息被获取时,内容被显示在第二装置的屏幕上。
[0040] 在又一特征中,一种系统包括与第二装置通信的第一装置。第一装置包括:通信单元,用于从第二装置接收由第二装置获取的语音代表信息和将被用于与第二装置建立通信链路的指示通信的特征的连接信息。控制单元将语音代表信息与预存储的参考语音代表信息进行比较,并响应于所述比较通过使用从第二装置接收的连接信息来与第二装置建立通信链路。通信单元包括:用于接收包括语音代表信息和第二装置的连接信息的声音信号的麦克风。
[0041] 在另一特征中,控制单元包括与第一装置的麦克风连接的传感器中枢和应用处理器,其中,传感器中枢将语音代表信息与预存储的参考语音代表信息进行比较,并响应于所述比较而将应用处理器的睡眠模式切换到唤醒模式,并且其中,处于唤醒模式的应用处理器通过使用第二装置的连接信息来控制通信单元与第二装置建立通信链路。通信单元包括用于经由短距离通信接收语音代表信息和第二装置的连接信息的短距离通信单元。在语音代表信息与参考语音代表信息之间的相似度等于或大于预定值时,控制单元通过使用第二装置的连接信息与第二装置建立通信链路。在语音代表信息与参考语音代表信息之间的相似度小于预定值时,控制单元控制通信单元对从第二装置接收的语音代表信息进行广播。通信单元从第二装置接收从语音代表信息中提取出的控制信息,其中,控制单元执行与控制信息相应的功能。
[0042] 在又一特征中,第二装置与第一装置通信。第二装置包括:麦克风,用于接收原始语音代表信息;语音识别单元,通过分析原始语音代表信息而获取语音代表信息;通信单元,从第二装置对语音代表信息和将被用于与第二装置建立通信链路的指示通信的特征的连接信息进行广播,并接收来自已经接收语音代表信息和连接信息的第一装置的连接请求。控制单元响应于连接请求和通信的特征而与第一装置建立通信链路。一种非暂时性计算机可读记录介质,在其上记录有用于通过使用计算机来执行权利要求1的方法的程序。
[0043] 具体实施方式
[0044] 在此使用的包括描述性术语和技术术语的所有术语应被解释为具有对本领域普通技术人员而言明显的含义。然而,术语可根据本领域普通技术人员的意图、判例或新技术的出现而具有不同的含义。此外,一些术语可被申请人任意地选择,并且在这种情况下,被选择的术语的含义将在本发明的详细的描述中被详细地描述。因此,在此使用的术语必须基于术语的含义与贯穿说明书的描述一起被限定。
[0045] 此外,在部件“包括”或“包含”元件时,除非存在与此相反的具体的描述,否则部件可还包括其它元件,并不排除其它元件。在以下描述中,诸如“单元”和“模块”的术语指示用于处理至少一个功能或操作的单元,其中,单元和块可被实施为硬件或软件或者可通过将硬件与软件进行组合来实施。
[0046] 贯穿说明书,发送(例如,广播、输出或发送)或接收信息的通信方法可包括短距离通信方法和移动通信方法中的至少一种方法。
[0047] 此外,贯穿说明书,短距离通信可不仅包括射频(RF)信号的发送或接收,而且也包括声音信号的发送或接收。例如,短距离通信可包括但不限于以下项中的至少一项:无线保真(Wi-Fi)、蓝牙、紫蜂(ZigBee)、Wi-Fi直连(WFD)、超宽带(UWB)、红外数据协会(IrDA)、低功耗蓝牙(BLE)、近场通信(NFC)、Ant+和声音通信。
[0048] Wi-Fi可包括发送无线信号的接入点(AP)在AP周围的预定范围内与多个终端(例如,PC)交换数据的基础设施模式,以及终端在无需AP的情况下按照点对点(P2P)的方式相互交换数据的ad-hoc模式。
[0049] 蓝牙是用于无线通信装置的标准技术,其中,无线通信装置通过使用低功率在短距离内执行无线通信装置之间的无线通信。UWB是用于通过使用低功率经由高频率在短时段内发送大量数据的无线通信技术。
[0050] WFD是新版本的Wi-Fi技术并且主要特征在于其结合了装置之间的直接通信。例如,根据WFD,虽然不存在热点、路由器或AP,但是如果装置使用WFD,则装置可彼此通信并因此可在装置之间共享信息。
[0051] ZigBee是IEEE802.15.4标准中的一种支持短距离无线通信的标准。ZigBee是用于在10m至20m的距离内的短距离无线通信和无线联网环境(诸如,被建立在住宅或办公室中的无线联网环境)下的普适计算的技术。
[0052] BLE涉及作为一种短距离通信技术的蓝牙4.0版本的核心功能。BLE与典型的蓝牙规范相比具有较小的工作周期,可以以低成本被制造,并且由于被减少的平均功率和待机功率所以可用扣式电池工作数年。
[0053] 作为一种无线射频识别(FRID)或电子标签的NFC涉及使用13.56MHz频段的非接触式短距离无线通信。NFC通过短距离无线通信技术使处于10cm距离的装置之间的数据通信成为可能。NFC可包括P2P模式、读/写(R/W)模式和卡仿真模式。Ant+表示具有低功耗并通过使用2.4GHz的频段而用于短距离的无线通信技术。
[0054] 在以下描述中,由于公知的功能或构造会用不必要的细节使本发明的一个或更多个实施例模糊,所以公知的功能或构造不被详细地描述,在附图中的同样的参考标号贯穿说明书表示同样的或类似的元件。
[0055] 如在此所使用,术语“和/或”包括一个或更多个关联的列出的项的任何或全部组合。当诸如“至少一个”的表达位于一列元件之前时,所述表达修饰整列元件而不修饰所述列中的单个元件。
[0056] 图1是示出根据本发明构思的通信系统的示图。
[0057] 如图1所示,通信系统可包括第一装置100和第二装置200。贯穿说明书,第一装置100可以是接收由外部装置广播(或发送)的信号或信息的观测器,第二装置200可以是广播(或发送)其自己的标识(ID)信息的广播器。此后,第一装置100和第二装置200在下文中被分别描述。
[0058] 第一装置100可包括用于与外部装置通信的至少一个通信单元。例如,第一装置100可包括但不限于短距离通信单元(例如,BLE通信单元,例如,WFD通信单元)、移动通信单元(例如,2G、3G、4G)和用于接收声音信号的麦克风。
[0059] 第一装置100可通过使用至少一个通信单元接收由第二装置200发送的信号。例如,第一装置100可经由麦克风接收从第二装置200输出的声音信号。第一装置100也可经由BLE通信来接收被广播的广播包。
[0060] 第一装置100可通过分析由第二装置200发送的信号来扫描第二装置200。例如,第一装置100可接收由第二装置200广播的讲话者的语音信息和第二装置200的通信连接信息。第一装置100可执行将讲话者的语音信息与特定讲话者的参考语音信息进行比较的讲话者相关识别。将参照图7详细描述由第一装置100执行的讲话者相关识别。
[0061] 第一装置100可分析由第二装置200广播的第二装置200的通信连接信息,使得第一装置100可识别例如第二装置200的ID信息、与第二装置200所支持的通信方法有关的性能信息、与第二装置200所偏好的通信方法有关的信息、第二装置200的状态信息、第二装置200的服务ID信息。
[0062] 虽然用户未单独请求对第二装置200的扫描,但是第一装置100可响应于预定事件(例如,磁性传感器的值等于或大于预定值)而自动扫描第二装置200。第一装置100可包括与应用处理器分离工作的无缝感测平台(SSP)。这里,第一装置100可将感测单元或通信单元(例如,麦克风、BLE通信单元)连接到SSP的传感器中枢。SSP的传感器中枢可在无需将AP从睡眠模式唤醒的情况下通过采集感测信息或扫描第二装置200来识别第一装置100的内部状况和第一装置100周围的环境状况。传感器中枢可被实施为硬件或软件或者可通过将硬件与软件进行组合来实施。例如,传感器中枢可包括微型控制器单元(MCU)。
[0063] SSP的传感器中枢可在发生预定情形(例如,讲话者相关识别被成功执行)时唤醒处于睡眠模式的AP。在这种情况下,AP可从传感器中枢接收当前状态信息,并可对被调制的数据进行解调或可执行控制命令。
[0064] 可按照各种形式实施第一装置100。例如,第一装置100可以是但不限于包括麦克风和声音输出装置的移动电话、智能电话、笔记本计算机、平板PC、电子书装置、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航装置、MP3播放器、数码相机、腕表和消费电子(CE)装置(例如,冰箱、空调、净水器)。
[0065] 第二装置200可经由麦克风接收讲话者的原始语音输入并执行讲话者无关识别,从而识别任意讲话者的讲话。第二装置200可通过使用至少一种通信方法来广播通信连接信息(例如,包括第二装置200的ID信息、与第二装置200所支持的通信方法有关的性能信息)。这里,至少一种通信方法可包括短距离通信方法或移动通信方法。短距离通信方法可包括但不限于以下项中的至少一项:BLE通信方法、Ant+通信方法、NFC方法、声音通信方法、ZigBee通信方法和Wi-Fi通信方法(例如,无线LAN或WiFi直连),移动通信方法可包括但不限于3G方法和长期演进(LTE)方法。
[0066] 声音通信方法意指通过使用声音信号来发送和接收数据的通信方法。例如,第二装置200可通过将数据插入到不可听范围或可听范围中的声音信号(例如,将数据插入到音乐广播或公告广播中)来向外部广播数据。此外,第二装置200可将具有高频段的语音信号下变换为具有较低频段(例如,等于或小于16kHz的频段)的语音信号,并可广播被下变换的语音信号。
[0067] 第二装置200可以是包括屏幕的显示装置或不具有屏幕的附属装置。例如,第二装置200可以是但不限于移动电话、智能电话、膝上型计算机、平板个人计算机(PC)、电子书装置、数字广播终端、PDA、PMP、显示装置、导航装置、MP3播放器、数码相机、智能电视机(TV)、无线扬声器、蓝牙耳机、家庭同步、具有通信功能的冰箱、空调和净水器。
[0068] 第二装置200可包括通信单元,从而与第一装置100通信。例如,第二装置可包括但不限于短距离通信单元(例如,蓝牙通信单元、BLE通信单元、NFC/RFID单元、WLAN(Wi-Fi)通信单元、ZigBee通信单元、IrDA通信单元、WFD通信单元、UWB通信单元、Ant+通信单元)、移动通信单元(例如,2G、3G和4G)、声音输出单元、麦克风和显示单元。
[0069] 在下文中,将参照图2详细描述第二装置200通过使用至少一种通信方法通过广播(或发送)讲话者的语音信息和通信连接信息来与第一装置100建立通信链路的处理。图2是根据本发明构思的由第二装置200执行的通信方法的流程图。
[0070] 在操作S210中,第二装置200可经由麦克风获取讲话者的语音信息。在本实施例中,讲话者的语音信息可以是由讲话者输入的原始语音或者可以是从由讲话者输入的原始语音中提取出的语音特征信息。第二装置200可对由讲话者输入的原始语音执行讲话者无关识别。例如,第二装置200可识别由讲话者输入的原始语音而不考虑讲话者的例如声调、发音、口音。第二装置200可从被输入的原始语音中检测端点。端点检测意指从作为识别目标的原始语音中检测识别目标时段的开始和结束。在第二装置200经由端点检测而检测识别目标的时段时,第二装置200可移除噪声分量并可从识别目标的识别目标时段中提取语音特征。第二装置200可通过使用语言模型将提取出的语音特征与语音数据库进行比较并可将具体表达作为识别结果输出,或可将具体句子作为识别结果输出。
[0071] 在操作S220中,第二装置200可广播(或发送)讲话者的语音信息和第二装置200的通信连接信息。这里,第二装置200可广播由讲话者输入的原始语音或可广播从由讲话者输入的原始语音中提取出的语音特征信息。第二装置200的通信连接信息可意指外部装置可使用的信息,从而向第二装置200请求通信连接。例如,第二装置200的通信连接信息可包括但不限于:第二装置200的ID信息、第二装置200的性能信息、与第二装置200偏好的通信方法有关的信息、第二装置200的状态信息和第二装置200的服务ID信息。
[0072] ID信息可以是用于标识第二装置200的唯一信息,并可包括:例如,媒体访问控制(MAC)地址、装置ID、装置名称、产品序列号、昵称。性能信息涉及由第二装置200支持的功能并可包括但不限于例如与被支持的通信方法(例如,BLE、蓝牙、NFC、Wi-Fi)有关的信息、与被安装的传感器(例如,磁性传感器、加速度传感器、温度传感器、陀螺仪传感器、接近传感器)有关的信息和与可用的服务(例如,通用即插即用(UPnP)、数字生活网络联盟(DLNA))有关的信息。状态信息是指示第二装置200的当前状态的信息并可包括但不限于例如与通信单元的激活状态或未激活状态有关的信息、与传感器的激活状态或未激活状态有关的信息和与在第二装置200上设置的模式(例如,锁定模式、操作模式、振动模式、自动屏幕旋转模式、同步模式)有关的信息。
[0073] 服务ID信息可以是用于标识第二装置200试图经由通信连接来接收的服务的唯一信息。例如,服务ID信息可包括指示包括内容共享服务、游戏服务、聊天服务的服务的标识符,指示在通信连接下使用的应用、程序的标识符。
[0074] 服务ID信息可与特定连接服务相对应。虽然服务信息与服务ID信息相映射,但是包括用于特定通信连接服务的例如应用、通信方法、协议的服务信息可被预先设置或指定。这里,与服务ID信息相应的服务信息(例如,由服务ID信息所指示的通信连接服务)可被预先存储在参与通信连接服务的装置(例如,第一装置100和第二装置200)的内存中。
[0075] 与被偏好的通信方法有关的信息可意指与第二装置200偏好的通信方法的优先顺序有关的信息。例如,第二装置可最为偏好蓝牙通信方法,其次可偏好WFD通信方法。第二装置200可经由扬声器向外部广播(例如,输出或发送)声音信号,其中,讲话者的语音信息和第二装置200的通信连接信息被插入到声音信号中。例如,第二装置200可将讲话者的语音信息和第二装置200的通信连接信息插入到不可听范围或可听范围中的声音信号。电子装置200可将包括语音信息的声音信号的频带变换(例如,下变换)成较低频率的宽频带。例如,在第一装置100的麦克风连接的传感器中枢(例如,MCU)仅能处理低于16kHz的语音信号时,第二装置200可将被插入到约16kHz至约21kHz的范围内的语音信号下变换成具有低于16kHz的频带的语音信号。
[0076] 第二装置200可以以广播包的形式处理包括讲话者的语音信息和第二装置200的通信连接信息的广播信息,并可通过使用BLE通信单元来向外部广播广播信息。被广播到外部的广播信息的数据包可包括但不限于指示第二装置200的ID信息的ID信息域(例如,名称类型“GT-I9400”)、指示制造第二装置200的制造商的制造商域(例如,公司ID0X0075)、指示第二装置200使用的协议的协议域(例如,0X0201)、指示第二装置200支持的通信方法的性能域、指示第二装置200的当前状态的状态域和第二装置200获取的语音信息被插入的语音信息域。
[0077] 在第二装置200包括短距离无线通信标签(此后,被称为“NFC标签”)时,第二装置200可按照NFC数据交换格式(NDEF)对广播信息进行编码。然后,第二装置200可将按照NDEF编码的广播信息存储在NFC标签中。这里,在第一装置100接近第二装置200的短距离无线通信范围内时,被存储在NFC标签中的广播信息可被发送到第一装置100。
[0078] 第二装置200可通过通信方法顺序地广播广播信息。第二装置200可根据预定的顺序而顺序地广播广播信息。预定的顺序可由用户或系统设置并可被用户或系统改变。预定的顺序可按照具有最少能耗或最短延迟的顺序来设置。延迟表示发送方和接收方之间的传递信号时的延迟时间。例如,第二装置200可确定用于按照BLE通信方法、Ant+通信方法、NFC方法和声音通信方法的顺序向外部广播广播信息的通信方法的顺序。
[0079] 第二装置200可对讲话者的语音信息和第二装置200的通信连接信息中的至少一个信息进行调制。第二装置200可广播被调制的数据。例如,第二装置200可向外部广播未被调制的语音信息和第二装置200的被调制的通信连接信息。此外,第二装置200可对语音信息(例如,语音特征信息)和第二装置200的通信连接信息进行调制并可向外部广播被调制的信息。为了信息安全,第二装置200可使用预设的加密代码对广播信息进行加密并可向外部广播被加密的广播信息。此外,第二装置200可按照预定的周期广播讲话者的语音信息和第二装置200的通信连接信息。预定的周期可由第二装置200或用户来调整。
[0080] 在操作S230中,第二装置200可基于第二装置200的通信连接信息而从第一装置100接收通信连接请求。例如,第二装置200可例如从第一装置100接收包括第一装置100的ID信息、第一装置100的性能信息、与第一装置100的偏好的通信方法有关的信息的广播包,或可从第一装置100接收通信请求或协商请求。响应于将讲话者的语音信息与第一装置100中预先存储的参考语音信息进行比较的结果,第一装置100可将通信连接请求发送给第二装置200。将参照图6详细描述该处理。
[0081] 在操作S240中,第二装置200可响应于通信连接请求而与第一装置100建立通信链路。贯穿说明书,表达“建立通信链路”意指第一装置100和第二装置200处于通过使用至少一种通信方法来交换数据的状态。通信链路可包括但不限于:BLE通信链路、声音通信链路、蓝牙通信链路和Wi-Fi通信链路。将参照图6详细描述第一装置100建立通信链路的处理。通信链路可通过使用与接收由第二装置200广播的广播信息的通信方法相同的通信方法来形成,或可通过使用与接收广播信息的通信方法不同的通信方法(例如,带外(OOB)方法)来形成。例如,在第一装置100经由BLE通信而接收由第二装置200广播的第二装置200的通信连接信息时,第一装置100可通过使用同样的BLE通信方法来建立通信链路或可通过使用与BLE通信不同的WFD通信方法来建立通信链路。将参照图14详细描述通过使用OOB方法建立通信链路的处理。
[0082] 通信链路可以是无连接型虚拟通信链路,其中,第一装置100和第二装置200通过无连接型虚拟通信链路通过彼此扫描来交换广播包,或者通信链路可以是连接型通信链路,其中,在连接型通信链路中通过来自第一装置100的通信连接请求来形成会话。第二装置200可经由通信链路与第一装置100交换内容。贯穿说明书,术语“内容”意指经由有线或无线通信网络提供的数字信息。内容可包括但不限于:运动图像内容(例如,TV节目图像、视频点播(VOD)、诸如用户创建的内容(UCC)的个人图像、音乐视频、Youtube视频的个人图像)、静止图像内容(例如,照片、图片)、文本内容(例如,电子书(例如,诗、小说)、信、工作文件、网页)、音乐内容(例如,音乐、无线电广播)和应用(例如,微件(widget)、游戏、视频电话)。
[0083] 第二装置200可对部分时段的再现的内容的数据进行编码,第二装置200可将被编码的数据发送给第一装置100。这里,第二装置200可通过使用各种编码算法来对数据进行编码。例如,编码算法可包括但不限于:MPEG-2、MPEG-4,H.264和AVC。操作S210至操作S240的顺序可被改变或一些操作可被跳过。此后,描述第二装置200从经由麦克风获取的讲话者的语音信息中提取控制信息的处理。图3是由第二装置200执行的从讲话者的语音信息中提取控制信息的方法的流程图。在操作S310中,第二装置200可检测预定事件的发生。这里,预定事件可指示激活处于非激活状态的麦克风的事件。此外,预定事件可指示向第二装置200通知讲话者的原始语音输入的开始的事件。
[0084] 预定事件可以是包括预定按钮的选择的事件。这里,预定按钮可以是被显示在屏幕上的图形用户界面(GUI)的形式的按钮或可以是以物理方式附着在第二装置200上的按钮。预定事件的示例可包括执行应用的事件。在操作S320中,第二装置200可经由麦克风接收讲话者的原始语音输入。此外,第二装置200可通过对讲话者的原始语音输入执行讲话者无关识别来获取讲话者的语音信息。例如,第二装置200可检测讲话者的语音的端点并可从讲话者的语音中提取语音特征。第二装置200可通过使用语音特征将讲话者的语音改变为具体表达或具体句子。由于操作S320与图2中示出的流程图的操作S210相应,所以这里省略操作S320的详细描述。
[0085] 在操作S330中,第二装置200可从讲话者的语音信息中提取控制信息。讲话者的原始语音输入可包括第一装置100的ID信息和用于控制第一装置100和第二装置200中的至少一个装置的控制信息。在讲话者的原始语音输入中所包括的第一装置100的ID信息可以是由讲话者设置的第一装置100的名称。例如,第一装置100的ID信息可包括装置名称、昵称(例如,汤姆的电话)。在讲话者的原始语音输入中所包括的第一装置100的ID信息可以被存储在第一装置100的存储器中。控制信息可包括用于控制第一装置100和第二装置200中的至少一个装置的命令。例如,控制信息可包括:包括“接收”、“发送”、“设置”、“配对”或“同步”的命令410。这将在图4中示出。
[0086] 第二装置200可通过将讲话者的语音信息与命令数据库(DB)400进行比较来提取讲话者的语音信息中所包括的控制信息。例如,在命令DB 400中预定义了命令“接收”情况下,在用户输入“第一装置100,接收此物”的语音时,第二装置200可将命令DB 400与用户输入的语音信息进行比较,并可提取包括“接收”的控制信息。这里包括“接收”的控制信息指示命令第一装置100从第二装置200接收内容的命令,使得第二装置200可将包括“接收”的控制信息转换为命令准备进行内容的发送的控制命令。
[0087] 在操作S340中,第二装置200可广播讲话者的语音信息、控制信息和第二装置200的通信连接信息。第二装置200可经由声音通信(例如,通过使用不可听范围和可听范围中的至少一个范围的声音信号)和短距离通信(例如,BLE通信、Ant+通信、NFC通信)来广播讲话者的语音信息、控制信息和第二装置200的通信连接信息。对第二装置200执行的广播广播信息的方法的描述与与在图2中示出的流程图中的操作S220有关的描述相同,并且因此在这里被省略。
[0088] 第二装置200对控制信息和通信连接信息进行调制,并可广播被调制的信息。此外,第二装置200可对讲话者的语音信息、控制信息和第二装置200的通信连接信息进行调制,并可广播被调制的信息。参照图5,现在将描述第二装置200广播讲话者的语音信息、控制信息和第二装置200的通信连接信息的示例。
[0089] 图5示出第二装置200广播讲话者的语音信息的示例。如图5(a)所示,运动图像内容510可由第二装置200产生。在第一装置100的用户(Cheolsoo)试图将由第二装置200再现的运动图像内容510发送到第一装置100,第一装置100的用户(Cheolsoo)可触摸第二装置200的屏幕上所显示的具有麦克风形式的按钮520。第二装置200可被切换到讲话者可输入语音的状态。如图5(b)中所示,第一装置100的用户(Cheolsoo)可通过使用第二装置200的麦克风来将语音序列530输入到第二装置200。例如,第一装置100的用户(Cheolsoo)可通过使用第二装置200的麦克风来将“Cheolsoo的电话,接收”的语音数据输入到第二装置200。
第二装置200可识别讲话者的语音。
[0090] 如图5(c)所示,第二装置200可广播从第一装置100的用户(Cheolsoo)获取的语音信息和第二装置200的通信连接信息两者。这里,第二装置200可广播由第一装置100的用户(Cheolsoo)输入的原始语音。可选地,第二装置200可广播从第一装置100的用户(Cheolsoo)输入的语音中提取出的语音特征信息。第二装置200可在屏幕上显示经由语音识别的表达或句子。例如,第二装置200可在屏幕上显示句子“Cheolsoo的电话,接收”。在这种情况下,讲话者可查看讲话者的语音是否被正确输入,如果语音未被正确识别,则讲话者可再次输入语音。第二装置可从讲话者的语音信息中提取控制信息,并可广播提取出的控制信息、讲话者的语音信息和第二装置200的通信连接信息。例如,第二装置200可将从讲话者获取的语音信息(“Cheolsoo的电话,接收”)与命令DB 400进行比较,并可提取包括“接收”的控制信息。然后,第二装置200可对包括“接收”控制信息进行调制并将包括“接收”的控制信息插入到声音信号中,并可广播包括控制信息的声音信号。
[0091] 将参照图6详细描述与第二装置200建立通信链路的方法,其中,从第二装置200接收语音信息的第一装置100执行所述方法。
[0092] 图6是由第一装置100执行的通信方法的流程图。在操作S610中,第一装置100可接收经由第二装置200的麦克风获取的讲话者的语音信息,并从第二装置200接收第二装置200的通信连接信息。第一装置100可通过使用第一装置100的麦克风从第二装置200接收包括讲话者的语音信息和第二装置200的通信连接信息的声音信号。将参照图8详细描述该处理。第一装置100可经由短距离通信来接收讲话者的语音信息和第二装置200的通信连接信息。例如,第一装置100可通过使用BLE通信、Ant+通信、NFC和ZigBee中的至少一种来接收讲话者的语音信息和第二装置200的通信连接信息。将参照图9详细描述该处理。
[0093] 第一装置100可从第二装置200接收讲话者的原始语音,或从第二装置200接收从讲话者的原始语音中提取出的语音特征信息。第一装置100可接收被调制的讲话者的语音信息和第二装置200的被调制的通信连接信息。在操作S620中,第一装置100可将讲话者的语音信息与预先被存储在第一装置100中的参考语音信息进行比较。参考语音信息可指示与第一装置100的用户通过使用用户自己的语音而预先训练出的预定的表达有关的信息,从而执行讲话者无关识别。第一装置100可确定参考语音信息与从第二装置200接收到的讲话者的语音信息之间的相似度是否等于或大于预定值。例如,第一装置100可确定参考语音信息与从第二装置200接收到的讲话者的语音信息之间的相似度是否至少约为97%。
[0094] 在参考语音信息与从第二装置200接收到的讲话者的语音信息之间的相似度等于或大于预定值时,第一装置100可确定第一装置100的使用或第一装置100的用户是被授权的。第一装置100的用户可通过使用用户自己的语音来输入预定的表达,并且通过这样做,用户可获得与用户向第一装置100输入预设的密码或预设的图案类似的结果。将参照图7对此进行详细描述。
[0095] 在操作S630中,第一装置100可响应于将参考语音信息与从第二装置200接收的讲话者的语音信息进行比较的结果来与第二装置200建立通信链路。在参考语音信息与从第二装置200接收到的讲话者的语音信息之间的相似度等于或大于预定值(例如,大约至少约97%)时,第一装置100可基于第二装置200的通信连接信息来与第二装置200建立通信链路。
[0096] 例如,第一装置100可基于第二装置200的ID信息(例如,MAC地址)、第二装置200的性能信息(例如,支持BLE、蓝牙、Ant+、Wi-Fi、NFC)、第二装置200的状态信息(例如,Wi-Fi关闭/蓝牙开启)、与第二装置200偏好的通信方法(例如,蓝牙)有关的信息或服务ID信息(例如,指示服务(诸如,内容共享服务、游戏服务、聊天服务)的指示符、指示通信连接时使用的应用、程序的指示符)来将通信连接请求发送给第二装置200。第一装置100可从第二装置200接收响应于通信连接请求的接受消息,并可与第二装置200建立通信链路。
[0097] 通信链路可以是非连接型虚拟通信链路,其中,第一装置100和第二装置200通过非连接型虚拟通信链路通过彼此扫描来交换广播包,或者通信链路可以是双向连接型通信链路,其中,在双向连接型通信链路中通过来自第一装置100的通信连接请求来形成会话。通信链路可包括但不限于:BLE通信链路、声音通信链路、蓝牙通信链路和Wi-Fi通信链路。
在参考语音信息与从第二装置200接收到的讲话者的语音信息之间的相似度小于预定值(例如,大约至少约97%)时,第一装置100可再次广播从第二装置200接收到的讲话者的语音信息。例如,在参考语音信息与从第二装置200接收到的讲话者的语音信息之间的相似度为约10%时,第一装置100可向外部广播讲话者的语音信息。响应于将参考语音信息与从第二装置200接收到的讲话者的语音信息进行比较的结果,第一装置100可将屏幕锁定模式切换为屏幕解锁模式。在这种情况下,第一装置100可在其屏幕上自动显示从第二装置200接收到的内容。
[0098] 在下文中,参照图7,现在将详细描述由第一装置100执行的执行讲话者相关识别的方法。图7示出由第一装置100执行的执行讲话者相关识别的方法。假设第一装置100的用户经由第二装置200的麦克风输入原始语音。在第一装置100和第二装置200彼此之间位于短距离内时,第一装置100可经由第二装置200的麦克风直接接收第一装置100的用户的输入给第二装置200的麦克风的原始语音。
[0099] 在这种情况下,第一装置100可将预存储的参考语音与第一装置100直接接收到的第一装置100的用户的原始语音进行比较。例如,第一装置100可通过执行端点检测来检测原始语音的识别目标时段,并可从识别目标时段中提取原始语音的特征(或样式)。在原始语音的特征(或样式)与参考语音的特征(或样式)相匹配时,第一装置100可执行预设操作。例如,第一装置100可将应用处理器的模式从睡眠模式改变为唤醒模式,或可搜索外部装置。贯穿说明书,原始语音的特征(或样式)与参考语音的特征(或样式)相匹配的事实可意指原始语音的特征(或样式)与参考语音的特征(或样式)之间的相似度等于或大于预定值。
[0100] 第一装置100可经由麦克风接收第一装置100的用户的原始语音,其中,原始语音被第二装置200重复广播。第一装置100可将参考语音的特征(或样式)与从第二装置200接收的原始语音的特征(或样式)进行比较。在原始语音的特征(或样式)与参考语音的特征(或样式)相匹配时,第一装置100可执行预设操作。第二装置200可通过执行端点检测来检测原始语音的识别目标时段,其中,原始语音由第一装置100的用户输入,并且第二装置200可从识别目标时段中提取原始语音的特征(或样式)。第二装置200可广播与提取出的原始语音有关的语音特征信息。第一装置100可从第二装置200接收语音特征信息。第一装置100可将语音特征信息与第一装置100中预先存储的参考语音的特征(或样式)进行比较。在语音特征信息的原始语音的特征(或样式)与参考语音的特征(或样式)相匹配时,第一装置100可执行预设操作。
[0101] 第一装置100可包括多条参考语音信息。例如,在第一用户的第一参考语音信息和第二用户的第二参考语音信息被输入时,第一装置100可执行预设操作。
[0102] 第一装置100可将用户(例如,名叫“Cheolsoo”的人)的参考语音信息(预设的原始语音)存储在存储器中。参考语音信息可以是用户的原始语音或从用户的原始语音中提取出的语音特征信息。例如,参考语音信息可与实际上说出“Cheolsoo电话”的用户(Cheolsoo)的语音相应。在第一装置100经由麦克风接收参考语音信息时,第一用户100可执行预设操作。例如,被输入给第一装置100的参考语音信息可允许第一装置100的应用处理器将第一装置100的模式改变为唤醒模式,或可包括能够对屏幕锁定进行解锁的唤醒语音。虽然第一装置100处于屏幕锁定模式或应用处理器处于睡眠模式,但是第一装置100可激活麦克风。麦克风可被连接到第一装置100的传感器中枢。
[0103] 第一装置100的传感器中枢可识别是否经由麦克风将语音“Cheolsoo电话”作为参考语音信息而接收。在第一装置100的传感器中枢识别参考语音信息的接收时,第一装置100的传感器中枢可激活应用处理器或可对屏幕锁定模式进行解锁,使得第一装置100的传感器中枢可控制第一装置100转到用户可使用第一装置100的状态。第一装置100的用户(例如,Cheolsoo)试图通过将通信连接到第二装置200来接收装置间通信连接服务,如在上文中参照图5所描述的那样,用户(例如,Cheolsoo)可说出作为第一装置100的唤醒语音的“Cheolsoo电话”并可向第二装置200输入“Cheolsoo电话”。图5的按钮520可与提供装置间通信连接服务的应用相应。此外,按钮520可与能够在第二装置200中执行或控制语音识别服务的应用相应。在第二装置200接收语音“Cheolsoo电话”时,第二装置200可广播(或发送)与语音“Cheolsoo电话”相应的语音信息(原始语音或语音特征信息)和用于将通信连接到第二装置200的通信连接信息中的至少一个信息。
[0104] 位于第二装置200周围的第一装置100可经由麦克风和传感器中枢来与识别唤醒语音“Cheolsoo电话”相应的语音信息的接收,并可将应用处理器的模式切换为唤醒模式。此外,第一装置100可通过使用通信连接信息来将通信连接请求发送给第二装置200。第一装置100可基于通信连接信息根据预设的通信连接过程来建立与第二装置200的通信链路。
[0105] 现在将参照图8和图9详细描述第一装置100根据接收到的语音信息和参考语音信息之间比较的结果来执行预设的操作的处理。
[0106] 图8是由第一装置100和第二装置200建立用于经由声音通信来交换数据的通信链路的方法的流程图。在操作S810中,第二装置200可获取讲话者的语音信息。例如,第一装置100的用户可口头将预定的表达输入到第二装置200的麦克风中。预定的表达可以是预先使第一装置100获知的标题。预定的表达可以是第一装置100的用户用于预先训练装置100语音识别单元并便于讲话者无关识别的表达。由于操作S810与图2的操作S210相应,所以这里将省略对操作S810的详细描述。在操作S820中,第二装置200可广播包括讲话者的语音信息和第二装置200的通信连接信息的声音信号。由第二装置200广播的声音信号可以是由讲话者输入的原始语音或可以是从由讲话者输入的原始语音中提取出的语音特征信息。
[0107] 第二装置200可经由扬声器向外部广播声音信号,其中,讲话者的语音信息和第二装置200的通信连接信息被插入到声音信号。例如,第二装置200可将讲话者的语音信息和第二装置200的通信连接信息插入到不可听范围或可听范围的声音信号。第二装置200可将包括语音信息的声音信号的频段变换(例如,下变换)为较低频段。例如,第二装置200可将第二装置200的被调制的通信连接信息插入到声音信号的第一时段(例如,约18kHz与约21kHz之间的频段),并可将讲话者的语音信息插入到声音信号的第二时段(例如,等于或小于16kHz的频段)。
[0108] 在操作S830中,第一装置100可经由第一装置100的麦克风来接收声音信号,其中,声音信号包括由第二装置200广播的语音信息。在操作S840中,第一装置100可基于声音信号所包括的讲话者的语音信息来执行讲话者相关识别。例如,第一装置100的麦克风可被连接到第一装置100的传感器中枢,并可保持激活。传感器中枢可经由麦克风获取由第二装置200广播的声音信号中所包括的讲话者的语音信息。传感器中枢可将参考语音信息与讲话者的语音信息进行比较。例如,传感器中枢可确定讲话者的语音信息与参考语音信息之间的相似度是否等于或大于预定值(例如,约97%)。作为确定的结果,在讲话者的语音信息与参考语音信息之间的相似度等于或大于预定值(例如,约97%)时,传感器中枢可唤醒处于睡眠模式的应用处理器。在另一方面,在讲话者的语音信息与参考语音信息之间的相似度小于预定值(例如,约97%)时,传感器中枢可不唤醒处于睡眠模式的应用处理器。应用处理器可保持处于睡眠模式,使得第一装置100可通过应用处理器减少功耗。
[0109] 在另一实施例中,第一装置100的应用处理器可经由麦克风接收由第二装置200广播的讲话者的语音信息,并可确定讲话者的语音信息与参考语音信息之间的相似度是否等于或大于预定值。
[0110] 在操作S850中,在第一装置100成功执行讲话者相关识别时,第一装置100可基于第二装置200的通信连接信息来将通信连接请求发送给第二装置200。例如,在传感器中枢唤醒处于睡眠模式的应用处理器时,应用处理器可对第二装置200的被调制的通信连接信息进行解调。应用处理器可通过使用第二装置200的被解调的通信连接信息来将通信连接请求发送给第二装置200。在另一实施例中,传感器中枢可对第二装置200的被调制的通信连接信息进行解调。在操作S860中,第二装置200可接收通信连接请求并可发送针对通信连接请求的接受消息。然后,在操作S870中,第一装置100和第二装置200可建立通信链路。
[0111] 第二装置200可不批准根据第一装置100的第一连接方法的通信连接请求,但可选择另一连接方法(第二连接方法)并可将通信连接请求发送给第一装置100。这里,在第一装置100将针对根据第二连接方法的通信连接请求的接受消息发送给第二装置200时,第一装置100和第二装置200可根据第二连接方法建立通信链路。
[0112] 在第一装置100的用户将预定表达口头输入到第二装置200中时,第一装置100和第二装置200可通过使用语音识别技术来自动建立通信链路。操作S810至操作S870的顺序可被改变或一些操作可被跳过。在下文中,现在将参照图9描述第二装置200经由BLE通信来广播(或发送)语音信息的处里。
[0113] 图9是由第一装置100和第二装置200建立用于经由BLE通信来交换数据的通信链路的方法的流程图。在操作S910中,第二装置200可获取讲话者的语音信息。操作S910与图8的操作S810相应,因此,对操作S910的详细描述被省略。在操作S920中,第二装置200可经由BLE通信来广播包括讲话者的语音信息和第二装置200的通信连接信息的广播包。第二装置200可响应于讲话者语音数据输入来配置广播包并可广播广播包,或第二装置200在BLE装置处于第二装置200周围时可广播广播包。例如,第二装置200可例如经由BLE通信,响应于第二装置200扫描对ID信息、性能信息进行广播的第一装置100来广播包括语音信息的广播包。
[0114] 在操作S930中,第一装置100可检测预定事件的发生。这里,预定事件可触发对外部装置的扫描。例如,预定事件可包括:经由磁性传感器获取的磁场信息的值等于或大于预设的参考磁场信息的值的事件、经由RGB传感器获取的颜色信息与参考颜色信息的事件相匹配或经由麦克风获取的声音信息与参考声音信息相匹配的事件。将在下文中参照图10和图11来提供预定事件的详细描述。
[0115] 在操作S940中,在第一装置100检测预定事件的发生时,第一装置100可扫描第二装置200。例如,在经由磁性传感器获取的磁场信息的值等于或大于预设的参考磁场信息的值时,第一装置100可执行BLE扫描。在这样情况下,第一装置100在包括磁性物质(例如,扬声器)的装置在第一装置100周围时执行BLE扫描,因此,第一装置100不会浪费电能。在另一实施例中,第一装置100可周期性地执行BLE扫描而不考虑预定事件的发生。
[0116] 在操作S950中,第一装置100可接收由第二装置200广播的广播包。在操作S960中,第一装置100可基于广播包中所包括的语音信息来执行讲话者相关识别。第一装置100的传感器中枢可被连接到BLE通信单元。传感器中枢可经由BLE通信单元来接收由第二装置200广播的讲话者的语音信息和第二装置200的通信连接信息。传感器中枢可将参考语音信息与讲话者的语音信息进行比较。例如,传感器中枢可确定讲话者的语音信息与参考语音信息之间的相似度是否等于或大于预定值(例如,约97%)。
[0117] 在另一实施例中,第一装置100的应用处理器可经由BLE通信单元来接收由第二装置200广播的讲话者的语音信息,并可确定讲话者的语音信息与参考语音信息之间的相似度是否等于或大于预定值。在操作S970中,在第一装置100成功执行讲话者相关识别时,第一装置100可基于广播包中所包括的第二装置200的通信连接信息来与第二装置200建立通信链路。
[0118] 例如,第一装置100的传感器中枢可对第二装置200的被调制的通信连接信息进行解调。第一装置100的传感器中枢可通过使用第二装置200的被调制的通信连接信息(例如,MAC地址、与第二装置200所支持的通信方法有关的信息)将通信连接请求发送给第二装置200。在另一实施例中,第一装置100的应用处理器可对第二装置200的被调制的通信连接信息进行解调。第二装置200经由BLE通信广播广播包。第二装置200可经由其它短距离通信(例如,Ant+通信、NFC、ZigBee)来广播讲话者的语音信息和第二装置200的通信连接信息。
[0119] 操作S910至操作S970的顺序可被改变或一些操作可被省略。在下文中,现在将参照图10和图11来描述控制第一装置100扫描第二装置200的预定事件。图10示出第一装置100基于磁性传感器的值来扫描第二装置200的示例。如图10(a)所示,第一装置100可包括磁性传感器151。磁性传感器151是感测磁场的传感器。磁性传感器151可包括测量沿X轴、Y轴和Z轴方向的磁场的强度的三个传感器。因此,第一装置100可经由磁性传感器151获取磁场信息。
[0120] 磁场信息可以是与例如磁场的方向、磁场的强度、磁力、磁场的改变、磁力的改变有关的信息。此外,磁场信息可以是磁场的强度或磁力的整数值,或者具有方向和强度的向量。
[0121] 例如,磁场信息可与三个向量的总和 X轴、Y轴和Z轴中的向量的大小(|x|、|y|或|z|)或X轴、Y轴和Z轴中的两个向量的总和(
或 )相应。此外,磁场信息可与通过将三个
向量的平方相加而获取的总和相应。
[0122] 第一装置100可通过使用磁性传感器151来周期性地(例如,0.1秒)获取磁场信息。第一装置100可在第一装置100的运动被检测时经由磁性传感器151来获取磁场信息。在第一装置100位于预设区域(例如,住宅或办公室)时,可经由磁性传感器151获取磁场信息。
[0123] 在第一装置100经由磁性传感器151获取磁场信息时,第一装置100可考虑由陀螺仪检测到的角速度信息和有加速度传感器检测到的加速度信息。在磁性传感器151的值被测量时,第一装置100可处于运动中,使得第一装置100还可考虑角速度信息和加速度信息从而获取准确的磁场信息。
[0124] 第一装置100可将经由磁性传感器151获取的磁场信息与预设的参考磁场信息进行比较。第一装置100可确定经由磁性传感器151获取的磁场信息的值是否等于或大于参考磁场信息的值。
[0125] 根据本实施例的参考磁场信息可以是与作为用于将通信单元的未激活状态切换为激活状态的参考的临界值、磁场的强度或磁力有关的信息。例如,参考磁场信息可被设置为180μT。参考磁场信息可由用户、第一装置100或外部服务器来设置。
[0126] 响应于经由磁性传感器151获取的磁场信息小于参考磁场信息的值(例如,180μT),在第一装置100将其通信单元保持为处于未激活状态的同时第一装置100可经由磁性传感器151可持续监测其附近的磁场信息。
[0127] 如图10(b)所示,在经由磁性传感器151获取的磁场信息的值等于或大于参考磁场信息的值时,第一装置100可通过使用至少一个通信单元来扫描第二装置200。例如,第一装置100可经由BLE通信单元来接收由第二装置200广播的信息(例如,讲话者的语音信息、第二装置200的通信连接信息)。第一装置100可通过分析信息来识别第二装置200。第一装置100可在包括磁性物质(例如,扬声器)的第二装置200在第一装置100周围时仅执行BLE扫描,并且因此,第一装置100可减少功耗。
[0128] 图11示出第一装置100基于RGB传感器的值来扫描第二装置200的示例。
[0129] 作为第二装置200的移动终端可包括发光二极管(LED)或显示图像的显示单元。
[0130] 如图11(a)所示,第一装置100可经由RGB传感器159获取颜色信息。RGB传感器159可指示用于检测从光源发出的颜色(诸如,环境蓝1120)的传感器。在光传感器用于分析光的三原色时,RGB传感器159可以是光传感器。
[0131] 颜色信息可包括但不限于:例如,颜色(例如,红、绿、蓝、白)、颜色强度值(例如,在约0与约255之间)和色谱信息。
[0132] 第一装置100可将经由RGB传感器159获取的颜色信息与预设的参考颜色信息进行比较。例如,第一装置100可确定经由RGB传感器159获取的颜色信息与预设的参考颜色信息之间的相似度。
[0133] 参考颜色信息可以是与颜色(例如,蓝、绿、红、白)有关的信息、与颜色强度(例如,在约0与约255之间)有关的信息或色谱信息。例如,参考颜色信息可以是按照红、绿和蓝的顺序的颜色改变值大于或等于临界值的图案。
[0134] 参考颜色信息可以由用户、第一装置100或外部装置来设置。
[0135] 第一装置100可从内存中提取参考颜色信息并可将被提取的参考颜色信息与经由RGB传感器159获取的颜色信息进行比较。
[0136] 在经由RGB传感器159获取的颜色信息与可按照例如红→绿→蓝的顺序改变的参考颜色信息之间的相似度小于预定值(例如,90%)时,在第一装置100将其通信单元保持为处于未激活状态的同时,第一装置100可经由RGB传感器159持续地监测其附近的颜色信息。
[0137] 如图11(b)所示,在经由RGB传感器159获取的颜色信息与参考颜色信息之间的相似度等于或大于预定值(例如,90%)时,第一装置100可通过使用至少一个通信单元来扫描第二装置200。例如,在经由RGB传感器159获取的颜色信息与参考颜色信息之间的相似度等于或大于预定值(例如,90%)时,第一装置100可确定发生与装置扫描有关的预定事件。
[0138] 在第二装置200广播讲话者的语音信息和第二装置200的通信连接信息时,第二装置200可经由显示单元(例如,LED)来输出光。在这种情况下,第一装置100可经由RGB传感器159获取颜色信息。
[0139] 在经由RGB传感器159获取的可按照例如红→绿→蓝的顺序改变的颜色信息与可按照例如红→绿→蓝的顺序改变的参考颜色信息相匹配时,第一装置100可将通信单元的状态从未激活状态切换为激活状态。第一装置100可经由切换到激活状态的通信单元来接收由第二装置200广播的讲话者的语音信息和第二装置200的通信连接信息。
[0140] 图12是根据本发明构思的由第一装置100和第二装置200建立用于经由声音通信和BLE通信来交换数据的通信链路的方法的流程图。
[0141] 在操作S1210中,第二装置200可获取讲话者的语音信息。由于操作S1210与图8中示出的流程图中的操作S810相应,所以这里将省略对操作S1210的详细描述。
[0142] 在操作S1220中,第二装置200可广播包括讲话者的语音信息的声音信号。在操作S1230中,第二装置200可经由BLE通信来广播包括第二装置200的通信连接信息的广播包。操作S1220和操作S1230可被同时或顺序地执行。可选地,可在操作1220之前执行操作S1230。
[0143] 在操作S1240中,第一装置100可经由其麦克风接收声音信号。在操作S1250中,第一装置100可基于声音信号中所包括的讲话者的语音信息来执行讲话者相关识别。在下文中参照图13描述该处理。
[0144] 如图13(a)所示,第一装置100的麦克风114可被连接到传感器中枢121并可保持激活。在这种情况下,传感器中枢121可经由麦克风114获取由第二装置200广播的声音信号中所包括的讲话者的语音信息。传感器中枢121可将参考语音信息与讲话者的语音信息进行比较。例如,传感器中枢121可确定参考语音信息与讲话者的语音信息之间的相似度是否等于或大于预定值(例如,约97%)。在参考语音信息与讲话者的语音信息之间的相似度小于预定值(例如,约97%)时,在第一装置100将其通信单元保持为未激活状态的同时第一装置100可经由麦克风114持续监测其附近的声音信息。
[0145] 如图13(b)所示,在经由麦克风114获取的参考语音信息与讲话者的语音信息之间的相似度等于或大于预定值(例如,约97%)时,第一装置100可将至少一个通信单元的模式切换为激活状态。
[0146] 在操作S1260中,第一装置100可扫描第二装置200。例如,在第一装置100成功执行讲话者相关识别(即,在参考语音信息与讲话者的语音信息之间的相似度等于或大于预定值(例如,约97%)时),第一装置100可将BLE通信单元的模式切换为激活状态。第一装置100可通过使用处于激活状态的BLE通信单元来扫描第二装置200。第一装置100可在第一装置100成功执行讲话者相关识别时执行BLE扫描,并且因此,第一装置100不会浪费电能。
[0147] 在操作S1270中,第一装置100可接收由第二装置200广播的广播包。在操作S1280中,第一装置100可通过使用广播包中所包括的第二装置200的通信连接信息来第二装置200建立与双向通信链路。
[0148] 通信链路可通过使用与第一装置100接收由第二装置200广播的广播信息的通信方法相同的通信方法来建立,或可通过与接收广播信息的通信方法不同的通信方法(即,OOB方法)来建立。在下文中,现在将参照图14详细描述第一装置100通过使用OOB方法来建立通信链路的处理。
[0149] 图14示出根据本发明构思的由第一装置100和第二装置200通过使用OOB方法建立通信链路的方法的处理流程。如图14(a)所示,第一装置100和第二装置200可建立蓝牙通信链路。
[0150] 在操作S1405中,第二装置200可通过使用声音输出单元和/或BLE通信单元来广播包括讲话者的语音信息和第二装置200的通信连接信息的声音信号和/或广播包。在操作S1410中,第一装置100可通过使用麦克风或BLE通信单元来扫描第二装置200。第一装置100和第二装置200可建立作为第一通信链路的声音通信链路或BLE通信链路。第一装置100可将蓝牙通信方法确定为经由第一通信链路来交换数据的第二通信方法。在操作S1415中,第一装置100可将配对请求发送给第二装置200。这里,“配对”是查看例如为支持蓝牙功能的第一装置100与第二装置200之间的互相的通信连接而设置的密码、ID信息、安全信息、授权信息的处理。
[0151] 在操作S1420中,第一装置100可接收配对响应。第二装置200可响应于配对请求将个人ID信息发送给第一装置100。个人ID信息的示例可以是个人标识号码(PIN)码。个人ID信息可仅为单次使用而创建或可被存储在存储器中。在由第一装置100请求的个人ID信息与从第二装置200接收到的个人ID信息相匹配时,第一装置100与第二装置200之间的配对可被完成。
[0152] 在操作S1425中,第一装置100可将蓝牙连接请求发送给第二装置200。在操作S1430中,第二装置200可对第一装置100请求的连接进行响应。在这种情况下,第一装置100可与第二装置200建立蓝牙通信链路。由于建立蓝牙通信链路的处理是公知的,所以这里将省略对所述处理的详细描述。
[0153] 如图14(b)所示,第一装置100和第二装置200两者可建立WFD通信链路。操作S1435和操作S1440可与操作S1405和操作S1410分别相应。例如,第一装置100和第二装置200可建立作为第一通信链路的声音通信链路或BLE通信链路。第一装置100可将WFD通信方法确定为用于经由第一链路交换数据的第二通信方法。在操作S1445中,第一装置100可扫描包括WFD功能的第二装置200。在第二装置200被扫描时,第一装置100可通过形成群组(一对一或一对多拓补)而被连接到第二装置200。在操作S1450中,第一装置100可执行与第二装置200形成群组的处理。第一装置100和第二装置200可协商从而确定作为群组的主要角色的点对点群组所有者(P2PGO)和P2P客户端,并可设置将被用于群组的工作信道。在操作S1445中,第一装置100和第二装置200可执行Wi-Fi防护设置(WPS)。例如,第一装置100和第二装置200可交换由装置用户经由键区输入的PIN信息,并可根据用户的推送按钮选择来执行设置。在操作S1460中,第一装置100和第二装置200可建立WFD通信链路。由于建立WFD通信链路的处理是公知的技术,所以这里将省略对所述处理的详细描述。
[0154] 图15是由第二装置200执行的用于从讲话者的语音信息中提取控制信息并执行与控制信息相应的功能的方法的流程图。
[0155] 在操作S1510中,第二装置200可获取讲话者的语音信息。由于操作S1510与图8中示出的流程图中的操作S810相应,所以这里将省略对操作S1510的详细描述。
[0156] 在操作S1520中,第二装置200可从讲话者的语音信息中提取控制信息。控制信息可包括用于控制第一装置100和第二装置200中的至少一个装置的命令。例如,控制信息可包括以下控制命令中的至少一个控制命令:用于接收内容的控制命令、用于发送内容的控制命令、用于发送位置信息的控制命令、用于同步多条数据的控制命令、用于切换模式的控制命令和用于执行屏幕镜像的控制命令。第二装置200可将讲话者的语音信息与包括命令的DB进行比较,从而提取讲话者的语音信息中所包括的控制信息。由于操作S1520与图3中示出的流程图中的操作S330相应,所以这里将省略对操作S1520的详细描述。在操作S1530中,第二装置200可广播讲话者的语音信息、控制信息和第二装置200的通信连接信息。第二装置200可经由声音通信(例如,通过使用不可听范围和可听范围中的至少一个范围的声音信号)和短距离通信(例如,BLE通信、Ant+通信、NFC通信)来广播讲话者的语音信息、控制信息和第二装置200的通信连接信息。与由第二装置200执行的广播广播信息的方法有关描述与与图2中示出的流程图中的操作S220有关的描述相同,因此在这里被省略。
[0157] 在操作S1540中,第一装置100可从第二装置200接收讲话者的语音信息、控制信息和第二装置200的通信连接信息。例如,第一装置100可经由麦克风或BLE通信单元来接收讲话者的语音信息、控制信息和第二装置200的通信连接信息。
[0158] 在操作S1550中,第一装置100可基于讲话者的语音信息来执行讲话者相关识别。例如,第一装置100可确定讲话者的语音信息与参考语音信息之间的相似度是否等于或大于预定值(例如,约97%)。
[0159] 在操作S1560中,在第一装置100成功执行讲话者相关识别(即,在参考语音信息与讲话者的语音信息之间的相似度等于或大于预定值(例如,约97%)时),第一装置100可基于第二装置200的通信连接信息来与第二装置200建立通信链路。在操作S1570中,第一装置100可执行与从第二装置200接收到的控制信息相应的功能。例如,第一装置100可准备经由通信链路来接收预定的内容。在第一装置100从第二装置200接收预定的内容时,第一装置
100可在屏幕上显示预定的内容。此外,第一装置100可经由通信链路将由第二装置200请求的内容发送给第二装置200。在操作S1580中,第二装置200可经由通信链路来执行与从讲话者的语音信息中提取出的控制信息相应的功能。例如,第二装置200可经由通信链路将由讲话者选择的预定内容发送给第一装置100。此外,第二装置200可经由通信链路从第一装置
100接收内容。
[0160] 在实施例中,第一装置100可从由第二装置200发送的讲话者的语音信息中提取控制信息,第一装置100可将提取出的控制信息发送给第二装置200。可选地,第一装置100和第二装置200中的每个装置可从讲话者的语音信息中提取控制信息。
[0161] 在下文中,现在将参照图16详细描述第一装置100和第二装置200经由通信链路来执行讲话者的语音中所包括的控制命令的示例。图16示出第一装置100和第二装置200执行与控制信息相应的功能的示例。如图16(a)所示,在第一装置100的用户将“Cheolsoo的电话,接收”的语音输入到第二装置200中,第二装置200可广播与由第一装置100的用户输入的“Cheolsoo的电话,接收”的语音有关的语音信息,以及第二装置200的通信连接信息。这里,第一装置100可从由用户输入的“Cheolsoo的电话,接收”的语音中提取指示“接收”的控制信息,并可将指示“接收”的控制信息发送给第二装置200。
[0162] 第一装置100可基于从第二装置200接收的语音信息而执行讲话者相关识别。由于输入了第一装置100的用户的语音所说出的预设的表达(“Cheolsoo的电话”),所以讲话者相关识别可以是成功的。在这种情况下,第一装置100可基于第二装置200的通信连接信息来与第二装置200建立通信链路。
[0163] 如图16(b)所示,在第二装置200接收“Cheolsoo的电话,接收”的语音时,第二装置200可将指示“接收”的控制信息解释为用于将当前再现的内容发送给第一装置100的控制命令。因此,第二装置200可查看与当前再现的内容有关的内容信息并可将包括内容信息的数据共享请求发送给第一装置100。内容信息可包括但不限于:内容类型、内容ID值、内容大小和内容元数据。
[0164] 在第一装置100将针对数据共享请求的接受消息发送给第二装置200时,第二装置200可将内容发送给第一装置100。这里,第一装置100可基于指示“接收”的控制信息和由第二装置200发送的内容信息来准备接收内容,并可从第二装置200接收内容。
[0165] 在第一装置100接收数据共享请求时,第一装置100可在其屏幕上显示例如与第二装置200或发送方有关的信息、内容信息和包括“接收”、“拒绝”项的GUI,以请求用户确认是否接收内容。
[0166] 如图16(c)所示,在讲话者相关识别成功时,第一装置100可将屏幕锁定模式切换为屏幕解锁模式。因此,虽然第一装置100不从用户接收单独的输入,但是第一装置100可在屏幕上显示来自第二装置200的内容或可将内容再现。讲话者可通过将预定表达口头输入给第二装置200来将在第二装置200中再现的内容发送给第一装置100。
[0167] 图17是在第一装置100未能成功执行讲话者相关识别时广播讲话者的语音信息的方法的流程图。在操作S1710中,第一装置100可接收讲话者的语音信息。例如,第一装置100的麦克风可被连接到第一装置100的传感器中枢并可保持激活。第一装置100的传感器中枢可经由麦克风获取被广播的声音信号中所包括的讲话者的语音信息。在另一实施例中,在至少一个短距离通信单元被连接到第一装置100的传感器中枢并转换为激活状态时,第一装置100可通过使用所述至少一个短距离通信单元来获取被广播的讲话者的语音信息。在操作S1720中,第一装置100可确定讲话者的语音信息与预定的参考语音信息之间的相似度是否等于或大于预定值。例如,第一装置100的传感器中枢可发送对讲话者的语音信息与预定的参考语音信息之间的相似度是否等于或大于预定值(例如,约97%)的指示。
[0168] 在操作S1730中,在讲话者的语音信息与参考语音信息之间的相似度小于预定值时,第一装置100可广播接收到的广播的讲话者的语音信息。例如,第一装置100可通过使用声音输出单元来广播包括讲话者的语音信息的声音信号。此外,第一装置100可经由短距离通信(例如,BLE通信)来广播讲话者的语音信息。
[0169] 在操作S1740中,在讲话者的语音信息与参考语音信息之间的相似度等于或大于预定值时,第一装置100可执行讲话者的语音信息中所包括的控制命令。例如,在由预训练的讲话者的语音说出的预训练的表达被输入时,第一装置100可执行讲话者的语音信息中所包括的控制命令(例如,用于形成通信链路的控制命令、用于发送当前位置信息的控制命令)。
[0170] 第一装置100可从讲话者的语音信息中提取控制命令。此外,第一装置100可接收讲话者的语音信息和从讲话者的语音信息中提取的控制命令。在来自外部的讲话者的语音信息与参考语音信息相匹配时,第一装置100可识别讲话者的语音信息的最终目标是第一装置100。因此,第一装置100不再广播讲话者的语音信息并可执行讲话者的语音信息中所包括的控制命令。
[0171] 在接收到的广播的讲话者的语音信息与参考语音信息不匹配时,第一装置100可识别讲话者的语音信息的最终目标不是第一装置100。因此,第一装置100可向外部再次广播讲话者的语音信息。现在将参照图18详细描述该处理。
[0172] 图18示出讲话者通过使用语音信息来搜索特定装置的示例。第一用户AA不用确切地知道第一用户AA的平板PC 1810位于哪里。在这种情况下,第一用户AA可将“AA平板,你在哪里?”的语音输入到第一用户AA附近的第二用户BB的移动电话1820。这里,AA平板可以是平板PC 1810的名称并可以是由第一用户AA训练给平板PC 1810的第一参考语音信息。
[0173] 第二用户BB的移动电话1820可广播“AA平板,你在哪里?”的语音或包括与“AA平板,你在哪里?”的语音有关的特征信息的声音信号。这里,第二用户BB的移动电话1820可使用不可听范围或可听范围的声音信号。
[0174] 第三用户CC的移动电话1830可经由移动电话1830的麦克风来接收由第二用户BB的移动电话1820广播的包括指示“AA平板,你在哪里?”的语音信息的声音信号。由于AA平板与第三用户CC给移动电话1830训练的第三参考语音信息(例如,“CC电话”)不匹配,所以第三用户CC的移动电话1830可确定语音信息的最终目标不是移动电话1830。因此,第三用户CC的移动电话1830可通过使用移动电话1830的声音输出单元来再次广播包括指示“AA平板,你在哪里?”的语音信息的声音信号。第四用户dd的TV 1840可经由TV 1840的麦克风来接收由第三用户CC的移动电话1830广播的包括指示“AA平板,你在哪里?”的语音信息的声音信号。由于AA平板不与由第四用户dd给TV 1840训练的第四参考语音信息(例如,“dd TV”)不匹配,所以第四用户dd的TV 1840可确定语音信息的最终目标不是TV 1840。因此,第四用户dd的TV 1840可通过使用TV 1840的声音输出单元来再次广播包括指示“AA平板,你在哪里?”的语音信息的声音信号。第一用户AA的平板PC 1810可经由平板PC 1810的麦克风来接收由第二用户BB的移动电话1820或第四用户dd的TV 1840广播的包括指示“AA平板,你在哪里?”的语音信息的声音信号。由于AA平板与由第一用户AA给平板PC 1810训练的第一参考语音信息(即,“AA平板”)相匹配,所以第一用户AA的平板PC 1810可确定语音信息的最终目标是平板PC 1810。
[0175] 因此,第一用户AA的平板PC 1810不再广播指示“AA平板,你在哪里?”的语音信息并可执行语音信息中所包括的控制命令。例如,在指示“你在哪里?”的控制信息与命令“发送其当前位置或输出警告信号”相应时,平板PC 1810可发送平板PC 1810的位置信息或可将用于通知平板PC 1810的位置的警告信号输出到第二用户BB的移动电话1820。
[0176] 在图18的示例中,包括语音信息的声音信号在不同用户的装置之间被转发。然而,在另一实施例中,包括语音信息的声音信号可在相同用户的装置之间被转发。例如,在第一用户以语音方式将指示“表,你在哪里?”的语音信息输入到第一用户的移动电话时,指示“表,你在哪里?”的语音信息可经由第一用户的TV或第一用户的相机从第一用户的移动电话转发给第一用户的表。
[0177] 因此,虽然对声音信号经由声音输出单元(例如,扬声器)可传送的距离有限制,但是语音信息可经由声音信号在装置之间的转发发送而被传送到远处的目标。
[0178] 图19和图20示出第一装置100的结构。
[0179] 参照图19,第一装置100可包括通信单元110和控制单元120(在下文中,为处理器120)。
[0180] 如图20中所示,第一装置100除了包括通信单元110和处理器120外还可包括输出单元130、用户输入单元140、感测单元150和存储器160。通信单元110可包括允许第一装置100与第二装置200之间或第一装置100与服务器之间的通信的一个或更多个元件。例如,通信单元110可包括短距离通信单元111、移动通信单元112、广播接收单元113、麦克风114和相机115。短距离通信单元111可包括但不限于例如蓝牙通信单元、BLE通信单元、NFC/RFID单元、Wi-Fi通信单元、ZigBee通信单元、IrDA通信单元、WFD通信单元、UWB通信单元或Ant+通信单元。
[0181] 短距离通信单元111可接收由第二装置200广播的讲话者的语音信息和第二装置200的通信连接信息。在发生预定事件时,短距离通信单元111可扫描第二装置200并可接收讲话者的语音信息和第二装置200的通信连接信息。预定事件的示例可包括但不限于经由磁性传感器151获取的磁场信息的值变为等于或大于预设的参考磁场信息的值的事件、经由RGB传感器159获取的颜色信息与参考颜色信息相匹配的事件和经由麦克风114获取的声音信息与参考声音信息相匹配的事件。
[0182] 短距离通信单元111可从第二装置200接收从讲话者的语音信息中提取出的控制信息。短距离通信单元111可将接收到的数据发送给处理器120。短距离通信单元111可被连接到传感器中枢121。移动通信单元112可与移动通信网络上的基站、外部终端和服务器中的至少一个交换无线信号。无线信号根据声音呼叫信号、视频呼叫信号或文本/多媒体消息的通信可包括各种类型的数据。广播接收单元113通过广播信道从外部接收广播信号和/或与广播有关的信息。广播信道可包括卫星信道和地波信道。第一装置100可不包括广播接收单元113。麦克风114接收外部的声音信号的输入并将接收到的声音信号处理成电子声音数据。例如,麦克风114可接收由第二装置200发送的声音信号。由第二装置200发送的声音信号可包括但不限于经由第二装置200的麦克风获取的讲话者的语音信息、第二装置200的ID信息、第二装置200的状态信息和与第二装置200所支持的通信方法有关的信息。例如,声音信号可包括从讲话者的语音信息中提取出的控制信息。麦克风114可将被处理的声音数据发送给处理器120。根据本实施例,麦克风114可被连接到传感器中枢121。
[0183] 相机115可经由处于视频呼叫模式或拍照模式的图像传感器来获取图像帧(诸如,静止图像或运动图像)。经由图像传感器捕捉的图像可被处理器120或单独的图像处理单元(未示出)所处理。例如,相机115可识别被显示在第二装置200的屏幕上的一维条码、二维条码(例如QR码)、三维条码、颜色码、格雷码。
[0184] 通信单元110可基于第二装置200的通信连接信息将通信连接请求发送给第二装置200。通信单元110可从第二装置200接收针对通信连接请求的接受消息。通信单元110可经由通信链路从第二装置200接收内容。通信单元110可经由通信链路将内容发送给第二装置200。此外,通信单元110可将第一装置100的位置信息发送给第二装置200。处理器120控制第一装置100的操作。例如,处理器120执行存储器160中所存储的程序,从而控制例如通信单元110、输出单元130、用户输入单元140、感测单元150、存储器160。处理器120可将经由通信单元110接收到的讲话者的语音信息与预存储的参考语音信息进行比较。在讲话者的语音信息与参考语音信息之间的相似度等于或大于预定值时,处理器120可通过使用第二装置200的通信连接信息来与第二装置200建立通信链路。
[0185] 在讲话者的语音信息与参考语音信息之间的相似度小于预定值时,处理器120可控制通信单元110向外部广播讲话者的语音信息。
[0186] 处理器120可执行与从讲话者的语音信息中提取出的控制信息相应的功能。功能可包括以下功能中的至少一个功能:用于接收内容的功能、用于发送内容的功能、用于发送位置信息的功能、用于同步多条数据的功能、用于切换模式的功能和用于执行屏幕镜像的功能。在讲话者的语音信息与参考语音信息之间的相似度等于或大于预定值时,处理器120可将屏幕锁定模式切换为屏幕解锁模式。处理器120可包括SSP的传感器中枢121。传感器中枢121可由硬件或软件来实施或者可以是硬件与软件的组合。例如,传感器中枢121可包括微型控制单元(MCU)。传感器中枢121可被连接到感测单元150并可从感测单元150采集感测信息。例如,传感器中枢121可获取由磁场传感器151检测到的磁场信息。
[0187] 传感器中枢121可将经由磁性传感器151获取的磁场信息与预设的参考信息进行比较。在经由磁性传感器151获取的磁场信息等于或大于预设的参考磁场信息时,传感器中枢121可将应用处理器(AP)从睡眠模式唤醒。
[0188] 在监视由RGB传感器159检测的颜色信息的同时,在颜色信息与参考颜色信息之间的相似度等于或大于预定值(例如,约90%)时传感器中枢121可将AP 123的睡眠模式切换为唤醒模式。
[0189] 传感器中枢121可被连接到通信单元110。在传感器中枢121监测经由通信单元110接收到的语音信息的同时,在预训练的参考语音信息被接收到时,传感器中枢121可将AP 123从睡眠模式唤醒。将在下文中参照图21详细描述SSP。
[0190] 处理器120可包括AP 123和通信处理器(CP)125。AP 123可控制存储器160中存储的不同应用的执行。例如,在经由磁性传感器151获取的磁场信息的值等于或大于预设参考磁场信息的值时,AP 123可将通信单元110从未激活状态切换为激活状态。
[0191] AP 123可将至少一个通信单元(例如,BLE通信单元)从未激活状态切换为激活状态。此外,AP 123可对经由处于激活状态的通信单元110接收的语音信息进行解调和/或在第二装置200的通信连接信息被解调时对被调制的数据进行解调。
[0192] 输出单元130例如可输出音频信号、视频信号或振动信号并可包括显示单元131、声音输出单元132、振动电机133。
[0193] 显示单元131显示由第一装置100处理的信息。例如,显示单元131可在处于呼叫模式时显示与呼叫有关的UI或GUI。在未能成功对第二装置200进行扫描时,显示单元131可在屏幕上显示指示指示连接(或扫描)失败的消息。此外,显示单元131可在屏幕上提供从第二装置200接收到的内容。
[0194] 在显示单元131和触摸板形成层状结构下的触摸屏时,显示单元131除了被用作输出装置外可被用作输入装置。显示单元131可包括以下项中的至少一项:液晶显示器、薄膜晶体管液晶显示器、有机发光二极管显示器、柔性显示器、3D显示器和电泳显示器。第一装置100可根据第一装置的实施类型而包括两个或更多个显示单元。两个或更多个显示单元可通过使用铰链而被彼此面对面地布置。
[0195] 声音输出单元132输出从通信单元110接收到的音频数据或存储器160中所存储的音频数据。此外,声音输出单元132输出与第一装置100执行的功能(例如,呼叫信号接收声音、消息接收声音)有关的声音信号。声音输出单元132可包括例如扬声器或蜂鸣器。
[0196] 声音输出单元132可向外部广播插入了讲话者的语音信息的声音信号。例如,第一装置100可将讲话者的语音信息插入到不可听范围或可听范围中的声音信号,并可广播插入了讲话者的语音信息的声音信号。
[0197] 振动电机133可输出振动信号。例如,振动电机133可输出与音频数据或视频数据(例如,呼叫信号接收声音,消息接收声音)的输出相应的振动信号。此外,振动电机133可在触摸被输入到触摸屏时输出振动信号。
[0198] 用户输入单元140是这样的单元:用户经由所述单元输入数据以控制第一装置100。例如,用户输入单元140可以是键区、圆顶开关、触摸板(诸如,电容覆盖型、电阻覆盖型、红外光束型、表面声波型、积分应变计型、压电型(例如,滚轮、滚轮开关)),例如,但是本发明的一个或更多个实施例不限于此。
[0199] 感测单元150可包括以下项中的至少一项:磁性传感器151、加速度传感器152、温度/湿度传感器153、红外传感器154、陀螺仪传感器155、位置传感器(例如,GPS)156、气压传感器157、接近传感器158和RGB传感器(即,照度传感器)159。
[0200] 存储器160可存储用于处理和控制处理器120或输入/输出数据(例如,参考语音信息、参考磁场信息)的程序。存储器160可包括以下存储介质中的至少一种类型的存储介质:闪速存储器、硬盘、微型多媒体卡、卡式存储器(诸如,SD或XD卡存储器)、随机寻址存储器(RAM)、静态随机寻址存储器(SRAM)、只读存储器(ROM)、电可擦除只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘和光盘。此外,第一装置100可运行在互联网上执行存储器160的存储功能的web存储器或云服务器。
[0201] 存储器160中所存储的程序可根据程序的功能被分为多个模块,例如,被分为UI模块161、触摸屏模块162、语音识别模块163、警告模块164。
[0202] UI模块161可为每个应用提供与第一装置100连接的特定UI或GUI。触摸屏模块162可检测触摸屏上的用户的触摸手势并将与触摸手势有关的信息发送给处理器120。触摸屏模块162可识别并分析触摸代码。触摸屏模块162可由包括控制器的另外的硬件来配置。
[0203] 不同的传感器可被布置在触摸屏中或触摸屏附近从而检测触摸传感器上的触摸或接近触摸。用于检测触摸屏上的触摸的传感器的示例可包括触觉传感器。触觉传感器检测特定对象的接触,至少相当于人类的特定对象能够被检测。例如,触觉传感器可检测不同类型的信息(诸如,接触表面的粗糙度、接触对象的硬度、接触点的温度)。
[0204] 用于检测触摸屏上的触摸的传感器的示例可包括接近传感器。
[0205] 接近传感器在不需要使用机械接触的情况下通过使用电磁场的力或红外线来检测接近预定检测表面或存在于附近的对象的存在。接近传感器的示例包括例如发送型光电传感器、方向反射型光电传感器、镜面反射型光电传感器、高频振荡型接近传感器、电容型接近传感器、磁性接近传感器、红外型接近传感器。用户的触摸手势(即,输入)可包括例如敲击手势、触摸与保持手势、双击手势、拖拽手势、平移手势、轻弹手势、拖放手势。
[0206] “轻弹”是通过使用手指或触摸工具(诸如,电子笔)触摸屏幕并在不移动的情况下立即从屏幕上提起手指或触摸工具的用户的动作。
[0207] “触摸与保持”是通过使用手指或触摸工具(诸如,电子笔)触摸屏幕并在触摸屏幕后将上述触摸动作保持超过临界时间(例如,2秒)的用户动作。例如,开始触摸时刻与结束触摸时刻之间的时间差大于或等于临界时间(例如,2秒)。在触摸输入持续超过临界时间时,为了提醒用户触摸输入是敲击还是触摸与保持,可以以视觉、听觉或触觉的方式提供反馈信号。临界时间可根据实施例而改变。
[0208] “双击”是通过使用手指或触摸工具(诸如,手写笔)来触摸屏幕两次的用户的动作。
[0209] “拖拽”是通过使用手指或触摸工具触摸屏幕并在保持触摸动作的同时在屏幕上将手指或触摸工具移动到另一位置的用户的动作。拖拽动作可使对象能够进行移动或平移动作。
[0210] “平移”是在不选择对象的情况下执行拖拽动作的用户的动作。由于在平移动作中没有对象被选择,所以在页面中没有对象被移动但是页面本身在屏幕上被移动或一组对象可在页面内被移动。
[0211] “轻弹”是通过使用手指或触摸工具执行超过临界速度(例如,100像素/秒)的拖拽动作的用户的动作。拖拽(平移)动作或轻弹动作可基于手指或触摸工具的移动速度是否超过临界速度(例如,100像素/秒)而被区分开。
[0212] “拖放”是通过使用手指或触摸工具在屏幕上将对象拖拽到预定位置并在预定位置处放下对象的用户的动作。
[0213] “缩放”是将触摸屏幕的两个手指沿相反方向移动的用户的动作。缩放动作是用于放大(张开)或缩小(捏合)对象或页面的手势。放大值或缩小值根据两个手指之间的距离而确定。
[0214] “滑动”是通过使用手指或触摸工具触摸屏幕上的对象并同时将对象水平或垂直移动预定距离的用户的动作。沿倾斜方向的滑动动作不会被识别为滑动事件。
[0215] 存储器160可包括通过使用语音识别引擎来识别用户的语音并将识别出的语音发送给处理器120的语音识别模块163。
[0216] 语音识别模块163可确定第一装置100获取的讲话者的语音信息是否与预设的参考语音信息相匹配。语音识别模块163可从用户的语音中检测识别目标时段,可移除噪声分量并可从识别目标时段中提取语音特征。语音识别模块163可将提取出的语音特征与语音数据库进行比较并将具有最高相似度的表达作为识别结果而输出。在语音识别模块163识别句子而非简单的命令表达时,语音识别模块163可使用语言模型。
[0217] 语音识别模块163可执行例如孤立单词识别、连续的讲话识别、关键字识别。此外,语音识别模块163可执行讲话者无关识别和讲话者相关识别。
[0218] 语音识别模块163可被实施为硬件或软件或者可被实施为硬件与软件的组合。
[0219] 警告模块164可产生用于对第一装置100中的事件的发生进行通知的信号。第一装置100中发生的事件可包括例如呼叫信号接收、消息接收、关键信号输入、日程通知。警告模块164可经由显示单元131输出视频信号形式的警告信号,经由声音输出单元132输出音频信号形式的警告信号,或经由振动电机133输出振动信号形式的警告信号。
[0220] 警告模块164可具有贪睡功能。例如,在用户设置警告重复次数(例如,5次)或警告重复间隔(例如,3分钟)时,警告模块164可按照预定的间隔(例如,3分钟)输出预定次数(例如,5次)的警告信号。
[0221] 图21示出SSP的数据通信协议。
[0222] SSP(无缝感测平台)可包括传感器中枢121和SSP管理器122。感测单元150或通信单元110可被连接到传感器中枢121,SSP管理器122可被包括在AP 123的框架中。
[0223] 传感器中枢121可经由通信单元110接收由第二装置200广播的讲话者的语音信息。此外,传感器中枢121可经由通信单元110接收第二装置200的通信连接信息和从讲话者的语音信息中提取出的控制信息。在发生事件以将AP 123从睡眠模式中唤醒时(例如,在接收到的讲话者的语音信息与预设的参考语音信息相匹配时),传感器中枢121可将中断信号发送给SSP管理器122从而通知将被发送的数据的存在(S10)。
[0224] SSP管理器122可向传感器中枢121发送请求将由传感器中枢121发送的数据的类型和长度的信号(S20)。传感器中枢121可向SSP管理器122发送与将被发送的数据的类型和长度有关的内容(S30)。SSP管理器122可将接收就绪消息(开始读取消息)发送给传感器中枢121(S40)。在传感器中枢121接收开始读取消息时,传感器中枢121可将例如第一装置100的状态信息、讲话者的语音信息、第二装置200的通信连接信息处理为预先约定的包并可将所述包发送给SSP管理器122(S50)。在这种情况下,唤醒处于睡眠模式的AP 123。
[0225] 图22是示出第二装置200的结构的框图。
[0226] 第二装置200可包括通信单元210、语音识别单元220和控制单元230(在下文中,为处理器230)。第二装置200可由比上述元件更多或更少的元件来实施。例如,第二装置200除了包括通信单元210、语音识别单元220和控制单元230以外可还包括显示单元240、用户输入单元250和存储器260。
[0227] 通信单元210可包括允许第一装置100与第二装置200之间或第二装置200与服务器之间的通信的一个或更多个元件。例如,通信单元210可包括麦克风211、声音输出单元212、短距离通信单元213和移动通信单元214。
[0228] 麦克风211接收作为输入的外部声音信号并将接收到的声音信号处理为电子语音数据。例如,麦克风211可接收由第一装置100发送的声音信号。由第一装置100发送的声音信号可包括但不限于第一装置100的ID信息、第一装置100的状态信息和与第一装置100支持的通信方法有关的信息。麦克风211可接收作为输入的讲话者的语音。麦克风211可将处理过的声音信号发送给处理器230。
[0229] 声音输出单元212输出从外部接收的音频数据或存储器260中存储的音频数据。此外,声音输出单元212输出与第二装置200执行的功能(例如,呼叫信号接收声音、消息接收声音)有关的声音信号。声音输出单元212可包括扬声器。
[0230] 声音输出单元212可广播插入了讲话者的语音信息和第二装置200的通信连接信息的声音信号。例如,第二装置200可将例如讲话者的语音信息、第二装置200的ID信息、第二装置200的性能信息、与第二装置200偏好的通信方法有关的信息、第二装置200的状态信息、控制信息插入到不可听范围和可听范围的声音信号中,并经由声音输出单元212向外部广播声音信号。
[0231] 短距离通信单元213可包括但不限于例如蓝牙通信单元、BLE通信单元、NFC/RFID单元、Wi-Fi通信单元、ZigBee通信单元、IrDA通信单元、WFD通信单元、UWB通信单元、Ant+通信单元。短距离通信单元213可经由短距离通信广播讲话者的语音信息、第二装置200的通信连接信息和控制信息。此外,短距离通信单元213可经由短距离通信扫描外部装置。
[0232] 移动通信单元214可在移动通信网络上与基站、外部终端和服务器中的至少一个交换无线信号。无线信号可根据声音呼叫信号、视频呼叫信号或文本/多媒体消息的通信而包括不同类型的数据。
[0233] 通信单元210可基于第二装置200的通信连接信息而从第一装置100接收通信连接请求。通信单元210可将与通信连接请求有关的响应消息发送给第一装置100。
[0234] 通信单元210可经由通信链路从第一装置100接收内容。通信单元210可经由通信链路将内容发送到第一装置100。此外,通信单元210可从第一装置100接收第一装置100的位置信息。
[0235] 语音识别单元220可从用户的语音中检测识别目标时段,可从识别目标时段中移除噪声分量并可从识别目标周期中提取语音特征。语音识别单元220可将提取出的语音特征与语音数据库进行比较并可将具有最高相似度的表达作为识别结果而输出。在语音识别单元220识别句子而非简单的命令表达时,语音识别单元220可使用语言模型。
[0236] 语音识别单元220可执行例如孤立单词识别、连续的讲话识别、关键字识别。此外,语音识别单元220可执行讲话者无关识别和讲话者相关识别。
[0237] 语音识别单元220可从讲话者输入的讲话者的语音信息中提取控制信息。控制信息可包括以下控制命令中的至少一个控制命令:用于接收内容的控制命令、用于发送内容的控制命令、用于发送位置信息的控制命令、用于同步多条数据的控制命令、用于切换模式的控制命令和用于执行屏幕镜像的控制命令。
[0238] 语音识别单元220可被实施为硬件或软件或者可被实施为硬件与软件的组合。
[0239] 处理器230控制第二装置200的操作。例如,处理器230执行存储器260中存储的程序从而控制例如通信单元210、语音识别单元220、显示单元240、用户输入单元250、存储器260。
[0240] 处理器230可控制通信单元210与第一装置100建立通信链路。处理器230可经由通信链路执行与从讲话者的语音信息中提取出的控制信息相应的功能。例如,处理器230可经由通信链路将在讲话者的语音信息被获取时被显示在屏幕上的内容发送给第一装置100。
[0241] 显示单元240可显示并输出由第二装置200处理的信息。例如,显示单元240可显示例如与讲话者的语音的识别结果有关的信息、内容、与与第一装置100的连接有关的状态信息。
[0242] 在显示单元240和触摸板形成层状结构下的触摸屏时,显示单元240除了被用作输出装置外可被用作输入装置。显示单元240可包括但不限于以下项中的至少一项:液晶显示器、薄膜晶体管液晶显示器、有机发光二极管显示器、柔性显示器、3D显示器和电泳显示器。
[0243] 用户输入单元250是这样的单元:用户经由所述单元输入数据以控制第二装置200。
[0244] 在用户输入单元250包括触摸板时,用户输入单元250可检测用户的触摸手势。
[0245] 存储器260可存储用于处理和控制处理器230或输入/输出数据(例如,ID信息、性能信息、与偏好的通信方法有关的信息、状态信息)的程序。存储器260可包括以下存储介质中的至少一种类型的存储介质:闪速存储器、硬盘、微型多媒体卡、卡式存储器(诸如,SD或XD卡存储器)、RAM、SRAM、ROM、EEPROM、PROM、磁存储器、磁盘和光盘。
[0246] 如上所述,根据本发明的一个或更多个上述实施例,用户可通过将语音命令输入到另一用户的装置或用户的第二装置而容易执行用于与用户的第一装置进行数据交换的配对。此外,根据本发明的一个或更多个上述实施例,用户选择装置的处理和从另一用户接收针对装置配对的接受的处理可经由一个原始语音输入而被执行,使得用户输入的总数可被减少。
[0247] 本发明的一个或更多个实施例也可被实施为用于在不同的计算机部件中执行的程序化的命令,并可被记录到计算机可读存储介质。计算机可读存储介质可包括例如一个或更多个程序化的命令、数据文件、数据结构。被记录到计算机可读存储介质的程序化的命令可被配置给本发明的一个或更多个实施例或对本领域普通技术人员而言可以是公知的。计算机可读存储介质的示例包括:包括硬盘、磁带和软盘的磁性介质、包括CD-ROM和DVD的光学介质、包括光盘的磁光介质和被设计为存储并执行ROM、RAM、闪速存储器中的程序化的命令的硬件设备等等。程序化的命令的示例不仅包括有编译器产生的机器代码而且包括将通过使用解释器在计算机中执行的大代码。硬件设备可被配置为用作一个或更多个软件模块,从而执行本发明的一个或更多个实施例的操作,或者反之亦可。
[0248] 在已经参照附图描述本发明的一个或更多个实施例的同时,本领域普通技术人员将理解的是:在不脱离由权利要求所限定的本发明的精神和范围的情况下,可在此做出在形式上和细节上的不同的改变。
[0249] 能够以硬件、固件来实施上述实施例或者经由能够被存储在记录介质(诸如,CD ROM、数字通用盘(DVD)、磁带、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码的执行或者通过网络下载的最初被存储在远程存储介质或非暂时性机器可读介质中并将被存储在本地记录介质中的计算机代码的执行而实施上述实施例,使得能够经由存储介质中存储的所述软件使用通用计算机或特定处理器或者在可编程或专用硬件(诸如,ASIC或FPGA)中实施在此描述的方法。在本领域中应被理解的是:在被计算机、处理器或硬件访问或执行时实施在此描述的处理方法的可存储或接收软件或计算机代码的包括存储组件(例如,RAM、ROM、闪存等)的计算机、处理器、微处理器控制器或可编程硬件。此外,将认识到:在通用计算机访问用于实施在此示出的处理的代码时,代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。这里的功能和处理步骤可被自动执行或者部分或全部响应于用户命令而被执行。响应于可执行的指令或装置操作,被自动执行的活动(包括步骤)可在活动未被用户直接启动的情况下被执行。