用于与车辆一起使用的设备和方法转让专利

申请号 : CN201880095928.9

文献号 : CN112513708B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 朱琦R·布鲁克梅尔

申请人 : 宝马股份公司

摘要 :

公开了一种用于与车辆(110)一起使用的设备(100)。所述用于与车辆(110)一起使用的设备(100)包括:位于车辆(110)中的一个或多个摄像机(101),用于检测坐在车辆(110)中的用户的姿态和/或行为;以及与摄像机(101)通信的控制器(102),所述控制器被配置为:获取所述用户的检测到的姿态和/或行为;并且基于所述用户的检测到的姿态和/或行为来针对用户优化车辆(110)的一个或多个组件。还公开了一种用于与车辆(110)一起使用的方法。

权利要求 :

1.一种用于与车辆一起使用的设备,其特征在于,所述设备包括:

位于所述车辆中的一个或多个摄像机,所述一个或多个摄像机用于检测坐在所述车辆中的用户的行为;以及与所述摄像机通信的控制器,所述控制器被配置为:

获取所述用户的检测到的行为;并且

基于所述用户的检测到的行为来针对所述用户优化所述车辆的一个或多个组件,针对所述用户优化所述车辆的一个或多个组件的操作包括:基于所述用户的检测到的行为来控制,以经由所述一个或多个组件向用户呈现内容,其中,所述一个或多个摄像机用于在一段时间内检测所述用户在观看显示在车辆的一个或多个显示器上的内容时的行为,并且控制以呈现内容的操作包括:基于所述用户的检测到的、与其对应观看的内容相关联的行为来获取所述用户的偏好;并且基于所述用户的偏好,优化所述组件中的一个或多个组件以向所述用户呈现内容,其中,所述用户是所述车辆的驾驶员,并且所述一个或多个摄像机被进一步用于在获取到驾驶安全消息时检测所述驾驶员是否正在观看所述车辆的各显示器中的一个显示器,将要被呈现的内容是所述驾驶安全消息,并且优化所述组件中的一个或多个组件以呈现内容的操作进一步包括:响应于所述驾驶员正在观看所述车辆的各显示器中的一个显示器,基于所述驾驶员的偏好来控制,以针对所述驾驶员优化的方式在所观看的显示器上显示所述驾驶安全消息;

并且

响应于所述驾驶员没有观看所述车辆的任何显示器,基于所述驾驶员的偏好来控制,以针对所述驾驶员优化的方式通过来自所述组件中的一个或多个组件的音频输出、触觉输出和/或气味输出向所述用户呈现所述驾驶安全消息。

2.根据权利要求1所述的设备,其中,所述一个或多个摄像机用于检测所述车辆的驾驶员的姿态,并且针对所述用户优化所述车辆的一个或多个组件的操作包括:基于所述驾驶员的检测到的姿态来控制,以调整所述组件中的至少一个组件的位置,从而便利于所述驾驶员操作所述车辆。

3.根据权利要求1所述的设备,其中,所述内容是驾驶安全消息,并且所述用户是所述车辆的驾驶员,并且控制以呈现内容的操作包括:

响应于检测到的指示所述驾驶员正在观看车辆的显示器的行为来控制,以在所观看的显示器上显示所述驾驶安全消息;并且响应于检测到的指示所述驾驶员没有观看车辆的任何显示器的行为来控制,以经由来自所述组件中的一个或多个组件的音频输出、触觉输出和/或气味输出向所述驾驶员呈现所述驾驶安全消息。

4.根据权利要求1所述的设备,其中,优化所述组件中的一个或多个组件以呈现内容的操作包括以下操作中的至少一个:基于所述用户的偏好,从候选内容选择将要显示在各显示器中的一个显示器上的一个或多个偏好的内容;

基于所述用户的偏好,推荐将要显示在所述各显示器中的一个显示器上的一个或多个偏好的内容;

基于所述用户的偏好,确定将要显示在所述各显示器中的一个显示器上的内容的显示格式;或基于所述用户的偏好,选择用于向用户呈现内容的至少一个呈现渠道,其中,所述呈现渠道被配置为用于为所述内容提供视觉输出、音频输出、触觉输出或气味输出中的至少一个。

5.根据权利要求1所述的设备,其中,获取所述用户的偏好的操作包括:从所述用户的与其对应的内容相关联的行为提取关于相应的内容的信息,所述信息包括以下中的至少一个:所述用户在所述内容上所花的时间、所述用户在观看所述内容时的感情、所述内容的分类信息、用于显示所述内容的过渡效果、所述内容中的令人感兴趣的部分、所述内容的元数据、或所述内容的关键词;并且基于提取的信息来获取所述用户的偏好。

6.根据权利要求1‑5中任一项所述的设备,其中,所述摄像机被进一步用于确定所述用户的身份,并且所述控制器被配置为基于所述用户的检测到的、与所述用户的身份相关联的姿态和/或行为来针对所述用户优化所述车辆的所述一个或多个组件。

7.一种用于与车辆一起使用的计算机实现的方法,其特征在于,所述方法包括以下步骤:获取坐在所述车辆中的用户的行为,所述行为通过使用位于所述车辆中的一个或多个摄像机来检测;并且基于所述用户的检测到的行为来针对所述用户优化所述车辆的一个或多个组件,其中,针对所述用户优化所述车辆的一个或多个组件的步骤包括:基于所述用户的检测到的行为来控制,以通过所述一个或多个组件向所述用户呈现内容,获取行为的步骤包括:在一段时间内获取所述用户在观看显示在所述车辆的一个或多个显示器上的内容时的行为,所述行为通过使用所述一个或多个摄像机来检测,并且控制以呈现内容的步骤包括:基于所述用户的检测到的、与其对应观看的内容相关联的行为来获取所述用户的偏好;并且基于所述用户的偏好,优化所述组件中的一个或多个组件以向所述用户呈现内容,其中,所述用户是所述车辆的驾驶员,获取行为的步骤进一步包括:在获取到驾驶安全消息时,获取指示所述驾驶员是否正在观看所述车辆的各显示器中的一个显示器的行为,所述行为通过使用所述一个或多个摄像机来检测,将要被呈现的内容是所述驾驶安全消息,并且

优化所述组件中的一个或多个组件以呈现内容的步骤进一步包括:

响应于指示所述驾驶员正在观看所述车辆的各显示器中的一个显示器的行为,基于所述驾驶员的偏好来控制,以针对所述驾驶员优化的方式在所观看的显示器上显示所述驾驶安全消息;并且响应于指示所述驾驶员没有观看所述车辆的任何显示器的行为,基于所述驾驶员的偏好来控制,以针对所述驾驶员优化的方式通过来自所述组件中的一个或多个组件的音频输出、触觉输出和/或气味输出向所述驾驶员呈现所述驾驶安全消息。

8.根据权利要求7所述的方法,其中,获取坐在车辆中的用户的姿态和/或行为的步骤包括:获取所述车辆的驾驶员的姿态,所述姿态通过使用所述一个或多个摄像机来检测;并且针对所述用户优化所述车辆的一个或多个组件的步骤包括:基于所述驾驶员的检测到的姿态来控制,以调整所述组件中的至少一个组件的位置,从而便利于所述驾驶员操作所述车辆。

9.根据权利要求7所述的方法,其中,所述内容是驾驶安全消息,并且所述用户是所述车辆的驾驶员,并且控制以呈现内容的步骤包括:

响应于检测到指示所述驾驶员正在观看所述车辆的显示器的行为来控制以在所观看的显示器上显示所述驾驶安全消息;并且响应于检测到指示所述驾驶员没有观看所述车辆的任何显示器的行为来控制,以通过来自所述组件中的一个或多个组件的音频输出、触觉输出和/或气味输出向所述驾驶员呈现所述驾驶安全消息。

10.根据权利要求7所述的方法,其中,优化所述组件中的一个或多个组件以呈现内容的步骤包括以下步骤中的至少一个:基于所述用户的偏好,从候选内容选择将要显示在所述各显示器中的一个显示器上的一个或多个偏好的内容;

基于所述用户的偏好,推荐将要显示在所述各显示器中的一个显示器上的一个或多个偏好的内容;

基于所述用户的偏好,确定将要显示在所述各显示器中的一个显示器上的内容的显示格式;或基于所述用户的偏好,选择用于向所述用户呈现内容的至少一个呈现渠道,其中,所述呈现渠道被配置为用于为所述内容提供视觉输出、音频输出、触觉输出或气味输出中的至少一个。

11.根据权利要求7所述的方法,其中,获取所述用户的偏好的步骤包括:从所述用户的与其对应的内容相关联的行为提取关于相应的内容的信息,所述信息包括以下中的至少一个:所述用户在所述内容上所花的时间、所述用户在观看所述内容时的感情、所述内容的分类信息、用于显示所述内容的过渡效果、所述内容中的令人感兴趣的部分、所述内容的元数据、或所述内容的关键词;并且基于提取的信息来获取所述用户的偏好。

12.根据权利要求7‑11中任一项所述的方法,在获取坐在所述车辆中的用户的姿态和/或行为的步骤之前,进一步包括:通过使用所述一个或多个摄像机来确定所述用户的身份,并且针对所述用户优化所述车辆的一个或多个组件的步骤包括:基于所述用户的检测到的与所述用户的身份相关联的姿态和/或行为,针对所述用户优化所述车辆的所述一个或多个组件。

13.一种用于与车辆一起使用的设备,其特征在于,所述设备包括:一个或多个处理器;以及

一个或多个存储器,所述一个或多个存储器被配置为存储一系列计算机可执行指令,其中,所述一系列计算机可执行指令在被所述一个或多个处理器执行时,使所述一个或多个处理器执行根据权利要求7‑12中任一项所述的方法。

14.一种具有存储于其上的指令的非暂时性计算机可读介质,在所述指令被一个或多个处理器执行时,使所述一个或多个处理器执行根据权利要求7‑12中任一项所述的方法。

说明书 :

用于与车辆一起使用的设备和方法

技术领域

[0001] 本公开文件总体上涉及车辆的技术领域,并且特别是涉及一种用于与车辆一起使用的设备、方法和非暂时性计算机可读介质。

背景技术

[0002] 目前,车载摄像机不被频繁使用,并且仅用于非常受限的安全相关的功能。需要更高效率地使用车载摄像机。

发明内容

[0003] 本公开文件的目的之一是提供一种改进的用于与车辆一起使用的设备和方法。
[0004] 根据本公开文件的第一示例性实施例,提供一种用于与车辆一起使用的设备,所述设备包括:位于车辆中的一个或多个摄像机,用于检测坐在车辆中的用户的姿态和/或行为;以及与所述摄像机通信的控制器,其被配置为:获取所述用户的检测到的姿态和/或行为;并且基于所述用户的检测到的姿态和/或行为来针对用户优化车辆的一个或多个组件。
[0005] 根据本公开文件的第二示例性实施例,提供一种用于与车辆一起使用的计算机实现的方法,所述方法包括以下步骤:获取坐在车辆中的用户的姿态和/或行为,所述姿态和/或行为通过使用位于车辆中的一个或多个摄像机来检测;并且基于所述用户的检测到的姿态和/或行为来针对用户优化车辆的一个或多个组件。
[0006] 根据本公开文件的第三示例性实施例,提供一种用于与车辆一起使用的设备,所述设备包括:一个或多个处理器;以及被配置为存储一系列计算机可执行指令的一个或多个存储器,其中,所述一系列计算机可执行指令在被所述一个或多个处理器执行时,使所述一个或多个处理器执行以上提及的方法的步骤。
[0007] 根据本公开文件的第四示例性实施例,提供具有存储于其上的指令的非暂时性计算机可读介质,所述指令在被一个或多个处理器执行时,使所述一个或多个处理器执行以上提及的方法的步骤。
[0008] 本公开文件的进一步的适用范围从以下给出的详细描述将变得显而易见。然而,应理解详细的描述和特定的示例虽然指示本公开文件的优选实施例,但是仅仅是作为示例给出的,因为本公开文件的精神和范围内的各种改变和修改对于本领域技术人员来说,从以下详细描述将变得显而易见。

附图说明

[0009] 本公开文件的以上及其他方面和优点从结合附图进行的示例性实施例的以下详细描述将变得显而易见,附图举例说明本公开文件的原理。注意,附图不一定是按比例绘制的。
[0010] 图1说明根据本公开文件的一个或多个示例性实施例的用于与车辆一起使用的设备的框图。
[0011] 图2说明示出根据本公开文件的一个或多个示例性实施例的用于与车辆一起使用的方法的流程图。
[0012] 图3说明示出根据本公开文件的一个或多个示例性实施例的用于与车辆一起使用的方法的流程图。
[0013] 图4说明根据本公开文件的一个或多个示例性实施例的图3中所示的方法的示例。
[0014] 图5说明示出根据本公开文件的一个或多个示例性实施例的用于与车辆一起使用的方法的流程图。
[0015] 图6说明示出根据本公开文件的一个或多个示例性实施例的用于与车辆一起使用的方法的流程图。
[0016] 图7说明示出根据本公开文件的一个或多个示例性实施例的用于与车辆一起使用的方法的流程图。
[0017] 图8说明根据本公开文件的一个或多个示例性实施例的用于与车辆一起使用的设备的框图。
[0018] 图9说明本公开根据本公开文件的一个或多个示例性实施例其中可适用本公开内容的一般的硬件环境。

具体实施方式

[0019] 在以下详细描述中,阐述了许多特定的细节以提供对所描述的示例性实施例的透彻理解。然而,对于本领域技术人员将显而易见的是,所描述的实施例可以在没有这些特定细节中的一些或所有细节的情况下实施。在其他示例性实施例中,为了避免不必要地使本公开文件的构思模糊,众所周知的结构或处理步骤没有被详细地描述。
[0020] 在整个说明书中使用的术语“车辆”是指包括、但不限于汽车、卡车、公交车等。在整个本说明书中使用的术语“A和/或B”是指“A”、“B”、或“A和B”,在整个本说明书中使用的术语“A或B”是指“A和B”以及“A或B”,而不是意指A和B是排他的,除非另有指定。
[0021] 首先参照图1,示出了根据本公开文件的一个或多个示例性实施例的用于与车辆一起使用的设备100的框图。设备100包括位于车辆110中的一个或多个摄像机101以及与摄像机101通信的控制器102。
[0022] 摄像机101中的一个或多个可以用于检测坐在车辆110中的用户(包括驾驶员和乘客)的姿态和/或行为。在一些实施例中,(一个或多个)摄像机101可以对任何用户捕捉图像和/或视频,以使得可以从捕捉的图像和/或视频获取用户的姿态和/或行为。在一些情况下,另外,(一个或多个)摄像机101可以具有红外线成像/感测功能。在一些实施例中,用户的姿态可以示出用户的体态,包括眼睛位置,该体态可以用于估计车辆110的组件的适合于用户的位置。在一些实施例中,检测到的行为可以包括眼睛移动、凝视方向、面部表情、身体运动等。请注意,可以在所述(一个或多个)摄像机101侧或控制器102侧获取用户的姿态和/或行为。换句话说,可以由所述(一个或多个)摄像机101或者由控制器102从所述(一个或多个)摄像机101的捕捉的数据来提取用户的姿态和/或行为。
[0023] 在一些实施例中,所述(一个或多个)摄像机101可以包括以下中的至少一个:驾驶员监视摄像机、包含在驾驶员辅助系统中的摄像机、包含在移动电话中的摄像机、包含在膝上型电脑中的摄像机或安装在后座显示器中的摄像机。例如,已经被安装在车辆中用于驾驶员监视/辅助的摄像机还可以用作本公开文件的所述(一个或多个)摄像机101。在这种情况下,摄像机可以至少检测驾驶员的姿态和/或行为。在一些实施例中,包含在移动电话、膝上型电脑或后座显示器中的摄像机可以用于检测乘客或驾驶员(当他/她没有驾驶时)的姿态和/或行为。在其他实施例中,所述(一个或多个)摄像机101可以是可以被额外安装在车辆110内的专用于实现本发明的(一个或多个)摄像机。
[0024] 用户的检测到的姿态和/或行为由控制器102获取。然后,控制器102基于所述用户的检测到的姿态和/或行为来针对用户优化车辆110的一个或多个组件。稍后将详细描述控制器102执行的特定操作。控制器102可以是处理器、微处理器等。控制器102可以被设在车辆110上、例如车辆110的中央控制台处,或者被集成到中央控制台中。可替代地,控制器102可以远程提供,并且可以经由网络等访问。
[0025] 如图1所示,在一些实施例中,车辆110可以包括各种可控组件,所述可控组件包括可以由控制器102针对用户优化的一个或多个)显示器(111(诸如仪表盘、中央信息显示器、抬头显示器(HUD)或后座显示器)、镜112(例如后视镜或侧视镜)、座位113、方向盘114等。对于本领域技术人员将显而易见的是,这些组件在这里仅仅是为了说明性的目的而不是限制本公开文件的目的而被列出的。
[0026] 在一些实施例中,如图1所示,所述(一个或多个)摄像机101和控制器102这二者都可以与车辆110的各种组件进行通信,但是(一个或多个)摄像机101和车辆110之间的通信对于本发明不是必要的。在图1中,各组件之间的双向箭头表示它们之间的通信路径,该通信路径可以是经由(一个或多个)有形的导线的或者无线的方式(诸如经由无线电、RF等)的直接连接。在其他实施例中,各组件之间的通信可以间接建立,例如经由网络(未示出)或其他中间组件(诸如中继组件)建立。在经由网络建立通信的一些情况下,网络可以包括局域网(LAN)、广域网(WAN)(例如互联网)、虚拟网络、电信网络和/或多个实体可以通过其通信的其他互连路径。在一些实施例中,所述网络包括用于经由例如短消息传送服务(SMS)、多媒体消息传送服务(MMS)、超文本传输协议(HTTP)、直接数据连接、WAP、电子邮件等发送和接收数据的 通信网络或蜂窝通信网络。在其他实施例中,所述网络可以是移动数据网络,诸如CDMA、GPRS、TDMA、GSM、WIMAX、3G、4G、LTE、VoLTE或任何其他的移动数据网络或多个移动数据网络的组合。
[0027] (一个或多个)摄像机101、控制器102和车辆110的组件的特征、类型、数量和地点以及在它们之间的通信已经被详细描述。但是本领域技术人员可以容易理解,以上组件的特征、类型、数量和地点不限于说明的实施例,而是可以根据实际的要求适配/改变。
[0028] 如上所述,可以通过利用车辆中的摄像机来自动地针对用户优化/定制/个性化车辆的一个或多个组件,也就是说,车辆对于用户可以表现得更智能,因此可以改进用户体验。另外,在已经存在于车辆中的摄像机用作本公开文件的(一个或多个)摄像机101的情况下,可以更高效地利用摄像机。
[0029] 接着,将详细描述控制器102的操作。
[0030] 参照图2,它说明示出根据本公开文件的一个或多个示例性实施例的用于与车辆一起使用的方法200的流程图。
[0031] 本领域技术人员应理解,方法200以及如下面将参照图3和图5‑7描述的方法300、500、600和700可以由图1的上述控制器102或其他设备执行。下面呈现的方法200、300、500、
600和700的步骤意图于示例说明。在一些实施例中,这些方法可以利用没有描述的一个或多个附加步骤来实现,和/或可以在没有所讨论的步骤中的一个或多个的情况下实现。另外,在一些实施例中,所述方法可以在一个或多个处理装置中实现。所述一个或多个处理装置可以包括响应于电子地存储在电子存储介质上的指令执行所述方法步骤中的一些或全部的一个或多个模块。所述一个或多个处理装置可以包括通过硬件、固件和/或软件被配置为被专门设计为执行所述方法的各步骤中的一个或多个步骤的一个或多个装置。
[0032] 如图2所示,在步骤210,获取坐在车辆中的用户的姿态和/或行为。所述姿态和/或行为通过使用位于车辆中的一个或多个摄像机来检测。
[0033] 在步骤220,基于所述用户的检测到的姿态和/或行为来针对用户优化车辆的一个或多个组件。
[0034] 在以上方法200的一些实现中,步骤210可以包括获取车辆的驾驶员的姿态,所述姿态通过使用所述一个或多个摄像机来检测,步骤220可以包括:基于所述驾驶员的检测到的姿态来控制,以调整所述组件中的至少一个组件的位置,从而便利于驾驶员操作车辆。例如,方法200可以被具体地实现为图3中所示的方法300。
[0035] 图3说明方法200的特定示例的流程图。在该示例中,要被检测的用户是车辆的驾驶员。如图3中所示,在步骤310,获取驾驶员的姿态。所述姿态通过使用位于车辆中的一个或多个摄像机来检测。在步骤320,基于驾驶员的检测到的姿态,控制车辆的组件中的至少一个组件以调整其位置,从而便利于驾驶员操作车辆。在一些情况下,驾驶员的姿态可以包括驾驶员的眼睛位置,并且可以基于所述驾驶员的检测到的眼睛位置来调整该位置。
[0036] 图4中示出了方法300的示例性实现。在图4中,当驾驶员坐在未作任何设置的车辆中时,并且在他驾驶车辆之前,可以自动地调整车辆的一些组件,从而便利于驾驶员操作车辆。在调整所述组件之前,如图4中所示,车辆可以经由视觉组件或音频组件要求驾驶员的允许。例如,车辆可以显示或说出“你好!你想要自动地配置你的驾驶舱吗?”,而驾驶员可以选择或回答“是的,很乐意”。然后,方法300开始。所述(一个或多个)摄像机101检测驾驶员的姿态(包括眼睛位置),并且HUD 111、侧视镜112、驾驶员的座位113和方向盘114的位置可以基于所述驾驶员的检测到的姿态而被自动地沿如图4中的箭头指示的方向调整到最佳的地方。例如,可以基于检测到的眼睛位置来调整HUD 111和侧视镜112的位置。
[0037] 在一些实现中,步骤210可以包括:获取车辆的用户的行为,所述行为通过使用所述一个或多个摄像机来检测,并且步骤220可以包括:基于所述用户的检测到的行为,控制,以通过所述一个或多个组件向用户呈现内容。例如,方法200可以被具体实现为图5中所示的方法500。
[0038] 图5说明方法200的特定示例的流程图。在该示例中,要被检测的用户可以是驾驶员或乘客。如图5中所示,在步骤510,获取用户的行为。该行为通过使用位于车辆中的一个或多个摄像机来检测。在步骤520,基于所述用户的所检测到的行为来控制所述一个或多个组件,以通过所述一个或多个组件向用户呈现内容。所述一个或多个组件可以由图1的控制器102直接或间接(例如通过中间组件、比致动器)控制。
[0039] 在一些情况下,将要被呈现的内容是驾驶安全消息,而用户是车辆的驾驶员,检测到的行为可以指示驾驶员是否正在观看车辆的显示器。因此,在步骤520中,响应于检测到指示驾驶员正在观看车辆的显示器的行为,控制所观看的显示器显示所述驾驶安全消息,并且响应于检测到指示驾驶员没有观看车辆的显示器的行为,控制除了(一个或多个)显示器111之外的其他(一个或多个)组件,以通过音频输出、触觉输出和/或气味输出向用户呈现所述驾驶安全消息。
[0040] 例如,当设置在车辆外部的摄像机从例如道路交通符号检测到低于车辆的实时速度的限速时,需要通过向驾驶员呈现驾驶安全消息(诸如显示/说话“请放慢”或“超速”、发出特定的声音、使方向盘或座位振动、释放特定的气味和/或类似物)来警告驾驶员。可以基于驾驶员的检测到的行为来确定用于呈现所述驾驶安全消息的渠道。例如,在检测到驾驶员正在观看显示器(例如通常在方向盘后面的仪表盘)的情况下,可以在该仪表盘上显示驾驶安全消息;否则,可以通过其他渠道向用户呈现所述驾驶安全消息。因此,确保使驾驶员即刻遵循所述驾驶安全消息,并且可以改进驾驶期间的安全性。
[0041] 在以上方法500的一些实现中,步骤510可以包括:在一段时间内获取用户在观看显示在车辆的一个或多个显示器上的内容时的行为,该行为通过使用所述一个或多个摄像机来检测,步骤520可以包括:基于所述用户的检测到的与其对应观看的内容相关联的行为来获取用户的偏好;并且基于用户的偏好来优化所述组件中的一个或多个组件以为用户呈现内容。例如,方法500可以被具体实现为图6中所示的方法600。
[0042] 图6说明方法500的特定示例的流程图。在该示例中,要被检测的用户可以是驾驶员或乘客。
[0043] 如图6中所示,在步骤610,在一段时间内获取用户在观看显示在车辆的一个或多个显示器上的内容时的行为。通过使用所述(一个或多个)摄像机101来检测所述行为。在一些情况下,所述时间段可以是多分钟、多小时、多天、多月或多年。在其他情况下,所述时间段可以包括所有的过去。
[0044] 在一些实施例中,观看的内容可以包括以下中的至少一个:驾驶信息、文本、标志、图标、图形、电影、列表、新闻、导航地址、消息、或电话号码。
[0045] 在一些实施例中,检测到的行为可以包括眼睛移动、凝视方向、面部表情、身体运动等。例如,所述(一个或多个)摄像机101可以检测用户看哪里和如何看,例如,用户在内容上所花的时间、用户在看内容时的面部表情或身体运动。另外,所述(一个或多个)摄像机101可以跟踪/识别通常用于辨识标志或者读取文本的眼睛移动或凝视方向。
[0046] 可以通过分析面部表情和/或身体运动(诸如头、肩膀、手臂等的运动)来获取用户在看内容时的感情(例如厌倦、兴趣、兴奋、笑、愤怒、惊讶)。
[0047] 在步骤621,基于所述用户的检测到的与其对应观看的内容相关联的行为来获取用户的偏好。
[0048] 在一些实施例中,可以基于检测到的与观看的内容相关联的行为,通过用人工智能(诸如机器学习方法)建立的用户偏好模型来反映偏好。
[0049] 在一些实施例中,用户的偏好可以包括:偏好的内容、偏好的内容类型、感兴趣的内容、感兴趣的内容的类型、偏好的呈现格式、偏好的呈现渠道等。
[0050] 在一些实施例中,可以通过以下步骤来获取用户的偏好:从用户的与其对应内容相关联的行为提取关于相应的观看的内容的信息,所述信息包括以下中的至少一个:用户在内容上所花的时间、用户在看内容时的感情、内容的分类信息、用于显示内容的过渡效果(例如用图形表示内容滑动)、内容中的令人感兴趣的部分、内容的元数据、或内容的关键所词;并且基于提取的信息来获取用户的偏好。
[0051] 在步骤622,基于用户的偏好来优化车辆的组件以为用户呈现内容。
[0052] 在一些实施例中,优化步骤622可以包括以下步骤622‑1、622‑2、622‑3和622‑4中的至少一个:
[0053] 步骤622‑1:基于用户的偏好,从候选内容选择要显示在所述各显示器中的一个显示器上的一个或多个偏好的内容;
[0054] 步骤622‑2:基于用户的偏好,推荐要显示在所述各显示器中的一个显示器上的一个或多个偏好的内容;
[0055] 步骤622‑3:基于用户的偏好,确定要显示在所述各显示器中的一个显示器上的内容的显示格式(例如,如何显示、总结的文本或整个文本、更多的/更少的图形等);
[0056] 步骤622‑4:基于用户的偏好,选择用于向用户呈现内容的至少一个呈现渠道,其中,所述呈现渠道被配置为用于为所述内容提供视觉输出、音频输出、触觉输出或气味输出中的至少一个。
[0057] 例如,从驾驶员的过去检测到的行为,可以获悉当观看方向盘后面的仪表盘时,他/她最有可能是看速度。因此,一旦检测到驾驶员变为观看仪表盘,就可以在仪表盘上突出、放大或以其他引人注目的方式显示速度。在其他实施例中,从驾驶员的过去检测到的行为,可以获悉呈现方式/渠道中的哪个对于驾驶员是最有效的,例如,以哪种呈现方式/渠道,驾驶员在内容上所花的时间是最短的,或者驾驶员对于内容的响应是最快的。然后,可以以最有效的方式向驾驶员呈现驾驶信息、驾驶安全消息和其他种类的安全相关信息,这可以改进安全性。
[0058] 另举一例,当用户正在浏览显示器上示出的几条新闻时,摄像机可以检测用户的凝视方向、眼睛移动、面部表情、身体运动和/或类似物等。从在一段时间内检测到的这些行为,可以提取用户对于新闻的一些反应,例如,用户在每条所述新闻上所花的时间、用户在看每条所述新闻时的感情等。将提取的反应与对应新闻的信息(例如分类信息、元数据、关键词)组合,可以获取用户的偏好(例如兴趣)。然后,将优化要为用户显示的新闻,以便匹配用户的兴趣。例如,从摄像机在几天、几个月/或指定的时间段内检测到的行为,可以获悉用户在体育新闻上花费最多时间,即,用户对体育新闻最感兴趣。那么,在未来,体育新闻将显示在显示器的顶部,将被推荐给用户,将以最引人注目的方式显示给用户,等等。
[0059] 鉴于上述,可以预测新的可能的内容对于用户的吸引力/重要性,可以在显示器上显示更相关的内容,和/或考虑到过去检测到的与内容相关联的行为,可以以他/她偏好的或有效的方式向用户呈现新的内容。因此,可以改进用户体验,并且在一些应用中,还可以改进安全性。
[0060] 在以上方法600的一些实现中,用户是车辆的驾驶员,而要呈现的内容是驾驶安全消息。方法600可以进一步包括:在获取驾驶安全消息时,获取指示驾驶员是否正在观看车辆的各显示器中的一个显示器的行为,该行为通过使用所述一个或多个摄像机来检测。步骤622可以被实现为:响应于指示驾驶员正在观看车辆的所述各显示器中的一个显示器的行为,基于驾驶员的偏好来控制,以针对驾驶员优化的方式在所观看的显示器上显示所述驾驶安全消息;并且响应于指示驾驶员没有观看车辆的任何显示器的行为,基于驾驶员的偏好来控制,以通过来自所述组件中的一个或多个组件的音频输出、触觉输出和/或气味输出向驾驶员呈现所述驾驶安全消息。例如,方法600可以被具体地实现为图7中所示的方法700。
[0061] 图7说明方法600的特定示例的流程图。在该示例中,要被检测的用户是车辆的驾驶员,将要被呈现的内容是驾驶安全消息。
[0062] 如图7中所示,在步骤710,像以上提及的步骤610那样,在一段时间内获取驾驶员在观看显示在车辆的一个或多个显示器上的内容时的行为。在步骤721,像以上提及的步骤621那样,基于检测到的与其对应观看的内容相关联的行为来获取驾驶员的偏好。
[0063] 在步骤730,获取驾驶安全消息,并且意图于使该驾驶安全消息呈现给驾驶员。
[0064] 在步骤740,在获取驾驶安全消息时,通过使用所述一个或多个摄像机来检测驾驶员的行为,所述行为指示驾驶员是否正在观看车辆的所述各显示器中的一个显示器。
[0065] 如果在步骤740为“是”,则继续进行到步骤722,该步骤基于驾驶员的偏好来控制,以针对驾驶员优化的方式在所观看的显示器上显示所述驾驶安全消息。如果在步骤740为“否”,则继续进行到步骤723,该步骤基于驾驶员的偏好来控制,以优化的方式通过来自所述组件中的一个或多个组件的音频输出、触觉输出和/或气味输出向驾驶员呈现所述驾驶安全消息。
[0066] 在一些实施例中,将要被呈现的驾驶安全消息可以是示例中讨论的与图5的方法500相关的驾驶安全消息,即,关于超速的警告消息。用于呈现驾驶安全消息的渠道和/或方式可以基于在获取该消息时检测到的驾驶员的行为和用户的偏好来确定。例如,在检测到驾驶员正在观看显示器的情况下,可以以突出的方式或其他偏好的/有效的方式在所观看的显示器上显示驾驶安全消息;否则,可以以对于驾驶员特别偏好的/有效的方式呈现驾驶安全消息。因此,可以在改进用户体验的同时,改进驾驶期间的安全性。
[0067] 在一些实施例中,在优化操作之前,检测用户的身份(例如谁在驾驶员座位上)以确保个性化。
[0068] 在一些情况下,以上方法200‑300和500‑700可以进一步包括,在步骤210和替代的步骤310和510‑710之前分别地:通过使用所述一个或多个摄像机来确定用户的身份。然后,以上讨论的优化步骤可以包括:基于所述用户的检测到的与用户的身份相关联的姿态和/或行为来针对用户优化车辆的所述一个或多个组件。
[0069] 例如,所述(一个或多个)摄像机101可以用于自动地检测用户的面部特征、虹膜特征等,然后控制器102可以基于这些特征来确定用户的身份。与用户的身份组合,可以确保优化操作的个性化,并且对于其中存在多于一个的可替代地操作一个车辆的驾驶员的应用,将是特别有用的。
[0070] 在一些实施例中,在车辆中设置了多种显示器,例如,通常在方向盘后面的仪表盘、通常在中央控制台中的中央信息显示器、HUD和/或后座显示器,其中,所述显示器中的一个或多个显示器可以用作如以上讨论的显示器。在一些实施例中,显示器可以包括平板显示器、曲线显示器、柔性显示器、投影显示器等中的一个或多个。对于本领域技术人员将显而易见的是,本公开内容不限于以上列出的显示器,而是可以是任何类型的显示器。
[0071] 请注意,方法200、300、500、600和700的各步骤在图2‑3和图5‑7中分别被说明并且被如上描述的次序仅仅意图于示例说明,而非限制性的,除非另有具体陈述。还请注意,以上实施例中的一个实施例中讨论的细节也可以被应用于其他实施例,并且以上实施例可以被任意组合,除非另有具体陈述。
[0072] 图8说明根据本公开文件的示例性实施例的用于与车辆一起使用的设备800(例如如图1所示的控制器102)的框图。设备800的方框可以用实现本公开文件的原理的硬件、软件、固件或它们的任何组合来实现。本领域技术人员理解,图8中描述的方框可以被组合,或者被划分为如以上描述那样实现本公开文件的原理的子块。因此,本文中的描述可以支持本文中描述的方框的任何可能的组合或划分或进一步的限定。
[0073] 参照图8,设备800可以包括:获取单元801,用于获取坐在车辆中的用户的姿态和/或行为,所述姿态和/或行为可以通过使用位于车辆中的一个或多个摄像机来检测;以及优化单元802,用于基于所述用户的检测到的姿态和/或行为来针对用户优化车辆的一个或多个组件。
[0074] 请注意,设备800中的相应的单元可以被配置为执行如以上在图2‑3和图5‑7中分别示出的方法200、300、500、600和700中讨论的相应的操作,因此,它们的细节在这里被省略。此外,设备800可以包括用于执行如以上在方法200、300、500、600和700中讨论的步骤的附加单元(未示出),如果需要的话。
[0075] 图9说明根据本公开文件的一个或多个示例性实施例其中可适用本公开内容的通用的计算设备2000。
[0076] 参照图9,现在将描述计算设备2000,其是可以被应用于本公开文件的各方面的硬件装置的示例。计算设备2000可以是被配置为执行处理和/或计算的任何机器,可以是、但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数字助理、智能电话、车载计算机或它们的任何组合。前述控制器102或者用于与车辆一起使用的设备800可以整个地或至少部分地由计算设备2000或类似的装置或系统实现。
[0077] 计算设备2000可以包括与总线2002一起连接或通信的元件,可能经由一个或多个接口。例如,计算设备2000可以包括总线2002、一个或多个处理器2004、一个或多个输入装置2006和一个或多个输出装置2008。所述一个或多个处理器2004可以是任何种类的处理器,并且可以包括、但不限于一个或多个通用处理器和/或一个或多个专用处理器(诸如专用的处理芯片)。输入装置2006可以是可以向计算设备输入信息的任何种类的装置,并且可以包括、但不限于鼠标、键盘、触摸屏、麦克风和/或遥控器。输出装置2008可以是可以呈现信息的任何种类的装置,并且可以包括、但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算设备2000还可以包括非暂时性存储装置2010或者与非暂时性存储装置连接,所述非暂时性存储装置可以是非暂时性的并且可以实现数据存储的任何存储装置,并且可以包括、但不限于磁盘驱动器、光学存储装置、固态储存器、软盘、柔性盘、硬盘、磁带或任何其他的磁性介质、CD或任何其他的光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓存存储器和/或任何其他的存储器芯片或盒、和/或计算机可以从其读取数据、指令和/或代码的任何其他的介质。非暂时性存储装置2010可以从接口拆卸。非暂时性存储装置2010可以具有用于实现以上描述的方法和步骤的数据/指令/代码。计算设备2000还可以包括通信装置2012。通信装置2012可以是能够与外部设备和/或网络通信的任何种类的装置或系统,并且所述通信装置可以包括、但不限于调制解调器、网卡、红外线通信装TM置、无线通信装置和/或芯片组(诸如Bluetooth 装置、1302.11装置、WiFi装置、WiMax装置、蜂窝通信设施和/或类似物)。如前所述的发送器/接收器/通信装置可以例如由通信装置
2012实现。
[0078] 当计算设备2000被用作车载装置时,它还可以连接到外部装置,例如GPS接收器、用于感测不同的环境数据的传感器(诸如加速度传感器、轮速传感器、陀螺仪等)。这样,计算设备2000例如可以接收指示车辆的行进情况的地点数据和传感器数据。当计算设备2000被用作车载装置时,它还可以连接到用于控制车辆的行进和操作的其他设施(诸如引擎系统、雨刷、防抱死制动系统等)。
[0079] 另外,非暂时性存储装置2010可以具有地图信息和软件元件,以使得处理器2004可以执行路线引导处理。另外,输出装置2006可以包括用于显示地图、车辆的地点标记、指示车辆的行进情况的图像、还有视觉信号的显示器。输出装置2006还可以包括用于音频输出的扬声器。
[0080] 总线2002可以包括、但不限于工业标准架构(ISA)总线、微信道架构(MCA)总线、增强ISA(EISA)总线、视频电子标准协会(VESA)局部总线和外围组件互连(PCI)总线。特别是,对于车载装置,总线2002还可以包括控制器区域网络(CAN)总线或被设计应用在汽车上的其他架构。
[0081] 计算设备2000还可以包括工作存储器2014,其可以是能够存储对于处理器2004的工作有用的指令和/或数据的任何种类的工作存储器,并且所述工作存储器可以包括、但不限于随机存取存储器和/或只读存储器装置。
[0082] 软件元件可以位于工作存储器2014中,所述软件元件包括、但不限于操作系统2016、一个或多个应用程序2018、驱动器和/或其他数据和代码。用于执行以上描述的方法和步骤的指令可以包括在一个或多个应用程序2018中,前述控制器102或者用于与车辆一起使用的设备800的各单元可以通过处理器2004读取并且执行所述一个或多个应用程序
2018的指令来实现。更具体地说,前述控制器102或者用于与车辆一起使用的设备800可以例如由处理器2004在执行应用2018时实现,所述应用具有执行上述方法的各步骤的指令。
另外,前述设备800的获取单元801可以例如由处理器2004在执行应用2018时实现,所述应用具有执行图2的方法的步骤210的指令。前述设备800的其他单元例如也可以由处理器
2004在执行应用2018时实现,所述应用具有执行前述相应各步骤中的一个或多个的指令。
软件元件的指令的可执行代码或源代码可以被存储在非暂时性计算机可读存储介质(诸如上述(一个或多个)存储装置2010)中,并且可以可能地随着编译和/或安装被读取到工作存储器2014中。软件元件的指令的可执行代码或源代码也可以从远程地点下载。
[0083] 应进一步理解,计算设备2000的组件可以分布在整个网络上。例如,一些处理可以使用一个处理器来执行,而其他处理可以由远离这一个处理器的其他处理器执行。计算系统2000的其他组件也可以被类似地分布。照此,计算设备2000可以被解释为在多个地点执行处理的分布式计算系统。
[0084] 尽管已经利用示例详细地展示了本发明的一些特定的实施例,但是本领域技术人员应理解,以上示例仅意图于示例说明,而非限制本发明的范围。说明书中的各方面/实施例的各种组合应包含在本发明的保护范围中。本领域技术人员应理解,在不脱离本发明的范围和精神的情况下,可以修改以上实施例。本发明的范围由所附权利要求书限定。