驾驶员注意力检测方法、装置、设备和计算机可读介质转让专利
申请号 : CN202010940091.2
文献号 : CN112597790B
文献日 : 2021-11-23
发明人 : 杨骏涛 , 陈小莹 , 倪凯
申请人 : 禾多科技(北京)有限公司
摘要 :
权利要求 :
1.一种驾驶员注意力检测方法,包括:获取目标驾驶员的图像序列和所述图像对应的所述目标驾驶员驾驶的车辆的车载终端的数据;
对所述图像序列中的每个图像进行信息提取以生成驾驶员头部运动状态信息,得到驾驶员头部运动状态信息序列;
从所述驾驶员头部运动状态信息序列中选择驾驶员头部运动状态信息作为第一状态信息,得到第一状态信息序列;
基于所述第一状态信息序列与所述第一状态信息序列中各个第一状态信息对应的车载终端的数据,生成驾驶员注意力信息;
其中,所述基于所述第一状态信息序列与所述第一状态信息序列中各个第一状态信息对应的车载终端的数据,生成驾驶员注意力信息,包括:确定所述第一状态信息序列中各个第一状态信息对应的车载终端中的至少一个子系统的预定使用时长阈值;
基于所述至少一个子系统的预定使用时长阈值,利用以下公式,对所述目标驾驶员的状态进行检测以生成驾驶员注意力信息包括的驾驶员注意力信息值:其中,Z表示驾驶员注意力信息值;
t表示时间戳对应的时刻;
t
M表示目标驾驶员对至少一个子系统的连续操作实际时长;
N表示所述第一状态信息序列对应的时间戳的数量;
i表示时间戳序号;
ti‑1表示第i‑1个时间戳对应的时刻;
ti表示第i个时间戳对应的时刻;
σ表示变量;
表示驾驶员对所述至少一个子系统中各个子系统操作的平均时间值;
T
M表示车载终端中的子系统的预定使用时长阈值;
n表示被目标驾驶员操作的至少一个子系统的序号;
表示第n个被目标驾驶员操作的至少一个子系统的预定使用时长阈值;
表示第1个被操作的子系统的预定使用时长阈值;
表示第2个被操作的子系统的预定使用时长阈值;
表示被目标驾驶员操作的至少一个子系统的预定使用时长阈值集合;
表示目标驾驶员对至少一个子系统的连续操作预估时长;
表示目标驾驶员对至少一个子系统的连续操作预估变量。
2.根据权利要求1所述的方法,其中,所述方法还包括:将所述驾驶员注意力信息发送至目标车辆的车载终端,以供所述车载终端对所述目标驾驶员发出提示信号。
3.根据权利要求2所述的方法,其中,所述车载终端的数据包括时间戳和所述车载终端中的各个子系统的预定使用时长阈值。
4.根据权利要求3所述的方法,其中,所述对所述图像序列中的每个图像进行信息提取以生成驾驶员头部运动状态信息,包括:对所述图像进行图像二值化以生成二值化后的图像;
对所述二值化后的图像进行特征提取以生成图像特征数据;
对所述图像特征数据进行信息提取以生成驾驶员头部运动状态信息。
5.根据权利要求4所述的方法,其中,所述从所述驾驶员头部运动状态信息序列中选择驾驶员头部运动状态信息作为第一状态信息,得到第一状态信息序列,包括:从所述驾驶员头部运动状态信息序列中选择满足预定条件的驾驶员头部运动状态信息作为第二状态信息,得到第二状态信息序列;
基于所述第二状态信息对应的时间戳,从所述第二状态信息序列中筛选出第二状态信息作为第一状态信息,得到第一状态信息序列。
6.一种驾驶员注意力检测装置,包括:获取单元,被配置成获取目标驾驶员的图像序列和所述图像对应的车载终端的数据;
第一生成单元,被配置成对所述图像序列中的每个图像进行信息提取以生成驾驶员头部运动状态信息,得到驾驶员头部运动状态信息序列;
第二生成单元,被配置成从所述驾驶员头部运动状态信息序列中选择驾驶员头部运动状态信息作为第一状态信息,得到第一状态信息序列;
检测单元,被配置成基于所述第一状态信息序列与所述第一状态信息序列中各个第一状态信息对应的车载终端的数据,生成驾驶员注意力信息;
其中,所述基于所述第一状态信息序列与所述第一状态信息序列中各个第一状态信息对应的车载终端的数据,生成驾驶员注意力信息,包括:确定所述第一状态信息序列中各个第一状态信息对应的车载终端中的至少一个子系统的预定使用时长阈值;
基于所述至少一个子系统的预定使用时长阈值,利用以下公式,对所述目标驾驶员的状态进行检测以生成驾驶员注意力信息包括的驾驶员注意力信息值:其中,Z表示驾驶员注意力信息值;
t表示时间戳对应的时刻;
t
M表示目标驾驶员对至少一个子系统的连续操作实际时长;
N表示所述第一状态信息序列对应的时间戳的数量;
i表示时间戳序号;
ti‑1表示第i‑1个时间戳对应的时刻;
ti表示第i个时间戳对应的时刻;
σ表示变量;
表示驾驶员对所述至少一个子系统中各个子系统操作的平均时间值;
T
M表示车载终端中的子系统的预定使用时长阈值;
n表示被目标驾驶员操作的至少一个子系统的序号;
表示第n个被目标驾驶员操作的至少一个子系统的预定使用时长阈值;
表示第1个被操作的子系统的预定使用时长阈值;
表示第2个被操作的子系统的预定使用时长阈值;
表示被目标驾驶员操作的至少一个子系统的预定使用时长阈值集合;
表示目标驾驶员对至少一个子系统的连续操作预估时长;
表示目标驾驶员对至少一个子系统的连续操作预估变量。
7.一种电子设备,包括:一个或多个处理器;
存储装置,其上存储有一个或多个程序;
摄像头,被配置成采集图像;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1‑5中任一所述的方法。
8.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1‑5中任一所述的方法。
说明书 :
驾驶员注意力检测方法、装置、设备和计算机可读介质
技术领域
背景技术
以及分析驾驶员的驾驶数据得到注意力信息。
发明内容
要特征,也不旨在用于限制所要求的保护的技术方案的范围。本公开的一些实施例提出了
驾驶员注意力检测方法、装置、设备和计算机可读介质,来解决以上背景技术部分提到的技
术问题中的一项或多项。
目标驾驶员驾驶的车辆的车载终端的数据;对上述图像序列中的每个图像进行信息提取以
生成驾驶员头部运动状态信息,得到驾驶员头部运动状态信息序列;从上述驾驶员头部运
动状态信息序列中选择驾驶员头部运动状态信息作为第一状态信息,得到第一状态信息序
列;基于上述第一状态信息序列与上述第一状态信息序列中各个第一状态信息对应的车载
终端的数据,生成驾驶员注意力信息。
成单元,被配置成对上述图像序列中的每个图像进行信息提取以生成驾驶员头部运动状态
信息,得到驾驶员头部运动状态信息序列;第二生成单元,被配置成响应于确定上述驾驶员
头部运动状态信息序列中满足预定条件的驾驶员头部运动状态信息,生成第一状态信息序
列;检测单元,被配置成基于上述第一状态信息序列与上述第一状态信息序列中各个第一
状态信息对应的车载终端的数据,生成驾驶员注意力信息。
一个或多个处理器执行,使得一个或多个处理器实现如第一方面中所描述的方法。
驾驶员驾驶的车辆的车载终端的数据。增加了车载终端数据作为驾驶员状态检测的参考。
然后,对上述图像序列中的每个图像进行信息提取以生成驾驶员头部运动状态信息,得到
驾驶员头部运动状态信息序列。方便下一步对驾驶员头部运动状态信息序列进行筛选。之
后,从上述驾驶员头部运动状态信息序列中选择驾驶员头部运动状态信息作为第一状态信
息,得到第一状态信息序列。从图像中得到驾驶员状态信息利于驾驶员注意力信息值的计
算。最后,基于上述第一状态信息序列与上述车载终端的数据,生成驾驶员注意力信息。利
用了驾驶员对车辆终端子系统的使用情况作参考。有效的控制了车载终端系统的连续使用
限制。可选地,将上述驾驶员注意力信息发送至目标车辆的车载终端,以供上述车载终端对
上述目标驾驶员发出提示信号。由于利用对车载终端各个子系统的连续使用情况进行了细
粒度的规划可有效控制和释放驾驶员的多媒体功能的使用限制。从而,降低了安全隐患、提
高了车辆行驶过程中的安全性。
附图说明
解附图是示意性的,原件和元素不一定按照比例绘制。
具体实施方式
里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的
是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
对上述图像序列102中的每个图像进行信息提取以生成驾驶员头部运动状态信息,得到驾
驶员头部运动状态信息序列104。之后,从上述驾驶员头部运动状态信息序列104中选择驾
驶员头部运动状态信息作为第一状态信息,得到第一状态信息序列105。最后,基于上述第
一状态信息序列105与上述车载终端的数据序列103,生成驾驶员注意力信息106。可选地,
上述计算设备101还可以将上述驾驶员注意力信息106发送至目标车辆的车载终端107,以
供上述车载终端107对上述目标驾驶员发出提示信号。
个终端设备。当计算设备体现为软件时,可以安装在上述所列举的硬件设备中。其可以实现
成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。
在此不做具体限定。
序列。获取车载相机所拍摄的目标驾驶员的图像序列中各个图像对应的目标驾驶员驾驶的
车辆的车载终端的数据。
数据包括时间戳和上述车载终端中的各个子系统的预定使用时长阈值。具体的,时间戳可
以是车载相机拍摄的驾驶员的图像对应的时间点。其中,图像序列中每个图像对应一个时
间戳,且时间戳之间的间隔可以是0.1秒。另外,上述车载终端中的各个子系统的预定使用
时长阈值可以是预定的车载终端子系统的一次连续使用时间。
的一次连续使用时间可以是:3秒。
息作为一个序列,得到驾驶员头部运动状态信息序列。其中,驾驶员头部运动状态信息可以
是从图像序列中相连两幅图像中提取的驾驶员头部运动变化信息。
是:向右转头。
可以包括以下步骤:
部所在区域的信息,作为图像特征数据。
提取。然后,生成驾驶员头部运动状态信息。其中,驾驶员头部运动状态信息可以是从驾驶
员头部信息中提取的驾驶员头部转向信息。
时间戳也可以是连续的。
可以包括以下步骤:
运动状态信息作为第二状态信息,得到第二状态信息序列。
第二状态信的条件可以是:根据每个第二状态信息对应的时间戳,从第二状态信息序列中
选出具有时间戳连续性的第二状态信息作为第一状态信息。
以可以根据第二状态信息对应的时间戳进行选择。
员头部运动状态信息中选出的,所以第二状态信息对应的时间戳可以是连续的,也可以是
不连续。所以,可以从上述第二状态信息序列中筛选出一段连续时间戳对应的连续的第二
状态信息作为第一状态信息,得到第一状态信息序列。
终端的数据,生成驾驶员注意力信息。
信息可以对应至少一个子系统。至少一个子系统中的每个子系统可以有一个预定使用时长
阈值。所以,可确定各个第一状态信息对应的车载终端中的至少一个子系统的预定使用时
长阈值。其中,至少一个子系统可以是一个子系统也可以是多个子系统。至少一个子系统对
应的预定使用时长阈值也可以是最少一个。
定连续使用时间阈值。
戳的数量的变化而变化。根据子系统使用时长阈值确定第一状态信息序列对应的时间戳的
数量的取值范围可以是:[1,30]。那么,当时间戳的数量为1时,变量的取值可以是1/30>0,
当时间戳的数量为30时,变量的取值可以是30/30=1。
后,该持续时长减去一个误差变量,得到驾驶员头部向一个方位转动的总持续时长。当总持
续时长大于第一状态序列对应的至少一个子系统的预定使用时长阈值中的最小预定使用
时长阈值,得到驾驶员注意力信息值为:1。其他情况可以得到驾驶员注意力信息值为:0。其
中,第一状态信息序列可以是驾驶员一次转头看向车辆系统显示终端时的连续信息。第一
状态信息序列对应的时间戳之间的总时长可以是驾驶员的一次转头看向车辆系统显示终
端时的总时长减去一个时长误差变量。然后,车辆终端会确定收驾驶员操作的具体子系统
并返回该子系统的预定操作时长阈值。另外,上述公式中用于生成目标驾驶员对至少一个
子系统的连续操作总时长的误差变量,是由第一状态信息序列中各个第一状态信息的数量
和对应的时间戳以及变量得到的。
测的因素往往如下:在驾驶员操作车载终端时,不能对驾驶员状态检测进行很好的判断,导
致对驾驶员状态检测的结果准确度偏低。如果解决了上述因素,就能达到提高驾驶员状态
检测准确度的效果。为了达到这一效果,上述公式可以利用上述目标驾驶员对至少一个子
系统的连续操作预估时长加上一个预估变量得到目标驾驶员对至少一个子系统的连续操
作实际时长。由于目标驾驶员对至少一个子系统操作之后存在系统反应时间以及驾驶员反
应时间。所以加上的一个预估变量可以使目标驾驶员对至少一个子系统的连续操作时长更
加贴合实际应用场景,提高了对目标驾驶员连续操作至少一个子系统的实际时长计算的准
确度。由此,再利用上述目标驾驶员对至少一个子系统的连续操作实际时长对驾驶员状态
进行检测,很好的解决了在驾驶员连续操作车载终端时不能对驾驶员状态的进行判断的问
题。从而,对驾驶员状态进行很好的判断,提高了驾驶员状态检测的准确度。
目标车辆的车载终端,车载终端对驾驶员操作超时发出提示信息。例如,将驾驶员注意力信
息为:1的数据发送至目标车辆的车载终端。那么,车载终端会对目标驾驶员发出操作超时
的提示信号,以提醒驾驶员提高驾驶车辆的注意力。
驾驶员驾驶的车辆的车载终端的数据。增加了车载终端数据作为驾驶员状态检测的参考。
然后,对上述图像序列中的每个图像进行信息提取以生成驾驶员头部运动状态信息,得到
驾驶员头部运动状态信息序列。方便下一步对驾驶员头部运动状态信息序列进行筛选。之
后,从上述驾驶员头部运动状态信息序列中选择驾驶员头部运动状态信息作为第一状态信
息,得到第一状态信息序列。从图像中得到驾驶员状态信息利于驾驶员注意力信息值的计
算。最后,基于上述第一状态信息序列与上述车载终端的数据,生成驾驶员注意力信息。利
用了驾驶员对车辆终端子系统的使用情况作参考。有效的控制了车载终端系统的连续使用
限制。可选地,将上述驾驶员注意力信息发送至目标车辆的车载终端,以供上述车载终端对
上述目标驾驶员发出提示信号。由于利用对车载终端各个子系统的连续使用情况进行了细
粒度的规划可有效控制和释放驾驶员的多媒体功能的使用限制。从而,降低了安全隐患、提
高了车辆行驶过程中的安全性。
体可以应用于各种电子设备中。
的图像序列和上述图像对应的车载终端的数据;第一生成单元302,被配置成对上述图像序
列中的每个图像进行信息提取以生成驾驶员头部运动状态信息,得到驾驶员头部运动状态
信息序列;第二生成单元303,被配置成响应于确定上述驾驶员头部运动状态信息序列中满
足预定条件的驾驶员头部运动状态信息,生成第一状态信息序列;检测单元304,被配置成
基于上述第一状态信息序列与上述第一状态信息序列中各个第一状态信息对应的车载终
端的数据,生成驾驶员注意力信息。
中包含的单元,在此不再赘述。
实施例的功能和使用范围带来任何限制。
存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中,还存储有电子设备
400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM403通过总线404彼此相连。
输入/输出(I/O)接口404也连接至总线404。
动器等的输出装置407;包括例如磁带、硬盘等的存储装置408;以及通信装置409。通信装置
409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图4示出了具
有各种装置的电子设备400,但是应理解的是,并不要求实施或具备所有示出的装置。可以
替代地实施或具备更多或更少的装置。图4中示出的每个方框可以代表一个装置,也可以根
据需要代表多个装置。
可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在
这样的一些实施例中,该计算机程序可以通过通信装置409从网络上被下载和安装,或者从
存储装置408被安装,或者从ROM 402被安装。在该计算机程序被处理装置401执行时,执行
本公开的一些实施例的方法中限定的上述功能。
以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的
组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电
连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只
读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD‑ROM)、光存储器件、磁存储
器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是
任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与
其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作
为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号
可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读
信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介
质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的
程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电
线、光缆、RF(射频)等等,或者上述的任意合适的组合。
以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网
(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网
络),以及任何当前已知或未来研发的网络。
序被该电子设备执行时,使得该电子设备:获取目标驾驶员的图像序列和上述图像对应的
上述目标驾驶员驾驶的车辆的车载终端的数据;对上述图像序列中的每个图像进行信息提
取以生成驾驶员头部运动状态信息,得到驾驶员头部运动状态信息序列;从上述驾驶员头
部运动状态信息序列中选择驾驶员头部运动状态信息作为第一状态信息,得到第一状态信
息序列;基于上述第一状态信息序列与上述第一状态信息序列中各个第一状态信息对应的
车载终端的数据,生成驾驶员注意力信息。
Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语
言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立
的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或
服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包
括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如
利用因特网服务提供商来通过因特网连接)。
表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用
于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标
注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上
可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注
意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执
行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令
的组合来实现。
获取单元、第一生成单元、第二生成单元、检测单元。其中,这些单元的名称在某种情况下并
不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取目标驾驶员的图像序列
和上述图像对应的上述目标驾驶员驾驶的车辆的车载终端的数据的单元”。
用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等。
合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其
等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的
(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方法。