一种驾驶员行车中手持电话违规行为检测方法

摘要

本发明涉及一种驾驶员行车中手持电话违规行为检测方法，属于机器视觉技术领域。首先采集汽车驾驶员的头部图像，利用人脸检测算法从驾驶员头部图像中检测人脸，根据检测到的人脸定位出矩形人脸区域；由矩形人脸区域定位出矩形左、右耳部区域，分别从矩形左、右耳部区域中提取特征指标；将特征指标输入模式识别算法中，对头部图像中是否有手持电话进行识别，并将识别结果存储在手持电话结果队列中；然后对手持电话结果队列进行逻辑判别，并根据逻辑判别结果对驾驶员进行预警。本发明方法实时性好，识别精度高，能够对驾驶人左手和右手拨打接听电话行为进行检测和预警，有效减少因行车中拨打接听电话而造成的交通事故，从而提高驾驶安全性。

权利要求

1.一种驾驶员行车中手持电话违规行为的检测方法，其特征在于该方法包括以下步骤：

（1）采集汽车驾驶员的头部图像，设定一个人脸区域队列，利用人脸检测算法从采集的每帧头部图像中检测人脸，对检测结果进行判断，若检测到人脸，则根据检测到的人脸定位出矩形人脸区域，用定位出的矩形人脸区域更新人脸区域队列，用定位出的矩形人脸区域作为矩形特征人脸区域；若检测不到人脸，则对人脸区域队列进行判断，若人脸区域队列空，则继续检测人脸，若人脸区域队列不空，则以人脸区域队列中的矩形人脸区域平均值作为矩形特征人脸区域；

（2）以上述矩形特征人脸区域的左上角为原点，根据矩形特征人脸区域的长和宽的比例移动原点，定位出矩形左侧耳部区域的左上顶点，并根据矩形特征人脸区域的长和宽定位出矩形左侧耳部区域的大小；根据矩形左侧耳部区域的左上顶点和大小，定位出矩形左侧耳部区域；将矩形左侧耳部区域按矩形特征人脸区域纵轴镜像，定位出矩形右侧耳部区域，对定位出的矩形耳部区域进行图像归一化处理，得到大小一致的矩形左侧耳部区域图像和矩形右侧耳部区域图像；

（3）分别将图像归一化处理后的矩形左侧耳部区域图像和矩形右侧耳部区域图像变换为灰度图像，将灰度图像分割为m×n份，然后对每份灰度图像进行梯度处理，得到灰度图像各个像素的梯度分量，再通过极坐标化，得到灰度图像各个像素的梯度方向值，采用直方图投影的方式，将梯度方向均分为n份，得到n个角度区间，分别将矩形左侧耳部区域图像和矩形右侧耳部区域图像的梯度方向值投影到n个角度区间中去，分别得到与矩形左侧耳部区域图像和矩形右侧耳部区域图像相应的n个角度区间的频数，分别以n个角度区间的频数作为检测手持电话的左侧耳部区域特征向量和右侧耳部区域特征向量，其中n的取值范围为12～20；

（4）根据上述左侧耳部区域特征向量和右侧耳部区域特征向量，利用模式识别算法，分别对左手手持电话和右手手持电话进行识别，得到当前帧头部图像的的识别结果，设定一个左侧手持电话识别结果队列和一个右侧手持电话识别结果队列，用当前帧头部图像的识别结果更新相应左侧手持电话识别结果队列或右侧手持电话识别结果队列，并对更新后的队列进行逻辑判别，根据判别结果发出预警信号，逻辑判别过程如下：（4-1）对手持电话识别结果队列中从当前时刻开始的前t1秒内的数据进行判断，若在t1秒内大于a%的头部图像的识别结果为手持电话状态，则发出手持电话预警信号，若在t1秒内小于a%的头部图像的识别结果为手持电话状态，则重新开始判断，其中t1为设定的第一时间阈值，取值范围为3～5，a为设定的第一概率阈值，取值范围为65～85；

（4－2）对手持电话识别结果队列中从当前时刻开始的前t2秒内的数据进行判断，若在t2秒内大于b%的头部图像的识别结果是手持电话状态，则保持手持电话预警信号，若在t2秒内小于b%的头部图像的识别结果是手持电话状态，则进行步骤（4－3），其中t2为设定的第二时间阈值，取值范围为0.5～3，b为设定的第二概率阈值，取值范围为60～80；

（4－3）对手持电话识别结果队列中从当前时刻开始的前t3秒内的数据进行判断，若在t3秒内大于c%的头部图像的识别结果是手持电话状态，则返回步骤（4－2），若在t3秒内小于c%的头部图像的识别结果是手持电话状态，则进行步骤（4－4），其中t3为设定的第三时间阈值，取值范围为0.5～3，c为设定的第三概率阈值，取值范围为55～75；

（4－4）对手持电话识别结果队列中从当前时刻开始的前t4秒内的数据进行判断，若在t4秒内大于d%的头部图像的识别结果是手持电话状态，则返回步骤（4－2），若在t4秒内小于d%的头部图像的识别结果是手持电话状态，则中断手持电话预警信号；其中t4为设定的第四时间阈值，取值范围为1～4，d为设定的第四概率阈值，取值范围为55～75。

说明书

一种驾驶员行车中手持电话违规行为检测方法

技术领域

[0001] 本发明涉及一种驾驶员行车中手持电话违规行为检测方法，更具体的说，本发明是一种利用图像处理和模式识别算法对驾驶员行车中手持电话的违规行为进行实时检测的方法，属于机器视觉技术领域。

背景技术

[0002] 在驾驶过程中，对路况的选择和判断使得驾驶人注意力高度集中，若此时拨打接听手持电话，势必会分散一部分注意力，降低对行驶环境的感知能力，相应的就会减弱对路面情况的判断，反映速度降低，极易引发交通事故。正常驾驶时，驾驶人双手操纵方向盘，拨打接听手持电话时，使用一只手操纵方向盘，手动挡车换挡时，双手暂时离开方向盘，若此时发生危急情况，驾驶人来不及打方向盘，极易引发交通事故。在驾驶过程中，驾驶人拨打接听手持电话，通话的内容可能会影响到驾驶人的情绪，造成安全隐患。

[0003] 哈佛大学风险分析中心2009年的研究报告指出，美国每年由于驾驶中使用手持电话直接或间接导致的交通事故占到了所有事故的6％，约63.6万起，累计34.2万人受伤、12000重伤、2600人死亡。英国一家交通研究所公布的测试结果显示，开车时使用手机，大脑的反应速度比酒后驾车时慢30％，开车打手机发生车祸的风险比正常驾驶时高4倍以上，有70％的致命事故是驾驶人注意力不集中造成的。因此对于驾驶过程中拨打接听手持电话行为，各国交通法作出了相应的规定。日本交法规定，驾驶普通机动车辆使用手机者，罚款6000日元；驾驶大型机动车辆使用手机者，罚款7000日元。新加坡交法规定，驾驶过程中使用电话，初犯者罚款1000新元，监禁6个月；再犯者最高罚款2000新元，监禁1年。《中华人民共和国道路交通安全法实施条例》第六十二条第三项规定：驾驶机动车不得有拨打接听手持电话、观看电视等妨碍安全驾驶的行为。

[0004] 目前国内外对行车中手持电话的行为和危害研究较多。加拿大相关研究人员分析了驾驶人拨打手机时的反应时间、车辆横向位置、车头间距以及车速等指标的变化规律。瑞典及新西兰等相关研究人员及机构研究了驾驶人在不同交通环境下，拨打接听手持电话、免提通话以及不进行通话3种状态的驾驶行为表现。尽管国内外对于拨打接听手持电话对于驾驶行为的影响开展了大量的研究，但目前尚未发现对驾驶员行车中手持电话违规行为检测方法的研究和报导。

发明内容

[0005] 本发明的目的是提出一种对驾驶员行车中手持电话违规行为的检测方法，对驾驶员在行车状态中的拨打接听手持电话行为进行检测和预警，减少驾驶人行车中拨打接听手持电话的行为，以防止因使用手机行为而造成的交通安全事故，提高行驶安全性。

[0006] 本发明提出驾驶员行车中手持电话违规行为的检测方法，包括以下步骤：

[0007] (1)采集汽车驾驶员的头部图像，设定一个人脸区域队列，利用人脸检测算法从采集的每帧头部图像中检测人脸，对检测结果进行判断，若检测到人脸，则根据检测到的人脸定位出矩形人脸区域，用定位出的矩形人脸区域更新人脸区域队列，用定位出的矩形人脸区域作为矩形特征人脸区域；若检测不到人脸，则对人脸区域队列进行判断，若人脸区域队列空，则继续检测人脸，若人脸区域队列不空，则以人脸区域队列中的矩形人脸区域平均值作为矩形特征人脸区域；

[0008] (2)以上述矩形特征人脸区域的左上角为原点，根据矩形特征人脸区域的长和宽的比例移动原点，定位出矩形左侧耳部区域的左上顶点，并根据矩形特征人脸区域的长和宽定位出矩形左侧耳部区域的大小；根据矩形左侧耳部区域的左上顶点和大小，定位出矩形左侧耳部区域；将矩形左侧耳部区域按矩形特征人脸区域纵轴镜像，定位出矩形右侧耳部区域，对定位出的矩形耳部区域进行图像归一化处理，得到大小一致的矩形左侧耳部区域图像和矩形右侧耳部区域图像；

[0009] (3)分别将图像归一化处理后的矩形左侧耳部区域图像和矩形右侧耳部区域图像变换为灰度图像，并对变换后的灰度图像进行梯度处理，得到灰度图像各个像素的梯度分量，再通过极坐标化，得到灰度图像各个像素的梯度方向值，采用直方图投影的方式，将梯度方向均分为n份，得到n个角度区间，分别将矩形左侧耳部区域图像和矩形右侧耳部区域图像的梯度方向值投影到n个角度区间中去，分别得到与矩形左侧耳部区域图像和矩形右侧耳部区域图像相应的n个角度区间的频数，分别以n个角度区间的频数作为检测手持电话的左侧耳部区域特征向量和右侧耳部区域特征向量；

[0010] (4)根据上述左侧耳部区域特征向量和右侧耳部区域特征向量，利用模式识别算法，分别对左手手持电话和右手手持电话进行识别，得到当前帧头部图像的的识别结果，设定一个左侧手持电话识别结果队列和一个右侧手持电话识别结果队列，用当前帧头部图像的识别结果更新相应左侧手持电话识别结果队列或右侧手持电话识别结果队列，并对更新后的队列进行逻辑判别，根据判别结果发出预警信号，逻辑判别过程如下：

[0011] (4-1)对手持电话识别结果队列中从当前时刻开始的前t1秒内的数据进行判断，若在t1秒内大于a％的头部图像的识别结果为手持电话状态，则发出预警信号，若在t1秒内小于a％的头部图像的识别结果为手持电话状态，则重新开始判断，其中t1为设定的第一时间阈值，取值范围为3～5，a为设定的第一概率阈值，取值范围为65～85；

[0012] (4-2)对手持电话识别结果队列中从当前时刻开始的前t2秒内的数据进行判断，若在t2秒内大于b％的头部图像的识别结果是手持电话状态，则保持预警信号，若在t2秒内小于b％的头部图像的识别结果是手持电话状态，则进行步骤(4-3)，其中t2为设定的第二时间阈值，取值范围为0.5～3，b为设定的第二概率阈值，取值范围为60～80；

[0013] (4-3)对手持电话识别结果队列中从当前时刻开始的前t3秒内的数据进行判断，若在t3秒内大于c％的头部图像的识别结果是手持电话状态，则返回步骤(4-2)，若在t3秒内小于c％的头部图像的识别结果是手持电话状态，则进行步骤(4-4)，其中t3为设定的第三时间阈值，取值范围为0.5～3，c为设定的第三概率阈值，取值范围为55～75；

[0014] (4-4)对手持电话识别结果队列中从当前时刻开始的前t4秒内的数据进行判断，若在t4秒内大于d％的头部图像的识别结果是手持电话状态，则返回步骤(4-2)，若在t4秒内小于d％的头部图像的识别结果是手持电话状态，则中断预警信号；其中t4为设定的第四时间阈值，取值范围为1～4，d为设定的第四概率阈值，取值范围为55～75。

[0015] 本发明提出的一种驾驶员行车中手持电话违规行为检测方法，其优点是，本发明方法是一种非接触式检测方法，不会对驾驶员的正常驾驶行为造成干扰；只需要在汽车仪表盘附近安装一个摄像头用于获取驾驶员头部图像，结构简单，容易实施；本发明方法经过大量实车数据测试，算法实时性好，识别精度高，能够对驾驶人左手和右手拨打接听电话行为进行检测和预警，有效减少因行车中拨打接听电话而造成的交通事故，从而提高驾驶安全性。

附图说明

[0016] 图1是本发明方法的流程框图。

[0017] 图2是本发明方法中人脸区域定位和耳部区域定位示意图。

[0018] 图2中，1是矩形左侧耳部区域，2是矩形特征人脸区域纵轴，3是人脸，4是矩形特征人脸区域，5是矩形右侧耳部区域。

具体实施方式

[0019] 本发明提出驾驶员行车中手持电话违规行为的检测方法，其流程框图如图1所示，包括以下步骤：

[0020] (1)采集汽车驾驶员的头部图像，设定一个人脸区域队列，利用人脸检测算法从采集的每帧头部图像中检测人脸，对检测结果进行判断，若检测到人脸，则根据检测到的人脸定位出矩形人脸区域，用定位出的矩形人脸区域更新人脸区域队列，用定位出的矩形人脸区域作为矩形特征人脸区域；若检测不到人脸，则对人脸区域队列进行判断，若人脸区域队列空，则继续检测人脸，若人脸区域队列不空，则以人脸区域队列中的矩形人脸区域平均值作为矩形特征人脸区域；

[0021] (2)以上述矩形特征人脸区域的左上角为原点，根据矩形特征人脸区域的长和宽的比例移动原点，定位出矩形左侧耳部区域的左上顶点，并根据矩形特征人脸区域的长和宽定位出矩形左侧耳部区域的大小；根据矩形左侧耳部区域的左上顶点和大小，定位出矩形左侧耳部区域；将矩形左侧耳部区域按矩形特征人脸区域纵轴镜像，定位出矩形右侧耳部区域，对定位出的矩形耳部区域进行图像归一化处理，得到大小一致的矩形左侧耳部区域图像和矩形右侧耳部区域图像；

[0022] (3)分别将图像归一化处理后的矩形左侧耳部区域图像和矩形右侧耳部区域图像变换为灰度图像，并对变换后的灰度图像进行梯度处理，得到灰度图像各个像素的梯度分量，再通过极坐标化，得到灰度图像各个像素的梯度方向值，采用直方图投影的方式，将梯度方向均分为n份，得到n个角度区间，分别将矩形左侧耳部区域图像和矩形右侧耳部区域图像的梯度方向值投影到n个角度区间中去，分别得到与矩形左侧耳部区域图像和矩形右侧耳部区域图像相应的n个角度区间的频数，分别以n个角度区间的频数作为检测手持电话的左侧耳部区域特征向量和右侧耳部区域特征向量；

[0023] (4)根据上述左侧耳部区域特征向量和右侧耳部区域特征向量，利用模式识别算法，分别对左手手持电话和右手手持电话进行识别，得到当前帧头部图像的的识别结果，设定一个左侧手持电话识别结果队列和一个右侧手持电话识别结果队列，用当前帧头部图像的识别结果更新相应左侧手持电话识别结果队列或右侧手持电话识别结果队列，并对更新后的队列进行逻辑判别，根据判别结果发出预警信号，逻辑判别过程如下：

[0024] (4-1)对手持电话识别结果队列中从当前时刻开始的前t1秒内的数据进行判断，若在t1秒内大于a％的头部图像的识别结果为手持电话状态，则发出预警信号，若在t1秒内小于a％的头部图像的识别结果为手持电话状态，则重新开始判断，其中t1为设定的第一时间阈值，取值范围为3～5，a为设定的第一概率阈值，取值范围为65～85；

[0025] (4-2)对手持电话识别结果队列中从当前时刻开始的前t2秒内的数据进行判断，若在t2秒内大于b％的头部图像的识别结果是手持电话状态，则保持预警信号，若在t2秒内小于b％的头部图像的识别结果是手持电话状态，则进行步骤(4-3)，其中t2为设定的第二时间阈值，取值范围为0.5～3，b为设定的第二概率阈值，取值范围为60～80；

[0026] (4-3)对手持电话识别结果队列中从当前时刻开始的前t3秒内的数据进行判断，若在t3秒内大于c％的头部图像的识别结果是手持电话状态，则返回步骤(4-2)，若在t3秒内小于c％的头部图像的识别结果是手持电话状态，则进行步骤(4-4)，其中t3为设定的第三时间阈值，取值范围为0.5～3，c为设定的第三概率阈值，取值范围为55～75；(4-4)对手持电话识别结果队列中从当前时刻开始的前t4秒内的数据进行判断，若在t4秒内大于d％的头部图像的识别结果是手持电话状态，则返回步骤(4-2)，若在t4秒内小于d％的头部图像的识别结果是手持电话状态，则中断预警信号；其中t4为设定的第四时间阈值，取值范围为1～4，d为设定的第四概率阈值，取值范围为55～75。

[0027] 图2所示是本发明方法中人脸区域定位和耳部区域定位示意图。本发明方法用安装在汽车仪表盘的摄像头采集汽车驾驶员的头部图像，利用AdaBoost人脸检测算法从驾驶员头部图像中检测人脸3，根据检测到的人脸定位出矩形人脸区域4；由矩形人脸区域定位出左侧耳部区域1，将矩形左侧耳部区域1按矩形特征人脸区域纵轴2镜像，定位出矩形右侧耳部区域5。对定位出的左侧耳部区域1和矩形右侧耳部区域2进行图像归一化处理，得到大小一致的矩形左侧耳部区域图像和矩形右侧耳部区域图像；分别从图像归一化处理后的矩形左侧耳部区域图像和矩形右侧耳部区域图像中提取HOG特征，将该特征输入由模式识别算法建立的手持电话识别模型中，手持电话识别模型对驾驶员头部图像中是否有手持电话进行识别，并将识别结果存储在手持电话结果队列中；然后对手持电话结果队列进行逻辑判别，并根据逻辑判别结果对驾驶员进行预警。

[0028] 以下结合图1对本发明方法的具体实施方式说明如下：

[0029] 采集驾驶员头部图像后，本发明方法实施例中采用常用的AdaBoost人脸检测算法从采集的每帧头部图像中检测人脸。AdaBoost算法，全称为Adaptive Boosting，是现在使用最为广泛的检测算法之一。它的特点是将一系列弱分类器组合成为强分类器，从而避免了寻找强分类器。而且它使用级联结构，可以很快拒绝掉绝大部分非正确结果，从而大大加快检测速度。AdaBoost算法检测到人脸后输出一个包含整个人脸的矩形人脸框，本发明方法中将该矩形框叫做矩形人脸区域。AdaBoost算法是基于类Harr特征的级联分类器，该算法由于受光照、驾驶人生理条件及行为动作等因素的影响，会出现没有检测到人脸的情况。为了解决此种情况下的矩形人脸区域定位，本发明方法设定了一个人脸区域队列，用于存储定位最新检测到的i个矩形人脸区域，矩形人脸区域在人脸区域队列中的存储格式是一个结构体指针，其指向的结构体为{Location，Shape}，其中Location是矩形人脸区域的左上顶点A在驾驶员头部图像中的坐标，Shape是矩形人脸区域的长和宽。人脸区域队列中存储的就是定位到的矩形人脸区域的历史信息，其中人脸区域队列存储信息的大小，也就是i的取值范围为1～10，本发明方法具体实施中i的取值为5。

[0030] 利用AdaBoost人脸检测算法从采集的每帧头部图像中检测人脸，对检测结果进行判断，若检测到人脸，则根据检测到的人脸定位出矩形人脸区域，用定位出的矩形人脸区域更新人脸区域队列，用定位出的矩形人脸区域作为矩形特征人脸区域4；若检测不到人脸，则对人脸区域队列进行判断，若人脸区域队列空，则继续检测人脸，若人脸区域队列不空，则以人脸区域队列中的矩形人脸区域平均值作为矩形特征人脸区域4。其中人脸区域队列中的矩形人脸区域平均值是{mean(Location)，mean(Shape)}，即分别对人脸区域队列中的矩形人脸区域的位置和形状求均值。本发明方法中，人脸区域队列中保存的人脸区域数据实时更新，避免了因为队列中保存的人脸区域与当前检测时间差别较远而对手持电话状态检测精度造成影响。此外，由于驾驶员在驾驶过程中，其相对于安装在仪表盘摄像头的位置变化不大，在人脸检测算法没有检测到人脸时，利用人脸区域队列中的人脸区域历史数据同样可以实现较准确的人脸区域定位。

[0031] 如图2所示，得到特征人脸区域后，以上述矩形特征人脸区域的左上角A为原点，沿x轴方向和y轴方向将原点A向左下平移到B，其中沿x轴方向平移的绝对值是矩形特征人脸区域宽的0.6倍，沿y轴方向平移的绝对值是矩形特征人脸区域长的0.4倍。这样，就定位出矩形左侧耳部区域的左上顶点B，矩形左侧耳部区域的长和宽分别是矩形特征人脸区域长和宽的k倍和j倍，其中k和j的取值范围为0.8～1.1，本发明方法实施例中k和j的取值均为1，由此就定位了矩形左侧耳部区域1。将矩形左侧耳部区域1按矩形特征人脸区域纵轴2镜像，定位出矩形右侧耳部区域5。对定位出的矩形耳部区域进行图像归一化处理，得到大小一致的矩形左侧耳部区域图像和矩形右侧耳部区域图像，本发明方法实施例中归一化后矩形左侧耳部区域图像和矩形右侧耳部区域图像的大小均为100×100像素。

[0032] 从上述过程中可以看出，本发明方法是根据矩形特征人脸区域的位置和大小来确定矩形耳部区域的位置和大小的。采用本发明方法的原因是不同驾驶员由于身高、性别、胖瘦、驾驶习惯的不同，其在摄像头获取的头部图像中矩形特征人脸区域位置和大小不同，若取固定大小区域定位耳部区域会使得到的矩形耳部区域中的手持电话图像存在很大的个体差异性，从而给后续提取稳定的特征指标带来困难，影响检测精度。上述矩形特征人脸区域大小自适应矩形耳部区域定位算法具有个体差异自适应性，为后续提取稳定的特征指标奠定了基础。

[0033] 得到图像归一化处理后的矩形左侧耳部区域图像和矩形右侧耳部区域图像后，下一步分别从矩形左侧耳部区域和矩形右侧耳部区域中提取特征，用于对手持电话违规行为进行检测。提取合适的特征指标是影响准确识别目标对象的关键因素。在定位的手持电话检测区域中，由于受到光照、后排座椅有无成员及成员的动作、驾驶人手持电话的动作、周边环境等因素的影响，因此要求提取的特征能够对光照和驾驶人小的动作不敏感。本发明方法实施例中在矩形耳部区域图像中提取HOG特征，HOG特征构成的特征向量被用于对驾驶员拨打接听手持电话的违规行为进行识别。HOG(Histogram of Oriented Gradient)特征，即方向梯度直方图。简要的说，它的提取过程是将待处理的灰度图像进行梯度处理，得到各个像素X和Y方向的梯度分量，再通过极坐标转化，得到各个像素的梯度方向值，然后采用直方图投影的方式，将梯度方向范围均分为n份，得到n个角度区间，将图像的梯度方向值投影到n个角度区间中去，得到n个角度区间的频数，n个角度区间的频数构成特征描述子。HOG特征的两个关键参数是目标图像分割方法和梯度方向范围分为多少份。

[0034] 本发明方法的实施过程中，分别将图像归一化处理后的矩形左侧耳部区域图像和矩形右侧耳部区域图像变换为灰度图像，将灰度图像分割为m×n份，举例来说将本发明方法中100×100的矩形耳部区域图像分割为2×5份，即得到10个50×20的图像块。本发明方法的一个实施例中将矩形耳部图像分割为1×1份。然后对每份灰度图像进行梯度处理，得到灰度图像各个像素的梯度分量，再通过极坐标化，得到灰度图像各个像素的梯度方向值，采用直方图投影的方式，将梯度方向均分为n份，得到n个角度区间，分别将矩形左侧耳部区域图像和矩形右侧耳部区域图像的梯度方向值投影到n个角度区间中去，分别得到与矩形左侧耳部区域图像和矩形右侧耳部区域图像相应的n个角度区间的频数，分别以n个角度区间的频数作为检测手持电话的左侧耳部区域特征向量和右侧耳部区域特征向量。其中n的取值范围为12～20，本发明方法的一个实施例中n值取为16。综上，得到一个16维的向量(l1，l2，…l16)作为左侧耳部区域特征向量，其中li(i＝1，2，…16)是左侧耳部区域梯度方向投影到各角度区间的频数；得到一个16维的向量(w1，w2，…w16)作为右侧耳部区域特征向量，其中wi(i＝1，2，…16)是右侧耳部区域梯度方向投影到各角度区间的频数，这两个16维的特征向量构成了识别手持电话的特征空间。

[0035] 将特征指标输入由模式识别算法建立的手持电话识别模型中，就可以对单帧驾驶员头部图像中是否有手持电话进行识别。本发明方法在具体实施中发现BP神经网络算法、支持向量机算法、贝叶斯网络算法等模式识别算法均能准确地从驾驶员头部图像中检测到手持电话行为。考虑到算法运算速度与算法复杂度的影响，本发明方法的一个实施例中采用Fisher线性判别算法将驾驶员行车中的状态分为正常驾驶和手持电话两类。Fisher线性判别算法可以将多维空间压缩到一维空间，即将多维空间按一定的投影规则将其投影致一条直线上，再在一维空间中确定分界点，将待识别对象分为两类。由于驾驶室内驾驶人左右耳部区域背景差异较大，本发明方法中针对左侧耳部区域和右侧耳部区域分别利用Fisher线性判别算法建立了左侧耳部区域手持电话识别模型和右侧耳部区域手持电话识别模型。

[0036] 耳部区域手持电话识别模型训练方法为公知技术，其过程如下：开展实车实验，利用安装在汽车仪表盘的摄像头获取驾驶员行车中正常驾驶和拨打接听手持电话的视频片段。摄像头的安装位置要求能够在驾驶员驾车中完整获取其头部图像，摄像头拍摄图像分辨率要求不小于480×320像素。将获取的视频切割为左手手持电话、右手手持电话、和正常驾驶三类时长2分钟的视频片段。本发明方法的一个实施例中共开展了50人实车实验，即300分钟视频数据。其中100分钟的左手手持电话视频和100分钟正常驾驶视频用于训练左侧耳部区域手持电话识别模型，将这两类视频图像按上述特征提取方式从中提取有手持电话的左侧耳部区域特征向量和无手持电话的左侧耳部区域特征向量，以这两类数据集训练得到左侧耳部区域手持电话识别Fisher判别模型，如公式(1)所示：

[0037] f1＝a1l1+a2l2+…+a16l16+c1(1)

[0038] 其中，(l1，l2，…l16)是16维左侧耳部区域特征向量构成的自变量，(a1，a2，…a16)是模型系数，c1是常数项。

[0039] 模型建立后，也就确定了模型系数(a1，a2，…a16)和常数项c1，对于新输入的驾驶员头部图像，从图像中提取出16维左侧耳部区域特征向量，代入公式(1)，若f1＞0则判别为手持电话，若f1＜0则判别为正常驾驶。

[0040] 同样，右侧耳部区域手持电话识别模型训练数据为100分钟的右手手持电话视频和100分钟正常驾驶视频，将这两类视频图像按上述特征提取方式从图像中提取有手持电话的右侧耳部区域特征向量和无手持电话的右侧耳部区域特征向量，以这两类数据集训练得到右侧耳部区域手持电话识别Fisher判别模型，如公式(2)所示：

[0041] f2＝b1w1+b2w2+…+b16w16+c2(2)

[0042] 其中，(w1，w2，…w16)是16维右侧耳部区域特征向量构成的自变量，(b1，b2，…b16)是模型系数，c2是常数项。

[0043] 模型建立后，也就确定了模型系数(b1，b2，…b16)和常数项c2，对于新输入的驾驶员头部图像，从图像中提取出16维右侧耳部区域特征向量，代入公式(2)，若f2＞0则判别为手持电话，若f2＜0则判别为正常驾驶。

[0044] 利用Fisher线性判别算法建立的左侧耳部区域手持电话识别模型和右侧耳部区域手持电话识别模型只是对单帧图像中是否存在手持电话行为进行检测，然而，驾驶员拨打接听手持电话是一个时间持续行为，仅靠单帧图像的识别结果容易将抓耳挠腮等动作误检为手持电话。为了利用拨打接听手持电话行为的时序性，本发明方法设定一个左侧手持电话识别结果存储队列和一个右侧手持电话识别结果存储队列用于存储识别结果的历史信息。若手持电话识别模型识别出手持电话，则在手持电话识别结果队列中写入1，若手持电话识别模型没有识别出手持电话，则在手持电话识别结果队列中写入0。本发明方法的一个实施例中手持电话识别结果存储队列的长度为240，即最大可以存储240帧图像的识别结果。

[0045] 分别用当前帧头部图像的识别结果更新相应的左侧手持电话识别结果队列和右侧手持电话识别结果队列，并对更新后的队列进行逻辑判别，根据判别结果发出预警信号，本发明方法中采用四层逻辑判别，具体实施过程如下：

[0046] 第一层逻辑判别的判断结果决定是否发出手持电话预警信号，具体方法是对手持电话识别结果队列中从当前时刻开始的前t1秒内的数据进行判断，若在t1秒内大于a％的头部图像的识别结果为手持电话状态，则发出手持电话预警信号，若在t1秒内小于a％的头部图像的识别结果为手持电话状态，则重新开始判断。其中t1为设定的第一时间阈值，取值范围为3～5，a为设定的第一概率阈值，取值范围为65～85。

[0047] 第二与第三层逻辑判别监控拨打接听手持电话行为的持续情况。设计两层逻辑判别是为了充分考虑驾驶过程中的干扰，提高系统的鲁棒性。车辆在实际行车过程中受光照因素、驾驶人个体差异性因素、环境因素的影响，会使某帧图片的成像质量不佳，造成模式识别算法的判断错误，故状态判别模块在第二层逻辑判别的基础上设计了第三层逻辑。

[0048] 第二层逻辑判别对手持电话识别结果队列中从当前时刻开始的前t2秒内的数据进行判断，若在t2秒内大于b％的头部图像的识别结果是手持电话状态，则保持手持电话预警信号，若在t2秒内小于b％的头部图像的识别结果是手持电话状态，则进行第三层逻辑判别。其中t2为设定的第二时间阈值，取值范围为0.5～3，b为设定的第二概率阈值，取值范围为60～80。

[0049] 第三层逻辑判别对手持电话识别结果队列中从当前时刻开始的前t3秒内的数据进行判断，若在t3秒内大于c％的头部图像的识别结果是手持电话状态，则返回第二层逻辑，若在t3秒内小于c％的头部图像的识别结果是手持电话状态，则进行第四层逻辑判别。其中t3为设定的第三时间阈值，取值范围为0.5～3，c为设定的第三概率阈值，取值范围为55～75；

[0050] 第四层逻辑判别对手持电话识别结果队列中从当前时刻开始的前t4秒内的数据进行判断，若在t4秒内大于d％的头部图像的识别结果是手持电话状态，则返回第二层逻辑，若在t4秒内小于d％的头部图像的识别结果是手持电话状态，则中断手持电话预警信号；其中t4为设定的第四时间阈值，取值范围为1～4，d为设定的第四概率阈值，取值范围为55～75。