一种车辆行驶状态确定方法、系统、设备及可读存储介质转让专利

申请号 : CN202311507928.4

文献号 : CN117237926B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 徐子聪刘德海段文训田妃佐

申请人 : 广州斯沃德科技有限公司

摘要 :

本申请提供了一种车辆行驶状态确定方法、系统、设备及可读存储介质,其中,车载摄像头对驾驶员的面部图像进行采集;车载麦克风对驾驶员发出的声音进行采集;车载处理器将每张面部图像中的每个像素点的像素值进行权重相乘得到颜色值并构建颜色矩阵;然后根据每两张相邻图像的颜色矩阵的特征值的异同情况生成重构面部图像以构建面部图像集;对面部图像集中的面部图像进行聚类和融合处理得到典型面部图像;根据每张典型面部图像的图像特征值与标准特征值的大小关系对实际音频的音量大小与标准大小进行比对,在存在音量大小超过标准音量的实际音频的情况下将目标车辆的行驶状态标记为异常。采用上述方法,以对车辆的行驶状态进行准确的判断。

权利要求 :

1.一种车辆行驶状态确定方法,其特征在于,应用于车辆行驶状态确定系统,所述系统包括车载处理器和用户信息采集设备,所述用户信息采集设备包括设置于目标车辆内的车载摄像头和车载麦克风,所述车载处理器与所述用户信息采集设备能够进行通信,所述方法包括:在驾驶员驾驶所述目标车辆行驶的过程中,所述车载摄像头在每个预设时间点分别对所述驾驶员的面部图像进行采集得到多张面部图像;

所述车载麦克风在每个预设时间段分别对所述驾驶员发出的声音进行采集得到多个实际音频,其中,每个所述预设时间段的中点对应一个所述预设时间点;

对于每张所述面部图像,所述车载处理器将该张面部图像中的每个像素点在R颜色通道的像素值与预先为所述R颜色通道所配置的第一权重相乘得到每个像素点的R颜色值,所述车载处理器将该张面部图像中的每个像素点在G颜色通道的像素值与预先为所述G颜色通道所配置的第二权重相乘得到每个像素点的G颜色值,所述车载处理器将该张面部图像中的每个像素点在B颜色通道的像素值与预先为所述B颜色通道所配置的第三权重相乘得到每个像素点的B颜色值,其中,所述第一权重是根据所述R颜色通道的像素值在像素点中的重要程度确定的,所述第二权重是根据所述G颜色通道的像素值在像素点中的重要程度确定的,所述第三权重是根据所述B颜色通道的像素值在像素点中的重要程度确定的;

所述车载处理器根据该张面部图像中每个像素点的R颜色值、G颜色值和B颜色值构建该张面部图像的颜色矩阵;

对于每两张在相邻时间点下采集得到的相邻面部图像,所述车载处理器判断该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值是否相同;

若该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值相同,所述车载处理器则将该两张相邻面部图像中的在先面部图像的每个像素点在R颜色通道的像素值与该两张相邻面部图像中的在后面部图像的对应像素点在R颜色通道的像素值进行平均值计算得到每个像素点的R像素均值,将该两张相邻面部图像中的在先面部图像的每个像素点在G颜色通道的像素值与该两张相邻面部图像中的在后面部图像的对应像素点在G颜色通道的像素值进行平均值计算得到每个像素点的G像素均值,将该两张相邻面部图像中的在先面部图像的每个像素点在B颜色通道的像素值与该两张相邻面部图像中的在后面部图像的对应像素点在B颜色通道的像素值进行平均值计算得到每个像素点的B像素均值;

所述车载处理器根据每个像素点的R像素均值、G像素均值和B像素均值生成重构面部图像;

所述车载处理器利用所述重构面部图像对该两张相邻面部图像中的在后面部图像进行替换,并利用该两张相邻面部图像中的在先面部图像和替换后的在后面部图像构建所述驾驶员的面部图像集;

所述车载处理器对所述面部图像集中所包含的面部图像进行聚类处理得到多个面部图像组;

所述车载处理器分别对每个所述面部图像组中所包含的面部图像进行图像融合处理得到多张典型面部图像;

所述车载处理器分别将每张所述典型面部图像输入至面部特征提取模型中得到每张所述典型面部图像的图像特征值;

所述车载处理器判断多张所述典型面部图像中是否存在具有超出标准特征值范围的图像特征值的典型面部图像;

若多张所述典型面部图像中存在具有超出所述标准特征值范围的图像特征值的典型面部图像,所述车载处理器则判断多个所述实际音频中是否存在平均音量大小超过标准音量大小的实际音频;

若多个所述实际音频中存在平均音量大小超过标准音量大小的实际音频,所述车载处理器则将所述目标车辆的行驶状态标记为异常。

2.根据权利要求1所述的方法,其特征在于,在所述车载处理器判断该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值是否相同后,所述方法还包括:若该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值不相同,所述车载处理器则利用该两张相邻面部图像中的在先面部图像和在后面部图像构建所述驾驶员的面部图像集。

3.根据权利要求1所述的方法,其特征在于,在所述车载处理器判断多张所述典型面部图像中是否存在具有超出标准特征值范围的图像特征值的典型面部图像后,所述方法还包括:若每张所述典型面部图像的图像特征值均未超出所述标准特征值范围,所述车载处理器则将所述目标车辆的行驶状态标记为正常。

4.根据权利要求1所述的方法,其特征在于,在所述车载处理器判断多个所述实际音频中是否存在平均音量大小超过标准音量大小的实际音频后,所述方法还包括:若每个所述实际音频中的平均音量大小均未超过所述标准音量大小,所述车载处理器则将所述目标车辆的行驶状态标记为正常。

5.根据权利要求1所述的方法,其特征在于,所述系统还包括显示器,所述显示器设置在所述目标车辆内,所述显示器与所述车载处理器能够进行通信;在所述车载处理器则将所述目标车辆的行驶状态标记为异常后,所述方法还包括:所述车载处理器获取所述目标车辆在每个所述预设时间点下的位置坐标点以及所述目标车辆在每个所述预设时间段内的行驶里程;

所述车载处理器将每个所述预设时间点下的位置坐标点进行曲线拟合得到所述目标车辆的行驶路线图;

对于每个所述预设时间段,所述车载处理器根据该预设时间段内所述目标车辆的行驶里程与该预设时间段的时长确定出所述目标车辆在该预设时间段内的平均行驶速度;

所述车载处理器所述目标车辆在每个所述预设时间段内的平均行驶速度在所述行驶路线图中进行标注得到车辆异常情况图;

所述车载处理器将所述车辆异常情况图发送至所述显示器;

所述显示器将所述车辆异常情况图向所述驾驶员进行展示,以使所述驾驶员能够通过所述车辆异常情况图获知所述目标车辆的行驶状态。

6.一种车辆行驶状态确定系统,其特征在于,所述系统包括车载处理器和用户信息采集设备,所述用户信息采集设备包括设置于目标车辆内的车载摄像头和车载麦克风,所述车载处理器与所述用户信息采集设备能够进行通信:所述车载摄像头,用于在驾驶员驾驶所述目标车辆行驶的过程中,在每个预设时间点分别对所述驾驶员的面部图像进行采集得到多张面部图像;

所述车载麦克风,用于在每个预设时间段分别对所述驾驶员发出的声音进行采集得到多个实际音频,其中,每个所述预设时间段的中点对应一个所述预设时间点;

所述车载处理器,用于对于每张所述面部图像,将该张面部图像中的每个像素点在R颜色通道的像素值与预先为所述R颜色通道所配置的第一权重相乘得到每个像素点的R颜色值,所述车载处理器将该张面部图像中的每个像素点在G颜色通道的像素值与预先为所述G颜色通道所配置的第二权重相乘得到每个像素点的G颜色值,所述车载处理器将该张面部图像中的每个像素点在B颜色通道的像素值与预先为所述B颜色通道所配置的第三权重相乘得到每个像素点的B颜色值,其中,所述第一权重是根据所述R颜色通道的像素值在像素点中的重要程度确定的,所述第二权重是根据所述G颜色通道的像素值在像素点中的重要程度确定的,所述第三权重是根据所述B颜色通道的像素值在像素点中的重要程度确定的;

所述车载处理器,用于根据该张面部图像中每个像素点的R颜色值、G颜色值和B颜色值构建该张面部图像的颜色矩阵;

所述车载处理器,用于对于每两张在相邻时间点下采集得到的相邻面部图像,判断该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值是否相同;

所述车载处理器,用于若该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值相同,则将该两张相邻面部图像中的在先面部图像的每个像素点在R颜色通道的像素值与该两张相邻面部图像中的在后面部图像的对应像素点在R颜色通道的像素值进行平均值计算得到每个像素点的R像素均值,将该两张相邻面部图像中的在先面部图像的每个像素点在G颜色通道的像素值与该两张相邻面部图像中的在后面部图像的对应像素点在G颜色通道的像素值进行平均值计算得到每个像素点的G像素均值,将该两张相邻面部图像中的在先面部图像的每个像素点在B颜色通道的像素值与该两张相邻面部图像中的在后面部图像的对应像素点在B颜色通道的像素值进行平均值计算得到每个像素点的B像素均值;

所述车载处理器,用于根据每个像素点的R像素均值、G像素均值和B像素均值生成重构面部图像;

所述车载处理器,用于利用所述重构面部图像对该两张相邻面部图像中的在后面部图像进行替换,并利用该两张相邻面部图像中的在先面部图像和替换后的在后面部图像构建所述驾驶员的面部图像集;

所述车载处理器,用于对所述面部图像集中所包含的面部图像进行聚类处理得到多个面部图像组;

所述车载处理器,用于分别对每个所述面部图像组中所包含的面部图像进行图像融合处理得到多张典型面部图像;

所述车载处理器,用于分别将每张所述典型面部图像输入至面部特征提取模型中得到每张所述典型面部图像的图像特征值;

所述车载处理器,用于判断多张所述典型面部图像中是否存在具有超出标准特征值范围的图像特征值的典型面部图像,若多张所述典型面部图像中存在具有超出所述标准特征值范围的图像特征值的典型面部图像,则判断多个所述实际音频中是否存在平均音量大小超过标准音量大小的实际音频;

所述车载处理器,用于若多个所述实际音频中存在平均音量大小超过标准音量大小的实际音频,则将所述目标车辆的行驶状态标记为异常。

7.根据权利要求6所述的系统,其特征在于,所述车载处理器还用于在判断该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值是否相同后,若该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值不相同,所述车载处理器则利用该两张相邻面部图像中的在先面部图像和在后面部图像构建所述驾驶员的面部图像集。

8.根据权利要求6所述的系统,其特征在于,所述车载处理器还用于在判断多张所述典型面部图像中是否存在具有超出标准特征值范围的图像特征值的典型面部图像后,若每张所述典型面部图像的图像特征值均未超出所述标准特征值范围,所述车载处理器则将所述目标车辆的行驶状态标记为正常。

9.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过所述总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至6中任意一项所述的车辆行驶状态确定方法的步骤。

10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至6中任意一项所述的车辆行驶状态确定方法的步骤。

说明书 :

一种车辆行驶状态确定方法、系统、设备及可读存储介质

技术领域

[0001] 本发明涉及车辆控制领域,具体而言,涉及一种车辆行驶状态确定方法、系统、设备及可读存储介质。

背景技术

[0002] 在驾驶员驾驶车辆行驶的过程中,无论是受到行驶环境的影响(例如路面不平整、道路曲折、路面断裂),受到驾驶员驾驶技术的影响(例如突然加速、急刹、急转弯),或者是受到车辆自身发生异常的影响(例如熄火、爆胎、自燃),都可能会导致车辆在行驶过程中的行驶状态发生异常或者是危险,从而对车内的驾驶员和车外的路人的人身安全造成威胁,同时,也会对道路交通造成安全隐患。
[0003] 现有技术中,在对驾驶员所驾驶的车辆的行驶状态是否发生异常或者危险进行确定时,通常是由驾驶员和车内乘客根据其自身的感觉(例如,是否有颠簸感,是否有失重感等)和经验(例如驾驶经验,乘车经验等)对车辆在行驶中是否发生危险进行主观判断和评估。但是在研究中发现,由于每个人对同一个事情的感觉是不同的,每个人对同一个事物的感知也是不同的,因此,倘若根据车内每个人其自身的感觉确定车辆的行驶状态或者是否发生行驶危险进行判断,可能会出现不同的结果,从而无法对车辆的行驶状态进行准确的判断。同时,在人们根据其各自的历史经验对车辆在行驶中是否发生危险进行判断时,受限于经验的不足,人为因素的干扰和主观判断的影响,也无法对车辆的行驶状态进行准确的判断。

发明内容

[0004] 有鉴于此,本发明的目的在于提供一种车辆行驶状态确定方法、系统、设备及可读存储介质,以对车辆的行驶状态进行准确的判断。
[0005] 第一方面,本申请实施例提供了一种车辆行驶状态确定方法,应用于车辆行驶状态确定系统,所述系统包括车载处理器和用户信息采集设备,所述用户信息采集设备包括设置于目标车辆内的车载摄像头和车载麦克风,所述车载处理器与所述用户信息采集设备能够进行通信,所述方法包括:
[0006] 在驾驶员驾驶所述目标车辆行驶的过程中,所述车载摄像头在每个预设时间点分别对所述驾驶员的面部图像进行采集得到多张面部图像;
[0007] 所述车载麦克风在每个预设时间段分别对所述驾驶员发出的声音进行采集得到多个实际音频,其中,每个所述预设时间段的中点对应一个所述预设时间点;
[0008] 对于每张所述面部图像,所述车载处理器将该张面部图像中的每个像素点在R颜色通道的像素值与预先为所述R颜色通道所配置的第一权重相乘得到每个像素点的R颜色值,所述车载处理器将该张面部图像中的每个像素点在G颜色通道的像素值与预先为所述G颜色通道所配置的第二权重相乘得到每个像素点的G颜色值,所述车载处理器将该张面部图像中的每个像素点在B颜色通道的像素值与预先为所述B颜色通道所配置的第三权重相乘得到每个像素点的B颜色值,其中,所述第一权重是根据所述R颜色通道的像素值在像素点中的重要程度确定的,所述第二权重是根据所述G颜色通道的像素值在像素点中的重要程度确定的,所述第三权重是根据所述B颜色通道的像素值在像素点中的重要程度确定的;
[0009] 所述车载处理器根据该张面部图像中每个像素点的R颜色值、G颜色值和B颜色值构建该张面部图像的颜色矩阵;
[0010] 对于每两张在相邻时间点下采集得到的相邻面部图像,所述车载处理器判断该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值是否相同;
[0011] 若该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值相同,所述车载处理器则将该两张相邻面部图像中的在先面部图像的每个像素点在R颜色通道的像素值与该两张相邻面部图像中的在后面部图像的对应像素点在R颜色通道的像素值进行平均值计算得到每个像素点的R像素均值,将该两张相邻面部图像中的在先面部图像的每个像素点在G颜色通道的像素值与该两张相邻面部图像中的在后面部图像的对应像素点在G颜色通道的像素值进行平均值计算得到每个像素点的G像素均值,将该两张相邻面部图像中的在先面部图像的每个像素点在B颜色通道的像素值与该两张相邻面部图像中的在后面部图像的对应像素点在B颜色通道的像素值进行平均值计算得到每个像素点的B像素均值;
[0012] 所述车载处理器根据每个像素点的R像素均值、G像素均值和B像素均值生成重构面部图像;
[0013] 所述车载处理器利用所述重构面部图像对该两张相邻面部图像中的在后面部图像进行替换,并利用该两张相邻面部图像中的在先面部图像和替换后的在后面部图像构建所述驾驶员的面部图像集;
[0014] 所述车载处理器对所述面部图像集中所包含的面部图像进行聚类处理得到多个面部图像组;
[0015] 所述车载处理器分别对每个所述面部图像组中所包含的面部图像进行图像融合处理得到多张典型面部图像;
[0016] 所述车载处理器分别将每张所述典型面部图像输入至面部特征提取模型中得到每张所述典型面部图像的图像特征值;
[0017] 所述车载处理器判断多张所述典型面部图像中是否存在具有超出标准特征值范围的图像特征值的典型面部图像;
[0018] 若多张所述典型面部图像中存在具有超出所述标准特征值范围的图像特征值的典型面部图像,所述车载处理器则判断多个所述实际音频中是否存在平均音量大小超过标准音量大小的实际音频;
[0019] 若多个所述实际音频中存在平均音量大小超过标准音量大小的实际音频,所述车载处理器则将所述目标车辆的行驶状态标记为异常。
[0020] 可选地,在所述车载处理器判断该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值是否相同后,所述方法还包括:
[0021] 若该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值不相同,所述车载处理器则利用该两张相邻面部图像中的在先面部图像和在后面部图像构建所述驾驶员的面部图像集。
[0022] 可选地,在所述车载处理器判断多张所述典型面部图像中是否存在具有超出标准特征值范围的图像特征值的典型面部图像后,所述方法还包括:
[0023] 若每张所述典型面部图像的图像特征值均未超出所述标准特征值范围,所述车载处理器则将所述目标车辆的行驶状态标记为正常。
[0024] 可选地,在所述车载处理器判断多个所述实际音频中是否存在平均音量大小超过标准音量大小的实际音频后,所述方法还包括:
[0025] 若每个所述实际音频中的平均音量大小均未超过所述标准音量大小,所述车载处理器则将所述目标车辆的行驶状态标记为正常。
[0026] 可选地,所述系统还包括显示器,所述显示器设置在所述目标车辆内,所述显示器与所述车载处理器能够进行通信;在所述车载处理器则将所述目标车辆的行驶状态标记为异常后,所述方法还包括:
[0027] 所述车载处理器获取所述目标车辆在每个所述预设时间点下的位置坐标点以及所述目标车辆在每个所述预设时间段内的行驶里程;
[0028] 所述车载处理器将每个所述预设时间点下的位置坐标点进行曲线拟合得到所述目标车辆的行驶路线图;
[0029] 对于每个所述预设时间段,所述车载处理器根据该预设时间段内所述目标车辆的行驶里程与该预设时间段的时长确定出所述目标车辆在该预设时间段内的平均行驶速度;
[0030] 所述车载处理器所述目标车辆在每个所述预设时间段内的平均行驶速度在所述行驶路线图中进行标注得到车辆异常情况图;
[0031] 所述车载处理器将所述车辆异常情况图发送至所述显示器;
[0032] 所述显示器将所述车辆异常情况图向所述驾驶员进行展示,以使所述驾驶员能够通过所述车辆异常情况图获知所述目标车辆的行驶状态。
[0033] 第二方面,本申请实施例提供了一种车辆行驶状态确定系统,所述系统包括车载处理器和用户信息采集设备,所述用户信息采集设备包括设置于目标车辆内的车载摄像头和车载麦克风,所述车载处理器与所述用户信息采集设备能够进行通信:
[0034] 所述车载摄像头,用于在驾驶员驾驶所述目标车辆行驶的过程中,在每个预设时间点分别对所述驾驶员的面部图像进行采集得到多张面部图像;
[0035] 所述车载麦克风,用于在每个预设时间段分别对所述驾驶员发出的声音进行采集得到多个实际音频,其中,每个所述预设时间段的中点对应一个所述预设时间点;
[0036] 所述车载处理器,用于对于每张所述面部图像,将该张面部图像中的每个像素点在R颜色通道的像素值与预先为所述R颜色通道所配置的第一权重相乘得到每个像素点的R颜色值,所述车载处理器将该张面部图像中的每个像素点在G颜色通道的像素值与预先为所述G颜色通道所配置的第二权重相乘得到每个像素点的G颜色值,所述车载处理器将该张面部图像中的每个像素点在B颜色通道的像素值与预先为所述B颜色通道所配置的第三权重相乘得到每个像素点的B颜色值,其中,所述第一权重是根据所述R颜色通道的像素值在像素点中的重要程度确定的,所述第二权重是根据所述G颜色通道的像素值在像素点中的重要程度确定的,所述第三权重是根据所述B颜色通道的像素值在像素点中的重要程度确定的;
[0037] 所述车载处理器,用于根据该张面部图像中每个像素点的R颜色值、G颜色值和B颜色值构建该张面部图像的颜色矩阵;
[0038] 所述车载处理器,用于对于每两张在相邻时间点下采集得到的相邻面部图像,判断该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值是否相同;
[0039] 所述车载处理器,用于若该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值相同,则将该两张相邻面部图像中的在先面部图像的每个像素点在R颜色通道的像素值与该两张相邻面部图像中的在后面部图像的对应像素点在R颜色通道的像素值进行平均值计算得到每个像素点的R像素均值,将该两张相邻面部图像中的在先面部图像的每个像素点在G颜色通道的像素值与该两张相邻面部图像中的在后面部图像的对应像素点在G颜色通道的像素值进行平均值计算得到每个像素点的G像素均值,将该两张相邻面部图像中的在先面部图像的每个像素点在B颜色通道的像素值与该两张相邻面部图像中的在后面部图像的对应像素点在B颜色通道的像素值进行平均值计算得到每个像素点的B像素均值;
[0040] 所述车载处理器,用于根据每个像素点的R像素均值、G像素均值和B像素均值生成重构面部图像;
[0041] 所述车载处理器,用于利用所述重构面部图像对该两张相邻面部图像中的在后面部图像进行替换,并利用该两张相邻面部图像中的在先面部图像和替换后的在后面部图像构建所述驾驶员的面部图像集;
[0042] 所述车载处理器,用于对所述面部图像集中所包含的面部图像进行聚类处理得到多个面部图像组;
[0043] 所述车载处理器,用于分别对每个所述面部图像组中所包含的面部图像进行图像融合处理得到多张典型面部图像;
[0044] 所述车载处理器,用于分别将每张所述典型面部图像输入至面部特征提取模型中得到每张所述典型面部图像的图像特征值;
[0045] 所述车载处理器,用于判断多张所述典型面部图像中是否存在具有超出标准特征值范围的图像特征值的典型面部图像,若多张所述典型面部图像中存在具有超出所述标准特征值范围的图像特征值的典型面部图像,则判断多个所述实际音频中是否存在平均音量大小超过标准音量大小的实际音频;
[0046] 所述车载处理器,用于若多个所述实际音频中存在平均音量大小超过标准音量大小的实际音频,则将所述目标车辆的行驶状态标记为异常。
[0047] 可选地,所述车载处理器还用于在判断该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值是否相同后,若该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值不相同,所述车载处理器则利用该两张相邻面部图像中的在先面部图像和在后面部图像构建所述驾驶员的面部图像集。
[0048] 可选地,所述车载处理器还用于在判断多张所述典型面部图像中是否存在具有超出标准特征值范围的图像特征值的典型面部图像后,若每张所述典型面部图像的图像特征值均未超出所述标准特征值范围,所述车载处理器则将所述目标车辆的行驶状态标记为正常。
[0049] 可选地,所述车载处理器还用于在所述车载处理器判断多个所述实际音频中是否存在平均音量大小超过标准音量大小的实际音频后,若每个所述实际音频中的平均音量大小均未超过所述标准音量大小,则将所述目标车辆的行驶状态标记为正常。
[0050] 可选地,所述系统还包括显示器,所述显示器设置在所述目标车辆内,所述显示器与所述车载处理器能够进行通信;
[0051] 在所述车载处理器,用于在将所述目标车辆的行驶状态标记为异常后, 获取所述目标车辆在每个所述预设时间点下的位置坐标点以及所述目标车辆在每个所述预设时间段内的行驶里程;
[0052] 所述车载处理器,用于将每个所述预设时间点下的位置坐标点进行曲线拟合得到所述目标车辆的行驶路线图;
[0053] 所述车载处理器,用于对于每个所述预设时间段,根据该预设时间段内所述目标车辆的行驶里程与该预设时间段的时长确定出所述目标车辆在该预设时间段内的平均行驶速度;
[0054] 所述车载处理器,用于所述目标车辆在每个所述预设时间段内的平均行驶速度在所述行驶路线图中进行标注得到车辆异常情况图;
[0055] 所述车载处理器,用于将所述车辆异常情况图发送至所述显示器;
[0056] 所述显示器,用于将所述车辆异常情况图向所述驾驶员进行展示,以使所述驾驶员能够通过所述车辆异常情况图获知所述目标车辆的行驶状态。
[0057] 第三方面,本申请实施例提供了一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面中任一种可选地实施方式中所述的车辆行驶状态确定方法的步骤。
[0058] 第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面中任一种可选地实施方式中所述的车辆行驶状态确定方法的步骤。
[0059] 本申请提供的技术方案包括但不限于以下有益效果:
[0060] 在驾驶员驾驶目标车辆行驶的过程中,通过车载摄像头采集驾驶员的面部图像,通过车载麦克风采集驾驶员所发出的音频数据,然后通过车载处理器根据图像在不同颜色通道的像素值对采集到的面部图像进行替换并构建面部图像集,然后对面部图像集中的图像进行聚类和融合处理得到典型面部图像;然后根据面部图像的特征值与标准特征值之间的关系对采集到的音频数据的平均音量大小与标准音量大小进行比对,并根据比对结果确定出车辆的行驶状态。
[0061] 本申请摒弃了现有的根据驾驶员或者乘车人员根据其感受和经验对车辆行驶状态的方法,而是客观的通过对驾驶员的面部图像进行采集、处理和比对,对驾驶员的声音进行采集、处理和比对,再根据比对结果对车辆行驶状态进行判断,从而避免了在通过驾驶员或者乘车人员根据其感受和经验对车辆行驶状态进行判断时,由于不同人针对同一现象的感觉和认知不同或者主观判断的影响所导致的对车辆的行驶状态进行判断时的不准确性,以对车辆的行驶状态进行准确判断。
[0062] 为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

[0063] 为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍, 应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
[0064] 图1示出了本发明实施例一所提供的一种车辆行驶状态确定方法的流程图;
[0065] 图2示出了本发明实施例一所提供的一种图像展示方法的流程图;
[0066] 图3示出了本发明实施例二所提供的一种车辆行驶状态确定系统的结构示意图;
[0067] 图4示出了本发明实施例二所提供的第二种车辆行驶状态确定系统的结构示意图;
[0068] 图5示出了本发明实施例三所提供的一种计算机设备的结构示意图。

具体实施方式

[0069] 为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0070] 实施例一
[0071] 为便于对本申请进行理解,下面结合图1示出的本发明实施例一所提供的一种车辆行驶状态确定方法的流程图描述的内容对本申请实施例一进行详细说明。
[0072] 参见图1所示,图1示出了本发明实施例一所提供的一种车辆行驶状态确定方法的流程图,其中,所述方法应用于车辆行驶状态确定系统,所述系统包括车载处理器和用户信息采集设备,所述用户信息采集设备包括设置于目标车辆内的车载摄像头和车载麦克风,所述车载处理器与所述用户信息采集设备能够进行通信,所述方法包括步骤S101 S114:~
[0073] S101:在驾驶员驾驶所述目标车辆行驶的过程中,所述车载摄像头在每个预设时间点分别对所述驾驶员的面部图像进行采集得到多张面部图像。
[0074] 具体的,为了能够在驾驶员驾驶车辆行驶的过程中对驾驶员的驾驶状态进行检测,通过设置在目标车辆内或者是目标车辆上的车载摄像头(设置角度为摄像头朝向驾驶员的面部方向,可以根据驾驶员的面部大小对摄像头的焦距进行调节,以获取到包含不同尺寸比例的驾驶员的面部信息的图像)对驾驶员的面部图像进行采集。
[0075] S102:所述车载麦克风在每个预设时间段分别对所述驾驶员发出的声音进行采集得到多个实际音频,其中,每个所述预设时间段的中点对应一个所述预设时间点。
[0076] 具体的,同时,通过车载麦克风在每个预设时间段分别对所述驾驶员发出的声音进行采集得到多个实际音频,预设时间段和预设时间点的关系为每个预设时间点为一个预设时间段中的中间时刻,每个预设时间段的时间长短是根据目标车辆的累计行驶里程确定得到的。
[0077] S103:对于每张所述面部图像,所述车载处理器将该张面部图像中的每个像素点在R颜色通道的像素值与预先为所述R颜色通道所配置的第一权重相乘得到每个像素点的R颜色值,所述车载处理器将该张面部图像中的每个像素点在G颜色通道的像素值与预先为所述G颜色通道所配置的第二权重相乘得到每个像素点的G颜色值,所述车载处理器将该张面部图像中的每个像素点在B颜色通道的像素值与预先为所述B颜色通道所配置的第三权重相乘得到每个像素点的B颜色值,其中,所述第一权重是根据所述R颜色通道的像素值在像素点中的重要程度确定的,所述第二权重是根据所述G颜色通道的像素值在像素点中的重要程度确定的,所述第三权重是根据所述B颜色通道的像素值在像素点中的重要程度确定的。
[0078] 具体的,由于在行驶过程中,会采集到多张面部图像,若直接使用这些面部图像进行图像处理,那么会造成系统的数据处理量过大,占多过多系统资源的问题,所以需要对这些由车载摄像头采集到的面部图像进行筛选、过滤、合并等处理,以减少作为车辆行驶状态判断的依据的面部图像的数量。
[0079] 颜色通道为保存图像颜色信息的通道,由摄像头采集到的面部图像通常为RGB色彩模式的图像,即由R(红色)通道,G(绿色)通道,B(蓝色)通道所构成的图像,一个像素点在不同颜色通道下的像素值的大小决定了该像素点中该颜色通道所指示的颜色的深浅度。
[0080] 在执行步骤S103前,需要预先为每个颜色通道配置用于表征其重要程度的权重值,R颜色通道对应第一权重,G颜色通道对应第二权重,B颜色通道对应第三权重;不同颜色通道的权重值可以是根据驾驶员的肤色特征进行配置的,例如,当驾驶员的肤色较黑时,将R颜色通道对应的第一权重设置为最高,将G颜色通道对应的第二权重设置其次高,将B颜色通道对应的第三权重设置为最低,以实现对驾驶员面部图像的在不同颜色通道下的像素值补偿和调整。
[0081] 例如,预先为R颜色通道配置的第一权重为3,为G颜色通道配置的第二权重为2,为B颜色通道配置的第三权重为1,在该面部图像的某一个像素点的R颜色通道的像素值为100,G颜色通道的像素值为10,B颜色通道的像素值为1的情况下,能够得到该像素点的R颜色值为300,G颜色值为20,B颜色值为1。
[0082] S104:所述车载处理器根据该张面部图像中每个像素点的R颜色值、G颜色值和B颜色值构建该张面部图像的颜色矩阵。
[0083] 具体的,车载处理器将该张面部图像中的每个像素点的R颜色值、G颜色值和B颜色值作为该张面部图像的颜色矩阵中的一行或者是一列构建该张面部图像的颜色矩阵。
[0084] 例如,对于某张面部图像,其中包含两个像素点,第一个像素点的R颜色值为300,G颜色值为20,B颜色值为1,另一个像素点的R颜色值为0,G颜色值为20,B颜色值为300,在将每个像素点的不同颜色值作为矩阵中的一行的情况下,能够得到该张面部图像的颜色矩阵为一个2×3的矩阵 。
[0085] S105:对于每两张在相邻时间点下采集得到的相邻面部图像,所述车载处理器判断该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值是否相同。
[0086] 具体的,在先面部图像为每两张在相邻时间点下采集得到的相邻面部图像中的采集时间在先的面部图像,在后面部图像为每两张在相邻时间点下采集得到的相邻面部图像中的采集时间在后的面部图像。
[0087] 特征值是指设在A是n阶方阵的情况下,如果存在数m和非零n维列向量x,使得Ax=mx成立,则称m是A的一个特征值。这里可以利用Jacobi 迭代法(雅克比迭代法)、QR分解法(正交三角分解法)、幂法以及反迭代法等算法确定出每个颜色矩阵的特征值。当两个矩阵的特征值相同时,说明该两个矩阵大概率相似,所以可以根据每两个颜色矩阵的特征值的异同情况得到该两个颜色矩阵的相似情况,从而知晓该两个颜色矩阵所对应的面部图像的相似情况。
[0088] S106:若该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值相同,所述车载处理器则将该两张相邻面部图像中的在先面部图像的每个像素点在R颜色通道的像素值与该两张相邻面部图像中的在后面部图像的对应像素点在R颜色通道的像素值进行平均值计算得到每个像素点的R像素均值,将该两张相邻面部图像中的在先面部图像的每个像素点在G颜色通道的像素值与该两张相邻面部图像中的在后面部图像的对应像素点在G颜色通道的像素值进行平均值计算得到每个像素点的G像素均值,将该两张相邻面部图像中的在先面部图像的每个像素点在B颜色通道的像素值与该两张相邻面部图像中的在后面部图像的对应像素点在B颜色通道的像素值进行平均值计算得到每个像素点的B像素均值。
[0089] 具体的,若该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值相同,则说明该两张相邻面部图像中的在先面部图像的颜色矩阵和在后面部图像的颜色矩阵相似,基于面部图像的颜色矩阵中的元素是像素点在不同颜色通道的像素值,则可以得知颜色矩阵相似的两个面部图像的相似度也较高,于是可以将该两个相似度较高的相邻面部图像进行融合处理,即将该两张相似面部图像中的每个像素点在每个颜色通道上的像素值进行平均值计算,然后执行步骤S107中的图像重构方法。
[0090] S107:所述车载处理器根据每个像素点的R像素均值、G像素均值和B像素均值生成重构面部图像。
[0091] 具体的,将每个像素点以其各自对应的R像素均值、G像素均值和B像素均值进行像素点构建,然后利用每个构建得到的像素点构建重构面部图像,以实现对在先面部图像和在后面部图像的融合处理,将两张面部图像的颜色特征进行了中和,得到的重构面部图像相对于在先面部图像与在后面部图像更加相似,相对于先后面部图像与在先面部图像更加相似。
[0092] S108:所述车载处理器利用所述重构面部图像对该两张相邻面部图像中的在后面部图像进行替换,并利用该两张相邻面部图像中的在先面部图像和替换后的在后面部图像构建所述驾驶员的面部图像集。
[0093] 具体的,利用所述重构面部图像对该两张相邻面部图像中的在后面部图像进行替换,使得该两张相邻面部图像更加相似;将需要进行替换的在后面部图像进行替换后,构建驾驶员的面部图像集,该面部图像集内的面部图像的相似程度更高。
[0094] S109:所述车载处理器对所述面部图像集中所包含的面部图像进行聚类处理得到多个面部图像组。
[0095] 具体的,车载处理器根据面部图像集中所包含的面部图像的图像特征对这些面部图像进行聚类处理得到多个面部图像组,其中,图像特征包括颜色特征、梯度特征或者形状特征。
[0096] 聚类处理的方法包括但不限于K‑Means聚类算法或者深度聚类算法。
[0097] S110:所述车载处理器分别对每个所述面部图像组中所包含的面部图像进行图像融合处理得到多张典型面部图像。
[0098] 具体的,图像融合处理包括像素级图像融合、特征级图像融合和决策级图像融合;其方法包括但不限于:基于变换域的图像融合方法、基于小波变换的图像融合方法和基于NSST(非下采样剪切波变换)图像的图像融合方法,以实现分别将每个面部图像组中所包含的面部图像融合为一张典型面部图像,使得每个面部图像组中仅包含有一张面部图像,从而进一步减少了面部图像的数量。
[0099] S111:所述车载处理器分别将每张所述典型面部图像输入至面部特征提取模型中得到每张所述典型面部图像的图像特征值。
[0100] 具体的,图像特征值用于反映图像信息本身的特征,可以为向量或数组,除了利用预先训练好的面部特征提取模型进行图像特征值的提取外,还可以由卷积神经网络(Convolutional Neural Network,CNN)来实现,例如,可以直接向CNN中输入典型面部图像的图像信息,由CNN计算输出图像特征值。或者,对典型面部图像的图像信息进行卷积运算,将运算得到的结果作为图像特征值。需要说明的是,图像特征值提取处理的方式还可以有其他方式,本发明实施例对此不做限定。
[0101] S112:所述车载处理器判断多张所述典型面部图像中是否存在具有超出标准特征值范围的图像特征值的典型面部图像。
[0102] 具体的,在车载处理器判断多张所述典型面部图像中是否存在具有超出标准特征值范围的图像特征值的典型面部图像前,车载处理器分别将多张标准面部图像输入至面部特征提取模型中得到每张标准面部图像的标准特征值,其中,标准面部图像为驾驶员在正常状态下(在驾驶员驾驶行驶状态为正常的车辆时的状态)驾驶员的面部图像;以标准特征值为中值上浮动预设数值,将该浮动范围确定为标准特征值范围。
[0103] S113:若多张所述典型面部图像中存在具有超出所述标准特征值范围的图像特征值的典型面部图像,所述车载处理器则判断多个所述实际音频中是否存在平均音量大小超过标准音量大小的实际音频。
[0104] 具体的,若多张所述典型面部图像中存在具有超出所述标准特征值范围的图像特征值的典型面部图像,则说明驾驶员的面部图像与驾驶员在正常状态下的面部图像不同或者差异较大,则说明驾驶员在驾驶车辆行驶的过程中车辆的行驶状态可能出现了异常;此时,可以分为两种处理情况,第一种是由车载处理器则将目标车辆的行驶状态标记为异常,第二种是考虑到可能是因为图像处理出现错误或者是车载摄像头发生异常才导致的上述情况,则可以进一步根据采集到的驾驶员发出的音频对驾驶员的状态(对应车辆的行驶状态)进行判断。
[0105] S114:若多个所述实际音频中存在平均音量大小超过标准音量大小的实际音频,所述车载处理器则将所述目标车辆的行驶状态标记为异常。
[0106] 具体的,通常情况下,在车辆行驶状态发生异常的时候,例如发生颠簸、急转弯、发生碰撞、坠崖、爆炸、起火等,驾驶员出于本能和应激反应,会发出异于平常声音的异常声音,例如尖叫、哭泣、大声嚎叫等,这类特殊声音的音量通常会超过平常声音的音量,因此,可以通过每个实际音频的平均音量大小与标准音量大小(平常声音的音量大小)对驾驶员发出的声音是否为异常声音进行判断,从而确定出驾驶员所驾驶的车辆的行驶状态是否正常。
[0107] 若多个实际音频中存在平均音量大小超过标准音量大小的实际音频,则说明在驾驶员驾驶目标车辆行驶的过程中,驾驶员发出过异常声音,则在面部图像也出现异常的基础上,能够进一步确定出驾驶员所驾驶的车辆的行驶状态为异常。
[0108] 在一个可行的实施方案中,在所述车载处理器判断该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值是否相同后,所述方法还包括:
[0109] 若该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值不相同,所述车载处理器则利用该两张相邻面部图像中的在先面部图像和在后面部图像构建所述驾驶员的面部图像集。
[0110] 具体的,若该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值不相同,则说明该在先面部图像和该在后面部图像的差异度和变化较大,该两张面部图像能够作为驾驶员面部活动的典型代表,则将该两张面部图像都进行保留,构建驾驶员的面部图像集。
[0111] 在一个可行的实施方案中,在所述车载处理器判断多张所述典型面部图像中是否存在具有超出标准特征值范围的图像特征值的典型面部图像后,所述方法还包括:
[0112] 若每张所述典型面部图像的图像特征值均未超出所述标准特征值范围,所述车载处理器则将所述目标车辆的行驶状态标记为正常。
[0113] 具体的,若每张典型面部图像的图像特征值均未超出标准特征值范围,则说明驾驶员在驾驶车辆行驶的过程中,面部活动正常,则说明驾驶员所驾驶的目标车辆的行驶状态为正常。
[0114] 在一个可行的实施方案中,在所述车载处理器判断多个所述实际音频中是否存在平均音量大小超过标准音量大小的实际音频后,所述方法还包括:
[0115] 若每个所述实际音频中的平均音量大小均未超过所述标准音量大小,所述车载处理器则将所述目标车辆的行驶状态标记为正常。
[0116] 具体的,若每个实际音频中的平均音量大小均未超过标准音量大小,则说明驾驶员在驾驶车辆行驶的过程中,所发出的声音为正常状态下发出的声音,则说明驾驶员所驾驶的目标车辆的行驶状态为正常。
[0117] 在一个可行的实施方案中,参见图2所示,图2示出了本发明实施例一所提供的一种图像展示方法的流程图,其中,所述系统还包括显示器,所述显示器设置在所述目标车辆内,所述显示器与所述车载处理器能够进行通信,且显示器的设置位置为面向所述驾驶员,使得驾驶员能够看到所述显示器中所展示的内容。
[0118] 在所述车载处理器则将所述目标车辆的行驶状态标记为异常后,所述方法还包括步骤S201 S206:~
[0119] S201:所述车载处理器获取所述目标车辆在每个所述预设时间点下的位置坐标点以及所述目标车辆在每个所述预设时间段内的行驶里程。
[0120] 具体的,在目标车辆的行驶状态标记为异常的情况下,为了使得驾驶员能够即使知晓行驶状态发生异常的情况,以及异常的相关信息,例如在行驶过程中车辆发生异常的位置,则车载处理器获取目标车辆在每个预设时间点下的位置坐标点以及目标车辆在每个预设时间段内的行驶里程。
[0121] S202:所述车载处理器将每个所述预设时间点下的位置坐标点进行曲线拟合得到所述目标车辆的行驶路线图。
[0122] 具体的,位置坐标点为空间直角坐标系下的坐标点,将上述位置坐标点在空间直角坐标系下进行标记,然后进行曲线拟合得到目标车辆的行驶路线图。
[0123] S203:对于每个所述预设时间段,所述车载处理器根据该预设时间段内所述目标车辆的行驶里程与该预设时间段的时长确定出所述目标车辆在该预设时间段内的平均行驶速度。
[0124] 具体的,对于每个预设时间段,车载处理器件将该预设时间段内目标车辆的行驶里程与该预设时间段的时长相除,得到目标车辆在该预设时间段内的平均行驶速度。
[0125] S204:所述车载处理器所述目标车辆在每个所述预设时间段内的平均行驶速度在所述行驶路线图中进行标注得到车辆异常情况图。
[0126] 具体的,为了使得驾驶员能够知晓在每个预设时间段内其车辆的异常程度(能够根据行驶速度体现),则将每个预设时间段内的平均行驶速度在行驶路线图中进行标注得到车辆异常情况图。
[0127] S205:所述车载处理器将所述车辆异常情况图发送至所述显示器。
[0128] S206:所述显示器将所述车辆异常情况图向所述驾驶员进行展示,以使所述驾驶员能够通过所述车辆异常情况图获知所述目标车辆的行驶状态。
[0129] 具体的,车载处理器将车辆异常情况图发送至显示器进行展示,驾驶员通过观察显示器中的内容能够知晓目标车辆的行驶状态发生了异常,同时,还可以通过车辆异常情况图获知目标车辆在每个预设时间段的行驶速度,进而对目标车辆在每个预设时间段的异常程度进行评估和判断。
[0130] 实施例二
[0131] 参见图3所示,图3示出了本发明实施例二所提供的一种车辆行驶状态确定系统的结构示意图,其中,所述系统包括车载处理器301和用户信息采集设备302,所述用户信息采集设备302包括设置于目标车辆内的车载摄像头3021和车载麦克风3022,所述车载处理器与所述用户信息采集设备能够进行通信:
[0132] 所述车载摄像头,用于在驾驶员驾驶所述目标车辆行驶的过程中,在每个预设时间点分别对所述驾驶员的面部图像进行采集得到多张面部图像;
[0133] 所述车载麦克风,用于在每个预设时间段分别对所述驾驶员发出的声音进行采集得到多个实际音频,其中,每个所述预设时间段的中点对应一个所述预设时间点;
[0134] 所述车载处理器,用于对于每张所述面部图像,将该张面部图像中的每个像素点在R颜色通道的像素值与预先为所述R颜色通道所配置的第一权重相乘得到每个像素点的R颜色值,所述车载处理器将该张面部图像中的每个像素点在G颜色通道的像素值与预先为所述G颜色通道所配置的第二权重相乘得到每个像素点的G颜色值,所述车载处理器将该张面部图像中的每个像素点在B颜色通道的像素值与预先为所述B颜色通道所配置的第三权重相乘得到每个像素点的B颜色值,其中,所述第一权重是根据所述R颜色通道的像素值在像素点中的重要程度确定的,所述第二权重是根据所述G颜色通道的像素值在像素点中的重要程度确定的,所述第三权重是根据所述B颜色通道的像素值在像素点中的重要程度确定的;
[0135] 所述车载处理器,用于根据该张面部图像中每个像素点的R颜色值、G颜色值和B颜色值构建该张面部图像的颜色矩阵;
[0136] 所述车载处理器,用于对于每两张在相邻时间点下采集得到的相邻面部图像,判断该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值是否相同;
[0137] 所述车载处理器,用于若该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值相同,则将该两张相邻面部图像中的在先面部图像的每个像素点在R颜色通道的像素值与该两张相邻面部图像中的在后面部图像的对应像素点在R颜色通道的像素值进行平均值计算得到每个像素点的R像素均值,将该两张相邻面部图像中的在先面部图像的每个像素点在G颜色通道的像素值与该两张相邻面部图像中的在后面部图像的对应像素点在G颜色通道的像素值进行平均值计算得到每个像素点的G像素均值,将该两张相邻面部图像中的在先面部图像的每个像素点在B颜色通道的像素值与该两张相邻面部图像中的在后面部图像的对应像素点在B颜色通道的像素值进行平均值计算得到每个像素点的B像素均值;
[0138] 所述车载处理器,用于根据每个像素点的R像素均值、G像素均值和B像素均值生成重构面部图像;
[0139] 所述车载处理器,用于利用所述重构面部图像对该两张相邻面部图像中的在后面部图像进行替换,并利用该两张相邻面部图像中的在先面部图像和替换后的在后面部图像构建所述驾驶员的面部图像集;
[0140] 所述车载处理器,用于对所述面部图像集中所包含的面部图像进行聚类处理得到多个面部图像组;
[0141] 所述车载处理器,用于分别对每个所述面部图像组中所包含的面部图像进行图像融合处理得到多张典型面部图像;
[0142] 所述车载处理器,用于分别将每张所述典型面部图像输入至面部特征提取模型中得到每张所述典型面部图像的图像特征值;
[0143] 所述车载处理器,用于判断多张所述典型面部图像中是否存在具有超出标准特征值范围的图像特征值的典型面部图像,若多张所述典型面部图像中存在具有超出所述标准特征值范围的图像特征值的典型面部图像,则判断多个所述实际音频中是否存在平均音量大小超过标准音量大小的实际音频;
[0144] 所述车载处理器,用于若多个所述实际音频中存在平均音量大小超过标准音量大小的实际音频,则将所述目标车辆的行驶状态标记为异常。
[0145] 在一个可行的实施方案中,所述车载处理器还用于在判断该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值是否相同后,若该两张相邻面部图像中的在先面部图像中的颜色矩阵的特征值与在后面部图像中的颜色矩阵的特征值不相同,所述车载处理器则利用该两张相邻面部图像中的在先面部图像和在后面部图像构建所述驾驶员的面部图像集。
[0146] 在一个可行的实施方案中,所述车载处理器还用于在判断多张所述典型面部图像中是否存在具有超出标准特征值范围的图像特征值的典型面部图像后,若每张所述典型面部图像的图像特征值均未超出所述标准特征值范围,所述车载处理器则将所述目标车辆的行驶状态标记为正常。
[0147] 在一个可行的实施方案中,所述车载处理器还用于在所述车载处理器判断多个所述实际音频中是否存在平均音量大小超过标准音量大小的实际音频后,若每个所述实际音频中的平均音量大小均未超过所述标准音量大小,则将所述目标车辆的行驶状态标记为正常。
[0148] 在一个可行的实施方案中,参见图4所示,图4示出了本发明实施例二所提供的第二种车辆行驶状态确定系统的结构示意图,其中,所述系统还包括显示器401,所述显示器设置在所述目标车辆内,所述显示器与所述车载处理器能够进行通信;
[0149] 在所述车载处理器,用于在将所述目标车辆的行驶状态标记为异常后, 获取所述目标车辆在每个所述预设时间点下的位置坐标点以及所述目标车辆在每个所述预设时间段内的行驶里程;
[0150] 所述车载处理器,用于将每个所述预设时间点下的位置坐标点进行曲线拟合得到所述目标车辆的行驶路线图;
[0151] 所述车载处理器,用于对于每个所述预设时间段,根据该预设时间段内所述目标车辆的行驶里程与该预设时间段的时长确定出所述目标车辆在该预设时间段内的平均行驶速度;
[0152] 所述车载处理器,用于所述目标车辆在每个所述预设时间段内的平均行驶速度在所述行驶路线图中进行标注得到车辆异常情况图;
[0153] 所述车载处理器,用于将所述车辆异常情况图发送至所述显示器;
[0154] 所述显示器,用于将所述车辆异常情况图向所述驾驶员进行展示,以使所述驾驶员能够通过所述车辆异常情况图获知所述目标车辆的行驶状态。
[0155] 实施例三
[0156] 基于同一申请构思,参见图5所示,图5示出了本发明实施例三所提供的一种计算机设备的结构示意图,其中,如图5所示,本申请实施例三所提供的一种计算机设备500包括:
[0157] 处理器501、存储器502和总线503,所述存储器502存储有所述处理器501可执行的机器可读指令,当计算机设备500运行时,所述处理器501与所述存储器502之间通过所述总线503进行通信,所述机器可读指令被所述处理器501运行时执行上述实施例一所示的车辆行驶状态确定方法的步骤。
[0158] 实施例四
[0159] 基于同一申请构思,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述实施例中任一项所述的车辆行驶状态确定方法的步骤。
[0160] 所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0161] 本发明实施例所提供的进行车辆行驶状态确定的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
[0162] 本发明实施例所提供的车辆行驶状态确定系统可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的系统,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,系统实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、系统和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
[0163] 在本发明所提供的实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0164] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0165] 另外,在本发明提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
[0166] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read‑Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0167] 应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
[0168] 最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。