一种饮酒检测方法

摘要

本发明公开了一种饮酒检测方法，属于计算机技术领域。所述方法包括：获取人员在饮酒前后的多个视角下的热红外图像；基于获取到的热红外图像生成初始数据集；针对每个视角构建一个特征提取网络，并利用所述初始数据集训练该特征提取网络；利用所述特征提取网络提取所述热红外图像的图像特征；将所述图像特征进行融合形成样本数据集，所述样本数据集中每条样本包括多个视角下的图像特征；构建用于检测是否饮酒的CW‑LGBM模型，并利用所述样本数据集训练该CW‑LGBM模型。本发明采用人的热红外图像作为输入，相比可见光图像而言，不仅能够获取温度分布特征，而且几乎不受光线干扰，可全天候正常工作，更加实用可靠。

权利要求

1.一种饮酒检测方法，其特征在于，包括：

获取人员在饮酒前后的多个视角下的热红外图像；

基于获取到的热红外图像生成初始数据集；

针对每个视角构建一个特征提取网络，并利用所述初始数据集训练该特征提取网络；

利用所述特征提取网络提取所述热红外图像的图像特征；

将所述图像特征进行融合形成样本数据集，所述样本数据集中每条样本包括多个视角下的图像特征；

构建用于检测是否饮酒的CW‑LGBM模型，并利用所述样本数据集训练该CW‑LGBM模型；

将所述图像特征进行融合形成样本数据集，包括：为每类视角下的图像特征分配对应的权重；

确定每一类视角的图像特征的数据；

将所述图像特征进行加权融合生成样本数据集；

所述CW‑LGBM模型的损失函数为：

其中，为类别权重，用于调节饮酒与未饮酒样本损失的权重，当 为饮酒样本时， 取值为与类别比例相关且大于1的常数，否则 取1； 为 正则化项，作为对损失函数的惩罚项，用来防止模型过拟合；为正则化系数， 为决策树的参数。

2.根据权利要求1所述的一种饮酒检测方法，其特征在于，所述多个视角下的热红外图像包括面部热红外图像、眼部热红外图像、手部热红外图像和侧面热红外图像中的至少两种。

3.根据权利要求1所述的一种饮酒检测方法，其特征在于，所述热红外图像为工作波长为7.5μm到13.0μm的红外热像仪所拍摄的图像。

4.根据权利要求1所述的一种饮酒检测方法，其特征在于，所述样本数据集中样本的标签为采集热红外图像时被拍摄者的状态，所述被拍摄者的状态包括饮酒状态和未饮酒状态。

5.根据权利要求1所述的一种饮酒检测方法，其特征在于，将所述图像特征进行加权融合生成样本数据集，包括：采用concat系列特征融合方式将所述图像特征进行串行连接，生成样本数据集。

说明书

一种饮酒检测方法

技术领域

[0001] 本发明属于计算机技术领域，特别是涉及一种饮酒检测方法。

背景技术

[0002] 传统的工人饮酒行为检测方法如：采用呼气式酒精检测仪进行检测、走独木桥等方法，存在耗时耗力、结果不够准确、需要工人配合等问题。近年来，计算机视觉技术的发展解决了安全监控、自动驾驶、医学影像诊断等很多领域的问题，基于计算机视觉的饮酒行为检测方法也被提出，但对于图像数据较缺乏且类别样本不平衡的饮酒行为识别任务而言，现有的饮酒行为检测方法仍然存在精度低、饮酒样本误检率高、深度学习模型易过拟合等问题。

发明内容

[0003] 本发明的目的在于克服现有技术的不足，提供一种饮酒检测方法。

[0004] 本发明的目的是通过以下技术方案来实现的：

[0005] 一种饮酒检测方法，包括：

[0006] 获取人员在饮酒前后的多个视角下的热红外图像；

[0007] 基于获取到的热红外图像生成初始数据集；

[0008] 针对每个视角构建一个特征提取网络，并利用所述初始数据集训练该特征提取网络；

[0009] 利用所述特征提取网络提取所述热红外图像的图像特征；

[0010] 将所述图像特征进行融合形成样本数据集，所述样本数据集中每条样本包括多个视角下的图像特征；

[0011] 构建用于检测是否饮酒的CW‑LGBM模型，并利用所述样本数据集训练该CW‑LGBM模型。

[0012] 进一步地，所述多个视角下的热红外图像包括面部热红外图像、眼部热红外图像、手部热红外图像和侧面热红外图像中的至少两种。

[0013] 进一步地，所述热红外图像为工作波长为7.5μm到13.0μm的红外热像仪所拍摄的图像。

[0014] 进一步地，所述样本数据集中样本的标签为采集热红外图像时被拍摄者的状态，所述被拍摄者的状态包括饮酒状态和未饮酒状态。

[0015] 进一步地，将所述图像特征进行融合形成样本数据集，包括：

[0016] 为每类视角下的图像特征分配对应的权重；

[0017] 确定每一类视角的图像特征的数据；

[0018] 将所述图像特征进行加权融合生成样本数据集。

[0019] 进一步地，将所述图像特征进行加权融合生成样本数据集，包括：

[0020] 采用concat系列特征融合方式将所述图像特征进行串行连接，生成样本数据集。

[0021] 进一步地，所述CW‑LGBM模型的损失函数为：

[0022]

[0023] 其中， 为类别权重，用于调节饮酒与未饮酒样本损失的权重，当 为饮酒样本时，取值为与类别比例相关且大于1的常数，否则 取1； 为 正则化项，作为对损失函数的惩罚项，用来防止模型过拟合； 为正则化系数， 为决策树的参数。

[0024] 本发明的有益效果是：

[0025] （1）本发明采用人的热红外图像作为输入，相比可见光图像而言，不仅能够获取温度分布特征，而且几乎不受光线干扰，可全天候正常工作，更加实用可靠；

[0026] （2）本发明通过搭建特征提取网络对不同视角的热红外图像特征提取后进行融合，样本特征的维度更加丰富，使模型获得丰富的特征信息，可削弱噪声与异常值的影响，提高了模型的精度、泛化能力和检测性能；

[0027] （3）本发明设计的CW‑LGBM模型的损失中添加了类别权重和 正则项，相比传统LGBM而言，对样本数量较少且类别分布不平衡的数据集具备更高的检测精度和更低的误检率；由于损失函数中添加了样本类别权重和正则项，将融合特征送入CW‑LightGBM模型中进行检测，在样本数量较少并且类别不平衡的条件下也能取得高精度、低误检率的检测结果，且检测过程智能化，可节省时间和人力。

附图说明

[0028] 图1为本发明中饮酒检测方法的一种流程图；

[0029] 图2为特征提取网络的结构示意图；

[0030] 图3为特征提取网的残差分支结构示意图。

具体实施方式

[0031] 下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0032] 参阅图1至图3，本发明提供一种饮酒检测方法：

[0033] 如图1所示，一种饮酒检测方法，包括步骤S100至步骤S600，以下详细说明。

[0034] 步骤S100获取人员在饮酒前后的多个视角下的热红外图像。

[0035] 在一些实施例中，所述多个视角下的热红外图像是指不同角度或者关注重点在不同部位的图像。例如，所述多个视角下的热红外图像包括面部热红外图像、眼部热红外图像、手部热红外图像、正面热红外图像和侧面热红外图像中的至少两种。

[0036] 在一些实施例中，所述热红外图像为工作波长为7.5μm到13.0μm的红外热像仪所拍摄的图像。

[0037] 步骤S200.基于获取到的热红外图像生成初始数据集。

[0038] 具体的，对获取到的热红外图像进行数据增强、标准化等预处理操作，生成不同视角的初始数据集。其中，对获取到的热红外图像进行的数据增强操作包括图像的质量和数量两方面的增强。

[0039] 步骤S300.针对每个视角构建一个特征提取网络，并利用所述初始数据集训练该特征提取网络。

[0040] 具体的，每个视角都需要构建一个对应的特征提取网络，利用所述初始数据集训练该特征提取网络，直到该特征提取网络收敛。

[0041] 在一些实施例中，所述特征提取网络包括卷积、最大池化、LeakReLU激活函数、通道注意力机制、残差跳跃连接以及平均池化操作。

[0042] 步骤S400.利用所述特征提取网络提取所述热红外图像的图像特征。

[0043] 即，利用每个所述特征提取网络提取对应视角下的热红外图像的图像特征。

[0044] 步骤S500.将所述图像特征进行融合形成样本数据集，所述样本数据集中每条样本包括多个视角下的图像特征。

[0045] 在一些实施例中，所述样本数据集中样本的标签为采集热红外图像时被拍摄者的状态，被拍摄者的状态包括饮酒和未饮酒两种状态。

[0046] 在一些实施例中，将所述图像特征进行融合形成样本数据集，包括：为每类视角下的图像特征分配对应的权重；确定每一类视角的图像特征的数据；将所述图像特征进行加权融合生成样本数据集。本实施例中，多视角特征的融合操作考虑了各视角所提取特征的重要度，并按其分配每一类视角的特征数量权重，进行加权融合。

[0047] 步骤S600.构建用于检测是否饮酒的CW‑LGBM模型，并利用所述样本数据集训练该CW‑LGBM模型。

[0048] 在一些实施例中，所述CW‑LGBM模型的损失函数为：

[0049]

[0050] 其中， 为类别权重，用于调节饮酒与未饮酒样本损失的权重，在训练过程中增加模型对饮酒样本的关注，当 为饮酒样本时， 取值为与类别比例相关且大于1的常数，否则 取1； 为 正则化项，作为对损失函数的惩罚项，用来防止模型过拟合；为正则化系数，除以2目的是简化计算，方便与平方项求导后相消，为决策树的参数，可自动获得。

[0051] 以下通过一个案例对本发明的方法进行说明。

[0052] 通过工作波长为7.5到13.0微米的热红外摄像机采集人在饮酒前后不同视角的热红外图像，参与数据采集的被试人员在一小时内饮用4杯120毫升的酒，共计62.4毫升的酒精。第一次数据采集在喝酒前完成，第二次采集在喝完酒30分钟后进行。每次采集分辨率为128×160的热红外图像序列50帧，帧间采样周期为100毫秒。本实施例采集了包括面部、侧面、眼部和手部四种视角的热红外图像。

[0053] 将采集的热红外图像通过随机水平翻转、裁剪、缩放、局部遮盖等操作进行数量上的增强；再通过自适应引导滤波等方法增强热红外图像的质量，包括对图像细节、对比度的增强以及去除噪声。将图像按被拍摄者当时的状态打上标签，标签y=0表示未饮酒，y=1表示饮酒，如此可形成4个不同视角的初始数据集，本实施例中，数据增强后的每个数据集中的样本数量共3000条，其中饮酒样本数据1000条，未饮酒样本数据2000条。

[0054] 针对不同视角的数据构建相应的特征提取网络，利用初始数据集对其进行训练，模型收敛后即可进行热红外图像特征的提取。所述特征提取网络FE_Net的结构如图2所示，其主要操作包括卷积、最大池化、LeakReLU激活函数、通道注意力机制、残差跳跃连接、以及平均池化。具体地，在主干网络上，输入数据通过卷积网络块Block_1，Block_1内部包括一个kernel_size=3，step=1，padding=1，输出维度channel_1=32的卷积层、一个Batch Normalization层、LeakReLU激活函数层以及一个kernel_size=2，step=2的最大池化层，Block_1的输出为x_1；紧接着，将x_1输入到Block_2中，Block_2中包含一个kernel_size=3，step=1，padding=1，输出维度channel_2=64的卷积层、一个Batch Normalization层、LeakReLU激活函数层以及一个kernel_size=2，step=2的最大池化层，Block_2的输出为x_
2；将x_2输入CA_Block，得到的输出结果为f_1。

[0055] 所述FE_Net的残差分支结构如图3所示。在残差分支路径中，输入经过一个kernel_size=2，step=2的平均池化层，然后经过一个kernel_size=1，step=1，padding=0，输出维度channel_s=64的卷积层，再通过一个kernel_size=2，step=2的平均池化层进行下采样，输出结果为f_2。

[0056] 最终，将主干网络与残差分支路径中得到的f_1和f_2相加，经过flatten后通过一个输出维度out_channel=64的全连接层，输出为f；将f送入in_channel=64,out_channel=2的全连接层，得到输出output。

[0057] 分别采用四个初始数据集对上述特征提取网络FE_Net进行训练。当特征提取网络收敛时，特征提取网络中最后一个全连接层前的输出特征f。面部、侧面、眼部和手部四个初始数据集经过FE_Net提取出的特征分别为：f_face、f_profile、f_eye及f_hand。

[0058] 将面部、侧面、眼部、手部四个初始数据集通过特征提取网络所提取的特征进行融合，按照特征提取网络的分类指标综合结果确定四个视角的特征重要度，进一步确定每一类所提取的特征数量，在本实施例中，f_face、f_profile、f_eye和f_hand的特征数量经过加权后分别为：64、32、32、16。采用concat系列特征融合方式将特征进行串行连接。输出特征的维度为输入特征维度的总和。

[0059] 四个视角中所包含的特征信息经过加权融合操作后，集中至一个整体，形成样本数据集。融合后的样本数据集中每个样本都包含四个视角的特征信息，有助于模型从多个角度进行决策，获取到更加全面的信息，减轻模型判断时对某种特征的依赖以及噪声产生的影响，据此提高模型的性能。

[0060] LGBM是梯度提升决策树（GBDT）的一种高效实现方式，其使用了基于梯度的单边采样（GOSS）和互斥特征捆绑(EFB)方法，在保证模型准确率的同时，能有效减少模型对计算资源的占用。LightGBM是以决策树作为基学习器的集成学习算法，每次迭代生成的学习器都以之前生成的所有学习器为基础，多轮迭代后，将所有学习器累加得到强学习器。其可表示为：

[0061]

[0062] 标准LGBM的损失函数为:

[0063]

[0064] 式中： 为单个决策树对第i个样本的预测结果， 为实际类别， 为单个决策树的损失。

[0065] 由于在实际建筑施工环境中，饮酒工人的数量一般会相对少于未饮酒工人的数量。在样本类别分布不平衡的情况下，训练出的模型很容易学习到多数类样本的特征，对于数量较少的饮酒样本的特征则容易出现学习不足的情况。此外，对于工人饮酒识别任务而言，将饮酒工人判识为未饮酒的代价远高于将未饮酒工人判识为饮酒者的代价。因此对其进行改进，添加类别权重增加饮酒类别损失项所占比重，引入L2正则项防止模型过拟合，改进后的CW‑LightGBM模型损失函数定义如下：

[0066]

[0067] 其中， 为类别权重，用于调节饮酒与未饮酒样本损失的权重，在训练过程中增加模型对饮酒样本的关注。在本实施例中，当 =1时， 取值为1.25； =0时， 取值为1。为 正则化项，作为对损失函数的惩罚项，减小模型对部分特征的依赖程度，倾向于更小更分散的权重向量以防止模型过拟合，为正则化系数，在本实施例中取值为0.25，为决策树的参数，由模型训练过程中自动获得。

[0068] 将样本数据集用于训练CW‑LGBM模型。采用十折交叉验证方法，将样本数据集划分为数量相等的十份，每份轮流作为测试集，其余九份用于模型训练，将准确率 、误检率及ROC曲线下的面积 作为模型评价的主要指标，其计算公式如下：

[0069]

[0070]

[0071] 上述公式中，TP表示被正确分类的未饮酒样本数量；TN表示被正确分类的饮酒样本数量；FN表示被错误分类的未饮酒样本数量；FP表示被错误分类的饮酒样本数量。

[0072] 对比以上指标结果，将指标结果最好的模型作为最终模型。

[0073] 以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。