无人驾驶汽车的乘客行为监督方法与装置

摘要

本发明公开了一种无人驾驶汽车的乘客行为监督方法与装置，该方法包括：当所述无人驾驶汽车满足启动条件时，实时获取视频采集装置采集到的所述无人驾驶汽车中当前乘客的当前视频数据，所述视频采集装置设置于所述无人驾驶汽车的车内；将所述当前视频数据输入至预设的行为监督模型中进行行为识别，以判断所述当前视频数据中是否存在与所述监督模型存储的异常行为数据匹配的特征数据；若所述当前视频数据中存在与所述监督模型存储的异常行为数据匹配的特征数据，则控制车内报警装置发出报警信息，同时存储所述当前乘客的乘客信息与相应的异常行为数据之间的对应关系。本发明能够对无人驾驶汽车的乘客行为进行监督，提升行驶安全。

权利要求

1.一种无人驾驶汽车的乘客行为监督方法，其特征在于，所述方法应用于一车载系统，所述车载系统设置于相对应的无人驾驶汽车中，所述方法包括：当所述无人驾驶汽车满足启动条件时，实时获取视频采集装置采集到的所述无人驾驶汽车中当前乘客的当前视频数据，所述视频采集装置设置于所述无人驾驶汽车的车内；

将所述当前视频数据输入至预设的行为监督模型中进行行为识别，以判断所述当前视频数据中是否存在与所述监督模型存储的异常行为数据匹配的特征数据，所述行为监督模型由卷积网络、递归网络、融合网络和分类网络组成，所述卷积网络用于提取视频中每一帧的特征，所述递归网络用于对视频中帧与帧之间的时序关系进行建模，所述融合网络用于对训练特征数据进行融合，所述分类网络用于输出每一帧属于各个异常行为的概率；

若所述当前视频数据中存在与所述监督模型存储的异常行为数据匹配的特征数据，则控制车内报警装置发出报警信息，同时存储所述当前乘客的乘客信息与相应的异常行为数据之间的对应关系；

在每位所述当前乘客完成乘坐之后，通过服务器存储每位当前乘客的人脸识别数据以及在乘坐过程中所产生的异常行为信息，所述异常行为信息至少包括异常行为类别；

所述方法还包括：

当每位所述当前乘客进入到所述无人驾驶汽车内时，获取所述当前乘客的人脸识别数据，所述人脸识别数据至少包括乘客性别以及乘客年龄；

根据所述乘客性别以及所述乘客年龄确认所述当前乘客的类型，根据所述当前乘客的类型，在服务器中查找与所述当前乘客的类型相对应的最高频的异常行为种类；

根据所述最高频的异常行为种类，生成对应的行为提示语音以规范所述当前乘客的行为；

所述方法还包括：

统计每位所述当前乘客在预设时间段内每次搭乘时对应的当前分值，并根据多个所述当前分值计算得到平均分值；

判断所述平均分值是否小于对应的分数阈值；

若是，则根据所述平均分值计算并向对应的乘客推送相应金额的优惠券链接；

其中，所述优惠券对应的金额的计算公式表示为：其中， 为优惠券对应的金额， 为校正系数， 为所述平均分值， 为当前乘客乘坐无人驾驶汽车的累积消费金额，平均分值 为多个所述当前分值的平均值。

2.根据权利要求1所述的无人驾驶汽车的乘客行为监督方法，其特征在于，将所述当前视频数据输入至预设的行为监督模型中进行行为识别，以判断所述当前视频数据中是否存在与所述监督模型存储的异常行为数据匹配的特征数据的步骤之后，所述方法还包括：若所述当前视频数据中存在与所述监督模型存储的异常行为数据匹配的特征数据，则记录所述当前乘客产生的异常行为的类别以及次数；

根据所述当前乘客产生的异常行为的类别以及次数，计算所述当前乘客的本次搭乘的当前分值。

3.根据权利要求2所述的无人驾驶汽车的乘客行为监督方法，其特征在于，根据所述当前乘客产生的异常行为的类别以及次数，计算所述当前乘客的本次搭乘的当前分值的步骤中，采用下式计算所述当前乘客的本次搭乘的当前分值：G=a1*b1* c1+ a2*b2* c2+…+ai*bi* ci其中，G表示所述当前分值，a1表示产生第1类异常行为的次数，b1表示第1类异常行为对应的权重值，c1表示产生一次第1类异常行为所产生的基础扣分；

a2表示产生第2类异常行为的次数，b2表示第2类异常行为对应的权重值，c2表示产生一次第2类异常行为所产生的基础扣分；ai表示产生第i类异常行为的次数，bi表示第i类异常行为对应的权重值，ci表示产生一次第i类异常行为所产生的基础扣分，i为正整数。

4.根据权利要求3所述的无人驾驶汽车的乘客行为监督方法，其特征在于，根据所述当前乘客产生的异常行为的类别以及次数，计算所述当前乘客的本次搭乘的当前分值的步骤之后，所述方法还包括：

当所述当前分值大于或等于分数阈值时，根据所述当前分值的大小，将所述当前乘客列入相应等级的黑名单；其中，不同等级的黑名单对应不同的分数阈值以及不同的限乘规则。

5.根据权利要求1所述的无人驾驶汽车的乘客行为监督方法，其特征在于，当所述无人驾驶汽车满足启动条件时，实时获取视频采集装置采集到的所述无人驾驶汽车中当前乘客的当前视频数据的步骤之前，所述方法还包括：获取所述视频采集装置采集到的所述当前乘客的当前人脸识别数据，以及指纹装置采集到的所述当前乘客的当前指纹识别数据，所述指纹装置采集设置于所述无人驾驶汽车的车内；

判断所述当前人脸识别数据与服务器中存储的发起乘车请求的用户的人脸识别数据是否匹配，以及所述当前指纹识别数据与服务器中存储的发起乘车请求的用户的指纹识别数据是否匹配；

若当前人脸识别数据与服务器中存储的发起乘车请求的用户的人脸识别数据匹配，且所述当前指纹识别数据与服务器中存储的发起乘车请求的用户的指纹识别数据匹配，则判定所述无人驾驶汽车满足启动条件；

若当前人脸识别数据与服务器中存储的发起乘车请求的用户的人脸识别数据不匹配，和/或所述当前指纹识别数据与服务器中存储的发起乘车请求的用户的指纹识别数据不匹配，则判定所述无人驾驶汽车不满足启动条件。

6.根据权利要求1所述的无人驾驶汽车的乘客行为监督方法，其特征在于，在所述无人驾驶汽车内设有一远程通讯设备、无线健康监测手环以及急救箱，所述方法还包括：通过所述无线健康监测手环对当前乘客的当前生理状态进行监测以获得监测数据，其中所述监测数据至少包括乘客的心率值以及血压值；

若所述当前乘客的心率值或血压值超出对应的预设阈值，且所述无人驾驶汽车处于行驶状态时，则生成语音救助提示信息，并自动打开所述急救箱；

且通过所述远程通讯设备向距离最近的急救中心发送求救信号，并立即规划导航行驶至最近的急救中心，其中所述求救信号包括所述当前乘客的身份信息以及监测数据。

7.一种无人驾驶汽车的乘客行为监督装置，其特征在于，所述装置应用于一车载系统，所述车载系统设置于相对应的无人驾驶汽车中，所述装置包括：第一获取模块，用于当所述无人驾驶汽车满足启动条件时，实时获取视频采集装置采集到的所述无人驾驶汽车中当前乘客的当前视频数据，所述视频采集装置设置于所述无人驾驶汽车的车内；

第一判断模块，用于将所述当前视频数据输入至预设的行为监督模型中进行行为识别，以判断所述当前视频数据中是否存在与所述监督模型存储的异常行为数据匹配的特征数据，所述行为监督模型由卷积网络、递归网络、融合网络和分类网络组成，所述卷积网络用于提取视频中每一帧的特征，所述递归网络用于对视频中帧与帧之间的时序关系进行建模，所述融合网络用于对训练特征数据进行融合，所述分类网络用于输出每一帧属于各个异常行为的概率；

输出模块，用于若所述当前视频数据中存在与所述监督模型存储的异常行为数据匹配的特征数据，则控制车内报警装置发出报警信息，同时存储所述当前乘客的乘客信息与相应的异常行为数据之间的对应关系；

在每位所述当前乘客完成乘坐之后，通过服务器存储每位当前乘客的人脸识别数据以及在乘坐过程中所产生的异常行为信息，所述异常行为信息至少包括异常行为类别；

所述装置还用于：

当每位所述当前乘客进入到所述无人驾驶汽车内时，获取所述当前乘客的人脸识别数据，所述人脸识别数据至少包括乘客性别以及乘客年龄；

根据所述乘客性别以及所述乘客年龄确认所述当前乘客的类型，根据所述当前乘客的类型，在服务器中查找与所述当前乘客的类型相对应的最高频的异常行为种类；

根据所述最高频的异常行为种类，生成对应的行为提示语音以规范所述当前乘客的行为；

所述装置还用于：

统计每位所述当前乘客在预设时间段内每次搭乘时对应的当前分值，并根据多个所述当前分值计算得到平均分值；

判断所述平均分值是否小于对应的分数阈值；

若是，则根据所述平均分值计算并向对应的乘客推送相应金额的优惠券链接；

其中，所述优惠券对应的金额的计算公式表示为：其中， 为优惠券对应的金额， 为校正系数， 为所述平均分值， 为当前乘客乘坐无人驾驶汽车的累积消费金额，平均分值 为多个所述当前分值的平均值。

8.根据权利要求7所述的无人驾驶汽车的乘客行为监督装置，其特征在于，所述装置还包括：

记录模块，用于若所述当前视频数据中存在与所述监督模型存储的异常行为数据匹配的特征数据，则记录所述当前乘客产生的异常行为的类别以及次数；

计算模块，用于根据所述当前乘客产生的异常行为的类别以及次数，计算所述当前乘客的本次搭乘的当前分值；

列入模块，用于当所述当前分值大于或等于分数阈值时，将所述当前乘客列入黑名单，所述黑名单中的乘客在预设时间内被禁止使用无人驾驶汽车；

所述计算模块还用于采用下式计算所述当前乘客的本次搭乘的当前分值：G=a1*b1* c1+ a2*b2* c2+…+ai*bi* ci其中，G表示所述当前分值，a1表示产生第1类异常行为的次数，b1表示第1类异常行为对应的权重值，c1表示产生一次第1类异常行为所产生的基础扣分；

a2表示产生第2类异常行为的次数，b2表示第2类异常行为对应的权重值，c2表示产生一次第2类异常行为所产生的基础扣分；ai表示产生第i类异常行为的次数，bi表示第i类异常行为对应的权重值，ci表示产生一次第i类异常行为所产生的基础扣分，i为正整数。

说明书

无人驾驶汽车的乘客行为监督方法与装置

技术领域

[0001] 本发明涉及无人驾驶技术领域，特别涉及一种无人驾驶汽车的乘客行为监督方法与装置。

背景技术

[0002] 随着科技的进步，无人驾驶汽车得到快速发展，无人驾驶汽车是通过车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标的智能汽车，目前，很多汽车
厂商都已经推出了无人驾驶汽车。

[0003] 乘客在使用无人驾驶汽车时，由于身边通常没有其他人（例如司机），在行驶过程中，若乘客做出危险行为，例如尝试开门、损坏车内设施等行为，将会影响无人汽车行驶安
全。然而，现有技术中，缺乏对无人驾驶汽车的乘客行为监督的解决方案。

发明内容

[0004] 为此，本发明提出一种无人驾驶汽车的乘客行为监督方法，以对无人驾驶汽车的乘客行为进行监督，提升行驶安全。

[0005] 根据本发明一实施例的无人驾驶汽车的乘客行为监督方法，所述方法应用于一车载系统，所述车载系统设置于相对应的无人驾驶汽车中，所述方法包括：

[0006] 当所述无人驾驶汽车满足启动条件时，实时获取视频采集装置采集到的所述无人驾驶汽车中当前乘客的当前视频数据，所述视频采集装置设置于所述无人驾驶汽车的车
内；

[0007] 将所述当前视频数据输入至预设的行为监督模型中进行行为识别，以判断所述当前视频数据中是否存在与所述监督模型存储的异常行为数据匹配的特征数据，所述行为监
督模型由卷积网络、递归网络、融合网络和分类网络组成，所述卷积网络用于提取视频中每
一帧的特征，所述递归网络用于对视频中帧与帧之间的时序关系进行建模，所述融合网络
用于对训练特征数据进行融合，所述分类网络用于输出每一帧属于各个异常行为的概率；

[0008] 若所述当前视频数据中存在与所述监督模型存储的异常行为数据匹配的特征数据，则控制车内报警装置发出报警信息，同时存储所述当前乘客的乘客信息与相应的异常
行为数据之间的对应关系。

[0009] 根据本发明实施例的无人驾驶汽车的乘客行为监督方法，通过实时获取视频采集装置采集到的无人驾驶汽车中当前乘客的当前视频数据，并将当前视频数据输入至预设的
行为监督模型中进行行为识别，通过监督模型来判断当前视频数据中是否存在与所述监督
模型存储的异常行为数据匹配的特征数据，由于行为监督模型由卷积网络、递归网络、融合
网络和分类网络组成，能够有效对当前视频数据中存在的异常行为进行识别，若当前视频
数据中存在与所述监督模型存储的异常行为数据匹配的特征数据，则控制车内报警装置发
出报警信息，提醒乘客停止危险行为，从而提升行驶安全，同时存储当前乘客的乘客信息与
相应的异常行为数据之间的对应关系，便于后续统计分析。

[0010] 另外，根据本发明上述实施例的无人驾驶汽车的乘客行为监督方法，还可以具有如下附加的技术特征：

[0011] 进一步地，将所述当前视频数据输入至预设的行为监督模型中进行行为识别，以判断所述当前视频数据中是否存在与所述监督模型存储的异常行为数据匹配的特征数据
的步骤之后，所述方法还包括：

[0012] 若所述当前视频数据中存在与所述监督模型存储的异常行为数据匹配的特征数据，则记录所述当前乘客产生的异常行为的类别以及次数；

[0013] 根据所述当前乘客产生的异常行为的类别以及次数，计算所述当前乘客的本次搭乘的当前分值。

[0014] 进一步地，根据所述当前乘客产生的异常行为的类别以及次数，计算所述当前乘客的本次搭乘的当前分值的步骤中，采用下式计算所述当前乘客的本次搭乘的当前分值：

[0015] G=a1*b1* c1+ a2*b2* c2+…+ai*bi* ci

[0016] 其中，G表示所述当前分值，a1表示产生第1类异常行为的次数，b1表示第1类异常行为对应的权重值，c1表示产生一次第1类异常行为所产生的基础扣分；

[0017] a2表示产生第2类异常行为的次数，b2表示第2类异常行为对应的权重值，c2表示产生一次第2类异常行为所产生的基础扣分；ai表示产生第i类异常行为的次数，bi表示第i类
异常行为对应的权重值，ci表示产生一次第i类异常行为所产生的基础扣分，i为正整数。

[0018] 进一步地，根据所述当前乘客产生的异常行为的类别以及次数，计算所述当前乘客的本次搭乘的当前分值的步骤之后，所述方法还包括：

[0019] 当所述当前分值大于或等于分数阈值时，根据所述当前分值的大小，将所述当前乘客列入相应等级的黑名单；其中，不同等级的黑名单对应不同的分数阈值以及不同的限
乘规则。

[0020] 进一步地，当所述无人驾驶汽车满足启动条件时，实时获取视频采集装置采集到的所述无人驾驶汽车中当前乘客的当前视频数据的步骤之前，所述方法还包括：

[0021] 获取所述视频采集装置采集到的所述当前乘客的当前人脸识别数据，以及指纹装置采集到的所述当前乘客的当前指纹识别数据，所述指纹装置采集设置于所述无人驾驶汽
车的车内；

[0022] 判断所述当前人脸识别数据与服务器中存储的发起乘车请求的用户的人脸识别数据是否匹配，以及所述当前指纹识别数据与服务器中存储的发起乘车请求的用户的指纹
识别数据是否匹配；

[0023] 若当前人脸识别数据与服务器中存储的发起乘车请求的用户的人脸识别数据匹配，且所述当前指纹识别数据与服务器中存储的发起乘车请求的用户的指纹识别数据匹
配，则判定所述无人驾驶汽车满足启动条件；

[0024] 若当前人脸识别数据与服务器中存储的发起乘车请求的用户的人脸识别数据不匹配，和/或所述当前指纹识别数据与服务器中存储的发起乘车请求的用户的指纹识别数
据不匹配，则判定所述无人驾驶汽车不满足启动条件。

[0025] 进一步的，在每位所述当前乘客完成乘坐之后，通过服务器存储每位当前乘客的人脸识别数据以及在乘坐过程中所产生的异常行为信息，所述异常行为信息至少包括异常
行为类别；

[0026] 所述方法还包括：

[0027] 当每位所述当前乘客进入到所述无人驾驶汽车内时，获取所述当前乘客的人脸识别数据，所述人脸识别数据至少包括乘客性别以及乘客年龄；

[0028] 根据所述乘客性别以及所述乘客年龄确认所述当前乘客的类型，根据所述当前乘客的类型，在服务器中查找与所述当前乘客的类型相对应的最高频的异常行为种类；

[0029] 根据所述最高频的异常行为种类，生成对应的行为提示语音以规范所述当前乘客的行为。

[0030] 进一步的，在所述无人驾驶汽车内设有一远程通讯设备、无线健康监测手环以及急救箱，所述方法还包括：

[0031] 通过所述无线健康监测手环对当前乘客的当前生理状态进行监测以获得监测数据，其中所述监测数据至少包括乘客的心率值以及血压值；

[0032] 若所述当前乘客的心率值或血压值超出对应的预设阈值，且所述无人驾驶汽车处于行驶状态时，则生成语音救助提示信息，并自动打开所述急救箱；

[0033] 且通过所述远程通讯设备向距离最近的急救中心发送求救信号，并立即规划导航行驶至最近的急救中心，其中所述求救信号包括所述当前乘客的身份信息以及监测数据。

[0034] 进一步的，所述方法还包括：

[0035] 统计每位所述当前乘客在预设时间段内每次搭乘时对应的当前分值，并根据多个所述当前分值计算得到平均分值；

[0036] 判断所述平均分值是否小于对应的分数阈值；

[0037] 若是，则根据所述平均分值计算并向对应的乘客推送相应金额的优惠券链接；

[0038] 其中，所述优惠券对应的金额的计算公式表示为：

[0039]

[0040] 其中， 为优惠券对应的金额， 为校正系数， 为所述平均分值， 为当前乘客乘坐无人驾驶汽车的累积消费金额，平均分值 为多个所述当前分值的平均值。

[0041] 进一步地，所述卷积网络中采用残差网络进行视频中每一帧图像特征的提取，所述递归网络中，采用长短时记忆单元网络作为递归神经网络对视频中帧与帧之间的时序关
系进行建模。

[0042] 本发明的另一个实施例提出一种无人驾驶汽车的乘客行为监督装置，以对无人驾驶汽车的乘客行为进行监督，提升行驶安全。

[0043] 根据本发明一实施例的无人驾驶汽车的乘客行为监督装置，所述装置应用于一车载系统，所述车载系统设置于相对应的无人驾驶汽车中，所述装置包括：

[0044] 第一获取模块，用于当所述无人驾驶汽车满足启动条件时，实时获取视频采集装置采集到的所述无人驾驶汽车中当前乘客的当前视频数据，所述视频采集装置设置于所述
无人驾驶汽车的车内；

[0045] 第一判断模块，用于将所述当前视频数据输入至预设的行为监督模型中进行行为识别，以判断所述当前视频数据中是否存在与所述监督模型存储的异常行为数据匹配的特
征数据，所述行为监督模型由卷积网络、递归网络、融合网络和分类网络组成，所述卷积网
络用于提取视频中每一帧的特征，所述递归网络用于对视频中帧与帧之间的时序关系进行
建模，所述融合网络用于对训练特征数据进行融合，所述分类网络用于输出每一帧属于各
个异常行为的概率；

[0046] 输出模块，用于若所述当前视频数据中存在与所述监督模型存储的异常行为数据匹配的特征数据，则控制车内报警装置发出报警信息，同时存储所述当前乘客的乘客信息
与相应的异常行为数据之间的对应关系。

[0047] 根据本发明实施例的无人驾驶汽车的乘客行为监督装置，通过实时获取视频采集装置采集到的无人驾驶汽车中当前乘客的当前视频数据，并将当前视频数据输入至预设的
行为监督模型中进行行为识别，通过监督模型来判断当前视频数据中是否存在与所述监督
模型存储的异常行为数据匹配的特征数据，由于行为监督模型由卷积网络、递归网络、融合
网络和分类网络组成，能够有效对当前视频数据中存在的异常行为进行识别，若当前视频
数据中存在与所述监督模型存储的异常行为数据匹配的特征数据，则控制车内报警装置发
出报警信息，提醒乘客停止危险行为，从而提升行驶安全，同时存储当前乘客的乘客信息与
相应的异常行为数据之间的对应关系，便于后续统计分析。

[0048] 另外，根据本发明上述实施例的无人驾驶汽车的乘客行为监督装置，还可以具有如下附加的技术特征：

[0049] 进一步地，所述装置还包括：

[0050] 记录模块，用于若所述当前视频数据中存在与所述监督模型存储的异常行为数据匹配的特征数据，则记录所述当前乘客产生的异常行为的类别以及次数；

[0051] 计算模块，用于根据所述当前乘客产生的异常行为的类别以及次数，计算所述当前乘客的本次搭乘的当前分值；

[0052] 列入模块，用于当所述当前分值大于或等于分数阈值时，将所述当前乘客列入黑名单，所述黑名单中的乘客在预设时间内被禁止使用无人驾驶汽车。

[0053] 进一步地，所述计算模块用于采用下式计算所述当前乘客的本次搭乘的当前分值：

[0054] G=a1*b1* c1+ a2*b2* c2+…+ai*bi* ci

[0055] 其中，G表示所述当前分值，a1表示产生第1类异常行为的次数，b1表示第1类异常行为对应的权重值，c1表示产生一次第1类异常行为所产生的基础扣分；

[0056] a2表示产生第2类异常行为的次数，b2表示第2类异常行为对应的权重值，c2表示产生一次第2类异常行为所产生的基础扣分；ai表示产生第i类异常行为的次数，bi表示第i类
异常行为对应的权重值，ci表示产生一次第i类异常行为所产生的基础扣分，i为正整数。

[0057] 进一步地，所述列入模块具体用于：

[0058] 当所述当前分值大于或等于分数阈值时，根据所述当前分值的大小，将所述当前乘客列入相应等级的黑名单，不同等级的黑名单对应不同的分数阈值以及不同的限乘规
则。

[0059] 进一步地，所述装置还包括：

[0060] 第二获取模块，用于获取所述视频采集装置采集到的所述当前乘客的当前人脸识别数据，以及指纹装置采集到的所述当前乘客的当前指纹识别数据，所述指纹装置采集设
置于所述无人驾驶汽车的车内；

[0061] 第二判断模块，用于判断所述当前人脸识别数据与服务器中存储的发起乘车请求的用户的人脸识别数据是否匹配、以及所述当前指纹识别数据与服务器中存储的发起乘车
请求的用户的指纹识别数据是否匹配；

[0062] 第一判定模块，用于若当前人脸识别数据与服务器中存储的发起乘车请求的用户的人脸识别数据匹配，且所述当前指纹识别数据与服务器中存储的发起乘车请求的用户的
指纹识别数据匹配，则判定所述无人驾驶汽车满足启动条件；

[0063] 所述第一判定模块还用于若当前人脸识别数据与服务器中存储的发起乘车请求的用户的人脸识别数据不匹配，和/或所述当前指纹识别数据与服务器中存储的发起乘车
请求的用户的指纹识别数据不匹配，则判定所述无人驾驶汽车不满足启动条件。

[0064] 进一步地，所述卷积网络中采用残差网络进行视频中每一帧图像特征的提取，所述递归网络中，采用长短时记忆单元网络作为递归神经网络对视频中帧与帧之间的时序关
系进行建模。

[0065] 本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。

附图说明

[0066] 本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

[0067] 图1是本发明第一实施例中无人驾驶汽车的乘客行为监督方法的流程图；

[0068] 图2是本发明第一实施例中判断无人驾驶汽车是否满足启动条件的流程图；

[0069] 图3是本发明第二实施例中无人驾驶汽车的乘客行为监督方法的流程图；

[0070] 图4是本发明第三实施例中无人驾驶汽车的乘客行为监督方法的流程图；

[0071] 图5为本发明第四实施例中无人驾驶汽车的乘客行为监督方法的流程图；

[0072] 图6为本发明第五实施例中无人驾驶汽车的乘客行为监督方法的流程图；

[0073] 图7为本发明第六实施例中无人驾驶汽车的乘客行为监督装置的结构示意图。

具体实施方式

[0074] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员
在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0075] 实施例一：

[0076] 请参阅图1，本发明第一实施例提出一种无人驾驶汽车的乘客行为监督方法，所述方法应用于一车载系统，所述车载系统设置于相对应的无人驾驶汽车中，所述方法包括步
骤S101 S103：
~

[0077] S101，当所述无人驾驶汽车满足启动条件时，实时获取视频采集装置采集到的所述无人驾驶汽车中当前乘客的当前视频数据，所述视频采集装置设置于所述无人驾驶汽车
的车内。

[0078] 其中，在本发明实施例所应用的无人驾驶汽车中，设置有一个或多个视频采集装置，以用于实时采集车内搭乘人员的当前视频数据，视频采集装置例如可以为摄像头，本发
明实施例中并不对此进行限定。视频采集装置可以根据实际需要设置在车辆内的相应位
置，也可以根据实际需要设置一个或多个。具体实施时，通常设置多个视频采集装置以对车
内各个角度都能够进行视频拍摄。

[0079] 请参阅图2，当所述无人驾驶汽车满足启动条件时，实时获取视频采集装置采集到的所述无人驾驶汽车中当前乘客的当前视频数据的步骤之前，所述方法还包括判断无人驾
驶汽车是否满足启动条件的步骤，包括步骤S1011 S1014。
~

[0080] S1011，获取所述视频采集装置采集到的所述当前乘客的当前人脸识别数据，以及指纹装置采集到的所述当前乘客的当前指纹识别数据，所述指纹装置采集设置于所述无人
驾驶汽车的车内。

[0081] S1012，判断所述当前人脸识别数据与服务器中存储的发起乘车请求的用户的人脸识别数据是否匹配、以及所述当前指纹识别数据与服务器中存储的发起乘车请求的用户
的指纹识别数据是否匹配；

[0082] S1013，若当前人脸识别数据与服务器中存储的发起乘车请求的用户的人脸识别数据匹配，且所述当前指纹识别数据与服务器中存储的发起乘车请求的用户的指纹识别数
据匹配，则判定所述无人驾驶汽车满足启动条件；

[0083] S1014，若当前人脸识别数据与服务器中存储的发起乘车请求的用户的人脸识别数据不匹配，和/或所述当前指纹识别数据与服务器中存储的发起乘车请求的用户的指纹
识别数据不匹配，则判定所述无人驾驶汽车不满足启动条件。

[0084] 通过将人脸识别数据和指纹识别数据共同作为判断条件，只有当前人脸识别数据与服务器中存储的发起乘车请求的用户的人脸识别数据匹配，且所述当前指纹识别数据与
服务器中存储的发起乘车请求的用户的指纹识别数据匹配的前提下，才判定无人驾驶汽车
满足启动条件，才能启动无人驾驶汽车，能够最大程度的保护乘客的利益以及乘坐安全性，
避免其他用户干扰合法用户的乘车行为。

[0085] S102，将所述当前视频数据输入至预设的行为监督模型中进行行为识别，以判断所述当前视频数据中是否存在与所述监督模型存储的异常行为数据匹配的特征数据，所述
行为监督模型由卷积网络、递归网络、融合网络和分类网络组成，所述卷积网络用于提取视
频中每一帧的特征，所述递归网络用于对视频中帧与帧之间的时序关系进行建模，所述融
合网络用于对训练特征数据进行融合，所述分类网络用于输出每一帧属于各个异常行为的
概率。

[0086] 其中，监督模型是预先训练好的，例如具体是卷积神经网络监督模型，其中存储了多种异常行为的特征数据，异常行为例如包括推拉车门、频繁点击车内的电子设备、暴力损
坏车内设施等。

[0087] 具体的，所述卷积网络中采用残差网络进行视频中每一帧图像特征的提取，能够通过分解来降低拟合函数的复杂度。残差网络在输出和输入之间引入了短路连接，从而可
以有效地解决网络层数过深出现的梯度消失问题。

[0088] 所述递归网络中，采用长短时记忆单元网络作为递归神经网络对视频中帧与帧之间的时序关系进行建模。长短时记忆单元网络（Long‑Short‑Term Memory, LSTM）能够将传
统递归神经网络的隐含层替换为长短时结构单元，从而能够有效地捕获时序数据之间的动
态依赖与长时依赖。

[0089] S103，若所述当前视频数据中存在与所述监督模型存储的异常行为数据匹配的特征数据，则控制车内报警装置发出报警信息，同时存储所述当前乘客的乘客信息与相应的
异常行为数据之间的对应关系。

[0090] 其中，车内报警装置例如是声音报警器，通过控制声音报警器发出预设的报警语音，以提醒乘客停止异常行为。具体实施时，可以为每个乘客分配一个唯一的ID信息，若当
前视频数据中存在与监督模型存储的异常行为数据匹配的特征数据，则存储当前乘客的乘
客信息与相应的异常行为数据之间的对应关系，便于后续统计分析。

[0091] 实施例二：

[0092] 请参阅图3，作为一个具体示例，在步骤S102，将所述当前视频数据输入至预设的行为监督模型中进行行为识别，以判断所述当前视频数据中是否存在与所述监督模型存储
的异常行为数据匹配的特征数据的步骤之后，所述方法还包括：

[0093] S201，若所述当前视频数据中存在与所述监督模型存储的异常行为数据匹配的特征数据，则记录所述当前乘客产生的异常行为的类别以及次数。

[0094] S202，根据所述当前乘客产生的异常行为的类别以及次数，计算所述当前乘客的本次搭乘的当前分值。

[0095] 其中，采用下式计算所述当前乘客的本次搭乘的当前分值：

[0096] G=a1*b1* c1+ a2*b2* c2+…+ai*bi* ci

[0097] 其中，G表示所述当前分值，a1表示产生第1类异常行为的次数，b1表示第1类异常行为对应的权重值，c1表示产生一次第1类异常行为所产生的基础扣分；

[0098] a2表示产生第2类异常行为的次数，b2表示第2类异常行为对应的权重值，c2表示产生一次第2类异常行为所产生的基础扣分；ai表示产生第i类异常行为的次数，bi表示第i类
异常行为对应的权重值，ci表示产生一次第i类异常行为所产生的基础扣分，i为正整数。其
中，可以为不同的异常行分配对应的权重值。

[0099] S203，当所述当前分值大于或等于分数阈值时，将所述当前乘客列入黑名单，所述黑名单中的乘客在预设时间内被禁止使用无人驾驶汽车。

[0100] 其中，若当前分值大于或等于分数阈值，说明该名乘客的历史异常行为过多，因此，限制其在预设时间（例如三个月）内无法使用无人驾驶汽车，以维护厂商利益，并督促该
名乘客尽快改正自己的乘车行为。

[0101] 此外，具体实施时，当所述当前分值大于或等于分数阈值时，还根据所述当前分值的大小，将所述当前乘客列入相应等级的黑名单，不同等级的黑名单对应不同的分数阈值
以及不同的限乘规则，黑名单等级以及相应的分数阈值和限乘规则例如为下表。

[0102] 黑名单等级 分数阈值 限乘规则1级 [50，60] 一个月内无法使用无人驾驶汽车
2级 (60，70] 两个月内无法使用无人驾驶汽车
3级 (70，80] 三个月内无法使用无人驾驶汽车
4级 (80，90] 六个月内无法使用无人驾驶汽车
5级 ＞90 一年内无法使用无人驾驶汽车

[0103] 根据本实施例提供的无人驾驶汽车的乘客行为监督方法，通过实时获取视频采集装置采集到的无人驾驶汽车中当前乘客的当前视频数据，并将当前视频数据输入至预设的
行为监督模型中进行行为识别，通过监督模型来判断当前视频数据中是否存在与所述监督
模型存储的异常行为数据匹配的特征数据，由于行为监督模型由卷积网络、递归网络、融合
网络和分类网络组成，能够有效对当前视频数据中存在的异常行为进行识别，若当前视频
数据中存在与所述监督模型存储的异常行为数据匹配的特征数据，则控制车内报警装置发
出报警信息，提醒乘客停止危险行为，从而提升行驶安全，同时存储当前乘客的乘客信息与
相应的异常行为数据之间的对应关系，便于后续统计分析。

[0104] 实施例三：

[0105] 在本实施例中，为了最大程度上规避乘客的异常行为，在乘客乘坐过程中，需尽可能地进行语音提示以杜绝异常行为。基于此，请参阅图4，本发明第三实施例提出一种无人
驾驶汽车的乘客行为监督方法。

[0106] 需要指出的，当每位当前乘客完成乘坐之后，通过服务器存储每位当前乘客的人脸识别数据以及在乘坐过程中所产生的异常行为信息。其中，异常行为信息包括异常行为
类别。例如，异常行为类别包括：抽烟、未系安全带以及将头伸出窗外等。

[0107] 具体的，在本实施例中，上述方法包括：

[0108] S301，当每位所述当前乘客进入到所述无人驾驶汽车内时，获取所述当前乘客的人脸识别数据，所述人脸识别数据至少包括乘客性别以及乘客年龄。

[0109] 可以理解的，通过获取到的人脸识别数据，可分析确定得到乘客的性别以及对应的年龄。

[0110] S302，根据所述乘客性别以及所述乘客年龄确认所述当前乘客的类型，根据所述当前乘客的类型，在服务器中查找与所述当前乘客的类型相对应的最高频的异常行为种
类。

[0111] 如上所述，由于每个乘客在乘坐无人驾驶汽车时，均不可避免地会产生一些异常行为。由于根据乘客性别以及乘客年龄可确认乘客的类型，且由于在先前的使用过程中，收
集并统计了一些各类型人群对应的高频异常行为。例如，中年男子的高频异常行为是抽烟，
未成年人对应的高频异常行为是未系安全带以及将头伸出窗外。

[0112] S303，根据所述最高频的异常行为种类，生成对应的行为提示语音以规范所述当前乘客的行为。

[0113] 例如，若当前乘客为中年男子，则对应的高频异常行为为抽烟。此时无人驾驶汽车的控制系统会生成对应的行为提示语音，例如提醒注意在车内不能吸烟等，以规范当前乘
客的行为。

[0114] 实施例四：

[0115] 由于在现实生活中，不可避免地有一些患有心脏疾病的乘客，若在乘车过程中突发疾病得不到及时救援，将造成无可挽回的后果。为了解决这一问题，请参阅图5，本发明第
四实施例提出一种无人驾驶汽车的乘客行为监督方法，在无人驾驶汽车内设有一远程通讯
设备、无线健康监测手环以及急救箱，用于当乘客发生突发疾病时进行急救，具体包括如下
步骤：

[0116] S401，通过所述无线健康监测手环对当前乘客的当前生理状态进行监测以获得监测数据，其中所述监测数据至少包括乘客的心率值以及血压值。

[0117] S402，当前乘客的心率值或血压值是否超出对应的预设阈值。

[0118] 可以理解的，若乘客的心率值或血压值超出对应的预设阈值，则说明此时乘客的健康处于较为危急的状态，需要立即进行救援。

[0119] S403，无人驾驶汽车是否处于行驶状态。

[0120] S404，生成语音救助提示信息，并自动打开所述急救箱。

[0121] 如上述步骤S403所述，若无人驾驶汽车处于行驶状态时，此时汽车驾驶系统自动生成语音救助提示信息，提示乘客如何展开自救，并自动开启车内设置的急救箱，以便于乘
客从急救箱中拿取对应的药物进行自救。

[0122] S405，通过所述远程通讯设备向距离最近的急救中心发送求救信号，并立即规划导航行驶至最近的急救中心。

[0123] 与此同时，由于无人驾驶汽车处于行驶状态，此时可通过远程通讯设备向距离最近的急救中心发送求救信号，并立即规划导航路径行驶至最近的急救中心。其中，求救信号
包括当前乘客的身份信息以及监测数据。

[0124] 作为补充的，若判断到乘客的心率值或血压值超出对应的预设阈值，且无人驾驶汽车处于静止状态（未启动状态），此时汽车驾驶系统自动生成语音救助提示信息，提示乘
客如何展开自救，并自动开启车内设置的急救箱，以便于乘客从急救箱中拿取对应的药物
进行自救。

[0125] 实施例五：

[0126] 为了给乘客带来更好的使用体验，会根据乘客的实际使用情况，不定期向乘客推送优惠券。请参阅图6，本发明包括如下步骤：

[0127] S501，统计每位所述当前乘客在预设时间段内每次搭乘时对应的当前分值，并根据多个所述当前分值计算得到平均分值。

[0128] 可以理解的，对乘客A而言，在每次使用无人驾驶汽车之后，均会对应有一当前分值。在本步骤中，将多个当前分值进行求和平均以得到平均分值。

[0129] S502，平均分值是否小于对应的分数阈值。

[0130] 需要指出的是，若平均分值大于对应的分数阈值，则说明乘客在之前的乘坐过程中，异常行为过多，已被纳入了黑名单，对于此类乘客则无法满足优惠的条件。若平均分值
小于对应的分数阈值，则执行步骤S503。在本实施例中，对应的分数阈值为50分。

[0131] S503，根据所述平均分值计算并向对应的乘客推送相应金额的优惠券链接。

[0132] 其中，所述优惠券对应的金额的计算公式表示为：

[0133]

[0134] 其中， 为优惠券对应的金额， 为校正系数， 为所述平均分值， 为当前乘客乘坐无人驾驶汽车的累积消费金额，平均分值 为多个所述当前分值的平均值。

[0135] 可以理解的，对于该公式而言，累积消费金额越多，且平均分值越低（异常行为越少），则对应的优惠券金额越大。根据此种机制，对乘客实行奖励，以提升乘客的整体体验。

[0136] 实施例六：

[0137] 请参阅图7，本发明第六实施例提出一种无人驾驶汽车的乘客行为监督装置，所述装置应用于一车载系统，所述车载系统设置于相对应的无人驾驶汽车中，所述装置包括：

[0138] 第一获取模块11，用于当所述无人驾驶汽车满足启动条件时，实时获取视频采集装置采集到的所述无人驾驶汽车中当前乘客的当前视频数据，所述视频采集装置设置于所
述无人驾驶汽车的车内；

[0139] 第一判断模块12，用于将所述当前视频数据输入至预设的行为监督模型中进行行为识别，以判断所述当前视频数据中是否存在与所述监督模型存储的异常行为数据匹配的
特征数据，所述行为监督模型由卷积网络、递归网络、融合网络和分类网络组成，所述卷积
网络用于提取视频中每一帧的特征，所述递归网络用于对视频中帧与帧之间的时序关系进
行建模，所述融合网络用于对训练特征数据进行融合，所述分类网络用于输出每一帧属于
各个异常行为的概率；

[0140] 输出模块13，用于若所述当前视频数据中存在与所述监督模型存储的异常行为数据匹配的特征数据，则控制车内报警装置发出报警信息，同时存储所述当前乘客的乘客信
息与相应的异常行为数据之间的对应关系。

[0141] 本实施例中，所述装置还包括：

[0142] 记录模块14，用于若所述当前视频数据中存在与所述监督模型存储的异常行为数据匹配的特征数据，则记录所述当前乘客产生的异常行为的类别以及次数；

[0143] 计算模块15，用于根据所述当前乘客产生的异常行为的类别以及次数，计算所述当前乘客的本次搭乘的当前分值；

[0144] 列入模块16，用于当所述当前分值大于或等于分数阈值时，将所述当前乘客列入黑名单，所述黑名单中的乘客在预设时间内被禁止使用无人驾驶汽车。

[0145] 本实施例中，所述计算模块15用于采用下式计算所述当前乘客的本次搭乘的当前分值：

[0146] G=a1*b1* c1+ a2*b2* c2+…+ai*bi* ci

[0147] 其中，G表示所述当前分值，a1表示产生第1类异常行为的次数，b1表示第1类异常行为对应的权重值，c1表示产生一次第1类异常行为所产生的基础扣分；

[0148] a2表示产生第2类异常行为的次数，b2表示第2类异常行为对应的权重值，c2表示产生一次第2类异常行为所产生的基础扣分；ai表示产生第i类异常行为的次数，bi表示第i类
异常行为对应的权重值，ci表示产生一次第i类异常行为所产生的基础扣分，i为正整数。

[0149] 本实施例中，所述列入模块16具体用于：

[0150] 当所述当前分值大于或等于分数阈值时，根据所述当前分值的大小，将所述当前乘客列入相应等级的黑名单，不同等级的黑名单对应不同的分数阈值以及不同的限乘规
则。

[0151] 本实施例中，所述装置还包括：

[0152] 第二获取模块17，用于获取所述视频采集装置采集到的所述当前乘客的当前人脸识别数据，以及指纹装置采集到的所述当前乘客的当前指纹识别数据，所述指纹装置采集
设置于所述无人驾驶汽车的车内；

[0153] 第二判断模块18，用于判断所述当前人脸识别数据与服务器中存储的发起乘车请求的用户的人脸识别数据是否匹配、以及所述当前指纹识别数据与服务器中存储的发起乘
车请求的用户的指纹识别数据是否匹配；

[0154] 第一判定模块19，用于若当前人脸识别数据与服务器中存储的发起乘车请求的用户的人脸识别数据匹配，且所述当前指纹识别数据与服务器中存储的发起乘车请求的用户
的指纹识别数据匹配，则判定所述无人驾驶汽车满足启动条件；

[0155] 所述第一判定模块19还用于若当前人脸识别数据与服务器中存储的发起乘车请求的用户的人脸识别数据不匹配，和/或所述当前指纹识别数据与服务器中存储的发起乘
车请求的用户的指纹识别数据不匹配，则判定所述无人驾驶汽车不满足启动条件。

[0156] 本实施例中，所述卷积网络中采用残差网络进行视频中每一帧图像特征的提取，所述递归网络中，采用长短时记忆单元网络作为递归神经网络对视频中帧与帧之间的时序
关系进行建模。

[0157] 根据本实施例提供的无人驾驶汽车的乘客行为监督装置，通过实时获取视频采集装置采集到的无人驾驶汽车中当前乘客的当前视频数据，并将当前视频数据输入至预设的
行为监督模型中进行行为识别，通过监督模型来判断当前视频数据中是否存在与所述监督
模型存储的异常行为数据匹配的特征数据，由于行为监督模型由卷积网络、递归网络、融合
网络和分类网络组成，能够有效对当前视频数据中存在的异常行为进行识别，若当前视频
数据中存在与所述监督模型存储的异常行为数据匹配的特征数据，则控制车内报警装置发
出报警信息，提醒乘客停止危险行为，从而提升行驶安全，同时存储当前乘客的乘客信息与
相应的异常行为数据之间的对应关系，便于后续统计分析。

[0158] 在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供
指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执
行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设
备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传
输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装
置。

[0159] 计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器
（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存
储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的
介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其
他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

[0160] 应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件
或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下
列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路
的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场
可编程门阵列（FPGA）等。

[0161] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特
点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不
一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何
的一个或多个实施例或示例中以合适的方式结合。

[0162] 尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本
发明的范围由权利要求及其等同物限定。