用于切换自主车辆的控制权限的装置和方法

摘要

一种用于切换自主车辆的控制权限的装置和方法，该装置可以包括：捕获单元，被配置为捕获车辆内部的图像并且提供所捕获的图像；存储单元，被配置为基于深度学习存储用于推断乘客的存在和年龄以及乘客是否抓握方向盘的学习信息和权重；以及控制单元，被配置为根据手动模式切换请求通过存储在所述存储单元中的学习信息和权重、由从捕获单元输入的图像推断乘客的存在和年龄来确定乘客是否能够驾驶车辆，推断乘客是否抓握方向盘，并且将车辆的控制权限切换至手动模式。

权利要求

1.一种用于切换自主车辆的控制权限的装置，包括：

捕获单元，被配置为捕获车辆内部的图像并且提供所捕获的图像；

存储单元，被配置为基于深度学习存储用于推断乘客的存在和年龄以及乘客是否抓握方向盘的学习信息和权重；以及控制单元，被配置为：根据手动模式切换请求通过存储在所述存储单元中的学习信息和权重、由从捕获单元输入的图像推断乘客的存在和年龄来确定乘客是否能够驾驶所述车辆，推断乘客是否抓握所述方向盘，并且将所述车辆的控制权限切换至手动模式。

2.根据权利要求1所述的装置，当确定乘客是否能够驾驶所述车辆时，所述控制单元检查乘客的法定年龄以及乘客是否具有驾驶证。

3.根据权利要求1所述的装置，其中，当确定结果指示乘客不能驾驶所述车辆时，所述控制单元通过自主驾驶单元停止所述车辆。

4.根据权利要求1所述的装置，还包括座椅移动单元，所述座椅移动单元被配置为移动所述车辆中的乘客的座椅，其中，在确定乘客是否能够驾驶所述车辆之后，在能够驾驶所述车辆的乘客未坐在驾驶座中时，所述控制单元操作所述座椅移动单元以将该乘客的座椅移动至所述驾驶座。

5.根据权利要求1所述的装置，还包括输出单元，所述输出单元被配置为通知驾驶员由所述控制单元切换控制权限。

6.根据权利要求1所述的装置，其中，当确定乘客能够驾驶所述车辆时，所述控制单元推断乘客是否抓握所述方向盘。

7.根据权利要求6所述的装置，其中，在推断出乘客未抓握所述方向盘时，所述控制单元通过自主驾驶单元停止所述车辆。

8.一种用于切换自主车辆的控制权限的方法，包括以下步骤：由控制单元根据手动模式切换请求从捕获单元接收图像；

由所述控制单元通过存储在存储单元中的学习信息和权重从输入图像推断乘客的存在和年龄；

在推断乘客的存在和年龄之后，由所述控制单元确定乘客是否能够驾驶所述车辆；

由所述控制单元根据确定乘客是否能够驾驶所述车辆的确定结果来推断乘客是否抓握方向盘；以及由所述控制单元根据推断乘客是否抓握所述方向盘的结果将所述车辆的控制权限切换到手动模式。

9.根据权利要求8所述的方法，其中，确定乘客是否能够驾驶车辆包括：检查乘客的法定年龄以及乘客是否具有驾驶证。

10.根据权利要求8所述的方法，还包括：

在确定乘客是否能够驾驶所述车辆之后，由所述控制单元确定能够驾驶所述车辆的乘客是否坐在驾驶座中；以及由所述控制单元根据确定乘客是否坐在所述驾驶座中的结果来操作座椅移动单元，以将乘客的座椅移动至所述驾驶座。

11.根据权利要求8所述的方法，还包括：在确定乘客是否能够驾驶车辆的结果指示乘客不能驾驶所述车辆时，由所述控制单元通过自主驾驶单元停止所述车辆。

12.根据权利要求8所述的方法，还包括：由所述控制单元通过输出单元通知驾驶员将控制权限切换至所述手动模式。

13.根据权利要求8所述的方法，其中，在确定乘客是否能够驾驶所述车辆中当确定乘客能够驾驶所述车辆时，所述控制单元执行推断乘客是否抓握所述方向盘的步骤。

14.根据权利要求13所述的方法，其中，在推断乘客是否抓握所述方向盘中当推断出乘客未抓握所述方向盘时，所述控制单元通过自主驾驶单元停止所述车辆。

说明书

用于切换自主车辆的控制权限的装置和方法

[0001] 相关申请的引证

[0002] 本申请要求2018年8月7日提交的韩国申请第10-2018-0091741号的 优先权，其整体通过引证的方式结合于此。

技术领域

[0003] 本发明涉及一种用于切换自主车辆的控制权限的装置和方法，并且更 具体地，涉及一种在自主车辆的自主驾驶期间输入手动模式切换请求时， 可以通过基于深度学习推断乘客的存在及年龄来确定乘客是否能够驾驶 车辆，并且通过推断驾驶员是否抓握方向盘而将控制权限切换至手动模式 的用于切换自主车辆的控制权限的装置和方法。

背景技术

[0004] 最近，已提出所谓的自主车辆，其检测外部环境(行驶车道位置、前 方车辆等)，并且基于检测结果对车辆进行驱动控制(转向控制、加速控 制、制动控制等)。

[0005] 自主车辆并不总是一直基于外部环境(自主模式)的检测结果进行驱 动控制，但可以基于驾驶员的意图(手动模式)通过驾驶员的操作(转向 操作、制动踏板操作或者)而驱动。

[0006] 从确认驾驶员意图的角度来看，当操纵手动切换时，从自主模式切换 至手动模式。

[0007] 在2014年4月10日公布的韩国专利公开第10-2014-0043536号中公 开了标题为“Method for Switching Control Authority of Autonomous Vehicle” 的本发明的相关技术。

[0008] 当通过手动切换来切换自主车辆的控制权限时，可轻易在驾驶员与车 辆之间切换控制权限。然而，孩子或不能驾驶车辆的人可以接管控制权限。

发明内容

[0009] 本发明的实施方式涉及用于切换的控制权限的装置和方法，其在自主 车辆的自主驾驶期间输入手动模式切换请求时可以通过基于深度学习推 断乘客的存在及年龄来确定乘客是否能够驾驶车辆，并且通过推断乘客是 否抓握方向盘而将控制权限切换至手动模式。

[0010] 在一个实施方式中，一种用于切换自主车辆的控制权限的装置可以包 括：捕获单元，被配置为捕获车辆内部的图像并且提供所捕获的图像；存 储单元，被配置为基于深度学习存储用于推断乘客的存在和年龄以及乘客 是否抓握方向盘的学习信息和权重；以及控制单元，被配置为根据手动模 式切换请求通过存储在存储单元中的学习信息和权重、由从捕获单元输入 的图像推断乘客的存在和年龄来确定乘客是否能够驾驶车辆，推断乘客是 否抓握方向盘，并且将车辆的控制权限切换至手动模式。

[0011] 当确定乘客是否能够驾驶车辆时，控制单元可以检查乘客的法定年龄 以及乘客是否具有驾驶证。

[0012] 当确定结果指示乘客不能驾驶车辆时，控制单元可以通过自主驾驶单 元停止车辆。

[0013] 装置还可以包括座椅移动单元，所述座椅移动单元被配置为移动车辆 中的乘客的座椅。在确定乘客是否能够驾驶车辆之后，在能够驾驶车辆的 乘客未坐在驾驶座中时，控制单元可以操作座椅移动单元以将乘客的座椅 移动至驾驶座。

[0014] 装置还可以包括输出单元，该输出单元被配置为通知驾驶员由控制单 元切换控制权限。

[0015] 其中，当确定乘客能够驾驶车辆时，控制单元推断乘客是否握住方向 盘。

[0016] 其中，当推断出乘客未抓握方向盘时，控制单元通过自主驾驶单元停 止车辆。

[0017] 在另一实施方式中，一种用于切换自主车辆的控制权限的方法，可以 包括以下步骤：由控制单元根据手动模式切换请求从捕获单元接收图像； 由控制单元通过存储在存储单元中的学习信息和权重从输入图像推断乘 客的存在和年龄；在推断乘客的存在和年龄之后，由控制单元确定乘客是 否能够驾驶车辆；由控制单元根据确定乘客是否能够驾驶车辆的确定结果 而推断乘客是否抓握方向盘；以及由控制单元根据推断乘客是否抓握方向 盘的结果将车辆的控制权限切换到手动模式。

[0018] 确定乘客是否能够驾驶车辆可以包括检查乘客的法定年龄以及乘客 是否具有驾驶证。

[0019] 所述方法还可以包括：在确定乘客是否能够驾驶车辆之后，由控制单 元确定能够驾驶车辆的乘客是否坐在驾驶座中；以及由控制单元操作座椅 移动单元以根据确定乘客是否坐在驾驶座中的结果将乘客的座椅移动至 驾驶座。

[0020] 方法还可以包括在确定乘客是否能够驾驶车辆的结果指示乘客不能 驾驶车辆时由控制单元通过自主驾驶单元停止车辆。

[0021] 方法还可以包括由控制单元通过输出单元通知驾驶员将控制权限切 换至手动模式。

[0022] 在确定乘客是否能够驾驶车辆中当确定乘客能够驾驶车辆时，控制单 元可执行推断乘客是否抓握方向盘的步骤。

[0023] 在推断乘客是否抓握方向盘中当推断出乘客未抓握方向盘时，控制单 元可以通过自主驾驶单元停止车辆。

[0024] 当在自主车辆的自主模式期间请求切换到手动模式时，根据本发明的 实施方式，用于切换自主驾驶的控制权限的装置和方法可以确定乘客是否 可以通过基于深度学习推断乘客的存在和年龄来确定乘客是否能够驾驶 车辆。此外，装置和方法可以推断驾驶员是否抓握方向盘，而不是仅将控 制权限切换至手动模式，而且当驾驶员不能驾驶车辆时停止车辆，从而稳 定地切换控制权限。

附图说明

[0025] 图1是示出了根据本发明的实施方式的用于切换自主车辆的控制权限 的装置的方框配置图。

[0026] 图2是示出了根据本发明的实施方式的用于切换自主车辆的控制权限 的方法的流程图。

具体实施方式

[0027] 在下文中，将参照示出本发明的实施方式的附图来更为全面地描述本 发明。但是，本发明可以许多不同的形式实施，并且不应被理解为限于本 文所阐述的实施方式。更确切地，提供这些实施方式使得本公开较为全面， 并且能够将本发明的范围充分地传达给本领域技术人员。附图中的相同参 考标号表示相同的元件。

[0028] 参照附图根据以下实施方式的描述，本发明及其实现方法的各种优点 和特征将变得显而易见。然而，本发明并不限于在本文中阐述的实施方式， 而是可以以许多不同的形式实现。可能提供本实施方式从而完成本发明的 公开，并将本发明的范围完整地传达至本领域技术人员，并且因此将本发 明定义在权利要求的范围内。贯穿本说明书的相同的附图标记表示相同元 件。

[0029] 除非另外定义，否则应当理解说明书中使用的全部术语(包括技术和 科学术语)具有与本领域技术人员理解的那些相同的含义。此外，词典定 义的术语通常不应当理想地使用或者正式夸大定义。将理解，出于本公开 的目的，“X、Y和Z的至少一个”可被解释为仅X、仅Y、仅Z或者X、 Y和Z的两项或更多项的任意组合(例如，XYZ、XYY、YZ、ZZ)。除 非具体描述为相反，本文中描述的术语“包括”、“配置”、“具有”等将理 解为暗示包含所述组件，并且因此应当解释为包括其他组件，但并不排除 任何其他元件。

[0030] 除非另外限定，否则，本文所使用的所有术语(包括技术术语和科学 术语)具有与本公开内容是其一部分的领域中的普通技术人员所通常理解 的相同的含义。诸如通常使用的词典中所定义的那些术语应被解释为具有 与其在相关领域的上下文中的含义一致的含义，并且不将以理想化或者过 度形式化的意义进行解释，除非本文中明确地如此限定。

[0031] 如在相应领域中惯例的，可以根据功能块、单元、和/或模块在附图中 示出一些示例性实施方式。本领域普通技术人员应了解这些方框、单元、 和/或模块通过电子(或光学)电路诸如逻辑电路、离散组件、处理器、硬 连线电路、存储元件、接线等物理实现。当方框、单元、和/或模块通过处 理器或相似硬件实现时，可使用软件(例如，编码)对它们进行编程和控 制以执行本文中讨论的各种功能。可替换地，可以通过专用硬件、或作为 执行一些功能的专用硬件与执行其它功能的处理器(例如，一个或多个编 程的微处理器和相关联的电路)的组合来实现每个块、组件、单元和/或模 块。而且，在不偏离本发明构思的范围的情况下，一些示例性实施方式中 的每个块、组件、单元和/或模块可以物理地分离成两个或更多个交互和离 散的块、组件、单元和/或模块。此外，在不偏离本发明构思的范围的情况 下，示例性实施方式中的块、组件、单元和/或模块可以物理地组合成更复 杂的块、组件、单元和/或模块。

[0032] 下文中，将参照附图详细描述根据本发明的实施方式的用于切换自主 车辆的控制权限的装置和方法。应注意，这些附图没有按照精确比例进行 绘制，并且仅仅出于便于进行描述和清楚的目的，可能会对线条的厚度或 者部件的尺寸进行夸大。此外，通过将本发明的功能考虑在内定义如在本 文中使用的术语并且可按照惯例或者根据用户或操作员的意图改变。因此， 应根据本发明中所规定的全部公开内容定义术语。

[0033] 图1是示出了根据本发明的实施方式的用于切换自主车辆的控制权限 的装置的方框配置图。

[0034] 如图1所示，根据本发明的实施方式的用于切换自主车辆的控制权限 的装置可包括捕获单元10、存储单元30、控制单元20、座椅移动单元50 及输出单元60。

[0035] 捕获单元10可以捕获车辆内部的图像，并且向控制单元提供每个座 椅的图像以推断乘客的存在和年龄以及驾驶员是否抓握方向盘。

[0036] 当进行学习以推断乘客的存在和年龄以及驾驶员是否抓握方向盘时， 捕获单元10还可以基于深度学习提供每个座椅的图像。

[0037] 存储单元30可以基于深度学习来存储用于推断乘客的存在和年龄以 及驾驶员是否抓握方向盘的学习信息和权重。

[0038] 控制单元20可以根据手动模式切换请求通过存储在存储单元30中的 学习信息和权重、由从捕获单元10输入的图像来推断乘客的存在和年龄 来确定乘客是否能够驾驶车辆。然后，控制单元20可以推断驾驶员是否 抓握方向盘，并且将车辆的控制权限切换至手动模式。

[0039] 手动模式切换请求可以通过手动模式切换70输入，或者在自主驾驶 期间根据周围环境而输入。

[0040] 当确定乘客是否能够驾驶车辆时，控制单元20可以推断每个座椅中 乘客的年龄并且检查所推断乘客的年龄是否超过驾驶的法定年龄。可替换 地，控制单元20可以分析乘客通过捕获单元10提交的驾驶证，并且根据 乘客是否具有驾驶证来确定乘客是否能够驾驶车辆。

[0041] 当确定结果指示乘客不能驾驶车辆时，控制单元20可以通过自主驾 驶单元40将车辆停在侧安全道上。即，即使输入手动模式切换请求乘客 也不能驾驶车辆时，控制单元20可以不将车辆的控制权限切换至手动模 式，但使车辆停止以确保自主车辆的稳定性。

[0042] 座椅移动单元50可以移动车辆中的乘客座椅。

[0043] 因此，在确定乘客是否能够驾驶车辆之后，在能够驾驶车辆的乘客未 坐在驾驶座中时，控制单元20可以操作座椅移动单元50以将年龄超过驾 驶法定年龄的乘客的座椅移动至驾驶座，从而积极应对到手动模式的切换。

[0044] 输出单元60可以不仅通知驾驶员控制权限的切换使得驾驶员能够识 别控制权限，从自主模式切换到手动模式并且手动驾驶车辆，而且还通知 驾驶员保持自主模式或者不能切换至手动模式。

[0045] 如上所述，根据本发明的实施方式的用于切换自主驾驶的控制权限的 装置，当在自主车辆的自主模式期间请求切换到手动模式时，可以通过基 于深度学习推断乘客的存在和年龄来确定乘客是否能够驾驶车辆。此外， 装置可以推断驾驶员是否抓握方向盘，而不是仅将控制权限切换至手动模 式，而且当驾驶员不能驾驶车辆时停止车辆，从而稳定地切换控制权限。

[0046] 图2是示出了根据本发明的实施方式的用于切换自主车辆的控制权限 的方法的流程图。

[0047] 如图2所示，根据本发明的实施方式的用于切换自主车辆的控制权限 的方法可以始于步骤S10，在该步骤中控制单元20确定是否输入手动模 式切换请求。

[0048] 手动模式切换请求可以通过手动模式切换70输入，或者在自主驾驶 期间根据周围环境而输入。

[0049] 当步骤S10的确定结果指示输入手动模式切换请求时，在步骤S20中 控制单元20可以从捕获单元10接收通过捕获车辆的内部而获得的每个座 椅的图像。

[0050] 在步骤S20中接收每个座椅的图像之后，在步骤S30中控制单元20 可以通过基于深度学习应用存储在存储单元30中的学习信息和权重而从 每个座椅的图像来推断乘客的存在及年龄。

[0051] 在步骤S30中推断乘客的存在及年龄之后，在步骤S40中控制单元 20可以确定乘客是否能够驾驶车辆。

[0052] 当步骤S40的确定结果指示乘客不能驾驶车辆时，控制单元20可以 通过自主驾驶单元40将车辆停在侧安全道上。因此，在步骤S100中，即 使做出手动模式切换请求乘客也不能驾驶车辆时，控制单元20可以不将 车辆的控制权限切换至手动模式，但停止车辆以确保自主驾驶的稳定性。

[0053] 在步骤S40中，当确定乘客是否能够驾驶车辆时，控制单元20可以 推断每个座椅中乘客的年龄并且检查所推断乘客的年龄是否超过驾驶的 法定年龄。可替换地，控制单元20可以分析乘客通过捕获单元10提交的 驾驶证，并且根据乘客是否具有驾驶证确定乘客是否能够驾驶车辆。

[0054] 另一方面，在步骤S50中，当步骤S40的确定结果指示乘客的年龄超 过驾驶的法定年龄，或者由于乘客具有驾驶证，乘客能够驾驶车辆时，控 制单元20可以确定乘客是否坐在驾驶座中。

[0055] 当步骤S50的确定结果指示乘客未坐在驾驶座中时，在步骤S60中控 制单元20可以操作座椅移动单元50，以将可驾驶车辆的乘客的座椅移动 至驾驶座。

[0056] 另一方面，当步骤S50的确定结果指示乘客坐在驾驶座中时，在步骤 S70中，控制单元20可以基于通过深度学习获得的并且存储在存储单元 中的学习信息和权重由驾驶座的图像推断驾驶员是否抓握方向盘。

[0057] 在步骤S70中推断驾驶员抓握方向盘之后，在步骤S80中，控制单元 20可以检查驾驶员是否抓握方向盘。

[0058] 当步骤S80的检查结果指示驾驶员没有抓握方向盘时，在步骤S100 中控制单元20可以通过自主驾驶单元40将车辆停在侧安全道上。即，即 使输入手动模式切换请求并且停止车辆，控制单元20可以确定驾驶员没 有打算切换手动模式的控制权限。

[0059] 当步骤S80的检查结果指示驾驶员抓握方向盘时，在步骤S90中控制 单元20可以将车辆的控制权限切换至手动模式，使得驾驶员可手动驾驶 车辆。

[0060] 在将控制权限切换至手动模式之后，控制单元20可以通知驾驶员通 过输出单元60将车辆的控制权限切换至手动模式。

[0061] 另一方面，控制单元20可以通过输出单元60通知驾驶员保持自主模 式或者不能切换至手动模式。

[0062] 如上所述，当在自主车辆的自主模式期间请求切换到手动模式时，根 据本发明的实施方式的用于切换自主驾驶的控制权限的方法，可以确定乘 客是否可以通过基于深度学习推断乘客的存在和年龄来确定乘客是否能 够驾驶车辆。此外，方法可以推断驾驶员是否抓握方向盘，而不是仅将控 制权限切换至手动模式，而且当驾驶员不能驾驶车辆时停止车辆，从而稳 定地切换控制权限。

[0063] 尽管出于说明性目的公开了本发明的优选实施方式，然而，本领域技 术人员将认识到，在不背离在所附权利要求中限定的本发明的范围和精神 的前提下，各种变形、添加以及替换都是可以的。