用于确定手是否与车辆的手动转向元件协作的方法和装置

摘要

本发明涉及用于确定手是否与车辆的手动转向元件协作的方法和装置。一种计算机实现的方法，该方法用于确定关于车辆驾驶员的至少一只手是否与车辆的手动转向元件协作的信息，其中，该方法包括：借助于安装在车辆上的至少一个传感器拍摄至少一个图像，其中，该至少一个图像捕获车辆的至少一个手动转向元件；以及基于该至少一个图像，确定关于车辆驾驶员的至少一只手是否与该手动转向元件协作的信息。

权利要求

1.一种确定关于车辆驾驶员的至少一只手是否与车辆的手动转向元件协作的信息的计算机实现的方法，其中，所述方法包括以下步骤：

-借助于安装在所述车辆上的至少一个传感器(10)拍摄至少一个图像(18)，其中，所述至少一个图像(18)捕获所述车辆的至少一个手动转向元件(14)；以及-基于所述至少一个图像(18)，确定关于车辆驾驶员的至少一只手(24、24')是否与所述手动转向元件(14)协作的信息。

2.根据权利要求1所述的方法，

其中，所述至少一个图像(18)包括三维图像数据，尤其是其中，所述至少一个传感器(10)包括结构光摄像头、飞行时间摄像头、超声传感器、雷达传感器和/或激光雷达传感器。

3.根据权利要求1或2所述的方法，

其中，所述方法还包括以下步骤：

-检测所述图像(18)内的所述转向元件(14)；

-当所述图像(18)中包含所述至少一只手(24、24')时，检测所述图像(18)内的所述至少一只手(24、24')；

-确定所检测到的转向元件(14)与所检测到的至少一只手(24、24')之间的距离；以及-基于所述距离确定第一似然值(p1)，所述第一似然值(p1)指示所述至少一只手(24、

24')是否与所述转向元件(14)协作，其中，所述信息是根据所述第一似然值(p1)确定的。

4.根据权利要求3所述的方法，

其中，所检测到的转向元件(14)由所述转向元件(14)的模型(50)表示，所述模型(50)具有与所述车辆中的所述转向元件(14)的位置和/或方位相匹配的位置和/或方位，其中，所述模型(50)的所述位置和/或方位是借助于匹配算法确定的，所述匹配算法优选地是粒子滤波器和/或网格搜索算法。

5.根据权利要求3或4所述的方法，

其中，所检测到的至少一只手(24)由所述车辆内的所述至少一只手(24)的多个位置(42、44)表示，其中，所述位置(42、44)与所述至少一只手(24)的特征部分相关联。

6.根据权利要求5所述的方法，

其中，检测所述至少一只手(24、24')的步骤包括以下步骤：-通过将所述图像(18)与参考图像进行比较来确定所述图像(18)内的至少一个手区域，其中，所述手区域表示所述图像(18)的预期包含所述至少一只手(24、24)的部分；

-借助于分类器基于所述手区域确定所述至少一只手(24、24')；

-确定所述至少一只手(24、24')的所述多个位置(42、44)。

7.根据权利要求3至6中任一项所述的方法，

其中，确定所述距离的步骤包括以下步骤：

-确定所检测到的转向元件(14)与所检测到的至少一只手(24、24')之间的最小距离(d)；以及-根据所述最小距离和阈值(t)确定所述第一似然值(p1)。

8.根据前述权利要求中任一项所述的方法，

所述方法还包括以下步骤：

-检测所述图像(18)内的所述转向元件(14)；

-通过将所述图像(18)裁剪成所检测到的转向元件(14)的区域来确定所述图像(18)的转向元件部分(26)；

-借助于神经网络(30)，基于所述转向元件部分(26)确定第二似然值(p2)，所述第二似然值(p2)指示所述至少一只手(24、24')是否与所述转向元件(14)协作，其中，所述信息是根据所述第二似然值(p2)确定的。

9.根据前述权利要求中任一项所述的方法，

所述方法还包括以下步骤：

-当所述图像(18)内包含所述至少一只手(24、24')时，检测所述图像(18)内的所述至少一只手(24、24')；

-通过将所述图像(18)裁剪成所检测到的至少一只手(24、24')的区域来确定所述图像(18)的至少一个手部分(34、34')；

-借助于神经网络(38)，基于所述至少一个手部分(34、34')确定第三似然值(p3、p3')，所述第三似然值(p3、p3')指示所述至少一只手(24、24')是否与所述转向元件(14)协作，其中，所述信息是根据所述第三似然值(p3、p3')确定的。

10.根据前述权利要求中任一项所述的方法，

所述方法还包括以下步骤：

-借助于神经网络(46)，基于整个图像(18)确定第四似然值(p4)，所述第四似然值(p4)指示所述至少一只手(24、24')是否与所述转向元件(14)协作，其中，所述信息是根据所述第四似然值(p4)确定的。

11.根据前述权利要求中任一项所述的方法，

其中，确定所述信息的步骤包括以下步骤：

-确定多个似然值(p1、p2、p3、p4)，所述似然值(p1、p2、p3、p4)中的各个似然值指示所述至少一只手(24、24')是否与所述转向元件(14)协作；以及-借助于预定的融合规则对所述似然值(p1、p2、p3、p4)进行融合。

12.根据权利要求11所述的方法，

其中，借助于至少一个神经网络(30、38、46)，基于所述整个图像(18)和/或所述图像的部分(26、34、34')，确定所述似然值的第一部分(p1、p3、p3')，并且其中，基于表示所述转向元件(14)与所述至少一只手(24、24')之间的距离的至少一个差值来确定所述似然值的第二部分(p2)。

13.一种数据处理单元(16)，所述数据处理单元(16)用于确定关于车辆驾驶员的至少一只手(24、24')是否与车辆的手动转向元件(14)协作的信息，其中，所述数据处理单元(16)被配置成执行根据前述权利要求中任一项所述的方法。

14.一种具有权利要求13所述的数据处理单元的系统，其中，所述系统包括至少一个传感器(10)，所述至少一个传感器(10)被配置成拍摄至少一个图像(18)，所述至少一个图像(18)捕获车辆的至少一个转向元件(14)，其中，所述至少一个传感器(10)被配置成提供所述至少一个图像(18)的三维图像数据，尤其是其中，所述至少一个传感器(10)包括结构光摄像头、飞行时间摄像头、超声传感器、雷达传感器和/或激光雷达传感器。

15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括指令，所述指令在由处理单元(16)执行时，致使所述处理单元(16)执行根据权利要求1至12中任一项所述的方法。

说明书

用于确定手是否与车辆的手动转向元件协作的方法和装置

技术领域

[0001] 本发明涉及用于确定关于车辆驾驶员的至少一只手是否与车辆的手动转向元件协作的信息的方法。

背景技术

[0002] 在车辆自动化和高级驾驶员辅助系统(ADAS)的背景下，了解驾驶员的手是否在转向元件(例如，方向盘)上是关于驾驶员可用性的重要信息。例如，将手放在方向盘上是驾驶员正在控制车辆或可以在短时间内获得控制的强烈信号。

[0003] 市场上有基于方向盘内的传感器(例如，电容传感器或扭矩传感器)的几种解决方案。这样的系统能够检测触摸方向盘的人类的手或人类的手施加到方向盘的力，但是它们也可能被其它物体或身体部位所误导。

[0004] 需要改进对与车辆的转向元件协作的手的检测。

发明内容

[0005] 本公开提供了独立权利要求中规定的主题。在从属权利要求中阐述了有利的进一步发展和方面。

[0006] 现在，车辆可以配备有用于驾驶员监测或手势控制的摄像头。可以利用这样的摄像头来进行方向盘上的手检测的任务，或者通常进行转向元件上的手检测。这就是说，摄像头可以用于确定车辆驾驶员的手是否与转向元件(例如，方向盘等)协作。当手与元件协作时，手可以至少部分地与转向元件的一部分物理接触。手也可能紧邻转向元件的一部分。转向元件的该部分可以是预定的，例如，方向盘的外圈和/或圈内的支柱。

[0007] 通常，至少一只手与转向元件协作的状态包括：至少一只手触摸转向元件和/或紧邻转向元件，其中，“紧邻”意味着手与转向元件之间的距离被假定为低于阈值。所述状态还可以包括手被假定为操作转向元件或意图操作转向元件。

[0008] 根据一个方面，提供了一种计算机实现的方法，用于确定关于车辆驾驶员的至少一只手是否与车辆的手动转向元件协作的信息。该方法包括以下步骤：借助于安装在车辆上的至少一个传感器来拍摄至少一个图像，其中，该至少一个图像捕获车辆的至少一个手动转向元件；以及基于该至少一个图像，确定关于车辆驾驶员的至少一只手是否与该手动转向元件协作的信息。转向元件可以是方向盘等。其它可能的转向元件是车辆中的变速杆和其它控制或致动元件。

[0009] 该方法使得能够可靠且快速地确定期望的信息。优点是该信息尤其与手相关，而不与身体的其它部分相关。假设仅能借助于驾驶员的至少一只手来对车辆进行可靠的控制。结果，重点在手上。因此，该方法能够将手与其它身体部位(例如，腿、膝盖)或物体(例如，汽水罐、水壶、水果等可能与方向盘接触)区分开。与布置在方向盘内的电容传感器解决方案相比，这是一个强大的优势。尤其是，当方向盘与膝盖或其它身体部位或类似汽水罐、水果、书籍、报纸、杂志、电子设备(诸如，笔记本电脑和智能手机)的物体或者其它通常存在于车辆内的物体接触时，安装在方向盘内的传统触摸传感器通常给出假阳性结果。

[0010] 该方法基于处理一个或更多个图像。图像可以由一组像素形成，各个像素具有至少一个像素值。像素可以对应于光敏单元，但是它们不限于此。

[0011] 在一个实施方式中，至少一个图像包括三维(3D)图像数据。因此，至少一个传感器可以包括例如结构光摄像头、飞行时间摄像头、超声传感器、雷达传感器和/或激光雷达传感器。也可以使用用于获取三维图像数据的其它传感器，尤其是多个传感器，例如，立体传感器对。

[0012] 包括例如幅度(即，光强度)和/或深度(即，距离)信息的3D图像数据允许极大地改进关于获得期望的信息的可靠性，期望的信息可能是例如可能性，例如，指示至少一只手与转向元件协作的概率的概率值。该信息可以被提供成具有限定的比例的变量，例如，在零至一之间，这简化了对该变量的进一步处理。该变量也可以是离散的或甚至是二进制的，即，该变量可以只采用两个不同的值，例如，零和一。

[0013] 可以将该信息提供给车辆的处理单元，在处理单元中，可以对该信息进行处理，以便实现安全的自动车辆应用(例如，高级驾驶员辅助系统)，尤其是自主驾驶应用。

[0014] 通常，本文所公开的方法表示视觉方法，该视觉方法使得可以将对转向元件的实际抓握与转向元件和指尖的最小接触区分开。因此，所述信息可以包括有关手与转向元件之间的空间关系的分类数据。尤其是，可以提供手姿势分类。而且，可以提供统计信息，如将在下面变得更加明显的。

[0015] 与安装在转向元件上并因此需要与方向盘物理接触以实现它们的激活的传感器相比，基于视觉的方法可以被配置成当一只手或更多只手紧邻转向元件(这允许在非常短的时间内(例如，少于半秒)抓握转向元件)时生成输出信号。因此，手紧邻转向元件和/或准备抓握转向元件的状态也可以是与转向元件协作的类型。然而，可以另选地规定，仅将对转向元件的抓握检测成与转向元件协作。

[0016] 可以规定，仅检测其中一只手就足以确定期望的信息。然而也可以规定，借助于该方法对两只手都进行监测。监测两只手可以提高信息的整体可靠性。例如，该信息可以包括关于仅一只手还是两只手与转向元件协作的信息。

[0017] 在一个实施方式中，该方法还包括以下步骤：检测图像内的转向元件；(当图像中包含至少一只手时)检测图像内的至少一只手；确定所检测到的转向元件与所检测到的至少一只手之间的距离；以及基于该距离确定第一似然值，该第一似然值指示所述至少一只手是否与转向元件协作，其中，该信息是根据该第一似然值确定的或由该第一似然值形成的。似然值可以表示至少一只手是否与转向元件协作的概率。可以借助于从图像处理领域已知的一个或更多个检测算法来执行对图像内特定部分的检测。图像内的检测表示相应对象(即，至少一只手和转向元件)的定位。下面描述特定类型的检测。

[0018] 在另一实施方式中，所检测到的转向元件由转向元件的模型表示，该模型的位置和/或方位与车辆中的转向元件的位置和/或方位相匹配，其中，模型的位置和/或方位是借助于匹配算法确定的。匹配算法可以被配置成进化算法，尤其是可以利用模拟退火进行参数化的粒子滤波器。另选地或附加地，可以采用网格搜索算法，即，通过在预定搜索空间中的预定样本处评估成本函数来确定模型的位置和/或方位。回归算法的使用是另一另选方式。

[0019] 匹配算法可以包括以下步骤：为模型生成多个样本点，样本点中的每一个具有空间位置；针对样本点中的至少一些，确定至少一个图像的多个样本像素，样本像素中的每一个具有至少一个图像的相应像素值；基于样本像素(即，它们的像素值)计算评级函数；基于评级函数确定匹配的模型。要理解，所述至少一个图像包括多个像素，像素中的每一个具有相应的像素值。样本像素是形成至少一个图像的像素总数的子集。

[0020] 所述模型可以包括转向元件的几何模型。例如，模型或模型的外形可以由数学函数表示，该数学函数是非常紧凑的表示，并且因此与许多优点相关联。该模型还可以由有限数量的点表示，以便降低方法的复杂性。

[0021] 当转向元件由方向盘形成时，该转向元件的所述模型可以是例如圆环，尤其是椭圆圆环。为了估计其3D位置和方位(姿势)，可以通过常规网格搜索和/或粒子过滤器等的方法对可能的位置进行采样。如上所述，对于各个姿势样本，可以基于至少一个图像的像素值的特定部分来计算评级函数，这些像素可以基于所生成的样本点来选择。评级函数通常可以表示相应样本位置处的模型与图像之间的匹配。

[0022] 进一步考虑用于识别样本像素值的所述生成的样本点，样本点的第一组可以位于几何模型上，并且样本点的第二组可以位于几何模型之外，其中，差分像素值可以在第一组样本点与第二组样本点之间计算。这可以通过减去与样本点相关联的样本像素的像素值来完成。尤其是，可以通过从第二组的像素值中减去第一组的像素值来形成各个差分像素值，其中，两个像素值都与被定位在沿径向方向或相对于模型横向延伸的线上的一对样本像素相关联。可以基于差分像素值来计算评级函数，这使得能够以高准确度检测转向元件。

[0023] 在一个示例中，第一组的值可以是位于模型中心的样本点的深度(即距离)值。附加地或另选地，可以使用位于模型的外边缘上的图像点的深度值。第二组的值可以是位于模型外部的样本点的深度值。第一组中的一些点(例如，位于边缘上的点)的值可以是深度值的梯度，其中，这些梯度是根据由边缘检测滤波器(例如，Sobel边缘滤波器)对深度值的处理而得到的。示例性算法细节在下面进一步描述。

[0024] 根据一个方面，所检测到的至少一只手由该至少一只手的多个位置表示，其中，该位置与该至少一只手的特征部分相关联。该位置可以是基于图像数据确定的三维位置。在一个示例中，可以计算特征手点，例如，基于图像统计或通过使用通过机器学习训练的模型。该位置可以由表示手的中心和一个或更多个指尖的3D点形成。有限数量的位置的使用减少了用于检测到的手的数据量，并且还使得能够有效地提取关于手相对于转向元件的抓握姿势的信息。

[0025] 根据另一方面，检测至少一只手包括以下步骤：通过将图像与参考图像进行比较来确定图像内的至少一个手区域，其中，该手区域表示图像的预期包含至少一只手的部分；借助于分类器基于该手区域确定至少一只手；确定针对该至少一只手的多个位置。

[0026] 在一个示例中，通过前景-背景分割步骤来检测手。车辆的静态背景和驾驶员的不动部位可以由背景模型(即，参考图像)表示，该背景模型可以在运行时创建。因此，该背景模型可以包括静态场景。在运行时，将图像与背景模型进行比较，并识别出显著的改变(例如，高于噪声水平的信号)。然后可以分析前景图以创建潜在的手区域候选。然后可以使用手分类模块来拒绝不包含手的手区域，例如，通过使用基于机器学习的图像分类器(例如，卷积神经网络或级联分类器)。

[0027] 在另一示例中，可以训练卷积神经网络以基于至少一个输入图像来检测手区域(例如，作为边界框)，其中，该图像可以包括幅度和/或深度信息。一旦通过神经网络检测到手区域，就可以如上面进一步指示的计算出特征手点的3D坐标。

[0028] 在又一示例中，可以训练卷积神经网络以直接从输入图像中检测特征手点。在一个变型例中，可以训练神经网络以提供手周围的热图输出。从通常可以包括关于空间温度概率分布的信息的热图，可以得出特征2D点，例如，通过拟合高斯模型或对热图条目进行加权平均。该方法可以包括初始聚类步骤以及离群值移除步骤。可以从2D点和基础深度数据(如果图像包括这种数据)中得出深度坐标。

[0029] 如果传感器没有直接获取深度数据，则可以基于假设的手的大小来逼近深度数据。

[0030] 在另一示例中，可以训练深度神经网络以执行输入图像的语义分割，其中优选地，将图像的各个像素分配给具有最大似然值的多个类别中的相应一个类别，其中，这些类别中的至少一个对应于手类别。然后可以如以上结合前景-背景分割方法进一步描述的来对手像素的片段进行处理。

[0031] 确定所检测到的转向元件与所检测到的至少一只手之间的距离包括以下步骤：确定所检测到的至少一只手与所检测到的转向元件之间的最小距离；以及根据该最小距离和阈值确定第一似然值。

[0032] 该距离可以通过距离度量来确定，例如，欧几里得距离。还可以通过使用合适的距离度量(例如，使用马氏距离而不是欧几里得距离)来考虑方向盘位置和手位置的不确定性。

[0033] 可以通过首先计算检测到的手的点与转向元件之间的最小距离，并且然后选择这些距离中的最小值来确定最小距离。

[0034] 可以使用可能性映射函数将最小距离映射到似然值。结果值可以在例如0至1的范围中。在一只或两只手与转向元件之间的最小距离为d的情况下，似然值p可以通过以下公式p＝max(0,1-d/(2t))计算，其中，max()选择两个自变量中的最大一个，并且t是手被认为与转向元件协作的最大距离的阈值。

[0035] 在变型例中，可以使用阈值函数将最小距离映射到似然值，例如，如果到方向盘的最小距离低于阈值，则手被认为与转向元件协作。

[0036] 根据另一方面，该方法包括以下步骤：检测图像内的转向元件；通过将图像裁剪成所检测到的转向元件的区域来确定图像的转向元件部分；借助于神经网络基于该转向元件部分确定第二似然值，该第二似然值指示至少一只手是否与转向元件协作，其中，该信息是根据第二似然值确定的。

[0037] 用于确定第二似然值的所述神经网络可以是在被裁剪成转向元件的图像上训练的深度神经网络。检测到的转向元件的区域可以捕获整个转向元件以及一些可配置的余量(margin)。这样的优点是，转向元件始终在经裁剪的图像内的相似位置，这降低了输入到神经网络的数据的复杂性。另外，可以基于转向元件的3D位置来对经裁剪的图像的深度数据进行归一化。

[0038] 代替如此检测转向元件，可以规定裁剪固定图像部分，该部分大到足以在所有可能的位置和/或方位上包含转向元件以及转向元件的可配置的余量。

[0039] 该方法还可以包括以下步骤：当至少一只手(至少部分地)包含在图像内时，检测图像内的至少一只手；通过将图像裁剪成所检测到的至少一只手的区域来确定图像的至少一个手部分；借助于神经网络基于该至少一个手部分确定第三似然值，该第三似然值指示至少一只手是否与转向元件协作，其中，关于至少一只手是否与转向元件协作的信息是根据第三似然值确定的。

[0040] 根据另一方面，借助于神经网络基于整个图像可以确定第四似然值，该第四似然值指示至少一只手是否与转向元件协作，其中，该信息是根据第四似然值确定的。例如，可以在检测到的转向元件位置附近以可配置的余量在每个检测到的手周围裁剪图像区域。图像区域可以具有矩形形状。

[0041] 可以通过深度神经网络对裁剪的图像区域进行分类，其中，该网络可以是卷积神经网络。其输出可以是单个神经元，该单个神经元输出对应于手与转向元件协作的可能性的介于0至1之间的值。在另一个变型例中，可以提供多个输出神经元，该多个输出神经元输出各只手的可能性(例如，左手在方向盘上、右手在方向盘上)，或者输出手触摸方向盘的特定区域的可能性。

[0042] 可以使用实现上述变型例中的一个或更多个的一组神经网络，其中，优选地，各个网络被不同地训练(例如，在不同的数据集上或利用不同的参数)。

[0043] 尽管上面进一步描述了似然值中的一些，尤其是所述第一似然值、第二似然值、第三似然值和第四似然值以索引(第一、第二等)呈现，但是这仅是为了识别目的，并且不应从索引推断出其它含义，尤其是方法步骤没有顺序。另外，要强调的是，该方法也可以仅利用所述第一似然值、第二似然值、第三似然值和第四似然值中的一个似然值来执行。两个、三个和四个似然值的组合也是可能的。对于似然值中的一个似然值，可以确定两个版本，每只手一个。

[0044] 确定关于至少一只手是否与转向元件协作的信息的步骤可以包括以下步骤：确定多个似然值，所述似然值中的每一个指示至少一只手是否与转向元件协作；以及借助于预定的融合规则融合似然值。似然值可以包括所述第一似然值、第二似然值、第三似然值和第四似然值中的至少一个似然值。优选地，对至少两个似然值进行融合。

[0045] 融合规则通常可以被配置成在统计意义上增加融合的输出值的可靠性。这就是说，可以对似然值进行融合(例如，在数据融合模块中)以增加该方法的整体鲁棒性。融合规则可以基于“专家混合(mixture of experts)”方法(例如，参见Yuksel、Wilson和Gader(2012)：Twenty years of mixture of experts for an overview)。在一个示例中，概率乘法可以用作预定的融合规则。即是，其中，pi是似然值，i是索引，用于确定期望的信息的融合总似然值是p＝Πpi/(Πpi+Π(1-pi))，其中，Π表示所有i的乘法。该规则已被证明在当前任务上表现尤其好。关于至少一只手是否与转向元件协作的信息可以由融合的似然值形成。

[0046] 融合规则可以另选地被配置成计算各个似然值的加权平均。另一种可能是使用OR逻辑或AND逻辑来组合似然值。还一方法是使用分类器(例如，神经网络或SVM)，以基于各个似然值获得融合的输出。

[0047] 可以规定，对多于一只手进行检测并且可以针对每一只手确定似然值。为了融合的目的，然后可以规定将两个似然值中的最高的一个用于融合步骤。如果对于给定的车辆控制应用仅需要监测一只手是否与转向元件协作，这可能是足够的。

[0048] 融合的结果可以经由车辆的其它系统(尤其是需要期望的信息作为输入的系统)所使用的网络协议输出。然而，也可以实现分发信息的其它方式。

[0049] 本文所公开的方法可以单独使用，即，无需共享来自其它传感器的另外的信息。然而，该信息也可以与借助于基于经典触摸/压力/扭矩传感器的系统获取的信号融合，以便甚至进一步提高信息的整体可靠性。

[0050] 在一个实施方式中，借助于至少一个神经网络基于整个图像和/或其一部分来确定似然值的第一部分，并且其中，基于表示转向元件与至少一只手之间的距离的至少一个差值来确定似然值的第二部分。

[0051] 根据另一方面，提供了一种数据处理单元，该数据处理单元用于确定关于车辆驾驶员的至少一只手是否与车辆的手动转向元件协作的信息，其中，该处理单元被配置成执行根据本文所公开的实施方式中的一个的方法。该处理单元可以被配置成数据处理单元，并且可以包括至少一个存储单元和至少一个非暂时性数据存储器。该非暂时性数据存储器和/或存储单元可以包括计算机程序，该计算机程序用于指示计算机执行本文所描述的计算机实现的方法的几个或全部步骤或方面。

[0052] 根据另一方面，提供了一种具有所述数据处理单元的系统，其中，该系统包括至少一个传感器，该至少一个传感器被配置成拍摄至少一个图像，该至少一个图像捕获车辆的至少一个转向元件。该至少一个传感器可以被配置成提供至少一个图像的三维图像数据，尤其是其中，该至少一个传感器包括结构光摄像头、飞行时间摄像头、超声传感器、雷达传感器和/或激光雷达传感器。

[0053] 根据又一方面，提供了一种非暂时性计算机可读介质。该介质包括指令，该指令在由所述处理单元执行时，致使该处理单元执行根据本文所公开的实施方式中的一个的方法。该介质可以是车辆的一部分并连接到处理单元。计算机可读介质可以被配置成：诸如光盘(CD)或数字通用盘(DVD)的光学介质；诸如硬盘驱动器(HDD)的磁性介质；固态驱动器(SSD)；诸如闪速存储器的只读存储器(ROM)；等。此外，计算机可读介质可以被配置成经由诸如互联网连接的数据连接而能访问的数据存储器。计算机可读介质可以例如是在线数据存储库或云存储。

[0054] 要理解，结合该方法描述的特征可以在该装置以及该系统中实现，反之亦然。

附图说明

[0055] 在下面将参照以下示出的附图更详细地描述本公开的示例实施方式和功能：

[0056] 图1是用于确定关于车辆驾驶员的手是否与车辆的转向元件协作的信息的系统的示意图；

[0057] 图2a是用于确定关于车辆驾驶员的手是否与车辆的转向元件协作的信息的方法的示意概述图；

[0058] 图2b是图2a的方面的示意图；

[0059] 图3是表示图像中的转向元件的模型的示意图；以及

[0060] 图4是图3的模型的一部分的示意图。

[0061] 参考标号列表

[0062] 10 传感器

[0063] 12 视场

[0064] 14 方向盘

[0065] 16 处理单元

[0066] 18 图像

[0067] 20 融合

[0068] 22 方向盘定位

[0069] 22 手定位

[0070] 24、24' 手

[0071] 26 方向盘部分

[0072] 28 确定方向盘部分

[0073] 30 利用神经网络处理

[0074] 32 手定位

[0075] 34、34' 手部分

[0076] 36 确定手部分

[0077] 38 利用神经网络处理

[0078] 40 确定距离度量

[0079] 42 手的中心

[0080] 44 指尖

[0081] 46 利用神经网络处理

[0082] 50 椭圆圆环

[0083] 52 边缘

[0084] a、a1 圆环上的点

[0085] a2 圆环外的点

[0086] e1、e2 圆环边缘上的点

[0087] p1 第一似然值

[0088] p2 第二似然值

[0089] p3、p3' 第三似然值

[0090] p4 第四似然值

[0091] r 半径

具体实施方式

[0092] 在附图中，相同或对应的部分利用相同的附图标记指示。

[0093] 图1例示了用于执行用于确定关于车辆驾驶员的手是否与车辆的转向元件协作的信息的方法的系统的方面。传感器10安装在车辆(未示出)上，使得传感器10的视场12捕获车辆的方向盘14。传感器可以安装在车辆的乘客舱内部(未示出)，例如，在舱的顶的内部。传感器10可以是用于拍摄视场12的图像的摄像头。因此，由所述传感器10拍摄的图像中的每一个都包括方向盘14。优选地，传感器10被布置成使得方向盘14总是包含在由传感器10拍摄的图像中。因此，对方向盘柱的调整不会导致方向盘的位移超出视场12。

[0094] 传感器12连接到处理单元16，该处理单元16被配置成执行用于确定关于车辆驾驶员(未示出)的至少一只手是否与方向盘14协作的信息的计算机实现的方法。下面将对此进行更详细的描述。

[0095] 图2a示出了用于确定关于车辆驾驶员的手是否与车辆的转向元件协作的信息的方法的示意概述图。该方法开始于借助于传感器10拍摄图像18。然后借助于处理单元16对图像18进行处理，以便得出多个似然值p1、p2、p3和p4，这些似然值中的每一个表示车辆驾驶员的至少一只手与方向盘14协作的概率。然后似然值p1、p2、p3和p4经历融合步骤20，这将在下面进一步解决。

[0096] 在该方法的一方面，在步骤22中，在图像18内检测方向盘14。在图2b中，图像18被示意性地示出有车辆驾驶员的两只手24、24'，其中，其中一只手24被定位成紧邻方向盘14，而另一只手24'正抓握方向盘14。参见图2a和图2b，然后，基于检测到的方向盘14，在步骤28中，通过将图像18裁剪成包括方向盘14周围的余量的方向盘14来确定图像部分26。然后在步骤30中，通过神经网络对该方向盘部分26进行进一步处理，以便获得似然值p1。

[0097] 在该方法的另一方面，在步骤32中，检测到车辆驾驶员的一只或更多只手24、24'。然后在步骤36中，通过将图像18裁剪成手24、24'来确定手部分34、34'。然后借助于另一个神经网络步骤38来对所述手部分34、34'中的每一个进行处理。输出是针对图像部分34、34'中的每一个的似然值p3、p3'。

[0098] 在该方法的另一方面，在步骤40中，确定至少一个距离度量。在一个示例中，针对检测到的手24、24'中的各只手确定多个3D位置，其中，该3D位置可以例如是如图2b所示的中心位置42和指尖位置44。针对位置42、44中的每一个，评估到方向盘14的距离。然后将位置42、44与方向盘14之间的最小距离映射到似然值p2。

[0099] 该方法的另一方面是，在步骤46中，借助于另一神经网络来对整个图像18进行处理，以便获得似然值p4。

[0100] 方法步骤的进一步细节在下面描述。

[0101] 鉴于步骤22，方向盘14可以通过使用粒子滤波器方法在图像18内定位。尤其是，可以基于图像18的幅度和深度数据来确定方向盘14的3D位置和方位，其中，传感器10可以是安装在车辆内部的飞行时间摄像头。这就是说，图像18包括三维图像数据。另选地，可以使用2D图像数据。

[0102] 作为定位方向盘14的初始步骤，在预限定的搜索空间内，随机地均匀地(或根据以方向盘14的最后已知位置或以方向盘14的可能位置范围的中心为中心的正态分布)抽取针对方向盘14的位置和方位的固定数量的样本。在第一次迭代中，针对样本中的每一个计算评级函数，其中，评级函数量化样本与图像深度值的一致性(即，匹配度)。这可以通过针对模型(即，方向盘14的椭圆圆环模型50(参见图3))生成样本点来完成，该圆环模型50被根据样本定位。然后，识别图像的对应样本像素，并基于样本像素的像素值计算评级函数。该步骤的更多细节将在下面进一步解决。

[0103] 对于下一次迭代，以与第一次迭代的样本的评级函数的值成比例的概率从第一次迭代的样本中抽取新样本。通过将新样本中的每一个或至少一些的位置和方位加上小的随机值来对其稍作修改。这些随机值是从具有针对位置和方位的各个尺寸单独设置的标准偏差的高斯分布中选择的，该标准偏差与该尺寸内的搜索空间的大小成比例。优选地，强制新样本停留在搜索空间内。

[0104] 对于下一次迭代的重新抽取的样本中的每个样本，基于图像18的深度值再次计算评级函数。以相同的方式迭代地重复该过程，并且各次迭代时，所添加的随机值的标准偏差逐渐地减小，直到它们达到其初始值的十分之一为止(模拟退火)。这有效地致使样本集中在圆环模型50看起来很好地适合于图像18的那些位置和方位周围。为了更加关注最佳结果，新样本中的百分之一并不是随机抽取的，而是根据最后一次迭代的最佳结果形成的。在此，添加的随机值仅具有常规标准偏差的百分之一。另外(或另选地)，可以将样本设置成固定值，这些固定值以规则间隔或随机均匀地覆盖整个搜索空间。

[0105] 方向盘位置常常可以由驾驶员更改。因此，方向盘14相对于第一传感器10有一定范围的可能的位置和方位。可以考虑有关该范围的知识以进一步限制搜索空间。

[0106] 下面进一步描述圆环模型50和评级函数的细节。

[0107] 图像18的深度值(深度值形成深度图像)被固定到预定范围，并且然后随时间推移被滤波，以降低噪声。可以基于在后续时刻拍摄的图像的序列来执行滤波。向经滤波的图像施加Sobel边缘滤波器。所得的边缘图像被固定，以减少离群值的效应并且避免与缓和边缘相比非常陡的边缘被过度评估。使用方向盘14的深度图像、边缘图像和模型来计算针对采样的方向盘位置和方位的评级函数。

[0108] 如以上还进一步指示的，模型优选地是图3的椭圆圆环50，即，由在3D空间中与椭圆有一定距离r的所有点组成的表面。椭圆的长轴和短轴的长度以及半径r是固定的，并且被设置成近似于实际方向盘14的外圈形状的值(这是事先已知的)。要理解，圆环50是定位在三维空间中的三维几何模型，尽管图3仅示出了二维的圆环50。

[0109] 对于模型50的给定样本(位置和方位)，出于针对相应样本评估评级函数的目的，确定多个点(即，样本点)。点中的每一个都与深度值相关联。由于模型50的位置和方位，模型50的形状取决于传感器10的视角。这种形状的一个示例由图3的圆环50例示。

[0110] 从跨圆环50的3D椭圆中采样固定数量的点a(参见图3)。对于这些点a中的每一个或至少一些，通过减去椭圆的直接邻域来逼近椭圆的局部方向。对于点a的给定样本点a1，参见示出了图3的圆环50的一部分的图4，从传感器10的角度看，确定了位于圆环50的边缘52上的两个点e1和e2。从a1到边缘52的方向通过椭圆的局部方向与从传感器10位置到a1的方向的向量叉积给出。通过沿着该方向(从a1开始)在两个方向上移动圆环半径r的距离，获得到两个边缘点e1和e2。沿着该方向在背离椭圆中心的方向上前进超过r，计算出圆环外的点a2。

[0111] 对于圆环50的给定样本位置和方位，利用所述样本点a的相应的边缘点e1、e2和圆环50外的点a2来计算所述样本点a的3D位置，如在图4中针对点a1以示例性方式示出的。然后，使用预定的变换规则将点中的所有点或至少一些点从3D坐标投影到深度图像的像素坐标。变换规则可以是基于传感器10的本征参数，即，有关传感器10的视场中的3D点之间的空间关系的先验知识，并且所得的图像18的像素信息可以是可用的。

[0112] 使用深度图像，对于模型50上的各个点(即，点a、a1)及其在模型50外的对应点(a2)，将它们的深度值相减，即，a2-a1。所得的深度差可被固定到预限定的范围的值，例如，在0至固定值之间的范围，以便防止不可信的深度差的过强影响。这是因为可以假设，除了可能地驾驶员的手24、24'和手臂之外，方向盘14比方向盘14周围的背景更靠近传感器10。

[0113] 评级函数可以有两个分量：(i)所有样本点的深度差(即，对于所有a，a2-a1)之和；以及(ii)所有样本位置的边缘图像的边缘值之和(即，对于所有a，e1+e2)。然后，可以向两个分量都添加权重。可以对结果进行归一化并进行指数函数处理，以便获得针对相应样本位置(即，模型50的样本位置和方位)的评级函数的最终结果。

[0114] 对于模型50的可能样本位置中的至少一些，如上所述地计算评级函数。然后，将评级函数的不同结果进行比较，以便定位方向盘14。例如，可以选择不同结果中的最大值，并且模型50的相应位置和方位是方向盘14的位置。另选地，可确定不同结果或其具有高评级(高于阈值)的子集的加权或未加权平均值，并且使用该加权或未加权平均值来确定与方向盘14匹配的模型50的位置和方位。要理解，还可按以下方式用公式表示评级函数：评级函数的不同结果中的最小值指示方向盘14的位置。

[0115] 在步骤20中，通过应用融合规则，可以对各个似然值p1、p2、p3和p4进行融合。融合规则可以被配置成基于各个似然值p1、p2、p3和p4输出融合的似然值p，其中，该融合的似然值是关于手24、24'中的一只或两只是否与方向盘14协作的信息。融合规则可以包括一个公式，该公式可以表示成：p＝Πpi/(Πpi+Π(1-pi))，其中，pi是各个似然值(i＝{1，2，3，4})，并且Π表示所有i的乘积。