自动驾驶车辆控制方法及系统、自动驾驶车辆及视觉假体

摘要

本发明提供一种基于视觉假体的自动驾驶车辆控制方法及系统、自动驾驶车辆和视觉假体，该方法包括：接收由视觉假体发送的眼球控制信息，其中，所述眼球控制信息的生成步骤包括：通过视觉假体检测用户眼球运动信号，并由视觉假体基于所述用户眼球运动信号提取眼球轨迹信息，将所述眼球轨迹信息与预设运动轨迹进行匹配判断；在所述眼球轨迹信息与预设运动轨迹匹配时，将所述眼球轨迹信息作为眼球控制信息；将所述眼球控制信息转换为对应的控制指令，并基于所述控制指令执行对应操作。本发明可实现盲人通过视觉假体控制自动驾驶车辆，提升自动驾驶车辆以及视觉假体的智能性，尤其适用于盲人在特定场景下的智能驾驶。

权利要求

1.一种基于视觉假体的自动驾驶车辆控制方法，其特征在于，所述基于视觉假体的自动驾驶车辆控制方法包括以下步骤：接收由视觉假体发送的眼球控制信息，其中，所述眼球控制信息的生成步骤包括：通过视觉假体检测用户眼球运动信号，并由视觉假体基于所述用户眼球运动信号提取眼球轨迹信息，将所述眼球轨迹信息与预设运动轨迹进行匹配判断；在所述眼球轨迹信息与预设运动轨迹匹配时，将所述眼球轨迹信息作为眼球控制信息；

将所述眼球控制信息转换为对应的控制指令，并基于所述控制指令执行对应操作。

2.如权利要求1所述的基于视觉假体的自动驾驶车辆控制方法，其特征在于，所述通过视觉假体检测用户眼球运动信号的步骤之前包括：确定车辆当前所处的驾驶模式级别；

所述将所述眼球控制信息转换为对应的控制指令，并基于所述控制指令执行对应操作的步骤包括：在车辆处于其中一个级别的自动驾驶模式下时，根据预置的视野指令生成规则和所述眼球控制信息生成对应的目标视野指令；

基于所述目标视野指令调整视野摄像头的拍摄角度。

3.如权利要求2所述的基于视觉假体的自动驾驶车辆控制方法，其特征在于，所述根据预置的视野指令生成规则和所述眼球控制信息生成对应的目标视野指令；基于所述目标视野指令调整视野摄像头的拍摄角度的步骤包括：接收到视觉假体发送的头部动作信息；

根据所述头部动作信息和所述眼球控制信息计算视野摄像头拍摄角度的目标变化轨迹；

根据所述目标变化轨迹调整所述视野摄像头的拍摄角度。

4.如权利要求3所述的基于视觉假体的自动驾驶车辆控制方法，其特征在于，所述根据所述头部动作信息和所述眼球控制信息计算视野摄像头拍摄角度的目标变化轨迹的步骤包括：解析所述头部动作信息，获得眼部运动方向和眼部运动幅度；

解析所述眼球控制信息，获得眼球运动方向和眼球运动幅度；

基于所述眼部运动方向和眼部运动幅度、眼球运动方向和眼球运动幅度，确定用户的视野焦点的变化方向与变化幅度，将所述视野焦点的变化方向与变化幅度作为所述视野摄像头拍摄角度的目标变化轨迹。

5.如权利要求2所述的基于视觉假体的自动驾驶车辆控制方法，其特征在于，所述将所述眼球控制信息转换为对应的控制指令，并基于所述控制指令执行对应操作的步骤包括：在车辆处于其中另一个级别的自动驾驶模式下时，查询预置的驾驶指令列表，获得所述眼球控制信息对应的目标驾驶指令，基于所述目标驾驶指令控制车辆执行对应的驾驶操作。

6.如权利要求5所述的基于视觉假体的自动驾驶车辆控制方法，其特征在于，所述获得所述眼球控制信息对应的目标驾驶指令的步骤之后包括：根据所述目标驾驶指令和车辆当前位置计算车辆的预计行驶区域；

获取所述预计行驶区域上的路况图像，对所述路况图像进行物体识别，判断所述预计行驶区域上是否存在障碍物；

若所述预计行驶区域上存在障碍物，则输出异常警告 。

7.如权利要求2所述的基于视觉假体的自动驾驶车辆控制方法，其特征在于，所述基于视觉假体的自动驾驶车辆控制方法还包括：在车辆处于其中另一个级别的自动驾驶模式下时，检测到车辆行驶方向上预设距离处具有预设数目的可行道路，输出方向询问提示，其中，所述预设数目大于或等于二；

获取当前最新的眼球控制信息，根据所述最新的眼球控制信息确定目标道路，并向所述目标道路的方向行驶；

控制车辆向所述目标方向行驶。

8.一种自动驾驶车辆，其特征在于，所述自动驾驶车辆包括车控中心、视野摄像头、存储器以及存储于所述存储器并可被所述车控中心执行的基于视觉假体的自动驾驶车辆控制程序，所述基于视觉假体的自动驾驶车辆控制程序被所述车控中心执行时实现如权利要求1至7中任一项所述的基于视觉假体的自动驾驶车辆控制方法的步骤。

9.一种视觉假体，其特征在于，所述视觉假体包括无线连接的体内装置和体外装置；所述视觉假体上还存储基于视觉假体的自动驾驶车辆控制程序，所述基于视觉假体的自动驾驶车辆控制程序被所述视觉假体执行时实现如下步骤：检测用户眼球运动信号，并由视觉假体基于所述用户眼球运动信号提取眼球轨迹信息，将所述眼球轨迹信息与预设运动轨迹进行匹配判断；在所述眼球轨迹信息与预设运动轨迹匹配时，将所述眼球轨迹信息作为眼球控制信息，并将所述眼球控制信息发送至如权利要求8所述的自动驾驶车辆。

10.一种基于视觉假体的自动驾驶车辆控制系统，其特征在于，所述自动驾驶车辆控制系统包括如权利要求8所述的自动驾驶车辆以及与所述自动驾驶车辆有线或无线连接的视觉假体；

所述视觉假体，用于检测用户眼球运动信号，并由视觉假体基于所述用户眼球运动信号提取眼球轨迹信息，将所述眼球轨迹信息与预设运动轨迹进行匹配判断；在所述眼球轨迹信息与预设运动轨迹匹配时，将所述眼球轨迹信息作为眼球控制信息，并将所述眼球控制信息发送至车辆；

所述自动驾驶车辆，用于接收由视觉假体发送的眼球控制信息，并将所述眼球控制信息转换为对应的控制指令，并基于所述控制指令执行对应操作。

说明书

自动驾驶车辆控制方法及系统、自动驾驶车辆及视觉假体

技术领域

[0001] 本发明涉及自动驾驶技术领域，尤其涉及一种基于视觉假体的自动驾驶车辆控制方法及系统、自动驾驶车辆和视觉假体。

背景技术

[0002] 自动驾驶技术对于盲人群体而言是满足盲人车辆驾驶愿望的桥梁，有利于盲人独自出行，提升盲人的独立生活能力。

[0003] 然而在车辆自动驾驶时，可能遭遇突发状况需要乘车人干预驾驶，现有的自动驾驶控制系统无法支持盲人的干预驾驶，智能性较低。

发明内容

[0004] 本发明的主要目的在于提供一种基于视觉假体的自动驾驶车辆控制方法，旨在解决现有自动驾驶控制系统无法支持盲人的干预驾驶、智能性较低的技术问题。

[0005] 为实现上述目的，本发明提供一种基于视觉假体的自动驾驶车辆控制方法，所述基于视觉假体的自动驾驶车辆控制方法包括以下步骤：

[0006] 接收由视觉假体发送的眼球控制信息，其中，所述眼球控制信息的生成步骤包括：通过视觉假体检测用户眼球运动信号，并由视觉假体基于所述用户眼球运动信号提取眼球轨迹信息，将所述眼球轨迹信息与预设运动轨迹进行匹配判断；在所述眼球轨迹信息与预设运动轨迹匹配时，将所述眼球轨迹信息作为眼球控制信息；

[0007] 将所述眼球控制信息转换为对应的控制指令，并基于所述控制指令执行对应操作。

[0008] 可选地，所述通过视觉假体检测用户眼球运动信号的步骤之前包括：

[0009] 确定车辆当前所处的驾驶模式级别；

[0010] 所述将所述眼球控制信息转换为对应的控制指令，并基于所述控制指令执行对应操作的步骤包括：

[0011] 在车辆处于一级自动驾驶模式下，根据预置的视野指令生成规则和所述眼球控制信息生成对应的目标视野指令；

[0012] 基于所述目标视野指令调整视野摄像头的拍摄角度。

[0013] 可选地，所述根据预置的视野指令生成规则和所述眼球控制信息生成对应的目标视野指令；基于所述目标视野指令调整视野摄像头的拍摄角度的步骤包括：

[0014] 接收到视觉假体发送的头部动作信息；

[0015] 根据所述头部动作信息和所述眼球控制信息计算视野摄像头拍摄角度的目标变化轨迹；

[0016] 根据所述目标变化轨迹调整所述视野摄像头的拍摄角度。

[0017] 可选地，所述根据所述头部动作信息和所述眼球控制信息计算视野摄像头拍摄角度的目标变化轨迹的步骤包括：

[0018] 解析所述头部动作信息，获得眼部运动方向和眼部运动幅度；

[0019] 解析所述眼球控制信息，获得眼球运动方向和眼球运动幅度；

[0020] 基于所述眼部运动方向和眼部运动幅度、眼球运动方向和眼球运动幅度，确定用户的视野焦点的变化方向与变化幅度，将所述视野焦点的变化方向与变化幅度作为所述视野摄像头拍摄角度的目标变化轨迹。

[0021] 可选地，所述将所述眼球控制信息转换为对应的控制指令，并基于所述控制指令执行对应操作的步骤包括：

[0022] 在车辆处于二级自动驾驶模式下，查询预置的驾驶指令列表，获得所述眼球控制信息对应的目标驾驶指令，基于所述目标驾驶指令控制车辆执行对应的驾驶操作。

[0023] 可选地，所述获得所述眼球控制信息对应的目标驾驶指令的步骤之后包括：

[0024] 根据所述目标驾驶指令和车辆当前位置计算车辆的预计行驶区域；

[0025] 获取所述预计行驶区域上的路况图像，对所述路况图像进行物体识别，判断所述预计行驶区域上是否存在障碍物；

[0026] 若所述预计行驶区域上存在障碍物，则输出异常警告。

[0027] 可选地，所述基于视觉假体的自动驾驶车辆控制方法还包括：

[0028] 在车辆处于二级自动驾驶模式下，检测到车辆行驶方向上预设距离处具有预设数目的可行道路，输出方向询问提示，其中，所述预设数目大于或等于二；

[0029] 获取当前最新的眼球控制信息，根据所述最新的眼球控制信息确定目标道路，并向所述目标道路的方向行驶；

[0030] 控制车辆向所述目标方向行驶。

[0031] 为实现上述目的，本发明还提供一种自动驾驶车辆，所述自动驾驶车辆包括车控中心、视野摄像头、存储器以及存储于所述存储器并可被所述车控中心执行的基于视觉假体的自动驾驶车辆控制程序，所述基于视觉假体的自动驾驶车辆控制程序被所述车控中心执行时实现如上所述的基于视觉假体的自动驾驶车辆控制方法的步骤。

[0032] 为实现上述目的，本发明还提供一种视觉假体，所述视觉假体包括无线连接的体内装置和体外装置；所述视觉假体上还存储基于视觉假体的自动驾驶车辆控制程序，所述基于视觉假体的自动驾驶车辆控制程序被所述视觉假体执行时实现如下步骤：

[0033] 检测用户眼球运动信号，并由视觉假体基于所述用户眼球运动信号提取眼球轨迹信息，将所述眼球轨迹信息与预设运动轨迹进行匹配判断；在所述眼球轨迹信息与预设运动轨迹匹配时，将所述眼球轨迹信息作为眼球控制信息，并将所述眼球控制信息发送至如上所述的自动驾驶车辆。

[0034] 此外，为实现上述目的，本发明还提供一种基于视觉假体的自动驾驶车辆控制系统，所述基于视觉假体的自动驾驶车辆控制系统包括如上所述的自动驾驶车辆以及与所述自动驾驶车辆有线或无线连接的视觉假体；所述视觉假体，用于检测用户眼球运动信号，并由视觉假体基于所述用户眼球运动信号提取眼球轨迹信息，将所述眼球轨迹信息与预设运动轨迹进行匹配判断；在所述眼球轨迹信息与预设运动轨迹匹配时，将所述眼球轨迹信息作为眼球控制信息，并将所述眼球控制信息发送至车辆；所述自动驾驶车辆，用于接收由视觉假体发送的眼球控制信息，并将所述眼球控制信息转换为对应的控制指令，并基于所述控制指令执行对应操作。

[0035] 本发明实施例通过视觉假体与车辆的信息交互，将视觉假体发送到的眼球控制信息与控制指令对应，并基于控制指令对车辆进行控制，进而使得用户可通过视觉假体实现对车辆的控制，实现对自动驾驶车辆异常情况的及时发现和及时控制，提升视觉假体与车辆的智能性，也提升车辆控制的用户友好度，尤其适用于盲人在特定场景下的智能驾驶。

附图说明

[0036] 图1是本发明实施例方案的硬件运行环境的自动驾驶车辆结构示意图；

[0037] 图2是本发明视觉假体的一实施例示意图；

[0038] 图3是本发明基于视觉假体的自动驾驶车辆控制系统的一实施例示意图；

[0039] 图4是本发明基于视觉假体的自动驾驶车辆控制系统的另一实施例示意图；

[0040] 图5为本发明基于视觉假体的自动驾驶车辆控制方法一实施例的流程示意图。

[0041] 本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

[0042] 应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

[0043] 请参见图1，图1为本发明所提供的自动驾驶车辆的结构示意图。

[0044] 自动驾驶车辆10可以包括：车控中心101、视野摄像头102以及存储器103等部件。在自动驾驶车辆10中，车控中心101与存储器103连接，存储器103上存储有基于视觉假体的自动驾驶车辆控制程序，车控中心101可以调用存储器103中存储的基于视觉假体的自动驾驶车辆控制程序，并实现如下述基于视觉假体的自动驾驶车辆控制方法各实施例的步骤。
应注意的是，本发明权利要求书中以及下述各实施例中的“车辆”为自动驾驶车辆的简称。

[0045] 存储器103，可用于存储软件程序以及各种数据。存储器103可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如基于视觉假体的自动驾驶车辆控制程序)等；存储数据区可包括数据库等。车控中心101，是自动驾驶车辆10的控制中心，利用各种接口和线路连接整个自动驾驶车辆10的各个部分，通过运行或执行存储在存储器103内的软件程序和/或模块，以及调用存储在存储器103内的数据，执行自动驾驶车辆10的各种功能和处理数据，从而对自动驾驶车辆10进行整体控制。

[0046] 视野摄像头102，用于采集自动驾驶车辆外的图像，并将采集的图像发送至自动驾驶车辆；还可接收自动驾驶车辆的控制指令，并根据控制指令调整拍摄。在自动驾驶车辆与视觉假体连接后，自动驾驶车辆将视野摄像头102采集的图像传输到视觉假体，使得盲人用户可看到对应图像。其中，视野摄像头102通过可旋转连接件与车辆基座旋转连接，可通过旋转视野摄像头102与基座间的可旋转连接件转换视野摄像头102的拍摄角度。

[0047] 进一步地，本发明还提供一种视觉假体，包括无线连接的体内装置和体外装置；视觉假体上还存储基于视觉假体的自动驾驶车辆控制程序，所述基于视觉假体的自动驾驶车辆控制程序被视觉假体执行时实现如下步骤：

[0048] 检测用户眼球运动信号，并由视觉假体基于所述用户眼球运动信号提取眼球轨迹信息，将所述眼球轨迹信息与预设运动轨迹进行匹配判断；在所述眼球轨迹信息与预设运动轨迹匹配时，将所述眼球轨迹信息作为眼球控制信息，并将所述眼球控制信息发送至如上所述自动驾驶车辆。

[0049] 如图2为本发明视觉假体的一实施例示意图。

[0050] 在图2所示的视觉假体20中，包括体外装置21和体内装置22；

[0051] 体外装置21包括依次连接的图像采集模块211、图像处理模块212、数据编码模块213以及第一通信模块214；体内装置22包括依次连接的第二通信模块221、滤波器与放大器
222、数据解码模块223、微控制器224以及微电极驱动模块225；体外装置21与体内装置22通过第一通信模块214和第二通信模块221进行数据通信，第一通信模块214和第二通信模块
221可以为无线射频模块，通过无线射频信号进行连接通信。

[0052] 其中，图像采集模块211可以为CCD摄像机，用于捕获视频图像，并将图像信号发送至图像处理模块212，由图像处理模块212将图像信号转换为视觉假体微电极阵列的电刺激信息，并由数据编码模块213将电刺激信息进行编码后通过第一通信模块214发送至体内装置22中第二通信模块221，第二通信模块221将接收到的电刺激信息发送至滤波器与放大器222进行信号放大和滤波处理，将滤波处理后的电刺激信息发送至数据解码模块223进行数据解码，再由微控制器224以及微电极驱动模块225根据解码后的电刺激信息驱动视神经产生视幻觉。

[0053] 可选地，在视觉假体中安装感应器用于感应用户眼球运动，并采集用户眼球运动信号，感应器可以是电极感应器，电极感应器可以为4个以上，通过电极检测控制眼球运动的肌肉发出的微小电脉冲，采集眼球运动信号，由视觉假体的图像处理模块212或滤波器与放大器222对眼球运动信号进行放大及滤波消噪处理。可选地，在视觉假体中还安装用于感应用户头部运动的感应器，可以为加速度传感器和陀螺仪。

[0054] 进一步地，本发明还提供基于视觉假体的自动驾驶车辆控制系统，所述自动驾驶车辆控制系统包括如上所述的自动驾驶车辆以及与所述自动驾驶车辆有线或无线连接的视觉假体；

[0055] 所述视觉假体，用于检测用户眼球运动信号，并由视觉假体基于所述用户眼球运动信号提取眼球轨迹信息，将所述眼球轨迹信息与预设运动轨迹进行匹配判断；在所述眼球轨迹信息与预设运动轨迹匹配时，将所述眼球轨迹信息作为眼球控制信息，并将所述眼球控制信息发送至车辆；

[0056] 所述自动驾驶车辆，用于接收由视觉假体发送的眼球控制信息，并将所述眼球控制信息转换为对应的控制指令，并基于所述控制指令执行对应操作。

[0057] 如图3所示为本发明基于视觉假体的自动驾驶车辆控制系统的一实施例示意图。

[0058] 在本实施例中，自动驾驶车辆10与视觉假体20的体外装置21相连接，具体地，自动驾驶车辆10可与体外装置21的图像处理模块212有线连接，或者也可与体外装置21的第一通信模块214无线连接，间接与图像处理模块212等连接；在前述两种连接方式中，自动驾驶车辆10将视野摄像头201采集的图像发送至体外装置，由体外装置对图像进行图像处理、刺激参数计算编码等处理后传输至体内装置22。

[0059] 如图4所示为本发明基于视觉假体的自动驾驶车辆控制系统的另一实施例示意图。

[0060] 在本实施例中，自动驾驶车辆10与视觉假体20的体内装置22相连接，可与第二通信模块221无线连接，在这种连接方式中，自动驾驶车辆10将视野摄像头201采集的图像进行图像处理、刺激参数计算编码等处理后直接发送至体内装置22。

[0061] 本领域技术人员可以理解，图1中示出的自动驾驶车辆结构并不构成对自动驾驶车辆的限定，图2示出的视觉假体结构并不构成对视觉假体的限定，图3或图4示出的基于视觉假体的自动驾驶车辆控制系统，也不构成对该控制系统的限定，可以包括比图示更多或更少的部件/模块，或者不同的部件布置/模块。

[0062] 基于上述相关设备及系统，提出下述本发明基于视觉假体的自动驾驶车辆控制方法各实施例，其中，“用户”指视觉假体的使用者。

[0063] 本发明提供一种基于视觉假体的自动驾驶车辆控制方法。

[0064] 参照图5，图5为本发明基于视觉假体的自动驾驶车辆控制方法第一实施例的流程示意图。本实施例中，本发明基于视觉假体的自动驾驶车辆控制方法包括以下步骤：

[0065] 步骤S10，接收由视觉假体发送的眼球控制信息，其中，所述眼球控制信息的生成步骤包括：通过视觉假体检测用户眼球运动信号，并由视觉假体基于所述用户眼球运动信号提取眼球轨迹信息，将所述眼球轨迹信息与预设运动轨迹进行匹配判断；在所述眼球轨迹信息与预设运动轨迹匹配时，将所述眼球轨迹信息作为眼球控制信息；

[0066] 执行本实施例的步骤S10之前包括视觉假体与车辆的连接步骤，视觉假体与车辆可以有线或无线连接；在视觉假体以及车辆检测到互相连接时各自进行车辆控制预备操作。车辆控制预备操作具体包括：

[0067] (1)视觉假体：视觉假体在检测到与车辆连接后，可直接启动感应器模块，感应用户眼球运动，并采集用户眼球运动信号，其中，感应器模块，可以是电极感应器，通过电极检测控制眼球运动的肌肉发出的微小电脉冲，采集眼球运动信号；也可在检测到与车辆连接后，检测是否接收到眼球感应指令，在检测到眼球感应指令后，才触发启动感应器模块，其中，眼球运动感应指令可由用户按键输入操作或语音输入操作触发。

[0068] (2)车辆：车辆在检测到与视觉假体连接后，可获取视野摄像头拍摄的图像，并将该图像传输给视觉假体，使得用户可通过视觉假体看到车辆外的路况。视野摄像头可以为一个或多个摄像头，视野摄像头用于采集车辆外的图像，因而视野摄像头可安装在车辆任意可拍摄到车辆外景的位置，例如，安装在车辆上方位置或车辆前后左右的位置。视野摄像机采集外界图像后，通过数模转换芯片，基于采集的图像生成模拟信号，模拟信号由视频解码芯片解码成图像码流，并将图像码流传送到车控中心。

[0069] 在视野摄像头为多个时，从多个视野摄像头中预置主摄像头，将主摄像头作为视觉假体的当前镜头，将主摄像头拍摄的图像发送到视觉假体。可选地，根据用户在视觉假体上或车辆上的输入操作，可将镜头切换至其他视野摄像头，即将其他视野摄像头拍摄的图像发送到视觉假体，例如，预置主摄像头为车辆前方摄像头，初始传输到视觉假体的图像为前方摄像头拍摄的图像，检测到用户操作触发的摄像头切换指令，根据该摄像头切换指令获取用户期望切换到的目标摄像头，将视觉假体的当前镜头切换到目标摄像头，将目标摄像头拍摄的图像传输到视觉假体。

[0070] 在一实施方式中，车辆将从视野摄像头获得的图像(后文称“第一图像”)直接传输至视觉假体的体外装置，由体外装置对第一图像进行图像预处理，并计算生成对应的刺激参数，将刺激参数编码后发送至体内装置，以刺激用户产生第一图像对应的视觉；在另一实施方式中，车辆将从视野摄像头获得的第一图像进行图像预处理，并计算生成对应的刺激参数，可通过体外装置将刺激参数传输至体内装置，也可以直接将刺激参数无线传输至体内装置，以刺激用户产生第一图像对应的视觉；在又一实施方式中，车辆将从视野摄像头获得的第一图像进行图像预处理，将预处理后得到的图像发送至体外装置，由体外装置进行刺激参数的编码。

[0071] 在上述实施方式中，体外装置/车控中心对第一图像进行图像预处理，并计算生成对应的刺激参数，可包括：首先获得第一图像的灰度图像，采用中值滤波技术对该灰度图像进行预处理，获得去噪后的第一图像；对去噪后的第一图像进行边缘提取和边缘膨胀获得边缘特征信息；根据体内装置中微电极阵列的参数，对第一图像进行下采样，并获得与体内装置中微电极阵列一一对应的点阵图像；根据微电极刺激器的参数，结合点阵图像计算相应的刺激参数。

[0072] 本领域技术人员可以理解的是，在基于视觉假体的自动驾驶车辆控制方法的后续步骤中，将视野摄像头拍摄的图像发送至视觉假体的相关说明如上，后文相关处不再赘述。

[0073] 执行车辆控制预备操作之后，视觉假体定时或实时检测用户眼球运动信号(用户眼球运动信号即眼电信号)，并从用户眼球运动信号中获得眼球轨迹信息，眼球轨迹信息包括眼球运动方向和眼球运动幅度，眼球轨迹信息还可包括注视时长和/或眼动顺序。

[0074] 在视觉假体对用户眼球运动信号进行眼球轨迹信息提取之前，还包括：对感应器检测到的用户眼球运动信号经放大器进行放大、经模数转换模块转换为数字形式的用户眼球运动信号，再对用户眼球运动信号进行滤波消噪处理。再从经消噪处理后的眼球运动信号中提取眼球轨迹信息，具体地：

[0075] 从眼球运动信号的波形信号中提取特征向量，其特征向量可表示为含有k个元素的向量X＝[x1，x2，x3…xk-2，xk-1，xk]，其中，元素x，是波形上任意点的幅值，并且相邻两元素间的时间间隔相等。

[0076] 提取特征向量后，计算该特征向量与预置的波形模板向量间的欧式距离，比较所有欧式距离的值并取最小的欧式距离，该最小欧式距离对应的波形模板向量的轨迹信息为待提取的眼球轨迹信息。

[0077] 其中，视觉假体中预存波形模板向量与眼球的轨迹信息的对应关系。

[0078] 预设运动轨迹，与眼球轨迹信息包含同样的内容，即预设运动轨迹包括眼球运动方向和眼球运动幅度，预设运动轨迹还可包括注视时长和/或眼动顺序。

[0079] 将提取的眼球轨迹信息与预设运动轨迹进行匹配判断，即将眼球轨迹信息中的眼球运动方向、眼球运动幅度分别与预设运动轨迹中的眼球运动方向、眼球运动幅度进行对比判断，在二者眼球运动方向相同、眼球运动幅度相同或眼球运动幅度误差值小于预设值(预设值预存在视觉假体中)时，眼球轨迹信息与预设运动轨迹匹配。

[0080] 判定用户眼球运动与预设运动轨迹匹配后，将眼球轨迹信息作为眼球控制信息，并将其发送至车辆。眼球控制信息即与预设运动轨迹匹配的眼球轨迹信息。

[0081] 步骤S20，将所述眼球控制信息转换为对应的控制指令，并基于所述控制指令执行对应操作。

[0082] 车辆中预置眼球控制信息与车辆控制指令的对应关系，对应关系可以以映射表形式存储，可通过眼球控制信息查询该对应关系映射表获得对应的控制指令，对应关系还可以封装成功能模块，通过调用对应关系模块查询获得对应的控制指令。

[0083] 控制指令，可以指刹车、加减速、左拐以及右拐等驾驶控制指令，也可以指开音乐、开车内灯等设备控制指令，也可以是控制车辆摄像头拍摄角度等控制指令。

[0084] 眼球控制信息与控制指令的对应关系，例如，可以将快速连续眨眼两次作为“开音乐”控制指令对应的眼球控制信息，可以将眼球往左方运动并停留2秒作为“左拐”控制指令对应的眼球控制信息。

[0085] 本实施例通过接收由视觉假体发送的眼球控制信息，其中，所述眼球控制信息的生成步骤包括：通过视觉假体检测用户眼球运动信号，并由视觉假体基于所述用户眼球运动信号提取眼球轨迹信息，将所述眼球轨迹信息与预设运动轨迹进行匹配判断；在所述眼球轨迹信息与预设运动轨迹匹配时，将所述眼球轨迹信息作为眼球控制信息；将所述眼球控制信息转换为对应的控制指令，并基于所述控制指令执行对应操作，即通过视觉假体与车辆的信息交互，将视觉假体发送到的眼球控制信息与控制指令对应，并基于控制指令对车辆进行控制，进而使得用户可通过视觉假体实现对车辆的控制，提升视觉假体与车辆的智能性，也提升车辆控制的用户友好度。

[0086] 进一步地，基于第一实施例提出本发明基于视觉假体的自动驾驶车辆控制方法第二实施例。

[0087] 在本发明基于视觉假体的自动驾驶车辆控制方法第二实施例中，步骤S10之前包括：

[0088] 步骤S30，确定车辆当前所处的驾驶模式级别；

[0089] 车辆处于不同自动驾驶级别下，视觉假体对车辆也具有不同的控制权限。车控中心可直接获取车辆的驾驶模式级别设置。驾驶模式级别可以由用户自主设定；也可以由用户在车辆系统设定的场景限制下进行有限的自主设定，即：车辆系统预设不同路况场景对应的控制权限，例如对于人少、车少场景，用户可选择所有等级的控制权限，对于人多场景，用户只可以选择低等级的控制权限，不可以选择高等级的控制权限。

[0090] 进一步地，在本实施例中，步骤S20包括：

[0091] 步骤S21，在车辆处于一级自动驾驶模式下，根据预置的视野指令生成规则和所述眼球控制信息生成对应的目标视野指令；基于所述目标视野指令调整视野摄像头的拍摄角度。

[0092] 本实施例中，车辆的驾驶模式级别包括一级自动驾驶模式，这一驾驶模式下，车辆的自动驾驶程度高，对应的视觉假体控制权限处于较低等级，可根据用户的眼球运动轨迹调整视野摄像头的拍摄角度，可依据用户眼球运动下达拍摄角度调整指令，提升车辆以及视觉假体的智能性。

[0093] 调整视野摄像头的拍摄角度，主要通过调整视野摄像头相较于固定基座的旋转角度实现，在一个调整示例中，根据眼球控制信息确定用户眼球往右转动，则将视野摄像头相较于固定基座向右旋转。

[0094] 一实施方式中，预置的视野指令生成规则为：查询视野指令列表中视野控制指令与眼球轨迹的对应关系，获得眼球控制信息对应的目标视野指令。视野指令列表可以为映射表的形式，可根据眼球控制信息查询该映射表获得对应的目标视野指令，也可以通过将眼球控制信息输入存储视野指令列表的视野指令模块，由视野指令模块返回目标视野指令。可在车辆中预置视野指令列表，或者可以在视觉假体中预置视野指令列表，由视觉假体传输至车辆。

[0095] 视野摄像头的拍摄角度调整对象包括拍摄角度移动方向以及角度。通过解析眼球控制信息可以获得眼球运动方向和眼球运动幅度。

[0096] 拍摄角度移动方向可以与眼球运动方向一致，例如，视野指令列表中，眼球左转对应视野摄像头往左转的控制指令，眼球右转对应视野摄像头往右转的控制指令，眼球上转对应视野摄像头往上移的控制指令，眼球上转对应视野摄像头往下移的控制指令；拍摄角度移动方向与眼球运动的方向也可以不一致，可由用户自己设定或车辆系统默认预先设置。可将拍摄角度移动方向与眼球运动方向的对应关系存储在视野指令列表中，可包括上下、左右、左上方、左下方、右上方以及右下方等摄像头拍摄角度的移动控制指令。视野摄像头拍摄角度的移动大小可以设置为固定大小。

[0097] 在另一实施方式中，预置的视野指令生成规则为：从眼球控制信息中获得眼球运动方向和眼球运动幅度，根据眼球运动方向和眼球运动幅度生成对应的目标视野指令，将视野摄像头的运动方向调整为眼球运动方向，将视野摄像头的运动幅度调整为眼球运动幅度。

[0098] 根据眼球控制信息调整的视野摄像头，指视觉假体的当前镜头，即用户通过视觉假体看到的图像所属摄像头。

[0099] 进一步地，步骤S21中根据预置的视野指令生成规则和所述眼球控制信息生成对应的目标视野指令；基于所述目标视野指令调整视野摄像头的拍摄角度的步骤包括：

[0100] 步骤S211，接收到视觉假体发送的头部动作信息；

[0101] 在车辆处于一级自动驾驶模式时，若是接收到视觉假体发送的头部动作信息，可根据头部动作信息和眼球控制信息调整视野摄像头的拍摄角度。

[0102] 在确定车辆当前所处的驾驶模式级别后，可将车辆当前所处的驾驶模式级别发送至视觉假体，由视觉假体采集对应的控制信息，在车辆处于一级自动驾驶模式，视觉假体可采集头部动作信息以及眼球控制信息，并将其作为控制信息发送至车辆。

[0103] 视觉假体的体外装置上可配置加速度传感器和陀螺仪，用于采集头部动作信息。

[0104] 头部动作会带动固定于头部的眼睛部位发生移动，进而影响用户的视野范围，所以可用头部动作信息表示眼睛部位的移动，可从头部动作信息中获得眼部运动方向以及眼部运动幅度，并根据眼部运动方向以及眼部运动幅度调整摄像头的拍摄角度。

[0105] 步骤S212，根据所述头部动作信息和所述眼球控制信息计算视野摄像头拍摄角度的目标变化轨迹；

[0106] 头部动作信息可包括眼部运动方向以及眼部运动幅度，眼球控制信息则包括眼球运动方向以及眼球运动幅度，根据头部动作信息和眼球控制信息可确定用户所期望的视野变化轨迹，车辆可通过用户所期望的视野变化轨迹计算获得视野摄像头拍摄角度的目标变化轨迹，目标变化轨迹可以与视野变化轨迹重合。

[0107] 具体地，步骤S212包括：

[0108] 解析所述头部动作信息，获得眼部运动方向和眼部运动幅度；解析所述眼球控制信息，获得眼球运动方向和眼球运动幅度；基于所述眼部运动方向和眼部运动幅度、眼球运动方向和眼球运动幅度，确定用户的视野焦点的变化方向与变化幅度，将所述视野焦点的变化方向与变化幅度作为所述视野摄像头拍摄角度的目标变化轨迹。

[0109] 本实施方式中，将用户的视野焦点的变化方向与变化幅度用来表示用户所期望的视野变化轨迹。眼部运动方向和眼部运动幅度为一组眼部运动向量，眼球运动方向和眼球运动幅度为一组眼球运动向量，可通过将眼部运动向量和眼球运动向量进行向量相加，得到视野焦点的变化方向与变化幅度，将视野焦点的变化方向与变化幅度分别作为目标变化轨迹的变化方向与变化幅度。

[0110] 步骤S213，根据所述目标变化轨迹调整所述视野摄像头的拍摄角度。

[0111] 将视野摄像头的拍摄角度向目标变化轨迹的变化方向旋转，并旋转与目标变化轨迹的变化幅度对应的角度。

[0112] 本实施例在车辆处于一级自动驾驶模式下，通过接收到视觉假体发送的头部动作信息，根据头部动作信息和眼球控制信息计算视野摄像头拍摄角度的目标变化轨迹，并根据目标变化轨迹调整视野摄像头的拍摄角度，可使得车辆根据用户眼部以及眼球变化改变视野摄像头的拍摄角度，提供与用户期望视野一致的图像传输到视觉假体，可提升车辆的智能性以及用户友好度。

[0113] 进一步地，基于上述实施例提出本发明基于视觉假体的自动驾驶车辆控制方法的第三实施例。

[0114] 在本发明基于视觉假体的自动驾驶车辆控制方法的第三实施例中，步骤S20还包括：

[0115] 步骤S22，在车辆处于二级自动驾驶模式下，查询预置的驾驶指令列表，获得所述眼球控制信息对应的目标驾驶指令，基于所述目标驾驶指令控制车辆执行对应的驾驶操作。

[0116] 本实施例中，车辆的驾驶模式级别包括二级自动驾驶模式，在这一驾驶模式下，车辆的自动驾驶程度较低，对应的视觉假体控制权限处于较高等级，可根据视觉假体发送的眼球控制信息控制车辆的驾驶行为，包括刹车、加减速、左拐以及右拐等。可选地，在步骤S10之前还包括确定车辆当前所处的驾驶模式级别这一步骤，也可以在步骤S20之前、步骤S10之后确定车辆当前所处的驾驶模式级别。

[0117] 查询预置的驾驶指令列表，根据驾驶指令列表中存储的眼球轨迹与驾驶指令的对应关系，获得眼球控制信息对应的目标驾驶指令。具体地，包括：

[0118] 在眼球控制信息对应的眼球轨迹为第一轨迹时，查询预置的驾驶指令列表，获得所述第一轨迹对应的目标驾驶指令为刹车指令，车辆执行刹车操作；其中，第一轨迹可以是从上往下两次，也可以是从上往下，并停留在下方2秒；

[0119] 在眼球控制信息对应的眼球轨迹为第二轨迹时，查询预置的驾驶指令列表，获得所述第二轨迹对应的目标驾驶指令为左拐指令，车辆执行左拐操作；其中，第二轨迹可以为往左并持续3秒，或往左下方看；

[0120] 在眼球控制信息对应的眼球轨迹为第三轨迹时，查询预置的驾驶指令列表，获得所述第三轨迹对应的目标驾驶指令为右拐指令，车辆执行右拐操作；其中，第三轨迹可以为往右并持续3秒，或往右下方看；

[0121] 在眼球控制信息对应的眼球轨迹为第四轨迹时，查询预置的驾驶指令列表，获得所述第四轨迹对应的目标驾驶指令为减速指令，车辆执行减速操作，其中，第四轨迹可以为往下看并持续2秒或3秒。

[0122] 可选地，在车辆处于二级自动驾驶模式下，车辆获取预置方位角度的主图像，并将主图像发送至视觉假体。其中，主图像指车辆正前方以及车辆左右预设角度范围内的图像，预置方位角度即车辆正前方以及车辆左右预设角度范围，预置方位角度的具体角度可以预置于车辆。

[0123] 本实施例通过获得所述眼球控制信息对应的目标驾驶指令，基于所述目标驾驶指令控制车辆执行对应的驾驶操作，可实现依据用户眼球运动进行车辆驾驶控制，提升车辆以及视觉假体的智能性。

[0124] 可选地，步骤S22中获得所述眼球控制信息对应的目标驾驶指令的步骤之后包括：

[0125] 步骤S221，根据所述目标驾驶指令和车辆当前位置计算车辆的预计行驶区域；

[0126] 车辆在路面上所占区域为固定的矩形区域，且车辆总是在以路面为参考坐标系的平面上做机械运动，因而其预计行驶区域可以根据车辆当前位置以及目标驾驶指令对应的后续驾驶操作确定。其中，预计行驶区域，指若是车辆依据目标驾驶指令进行驾驶控制，预计车辆会经过的道路区域。

[0127] 在目标驾驶指令对应的后续驾驶操作不包含左右拐时，如目标驾驶指令为纯加减速指令，车辆后续驾驶轨迹为直线型轨迹，则车辆的预计行驶区域为车辆正前方区域。可选地，基于车辆摄像头获取的道路图像判断车辆所在道路上是否有车行道分界线；若有车行道分界线，则获取车辆所在的车行道的分界线，由该分界线界定出的矩形区域即为车辆的预计行驶区域。

[0128] 在目标驾驶指令对应的后续驾驶操作包含左右拐时，如目标驾驶指令为左拐指令或右拐指令，车辆后续驾驶轨迹为曲线型轨迹，则可将车辆的左/右侧或左前方/右前方区域作为车辆的预计行驶区域，直到检测到新的目标驾驶指令，再进行预计行驶区域的重新确定。

[0129] 步骤S222，获取所述预计行驶区域上的路况图像，对所述路况图像进行物体识别，判断所述预计行驶区域上是否存在障碍物；步骤S223，若所述预计行驶区域上存在障碍物，则输出异常警告。

[0130] 确定预计行驶区域后，通过车辆上的摄像头获取确定预计行驶区域上的路况图像，在预计行驶区域为车辆正前方区域时，通过车辆前方摄像头拍摄连续图像序列，基于图像序列进行物体识别；在预计行驶区域为车辆的左/右侧或左前方/右前方区域时，通过车辆左/右侧摄像头拍摄连续图像序列，基于图像序列进行物体识别。

[0131] 一实施例中，可预先设置障碍物特征库，用于存储各种障碍物的轮廓特征，在对路况图像进行识别时，提取路况图像中的轮廓特征与障碍物特征库中的特征集合进行匹配，以判断预计行驶区域上是否存在障碍物，若预计行驶区域上存在障碍物，则输出异常警告，以警示用户障碍物的存在，若预计行驶区域上不存在障碍物，则继续执行步骤S221，进行监测障碍物。

[0132] 在另一实施例中，可通过基于神经网络的分类模型对路况图像进行物体识别，可将路况图像数据输入已训练好的分类模型中，由分类模型判断其是否存在障碍物。在训练预置分类模型时，获取训练样本，其中，训练样本为经过障碍物标注的路况图像数据；提取训练样本特征，并根据训练样本的特征，通过迭代算法计算出分类模型的最优模型参数，进而训练出含最优模型参数的分类模型。

[0133] 本实施例可通过对车辆行驶轨迹的预测以及对预计行驶区域上的路况图像进行障碍物识别，在预计行驶区域上存在障碍物时，输出异常警告，可实现对用户行驶的辅助，提高行驶安全性。

[0134] 进一步地，在基于上述实施例的第四实施例中，所述基于视觉假体的自动驾驶车辆控制方法还包括：

[0135] 步骤S40，在车辆处于二级自动驾驶模式下，检测到车辆行驶方向上预设距离处具有预设数目的可行道路，输出方向询问提示，其中，所述预设数目大于或等于二；

[0136] 本实施例中，确定车辆当前所处的驾驶模式级别，在车辆处于二级自动驾驶模式下，可根据眼球控制信息进行车辆驾驶控制。

[0137] 车辆行驶方向上预设距离处具有预设数目的可行道路，可以是在岔路口(如十字路口)的路况之下。车辆可通过获得行驶方向上图像，并对该图像进行道路识别，进而确定预设距离处是否具有预设数目的可行道路，车辆也可通过联网获取地图导航信息，根据导航信息确定行驶方向上预设距离处是否具有预设数目的可行道路。预设距离可由用户自定义设置，或在车辆中默认设置，可以为100米或200米，具体数量不限。

[0138] 可语音输出方向询问提示，或在车辆用户界面上显示方向询问提示，由用户确定行驶道路以及行驶方向。

[0139] 步骤S41，获取当前最新的眼球控制信息，根据所述最新的眼球控制信息确定目标道路，并向所述目标道路的方向行驶。

[0140] 本发明各实施例都是基于最新的眼球控制信息进行对应控制指令的确定，本实施例中根据最新的眼球控制信息进行目标道路的确定。

[0141] 因为不同可行道路都具有各自不同的方向，如在十字路口中，有左侧道路、右侧道路以及直行道路，可通过最新的眼球控制信息对应的眼球运动方向确定用户选择的行驶方向，眼球运动方向可以与行驶方向一致，例如：车辆询问用户前面两百米的十字路口是左拐、右拐还是直行等，若是用户想左拐，用户眼睛往左看持续三秒以上，车辆检测到该眼球控制信息后确定左拐，眼球运动方向可以与行驶方向也可以不一致，可由用户依据自己习惯自定义，或在车辆中预置。

[0142] 本实施例通过在车辆处于二级自动驾驶模式下，检测到车辆行驶方向上预设距离处具有预设数目的可行道路，输出方向询问提示，获取当前最新的眼球控制信息，根据所述最新的眼球控制信息确定目标道路，并向所述目标道路的方向行驶，可以由用户通过视觉假体在多条可行道路中进行选择，实现车辆的智能化控制。

[0143] 本发明还提出一种存储介质，其上存储有计算机程序。所述存储介质可以是图1的自动驾驶车辆中的存储器103，也可以是如ROM(Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘中的至少一种，所述存储介质包括若干指令用以使得一台具有处理器的设备设备(可以是手机，计算机，服务器，网络设备或本发明实施例中的自动驾驶车辆等)执行本发明各个实施例所述的方法。

[0144] 需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者服务端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者服务端所固有的要素。

[0145] 上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

[0146] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。

[0147] 以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。